自由時報 2023/09/06 台積電董事長劉德音今指出，半導體技術是新人工智慧（AI）能力和應用的關鍵推動力，AI也將對人類的生活和工作帶來重大改變，也會為半導體產業帶來龐大的商機；過去半導體技術的發展就像走在不斷微縮電晶體的隧道裡一樣，隨著AI時代來到，半導體技術已抵達隧道的出口，未來充滿更多可能性，「我們不再受隧道的束縛」。
1 y( i2 n" R$ ^! [7 t: m- E% L* t I2 {* i* u8 h [' |4 R7 f
劉德音今出席SEMICON Taiwan 2023大師論壇並開講，他演講全文如下：「90 年代後期 ，由IBM開發的深藍（Deep Blue）超級電腦擊敗了世界西洋棋冠軍加里·卡斯帕洛夫（Garry Kasparov），展現了超級電腦技術的突破性發展，也讓我們首次看到高效能運算有朝一日超越人類智慧的可能性。
! j) p: A6 u8 ]. Z6 w' f# ~2 l9 [, g* A$ f/ C* J' }1 Z
接下來10年，人工智慧（AI）應用於許多實際任務，例如臉部辨識、語言翻譯、電影和商品推薦。再接下來的10年，AI 進步到另一個層次，能夠「匯整合成知識」。
& B2 l7 R! d0 C8 @" a) U/ R. `3 p
生成式AI（例如 ChatGPT）可以創作詩詞及藝術品、診斷疾病、撰寫報告和電腦代碼。甚至可以設計出與人類打造的積體電路相媲美的相似產品。AI為人類的生活和工作帶來重大改變，也為半導體產業帶來龐大的商機。
1 j! V4 u/ ^$ ~ i' y& ~
, S) Q1 B8 s/ r M. N( |AI應用的突破性發展來自三個因素。首先是高效深度學習演算法的創新；其次是透過網路取得的大量訓練資料；第三是半導體技術的發展提升了節能運算的能力。
! ]$ s) e, ^9 W8 J" D( O" c4 M" U
6 R F% S3 b5 R5 d" T' q }AI發展過程中的幾個重要里程碑是由當時領先的半導體技術實現的。例如深藍超級電腦採用0.13微米技術，深度神經網路的初始圖像辨識採用45奈米技術，著名的AlphaGo採用28奈米技術，最初用於訓練ChatGPT 伺服器採用5奈米技術，最近的ChatGPT則是由採用台積公司4奈米技術生產的伺服器提供支援。
5 B4 M; x( Y8 ~8 [( f- k. @4 V! B& X: M, g
ChatGPT 已廣泛應用於日常生活中，展現了AI普遍使用於高效能運算技術，為社會中的每個人帶來助益。
3 a) _; G9 g$ N$ b5 g
6 l* o! ]7 P# E在過去的5年，AI 訓練所需的運算能力和記憶體容量增加了好幾個數量級。例如，GPT-3 模型需要超過 5,000 peta-FLOP-days（5E18 Flop-days）的運算量、3兆位元組（3E12 位元組）的記憶體容量。
* P' _5 ]" J/ A0 [- g4 g4 u
1 }8 o$ c) n/ h$ @' O% }. S" v, ?' \生成式AI應用所需的運算能力和記憶體仍在快速增長，半導體技術要如何以如此快的速度發展呢？自從積體電路發明以來，半導體技術一直在進行尺寸微縮，試圖將更多的半導體元件（或電晶體）置入指甲般大小的晶片中。現今，整合技術已往上提升了一個層次，將許多晶片整合到一個緊密且大規模互連的系統中。這是10多年來見證到的半導體技術整合中的「典範轉移」。超越了2D微縮，進入到3D系統整合。
9 B% v1 m% Q; H" R7 Q Z6 P7 D6 e6 c
F7 y! G0 E) y. g
在人工智慧時代，系統的能力與系統中整合的元件（或電晶體）數量成正比。我們可以利用中介層將整合系統的尺寸擴展到曝光光罩尺寸之外，整合系統晶片比單晶片容納更多的元件。台積公司基於CoWoS 技術開發的超級載體中介層能夠容納高 6個光罩曝光面積的運算晶片，以及12個 HBM3高頻寬記憶體堆疊。
+ Y) y, i1 M) U' M% v! A7 @
; S4 Q% E% j9 u對人工智慧來說，3D SoIC是另一項越來越重要的關鍵技術。現今傳統的高頻寬記憶體（HBM）依賴矽穿孔（TSV）和焊接凸塊進行堆疊。台積公司的3D SoIC 技術可以為現今的HBM技術提供替代方案。HBM 測試結構中，有12 層面對背堆疊（F2B）在低溫下接合，置於更大的基礎邏輯晶片之上，總厚度 600 微米。
: I, ?1 ^/ b: F9 R- x y4 {0 X+ l2 i) W
; S# A) k/ v& K- G$ ~藉由 CoWoS 或 SoIC 技術，系統整合晶片中的總元件（電晶體）數量遠大於一個單晶片容納的數量。AI 訓練使用的GPU晶片已達到光罩曝光面積限制，其電晶體數量約為1千億個。電晶體數量增加趨勢的延續需要由多個與2.5D 或 3D 整合互連的晶片來執行運算。
3 @% z6 X( M+ ] v% D
+ h& z5 }+ @8 f8 h6 S" a
10年內，多晶片GPU預估將由超過 1 兆個電晶體組成。透過互連間距的微縮，將有足夠的空間容納更多比目前更大的SoIC互連數量。將互連密度進一步提高1個數量級或甚至更高並沒有基本限制。
" _7 p. z4 l8 ~' ~+ P, V: @# z. m
7 u1 H. a4 A) l2 R+ _: P6 c1 T這些創新的硬體技術如何對系統的效能做出貢獻呢？針對伺服器 GPU的能源效率（EEP）趨勢，在過去的 15 年中，半導體產業約每兩年將能源效率提高了3次，此趨勢必將延續下去，也會受到許多創新的驅動，包括新材料、元件和整合技術、極紫外光（EUV）和設計技術協同優化（DTCO）的進步、電路設計和系統架構設計。特別的是，CoWoS和SoIC的發展將協助提高能源效率。此外，系統技術協同優化（STCO）等概念將變得越來越重要。
& l/ |, X3 ^0 [0 @. u
$ O4 s% F8 \4 U, I/ Q9 R1 I9 P4 S由於高效能運算系統由大量執行大型AI模型的晶片組成，高速有線通訊可能很快將會限制運算速度。現今，光互連已經用於連接資料中心的伺服器機架，光學介面可望很快與GPU和CPU配置在一起，為GPU到 GPU的通訊提供能量和區域效率擴展頻寬。因此，數百台伺服器將成為具有統一DRAM的單一巨型GPU。
! c2 N) o/ C {3 g2 m3 q a1 h
1 C$ } f0 [9 o) u; _( ]9 H在此領域，台積公司的緊湊型通用光子引擎（Compact Universal Photonic Engine）技術將扮演重要的角色，利用SoIC 技術來整合在GPU和路由器交換器旁邊的積體電路（EIC）及積體光路（PIC）。
; \) O& e9 ?; }+ i! N2 j N+ z
/ L; Q" `7 ?, \. j; w在AI應用的推動下，矽光子技術將成為半導體產業的關鍵技術。1980 年，加州理工學院的卡弗·米德教授（Prof. Carver Mead）和林恩·康威教授（Prof. Lynn Conway）發明一種電腦輔助設計積體電路方法，使用一套設計法則來描述晶片微縮製程技術，因此電路設計人員無需具備太多製程技術知識即可輕鬆設計VLSI電路。
. s) T& |# ]0 X$ W" K" U* V1 [! u
" J4 J! e: @4 {# _: p" ^3 W在現今3D IC的領域，設計的部分包括VLSI 設計、系統架構設計和軟體/硬體優化設計。製程技術的部分包括晶片微縮技術、3DIC 技術和先進封裝技術。同樣的，我們需要一種描述語言來定義所述技術，並將其轉換為 EDA 技術檔，以便設計人員設計3D IC系統。這正是最近台積公司推出3D Blox（一種硬體描述語言）的目的，它使用通用的解釋標準來描述各種3D IC 技術。
* d1 [. ]* G9 g* t$ T
* M% j7 S/ v8 {( l1 _
設計人員可以自由地進行3D IC系統設計，無須理會基本的3D IC技術。3D Blox 已被現今大多數科技公司和 EDA 公司所接受。在人工智慧時代，半導體技術是新 AI 能力和應用的關鍵推動力。新的半導體產品不再受限於晶片尺寸及新世代電晶體微縮。整合式AI系統涵蓋數量最大化的節能電晶體、專為運算工作負載設計的高效系統架構、以及軟體和硬體優化。
/ K9 b% l, g( z1 y8 d. @4 b5 {
) l. Z5 p1 v# P) W: r }在過去的50年，半導體技術的發展就像走在隧道裡一樣，前方有明確的道路，每個人都知道做什麼，那就是縮小電晶體。如今，我們已經抵達隧道的出口。半導體技術的開發日趨艱難，然而，在隧道之外，未來充滿更多可能性，我們不再受隧道的束縛」。
1 n2 S1 y3 X B. L9 g
2 g" i9 \) {2 @+ C9 L0 M
