摩爾定律已逝 黃仁勳「黃氏定律」GPU AI 效能10年增千倍
自由時報 2023/10/06 當人們在討論「摩爾定律」(Moore's Law)是否失效之際,輝達首席科學家達利(Bill Dally)近期演說指出,後摩爾時代的「黃氏定律」(Huang's Law)正帶來電腦效能的結構性轉變,他預測,GPU AI(人工智慧)推理效能10年將提升1000倍。- K: R4 s8 A# e
; K1 {! s% {( d; Y
達利在近日舉行的「2023 Hot Chips」年度會議上指出,每一款新的處理器需要獨創性與努力來發明與驗證新成份。這迥然不同於一個世代以前,工程師基本上依賴的是更小、更快速的晶片原理。
4 b5 h: S# v0 _/ r# ~+ n
9 E1 O; A- u- O/ Z他說,他在輝達領導的一個300多人團隊,過去10年協助單一GPU的AI推理效能提升1000倍,未來也將以這樣的速度持續下去。
+ w; g/ J0 @' V8 t/ P6 S: s5 ~. a) p4 |% y
IEEE Spectrum一篇報導,首度以輝達創辦人兼執行長黃仁勳為名,將此驚人進展稱為「黃氏定律」,華爾街日報之後一篇專欄文章,使此定律廣為人知。/ z* R g1 Z f& G7 V
* C+ h( i% R& E& _6 l7 ^) x5 S
達利解釋,輝達一直努力改良GPU微架構,以提升AI推理的效能成長。比如,輝達最新Hopper架構與Transformer引擎,採用8與6位元浮點及整數數學動態組合,產生12.5倍的效能提升,這是為當前生成式AI模型的需求,量身打造的,相關複雜指令協助以更少能源執行更多工作。
) f3 ]2 t* [1 o0 S$ [/ A, q# O7 J |2 p
此外,輝達安培架構(Ampere)增加結構稀疏性,此為簡化AI模型權重,而又不降低模型準確度的創新方式,該技術帶來另外2倍的效能提升,未來有望再度取得進展。
9 P$ b, P) _4 x: I* g' m0 r3 c; y: w9 V; E4 f) S& B
達利也提到,將系統中的GPU,以及系統之間的輝達網絡直接串連的,能提升單一GPU效能1000倍。/ u9 }7 @4 O ^ z5 }) e' w; ]/ \* D
# A: a) P' G, v- A- z
他說,雖然過去10年,輝達的GPU從28奈米升級到5奈米製程,但總體效能僅提升2.5倍,這與一個世代前的摩爾定律迥然有別,根據該定律,隨著晶片越變越小、運算越來越快,效能每兩年應倍增。( V; I0 W8 ~ J. x( l
' ^$ k# q& c2 o+ r' m% V達利說,儘管摩爾定律的效能提升逐漸失效,但他對於黃氏定律深具信心。他說,因為新一代晶片與系統需要新創新,「這是做電腦工程師的有趣時代;電腦產業正處於決定性時刻,而這一切都取決於公司如何看待晶片與運算的發展」。