標題:
[轉貼]
摩爾定律已逝 黃仁勳「黃氏定律」GPU AI 效能10年增千倍
[打印本頁]
作者:
gravius
時間:
2023-10-7 00:36
標題:
摩爾定律已逝 黃仁勳「黃氏定律」GPU AI 效能10年增千倍
自由時報 2023/10/06 當人們在討論「摩爾定律」（Moore's Law）是否失效之際，輝達首席科學家達利（Bill Dally）近期演說指出，後摩爾時代的「黃氏定律」（Huang's Law）正帶來電腦效能的結構性轉變，他預測，GPU AI（人工智慧）推理效能10年將提升1000倍。
+ B& _% y4 T6 P3 l# J. C3 f
/ w9 f9 i( p: y% o6 A- r! L
達利在近日舉行的「2023 Hot Chips」年度會議上指出，每一款新的處理器需要獨創性與努力來發明與驗證新成份。這迥然不同於一個世代以前，工程師基本上依賴的是更小、更快速的晶片原理。
9 a: T- T( {7 D$ _9 ?' D3 Q4 N
+ F4 |7 d: R4 K) n7 V, q; C
他說，他在輝達領導的一個300多人團隊，過去10年協助單一GPU的AI推理效能提升1000倍，未來也將以這樣的速度持續下去。
& B3 S& B) a3 A8 O
9 E2 x4 G9 m& F& M' l `/ ^6 O3 O; I
IEEE Spectrum一篇報導，首度以輝達創辦人兼執行長黃仁勳為名，將此驚人進展稱為「黃氏定律」，華爾街日報之後一篇專欄文章，使此定律廣為人知。
0 B$ n' t& t4 K% z. u( E
* N- ~& I& g8 J# `
達利解釋，輝達一直努力改良GPU微架構，以提升AI推理的效能成長。比如，輝達最新Hopper架構與Transformer引擎，採用8與6位元浮點及整數數學動態組合，產生12.5倍的效能提升，這是為當前生成式AI模型的需求，量身打造的，相關複雜指令協助以更少能源執行更多工作。
4 f' P( W7 u* U5 t" t7 b2 v
6 G- ?) i( D4 `: t! R, A
此外，輝達安培架構（Ampere）增加結構稀疏性，此為簡化AI模型權重，而又不降低模型準確度的創新方式，該技術帶來另外2倍的效能提升，未來有望再度取得進展。
; V2 I- x2 ]( R5 Q0 o) T) H) ? [
; \5 e7 q: `2 h1 I
達利也提到，將系統中的GPU，以及系統之間的輝達網絡直接串連的，能提升單一GPU效能1000倍。
7 W" Y" A8 K m- V/ ~! i
: ?7 S1 N, X' r( d
他說，雖然過去10年，輝達的GPU從28奈米升級到5奈米製程，但總體效能僅提升2.5倍，這與一個世代前的摩爾定律迥然有別，根據該定律，隨著晶片越變越小、運算越來越快，效能每兩年應倍增。
; Z9 L* c6 I9 z( H& b
4 S5 z d* Q4 u4 b2 g, y) l. Y
達利說，儘管摩爾定律的效能提升逐漸失效，但他對於黃氏定律深具信心。他說，因為新一代晶片與系統需要新創新，「這是做電腦工程師的有趣時代；電腦產業正處於決定性時刻，而這一切都取決於公司如何看待晶片與運算的發展」。
歡迎光臨 風之國論壇 (http://wind.talkapple.net/)
Powered by Discuz! 6.0.0
