標題:
[轉貼]
更上層樓！輝達公佈最新高階GPU「H200」 運算兩倍速H100
[打印本頁]
作者:
gravius
時間:
2023-11-14 00:21
標題:
更上層樓！輝達公佈最新高階GPU「H200」 運算兩倍速H100
自由時報 2023/11/13 輝達（Nvidia�
日公佈其最新高階圖形處理器（GPU）H200。該款GPU旨在訓練並部署在各類驅動生成式AI熱潮的AI模型上。CNBC報導，H200包含141GB的新一代「HBM3」記憶體，以協助其運用AI模型生成文本、圖像或預測，其運算是H100的近兩倍速。
7 n2 c& A' _2 q
" q7 S% m v% g& m9 z
報導說，輝達該新款GPU是H100升級版，OpenAI公司使用H100晶片訓練其最先進的大型語言模型（LLM）GPT-4。大公司、新創公司與政府單位都在搶奪供應有限的H100晶片。
( r6 U8 ~. p( l- K8 F1 b/ Q
6 {2 z5 A6 d/ q/ K4 ?9 m/ o
金融服務公司「雷蒙．詹姆斯」（Raymond James）估計，H100晶片費用在2.5萬至4萬美元之間，數千個該晶片必須一起運作，才能在所謂「訓練」的過程中創造出最大模型。
3 m/ p3 ~9 w6 i, i6 a* @0 Z* G% p
9 S8 Y! d. O( O& |* [6 E! b6 ` k
輝達AI GPU的搶手推升公司股價，今年以來，輝達股價已大漲230%，輝達預期本季營收將年漲170%至160億美元。
1 J% {! G9 h, M
0 S7 E5 I& n$ X7 q% D
報導說，H200的關鍵改良包含具有141GB的下一代「HBM3」記憶體，以協助H200執行推論（inference）或利用大型模型生產文本、圖像與預測。
+ v- z% a" k- a7 A' K# H: Y& j
4 R4 B2 Y/ x; E! [1 S! v
輝達指出，依據使用Meta的Llama大型語言模型的測試，H200運算是H100近兩倍速。H200將可與超微（AMD）的MI300X GPU匹敵。預計H200將於明年第2季出貨。
: Q! X4 E$ }7 T/ }. _# |" h
' V5 R6 V* _% v2 ?7 r. T( g
輝達說，H200與H100相容，這意味已使用H100訓練語言模型的AI公司無須改變伺服器系統或軟體，就可使用H200。
歡迎光臨 風之國論壇 (http://wind.talkapple.net/)
Powered by Discuz! 6.0.0
日公佈其最新高階圖形處理器（GPU）H200。該款GPU旨在訓練並部署在各類驅動生成式AI熱潮的AI模型上。CNBC報導，H200包含141GB的新一代「HBM3」記憶體，以協助其運用AI模型生成文本、圖像或預測，其運算是H100的近兩倍速。