NVIDIA HGX H200 是為 AI 而生的新一代超級電腦晶片

採用 HBM3e 記憶體,基於 Llama 2 模型的推理速度達到 H200 的兩倍。

NVIDIA HGX H200 是為 AI 而生的新一代超級電腦晶片
NVIDIA HGX H200 是為 AI 而生的新一代超級電腦晶片 (NVIDIA)

今天早些時候 NVIDIA 正式發表了新一代的 AI 超級電腦晶片 HGX H200。它基於 Hopper 架構,是 H100 的後繼產品。其主要升級點為 HBM3e 記憶體,在這項技術的加持下,H200 能以 4.8TB/s 的速度提供 141GB 記憶體,相比 H100 容量幾乎翻了一番,同時頻寬也達到了之前的 2.4 倍。論運算力 H200 基本與 H100 持平,但在運行 Llama 2 模型(70 億參數)時前者的速度為後者兩倍。H200 會提供 4 路和 8 路配置選項,它適用於各類數據中心,預期會在 2024 年 Q2 正式推出。

NVIDIA GH200 Grace Hopper
NVIDIA GH200 Grace Hopper (NVIDIA)

在帶來 H200 的同時,NVIDIA 也公佈了基於它和 Grace CPU 打造的 GH200 Grace Hopper「超級晶片」平台。該平台採用了 NVLink-C2C 互連技術,是專為「加速運行 TB 級數據的複雜 AI 和 HPC 應用」而生。未來 GH200 將被「超過 40 處全球研究中心、系統製造商和雲端服務商的 AI 超級電腦」所採用,客戶包括 Lenovo、Dell、HP 等。

更多內容:

緊貼最新科技資訊、網購優惠,追隨 Yahoo Tech 各大社交平台!

🎉📱 Tech Facebook:https://www.facebook.com/yahootechhk

🎉📱 Tech Instagram:https://www.instagram.com/yahootechhk/

🎉📱 Tech WhatsApp 社群:https://chat.whatsapp.com/Dg3fiiyYf3yG2mgts4Mii8

🎉📱 Tech WhatsApp 頻道:https://whatsapp.com/channel/0029Va91dmR545urVCpQwq2D