NVIDIA 發表全新 H200 Hopper，這是專為 AI 運算而設計的高效能顯示晶片，它採用 Micron HBM3e 記憶體，提供驚人的記憶體容量和頻寬。除了新的 AI 平台外，NVIDIA 還宣布一項超級電腦合作案，其 Grace Hopper Superchips 將為 Jupiter 超級電腦提供 Exaflop 級別運算能力。
H200 Hopper：AI 運算新一代旗艦
NVIDIA 的 H100 是目前業界最受歡迎的 AI 晶片之一，但 NVIDIA 並不滿足於此，它希望為客戶提供更高性能的晶片，因此推出最新的 HPC 和運算平台 HGX H200，採用 H200 Tensor Core GPU，這些 GPU 在軟硬體上都採用最新的 Hopper 最佳化技術，並且搭載目前全球最快的記憶體方案。
H200 搭載 Micron HBM3e 記憶體，記憶體容量高達 141 GB，頻寬高達 4.8 TB/s，這比自家 A100 的記憶體容量和頻寬分別高出一倍和 2.4 倍。該記憶體方案讓 NVIDIA 能在例如 Llama 2 (70 億參數的大型語言模型) 這種 AI 推論應用中性能幾乎提高一倍。
在解決方案方面，H200 將提供多種 HGX H200 伺服器，包括 4 路和 8 路 GPU 配置。一個 8 路 H200 配置 HGX 系統，將提供高達 32 PetaFLOPs FP8 運算性能和 1.1 TB 記憶體容量。
這些 GPU 還將與現有 HGX H100 系統相容，讓客戶更容易升級。NVIDIA 的合作夥伴，如 ASUS、ASRock Rack、Dell、Eviden、GIGABYTE、Hewlett Packard Enterprise、Ingrasys、Lenovo、QCT、Wiwynn、Supermicro 和 Wistron，將在 2024 年第二季提供更新的解決方案。
Grace Hopper Superchips：為 Jupiter 超級電腦提供 Exaflop 級別運算能力
除了 H200 的發表，NVIDIA 還宣布一項重大的超級電腦合作案，採用其 Grace Hopper Superchips（GH200）。這台超級電腦被稱為 Jupiter，將位於德國的 Forschungszentrum Jülich 研究中心，作為 EuroHPC 聯合計畫的一部分，由 Eviden 和 ParTec 承包。該超級電腦將用於材料科學、氣候研究、藥物發現等領域，這也是 NVIDIA 在 11 月份時曾宣布的第二台超級電腦，前一台是 Isambard-AI，提供高達 21 Exaflops AI 運算能力。
在配置方面，Jupiter 超級電腦採用 Eviden 的 BullSequana XH3000，採全液冷架構。擁有 24,000 顆 NVIDIA GH200 Grace Hopper Superchips，使用 NVIDIA Quantum-2 Infiniband 進行互連。
考慮到每顆 Grace CPU 都有 288 個 Neoverse 核心，可以看到 Jupiter 超級電腦在 CPU 方面就擁有近 700 萬個 ARM 核心 (準確數字為 6,912,000)。性能方面，Jupiter 超級電腦將提供 90 Exaflops 的 AI 訓練和 1 Exaflop 的高效能運算。這台超級電腦預計將在 2024 年安裝。
延伸閱讀
Update of any software is a cool thing. I always love update