輝達最新 AI 系統 NVIDIA Vera Rubin 進入量產！被譽為全球最複雜、整合百萬零組件的超級架構，搭載 HBM4 與 NVLink 6 技術，更採用全新模組化水冷散熱。雖然定價可能提高，但 NVIDIA Vera Rubin 能降低 10 倍推論成本，完美延續「買越多省越多」神話。
NVIDIA Vera Rubin 大幅降低推論成本
大家還記得輝達 (NVIDIA) 執行長黃仁勳那句紅遍全球的名言「買越多，省越多」嗎？這個不可思議的科技神話，在他們最新世代的產品上依然完美發揮著作用。雖然外界普遍預估這款全新架構在正式亮相時，將會迎來一波不算小的價格調漲，但是 NVIDIA 官方對此可是信心滿滿。他們特別強調，如果將新架構與上一代的 Blackwell GB200 拿來進行殘酷的對比，這次的全新設計不僅能讓 AI 模型的推論代幣成本出現高達 10 倍的驚人降幅，甚至在訓練複雜的混合專家 (MoE) 模型時，所需要的 GPU 數量也能夠直接減少 4 倍。這台不斷突破極限的運算巨獸，正是目前已經全面投入量產階段的下一代超級晶片架構 Vera Rubin 。為了讓外界一窺堂奧，外媒 CNBC 與 NVIDIA 合作的介紹影片，帶領深入探索系統中的每一個獨立零組件。NVIDIA 的基礎設施資深總監 Dion Harris 甚至難掩自豪地將 Vera Rubin 譽為「世界上最複雜的 AI 系統」之一，他更霸氣地強調，這間科技巨頭正在挑戰的任務不僅在業界獨一無二，在實際執行的難度上更是超乎想像。
考量到這款全新架構預期在不久的將來就會獲得各大客戶的正式採購承諾，現在絕對是我們好好深入研究 NVL72 機櫃真實樣貌的絕佳時機。在這個宛如科技巨塔的龐大機櫃之中，最核心且絕對不可或缺的靈魂元素，當然非 Vera Rubin 超級晶片本身莫屬。這波最核心的效能大爆發，其實主要是歸功於 NVIDIA 大膽地將全新的 HBM4 記憶體與 GPU 進行了極致的深度整合，並且還完美搭配了專為此設計的 SOCAMM 模組。在這些頂尖硬體規格的暴力加持之下，整個系統的總記憶體頻寬直接飆升到令人目瞪口呆的 1.2 TB/s 。
空有強大算力還不夠，資料的傳輸速度更是決定勝負的關鍵。因此，全新的 NVLink 技術絕對是構成 Vera Rubin NVL72 伺服器不可或缺的重要環節。透過被業界廣泛稱為「 NVLink 骨幹」的第 6 代互連架構， NVIDIA 這次的目標是要為每一個單一機櫃，提供高達 260 TB/s 的總聚合頻寬。針對這項突破， Harris 興奮地表示，憑藉著最新一代的 NVLink 技術，公司已經成功將模組化設計的理念提升到了一個我們前所未見的全新境界。這也賦予了他們十足的底氣去對外宣稱，這套強大的第 6 代骨幹網路不僅能完美支援零停機的維護作業，甚至還能提供機櫃等級的 RAS (也就是可靠度、可用性以及可維護性) 服務，讓伺服器的運作達到堅若磐石的境界。
談到散熱，除了令人驚嘆的運算能力飆升之外， NVIDIA 在 Vera Rubin 的冷卻部門同樣迎來了史詩級的重大進化，計畫在系統中全面整合模組化的水冷設計。這套系統將透過專屬的冷卻水冷板，零死角地覆蓋包含 Rubin GPU 與 Vera CPU 在內的所有超級晶片元件。NVIDIA 的高層們堅信，這波劃時代的設備部署，絕對能成功說服各大超大型資料中心營運商毫不猶豫地全面轉換至升級版的水冷系統。而且非常有趣的是，官方主打的另一項重大優勢在於，目前的實作方案不僅散熱效率極佳，竟然還能進一步減少冷卻用水的消耗，可以說是兼顧了極致效能與環境永續的雙贏局面。
延伸閱讀
