隨著 AI 產業邁入成熟期，傳統的硬體算力指標已經不夠用了！ NVIDIA 執行長黃仁勳呼籲企業重新思考 AI TCO (總體擁有成本)，並強調「 Token 成本 」才是衡量 AI 伺服器真實效益的唯一關鍵。
NVIDIA 認為自家晶片更具 AI TCO 成本優勢
在過去建置傳統資料中心時，業界總是習慣將焦點放在硬體的原始運算能力上，評估標準往往是每花一塊錢能買到多少 FLOPS (浮點運算次數) 或是晶片的絕對規格。然而，隨著人工智慧產業正式邁入成熟期並轉型為龐大的「 AI 工廠 」， NVIDIA 強烈建議企業必須拋棄這些過時的觀念。無論你是向雲端供應商租用算力，還是選擇在本地自建 AI 基礎設施，原始的運算能力並不等於現實世界中真正的 AI 產出能力。因此，過往用來計算 AI TCO (總體擁有成本) 的傳統公式，現在必須全面大洗牌。
NVIDIA 一針見血地指出，如今衡量一間 AI 工廠是否成功的單一最重要指標，就是它的「 Token 產出量 」。現在的戰場已不再是比拚誰能跑出最多的極限運算次數，而是誰能在最高的能源效率下，用最低的成本產出最多的 Token 。企業應該緊盯的關鍵指標，是產出每一個 Token 的整體花費，這通常會以「每百萬 Token 成本」來進行計算。
有趣的是，許多 AI 企業在計算成本時，往往只看到了公式裡的「分子」，也就是 GPU 每小時的運作成本，但這其實只是冰山一角。真正能幫企業省下大筆鈔票並極大化利潤的魔法，其實藏在公式的「分母」裡。只要能大幅提升 Token 的吞吐量，就能有效稀釋並壓低單一 Token 的成本，進而讓每一次的 AI 互動服務都帶來更豐厚的利潤。更棒的是，當伺服器每百萬瓦 (MW) 能提供更多的 Token 時，就代表你的 AI 產品能展現出更強大的智慧，在不額外增加基礎設施投資的情況下，為公司創造出更龐大的營收。
為了具體證明這個論點， NVIDIA 拿自家的前代 Hopper 架構與最新的 Blackwell 架構進行一場直球對決。如果只看傳統的硬體指標，一台搭載 Blackwell GB300 NVL72 的 GPU 每小時運作成本為 2.65 美元，大約是 Hopper HGX H200 每小時 1.41 美元的兩倍左右，而每美元能買到的 FLOPS 也大約只有兩倍的提升。
表面上看來，花費兩倍的價格買到兩倍的理論效能似乎沒有什麼驚人之處，甚至會讓人覺得升級的誘因不大。但是，當目光轉向真實的「 Token 吞吐量 」時，差距就顯得相當震撼。在 SemiAnalysis 的 InferenceX v2 測試基準中， Blackwell 每秒能產生 6,000 個 Token ，足足是 Hopper 每秒 90 個 Token 的 65 倍之多！同時，每百萬瓦所能產生的 Token 數量也飆升了 50 倍。當我們將這些驚人的吞吐量數據代入成本公式後， Blackwell 的每百萬 Token 成本瞬間暴跌至 0.12 美元，相較於 Hopper 的 4.20 美元，足足便宜了 35 倍，這才是新一代架構真正的價值所在。
這根本上重新評估 AI TCO 的思維，背後有著 NVIDIA 極度強大的 AI 軟體生態系作為支撐，讓他們在各項跑分測試中始終保持遙遙領先的霸主地位。雖然有些人可能會戲稱這種切入角度是 NVIDIA 專屬的「 CEO 數學 」，但這背後的商業邏輯卻是無比堅實。
NVIDIA 執行長黃仁勳甚至曾公開向那些自稱晶片效能超越 NVIDIA 的競爭對手下戰帖，指出目前市場上根本拿不出任何實質的證明。他霸氣地表示，世界上沒有任何一間公司能向他證明，他們擁有更好的效能與 TCO 比例。透過重新定義衡量 AI 成功的標準， NVIDIA 不僅僅是在硬體跑分上宣示勝利，他們更是在那些真正攸關 AI 企業生存與獲利的核心指標上，穩穩地坐上了王座。
延伸閱讀
