UNIKO's Hardware
  • 評測
    • 處理器
    • 主機板
    • 顯示卡
    • 記憶體
    • 儲存 | SSD | HDD | 外接盒
    • 水冷散熱器 | 空冷散熱器 | 風扇
    • 機殼 | 電源 | 配件
    • 顯示器
    • 周邊 | 鍵盤 | 滑鼠 | 耳機 | 麥克風
    • 筆記型電腦 | 桌上型電腦 | 電競掌機
    • 手機 | 分享器 | 無線網路
    • 顯示卡驅動 | 晶片組驅動
    • 其他硬體
  • 新聞
  • 新聞稿
  • 軟體
  • 聯絡
  • ZH-TW
    • ZH-TW
    • ZH-CN
    • EN
    • JA
    • KO
No Result
View All Result
UNIKO's Hardware
No Result
View All Result
UNIKO's Hardware
Home 新聞稿

NVIDIA Blackwell 在最新 MLPerf 推論測試中展現優異效能

應付現代大模型絕佳利器

Press Release by Press Release
2025-04-03
in 新聞稿
0
Share on FacebookShare on Twitter
Press Release

NVIDIA Blackwell 在最新 MLPerf 推論測試中展現優異效能

在反映部分高難度推論情境的最新 MLPerf Inference V5.0 基準測試中,NVIDIA Blackwell 平台創下多項紀錄,這也是 NVIDIA 首次使用專為人工智慧 (AI) 推理作業設計的機架規模解決方案 NVIDIA GB200 NVL72 系統來提交 MLPerf 測試報告,讓群眾得以一窺 Blackwell 平台效能表現。

NVIDIA Blackwell 平台具備強大 AI 效能

為落實打造尖端 AI 的承諾,需要稱為 AI 工廠的新型運算基礎設施。與傳統的資料中心不一樣,AI 工廠不只是用於儲存與處理資料,而是透過將原始資料轉換為即時洞察,來大規模製造智慧。AI 工廠的目標很簡單:用最低成本,盡量為最多的使用者快速提供準確的查詢答案。

要做到這個目標的複雜性相當高,並且是在幕後進行。隨著 AI模型加大到有著數十億甚至數兆個參數,以提供更聰明的回覆內容,產生每個詞元 (token) 所需的運算量也隨之增加。這項需求會減少 AI 工廠可產生的詞元數量,並且提高每個詞元的成本。如果想要保持高推論輸送量和低單位詞元成本,就必須在晶片、網路系統和軟體等技術堆疊的每一層快速進行創新。

經同業審查的推論效能業界基準 MLPerf Inference,其最新更新項目包括加入 Llama 3.1 405B,這是規模最大且最難運行的開放權重模型之一。與原本的 Llama 2 70B 基準相比,新的 Llama 2 70B Interactive 基準有著更嚴格的延遲要求,更能反映生產部署環境在提供最佳使用者體驗方面的限制。

除了 Blackwell 平台之外,在全端最佳化的助力下,NVIDIA Hopper 平台也全面展現出優異效能,在 Llama 2 70B 上的效能較去年顯著提升。

NVIDIA Blackwell 寫下新紀錄

連接 72 顆 NVIDIA Blackwell GPU 作為單一大型 GPU 的 GB200 NVL72 系統,在 Llama 3.1 405B 基準測試中的輸送量,比本輪使用 NVIDIA H200 NVL8 提交的結果高出 30 倍。這項壯舉是透過每顆 GPU 提高三倍的效能,再加上高出九倍的 NVIDIA NVLink 互連網域助力下來達成。

NVIDIA GB200 NVL72

雖然許多公司都在其硬體產品上進行 MLPerf 基準測試以評估效能,但只有 NVIDIA 及其合作夥伴提交並公開 Llama 3.1 405B 基準測試的結果。

生產推論部署環境通常在兩大關鍵指標上有延遲限制。首先是產生首個詞元的時間 (TTFT),也就是使用者需要花多少時間才能開始看到大型語言模型對查詢的回應。再者是產生每個輸出詞元的時間 (TPOT),也就是將詞元傳送給使用者的速度。

全新 Llama 2 70B Interactive 基準測試的 TPOT 縮短了五倍,TTFT 則降低了 4.4 倍,可以創造出反應更迅速的使用者體驗。NVIDIA 在本輪測試所提交的測試報告中,使用搭載 8 顆 Blackwell GPU 的 NVIDIA DGX B200 系統,其效能較搭載 8 顆 NVIDIA H200 GPU 的系統高出三倍,為這項更具挑戰性的 Llama 2 70B 基準樹立更高標準。

結合 Blackwell 架構及其經過最佳化的軟體堆疊,可以讓推論效能更上一層樓,為 AI 工廠打好基礎,以提供更高的智慧、更高的輸送量與更快的詞元生成率。

採用 NVIDIA Hopper 的 AI 工廠價值持續提升

NVIDIA Hopper 架構於 2022 年推出,驅動了現今許多 AI 推論工廠,也持續支援訓練各種模型。透過持續的軟體最佳化,NVIDIA 提升了採用 Hopper 架構 AI 工廠的輸送量,進而創造出更龐大的價值。

在一年前於 MLPerf Inference v4.0 首次推出的 Llama 2 70B 基準測試中,H100 GPU 的輸送量增加了 1.5 倍。H200 GPU 以相同的 Hopper GPU 架構為基礎,搭配更大、更快的 GPU 記憶體,又將輸送量加大到 1.6 倍。

Hopper 架構也執行了所有的基準測試,包括新加入的 Llama 3.1 405B、Llama 2 70B Interactive 及圖形神經網路測試。這種多樣性代表 Hopper 可以運行多種工作負載,並在模型和使用情境變得更具挑戰性時跟上腳步。

不可或缺的生態系

在本輪 MLPerf 測試中,共有 15 家合作夥伴提出使用 NVIDIA 平台進行測試的優秀成績,包括華碩、思科、CoreWeave、戴爾科技集團、富士通、技鋼科技 (Giga Computing)、Google Cloud、慧與科技、Lambda、聯想集團、Oracle Cloud Infrastructure、雲達科技、美超微、Sustainable Metal Cloud 和 VMware。

從參賽作品的廣度可以看出 NVIDIA 平台的影響力,全球所有雲端服務供應商及伺服器製造商皆可使用 NVIDIA 平台。

MLCommons 致力於持續發展 MLPerf Inference 基準套件,以跟上 AI 領域的最新發展,並為生態系提供嚴謹且經同業審查的效能數據,這對協助 IT 決策者選擇最佳的 AI 基礎架構而言至關重要。

進一步瞭解 MLPerf。

Tags: NVIDIA
Previous Post

突破效能極限!XPG LANCER RGB DDR5 締造超頻 12762 MT/s 世界新紀錄

Next Post

經過調查後,AMD 認為 Ryzen 7 9800X3D 不開機原因出自於記憶體相容性

Press Release

Press Release

原廠新聞稿編輯

Next Post
經過調查後,AMD 認為 Ryzen 7 9800X3D 不開機原因出自於記憶體相容性

經過調查後,AMD 認為 Ryzen 7 9800X3D 不開機原因出自於記憶體相容性

Intel Arc & Iris Xe Graphics Driver 32.0.101.6732 驅動更新重點整理

Intel Arc & Iris Xe Graphics Driver 32.0.101.6732 驅動更新重點整理

芝奇全球首發 DDR5-8000 128GB 極速大容量超頻記憶體套裝

芝奇全球首發 DDR5-8000 128GB 極速大容量超頻記憶體套裝

發佈留言 取消回覆

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

ROG-玩家共和國專頁
Cloudways 主機

關於我們

UNIKO’s Hardware Follow us for the latest PC hardware news, unboxing, reviews and everything in-between!

UNIKO’s Hardware 玩家觀點看產品,真實呈現! 華人圈最可愛的電腦硬體評測開箱、3C業界新聞、電腦改裝、遊戲電競!

熱門標籤

主機板 (213) 儲存 | SSD | HDD | 外接盒 (69) 其他硬體 (7) 周邊 | 鍵盤 | 滑鼠 | 耳機 | 麥克風 (100) 手機 | 分享器 | 無線網路 (45) 新聞 (3886) 新聞稿 (1542) 機殼 | 電源 | 配件 (125) 水冷散熱器 | 空冷散熱器 | 風扇 (112) 筆記型電腦 | 桌上型電腦 | 電競掌機 (47) 處理器 (116) 記憶體 (60) 評測開箱 (1508) 軟體 (514) 顯示卡 (195) 顯示卡驅動 | 晶片組驅動 (346) 顯示器 (10)

熱門架站軟體教學

  • 什麼是 WordPress?
  • WordPress 架站的五大步驟
  • WordPress 三大新手主機完整比較
  • 如何用 WordPress 自架部落格
  • 如何用 WordPress 自架形象官網
  • 如何用 WordPress 自架型錄購物網站
  • 評測
  • 新聞
  • 軟體
  • 聯絡

Copyright © © 2025 UNIKO's Hardware All rights reserved. | 網頁設計: 帶路姬數位科技有限公司.

No Result
View All Result
  • 評測 & 開箱
    • 處理器
    • 主機板
    • 顯示卡
    • 記憶體
    • 儲存 | SSD | HDD | 外接盒
    • 水冷散熱器 | 空冷散熱器 | 風扇
    • 機殼 | 電源 | 配件
    • 顯示器
    • 周邊 | 鍵盤 | 滑鼠 | 耳機 | 麥克風
    • 筆記型電腦 | 桌上型電腦 | 電競掌機
    • 手機 | 分享器 | 無線網路
    • 顯示卡驅動 | 晶片組驅動
    • 其他硬體
  • 新聞
  • 新聞稿
  • 軟體
  • 聯絡

Copyright © © 2025 UNIKO's Hardware All rights reserved. | 網頁設計: 帶路姬數位科技有限公司.