UNIKO's Hardware
  • 評測
    • 處理器
    • 主機板
    • 顯示卡
    • 記憶體
    • 儲存 | SSD | HDD | 外接盒
    • 水冷散熱器 | 空冷散熱器 | 風扇
    • 機殼 | 電源 | 配件
    • 顯示器
    • 周邊 | 鍵盤 | 滑鼠 | 耳機 | 麥克風
    • 筆記型電腦 | 桌上型電腦 | 電競掌機
    • 手機 | 分享器 | 無線網路
    • 顯示卡驅動 | 晶片組驅動
    • 其他硬體
  • 新聞
  • 新聞稿
  • 軟體
  • 聯絡
  • ZH-TW
    • ZH-TW
    • ZH-CN
    • EN
    • JA
    • KO
No Result
View All Result
UNIKO's Hardware
No Result
View All Result
UNIKO's Hardware
Home 新聞稿

增進消費級大型語言模型效率!AMD Ryzen AI 300 系列處理器釋放語言模型巔峰效能

Press Release by Press Release
2024-11-07
in 新聞稿
0
Share on FacebookShare on Twitter
Press Release

增進消費級大型語言模型效率!AMD Ryzen AI 300 系列處理器釋放語言模型巔峰效能

語言模型自 GPT-2 以來已取得大幅進步,使用者現在可以藉由 LM Studio 等消費級應用程式,快速且輕鬆地部署高度複雜的大型語言模型 (LLM)。透過與 AMD 合作,這些工具讓每個人都能簡便的使用人工智慧 (AI),且無需具備太多程式開發或技術知識。

AMD Ryzen AI 300 系列處理器為 LLM 挹注效能

llama.cpp 和 LM Studio 概述

LM Studio 基於 llama.cpp 項目,是一個廣受歡迎的框架,用於快速且輕鬆地部署語言模型。LM Studio 沒有相依性 (dependencies),僅使用 CPU 即可進行加速,亦支援 GPU 加速功能。LM Studio 使用 AVX2 指令集來加速基於 x86 CPU 的現代 LLM。

效能對比:吞吐量和延遲

採用 Zen 5 架構的 AMD Ryzen AI 9 HX 375 在消費級 LLM 應用程式中帶來高達 27% 的效能提升。

AMD Ryzen AI 為這些最先進的工作負載進行加速,在 x86 筆電上運行 LM Studio 等基於 llama.cpp 的應用程式提供領先業界的效能。值得注意的是,LLM 通常對記憶體速度非常敏感。

在 AMD 的對比測試中,Intel 筆電的 RAM 實際上速度較快,達到 8533 MT/s,而 AMD 筆電的 RAM 為 7500 MT/s。儘管如此,AMD Ryzen AI 9 HX 375 處理器的每秒 token 生成速度 (tokens per second) 比競爭對手快出高達 27%。參考資料顯示 tokens per second (tk/s) 是測量 LLM 輸出 token 速度的指標,大約對應於每秒在螢幕上顯示的字數。

AMD Ryzen AI 9 HX 375 處理器在 Meta Llama 3.2 1b Instruct (4-bit 量化) 中可實現每秒高達 50.7 個 token 的效能。

對大型語言模型進行基準測試的另一個指標是「輸出首個 token 的時間 (time to first token)」,測量從提交提示 (prompt) 至模型開始生成 token 之間的延遲時間。在較大模型中,基於 AMD “Zen 5” 架構的 Ryzen AI HX 375 處理器的速度相較競爭對手的同級處理器快出高達 3.5 倍。

採用 Zen 5 架構的 AMD Ryzen AI 9 HX 375 在消費級 LLM 應用程式中延遲降低達 3.5 倍。

在 Windows 中使用可變顯示記憶體 (VGM) 來提高模型吞吐量

AMD Ryzen AI CPU 中的三個加速器各自擁有特定的工作負載專業化和擅長的情境。基於 AMD XDNA 2 架構的 NPU 在執行 Copilot+ 工作負載時為持續的 AI 功能提供卓越的功耗效率,CPU 為工具和框架提供廣泛的覆蓋範圍和相容性,而內顯 (iGPU) 通常根據需求處理 AI 任務。

LM Studio 提供 llama.cpp 的連接埠 (port),可使用與供應商無關 (vendor-agnostic) 的 Vulkan API 來加速框架。此加速通常取決於硬體功能和 Vulkan API 的驅動程式最佳化的組合。與僅使用 CPU 模式相比,在 LM Studio 中開啟 GPU offload 後 Meta Llama 3.2 1b Instruct 的效能平均提升 31%。Mistral Nemo 2407 12b Instruct 等較大模型在 token 生成階段由於受到頻寬限制,平均效能提升 5.1%。

AMD 觀察到在 LM Studio 中使用基於 Vulkan 的 llama.cpp 版本並開啟 GPU offload 時,與僅使用 CPU 的模式相比,競爭對手處理器除了其中一個模型外,其餘測試模型的平均效能皆明顯較低。因此,為了保持對比測試的公平性,測試中沒有將 Intel Core Ultra 7 258v 在 LM Studio 中使用基於 Vulkan 之 Llama.cpp 的 GPU-offload 效能納入比較。

iGPU 加速和 VGM 提升消費級 LLM 的效能。

AMD Ryzen AI 300 系列處理器還包括一項名為可變顯示記憶體 (VGM) 的功能。通常程式會利用為 iGPU 分配的 512 MB 專用記憶區塊,以及位於系統 RAM「共享」部分的第二個記憶區塊。VGM 讓使用者將 512 MB 的「專用」分配擴展到高達 75% 的可用系統 RAM 容量。這種連續記憶體的分配顯著提升了對記憶體敏感應用程式的吞吐量。

在開啟 VGM(16GB) 後,Meta Llama 3.2 1b Instruct 的效能平均提升 22%,與使用 iGPU 加速並結合 VGM 的 CPU 模式相比,平均速度共提升 60%。Mistral Nemo 2407 12b Instruct 等更大模型相較僅使用 CPU 的模式,帶來高達 17% 的效能提升。

同步比較:Mistral 7b Instruct 0.3

儘管競爭對手的筆電在 LM Studio 中使用基於 Vulkan 的 Llama.cpp 版本沒有提供加速,AMD 仍使用 Intel AI Playground 應用程式 (基於 IPEX-LLM 和 LangChain) 來比較 iGPU 效能,力求在最佳的消費級 LLM 體驗之間進行公平的比較。

Mistral 7b Instruct 0.3 測試。

AMD 使用 Intel AI Playground 提供的模型,即 Mistral 7b Instruct v0.3 和 Microsoft Phi 3.1 Mini Instruct。在 LM Studio 中使用可比較的量化後,發現 AMD Ryzen AI 9 HX 375 在 Phi 3.1 的速度比競爭對手快 8.7%,在 Mistral 7b Instruct 0.3 的速度則快 13%。

AMD Ryzen AI 9 HX 375 的 iGPU 加速效能。

AMD 致力於推進 AI 技術的發展,讓每個人皆能使用 AI。若最新的 AI 進展被設置在高門檻的技術或編碼技能,這目標將無法實現,這就是為何 LM Studio 等應用如此重要。除了能夠快速且輕鬆地在本地部署 LLM 外,這些應用程式讓使用者在 llama.cpp 項目支援該架構的情況下,第一時間體驗最先進的模型。

AMD Ryzen AI 加速器提供卓越效能,開啟 VGM 等功能可為AI使用案例提供更好的效能。所有因素結合起來後,為 x86 筆電上的語言模型提供了令人驚豔的使用者體驗。

欲親自體驗 LM Studio,請參閱此連結。

Tags: AMD
Previous Post

再掀排隊盛況!AMD Ryzen 7 9800X3D 開賣日湧現購買人潮

Next Post

現在購買曜越 The Tower 600 與 The Tower 300 水冷電競電腦,即送《猛毒最終章:最後一舞》電影聯名贈品

Press Release

Press Release

原廠新聞稿編輯

Next Post
現在購買曜越 The Tower 600 與 The Tower 300 水冷電競電腦,即送《猛毒最終章:最後一舞》電影聯名贈品

現在購買曜越 The Tower 600 與 The Tower 300 水冷電競電腦,即送《猛毒最終章:最後一舞》電影聯名贈品

專注於 AI 創新!圓剛直播大師 Streaming Center 與 AI 邊緣運算系統 D115W 榮獲 2025 台灣精品獎

專注於 AI 創新!圓剛直播大師 Streaming Center 與 AI 邊緣運算系統 D115W 榮獲 2025 台灣精品獎

AMD 2024 第三季創伺服器收入新高,桌上型及行動處理器市佔強勁

AMD 2024 第三季創伺服器收入新高,桌上型及行動處理器市佔強勁

發佈留言 取消回覆

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

ROG-玩家共和國專頁
Cloudways 主機

關於我們

UNIKO’s Hardware Follow us for the latest PC hardware news, unboxing, reviews and everything in-between!

UNIKO’s Hardware 玩家觀點看產品,真實呈現! 華人圈最可愛的電腦硬體評測開箱、3C業界新聞、電腦改裝、遊戲電競!

熱門標籤

主機板 (212) 儲存 | SSD | HDD | 外接盒 (69) 其他硬體 (7) 周邊 | 鍵盤 | 滑鼠 | 耳機 | 麥克風 (100) 手機 | 分享器 | 無線網路 (45) 新聞 (3884) 新聞稿 (1522) 機殼 | 電源 | 配件 (125) 水冷散熱器 | 空冷散熱器 | 風扇 (112) 筆記型電腦 | 桌上型電腦 | 電競掌機 (47) 處理器 (116) 記憶體 (60) 評測開箱 (1507) 軟體 (512) 顯示卡 (195) 顯示卡驅動 | 晶片組驅動 (343) 顯示器 (10)

熱門架站軟體教學

  • 什麼是 WordPress?
  • WordPress 架站的五大步驟
  • WordPress 三大新手主機完整比較
  • 如何用 WordPress 自架部落格
  • 如何用 WordPress 自架形象官網
  • 如何用 WordPress 自架型錄購物網站
  • 評測
  • 新聞
  • 軟體
  • 聯絡

Copyright © © 2025 UNIKO's Hardware All rights reserved. | 網頁設計: 帶路姬數位科技有限公司.

No Result
View All Result
  • 評測 & 開箱
    • 處理器
    • 主機板
    • 顯示卡
    • 記憶體
    • 儲存 | SSD | HDD | 外接盒
    • 水冷散熱器 | 空冷散熱器 | 風扇
    • 機殼 | 電源 | 配件
    • 顯示器
    • 周邊 | 鍵盤 | 滑鼠 | 耳機 | 麥克風
    • 筆記型電腦 | 桌上型電腦 | 電競掌機
    • 手機 | 分享器 | 無線網路
    • 顯示卡驅動 | 晶片組驅動
    • 其他硬體
  • 新聞
  • 新聞稿
  • 軟體
  • 聯絡

Copyright © © 2025 UNIKO's Hardware All rights reserved. | 網頁設計: 帶路姬數位科技有限公司.