Press Release

AMD 與 Unsloth 宣布展開合作,成為全球首款獲 Unsloth Desktop 支援的 NPU (神經網路處理器),,AMD XDNA 2 NPU 讓上百款代理式 AI 應用程式與工作流程,皆能在支援的 AMD Ryzen AI PC 上執行本地 NPU 推論,同時保留 CPU 與 GPU 資源以因應其他應用程式需求。此項整合延續 AMD 持續擴展並最佳化軟體支援的承諾,將專屬的 NPU 加速能力引進更多日常使用工具中。
Unsloth Desktop 現支援 AMD NPU 推論
重點摘要:
- 支援超過 100 款代理式應用程式與工作流程:Unsloth Desktop API 讓相容工具能夠使用本地模型推論功能,涵蓋 OpenClaw、Cline、LangChain 以及 GitHub Copilot 等。Unsloth 橫跨模型開發與部署,不僅提供能加速微調並降低 GPU 記憶體需求的開源工具,更推出無需撰寫程式碼即可進行訓練與推論的桌上型應用程式。AMD NPU 的支援將此產業體系從傳統的 CPU 與 GPU 運算進一步向外延伸,為使用者提供高能效的推論選項,並連接超過 100 款相容的代理式 AI 應用程式與工作流程。
- 高能效的 AI 運算體驗:將支援的推論工作負載轉移至 NPU 執行,有助於延長電池續航力,並為其他應用程式保留 CPU 與 GPU 運算資源。AI 代理能夠透過相互連接的工具執行多步驟任務,透過本地 NPU 推論能力,相容的 AI 代理在處理各項模型請求時能展現更高的能效,同時保留 CPU 與 GPU 資源以專注於任務編排 (orchestration) 與其他應用程式運作,協助使用者減少逐一管理任務步驟所花費的時間,將更多精力投入於審視最終成果。
- 由 Lemonade 與 FastFlowLM 提供技術支援:此整合架構將 Unsloth Desktop 與專屬的 AMD NPU 加速能力緊密連結。當相容的應用程式向 Unsloth Desktop API 發送模型請求時,將由 Lemonade 與 FastFlowLM 負責在 AMD XDNA 2 NPU 上執行模型服務 (Model Serving) 與推論,隨後再將模型回應傳回應用程式以延續其工作流程。在此分工模式下,NPU 專責加速支援的模型推論任務,而應用程式的其他功能則依需求繼續靈活運用 PC 的 CPU 與 GPU 資源。











