為響應政府推動 AI 產業化的政策腳步，AMD 受邀擔任數位發展部數位產業署「2024 年 AI+ 新銳選拔賽」的需求業者，助力 AI 新創團隊開發創新 AI 解決方案，此次與生態系夥伴共同提案，包含與數位通國際及數位無限合作，共同輔導社群洞察公司使用 AMD Instinct MI300X 加速器，對特定法令釋疑建立大語言模型；另外與撼訊科技合作，共同輔導繆偲公司、雲林科技大學醫學影像處理實驗室及虎智科技，運用 AMD Radeon RX 7900 XT 顯示卡進行多項 AI 推論應用，攜手落實 AI 應用、推動 AI 產業發展。
AMD AI 解決方案持續推動產業前進
AI 新創團隊經過數個月的努力，由數位發展部數位產業署審核、並獲得 AI+ 新銳廠商獎項的肯定，各新創團隊的簡介以及所建立的 AI 應用如下：
「社群洞察公司」提供成熟的生成式 AI 解決方案，協助組織建立 AI 代理 (AI Agent)，實現無痛轉型、邁向智慧化升級。透過蒐集、整理與分析來自各種社群媒體的龐大數據，協助企業、品牌、政府機關等客戶，更深入地了解目標受眾、掌握市場趨勢、優化行銷策略，並做出更明智的決策。在本次選拔賽中，社群洞察公司推出採用 AMD Instinct MI300X 加速器的「法令釋疑智慧小幫手」，憑藉其強大算力在模型訓練與推論兩階段均展現無與倫比的效率。AMD Instinct MI300X 加速器基於 AMD CDNA 3 架構，配備最優異的 192GB HBM3 記憶體容量以及每秒 5.3TB 的峰值記憶體頻寬，能夠一次性載入更多繁體中文法令資料進行訓練，支援更大規模的模型參數最佳化。在日常 fine-tuning 的訓練過程需求，甚至僅需半小時就完成經常性的模型微調工程。在推論的部分，AMD Instinct MI300X 加速器同樣展現出色的運算能力。「法令釋疑智慧小幫手」能即時協助第一線戶政人員快速檢索並解讀法令函釋內容，將原本繁瑣的查找流程時間大幅縮減 30%。
「繆偲 (Voiss)」以 AI 智慧對話互動式內容平台為核心服務，其跨領域專家經驗標記與審查知識框架能用於即時評分系統中的開放式問題和模擬對話演練，提供專業且精準的評估。目前市面上的生成式 AI 工具過於通用，且只能回答簡單問題，難以應對製造業的需求；或者過度客製化，耗費大量時間成本，對企業導入門檻過高。透過與 AMD 及撼訊科技的合作，繆偲使用 AMD Radeon RX 7900 XT 顯示卡系統性的建立 PLM 知識庫邏輯，並針對製造工廠的產線維修紀錄進行意圖識別，訓練出精準的專屬大型語言模型 (LLM)，逐步實現模組化與規模化解決方案，以降低邊際成本。通過客戶實測各種非預期內的需求及問題，其驗證準確率達 99% 以上，藉此提升工廠端的知識累積和產能，並打造本地端生成式 AI 的知識管理解決方案。
「國立雲林科技大學醫學影像處理實驗室」成立於 2003 年，由即將接任校長的張傳育教授所指導，研究重點聚焦於 AI 智慧辨識、醫學影像處理及分析、新生兒哭聲辨識技術、AOI 自動光學檢測之技術研發，並致力培養應用機器學習及影像處理技術能力，目前已與台大醫院雲林分院、成大醫院、大林慈濟醫院等醫師團隊合作開發多項 AI 輔助診斷系統。實驗室於本次競賽使用撼訊科技所提供的 AMD Radeon RX 7900 XT 顯示卡開發具 Re-Rank 機制的 RAG LLM AI 機器人。Radeon RX 7900 XT 顯示卡提供 20GB 的高速 GPU 記憶體和 168 個 AI 加速器，更緊湊的封裝提供更低功耗需求，在 PyTorch 上加速機器學習研發動能。同時藉由 AMD ROCm 開放軟體堆疊與 PyTorch 框架的高度相容性，讓開發流程更加流暢。
「虎智科技」為臺灣科技大學傑出校友聯誼會攜手創新育成中心投資成立的新創公司。為了普及 AI 於產業運用，由撼訊科技全力支援 AI GPU，提供研發資源協助開發 AI 助理機器人產品，力助新創團隊的 AI 軟硬體技術為建築設計產業帶來進步和貢獻。本次參賽由臺科大智慧製造所陳子立、鄧志峰、工管系李應豪三位教授帶領研究所同學一起進行研發。透過撼訊科技提供工廠內的產品維修資料，得以實踐 AI 技術，並在研發實驗獲得 Multi-Agent RAG 突破發展。其中特別使用 AMD Radeon RX 7900 XT 顯示卡時發現，在同級產品的對比中，AMD 在 AI 表現上有著更高性價比特性，未來推廣 AI 應用上將有助於企業最佳化其 AI 系統的建置成本。
AMD 亦持續推進 AI 軟體功能和開放產業體系的發展，在 AMD ROCm 開放軟體堆疊中帶來支援生成式 AI 工作負載訓練和推論的最新功能。ROCm 為 FlashAttention、HIPGraph 與 vLLM 等多個生成式AI全新關鍵功能新增支援，可透過 PyTorch、Triton、Hugging Face 等最為廣泛使用的開源 AI 軟體模型、演算法與框架，驅動創新、簡化部署 AMD AI 解決方案與釋放生成式 AI 的真正潛力。目前，AMD 開放軟體堆疊包括支援 AMD Instinct 加速器與 AMD Radeon 顯示卡的 AMD ROCm，支援自行調適加速器、SoC 和 FPGA 的 AMD Vitis AI，以及支援 AMD EPYC 處理器的 AMD ZenDNN 開源函式庫。此外，AMD 也正朝整合式 AI 軟體堆疊的方向發展，助力開發者在 AMD 所有產品組合中都能使用熟悉的 AI 架構，並針對任何 AMD 裝置進行開發。
有關數位發展部數位產業署「2024 年 AI+ 新銳選拔賽」的更多資訊，敬請參閱活動官網。
