UNIKO's Hardware
  • 評測
    • 處理器
    • 主機板
    • 顯示卡
    • 記憶體
    • 儲存 | SSD | HDD | 外接盒
    • 水冷散熱器 | 空冷散熱器 | 風扇
    • 機殼 | 電源 | 配件
    • 顯示器
    • 周邊 | 鍵盤 | 滑鼠 | 耳機 | 麥克風
    • 筆記型電腦 | 桌上型電腦 | 電競掌機
    • 手機 | 分享器 | 無線網路
    • 顯示卡驅動 | 晶片組驅動
    • 其他硬體
  • 新聞
  • 新聞稿
  • 軟體
  • 聯絡
  • ZH-TW
    • ZH-TW
    • ZH-CN
    • EN
    • JA
    • KO
No Result
View All Result
UNIKO's Hardware
No Result
View All Result
UNIKO's Hardware
Home 新聞稿

AWS 上的 NVIDIA NIM 微服務大幅增強 AI 推論能力

經最佳化的 NIM 微服務現已開放使用

Press Release by Press Release
2024-12-05
in 新聞稿
0
Share on FacebookShare on Twitter
Press Release

AWS 上的 NVIDIA NIM 微服務大幅增強 AI 推論能力

生成式人工智慧(AI)正在快速改變各產業的發展樣貌,帶動對安全且高效能推論解決方案的需求,以有效率又具備成本效益的方式擴充日益複雜的模型。

擴大與 NVIDIA 的合作範圍,Amazon Web Services(AWS)今日在 AWS re : Invent 年度大會上宣布已經將 NVIDIA NIM 微服務擴展至主要的 AWS AI 服務,以支援更快速的 AI 推論,以及減少生成式 AI 應用的延遲時間。

NVIDIA NIM 微服務現在可以直接在 AWS Marketplace、Amazon Bedrock Marketplace 和 Amazon SageMaker JumpStart 取得,讓開發人員可以更輕鬆為常用模型大規模部署經過 NVIDIA 最佳化的推論功能。

NVIDIA NIM 微服務現已拓展至 AWS 上

NVIDIA NIM 是 AWS Marketplace 提供的 NVIDIA AI Enterprise 軟體平台一部分,為開發人員提供一套簡單易用的微服務,專為在跨雲端、資料中心和工作站安全可靠地部署高效能、企業級 AI 模型推論而設計。

這些預先建置的容器建置在強大的推論引擎上,例如 NVIDIA Triton 推論伺服器、NVIDIA TensorRT、NVIDIA TensorRT-LLM 與 PyTorch,並支援廣泛的 AI 模型,從開源社群模型到 NVIDIA AI Foundation 模型與客製化模型。

NIM 微服務可以部署於各種 AWS 服務,包括 Amazon Elastic Compute Cloud(EC2)、Amazon Elastic Kubernetes Service(EKS)、Amazon Machine Image(AMI)及 Amazon SageMaker。

開發人員可以在 NVIDIA API 目錄上預覽超過 100 個由常用模型與模型系列所建立起的 NIM 微服務,包括 Meta 的 Llama 3、Mistral AI 的 Mistral 與 Mixtral、NVIDIA Nemotron、Stability AI 的 SDXL 等。最常用的模型都可自行託管部署在 AWS 服務上,並且經過最佳化,能夠在 AWS 上的 NVIDIA 加速運算執行個體上運行。

現在可直接在 AWS 上取得的 NIM 微服務包含:

  • NVIDIA Nemotron-4 可在 Amazon Bedrock Marketplace、Amazon SageMaker Jumpstart 和 AWS Marketplace 上取得。這是一款尖端的大型語言模型,專門用於產生近似真實世界資料的多樣化合成資料,可增強多個領域客製化大型語言模型的效能與穩健性。
  • Llama 3.1 8B-Instruct 開放在 AWS Marketplace 上取得。這個有著 80 億個參數的多語言大型語言模型已針對語言理解、推理和文字產生使用個案進行預先訓練及指令調校。
  • Llama 3.1 70B-Instruct 可以在 AWS Marketplace 上取得。這個有著 700 億個參數,且完成預先訓練、指令調校的模型已針對多語言對話進行最佳化。
  • Mixtral 8x7B Instruct v0.1 能夠在 AWS Marketplace 上使用。這個權重開源的高品質稀疏混合專家模型可以遵循指令、完成請求與產生創意的文字格式。

AWS 上適用於每個人的 NIM

各產業的客戶及合作夥伴都在利用 AWS 上的 NIM 來加快上市速度、維持生成式 AI 應用與資料的安全性及控制力,並降低成本。

IT 諮詢與數位服務供應商 SoftServe 已開發出六個完全部署在 AWS 上,且由 NVIDIA NIM 與 AWS 服務加速的生成式 AI 解決方案。這些解決方案在 AWS Marketplace 上提供,包括 SoftServe Gen AI Drug Discovery、SoftServe Gen AI Industrial Assistant、Digital Concierge、Multimodal RAG System、Content Creator 和 Speech Recognition Platform。

這些解決方案均以 NVIDIA AI Blueprints 為基礎,這套全面性的參考工作流程能夠加快開發和部署 AI 應用,並且具備 NVIDIA 加速函式庫、軟體開發套件及 NIM 微服務,適用於 AI 代理、數位孿生等方面。

立即開始使用 AWS 上的 NIM

開發人員可以按照自己的獨特需求與要求,在 AWS 上部署 NVIDIA NIM 微服務。如此一來,開發人員和企業就能藉由各種 AWS 服務,利用經過 NVIDIA 最佳化的推論容器發展出高效能 AI。

歡迎造訪 NVIDIA API 目錄試用超過 100 種不同的 NIM 最佳化模型,並且申請開發人員授權或 90 天的 NVIDIA AI Enterprise 試用授權,即可開始在 AWS 服務上部署微服務。開發人員也可以在 AWS Marketplace、Amazon Bedrock Marketplace 或 Amazon SageMaker JumpStart 探索 NIM 微服務。

請參閱有關軟體產品資訊的通知。

Tags: NVIDIA
Previous Post

UH 教你如何為 Windows 10 LTSC 和 Windows 11 LTSC 加入 Microsoft Store

Next Post

Intel Xe3 架構顯示卡硬體確認已開發完成,下世代 Xe4 Druid 架構全速推進中

Press Release

Press Release

原廠新聞稿編輯

Next Post
Intel Xe3 架構顯示卡硬體確認已開發完成,下世代 Xe4 Druid 架構全速推進中

Intel Xe3 架構顯示卡硬體確認已開發完成,下世代 Xe4 Druid 架構全速推進中

Windows 10 支援期即將結束,升級選華碩商用電腦給你最可靠的 Windows 11 體驗

Windows 10 支援期即將結束,升級選華碩商用電腦給你最可靠的 Windows 11 體驗

遊戲效能 UP!AMD 發佈 AMD Software : Adrenalin Edition 24.12.1 版驅動軟體

遊戲效能 UP!AMD 發佈 AMD Software : Adrenalin Edition 24.12.1 版驅動軟體

發佈留言 取消回覆

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

ROG-玩家共和國專頁
Cloudways 主機

關於我們

UNIKO’s Hardware Follow us for the latest PC hardware news, unboxing, reviews and everything in-between!

UNIKO’s Hardware 玩家觀點看產品,真實呈現! 華人圈最可愛的電腦硬體評測開箱、3C業界新聞、電腦改裝、遊戲電競!

熱門標籤

主機板 (213) 儲存 | SSD | HDD | 外接盒 (69) 其他硬體 (7) 周邊 | 鍵盤 | 滑鼠 | 耳機 | 麥克風 (100) 手機 | 分享器 | 無線網路 (45) 新聞 (3885) 新聞稿 (1542) 機殼 | 電源 | 配件 (125) 水冷散熱器 | 空冷散熱器 | 風扇 (112) 筆記型電腦 | 桌上型電腦 | 電競掌機 (47) 處理器 (116) 記憶體 (60) 評測開箱 (1508) 軟體 (514) 顯示卡 (195) 顯示卡驅動 | 晶片組驅動 (346) 顯示器 (10)

熱門架站軟體教學

  • 什麼是 WordPress?
  • WordPress 架站的五大步驟
  • WordPress 三大新手主機完整比較
  • 如何用 WordPress 自架部落格
  • 如何用 WordPress 自架形象官網
  • 如何用 WordPress 自架型錄購物網站
  • 評測
  • 新聞
  • 軟體
  • 聯絡

Copyright © © 2025 UNIKO's Hardware All rights reserved. | 網頁設計: 帶路姬數位科技有限公司.

No Result
View All Result
  • 評測 & 開箱
    • 處理器
    • 主機板
    • 顯示卡
    • 記憶體
    • 儲存 | SSD | HDD | 外接盒
    • 水冷散熱器 | 空冷散熱器 | 風扇
    • 機殼 | 電源 | 配件
    • 顯示器
    • 周邊 | 鍵盤 | 滑鼠 | 耳機 | 麥克風
    • 筆記型電腦 | 桌上型電腦 | 電競掌機
    • 手機 | 分享器 | 無線網路
    • 顯示卡驅動 | 晶片組驅動
    • 其他硬體
  • 新聞
  • 新聞稿
  • 軟體
  • 聯絡

Copyright © © 2025 UNIKO's Hardware All rights reserved. | 網頁設計: 帶路姬數位科技有限公司.