NVIDIA 今日發表全新的 NVIDIA Omniverse 函式庫與 NVIDIA Cosmos 世界基礎模型 (WFM)，加速開發及部署機器人解決方案。
NVIDIA Omniverse 和 Cosmos 全新升級
該函式庫與模型採用全新的 NVIDIA RTX PRO 伺服器與 NVIDIA DGX Cloud，可讓開發者隨時隨地開發物理上精確的數位孿生、擷取真實世界並於模擬環境中重建、生成訓練物理 AI 模型用的合成資料，以及打造理解物理世界的 AI 代理。
NVIDIA Omniverse 與模擬技術部副總裁 Rev Lebaredian 表示：「電腦繪圖正與 AI 技術融合，徹底革新機器人技術領域。NVIDIA 結合 AI 推理與符合物理定律的可擴充模擬技術，讓開發者能打造翻轉數兆美元產值的未來機器人與自駕車。」
全新的 NVIDIA Omniverse 函式庫推進世界合成應用發展
全新的 NVIDIA Omniverse 軟體開發套件 (SDK) 與函式庫現已推出，可用於打造及部署工業 AI 與機器人模擬應用。
全新Omniverse SDK 導入MuJoCo (MJCF) 與通用場景描述 (OpenUSD) 資料互通功能，讓 250,000 多名 MJCF 機器人學習開發者順利跨平台模擬機器人。
全新的 Omniverse NuRec 函式庫與 AI 模型採用 Omniverse RTX 光線追蹤的 3D Gaussian Splatting 渲染技術，可讓開發者使用感測器資料擷取真實世界，於 3D 環境重建及模擬。
NVIDIA Isaac Sim 5.0 與 NVIDIA Isaac Lab 2.2 開源機器人模擬技術與學習框架現已在 GitHub 上架。Isaac Sim 現在包含 NuRec 神經渲染及全新基於的 OpenUSD 機器人技術和感測器架構，協助機器人開發者拉近模擬與現實的差距。
- 全新 Omniverse SDK 導入MuJoCo (MJCF) 與通用場景描述 (OpenUSD) 資料互通功能，讓 250,000 多名 MJCF 機器人學習開發者順利跨平台模擬機器人。
- 全新的 Omniverse NuRec 函式庫與 AI 模型採用 Omniverse RTX 光線追蹤的 3D Gaussian Splatting 渲染技術，可讓開發者使用感測器資料擷取真實世界，於 3D 環境重建及模擬。
- NVIDIA Isaac Sim 5.0 與 NVIDIA Isaac Lab 2.2 開源機器人模擬技術與學習框架現已在 GitHub 上架。Isaac Sim 現在包含 NuRec 神經渲染及全新基於的 OpenUSD 機器人技術和感測器架構，協助機器人開發者拉近模擬與現實的差距。
Omniverse NuRec 渲染技術現已整合至 CARLA；這款頂尖的開源模擬器廣受 150,000 多名開發者青睞。自駕車工具鏈領導者 Foretellix 正在整合 NuRec 、NVIDIA Omniverse Sensor RTX 與 Cosmos Transfer，以透過物理精準的情境提升其可擴充的合成資料生成能力。Voxel51 的視覺與多模態 AI 資料引擎 FiftyOne 支援 NuRec，可減輕重建時準備資料的重擔。FiftyOne 的使用者包括福特與保時捷。
Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel 與 Skild AI 紛紛採用 Omniverse 函式庫、Isaac Sim 和 Isaac Lab，加速開發 AI 機器人技術。Amazon Devices & Services 則使用上述技術驅動全新製造解決方案。
Cosmos 為機器人技術領域推動世界生成技術發展
Cosmos WFM 下載次數逾 200 萬，可讓開發者利用文字、影像與影片提示，生成大規模訓練機器人用的各種資料。
於 SIGGRAPH 發表的全新模型，生成合成資料的速度、準確性、語言支援和控制能力皆突飛猛進：
- Cosmos Transfer-2 現在簡化了提示流程，並且加速從真實 3D 模擬場景或是深度資料、影像分割、邊緣和高解析度地圖等空間控制輸入資料，生成逼真合成資料的過程。
- 蒸餾版 Cosmos Transfer 將 70 個步驟的蒸餾程序減化為單一步驟，因此開發者可以前所未有的速度在 NVIDIA RTX PRO 伺服器執行該模型。
Lightwheel、Moon Surgical 與 Skild AI 紛紛運用 Cosmos Transfer 大規模模擬各種條件，加速物理 AI 訓練。
Cosmos Reason 突破對世界的認知
OpenAI 的 CLIP 模型問世以來，視覺語言模型 (VLM) 徹底改變了物體與模式識別這類電腦視覺工作。然而，這類模型依舊無法解決多步驟工作，也無法處理模糊情況或新穎體驗。
NVIDIA Cosmos Reason 是適用於物理 AI 與機器人的全新開放式、可完全客製化，並具備70億個參數的推理視覺語言模型，讓機器人與視覺 AI 代理跟人類一樣，運用既有知識、物理概念與常識，在理解真實世界後採取行動。
Cosmos Reason 適用於機器人技術與物理 AI 應用，包括：
- 資料庋用與註釋可讓開發者將大量多樣化訓練資料集的高品質庋用與註釋工作自動化。
- 機器人規劃與推理技術猶如機器人視覺語言行動 (VLA) 模型的大腦，讓模型深思熟慮有條不紊做出決策。Cosmos Reason 讓機器人解讀環境、在收到複雜的指令後將指令分解為各種工作，而且即使在不熟悉的環境，也能運用常識執行這些工作。
- 影片分析 AI 代理建置在適用於影片搜尋和摘要的 NVIDIA Blueprint，不僅能擷取寶貴的深入解析，還能對大量影片資料執行根本原因分析。
NVIDIA 的機器人與 NVIDIA DRIVE 團隊正使用 Cosmos Reason 進行資料庋用與篩選、註釋及機器人視覺語言行動後期訓練。Uber 正利用該技術為自駕車訓練資料加上註釋和字幕。
Magna 採用 Cosmos Reason 開發其 City Delivery 平台。這個平台是全自動化、低成本的即時配送解決方案，可協助車輛更快速適應新城市。Cosmos Reason 為車輛的長期軌跡規劃器增添世界理解能力。VAST Data、Milestone Systems 與 Linker Vision 正採用 Cosmos Reason，將城市與工業環境交通監控、提高安全性與強化視覺檢查的工作自動化。
全新的 NVIDIA AI 基礎架構驅動各地機器人工作負載
NVIDIA 發表專為要求最苛刻工作負載設計的 AI 基礎架構，讓開發者能充分利用這些先進的技術與軟體函式庫。
- NVIDIA RTX PRO Blackwell 伺服器提供的單一架構，適用於訓練、合成資料生成、機器人學習與模擬領域的各項機器人開發工作負載。
- NVIDIA DGX Cloud 現已在 Microsoft Azure Marketplace 上架，為 Omniverse 開發者提供全託管平台，可簡化從雲端大規模串流基於 OpenUSD 技術與 NVIDIA RTX 技術應用程式的過程，盡可能減少基礎架構協調與管理作業。率先採用該平台的業界領導者包括 Accenture 與 Hexagon。
加速開發者生態系
此外，為了協助機器人與物理 AI 開發者帶動採用 3D 與模擬技術，NVIDIA 還宣布：
- OpenUSD 課程與認證，以因應對於 USD 專業知識的需求，而且共襄盛舉的 AOUSD 成員包括 Adobe、Amazon Robotics、Synposys 旗下 Ansys、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS 與 Trimble，以及 Hexagon 等業界領導者。
- Lightwheel 的開源合作案，旨在將機器人政策訓練和評估框架整合至 NVIDIA Isaac Lab，提供機器人操控與移動的平行強化學習訓練功能、基準測試，以及模擬現成可用的資產。
