美國加利福尼亞州圣何塞  GTC  太平洋時間 2025 年 3 月 18日  NVIDIA 今日宣布推出全新 NVIDIA Cosmos 世界基礎(chǔ)模型 (WFM) 的重大更新，該模型引入了開放式、可完全定制的物理 AI 開發(fā)推理模型，讓開發(fā)者以前所未有的方式控制世界生成。



● 新模型可實現(xiàn)物理 AI 的預(yù)測、可控世界生成和推理
● 兩款全新Blueprint為機(jī)器人和自動駕駛汽車后訓(xùn)練提供海量物理 AI 合成數(shù)據(jù)生成技術(shù)
● 1X、Agility Robotics、Figure AI、Skild AI 是最早采用該技術(shù)的公司 

NVIDIA 還推出了兩款由 NVIDIA Omniverse 和 Cosmos 平臺提供支持的新藍(lán)圖，為開發(fā)者提供用于機(jī)器人和自動駕駛汽車后訓(xùn)練的大規(guī)模可控合成數(shù)據(jù)生成引擎。

1X、Agility Robotics、Figure AI、Foretellix、Skild AI 和 Uber 是首批采用 Cosmos 的企業(yè)，可更快、更大規(guī)模地為物理 AI 生成更豐富的訓(xùn)練數(shù)據(jù)。

“正如大語言模型改變了生成式和代理式 AI，Cosmos 世界基礎(chǔ)模型是物理 AI 的一項重大突破，”NVIDIA 創(chuàng)始人兼 CEO 黃仁勛表示。 “Cosmos 為物理 AI 帶來了一個開放式、可完全定制的推理模型，為機(jī)器人和物理工業(yè)領(lǐng)域的突破性發(fā)展帶來了機(jī)遇?！?

用于合成數(shù)據(jù)生成的 Cosmos? Transfer
Cosmos Transfer WFM 能夠吸收結(jié)構(gòu)化視頻輸入，如分割圖、深度圖、激光雷達(dá)掃描、姿態(tài)估計圖和軌跡圖等，以生成可控、逼真的視頻輸出。 

Cosmos Transfer 可簡化感知 AI 訓(xùn)練，將 Omniverse 中創(chuàng)建的 3D 仿真或真值轉(zhuǎn)換為逼真視頻，用于大規(guī)模可控合成數(shù)據(jù)生成。 

Agility Robotics 將是最早采用 Cosmos Transfer 和 Omniverse 進(jìn)行大規(guī)模合成數(shù)據(jù)生成，用以訓(xùn)練其機(jī)器人模型的公司之一。 

Agility Robotics 首席技術(shù)官 Pras Velagapudi 表示：“Cosmos 為我們提供了一個在真實世界可采集的數(shù)據(jù)之外，擴(kuò)展逼真訓(xùn)練數(shù)據(jù)的機(jī)會。我們很期待看到使用新平臺解鎖的新性能，同時充分利用我們已有的基于物理學(xué)的仿真數(shù)據(jù)?！?

用于自動駕駛汽車仿真的 NVIDIA Omniverse Blueprint借助 Cosmos Transfer 放大基于物理傳感器數(shù)據(jù)的變化。 借助該藍(lán)圖，F(xiàn)oretellix 可以通過為不同駕駛數(shù)據(jù)集改變天氣和光照等條件來豐富行為場景。 Parallel Domain 也正在使用該藍(lán)圖 將類似的變更應(yīng)用于他們的傳感器仿真。 

用于合成操作運(yùn)動生成的 NVIDIA GR00T Blueprint 結(jié)合了 Omniverse 和 Cosmos Transfer，可大規(guī)模生成多樣化數(shù)據(jù)集，利用 OpenUSD 驅(qū)動的仿真，將數(shù)據(jù)采集和增強(qiáng)時間從數(shù)天縮短到數(shù)小時。

Cosmos Predict 用于智能世界生成
一月在CES上宣布的Cosmos Predict WFM 能夠通過文本、圖像和視頻等多模態(tài)輸入生成虛擬世界狀態(tài)。 新的 Cosmos Predict 模型將支持多幀生成，在給定開始和結(jié)束輸入圖像的情況下，預(yù)測中間行為或運(yùn)動軌跡。 這些模型專為后訓(xùn)練而打造，可使用 NVIDIA 開放的物理 AI 數(shù)據(jù)集進(jìn)行定制。

借助 NVIDIA Grace Blackwell NVL72 系統(tǒng)及其龐大的 NVIDIA NVLink? 域的推理計算能力，開發(fā)者可以實現(xiàn)實時世界生成。 

1X 正在使用 Cosmos Predict 和 Cosmos Transfer 來訓(xùn)練其新型人形機(jī)器人 NEO Gamma。 機(jī)器人大腦開發(fā)商 Skild AI 正在利用 Cosmos Transfer 增強(qiáng)其機(jī)器人的合成數(shù)據(jù)集。 此外，Nexar 和 Oxa 正在使用 Cosmos Predict 來升級其自動駕駛系統(tǒng)。

用于物理 AI 的多模態(tài)推理
Cosmos Reason 是一個開放式、可完全定制的 WFM，具有時空感知能力，它使用思維鏈推理來理解視頻數(shù)據(jù)，并能夠預(yù)測交互結(jié)果，如一個人走進(jìn)人行道或一個盒子從架子上掉下來。

開發(fā)者可以使用 Cosmos Reason 來提升物理 AI 數(shù)據(jù)標(biāo)注和管理，增強(qiáng)現(xiàn)有世界基礎(chǔ)模型或創(chuàng)建新的視覺語言動作模型。 他們還可以對其進(jìn)行后訓(xùn)練，構(gòu)建高級規(guī)劃器，以指導(dǎo)物理 AI 如何完成所需操作。

加速物理 AI 的數(shù)據(jù)管理和后訓(xùn)練
基于其下游任務(wù)，開發(fā)者可以在 NVIDIA DGX Cloud 上使用原生 PyTorch 腳本或 NVIDIA NeMo 框架對 Cosmos WFM 進(jìn)行后訓(xùn)練。 

Cosmos 開發(fā)者還可以使用 DGX Cloud 上的 NVIDIA NeMo Curator 來加速數(shù)據(jù)處理和管理。 Linker Vision 和 Milestone Systems 正將其用于管理海量視頻數(shù)據(jù)，訓(xùn)練用于視覺智能體的大視覺語言模型，這些智能體基于 NVIDIA AI Blueprint 進(jìn)行視頻搜索和總結(jié)。Virtual Incision 正在探索將其部署在未來的手術(shù)機(jī)器人中，而 Uber 和 Waabi 正在推動自動駕駛汽車的開發(fā)。 

推動負(fù)責(zé)任的 AI 和內(nèi)容透明度
根據(jù) NVIDIA 一貫的可信 AI 原則，NVIDIA 在所有 Cosmos WFM 中都采用開放式護(hù)欄。 此外，NVIDIA 正在與 Google DeepMind 合作，將 SynthID 集成到水印中，幫助識別 Cosmos WFM NVIDIA NIM? 微服務(wù)的 AI 生成結(jié)果。

供貨情況
Cosmos WFM 可在 NVIDIA API 目錄中預(yù)覽，現(xiàn)已列入 Google Cloud 上的 Vertex AI Model Garden 中。 Cosmos Predict 和 Cosmos Transfer 在 Hugging Face 和 GitHub 上公開提供。 Cosmos Reason 開放搶先體驗。

了解更多，請觀看 NVIDIA GTC 主題演講，注冊參加 NVIDIA 和行業(yè)領(lǐng)導(dǎo)者參加的 Cosmos 會議與培訓(xùn)，包括 NVIDIA 生成式 AI 研究副總裁劉洺堉的“Cosmos 世界基礎(chǔ)模型簡介”。

關(guān)于NVIDIA
NVIDIA (NASDAQ: NVDA) 是加速計算領(lǐng)域的全球領(lǐng)導(dǎo)者。