NVIDIA publie quatre modèles ouverts Cosmos 3 pour simuler des scènes de conduite et des robots

Quatre variantes de Cosmos 3 Nano

NVIDIA ajoute quatre points de contrôle en poids ouverts à sa famille Cosmos 3, destinés à la simulation interactive de mondes et à la génération de scènes de conduite multi-capteurs. L'annonce figure dans un billet publié sur Hugging Face le 5 novembre 2026.

Les quatre modèles sont des variantes post-entraînées de Cosmos 3 Nano, avec 16 milliards de paramètres entraînables. Ils sont publiés sous licence OpenMDW1.1, qui autorise les usages commerciaux et non commerciaux selon ses termes. Selon le billet, Cosmos 3 repose sur une architecture Mixture-of-Transformers et sur un recipe d'entraînement en quatre étapes, incluant une distillation de cohérence et un self-forcing.

Ce que fait chaque modèle

• Cosmos3-Nano-Transfer-Auto génère des données de conduite multi-vues avec des conditions variées de météo, d'éclairage et d'heure de la journée. Il produit jusqu'à 11 vues caméra, fisheyes comprises, et supporte la génération conjointe RGB-LiDAR.
• Cosmos3-Nano-Sim-Auto est la variante en streaming, distillée de manière causale, de Transfer-Auto. Elle génère de petits segments successifs de vidéo caméra synchronisée et de LiDAR en quelques étapes de débruitage.
• Cosmos3-Nano-Sim-Transfer transforme les contrôles d'un simulateur (profondeur, segmentation, contours, flou) et un prompt texte en vidéo. La physique et la vérité terrain restent dans le simulateur.
• Cosmos3-Nano-Sim-Bimanual simule l'évolution d'un environnement selon les actions d'un robot bimanuel (YAM et AgiBot), piloté par une politique ou des joysticks.

Limites et points ouverts

Selon NVIDIA, le flux de configuration publié pour vLLM-Omni a été testé sur un GPU GB200. NVIDIA précise que ce test ne constitue pas une spécification minimale de mémoire.

NVIDIA indique aussi que le travail restant consiste à mesurer où les modèles soutiennent fidèlement l'apprentissage et l'évaluation de politiques, et à comprendre leurs limites. Les capacités décrites relèvent de la présentation par l'éditeur.