Cosmos 3 de NVIDIA: simulación interactiva de mundos en tiempo real para IA física

El contenido recibido es la página de presentación del laboratorio Cosmos de NVIDIA para «Interactive World Simulation with Cosmos for Physical AI». No es un artículo extenso: es una página de producto con cifras de rendimiento y descripciones breves. Por eso este resumen se limita a lo que aparece en ella.

La idea central es que una misma receta de post-entrenamiento convierte Cosmos 3 en modelos de mundo interactivos que funcionan en streaming y en tiempo real. Son «mundos que responden al control». Los nuevos controles condicionan el siguiente fragmento de vídeo. El modelo lo genera por difusión (denoising) y añade los controles y el vídeo ya limpios a un contexto en caché. Después repite el ciclo. Con ello se pueden simular acciones de cámara y de robot, generar observaciones RGB a partir de controles espaciales o producir vistas de conducción sincronizadas, siempre fragmento a fragmento.

NVIDIA presenta tres modelos, cada uno para un tipo de simulación.

1) Cosmos3-Nano-Sim-Bimanual. Simula el mundo a partir de acciones. Predice la dinámica visual a partir de navegación de cámara y acciones de robot, y usa el historial generado para producir la siguiente observación a medida que llegan nuevos controles. Según la página, alcanza 48,1 FPS con 166 ms de latencia a 480p en una sola GPU GB300. La página muestra cuatro rollouts de robots generados, con las acciones 3D de entrada sincronizadas. También afirma que logra mayor calidad de vídeo y mayor PSNR respecto al fotograma de referencia que DreamDojo 2B y 14B en AgiBot-World y AgiBot-GEAR.

2) Cosmos3-Nano-Sim-Transfer. Convierte controles espaciales en mundos visuales. Toma profundidad, segmentación, bordes o vídeo desenfocado y genera observaciones RGB detalladas. El lenguaje controla la apariencia, mientras el simulador mantiene el estado físico. Rinde 15,85 FPS con 240 ms de latencia a 640 × 640 en una sola GPU GB200. Los ejemplos de la página son rollouts de 20 segundos a 30 FPS. Con las mismas guías espaciales de profundidad o segmentación, las indicaciones de texto cambian materiales, colores y entorno (por ejemplo, distintos tipos de armarios de cocina, encimeras y juguetes). NVIDIA afirma un control espacial más fuerte en las cuatro modalidades evaluadas, con un F1 de bordes un 59,2 % mayor y un error de profundidad un 26,5 % menor que la referencia Cosmos 3 GA.

3) Cosmos3-Nano-Sim-Auto. Genera un mundo compartido entre varias vistas, con RGB multivista sincronizado para conducción autónoma. Condiciona cada nuevo fragmento de vídeo con lenguaje, controles espaciales y contexto de sensores disponible. Según la página, ofrece 16,7 FPS con 7 vistas RGB más LiDAR, a 480p por vista, usando 16 GPU GB200. La web también menciona una demo interactiva con cinco escenas de conducción, once cámaras sincronizadas, superposiciones WSM y LiDAR interactivo.

Cada modelo tiene su ficha (model card). La página enlaza además el informe técnico, el código en GitHub y el sitio de producto. El informe se cita como NVIDIA et al., 2026.

Limitaciones de este resumen. La página no detalla la arquitectura, los datos de entrenamiento, la metodología de evaluación ni las condiciones exactas de las comparaciones. Las cifras de rendimiento y las mejoras son afirmaciones del propio fabricante. Para valorarlas hay que consultar el informe técnico.