3D Gaussian Splatting como memoria espacial para robots (GSMem)

Por Turing Post · Wed, 14 Oct 2026 21:16:20 +0000.

Esta guía de Turing Post, dentro de su semana dedicada a la memoria agéntica, aborda una pregunta: ¿cómo puede un robot recordar un mundo que ya no tiene a la vista? Según el correo, cuando la IA pasa de la pantalla al mundo físico, la inteligencia espacial se vuelve esencial. El robot forma parte del entorno: se mueve, cambia de posición e interactúa con objetos. Pero su cámara solo captura lo que tiene delante, así que necesita un mapa 3D del espacio que pueda actualizar y al que pueda volver.

El TL;DR del correo dice que el 3D Gaussian Splatting reconstruye escenas a partir de varias vistas usando millones de pequeñas primitivas 3D. Sistemas como GSMem convierten esas reconstrucciones en una memoria espacial consultable, que permite al robot revisitar, actualizar y reinterpretar lugares ya observados. Combinadas con modelos físicos adicionales, las representaciones gaussianas también pueden servir para simulación. Sin embargo, recordar una escena no es lo mismo que entender cómo se comporta.

El índice del episodio incluye: por qué un robot necesita memoria 3D; qué es el 3DGS y cómo representa el mundo; cómo funciona el 3DGS original; los enfoques GSMem y Gaussian-Particle; cómo el splatting se convierte en memoria gaussiana; cómo puede el robot entender y buscar en su memoria; si puede decidir qué conservar, actualizar y consultar; y si la memoria gaussiana puede ayudar a los robots a entender la física.

¿Por qué necesita un robot memoria 3D? El correo propone un escenario doméstico: un robot entra en una cocina, ve una taza sobre la mesa y se gira hacia el fregadero. La taza sale de su campo de visión, pero el robot aún necesita saber dónde está. Un historial corto de fotogramas puede ayudar, pero la cámara ve el mundo fotograma a fotograma, y la taza no deja de existir al girarse. Para volver a por ella, el robot debe recordar dónde estuvo y cómo llegar. Una memoria 3D conecta observaciones separadas en un espacio al que el robot puede volver, y conserva el aspecto de las cosas, su posición y cómo encajan los alrededores.

El texto añade que lo relevante ahora puede no haberlo sido hace un minuto. Un robot puede pasar junto a una estantería sin fijarse en unas llaves; si la memoria solo guarda objetos reconocidos, esas llaves no dejarían rastro buscable. Conservar la escena capturada le da otra oportunidad de encontrarlas cuando alguien se lo pida, examinándola desde otro ángulo dentro de los límites de lo realmente observado. La memoria también necesita poder corregirse: los pequeños errores en la estimación del movimiento se acumulan, y reconocer un lugar familiar ayuda a realinear el mapa y recuperar la posición. La conclusión de la sección es que ver algo, entender su relevancia y volver a ello pueden ocurrir en tres momentos distintos, y la memoria es lo que los conecta.

¿Qué es el 3D Gaussian Splatting? El correo indica que fue introducido en agosto de 2023 por Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler y George Drettakis, de Inria, Université Côte d'Azur y Max-Planck-Institut für Informatik, en el artículo "3D Gaussian Splatting for Real-Time Radiance Field Rendering". Define tres términos: el splatting es una técnica de renderizado en gráficos 3D que proyecta elementos de datos 3D sobre una pantalla 2D; un campo de radiancia describe cómo aparecen la luz y el color en distintas posiciones y direcciones de visión, y renderizar una vista desde una posición no presente en las fotos originales se llama síntesis de nuevas vistas; y el 3DGS conecta ambas ideas para convertir fotos o vídeos corrientes en una copia digital fotorrealista de un espacio, visible desde nuevos ángulos en tiempo real.

El 3DGS representa la escena como muchas manchas suaves y superpuestas llamadas gaussianas. Cada una tiene un centro en el espacio, una forma y una apariencia. Su contribución es máxima en el centro y se desvanece gradualmente hacia fuera, y puede estirarse, aplanarse y rotar como un elipsoide para ajustarse a distintas partes de la escena. Las propiedades de cada gaussiana, según el correo, son: posición (coordenadas XYZ del centro), escala (cuánto se extiende en cada eje local), rotación (su orientación), opacidad (cuánto contribuye a la imagen), color/apariencia (cómo se ve desde distintas vistas) y, opcionalmente, rasgos aprendidos (información semántica o relevante para la tarea añadida por extensiones del 3DGS estándar). Al combinar millones de estas pequeñas nubes con distintos niveles de opacidad, forman una imagen completa y muy realista.

El resto de la guía (funcionamiento del 3DGS original, GSMem, enfoques Gaussian-Particle, búsqueda y actualización del mapa y conexión con la simulación física) está reservado a suscriptores Premium, por lo que el correo no ofrece esos detalles. Además, Turing Post menciona un vídeo de la semana sobre la evolución del JEPA de Yann LeCun (H-JEPA, DeepJEPA, RoboJEPA) y enlaza el episodio anterior, "How World Models Work – From Dreamer and JEPA to Waymo and Atlas".