SceneSmith del MIT crea mundos de entrenamiento más ricos para robots

Los robots necesitan experiencia para aprender, pero recopilar esa experiencia en el mundo real es lento y caro. Investigadores del MIT CSAIL y del Toyota Research Institute dicen que tienen una manera de acelerar eso: un sistema llamado SceneSmith que genera entornos interiores 3D detallados a partir de indicaciones de texto, ofreciendo a los robots lugares más realistas para practicar antes de ser desplegados.

Según el equipo, SceneSmith utiliza tres agentes impulsados por el modelo de visión y lenguaje GPT-5.2. Un diseñador crea la escena, un crítico verifica si parece realista y un orquestador gestiona el intercambio y decide cuándo la escena está terminada. El resultado puede entonces cargarse en software de simulación física.

Russ Tedrake, profesor Toyota de Ingeniería Eléctrica e Informática, Aeronáutica y Astronáutica, e Ingeniería Mecánica en el MIT, e investigador principal en CSAIL, dijo que la simulación es un terreno de entrenamiento natural para los robots, pero que crear mundos virtuales lo suficientemente ricos ha seguido siendo un desafío.

Recomendado

Algunos problemas de IA siguen siendo irresolubles, incluso con datos infinitos

Nicholas Pfaff, estudiante de doctorado en EECS del MIT, investigador de CSAIL y autor principal del artículo, dijo que el equipo creó más de 1.300 escenas con un VLM líder que usa conocimientos previos a escala de Internet.

Hemos descubierto que el sistema puede construir escenas 3D como lo haría un diseñador humano. Hicimos más de 1.300 escenas usando un VLM líder que tiene conocimientos previos a escala de Internet, y creó arreglos increíblemente creativos y diversos. No le había enseñado al sistema a hacer eso en las indicaciones; simplemente improvisó.

SceneSmith puede generar espacios como restaurantes, dormitorios, hoteles, garajes, oficinas privadas, tiendas de cerámica e incluso una sala de juegos ambientada en Minecraft. Los investigadores dicen que sus escenas contienen hasta seis veces más objetos por escena que los métodos anteriores, lo que ayuda a los robots a ensayar tareas como:

• poner una taza en el fregadero
• colocar fruta en platos
• mover una lata de refresco de una estantería a una mesa

En las pruebas, los investigadores generaron 100 espacios únicos y usaron un agente VLM para evaluar los planes de acción de los robots. Ese agente señaló muchos planes como defectuosos, y los humanos estuvieron de acuerdo con sus veredictos más del 99% de las veces. En otra prueba, una política de robot preentrenada que nunca había visto un entorno de SceneSmith ejecutó con éxito la instrucción «toma la manzana del cuenco y colócala sobre la tabla de cortar».

El equipo también teleoperó robots en los espacios simulados para abrir armarios, guardar botellas y moverse entre habitaciones. En comparación con métodos de referencia para generación de escenas, como HSM y Holodeck, los investigadores dijeron que SceneSmith produjo entornos más densos y realistas. En un estudio con más de 200 usuarios, sus imágenes fueron juzgadas más realistas en más del 90% de los casos.

El inconveniente es la velocidad: generar una sola escena puede tardar varias horas. Aun así, Jeremy Binagia, científico aplicado en Amazon Robotics que no participó en el trabajo, calificó SceneSmith como «un avance significativo» para crear entornos interiores listos para simulación a partir de simples indicaciones de texto.

El artículo, «SceneSmith: generación mediante agentes de escenas interiores listas para simulación», de Nicholas Pfaff et al., está publicado en arXiv con DOI 10.48550/arxiv.2602.09153.