El modelo del mundo de Mario aprendió el juego, no cómo superarlo

Un modelo de mundo JEPA hecho en casa y entrenado en Super Mario Bros. pudo predecir lo que ocurría a continuación con sorprendente precisión, pero aun así fracasó en lo que más importaba: lograr que Mario terminara el nivel.

En un informe detallado, el autor del proyecto reconstruyó LeWorldModel desde cero para entender mejor la Joint-Embedding Predictive Architecture de Yann LeCun y la adaptó de Push-T al plataformas de Nintendo. El sistema resultante, llamado LeMario, aprendió dinámicas condicionadas por la acción a corto horizonte a partir de píxeles y pulsaciones de botones. Generalizó a episodios reservados, usó las acciones en lugar de ignorarlas y superó fuertes líneas base al predecir futuros a cinco pasos.

La configuración usó un codificador de visión para comprimir fotogramas en latentes de 192 dimensiones, un codificador de acciones para convertir secuencias de botones 5 × 6 en vectores coincidentes y un predictor causal con seis bloques transformer. Las acciones se inyectaron mediante AdaLN-Zero, que modulaba el predictor con valores aprendidos de desplazamiento, escala y puerta tanto para la atención como para las ramas MLP. El entrenamiento combinó la pérdida de predicción con SIGReg, un regulador destinado a evitar el colapso de las representaciones.

Lo que LeMario hizo bien

LeMario se entrenó con 737,134 fotogramas de 280 episodios distribuidos en 32 niveles de Mario. En episodios reservados, superó tanto a una línea base de persistencia como a una línea base con acciones barajadas:

• LeMario: error a un paso 0.013773, error a cinco pasos 0.077717
• Predecir sin cambios: error a un paso 0.014472, error a cinco pasos 0.142473
• Barajar las acciones: error a un paso 0.016555, error a cinco pasos 0.114648

Según el autor, barajar las acciones aumentó el error a un paso en un 20.2%. En cinco pasos recursivos, LeMario superó a la persistencia en un 45.5%, mientras que las acciones barajadas fueron un 47.5% peores. Cuanto más lejos predecía el modelo, más importaban los controles.

Recomendado

Los modelos abiertos están tomando la delantera en la primera línea de la IA

Eso sugería que el modelo había aprendido genuinamente la dinámica local del juego, no solo un atajo barato de «no cambia nada».

Por qué la planificación seguía fallando

El problema empezó cuando el autor intentó planificación sin recompensa con el Método de Entropía Cruzada. En teoría, el sistema podía codificar un fotograma actual y un fotograma objetivo, imaginar muchas secuencias de acciones y elegir las que cuyo latente final predicho quedara más cerca del objetivo.

En la práctica, apenas se movía. Para un objetivo simple donde Mario empezaba en x=40 y el fotograma objetivo mostraba x=72, JEPA bruto + CEM acabó en x=44.

Una sonda congelada reveló parte del problema. Cuando se entrenó para recuperar las coordenadas de Mario a partir del latente, pudo inferir:

• Posición horizontal: MAE = 9.30 px, R² = 0.997
• Posición vertical: MAE = 21.62 px, R² = 0.188

Así que el latente codificaba claramente información horizontal útil, pero mucho menos sobre el estado vertical. Cuando el autor usó la sonda para puntuar futuros imaginados por posición horizontal, la planificación funcionó mucho mejor: para un objetivo en x=72, Mario pasó de x=40 a x=71. Con replanificación local, más tarde alcanzó x=176 para una meta en x=177.

Ese resultado mostró que el modelo del mundo podía imaginar movimiento útil. El problema mayor era que la distancia en el latente era una mala medida del progreso real.

Cuando el autor intentó un objetivo más lejano, aproximadamente a mitad de los niveles 1-1, 2-1 y 3-1, Mario avanzó mucho más —en 3-1, las ejecuciones alcanzaron aproximadamente x=290–307— pero aun así murió en el primer obstáculo importante. Peor aún, Mario podía estar a 1,442 píxeles del mundo del objetivo mientras el codificador juzgaba la escena como bastante similar, con una distancia latente de solo 0.164. CEM había predicho 0.153, por lo que el predictor no estaba alucinando de forma extrema; la representación en sí trataba como cercanas ubicaciones que eran visualmente parecidas pero realmente distantes.

Esa discrepancia venía de la cámara que hace scroll en Mario. Diferentes lugares del nivel pueden parecer iguales aunque estén muy separados en coordenadas del juego. Dividir la tarea en puntos de control más pequeños en la imagen ayudó algo —la planificación en latente bruto llegó a x=314— pero no solucionó el problema subyacente. El planificador seguía teniendo problemas con los saltos, y aun cuando Mario alcanzaba visualmente un punto de control, pequeñas diferencias como la interfaz (HUD) podían impedir que el embedding final coincidiera lo bastante.

La conclusión del autor es contundente: una representación de estado que es buena para predecir fotogramas futuros no es necesariamente buena para el control. LeMario tuvo éxito como modelo predictivo de corto horizonte, pero fracasó como política de navegación porque el espacio latente no se alineaba con el progreso controlable a través del juego. Esa brecha importa aún más en Mario que en Push-T, donde la configuración original usaba objetivos cercanos, cámara fija, movimiento suave y 20,000 episodios de experto durante diez épocas. LeMario, en contraste, se entrenó durante una época en 280 episodios repartidos por 32 niveles.