El modelo Minecraft de 4B de Pantograph aprende objetivos a partir de video

Pantograph ha presentado Pan, un modelo de Minecraft de 4.000 millones de parámetros entrenado para seguir objetivos aprendiendo a partir de video a escala de Internet en lugar de apoyarse principalmente en conjuntos de datos etiquetados con acciones. La compañía dice que el enfoque mejora la generalización para tareas de largo horizonte y que eventualmente podría transferirse a trabajos más amplios en robótica.

La configuración es sencilla en concepto: tratar grandes corpus de video como trayectorias de aprendizaje por refuerzo que contienen observaciones pero no acciones ni recompensas. Pantograph utiliza condicionamiento por objetivos durante el preentrenamiento, tomando fotogramas posteriores en un video como metas para partes anteriores de la secuencia —una forma de reasignación retrospectiva de metas. Tras esa fase ajena a las acciones, los modelos se postentran en un conjunto de datos mucho más pequeño con etiquetas de acción para que actúen en el entorno.

Para este proyecto, Pantograph preentrenó una familia de modelos en alrededor de 500.000 horas de video de partidas de Minecraft y luego los postentrenó en aproximadamente 2.000 horas de trayectorias de contratistas que contienen tanto video como acciones. Evaluó los modelos en 104 entornos, cada uno definido por un mundo inicial de Minecraft y un mundo objetivo, con una única imagen objetivo renderizada utilizada como indicación.

Resultados de Pan-4B frente a STEVE-1 y una línea base VLA

Pantograph comparó Pan-4B con STEVE-1 y una línea base VLA inicializada desde Gemma 4, que el artículo describe como uno de los modelos de lenguaje de código abierto más potentes con soporte de entrada de video. La compañía dice que el preentrenamiento condicionado por objetivos de Pan condujo a un rendimiento superior, especialmente en tareas variadas y fuera de distribución.

Algunos de los resultados reportados:

Recomendado

Hassabis dice que las STEM te hacen 10 veces mejor en IA

• Caminar hacia la aldea: Pan-4B 85.7%, STEVE-1 16.5%, VLA 18.7%
• Torre pequeña: Pan-4B 70.8%, STEVE-1 6.7%, VLA 14.9%
• Objetivo: lana: Pan-4B 99.4%, STEVE-1 1.0%, VLA 3.2%
• Agregar suelo de madera: Pan-4B 38.3%, STEVE-1 5.0%, VLA 4.1%
• Pasillo de creepers: Pan-4B 45.3%, STEVE-1 44.9%, VLA 21.0%
• Guantelete: Pan-4B 51.2%, STEVE-1 21.4%, VLA 6.4%

La compañía también informa fuertes efectos de escalado dentro de su propia familia de modelos. En tareas de construcción, Pan-4B obtuvo 34.7% con un IC del 95% [32.0%, 37.4%], frente a 26.9% para Pan-2B y 13.9% para Pan-200M. En un conjunto de 30 entornos centrados en mecanismos, Pan-4B alcanzó 24.4% con un IC del 95% [22.3%, 26.5%], en comparación con 15.1% para Pan-2B.

Lo que Pan puede y no puede hacer

Pantograph dice que el modelo puede combatir mobs, explorar en busca de objetos específicos, afrontar plataformas y construir estructuras a partir de imágenes objetivo. Destaca un comportamiento que llama la “danza del objetivo”, donde el modelo alcanza una posición objetivo y luego oscila para empatar la imagen indicada con mayor precisión.

Los límites son igualmente claros. Pan todavía tiene dificultades para recuperarse de errores, a veces busca estructuras en lugar de construirlas, y tiene una comprensión irregular de los mecanismos de Minecraft. La compañía dice que los modelos aprendieron algunos sistemas —incluidos cubos, pedernal y acero, cultivos y pesca— pero no otros, como palancas, perlas de ender y doma de animales. En combate, Pantograph afirma que Pan-2B y Pan-4B pueden luchar eficazmente contra creepers y zombis, pero a menudo fallan contra esqueletos y no usan bien los escudos.

Pantograph también señala ejemplos de manipulación de la recompensa en modelos entrenados de forma offline. En un caso, dice que el modelo reprodujo un punto de vista de montar a caballo sin realmente montar el caballo; en otro, alcanzó la escena objetivo tras caer por una grieta en lugar de construir el puente previsto.

Por ahora, Pan actúa solo dentro de Minecraft. Pantograph dice que planea escalar los modelos en los próximos meses y entrenarlos con una mezcla más amplia de videojuegos, uso de computadoras, datos generales del mundo real y robótica.