Un PDP-11 de 50 años entrenó un transformador en 3,5 minutos

Un PDP-11 de 1979, una máquina que pesa unos 30 kg y funciona con un procesador de 6 MHz y 64 kB de RAM, acaba de entrenar un modelo transformer. La proeza vino de Dave Plummer, un exingeniero de Microsoft y una de las personas detrás de Windows, y es exactamente el tipo de prueba que hace que la IA moderna parezca tanto milagrosa como un poco sobrevalorada.

El modelo, llamado ATTN-11, fue escrito en ensamblador para PDP-11 y entrenado para invertir una secuencia de ocho dígitos. Eso suena trivial, pero la tarea está diseñada para obligar al modelo a aprender una regla en lugar de simplemente memorizar respuestas. En otras palabras, es una versión diminuta de lo que los sistemas más grandes hacen todo el día, solo que sin los gigantescos centros de datos ni la factura eléctrica que probablemente tenga su propia factura eléctrica.

ATTN-11 aprendió la regla, no la secuencia

Plummer dice que el sistema alcanzó un 100% de precisión tras aproximadamente 350 pasos, terminando en 3,5 minutos. Esa es la parte interesante: en hardware de finales de los 70, el modelo aún logró generalizar un patrón en lugar de quedarse atascado con las cuentas. Es un recordatorio de que el comportamiento al estilo transformer no es solo una función de la fuerza bruta; la arquitectura importa, incluso cuando el hardware parece material de museo.

La comparación con el silicio moderno es brutal. Plummer estimó anteriormente que ese mismo PDP-11 es aproximadamente 200.000 veces más débil que el Apple M2 Ultra en términos de un solo hilo. Esa brecha es lo bastante amplia como para devorar ciclos enteros de producto, pero este experimento muestra que algunas ideas de IA son lo suficientemente ligeras como para sobrevivir en máquinas mucho más humildes de lo que la industria suele admitir.

Entrenamiento de transformador en hardware vintage PDP-11

Hay un eco histórico útil aquí. La informática temprana a menudo exprimía trabajo útil de hardware que hoy tendría dificultades para impresionar a un reloj inteligente, y la investigación en IA está volviendo a ese instinto a medida que los modelos más pequeños, la inferencia en el borde y los diseños priorizados en eficiencia se vuelven más atractivos. Los gigantes todavía compiten por la escala, pero experimentos como este sugieren que la próxima ronda de alabanzas en IA también podría implicar hacer más con muchísimo menos.

Recomendado

Hassabis dice que las STEM te hacen 10 veces mejor en IA

• Máquina: miniordenador PDP-11 de 1979
• Velocidad de CPU: 6 MHz
• Memoria: 64 kB

La pregunta abierta es si este tipo de éxito a escala de juguete dice algo útil sobre el futuro del despliegue de la IA. Probablemente sí, pero solo de forma limitada: la industria sigue queriendo modelos más grandes, sin embargo la verdadera oportunidad de crecimiento puede estar en sistemas compactos que puedan aprender y funcionar donde el hardware de nivel de nube sea innecesario o imposible.