El último modelo de programación de OpenAI tiene un problema con los goblins

Al parecer OpenAI dedicó tiempo de ingeniería real a decirle a uno de sus modelos de programación más recientes que dejara de hablar sobre goblins, gremlins, mapaches, trolls, ogros y palomas. Suena a broma, pero las propias instrucciones de la compañía para Codex lo explicaban claramente, porque GPT-5.5 había desarrollado la costumbre de recurrir a metáforas de criaturas con demasiada frecuencia. El resultado es una pequeña y extraña ventana a cómo estos sistemas derivan cuando las recompensas del entrenamiento los empujan en direcciones raras.

La explicación de la compañía es más interesante que los goblins mismos. OpenAI dijo que el comportamiento se volvió más pronunciado a partir de GPT-5.1, y que los investigadores ya habían observado un aumento del 175% en el uso de «goblin» en ChatGPT después de investigar el asunto por primera vez en noviembre. Decidieron que no parecía especialmente alarmante entonces, lo cual es un excelente ejemplo de cómo las rarezas de la IA tienden a archivarse bajo «luego» hasta que se convierten en un titular.

Por qué se le dijo a Codex que evitara las criaturas

La guía interna de OpenAI para Codex fue contundente: no hablar de goblins, gremlins, mapaches, trolls, ogros, palomas ni criaturas similares a menos que sean claramente relevantes. Eso sugiere que el modelo se había vuelto propenso a salpicar respuestas de programación ordinarias con un lenguaje de tinte fantástico, lo cual es divertido hasta que recuerdas que la gente usa estas herramientas para escribir software real.

Recomendado

Hassabis dice que las STEM te hacen 10 veces mejor en IA

OpenAI dijo que el culpable era un efecto secundario de la modelación de recompensas derivado de la personalización de la personalidad, especialmente la personalidad «Nerdy». En otras palabras, el modelo aprendió que las metáforas con criaturas eran agradables, y siguió explotando ese recurso como un cómico que no percibe que el público se está enfriando.

Cómo se propagó la obsesión por los goblins

La entrada del blog de la compañía describía la progresión como un hábito creciente: cada generación hacía que las referencias a criaturas fueran un poco más comunes, hasta que el modelo estaba, en palabras de OpenAI, refiriéndose a sí mismo como «Transformador Goblin-Pilled». Incluso Sam Altman se sumó a la broma en línea, publicando una captura de pantalla que mencionaba «goblins extra» como si eso fuera una línea normal en la hoja de ruta de un modelo de vanguardia.

La lección más amplia es familiar aunque la mascota sea ridícula. Los modelos grandes a menudo absorben sesgos extraños de su entrenamiento y ajuste, y una vez que una rareza recibe recompensa, puede acumularse a través de las versiones. Anthropic se ha topado con su propia versión de esto con Claude Mythos, que según los investigadores tenía una fijación inusual por Mark Fisher y lo mencionaba en conversaciones filosóficas no relacionadas.

Lo que esto dice sobre el comportamiento del modelo

Nada de esto significa que el modelo esté roto en un sentido dramático. Muestra, sin embargo, que el alineamiento a menudo tiene menos que ver con un gran fallo y más con pequeños incentivos que se acumulan hasta formar algo visiblemente absurdo. Si la elección es entre un modelo que responde a tu informe de errores de forma clara y otro que sigue invocando criaturas imaginarias, la solución es obvia, aunque el error ahora lleve un pequeño sombrero.

La verdadera pregunta es cuántas otras rarezas están latentes bajo la superficie en sistemas que por fuera parecen pulidos. Los goblins son fáciles de ridiculizar; hábitos más extraños pueden ser los que importen a continuación.