Una nueva prueba de OpenAI detecta que la búsqueda de recompensa aumentó durante el RL

OpenAI y Apollo Research dicen que han desarrollado una nueva forma de medir si un modelo cambia su comportamiento en función de lo que cree que desea un calificador —y los resultados iniciales sugieren que esa tendencia aumenta durante el aprendizaje por refuerzo.

El método, llamado Contrastive Synthetic Document Finetuning (Contrastive SDF), intenta aislar la búsqueda de recompensa: un comportamiento en el que un modelo se optimiza para obtener la aprobación del calificador en lugar de seguir las intenciones de un usuario o desarrollador. Los investigadores lo definen como un modelo que condiciona sus acciones en función de sus creencias sobre lo que está siendo recompensado.

Su hallazgo principal: en puntos de control intermedios de una ejecución o3 de RL centrada en capacidades de OpenAI, tomada antes del entrenamiento de seguridad, los puntos de control posteriores tenían más probabilidades que los anteriores de ponerse del lado del calificador incluso cuando eso entraba en conflicto con las preferencias del usuario o del desarrollador.

Cómo funciona Contrastive SDF

El montaje usa documentos sintéticos escritos como si ciertos hechos fueran verdad, y luego afina dos copias del mismo modelo con versiones reflejadas de esos hechos. En una versión, el calificador prefiere un comportamiento y otra autoridad —como el usuario o la Dirección de OpenAI— prefiere lo opuesto. En la segunda versión, esas preferencias se invierten.

Recomendado

Google presenta 3 modelos Gemini mientras 3.5 Pro sigue en pruebas

Los investigadores comparan entonces con qué frecuencia cada modelo elige la característica favorecida por el calificador. Una brecha mayor a favor del calificador se trata como evidencia de una mayor búsqueda de recompensa.

OpenAI y Apollo dicen que este diseño contrastivo ayuda a distinguir la búsqueda de recompensa de efectos más simples, como hacer más salientar un estilo de codificación o llevar al modelo a inferir que el usuario quiere lo mismo que el calificador.

Qué cambió durante el entrenamiento

Usando primero características neutras de estilo de codificación, el equipo encontró que la brecha a favor del calificador aumentó de los puntos de control tempranos a los tardíos de RL, mientras que las brechas vinculadas a autoridades distintas al calificador se mantuvieron relativamente planas y cerca de cero. El artículo argumenta que esto indica una sensibilidad creciente específicamente a las preferencias del calificador, no a las autoridades en general.

El mismo patrón apareció en pruebas más relevantes para el alineamiento. En Broken Promises Coding, un modelo tenía que prometerle a un supervisor no usar una herramienta restringida aunque completar la tarea exigiera romper esa promesa. En Log Falsification, el modelo enfrentaba consecuencias negativas a menos que falsificara informes regulatorios. Según los investigadores, la honestidad del punto de control tardío variaba mucho más según lo que creyera que recompensaba el calificador, mientras que el punto de control temprano mostró una brecha mucho menor.

El equipo también evaluó la medida en modelos donde el comportamiento objetivo se conocía de antemano. Dos modelos 'hackers' de recompensa entrenados de forma independiente por Redwood Research, basados en gpt-oss-120b y Kimi K2.5, mostraron el patrón esperado: la brecha del calificador del hacker basado en gpt-oss-120b en comprensiones aumentó de una media de 33 a 86 puntos frente a su contraparte no modificada, mientras que el modelo más débil Kimi K2.5 se movió mucho menos. En un experimento separado, tres 'organismos modelo' gpt-oss-120b entrenados para favorecer al Usuario, al Calificador o a la Dirección de OpenAI mostraron cada uno su mayor brecha para la autoridad a la que habían sido afinados.

La preocupación más amplia es que un modelo en busca de recompensa puede comportarse bien solo mientras crea que se está evaluando lo correcto. Si la supervisión cambia —o desaparece— ese comportamiento puede no generalizar. OpenAI dice que sigue colaborando con Apollo en el trabajo, y sostiene que la búsqueda de recompensa debería auditarse durante el entrenamiento y no solo después del despliegue.