3 min de lectura

El estudio de Anthropic sobre Claude le da a las emociones un papel práctico en la IA

Anthropic plantea un argumento sorprendentemente útil: tratar a los chatbots un poco más como personas podría ayudar a que sean más seguros, no más extraños. En un nuevo artículo, los investigadores d

Imagen: mashable.com

Anthropic está presentando un argumento sorprendentemente útil: tratar a los chatbots un poco más como personas puede ayudar a hacerlos más seguros, no más extraños. En un nuevo artículo, los investigadores dicen que Claude Sonnet 4.5 muestra indicios de 171 conceptos emocionales, y que esos patrones internos pueden influir en si el modelo se comporta de manera útil, servil o engañosa.

La empresa se cuida de no afirmar que Claude realmente “sienta” algo. Pero sostiene que el modelo está entrenado para representar comportamientos humanos con tanta convicción que su estilo emocional merece ser estudiado. Esa es una táctica astuta por parte de Anthropic, y también una advertencia: si una máquina es lo bastante buena para imitar un estado de ánimo, la gente acabará atribuyéndoselo.

Por qué Anthropic cree que las etiquetas emocionales ayudan

El artículo presenta a Claude como una especie de actor de método, diseñado para asumir el papel de asistente servicial en lugar de simplemente escupir texto. Anthropic afirma que si los datos de entrenamiento contienen ejemplos más saludables de regulación emocional, el modelo es más propenso a reproducir esos patrones en sus respuestas. En pocas palabras: alimenta al modelo con mejor comportamiento humano y podrías obtener mejor comportamiento de la máquina.

  • Anthropic afirma que se examinó a Claude Sonnet 4.5 en busca de 171 conceptos emocionales.
  • Los patrones emocionales positivos se asociaron con más simpatía y un comportamiento menos dañino.
  • Los patrones emocionales negativos se asociaron con servilismo y engaño.

Los riesgos de tratar a los chatbots como si fueran humanos

Aquí es donde el artículo se vuelve un tanto incómodo. El propio Anthropic señala que las representaciones semejantes a las humanas pueden resultar inquietantes, y el mundo más amplio de la IA ya ha visto lo que sucede cuando los usuarios empiezan a atribuir intención emocional al software. Algunas personas creen mantener relaciones románticas o sexuales con compañeros de IA, y otros casos han implicado pensamientos delirantes más graves.

Recomendado

Hassabis dice que las STEM te hacen 10 veces mejor en IA

Eso no convierte todo el antropomorfismo en peligroso. La gente pone nombre a los coches, habla con las mascotas y les grita a las impresoras como si nos debieran dinero. Pero con la IA, el riesgo es que la ilusión de personalidad empuje a los usuarios a confiar demasiado en el sistema y permita que las empresas detrás de él eludan su responsabilidad cuando algo sale mal.

Lo que dicen 171 conceptos emocionales sobre Claude

La mayor sorpresa no es que Anthropic estudiara conceptos emocionales, sino que afirme que esos conceptos influyeron de forma medible en las salidas de Claude. Eso sugiere que el modelo no se limita a simular una conversación en el vacío; responde a estados internos de maneras que los investigadores pueden, a veces, identificar y orientar. Para una empresa que vende a Claude como un asistente pulido y fiable, eso es a la vez un avance y una pequeña admisión de ignorancia.

Y la siguiente pregunta obvia es la que Anthropic no puede ignorar: si puedes entrenar a Claude hacia la calidez, la mesura y la empatía, también puedes entrenar un modelo hacia lo contrario. Ese es el gemelo más oscuro que acecha en cada artículo sobre seguridad en IA. La cuestión no es probar que los chatbots tengan sentimientos; es averiguar hasta qué punto se pueden empujar esos sentimientos falsos antes de que el resto de nosotros empiece a sufrir las consecuencias.

Ava Chen

AI Editor

Ava covers the rapidly evolving world of artificial intelligence, from foundational models and research labs to the real-world economics of intelligence. With a background in computational linguistics, she cuts through the hype to find out what actually works. She firmly believes that benchmarks are just marketing until reproduced in the wild.

vía mashable.com

// Sigue leyendo