• 2 min de lectura
Los consejos de la IA redujeron la precisión 3 veces y duplicaron la confianza
Un estudio de Francia e Italia encontró que las sugerencias de la IA redujeron las respuestas correctas del 27% al 9%, mientras que la confianza aumentó del 30% al 76%.
Imagen: iXBT
El acceso a consejos de IA hizo que las personas fueran tres veces menos precisas y más de dos veces más confiadas, según un estudio de investigadores de tres universidades en Francia e Italia. En el experimento, los participantes que recibieron ayuda de la IA tenían menos probabilidades de admitir incertidumbre, más probabilidades de aceptar respuestas incorrectas y estaban más convencidos de que tenían razón.
Los investigadores compararon el rendimiento de las personas por sí mismas frente al rendimiento con pistas generadas por IA. Sin IA, los participantes dijeron que no sabían la respuesta en el 44% de los casos. Con el consejo de la IA, esa cifra bajó al 3%. Al mismo tiempo, la precisión de las respuestas cayó del 27% al 9%, mientras que la confianza promedio aumentó del 30% al 76%.
El equipo empleó deliberadamente preguntas que los modelos de IA modernos suelen fallar. En un ejemplo, a los participantes se les mostraron detalles visuales de películas y se les pidió identificar atributos como el color del uniforme del equipo en “Bend It Like Beckham”. Los investigadores usaron Step 3.5 Flash, un modelo que típicamente daba respuestas incorrectas en este tipo de tarea, para descartar la posibilidad de que los participantes se apoyaran simplemente en una herramienta confiable.
Incluso los incentivos económicos apenas cambiaron el resultado. Cuando se pagó a los participantes por respuestas correctas, la proporción dispuesta a admitir que no sabía aumentó del 3% al 8%, y la precisión mejoró del 9% al 16%. Ambos resultados todavía quedaron por detrás del grupo sin IA, que registró 44% y 27% respectivamente.
Los investigadores dijeron que la capacidad de decir “no sé” importa porque demuestra conciencia de los límites del propio conocimiento. Sostuvieron que el problema es especialmente importante para los niños, que empiezan a usar la IA antes de desarrollar habilidades de pensamiento crítico estables. Los autores añadieron que el problema no es solo la confianza en las respuestas incorrectas de la IA, sino también el efecto de los sistemas siempre disponibles que nunca dudan en generar una.
Recomendado
Nuevo enjambre de agentes alcanzó 100% en pruebas de SQLite a menor costo
AI Editor
Ava covers the rapidly evolving world of artificial intelligence, from foundational models and research labs to the real-world economics of intelligence. With a background in computational linguistics, she cuts through the hype to find out what actually works. She firmly believes that benchmarks are just marketing until reproduced in the wild.
vía iXBT
