Los consejos de la IA redujeron la precisión y duplicaron la confianza

El acceso a los consejos de la IA hizo que las personas fuesen mucho menos propensas a admitir incertidumbre y mucho más propensas a estar equivocadas con confianza. Investigadores de tres universidades de Francia e Italia encontraron que la disposición a decir «no sé» cayó del 44 % al 3 % cuando los participantes podían consultar un modelo de IA. En ese mismo cambio, la precisión bajó del 27 % al 9 %, mientras que la confianza subió del 30 % al 76 %.

«La gente empeoró mucho: la precisión fue solo un tercio, pero tenían el doble de confianza.»

El estudio fue dirigido por Capraro, junto con Chiara Marcoccia de la École Normale Supérieure y Walter Quattrociocchi de la Universidad Sapienza de Roma. El equipo empleó deliberadamente preguntas que los modelos de IA suelen responder mal, incluyendo detalles visuales de películas, como el color del uniforme de un equipo en Bend It Like Beckham.

Usaron Step 3.5 Flash, un modelo que habitualmente se equivocaba en esas preguntas, precisamente para descartar una explicación simple de que la gente estuviera delegando sensatamente en una herramienta fiable. En algunos casos, participantes que habrían respondido correctamente por sí mismos consultaron a la IA y cambiaron a una respuesta equivocada.

Recomendado

Los laboratorios de IA de China presionan a EE. UU. con dos enormes modelos abiertos

Ofrecer incentivos monetarios mejoró los resultados solo ligeramente. La disposición a admitir la ignorancia aumentó del 3 % al 8 %, y la precisión subió del 9 % al 16 % —aun muy por debajo de las referencias sin IA del 44 % y el 27 %.

Investigadores de Wharton a principios de este año describieron un efecto similar como «rendición cognitiva», encontrando que las personas aceptaban respuestas incorrectas de la IA el 80 % de las veces mientras manifestaban mayor confianza que quienes trabajaban sin IA. Este nuevo estudio va más allá: el problema no es solo la confianza mal dirigida en respuestas erróneas, sino que el mero hecho de tener IA disponible parece suprimir el hábito de reconocer lo que uno no sabe.

«Para los humanos, la capacidad de decir “no sé” es muy importante porque representa el reconocimiento de los límites de nuestro propio conocimiento.»

Capraro dijo que le preocupan especialmente los niños, que están creciendo con estos sistemas antes de desarrollar habilidades de pensamiento crítico. La preocupación surge mientras la revisión de la búsqueda de Google basada en IA sustituye los enlaces por resúmenes generados por la IA con tono confiado, y Common Sense Media esta semana calificó ese diseño como un «riesgo inaceptable» para los estudiantes.

El patrón, según se describe en el informe, es sencillo: los productos de IA están diseñados para responder, no para decir «no sé». Las personas que los usan pueden estar aprendiendo ese mismo comportamiento.