Reglas débiles sobre la IA pueden resultar contraproducentes, encuentra un estudio

Un nuevo estudio mediante modelos de Cornell y la Carnegie Mellon University sostiene que una regulación débil de la IA puede dejar a los consumidores en peor situación que si no existiera regulación alguna. El artículo, “The Backfiring Effect of Weak AI Safety Regulation”, fue publicado en Proceedings of the National Academy of Sciences.

Los investigadores construyeron un modelo teórico que abarca tanto a los proveedores de IA de propósito general —las empresas detrás de chatbots populares— como a las empresas aguas abajo que convierten esos modelos en productos tales como bots de atención al cliente o sistemas de diagnóstico médico. A continuación probaron qué ocurre cuando los reguladores imponen requisitos mínimos de seguridad a un grupo, al otro o a ambos.

Según Benjamin Laufer, Ph.D. '26 y primer autor del artículo, la regulación sigue siendo en gran medida experimental porque muchas de las normas propuestas sobre IA aún no se han probado en la práctica.

“No hay mucha regulación de la seguridad de la IA, y por eso muchas posibles regulaciones siguen siendo solo propuestas en esta etapa. En cierta medida, la regulación va tanteando en la oscuridad, así que vale la pena razonar sobre qué efectos podrían tener estas normas en los incentivos.”

Cómo las reglas débiles aplicadas únicamente a empresas aguas abajo pueden reducir la seguridad

El resultado más llamativo se produjo cuando la regulación se dirigía solo a las empresas aguas abajo y establecía un umbral bajo de seguridad. En ese escenario, el modelo predijo que los productos finales de IA podrían volverse menos seguros que en ausencia de regulación.

Recomendado

Corea del Sur lanzará en 2026 un chatbot de IA nacional gratuito

La razón, dicen los autores, es un efecto de aprovechamiento. Si los desarrolladores aguas abajo son legalmente responsables de la seguridad del producto, los proveedores de modelos aguas arriba pueden recortar su propio gasto en medidas de seguridad, incluidas auditorías de seguridad por terceros. El estudio define la seguridad de forma amplia, incluyendo riesgos como respuestas tóxicas de los chatbots.

“Se produce un comportamiento de aprovechamiento. La regulación actúa como una herramienta para que el proveedor general descargue la carga de la seguridad sobre el especialista aguas abajo.”

Los objetivos de seguridad compartidos produjeron mejores resultados

El modelo también encontró un resultado más prometedor: cuando tanto los proveedores generales de IA como las empresas aguas abajo están obligados a cumplir objetivos de seguridad específicos, los productos pueden volverse más seguros para los usuarios y, al mismo tiempo, generar mayores beneficios.

Jon Kleinberg, '93, profesor Tisch de Ciencias de la Computación y de la Información en la Ann S. Bowers College of Computing and Information Science de Cornell, dijo que las obligaciones compartidas pueden hacer que el comportamiento a lo largo de la cadena de suministro de la IA sea más predecible.

“Una regulación de la IA diseñada apropiadamente puede hacer posible que las distintas empresas implicadas en la cadena de desarrollo de la IA lleguen colectivamente a buenos resultados para los consumidores, sabiendo que la regulación está pensada para ayudar a que cada empresa actúe de manera que las demás puedan predecir con más razonabilidad.”

Laufer desarrolló el modelo con Kleinberg y Hoda Heidari, profesora asistente en Carnegie Mellon y exinvestigadora postdoctoral con Kleinberg. El equipo afirma que el trabajo actual es simplificado, pero podría ampliarse para estudiar la regulación en el mundo real, múltiples reguladores con diferentes normas y la competencia entre varios proveedores de IA y empresas aguas abajo.

“La gente piensa en la IA como un único objeto, pero en realidad la IA implica un conjunto muy complejo de partes interesadas y actores que cada uno tiene sus propias contribuciones a la tecnología. Para regular de forma reflexiva, necesitamos considerar toda la cadena de suministro, no solo a un único proveedor o entidad.”

El artículo está acreditado a Benjamin Laufer et al. con DOI 10.1073/pnas.2509768123.