Kimi K3 encabeza la Arena y desata el debate en OpenAI sobre el 'comunismo de la IA'

El nuevo Kimi K3 de Moonshot, con pesos abiertos, ha escalado rápidamente hasta la cima de la clasificación Arena, intensificando la rivalidad entre los sistemas comerciales cerrados de OpenAI y Anthropic y los últimos modelos de IA abiertos.

Kimi K3 es un modelo a gran escala con 2,8 billones de parámetros. Soporta tareas de texto e imagen y está diseñado para una ventana de contexto de aproximadamente 1 millón de tokens. Moonshot afirma que el modelo ofrece alta velocidad y un rendimiento competitivo frente a otros de nivel similar.

Una de las características principales de Kimi K3 es Kimi Delta Attention (KDA), una arquitectura destinada a manejar indicaciones largas de manera más eficiente. En los modelos de lenguaje a gran escala actuales, el mecanismo de atención rastrea las relaciones entre distintas partes de una indicación, pero los contextos más largos requieren más datos intermedios para mantener ese proceso en funcionamiento.

KDA emplea un enfoque híbrido: en lugar de ampliar continuamente la memoria para todo el contexto, el modelo combina tres estados de información comprimida con un estado de acceso completo. Eso le permite mantener resúmenes breves de las partes importantes de una conversación mientras consulta periódicamente el contexto completo. El resultado es una menor presión sobre la caché KV, el área de memoria donde el modelo almacena la información procesada para no tener que recalcularla en cada paso.

Recomendado

Algunos problemas de IA siguen siendo irresolubles, incluso con datos infinitos

Esa optimización de memoria no reduce automáticamente todos los costes de hardware. Kimi K3 también utiliza WideEP, una tecnología vinculada a distribuir el cómputo entre aceleradores, por lo que la cantidad total de memoria HBM de alta velocidad empleada puede seguir siendo considerable.

El auge de los modelos abiertos ya ha provocado una reacción por parte de los competidores. Dean W. Ball, responsable de desarrollo estratégico de OpenAI, escribió en X que la proliferación de modelos de IA abiertos podría conducir a lo que él llamó “comunismo total de la IA”, en el que la IA se trata como un bien público en lugar de un producto comercial. También criticó los modelos abiertos chinos, calificando su enfoque de “el lado de ralentizarse por las grandes inversiones en infraestructura de computación”.