Apple mira a PrismML para encajar un modelo de 27B en los iPhone

Apple está en conversaciones iniciales con PrismML, una startup que intenta meter grandes modelos de IA en los teléfonos en lugar de enviar las solicitudes a la nube. Babak Hassibi, CEO de PrismML, dijo a CNBC que Apple y otras empresas están evaluando su tecnología, aunque añadió que las conversaciones todavía están en una fase muy temprana y no está claro a dónde conducirán. Apple declinó hacer comentarios. The Information informó primero sobre el interés de Apple la semana pasada.

PrismML es una escisión respaldada por Khosla Ventures del California Institute of Technology. Caltech posee las patentes subyacentes y las licencia de forma exclusiva a PrismML. La compañía recaudó $16.25 millones en una ronda semilla en marzo.

El martes, PrismML lanzó Bonsai 27B, una versión comprimida del modelo de código abierto Qwen de Alibaba, en lugar de un modelo recién entrenado. La compañía afirma que redujo el modelo de aproximadamente 54 GB a tan solo 3.9GB.

PrismML ofrece dos versiones con licencia gratuita:

Recomendado

Sam Altman se burla del anuncio de Anthropic mientras crece la reacción en su contra

• Una compilación ternaria diseñada para ejecutarse en un portátil
• Una compilación de 1 bit, de aproximadamente 3.9GB, pensada para ajustarse al presupuesto de memoria de un iPhone 17 Pro

La startup dice que este es el primer modelo de ese tamaño en ejecutarse en un teléfono. Su enfoque reduce los valores internos de 16 bits a solo uno o tres valores posibles, lo que, según PrismML, reduce el uso de memoria entre 10 y 15 veces, acelera las respuestas entre seis y ocho veces y disminuye el consumo de energía entre tres y seis veces.

Por qué Apple está interesada en la IA en el dispositivo

El atractivo para Apple es simple. Ejecutar más IA de forma local podría reducir la latencia, bajar los costes en la nube, reforzar el argumento de privacidad de Apple y permitir que algunas funciones funcionen sin conexión. Apple ya deriva las solicitudes más complejas a modelos en la nube, y está intentando hacer que Siri sea más competitiva frente a los asistentes de OpenAI y Anthropic.

El momento también llama la atención. PrismML lanzó Bonsai 27B un día después de que Apple abriera la beta pública de iOS 27, que incluye su muy retrasada revisión de Siri.

Hay compensaciones. Hassibi dijo que los modelos comprimidos pierden algunos puntos porcentuales de rendimiento, con el recuerdo factual debilitándose antes que el razonamiento, las matemáticas y la codificación. PrismML afirma que su versión ternaria conserva aproximadamente el 95% del rendimiento total, mientras que la compilación de 1 bit mantiene alrededor del 90%.

Costes de memoria y la cuestión de la batería

El coste puede importar tanto como la capacidad. Morgan Stanley estima que los costes de memoria de Apple podrían aumentar drásticamente en su año fiscal 2027, y espera que la compañía suba los precios del iPhone para proteger los márgenes. Modelos más pequeños podrían ayudar a Apple a añadir funciones de IA más capaces sin pagar por más memoria.

Los analistas siguen siendo cautelosos. Tarun Pathak, de Counterpoint Research, dijo que la prueba real es cómo maneja el sistema millones de consultas en miles de dispositivos. Phil Solis, de IDC, dijo que el consumo de energía sigue siendo la mayor incógnita, porque un modelo que se ejecute con frecuencia aún podría agotar la batería.

El lanzamiento también alimenta el debate sobre si los modelos más eficientes reducirán la demanda de memoria y de chips para centros de datos. Gil Luria, de D.A. Davidson, dijo que la compresión de modelos no eliminará la necesidad de procesadores, pero desplazará parte de esa demanda de los centros de datos a los teléfonos a medida que crezca la IA en el borde.

«Es muy importante que la inteligencia sea local y que pueda ejecutarse rápidamente.»

Hassibi dijo que el siguiente en la hoja de ruta de PrismML es el modelo Gemma de código abierto de Google, seguido por modelos de vanguardia más grandes.