PrismML dice que Bonsai 27B funciona en iPhone

PrismML ha lanzado Bonsai 27B, un nuevo modelo que la startup dice que se ejecuta de forma nativa en iPhone, iPad y Mac. El lanzamiento se produce días después de que The Information informara que Apple había mantenido reuniones con la compañía sobre posibles usos de su tecnología, y después de que el CEO Babak Hassibi dijera a CNBC que Apple está ahora evaluando los modelos de PrismML.

Según PrismML, Bonsai 27B alcanza hasta 163 tok/s en 1-bit y 134 tok/s en Ternary en una NVIDIA GeForce RTX 5090. En una M5 Max, alcanza hasta 87 tok/s en 1-bit y 58 tok/s en Ternary.

La compañía sostiene que solo el almacenamiento no determina si un modelo puede ejecutarse en un teléfono. Afirma que un iPhone con 12 GB solo expone aproximadamente 6 GB a una app para uso en el dispositivo, y que ese presupuesto también debe cubrir la caché KV y las activaciones del modelo. PrismML dice que con aproximadamente 4 GB, su Bonsai 27B en 1 bit es el primer modelo convencional de la clase 27B que cabe con suficiente margen para operar.

En su comunicado de prensa, PrismML dijo que el modelo se ejecuta en dispositivos Apple mediante MLX y en GPUs NVIDIA mediante CUDA, usando núcleos personalizados de bajo bit diseñados para su arquitectura de atención híbrida. Los pesos del modelo están disponibles ahora bajo la Licencia Apache 2.0, y la compañía también ofrece una API de vista previa para desarrolladores gratuita y por tiempo limitado.

Hassibi dijo a CNBC que Apple y otras compañías han estado probando los modelos de PrismML por su velocidad, eficiencia energética y rendimiento en el dispositivo.

Recomendado

Los modelos abiertos están tomando la delantera en la primera línea de la IA

«Realmente están evaluando nuestra tecnología en este momento.»

Describió las conversaciones con Apple como muy preliminares y dijo que aún no está claro adónde pueden conducir, añadiendo que “las cosas avanzan bien”. Apple no respondió de inmediato a la solicitud de comentarios de CNBC.