• 2 min de lectura
Ramp abre su Router de LLM tras recortes de costes del 30%
Ramp afirma que su nuevo Router redujo los costes internos de LLM en aproximadamente un 30% mientras gestionaba 2.75T+ tokens al mes con una fiabilidad de enrutamiento del 99.999%.
Imagen: Hacker News
Ramp está abriendo Ramp Router, un endpoint de API que enruta solicitudes entre varios proveedores de modelos según calidad, coste y disponibilidad. La empresa afirma que creó el producto para gestionar más de 100 casos de uso de IA internamente, y que Router redujo sus costes de LLM en aproximadamente un 30% al mismo tiempo que hacía las funciones «más inteligentes y rápidas».
Según Ramp, el servicio ahora enruta 2.75T+ tokens al mes, con un 99.999% de enrutamientos exitosos y unos 30 ms de latencia añadida.
El argumento es sencillo: en lugar de conectar una aplicación a un único proveedor de modelos, los desarrolladores envían las solicitudes a Ramp Router, que puede mover automáticamente el tráfico elegible a un modelo más barato si éste sigue cumpliendo el umbral de calidad requerido. Ramp dice que el sistema prueba continuamente nuevos modelos con cargas de trabajo reales a medida que cambia la «frontera precio-inteligencia-latencia».
Recomendado
El próximo cuello de botella de la IA podría ser los materiales, no los chips
Ramp destaca una amplia mezcla de cargas de trabajo para el producto, que incluyen:
- extracción de partidas de factura
- clasificación de tickets de soporte
- resumen de presentaciones para la junta
- revisión de riesgos contractuales
- explicación de anomalías en transacciones
- generación de SQL
- depuración de API
- traducción de documentos
- redacción de correos de ventas
- moderación de mensajes de usuarios
La compañía enumera compatibilidad con modelos de OpenAI, Anthropic y Gemini, además de modelos de código abierto selectos como Kimi. En la página, Ramp también hace referencia a modelos evaluados o seleccionados como Gemini 3 Flash, Claude Haiku 4.5, Claude Sonnet 5, Gemini 3.5 Flash, Claude Opus 4.8, Grok 4.5, Claude Opus 4.6, Claude Fable 5, Gemini 3.1 Pro y Gemini 3.1 Flash Lite.
«En Ramp, Router redujo nuestros costes de LLM en un 30% mientras hacía nuestras funciones más inteligentes y rápidas.»
Ramp afirma que el producto usa una API compatible con OpenAI, por lo que las integraciones existentes deberían necesitar solo un cambio de URL base. También incluye almacenamiento en caché, compactación, atribución semántica y más de 100 optimizaciones por solicitud, junto con el seguimiento del gasto por modelo, producto, equipo y proyecto a través de Ramp Token Spend Management.
En el lanzamiento, Ramp Router es gratuito para usar. Los usuarios pagan el precio de lista por los tokens, y las primeras 500 personas invitadas recibirán $100 en créditos promocionales. Ramp afirma que el acceso anticipado no requiere ser cliente de Ramp, tener una cuenta de empresa ni siquiera una LLC.
Enterprise Editor
Marcus follows the money. He covers enterprise software, cloud architecture, and the tectonic shifts in Big Tech strategy. He translates dense earnings calls and complex M&A activity into actionable insights about where the industry is actually heading. If a tech giant makes a silent pivot, Marcus is usually the first to notice.
vía Hacker News
