Apuesta de 400 millones de dólares respalda chips de inferencia sobre GPUs

General Compute ha asegurado un préstamo de 400 millones de dólares de Upper90 en lo que podría ser el primer acuerdo de financiamiento respaldado por chips específicos de inferencia como garantía, según TechCrunch. La startup está construyendo una nube de inferencia de IA alrededor de chips de SambaNova, apostando a que el hardware más barato y eficiente para ejecutar modelos entrenados será una porción mayor del mercado a medida que las empresas reduzcan el costo de los servicios de IA.

Fundada por Finn Puklowski, director ejecutivo, General Compute recaudó una ronda semilla de 15 millones de dólares en mayo. Su infraestructura se basa en los chips SN50 de SambaNova, que están diseñados para inferencia en lugar de entrenamiento. La compañía dice que esos chips son 16 veces más rápidos para inferencia que las nubes basadas en GPU, además de ser más eficientes energéticamente y más fáciles de desplegar porque no requieren costosos sistemas de refrigeración por agua.

Esa ventaja de despliegue importa para un recién llegado que intenta asegurar grandes volúmenes de hardware. Billy Libby, cofundador y director ejecutivo de Upper90 y exoperador cuantitativo de Goldman Sachs, ha usado un enfoque similar antes. En 2021, Upper90 financió compras de GPU por parte de Crusoe, lo que, según Libby, fue el primer préstamo respaldado por el valor de chips avanzados. En ese momento, los prestamistas tradicionales evitaban esos acuerdos por la incertidumbre sobre la depreciación de las GPU. Desde entonces, observa TechCrunch, los préstamos respaldados por chips se han vuelto mucho más comunes a medida que CoreWeave lo convirtió en un modelo de negocio y luego en la base para una importante salida a bolsa.

Recomendado

a16z respalda a Runta con 20 millones de dólares para contener a los agentes de IA

“Cuando financiamos GPUs de Nvidia como el primer grupo en hacerlo, el mercado era ineficiente. Pudimos realmente montar algo como participantes tempranos y ser compensados por el riesgo.”

Upper90 ahora ve la inferencia como la próxima ola. Libby dijo a TechCrunch que los modelos de código abierto están adquiriendo cada vez más importancia y que no todos los clientes necesitan cómputo a escala de entrenamiento.

Modelos de código abierto y alternativas a Nvidia

El acuerdo también refleja un cambio más amplio hacia infraestructuras construidas alrededor de modelos abiertos y hardware más allá del ecosistema de Nvidia. TechCrunch señala rondas de financiación para empresas como OpenRouter y Fireworks, así como nuevos modelos como el K3 de Kimi, que según indica ha demostrado recientemente que puede competir con lanzamientos de Anthropic y OpenAI en pruebas comparativas de codificación.

En la capa de hardware, startups como Groq y Cerebras también han atraído la atención de compradores y de los mercados públicos. TensorWave sigue una estrategia similar mediante una asociación con AMD.

Puklowski sostiene que los proveedores capaces de obtener chips fuera del ecosistema de Nvidia podrían estar mejor posicionados para ofrecer inferencia a menor costo.

“Hay un montón de chips que están empezando a escalar que tienen un asombroso [costo total de propiedad], o que pueden operar mucho más rápido que Nvidia, pero no hay muchos compradores para ellos.”

“Al asociarnos con Upper90, esto no es solo, 'una startup interesante consiguió algo de dinero para comprar capacidad de cómputo.' Esto es la primera señal de que el capital se está organizando y la fragmentación del dominio monopolístico de Nvidia.”