Tesla V100 de Nvidia por $100 sigue superando a GPUs más nuevas en IA local

Una Nvidia Tesla V100 usada, un acelerador de servidor que antes vivía en centros de datos, está resultando ser una herramienta sorprendentemente eficaz para trabajo de IA local. En una prueba práctica, la Tesla V100 superó a tarjetas de consumo más nuevas como la GeForce RTX 3060 12 GB y la Radeon RX 7800 XT 16 GB en varias ejecuciones de modelos, lo que es un recordatorio de que las GPUs para juegos y las GPUs para IA no siempre están jugando el mismo deporte.

La configuración de la prueba fue cualquier cosa menos plug-and-play. La Tesla V100 SXM2 necesitó un adaptador SXM a PCIe, alimentación aparte y una solución de refrigeración casera con un conducto de aire impreso en 3D y un ventilador. Aun así, todo el conjunto costó aproximadamente 235 dólares, mientras que la propia tarjeta puede encontrarse en el mercado de segunda mano por unos 100 dólares. Eso sigue siendo mucho bricolaje, pero es mucho menos doloroso que comprar hardware completamente nuevo con suficiente VRAM para ejecutar modelos más grandes cómodamente.

Resultados de los benchmarks de IA de la Tesla V100

Los números son la parte que hace que la vieja tarjeta de servidor parezca sorprendentemente fresca. En GPT-oss 20B, la Tesla V100 alcanzó alrededor de 130 tokens por segundo, por delante de la Radeon RX 7800 XT con unos 90 tokens por segundo. En otra ejecución con Gemma4:e4b, registró 108 tokens por segundo, superando a la RTX 3060 12 GB con 76 tokens por segundo.

• GPT-oss 20B: aproximadamente 130 tokens/s en la Tesla V100
• Radeon RX 7800 XT: aproximadamente 90 tokens/s en la misma prueba
• Gemma4:e4b: 108 tokens/s en la Tesla V100
• GeForce RTX 3060 12 GB: 76 tokens/s en esa ejecución

Por qué una tarjeta antigua de centro de datos sigue ganando

La explicación es menos misteriosa de lo que la mercadotecnia de Nvidia querría hacer creer. La Tesla V100 está construida alrededor de ancho de banda de memoria HBM2 y prioridades centradas en el cómputo, mientras que las tarjetas de consumo modernas a menudo dedican más silicio a funciones gráficas, ajustes de eficiencia y trucos para juegos. Ese intercambio puede dejar a los aceleradores más antiguos sorprendentemente competitivos cuando la tarea es la inferencia de modelos de lenguaje grandes y no renderizar árboles bonitos.

También funcionó bien con un límite de potencia de 100 W, donde aun así superó a la RTX 3060 tanto en velocidad como en tokens por vatio. Eso importa porque el mercado de segunda mano está enviando cada vez más hardware ex-servidor a montajes aficionados de IA, especialmente mientras las GPUs convencionales siguen siendo caras y a menudo con limitaciones de VRAM para modelos locales más grandes. Una Tesla V100 de 32 GB, vendida por unos 400 a 500 dólares, resulta aún más tentadora para quienes quieren ejecutar LLMs más pesados sin gastar una pequeña fortuna.

Recomendado

Sam Altman se burla del anuncio de Anthropic mientras crece la reacción en su contra

La pega al comprar una

No se trata de una simple historia de “compra vieja, gana en IA”. La Tesla V100 es barata porque exige compromisos: adaptadores, refrigeración personalizada y la paciencia suficiente para lograr que todas las piezas funcionen entre sí. Para desarrolladores y aficionados a la IA que disfrutan un poco de la ‘cirugía’ de hardware, ese intercambio puede valer la pena. Para el resto, la opción sensata sigue siendo una tarjeta moderna que funcione nada más sacarla de la caja.

La cuestión más interesante es cuánto tiempo permanecerá abierto este resquicio. Si las GPUs usadas de centros de datos siguen ofreciendo alto ancho de banda de memoria a precios de ganga, seguirán socavando a los modelos de consumo para cargas de trabajo de IA local, y a quienes compraron la tarjeta de juegos “del año pasado” para inferencia puede que no les haga demasiada gracia.