El auge de la IA encarece el archivado web

El auge de la IA está encareciendo el archivado web, y tanto Internet Archive como Wikimedia Foundation lo están notando, ya que la demanda de la industria de la IA eleva los precios de los discos duros de gran capacidad, la memoria NAND e incluso de los servidores necesarios para almacenar los restos de internet.

Según 404 Media, algunos discos duros de alta capacidad han subido hasta triplicar su precio habitual. Eso llega en mal momento para proyectos cuyo trabajo es acumular datos a largo plazo, sobre todo ahora que los sitios web también están restringiendo el acceso frente a bots de todo tipo. La ironía es dolorosa: el mismo internet que se extrae para el entrenamiento de la IA se está volviendo más difícil de conservar para el resto.

Internet Archive se enfrenta a escasez de 28-30 TB

Internet Archive es el punto de presión más claro aquí. Ya almacena unos 210 petabytes de datos y añade aproximadamente 100 terabytes al día, por lo que incluso pequeños cambios en los precios de almacenamiento rápidamente se convierten en dinero real. Su fundador, Brewster Kahle, dice que encontrar unidades adecuadas de 28-30 TB se ha convertido en un problema serio porque o no están disponibles o son mucho más caras de lo previsto.

Recomendado

Hassabis dice que las STEM te hacen 10 veces mejor en IA

Ese es el tipo de problema de suministro que rara vez llega a los titulares hasta que empieza a distorsionar la infraestructura pública. Archivar no es un negocio llamativo, lo que significa que tiene poco poder de negociación cuando los fabricantes de componentes y los compradores de la nube empiezan a pelearse por el mismo hardware.

Los costes de la infraestructura de Wikipedia también aumentan

Wikimedia Foundation está notando el problema desde otro ángulo. Dice que la presión de los precios afecta no solo a los discos de almacenamiento, sino también al suministro de servidores y a la capacidad de planificar futuras compras con confianza. Para una organización sin ánimo de lucro que depende de gastos de infraestructura previsibles, esa es una combinación desagradable.

• Internet Archive almacena alrededor de 210 petabytes de datos
• Añade aproximadamente 100 terabytes al día
• Se informa que los discos duros de alta capacidad han subido hasta triplicar su precio habitual

El bloqueo de bots dificulta la preservación

La factura del hardware es solo la mitad de la historia. Cada vez más sitios están bloqueando bots porque sus propietarios temen el scraping automatizado para el entrenamiento de la IA, y eso también está afectando a los rastreadores ordinarios de archivo. Así, los proyectos que intentan preservar la historia digital están siendo presionados por ambos frentes: mayores costes de almacenamiento y menos acceso a las páginas que intentan salvar.

Si esto sigue extendiéndose, el archivado podría convertirse en una versión más lenta y reducida de sí mismo, con huecos donde debería estar la web de ayer. Los probables ganadores son los proveedores de almacenamiento y las empresas de IA que compran a gran escala; los perdedores son todos los que suponen que internet mantiene la memoria gratis.