ChartNet del MIT ayuda a modelos de IA más pequeños a superar a rivales más grandes en grá

Investigadores del MIT dicen haber encontrado una solución contundente para uno de los puntos ciegos más embarazosos de la IA: la lectura de gráficos. Su nuevo conjunto de datos, ChartNet, ayudó a que modelos abiertos compactos superaran a sistemas comerciales mucho más grandes en tareas como extraer valores, responder preguntas y resumir gráficos: el tipo de trabajo que aparece en todas partes, desde presentaciones de resultados hasta artículos de investigación.

El resultado es interesante por una razón sencilla: entender gráficos es más difícil de lo que parece. Un modelo tiene que conciliar etiquetas, estructura visual y números al mismo tiempo, y la mayoría de los conjuntos de entrenamiento no le han dado suficientes ejemplos limpios para hacerlo con fiabilidad. La respuesta del MIT es inundar el problema con mejores datos en lugar de modelos más grandes, lo que es una apuesta más sensata que la rutina habitual de la industria de “simplemente añadir más parámetros”.

Qué incluye ChartNet

ChartNet es un conjunto de datos especializado de más de un millón de gráficos sintéticos etiquetados. Cada ejemplo incluye la imagen del gráfico, el código fuente usado para construirlo, una descripción en texto, una tabla numérica y un conjunto de preguntas con sus respuestas correctas. Esa combinación ofrece a los modelos varias formas de aprender el mismo gráfico, en lugar de obligarlos a adivinar solo a partir de los píxeles.

Recomendado

Sam Altman se burla del anuncio de Anthropic mientras crece la reacción en su contra

El conjunto se construyó en dos fases. Primero, el sistema convierte gráficos existentes en código; luego genera automáticamente cientos de variaciones cambiando el tipo de gráfico, los valores, los colores, el estilo y el tema. El equipo también añadió comprobaciones de calidad automatizadas para detectar código roto o imágenes desajustadas antes de que los ejemplos lleguen al entrenamiento.

Por qué los modelos abiertos pequeños ganaron terreno

El MIT y el MIT-IBM Computing Research Lab entrenaron varios modelos abiertos con ChartNet, incluida la familia Granite Vision de IBM. Según las pruebas, los modelos mejorados mejoraron en cuatro tareas relacionadas con gráficos: recuperar datos de gráficos, extraer números, generar resúmenes en texto y responder preguntas sobre diagramas.

• Recuperar datos de gráficos
• Extraer información numérica
• Redactar resúmenes de gráficos
• Responder preguntas sobre diagramas

La afirmación destacada es que modelos abiertos relativamente pequeños, tras entrenarse en ChartNet, superaron de forma consistente a sistemas comerciales mucho más grandes. Eso invierte el guion habitual de la IA. También refleja un patrón más amplio en el aprendizaje automático: datos mejores y específicos para la tarea pueden, a veces, hacer más que la escalada por fuerza bruta, especialmente en dominios estrechos donde los modelos de propósito general siguen fallando.

Qué ocurre si leer gráficos se vuelve más barato

Si los resultados se mantienen fuera del laboratorio, el beneficio práctico es evidente. Las empresas podrían depender menos de plataformas cerradas y costosas para análisis rutinarios de gráficos, y equipos con presupuestos informáticos modestos podrían finalmente automatizar trabajos que antes requerían a una persona con una hoja de cálculo y demasiado café.

La siguiente prueba es el alcance. El equipo del MIT dice que quiere hacer el conjunto de datos más difícil, añadir nuevos tipos de visualización y ampliar las tareas de entrenamiento, lo cual es la dirección correcta porque los gráficos del mundo real son desordenados, inconsistentes y, en ocasiones, diseñados por personas que parecen odiar a los lectores. La pregunta abierta es hasta dónde puede llegar un conjunto sintético limpio una vez que los modelos abandonan el mundo ordenado de los gráficos de referencia y se enfrentan a los informes corporativos reales.