LingBot-Map transmite reconstrucción 3D a 20 FPS

LingBot-Map es un modelo fundacional 3D de código abierto de tipo feed-forward diseñado para la reconstrucción 3D en transmisión desde secuencias de vídeo largas. El proyecto, publicado por el Robbyant Team, se centra en un Geometric Context Transformer que combina anclaje de coordenadas, señales geométricas densas y corrección de deriva a largo plazo en un único marco de transmisión.

Según la página del proyecto, el modelo funciona a aproximadamente 20 FPS con entrada de 518×378 y puede manejar secuencias de más de 10,000 fotogramas mediante una configuración de atención con caché KV paginada. El equipo afirma que supera tanto a sistemas de transmisión previos como a métodos basados en optimización iterativa en múltiples benchmarks.

El repositorio también documenta un ciclo de lanzamientos rápido. Actualizaciones recientes incluyen una corrección para un error en la caché KV de SDPA el 2026-06-28, scripts de evaluación para KITTI y Oxford Spires el 2026-05-25, y una demostración de vídeo largo publicada el 2026-04-29 que muestra un recorrido interior de aproximadamente 25,000 fotogramas y 13 minutos.

Modelos y configuración

El proyecto ofrece tres puntos de control:

Recomendado

El puente impreso en 3D del MIT revela el verdadero cuello de botella del hormigón

• lingbot-map-long para secuencias largas y escenas a gran escala
• lingbot-map como el punto de control equilibrado usado en el artículo, en el benchmark y en la demostración fuera de línea
• lingbot-map-stage1, un punto de control de entrenamiento de etapa 1 que puede cargarse en el modelo VGGT para inferencia bidireccional

La instalación recomendada utiliza Python 3.10, PyTorch 2.8.0 y CUDA 12.8. El equipo recomienda FlashInfer para el mejor rendimiento, con SDPA disponible como alternativa.

Secuencias largas y renderizado

Para uso interactivo, demo.py lanza un visor 'viser' basado en navegador en http://localhost:8080. Las escenas de ejemplo incluyen courthouse, university, loop y oxford. Para ejecuciones más largas, el código admite intervalos de fotogramas clave para reducir el uso de memoria y un modo con ventana para secuencias de más de 3,000 fotogramas.

Una tubería fuera de línea en demo_render/batch_demo.py renderiza vídeos de recorrido de nubes de puntos sin interfaz gráfica a partir de carpetas de imágenes o archivos de vídeo. El ejemplo destacado procesa un vídeo interior de aproximadamente 25,000 fotogramas usando el modo con ventana, con enmascaramiento opcional del cielo mediante un modelo de segmentación ONNX descargado de Hugging Face en el primer uso.

El código se publica bajo la licencia Apache-2.0.