Libargus lleva LLM locales a Java con Panama FFM

libargus es un nuevo runtime de inferencia local de código abierto dirigido claramente a desarrolladores Java 22+ que usan Project Panama Foreign Function & Memory (FFM). Publicado en Hacker News como v1.2.0 Stable, el proyecto envuelve GGML, llama.cpp, Whisper y libmtmd detrás de un único runtime nativo para generación de texto LLM, reconocimiento de voz, síntesis de voz, embeddings y cargas de trabajo multimodales.

La propuesta es rendimiento con menos fricción propia de la era JNI. El proyecto se describe a sí mismo como una capa de ejecución no gestionada, sin asignaciones y sin copias, con una API en C segura para hilos diseñada para integrarse bien con Panama FFM. En lugar de arrancar backends separados para texto, audio y visión, libargus usa un backend global al proceso mediante ggml_backend_load_all() para evitar la fragmentación de la VRAM y conflictos de drivers entre múltiples contextos.

Algunas de las decisiones arquitectónicas más notables:

Recomendado

Apple abandona los planes del Mac Pro y planifica actualizaciones del iPad

• Los pesos del modelo y los contextos de ejecución están separados, de modo que un modelo cargado puede reutilizarse en múltiples sesiones concurrentes.
• Funciones C que usan solo punteros reemplazan interfaces por paso por valor para mantener el ABI plano y amigable con FFM.
• La cuantización de la caché KV admite formatos como Q8_0 y Q4_0.
• Incluye soporte nativo para decodificación especulativa y Multi-Token Prediction (draft-mtp).
• El runtime expone metadatos GGUF y búsquedas de vocabulario como BOS, EOS, EOT y PAD.

El aspecto multimodal es especialmente ambicioso. A través de libmtmd, el runtime puede ingerir mapas de bits sin procesar, arreglos de audio PCM y archivos o flujos de vídeo, y luego tokenizar texto y medios en una única secuencia de fragmentos. También incluye una canalización de vídeo que decodifica archivos fotograma a fotograma a través de tuberías de subprocessos internas de FFmpeg, devolviendo ya sea fotogramas RGB o texto de marcas temporales como [12m34s] a una tasa de fotogramas objetivo.

En el lado Java, el repositorio incluye una capa completa de bindings bajo bindings/java/, con clases como ArgusModel, ArgusContext, ArgusAudioContext, ArgusMultimodalContext y ArgusVideo. Los ejemplos muestran cargar un modelo llama-3-8b.gguf, configurar un contexto de 4096 tokens con 8 hilos de CPU y habilitar la cuantización de caché KV Q4_0. Otro ejemplo usa qwen2-vl-7b-it.gguf con su adaptador .mmproj para prompting de imágenes, mientras que un ejemplo de embeddings apunta a jina-embeddings-v3-Q4_K_M.gguf.

Compilar la librería compartida es sencillo desde el directorio raíz:

''bash cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON cmake --build build --config Release -j $(nproc) ''

El proyecto también incluye ganchos de prueba para las capas de integración nativas y Java, incluyendo ./build/test_libargus y gradle test bajo bindings/java. Para desarrolladores que quieren ejecutar modelos locales desde Java sin renunciar al control de bajo nivel, libargus intenta convertir a Panama FFM en una vía de primera clase en lugar de un experimento.