Moondream 3.1: el modelo de visión-lenguaje de 9B parámetros con solo 2B activos

Moondream 3.1 es un modelo de lenguaje visual con arquitectura de mezcla de expertos (Mixture-of-Experts) que suma 9 mil millones de parámetros totales, pero solo 2 mil millones activos durante la inferencia. Ofrece razonamiento y detección visual de vanguardia, combinando velocidad y bajo costo de implementación. Sus capacidades nativas —consulta, detección, señalamiento y descripción— devuelven siempre resultados estructurados.

El modelo se ejecuta localmente mediante Photon, el motor de inferencia de alto rendimiento de Moondream. Photon funciona en GPUs NVIDIA (arquitectura Ampere o posteriores) y en Macs con Apple Silicon. No se requiere clave de API para usar el modelo base; solo se necesita instalar el paquete moondream y las dependencias. La primera ejecución descarga automáticamente los pesos desde Hugging Face.

El código de ejemplo muestra cómo cargar el modelo con md.vl(local=True, model="moondream3.1-9B-A2B") y aplicar sus funciones sobre una imagen. Con model.caption() se obtiene una descripción textual; con model.query() se responde a preguntas visuales; model.detect() permite detección de vocabulario abierto (por ejemplo, "persona") y model.point() señala objetos en la escena. Cada método devuelve datos estructurados.

Para quienes prefieren un servicio alojado, Moondream Cloud ofrece las mismas habilidades a través de una API con un generoso nivel gratuito. La guía de inicio rápido explica cómo realizar la primera llamada.

Moondream 3.1 se distribuye bajo la Moondream Model License. Los detalles completos sobre el entrenamiento, las novedades y el rendimiento en tareas personalizadas están disponibles en las notas de publicación oficiales.

Fuente: huggingface.co · Visto en r/LocalLLaMA