Bonsai 27B: el primer modelo de 27B que se ejecuta en un teléfono, reteniendo hasta el 95% de la inteligencia base

PrismML anuncia Bonsai 27B, basado en Qwen3.6 27B, el primer modelo de 27.000 millones de parámetros capaz de ejecutarse en un teléfono. Se presenta en dos variantes que utilizan pesos ternarios o binarios, alcanzando tamaños de 5,9 GB y 3,9 GB respectivamente.

• Variante ternaria: usa pesos {−1, 0, +1} con escalado grupal FP16, 1,71 bits efectivos, 5,9 GB. Orientada a calidad, funciona en portátiles cotidianos.
• Variante de 1 bit: pesos binarios {−1, +1}, 1,125 bits efectivos, 3,9 GB. Orientada a mínima huella, compatible con la memoria disponible en un iPhone 17 Pro.

Ambos modelos son multimodales, con la torre de visión en formato compacto de 4 bits, y manejan un contexto de 262K tokens. Admiten decodificación especulativa y se distribuyen bajo licencia Apache 2.0.

En pruebas comparativas de 15 benchmarks, la variante ternaria retiene el 95% de la puntuación base de Qwen 3.6 27B, mientras que la de 1 bit retiene el 90%. En general, la ternaria obtiene 80,5 puntos frente a 85,0 del modelo completo, y la de 1 bit, 76,1. La densidad de inteligencia alcanza 0,53 por GB en la variante de 1 bit, diez veces más que el modelo en precisión completa.

La ejecución local elimina el costo marginal por iteración en flujos agentivos y mantiene los datos privados en el dispositivo. En hardware, Bonsai 27B alcanza hasta 163 tokens/segundo en una NVIDIA GeForce RTX 5090 (variante 1 bit) y 87 tokens/segundo en un M5 Max. En un teléfono, la restricción de 6 GB de memoria disponible en un iPhone de 12 GB es superada por los 3,9 GB del modelo de 1 bit.

PrismML, empresa surgida de Caltech con apoyo de inversores como Khosla Ventures y Samsung, ofrece acceso gratuito temporal a una API para desarrolladores y planea seguir ampliando la frontera de la densidad de inteligencia.

Fuente: prismml.com · Visto en r/LocalLLaMA