Ternary Bonsai 27B: Un modelo de razonamiento de 27B que cabe en un portátil gracias a pesos ternarios

Prism ML ha presentado Ternary Bonsai 27B, un modelo de lenguaje de 27 mil millones de parámetros que utiliza una representación de pesos ternarios (valores {-1, 0, +1}) para reducir drásticamente su tamaño. El modelo, derivado de Qwen3.6-27B, ofrece un rendimiento en tareas de razonamiento cercano al de su versión original en FP16, pero con una huella de memoria significativamente menor.

La compresión es uno de sus puntos fuertes. El modelo ternario ocupa ~7.2 GB en disco (frente a los ~54 GB de la versión FP16), lo que supone una reducción de aproximadamente 9.4 veces. Esto permite ejecutar un modelo de clase 27B en un ordenador portátil estándar o una sola GPU de consumo. La representación utiliza el formato GGUF Q2_0_g128, con un coste de almacenamiento efectivo de ~1.71 bits por peso, y los pesos se consumen directamente sin expandirse a FP16.

En las pruebas de rendimiento, el modelo retiene el 95% de la inteligencia de la versión FP16. Alcanza una puntuación media de 80.49 en 15 benchmarks de razonamiento, superando por más de siete puntos a otras compresiones convencionales de 2 bits (como IQ2_XXS, con 72.73) y ocupando casi la mitad de espacio. Destaca en matemáticas (93.40), programación (85.96) y uso de herramientas agénticas (74.01), áreas donde otras representaciones sub-4-bit suelen colapsar.

La velocidad de inferencia es práctica para uso interactivo. En un Apple M5 Pro, el modelo genera ~26 tokens por segundo. En hardware más potente, como una GPU H100, alcanza los 98 tokens por segundo, cifra que puede aumentar a 131.8 tok/s usando una capa de decodificación especulativa (DSpark) incluida. El modelo también mantiene una ventana de contexto de 262.000 tokens en el dispositivo, ayudado por una arquitectura de atención híbrida.

El paquete incluye varios componentes opcionales, como la torre de visión en 4-bit para tareas multimodales y el drafter DSpark para acelerar la decodificación. Se proporcionan instrucciones para su uso en llama.cpp con CUDA y Metal, así como una versión para MLX en Apple Silicon. Para móviles, existe una versión binaria de 1 bit que ocupa ~3.9 GB, compatible con un iPhone 17 Pro Max.

Fuente: huggingface.co · Visto en r/LocalLLaMA