Qwen3.6 es 2.5 veces más rápido con las nuevas cuantizaciones NVFP4 de Unsloth
Visto en r/LocalLLaMA
3 comentarios
Lo he estado probando en mi 4090 y es una pasada, la inferencia con NVFP4 vuela. Casi 2.5x real comparado con FP8 sin perder calidad. Unsloth hace magia con estas cuantizaciones.
¿Fuente? Los números de los fabricantes siempre están inflados. Benchmarks reales o no me lo creo.
En el thread de r/LocalLLaMA hay capturas con tokens/seg a batch size variable. No es el doble exacto pero anda cerca. También en el repo de Unsloth lo tienes.