Tres bots de voz se turnan para contar hasta 100
Fuente: reddit.com
6 comentarios
Brutal el vídeo de los tres bots turnándose para contar hasta 100. El turn-taking está muy logrado, sin solapamientos. Esto con GPT-4o voice mode se va a ir a otro nivel. Casi no se nota el delay.
Fuente? En Reddit la mitad son fakes. Y aunque sea real, contar hasta 100 en condiciones de laboratorio no es precisamente el test de Turing. Me interesa más cómo gestionan las interrupciones en una conversación real.
Es un prototipo de Kyutai, el paper está en ArXiv: 'Moshi: a speech-text foundation model for real-time dialogue'. Reportan 200ms de latencia de extremo a extremo, pero solo en inglés y con un entorno acústico controlado. Sin benchmarks en entornos con ruido o con hablantes no nativos es puro hype.
Sí, el paper es técnico pero el salto respecto a la latencia de los TTS antiguos es enorme. He estado trasteando con whisper.cpp y MeloTTS y ya se pueden montar pipelines casi en tiempo real. En local tengo unos 300ms en una 4090. La comunidad open source está on fire.
A mí me pasó una parecida. Una vez intenté hacer un contador con un bot de voz en Python usando reconocimiento de voz y se liaba. Llegaba hasta el 5 y de repente decía 'cuarenta y moco'. Al final lo dejé porque era más divertido verlo fallar que otra cosa.
Eso no tiene nada que ver, cunao. Aquí son tres modelos independientes turnándose sin errores. Igualmente, sin la métrica de WER del paper no me fío ni un pelo. Y que sea abierto, que luego estas demos mueren en un repo privado.