Once detectores de IA fallan al evaluar textos humanos: un experimento revela su falta de fiabilidad

El experimento

Una escritora probó once detectores de IA con ocho textos propios de diferentes épocas, incluyendo cuatro escritos antes de la existencia de los modelos de lenguaje actuales. Herramientas como Originality, Ace, Humalingo, ZeroGPT, Grammarly, GPTZero, Getsolved, Quillbot, Pangram, CopyLeaks y WinstonAI arrojaron resultados contradictorios. Por ejemplo, una guía personal de trabajo escrita en 2019 obtuvo un 5 % de probabilidad de ser humana según Getsolved, mientras que otras seis herramientas la calificaron como 100 % humana. Ace clasificó los ocho textos como mayoritariamente generados por IA, incluidos aquellos anteriores a la tecnología.

Resultados inconsistentes

La dispersión de puntuaciones evidencia que estos detectores miden características estilísticas, no la autoría real. Un ensayo técnico sobre física, escrito con asistencia ligera de IA (continuidad y organización), recibió las puntuaciones de humanidad más altas (99-100 % en siete de once detectores). En cambio, Getsolved dio a sus textos pre-LLM puntuaciones de humanidad de solo el 5 al 15 %, y a su ficción asistida, del 60 al 73 %. La autora atribuye esto a que su estilo denso y estructurado —con alta densidad léxica y consistencia sintáctica— se asemeja a las salidas de modelos de lenguaje con temperatura baja.

Uso personal de la IA

La escritora detalla cómo emplea la IA como asistente: un modelo de Claude mantiene sus notas de continuidad, cronología y sistemas de magia para sus novelas, mientras ella redacta cada palabra. «Escribo cada maldita palabra. Sí, cada palabra. No la mayoría, no con ediciones ligeras. Todas», afirma, respaldada por historiales de versiones y el hecho de que sus textos antiguos también activan los detectores. Critica la hipocresía de quienes condenan cualquier ayuda de IA mientras toleran el uso de correctores ortográficos y predictores de texto, que también son modelos de lenguaje.

Rechazo editorial

Publicaciones como Clarkesworld, Asimov’s Science Fiction y McSweeney’s han implementado políticas que prohíben cualquier texto «escrito, desarrollado o asistido» por IA. La autora ironiza: «Según Asimov’s, no se puede usar IA, pero la Fundación de Seldon seguro que mantenía censos galácticos sin ayuda». Señala que estas normas ignoran que herramientas básicas como el corrector de Google Docs o Grammarly también son modelos de lenguaje, y que los escritores establecidos a menudo recurren a escritores fantasmas sin escrutinio.

Conclusión

«Cada institución que usa estas herramientas para acusar a un estudiante, rechazar un manuscrito o destruir una reputación debería tomar asiento», sentencia la autora. Su experimento muestra que los detectores de IA no son fiables y penalizan estilos personales, no el origen sintético. Afirma que solo aceptaría cambiar de opinión si once instrumentos coincidieran y pasaran un grupo de control, pero al no hacerlo, mantiene su postura: la tecnología actual no puede distinguir con precisión entre prosa humana y artificial.

Fuente: originalseparation.substack.com · Visto en r/ClaudeAI