Inicio / Tecnologia / Nuevo sistema asegura detectar textos escritos por IA con hasta 98 % de precisión

Nuevo sistema asegura detectar textos escritos por IA con hasta 98 % de precisión

La herramienta analiza más de 200 características de la estructura de un texto y afirma poder reconocer incluso contenidos que fueron reescritos para ocultar su origen artificial.

Un investigador desarrolló un nuevo método para identificar textos generados por inteligencia artificial que, según sus pruebas, consigue distinguirlos de los escritos por humanos con un nivel de acierto cercano al 98 %.

El sistema, denominado SlopShape, no busca simplemente palabras, expresiones o patrones estadísticos asociados con modelos como ChatGPT.

Analiza algo más profundo: cómo está construido el texto.

Su creador, Jochen Madler, diseñó un instrumento que examina más de 200 características relacionadas con la organización del contenido, el orden de las ideas, la ubicación de la tesis, el uso de fuentes, la forma de presentar argumentos y la manera en que se construyen las conclusiones.

La hipótesis es que los modelos de inteligencia artificial dejan una especie de huella estructural incluso cuando cambian las palabras.

Para comprobarlo, el investigador reunió 2,250 artículos publicados por 268 empresas antes del lanzamiento de ChatGPT.

Posteriormente pidió a cinco modelos avanzados de inteligencia artificial que generaran nuevas versiones de esos contenidos.

El experimento produjo 11,250 textos artificiales utilizando modelos de OpenAI, Anthropic, Google, DeepSeek y Moonshot AI.

SlopShape consiguió un resultado de 97 % en la métrica macro-F1 al distinguir textos humanos de contenidos generados mediante inteligencia artificial.

Incluso después de pedir a los propios modelos que reescribieran sus textos para modificar la redacción, el rendimiento apenas cayó, hasta aproximadamente 96 %.

El sistema encontró varios patrones recurrentes.

Los textos generados por inteligencia artificial tienden a presentar estructuras excesivamente ordenadas, introducir rápidamente la tesis, anunciar lo que explicarán, dividir los argumentos de manera predecible y terminar repitiendo o reformulando la conclusión inicial.

También aparecen con frecuencia listas equilibradas de ventajas y desventajas, recomendaciones genéricas y estadísticas introducidas sin suficiente contexto.

El método consiguió incluso identificar correctamente qué modelo había producido un texto en alrededor del 69 % de los casos, frente a una probabilidad aleatoria de apenas 16.7 %.

Eso sugiere que distintos sistemas pueden desarrollar estilos estructurales reconocibles.

Sin embargo, los resultados tienen limitaciones importantes.

El estudio se realizó únicamente con artículos comerciales escritos en inglés y todavía no demuestra que el método funcione con la misma precisión en trabajos académicos, periodismo, literatura, redes sociales u otros idiomas.

También existe otro problema.

Muchas de las características que SlopShape atribuye a la inteligencia artificial ya estaban presentes antes de ChatGPT en textos corporativos, comunicados empresariales y contenidos diseñados para posicionamiento en buscadores.

Un texto ordenado, predecible o lleno de subtítulos no necesariamente fue escrito por una máquina.

El propio experimento demuestra así la dificultad fundamental de todos los detectores de inteligencia artificial: identificar patrones no equivale necesariamente a demostrar autoría.

Aun así, SlopShape introduce una idea distinta.

En lugar de preguntar qué palabras utiliza una inteligencia artificial, intenta descubrir cómo organiza el pensamiento cuando escribe.

Y puede que la huella más difícil de ocultar no esté en las palabras.

Puede estar en la forma.

Deje un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *