El problema con la detección de contenido escrito por IA

JuliusH/Pixabay

¿Puede la inteligencia artificial (IA) detectar con precisión el contenido generado por GPT? Un nuevo estudio de la Universidad de Stanford encuentra que los detectores GPT de IA no son confiables, particularmente al evaluar contenido de autores no nativos en inglés.

“Este documento es uno de los primeros en examinar sistemáticamente los sesgos presentes en los detectores GPT y aboga por una mayor investigación para abordar estos sesgos y refinar los métodos de detección actuales para garantizar un panorama digital más equitativo y seguro para todos los usuarios”, compartieron los investigadores de Stanford.

Los GPT (Transformadores generativos preentrenados) son un tipo de modelo de lenguaje grande (LLM por sus siglas en inglés) de IA que consta de redes neuronales artificiales que utilizan un método semisupervisado para tareas de comprensión del lenguaje. Los transformadores son un tipo de modelo de aprendizaje automático que utiliza el aprendizaje profundo. GPT se somete a un preentrenamiento generativo no supervisado que utiliza conjuntos de datos masivos con texto sin etiquetar para determinar los parámetros del modelo, seguido de un ajuste fino supervisado en el que el modelo se adapta a una tarea discriminatoria con datos etiquetados.

Los ejemplos de GPT incluyen Google Bard, Microsoft Bing, Amazon CodeWhisperer, YouChat, ChatSonic, GitHub Copilot, OpenAI Playground, Character AI, Elicit, Perplexity AI, Jasper, Anthropic Claude y el popular ChatGPT de OpenAI. Solo dos meses después de que el chatbot con IA ChatGPT fuera lanzado al público en noviembre de 2022, había ganado más de 100 millones de visitantes únicos mensuales según un estudio de UBS basado en análisis de datos de Similarweb (NYSE: SMWB), un proveedor de plataforma de inteligencia digital.

ChatGPT está impactando la educación. Según una investigación de marzo de 2023 realizada por Walton Family Foundation, ChatGPT se ha extendido ampliamente en la educación. De los 1,000 encuestados, el 47% de los estudiantes de 12 a 14 años y el 33% de los estudiantes de 12 a 17 años informaron que usan ChatGPT para la escuela. El número es aún mayor para los educadores, con el 51% de los 1000 maestros de K-12 encuestados que informaron usar ChatGPT.

Muchos maestros consideran la detección de GPT como una contramedida crítica para disuadir a “una forma de trampa del siglo XXI”, pero la mayoría de los detectores de GPT no son transparentes”, escribieron los investigadores de Stanford. “Las afirmaciones sobre el "99% de precisión" de los detectores GPT a menudo son tomadas al pie de la letra por un público más amplio, lo que es engañoso en el mejor de los casos, dada la falta de acceso a un conjunto de datos de prueba disponible públicamente, información sobre especificaciones del modelo y detalles sobre datos de entrenamiento”.

Para este estudio, el equipo de investigadores de Stanford formado por James Zou, Eric Wu, Yining Mao, Mert Yuksekgonul y Weixin Liang analizó siete detectores GPT de uso común en 88 ensayos escritos por estudiantes estadounidenses de octavo grado del conjunto de datos ASAP de la Fundación Hewlett y 91 ensayos TOEFL (Examen de inglés como lengua extranjera) de un foro chino.

Los investigadores encontraron que, en general, los detectores AI GPT mostraron un sesgo contra los autores de inglés no nativo, con una tasa promedio de falsos positivos de más del 61% para los ensayos TOEFL escritos por hablantes no nativos, y un detector marcó incorrectamente más de 97% de ensayos TOEFL como generados por IA. Según los investigadores, el culpable es el uso de perplejidad de texto por parte de los detectores GPT. La perplejidad del texto mide el nivel de dificultad del modelo de lenguaje generativo para predecir la siguiente palabra.

“Nuestros hallazgos enfatizan la necesidad de un mayor enfoque en la imparcialidad y solidez de los detectores GPT, ya que pasar por alto sus sesgos puede tener consecuencias no deseadas, como la marginación de los hablantes no nativos en entornos educativos o de evaluación”, concluyeron los investigadores de Stanford.

Copyright © 2023 Cami Rosso. Todos los derechos reservados.