Cómo funciona la detección de contenido mediante IA (y por qué a menudo no funciona)

¡La detección de contenido mediante IA no siempre es precisa! En ocasiones, su herramienta de detección puede marcar el contenido escrito por humanos como generado por IA. He aquí por qué sucede esto y qué puede hacer al respecto.

¿Cómo funcionan los detectores de IA?

Antes de entender por qué fallan los detectores de IA, sentemos algunas bases. La detección de contenido mediante IA consiste en encontrar patrones.

¿Por qué? Simplemente porque cuando un humano escribe, combina pensamientos aleatorios en oraciones significativas. No existe un patrón preestablecido. Algunas oraciones pueden ser demasiado largas para leer, otras pueden ser cortas.

Esto es exactamente lo contrario de cómo piensa y escribe una IA. Hay una mínima aleatoriedad y el texto está muy estructurado. También puede haber repetición de ideas o palabras. Y la elección de palabras en sí misma podría ser demasiado robótica para leerla.

Los detectores de contenido de IA tienen todo esto en cuenta. Buscan estos patrones para distinguir entre contenido escrito por humanos y contenido generado por inteligencia artificial.

Para ello entran en juego cuatro conceptos.

Aplican clasificadores

Un clasificador es un algoritmo que clasifica el texto en diferentes clases según factores como el uso, la gramática, el estilo y el tono.

Por ejemplo, es más probable que un texto con un tono suave, mala gramática y un estilo de escritura repetitivo se clasifique como generado por IA.

Usan incrustaciones

En la detección de contenido de IA, las incrustaciones son representaciones numéricas de palabras y sus relaciones entre sí. Se expresan como vectores en un espacio de alta dimensión, cada uno con un código único.

Estos códigos ayudan a las computadoras a comprender cómo se relaciona cada palabra entre sí y el contexto de su uso. El modelo de aprendizaje automático subyacente se entrena constantemente para determinar qué códigos son comunes para el texto generado por IA y cuáles no.

se ven perplejos

La perplejidad es una característica del texto que define el grado de aleatoriedad de un escrito. Los humanos escriben con mucha perplejidad. La inteligencia artificial no.

Por ejemplo, piense en los posibles finales de esta oración: "Ayer fui a ver a Oppenheimer y él estaba _____".

Si respondiste algo esperado como "espectacular", "excepcional", "notable", "impresionante" o "llamativo", lo siento, pero es posible que seas un robot. ¡Pero tienes buen gusto para las películas!

En serio, es más probable que un humano complete la frase con algo más coloquial o basado en una experiencia personal. Algo así como “totalmente loco” o “no es lo que esperaba que fuera”. Después de todo, un ser humano puede esperar algo de una película. La IA obviamente no puede. Si afirma hacerlo, el modelo lingüístico subyacente probablemente sea delirante (inventa afirmaciones sobre el terreno sin pruebas concretas) o carezca de barreras protectoras (estructuración de la producción y control de calidad).

Controlan la explosibilidad

Ya hemos hablado de cómo los humanos escriben de forma impredecible. Y cómo algunas frases pueden ser largas y otras cortas. La velocidad es otra característica del texto que lo define.

El texto escrito por la inteligencia artificial suele estar compuesto por frases similares en longitud y estructura (baja ráfaga). Aquí hay un ejemplo de texto generado por ChatGPT. Nótese la estructura monótona y la longitud comparable de ambas oraciones:

"La ráfaga de texto, también conocida como ráfaga de palabras o ráfaga de términos, es un concepto en el procesamiento del lenguaje natural y el análisis de texto que se refiere a la distribución no uniforme de palabras o términos en un texto o documento determinado. En otras palabras, describe el fenómeno donde ciertas palabras o términos aparecen con más frecuencia en un contexto o documento específico de lo que se esperaría basándose en una distribución aleatoria o uniforme".

El texto humano es todo lo contrario (como este artículo). Tiene una combinación saludable de oraciones largas y cortas con la creatividad suficiente para romper moldes. Y evitar estructuras aburridas (alta explosividad).

Los detectores de IA utilizan una combinación de estos cuatro conceptos para detectar contenido escrito por IA. Entonces, la ciencia está ahí. ¿Pero es saludable?

¿Es precisa la detección de IA?

Desafortunadamente, la detección de IA no es 100% precisa. No todavía, de todos modos. Es sólo un juego de azar.

Y es por eso que pasar cualquier contenido a través de un detector de IA genera un nivel de confianza, nunca un nivel de precisión. Por ejemplo, si el detector de IA da una puntuación del 70%, significa que tiene un 70% de confianza en que el contenido es generado por IA y un 30% de confianza en que está escrito por humanos.

Ahora, imagina esto. Te mostraré diez chocolates y te diré que siete son oscuros y tres blancos. Ahora te pido que elijas uno al azar y me digas el sabor que te salió sin abrir el paquete. Puedes responder esta pregunta? ¡Obviamente no! La premisa en sí te está preparando para el fracaso. Y esto es exactamente lo que está sucediendo con los detectores de IA. Con sólo niveles de confianza y probabilidades a su disposición, tarde o temprano estarán obligados a equivocarse.

¿Por qué fallan los detectores de contenido de IA?

Hay muchas razones por las que la detección de contenidos mediante IA se está volviendo cada vez más difícil.

1. Los generadores de contenidos basados ​​en IA los están superando: Plantillas como ChatGPT 4 (e incluso la versión gratuita) se están volviendo realmente buenas para escribir contenido similar al humano. Utilizan los clasificadores, las incrustaciones, la perplejidad y el estallido adecuados. Analizaron cantidades masivas de contenido generado por humanos para encontrar el punto óptimo entre el uso correcto de la gramática y la elección de vocabulario.
2. Tu herramienta de detección de IA no es lo suficientemente buena: Al igual que los generadores de IA, los detectores de IA también deben entrenarse con cantidades masivas de datos. De lo contrario, no podrán clasificar con precisión el contenido generado por humanos y por IA.
3. Los sesgos a menudo aparecen en los datos de entrenamiento: Cuando una IA toma decisiones sistemáticamente incorrectas para casos de uso específicos, se denomina sesgo. Y este es un asunto serio. Existen porque todos los datos de entrenamiento provienen de humanos. Los seres humanos tienen prejuicios, aunque no sean conscientes de ellos.
4. Las nuevas estrategias de generación de contenidos basadas en IA están empeorando las cosas: Los escritores y blogueros profesionales de IA desarrollan constantemente nuevas estrategias para engañar a los detectores de IA. Por ejemplo, identificaron instrucciones específicas para hacer que ChatGPT escriba contenido que tenga más probabilidades de pasar desapercibido. ¡Ahora también hay un complemento dedicado para humanizar el texto ChatGPT!

¿Qué puedes hacer al respecto?

La mejor solución es aprender a detectar contenido de IA usted mismo.

¿Es fácil? No exactamente. Pero ciertamente es posible. Con un poco de práctica, puedes entrenar tu ojo para buscar lo siguiente:

• Palabras y frases repetitivas, centradas principalmente en posibles palabras clave objetivo. La estructura también puede parecer demasiado uniforme. Por ejemplo: "Me encantan los gatos porque son lindos. Los gatos tienen pelaje suave y ronroneos cálidos. No puedo imaginar mi vida sin gatos".
• Tono robótico genérico con creatividad nula o mínima. Por ejemplo: "Bienvenido a nuestro sitio web. Ofrecemos una amplia gama de productos y servicios. Satisfacemos las necesidades de nuestros clientes. Nuestro equipo trabaja arduamente para brindar la mejor calidad y satisfacción a nuestros clientes".
• Conocimiento superficial de ideas clave sin conocimientos reales ni aprendizaje práctico basado en experiencias de la vida real. Por ejemplo: "Siempre debes mantener una actitud positiva y nunca rendirte. La positividad trae éxito y felicidad en la vida. Es un buen hábito".
• Errores fácticos e información desactualizada. Se sabe que los generadores de contenido de IA ocasionalmente “alucinan” e inventan algo en el acto sin ninguna base real. Por ejemplo: "Según un estudio reciente de 2002, la Tierra es plana y el Sol gira a su alrededor".
• Inconsistencias lógicas y errores que simplemente dan vergüenza leer. Por ejemplo, "John estaba almorzando por la noche cuando llegó el correo de la mañana".
• Una sensación general de falta de vida en el contenido.

El futuro de los generadores de inteligencia artificial vs. Los detectores de IA son realmente impredecibles. No se sabe quién ganará finalmente la carrera. Por ahora, es mejor tomar la ruta manual y trabajar en el desarrollo de esta habilidad intuitiva.