Alucinación (IA)
Definición breve
La alucinación ocurre cuando un modelo de IA afirma algo falso con un tono seguro que se lee como un hecho real.
Cuando un modelo de lenguaje se encuentra con una pregunta que en realidad no sabe responder, no deja el campo en blanco, puede producir, a partir de patrones, una respuesta verosímil pero falsa. Esto es alucinar, e inventar una fuente, una fecha, una cifra o una cita es su forma más común.
El modelo no lo hace a propósito, no tiene forma de distinguir si su propia salida es verdadera o falsa, el tono se mantiene igual de seguro en ambos casos, lo que hace más difícil detectar el error.
El riesgo de alucinación aumenta cuando el modelo trabaja con conocimiento desactualizado, cuando se le pregunta sobre algo muy específico, o cuando genera libremente sin apoyarse en una fuente, ver RAG.
La forma más sencilla de detectar una alucinación en la práctica es abrir y comprobar cada fuente o enlace que cita el modelo; una fuente inventada suele o bien no existir en absoluto, o bien no contener el dato afirmado. Cualquier respuesta con cifras o fechas no debería publicarse nunca sin que usted la compare antes con el documento original o un registro oficial.
Por qué importa
Una alucinación sin controlar significa que un precio erróneo, una información legal falsa o una fuente inexistente puede llegar a un mensaje de cliente o a un contenido publicado. Por eso toda salida de IA, sobre todo con cifras o afirmaciones, sigue necesitando una revisión humana.
Ejemplo ilustrativo
Un asistente integrado con un sistema de SKU sugirió un código de producto inexistente como si fuera real, el equipo lo detectó antes de que saliera publicado.
