Галлюцинация (ИИ)
Краткое определение
Галлюцинация это когда модель ИИ утверждает нечто неверное уверенным тоном, звучащим как факт.
Столкнувшись с вопросом, на который она на самом деле не знает ответа, языковая модель не оставляет поле пустым, а может на основе шаблонов создать правдоподобный, но ложный ответ. Это и есть галлюцинация, а выдумывание источника, даты, цифры или цитаты ее самая частая форма.
Модель делает это не намеренно, у нее нет способа отличить, верен ее собственный ответ или ложен, тон остается одинаково уверенным в обоих случаях, из-за чего ошибку труднее заметить.
Риск галлюцинации возрастает, когда модель работает с устаревшими знаниями, когда ее спрашивают о чем-то очень узком, или когда она генерирует свободно, не опираясь на источник, см. RAG.
Проще всего заметить галлюцинацию на практике, открыв и проверив каждый источник или ссылку, названные моделью; выдуманный источник обычно либо вовсе не существует, либо не содержит заявленных сведений. Любой ответ с цифрами или датами не стоит публиковать, пока вы не сверите его с исходным документом или официальным реестром.
Почему это важно
Неконтролируемая галлюцинация означает, что неверная цена, ложная юридическая информация или несуществующий источник может дойти до сообщения клиенту или опубликованного текста. Поэтому любой результат ИИ, особенно с цифрами или утверждениями, все еще требует проверки человеком.
Условный пример
Ассистент, интегрированный с системой артикулов, предложил несуществующий код товара как настоящий, команда заметила это до публикации.
