Галлюцинации искусственного интеллекта: почему нейросети врут

Галлюцинации ИИ (AI Hallucinations) — это феномен, при котором генеративная нейросеть выдает уверенный, логично звучащий, но абсолютно выдуманный или фактически неверный ответ. Искусственный интеллект буквально «фантазирует», выдавая ложь за достоверную информацию.

Как и почему возникают галлюцинации у нейросетей?

Чтобы понять природу этого явления, нужно вспомнить, как работают большие языковые модели (LLM), такие как ChatGPT, Claude или Gemini. В их основе лежит алгоритм предсказания следующего слова. Нейросеть не обладает сознанием, не умеет искать информацию в привычном смысле (если не подключена к интернету напрямую) и не имеет внутренней базы «истины».

Она анализирует ваш запрос и генерирует текст, который статистически наиболее вероятен. Если модель не знает точного ответа, она пытается угодить пользователю и конструирует текст из обрывков знаний, которые кажутся ей подходящими. В результате получается правдоподобный, но ложный текст.

Основные причины ИИ-галлюцинаций:

• Недостаток данных: Модель не обучалась на информации, которую вы запрашиваете.
• Противоречивые обучающие данные: В интернете, на котором учился ИИ, много фейков и ошибок.
• Сложные или запутанные промпты: Если задать вопрос с ложным утверждением (например, «В каком году Ленин встретился с динозавром?»), слабая модель может подыграть и выдумать дату.
• Переобучение или сжатие данных: Нейросеть не хранит тексты дословно, а использует математические веса, что иногда приводит к искажению фактов.

Примеры галлюцинаций искусственного интеллекта

Галлюцинации могут варьироваться от безобидных ошибок до серьезных проблем, способных нанести вред репутации или работе.

• Выдуманные источники: Студент просит нейросеть написать эссе и указать научные статьи. ИИ пишет отличный текст и дает список литературы со ссылками, авторами и годами издания. При проверке выясняется, что ни одной из этих статей не существует в природе.
• Юридический скандал: В США адвокат использовал ChatGPT для подготовки к суду. Нейросеть сгенерировала прецеденты и судебные решения, которых никогда не было. Адвокат не проверил данные и представил их в суде, что привело к крупному скандалу и штрафу.
• Искажение биографий: Если попросить ИИ рассказать о малоизвестном человеке, модель может приписать ему чужие достижения, награды или даже «похоронить» его раньше времени.
• Медицинские советы: Пользователь описывает симптомы и просит поставить диагноз. ИИ может скомпилировать симптомы разных болезней и порекомендовать несуществующее лечение или опасную дозировку реального препарата. Именно поэтому использовать нейросети для самолечения категорически запрещено.

Интересный факт: Слово года и антропоморфизм

В 2023 году составители Кембриджского словаря (Cambridge Dictionary) выбрали слово «hallucinate» (галлюцинировать) словом года. Они добавили к традиционному медицинскому значению новое — связанное с искусственным интеллектом.

Забавно, что сам термин вызывает споры среди ученых. Многие эксперты считают, что называть ошибки ИИ «галлюцинациями» в корне неверно, так как это наделяет машину человеческими свойствами (антропоморфизм). Более точным техническим термином было бы слово «конфабуляция» (замещение провалов в памяти вымыслом) или просто «ошибка генерации», но термин «галлюцинация» оказался слишком ярким и быстро прижился в поп-культуре.

Как бороться с галлюцинациями?

Полностью избавиться от выдумок нейросетей пока невозможно, но риск можно минимизировать. Для этого специалисты используют технологию RAG (Retrieval-Augmented Generation) — перед генерацией ответа ИИ ищет факты в надежной базе данных, а не полагается только на свою память.

Кроме того, разработчики внедряют системные промпты, которые запрещают модели фантазировать. Например, ИИ получает скрытую инструкцию: «Если ты не знаешь ответа, так и скажи, не придумывай факты». Это значительно снижает процент ложных ответов в новых версиях моделей. Обычным пользователям рекомендуется задавать четкие промпты, просить нейросеть опираться только на предоставленный текст и, самое главное, всегда проверять критически важную информацию.