Почему нейросеть выдумывает: галлюцинации и устаревшая база

Самая дорогая ошибка новичка — решить, что уверенный тон означает правоту. Нейросеть называет номер статьи закона, фамилию автора, точную цифру по рынку — и всё это может оказаться выдумкой. Причём выдумкой складной, с деталями и подробностями.

Это происходит по двум разным причинам, и лечатся они по-разному.

Причина первая: она собирает правдоподобное, а не верное

Нейросеть не ищет ответ и не вспоминает его. Она раз за разом предсказывает, какой кусочек текста вероятнее всего идёт следующим, — и из этих кусочков складывается ответ. Проверки фактов в этой схеме нет нигде.

Когда в её опыте были тысячи ссылок вида «согласно статье 47.2 Федерального закона №118-ФЗ», она умеет собрать ещё одну такую же — грамматически безупречную и юридически несуществующую. Это и называется галлюцинацией.

Ключевое, что стоит принять: это не поломка, а прямое следствие устройства. Перезапуск не поможет, доплата за тариф не поможет, вежливая просьба «не выдумывай» не поможет. Правдоподобное и верное — разные вещи, и модель оптимизирована ровно на первое.

Чаще всего сыплется то, что выглядит как точный факт:

• номера статей, законов, ГОСТов, приказов;
• цифры: доли рынка, суммы, даты, проценты;
• имена авторов, названия книг и исследований;
• ссылки — особенно ссылки, они собираются из похожих кусков и ведут в никуда;
• цитаты «своими словами», которых никто не произносил.

Причина вторая: база устарела, а выхода в интернет нет

Вторая беда выглядит так же, но устроена иначе. У каждой модели есть срез знаний — дата, на которой её обучение закончилось. Всё, что случилось после, ей неизвестно.

И вот важное, чего не знает большинство: выход в интернет есть не у всех. Одни сервисы ищут в сети по умолчанию, другие — только если специально попросить, третьи не умеют вовсе. Модель без поиска ответит по старому срезу и не предупредит, что говорит о позапрошлом годе. Особенно обидно на ценах, законах, составах команд и версиях программ.

Что с этим делать:

• проверяйте, ищет ли ваш сервис в сети. Обычно это видно по значку или по строчке «искала в интернете» в ответе;
• если нужен свежий факт, просите искать прямо: «найди в интернете и дай ссылку»;
• дату спрашивайте отдельно. Вопрос «на какую дату у тебя данные?» экономит много нервов.

Отличить одно от другого просто: галлюцинация — это то, чего не было никогда, устаревшая база — то, что было правдой, но перестало.

Как распознать выдумку

Плохая новость: по самому ответу — почти никак. Складность и подробность это ровно то, что модель умеет лучше всего, поэтому они ничего не подтверждают. Вопрос «ты уверена?» тоже не работает: на него она сложит такой же правдоподобный ответ, а иногда из вежливости согласится, что ошиблась, хотя была права.

Работает только внешняя проверка. Практический минимум:

1. Всё проверяемое — проверяйте. Имена, цифры, даты, номера статей, ссылки. Одна минута поиска против репутации.
2. Ссылку открывайте. Не «выглядит правдоподобно», а именно откройте. Несуществующие ссылки — самый частый вид выдумки.
3. Просите источник до ответа, а не после. «Сначала найди источник, потом отвечай по нему» работает лучше, чем «а откуда это?» вдогонку.
4. Задайте вопрос дважды в разных чатах. Разошлись ответы — значит, она догадывается, а не знает. Это грубый, но быстрый тест.
5. Сверяйте с тем, что уже есть у вас. Модель сильна там, где материал перед глазами: пересказать, сократить, разложить ваш же документ. Слаба там, где нужен факт из внешнего мира без источника.

Главный вывод

Нейросеть — не справочник и не эксперт. Это сложная программа, предсказывающая текст, и относиться к её ответу стоит как к черновику толкового, но небрежного помощника: формулировки берём, факты проверяем.

Заодно полезно помнить про контекстное окно: часть «выдумок» на длинных документах — это не фантазия, а честный пересказ того куска, который в окно поместился.

Про то, где нейросети правда сильны, а где их лучше не пускать, пишу в канале «Очередная нейросеть».