Галлюцинации нейросети: почему ИИ уверенно врёт и как это ловить

Кратко. Галлюцинация нейросети это уверенный ответ, который выглядит правдой, но выдуман: несуществующая книга, неверная дата, ссылка в никуда. Причина в устройстве модели: она предсказывает вероятный текст, а не достаёт факты из базы, и при обучении угадывание выгоднее, чем «не знаю». Лечится проверкой: источники, переспрос, свой документ.

Что такое галлюцинация нейросети

Ты спрашиваешь чат-бота, какую книгу почитать про переговоры, и получаешь три названия с авторами и годом издания. Две книги настоящие. Третьей не существует, хотя автор реальный и название звучит ровно так, как он мог бы назвать книгу. Это и есть галлюцинация.

Слово взяли из психиатрии, но смысл тут бытовой: модель выдаёт правдоподобную выдумку тем же тоном, что и проверенный факт. Никакой пометки «тут я не уверена» она не ставит. Что такое нейросеть вообще и откуда у неё ответы, разобрано в статье про генеративный ИИ, здесь только про ошибку.

Чаще всего выдумываются четыре вещи:

• ссылки и цитаты: адрес страницы, которой нет, или слова, которых человек не говорил;
• цифры: год, процент, цена, номер статьи закона;
• имена и должности: реальный человек получает чужую книгу или чужую компанию;
• детали из твоего же текста, если документ длинный и модель «дочитала» его по памяти.

Самое коварное в этом списке последнее. Ты загрузил договор аренды на двенадцать страниц и спросил, есть ли там штраф за досрочный выезд. Бот уверенно отвечает: да, месячная плата, пункт 7.3. Открываешь пункт 7.3, а там про счётчики воды. Штраф в договоре есть, но в другом месте и на другую сумму. Модель знала, что в таких договорах обычно пишут, и выдала типичное вместо написанного.

Галлюцинацию легко спутать с устаревшим знанием. Если бот называет прошлогоднюю цену, виноваты старые данные: модель учили до определённой даты. Лечится то и другое одинаково, проверкой, но причина разная.

Что такое галлюцинация в работе нейросетей: откуда она берётся

Языковая модель не лезет в справочник. Она по кусочку достраивает текст, выбирая продолжение, которое чаще встречалось в похожих местах на обучении. Если факт попадался ей тысячи раз, продолжение совпадает с правдой. Когда факт редкий, модель всё равно обязана что-то написать и пишет самое похожее.

Внутри у неё нет полки с проверенными фактами и отдельной полки с догадками. Есть одна большая статистика того, какие слова стоят рядом. Год рождения писателя и год, который «звучит подходяще», достаются из одного и того же места, поэтому и подаются одинаково уверенно.

Представь студента на экзамене, который знает тему в общих чертах. Спросили про конкретную дату. Молчать нельзя, и он называет год, который «примерно подходит». Иногда попадает. Модель устроена похоже, только у неё нет ощущения, что она сейчас гадает.

Отсюда простое следствие: галлюцинации густеют там, где мало данных. Свежие новости, узкие профессии, мелкие города, законы с поправками, люди без громкого имени.

Что является причиной галлюцинаций в ответах нейросетей

Вторая причина сидит в том, как модели учат и проверяют. Исследователи OpenAI в статье Why language models hallucinate разобрали это на примере тестов: большинство проверок начисляет балл за верный ответ и ноль за «не знаю». Модель, которая уверенно угадывает, набирает больше баллов, чем модель, которая честно признаётся.

Это тот же тест с вариантами ответа в школе. Пустая клетка гарантирует ноль, а галочка наугад даёт шанс. Любой троечник знает, что выгоднее ставить галочку. Модель за годы обучения усвоила ровно эту стратегию. Авторы предлагают штрафовать уверенную ошибку сильнее, чем воздержание, но в твоём чате этого пока никто не сделал за тебя.

Третья причина бытовая: вопрос с ложной посылкой. Спроси «почему Пушкин написал "Войну и мир"», и слабая модель начнёт объяснять. Она подхватывает рамку вопроса, потому что так устроен разговор.

Галлюцинация нейросети и как с ней бороться

Полностью выключить выдумки нельзя, зато поймать их можно почти всегда. Порядок, который работает с любым чат-ботом:

1. Проси источник к каждому факту, от которого зависит решение. Потом открой ссылку сам. Если страница не открывается или там написано другое, факт выброшен.
2. Задай тот же вопрос другими словами в новом чате. Настоящий факт повторится, выдуманный часто поменяется.
3. Дай модели свой документ и попроси отвечать только по нему, с цитатой. «Где в тексте это написано» режет половину фантазий.
4. Разреши ей не знать. Фраза «если не уверен, так и скажи» реально меняет тон ответа.
5. Цифры, законы, дозировки, суммы и сроки сверяй с первоисточником всегда, даже если ответ выглядит идеально.

Допустим, ты просишь бота собрать список документов для загранпаспорта. Он выдаёт аккуратный перечень из семи пунктов. Шестой пункт выглядит логично, но его нет в требованиях. Пять минут на официальном сайте экономят второй поход в МФЦ.

Режим поиска в интернете, который есть у многих ботов, помогает, но не спасает: модель может неверно пересказать даже найденную страницу. Поэтому ссылку открывать всё равно тебе.

Как спросить, чтобы выдумок было меньше

Половину галлюцинаций провоцирует сам вопрос. Короткий и размытый запрос оставляет модели много места для фантазии, а длинный и конкретный сужает его.

Было: «Сколько стоит ремонт кухни?» Модель выдаёт цифру, которую взять неоткуда: город, площадь, материалы ей неизвестны. Стало: «Вот смета от бригады, вот площадь, город Казань. Какие пункты сметы обычно спорят и что уточнить у прораба? Цены не называй». Во втором случае бот работает с тем, что ты дал, и не сочиняет рынок.

Несколько приёмов, которые помогают почти в любом чате:

• дай контекст: кто ты, для чего ответ, какие данные уже есть;
• проси раздельно: сначала факты с источниками, потом выводы;
• запрещай додумывать: «если в документе этого нет, напиши, что нет»;
• проси показать ход рассуждения на задачах со счётом, так ошибку видно раньше;
• не спорь с ботом в одном и том же чате бесконечно: после третьей правки он начинает соглашаться с тобой, даже когда ты неправ.

Последний пункт стоит запомнить отдельно. Модель склонна подхватывать мнение собеседника, и если ты уверенно скажешь «нет, там было по-другому», она легко «вспомнит» твою версию. Для проверки факта лучше открыть новый чат и спросить нейтрально.

Разные боты ошибаются по-разному, и иногда полезно сверить двух. Если ChatGPT и другой бот сходятся в факте, это ещё не доказательство, но расхождение сразу показывает, где копать.

Какие ответы проверять в первую очередь

Не всякий ответ стоит перепроверять. Идеи для тоста, план тренировки на неделю или вариант письма можно брать как черновик: там цена ошибки маленькая, ты сам видишь, подходит или нет.

Скажем, бот пишет тебе поздравление коллеге и приписывает Черчиллю красивую фразу. Поздравление можно отправлять, фразу нужно проверить. Цитаты, которые никто никогда не говорил, гуляют по интернету годами, и модель их с удовольствием повторяет.

Галлюцинации на картинках и в портретах

У нейросетей, которые рисуют, выдумка выглядит иначе, но механика та же. Модель рисует правдоподобное: шесть пальцев на руке, вывеска с буквами, которые только похожи на буквы, серьга в одном ухе и тень от неё в другом. Полный разбор таких мест есть в справочнике артефактов AI-фото.

С лицом это неприятнее всего. Представь: ты загрузил селфи, получил портрет, и вроде похоже, но нос чуть уже, а глаза чуть светлее. Модель не знала твоё лицо в деталях и дорисовала «среднего красивого мужчину». Почему так происходит и что с этим делать, есть в статье о том, почему нейросеть меняет черты лица. Проверка тут та же, что с текстом: сравнить с оригиналом, а не верить первому впечатлению.

Где галлюцинации мешают нам и как мы их режем

В a-dam.photo мы делаем только портреты одного мужчины по его фото, и главная выдумка, с которой мы боремся, это чужие черты. В каталоге сцен модель получает твои настоящие снимки как образцы при каждом кадре, а в Профи-фотосессии за 3 490 ₽ сначала обучается личная модель на 15-20 твоих фото, это около 20 минут. Выдумку в лице это снижает, но финальный отбор кадров всё равно за тобой.

Частые вопросы