Глоссарий
Галлюцинация в ответе нейросети
Модель может звучать как эксперт и при этом ошибиться в факте — это не «мнение», а проверяемая неправда.
Отлавливайте по пакету промптов и снимкам с датой.
Определение
В мониторинге галлюцинация — это ответ, где нейросеть уверенно утверждает то, чего нет в ваших опорных данных: выдуманная скидка, чужой тариф, несуществующая интеграция, «офис в другом городе», когда его нет. Это не молчание (бренд не назвали) и не честный негатив (жалоба, которая реально есть у клиентов). В финансах, медицине и юридических темах такие ошибки особенно опасны.
Примеры из ответов моделей
Неверная цена: «Сервис стоит от 990 ₽ в месяц», а на сайте минимальный тариф 4 900 ₽.
Несуществующая опция: «В корпоративном тарифе есть выгрузка в 1С», хотя в описании тарифов этого нет.
Путаница с конкурентом: «Компания А — экосистема того же холдинга, что и Б», хотя это независимые игроки.
Вымышленная география: «Представительство в Екатеринбурге», если у вас только удалённая команда и юрлицо в Москве.
Вымышленный факт: «Выходили на IPO в 2024 году», если публичной эмиссии не было.
Как считается
Getllmspy сопоставляет ответы с вашими фактами (сайт, прайс, юридическое название, география) и помечает прямые противоречия. Проверка на размноженных запросах показывает, повторяется ли ошибка при других формулировках того же вопроса. Спорные случаи разумно досматривать вручную.
Типы ошибок «от себя»
Ценовые — неверный тариф, скидка или условие оплаты. Пример: «Первый месяц бесплатно», хотя такой акции нет в оферте.
Функциональные — возможности или связки с сервисами, которых нет в продукте. Пример: «Поддерживает двухфакторную авторизацию через госуслуги», если в справке только вход по почте и СМС.
Репутационные — неверное позиционирование или слияние с чужим брендом. Пример: «Российский аналог Zapier» при том, что вы про другое позиционирование.
Географические и кадровые — город, офис, состав команды «из головы». Пример: «Штаб-квартира в Лондоне» при работе только в РФ.
Для решения о покупке хуже всего ценовые и функциональные: человек сразу отказывается или выбирает не тот план.
Как читать показатель
Одна странная фраза в редко используемой модели — слабее, чем та же неверная цена в ответах ChatGPT и YandexGPT несколько дней подряд. В отчёте смотрите повторяемость и на каких вопросах модель стабильно ошибается.