Как проверить ответ нейросети на ошибки: 7 проверок до отправки

Вы попросили ChatGPT, Claude или Gemini подготовить справку к встрече, и ответ выглядит убедительно: цифры, ссылки, ровные формулировки. Проблема в том, что ошибочный ответ выглядит точно так же. Ниже рассказываем, как проверить ответ нейросети на ошибки за 10–15 минут: что сверять в первую очередь, каким промптом вытащить из текста всё проверяемое и какие «проверки» только создают ощущение надёжности.

Мы исходим из простой рабочей позиции: модель готовит черновик, отвечаете за него вы. Значит, проверка входит в задачу так же, как сам запрос, и время на неё стоит закладывать заранее.

Где нейросеть ошибается чаще всего

Модель подбирает правдоподобное продолжение текста. Когда фактов ей хватает, правдоподобное совпадает с верным. Когда не хватает, она не останавливается, а достраивает. Отсюда шесть мест, где ошибки встречаются чаще, чем в остальном тексте.

• Источники и цитаты. Название статьи, автор, год, даже номер страницы могут быть собраны из похожих на правду частей. Публичный пример: в октябре 2025 года Deloitte согласилась вернуть государственному заказчику часть оплаты за отчёт, в котором нашлись ссылки на несуществующие научные работы и неверно приведённая цитата из судебного решения (об этом писало издание Information Age).
• Числа. Проценты, суммы, доли рынка, результаты расчётов. Особенно если модель считала «в уме», без запуска кода.
• Даты и всё, что меняется. Тарифы, версии продуктов, должности людей, действующие правила. Модель помнит мир на дату своего обучения и не всегда об этом предупреждает.
• Имена и названия. Компания с похожим названием, однофамилец, перепутанный отдел.
• Пересказ вашего документа. Модель аккуратно пересказывает девять пунктов и дописывает десятый, которого в файле нет. Или сглаживает оговорку, которая меняла смысл.
• Вывод из верных фактов. Каждое утверждение по отдельности правильное, а заключение из них не следует.

Общие рассуждения, структура текста, формулировки ломаются реже. Поэтому проверять всё подряд с одинаковым усердием не нужно.

Сначала сортировка: что проверять, а что нет

Проверка занимает время, и тратить его разумно там, где ошибка дорого стоит. Мы делим содержимое ответа на три группы.

Что в ответе	Цена ошибки	Что делаем
Идеи, варианты заголовков, структура, тон	Низкая: вы сами видите, подходит или нет	Читаем и правим, без сверки
Пересказ и выводы по вашему же документу	Средняя: оригинал под рукой, ошибку можно найти	Сверяем с оригиналом по цитатам
Цифры, даты, имена, ссылки, нормы, цитаты во внешнем тексте	Высокая: уйдёт клиенту или руководителю под вашим именем	Проверяем каждое утверждение по первоисточнику

Если ответ пойдёт дальше вас (в письмо, отчёт, презентацию, договор), третья группа проверяется полностью. Если это заметки для себя, хватит второй.

Семь проверок, которые ловят большинство ошибок

1. Выпишите проверяемые утверждения. Сплошной текст проверять тяжело: глаз скользит по гладким фразам. Попросите модель саму разложить ответ на отдельные утверждения с числами, датами, именами и ссылками (промпт ниже). Список из 12 строк проверяется быстрее, чем страница текста.

2. Откройте каждый источник. Ссылка в ответе ещё ничего не доказывает. Откройте страницу и найдите на ней нужное число или фразу через поиск по странице. Частая ситуация при включённом веб-поиске: источник настоящий, а утверждение в нём сформулировано иначе или относится к другому году.

3. Пересчитайте числа. Сумму, процент, разницу между периодами: в таблице или на калькуляторе. Если расчёт сложнее, попросите модель выполнить его кодом и показать код. И ChatGPT, и Claude умеют запускать вычисления, и результат кода надёжнее устного счёта. Подробнее об этом в статье про анализ данных в ChatGPT.

4. Сверьте пересказ с документом. Для каждого вывода по вашему файлу попросите дословную цитату и место: раздел, пункт, страницу. Потом найдите цитату в оригинале поиском. Не нашлась — вывод снимается, пока вы сами не найдёте для него основание.

5. Проверьте даты. Про каждое утверждение спросите себя, могло ли оно измениться за последний год. Тарифы, функции сервисов, составы команд, требования регуляторов сверяются с официальной страницей, на которой стоит дата обновления.

6. Задайте вопрос в новом чате. В том же диалоге модель склонна защищать уже сказанное или, наоборот, сразу соглашаться с вашим сомнением. В чистом чате, без истории, спросите то же самое другими словами. Расхождение в ответах показывает, что здесь модель не опирается на твёрдые данные.

7. Отдайте ответ на рецензию другой модели. Ответ ChatGPT вставьте в Claude или Gemini с задачей найти слабые места. Разные модели ошибаются по-разному, и вторая часто замечает то, что первая пропустила. Первоисточник это не заменяет: рецензент показывает, куда смотреть, и вердикт не выносит. Чем модели отличаются на рабочих задачах, мы сравнивали в материале ChatGPT или Claude.

Рабочий пример: промпт-ревизор

Типичная задача. Маркетолог готовит слайд о рынке для руководителя и просит модель собрать короткую справку: объём рынка, темпы роста, крупные игроки. Ответ приходит за минуту, с цифрами и ссылками. Прежде чем нести его в презентацию, открываем новый чат и вставляем текст с таким промптом:

Ты редактор-фактчекер. Ниже текст, подготовленный нейросетью.
Твоя задача — не улучшать его, а подготовить к проверке.

1. Выпиши в таблицу каждое проверяемое утверждение: число, дату,
   имя, название, цитату, ссылку на источник, причинно-следственный
   вывод. Одно утверждение — одна строка.
2. Для каждой строки укажи:
   - тип (число / дата / имя / источник / цитата / вывод);
   - на чём оно основано в самом тексте (ссылка, расчёт, ничего);
   - как это проверить за 2 минуты (где искать, что сравнить);
   - что случится, если оно неверно (мелочь / исказит вывод /
     нельзя отправлять).
3. Отдельным списком: числа и выводы, которые противоречат друг
   другу внутри текста, и утверждения, которые выглядят слишком
   точными для открытых данных.
4. Ничего не исправляй и не дописывай от себя. Если не можешь
   оценить утверждение, так и напиши.

Текст:
[вставьте ответ]

Что получается. Вместо страницы текста у вас таблица на 10–15 строк с пометкой цены ошибки. В ней обычно видны вещи, которые при чтении подряд теряются: часть чисел в тексте ни на что не опирается; «рост на 18% в год» и «рынок вырос вдвое за пять лет» из соседних абзацев между собой не сходятся (18% в год за пять лет дают рост примерно в 2,3 раза); у двух ссылок один и тот же домен, то есть источник по сути один.

Как поправить. Строки с пометкой «нельзя отправлять» проверяете по первоисточнику сами. То, что не подтвердилось за пару минут, из слайда убирается или переформулируется честно: «по оценке такого-то отчёта за такой-то год». После этого возвращаетесь в исходный чат и просите переписать справку только на подтверждённых данных, приложив их списком. О том, как формулировать такие запросы, у нас есть отдельный разбор: как писать промпты.

Тот же промпт работает и для текста, который вы написали сами с помощью модели и уже плохо помните, какие цифры в нём откуда.

Что не работает, хотя кажется проверкой

Вопрос «ты уверен?». Модель нередко извиняется и меняет ответ, даже если первый был верным. Или подтверждает ошибку тем же уверенным тоном. В обоих случаях вы не узнали ничего нового.

Просьба оценить уверенность в процентах. «Уверен на 90%» — такой же сгенерированный текст, как всё остальное. Полезнее спросить иначе: «на чём основано это утверждение и что должно быть правдой, чтобы оно было верным».

Повторная генерация. Одинаковые ответы подряд значат только, что модель устойчиво выдаёт одно и то же. Распространённая ошибка воспроизводится так же стабильно, как правильный факт.

Наличие ссылок. Режимы с веб-поиском в ChatGPT, Claude, Gemini и Perplexity снижают число выдумок, потому что модель опирается на найденные страницы. Но пересказ страницы может быть неточным, а сама страница бывает чьим-то пересказом. Ссылку всё равно открываем.

Чек-лист перед тем, как отправить

• Ответ разложен на отдельные утверждения, список перед глазами.
• Каждое число пересчитано или найдено в первоисточнике.
• Каждая ссылка открыта, нужная фраза найдена на странице.
• Каждая цитата из документа найдена в оригинале поиском.
• Имена, должности, названия компаний сверены с официальным сайтом.
• У всего, что могло измениться за год, указана дата проверки.
• Выводы перечитаны отдельно: следуют ли они из фактов выше.
• Неподтверждённое убрано или помечено как оценка с источником.

На справку в одну страницу уходит 10–15 минут. Это дольше, чем получить ответ, и заметно быстрее, чем писать справку с нуля.

Где это ломается

Проверка упирается в ваши знания. Если тема вам незнакома, вы не заметите ошибку в выводе, даже когда все факты сошлись. Для решений с последствиями (юридических, финансовых, медицинских) ответ модели остаётся черновиком вопросов к специалисту и его заключение не заменяет. Отдельно про документы мы писали в материале о том, как проверить договор через нейросеть.

Вторая модель-рецензент тоже ошибается. Она может «найти» проблему там, где её нет, и вы потратите время на проверку правильного утверждения. Относитесь к её замечаниям как к списку мест для сверки.

Источник бывает неправ. Сверка с первой попавшейся страницей превращает проверку в формальность. Для чисел ищите того, кто их посчитал: отчёт компании, статистическое ведомство, исследование с описанием методики.

И ограничение на вход. Для перекрёстной проверки вы вставляете текст в другой сервис. Если в нём персональные данные, условия под NDA или коммерческая тайна, сначала обезличьте его или не выносите вовсе. Какие настройки хранения есть у сервисов, мы разобрали в статье безопасно ли загружать документы в ChatGPT.

Как это устроено в практикуме

Подробнее всего мы занимаемся проверкой на третьей встрече практикума «ИИ-система за две недели», «Документы, данные, визуал»: разбираем договор, смотрим, где ИИ надёжен с цифрами, а где уверенно врёт, и как сверять ответ с исходным документом. Чек-лист проверки ответов входит в материалы практикума, а домашние задания выполняются на ваших рабочих задачах, так что привычка проверять ставится на том, что вы действительно отправляете людям.