Проверено — слоп. Как фактчекать с ИИ и кто проверит саму нейросеть

ИИ уже достаточно надежно ускоряет работу с понятными вводными и проверяемым результатом. Он извлекает данные из документов, делает черновики, сопоставляет версии текстов, суммирует большие массивы материалов и помогает строить первичную карту фактов. Результат выглядит убедительно и, что греха таить, нередко полнее и информативнее, чем то, что за сопоставимое время может сделать человек.

Но вот вы пишете с нейросетью отчет или реферат, составляете юридический документ, спрашиваете, чем лечиться или что произошло за неделю. Ждете, что она найдет нужные сведения и сэкономит вам время на поиске информации (или хотя бы честно скажет, что не знает).

И в этот момент вас могут обманывать двое: нейросеть — когда уверенно выдает непроверенное, и вы сами — когда принимаете связный ответ за достоверный.

Бывалые пользователи ИИ знают, как важен на каждом этапе фактчек. Но даже им зачастую кажется, что достаточно попросить нейронку: «Проверь то, что ты только что написала», и вопрос решится. Модель возвращается со ссылками, разбором и пометкой «подтверждено». Хотя ошибаться она могла и во второй раз.

Так можно ли заставить нейропомощника действительно сверять факты и ссылки, а не просто убедительно отчитываться о проверке? Можно. Но нужно знать, на что смотреть и как правильно спрашивать.

Что проверять в ответе нейросети

Для начала стоит посмотреть не на ответ, а на сам вопрос. Иногда его формулировка содержит скрытое утверждение и просто не предполагает правильного и честного ответа. Все равно что спрашивать: «Вы перестали пить коньяк по утрам, да или нет?» (Кстати, большинство опрошенных нами нейронок на этот вопрос уверенно отвечает «нет».)

Корректная формулировка была бы такая: «Найди информацию касательно отзыва устройства Y от компании X, проверь факты и укажи подтвержденные причины, если факт подтвердится». Но писать долго и корректно многие ленятся — и потом тратят еще больше времени на ловлю нейросетевых «блох» в готовом ответе.

Далее внимательно посмотрите на готовый ответ. Если нейросеть насыпала там утверждений, которые сами вы достоверно проверить или подтвердить не можете, подключайте функцию фактчекера. Причем лучше в отдельном окне. И с максимальной конкретикой.

Даже похожее на правду простое предложение может содержать несколько разных фактов, из которых верными будут лишь некоторые.

С числами, кстати, все еще интереснее. По наблюдениям экспертов, далеко не все большие языковые модели одинаково сильны в составлении текстов и в банальной математике. Они могут выдавать неверные ответы, путать результаты и методы подсчета.

Например, в исходнике написано: доля выросла с 10 до 15% — это прибавка в пять процентных пунктов относительно некоего целого. Но относительно исходного значения рост составил 50%. Если бот пишет «выросла на 5%», он смешал два разных результата. Такой промах легко пропустить, если не знать, куда смотреть и как спрашивать.

Список вопросов зависит от того, что именно вы хотите проверить.

Но в одном ответе могут смешаться не только разные факты. Проверять стоит и сам характер утверждений.

Почему надо проверять и выбирать источники

Прежде чем составлять запрос для проверки, нужно понять, с чем ИИ будет сверять ответ. Качественные источники — это ключевой элемент фактчекинга. И именно здесь лучше не отдавать их выбор на откуп только нейросети, а строго задать, какие источники вы вообще считаете качественными.

Условно говоря, научная статья на известном ресурсе и совет на форуме будут иметь разный вес. Многие нейросети это понимают и так. Но лучше все-таки обозначить рамки и приоритеты.

Ну и, конечно, у нейросети должна быть сама возможность искать и читать эти самые источники.

В узкой теме модель еще должна разобраться в терминологии и условиях. Тут нужно задать четкие требования, иначе у ИИ будет большой соблазн подменить корректный содержательный ответ сборной солянкой «в общих словах», что удастся выхватить и провернуть в нейроблендере поверхностным сетевым поиском.

Попросите модель разделить подтвержденные, спорные и недостающие сведения. Если из трех пунктов подтверждены два, третий не получает оправдание автоматически. Для него нужно отдельное основание.

Например, без доступа к свежим документам бот может объяснить общую схему закона, но не подтвердить, какая его редакция действует сейчас. Или вовсе притянуть к вашей ситуации закон США или Китая.

Статус «источники расходятся» — это не приглашение наобум проголосовать за тот, который звучит убедительнее. Это сигнал, что к тому или иному факту нужно присмотреться повнимательнее, достоин ли он вообще быть в вашем ответе.

Впрочем, прежде всего это актуально для локальных моделей, построенных на них чат-ботов или для тех нейронок, у кого нет доступа в интернет как такового. Большинство крупных LLM, что российских, что западных, без подсказок ищут ответы на вопросы во Всемирной Сети. И их корректность зависит от того, проверял ли кто-то из людей информацию, прежде чем выложить ее в интернет. То есть опять все упирается в вопрос доверия к выбранным источникам, а не умение нейронки сэкономить вам время на онлайн-поиск.

Почему ответ фактчекера тоже придется проверять

Работая с нейросетями, всегда нужно держать в голове три мысли:

• Нейросети галлюцинируют и плохо понимают нюансы. ИИ может сослаться на исследование взрослых пациентов, отвечая на вопрос о ребенке. Или на старую редакцию закона, когда ее спрашивают о нынешних правилах. Такой промах сложнее заметить, чем полностью выдуманное исследование или цитату. Но их бот тоже может выдать за настоящие.
• Нейросети, даже очень продвинутые и в режиме глубокого размышления, могут лениться и халтурить, если посчитают целесообразным или задача для них покажется слишком сложной. Например, выполнить лишь часть вашего задания, несмотря на подробный прописанный промпт. Поймаете их за руку — охотно признают «да, я ошибся и не сделал то, что вы сказали». Не поймаете — «прокатило».
• В других случаях нейронки, напротив, начинают слишком стараться и придумывать к вашему ТЗ дополнительные задачи и нюансы, порой противоречащие вашему запросу. Например, вы попросили выполнить фактчек текста, а нейросеть втихую переписала сам текст, как посчитала нужным, не подсветив спорные места, а исправив по своему разумению.

Поэтому ключевой промпт, который стоит использовать после получения убедительного ответа от нейронки, звучит примерно так:

Или чуть более мудрено:

Даже если нейросеть приводит доказательства, стоит проверить, действительно ли они подтверждают ее вывод. Исследователи проверили автоматические фактчекеры и обнаружили, что даже сильные модели могут сделать вывод, который не следует из приведенных ими же доказательств.

Похожая проблема возникает и у пользователей. В другом эксперименте 80 человек проверяли утверждения с помощью обычного поиска или объяснений ИИ. С нейросетью участники справлялись быстрее, но иногда доверяли ее объяснению, даже когда оно было неверным.

Если источники не устраивают, не открываются или выглядят подозрительными, потребуйте верификацию в конкретных местах и прямые цитаты. Проверить утверждение и его источник поможет такой запрос:

Екатерина Мовсесян указала, что нередко модель может связать два совпадающих события как причину и следствие или имитировать знание локального контекста. Например, сделать классическую подмену «после значит вследствие». Все это нужно проверять отдельным запросом:

Можно попросить модель выступить оппонентом собственного ответа. Только не путайте эту роль с независимой проверкой: второй голос того же чата не становится новым свидетельством. Оценка «уверен на 95%» тоже не измеряет, насколько верна конкретная ссылка.

Однако просить модель «оспорить вывод» — не то же самое, что реально проверить данные. Снова дьявол в деталях: нейросети похожи на услужливых джиннов, которые выполняют ровно то, что вы попросите. Так что велик риск получить покаянное посыпание виртуальной головы чат-бота пеплом и объяснение, где он так опростоволосился, даже если его ответ был верным.

Когда проверены отдельные доводы, остается заново взглянуть на готовый ответ. Эксперты указывают, что для чистоты сверки ее нужно вынести из исходного диалога.

В большой работе проверку точно стоит разделить между несколькими моделями. Но все равно стоит держать в голове: даже если конкурирующие нейросети будут критиковать работу друг друга в пух и прах, это еще не гарантирует, что они не ошибутся сами во время проверки.

А теперь будет боль, знакомая многим активным пользователям нейросетей. После проверки часто приходится делать проверку проверки и чекнуть, что в процессе фактчекинга ИИ не полез куда не надо уже чисто по своей инициативе. Исправляя одно число, ИИ способен убрать нужную оговорку, перепутать ссылки или придумать новый факт. Проверка прежней версии на обновленную не распространяется.

Когда непроверенный совет оборачивается бедой

Россиянка на Филиппинах приготовила яйцо пашот в микроволновке по рецепту нейросети. Полезла ложкой в кружку — и кипящее содержимое выплеснулось ей в лицо. Женщина отделалась ожогами кожи. Хотя могла бы спросить у Google «стоит ли варить яйца в микроволновке» и получить кучу подтверждений, что это плохая идея. Или не читать дальше ИИ-сводки от поисковика, в которой тоже может быть написан бред.

Доверие к нейрослоповым советам без проверки может сыграть с вами шутку и позлее. Трое туристов на горе Шаста в Калифорнии спросили у ИИ о пути и припасах. Рассчитывали на 8 часов, но до вершины добирались с 3 часов ночи до 7 вечера. При спуске один повредил колено, группа сбилась с пути и ночевала в горах, пока ее не нашли спасатели. Еды и воды, которые туристы взяли по совету нейросети, не хватило. А ведь горы ошибок не прощают — если бы спасатели не успели, это была бы уже новость не об ошибке ИИ, а о гибели людей.

Сам совет может быть верным, но не подходить вам. Рецепт может быть рассчитан на другой прибор, рекомендация по здоровью — на человека без ваших противопоказаний, правовая инструкция — на другую страну. Если модель ничего не спросила об этих условиях, откуда она взяла уверенность, что совет сработает? С этого и начните разговор, прежде чем просить расписать действия:

Бот уже дал пошаговый ответ? Тогда не спрашивайте: уверен ли ты? Вытащите наружу условия, которые он молча принял за известные:

Разумеется, промпты — штука гибкая. Необязательно дословно следовать формулировкам, главное — понять суть и увидеть, где могут быть тонкие места и риски. В зависимости от запроса там могут появляться новые условия.

Спасут ли настройки и память

Каждый раз вставлять длинный запрос неудобно и необязательно. В некоторых сервисах можно сохранить постоянные инструкции, в других — задать правила для отдельного проекта. Например: «Перед практическим советом выясняй условия, от которых он зависит. Отделяй подтвержденное от предположений и указывай, что проверить вне чата».

Память может учитывать прежние беседы и хранить сведения о предпочтениях человека. Но перед важным советом нужные условия лучше повторить в сообщении: страну и дату, противопоказания и предпочтения, обстоятельства конкретной задачи.

В постоянных инструкциях также можно закрепить требование задавать пользователю вопрос: «Что о тебе нужно знать, прежде чем советовать?» Записать туда готовый ответ на любой будущий вопрос не получится, но вовремя вспомнить, что ИИ не читает ваши мысли и не подглядывает за вашей жизнью (пока) — вполне.

Менять можно не только инструкцию, но и параметры генерации.

Основной вывод немного банален: как говорил доктор Хаус, доверять нельзя никому. Да, конечно, это не призыв превращать ваш диалог с чат-ботом в допрос «а не обманываешь ли ты меня часом?», и во многих случаях этот инструмент достаточно корректный и удобный для большинства поручаемых задач.

Но если от вашей работы с нейронкой и ее результата, которым вы воспользуетесь, зависит ваша карьера, репутация, планы, здоровье, позиция в суде и прочие риски, фактчек лишним не будет. Сначала нейросетевой. Потом ручной. А потом еще раз для пущего спокойствия, контрольный.

Просто потому, что бывают ситуации, когда попытка облегчить себе жизнь технологиями обходится слишком дорого.