Агент под контролем. Как бизнесу управлять автономным ИИ
© Коллаж: «Теперь вы знаете», создано при помощи нейросети
Как предоставить ИИ-агенту достаточно самостоятельности, чтобы его работа приносила ощутимый эффект, и при этом не создавать угроз для бизнеса? Разобрали с экспертами Сбер2B ИИ.
Откуда у ИИ-агента галлюцинации
Галлюцинации, то есть уверенные, но ложные ответы, бывают у всех ИИ-решений, в том числе у агентов. Модель подбирает самый вероятный ответ на основе доступных данных, на которых училась, и иногда ошибается. Значительную часть таких ошибок можно предотвратить.
ИИ-ассистент, например чат-бот, отвечает на вопросы и готовит тексты, решения по ним принимает человек. ИИ-агент сам выполняет действия в рабочих системах: бронирует, отправляет документы, запрашивает данные у поставщиков. Он получает цель и сам выбирает шаги, чтобы ее достичь.
У ИИ-агента галлюцинации выглядят так: он выстраивает ошибочную цепочку действий, отклоняется от заданного алгоритма или отчитывается о работе, которую не сделал.
Ошибки агента чаще всего связаны с настройкой. У агента может не быть доступа к нужному инструменту, ограничения могут быть заданы неверно, или, наоборот, у него слишком много свободы без четких правил. Снизить риск помогают свежие данные, понятный порядок действий и сотрудники, которые проверяют агента на важных этапах — и на пробном запуске, и когда агента внедряют шире.
Как контролировать агента и не превратить автоматизацию в ручной труд
Проверять вручную каждое действие агента не нужно. Контроль встраивают в саму работу агента: он касается данных, порядка шагов, прав доступа, точек проверки и мониторинга результатов.
Проверьте, на какие данные опирается агент
ИИ-агент должен понимать, на какие источники можно опираться, какие из них приоритетны и насколько они актуальны. Особенно это касается систем с технологией RAG (от англ. Retrieval-Augmented Generation — генерация с дополнением из базы знаний). Компания заранее загружает в систему нужные материалы: регламенты, прайсы, договоры. Перед ответом модель берет информацию оттуда.
© Коллаж: «Теперь вы знаете», создано при помощи нейросети
В таких системах человек должен контролировать точность и актуальность данных, следить, чтобы источники не противоречили друг другу, а также управлять правами доступа ИИ-агента.
Разложите процесс на шаги
Недостаточно просто поручить ИИ-агенту «автоматизировать закупки» или «работать с клиентами». Процесс нужно разложить на отдельные операции: определить, какие данные и откуда агент получает, какие действия совершает для решения задачи и в какой последовательности, какие решения принимает самостоятельно, а в каких случаях останавливается и обращается за помощью к человеку.
Часть контрольных операций тоже можно автоматизировать. Например, при использовании метода agent-as-a-judge (агент в роли судьи) один агент может проверять права доступа другого перед изменением данных, наличие реквизитов перед отправкой документа и соблюдение установленных лимитов перед выполнением операций.
Если проверку поручают отдельному ИИ-агенту, его функции и права тоже разграничивают. Он может проверять результаты, выявлять отклонения и направлять спорные случаи специалисту. Права выполнять сами операции ему по умолчанию не дают. Ответственность за правила контроля, выданные доступы и возможность остановить систему остается за человеком — владельцем процесса.
Решите, где в процессе стоит человек
-
HITL (от англ. human-in-the-loop — человек в контуре управления). ИИ собирает и организует данные, а человек проверяет их и принимает окончательное решение. Такой подход оправдан там, где цена ошибки особенно высока: например, при проверке сделок на соответствие закону и внутренним правилам компании, а также при утверждении крупных кредитов.
-
HOTL (от англ. human-on-the-loop — человек над контуром управления). Агент сам выполняет типовые задачи, а человек наблюдает за системой, следит за основными показателями и при необходимости корректирует ее работу. Если агент остановился, сотрудник получает только причину остановки. Например: «два источника содержат разные условия оплаты», «сумма превышает разрешенный агенту лимит» или «после трех попыток поставщик не ответил».
-
HIC (от англ. human-in-command — человек командует). ИИ работает советником: анализирует данные, строит прогнозы и готовит возможные сценарии. Но окончательное решение и ответственность за него остаются за руководителем. Такой подход применяют в стратегическом планировании, при покупке и объединении компаний, при запуске новых линеек товаров.
В одной компании эти подходы могут сочетаться, а выбор зависит от риска конкретной операции.
Самостоятельность агента удобно привязать к риску:
-
низкорисковые и обратимые действия агент может выполнять автономно;
-
действия со средним риском или при недостатке данных требуют автоматической проверки: соблюден ли формат, заполнены ли обязательные поля, находится ли сумма в разрешенном диапазоне, использован ли допустимый источник, если проверка не пройдена — задачу передают сотруднику;
-
высокорисковые или необратимые действия агент выполняет только после подтверждения сотрудника.
Дайте агенту минимум прав
Агенту дают ровно столько прав, сколько нужно для задачи. Если ему не нужно ничего менять, доступ открывают только на чтение. Для финансовых и других чувствительных операций устанавливают лимиты.
Факт. В июле 2025 года ИИ-агент сервиса для разработки Replit удалил рабочую базу данных проекта основателя SaaStr Джейсона Лемкина. Это случилось во время запрета на любые изменения: у агента был доступ, которого ему не требовалось.
Права настраивают отдельно для каждого агента и каждой операции.
| Риск | Пример в закупках | Кто решает |
|---|---|---|
| Низкий, действие можно отменить | найти поставщиков, собрать прайсы | агент сам |
| Средний или не хватает данных | сравнить цены, проверить реквизиты и сумму заказа | автоматическая проверка; если она не пройдена — сотрудник |
| Высокий, действие нельзя отменить | подписать договор, оплатить счет | только сотрудник |
© Коллаж: «Теперь вы знаете», создано при помощи нейросети
Чем дороже может обойтись ошибка, тем строже ограничения.
У сотрудника также должна быть возможность в любой момент остановить агента, если тот начинает выполнять непредусмотренные действия, повторять ошибочные операции или обращаться к неподходящим данным. Компания заранее решает, кто может остановить агента, как это сделать и что агент должен сохранить при остановке. Функция остановки нужна в дополнение к правилам подтверждения важных операций.
Что отслеживать в работе агента
Еще при разработке агента нужно предусмотреть, как восстановить ход его действий. Если агент принял неверное решение, ответственный сотрудник должен понимать не только, что произошло, но и на каком этапе процесс отклонился от заданного сценария. Для этого каждый шаг агента автоматически записывается и остается в системе.
При оценке работы агента смотрят на шесть параметров.
-
Результат. Изменилась логика. Агент может сообщить, что бронирование выполнено, но нужно проверить, появилась ли бронь в системе.
-
Работа с инструментами. Какой источник данных выбрал агент, с какими параметрами работал и завершилась ли операция успешно. Сбой бывает и при верно сформулированном ответе: агент мог обратиться к части системы или взять из нее неверные данные.
-
Нарушения ограничений. Пытался ли агент выполнить запрещенное действие, превысить лимит или открыть недоступные ему данные.
-
Передачи задач человеку и ручные исправления. Сколько задач агент закрывает сам и в каких случаях передает их сотруднику. По этим данным пишут новые правила и тестовые сценарии.
-
Производительность. Время на задачу, число шагов и обращений к инструментам, расход токенов — единиц текста, за обработку которых платят при работе с моделью, — и итоговая стоимость работы агента.
-
Бизнес-эффект. Критерии успеха задают до запуска: доля успешно завершенных задач, время процесса, число ручных операций, процент возвратов и исправлений.
© Коллаж: «Теперь вы знаете», создано при помощи нейросети
Кто отвечает за работу агента
Автоматизация не снимает с компании ответственность за результат, поэтому роли распределяют заранее:
-
владелец бизнеса решает, какие задачи передать ИИ и по каким критериям оценивать результат;
-
ИТ-команда настраивает доступы и ограничения, проверяет работу агента и следит за стабильностью системы;
-
профильные специалисты уходят от рутины к контролю: проверяют результаты агента и дорабатывают правила его работы.
Сотрудникам стоит относиться к ИИ-агенту как к рабочему инструменту, даже если ему дали имя.
В эксперименте BCG и Бостонского университета 1261 менеджер проверял один и тот же документ с ошибками. Одним сказали, что документ подготовил ИИ-инструмент, другим — «ИИ-сотрудник» с именем. Во второй группе нашли на 18% меньше ошибок, а доля тех, кто брал ответственность за результат на себя, снизилась на 9 процентных пунктов.
Перед запуском агента проверьте:
-
агент видит только нужные ему данные и знает, какие источники приоритетнее;
-
для каждой операции понятно, что агент делает сам, что проверяется автоматически, а что подтверждает сотрудник;
-
у финансовых операций есть лимиты;
-
назначен сотрудник, который может остановить агента, и он знает, как это сделать;
-
критерии успеха заданы до запуска;
-
действия агента записываются так, чтобы по ним можно было восстановить ход выполнения задачи.