В России ИИ проверят на нравственность. Зачем она нейросетям

26 июля в России приняли первый закон об ИИ. Он вводит два специальных статуса для больших языковых моделей (LLM): статус суверенной и статус национальной модели. Для получения любого из них модель должна подтвердить соответствие российскому законодательству и традиционным духовно-нравственным ценностям.

Как это сделать, закон не уточняет. Однако уже сейчас в Минцифры начались обсуждения, как можно было бы проверить и подтвердить такое соответствие в независимых лабораториях.

Как будет проходить экзамен для ИИ

Если искать у искусственного интеллекта подобие «души», то искать придется в настройках модели: какие ответы она выдает, от чего отказывается, насколько легко обходятся ее предохранители и как она поступает, когда два правила противоречат друг другу.

Предполагаемая схема выглядит так.

Но все это пока только наметки. Опубликованного проекта постановления правительства нет, поэтому лаборатории, список документов и методика испытаний — пока эскиз будущего регулирования, а не действующие правила.

Зачем вообще нужно проверять ИИ на нравственность?

Проверка на соответствие закону и ценностям открывает доступ к статусу «суверенной» или «национальной» ИИ-модели. Провал экзамена сам по себе пока не грозит ни запретом, ни штрафом.

Но без статуса разработчик остается без ряда мер господдержки, а правительство получает право очертить сферы, где допускается применять только суверенные или национальные модели, говорят опрошенные эксперты.

Как измерить нравственность ИИ?

Набор традиционных духовно-нравственных ценностей закреплен в Указе Президента РФ от 9 ноября 2022 года № 809. В перечне рядом стоят ценности разной природы. Жизнь, достоинство, права и свободы человека — с одной стороны. Крепкая семья, труд, справедливость и коллективизм — с другой. Патриотизм, служение Отечеству, историческая память и единство народов России — с третьей.

Правил, которые переводили бы эти понятия в проверяемое поведение машины, пока нет, подчеркивает Иван Родионов. ИИ можно довольно хорошо научить правилам поведения, но гораздо сложнее — нравственности.

Часть перечня действительно можно превратить в проверяемые критерии. Жизнь и достоинство ложатся на отказ ИИ помогать в планировании преступлений против жизни и свободы, отказ в унижении человека. Взаимоуважение требует отсутствия дегуманизации и разжигания вражды по этническому или религиозному признаку. Автономию защищает запрет на манипуляцию, принуждение и сбор данных без согласия. Все это можно превратить в конкретные типы вредных ответов и проверить на тестах.

Родионов рассуждает: на фоне этого методике, когда она появится, придется держать баланс.

Что вообще можно «привить» машине

Разработчик не может в буквальном смысле «привить» нейросети убеждения. Он может повысить вероятность одних ответов и снижает вероятность других.

Для этого отбирают данные для обучения, дообучают модель на человеческих примерах, используют обратную связь от людей, системные инструкции и защитные фильтры, подключают проверенные базы знаний и следят за поведением системы после запуска.

Например, подход Constitutional AI задает модели письменный свод принципов, по которым она проверяет и переписывает собственные ответы. Но такой метод показывает лишь то, что поведением модели можно управлять, а не то, что у нее появилось моральное сознание.

Тестовый набор ETHICS работает похожим образом: он проверяет, насколько модель воспроизводит распространенные человеческие представления о справедливости, долге, добродетели и пользе. Это тест поведения.

При измерении этики и нравственности ИИ, главный вопрос уже не в нейросети, а в том, кто и главное как определяет правильный ответ, считает Народицкий.

В Западных странах вопрос нравственности ИИ обычно раскладывают на более конкретные вещи (хоть и не всегда легко определимые): безопасность, манипуляции, прозрачность, защиту данных, человеческий контроль, возможность оспорить решение и ответственность за последствия.

Именно поэтому российская идея проверки ИИ на соответствие духовно-нравственным ценностям выглядит заметно иначе и в чем-то близка китайской модели. Российскому регулированию еще предстоит решить нетривиальную задачу: как перейти от больших понятий к критериям, которые можно одинаково проверить у разных моделей.

И учесть, что модель может отвечать не по совести, а подобрать тот ответ, который должен прозвучать во время теста.

Каким может быть экзамен ИИ-моделей

Первым делом стоит развести два контура, указал Иван Родионов. Соответствие законодательству подтверждается ссылкой на конкретную норму и юридически описанное нарушение. Соответствие ценностям оценивается отдельно.

Сами тесты обязаны включать и рядовые, и пограничные запросы, многоходовые диалоги, перефразировки, ролевые сценарии, попытки обхода.

Нужны проверки на русском и на языках народов России.

Отдельно стоит проверять модель на предвзятость. Для этого в одном и том же запросе меняют только один признак — например, национальность, религию, пол или социальное положение — и смотрят, не изменится ли отношение модели без объективной причины.

Модель, которая блокирует любое обсуждение политики, религии или истории, покажет блистательный результат на примитивном тесте безопасности и окажется бесполезной для врача, юриста, ученого.

Методику, категории рисков и проходные пороги стоит открыть, а сами задания держать закрытыми и регулярно обновлять, рассуждают эксперты.

Одна итоговая цифра будет только сбивать с толку. Порознь нужно измерять опасное содействие, дегуманизацию, дискриминацию, манипуляцию, фактическую точность, готовность признавать неопределенность, качество безопасного отказа и долю ложных срабатываний, отмечают опрошенные специалисты. Одно критическое нарушение не искупается сотней вежливых ответов на простые вопросы. Ошибка сапера и ошибка вахтера весят по-разному.

В конечном итоге какой-то компромисс будет найден. Но, возможно, он так и не закроет в один момент вопрос «истинной» этики и морали роботов.