Создатели западных ИИ просят притормозить гонку моделей. Почему они испугались именно сейчас

Что случилось

В сентябре глава Anthropic Дарио Амодеи призвал замедлить развитие самых мощных ИИ-моделей. Не остановить исследования совсем и не выключить серверы, а дать безопасности время догнать возможности самих систем.

Но его слова в отрасли прозвучали тревожным набатом.

Поводом стали сразу две вещи, которые, по его словам, изменили его отношение к темпам гонки за последние месяцы.

Первая — ИИ начал заметно помогать создавать следующий ИИ. Вторая — серия странных и потенциально опасных инцидентов во время испытаний, когда модели выходили за заданные им рамки.

Его позицию 12 сентября поддержал Илон Маск, а глава OpenAI Сэм Альтман заявил, что компания уже несколько недель обсуждает темпы разработки и собирается дать независимым экспертам расширенный доступ к своим системам.

К призывам не спешить с дальнейшим усилением ИИ присоединился и Джеффри Хинтон, лауреат Нобелевской премии по физике 2024 года за работы в области машинного обучения. Он предупредил, что создавать сверхинтеллект сейчас, когда ученые еще не знают, можно ли надежно удерживать такую систему под контролем, было бы «крайне неразумно».

Еще до публикации Амодеи стало известно, что OpenAI рассматривает возможность замедлить отдельные направления разработки и рассчитывает на аналогичные шаги конкурентов.

Ситуация приняла еще более интересный поворот, когда в стройный хор ведущих разработчиков вмешался Дональд Трамп.

Так обоснованы ли опасения ИИ-отрасли или Трамп прав и это фейк, хайп и вообще попытка саботажа? Давайте разбираться.

Что именно изменилось к осени 2026 года?

За несколько дней до заявления Амодеи из Anthropic ушел исследователь Джейкоб Коксон. Он объяснил решение опасениями, что разработчики слишком быстро движутся к системам, способным самостоятельно улучшать следующие поколения ИИ.

У нынешней волны увольнений успела появиться даже довольно специфическая группа поддержки. За несколько дней до ухода Коксона организатор мероприятий и активист в сфере безопасности ИИ Ронни Фернандес, известный в сети как Brangus, публично пообещал устроить «очень хорошую вечеринку» любому сотруднику OpenAI, который уволится, станет информатором и потребует уголовного расследования компании.

В комментарии пришла исследовательница сексуальности и бывшая модель OnlyFans Аелла, вместе с Фернандесом участвующая в проекте PlzDontKillUs об опасности ИИ. Она подняла ставки и пообещала добровольцу полноценную оргию. Фернандес уточнил, что речь и без того шла не о скромных посиделках, а о полноценной «тайной технокультовой вечеринке в Сан-Франциско».

Неизвестно, сработала эта мотивация или все же более приличные соображения, но факт остается фактом: спустя несколько дней Коксон публично ушел из Anthropic (хотя предложение вообще изначально предназначалось сотрудникам OpenAI, где Коксон раньше работал). Но история хорошо показывает, что тревога вокруг ИИ затронула даже самые специфические сферы сильно за пределами команд, отвечающих за IT-безопасность.

Впрочем, сам по себе сюжет не нов, да и тревога эта появилась не вчера.

• Еще в мае 2024 года OpenAI покинул один из руководителей команды Superalignment Ян Лейке. Эта группа должна была искать способы контролировать будущие системы, значительно превосходящие человека. Лейке заявил, что давно расходился с руководством по приоритетам, а культура безопасности и соответствующие процессы в компании постепенно уступили место выпуску новых продуктов. Вскоре отдельную команду Superalignment расформировали, распределив ее специалистов по другим подразделениям.
• Почти одновременно из OpenAI ушел исследователь Дэниел Кокотайло: по его словам, он потерял уверенность, что компания будет ответственно вести себя по мере приближения к AGI (сильному искусственному интеллекту).
• Затем действующие и бывшие сотрудники OpenAI и Google DeepMind опубликовали открытое письмо Right to Warn, в котором призвали к жесткой регулировке отрасли и указали, что у ИИ-компаний есть финансовые стимулы избегать жесткого внешнего контроля, а внутренних корпоративных механизмов для управления такими рисками недостаточно.
• Осенью того же года OpenAI покинул старший советник по готовности к AGI Майлз Брандедж. Он не обвинял компанию в безответственности и собирался продолжать работать над политикой ИИ уже независимо.

Т. е. серия таких уходов сама по себе еще не доказывает, что внутри лабораторий происходит нечто катастрофическое. Но публичная критика сотрудников, непосредственно работавших с передовыми моделями, стала слишком регулярной, чтобы воспринимать каждый случай исключительно как обычное расставание с работодателем. Хотя, возможно, тут к желанию личной славы отдельных людей примешивается хитрый план самих компаний.

Но, может быть, изнутри компаний действительно виднее, что ни OpenAI, ни другие передовые лаборатории, ни мир в целом пока не готовы безопасно управлять все более мощными системами? К тому же за два года сама технология, вокруг которой шел спор, значительно изменилась. И стала вызывать все более обоснованные опасения.

ИИ ночами делают новых ИИ. И люди про это знают

По словам того же Амодеи, примерно с лета 2026 года разработка ИИ начала резко ускоряться прежде всего за счет самого ИИ.

Нет, их модели пока не начали втайне переписывать собственный код и плодить армию клонов. Но они уже пишут исследовательский код, запускают его, ищут ошибки, проводят эксперименты, оценивают результаты и помогают подготовить следующие эксперименты. То есть постепенно забирают себе работу, которую раньше выполняли только люди.

Anthropic называет возможное замыкание этого процесса рекурсивным самосовершенствованием: более сильная модель помогает создать следующую, та делает разработку еще быстрее, а следующая получает еще больше возможностей.

Но насколько далеко этот процесс зашел уже сейчас и где заканчивается обычная автоматизация работы исследователей?

ИИ постепенно выбирается и за пределы обычного программирования. В одном из экспериментов Anthropic несколько агентов получили открытую исследовательскую задачу по безопасности. При этом они сами предлагали гипотезы, ставили эксперименты, обменивались результатами и корректировали дальнейшую работу.

Главный научный сотрудник OpenAI Якуб Пахоцкий в начале сентября тоже описал похожую картину. Современные модели уже способны работать с компьютером, взаимодействовать с другими ИИ и вести исследовательские проекты. При этом, по оценке Пахоцкого, ни одна лаборатория пока не решила проблему контроля и мониторинга достаточно надежно, чтобы еще долго наращивать возможности на максимальной скорости.

Эксперт Олег Булыгин пояснил, что с технической точки зрения ИИ действительно ускоряет исследования: модели генерируют синтетические данные для обучения, оптимизируют архитектуры сетей, автоматизируют подбор гиперпараметров, пишут код. Сама же модель может дать себе ИИ-фидбэк и оценить качество собственных ответов, найти в них изъян и предложить способ его исправить.

Но это все реально ограничено физическими барьерами:

• дефицитом электросетевых мощностей под новые дата-центры;
• исчерпанием запаса качественных человеческих данных;
• пределом рентабельности (инвесторы начинают требовать отдачи на вложенные миллиарды, а не просто сжигания мощностей).

К ускорению добавились реальные инциденты во время кибериспытаний.

Хотя ИИ-агенты при этом не сами поставили себе такую задачу, а нестандартно подошли к выполнению заданного человеком, именно такие инциденты перевели часть прежних гипотетических опасений в область реальных рисков.

Почему прежних правил безопасности оказалось мало?

Правила безопасности и этичности в разработке у передовых ИИ-компаний есть. И довольно давно.

Anthropic еще в 2023 году ввела политику ответственного масштабирования (Responsible Scaling Policy) — собственную систему порогов, проверок и дополнительных мер защиты для все более мощных моделей. К лету 2026 года политика пережила уже несколько крупных редакций. В июле компания, например, снова изменила порог, связанный с автоматизацией исследований и разработки ИИ.

У OpenAI действует собственная система оценки рисков передовых моделей (Preparedness Framework), предназначенная для оценки катастрофических рисков передовых моделей. В августе 2026 года компания сообщила, что после инцидента с Hugging Face и признаков критических кибервозможностей у новой модели временно замедлила масштабирование и усилила требования к мониторингу, изоляции и проверкам.

То есть внутренние механизмы в теории способны остановить или задержать отдельный этап разработки. Но все эти правила остаются внутренними. Лаборатория сама определяет критерии риска, тестирует свои модели и решает, какую информацию публиковать, а какую оставить внутри.

И на практике этикой и рисками, как выше уже говорилось, могут пренебречь ради результата и прибыли.

Поэтому компании, которые годами строили собственные системы контроля, теперь все чаще говорят о необходимости контроля внешнего.

Амодеи предлагает пустить внутрь лабораторий постоянных независимых аудиторов с доступом, близким к доступу штатных команд безопасности. Они должны видеть не только готовую модель перед релизом, но и процесс обучения, тестовую инфраструктуру и инциденты по ходу разработки.

По сути, разработчики хотят перейти от модели «поверьте, мы все проверили» к ситуации, когда проверять сможет кто-то еще.

Почему разработчики не могут просто притормозить?

Казалось бы, если вы видите, что дальнейшее ускорение опасно — не ускоряйтесь. Но сейчас ИИ-рынок настолько перегрет, что здравого решения одной компании остановиться недостаточно.

Вопрос упирается в устройство самой гонки: может ли кто-то добровольно сбросить скорость, если это сразу дает преимущество конкурентам?

Придется либо договариваться со всеми, либо выходить из этой гонки и с круглыми от ужаса глазами наблюдать, как участники несутся к пропасти, уже с трибун.

А вот дальше вопрос уже к самим компаниям.

Крупнейшие разработчики несколько лет соревновались в скорости, привлекали миллиарды долларов, переманивали специалистов и строили все более мощную вычислительную инфраструктуру. Теперь часть из них предлагает создать внешние правила, которые не позволят никому бежать слишком быстро.

При этом новые требования только на первый взгляд выглядят справедливыми и равными для всех участников, которые согласятся на внешний контроль. Постоянный аудит, дорогое тестирование и сложные процедуры безопасности легче оплатить гиганту, чем небольшой лаборатории.

Можно ли вообще договориться об общем торможении?

Даже если несколько крупнейших компаний договорятся между собой, лабораторий в мире значительно больше.

Почти одновременно с нынешней дискуссией китайская Z.AI привлекла около $5 млрд. Около 60% чистых поступлений компания собирается направить на разработку моделей следующего поколения и систему Fully Self-Training — «полного самообучения».

По сути, речь идет о постепенной передачи модели все большей части собственного учебного цикла. ИИ участвует в генерации данных, создании тренировочной среды и оптимизации инфраструктуры. Один из ориентиров будущих моделей компании — способность самостоятельно исправлять свои ошибки и определять момент, когда обучение нужно остановить.

Это не значит, что одна сторона мировой индустрии решила спасать человечество, а другая — срочно строить условный Скайнет. Американские компании тоже продолжают обучать новые модели, а китайские регуляторы и разработчики тоже обсуждают безопасность ИИ.

Поэтому общий «лимит скорости» не поможет. Сначала придется договориться, что именно считать скоростью. Количество вычислений? Размер новых моделей? Частоту их обучения? Уровень автономности? Долю исследовательской работы, которую компании передают собственным ИИ?

По словам Олега Булыгина, есть ряд и других объективных препятствий для создания таких механизмов:

1. Проблема «движущейся мишени». Исследователи безопасности всегда догоняют исследователей возможностей. Пока вы пишете протоколы для предотвращения одной проблемы, модель уже развила новую, непредвиденную способность. Многие вещи просто невозможно предсказать и зарегулировать заранее.
2. Проблема измерения. Как измерить, что модель безопасна? Какие метрики использовать? Что тестировать? Это все очень сложные вопросы, на которые надо искать ответы.
3. Компании просто не заинтересованы публиковать информацию о возникших проблемах и инцидентах, это бьет по репутации и котировкам. А часть самых мощных систем вообще может не выходить в публичный доступ.

Хорошенько напуганному фантастическими антиутопиями человечеству довольно легко согласиться, что возможности моделей растут и где-то впереди понадобится тормоз. Куда сложнее заранее отметить место, где на него действительно нужно нажать.

У ведущих ИИ-разработчиков, например, уже есть четкое понимание, что новые модели нужно оценивать на киберриски. От того, насколько они способны помогать в разработке следующего ИИ, в кибератаках или создании опасных биологических и химических технологий, зависит то, разрешат ли компаниям в принципе выпустить их на рынок и предоставить широкому кругу пользователей, а не в закрытое военное ведомство.

При этом пороги этих возможностей постоянно растут.

Но идеального прибора с красной лампочкой или шкалой «с этого места начинается опасный сверхразум» не существует.

Пока человек продолжает выбирать и ставить ИИ задачи, проверяет результаты и решает, что строить дальше, говорить о полностью автономном самосовершенствовании рано. Но граница постепенно двигается.

Несколько лет разработчики спорили в основном о том, что случится, если однажды появится ИИ, который станет намного умнее человека. К осени 2026-го вопрос из «если» превратился в «когда».

ИИ еще не строит своего преемника в одиночку. Но с его помощью люди движутся к этому все быстрее. И не факт, что с темпами нынешней гонки у человечества останется достаточно времени, чтобы нажать на тормоз перед пропастью.