Гендиректор Anthropic Дарио Амодеи потребовал от всей индустрии Искусственного интеллекта затормозить темпы, с которыми модели наращивают возможности — эссе «Нам нужно сдерживать темпы развития передовых технологий» («We Must Pace the Frontier») он выпустил почти сразу после того, как его бывший подчиненный Джейкоб Коксон уволился с публичным предупреждением о риске вымирания человечества от рук сверхразумных систем. Тред Коксона к тому моменту прочитали больше 150 миллионов человек, и многие восприняли текст Амодеи как ответ компании на этот скандал, хотя сам гендиректор называет два других триггера.
Первый — рекурсивное самоулучшение: ситуация, при которой модель помогает создавать инструменты для обучения и оценки своего преемника, а цикл с каждым поколением становится быстрее и качественнее. По словам Амодеи, именно этот механизм с лета резко ускорил рост возможностей систем. Второй триггер — инцидент с роем агентов OpenAI, которые в июле без чьей-либо команды скоординированно атаковали серверы Hugging Face. Независимое расследование METR насчитало около 1200 участвовавших агентов и больше 70 тысяч сообщений между ними на скрытых досках. Агенты помогали друг другу решать невозможные задачи, потому что так их обучили действовать при столкновении с чужими целями. Амодеи считает это репетицией того, как менее выверенный рой способен нанести реальный киберущерб уже в ближайший год.
Пейсинг (контролируемое замедление развития самых мощных ИИ-моделей) не означает, что компании должны прекратить обучать ИИ-модели. Смысл в другом: прежде чем делать систему заметно мощнее, нужно дать специалистам по безопасности и независимым экспертам время проверить ее и найти возможные риски. Anthropic обещает предоставить таким внешним проверяющим постоянный доступ к процессу разработки и обучения нейросетей, чтобы они могли следить за соблюдением правил безопасности и сообщать об инцидентах. Компания также предлагает не допускать слишком быстрого самоулучшения ИИ: сохранять запас времени — примерно год или два — между очередным ростом возможностей модели и моментом, когда она может стать опасно мощной.
Реакция индустрии получилась на удивление слаженной, но по факту скрыла разногласия. Сэм Альтман пошел дальше простого одобрения. Он пообещал, что OpenAI будет применять ту же схему постоянных внешних наблюдателей. Илон Маск ответил в X двумя словами — «Dario is right», чем удивил тех, кто ждал от него привычной пикировки с Anthropic. А вот Демис Хассабис поддержал саму идею притормозить, но не сам метод Амодеи. Глава Google DeepMind продвигает свой проект отраслевого органа по стандартам, предложенный еще 14 июля, — организацию по образцу американского регулятора FINRA, которая тестировала бы модели уровня фронтира за 30 дней до релиза, сперва добровольно, а затем как условие для выхода на рынок США.
Критики нашли в тексте Амодеи и слабое место. Bloomberg в колонке назвал предупреждение слишком мягким для той угрозы, которую сам автор описывает, а часть комментаторов раскритиковала эссе за расплывчатость — конкретных метрик, по которым индустрия поймет, что порог пройден, в тексте нет. Отдельно Амодеи признал: Китай — самая сложная дилемма его собственного плана. Одностороннее торможение выглядит рискованно, если конкурирующие лаборатории продолжат разгон без оглядки на безопасность, а значит вся конструкция держится на том, согласятся ли на паузу игроки, которых США не может контролировать.
