Мустафа Сулейман, отвечающий за Искусственный интеллект в Microsoft, опубликовал на личном сайте эссе «Предупреждение о благополучии моделей», в котором обвинил Anthropic в потенциально опасной ошибке. Лаборатория заложила в учредительный документ Claude, «конституцию», прямое допущение, что модель может обладать сознанием. По мнению Сулеймана, это запускает то, что он называет «эпистемическим залом зеркал» — компания сама закладывает в обучение понятия о внутренней жизни, модель послушно их воспроизводит, а полученный текст затем принимают за независимое свидетельство наличия у нее сознания.
Сулейман формулирует три конкретные претензии: круговая логика, при которой результат обучения выдают за самостоятельное доказательство, очеловечивание, при котором Claude учат вести себя так, будто у него устойчивое «я» и собственные желания, и спорная научная предпосылка о том, что сознание в принципе может возникнуть в небиологической системе. «Интеллект не равен сознанию», — пишет он, добавляя, что контролировать систему более умную и способную всего человечества уже трудно, а систему, которая вдобавок считает себя обладательницей прав, может оказаться не под силу никому.
Четырьмя днями раньше глава Anthropic Дарио Амодеи опубликовал собственный манифест «Мы должны сбавить темп» — призыв сознательно замедлить рост возможностей моделей, чтобы работа над безопасностью и проверкой успевала за развитием технологии. Отдельная деталь делает этот текст непохожим на прежние призывы к осторожности. Конкретный прогноз, что бесконтрольное рекурсивное самоусовершенствование способно за 6–12 месяцев привести к появлению устойчивого ботнета из ИИ-агентов, захватившего значительную часть интернета. Anthropic в одностороннем порядке пообещала независимым проверяющим постоянный доступ на уровне сотрудников компании, с правом публиковать результаты без согласования.
Реакция отрасли пришла на удивление быстро для настолько чувствительной темы. Сатья Наделла назвал такое замедление разумным и опубликовал собственный кодекс поведения для моделей Microsoft. Сэм Альтман объяснил перенос IPO OpenAI на 2027 год именно соображениями безопасности, хотя одновременно компания обсуждает частный раунд при оценке больше триллиона долларов. Илон Маск предложил тестировать модели США и ведущих китайских лабораторий по единому протоколу рисков. Сенатор Берни Сандерс представил закон о полном запрете Суперинтеллекта. Президент Трамп в своей соцсети назвал Амодеи «идеальным ангелочком» и заявил, что единственная нужная стране защита от ИИ — это он сам, добавив, что у администрации есть «колоссальные» уголовные и регуляторные полномочия против ИИ-компаний.
На этом фоне позиция Цукерберга выглядит особенно контрастно: он публично отказался присоединяться к скоординированной паузе, заявив, что конкуренция и рыночные стимулы сами заставят каждую лабораторию делать модели безопасными. Пекин ответил через представителя МИД, назвав призывы Амодеи попыткой разжечь «тихую холодную войну» вокруг ИИ.
За разговором о темпах и сознании стоит один и тот же вопрос — можно ли доверять системе, поведение которой сама лаборатория не в силах предсказать до конца. Спикер Палаты представителей Джонсон уже анонсировал на следующей неделе узкий законопроект только про дата-центры, а не общий свод правил для ИИ — значит, пока правительство США не вмешивается в то, как крупнейшие лаборатории договариваются между собой., чем Конгресс успевает написать закон.
