Генеральный директор OpenAI Сэм Альтман подробно описал, как могут работать правила безопасности в сфере искусственного интеллекта, после того как присоединился к главе Anthropic Дарио Амодеи и Elon Musk в призыве замедлить развитие самых передовых моделей отрасли.
В публикации в X Альтман заявил, что OpenAI «приветствует» федеральную систему, которая установит единые требования безопасности для frontier AI-лабораторий. По его словам, «никакое конкурентное давление внутри США не должно оправдывать безрассудство».
Альтман выделил два сценария, при которых развитие ИИ может пойти «очень плохо»: передача контроля над будущим самому ИИ и чрезмерная концентрация власти в руках одного человека или одной компании. На этом фоне законодатели в Вашингтоне пытаются ответить на призывы к дополнительным защитным мерам.
Дискуссия обострилась после того, как на прошлой неделе исследователь Anthropic покинул компанию, предупредив, что создатели технологии считают, что она может «убить нас всех к концу десятилетия». После этого сотрудники Anthropic и конкурирующей OpenAI также заговорили о катастрофических рисках.
В субботу Альтман и Elon Musk поддержали эссе Дарио Амодеи, в котором предлагалось замедлить темпы улучшения наиболее продвинутых ИИ-моделей. В понедельник рынок отреагировал на эти заявления снижением акций компаний, связанных с ИИ. Президент США Donald Trump в воскресенье отверг предупреждения руководителей, заявив, что замедление не нужно и может поставить под угрозу лидерство США в сфере ИИ перед Китаем.
Комментарии Альтмана прозвучали в момент, когда Anthropic и OpenAI готовятся к ожидаемым историческим IPO. При этом в интервью Fortune, опубликованном в субботу, Альтман исключил выход OpenAI на биржу в 2026 году.
Трехшаговое предложение Амодеи
Одна из ключевых тревог в сфере безопасности ИИ связана со сценарием, при котором модели получают способность самостоятельно улучшать свою эффективность. Такой подход известен как recursive self-improvement, или RSI.
В своем эссе Амодеи написал, что примерно с этого лета ИИ начал развиваться значительно быстрее, прежде всего потому, что сам ИИ все лучше помогает создавать следующее поколение ИИ. По его оценке, если этот процесс не ограничивать, он может опередить способность людей понимать и контролировать такие системы.
Амодеи предложил трехшаговый план, который должен сдержать темпы развития без «жертвы коммерческого преимущества или лидерства Соединенных Штатов в ИИ». Согласно плану, каждая frontier AI-компания должна предоставить внешним оценщикам «доступ на уровне сотрудника». По словам Амодеи, Anthropic уже берет на себя такое обязательство. Он также призвал ведущие ИИ-лаборатории выработать общие стандарты безопасности, ограничить скорость неконтролируемого прогресса и попытаться координировать действия на глобальном уровне.
Альтман в субботу коротко написал, что согласен с тем, что ИИ-компаниям следует «задавать темп frontier». Он добавил, что идея предоставить независимым оценщикам доступ, сопоставимый с доступом сотрудников, является «отличной», и OpenAI поступит так же. В новом сообщении в понедельник он подчеркнул, что последовательные правила управления frontier-рисками — хорошая идея, в том числе с привлечением независимых аудиторов. При этом, по его словам, «задавать темп» не означает «останавливать» прогресс: развитие было быстрым и таким останется.
По словам Альтмана, такая пауза или замедление оправданы, если позволяют не допустить, чтобы возможности ИИ ушли далеко вперед по сравнению с механизмами alignment и monitoring. Он также отметил, что помощь правительства особенно понадобится для международной координации, хотя сначала отрасль должна сделать все возможное самостоятельно.
Сложности международной координации
Координация мер безопасности ИИ и возможного замедления отрасли с конкурирующими разработчиками в Китае, вероятно, станет самым сложным вопросом. США и Китай продолжают борьбу за лидерство в сфере ИИ, а напряженность растет по мере того, как китайские модели становятся более продвинутыми и расширяют глобальное присутствие.
В воскресенье Амодеи заявил, что «самая трудная дилемма» его предложения заключается в том, что произойдет, если страны-соперники не пойдут тем же путем. В интервью программе CBS News «Sunday Morning» он сказал, что в более долгосрочной перспективе стоило бы совместно установить своего рода «ограничение скорости» для развития ИИ, однако сделать это будет крайне трудно из-за сильных стимулов вырваться вперед и военных преимуществ, которые это дает. По его словам, он не знает, возможно ли это, но попытаться необходимо.
Эссе Амодеи вызвало критику и в Китае. Государственное издание Global Times в понедельник написало, что его предложения пытаются представить законное развитие ИИ в Китае как угрозу и дополнительно подогревают конфронтацию между Китаем и США. МИД Китая в тот же день назвал комментарии руководителей «fear mongering».
