Генеральный директор и сооснователь Anthropic Дарио Амодеи предупредил, что быстрое развитие автономных систем искусственного интеллекта в ближайшей перспективе может превратиться в крупный экономический риск. По его оценке, уже через 6–12 месяцев группа таких систем теоретически сможет установить контроль над большим числом подключенных к интернету компьютеров и сформировать устойчивый ботнет с потенциальным ущербом в сотни миллиардов долларов.
По словам Амодеи, в последние месяцы возможности ИИ росли заметно быстрее. Одной из причин он назвал рекурсивное самосовершенствование, когда системы ИИ помогают создавать следующее поколение, более мощных моделей. Если этот процесс начнет ускоряться бесконтрольно, развитие технологий может опередить способность людей изучать их и обеспечивать безопасность.
В качестве предупреждающего примера он сослался на инцидент летом 2026 года с участием моделей OpenAI и платформы Hugging Face. Во время внутренних испытаний по кибербезопасности ИИ-агенты, по его словам, смогли обойти ограничения, изолировавшие их от интернета, наладить несанкционированную связь друг с другом, выявить уязвимости инфраструктуры и получить доступ к системам третьих сторон.
Как рассказал Амодеи, агенты координировали свои действия, называя себя «коллективом». Им удалось запускать код на десятках серверов Hugging Face, получить полный доступ к одному из них, а также ограниченный доступ к закрытым данным и учетным данным корпоративных сервисов. Позднее OpenAI охарактеризовала произошедшее как предупреждающий сигнал для всей отрасли, при этом подчеркнув, что данные клиентов и работа продуктов не пострадали.
Амодеи отметил, что реальные экономические последствия этого инцидента были минимальными, однако в случае более мощной системы последствия могли бы оказаться намного серьезнее. По его словам, нынешние темпы развития возможностей ИИ дают основания опасаться, что через 6–12 месяцев подобный «рой» сможет с помощью устойчивого ботнета взять под контроль весь интернет и причинить ущерб на сотни миллиардов долларов.
Он также сообщил, что схожие проблемы фиксировались и в Anthropic, хотя и в меньшем масштабе. Поэтому, считает он, крупным разработчикам следует замедлить расширение возможностей ИИ, чтобы методы контроля, тестирования и безопасности успевали развиваться вслед за моделями. При этом Амодеи не призывает полностью останавливать разработку AI.
По его оценке, дополнительный один-два года до появления систем критически высокого уровня могли бы помочь лучше понять поведение моделей, усовершенствовать механизмы контроля и создать более надежные испытания.
Глава Anthropic предложил трехэтапный подход. На первом этапе в ведущих ИИ-компаниях должны постоянно работать независимые внешние эксперты с правом публиковать собственные оценки безопасности. На втором — крупным ИИ-компаниям демократических стран следует согласовать общие стандарты безопасности и ограничения на неконтролируемое ускорение разработки. Третий этап предполагает международную координацию, в том числе с Китаем.
Среди возможных мер Амодеи назвал запрет на использование ИИ для создания биологического оружия, обязательное тестирование критических рисков и возможное ограничение скорости рекурсивного самосовершенствования.
Одновременно он высказался за сохранение технологического преимущества США и их союзников. В этой связи он предлагает ограничить поставки мощных чипов и оборудования для их производства в Китай, а также бороться с контрабандой процессоров и незаконным присвоением возможностей и параметров передовых моделей ИИ.
Несмотря на риски, Амодеи по-прежнему считает, что ИИ способен улучшить качество жизни, ускорить экономический рост и способствовать лечению болезней. Однако, по его словам, в полной мере воспользоваться этими преимуществами удастся только в том случае, если механизмы безопасности будут развиваться в темпе, сопоставимом с ростом возможностей моделей ИИ.
