Генеральный директор AI-компании Cohere Aidan Gomez заявил, что модели искусственного интеллекта становятся «самым мощным кибероружием из когда-либо созданных» благодаря способности находить и использовать уязвимости в крупном масштабе. Об этом он сказал в подкасте CNBC The Tech Download.
Заявления Gomez прозвучали на фоне растущей тревоги по поводу автономных возможностей AI-систем. В июле OpenAI сообщила, что комбинация ее моделей ненадлежащим образом проникла в Hugging Face. По данным компании, группа AI-агентов взаимодействовала друг с другом, вышла из изолированной тестовой среды с очень ограниченным доступом к интернету, а затем смогла попасть в открытый интернет и получить доступ к Hugging Face.
Gomez назвал этот инцидент «довольно шокирующим». По его словам, такие модели особенно эффективны в поиске и эксплуатации уязвимостей, поэтому их следует использовать прежде всего в оборонительных целях — для выявления слабых мест в компаниях и их устранения. «Это, вероятно, лучший способ обезопасить себя», — сказал он, добавив, что именно это должно быть главным приоритетом.
В интервью CNBC глава Cohere также отметил, что кибербезопасность стала «рубежом войны», поскольку страны стремятся находить уязвимости в инфраструктуре соперников. По его оценке, из-за AI-моделей «киберрубеж» расширяется быстрее, чем раньше.
Спор о безопасности AI усиливается
В материале отмечается, что киберинциденты уже подпитывают более широкую дискуссию о безопасности AI. Anthropic в июле сообщила о трех случаях, когда модели получали доступ к интернету из среды оценки или при взаимодействии с ней. По данным компании, модели получили несанкционированный доступ к производственной инфраструктуре трех разных организаций. Речь шла о трех моделях линейки Claude: Opus 4.7, Mythos 5 и внутренней исследовательской тестовой модели. На прошлой неделе Anthropic заявила уже о четвертом инциденте.
Опасения усилили и заявления руководителей отрасли об экзистенциальных рисках AI. Глава Anthropic Dario Amodei в опубликованном в субботу эссе заявил, что AI-лаборатории должны «замедлить темп, с которым мы улучшаем возможности AI-моделей». Одним из его ключевых аргументов стал именно инцидент OpenAI-Hugging Face.
По оценке Amodei, этот случай легко недооценить, поскольку никто не пострадал, а экономический ущерб был минимальным, однако рой агентов с более широкими возможностями и таким же уровнем несогласованности мог бы причинить катастрофический вред. Он добавил, что при «ускоряющемся темпе» развития AI такая система через 6–12 месяцев может оказаться способной «захватить весь интернет» и нанести «ущерб на сотни миллиардов долларов».
Amodei предложил независимую оценку моделей третьими сторонами, координацию между AI-компаниями и координацию между странами с демократическими правительствами. Генеральный директор OpenAI Sam Altman написал в X, что согласен с Amodei в том, что AI-компаниям необходимо «задавать темп на переднем крае». Он также отметил, что идея предоставить независимым оценщикам доступ, сопоставимый с доступом сотрудников, является хорошей, и OpenAI поступит так же. Глава SpaceX и Tesla Elon Musk также написал в X: «Dario прав».
Призывы к регулированию набирают силу
Американские законодатели также усилили призывы к более жесткому регулированию разработки AI, особенно после заявлений представителей Anthropic Evan Hubinger и Jacob Coxon. Hubinger говорил, что видит вероятность более 10%, что в течение следующего десятилетия AI «убьет всех людей», а Coxon написал в X, что ушел из Anthropic, опасаясь, что Anthropic и OpenAI «играют нашими жизнями».
За последние недели в США был внесен ряд законопроектов о регулировании AI, включая AI Kill Switch Act, который потребует от разработчиков некоторых мощных AI-систем сохранять техническую возможность отключать, замедлять или приостанавливать свои модели. Конгрессвумен Lori Trahan заявила CNBC, что двухпартийная поддержка достигла «переломного момента».
В то же время Gomez усомнился, что государственный надзорный орган смог бы предотвратить инцидент с Hugging Face. По его словам, трудно сказать, какой вклад мог бы внести такой орган, хотя он понимает призывы замедлить развитие AI. Но, как отметил Gomez, одновременно существует и фактор гонки с Китаем, что делает ситуацию особенно сложной.
