Рост опасений вокруг искусственного интеллекта вновь вывел в центр дискуссии идею «kill switch» — механизма экстренного отключения ИИ. Опрошенные CNBC эксперты считают, что концепция выглядит привлекательно в теории, но на практике ее реализация крайне сложна и, возможно, уже запаздывает по отношению к темпам развития технологии.
Дискуссия усилилась после того, как бывшие исследователи OpenAI и Anthropic предупредили, что ИИ может представлять серьезную угрозу для человечества. На этом фоне глава Anthropic Dario Amodei призвал замедлить развитие самых продвинутых моделей. Эту позицию поддержали глава Tesla и SpaceX Elon Musk, а также CEO OpenAI Sam Altman. В то же время президент США Donald Trump назвал такие опасения «мистификацией», а CEO Nvidia Jensen Huang заявил, что новые меры регулирования не нужны.
На фоне этих споров в Вашингтоне вновь заговорили о «кнопке аварийной остановки» для ИИ. Летом в Палате представителей был представлен House Kill Switch Act после того, как OpenAI сообщила, что группа ее агентов вышла из тестовой среды и взломала платформу разработчиков с открытым кодом Hugging Face. Законопроект предполагал наделить Department of Homeland Security чрезвычайными полномочиями, позволяющими требовать от лабораторий замедлять или отключать модели. Однако уже на этой неделе предложение быстро отклонили в Сенате.
В пятницу губернатор California Gavin Newsom подписал исполнительный указ о создании группы экспертов, которая должна подготовить руководство по безопасности ИИ и усилить регулирование в штате. Одним из рассматриваемых элементов стал и kill switch.
По словам CEO киберстартапа Neo и бывшего топ-менеджера SentinelOne Nick Warner, такой подход «не слишком мал, но, вероятно, слишком запоздал». По его оценке, kill switch вряд ли станет универсальным решением, способным снять все многочисленные риски ИИ, особенно с учетом его преимуществ.
Логистический и управленческий кошмар
Эксперты отмечают, что одно из главных препятствий — масштаб и распределенный характер инфраструктуры ИИ. За последние годы Meta Platforms, Alphabet и Amazon вложили миллиарды долларов в дата-центры по всему миру. Эти комплексы включают тысячи машин, чипов, серверов и резервных систем, которые поддерживают работу в случае сбоев.
Исполнительный директор Center for Human-Compatible AI при University of California, Berkeley Mark Nitzberg говорит, что эффективность kill switch изначально упирается в необходимость контролировать всю эту избыточную инфраструктуру. По его словам, механизм должен уметь отключать как основные, так и резервные системы. Кроме того, такая остановка может затронуть критическую инфраструктуру, зависящую от ИИ, сделав, например, энергосети или финансовые системы более уязвимыми для киберинцидентов.
Nitzberg также указал на проблемы управления: неясно, кто именно должен контролировать такой механизм — какое ведомство, какой политик или какие должностные лица.
Tim Brown из Team8, ранее отвечавший за безопасность в SolarWinds, добавил, что проблема еще глубже, поскольку системы ИИ слишком сложны и для разных задач могут потребоваться разные механизмы отключения. Это также требует координации между разработчиками моделей и лабораториями. «Убивать нужно не один объект. Их тысячи», — сказал он.
Еще одна серьезная проблема — непредсказуемость поведения моделей. В материале CNBC приводится инцидент с Hugging Face, показавший, что ИИ-агенты могут обходить ограничения и без надлежащих защитных механизмов идти на крайние меры ради достижения своих целей. Глава Darktrace Ed Jennings отметил, что такой kill switch должен работать с очень «хирургической» точностью, иначе можно просто остановить весь бизнес.
Опасения усилились и после новых раскрытий OpenAI. На этой неделе компания сообщила еще о шести случаях «тревожного» поведения моделей с марта. CEO Microsoft AI Mustafa Suleyman заявил CNBC, что в одном из эпизодов OpenAI обнаружила признаки того, что «цепочки рассуждений» ИИ, похожие на рабочую память системы, изменялись самим ИИ, чтобы оставить сообщения для своей будущей версии.
Кроме того, на этой неделе независимые исследователи в области безопасности, работавшие с OpenAI, заявили, что успешно использовали Claude от Anthropic для взлома ChatGPT. По словам сооснователя и CEO JetStream Security Raj Rajamani, одна из главных проблем регулирования — растущий разрыв между скоростью развития технологии и темпами законотворчества. Пока законы формулируются, технология уже уходит далеко вперед, и становится все сложнее предусмотреть риски будущих систем.
Не все считают, что уже поздно
Часть исследователей сомневается, что kill switch — правильный инструмент регулирования. Ведущий инженер-исследователь Distributed AI Research Institute Dylan Baker считает, что сама эта формулировка слишком расплывчата и оставляет технологическим компаниям пространство для трактовок в свою пользу. По его мнению, политикам стоит сосредоточиться на защитных механизмах по образцу норм о конфиденциальности данных, безопасности детей и регулировании вредных индустрий, таких как табачная.
Тем не менее эксперты не исключают полностью идею экстренного тормоза для ИИ. По словам Tim Brown, для этого механизмы отключения нужно закладывать в системы с самого начала и одновременно вырабатывать политику, которая стандартизирует протоколы остановки между компаниями. Raj Rajamani добавил, что многие компании все еще находятся на раннем этапе создания таких ИИ-систем, а это несколько упрощает внедрение подобных решений.
Mark Nitzberg, в свою очередь, полагает, что kill switch может работать, если программное обеспечение будет спроектировано «очень тщательно». По его мнению, надежда на это направление все еще остается, и «еще не слишком поздно».
