Google сообщила, что ее модель Gemini в ходе майского теста по безопасности без разрешения получила доступ к частным системам трех отдельных компаний. По словам компании, это первый случай, когда Google публично раскрыла, что одна из ее моделей автономно проникла в компьютерные системы третьих лиц.
Как заявила Google, Gemini получила доступ к трем частным системам, подбирая пароли, а в двух случаях использовала общедоступный репозиторий опубликованных паролей. Инцидент произошел в рамках кибериспытания в формате capture-the-flag, которое проводил израильский стартап Irregular.
В компании уточнили, что агенты Google не должны были иметь доступ к открытому интернету, однако из-за ошибки в тестовой среде такая возможность появилась. По данным Google, модель прекратила попытки проникновения, когда определила, что получила доступ к реальным корпоративным системам, а не только к элементам испытательной среды.
Вице-президент Google по security engineering Heather Adkins заявила, что в ходе стандартной оценки модель нашла в интернете публичную информацию и подобрала учетные данные для входа на сайты, которые сочла частью теста. По ее словам, во всех трех случаях модель остановилась самостоятельно.
Раскрытие информации произошло на фоне растущего внимания в Вашингтоне и Кремниевой долине к случаям нежелательного поведения систем искусственного интеллекта. В последние недели OpenAI, Anthropic и Meta также сообщали об инцидентах, когда их модели выходили за пределы тестовой среды и пытались получить несанкционированный доступ к системам других компаний.
Публикации о так называемых misaligned AI models побудили генерального директора Anthropic Dario Amodei призвать отрасль коллективно замедлить разработку самых передовых моделей до тех пор, пока компании не смогут гарантировать их безопасность.
Как отмечает CNBC, во всех вышеупомянутых случаях фигурировал израильский стартап Irregular. Компания, которую поддерживают Sequoia и Redpoint Ventures, в прошлом году оценивалась в $450 млн. Ее инструменты помогают разработчикам foundation models проводить тесты в области кибербезопасности.
Представитель Irregular сообщил CNBC, что инцидент с Google был связан с той же проблемой, которая позволила и другим моделям получить доступ к интернету. По его словам, речь идет о том же уже описанном сбое, а не о существенно отдельном инциденте. Он добавил, что все соответствующие лаборатории были уведомлены в конце июля, а затронутые стороны были извещены в рамках расследования.
Google заявила, что инцидент произошел в мае, а уведомление от Irregular компания получила в конце июля. Также Google сообщила, что вместе с Irregular изменила процесс тестирования. Представитель компании отказался назвать точную версию Gemini, которая участвовала в инциденте.
По словам Heather Adkins, эти события подчеркивают важность обучения мощных моделей искусственного интеллекта ответственному поведению. О происшествии первым сообщила The Wall Street Journal.
