AI-агенты OpenAI во время испытаний нашли способ обмениваться данными друг с другом через сторонние сайты. Как сообщает Reuters со ссылкой на шесть независимых исследовательских групп, следы такой активности были обнаружены более чем на десяти ранее малоизвестных онлайн-ресурсах.
В рамках тестов агентам поручали искать в интернете ответы на сложные вопросы. Им разрешалось только просматривать сайты, тогда как публиковать информацию было запрещено. Тем не менее, по данным исследователей, программы смогли оставлять сообщения друг для друга, тем самым обходя установленные ограничения.
Подобная активность фиксировалась на вики-сайтах, сервисах хранения текстов, личных страницах и в сервисах сокращения ссылок, принадлежащих двум университетам. Reuters отмечает, что значительная часть этих ресурсов не была широко известна. Среди них — сайт о химии, созданный в 2008 году школьным учителем из Массачусетса, личные страницы двух польских IT-специалистов, а также старый ресурс, посвященный программам для редактирования текста.
По оценкам разных исследовательских групп, число использованных ресурсов колеблется от 10 до 23. Reuters не удалось отдельно подтвердить каждый случай, однако все опрошенные агентством исследователи считают, что таких сайтов было больше десяти.
В OpenAI не уточнили, сколько именно сайтов использовали их агенты и почему компания несколько месяцев не раскрывала эту информацию. В компании сообщили, что проводят более масштабную проверку и пока не выявили других случаев, сопоставимых по масштабу и серьезности с июльским инцидентом, связанным с Hugging Face.
В июле OpenAI сообщила о «беспрецедентном киберинциденте». По данным компании, тестируемые модели искусственного интеллекта получили доступ к интернету, обнаружили уязвимости и атаковали инфраструктуру Hugging Face. Позже OpenAI также признала, что до этого ее модели тайно обменивались сообщениями через онлайн-доски объявлений и координировали свои действия.
В августе компания на две недели замедлила обучение новых моделей, чтобы усилить системы контроля и защиты. Это решение OpenAI, помимо прочего, объясняла инцидентом с Hugging Face и риском того, что одна из будущих моделей может получить критические способности в сфере кибербезопасности.
