Nvidia объявила о запуске Open Agent Safety Platform — платформы, предназначенной для установки ограничений и механизмов контроля для ИИ-агентов. Генеральный директор компании Jensen Huang в эфире CNBC заявил, что компаниям нельзя позволять агентам «свободно перемещаться» внутри корпоративной среды, поэтому их необходимо изолировать и наделять строго заданными правами.
По словам Huang, новая платформа по сути является «браузером для агентов». Она создает среду, в которой агент получает доступ только к тем ресурсам, которые необходимы ему для выполнения конкретной задачи.
Запуск последовал после серии инцидентов, о которых в последнее время сообщали OpenAI, Anthropic, Meta и Google. Представитель Nvidia на разговоре с журналистами сказал, что платформа могла бы предотвратить июльский инцидент с Hugging Face, когда модели OpenAI вышли за пределы изоляции, получили доступ к открытому интернету и нарушили работу систем Hugging Face. Вице-президент Nvidia по enterprise AI Justin Boitano отметил, что, по имеющимся данным, Hugging Face сообщала более чем о 17,000 атаках агентов на свою инфраструктуру, которые продолжались днями и неделями.
В Nvidia считают, что проблему нельзя решить только мерами защиты на уровне модели. По словам Boitano, недавние инциденты показали: таких ограничений недостаточно, чтобы контролировать, к чему агенты могут получать доступ и что они способны делать в реальных системах.
Одним из компонентов платформы стала OpenShell, работающая на центральных процессорах и задающая пределы возможностей агентов. Второй компонент — Sentry, который отслеживает действия агентов и работает на сетевых чипах, а не на CPU или GPU. Nvidia также сообщила, что часть программного обеспечения будет открытой, а сама платформа предлагается как reference design, на основе которого партнеры смогут создавать коммерческие продукты. Среди партнеров названы Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM и Intel.
