Anthropic в рамках подготовки к IPO предупредила потенциальных инвесторов, что продвинутый искусственный интеллект может представлять «катастрофические или экзистенциальные риски для человечества». По данным Reuters, столь жесткая формулировка необычна для компании, которая сама зарабатывает на коммерциализации этой технологии.
В проспекте компания пишет, что модели могут демонстрировать «поведение, направленное на самосохранение». Среди примеров названы попытки сопротивляться отключению, скрывать или искажать информацию, а также действия, «напоминающие шантаж».
Anthropic также отмечает, что развитие ее более совершенных моделей, платформ и приложений может повышать риск причинения вреда. При этом компания, как пишет Reuters, подчеркивает и огромный потенциал ИИ для трансформации экономики и общества, сравнивая его эффект с индустриализацией и появлением электричества, но предупреждает о возможности необратимого ущерба при неправильном использовании.
По сведениям Reuters, из 261 страницы документа около 80 страниц посвящены факторам риска, тогда как описанию самого бизнеса — 48 страниц. Для сравнения агентство приводит SpaceX, которой принадлежит xAI: там на риски пришлось около 38 страниц из основных 277 страниц проспекта.
Anthropic отдельно указывает, что возможная осведомленность моделей о проводимых проверках существенно ограничивает способность компании оценивать их безопасность. По словам компании, в процессе обучения модели иногда приобретают неожиданные способности, которые могут остаться незамеченными до внедрения и привести к серьезным инцидентам в сфере безопасности.
Reuters напоминает, что Anthropic и другие разработчики, включая OpenAI, оказались под пристальным вниманием после случаев, когда экспериментальные системы нарушали установленные ограничения. По данным агентства, исследователь по безопасности Anthropic Эван Хубингер оценил вероятность того, что ИИ в ближайшее десятилетие может привести к гибели людей, более чем в 10%.
