Новый член совета OpenAI и комитета компании по безопасности Пол Кристиано заявил, что развитие сверхчеловеческого искусственного интеллекта без более надежных механизмов контроля может создать серьезную угрозу для человечества. По его оценке, потеря контроля над такими системами может привести к крайне тяжелым последствиям, вплоть до гибели большей части людей.
Кристиано считается одним из известных специалистов в области безопасности искусственного интеллекта и исследований по согласованию его целей с интересами человека. Ранее он руководил исследованиями по alignment в OpenAI, а затем возглавлял направление безопасности в американском центре стандартов и инноваций в сфере искусственного интеллекта при Национальном институте стандартов и технологий США.
После объявления о возвращении в OpenAI он отметил, что возможности современных моделей растут очень быстро, тогда как сложности с их контролем сохраняются. По его словам, это создает в обозримом будущем значительный риск необратимой потери контроля.
По мнению Кристиано, вся отрасль, включая OpenAI, пока не движется к такому уровню безопасности, при котором этот риск можно было бы считать приемлемым. При этом он подчеркнул, что его присоединение к компании не следует воспринимать ни как поддержку, ни как критику нынешних подходов OpenAI к обеспечению безопасности.
Одной из ключевых угроз он назвал более активное вовлечение самого ИИ в процесс разработки искусственного интеллекта. Если системы смогут ускорять исследования и помогать создавать следующие поколения моделей, это теоретически может привести к резкому росту их возможностей.
Отдельно исследователь указал на риски, связанные с обучением с подкреплением. По его словам, в рамках этого подхода модели учатся максимизировать заданное вознаграждение, однако это может стимулировать поведение, не соответствующее реальным интересам людей. Кристиано добавил, что публичные примеры последних лет показывают: такие угрозы уже нельзя считать исключительно теоретическими.
Среди возможных мер он назвал более тесную координацию между ведущими разработчиками ИИ, введение единых стандартов безопасности, замедление разработок в ситуациях повышенного риска, а также более прозрачную публикацию информации об угрозах и способах их снижения. По его мнению, решение этой проблемы потребует сотрудничества не только отдельных компаний, но и государств.
