OpenAI опубликовала пакет предложений по безопасности и защищенности при разработке передового искусственного интеллекта, сделав особый акцент на исследованиях alignment и recursive self-improvement, или RSI.
В блоге компании говорится, что по мере быстрого роста возможностей ИИ исследования в области alignment должны развиваться столь же быстро, чтобы системы, создаваемые OpenAI и другими разработчиками, оставались согласованными с человеческими ценностями и находились под контролем человека.
Создатель ChatGPT призвал к международному сотрудничеству для выработки стандартов для frontier AI. По мнению OpenAI, эта работа должна опираться на наработки уже существующих по всему миру AI safety institutes.
Как отмечает компания, такие технические стандарты должны охватывать как frontier AI models и их разработчиков, так и управление соотношением пользы и рисков для automated AI researchers, включая RSI.
RSI вызывает большой интерес у разработчиков ИИ, поскольку потенциально может привести к созданию foundation models, способных улучшать самих себя без участия человека. Однако прогресс в этой области усилил и опасения части технологического сообщества: по мере усложнения и повсеместного распространения таких систем их создатели могут утратить контроль над базовой технологией или недооценить возможные непреднамеренные последствия.
OpenAI подчеркивает, что полностью автономный RSI сегодня не существует и к нему не следует стремиться, пока его нельзя будет реализовать безопасно. В компании считают, что без должной осторожности RSI может привести к тому, что люди практически потеряют контроль над развитием ИИ и не смогут надзирать за исследовательскими процессами, которые они больше не понимают.
В публикации также упоминается Hugging Face agent hack. В OpenAI отмечают, что этот инцидент не был связан с RSI, но может служить своего рода «предварительным сигналом» тех рисков, которые без надежных защитных механизмов и alignment могут стать значительно серьезнее.
Заявление OpenAI выходит на фоне обострившейся дискуссии о безопасности ИИ. На прошлой неделе Anthropic представила собственные идеи по безопасной разработке frontier AI models в ответ на волну предупреждений исследователей о потенциальной угрозе ИИ для человечества. Широкий резонанс вызвала и отставка Jacob Coxon, работавшего и в Anthropic, и в OpenAI: он заявил, что компании «играют с нашими жизнями».
После этого глава Anthropic Dario Amodei опубликовал эссе, в котором, помимо прочего, призвал замедлить темпы разработки foundation models. Он также предложил встраивать в компании независимых сторонних evaluators для аудита и снижения потенциальных общественных рисков, включая усиление кибератак или создание биологического оружия.
Эту идею публично поддержали и CEO OpenAI Sam Altman, и CEO Tesla и SpaceX Elon Musk. Однако сама сфера AI evaluation пока остается на ранней стадии, и единый консенсус по базовым стандартам и принципам, которые позволили бы независимым сторонам глубже проверять передовые технологии, еще не сформирован.
Именно поэтому коалиция AI evaluators призывает разработчиков foundation models принять набор «минимальных условий», который позволит проводить более глубокие audits и проверки, включая расширенный доступ и защиту от преследования за публикацию нелицеприятных отчетов.
