Anthropic объявила, что выбрала Accenture в качестве встроенного оценщика для проверки безопасности своих моделей искусственного интеллекта. Это первый конкретный шаг в реализации инициативы CEO Dario Amodei, который предложил замедлить темпы развития наиболее продвинутых AI-моделей.
Согласно сообщению компании, Anthropic и Accenture договорились вложить не менее $1 миллиарда в течение следующих пяти лет в наращивание возможностей в этом направлении. При этом Anthropic уточнила, что из-за «важности и срочности» вопроса будет напрямую финансировать работу Accenture. Компания также отметила, что в долгосрочной перспективе такие инициативы, по ее мнению, должны финансироваться из коллективных или государственных источников, как это было указано в опубликованном в июне документе Advanced AI Framework.
Ранее Dario Amodei представил трехэтапный план, направленный на то, чтобы ограничить скорость, с которой AI-компании улучшают свои самые мощные модели. Первый этап предполагает предоставление сторонним оценщикам доступа на уровне сотрудников для проверки практик безопасности и сообщения об инцидентах. Amodei заявил, что Anthropic «в одностороннем порядке» взяла на себя это обязательство и призвал другие AI-компании поступить так же.
Anthropic сообщила, что на первом этапе внутри компании будут работать сотрудники Faculty — специализированного AI-бизнеса Accenture. Их задачей станет тестирование защитных механизмов, проведение red-team-проверок и оценка того, соответствуют ли модели человеческим ценностям. Компания добавила, что партнерство не является эксклюзивным, и сейчас она также ведет переговоры с исследовательской некоммерческой организацией METR и другими сторонами.
В последние недели Anthropic и ее главный конкурент OpenAI оказались под пристальным вниманием после того, как ряд исследователей предупредили о потенциальной возможности катастрофического вреда для человечества со стороны AI. Предложение Amodei вызвало неоднозначную реакцию в технологическом секторе: его поддержали CEO OpenAI Sam Altman, а также CEO Tesla и SpaceX Elon Musk, тогда как CEO Nvidia Jensen Huang отмахнулся от этих опасений и заявил, что в новом регулировании нет необходимости.
Одновременно на рынке обсуждают, как именно предложение Anthropic будет работать на практике, особенно на фоне подготовки компании к IPO, которое многие считают потенциально очень крупным размещением.
Anthropic подчеркнула, что окончательная ответственность за безопасность ее моделей остается на самой компании, и работа со встроенными оценщиками не уменьшит эту ответственность. По словам компании, публикация этих ранних шагов должна показать ее процесс обществу и другим разработчикам AI, а сам подход, вероятно, будет меняться по мере взросления отрасли.
