Сооснователь и генеральный директор Anthropic Дарио Амодеи опубликовал эссе, в котором призвал компании, работающие в сфере искусственного интеллекта, сознательно сдерживать темпы наращивания возможностей своих моделей. По его словам, речь идет не об остановке технического прогресса, а о том, чтобы у компаний было достаточно времени на выравнивание моделей с человеческими целями, защитные меры и независимую проверку.
Амодеи предложил трехэтапный план, который, по его оценке, позволит снизить темпы развития без «жертвы коммерческим преимуществом или лидерством Соединенных Штатов в ИИ». По его словам, Anthropic уже в одностороннем порядке взяла на себя обязательство по первому пункту: предоставить сторонним оценщикам доступ на уровне сотрудников, чтобы они могли проверять практики безопасности и сообщать об инцидентах.
Второй шаг предполагает координацию между ведущими ИИ-компаниями в демократических странах и выработку общих стандартов безопасности. Третий — взаимодействие между демократическими и авторитарными правительствами. Амодеи признал, что часть этих мер реализовать будет проще, чем другие.
Публикация появилась после того, как исследователь Anthropic Джейкоб Коксон, ранее работавший также в OpenAI, на этой неделе объявил об уходе из компании и спровоцировал бурную реакцию в соцсетях. Он заявил, что Anthropic и OpenAI «играют нашими жизнями», а люди, создающие ИИ, по его словам, искренне верят, что технология «может убить нас всех к концу десятилетия».
Хотя такие оценки звучат крайне резко, опасения по поводу того, что ИИ может привести к вымиранию человечества или другим катастрофическим последствиям, давно обсуждаются в исследовательском сообществе. В 2023 году ряд известных исследователей и руководителей, включая Амодеи и главу OpenAI Сэма Альтмана, подписали заявление о том, что снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с такими угрозами, как пандемии и ядерная война.
Амодеи написал, что идея паузы или замедления, обсуждаемая с 2023 года, тогда имела «мало смысла», поскольку модели еще не были достаточно сильны, чтобы действовать в реальном мире, и не обладали возможностями для «существенного обмана, манипуляции, мошенничества или кибератак». При этом он подчеркнул, что по-прежнему считает: ИИ способен заметно повысить качество человеческой жизни, если развивать технологию правильным образом.
Предложение Амодеи поддержали многие исследователи и руководители отрасли. Сэм Альтман написал в X, что согласен: индустрии необходимо контролировать скорость развития передовых ИИ-возможностей. Он добавил, что в последние недели этот вопрос был одной из главных тем обсуждения в OpenAI, и назвал «отличной идеей» допуск независимых оценщиков на уровне сотрудников, заявив, что OpenAI сделает то же самое.
Главный научный сотрудник OpenAI Якуб Пахоцкий ранее в этом месяце предупреждал, что ни одна ИИ-компания еще не решила задачи выравнивания и мониторинга в достаточной степени, чтобы долго продолжать ответственное масштабирование на максимальной скорости. По его словам, добровольные замедления должны стать обычной практикой до тех пор, пока не появятся общие пороги безопасности.
В поддержку замедления высказался и Илон Маск, написав в X: «Дарио прав». Маск, чей конкурирующий ИИ-стартап xAI в начале этого года был приобретен его ракетной компанией SpaceX, ранее резко критиковал Anthropic. Однако после объявления в мае о крупной вычислительной сделке между Anthropic и SpaceX его позиция заметно смягчилась. Тогда он писал, что все, с кем он встретился, были высококомпетентными людьми, искренне стремящимися поступать правильно.
Одновременно Anthropic готовится к IPO, которое на рынке широко рассматривают как потенциально историческое, хотя компания пока официально не раскрывала сроки размещения. Амодеи считает, что если замедление даст хотя бы дополнительный год или два до того, как модели достигнут критического уровня возможностей, и это время будет использовано для улучшения выравнивания, риск серьезного сбоя можно будет существенно снизить.
