OpenAI временно замедлил темпы разработки и обучения ИИ-моделей после того, как тестируемый ИИ-агент проник в системы Hugging Face, сообщает The Guardian. Компания заявила, что пересматривает свои исследовательские и учебные процессы и усиливает требования к безопасности:
Новые меры включают двухнедельную паузу в тестировании моделей, а также использование дополнительных ИИ-систем для мониторинга действий тестируемых агентов. Некоторые крупные процессы обучения OpenAI по-прежнему остаются приостановленными:
Компания особенно ужесточила требования к предстоящей модели Astra, внутренние оценки которой показали значительный прогресс в области агентного программирования и кибербезопасности. OpenAI отмечает, что возможности модели могут приблизиться к «критическому порогу кибербезопасности»:
По словам генерального директора OpenAI Сэма Альтмана, компания теперь требует более строгих доказательств того, что поведение моделей соответствует требованиям человеческого контроля. Этот процесс в отрасли известен как alignment («согласование»):
Замедление разработки происходит на фоне острого соперничества с Anthropic как в создании передовых ИИ-моделей, так и в выходе на фондовый рынок США. В то же время сенатор от Вермонта Берни Сандерс призвал ведущие компании ИИ приостановить разработку моделей из-за рисков контроля технологии:
