От Силиконовой долины до Вашингтона, мир технологий внезапно одержим концепцией ИИ: дистилляция. Быстрый рост Kimi K3 от Moonshot AI сделал дистилляцию горячей темой среди технарей и законодателей.
Предложение Moonshot является одним из многих, поступающих из Китая, где разработчики производят так называемые модели с открытым весом, которые дешевле в использовании, чем модели от таких компаний, как OpenAI и Anthropic.
Ведущие технологические компании опубликовали письмо в пятницу, призывающее политиков избегать "преждевременных ограничений" на модели с открытым весом, которые могут "подавить конкуренцию или заставить инновации уехать за границу".
Руководитель Google AI Джефф Дин в начале этого года в подкасте обсудил концепцию, которая в то время едва обсуждалась за пределами узких технологических кругов: дистилляция.
Обсуждая разработку моделей ИИ Google, Дин сказал, что он и его коллеги открыли техники дистилляции ИИ, потому что Google искал способы улучшить производительность своих систем, не полагаясь на одну большую модель распознавания изображений.
"С помощью дистилляции, которая является ключевой техникой для повышения возможностей меньших моделей, вам нужно иметь пограничную модель, чтобы затем дистиллировать ее в вашу меньшую модель", - сказал Дин в феврале.
Через пять месяцев дистилляция неожиданно стала горячей темой от Силиконовой долины до Вашингтона, когда технари и законодатели обсуждают, превращается ли эта практика в угрозу национальной безопасности и позволяет ли Китаю догнать США в высоких ставках гонки ИИ.
Обеспокоенность возникла в конце прошлой недели после того, как китайская лаборатория Moonshot AI выпустила Kimi K3, и пользователи быстро обнаружили, что он конкурентоспособен с лучшими коммерчески доступными AI от Anthropic и OpenAI.
В отличие от ведущих американских AI-компаний, которые продают доступ к собственным моделям, Moonshot и другие китайские лаборатории предлагают так называемые модели с открытым весом, которые позволяют пользователям загружать технологию, настраивать ее и запускать ее где угодно.
Некоторые государственные чиновники приписывают способность Moonshot так быстро догнать дистилляции, описывая это как кражу американской интеллектуальной собственности, в частности, путем интеграции пограничной модели Fable от Anthropic.
"У нас есть информация о том, что Moonshot AI дистиллировал Fable от Anthropic для разработки своей модели K3", - написал советник Белого дома Майкл Кратсиос в среду.
На высоком уровне дистилляция относится к использованию ответов от чат-бота или рабочего продукта от продвинутой модели ИИ для обучения другой модели. Эта практика является спорной, поскольку, в зависимости от того, как она используется, она может позволить разработчику модели создать конкурентное предложение, просто используя выходные данные компаний, которые вложили миллионы или миллиарды долларов в разработку самых сложных технологий обучения.
"Это почти как если бы кто-то пошел на лекции, прочитал учебник и выполнил всю тяжелую работу по домашнему заданию", - сказал Пукар Хамал, основатель компании по безопасности ИИ SecurityPal. "Затем другой студент говорит: 'Эй, я этого не сделал. Могу я просто скопировать твою работу?'"
Независимо от того, было ли это сообщение Кратсиоса или что-то еще, крупнейшие технологические гиганты планеты собрались в пятницу, чтобы четко выразить свою позицию. После серии публикаций в социальных сетях на протяжении недели технологические гиганты Nvidia, Microsoft, Meta, Palantir вместе с более чем 20 другими компаниями выпустили письмо, призывающее политиков избегать "преждевременных ограничений" на модели ИИ с открытым весом, которые могут "подавить конкуренцию или заставить инновации уехать за границу".
"Дистилляция, или практика использования выходов одной модели для помощи в обучении или улучшении другой, является широко используемой техникой для улучшения, эволюции и валидации моделей", - написали они.
