Либо Moonshot не осознает опасности пути, по которому идет, либо проявляет вопиющее безразличие. В самом деле, зачем еще компании удваивать ставки на ту же скрытую стратегию, которая сработала для модели Kimi K3 и, вероятно, сработает для Kimi K4, но с огромными геополитическими издержками, рискуя навлечь на себя полный гнев администрации Трампа?
Moonshot пытается тайно задействовать еще больший запас вычислительных ресурсов NVIDIA для обучения своей будущей модели Kimi K4
Как мы объясняли в недавней публикации, Moonshot только что представила свою новую модель с открытым весом Kimi K3, которая насчитывает 2,8 триллиона параметров и специально разработана для работы на передовом уровне интеллекта.
Модель является мультимодальной, имеет контекстное окно около 1 миллиона токенов и предлагает более высокую и быструю производительность по сравнению со многими аналогами.
Более того, Kimi K3 довольно эффективно работает на аппаратном обеспечении уровня дата-центров благодаря значительно сокращенному KV-кэшу и встроенным оптимизациям использования памяти на токен — это достигается за счет распределения 896 экспертов по большому количеству GPU.
Фактически, Microsoft подсчитала, что она может сэкономить до 600 миллионов долларов на затратах на инференс, если переведет Copilot с моделей OpenAI и Anthropic на Kimi K3 от Moonshot.
Разумеется, Moonshot недавно ввязалась в текущую многомерную борьбу между Китаем и США, когда Anthropic и некоторые члены администрации Трампа обвинили Moonshot в дистилляции своей модели Kimi K3 из модели Fable от Anthropic.
США давно подозревают, что китайские инженеры часто берут свои жесткие диски с моделями в дружественные США страны, чтобы наделить свои модели возможностями передового уровня, используя методы обучения с подкреплением на новейших GPU NVIDIA.
Судя по обвинениям, выдвинутым недавно представителем администрации Трампа, Moonshot не только тайно владеет некоторыми серверами NVIDIA GB300, но и смогла получить доступ к дополнительным GB300 через Таиланд.
Обратите внимание: Fable была разблокирована в конце июня, а Moonshot выпустила свою модель Kimi K3 примерно в середине июля. У Moonshot просто не было достаточно времени, чтобы дистиллировать модель такого масштаба, как Kimi K3, не говоря уже о ее уникальных архитектурных особенностях, которые отсутствуют в Fable. Впрочем, Moonshot, вероятно, донастроила некоторые ответы своей модели с помощью Fable.
Это подводит нас к сути вопроса. The Information только что сообщила, что Moonshot после всеобщего успеха своей модели Kimi K3 теперь добивается доступа к еще большему запасу GPU NVIDIA Blackwell для следующего поколения модели Kimi K4 и, похоже, готова нарушить американские экспортные ограничения.
Это не значит, что компания не использует отечественные чипы для ИИ. В конце концов, инженеры Moonshot смогли объединить несколько восьмичиповых серверов в разных дата-центрах на территории Китая для обучения Kimi K3. Однако, учитывая, что Kimi K4, вероятно, превзойдет 2,8 триллиона параметров своей предшественницы, Moonshot отчаянно нуждается в дополнительных вычислительных мощностях и, похоже, готова рискнуть навлечь на себя гнев администрации Трампа.
Тем временем администрация Трампа в настоящее время рассматривает возможность полного запрета моделей с открытым весом из Китая. Для тех, кто не в курсе: веса (weights) указывают модели, насколько важным следует считать то или иное понятие или последовательность слов. Эти веса изначально представляют собой случайные числа, а затем изменяются посредством итеративных обновлений, где метрика ошибки измеряет разрыв между предсказанием и фактическим целевым значением после каждого прямого прохода. Модели с открытым весом раскрывают свои веса, тогда как модели с закрытым весом, такие как Клод от Anthropic, этого не делают.
Однако сейчас весь цвет мира ИИ, включая NVIDIA, Microsoft, Meta*, Dell, Perplexity, Palantir, Mistral AI и других, опубликовал письмо с призывом к администрации Трампа обеспечить дальнейшее процветание экосистемы моделей ИИ с открытым весом.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rohail Saleem
