Пекинская компания Moonshot AI выпустила модель Kimi K3 с 2,8 триллиона параметров, которую компания в своем техническом блоге называет первой в мире открытой системой класса 3T и крупнейшей на сегодняшний день моделью с открытым весом. Moonshot сообщила, что K3 по общей производительности все еще уступает Claude Fable 5 от Anthropic и GPT 5.6 Sol от OpenAI, но превзошла все остальные модели в оценочном наборе компании, включая Claude Opus 4.8 и GPT 5.5, по показателям кодирования и агентных бенчмарков. Модель имеет контекстное окно в 1 миллион токенов, нативное зрение и активирует лишь 16 из своих 896 экспертов на токен, что составляет примерно 1,8% от общего пула. Полные веса будут опубликованы к 27 июля.
Arena поставила K3 на первое место в оценке Frontend Code с 1679 баллами, опередив Fable 5, в ходе слепого тестирования разработчиками. Цены API составляют $0,30 за миллион входных токенов при попадании в кэш, $3 за миллион при промахе кэша и $15 за миллион выходных токенов. Kimi K2 была запущена год назад по цене $0,60 за миллион входных токенов, так что некэшированные входные данные K3 стоят в пять раз дороже.
Moonshot заявляет о примерно 2,5-кратном улучшении эффективности масштабирования по сравнению с Kimi K2, что объясняется двумя архитектурными изменениями: Kimi Delta Attention — гибридной схемой линейного внимания, и Attention Residuals, которые изменяют способ передачи информации между слоями. Обучение с учетом квантования начинается на этапе контролируемой тонкой настройки с использованием весов MXFP4 и активаций MXFP8 — комбинации, которую Moonshot выбрала для широкой совместимости с оборудованием. Аналитики Bank of America во главе с Алексом Лю в записке, цитируемой CNBC, отметили, что K3 демонстрирует, что крупномасштабное предварительное обучение в сочетании с архитектурной работой все еще может обеспечить скачкообразные улучшения для флагманских китайских моделей, несмотря на ограничения в вычислительных мощностях.
Бенчмарк оптимизации ядра Moonshot выполнялся на Nvidia H200 и на том, что в блоге обозначено только как “GPGPU от альтернативного поставщика”, которого компания не назвала. MiniTriton — компилятор, подобный Triton, созданный K3 с нуля, сравнивается с Triton на Nvidia L20 — урезанной карте на базе Ada, продаваемой в Китае в соответствии с экспортными правилами США. Moonshot рекомендует развертывать K3 на супернодах из 64 или более ускорителей, поддерживая эксперт-параллельный трафик внутри одного домена с высокой пропускной способностью. В блоге не указано, где находится оборудование H200; в январе Конгресс принял закон, закрывающий лазейку для аренды облачных мощностей за рубежом, которая давала китайским компаниям удаленный доступ к ограниченным ускорителям.
В одном из примеров использования K3 за один 48-часовой автономный прогон спроектировала симулированный чип для вывода для наномодели, построенной на собственной архитектуре, используя инструменты EDA с открытым исходным кодом и библиотеку Nangate 45nm. Проект уложился в тайминг на частоте 100 МГц в пределах 4 мм², вместил 1,46 миллиона стандартных ячеек и массив INT4 MAC и поддерживал более 8700 токенов в секунду симулированного декодирования.
На данный момент каждое опубликованное число K3 является заявлением Moonshot, полученным из отчетов компании или доступа к API, и не может быть проверено до публикации весов 27 июля. Anthropic обвинила Moonshot в феврале в использовании 3,4 миллиона обменов с Claude для обучения своих моделей с помощью дистилляции, и теперь K3 показывает в бенчмарках результаты, близкие к моделям, упомянутым в этой жалобе.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Luke James
