Тема американских торговых ограничений, препятствующих экспорту в Китай высокопроизводительных чипов для ИИ от Nvidia и AMD, в последнее время претерпела несколько поворотов. Если не считать дел Дженсена Хуанга, в индустрии ни для кого не секрет, что чипы Blackwell от Nvidia находят свой путь в Китай, будь то физически или виртуально. Независимая исследовательская группа UnemploymentLabs представила убедительные доказательства того, что эти чипы использовались для обучения китайских моделей ИИ с открытыми весами, включая DeepSeek V4, Kimi K3.1, MiniMax-M3 и Ling-3.1-Flash.
Ученые осторожны в своих выводах, отмечая, что, хотя их расчеты верны, они не раскрывают, где находились чипы, как к ним осуществлялся доступ, или доказывают ли они нарушение экспортных ограничений. Насколько нам известно, в настоящее время китайским компаниям не запрещено арендовать оборудование Blackwell за рубежом, и, хотя Nvidia усиливает контроль, американским компаниям не запрещено делать это, о чем свидетельствует недавняя сделка Tencent с Oracle.
Этот метод идентификации ограничен моделями с открытыми весами и зависит как от аппаратного, так и от программного обеспечения, используемого для обучения моделей — и все же он так же умен и прост, как Яйцо Колумба.
Установим некоторые базовые факты. Во-первых, разные семейства ускорителей ИИ имеют уникальное количество шейдерных модулей (SM), что несколько аналогично ядрам ЦП — чипы Hopper от Nvidia имеют 132, серия Blackwell B — 148, а Blackwell GB — 152. Во-вторых, хотя существует более одного программного стека для обучения моделей ИИ, PyTorch и его друзья с поддержкой CUDA являются безусловно наиболее широко используемыми на оборудовании «зеленой команды».
Первым шагом в обучении модели является инициализация ее весов, то есть того, насколько сильно модель учитывает каждый отдельный вход. В современных архитектурах LLM их инициализация проходит через этап рандомизации, в котором их значения корректируются плюс/минус псевдослучайным образом с использованием cuRAND — то есть случайным образом, но начальное значение (seed) каждый раз приводит к одинаковым показателям корректировки.
Как и следовало ожидать, выполнение этого для всей модели требует больших вычислительных ресурсов, поэтому этот процесс распределяется по всем SM, которые далее подразделяются на потоки. Для больших наборов весов количество потоков на SM составляет 2048 для кремния Blackwell и Hopper, и оно, безусловно, тщательно подобрано и оптимизировано.
Исследователи повторили имитацию процесса инициализации, используя те же чипы, программное обеспечение и количество потоков. Используя относительно простой статистический анализ, они обнаружили, что их окончательное статистическое распределение значений весов точно совпало с распределением DeepSeek, Kimi и др. В качестве теста они изменили количество SM и потоков, и, как и ожидалось, корреляция полностью нарушилась.
Это позволило им выделить каждое семейство чипов Blackwell/Hopper, использованное для каждой модели, и в конечном итоге они также определили примерное количество использованных карт. Однако они не могут точно указать, какая именно вариация произвела веса, поскольку этот анализ связан только с количеством инициализационных макетов, таким образом, с количеством и шаблоном использования SM, а не с емкостью VRAM, пропускной способностью памяти или другими характеристиками, которые отличают отдельные карты.
Что насчет карт AMD, таких как MI300X, или другого кремния с достаточным количеством SM, использующего тот же программный стек? Ученые говорят, что не исключено, что карта AMD может быть настроена так, чтобы отображаться как две группы по 152 или 148 шейдеров, хотя мы полагаем, что для этого было бы мало причин. Тем не менее, для DeepSeek V4 они также исключили эту возможность, проанализировав сами фактические значения весов, и обнаружили, что карты AMD по-прежнему не давали такой же шаблон значений весов.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruno Ferreira
