В отличие от многих стартапов, производящих лишь «воздушные замки», компания Джима Келлера TensTorrent действительно представила впечатляющие ИИ-ускорители на архитектуре RISC-V, однако, похоже, назревают проблемы. Начиная с прошивки версии 19.5.0, компания сократила количество тензорных ядер на картах Blackhole p150 со 140 до 120. Это изменение затронуло как новые устройства, так и те, что уже находятся у клиентов.
Новость, по всей видимости, была доведена до сведения клиентов по электронной почте, и та же формулировка присутствует на GitHub-странице обновления прошивки. Tenstorrent не дает пояснений, почему было принято это решение, оставляя нынешних и потенциальных покупателей в недоумении. Приводим цитату:
«Заявление, похоже, порождает больше вопросов, чем ответов. Двадцать из 140 ядер — это сокращение примерно на 14%. При сравнении старой и новой страниц продукта Blackhole p150 на сайте Tenstorrent, пиковая вычислительная мощность составляет 774 против 664 TFLOPS, что является существенным изменением, особенно в контексте многокарточных конфигураций, таких как QuietBox. И все же Tenstorrent утверждает, что на практике для одной карты это должно привести к разнице в производительности всего 1-2% при использовании TT-Metalium — низкоуровневого набора разработчика, который работает в непосредственной близости к аппаратному обеспечению».
Один из пользователей на Discord-сервере компании поднял вопрос о том, действительно ли SDK вообще полностью использует аппаратное обеспечение, в то время как другой отметил, что изменение раскладки сетки ядер и таймингов может негативно сказаться на существующем, протестированном коде. У существующих пользователей, по сути, нет особого выбора: обновить прошивку и потерять ядра, либо лишиться новых функций развивающегося продукта, находящегося в разработке. Предсказуемо, шуток по поводу 14%-ного сокращения ядер было предостаточно.
Можно только предполагать, почему потребовалось это изменение. Возможно, Tenstorrent не добивалась хороших показателей выхода годных кристаллов Blackhole, но это было бы странно, учитывая, что они производятся по 6-нм техпроцессу, довольно зрелой по сегодняшним меркам технологии. Tenstorrent уже ведет переговоры с несколькими производителями 2-нм чипов для следующего поколения своих продуктов, но тем временем еще не выпустила свой предстоящий двухчиповый Blackhole p300 объемом 64 ГБ.
Существующая линейка продуктов Blackhole от Tenstorrent включает ИИ-ускорители для рабочих станций и разработчиков, желающих запускать ИИ-модели локально. Они на самом деле имеют разумную цену: модель p150 может обеспечить 664 TFLOPS и поставляется с 32 ГБ видеопамяти всего за 1399 долларов США, что составляет примерно треть цены одной RTX 5090, при этом теоретически обеспечивая в несколько раз большую производительность. Карты можно объединять для совместного использования видеопамяти, а чипы объединяют центральные и тензорные ядра на одном кристалле, обходя ряд ограничений традиционных конструкций.
Вполне разумно ожидать некоторой турбулентности, поскольку чрезвычайно сложно создать совершенно новый ИИ-ускоритель и его программное обеспечение на необычной архитектуре с нестандартной компоновкой чипа. Текущая цель TensTorrent — создание маломасштабных ИИ-ускорителей для малого бизнеса, лабораторий и частных лиц — может занять свою нишу на рынке и принести дивиденды в долгосрочной перспективе, при условии минимизации турбулентности.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruno Ferreira
