Внедрение ИИ достигло переломного момента, поскольку фокус смещается с обучения новых моделей на их обслуживание. Для стартапов в области ИИ, борющихся за долю рынка Nvidia, сейчас или никогда.
По сравнению с обучением, инференс (вывод) представляет собой гораздо более разнообразную рабочую нагрузку, что дает стартапам, разрабатывающим чипы, возможность занять свою нишу. Инференс с большими пакетами требует иного сочетания вычислений, памяти и пропускной способности, чем ИИ-помощник или кодовый агент.
Из-за этого инференс стал все более гетерогенным, и некоторые его аспекты могут лучше подходить для графических процессоров (GPU), а другие — для более специализированного оборудования.
Приобретение компанией Nvidia стартапа Groq за 20 миллиардов долларов в декабре является ярким примером. Архитектура чипа Groq, в которой широко использовалась SRAM, означала, что при достаточном количестве таких чипов их LPU могли генерировать токены быстрее, чем любой GPU. Однако их ограниченная вычислительная мощность и устаревшая технология чипов не позволяли масштабировать их с должной эффективностью.
Nvidia обошла эту проблему, переложив ресурсоемкую часть предварительного заполнения (prefill) конвейера инференса на свои GPU, в то время как операции декодирования, ограниченные пропускной способностью, остались на их сверкающих новых LPU.
Такое сочетание не является уникальным для Nvidia. Через неделю после GTC компания AWS объявила о собственной платформе дезагрегированных вычислений, которая использует ее кастомные ускорители Trainium для предварительного заполнения и ускорители Cerebras Systems размером с обеденную тарелку на основе кремниевой пластины для декодирования.
Даже Intel включилась в игру, анонсировав эталонный дизайн, который будет использовать GPU — предположительно те, что они анонсировали прошлой осенью в северном полушарии — для предварительного заполнения и новые RDU стартапа SambaNova для декодирования.
До сих пор большинство успехов стартапов в области ИИ-чипов приходилось на сторону декодирования. SRAM, хотя и не отличается большой емкостью, является феноменально быстрой. Таким образом, при достаточном количестве чипов или, по крайней мере, одного очень большого чипа, как в случае с Cerebras, они хорошо подходят для ускорения операций декодирования, но стартапы не ограничиваются этим режимом.
На этой неделе Lumai подробно описала свой оптический ускоритель инференса, который использует свет, а не электроны, для выполнения операций матричного умножения, лежащих в основе большинства рабочих нагрузок машинного обучения, потребляя при этом лишь малую долю энергии по сравнению с чисто цифровой архитектурой.
Lumai ожидает, что их системы Iris Tetra следующего поколения достигнут производительности в один экза-операций в секунду (exaOPS) для ИИ в рамках энергетического бюджета 10 кВт к 2029 году.
Технически чипы используют гибридную электрооптическую архитектуру, но основная часть вычислений во время инференса выполняется оптическим тензорным ядром чипа.
Первоначально компания позиционирует чип как автономную альтернативу GPU для рабочих нагрузок инференса, ограниченных вычислительной мощностью, таких как пакетная обработка. В более долгосрочной перспективе компания также планирует использовать свои оптические ускорители в качестве процессоров предварительного заполнения.
Архитектура все еще находится в зачаточном состоянии, способна запускать модели с миллиардами параметров, такие как Llama 3.1 8B или 70B, уже сегодня, но она достаточно продвинута, чтобы британский стартап открыл свои чипы для оценки неооблакам и гиперскейлерам.
Тем не менее, не все стартапы в области ИИ-чипов стремятся использовать разные чипы для предварительного заполнения и декодирования. Ранее на этой неделе Tenstorrent представила свои вычислительные платформы Galaxy Blackhole на базе RISC-V, и, по общему мнению, генеральный директор компании Джим Келлер не является поклонником формулы дезагрегированного инференса.
“Каждая компания в отрасли объединяется для создания ускорителя ускорителей. ЦП выполняют код. ГПУ ускоряют ЦП. ТПУ ускоряют ГПУ. LPU ускоряют ТПУ. И так далее. Это приводит к сложным решениям, которые вряд ли будут совместимы с изменениями в моделях и использовании ИИ. В Tenstorrent мы считали, что сработает что-то более общее и простое”, — заявил он в заявлении. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tobias Mann
