Стартап Volantis, занимающийся разработкой ИИ-чипов при поддержке Сэма Альтмана, планирует преодолеть «стену памяти» с помощью света, и на этот раз это не просто игра с интеллектуальной собственностью.
Основанный в 2022 году стартап из Сан-Франциско разрабатывает ИИ-ускоритель, который будет использовать фотонный интерпозер для значительного увеличения пропускной способности памяти без ущерба для её ёмкости.
Volantis считает, что сможет разместить более 10 ТБ памяти со скоростью до 240 ТБ/с в одном массивном корпусе. По их утверждению, этого должно быть достаточно для обслуживания модели с 20 триллионами параметров со скоростью 10 000 токенов в секунду на пользователя.
Для достижения этой цели Volantis избрал несколько необычный подход. Вместо разработки новой вычислительной архитектуры или технологии памяти компания сосредоточила свои усилия на оптическом интерпозере. Всё остальное они планируют лицензировать у поставщиков интеллектуальной собственности.
«Дифференциация в основном исходит от оптического интерпозера. Поэтому мы лицензируем всё, что только можем, даже если это не самое производительное решение в мире, поскольку мы уже берём на себя большой риск с интерпозером и интеграцией», — рассказал генеральный директор Тапа Гхош изданию El Reg.
Основная идея чипа, который Volantis называет A-1, заключается в том, что использование оптических волноводов вместо электрических соединений позволяет значительно увеличить объём высокоскоростной памяти на корпус.
Из-за скоростей, на которых работает большинство ИИ-ускорителей памяти, таких как HBM, а также из-за размера и количества используемых контактов данных, память должна располагаться как можно ближе к вычислительным блокам, чтобы минимизировать энергопотребление и максимизировать целостность сигнала. В результате максимальная ёмкость и пропускная способность современных GPU ограничены периметром вычислительного кристалла. На данный момент это означает, что предел составляет около 432 ГБ у AMD MI455X.
Фотонические соединения могут расширить это расстояние значительно дальше. Вместо нескольких миллиметров память может располагаться на нескольких сантиметрах, устраняя периметр как узкое место. Хотя HBM является полезным примером, стоит отметить, что Volantis пока не уточнил, какую технологию памяти будет использовать его чип.
Volantis стремится достичь этого с помощью оптических волноводов, интегрированных в интерпозер. Вычислительные блоки и память, разработанные или поставляемые партнёрами, будут размещены сверху.
Если что-то из этого звучит знакомо, то Volantis — не первая компания, предложившая использовать фотонные кремниевые интерпозеры подобным образом. Как ранее сообщал наш сестринский ресурс Next Platform, и Lightmatter, и Celestial AI экспериментировали с этой идеей в прошлом. Фактически, мы сильно подозреваем, что идея HBM на расстоянии повлияла на решение Marvell приобрести Celestial за 5,5 миллиарда долларов.
Однако, в отличие от Celestial или Lightmatter, Volantis не пытается лицензировать свою технологию другим производителям чипов. По крайней мере, пока. Вместо этого компания стремится разработать полноценный чип для инференса.
«По крайней мере, в первый день это гораздо более простая задача — продемонстрировать решение, которое будет выпущено», — говорит Гхош.
Ещё одним отличием является технология, на которой основан интерпозер стартапа.
Вместо использования внешних лазеров, конструкция Volantis использует микровертикальные поверхностно-излучающие лазеры с оптическим резонатором — сокращённо micro-VCSEL, — что означает, что источник света интегрирован непосредственно в интерпозер.
VCSEL далеко не новая технология, но она сталкивалась с критикой из-за своей надёжности. Однако технический директор Volantis Рой Мид сообщает, что за последние годы технология значительно продвинулась, и, отказавшись от некоторой скорости, можно достичь значительно более высокой надёжности — философия, которую он описывает как «широкую и эффективную».
«Люди по-прежнему ограничены этим, я бы назвал это, мышлением «толстой трубы» точка-точка, и, естественно, если это так, вы будете двигаться в сторону SerDes», — говорит он. «Если бы мы вернулись и взглянули на преимущества широкого и эффективного подхода. Например, HBM. Применение того же подхода имеет большой смысл».
Мид имеет в виду, что соединения могут достигать более высокой пропускной способности несколькими способами. Первый — увеличение скорости канала, второй — использование большего количества каналов. Например, канал 800 Гбит/с может быть достигнут с использованием четырёх каналов по 200 Гбит/с или восьми каналов по 100 Гбит/с. В его примере с HBM более высокая пропускная способность достигается за счёт использования чрезвычайно широкой шины, но более низкой скорости передачи данных на контакт по сравнению с другими технологиями памяти. Та же концепция применима и к ускорителю Volantis на основе оптического интерпозера.
Энергоэффективность остаётся открытым вопросом, который преследует многие фотонные стартапы, но для Volantis это может быть менее проблематично, поскольку они не пытаются лицензировать свою интерпозерную технологию первого поколения. Для своего первого продукта компания нацелена на 1 пикоджоуль на бит на линию 24 Гбит/с и общую системную мощность около 20 кВт.
Volantis ещё предстоит пройти долгий путь, прежде чем они выпустят свой первый готовый к производству чип, и им потребуется привлечь значительно больше венчурного капитала для этого — намного больше, чем $88 миллионов, которые они привлекли на этой неделе при содействии Лачи Грума, Abstract Ventures и других.
Гхош прекрасно это осознаёт. Он говорит, что финансирование позволит компании перейти от мелкомасштабных оптических демонстраторов к чему-то более похожему на конечный продукт. Один только интерпозер представляет собой достаточно сложную задачу, но затем возникает сложность фактической интеграции лицензируемой интеллектуальной собственности.
«Амбициозно, мы должны стремиться к MVP-продукту через 12-18 месяцев в качестве нашей цели», — говорит он, отмечая, что это означает наличие рабочего прототипа, а не массовое производство. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tobias Mann
