PrismML делает ставку на то, что мощные, высокопроизводительные, способные к рассуждению большие языковые модели на самом деле не обязательно должны быть большими.
Компания создает модели для рассуждений настолько компактными, что они могут помещаться на ПК и смартфонах. (Ходят даже слухи, что она ведет переговоры с Apple, хотя генеральный директор Бабак Хассиби отказался комментировать это для TechCrunch).
В четверг PrismML выпустила Bonsai 2 27B, последнюю модель в семействе, которая сжимает Qwen3.8 27B, широко используемую модель с открытым исходным кодом от Alibaba, до 5,9 ГБ. Это достаточно мало, чтобы поместиться на ПК и, возможно, на высококлассном смартфоне. Это сокращение памяти в 9-10 раз по сравнению с оригиналом.
PrismML была основана группой исследователей из Калифорнийского технологического института и возглавляется Хассиби, профессором Калифорнийского технологического института и экспертом в области технологий сжатия. Среди консультантов стартапа также Ион Стоика. Стоика является соучредителем Databricks (и других компаний) и директором знаменитой лаборатории Sky Computing Lab в Беркли, которая породила множество технологий и стартапов, от Letta до SGLang.
PrismML также поддерживается инвесторами Khosla Ventures, Cerberus Capital и Калифорнийским технологическим институтом.
Этот стартап, безусловно, не единственная компания, работающая над технологией сжатия LLM. Multiverse Computing, основанная известным профессором из Испанского центра физики Донаостии, — еще одна. (И Multiverse Computing привлекла огромные средства).
Но Хассиби говорит, что технология сжатия PrismML уникальна, поскольку ее LLM практически не потеряли производительности по сравнению с оригиналами. Bonsai 2 соответствует 98% совокупных результатов тестов Qwen. Это улучшение по сравнению с первым Bonsai, выпущенным пару месяцев назад в марте, который соответствовал 95%. По данным компании, эта оригинальная модель уже была загружена более 11 миллионов раз, а еще более компактные модели PrismML — еще 2,6 миллиона раз.
Таким образом, это показывает, что результаты сжатия PrismML улучшаются от выпуска к выпуску. Удастся ли когда-нибудь достичь 100% паритета производительности в тестах, покажет время. Хассиби говорит, что сжатие, вероятно, всегда будет иметь некоторое влияние.
Тем не менее, идеальный паритет в тестах — это довольно академический вопрос. LLM не настолько точны в своей несжатой форме, а тесты не настолько точно отражают реальные задачи, чтобы 2% деградации могли существенно повлиять на производительность модели в реальном использовании. (К тому же, окружающее программное обеспечение — оболочка, в которой работает модель — тоже играет большую роль в точности).
PrismML утверждает, что достигает этого за счет уменьшения «весов», из которых состоит модель — веса, по сути, являются информацией, которую модель изучает и хранит во время обучения. Обычно каждый вес требует 16 бит. Подход PrismML, называемый «тройными» весами, упрощает это до трех значений: +1, −1 или 0. Поскольку для каждого веса требуется хранить гораздо меньшие значения, модель занимает значительно меньше места. (Для более подробного изучения техники сжатия здесь находится страница проекта на Hugging Face).
Следующая цель стартапа — применить эту технику сжатия к еще большим моделям. «Следующие модели, которые мы выпустим, надеюсь, в ближайшие пару месяцев, будут в диапазоне нескольких сотен миллиардов параметров, и я ожидаю, что сохранить интеллект будет проще», — сказал Хассиби TechCrunch.
По мере роста размера модели, добавил он, «появляется больше возможностей для их сжатия без потери интеллекта. Так что я бы просто сказал, что в качестве общей тенденции для более крупных моделей легче достичь 100%».
Стоика говорит, что он в восторге от этой технологии, потому что она позволяет продвинутым моделям работать на устройствах пользователей. «Интеллект будет у вас под рукой, и он будет бесплатным, потому что он будет работать на устройстве, которое вы уже купили. Он также будет конфиденциальным, потому что вы не будете отправлять его в облако».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Julie Bort
