Апокалипсис будет сущим кошмаром по целому ряду возможных причин. Гигантские роботы-динозавры! Постоянно играющая музыка 1950-х из таинственным образом работающих радиоприемников! Возможность оказаться скотом в ужасающем подвале каннибалов и гадать, почему вы недостаточно внимательно читали «Дорогу». Но, очевидно, самой ужасной частью будет то, что больше не будет ChatGPT, который подскажет, что делать. Как жить без странного интернет-попугая, шепчущего сладкие глупости на ухо весь день??
Что ж, не бойтесь, потому что один отважный изобретатель уже предвидел катастрофу, которую принесет постапокалипсис без больших языковых моделей (LLM), и спланировал именно это событие. Встречайте: CrankGPT!
Из названия можно подумать, что это просто ChatGPT со встроенным набором промптов для антипрививочников, но нет! Это LLM для будущего без электросетей: автономный ящик без батарей, использующий старомодную ручку для выработки энергии. Внутри ящика находится Raspberry Pi 5 с 8 ГБ оперативной памяти, аудиокарта ввода/вывода и генератор на 20 Вт с ручным приводом.
CrankGPT — детище компании из двух человек SqueezLabs, чей веб-сайт описывает их миссию как «делать ИИ меньше, дешевле и быстрее, чтобы вы могли запускать его где угодно». О, счастливый день! Согласно веб-сайту устройства, генератор подключается к плате конденсаторов, разработанной самими авторами; плата обеспечивает стабильное напряжение, подаваемое на Raspberry Pi. Одна интересная особенность заключается в том, что «вы можете почувствовать [нагрузку] через рукоятку: когда одновременно работают вывод LLM и синтез речи, рукоятку становится намного труднее вращать».
Сама LLM может быть одной из нескольких альтернатив: SqueezLabs рекомендует «небольшие варианты Liquid AI LFM2 (например, 350M или 1.2B), а также Gemma 3 в форме 1B». Машина принимает голосовой ввод через свою аудиокарту, преобразует речь в текст с помощью специального голосового агента, написанного дизайнерами, а затем выводит ответ LLM через программное обеспечение для преобразования текста в речь Piper.
Если говорить серьезно, это интересный концепт для запуска требовательного программного обеспечения при относительно небольшом энергопотреблении, а также демонстрация того, что LLM не обязаны потреблять огромное количество энергии для функционирования. Как объясняют разработчики: «Наши европейские представления о маленьких практичных автомобилях были оскорблены, когда мы увидели, как люди вокруг нас тратят киловатты и тысячи токенов на задачи, с которыми маленькие модели справляются так же хорошо, как и огромные, но за долю стоимости и энергии».
К сожалению, при управлении со стороны Кремниевой долины, похоже, что философия «суперсайз-ми», характеризующая разработку LLM в настоящее время, никуда не денется в ближайшее время. Но когда упадут бомбы, последний смех будет за теми, кто придерживается концепции маленьких практичных автомобилей. Ну, пока не прибудет команда с шеями шире голов и AR-15. ChatGPT, что на ужин? … Вы, говорите? Ох.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tom Hawking
