Список возможностей взломанной PS5 пополнился: пользователь Reddit u/AdIllustrious7246 опубликовал свою версию PS5LM, порта llama.cpp на PS5 для локального запуска ИИ LLM, с существенным улучшением. Теперь PS5LM работает нативно на PS5 и использует GPU для запуска более крупных ИИ-моделей, таких как Qwen3.8-27B, со скоростью 20 токенов в секунду.
14 дней назад пользователь GitHub cobanov разместил на Reddit неофициальный порт llama.cpp для PS5, позволяющий взломанным консолям локально и офлайн запускать ИИ-чат-модели. Версия cobanov, по словам u/AdIllustrious7246, работает как пейлоад на CPU, ограничивая доступ к 6 ГБ памяти. Запуск в виде пейлоада фактически означает перехват управления CPU, внедрение LLM в его инструкции наряду с домашним экраном и системными службами. Однако доступ к ОЗУ ограничен примерно 6,25 ГБ, так как использование большего объема приведет к зависанию домашнего экрана. cobanov сделал это, чтобы как можно скорее запустить llama.cpp, но в конечном итоге хотел задействовать GPU для запуска более крупных моделей. Похоже, u/AdIllustrious7246 опередил его своей версией.
u/AdIllustrious7246 использовал PS5_Vulkan — порт графического драйвера RADV, который позволяет отправлять инструкции на GPU PS5. Обычно GPU PS5 заблокирован и недоступен, как GPU ПК, несмотря на то, что это GPU от AMD. PS5_Vulkan — один из проектов, сделавших возможными множество хоумбрю-проектов, открыв возможности использования GPU, включая запуск LLM.
Теперь, когда llama.cpp работает нативно на PS5, полностью используя GPU и открывая доступ к большему объему ОЗУ, u/AdIllustrious7246 смог запустить модель с 27 миллиардами параметров со скоростью 20 токенов в секунду, а более мелкие модели, такие как Gemma 4 E4B и Llama 3.2 3B, — со скоростью 61 и 124 токенов в секунду соответственно. Ранее большая LLM объемом 6,8 ГБ приводила к зависанию и сбоям системы из-за узкого места в CPU, но GPU гораздо лучше справляются с обработкой LLM, поэтому цены на GPU и ОЗУ в наши дни заоблачные.
Запуск на GPU обеспечил гораздо более быструю генерацию токенов, а нативное исполнение позволило использовать больше ОЗУ — до 11,4 ГБ, по словам u/AdIllustrious7246. Разработчик не только запустил приложение нативно, но и добавил панель управления, отображающую полезные данные, такие как генерация токенов в секунду в реальном времени, использование GPU и CPU, энергопотребление, температуры и распределение памяти между моделью и KV-кэшем. Он также обеспечил совместимость с веб-интерфейсом llama.cpp, позволяя пользователям общаться с LLM с других локальных устройств через браузер.
Хотя это впечатляющее достижение, позволяющее PS5 работать как ИИ-ассистент, когда она не используется для игр, комментаторы вспоминают кризис с GPU для майнинга криптовалют. Однако это маловероятно, поскольку мы уже переживаем кризис GPU и ОЗУ из-за потребностей крупных ИИ-дата-центров, а PS5 не обладает самым быстрым GPU или большим объемом ОЗУ.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jhet Borja
