TorchNeuron работает с PyTorch — бесплатным инструментом с открытым исходным кодом, который разработчики используют для создания, обучения и запуска моделей ИИ. По словам Amazon, он позволяет приложениям ИИ, написанным с использованием PyTorch, работать на Trainium, просто изменив одну строку конфигурации, без необходимости переписывать код.
Amazon утверждает, что около 85% приложений ИИ написаны с использованием PyTorch. Изначально его разработала компания Facebook, но с 2022 года он входит в состав Linux Foundation, которая занимается поддержкой проектов с открытым исходным кодом. Nvidia годами обеспечивала, чтобы ее программное обеспечение CUDA — инфраструктура, позволяющая приложениям работать на графических процессорах Nvidia и другом оборудовании компании — безупречно поддерживало приложения ИИ, написанные с использованием PyTorch. В результате оборудование Nvidia теперь глубоко интегрировано в этот инструментарий, фактически по умолчанию.
TorchNeuron адаптирован из PyTorch, поэтому разработчики, знакомые с PyTorch, уже знают, как им пользоваться. Amazon — не первая компания, пытающаяся легко перенести свои чипы на эту платформу. Пользователи PyTorch также могут портировать свои приложения на графические процессоры AMD или даже на чипы Apple с помощью простого изменения конфигурации.
Однако Amazon утверждает, что портирование на Trainium не только просто, но и дает стартапам в области ИИ доступ ко всему облаку Amazon. Неудивительно, что AWS заявляет, что это лучший выбор для стартапов, чем использование неооблаков, многие из которых связаны с Nvidia и ее оборудованием, такие как Coreweave, Nebius и Firmus.
«Вы строите на AWS. Вы не делаете ставку на поставщика вычислительных мощностей одного назначения и не пытаетесь создать все остальное вокруг него», — сообщил Колин Брейс, вице-президент по технологическому программному обеспечению AWS Annapurna Labs (подразделение, производящее собственные чипы Amazon), изданию TechCrunch по электронной почте. «На AWS, — продолжил он, — инфраструктура для перехода от прототипа к производству уже существует, что позволяет основателю быстро развиваться и масштабироваться, когда это необходимо».
AWS утверждает, что, поскольку один и тот же чип обрабатывает как обучение (обучение модели ИИ), так и инференс (использование готовой модели, например, при ответе на вопрос пользователя), и тесно интегрирован с облачной инфраструктурой, необходимой стартапам, их облако сэкономит им деньги, даже если AWS не предлагает самую низкую цену за токен.
«Ценность Trainium заключается в соотношении цены и производительности плюс тот факт, что это единая платформа для обучения и инференса, что улучшает экономику всего рабочего процесса», — сказал Брейс. «Посмотрите на Deepgram — они перешли на Trainium, используя нативную поддержку PyTorch, и они обрабатывают на 70% больше аудио за доллар при точности производственного уровня». Deepgram — поставщик приложений для голосового ИИ, конкурент ElevenLabs.
Но Amazon не собирается просто предлагать разработчикам приложений PyTorch легкий вариант перехода в свое облако.
Amazon также заявляет, что способствует тому, чтобы PyTorch меньше автоматически ориентировался на Nvidia, и внесет код для этого в основной проект PyTorch. В сообщении в блоге, анонсирующем новый инструмент, компания написала:
«Подход Amazon выходит за рамки собственного оборудования. Компания вносит изменения в сам PyTorch, работая с сообществом PyTorch над удалением кода, который привязывает фреймворк к конкретным чипам. Цель состоит в том, чтобы сделать PyTorch более аппаратным нейтральным для всего сообщества разработчиков, а не только для пользователей Trainium».
Хотя такая тактика, несомненно, хороша для тех, кто продает оборудование и облачные услуги, конкурирующие с Nvidia, одна из целей PyTorch — скрыть все досадные трудности, связанные с запуском кода ИИ на оборудовании. Нам предстоит увидеть, даст ли вытеснение Nvidia разработчикам больше выбора и более доступных вариантов, как обещает Amazon, или просто больше проблем с конфигурацией.
В любом случае, если Amazon добьется успеха в глубоком отделении PyTorch от Nvidia, это может иметь гораздо более серьезные последствия для гиганта GPU, чем просто конкуренция с производителями чипов. Как сказал Брейс: «Настоящая история заключается в устранении привязки, которая не давала разработчикам реального выбора».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Julie Bort
