Amazon Web Services ужесточает контроль за внутренним использованием инстансов EC2 среди своих инженеров. В мае компания, как сообщается, провела встречу с инженерами и потребовала сократить потери CPU, чтобы обеспечить достаточную мощность процессоров для удовлетворения спроса клиентов, сообщает The Information. Это заявление прозвучало на фоне резкого роста спроса на CPU в дата-центрах, где традиционное соотношение GPU к CPU 8:1 или 4:1 смещается к паритету.
Инстансы EC2 составляют значительную часть современного интернета и используются также в частных развертываниях. Раньше инженеры AWS могли свободно создавать собственные инстансы для разработки, используя относительно низкую загрузку CPU, необходимую для веб-инфраструктуры, чтобы задействовать больше виртуальных машин. Теперь инженеры сообщают, что ждут доступа днями, тогда как раньше получали его за часы. Один из инженеров рассказал The Information, что за несколько лет работы в Amazon никогда не сталкивался с таким долгим ожиданием инстанса.
Amazon использует в инстансах EC2 несколько типов CPU, включая варианты от AMD и Intel, а также свой относительно новый чип Graviton5. Graviton5 — самый мощный CPU Amazon на сегодняшний день, построенный на Arm-архитектуре, аналогичной CPU Nvidia Vera и собственному AGI от Arm.
Рост спроса на CPU обусловлен появлением AI-агентов — новой парадигмы производительности, с которой даже такие крупные компании, как Amazon, с трудом справляются. В прошлом месяце, например, один кодинг-агент «сжег» 1,8 миллиона долларов на токены в Amazon, превысив бюджет разработки на 860%.
Большая часть текущей AI-инфраструктуры спроектирована под инференс — нагрузку, ускоряемую GPU. При соотношении 4:1 CPU служил лишь для «подпитки» GPU и не более. Однако агентные нагрузки гораздо сложнее. Они часто включают вызовы инструментов, выполняемые на CPU, а также более сложную оркестровку инференса на GPU. Именно это вывело CPU на первый план в эпоху агентов. Intel, AMD и другие компании подтверждают то, что мы слышали от производителей памяти и систем хранения в последние месяцы: спрос на CPU настолько высок, что большинство компаний готовы брать любые доступные модели.
Крупные игроки пользуются этим спросом. AMD недавно представила портфель CPU Zen 6 «Venice» для дата-центров, впервые за десятилетия выпустив новую архитектуру для дата-центров раньше, чем для клиентского рынка. Nvidia также сменила риторику с ускорителей на свой новый CPU Vera, стремясь закрепиться на растущем рынке агентной AI-инфраструктуры.
Хотя Amazon борется с нехваткой CPU как среди своих инженеров, так и для внешних клиентов, The Information сообщает, что дефицит в основном затрагивает spot-инстансы. Один консультант рассказал изданию, что контрактные мощности дефицита не испытывают.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jake Roach
