AWS因AI代理负载增长限制内部CPU使用

亚马逊云科技（AWS）正在加强对内部计算资源使用的控制。5月，公司与工程师召开会议，要求减少EC2实例上的“浪费性”CPU消耗。目标是在AI技术推动处理器需求激增的背景下，确保为客户提供足够的计算能力。

此前，AWS工程师能够快速部署开发用虚拟机，但现在他们需要等待数天才能访问资源。变化的原因是AI代理所需的计算能力远超传统工作负载。例如，一个用于编码的代理超出预算860%，花费了180万美元用于令牌。

CPU需求增长如此之快，以至于数据中心的GPU与CPU比例接近1:1。英特尔和AMD等公司正积极扩展其AI基础设施处理器产品线。AMD最近推出了用于服务器的Zen 6“Venice”，而英伟达则在推广其基于Arm架构的Vera CPU。

尽管存在短缺，问题主要影响现货实例，而合同计算能力仍然可用。AWS继续使用AMD、英特尔及自研的Graviton5芯片以满足市场不断增长的需求。