今年，AI计算领域悄然发生了一次反转，而这种反转改变了基础设施建设的真正目的。

2023年，AI计算中三分之二的算力用于训练，即构建模型的实际工作。另一小部分用于推理，即模型构建完成后实际运行的工作。但这一比例开始悄然反转。
根据德勤的数据，推理目前占三分之二，且仍在攀升，而用于运行推理的芯片今年已突破$50B 。
这一反转之所以重要（且并非百分比原因），在于训练和推理是两种截然不同的工作负载。训练是爆发式的，在一个巨型集群上完成，然后结束。推理从不停止。每次有人发送提示词或代理采取步骤时，推理都在运行，并且随着你增加的用户数量而扩展。一个是建设项目，另一个是永远增长的费用账单。
关于AI基础设施的所有假设都围绕训练展开，因为资金曾流向那里。然而，资金现在正转向不需要位于单一集群中运行的工作负载。