AI应用为什么那么耗电？AI电力饥渴背后的硬物理与复杂经济学

数据中心——那些没有窗户、面目模糊、方方正正的建筑，平时很少有人留意——今年却成了关注焦点。数据中心建设的热潮，源于人们对人工智能的强烈兴趣，而这项技术需要前所未有的算力。惠誉集团（Fitch Group）估计，排名前五的超大规模云厂商今年将在数据中心建设上投入7500亿美元，其中四分之三专门用于AI。

数据中心在电力和水资源消耗以及相关环境影响方面的事实与惊人预测，确实难以反驳。2023年，数据中心消耗了美国全部电力的约4.4%，这一数字预计到2028年将增至三倍。到2030年，全球数据中心电力消耗将翻番，总量相当于日本全年的用电量。一些计算机科学家估计，到2035年，数据中心可能消耗全球高达20%的电力。

与对电力的渴求相对应，是同样贪婪的用水需求——用来防止一排排高密度服务器机架过热。一座大型数据中心每天可消耗多达500万加仑水，相当于一座5万人城市的用量。联合国估计，明年全球AI需求将消耗掉丹麦全年的用水量。

机制上的根本差异

为什么AI如此耗能？简而言之，因为AI处理的运行机制颠覆了传统软件与云计算的成本经济学。软件公司写好代码后托管在多租户服务器上，新增用户的边际成本几乎可以忽略不计。

生成式AI打破了这一模式，迫使科技行业应对热力学、材料极限与资源稀缺方面的新挑战。现代聊天机器人清爽的界面背后，是规模空前的物理基础设施：处理器、高速光纤网络、水冷塔和运行在物理极限上的电网，构成一个贪婪的组合。

“传统软件的边际成本非常低，因为计算主要发生在用户设备或更便宜的多租户基础设施上，”分布式PostgreSQL数据库厂商Yugabyte开发者关系副总裁Andrew Marshall表示，“而AI推理对每一次交互都要付出真实的计算成本。”

这意味着AI恐怕永远无法接近传统软件那种可扩展的经济性。“传统软件为多达数百万用户运行同一条代码路径，”Marshall说，“而AI应用为每一个用户运行不同的计算。这正是它值得付费的原因，也正是它击穿了缓存与代码复用——而后者本是软件利润率的来源。”

根据国际能源署的数据，向ChatGPT之类AI助手提交单次查询所耗电力，最多是传统谷歌搜索的10倍。用生成式AI模型生成一段5秒视频，耗电量相当于让家用微波炉连续运转一个多小时。

AI目前还在承受杰文斯悖论的影响——这是19世纪经济学家威廉·斯坦利·杰文斯首次观察到的一种令人清醒的现象：即使处理效率提高，需求增长也会达到使总用量超过单位节省的程度，从而推高整体消耗。

超大规模云厂商、新兴云服务商和数十家初创公司都在设法降低AI处理的能耗强度，但“需求仍在飞涨，要求越来越多容量，”正在构建智能缓存编排引擎的Lightbits Labs AI产品与业务高级副总裁Ramesh Chettuvetty表示。尽管Lightbits Labs称其技术可将现有GPU的容量提升至多16倍，但他坦言“这对GPU总容量不会有任何影响。眼下根本不可能满足需求。”

AI还太新，需求预测充其量只是有依据的猜测。尽管模型提供商在过去两年大幅削减Token成本，AI项目仍是高度不可预测的运营支出，而非固定的资本资产。Gartner预测，到2028年至少一半的生成式AI项目将超出预算。

所有这些都引出一个问题：AI为何如此昂贵，技术创新能否推动其相对于传统软件进一步下行至更低的价格性能曲线？简短的回答是：不太可能。

GPU税

AI成本危机的根源，在于执行高性能计算所需的物理硬件。传统软件运行在通用CPU上，而生成式AI模型几乎完全依赖专用并行处理器——主要是GPU，或谷歌的TPU——以更高效地运行AI负载。这种专用化造成了严重的供应链约束，把AI基础设施从软件工程挑战变成了资本高度密集的硬件采购竞赛。

GPU的高成本源于两个相互关联的因素：半导体制造成本与内存的物理极限。高性能芯片在进入服务器机架之前，需要经过数百道工序和专用资源。例如，处理AI负载的芯片必须用“超纯水”冲洗掉制造过程中产生的微观硅残留。单座半导体晶圆厂每天可消耗多达1000万加仑超纯水。由于生产1加仑超纯水大约需要1.5加仑自来水，一座典型芯片工厂每天要从市政取水1500万加仑，相当于约3.3万户家庭的用量。

接下来是“内存墙”。大语言模型不只是处理一次查询，它必须把整个权重矩阵——由数千亿参数构成——加载到本地内存中。为应对这些操作所需的极高数据传输速率，硬件厂商必须部署专用且昂贵的高带宽内存，通过垂直堆叠内存芯片来加快数据传输。

这引发了残酷的全球资源挤压。据《大西洋月刊》报道，AI公司目前买下了全球约70%的高端计算机内存供应，导致其他领域严重短缺。消费级计算机内存和硬盘存储价格随之飙升，部分笔记本电脑的成本上涨了多达50%。

尽管这些硬件集群成本高得惊人——单块高端GPU可能要数万美元——但硬件在实际生产中的效率却低得令人意外。GPU集群的平均利用率往往只有10%到12%。

这是内存饥饿的直接后果。由于GPU计算数据的速度远快于内存架构的供给速度，处理器有大量活跃时钟周期都在等待内存读取。

为弥补这一点，运营方常常超额配置容量，在堆栈的每一层都预留集群，以确保能应对突发的、不可预测的流量高峰。结果是一种失衡的成本结构：运营方为持续满功率的硬件容量支付全价，却只用到其中很小一部分。

“AI之所以昂贵，是因为你在每一层都预留容量，却只用了一小部分，”Yugabyte的Marshall说，“需求是尖峰式的，没人愿意成为那个被耗尽的层。”

Lightbits Labs的AI架构总监Arthur Rasmusson回忆曾与一家大语言模型提供商合作，其耗资10亿美元的集群大部分时间只以10%的利用率运行，以应对偶发的流量激增。“你可能会被震惊到，”他如此形容典型的利用率水平。

训练与推理

模型训练是AI生命周期中资源最密集的阶段，但从长期看，它并不是电力和用水的最大消耗方。训练是把海量数据集输入神经网络以调整其数百亿参数，这一过程需要数千块高端处理器满负荷运行数月。

训练的电力需求惊人。《经济学人》报道称，Meta的Llama 3.1模型训练需要27.5吉瓦时电能，足够为7500个美国家庭供电一年。

但训练是一次性固定资产投入，可以在未来数百万次交易中摊销。推理——即处理实时负载——才是大得多的开支。据《经济学人》报道，杰富瑞分析师Brent Thill估计，推理占AI数据中心能耗的96%。

这一成本是现代深度学习两项架构局限的直接结果：平方级复杂度与自回归执行循环。

传统软件之所以资源高效，是因为它通常呈对数级或线性扩展。也就是说，随着输入规模增长，处理所需的计算时间增长缓慢。

而大语言模型是平方级扩展的，它必须计算提示词中每一个词或Token与其他所有词之间的数学关系。因此输入文档规模翻倍，所需内存和计算量就翻四倍。

自回归进一步放大了这种扩展代价。所谓自回归，是模型用自身过往输出作为输入来预测序列中下一个数据点的技术。由于计算机无法像人类那样推理，自回归通过概率来模拟思维过程，从而弥补这一点。

人类可以在脑中构思出完整的句子，但大语言模型必须让神经网络完整跑一遍，才能预测出下一个Token或数据块。输出会被追加到此前文本之后，整个拼接后的字符串再被送回模型预测下一个Token。它假设未来会延续过去的模式。

这意味着，要生成一段1000个Token的回复，GPU必须把其数百亿参数在数学循环中跑上1000遍。每一次交互都是资源密集的计算，无法被轻易缓存或绕过。结果是，长对话、文档摘要或多轮软件开发任务会迅速变得极其耗费算力。

降低成本和功耗最简单的办法，是让AI模型少做一点。给模型灌入数百万个数据点，本质上是在把GPU容量浪费在桌面电脑就能完成的计算上。

“一个模型能够消化数十万甚至数百万Token，并不意味着它就应该这么做，”面向资本市场开发AI推理系统的Opetek创始人兼CEO Varqa Abyaneh表示。

他说，大语言模型擅长理解含糊的问题、拆解复杂问题、选择分析方法；而传统计算机擅长在数百万数据点上执行计算，且成本低得多。

Opetek名为Arius的AI推理系统，把模型需要的数据与可以在Python程序或Excel中更廉价处理的数据区分开来。这一方法在某些金融场景中带来了超过90%的成本削减。

Abyaneh表示，该方法可用于任何数据密集型场景。“目标不应是最小化推理，”他说，“而应该是把推理花在能创造价值的地方。”

智能体前沿

随着AI从由人驱动的简单聊天界面转向自主智能体工作流，AI推理在财务和物理层面的需求被进一步放大。与等待提示词的聊天机器人不同，AI智能体可以独立运行，执行多步骤业务流程、调用工具，并与其他软件直接交互。

这造成可变Token数量急剧膨胀。人类用户受制于自身的阅读和打字速度，而机器对机器的智能体循环可以在几秒内完成数千次交易。Anthropic估计，多智能体系统消耗的Token约是单轮人类聊天会话的15倍。IDC预测，到2029年全球活跃部署的AI智能体数量将超过10亿个，约为去年的40倍。

智能体之所以如此贪婪，是因为它们实际上并不“思考”，而是反复在同样的数据上循环。“如果一个工程助手被派去修复应用缺陷，它会运行一次构建、遇到失败，然后调用本地工具去排查，”CloudZone的FinOps团队负责人Avichay Har-Tuv在一篇文章中写道。

“为了做出判断，它会拉取数千行冗长的容器日志、深层JSON结构载荷和反复相同的数据库Schema，把整个数据块搬回云端大模型的上下文窗口，”他写道，“如果第一次修复失败，智能体就会重复这个循环。”

每一次循环，智能体都会把同样的数据库Schema和元数据通过跨境网络重新传送到远程端点。“这些多轮会话中传输的绝大多数数据，并不是高价值的逻辑代码或知识产权，而是基础设施噪声，”Har-Tuv写道。

Token浪费

在YouTube频道Computerphile的一期视频教程中，诺丁汉大学计算机科学副教授Michael Pound演示了这种“Token浪费”如何能在几分钟内、为一个简单的缺陷修复消耗掉6万到10万个Token。尽管每个Token的成本只是几分之一美分，但跨数百个任务累计，成本与电力需求会迅速膨胀。

“智能体很容易在你根本没要求的情况下空转大量周期，”IDC云与数据中心基础设施集团副总裁Dave McCarthy说，“现在并没有多少‘断路器’。”

人类自身的低效也无助于事。AI太新，很少有组织已经重构好让模型以峰值效率运行所需的数据和流程。Gartner表示，它预测的预算超支，很大程度上将源于架构设计不佳、缺乏运营管控等根本性缺陷。

“如果一个AI系统不知道某个字段是什么意思、哪个指标才是权威、数据来自哪里、是否可信，它就只能在运行过程中自己去搞清楚，”打造数据上下文平台的The Modern Data Company联合创始人兼CTO Animesh Kumar说，“重试、不必要的上下文，以及用强大的模型去处理相对简单的任务，都会增加计算量。”

销售开源PostgreSQL数据库管理系统商业版本的EnterpriseDB首席营销官Michael Gale表示，碎片化的数据源会带来额外开销——它要求AI模型从多个数据库拉取信息，增加重复劳动并消耗Token。

Gale把数据库管理系统比作冰箱：平时只是偶尔开合。而AI基本上是持续不断地打开冰箱，每次都在耗电。

“在AI世界里，你得每天整整八万六千秒都在拉取数据，”他说。他估计，通过将数据向量化、让多个顺序操作并行执行，企业可以把推理成本降低10%。“如果你能在数据层解决能耗问题，就能获得更大的灵活性去处理更重要的东西，”他说。

缓解之道

数据中心运营方和模型开发者都清楚，当前这种蛮力式的AI扩展方式在经济和环境上都无法持续。业界正在开展大量努力，力图在不牺牲准确性或性能的前提下降低电力需求。

短期内最有前景的是量化。在标准机器学习中，模型参数以高精度的32位浮点数存储。量化把这些权重压缩到最低4位。缩小每个参数的体积，可将模型的内存占用缩减80%以上，让网络能在更便宜的硬件上运行，而输出质量没有明显下降。

在架构层面，混合专家（MoE）设计在某些情况下带来了可观的运营节省。MoE模型不是对每次查询都激活一个庞大而单一的神经网络，而是把参数划分为专门的子网络或“专家”。当用户提交查询时，路由算法判断哪位专家最适合该任务，只激活那条特定通路。

例如，如果用户提出一个编程问题，只有编程相关的专家被点亮，网络的大部分保持休眠。谷歌研究人员估计，MoE可以把计算量和数据传输量降低10到100倍。

模型蒸馏则是用一个庞大、高性能的模型作为“教师”，去训练一个高效、紧凑的“学生”模型，以极低的成本执行特定任务。学生模型学习匹配教师细致的概率分布模式，而非处理原始数据标签，从而习得大模型更深层的推理与细微差别。

微软研究员Alexia Jolicoeur-Martineau开创了微型递归模型，在生物学和电气工程等复杂逻辑任务上取得了成功。她的工作表明，高度结构化的小规模架构可以在没有巨型基础模型开销的情况下解决定义明确的问题。

“并非每个企业任务都需要最大或最强的模型，”The Modern Data Company的Kumar说，“让模型与任务相匹配，可以让更小或更专用的模型以更低成本承担大量工作。”GPU之王英伟达估计，当前大语言模型查询中多达70%可以由小语言模型（SLM）处理，而性能没有明显下降。

IDC的McCarthy表示，AI太新，意味着各组织还在艰难摸索如何高效使用这项技术，并在过程中浪费资源。“每一次新技术浪潮，我们都会看到人们把所有家当都堆上去，”他说，“你并不总是需要最新最强的GPU或模型。但企业缺乏可参考的历史经验。”

一些能带来最大效率收益的技术其实早已被充分理解。检索增强生成（RAG）通过提供上下文相关信息来减少不必要的步骤；持久记忆让智能体复用此前的工作成果，而不是从零重建上下文。这两项都是经过实践检验、能削减处理开销的技术。“最大的效率收益来自于消除重复检索和重复推理，同时不削弱所提供上下文的质量，”Yugabyte的Marshall说。

上下文优化层同样展现出前景。基于提示词常含大量冗余信息的假设，内容优化技术会在数据抵达大语言模型之前就进行拦截和精简。开源项目Project Headroom在本地预处理重型载荷，剥离语法样板、隔离日志文件，并用轻量级加密哈希替代长文本流，可在不影响准确性的情况下把Token消耗降低多达95%。

选择合适的模型也能显著影响成本与功耗。“答案不是少用AI，而是更聪明地决定在哪里用它，为每个用例匹配正确的模型，并设计高效的上下文管理和数据处理架构，”OutSystems产品管理高级总监Gonçalo Borrêga说，“灵活性至关重要。如果半年后另一个模型能以更低成本完成同样的工作，企业应该能够切换，而不必重建整套系统。”

用户还应该把投资回报率纳入考量。“关键在于价值增长是否快于成本，”Borrêga说，“如果一个智能体能把两小时的流程压缩到三分钟，那么为推理付费依然能带来可观的回报。”

下一代基础设施

尽管软件优化有帮助，但要实现更高的效率，更多取决于对物理基础设施和计算硬件的彻底改造。其中有前景的方向包括专用芯片架构、预测性内存管理、碳感知的电网调度，以及先进的热力学工程。

一项重要的硬件举措，是把处理从通用GPU转向专用的ASIC和TPU。谷歌十多年来一直在协同设计自己的TPU，它称其Ironwood定制推理芯片的能效比最早期的型号高30倍。

科技巨头也在把数据中心机队转向直接液冷和浸没式液冷系统——后者把服务器完全浸入不导电的合成油中，这种油导热但不导电。

众多初创公司正在重新思考软件与硬件的交互方式，以消除处理瓶颈。成立两年的初创公司Mindbeam AI最近发布了一个开源推理框架，称其可以在普通消费级CPU上运行大语言模型，对某些负载完全绕开GPU瓶颈。

Mindbeam的方法把神经网络权重限制为仅三个取值，从而消除了吞噬处理周期的复杂浮点乘法运算。该公司称，其方法让CPU吞吐量提升17到96倍，同时大幅削减内存消耗。

Lightbits Labs、ScaleFlux和FarmGPU正在合作开发一种架构，以缓解GPU内存有限导致的AI推理瓶颈。LightInferra软件在NVMe存储和受管的GPU推理基础设施之间存储并复用键值缓存数据，预测何时需要数据并将其移近处理器。Lightbits称，它可以在现有GPU上把推理请求量提高两倍，同时把功耗和基础设施成本削减65%。

Lightbits Labs的Inferra是一种“预测性预取”算法，通过分析上游和下游信号来预测处理器下一步需要什么数据，只在需要时流式传输细粒度的内存块。该公司已于9月9日发布Inferra，称其可以把GPU利用率从平均10%到12%提升到75%以上，同时在现有GPU基础设施上支持16倍以上的并发推理会话。

Groq已融资6.5亿美元，用于一种名为语言处理单元（LPU）的芯片设计，通过绕开GPU瓶颈来加速AI推理，实现极高的Token生成速度。SambaNova已筹得10亿美元，打造一款据称能把GPU处理速度提升至多5倍的推理芯片。

Cerebras Systems希望凭借晶圆级架构从英伟达手中抢走部分市场份额。该架构把模型权重保留在片上内存中，从而绕开拖慢常规GPU的内存约束。该公司称其方法可以把吞吐量提升500%。

尽管各方都在努力取代GPU，但“它们仍保有重要优势，因为其软件生态成熟、灵活，且能支持快速变化的模型，”Gartner杰出副总裁分析师Arun Chandrasekaran说。

AI巨头也在从静态用电转向碳感知计算。英伟达称，其最新的Vera Rubin平台通过压缩AI模型计算出的数值——用来决定生成回复时每个词或Token与其他Token的关联强度——大幅降低了GPU功耗需求，从而最大限度减少不必要的计算和数据搬运。其DSX MaxLPS框架可动态协调各机架与各负载之间的功率上限，使数据中心运营方能在同样的电力预算内多运行40%的GPU。

再比如谷歌的碳智能计算管理系统，它会自动分析日前碳强度预测，并生成调度方案，在电网压力高峰时段限制可供弹性后台负载使用的计算资源。

前路

尽管这些举措前景可观，但它们最终可能仍会搁浅在杰文斯悖论的浅滩上。在最近的财报中，英伟达指出其增长受制于供应，这表明当前需求几乎是无止境的。

Gartner的Chandrasekaran表示，“更好的推理效率和硬件改进”可以抵消部分电力需求增长，但“即便每次提示或每个任务消耗的成本和能源持续下降，总体结果很可能仍是AI算力需求更多”。

AI处理的复杂性也拒绝简单的解决方案。一个例子是DeepSeek V3在2024年底的发布。它最初被誉为环境与财务上的突破，因为算法优化让该模型最后一次训练运行的速度比同类模型快十倍，功耗和推理成本也相应下降。

但据《经济学人》指出，任何潜在的节能效果都立即被DeepSeek R1这类“推理”模型的推出所吞没。由于这些模型采用一种称为“类型二思考”的系统性方法——拆解问题、测试多种路径、在敲定答案前验证工作——它们每次查询所需的处理时间显著增加。V3的效率收益很快被R1延长的思考时间吃掉。

智能体也有类似效应。由于其能够搜索网络、编写代码并执行多步任务，单次请求消耗的能源比一次简单聊天查询高出若干个数量级。现有的测量框架尚未把空转机器开销、数据中心冷却和网络传输的影响计算在内。

这意味着，AI的经济与环境成本恐怕无法在堆栈的任何单一层面得到解决。提高效率需要一种协调一致的全栈方法，把硬件设计、软件优化、数据管理和能源供应串联起来。唯有如此，行业才能从过去的蛮力扩展，转向高效、可持续的公用事业模式。

“摆在我们面前的问题是，‘当我们扩大AI使用规模时，能否让AI的边际成本保持足够低？’”Chandrasekaran说，“我们还没有解决这个问题。”