优化生成式与智能体AI成本的10个最佳实践

随着企业将AI计划推向规模化，开发、部署和运营生成式人工智能模型的成本会显著上升。向AI智能体的转变可能会因为架构不佳、运维成熟度有限以及治理薄弱而进一步增加成本。

IT领导者可以采用以下10个最佳实践来优化成本，从而实现更快的业务价值和运营效率：

1. 客观看待模型准确性、性能与成本的权衡

对于IT领导者来说，选择合适的模型需要在准确性、性能和成本之间取得平衡。必须客观地看待这三者之间的取舍。采用定制化的方法可以提供更好的性能并降低推理成本。

此外，大多数应用程序编程接口提供商对输入和输出的token分别收费，而有些则按字符数收费。将特定用例的定价模型标准化，可以实现针对性地比较。

最后，应进行长期的试点运行，以验证您的总拥有成本假设，并发现任何意外或隐藏成本。

2. 创建AI模型沙盒，促进安全性、模型选择和价格透明度

IT领导者启用安全实验的一个绝佳方法是创建一个AI沙盒。这可以作为一个模型目录，以自服务的方式提供可用的模型，同时由基本的安全和隐私原则作为支撑。

除了创建AI沙盒外，IT领导者还应为沙盒中可用的模型创建"模型卡片"，以便用户更清楚地了解如何以及在何处使用它们。还应通过报告工具确保模型成本对用户透明，这使他们能够在不损害准确性或性能的前提下，做出更具经济效益的选择。

3. 在模型增强和定制中平衡前期成本与运营成本

在定制生成式AI模型时，IT领导者必须平衡前期投资（如提示工程、检索增强生成和微调）与持续的推理成本。通过有效的上下文工程，或者通过指令微调或持续预训练在特定数据集上高效微调模型，可以优化运行成本。

为了平衡成本，IT领导者应按顺序考虑增强和定制：只有当更简单的方法无法满足所需的输出质量时，才转向更高级的方法。为了控制生成式AI的成本，可以整理上下文输入，确保每次推理仅使用必要的信息。

4. 权衡托管方式

对于寻求增强控制权和数据隐私的企业来说，在本地自托管生成式AI模型似乎很有吸引力。IT领导者必须意识到潜在的权衡，因为自托管的成本驱动因素清单非常广泛。

最被低估的成本是大规模运营生成式AI所需的专业人才。IT领导者在选择自托管生成式AI模型之前，必须考虑复杂性和成本影响。他们还需要评估组织在前期投资、持续维护和所需专业知识方面的能力。

5. 主动管理SaaS应用程序

SaaS供应商正以不一致的方式打包AI智能体，包括捆绑销售、强制升级、可选层级和附加组件。每种方式都给组织带来了不同的成本、采用风险和锁定风险。

IT领导者需要评估AI功能对生产力的真实影响，协商透明的成本归属，并避免在没有经过验证的投资回报率的情况下进行全企业范围的升级。在合作中，IT领导者应采用由用例驱动的升级策略，仅在可衡量的收益证明支出合理的工作角色或工作流中启用AI。同时，应建立严格的使用和访问治理机制，以防止消费蔓延和意外成本。此外，要求供应商提供透明的AI成本细分明细也很有帮助。

6. 协商新的智能体AI定价模型

随着AI智能体定价模型不断发展以更紧密地契合IT领导者对价值交付的期望，那些将投资锚定在明确业务价值上的领导者，将处于最佳位置以确保长期影响和可持续回报。

IT领导者可以通过向SaaS供应商争取灵活且可预测的定价模型来支持这一点。他们还可以支持受控的AI智能体试点，并跟踪每项任务的成本、节省的时间和成果。由此，建立内部基准，并在扩展之前就基于价值的定价指标达成一致。

7. 自动化模型选择、缓存和路由

模型之间的成本差异使得手动选择对IT领导者来说颇具挑战性，这使得自动化模型选择成为理想的解决方案。

一个名为AI网关的新兴工具类别可以帮助控制成本，通过执行策略来跟踪和管理对AI服务的访问，并提供缓存和模型路由等功能以降低成本。IT领导者应为不同任务选择不同的大语言模型创建系统化的决策流程，以降低成本同时实现所需的性能。这迈向自动化的第一步本身就可带来巨大的成本节省。此外，应使用AI网关作为成本优化和治理的控制平面，塑造整个企业中所有AI的使用方式。

8. 建立共享的RAG平台以防止重复建设

建立共享的RAG（检索增强生成）平台至关重要，因为它可以防止每个团队都构建自己的数据摄入、分块和嵌入管道，从而避免大规模的数据和基础设施重复以及其他问题。

IT领导者应建立统一的数据摄入和嵌入服务，部署受治理的共享向量存储，并公开标准化的API，以便团队可用于所有生成式AI应用和智能体。他们还应执行策略，防止团队级别的RAG泛滥，并持续监控检索质量和成本指标以进行随时间优化。

9. 教育用户如何经济高效地使用生成式AI

用户必须了解如何高效使用生成式AI，以避免浪费和不必要的成本。面对众多不同的应用程序、模型和平台选择，应教育用户掌握成本管理的最佳实践。

IT领导者应组织研讨会，让员工可以尝试LLM和AI智能体，并分析成功和失败的提示，以说明最佳实践和常见陷阱。

10. 持续分析可见和隐藏的成本

生成式AI平台投资有许多可见和隐藏的成本，需要在前期就加以考虑，以做出明智的决定，包括数据成本、人才成本以及应用程序设置和集成成本。IT领导者需要评估这些成本因素，并从一开始就将其纳入总拥有成本评估中。此外，IT领导者必须专注于缓解关键成本驱动因素。这些可变成本对总拥有成本有着巨大影响。

随着组织从试点阶段走向生产阶段，成本可能会迅速攀升。通过实施这10个最佳实践，IT领导者可以最大化其生成式AI投资回报并释放其全部潜力。