红帽曹衡康：云是混合的，AI也是

今天，人人都知道生成式AI的潜力，每个企业都希望自己能早日拥抱生成式AI。然而，真正让生成式AI在企业落地并不容易，这一路上“坑”不少。特别是当企业选择的是私有化部署模式，需要自己来选择大模型，自己训练，然后自己部署的时候，其中的挑战就更大。因为这远不是部署几台AI服务器、选择一个模型就能轻易搞定，还需要好用的AI开发平台，需要多种开发工具，技术门槛很高。

红帽的出场正是为了解决这个问题。从去年开始，红帽陆续在自己的产品中提供对AI应用开发和部署的支持，如OpenShift AI。在红帽今年的全球技术大会“红帽峰会”上，又推出了新的产品，如RHEL AI、InstructLab等，进一步强化了红帽在生成式AI市场的地位。

让大模型不再受限于平台

众所周知，红帽是开源世界的一面旗帜，也是做开源最成功的公司之一。在生成式AI领域，红帽一如既往地坚持开源原则。所有产品都是开源的、源于社区也会回归社区。

红帽全球副总裁、大中华区总裁曹衡康表示，和开源相比，闭源的一大好处是安全性。如果出了安全问题，整个社区会共同帮助你检查“问题出在哪里”，快速地、通过社区的方式解决问题，在AI领域也是一样的情况。

红帽在生成式AI领域的另一个原则是让AI在混合环境中落地。现有通用大模型动辄数十亿参数，比如GPT-4的参数规模就达到1.8亿，除非超级数据中心，否则根本支持不了如此规模的大模型。红帽希望把大模型变小、更轻量化，让它能在企业内部用不太多的资源运行起来。

“简单而言，红帽希望在一个比较简单的环境之中，能够把模型建起来。”曹衡康说。

有了这个较小的模型，下一步才能让这个模型在云中、在私有的数据中心、在边缘甚至在个人终端上运行，这就是红帽所说的“混合AI”的概念。

曹衡康解释说，在红帽看来，AI是适宜在混合云上运行的。这是基于三个原因：第一，资源利用，能够最大化资源化利用。第二，提高效率，AI能在本地运行可以大大降低时延。第三，解决了隐私和数据安全问题。大模型所用的很多数据是企业的敏感数据，放到云上存在一定的安全隐患。

提供端到端的AI落地路径

为了让大模型和基于大模型的生成式AI应用能在混合云环境中运行，而不受限于具体的位置，红帽在以下几个方面发力：

• AI应用层：提供跨开放混合云的AI赋能的企业应用；
• AI模型层：为AI模型提供多样化支持，提高AI创新的ROI；
• AI平台层：提供领先的AI平台，帮助企业安全高效地部署和管理AI模型和应用；
• AI基础设施层：为企业的AI模型和AI应用提供安全的可扩展基础设施和自动化。

红帽大中华区解决方案架构部高级总监王慧慧对如何利用红帽的这些产品来实现AI落地进行了解释。王慧慧介绍，应用开发人员或者模型开发人员要完成一个AI应用可以分为三个阶段：

第一步，在资源受限的桌面环境下，采用小数据集进行实验性训练，这可以借助InstructLab和Podman Desktop来完成。InstructLab是红帽联合IBM共同推出的一个开源社区，它可以帮助开发人员利用自己的数据来对开源的大模型进行训练，并把训练结果贡献到社区（当然也可以选择不回馈到社区）。InstructLab的一个重要驾驶是其中沉淀了一套成熟的方法论，这个方法论来自IBM和MIT的共同研究。它提供一套流程可以帮助企业来完成模型的训练，并以一个较低的成本完成模型的对齐。而Podman Desktop新增了一个扩展项Podman AI Lab，可以在笔记本上完成AI应用开发。

第二步，通过完整的合成数据生成技术，采用“教师”模型和“学生”模型的训练方法，进行生产级模型训练，并提供基本操作脚本化的工具支持。

在第一步中已经在小规模的开发和验证，就可以把这些推送到大的服务器集群上，这时可以借助红帽新推出的Red Hat Enterprise Linux AI，这是专门为AI应用定制的一个Linux版本，它的功能其实OpenShift AI也有，这也是红帽倡导的混合AI的关键。

第三步，如果在Red Hat Enterprise Linux AI环境中完成开发验证的AI应用，就可以部署在更大的分布式集群，这时就可以借助OpenShift AI来帮助完成，完成之后还可以进行运营和管理。

OpenShift AI是一个非常关键的组件，它几乎可以完成模型和AI应用开发和部署的所有工作。OpenShift AI其实是红帽早就有的产品，今年又进一步丰富了功能。它可以完成MLOps，也就是解决模型的创建、对齐和模型服务的监控。同时，它也可以完成模型的部署。

“尽管红帽已经进入生成式AI市场，但红帽始终坚守初心，即不涉足硬件制造，也不直接开发应用。然而，我们在硬件和应用之间搭建了一个坚实的基础架构、一个高效能的平台以及一系列实用的工具，以此促进与众多合作伙伴的紧密合作。”曹衡康表示，接下来，红帽将积极融入国内的AI生态，致力于加速AI技术在各个行业的应用和普及。