红帽通过RHEL AI推动开源生成式AI创新的普及
作者: CBINEWS
责任编辑: 邹大斌
来源: 电脑商情在线
时间: 2024-05-13 11:38
红帽公司日前宣布推出红帽企业Linux AI(RHEL AI)。这是一个基础模型平台,能够使用户更加便捷地开发、测试和部署生成式人工智能(GenAI)模型。RHEL AI整合了IBM研究院的开源授权Granite大型语言模型(LLM)系列、基于大规模对话机器人对齐(LAB)方法的InstructLab模型对齐工具,以及通过InstructLab项目实施的社区驱动模型开发方法。该解决方案被封装成一个优化的、可启动的RHEL镜像,用于在混合云环境中部署单个服务器,并已集成到OpenShift AI中。OpenShift AI是红帽的混合机器学习运营(MLOps)平台,能够在分布式集群环境中大规模运行模型和InstructLab。
ChatGPT的推出极大地激发了社会对生成式AI的兴趣,自那以来,相关创新的步伐不断加速。企业已从对生成式AI服务的初步评估转向开发并启用AI的应用程序。一个快速成长的开放模型生态系统进一步促进了AI的创新,并说明了不会有一个独占鳌头的模型。客户将受益于多样化的选择,从而满足其特定需求,这一过程还将通过开放创新的方式得到加速推进。
实施AI策略远不止选择一个模型那么简单。企业需要专业知识来为特定场景调整适当的模型,并且还必须处理AI实施过程中的显著成本难题。数据科学技能的稀缺性,加之以下几个方面的财务需求,使得情况更为复杂:
- 购置AI基础设施或使用AI服务
- 针对特定商业需求调整AI模型的复杂流程
- 将AI融入企业应用
- 管理应用程序及其模型的生命周期
为了真正降低进入AI创新的门槛,企业需要扩大参与AI项目的人员范围,同时控制相关成本。通过使用InstructLab对齐工具、Granite模型和RHEL AI,红帽致力于将自由获取、重复利用、透明开放以及鼓励贡献等开源项目的优势应用于生成式AI。
通过InstructLab在开放环境中构建AI
IBM研究院开发了大规模对话机器人对齐(LAB)技术,这是一种利用分类指导合成数据生成和创新的多阶段调整框架的模型对齐方法。此方法通过减少对昂贵人工注释和专有模型的依赖,使AI模型的开发变得更加开放和易于接触。采用LAB方法,可以通过指定分类下的技能和知识,大规模生成影响模型的合成数据,并利用这些数据训练模型。
在意识到LAB方法能显著提升模型性能后,IBM和红帽决定推出InstructLab,这是一个围绕LAB方法和IBM开源Granite模型构建的开源社区。InstructLab项目的目标是使开发者通过简化LLM的创建、构建和贡献过程,像参与任何其他开源项目一样,将LLM开发的权力交到开发者手中。
在InstructLab的启动过程中,IBM还公开发布了一系列精选的Granite英语和编程模型。这些模型在Apache许可证下发布,确保了对训练模型所用数据集的透明度。Granite 7B英语模型已整合到InstructLab社区,最终用户可以像对其他任何开源项目那样,共同贡献技能和知识,从而提升该模型。对于Granite编程模型,InstructLab将很快提供类似的支持。
在可信赖的Linux基础上进行开源AI创新
RHEL AI沿用这种开放式AI创新方法,融合了企业级就绪的InstructLab项目和Granite语言与代码模型,及全球领先的企业级Linux平台,简化了混合基础设施环境中的部署。这样构建了一个基础模型平台,使开源许可的生成式AI模型能够被企业所使用。RHEL AI包括:
- 红帽支持和保障的开源许可Granite语言和代码模型。
- 提供支持并具有生命周期管理的InstructLab分发版本,这是一种可扩展且成本效益高的解决方案,能够增强大型语言模型(LLM)的功能,并使知识与技能的贡献得到更广泛的用户接纳。
- 通过RHEL镜像方式提供的优化可启动模型运行实例,包括Granite模型和InstructLab工具包,及优化的Pytorch运行时库和针对AMD Instinct™ MI300X、Intel和NVIDIA GPU以及NeMo框架的加速器。
- 红帽提供的完整企业支持和生命周期保证,从可信的企业产品分发开始,提供24小时全天候生产支持和扩展的生命周期支持。
随着各组织在RHEL AI上试验和调整新AI模型,他们可以通过红帽OpenShift AI来扩展这些工作流,OpenShift AI将包含RHEL AI,并利用OpenShift的Kubernetes引擎在大规模训练和部署AI模型,以及OpenShift AI的集成MLOps能力来管理模型的生命周期。IBM的watsonx.ai企业工作室建立在红帽OpenShift AI上,RHEL AI一旦在OpenShift AI中可用,将带来额外的企业AI开发、数据管理、模型治理和性价比改进的能力。
云是混合的,AI亦如此
过去三十多年,开源技术不仅推动了快速创新,还大幅降低了IT成本并降低了创新门槛。从21世纪初通过RHEL提供开放式企业Linux平台,到通过红帽OpenShift推动容器和Kubernetes成为开放式混合云和云原生计算的基础,红帽几乎一直引领着这一潮流。
红帽在开放混合云中赋能人工智能/机器学习战略,支持人工智能工作负载在数据所在的地方运行,无论是在数据中心、多个公有云或边缘。除了支持工作负载外,红帽的人工智能愿景还将模型训练和调整引向同一方向,以更好地应对数据主权、合规和操作完整性等方面的限制。红帽的平台为这些工作负载提供跨环境的一致性,无论它们在何处运行,这对于顺利推进人工智能创新至关重要。
RHEL AI和InstructLab社区进一步落实了这一愿景,消除了试验和构建AI模型的多个障碍,提供了推动下一代智能工作负载所需的工具、数据和概念。
