强强联手解锁算力密码，赋能企业加速业务创新

如果要选出2023年最受关注的IT技术，那一定非AI莫属。ChatGPT出人意料的暴火在全球引发了AI产业化的热潮，很多企业都希望能尽早搭乘AI这股东风，去开辟一片属于自己的新蓝海。

那么，企业到底该如何面向最新的AI技术设计基础架构平台？如何更加精细化进行AI算力的管理和调配？如何提升AI算力的有效利用率？如何加速AI应用的开发与工程化部署？

针对企业关注的上述问题，9月26日，戴尔科技集团携手VMware技术专家举办了以"解锁算力密码，加速业务创新"为主题的线上研讨会，分享了最新的AI GPU加速计算技术，构建高性能、易扩展的AI计算集群的方式，在虚拟化和云原生平台上部署企业级AI应用的解决方案以及最佳实践。

戴尔科技集团如何帮助企业构建AI基础架构平台

戴尔科技集团企业技术架构师、全球CTO大使吴跃介绍，在过去的几年中，戴尔科技集团一直在持续观察和研究AI基础架构技术发展和AI行业应用落地，并进行了很多AI应用落地的探索和实践，如基于AI语言模型打造的知识管理与信息检索平台，在Dell产品组合中内置自动化智能和AI技术，先后设计和推广光伏组件电致发光AI缺陷检测系统、竞技体育AI实时视频姿态检测系统、零售商超AI商品识别与货损防控系统、智慧港口AI智能龙门吊系统等AI解决方案。

但无论是哪种AI应用，其背后都离不开AI算力与AI基础架构平台的支持。吴跃做了一个形象的比喻：如果将AI计算系统看成一辆汽车，那么AI计算芯片就是汽车的发动机，网络、存储、资源调配、数据中心的基础设施、集群部署与优化，就类似于汽车的传动系统、油箱、方向盘、底盘和整车装配。如果没有从系统化的角度进行设计，只要有一处资源不匹配，就可能成为系统的瓶颈。

吴跃介绍，面向智能计算的AI基础架构平台设计，戴尔科技集团关注的重点在算、网、存、管四大技术领域；面向企业级AI基础架构平台，戴尔科技集团致力于提供端到端的AI基础架构解决方案，包含AI计算、存储、网络、绿色数据中心基础设施、集群系统管理产品及解决方案。此外，戴尔科技集团还携手VMware 与NVIDIA，联合推出了支持在虚拟化和云原生平台部署AI应用的平台解决方案。

众所周知，GPU是当前AI计算中使用最广泛、最成熟的加速计算技术。Dell PowerEdge先后推出了多款专门针对GPU计算设计和优化的专业服务器，可以支持面向AI的端到端训练、微调、推理，以及面向传统AI（如机器视觉、语音识别）的模型训练及推理场景。其中，PowerEdge XE9680是戴尔科技集团第16代服务器家族中面向高性能AI GPU计算场景设计的优化型服务器，也是戴尔科技集团有史以来增长最快的数据中心产品，有着优异的性能表现。借助XE9680 6U服务器中推出的8路H800 NVLink架构GPU算力平台，可以大幅提升应用程序性能，推动全新的AI、机器学习和深度学习神经网络应用程序。PowerEdge R760xa是另外一款面向AI GPU计算的优化型服务器，它可以提供更多元化的GPU产品选型，包含NVIDIA L40S等GPU加速器。

边缘AI计算也是戴尔科技集团重点关注的应用场景。根据IDC报告预测，2023年20%的AI计算服务器将部署在边缘侧。Dell PowerEdge XR服务器就是专门针对边缘计算设计的优化型服务器，对于机箱深度、温度、防尘、抗震的运行环境有更强的适应能力。

吴跃强调，数据平台也是AI基础架构中非常重要的一环，因为数据贯穿了AI应用生命周期的各个环节。如果说AI是火箭，那么数据就是火箭的燃料。所以企业需要设计更完善、可扩展性更好的AI数据存储平台，以满足不同类型数据的存储和管理，支持通过不同协议进行的数据读写和访问。Dell PowerScale存储解决方案可以为AI计算集群提供高性能、横向扩展的非结构化数据存储池解决方案。

如果把AI算力集群比喻成人的身体，网络就好比人的血管，血管畅通无阻对于人的身体健康至关重要。在AI计算集群的网络方案中，戴尔科技集团可以提供包括Dell PowerSwitch以太网交换以及NVIDIA Infiniband IB交换在内的网络基础设施方案。

吴跃还指出，与云厂商、互联网企业和专业的AI企业相比，普通企业用户构建AI平台时遇到的挑战主要集中在AI应用线上部署环节，如：当前主流AI框架、优化库多数为开源软件；缺乏快速创建、扩容、释放AI计算及存储资源的软件方案及商业支持服务；无法对数据中心使用的虚拟化等资源管理机制进行集成及优化等等。

针对这些问题，VMware发布了支持在vSphere虚拟化与Tanzu云原生平台上私有化部署AI的平台解决方案VMware Private AI Foundation。而戴尔科技集团正是VMware Private AI Foundation的硬件基础设施合作伙伴之一。与此同时，NVIDIA提供了在虚拟化和云原生平台上部署AI应用的软件套件NVIDIA AI Enterprise（NVAIE），可以无缝集成到vSphere与Tanzu平台，运行在由戴尔科技集团提供的，且通过NVIDIA与VMware官方认证的GPU硬件基础设施上。

据悉，目前国外内已经有很多教育、金融、制造等行业用户在VMware虚拟化及云原生平台上构建AI平台的应用实践，以实现AI应用的快速部署与规模扩展，提高GPU资源的有效利用率。

吴跃强调，这个涵盖基础设施硬件、虚拟化与云原生系统软件、AI应用与GPU优化库软件堆栈在内的端到端解决方案，是得到VMware、NVIDIA、戴尔科技集团三方的官方认证与商业化技术支持服务的AI平台方案。戴尔科技集团希望可以借此为用户提供高效灵动的AI基础设施平台，高性能易扩展的数据存储与数据保护解决方案，构建AI平台与行业应用生态，加速AI工程化、场景化落地。

如何基于VMware构建私有人工智能平台

VMware资深解决方案架构师曹克勇分享了在 VMware 上使用NVIDIA人工智能框架构建大语言模型和生成式AI的方法。

曹克勇指出，近两年，生成式AI大语言模型迅速进入千行百业, 深度影响着人类的生产、生活。如在金融行业，生成式AI在欺诈检测、提供个性化银行体验和提供投资见解等方面发挥了重要作用；在医疗保健行业，生成式AI被用于分子模拟、加速药物研发，改进临床试验和数据分析；在零售行业，生成式AI能够增强个性化购物体验，实现货物种类描述自动化，推动价格自动优化；在制造行业，生成式AI正在加强工厂模拟、产品设计和预测性维护。根据麦肯锡的预测，生成式 AI 每年可为全球经济带来多达 4.4 万亿美元的增长。

不过，企业应用生成式AI也面临着诸多挑战。曹克勇指出，首先是数据隐私, 用于AI训练的数据主要来自企业内部，其次是高性能的GPU图形加速卡近期供应紧俏。此外，还有在众多AI大模型之中选择的机会成本、基础架构整体算力的性能、以及AI所带来的合规问题等挑战。

"其中最重要的挑战当属数据隐私，包括私有知识产权、私有数据和私有访问三部分。"曹克勇指出，企业在业务中引入AI时需要考虑：企业数据被AI公司训练后，知识产权的归属是否被别人侵权，是否对别人的知识产权构成了侵权。企业需要将知识产权风险降至最低；要确保私有数据不会被外部非法共享；还需要合理控制AI模型的访问权限。

为了解决企业AI隐私、安全等挑战。8月23日，VMware在VMware Explore 2023全球大会上发布了VMware Private AI Foundation with NVIDIA--全新 VMware 私有AI基础平台，它可以在数据隐私性、安全性和可控性方面提供进一步支持，帮助企业为生成式AI在业务中的应用做好准备。

据了解，VMware Private AI Foundation with NVIDIA将于明年初上市, 并可集成预制的AI模型，如：Falcon LLM，Llama 2等等, 可帮助企业高效运行使用其私有数据训练而成的模型；使企业能自定义模型并运行各种生成式 AI 应用，如智能聊天机器人、编码助手、搜索和摘要等等。该平台将作为全集成式解决方案，采用NVIDIA提供的生成式AI软件和加速计算，基于VMware Cloud Foundation 构建，并针对AI进行优化。该平台采用的NVIDIA NeMoTM框架，并在VMware Cloud Foundation混合云基础架构上构建和运行私有的自定义生成式AI模型。

曹克勇指出，之所以在要在VMware Cloud Foundation混合云基础架构上建立大型语言模型，是因其可以简化数据科学家的工作, 为AI训练和推理提供了非常灵活的基础设施。由于AI发展迅速，架构和数据更新迭代，企业管理员可能需要定期重新构建AI或机器学习平台，而VMware可以帮助企业轻松应对这种快速变化。

曹克勇还介绍，VMware Cloud Foundation与 NVIDIA AI Enterprise软件集成后可以为企业带来多项优势：

灵活选择：无论是NVIDIA NeMoTM，Llama 2，还是另外的大言语模型，企业在构建和训练AI模型时拥有全方位的选择自动度。

隐私保护：私有AI平台能够保护数据隐私，并且确保访问安全，使企业客户能够在任何数据所在地轻松运行AI服务；

性能优化：该平台支持主流 NVIDIA加速卡以加速计算和软件，其性能与裸机性能相当。

提高生产力：vSphere Deep Learning VM 镜像和镜像库可提供稳定的、交钥匙的镜像解决方案，可实现原型快速开发，这种省时的工具包加快了开发人员的工作流程，提高了生产力。

同时，该平台还可以帮助企业降低构建成本、简化存储管理、加速网络。

现在，通过在企业私有环境中安全启用大语言模型的定制、微调和部署，VMware Private AI Foundation with NVIDIA可以帮助企业生成代码、提高呼叫中心的客户体验、实现IT运营自动化和高级信息检索等等。

此外，通过VMware 私有 AI 基础平台，企业可以将大语言模型部署在多种环境中，既可在本地环境中部署，也可以在远程开发和测试环境中部署，利用VMware Cloud Foundation与硬件解耦后的所提供的基础架构，还可以将大模型平滑地部署到生产环境中。

最后，曹克勇还通过演示SafeCoder解决方案展示了VMware在AI应用方面的创新以及AI应用于生产活动时带来的显著效率提升。

推荐阅读：VMware Explore | VMware 与 NVIDIA 为企业开启生成式 AI 时代

如想了解更多详情

欢迎扫码观看本次会议