Cloudera 发布了由NVIDIA NIM微服务驱动的Cloudera AI推理服务

近日，Cloudera 发布了由NVIDIA NIM微服务驱动的Cloudera AI推理服务，该服务同时成为NVIDIA AI Enterprise平台的一部分。作为业界首批提供嵌入式 NIM微服务功能的AI推理服务之一，Cloudera AI推理服务以独特方式简化了大规模AI模型的部署与管理，使企业能够发挥出其数据的真正潜力，将生成式AI从试点阶段推进到全面生产阶段。

Cloudera AI推理服务通过在企业控制范围内提供安全开发与部署，防止敏感数据泄露到云服务商托管的非私有AI模型服务中。这项NVIDIA技术驱动的服务帮助企业快速构建实现可信AI所需的可信数据，支持企业高效开发AI驱动的聊天机器人、虚拟助手和代理应用，从而提升生产力并实现业务增长。

Cloudera在与NVIDIA合作后不久就推出了Cloudera AI推理服务，进一步强调了Cloudera 的承诺，即在各行各业应对数字化转型与AI集成复杂性的关键时刻，不断推动企业AI创新。

开发者可以使用NVIDIA Tensor Core GPU构建、定制和部署企业级大语言模型（LLM） ，其性能最高可提升36倍，吞吐量是使用CPU时的近4倍。用户界面（UI）和API可与NVIDIA NIM微服务容器直接集成，不再需要使用命令行界面（CLI）和单独的监控系统，为用户带来了无缝衔接体验。该服务与Cloudera AI模型注册表集成后，还可通过管理模型端点和操作的访问控制改善安全性和治理。用户能够在一个统一平台上通过一项服务无缝管理所有模型，无论是LLM部署，还是传统模型都不例外。