最近,英伟达发布了AI Enterprise 5.0,包括微服务和软件容器,用于生成式AI应用部署和加速计算。目前,用户可以从领先的云服务提供商、系统构建商和软件供应商处获得。现已被Uber等知名客户使用。
开发人员正在转向微服务,将其作为在全球范围内构建现代企业应用程序的有效方式。NVIDIA AI Enterprise5.0涵盖广泛的微服务,包括NVIDIA NIM和NVIDIA CUOpt的NVIDIA CUDA-X微服务集合,优化AI模型推理并支持GPU加速。
NIM微服务优化了来自NVIDIA及其合作伙伴生态系统的数十种流行AI模型的推理。NIM由NVIDIA推理软件(包括Triton Inference Server、TensorRT和TensorRT-LLM)提供支持,将部署时间从几周缩短到几分钟。它提供基于行业标准的安全性和可管理性以及与企业级管理工具的兼容性。
此外,NVIDIA CUOpt作为一种GPU加速的AI微服务,不仅创造了路线优化的世界记录,还能够支持动态决策,从而降低成本、时间和碳足迹。作为CUDA-X微服务之一,CUOpt在帮助各行业将人工智能投入生产方面发挥着重要作用。
未来,AI Enterprise5.0还将引入更多功能。例如,NVIDIA RAG LLM操作员(目前处于早期访问阶段)将有助于将副驾驶和其他使用检索增强生成的生成式AI应用程序从试点转移到实际应用落地,而无需重写任何代码。这一功能的引入将进一步推动企业在AI应用领域的发展。
AI Enterprise 5.0能帮助用户做到很多事情,可谓是好处诸多。它不仅可以帮助用户从安全、可投入生产且性能优化的软件中受益,而且还可以灵活地部署在数据中心、云端、工作站或网络边缘的应用程序。