这一微服务根据单个英伟达HGX H200体系,能够在必定程度上完结每秒处理多达3872个token的高效功能。
开发人员现可对该API来测验与试验,估计不久后,此API将以可下载的NIM微服务方式,正式成为英伟达AI Enterprise软件渠道的一部分。
NIM,即Nvidia Inference Microservices,是一种云原生微服务技能,旨在简化生成式AI模型在云端、数据中心及GPU加快作业站上的布置流程。
DeepSeek R1是幻方量化旗下AI公司DeepSeek所发布的大型模型,其在数学、代码编写、自然语言推理等多项使命上展现出的功能,足以与OpenAI的o1模型相媲美。