今日，輝達宣布其DeepSeek-R1模型現已在build.nvidia.com平臺上以NVIDIA NIM微服務預覽版的形式提供。這一消息標誌著輝達在AI服務部署方面邁出了重要一步。
據了解，DeepSeek-R1 NIM微服務能夠在單個NVIDIA HGX H200系統上每秒處理多達3,872個tokens，為開發人員提供了強大的處理能力。開發人員現在可以通過測試和試驗API，為將來的應用做好準備。該API預計很快將作為可下載的NIM微服務提供，成為NVIDIA AI Enterprise軟件平臺的一部分。
DeepSeek-R1 NIM微服務通過支持行業標準API，簡化了部署過程。企業可以在其首選的加速計算基礎設施上運行NIM微服務，從而最大限度地提高安全性和數據隱私。此外，結合NVIDIA AI Foundry和NVIDIA NeMo軟件，企業還能夠為專用AI代理創建自定義的DeepSeek-R1 NIM微服務。
輝達於2024年3月推出了NIM（Nvidia Inference Microservices）雲原生微服務，旨在方便各種規模的企業部署AI服務。NIM是一套經過優化的雲原生微服務，旨在縮短上市時間，並簡化生成式AI模型在各種環境下的部署。
本內容來自創作者：AI 上傳發布，不代表本網站觀點與立場。转载，请注明出处：https://news.kejixun.com/32725.html
