NVIDIA thông báo 28 triệu nhà phát triển trên toàn thế giới giờ đây có thể tải xuống NVIDIA NIM — dịch vụ vi mô suy luận cung cấp mô hình dưới dạng container tối ưu hóa. Các nhà phát triển có thể triển khai NIM trên đám mây, trung tâm dữ liệu hoặc trạm làm việc, giúp họ dễ dàng xây dựng các ứng dụng AI tạo sinh như trợ lý ảo, chatbot chỉ trong vài phút thay vì vài tuần.
Tăng cường năng suất cho nhà phát triển
Các ứng dụng AI tạo sinh ngày càng phức tạp và sử dụng nhiều mô hình để tạo ra văn bản, hình ảnh, video, giọng nói và hơn thế nữa. NVIDIA NIM giúp tăng năng suất cho nhà phát triển bằng cách cung cấp cách đơn giản và tiêu chuẩn hóa để thêm AI tạo sinh vào các ứng dụng.
Tối ưu hóa hạ tầng doanh nghiệp
NIM giúp doanh nghiệp tối ưu hóa đầu tư hạ tầng. Ví dụ, chạy Meta Llama 3-8B trong NIM tạo ra nhiều token AI hơn đến 3 lần so với không dùng NIM. Điều này giúp doanh nghiệp tăng hiệu suất và dùng cùng một lượng hạ tầng để tạo ra nhiều phản hồi hơn.
Hỗ trợ từ các đối tác công nghệ
Gần 200 đối tác công nghệ như Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI và Synopsys đang tích hợp NIM vào nền tảng của họ để tăng tốc triển khai AI tạo sinh cho các ứng dụng cụ thể. Hugging Face cũng cung cấp NIM, bắt đầu với Meta Llama 3.
Phát niểu của CEO NVIDIA
“Mỗi doanh nghiệp đều muốn thêm AI tạo sinh vào hoạt động của mình, nhưng không phải doanh nghiệp nào cũng có đội ngũ nhà nghiên cứu AI chuyên nghiệp,” Jensen Huang, CEO của NVIDIA, cho biết. “NVIDIA NIM giúp ngành công nghệ đưa AI tạo sinh trong tầm tay của mọi tổ chức.”
Truy cập miễn phí cho nhà phát triển
Các nhà phát triển có thể triển khai ứng dụng AI với NIM thông qua nền tảng NVIDIA AI Enterprise. Bắt đầu từ tháng tới, các thành viên của Chương trình Phát triển NVIDIA có thể truy cập NIM miễn phí để nghiên cứu và thử nghiệm.
Hỗ trợ mô hình AI tạo sinh
NIM được xây dựng sẵn để tăng tốc triển khai mô hình trên GPU và có thể bao gồm phần mềm NVIDIA CUDA®, NVIDIA Triton Inference Server™ và NVIDIA TensorRT™-LLM. Hơn 40 mô hình của NVIDIA và cộng đồng có sẵn để trải nghiệm dưới dạng điểm cuối NIM trên ai.nvidia.com, bao gồm Databricks DBRX, Gemma của Google, Meta Llama 3, Microsoft Phi-3, Mistral Large, Mixtral 8x22B và Snowflake Arctic.
Ứng dụng đa dạng của NIM
Các doanh nghiệp có thể sử dụng NIM để tạo văn bản, hình ảnh, video, giọng nói và con người kỹ thuật số. Với dịch vụ vi mô BioNeMo™ NIM của NVIDIA cho sinh học kỹ thuật số, các nhà nghiên cứu có thể xây dựng cấu trúc protein mới để tăng tốc khám phá thuốc.
Nhiều công ty lớn như Foxconn, Pegatron, Amdocs, Lowe’s, ServiceNow và Siemens đang sử dụng NIM cho các ứng dụng AI tạo sinh trong sản xuất, y tế, dịch vụ tài chính, bán lẻ, dịch vụ khách hàng và nhiều hơn nữa. Ví dụ:
- Foxconn sử dụng NIM trong các hệ thống và quy trình nội bộ cho sản xuất thông minh, thành phố thông minh và xe điện thông minh.
- Pegatron dùng NIM cho Dự án TaME để phát triển các mô hình LLM địa phương.
- Amdocs dùng NIM cho mô hình hóa đơn khách hàng, giảm chi phí token và tăng độ chính xác.
- Lowe’s dùng NIM để cải thiện trải nghiệm cho nhân viên và khách hàng.
- ServiceNow tích hợp NIM trong mô hình Now AI để triển khai LLM nhanh chóng và hiệu quả chi phí.
- Siemens tích hợp công nghệ hoạt động với NIM cho các công việc AI tại xưởng.
Khả dụng
Các nhà phát triển có thể thử nghiệm các dịch vụ vi mô của NVIDIA tại ai.nvidia.com miễn phí. Các doanh nghiệp có thể triển khai các dịch vụ vi mô NIM đạt chuẩn sản xuất với NVIDIA AI Enterprise trên Hệ thống Được Chứng nhận bởi NVIDIA và các nền tảng đám mây hàng đầu. Bắt đầu từ tháng tới, các thành viên của Chương trình Phát triển NVIDIA sẽ được truy cập miễn phí vào NIM để nghiên cứu và thử nghiệm
