모든 플랫폼의 모든 애플리케이션에 AI를 배포, 실행 및 확장할 수 있는 적합한 라이선스를 찾아보세요.
GitHub개발을 위해 Triton 추론 서버 오픈 소스 코드에 액세스하려는 개인에게 적합합니다. |
NVIDIA NGC™개발을 위해 무료 Triton 추론 서버 컨테이너에 액세스하려는 개인에게 적합합니다. |
NVIDIA AI Enterprise프로덕션을 위해 Triton을 구매하려는 기업에게 적합합니다. |
|
특징 |
|||
| NVIDIA Triton™ Inference Server | |||
| 맞춤형 빌드(Windows, NVIDIA® Jetson™), PyTriton | |||
| 사전 구축된 Docker 컨테이너(버전 종속성: CUDA®, 프레임워크 백엔드) | |||
| Triton 관리 서비스(대규모 배포를 위한 모델 오케스트레이션) | |||
| 일반적인 AI 사용 사례를 위한 AI 워크플로우 및 레퍼런스 아키텍처 | |||
| 워크로드 및 인프라 관리 기능 | |||
다음을 포함한 비즈니스 표준 지원
|
|||
| NVIDIA LaunchPad 실습 랩 | |
||
NVIDIA Triton 추론 서버 또는 줄여서 Triton은 오픈 소스 방식의 추론 제공 소프트웨어입니다. 이를 통해 팀은 모든 GPU 또는 CPU 기반 인프라(클라우드, 데이터센터 또는 엣지)의 모든 프레임워크(TensorFlow, NVIDIA TensorRT™, PyTorch, ONNX, XGBoost, Python, 맞춤형 등)에서 AI 모델을 배포, 실행 및 확장할 수 있습니다. 자세한 내용은 Triton 웹 페이지를 참조하세요.
Triton 모델 분석기는 대상 GPU 또는 CPU의 처리량, 지연 시간 및/또는 메모리 제약 조건에 대한 추론 배포 구성(배치 크기, 모델 인스턴스 수 등)을 최적화하기 위한 오프라인 도구입니다. 단일 모델, 모델 앙상블 및 다중 동시 모델의 분석을 지원합니다.
Triton은 데이터센터 및 클라우드 전반의 전체 소프트웨어 스택에 엔터프라이즈급 지원, 보안 안정성 및 관리 용이성을 제공하는 엔드 투 엔드 AI 소프트웨어 플랫폼인 NVIDIA AI Enterprise에 포함되어 있습니다. NVIDIA AI Enterprise에는 비즈니스 표준 지원이 포함됩니다. 비즈니스 필수 지원, 기술 계정 관리자에 대한 액세스, 교육 및 전문 서비스를 포함한 추가 지원 및 서비스를 사용할 수 있습니다. 자세한 내용은 엔터프라이즈 지원 및 서비스 사용 설명서를 참조하세요.
예, NVIDIA Launchpad에서 Triton을 사용하는 다양한 랩이 있습니다.
NVIDIA LaunchPad는 사용자에게 웹 브라우저를 통해 엔터프라이즈 NVIDIA 하드웨어 및 소프트웨어에 대한 단기 액세스를 제공하는 프로그램입니다. AI 및 데이터 사이언스에서 3D 설계 및 인프라 최적화에 이르는 사용 사례를 둘러싼 솔루션을 경험하려면 실습 랩의 대규모 카탈로그에서 선택하세요. 기업은 프라이빗 호스팅 인프라에서 필요한 하드웨어 및 소프트웨어 스택을 즉시 활용할 수 있습니다.
예, Triton은 AI 추론 및 모델 배포를 위해 선택할 수 있는 최고의 에코시스템입니다. Triton은 NVIDIA AI Enterprise를 통해 AWS, Microsoft Azure 및 Google Cloud 마켓플레이스에서 사용할 수 있습니다. Alibaba Cloud, Amazon EKS(Elastic Kubernetes Service), Amazon ECS(Elastic Container Service), Amazon SageMaker, GKE(Google Kubernetes Engine), Google Vertex AI, HPE Ezmeral, Microsoft AKS(Azure Kubernetes Service), Azure Machine Learning 및 Oracle Cloud Infrastructure Data Science Platform에서도 사용하실 수 있습니다.
NVIDIA 뉴스레터를 구독하고 최신 AI 추론 분야 뉴스를 받아보세요.