[Kuberentes] ML Serving Framework 비교
작성 2025년 1월 8일수정 2025년 5월 3일
비교 항목
- Tensorflow Serving
- Torch Serve
- BentoML
- NVIDIA Triton Inference Server
- 이력서 다듬고
- 벤토에멜 공부해오고
- 쿠버네티스 책 보고
| Tensorflow Serving | TorchServe | BentoML | Triton Inference Server |
| 지원 모델 | Tensorflow | Pytorch, TensorRT | Tensorflow, Pytorch, ONNX, TensorRT | Tensorflow, PyTorch,
ONNX, TensorRT |
| API 및 프로토콜 | REST, gRPC | REST, gRPC | REST, gRPC | REST, gRPC |
| Batch | Dynamic Batch | Batch Inference | Adaptive Batch | Dynamic Batch |
| 모델 버전 관리 | 지원 | 지원 | 지원 | 지원 |
| 모니터링 | Prometheus | Prometheus | Prometheus | Prometheus |
| 언어 | Python, C++, Javascript | Python, Java | Python | Python, C++ |
Comment