返回 AI 工具目录
Torchserve
基础设施人工精选最近核验 2026年7月23日
TorchServe 是 PyTorch 官方推出的模型服务框架,用于在生产环境部署与扩展 PyTorch 模型。它提供多模型管理、REST 与 gRPC 推理接口、批处理、模型工作流 DAG、性能剖析与基准工具,以及可导出 Prometheus 的指标接口,并支持 TorchScript、ONNX、TensorRT 等优化与大模型/LLM 部署。可运行于本地及 AWS SageMaker、Google Vertex AI、Kubernetes、KServe 等平台。需特别注意:该项目已于 2025 年 8 月归档,官方声明不再主动维护,无计划中的更新、修复或安全补丁,现有版本仍可获取。Apache 2.0 许可。
定价开源部署自托管、本地运行国内可达国内可达许可Apache-2.0
解决什么问题
- 把训练好的 PyTorch 模型部署为推理服务
- 提供多模型管理与 REST/gRPC 接口
- 支持批处理与工作流编排提升吞吐
- 通过指标接口对接监控体系
适合
- 已有基于 TorchServe 的存量部署需维护
- 需要在 K8s/云平台服务 PyTorch 模型
- 了解项目已归档、可接受无官方更新
- 需要多模型管理与批处理的推理场景
不适合
- 项目已归档,新项目不宜再作首选
- 无后续安全补丁,合规敏感场景需谨慎
- 遇到问题只能自行修复或转用替代方案
- 非 PyTorch 模型不在其服务范围
如何接入
- 提供 REST 与 gRPC 推理及管理接口
- 指标可导出 Prometheus 对接监控
- 支持 SageMaker、Vertex AI、K8s、KServe 部署
- 兼容 TorchScript、ONNX、TensorRT 优化
已知限制
- 已于 2025 年 8 月归档,不再主动维护
- 无计划中的更新、修复与安全补丁
- 新需求需自行改造或迁移替代方案
- 仅服务 PyTorch,跨框架能力有限
接入与使用事实
- 部署方式
- 自托管、本地运行
- 实现语言
- Java、Python、C++
- 中文界面
- 待确认
- 中文文档
- 待确认
- 定价方式
- 开源
- 许可证
- Apache-2.0
- 国内可达性
- 国内可达
- 可达性观察
- 待补充
权限、依赖与维护信号
这些字段记录公开可见信号，不等同于安全审计结论。
权限信号
暂无公开信号。
依赖信号
暂无公开信号。
维护信号
暂无公开信号。
公开来源与证据
暂无可公开的来源链接。