返回 AI 工具目录
Kserve
基础设施人工精选最近核验 2026年7月23日
KServe 是 Kubernetes 上的标准化模型推理平台,面向生成式与预测式 AI,支持多框架(TensorFlow、PyTorch、scikit-learn、XGBoost、ONNX 等)的规模化部署。生成式方面集成 vLLM、llm-d 等后端并提供 GPU 加速与模型缓存;预测式方面提供智能路由、金丝雀发布、自动扩缩与可解释性,支持缩容至零以节省成本,并实现 OpenAI 兼容的推理协议。可基于原生 Kubernetes、Knative 无服务器或 ModelMesh 高密度模式部署,属 CNCF 孵化项目,Apache 2.0 许可(前身为 KFServing)。
定价开源部署自托管国内可达国内可达许可Apache-2.0
解决什么问题
- 把训练好的模型标准化部署为推理服务
- 统一承载生成式与预测式多框架模型
- 按流量自动扩缩、闲时缩容至零省成本
- 金丝雀发布与智能路由支撑灰度上线
适合
- 已用 Kubernetes、需生产级模型推理平台
- 同时部署 LLM 与传统预测模型的团队
- 需要自动扩缩、灰度与可解释性的场景
不适合
- 依赖 Kubernetes,无集群则门槛较高
- 面向平台化部署,单模型试验偏重
- 运维 Knative/ModelMesh 需相应能力
- 生成式高性能仍需自行配置 GPU 与后端
如何接入
- 以自定义资源声明 InferenceService 部署模型
- 可选原生 K8s、Knative 或 ModelMesh 模式
- 通过 OpenAI 兼容协议对接上层应用
已知限制
- 需 Kubernetes 与容器化运维投入
- 正文未含官方性能指标,吞吐随配置而定
- 生成式后端(如 vLLM)需另行调优
接入与使用事实
- 部署方式
- 自托管
- 实现语言
- Go、Python
- 中文界面
- 待确认
- 中文文档
- 待确认
- 定价方式
- 开源
- 许可证
- Apache-2.0
- 国内可达性
- 国内可达
- 可达性观察
- 待补充
权限、依赖与维护信号
这些字段记录公开可见信号，不等同于安全审计结论。
权限信号
暂无公开信号。
依赖信号
暂无公开信号。
维护信号
暂无公开信号。
公开来源与证据
- 代码仓库仅作事实索引