返回 AI 工具目录
TensorZero
开发框架人工精选最近核验 2026年7月23日
TensorZero 是一套开源的 LLM 运维栈,把网关、可观测、评测、优化与实验整合到一处。核心是用 Rust 写的高性能网关,以单一接口访问 Anthropic、OpenAI、Google、AWS Bedrock、DeepSeek 等主流供应商及任意 OpenAI 兼容 API;推理与反馈数据落入自有数据库供监控排障,评测支持单测式与集成式两类,优化侧覆盖监督微调、提示工程(GEPA)与动态上下文学习,并提供带回退与重试的自适应 A/B 路由。兼容各语言 OpenAI SDK,以 Docker 自托管。需注意:该仓库已于 2026 年 6 月归档,官方不再活跃维护,选用前需评估长期支持风险。
定价开源部署自托管、API 接入国内可达国内可达性待核验许可Apache-2.0
解决什么问题
- 以单一接口统一访问多家 LLM 供应商
- 用 Rust 网关提供低延迟、高并发的推理入口
- 推理与反馈数据入库,支撑监控与排障
- 提供单测式与集成式两类评测能力
- 带回退、重试的自适应 A/B 路由与实验
适合
- 需统一管理多供应商 LLM 调用的团队
- 关注网关延迟与高并发吞吐的生产场景
- 希望把推理数据沉淀到自有库做优化
- 以自托管、数据自控为前提的架构
不适合
- 仓库已归档,不宜作长期新建依赖
- 需自行运维 Docker 与数据库,非托管服务
- 上游供应商多在境外,国内直连受限
- 评测与优化需自备标注与反馈数据
如何接入
- 兼容各语言 OpenAI SDK,改基址即可接入
- 覆盖 Anthropic、OpenAI、Bedrock、DeepSeek 等
- 支持任意 OpenAI 兼容 API 接入
- 以 Docker 自托管,数据落自有数据库
已知限制
- 仓库 2026 年 6 月已归档,维护前景不确定
- 自托管需承担网关与存储运维成本
- 多数上游模型服务位于境外
- 高级优化能力对数据与工程门槛较高
接入与使用事实
- 部署方式
- 自托管、API 接入
- 实现语言
- Rust、Python、TypeScript
- 中文界面
- 待确认
- 中文文档
- 待确认
- 定价方式
- 开源
- 许可证
- Apache-2.0
- 国内可达性
- 国内可达性待核验
- 可达性观察
- 待补充
权限、依赖与维护信号
这些字段记录公开可见信号，不等同于安全审计结论。
权限信号
暂无公开信号。
依赖信号
暂无公开信号。
维护信号
暂无公开信号。
公开来源与证据
暂无可公开的来源链接。