返回 AI 工具目录
Evidently
基础设施人工精选最近核验 2026年7月23日
Evidently 是开源的 Python 库,用于评估、测试与监控机器学习和 LLM 系统,覆盖从实验到生产的全过程。它内置 100 多种指标:数据漂移检测提供 20 多种统计检验,分类与回归评估、排序与 RAG 评估(NDCG、MAP、MRR),以及基于文本描述符和模型评判(LLM judge)的 LLM 质量评估。既能做离线的报告与测试套件,也能做线上实时监控,并生成交互式报告。使用上以 PyPI 或 Conda 安装的库为主,可选自托管的监控看板 UI,或使用官方托管的 Evidently Cloud 做可视化与监控。定位是 ML 与 LLM 的评估与可观测层,帮助团队及早发现数据与模型质量问题。
定价开源部署本地运行、自托管、SaaS 云服务国内可达国内可达许可Apache-2.0
解决什么问题
- 上线后模型质量与数据漂移难以持续发现
- LLM 输出缺少可量化的评估与回归手段
- 分类、回归、排序评估指标分散、难统一
- 需要把离线评估延伸到线上监控
适合
- 监控生产 ML 模型的数据漂移与表现
- 为 LLM 或 RAG 应用建立评估与测试套件
- 用统一报告对比实验与线上表现
- 需要可自托管的模型监控看板
不适合
- 属评估与监控层,不负责模型训练或部署
- 指标丰富但需自行设定阈值与告警
- 托管版 Evidently Cloud 位于境外
- LLM 评判质量依赖所接入的评估模型
如何接入
- 以 Python 库形式接入训练与推理管线
- 通过 PyPI 或 Conda 安装
- 可选自托管 UI 看板做持续监控
- 生成交互式报告与测试套件
已知限制
- 深度线上监控需自行搭建看板或用云服务
- 评估结果解读需要业务与建模经验
- LLM judge 质量依赖底层模型
- 托管云服务的数据存储在境外
接入与使用事实
- 部署方式
- 本地运行、自托管、SaaS 云服务
- 实现语言
- Python
- 中文界面
- 待确认
- 中文文档
- 待确认
- 定价方式
- 开源
- 许可证
- Apache-2.0
- 国内可达性
- 国内可达
- 可达性观察
- 待补充
权限、依赖与维护信号
这些字段记录公开可见信号，不等同于安全审计结论。
权限信号
暂无公开信号。
依赖信号
暂无公开信号。
维护信号
暂无公开信号。
公开来源与证据
暂无可公开的来源链接。