返回 AI 工具目录

Airflow

基础设施人工精选最近核验 2026年7月23日

Apache Airflow 是社区维护的开源工作流编排平台,用纯 Python 代码定义、调度与监控工作流。工作流以有向无环图(DAG)表达,调度器按依赖关系在一组 worker 上执行任务,内置面向 GCP、AWS、Azure 及大量第三方系统的 operator。核心理念是动态(代码即管道)、可扩展(自定义 operator)、灵活(Jinja 模板参数化),并提供 Web UI 做监控与运维。适合数据/ML 管道、批处理与基础设施编排;官方明确它不是流式处理方案,任务间大数据量传输应交给外部专用服务。采用 Apache 2.0 许可,可私有化部署于 PyPI、Docker 或 Kubernetes。

定价开源部署自托管、本地运行国内可达国内可达许可Apache-2.0

解决什么问题

  • 用 Python 代码统一定义、调度、监控批量工作流
  • 以 DAG 表达任务依赖,可版本化、可测试、可协作
  • 调度器按依赖在多个 worker 上分布式执行任务
  • 内置大量 operator 对接云服务与第三方系统

适合

  • 数据工程与 ML 批处理管道的编排调度
  • 需把任务依赖、重试、回填以代码方式管理的团队
  • 需要私有化部署、按需扩展 worker 的场景
  • 已具备 Python 能力、愿以代码维护管道的工程团队

不适合

  • 不适合实时流式处理(官方明确非 streaming 方案)
  • 任务间大数据量直传不推荐,应委托外部专用服务
  • 轻量定时脚本用它会引入调度器/元库等较重依赖
  • 需开箱即用托管的团队须另选 MWAA/Composer 等

如何接入

  • 内置 GCP、AWS、Azure 及众多第三方 operator
  • 支持 PostgreSQL、MySQL 作元数据库(SQLite 仅测试)
  • 提供多种 executor,可在 Kubernetes 上用 Helm 部署
  • 可经 PyPI、Docker、Docker Compose 安装

已知限制

  • 自建需维护调度器、元数据库与 worker,运维有成本
  • 非流式,低延迟/事件驱动场景不匹配
  • DAG 结构相对静态,超动态拓扑表达受限
  • Python 与数据库版本有明确兼容矩阵约束

接入与使用事实

部署方式
自托管、本地运行
实现语言
Python
中文界面
待确认
中文文档
待确认
定价方式
开源
许可证
Apache-2.0
国内可达性
国内可达
可达性观察
待补充
查看代码仓库

权限、依赖与维护信号

这些字段记录公开可见信号，不等同于安全审计结论。

权限信号

暂无公开信号。

依赖信号

暂无公开信号。

维护信号

暂无公开信号。

公开来源与证据

  1. 代码仓库仅作事实索引
    查看来源

访问官网