先说问题，再看工具

Marqo 是一个开源的向量与语义搜索引擎,特点是把嵌入推理内置在内:无需外部向量化服务,直接对文本与图片建索引并做语义与多模态检索,以 Docker 自托管方式部署。官方已宣布该开源项目弃用、不再更新,并将产品重心转向面向电商(时尚、美妆、电子、家居等)的 AI 原生搜索与推荐商业平台 marqo.ai,利用点击、购买等行为数据理解购物意图、提升相关性与转化。采用 Apache-2.0 许可,以 Python 为主。自建可用但需注意其停更状态,长期使用建议评估其商业方案。

先看限制·开源版已停更,不宜承载长期关键业务 托管商业平台在海外,数据出域需合规评估 高级电商能力集中在付费商业版 自托管仍需运维索引与资源

Giskard 是用于测试和评估智能体系统的开源 Python 库,可包裹 LLM、黑盒智能体与多步流水线进行评测。它提供两部分能力:Giskard Checks 以场景化 API、内置检查项和 LLM-as-Judge 做质量与一致性评估,支持多轮对话与 RAG 评测;Giskard Scan 做红队与漏洞扫描,自动生成对抗测试,覆盖提示注入、数据泄露等 OWASP LLM 风险类别。当前 v3 为重写后的测试版,v2 仍可用但不再积极维护;需 Python 3.12 以上,Apache 2.0 许可。

先看限制·v3 尚为测试版,接口可能变动 v2 可用但官方不再积极维护 LLM-as-Judge 依赖外部模型,有额外成本 面向工程集成,非零代码可视化产品

Xinference(Xorbits Inference)是一个开源的模型推理服务框架,用统一接口部署和调用大语言模型、嵌入、重排、图像、语音等多类模型,对外提供与 OpenAI 兼容的 REST API,便于把应用中的模型调用切换到自托管部署。它整合 vLLM、llama.cpp、GGML、TensorRT 等多种推理引擎,支持 GPU/CPU 异构硬件与多机分布式部署,并提供 Web UI、命令行与 RPC 接口以及自动批处理。它常被用作 Dify、RAGFlow、LangChain 等上层框架的模型后端,社区版可自托管免费,另有企业版。

先看限制·自托管需自备算力与运维能力 企业级功能属独立商业版本 模型权重仍需自行获取与合规评估 不含上层业务编排,需搭配应用框架

面向 AI 应用与模型推理的 Python 服务框架,用 Python 类型标注就能把任意机器学习/大模型封装成 REST 推理 API。它自动处理依赖打包、Docker 镜像构建,并提供动态批处理、模型并行、多模型编排、任务队列等生产所需能力,可服务 LLM、Embedding、图像、语音、CV 等各类模型。既能本地开发调试、打成容器自托管,也可部署到官方的 BentoCloud 托管平台。定位是简化"模型到生产 API"这一步,核心开源(Apache 2.0),商业托管另计。

先看限制·面向工程团队,需自行编写服务代码与运维 仅 Python 技术栈,要求 Python ≥3.9 省心托管需付费 BentoCloud,自托管要自建运维 非零代码平台,不适合无工程能力的业务方

txtai 是 NeuML 开源的一体化 AI 框架,用 Python 编写,把向量索引、图网络与关系数据库结合起来,面向语义检索、大模型编排与语言模型工作流。它可为文本、文档、音频、图片、视频创建 embedding 并做向量检索,内置问答、转写、翻译、摘要等 pipeline,可用 workflow 把多个环节串联,并支持构建自主 Agent。对外提供 Web API 与 MCP 接口,并有 JavaScript、Java、Rust、Go 等语言绑定,可本地运行或用容器编排横向扩展,采用 Apache-2.0 许可。

先看限制·需要超大规模、专用向量数据库时能力受限 深度定制检索链路时抽象可能不够灵活 多为英文文档,中文资料相对少 生产级高可用需自行做工程加固

Promptfoo 是一款用于评测与红队测试大模型应用的开源命令行工具兼代码库,目标是用可复现的自动化评测替代反复试错。它支持对提示词与模型做批量测试、并排对比多家模型输出,通过红队与漏洞扫描发现越狱、注入等安全问题,并可接入 CI/CD 在合并请求中自动校验。评测默认在本地运行,提示词不出机器;结果可用命令行或网页查看。以 TypeScript 为主,通过 npm、brew 或 pip 安装,可对接 OpenAI、Anthropic、Azure、Bedrock、Gemini、DeepSeek、Ollama 等多家模型。采用 MIT 许可。

先看限制·不提供模型本身,需自备可调用的模型或 API 非技术人员想要图形化零代码评测时门槛偏高 生产环境实时监控并非其核心定位 测海外模型时需自行解决网络与合规前提

Prefect 是一个用 Python 编写的工作流编排框架,用于把普通脚本变成可靠的生产级数据管道。开发者用 flow 与 task 装饰器标注代码,即可获得定时调度、缓存、失败重试、事件触发与依赖分支等能力,并通过自带的服务端 UI 监控运行状态。它可作为开源库自托管(自建 Prefect Server),也可使用官方托管的 Prefect Cloud 商业服务。项目以 Python 为主、前端用 TypeScript,要求 Python 3.10 以上,采用 Apache-2.0 许可,常用于数据、机器学习与 AI 任务的编排调度。

先看限制·以 Python 为核心,非 Python 技术栈适配有限 纯实时流式计算并非其主要设计目标 需要开箱即用托管时要用商业版 Prefect Cloud 轻量单脚本定时任务用它可能偏重

pgvector 是 PostgreSQL 的开源向量检索扩展,让向量与业务数据存放在同一个关系库中并直接做近邻查询。它支持单精度、半精度、二值与稀疏等多种向量类型,以及 L2、内积、余弦、L1、汉明、Jaccard 等六种距离度量;提供 HNSW 与 IVFFlat 两类近似最近邻索引,前者查询性能更好但构建更慢,后者建索引快、占用低但查询效率略逊,也支持精确检索。因数据仍在 Postgres 内,可复用 ACID 事务、时间点恢复与 JOIN 等能力,并可用任意带 Postgres 驱动的语言访问。支持 Postgres 13 及以上,主要以 C 实现,常用于 RAG 与语义检索的向量存储。

先看限制·数据规模极大、超高吞吐时需评估专用向量库 未使用 PostgreSQL 的技术栈无法直接受益 索引参数需按数据量与召回目标调优 半精度、稀疏等类型有对应版本与前提要求

OpenLLM 是一个开源框架,用于把各类开源大模型(如 Llama 3.3、Qwen2.5、Mistral、DeepSeek、Phi3 等)作为 OpenAI 兼容的 API 端点运行。它提供 openllm serve/run/deploy 等命令行,内置可在 /chat 访问的网页聊天界面,并带有可扩展的模型仓库。底层构建在 BentoML 之上,借其做生产级模型服务与打包(Bento),支持本地运行、Docker、Kubernetes,以及 BentoCloud 托管与自动扩缩。采用 Apache-2.0 许可,适合把自托管开源模型对外提供统一接口。

先看限制·它做模型服务而非训练/微调,后者需另配工具 自托管需自备 GPU 与运维,并非零成本 模型权重多来自 Hugging Face,国内拉取可能受限 仅调用闭源云模型时无需它

DB-GPT 是 eosphoros-ai 开源的数据智能体框架,让用户用自然语言查询数据库、文件与知识库:它自动生成并执行 SQL 与 Python,规划多步分析流程,产出图表、看板与 HTML 报告。内置沙箱执行代码,提供可复用的领域技能模板,可连接关系型数据库、CSV/Excel、文档等多种数据源。模型层兼容 DeepSeek、Qwen、GLM、Llama 等四十余种大模型及 OpenAI 兼容接口,可本地 GPU(vLLM、llama.cpp)运行。MIT 许可,支持单行安装脚本、PyPI、Docker 与源码部署。

先看限制·生成的 SQL 需人工校验,不宜直连生产库改写 复杂业务语义仍需建模与提示调优 本地跑大模型对 GPU 与运维有要求 非零配置 SaaS,需自行部署维护

Botpress 是一个用于构建与部署 GPT/LLM 对话智能体的平台。此仓库为其 SDK、集成与开发工具(如 @botpress/cli、@botpress/sdk),以 TypeScript 编写、采用 MIT 许可;/integrations 目录下的集成会发布到 Botpress Hub。商用形态是托管的 Botpress Cloud,采用免费加付费的分层。官方说明用代码写 bot 并非推荐方式,主推图形化的 Botpress Studio。整体面向快速搭建客服、助手等对话应用,支持多渠道接入与集成扩展。

先看限制·官方不推荐纯代码方式,需搭配 Studio Botpress Cloud 为境外服务,数据出域需评估 此仓库仅为 SDK/工具,非完整平台 深度定制仍受平台能力边界约束

Tabby 是 TabbyML 开源的自托管 AI 编码助手,定位为 GitHub Copilot 的自部署替代。它在自有基础设施上提供代码补全与对话,自包含、无需外部数据库或云服务,可在消费级 GPU 上运行。基于仓库级上下文与 RAG 做补全,内置 Answer Engine 帮工程团队沉淀文档与知识,并支持团队与用户管理、活跃度统计。通过 OpenAPI 与各类 IDE 集成,提供 VSCode、Vim、JetBrains 插件,支持 StarCoder、Qwen、CodeGemma、CodeQwen 等开源代码模型,主要以 Rust 实现。

先看限制·需自行准备 GPU 与运维,不是开箱 SaaS 补全质量取决于所选开源模型与硬件 仅自托管,无官方托管版可直接开通 模型权重多需从 HuggingFace 拉取,国内需镜像

Semantic Kernel 是微软开源的智能体与多智能体开发 SDK,帮助开发者在应用中编排大模型、工具、记忆与规划。它以插件(可由原生代码、提示模板、OpenAPI 规范或 MCP 定义)为扩展单元,支持把多个专职智能体组合成协作工作流,并集成 Azure AI Search、Elasticsearch、Chroma 等向量库,支持文本、视觉、音频多模态。提供 Python、.NET、Java 三套 SDK,可对接 OpenAI、Azure OpenAI、Hugging Face、Ollama、ONNX 等模型,面向可观测、安全与稳定 API 的企业场景。采用 MIT 许可;官方已说明其正向 Microsoft Agent Framework 演进,选型时需关注后续路线。

先看限制·官方正迁移至 Agent Framework,长期路线需评估 仅是 SDK,不含托管运行时与界面 默认连接器面向海外模型,需另配国内端点 轻量脚本或单次调用引入 SDK 偏重

MLflow 是一个开源的 AI/ML 工程平台,覆盖从传统机器学习到大模型、Agent 应用的完整生命周期。经典能力包括实验追踪、模型注册表与部署;近年扩展出面向 LLM 与 Agent 的能力:基于 OpenTelemetry 的链路追踪、内置多种指标与 LLM 裁判的评估、Prompt 版本管理与优化,以及统一多家模型供应商、带限流与成本控制的 AI Gateway。它与 LangChain、OpenAI、Anthropic 等数十种框架集成,可本地运行,也可用 Docker/Kubernetes 自托管或对接 Databricks、SageMaker、Azure ML。采用 Apache 2.0 许可,适合统一管理模型训练、评估与线上可观测的团队。

先看限制·只想要开箱即用托管服务的团队需自行运维部署 非常轻量的单脚本项目引入平台会显偏重 企业级权限等深度托管能力多在 Databricks 商业版 不提供模型训练算力,需自备计算与存储资源

Continue 是一个开源的 AI 编程助手/代理,以 VS Code 扩展、JetBrains 插件和命令行工具(npm 包 @continuedev/cli)形式提供,帮助开发者在编辑器内做代码生成、补全、改写与对话式协作,并可自配模型与上下文来源,数据与基础设施由用户掌控。代码库以 TypeScript 为主,采用 Apache 2.0 许可。需注意:据官网,Continue 团队已被 Cursor 收购,continuedev/continue 仓库已转为只读、不再活跃维护(2026 年 6 月发布最终 v2.0.0),但开源代码库仍公开可用,可作为他人构建的基础。选型时应把它视作可自控的开源底座,而非有持续官方支持的产品。

先看限制·官方仓库已只读、停止活跃维护,长期用须自担维护 团队已被 Cursor 收购,后续路线以 Cursor 为准 本身不含模型,需另配模型 API 或本地推理 要开箱托管、持续官方支持的用户不合适

OpenHands 是一个可自托管的编码智能体控制中心,用于运行和编排执行开发任务的 AI 智能体。它可将智能体运行在本地、Docker、虚拟机或云端后端;除自带智能体外,也兼容 Claude Code、Codex、Gemini,或任何 ACP(Agent-Client Protocol)兼容智能体,不绑定特定大模型供应商。除交互式会话外,它支持按定时计划或 Webhook 事件触发的自动化工作流,可对接 Slack、GitHub、Linear、Notion 等服务,用于报告生成、issue 拆解、代码评审等重复研发工作。项目以 Python 与 TypeScript 为主,核心采用 MIT 许可(enterprise 目录另有企业许可),并提供 OpenHands Cloud 与企业版托管选项。

先看限制·想要零运维开箱即用 SaaS 的团队:自托管需自行部署与维护 不具备容器/虚拟机运维能力的团队:沙箱执行依赖 Docker 或 VM 对智能体自动改代码、执行命令缺乏审查流程的管控场景 预期完全离线的场景:多数能力仍依赖外部大模型 API

Milvus 是面向规模化场景的开源向量数据库,用于存储与检索文本、图像等非结构化数据的向量表示,支撑语义搜索、RAG 与推荐系统。采用存算分离的分布式架构以横向扩展,支持 HNSW、IVF、FLAT、SCANN、DiskANN 等多种索引及量化,兼顾 CPU/GPU 加速,并内置基于 BM25 与稀疏向量的全文/混合检索。多租户隔离到库、集合、分区及分区键级别,支持冷热分层、鉴权、TLS 与 RBAC。可用 Milvus Lite(pip 快速起步)、单机或 K8s 分布式部署,亦有托管版 Zilliz Cloud。采用 Apache 2.0 许可,代码以 Go、C++ 为主。

先看限制·小规模原型用 Milvus Lite 即可,分布式版偏重 分布式部署依赖 K8s 等,运维门槛不低 仅需关键词检索、无向量需求时不必引入 GPU 加速需相应硬件,纯 CPU 下性能有上限

LangChain 是构建大模型应用与 Agent 的开源框架,核心思路是把模型、嵌入、向量库、外部工具等抽象成可互换的组件再链接起来,从而不必为每个 LLM 应用从零拼装。它提供统一的模型与向量存储接口、丰富的第三方集成,以及在不同模型间切换的能力,配套 LangGraph、Deep Agents 做更复杂的 Agent 编排,并可用商用的 LangSmith 做调试与可观测。该仓库以 Python 为主(另有独立的 JS/TS 版本),采用 MIT 许可。它更适合作为 RAG、检索增强与 Agent 系统的开发底座,而非开箱即用的成品应用。

先看限制·想要开箱成品、不写代码的用户不适合 抽象层较多,轻量需求可能反而更重 生产可靠性需自行做工程加固与评估 默认集成多为境外模型,需自行改接国内

Apache Airflow 是社区维护的开源工作流编排平台,用纯 Python 代码定义、调度与监控工作流。工作流以有向无环图(DAG)表达,调度器按依赖关系在一组 worker 上执行任务,内置面向 GCP、AWS、Azure 及大量第三方系统的 operator。核心理念是动态(代码即管道)、可扩展(自定义 operator)、灵活(Jinja 模板参数化),并提供 Web UI 做监控与运维。适合数据/ML 管道、批处理与基础设施编排;官方明确它不是流式处理方案,任务间大数据量传输应交给外部专用服务。采用 Apache 2.0 许可,可私有化部署于 PyPI、Docker 或 Kubernetes。

先看限制·不适合实时流式处理(官方明确非 streaming 方案) 任务间大数据量直传不推荐,应委托外部专用服务 轻量定时脚本用它会引入调度器/元库等较重依赖 需开箱即用托管的团队须另选 MWAA/Composer 等

Aider 是一个在终端中运行的 AI 结对编程工具,可用于新建项目或改进既有代码库。它会为整个代码库建立索引地图,以便在较大项目中定位相关文件;完成修改后自动生成语义化的 git commit,便于用常规 git 工具查看 diff、管理与回滚。Aider 兼容 Claude 3.7 Sonnet、DeepSeek R1 与 V3、OpenAI o1/o3-mini/GPT-4o 等主流模型,也支持本地模型。它支持 100 多种编程语言,内置 lint 与测试自动化、语音转代码、图片与网页作为上下文,以及通过 watch 模式监听代码注释触发修改的 IDE 协作方式。项目用 Python 编写,以 pip 安装,开源免费,采用 Apache-2.0 许可。

先看限制·依赖外部模型 API,需自备密钥与额度 面向命令行,不提供图形化界面 生成结果仍需人工审查与测试 接入 Claude、OpenAI 等海外模型访问受限

开源 LLM 应用开发平台,把提示编排、Agent、RAG 知识库、可观测与发布打包成一套可自部署的后端。提供三种形态:Apache 派生许可的社区版(Docker 部署)、托管的 Dify Cloud、面向企业的自部署版(SSO、RBAC、审计日志)。定位是让团队把 AI 应用从原型推到能运维的生产系统,而不只是跑通一个 Demo。

先看限制·只要一个简单问答机器人、不打算运维后端时,托管 API 更轻 需要对推理链路做深度定制时,平台化抽象反而掣肘 对延迟和成本极度敏感、要贴着底层调的场景

Weaviate 是一款开源的向量数据库(BSD-3 许可),以对象与向量一体存储为核心,支持语义向量检索与 BM25 关键词检索的混合查询、结构化字段过滤、重排序与生成式检索(RAG)。面向生产,内置多租户、复制、基于角色的访问控制(RBAC)、向量量化压缩与对象 TTL。对外提供 REST、gRPC、GraphQL 三类接口,官方客户端覆盖 Python、JavaScript/TypeScript、Java、Go、C#/.NET。可通过 Docker、Kubernetes 自托管,亦有 Weaviate Cloud 托管服务与 AWS/GCP Marketplace 分发。向量化既可接 OpenAI、Cohere、HuggingFace、Google 等模型自动生成,也可直接写入预计算好的向量。

先看限制·不适合只想要一个开箱即用、零运维向量检索的小团队——自托管意味着要自行负责部署、扩容、备份、监控与升级 若团队没有 K8s 或向量库运维能力,自建成本可能高于直接用国内云厂商的托管向量检索或数据库内置向量能力 数据量很小(几万到几十万条)、查询并发低的场景,用嵌入式或轻量方案(如 Chroma)、或 Postgres 加 pgvector 往往更省事 若企业倾向全托管且能接受数据出域,Weaviate Cloud 是一个选项,但对数据必须留在境内的场景不合适 它是检索与存储层,本身不提供文档切分、抽取、Agent 编排等上层能力,这些仍需自行或用其他框架补齐,把它当成完整的 RAG 应用平台会有落差

vLLM 是源自加州大学伯克利分校 Sky Computing Lab、现由社区维护的开源大模型推理与服务引擎。核心 PagedAttention 把 KV 缓存按页管理,提升显存利用率与并发吞吐;配合连续批处理、分块预填充与前缀缓存,在同等 GPU 上承载更多并发。支持张量/流水线/数据/专家并行,从单卡扩展到多机多卡;量化覆盖 FP8、INT8/INT4、GPTQ、AWQ、GGUF,解码支持束搜索与投机解码。内置 OpenAI 兼容 API,并支持多 LoRA、结构化输出与工具调用。兼容 Hugging Face 上 200+ 模型架构,硬件覆盖 NVIDIA/AMD/Intel GPU、CPU 及 TPU、Intel Gaudi、华为昇腾等。以 Python 库自托管部署。

先看限制·不适合只想在个人电脑或本地快速试玩模型、不愿处理 GPU 与服务化的用户,那类需求 Ollama 更省心 没有 GPU、仅靠 CPU 做低频调用的场景,vLLM 的收益有限,配置也偏重 若团队只需调用云端闭源 API(如直接用 OpenAI、DeepSeek 托管服务)、并不自建推理,则用不到本引擎 需要在多家模型供应商间做统一路由、计费与容灾的是网关类工具(如 LiteLLM),vLLM 不承担这层职责,也不做可观测或评测(那是 Langfuse 一类) 它是推理执行层,不含训练、微调与数据标注流程;不希望承担集群运维、显存调优与版本升级成本的小团队,应优先考虑托管方案

面向大模型的数据预处理(ETL)工具。开源 Python 库(Apache 2.0)把 PDF、HTML、XML、JSON、邮件、Word、PPT、图片、扫描件等 60+ 种格式,自动识别类型并解析成结构化元素(标题、段落、表格等),再做分块、清洗、富化与嵌入,产出适合喂给 LLM 与向量库的干净数据。开源库负责核心分区解析;生产级的高级分块、表格/图像富化、连接器与低代码管线以商业平台(Serverless API 与企业平台)提供。可作为 Python 库本地用、Docker,或通过 MCP Server 接入 Agent。

先看限制·只处理少量、格式规整的纯文本,或框架已自带够用的加载器,单独引入 Unstructured 收益有限 它解决的是解析与预处理这一段,不含向量检索、重排序或对话——要端到端知识库问答,得再配 RAGFlow 一类检索引擎或自建检索层 要通用业务流程自动化是 n8n 的范畴;要可视化搭 Agent 是 Flowise、Langflow 的范畴 开源库与商业平台有边界:高级分块、表格/图像富化、大量连接器与低代码管线、7×24 运维放在付费的 Serverless API 与企业平台,开源库提供的是核心分区能力,若期望装上就有生产级全套会与实际有落差 对超大规模、强 SLA 的持续摄取,自己用开源库搭管线的运维成本不低,商业平台更省心但涉及计费与数据流向评估