返回 AI 工具目录
LLama Cpp Agent
开发框架人工精选最近核验 2026年7月23日
llama-cpp-agent 是一个围绕 llama.cpp 的 Python 框架,为本地大模型提供对话、函数调用、结构化输出、检索增强生成(RAG)与基于工具的智能体链。核心思路是用受约束的引导式采样(grammar 与 JSON schema),即便模型未针对函数调用或 JSON 输出微调,也能稳定产出结构化结果。支持单次与并行函数调用、结构化对象生成、含 ColBERT 重排的 RAG,以及会话链、顺序链、映射链等多种智能体链。后端可对接 llama.cpp server、llama-cpp-python、TGI、vLLM 及 OpenAI 兼容服务。注:作者已声明不再维护,建议改用 ToolAgents 等框架;以 Python 编写,采用 MIT。
定价开源部署本地运行、自托管国内可达国内可达
解决什么问题
- 为本地 llama.cpp 模型补齐函数调用与结构化输出
- 用 grammar 与 JSON schema 约束模型稳定产出
- 未微调的中小模型也可做工具调用
- 内置含 ColBERT 重排的 RAG 流程
- 提供会话、顺序、映射等多种智能体链
适合
- 想在本地或离线用 llama.cpp 跑结构化输出与工具调用
- 已用 llama-cpp-python、vLLM、TGI 等后端
- 需要在中小模型上稳定拿到 JSON 结果
- 做本地优先、注重数据不出域的原型
不适合
- 作者已声明停止维护,建议转 ToolAgents
- 最后版本停留在 2024 年年中,生态可能滞后
- 面向 Python 开发者,非零代码工具
- 能力取决于本地模型,复杂任务上限有限
如何接入
- 后端可接 llama.cpp server 与 llama-cpp-python
- 也支持 TGI、vLLM 及 OpenAI 兼容服务
- 以 Python 库形式集成进自有应用
- 用 grammar 或 JSON schema 定义结构化输出
已知限制
- 项目已停止维护,不建议用于新生产系统
- 版本与依赖较旧,需自行验证兼容性
- 引导式采样对不同后端支持程度不一
- 效果受本地模型规模与量化质量制约
接入与使用事实
- 部署方式
- 本地运行、自托管
- 实现语言
- Python
- 中文界面
- 待确认
- 中文文档
- 待确认
- 定价方式
- 开源
- 许可证
- 待确认
- 国内可达性
- 国内可达
- 可达性观察
- 待补充
权限、依赖与维护信号
这些字段记录公开可见信号，不等同于安全审计结论。
权限信号
暂无公开信号。
依赖信号
暂无公开信号。
维护信号
暂无公开信号。
公开来源与证据
暂无可公开的来源链接。