返回 AI 工具目录
ray-llm
基础设施人工精选最近核验 2026年7月23日
RayLLM(ray-llm)曾是基于分布式计算框架 Ray 的大模型部署与服务项目,提供面向 LLM 推理与数据处理的封装 API。该仓库已于 2025 年 3 月归档,不再单独维护;其能力已合并进 Ray 主线,由 Ray 团队通过 ray.serve.llm(在线部署)与 ray.data.llm(批量数据处理)两套 API 继续提供。若需在生产中用 Ray 做 LLM 服务与扩缩容,应直接参考 Ray 官方文档与上述新 API,而非使用此归档仓库。项目以 Python 为主,归属 Ray 生态,遵循 Apache-2.0 许可。
定价开源部署自托管国内可达国内可达
解决什么问题
- 在集群上部署与扩展 LLM 推理服务
- 统一封装 LLM 服务与数据处理流程
- 借助 Ray 做分布式与自动扩缩容
- 复用 Ray 生态的调度与资源管理
适合
- 已采用 Ray 做分布式计算的团队
- 需要在集群做 LLM 批量推理
- 希望服务与数据管线共用一套框架
- 追求可扩展的自托管推理
不适合
- 仓库已归档,新项目应改用 Ray 新 API
- 不使用 Ray 生态时引入成本偏高
- 小规模单机推理无需分布式框架
- 需要开箱即用产品的团队不适用
如何接入
- 能力已并入 ray.serve.llm 与 ray.data.llm
- 依托 Ray Serve 做在线服务
- 依托 Ray Data 做批量推理
- 可对接 vLLM 等推理后端
- 参考 Ray 官方文档做迁移
已知限制
- 原仓库已归档,停止独立更新
- 需迁移到 Ray 主线的新接口
- 运维分布式集群有一定门槛
- 依赖 Ray 版本与生态兼容性
接入与使用事实
- 部署方式
- 自托管
- 实现语言
- Python
- 中文界面
- 待确认
- 中文文档
- 待确认
- 定价方式
- 开源
- 许可证
- 待确认
- 国内可达性
- 国内可达
- 可达性观察
- 待补充
权限、依赖与维护信号
这些字段记录公开可见信号，不等同于安全审计结论。
权限信号
暂无公开信号。
依赖信号
暂无公开信号。
维护信号
暂无公开信号。
公开来源与证据
暂无可公开的来源链接。