返回 AI 工具目录

Forward

开发框架人工精选最近核验 2026年7月23日

Forward 是腾讯开源的 GPU 高性能推理加速框架,能直接加载 PyTorch、TensorFlow、Keras、ONNX 训练好的模型,并转换为优化后的 TensorRT 推理引擎,省去中间格式转换步骤。它支持 FLOAT、HALF、INT8 三种精度,覆盖 CV、NLP、推荐及 BERT、换脸、风格迁移等模型,提供 C++ 与 Python 两套接口,并允许自定义算子扩展。项目以 C++、Python、CUDA 编写,采用 Apache 2.0 许可;需注意其代码更新停留在 2022 年,基于较旧的 TensorRT 7 与 CUDA 10。

定价开源部署自托管、本地运行国内可达国内可达

解决什么问题

  • 直接将主流框架模型转为 TensorRT 引擎
  • 省去中间格式转换的繁琐步骤
  • 支持 FLOAT、HALF、INT8 多精度推理
  • 提供 C++ 与 Python 双接口
  • 覆盖 CV、NLP、推荐等多类模型

适合

  • 在英伟达 GPU 上部署深度学习推理服务
  • 希望借 TensorRT 降低推理延迟的团队
  • 需要 INT8 量化压缩推理成本的场景
  • 已有 PyTorch 或 ONNX 模型待加速

不适合

  • 依赖较旧的 TensorRT 7 与 CUDA 10,新环境需自行适配
  • 项目自 2022 年起基本停更,缺少新特性支持
  • 仅面向英伟达 GPU,其他硬件不适用
  • 需要 C++ 或 Python 集成能力,非开箱工具

如何接入

  • 输入支持 PyTorch、TensorFlow、Keras、ONNX
  • 输出为 TensorRT 推理引擎
  • 提供 C++ 与 Python 调用接口
  • 支持自定义算子扩展
  • 依赖 NVIDIA CUDA 与 TensorRT 环境

已知限制

  • 代码更新停留在 2022 年,维护基本停滞
  • 绑定较旧 TensorRT 与 CUDA 版本
  • 仅支持英伟达 GPU,无跨硬件方案
  • 源码在 GitHub,国内拉取可能较慢

接入与使用事实

部署方式
自托管、本地运行
实现语言
C++、Python、CUDA
中文界面
待确认
中文文档
待确认
定价方式
开源
许可证
待确认
国内可达性
国内可达
可达性观察
待补充
查看代码仓库

权限、依赖与维护信号

这些字段记录公开可见信号，不等同于安全审计结论。

权限信号

暂无公开信号。

依赖信号

暂无公开信号。

维护信号

暂无公开信号。

公开来源与证据

  1. 代码仓库仅作事实索引
    查看来源

访问官网