返回 AI 工具目录
TNN
开发框架人工精选最近核验 2026年7月23日
TNN 是腾讯优图实验室与光影实验室开源的统一深度学习推理框架,以 BSD 3-Clause 协议发布,覆盖移动端、桌面与服务器。它面向资源受限设备优化推理性能与内存占用:支持 INT8/FP16 低精度计算,内置 Winograd、Tile-GEMM、Direct Conv 等多种卷积算法,以及算子融合与内存池优化;通过 ONNX 兼容 TensorFlow、PyTorch、Caffe 等训练框架导出的模型。跨平台覆盖 Android、iOS、嵌入式 Linux、Windows,硬件支持 ARM、X86、NPU 及多家 GPU。核心以 C++ 实现,定位是国产多端高性能推理引擎。
定价开源部署本地运行、自托管国内可达国内可达
解决什么问题
- 在移动与边缘设备上高效运行推理模型
- INT8/FP16 低精度计算降低算力与内存开销
- 多种卷积算法与算子融合提升推理性能
- 通过 ONNX 兼容主流训练框架导出的模型
- 跨 Android、iOS、Linux、Windows 多平台部署
适合
- 在手机或嵌入式设备上做端侧推理的团队
- 对包体积与内存占用敏感的移动应用
- 已有 TF/PyTorch/Caffe 模型需转端侧部署
- 需要国产、可自主可控推理引擎的项目
不适合
- 是推理引擎,不负责模型训练环节
- 模型需先转为 ONNX 再接入,有转换成本
- 性能依赖具体硬件与算子支持覆盖度
- 新算子或特殊结构可能需自行适配
如何接入
- 将训练模型转换为 ONNX 再导入 TNN
- 以库形式编译进 Android、iOS 或桌面应用
- 按目标硬件选择 ARM、X86、NPU、GPU 后端
- 提供 Python 等工具做模型转换与验证
已知限制
- 仅覆盖推理,训练需用其他框架完成
- 模型转换与算子适配需要工程投入
- 不同硬件后端的算子支持程度不一
- 端侧调优对工程经验有一定要求
接入与使用事实
- 部署方式
- 本地运行、自托管
- 实现语言
- C++、C、Python
- 中文界面
- 待确认
- 中文文档
- 待确认
- 定价方式
- 开源
- 许可证
- 待确认
- 国内可达性
- 国内可达
- 可达性观察
- 待补充
权限、依赖与维护信号
这些字段记录公开可见信号，不等同于安全审计结论。
权限信号
暂无公开信号。
依赖信号
暂无公开信号。
维护信号
暂无公开信号。
公开来源与证据
暂无可公开的来源链接。