返回 AI 工具目录

Unsloth

开发框架人工精选最近核验 2026年7月23日

Unsloth 是一个专注于加速大语言模型微调的开源 Python 库,通过手写 Triton 内核在单张 NVIDIA GPU 上实现更快、更省显存的训练。它支持 LoRA/QLoRA、全参数微调、GRPO 强化学习与继续预训练,覆盖文本、视觉、音频等 500+ 主流开源模型(Llama、Mistral、Gemma、Qwen、DeepSeek 等)。官方文档称可比常规实现快约 2 倍、显存降低约 70%,MoE 与 GRPO 场景节省更高。它与 Hugging Face transformers/TRL、PyTorch 集成,微调后权重可导出为 GGUF、vLLM、Ollama 格式用于推理。核心以 Apache 2.0 开源,另有本地训练/推理的 Studio 界面(部分组件 AGPL-3.0)。

定价开源部署本地运行、自托管国内可达国内可达性待核验许可Apache-2.0

解决什么问题

  • 在消费级或单张 GPU 上完成大模型微调,降低显存与算力门槛
  • 以更快速度、更低显存跑 LoRA/QLoRA、全参微调与 GRPO 强化学习
  • 把 PDF/CSV/文档转成训练数据,简化数据准备
  • 训练后导出 GGUF/vLLM/Ollama 格式,衔接推理部署

适合

  • 手上只有单张或少量 NVIDIA GPU,想微调开源模型
  • 需要在有限显存下做 LoRA/QLoRA 或 GRPO 等强化学习
  • 已用 Hugging Face transformers/TRL 训练,想提速并省显存
  • 需要把微调结果导出到 llama.cpp、vLLM、Ollama 部署

不适合

  • 闭源商用大模型无法微调,仅适用于可获取权重的开源模型
  • 对硬件有门槛,主要面向 RTX 30/40/50 等较新 NVIDIA 显卡
  • 非推理服务框架,大规模在线推理仍需 vLLM 等另行搭建
  • 多卡与分布式训练支持仍在完善,超大规模训练非其强项

如何接入

  • 以 Python 库引入,替换 Hugging Face 训练流程中的模型加载与训练
  • 兼容 transformers、TRL、PyTorch,改动量小
  • 可在本地、自有服务器或 Google Colab/Kaggle 笔记本运行
  • 产物导出为 GGUF、safetensors,对接 vLLM、Ollama、llama.cpp

已知限制

  • 显著加速主要在单 GPU 与特定模型架构上,受内核覆盖范围限制
  • 需匹配特定 CUDA/PyTorch 版本,环境配置有一定门槛
  • Studio 界面部分功能为 AGPL-3.0 或需付费,并非全部免费
  • 官方性能数字为特定条件下测得,实际提速随模型与配置而变

接入与使用事实

部署方式
本地运行、自托管
实现语言
Python
中文界面
待确认
中文文档
待确认
定价方式
开源
许可证
Apache-2.0
国内可达性
国内可达性待核验
可达性观察
待补充
查看代码仓库

权限、依赖与维护信号

这些字段记录公开可见信号，不等同于安全审计结论。

权限信号

暂无公开信号。

依赖信号

暂无公开信号。

维护信号

暂无公开信号。

公开来源与证据

  1. 代码仓库仅作事实索引
    查看来源

访问官网