bitnet.cpp

bitnet.cpp 是微软开源的 1-bit 大语言模型官方推理框架,面向 BitNet b1.58 这类 1.58-bit 模型,提供在 CPU 与 GPU 上快速、无损的推理内核。它构建在 llama.cpp 之上,通过优化内核降低推理延迟与能耗:官方称在 ARM CPU 上取得 1.37x 至 5.07x、在 x86 CPU 上 2.37x 至 6.17x 的加速,能耗下降约 55% 至 82%,并可在单颗 CPU 上运行 100B 规模的 BitNet b1.58 模型,便于在无专用 GPU 或边缘设备上本地部署。支持从 270M 到 10B 的官方与社区模型,含格式转换、基准测试工具与对话模式,GPU 与 NPU 支持在推进中。定位是低比特模型的本地与边缘推理运行时。