Colibri：在25GB内存的普通电脑上运行744B参数大模型

当所有人都认为运行千亿参数大模型需要昂贵的服务器时，Colibri 用一个轻巧的 C 语言程序打破了这个认知。它让你在仅 25GB 内存的普通消费级电脑上，运行 744B 参数的 GLM-5.2 MoE 模型。

Colibri 是什么？

Colibri 是一个纯 C 语言编写的大模型推理引擎，零外部依赖。它通过"流式加载专家模块"（streaming experts from disk）的技术，让超大规模 MoE 模型在内存受限的设备上也能运行。

GitHub 地址：https://github.com/JustVugg/colibri

核心特性

极低资源消耗：25GB 内存即可运行 744B 模型

纯 C 实现：零依赖，编译即用

磁盘流式加载：不需要把全部参数加载到内存

跨平台支持：Windows、macOS、Linux 都能跑

Apache 2.0 开源许可：商业使用无限制

技术原理

Colibri 的核心创新在于它的"专家流式加载"机制：

传统推理需要将整个模型加载到显存或内存中，对于 744B 的模型，这需要数百 GB 的内存。但 Colibri 利用了 MoE 架构的特性——每次推理只需要激活一小部分"专家"模块。

它只在需要时才从磁盘加载对应的专家模块到内存，用完之后立即释放。这样即使总参数量巨大，实际占用的内存也只在 25GB 左右。

性能表现

| 模型 | 量化 | 内存占用 | 生成速度 |
|------|------|---------|---------|
| GLM-5.2 744B | int4 | ~25GB | 2-3 tokens/s |
| GLM-5.2 744B | int2 | ~15GB | 3-5 tokens/s |

虽然生成速度不如云端 API，但对于不需要实时响应的场景（如批处理、研究实验），已经足够实用。

快速开始

编译和运行

bash

# 克隆项目
git clone https://github.com/JustVugg/colibri
cd colibri

# 编译
make

# 下载模型权重
# （需从 GLM 官方获取）

# 运行
./colibri -m model_path -p "你的提示词"

应用场景

学术研究：在普通实验室服务器上进行 LLM 研究

隐私敏感场景：完全本地运行，数据不外传

离线环境：不需要联网即可使用顶级模型

成本敏感项目：无需租用昂贵的 GPU 服务器

总结

Colibri 代表了开源社区在 AI 民主化方面的最新突破。它证明了运行顶级大模型不一定需要顶级硬件——只要有好的工程实现，普通电脑也能发挥超大模型的潜力。

推荐指数：⭐⭐⭐⭐⭐

项目地址：https://github.com/JustVugg/colibri