一张 RTX 4070 Ti 12GB，就跑出了中文约 147 token/s、代码约 229 token/s 的 27B 模型。短输入时，本地生成一段几百 token 的回答，只需要几秒。模型下载并配置好后，可以在自己的电脑上离线对话。
这里用的是 Qwen3.8-27B 衍生的 Bonsai 2 三元模型，仍是 27B 稠密模型，但换了更省显存的权重。下面先看实际速度，再用 Windows 图形版把它装起来。
12GB 显卡，实际跑到了什么水平？
2026 年 10 月 3 日，这台 RTX 4070 Ti 12GB、约 32GB 内存的电脑留下了下面的运行记录：
| 短输入任务 | MTP 配置 | DFlash2 配置 |
|---|---|---|
| 中文回答 | 约 107 token/s | 约 147 token/s |
| 代码生成 | 约 123 token/s | 约 229 token/s |
MTP、DFlash2 是两种加速配置，先记住结果就够了。token 是模型生成文字的计量单位，不能直接当成汉字数。中文那次生成了 512 token，整个请求约 3.61 秒。
对 12GB 显卡来说，它已经达到短文本和代码生成都能超过 100 token/s 的速度。可以拿来尝试本地问答、改写、整理材料和生成代码。这些数字衡量速度，不代表回答质量已经超过云端旗舰模型。
表格是历史单次测试的解码速度，两套配置整体不同。下文安装的是当前图形版，使用现成模型包；本站尚未用这套新安装组合重测，不能把表中速度当成安装后的保证值。
先看电脑能不能装
- 系统：64 位 Windows 11。
- 显卡：这套启动器支持 NVIDIA RTX 30、40、50 系列；本文的实测机器是 RTX 4070 Ti 12GB。
- 内存：本文机器约 32GB；下方模型包标注需要 16GB 系统内存，运行时还要给 Windows 和其他程序留空间。
- 磁盘：要容纳约 7.13GB 的模型文件、引擎和程序，下载前预留好空间。
显卡驱动先更新到安装器要求的版本。这套程序不适用于 AMD、Intel 显卡或更老的 GTX。
第一步：只下载一个安装程序、一个模型
安装程序：打开 Local Models 0.4.1beta 发布页，在 Assets 里下载：
LocalModels-Setup-0.4.1beta.exe
第一次安装选 Setup；Update 是给已安装用户的更新包，Source code 是源码。
模型文件：打开项目作者提供的 123 云盘模型包，进入“模型包”文件夹。12GB 显卡可以先选标注 10GB 显存的 MTP-only 版本：
Ternary-Bonsai-2-27B-ninfer-v3-mtponly_vram10g+ram16g.ninfer
本次核对时文件约 7.13GB。同一个目录里还有标注 16GB、20GB 显存的模型，12GB 卡先别选那些。这个文件用于先跑通本地聊天，与上表测速使用的 CRACK 权重不是同一份。
第二步：安装程序，把模型放进去
- 双击下载的 Setup，按向导安装。
- 到“硬件检查”时，确认检测到的是你的 NVIDIA 显卡。
- 到“引擎包”页面，下载安装器为显卡选择的引擎。它会自动匹配架构，不需要自己装 Python、Node.js 或编译环境。
- 安装完成后，把刚才的
.ninfer模型文件复制到安装目录的models文件夹。
默认位置是：
C:\Program Files\Local Models\models\如果安装时换了目录，就用你自己的安装位置。第一次只放这一份模型，方便确认载入的是哪一个；不需要把 GGUF 文件改后缀放进去。
第三步：载入模型，打开聊天页面
- 从桌面或开始菜单打开 Local Models。窗口收起时，可以在系统托盘找到它。
- 进入控制模型，点载入模型，等日志显示载入成功。
- 点打开模型，或者在浏览器打开 http://127.0.0.1:8096/。
- 输入下面的小任务，确认能正常回复，再尝试自己的材料。
用三句话解释大模型的 token 是什么，再给一个适合零基础读者的例子。不要使用专业术语堆砌。
想试代码生成，可以换成：“写一个只用 Python 标准库的脚本，读取 CSV 并统计每列空值；给出完整代码、运行方法和一个输入输出例子。”生成后仍要自己运行检查。
第一轮先用短问题，磁盘 KV 缓存保持默认关闭。确认聊天顺畅后，再增加材料长度。安装、载入和聊天流程依据 项目当前说明整理。
最常见的三个卡点
- 提示没有模型：确认文件在安装目录的 models 文件夹里，扩展名确实是
.ninfer，不是压缩包或 GGUF。 - 载入时显存不足：先关闭占显存的程序，确认没有选到 16GB、20GB 档模型。仍失败时，把“控制模型”里的完整报错和显卡型号发给项目维护者，按对应显存的配方调整。
- 聊天网页打不开：先看模型是否载入成功，程序是否仍在托盘运行，再检查本机地址和端口。
想看 100+ token/s 的实测条件和进阶资料，再展开这里
历史测试使用 Bonsai 2 的 CRACK PQ2 衍生权重、NInfer KVMem 20261002 sm89 引擎。单请求、temperature=0、关闭思考；比较的是 MTP3 配置与 DFlash2 K12 配置，常驻窗口 16K、逻辑上下文 262144。两套参数不完全相同，不能把差值全部算作 DFlash 的单独收益。
这些速度来自短输入。约 44K token 输入时，记录中的解码约 84 token/s，读入材料约 38 秒；约 128K 输入时，解码约 60 token/s，读入材料约 233 秒。很长的文档会明显增加等待时间。Cline、OpenCode 的历史任务还出现过重复工具调用，尚未确认稳定解决。
查看完整测速条件和记录。主引擎后来已升级，但本文没有把旧成绩标成新版实测。
想研究底层配方，可以看 ninfer-fusion-kvmem；Windows 图形启动器是 Local Models；上游推理引擎为 NInfer。模型谱系可对照 Bonsai 2 模型说明。
下载入口与项目说明核对：2026-10-23。速度记录日期：2026-10-03。