Wei

我手边也有一台 M4 Mac mini，看到这个组合有点心动。 16GB 的 M4 Mac mini 用 USB-C 外接一张 RTX 3090，跑 Qwen3.8-Flash-Next： 1. 大部分活跃权重放在 3090 上，其余交给 Strata，用 12GB 的 Mac 内存和 256GB 的内置存储 2. 2 bit 量化，200K KV cache 3. decode 约 80 tok/s，整套 $2,800 外接显卡走的是 tinygrad 的方案。2 bit 的质量要打个问号，但 $2,800 能跑 Flash-Next，门槛又低了一截。

NVIDIA 给 Qwen3.8-Flash-Next 出了一个官方本地版，FP4 权重 96 GiB，专门在 RTX PRO 6000 和 DGX Spark 上验过。 精度只掉了一点。GPQA Diamond 91.5%，BF16 原版 92.2%。ToolEvalBench 88.7%，原版 89.4%。 单张 PRO 6000 要把 PLE 那张 n-gram 表放到内存里，FP8 KV 能放 85 万 token。 单台 Spark 的一组实测：decode 从 49 tok/s 起步，32K 上下文时 33，prefill 一直在 2.1K 左右。 我那张 PRO 6000…

DeepSeek V4.1 Flash 现在两台 DGX Spark 也能跑了，配方和权重今天都公开了。 官方权重 510 GB，两台 Spark 加起来只有 256GB 内存。这份配方是这么塞进去的： 1. 15,360 个路由专家按敏感度分别量化到 2 到 5 bit，平均 2.70 bit，从 289 GB 压到约 184 GB 2. 203 GB 的 Engram 表不进内存，查的时候直接从 NVMe 读，所以每台要留约 430 GB 空闲硬盘 3. 两台走 ConnectX-7 线直连，TP=2 单路 decode，开投机解码：写代码 103 tok/s，散文 58.3，结构化…

GLM-5.3-Flash 有 3,210 亿参数，现在一张 RTX 5090 加 96GB 内存就能跑到 30 tok/s 以上。做法是把 MoE 的专家按冷热分到显存、内存和 SSD 三层，常用的放显卡上，不常用的放远一点。 一、为什么专家可以拆开放 按 GLM-5.3-Flash 的 config：45 层，前 3 层是普通 FFN，后面 42 层每层 288 个路由专家，每个 token 只选 8 个，外加 1 个共享专家。 一个专家是三个 4096×2048 的矩阵，约 2,500 万参数。42 层加起来，路由专家约 3,040 亿，占了全部参数的九成以上。 每个 token…

我最近在读一份把单台 DGX Spark 上 Qwen3.8-Flash-Next 从 43.9 做到 67.5 tok/s 的配方，一路读下来，每个改动都对得上本地推理的一个基本原理，我按顺序拆一下。 从 43.9 到 67.5 前后做了六周，配方和原始数据都放在了公开的仓库和论坛帖里。 一、结果 测试脚本用的是前人公开的那套，原样没改，40 个提示词，单路： 1. 中位数 67.5 tok/s（跑了三次：65.2、67.5、67.5），前人公开的配方是 43.9 2. 分类型看：散文 38.5，写代码 70～74，JSON/HTML 77～80 3. 6 路并发合计 90.7（只跑…