yibie

原来 2 天前就有用户提议 Strata 开发者期待可以添加 strata-mlx 的支持。 经过 2 天的研究后，他的结论就是「No need, mac support with one day!」 https://t.co/UqX5M7Zjzv 这德性，以前不是穷要饭的吧？这么小气。 我管你 need 不 need 的，关我屁事，我本来只是出于研究的兴趣，才发起这个项目。 我研究的东西多了去了，不光 strata 那么一个。 不信可以看我的 Github 主页：https://t.co/maqRjbJ1lD

strata-mlx 更新：优化权重读取速度，提升 48GB 或以下 Mac 设备的响应速度 效果（来自一位用户的 32 GB MacBook Air M5 真机实测）： ・8K token 的提示，45.7 秒 → 31.5 秒 ・结果与原来逐位相同 ・读到一半取消，1 秒内响应（原来要等一整块） 提升长提示的读取速度：之前提示被切成多块，每一块都要把每层的权重从 SSD 重新读一遍，现在改为分层读取，每层的权重只读一次。 提升 n-gram 表的读取速度：冷启动时每 8K token 原来要多花 13 秒，改成并行预读后不到 1 秒。 影响范围：只在专家权重需要从 SSD 读的机器…

strata-mlx 更新：合并了社区贡献者 vendyluo 的两个 PR，写回答更快了。 M5 Ultra 上带草稿头写回答（作者实测，256 token，三轮取中位数）： ・Q2_0：中文 86 → 110 tok/s，代码 127 → 170，英文散文 127 → 156 ・IQ3_S：中文 95 → 112 tok/s，代码 127 → 161，英文散文 118 → 137 PR 9：把一次前向里十组互相等待的小内核合并，输出与原来逐位一致。M4 Max 上每次前向 1 个 token 22.5 → 20.8 ms，4 个 token 35.0 → 31.6 ms。 PR 1…

Apple 的机器学习团队发了一篇实测：用 MLX 加 RDMA over Thunderbolt，在 Mac Studio 上跑近万亿参数的前沿模型——从一台起步，再横向堆到多台。 单机能跑多大：Qwen 3.8 27B 和 Mistral Medium 3.5 128B 在 512GB 统一内存的 Mac Studio 上都放得下，大上下文时分别占 68GB 和 158GB 内存。他们用三个指标衡量：首字延迟 TTFT、生成速度（token/秒）、和峰值功耗，上下文取 8,192 与 65,536 两档。 性能的瓶颈分两种。TTFT 基本是算力瓶颈，这正是 M5 Ultra GPU 里…

📋 awesome-autoresearch 周期巡检 本轮新增 5 条（622 → 627）： 1. vllm-autotune（软件系统优化）：外部编码 agent 在真实 GPU 机器上自动循环调 vLLM 服务参数，你只提供目标与预算。它的设计最值得记：整个仓库对 agent 只留一个可写文件 config.yaml，其余全是只读 harness ——「改动面小，实验结果可审计」。 2. Autoresearch on a budget（评估与红队）：研究一个小模型如何使用「来自前沿模型的受限建议」，跑 SWE-rebench，CI 里带离线验证。 3. Learner Ag…