meng shao

今天晚上一直很恍惚，有点缓不过神来。 因为下午见了一位前同事，也是程序员，做嵌入式开发，比我小三岁 36，昨天他刚刚被优化了。 他说，在这家公司三年多了，优化赔偿了 4 个月工资。他说，到年底都带薪了，明显能感觉到，说到这，他的声音不一样了。然后，哽了几秒，他说，这可能是我最后一笔工资了。 他这周就要在深圳退租，回老家了。还会不会回来呢？感觉不容易了。

智谱蒸馏已经成为行业典范了吗 😀 https://t.co/OS6qzPhqrP

对中国的短剧和短视频真的是极度厌恶！！ 这两天看到写张一鸣的报道，原文记不清了，大概是说：普通人不需要效率和进步，他们需要精神麻痹，来逃离现实的苦难。 乍一看这位大佬还挺通透的，实际去想，这不就是字节跳动，这个 App 工厂榨干中国人精神的毒品式做法吗？ 他们用中国人的时间，来换取自己的商业价值，为了能让人沉迷在 App 中多刷几个视频，居然把推荐流做到了一流水平，技术无罪，可明知这些技术是用来控制人的精神让人沉迷而为之，嗯。。。再通过金钱在创作侧刺激创作者创作引人眼球让人沉迷的作品，最后字节和创作者达成了出奇的一致：用户的时间，每一秒我都要！！ 从抖音到红果，无不是拿用户沉迷的时间换…

Hugging Face 团队投入 ~80 万 GPU 小时开展实验，整理成免费开放的「终极 MoE 训练手册」 全文约 7 万词，配有 55 个交互图示、可运行代码和实际实验数据，围绕训练团队最常遇到的问题展开：专家数量与大小怎么选、跨卡通信为何拖慢训练、路由与负载均衡如何设置，以及该从稠密模型改造还是从头训练。是一份把分散的 MoE 训练经验系统公开、供实践者反复查阅的工程指南。 https://t.co/CBHSGqSAnY MoE 到底省了什么 MoE 把部分前馈网络换成多个专家，由路由器为每个 token 选择其中几个，再合并它们的输出。因此，模型可以增加总参数量，而不按相同比…

https://t.co/Es62UVWrIb