量子位·· 6 小时前精选AI 评估 · 80/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
岩山科技旗下岩芯矩阵联合港科大、CMU开源EdgeRock-4B，KV Cache减少99.1%
内存还会跌吗？KV Cache砍掉99%，单卡吞吐飙6倍，港科大、CMU联手岩山科技开源新模型
AI 导读
岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B，在256K上下文下KV Cache固定为72MiB，相比源模型减少99.1%。该模型基于Qwen3.5-4B分阶段转换而来，无需从头预训练，单张80GB GPU可跑512路长推理，输出吞吐12124 tokens/s，为源模型的6.42倍。
推荐理由
读者可了解一种把长推理内存占用固定下来的改造思路，以及它在吞吐与推理能力上的实测取舍。
来源：量子位 · mp.weixin.qq.com