AI前线·· 8 小时前AI 评估 · 57/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
华为发布 OceanStor M900 AI 记忆存储,单集群容量达 64PB
显存不够、内存太贵,KV Cache 越堆越大:华为给出自己的新解法
AI 导读
华为发布 OceanStor M900 AI 记忆存储,定位 L3.5 层,把 KV Cache 从显存、内存扩展到 SSD,单集群容量 64PB,单 NPU 可用 KV Cache 从 GB 级提升到 TB 级。
来源:AI前线 · mp.weixin.qq.com