SemiAnalysis· Bryan Shan·· 22 天前AI 评估 · 50/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
SemiAnalysis 解读 Engram 嵌入:面向高效 DRAM/SSD 卸载的软硬件协同设计
Engrams Embedding Entendre: Codesign for Efficient DRAM/SSD Offloading
AI 导读
SemiAnalysis 分析了 DeepSeek 式 Engram 多 token 查表嵌入的协同设计思路:每个 token 只访问地址依赖 token ID 的少量嵌入行,运行时可在前层计算时从 host DRAM 预取,使嵌入表无需常驻 HBM。
来源:SemiAnalysis · newsletter.semianalysis.com