NVIDIA Technical Blog· Michelle Horton·· 4 小时前AI 评估 · 22/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
ReplaySSM:重新思考混合模型解码的状态存储
ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding
AI 导读
NVIDIA 提出 ReplaySSM,针对 SSM 层与少量注意力层交替的混合模型,重新设计状态存储以加速解码。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3、GLM-5.3-Flash 均采用此类架构,SSM 层使用 Mamba-2、Gated DeltaNet(GDN)或 Kimi Delta Attention(KDA)。
来源:NVIDIA Technical Blog · developer.nvidia.com