跳到正文
原文
核心模型与趋势·· 3 小时前AI 评估 · 65/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。

小红书 Dots 团队提出 DoSA,将百万 token 上下文首 token 延迟降低约 37% 至 48%

提速不降智,小红书DoSA将首token延迟减半

AI 导读

小红书 Dots 团队自研的 DoSA 利用分数上下界加速稀疏注意力的索引器,在保持原始 Top-K 选择结果的前提下提前过滤约 97% 的候选。在约 1M token 上下文下,Dots3-Note-preview、GLM-5.2 和 DeepSeek-V3.2 的首 token 延迟较各自的 SGLang 基线分别降低约 37%、46% 和 48%。

来源:核心模型与趋势 · mp.weixin.qq.com