LLM 的 2025:进展、问题与预测
2025 年 LLM 发展由推理模型主导,DeepSeek R1 证明推理行为可通过强化学习培养,并以开放权重达到当时顶级专有模型水平。其采用的 RLVR 与 GRPO 成为年度核心训练方法,此后各主要厂商纷纷推出推理变体;DeepSeek V3 的 671B 参数训练成本估算约 500 万美元,R1 在其之上再训约 29.4 万美元。
2025 年 LLM 发展由推理模型主导,DeepSeek R1 证明推理行为可通过强化学习培养,并以开放权重达到当时顶级专有模型水平。其采用的 RLVR 与 GRPO 成为年度核心训练方法,此后各主要厂商纷纷推出推理变体;DeepSeek V3 的 671B 参数训练成本估算约 500 万美元,R1 在其之上再训约 29.4 万美元。
Sebastian Raschka 撰文梳理 DeepSeek V3 到 V3.2 的技术演进,核心变化是 V3.2 沿用 V3.2-Exp 的架构,加入 DeepSeek Sparse Attention(DSA)型稀疏注意力以降低长上下文下的训练与推理成本,注意力复杂度从 O(L²) 降到 O(Lk),其中 k 在官方代码中设为 2048。
梳理从 V3 到 V3.2 的架构与训练变化,读者可对照前代理解稀疏注意力和 RL 的具体改动。
DeepSeek 开源发布 DeepSeek-V3.2 模型与 DeepSeek-V3.2-Speciale 模型,两者均已上传 Hugging Face,同时提供技术仓库链接。
DeepSeek 更新 V3.2 系列 API:V3.2 沿用与 V3.2-Exp 相同的使用方式;V3.2-Speciale 通过临时端点 base_url api.deepseek.com/v3.2_speciale_… 提供,定价与 V3.2 相同,不支持工具调用,可用至 2025 年 12 月 15 日 15:59(UTC)。
DeepSeek 发布 DeepSeek-V3.2 与 DeepSeek-V3.2-Speciale 两款推理优先的模型,面向智能体场景。DeepSeek-V3.2 是 V3.2-Exp 的正式后继版本,已在 App、Web 和 API 上线;DeepSeek-V3.2-Speciale 进一步推高推理能力,目前仅提供 API。
DeepSeek 发布两个正式版模型 DeepSeek-V3.2 和 DeepSeek-V3.2-Speciale,网页端、App 与 API 均已升级为正式版 V3.2,Speciale 仅以临时 API 形式开放供评测研究。
官方给出两个版本的定位与评测差异,读者可据此判断日常使用与高难度任务该选哪一个。
DeepSeek-V3.2-Exp 推理 demo 的早期版本存在 RoPE 实现不匹配问题:indexer 模块的 RoPE 期望非交错输入,MLA RoPE 期望交错输入,可能导致性能下降。该问题已在 deepseek-ai 的 GitHub 仓库修复。
DeepSeek 宣布开源发布新模型,模型权重已上传至 Hugging Face,并同步公开技术报告。官方还放出了用 TileLang 与 CUDA 实现的关键 GPU kernel,并建议用 TileLang 做快速研究原型开发。
DeepSeek 宣布 API 价格下调 50% 以上,即时生效,官方称访问权限不变。为便于对比测试,V3.1-Terminus 将通过临时 API 继续提供至 2025 年 10 月 15 日 15:59(UTC)。
DeepSeek 发布最新实验模型 DeepSeek-V3.2-Exp,基于 V3.1-Terminus 构建,首次引入 DeepSeek Sparse Attention(DSA),用于在长上下文场景下实现更快、更高效的训练和推理。该模型已在 App、Web 和 API 上线,API 价格下调 50% 以上。
DeepSeek 正式发布实验性模型 DeepSeek-V3.2-Exp,在 V3.1-Terminus 基础上引入 DeepSeek Sparse Attention 稀疏注意力机制,针对长文本训练和推理效率进行优化,公开评测集上表现与 V3.1-Terminus 基本持平。
官方说明稀疏注意力机制在长文本训练推理上的提效路径,以及 API 降价带来的成本变化。
DeepSeek 在 V3.1 基础上发布 DeepSeek-V3.1-Terminus,针对用户反馈做出改进。此次更新提升语言一致性,减少中英文混杂与随机字符;同时增强 Code Agent 和 Search Agent 表现。
DeepSeek-V3.1 更新至 DeepSeek-V3.1-Terminus,在保持原有能力的基础上缓解了中英文混杂与偶发异常字符问题,并进一步优化了 Code Agent 与 Search Agent 的表现。官方称新版本输出效果更稳定,目前官方 App、网页端、小程序与 DeepSeek API 模型均已同步更新,开源版本已在 Hugging Face 和 ModelScope 上线。
DeepSeek 发布 DeepSeek-V3.1,官方称这是其迈向智能体时代的第一步。该模型支持 Think 与 Non-Think 混合推理,一个模型两种模式;DeepSeek-V3.1-Think 相比 DeepSeek-R1-0528 用时更短即可给出答案,后训练增强了工具调用与多步智能体任务能力。
METR 对六个 DeepSeek 与 Qwen 模型做了初步自主能力评测,结果显示 2025 年中的 DeepSeek 模型能力接近 2024 年末的前沿模型。
DeepSeek 发布 DeepSeek-R1-0528,称在基准性能、前端能力上有提升,并减少了模型幻觉。该版本支持 JSON 输出与函数调用,API 用法不变,模型已在 Hugging Face 开源,可通过 chat.deepseek.com 试用。
DeepSeek 发布 DeepSeek-V3-0324,在推理性能、前端开发能力和工具调用能力上均有提升。官方建议非复杂推理任务直接使用 V3 并关闭 DeepThink,API 用法保持不变。该版本模型已在 Hugging Face 开源,采用与 DeepSeek-R1 相同的 MIT License。
官方一次给出推理、前端开发与工具调用三项能力变化,并说明 API 不变、改用 MIT 许可,读者可据此判断接入成本。
DeepSeek 春节前夕发布的开源推理模型 DeepSeek R1,在数学、代码和推理能力上比肩 OpenAI o1 正式版,同时以极低训练推理成本和完全开源引发全球关注。OnBoard! 邀请 TinyZero 一作、CMU 研究 Long CoT 的研究员及 HuggingFace 资深工程师,从强化学习、Long CoT、infra 和开源角度解析其技术创新与生态影响。
DeepSeek 开源周第 6 天发布 DeepSeek-V3/R1 推理系统概览,通过跨节点 EP 批扩展、计算通信重叠和负载均衡优化吞吐与延迟。其在线服务统计显示,单个 H800 节点每秒输入 73.7k、输出 14.8k token,成本利润率 545%。
DeepSeek 在开源周第 5 天发布 Fire-Flyer File System(3FS),一个利用现代 SSD 和 RDMA 网络全带宽的并行文件系统。
DeepSeek 开源周第 4 天发布优化并行策略,包括用于 V3/R1 训练中计算与通信重叠的双向流水线并行算法 DualPipe,以及面向 V3/R1 的专家并行负载均衡器 EPLB,并开源了分析 V3/R1 计算通信重叠的代码仓库。
DeepSeek 在 OpenSourceWeek 第 3 天发布 DeepGEMM,一个支持稠密和 MoE GEMM 的 FP8 GEMM 库,已用于 V3/R1 的训练与推理。
DeepSeek 在开源周第二天发布 DeepEP,这是首个面向 MoE 模型训练与推理的开源 EP 通信库。它提供优化的 all-to-all 通信,支持 NVLink 与 RDMA 的节点内和节点间通信,并包含面向训练与推理预填充的高吞吐 kernel、面向推理解码的低延迟 kernel、原生 FP8 dispatch 支持,以及用于计算通信重叠的灵活 GPU 资源控制。
DeepSeek 在开源周第一天发布 FlashMLA,这是面向 Hopper GPU 的高效 MLA 解码内核,针对可变长度序列优化并已投入生产使用。它支持 BF16 和 Paged KV cache(block size 64),在 H800 上达到内存受限 3000 GB/s、计算受限 580 TFLOPS,代码已在 GitHub 开源。
DeepSeek 宣布将于下周启动 OpenSourceWeek,陆续开源 5 个代码库。这些模块已在 DeepSeek 线上服务中完成文档化、部署并经过生产环境实战验证,将每日解锁发布。
DeepSeek 推出 NSA(原生可训练的稀疏注意力机制),通过动态分层稀疏策略、粗粒度 token 压缩与细粒度 token 选择,加速长上下文训练与推理并降低预训练成本。NSA 在通用基准、长上下文任务和指令推理上匹配或超越 Full Attention 模型,论文见 arxiv.org/abs/2502.11089。
DeepSeek 为部署 DeepSeek-R1 给出推荐设置:不使用 system prompt,Temperature 设为 0.6,并公布搜索与文件上传的官方提示词及缓解模型绕过思考的指南。官方部署与开源版本运行同一模型,可获得完整的 DeepSeek-R1 体验。
Monica AI 新增 OpenAI 的 o3-mini 模型,STEM 任务速度提升 24%,同时为 DeepSeek R1 接入实时 Web 搜索并增强推理能力,用户可在 monica.im 直接体验。
DeepSeek R1 已在 Monica AI 上线,官方称其在数学与编程任务上表现出色,Codeforces 得分 96.3%,支持 128K 上下文窗口,并展现出涌现推理能力。该模型被描述为可与 OpenAI 最新模型匹敌,现已通过 Monica AI 开放使用。
DeepSeek 发布完全开源的推理模型 DeepSeek-R1,性能对标 OpenAI-o1,采用 MIT 许可,可自由蒸馏和商业化。官网与 API 已上线,可在 chat.deepseek.com 体验 DeepThink。
DeepSeek 发布官方 App,由 DeepSeek-V3 驱动,免费使用,已在 App Store、Google Play 及各大安卓应用市场上架,并提供下载链接 download.deepseek.com/app。
Monica 发布 7.5.1 版本,接入 DeepSeek V3,支持 128K 上下文窗口,并可智能处理 50 多种文件格式,同时加入专业翻译术语表。
DeepSeek 发布 DeepSeek-V3,生成速度达 60 tokens/秒,比 V2 快 3 倍。官方称该版本能力增强,API 保持兼容,并开源模型与论文。
原文给出 DeepSeek-V3 相对 V2 的生成速度提升与开源范围,可用于判断该版本的迭代幅度。
LanceDB 联合创始人兼 CEO Chang She 与 CRV 投资人 Brian Zhan 在本期 OnBoard! 全英文访谈中探讨向量数据库的竞争格局演变,以及多模态数据增长给 data infra 带来的挑战与机遇。