腾讯技术工程·· 18 天前AI 评估 · 28/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
腾讯15年资深后台工程师,转战大模型推理的抉择
AI 导读
腾讯T12资深搜索后台工程师吴银光在2025年初卸下管理头衔,转入大模型推理工程团队,从性能评测、服务部署等周边工作起步并深入阅读 SGLang 源码。他梳理出推理工程入门路径:建立 Transformer 结构认知、掌握 TTFT/TPOT/QPS 等评估指标、了解 MoE 与 MLA 等结构演进,再选 PD 分离、分布式 KV Cache、推测解码等方向深挖。
来源:腾讯技术工程 · mp.weixin.qq.com