淘特端侧模型从微调到应用的全链路实践

淘特团队总结今年3月至8月在App端侧模型上的全链路实践，选用Qwen3-0.6B，通过两代数据集迭代把真机准确率从76%提升到80%以上。工程上采用LoRA微调、基于ShortGPT的剪枝（生产删6层）和AWQ量化，并结合Prompt精简、Prefix Cache与增量推理降低延迟。模型已落地信息流重排序和流失前权益挽留场景，实验组增量GMV持续正向。