跳到正文
原文
andrew chen(@andrewchen)· andrew chen (@andrewchen)·· 20 天前AI 评估 · 22/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。

Jev 类模型能否加速移动端端侧 AI 原生功能落地

curious if Jev-like models might accelerate us towards on-device AI native functionality on mobile d...

AI 导读

Andrew Chen 提出,Jev 类模型或许能加速移动设备上的端侧 AI 原生功能。他指出强 LLM 距离在手机上运行还很远:内存带宽慢、只有高度量化的 MoE 模型才装得下,还存在功耗、发热等问题;业界为下一代移动设备打造 NPU,但目标模型规模相当有限。他认为通知、输入、收件箱和日历等大量移动 UX 都能从快速廉价的 AI 决策模型中受益。

来源:andrew chen(@andrewchen) · x.com