无量火科技与高通发布Ember推理引擎，让手机跑通30B大模型

无量火科技与高通在骁龙峰会上联合发布移动端解决方案，展示Ember推理引擎，让手机在模型未经额外改动的情况下跑通30B大模型，推理质量无损。Ember通过训练轻量预测模型提前判断下一步推理所需参数，只将这部分从闪存加载进内存，实测MoE模型内存占用降低80%、Dense模型降低50%。