跳到正文
原文
Thomas Wolf(@Thom_Wolf)· Thomas Wolf (@Thom_Wolf)·· 28 天前AI 评估 · 22/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。

Thomas Wolf 关注到一款端侧本地 AI 智能体系统,运行 4-bit 量化的开源 4B 模型(MLX)

Interesting new on-device local AI agentic system - seems to be running an open-weights 4B model qua...

AI 导读

Thomas Wolf 分享了一款新的端侧本地 AI 智能体系统,运行一个量化到 4 bit 的开源 4B 模型(MLX)。该系统的作者 Sigil Wen 称其为"on-device AI OS"Underdog,完全本地运行,起因是他对云端数据被用于训练、邮件和 iMessage 被采集以及 AI 攻击能力的担忧。

来源:Thomas Wolf(@Thom_Wolf) · x.com