a16z(@a16z)· a16z (@a16z)·· 14 小时前AI 评估 · 65/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
vLLM 核心维护者创立 Inferact 并融资 1500 万美元
In 2022, Berkeley PhD student Woosuk Kwon thought he could make Meta's new open-weight model, OPT-17...
AI 导读
a16z 介绍，伯克利博士生 Woosuk Kwon 在 2022 年想把 Meta 开源模型 OPT-175B 跑得更快，这一项目后来发展为开源推理引擎 vLLM，目前任意时刻运行在约 50 万块 GPU 上。
来源：a16z(@a16z) · x.com