Suhail(@Suhail)· Suhail (@Suhail)·· 25 天前AI 评估 · 16/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
日处理超 1B tokens 的 OpenAI 或 Anthropic 批量 API 用户，Suhail 想聊聊 batching 实践
If you do > 1B tokens a day in batched api requests with OpenAI or Anthropic, would love to talk ...
AI 导读
Suhail 公开征集每天通过 OpenAI 或 Anthropic 的批量 API 请求处理超过 1B tokens 的用户，希望了解实现 batching 的利弊得失。感兴趣的开发者可通过私信与他交流，该推文发布时已获得 16 次转发和 65 个点赞。
来源：Suhail(@Suhail) · x.com