把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
TypeSafe AI 于 2026 年 9 月 15 日推出 Jev，并宣布获得 DCVC 领投的 4,000 万美元种子轮融资。Jev 不聊天不写文本，接收 state 与 typed questions，返回带校准概率的 Choice、Score 和 Noul 答案，通常耗时 70 到 500 毫秒，输入每百万 tokens 收费 0.042 美元、输出免费。
梳理 Jev 的十类真实用例与每类成本延迟数据，可对照现有 LLM 工作流判断哪些小决策值得下放。
微软在 10 月 8 日的 Windows 发布会上宣布将混合智能引入 Windows，通过模型路由、Windows ML 和本地 AI 能力，让 Copilot 等产品按任务复杂度、成本和隐私要求在云端与本地模型之间自动切换，GitHub Copilot 的 HydraFusion 首次可直接调用运行在 Windows PC 上的本地模型。
微软把混合智能与模型路由引入 Windows，并让 GitHub Copilot 直接调用本地模型，读者可了解 AI PC 向 Agent 运行环境演进的具体路径。
微软在特别发布会上推出 Surface Laptop Ultra，搭载 NVIDIA RTX Spark Superchip，最高 128GB 统一内存，可在本地运行超 1200 亿参数模型，起售价 2599 美元，10 月 7 日开放预订、10 月 16 日供货。
梳理微软从硬件到 MXC 容器、混合智能调度的整条设备链路，可对照两年前 Copilot+ PC 的定位变化。
Google 在 Cloud 活动上宣布将 Gemini 带入智能体阶段，推出统一智能体，既能回答问题也能代用户完成任务，初期面向企业、之后再向消费者开放。该智能体可接收目标而非指令，自行规划工作并调用自定义技能与工具；默认自动选择模型，用户也可手动切换，首批第三方模型为 Anthropic 的 Claude。
Google 把 Gemini 智能体先落到企业场景，文中给出的模型选择、系统连接与审计线索可供评估落地边界。
Mistral 发布 Mistral Large 4（代号 Le Chonk），1T 参数、原生多模态、49B 激活参数，已在 API 上线，开放权重将于 10 月底发布。
原文列出 Mistral Large 4 在多类工作负载上的对照数字，读者可据此判断开源权重模型的竞争位置。
OpenAI 发布 GPT-6.1 Sol，官方称其以五分之一的价格提供接近 Astra 的智能水平，输入 $2 / 百万 token、输出 $10 / 百万 token。
材料给出 GPT-6.1 Sol 在编码、办公与电脑操作三类任务上的对标结果和定价，可用来比较同价位模型的取舍。
Anthropic 的 Claude Opus 5.5 已在 Vercel AI Gateway 上线，模型标识为 anthropic/claude-opus-5.5，支持 1M token 上下文窗口和最多 128K 输出 token，面向智能体编码、长时智能体任务和专业知识工作。
Claude Opus 5.5 上线 Vercel AI Gateway，同时列出两项会导致 400 报错的 API 不兼容变更，便于现有调用方迁移。
智谱认领了此前在 X 上刷屏的匿名模型 Ox-Alpha（中文社区称“牛来”），正式名称为 GLM-5.3-Flash，320B 总参数、仅激活 18B，是 GLM-5 系列首个原生多模态模型。
文章把匿名模型的身份揭晓、参数与价格和多个实测案例放在一起，读者可据此判断它在多模态任务上的成本与可用性。
LangChain 宣布 LangGraph Platform 正式 GA，定位为部署和扩展长时间运行、有状态 Agent 的基础设施与管理层；自去年 6 月 beta 以来，已有近 400 家公司用它把 Agent 部署到生产环境。
原文列出 1-click 部署、30 个 API 端点和持久化层等能力，并给出三种部署选项的适用边界。
阿里发布 Qwen3.8-Flash 的开源权重，这是一个多模态 MoE 模型，也是 Qwen4 架构的早期预览版，生产版本将随后通过 QwenCloud API 提供，定价为输入 $0.16/1M tokens、输出 $0.47/1M tokens。
这条内容汇总了 Qwen3.8-Flash 的架构变化、激活参数与基准分数，便于对照同类开源模型的性价比路线。
OpenAI 在 Hot Chips 上公布了与 Broadcom 合作自研的推理芯片 Jalapeño，设计始于 2024 年中，约 16 个月完成流片，SemiAnalysis 受邀在其实验室用 InferenceX 实测该芯片。
SemiAnalysis 在 OpenAI 实验室实测其首款推理芯片 Jalapeño，给出逐场景吞吐与能效对比及架构细节。
月之暗面发布 Kimi K3，一个 2.8 万亿参数的多模态模型，具备 1M token 上下文窗口和原生视觉能力。
读者可看到 2.8T 参数开源模型在发布当天上线的推理性能数据与 Moonshot 的架构取舍，理解大模型可服务性背后的工程细节。