把 Fable 5 装进 MacBook，还要多久

这短短的几天，已经让许多人爱上却又要失去。不禁让人畅想，这种级别的模型，什么时候能跑在我们自己的设备上？

曾经人们讨论前沿模型时，话题通常是「它有多强」「它比竞品快多少」「它能取代什么工作」。但这一次，有人开始问它能不能跑在端侧。

不过说实话，这个想法目前放在 Fable 5 身上，还是太乐观了，这毕竟是 Anthropic 第一个 Mythos 级的公开模型，100 万 token 上下文窗口，专为长时间异步任务设计，跑在 AWS 和 Google Cloud 的数据中心里。它离端侧设备之间隔着的不是一代芯片，是好几个数量级的算力、功耗和模型压缩难题。

Fable 5 下线事件本身也在提醒另一件事，正如 Reddit 上所说，如果你不拥有硅和权重，高可用性就是个幻觉。这个问题的出现，更多是一种信号：说明端侧 AI 这件事已经从行业术语变成了大众期待。

从发布参数，到发布架构

如果说过去两年端侧 AI 的主题是「宣布」，今年的主题变成了「重构」。芯片厂商不再满足于在发布会 PPT 上标一个 NPU 算力数字，而是开始围绕本地 AI 推理重新设计整个硬件架构。

6 月 25 日高通给出了一组让华尔街重新评估这家公司的数字：2029 财年非手机业务收入目标上调到 400 亿美元，约为此前目标的两倍。数据中心 AI 基础设施目标超过 150 亿美元，汽车业务 100 亿美元。CFO Akash Palkhiwala 的表述更直接：「到 2029 年，手机将只占我们芯片收入的三分之一。」

支撑这个目标的硬件基础，是已经进入第二代的骁龙 X2 系列。骁龙 X2 Elite 的 Hexagon NPU 做到了 80 TOPS 的 AI 算力，这个数字在 2024 年还属于云端推理芯片。最高 18 核 CPU、228GB/s 内存带宽、128GB 统一内存的配置，已经不再是「能跑 AI 的笔记本」，而是「为 AI 设计的笔记本」。

比芯片本身更值得关注的是高通的系统级布局，6 月 17 日的 AWE 大会上推出的骁龙 START 计划，把芯片、AI 软件栈、合作伙伴网络打包成模块化方案，让品牌和企业能像搭乐高一样推出个人 AI 终端。首批落地的品类是智能眼镜，后续扩展到更多形态。高通管这个愿景叫 The Ecosystem of You」——不是你在不同设备上打开不同的 AI，而是同一个 AI 追着你走。

苹果的牌打得更激进，根据彭博社 Mark Gurman 爆料，苹果正在做出自 2020 年 Apple Silicon 发布以来最大的一次路线图调整，跳过 M6 Pro 和 M6 Max，直接押注 2027 年的 AI-focused M7。

苹果的 M 系列从 2020 年至今，路线图像瑞士铁路一样准时——每年一代，每代三种配置（基础、Pro、Max）。突然跳过整整一个高端代际，意味着苹果内部判断端侧 AI 的需求已经紧迫到等不及按常规节奏迭代了。

M6 基础版的内存带宽预计 200GB/s（M5 是 153GB/s），M7 目标 240GB/s。统一内存架构让 CPU、GPU 和 Neural Engine 共享同一个内存池，天然适合大模型推理。M5 开始在每个 GPU 核心内置了 Neural Accelerator，AI 不再是一个独立的协处理器功能，而是分布在整个芯片的每一处计算单元里。

在 Gurman 看来，这是苹果正在「加速推进」，因为 M7 拥有「支持端侧 AI 和 GPU 密集型软件的技术」——不是「支持 AI 功能」，是「支持端侧 AI」，这是一个芯片设计目标的转向。

英伟达把它定位为「个人 AI 超级计算机」。今年 6 月的 GTC 台北上，老黄又发布了 RTX Spark，更轻量的超芯片，目标是把 AI 原生 PC 推向更薄的笔记本形态。这条线跟英伟达的工作站策略也在汇合，RTX PRO Blackwell 系列已经在 Dell、HP、Lenovo 的新款工作站上落地。

NemoClaw 项目让用户可以在本地工作站上运行安全、始终在线的 AI 助手。DGX Spark 负责桌面级重度推理，RTX Spark 负责轻薄本，RTX PRO 负责专业创作，全方位出击，把本地 AI 从极客玩具变成了可量产、可定价的硬件品类。

向设备弯腰

硬件在追 AI，模型也在反过来适应硬件。过去一年，几款关键模型的出现正在改变「端侧 AI 能做什么」的答案。最明显的动作来自于 Google DeepMind，发布了 Gemma 4。

这是来自 Gemini 3 研究、Apache 2.0 许可的开放模型家族。五个参数规格一字排开，从只有 5GB 内存就能跑的 E2B，到对标 70B 级能力的 31B 密集模型，构成了一条从手机到个人电脑的完整产品线。

最让人兴奋的是那几颗「小」模型，E2B 和 E4B 在 4-bit 量化下只需要 4-5GB 内存，可以在没有 GPU 的普通笔记本甚至手机上跑；12B 模型在 8GB 内存设备上就能运行，同时支持文本、图像和音频多模态输入；26B-A4B 是 MoE 架构，30GB 内存就能跑到 30+tokens/s。

Google AI Edge 团队专门写了一篇博客来展示如何把 Gemma 4 12B 部署到日常笔记本上做 agentic 工作流，「Google 免费的 Gemma 4 模型跑在你可能已经拥有的硬件上。」

当「可能已经拥有」成为一篇评测的卖点，说明端侧模型的硬件门槛正在快速塌缩。

作为开源模型的典范，阿里 Qwen3.6 也在想方设法让更大的模型变得对本地更友好。Qwen3.6-27B 是一个 27B 参数的密集模型，100 万 token 上下文窗口，MindStudio 的评测把它评为 2026 年最佳开源 agentic coding 模型。

Reddit 上已经有开发者搭建了「Qwen3.6 35B + llama.cpp + RTX 5090」的本地 agentic coding 方案。Qwen 的策略不是在参数规模上跟云端模型硬拼，是用 MoE 和架构优化，把接近前沿的能力塞进本地可承受的硬件边界里。它不是「小模型」，是「被压缩的前沿模型」。

如果说 Gemma 和 Qwen 是在做模型能力的降维适配，面壁智能的 MiniCPM 系列走得更底层——直接为手机和边缘设备设计模型。MiniCPM-V 4.6 只有 1.3B 参数，专为端侧多模态设计，能处理单图、多图和视频理解，可以在 iPhone、Android 和鸿蒙手机上直接运行，Apache 2.0 开源，支持 Ollama 和 llama.cpp。

1.3B 的参数数字放在云端模型旁边几乎可以忽略，但它在 OCR、文档理解和视觉推理上的表现已经可以跟 7B 级的模型竞争。MiniCPM5-1B 则更激进——1B 级的密集模型，搭配部署和微调 Agent Skills，把目标用户从「AI 开发者」扩展到了「普通消费者」。Nature Communications 上发表的论文给了它一个很重的评价：「迈向在边缘设备上部署 GPT-4V 级多模态能力的关键一步。」

这些模型现在到底有多强，并不是重点，重点是它们正在证明一件事：端侧 AI 不是「云端模型的缩水版」，它是一个独立的模型品类，有自己的设计目标、优化路径和使用场景。而这个品类正在以极快的速度成熟。

如果上面这些让你觉得端侧 AI 的未来一片光明——你是对的，但账单也来了。

M5 Max 从 36GB 到 128GB 内存的差价是数千元人民币，而这条价格曲线在「本地 AI」时代只会更陡。过去买电脑是选 CPU 型号和 SSD 大小，以后要多问一句：「我买的这台，能跑多大的模型？」

端侧推理的功耗墙也远比显存更硬。骁龙 X2 Elite 的 NPU 可以持续跑几十 TOPS，但满负荷 80 TOPS 时，无风扇轻薄本的体验会明显打折。英伟达的 DGX Spark 本身就是一台需要主动散热的桌面设备。未来「能跑大模型」和「续航不崩」之间，大概率是一个二选一。

硬件溢价和功耗之外，厂商已经在用产品和本地模型的绑定，建立壁垒。苹果的 Neural Engine 只能在 macOS 生态内发挥最大效能，Windows AI PC 的 Copilot+ 绑定了骁龙 NPU 和安全芯片，Google 的 AI Edge Gallery 是 Gemma 在安卓上的最佳路径，英伟达的 RTX Spark 跟微软的 Windows agent 生态深度锁定。每一家都在用硬件能力筑自己的围墙。

这是端侧模型必须面对的又一个问题，更新也会比云端慢。云端模型迭代已经是月级，本地部署依赖推理框架适配、量化工具链成熟以及用户主动更新。否则，你买回家的设备跑的可能是上个季度的模型。

还有一条最容易被忽略：本地 AI 意味着一个系统级的模型能读到你的文件、照片、屏幕、日程和邮件，不用上传到云端了，但它在你的设备上，拥有「上帝视角」。当 AI 从云端的匿名请求变成你设备上那个「什么都能看见」的常住程序，「本地 = 安全」这个等式就不再自动成立。权限管理的复杂度，会比隐私本身更早撞上消费者。

所以，2028 年消费者可能真正得到什么

把上面所有的变量放在一起，我们能做出一组分层预测。

高端电脑本地运行强写作、代码、文档和图片理解模型，将成为常态而不是尝鲜。本地 RAG、会议摘要、文件搜索和私有知识库真正可用，成为日常工具。手机端的多模态助手在相册搜索、语音翻译、智能摘要上明显变强。高端创作者、开发者和敏捷小团队会更愿意部署本地 AI，因为数据不外泄、延迟更低、按需使用边际成本为零。AI PC、Mac 和本地 AI 盒子将形成新的硬件分层，「这台设备能跑什么模型」会成为和「这台设备屏幕多大」一样自然的购机参数。

再往远看一步，接近 GPT-5 或 Claude 4 水平的开放模型，有可能通过量化、MoE 和推理优化，在高端个人设备上达到可用水平。但这取决于推理框架（llama.cpp、MLX、vLLM）的演进、KV cache 压缩技术的成熟，以及模型厂商是否愿意针对本地部署做专门的训练路线优化。本地多模态实时助手有可能在部分设备上达到「日常可用」，但自然度和低延迟离云端旗舰还有一段距离。

至于普通手机或普通笔记本完整运行 Mythos 本体，短期内不可能。万亿级参数的推理即使最激进的量化方案也需要数十GB 显存，远超消费电子设备的极限。本地 AI 在长程 agent、百万 token 上下文、多模态实时推理和安全能力上全面等价于云端旗舰，2028 年大概率做不到。