短的结论:百川同归无异脉
基本情况:
世人都知万亿模型好,赶着上万亿规模的团队也很多,但折戟无算。殷鉴不远,月之暗面不会不知,自家的初代万亿模型在应用场景就接连败给了参数比自己小的模型。
但这不意味 Kimi 做不好大尺寸模型,Kimi K3 正是团队毕其功于一役的作品。Qwen-3.7 曾经单凭逻辑推理能力推开世界第一梯队之门,GLM-5.2 则证明了国产模型也可以在 Agent 场景有一席之地,K3 则接过接力棒,在综合能力上也实现了赶超。
当然超级模型的代价也是不菲,15 美元的定价对北美来说司空见惯,对国产模型而言却是捅破天花板。这对以前依赖海外模型的用户来说,是个好事,至少多了选择空间。
逻辑成绩:
表格的排序切换为按中位分数降序。

*1 表格为了突出对比关系,仅展示部分可对照模型,不是完整排序。
*2 题目及测试方式,参见:大语言模型-逻辑能力横评 26-06 月榜,新增#70、#71、#72题
*3 完整榜单更新在 https://llm2014.github.io/llm_benchmark/
*4 红字模型代表工作在推理模式下(慢思考),黑色模型则是对应的非推理模式(快思考)
编程 Agent:
项目 I 是项目 D 的上位替代,本次测试 I 可以拿到 A 档,因此不再测项目 D,按 Pass。

*1 测试方式参见:大模型编程应用测试-V3榜单
- 编程:Kimi K3 相对前代 Kimi-K2.7-Code 提升巨大,全面跨过可用线,来到优秀梯队。其中前端能力尤其优秀,可以做到 UI 精准不多余,同时又略超预期。功能完成度很高,直出达到生产级。相比而言,如果使用 Opus 不搭配必要 Skill,则 Opus 的直出达不到生产级。Fable-5 虽然有同级别 UI 表现,但功能发挥偏保守一些。K3 的审美能力也能延续到非前端项目,比如测试 G 项目,目前各个模型完成效果都偏“玩具”,但 K3 整体更精致,标准化,离生产级更近。
- 虽然 Oneshot 的效果更好,但 K3 并非能力完全偏向 Oneshot,复杂场景的 Debug 也同样得心应手,拥有和 Opus、GPT 相同级别的指哪打哪能力。而且阅读轨迹能看到 K3 在问题定位上花费的思考并不多,会通过精准的检索快速锁定问题,大量依靠 Bug 直觉。在复杂任务场景下,K3 的 Context 注意力衰减不大,即便工作在 500K 上下文区间,K3 也能保持对原始目标的细节把控。这也是 K3 训练有素的体现。
- K3 具备多种测试验收手段,在原生多模态加持下,K3 通过传统截图对比能够发现绝大部分UI 问题,也能通过大量编写单元测试定位多数逻辑问题。甚至在不便验证时,还会自己构建一套模拟环境,用数值方法来推导。验证过程通常会占到 Token 消耗的 1/3,时间消耗的一半。K3 往往在较难自测的重交互场景会有疏漏,比如不考虑点击范围,拖动手感,以及交互的执行效率等。
- 按 API 原价计算任务维度的综合成本,K3 基本持平 Sonnet 5,高于 GLM-5.2 约 2 倍以上,略高于 GPT-5.6 Sol。但只有 Opus 4.8 的 1/2,只有 Fable-5 的 1/3。在 K3 更擅长的前端场景,则这种优势还要更大一些。而到了 Rust、Metal 等偏小众领域,K3 在定位和验证上耗费巨大,总成本相对 Opus 也不占优了。
- 逻辑:K3 在推理问题上与 GPT-5.6 Sol (xhigh)互有高低,K3 强在任务细节多,要求严格的场景,可以更加精准的遵循要求,而 GPT 则相对更不受控一些。而在涉及空间感知,直觉推理,解空间探索类的任务,K3 就明显力不从心,频繁诉诸暴力搜索。比如有任务要求模型找到全部解,GPT 可以在仅用28K Token 条件下找到全部解,而 K3 则消耗到90K 也找不齐解,思路明显要狭窄一些。除此之外的场景,K3 也可以做到稳定正确,只是 Token 效率偏低。比如跟上代 Kimi K2.6 对比,K3 则显著缩短了思维链,K2.6 曾经不合理的超长思考,在 K3 基本都消除了,原先思考不足的任务,K3 也能合理的思考更深。
赛博史官曰:
登月需要非常之人,立非常之功。以 AGI 为己任的月之暗面也必然要向智力顶点发起挑战。如果说仅用中小尺寸模型,经过良好调教就能满足绝大部分日常工作,那么为了超越全人类智力,则需要将模型规模扩大再扩大。如此规模的模型对国内算一个新起点,曾经北美同行走通的道路,国内团队也早晚要自己走一遍。百川归海,殊途同归。
本文来自转载大模型观测员 ,观点仅代表作者本人,发现AI平台仅提供信息存储空间服务。
如若转载,请联系原作者;如有侵权,请联系编辑删除。

微信扫一扫

