腾讯 Hy3 正式版 测评

短的结论：直挂云帆济沧海

基本情况：

两个月，是目前国产模型更新一次的版本的平均耗时，略慢于北美顶级团队，略快于有硬骨头要啃的友商团队。两个月足以让智谱完成了从 GLM-5.1 到 GLM-5.2 的跳变，一跃飞升世界顶级模型之列。而腾讯用了两月只是让模型去掉了Preview 这个词吗。

从推理性能来看，正式版一举超过了同 Size 档位的 DeepSeek V4 Flash 和 MiniMax M3，达到了目前在测的中小尺寸模型最优，极限能力也能越级摸到中大尺寸模型的边。Token 消耗虽然高不少，但放在如今超长思维链大行其道的背景下，似乎也还算正常，配合其传统低价策略，综合成本竟然也很有优势。

在而更实际所需的 Agent 能力上，前代 Preview 版在综合可用线上徘徊。正式版则同样有大幅拉升，来到较高可用区间，基本持平或超过曾经的国模标杆 GLM-5.1，十分接近 Opus  4.6 非推理模式。下文会详细介绍。

逻辑成绩：

表格的排序切换为按中位分数降序。

*1 表格为了突出对比关系，仅展示部分可对照模型，不是完整排序。

*2 题目及测试方式，参见：大语言模型-逻辑能力横评 26-06 月榜

*3 完整榜单更新在 https://llm2014.github.io/llm_benchmark/

*4 红字模型代表工作在推理模式下(慢思考)，黑色模型则是对应的非推理模式(快思考)

编程 Agent：

*1 测试方式参见：大模型编程应用测试-V3榜单

Hy3 正式版基本在各个测试分类都领先于 Hy3 Preview，因此以下主要对比 Hy3 正式版与同为开源且 Size 相近的 DeepSeek V4 Flash（以下称DS4 Flash）。

优势：

• 编程：在先前 Hy3 Preview 的报告中提到，预览版已经从茫然不知所措的代码小白状态改进到常见技术栈都能写，但会广泛的犯错，乃至小部分场景需要人工辅助。而正式版在大面上减小了犯错的概率。在目前公开榜单的 4 个项目中，比起顶级模型那样全程一遍过，只犯小错误，Hy3 正式版错误概率更高，分布更广，既有因为难以自测产生的 UI 问题，也有功能性 Bug。基本都可以在人工指出问题后，一次性修复，行为达到定义的 B 档。但因为错误广泛，给不到 B+ 档。项目 G 难度偏高，在发文时测试进行到一半，前代 Preview 无法完成第一轮工程初始化，而正式版已经可以相对顺利的往下推进，后续会更新 G 项目分数。本次也加测了多个中等体量的隐藏工程，大部分结果也依然符合 B 档判定。但随着技术栈更加小众，前沿，Hy3 的错误率显著上升，修复能力下降，落回可用线边缘，体现了 Hy3 在这方面仍有改进空间。
• Hy3 正式版有 2 个显著特征，其一是较为优秀的审美功底，这即包含了传统的 UI 设计审美，也包含图标，渲染，建模等方面，Hy3 都有明显改进，甚至在一些方面达到了国产最佳。其二是 Hy3 有较强的主动发挥倾向。主动发挥的好坏因人而异，对原本预期不明确的用户而言，模型主动发挥可以带来更好的体验。但一体两面的是主动发挥也会带来轻微的不受约束。Hy3 尤其会在需求空白地段按自己想法大量输出，但如果需求约束足够清晰详细，Hy3 也会严格按要求落地。
• 在 Agent 执行过程上，Hy3 在得分相近的情况下，消耗的步数，Tool 数要略少一些，最低的只有其他模型的70%。对应的 Read Token 也同步减少，这在长程任务上会带来显著的完成耗时优势，以及账单优势。但也需注意，在冷门技术栈上，Hy3 的步数就没有优势了，大量试探性 Debug 会吃掉步数和 Token。
• 指令遵循：无论在简单或复杂指令上，Hy3 的遵循能力都明显强于DS4 Flash。尤其在需要一定理解力的指令上，Hy3 遵循能力看齐 DS4 Pro。不过代价是 Hy3 在这类问题上消耗的 Token 也较DS4 Flash 高出50% ～ 150%，但少于DS4 Pro。
• 多步推理：复杂推理问题，Hy3 表现也较好。涉及空间感知、解空间探索类问题，Hy3 甚至可以接近 DS4 Pro 的表现。不过 Hy3 在解决这类问题效率不高，比较依赖暴力手段，缺少灵光一闪式的直觉。即便如此，Hy3 最终也能在规定 Token 限制内解出来一部分。

不足：

• 文本任务：文本处理类，以及需要精确统计文本信息的场景，Hy3 仍小幅落后于 DS4 Flash。虽然DS4 Flash 也无法稳定拿到高分，但拿高分的概率要略高一些。并且DS4 Flash 对复杂交错排布的文本识别性能更好。这通常是上下文幻觉的一部分，说明 Hy3 的幻觉控制要差一些。

赛博史官曰：

彼时太平洋两岸的人们都曾陷入一段时间的 AI 狂热，企图用 AI 解决一切问题，不惜成本的将 AI 用到所有场景，执着于做一个让所有业务自动化运作的美梦。可等到冰冷的账单击碎梦境，所有人又突然醒悟，开始算起成本来。AI 没有错，自动化也没错，只不过模型的性能成本曲线来没有降低到真正的拐点。Hy3 朝拐点方向往前走了一步，对此而言，意义重大。

大模型竞赛的世界里，风急浪大。对任何一个想要乘船横渡的团队而言，不够扎实的基本功，或者一时的方向迷茫，都有可能在竞赛中落后乃至翻船。这对经历了团队重建的混元而言，更具挑战。如今 Hy3 这艘船重新换好了破损的船壳，刷上了新漆，挂好了帆，迅捷而稳定地行驶在主航道上，海风徐徐，星光灿灿，不知能让水手们今夜安然入眠否。

关于史官本人：

笔者从 23 年 4 月开始从事大模型评估活动，最初的动机只是想弄清楚当时的百度文心一言是否真如媒体所言，落后 ChatGPT 1 年以上。在随后的时光里，笔者收获了对大模型发展的认知，也有幸得到读者垂青。路途中不断结识身处大模型研发一线的工程师们，是他们的点拨和启发，使笔者有动力去尝试做更有深度和更有价值的模型评估。笔者写文的风格也逐渐从向大众读者展示模型优劣，偏向深挖模型优劣背后的问题。

这样的状态或许可以一直持续到大模型再也不需要被人类评估那一天。但在某日深夜，笔者翻阅历史的测试记录，感到模型评估始终是一件充满挑战又意义深远的事，至少在现阶段，仍值得全身心投入，深入行业，进入一线，做出一些微小的贡献。

最终在多角度权衡后，笔者决定加入混元团队，全职从事大模型评估和观测手段探索的研究。

笔者深知以前作为独立第三方评测时所公开信息具有独特价值，为了让这份价值持续下去，今后笔者还会继续独立维护目前公开的推理榜和编程榜，但为了保证公平性，今后的榜单不会再出现混元模型，也不在参与其他模型的内测。而 Hy3 完全是在笔者加入之前完成训练的，请允许笔者将他作为最后一个混元模型保留在榜单上，并持续滚动更新，直到该模型彻底下线。