Hy-MT1.5-1.8B-2bit：腾讯开源 574MB 能打败 72B 巨人的移动端翻译模型
<h1 id="hy-mt15-18b-2bittencent-574mb-72b">Hy-MT1.5-1.8B-2bit：Tencent 开源 574MB 能打败 72B 巨人的移动端翻译模型</h1><h2 id="tldr"> TL;DR</h2>
<ul>
<li><strong>Hy-MT1.5-1.8B-2bit</strong> 是腾讯混元团队推出的突破性 2-bit 量化翻译模型，将 3.3GB FP16 模型压缩至仅 <strong>574MB</strong>，同时保持世界级翻译质量</li>
<li>基于腾讯自研的 <strong>SEQ（Stretched Elastic Quantization，弹性延伸量化）</strong> 技术，属 AngelSlim 压缩工具包的一部分</li>
<li>仅用 <strong>1.8B 参数</strong>即支持 <strong>33 种语言</strong>、<strong>5 种方言/少数民族语言</strong>、<strong>1056 个翻译方向</strong></li>
<li><strong>全面超越</strong>参数规模 30-40 倍的模型（Tower-Plus-72B、Qwen3-32B）及主流商业翻译 API</li>
<li>可在 <strong>Apple M4、vivo x300、Snapdragon 865+</strong> 等移动设备上完全离线运行，无需网络</li>
<li>提供 Android APK 演示，支持全局后台取词翻译，任意 App 内即时翻译，无需切换应用</li>
</ul>
<h2 id="_1">目录</h2>
<ol>
<li>Hy-MT1.5-1.8B-2bit 是什么？</li>
<li>2-bit 量化技术原理</li>
<li>翻译质量 benchmark</li>
<li>端侧部署与隐私保护</li>
<li>推理速度</li>
<li>下载与使用</li>
<li>AngelSlim 工具包技术解析</li>
<li>与同类方案对比</li>
<li>常见问题</li>
<li>总结</li>
</ol>
<hr>
<h2 id="1-hy-mt15-18b-2bit">1. Hy-MT1.5-1.8B-2bit 是什么？</h2>
<p><strong>Hy-MT1.5-1.8B-2bit</strong> 是腾讯混元团队发布的最新开源翻译模型，代表了端侧 AI 的重大突破。这个仅 <strong>1.8B 参数</strong>的模型，翻译质量却能媲美甚至超越参数规模 <strong>30-40 倍</strong>的大型模型——而且全部在手机上本地运行，<strong>无需联网</strong>。</p>
<p>模型基于 Hy-MT1.5-1.8B 基座模型构建，采用全链路多阶段训练流水线：</p>
<ul>
<li><strong>MT 导向预训练</strong> — 构建强大多语言基底</li>
<li><strong>监督微调（SFT）</strong> — 对齐人类级翻译质量</li>
<li><strong>在线策略蒸馏</strong> — 从大模型蒸馏知识</li>
<li><strong>强化学习（RL）</strong> — 以翻译质量奖励优化输出</li>
</ul>
<p>最终，1.8B 参数的模型原生支持 <strong>33 种语言</strong>、<strong>5 种方言/少数民族语言</strong>、<strong>1056 个翻译方向</strong>。</p>
<p>"2bit"指的是权重量化格式。原始 3.3GB FP16 模型压缩至仅 <strong>574MB</strong>，体积缩小 <strong>82%</strong>。更激进的 <strong>1.25-bit 版本</strong>（Hy-MT1.5-1.8B-1.25bit）更是只有 <strong>440MB</strong>。</p>
<blockquote>
<p> <strong>提示</strong>：如果需要 llama.cpp 等框架使用的 GGUF 格式，可以在 Hugging Face 下载 AngelSlim GGUF 版。</p>
</blockquote>
<hr>
<h2 id="2-2-bit">2. 2-bit 量化技术原理</h2>
<p>Hy-MT1.5-1.8B-2bit 高效压缩的秘密是腾讯自研的 <strong>SEQ（Stretched Elastic Quantization，弹性延伸量化）</strong>算法，发表于 AngelSlim 技术报告（arXiv:2602.21233）。</p>
<p>传统 2-bit 量化通常使用对称量化网格如 <strong>{-1, 0, 1}</strong>（三值）或 <strong>{-1, 1}</strong>（二值），问题在于这些粗糙的网格对离群权重（outlier weights）的处理能力很差，会造成严重的信息损失。</p>
<p><strong>SEQ 的创新</strong>在于将量化网格<strong>弹性延伸</strong>为 <strong>{-1.5, -0.5, 0.5, 1.5}</strong>——非对称、非均匀的排列，更贴合 Transformer 权重实际统计分布：</p>
<ol>
<li><strong>保留权重幅度信息</strong> — 对称网格会摧毁的信息得以保存</li>
<li><strong>优雅处理离群权重</strong> — 不再因为一个离群值摧毁整个激活</li>
<li><strong>与量化感知蒸馏（QAD）协同</strong> — 训练阶段就预知量化误差</li>
</ol>
<p>结果是：一个看起来不像 2-bit 的 2-bit 模型。在 Flores-200 中西互译 benchmark 上，Hy-MT1.5-1.8B-2bit 与 3.3GB FP16 基座模型差距极小，体积却缩小了 82%。</p>
<h3 id="_2">量化规格对比</h3>
<table>
<thead>
<tr>
<th>属性</th>
<th>FP16 全精度</th>
<th>2-bit 版本</th>
<th>1.25-bit 版本</th>
</tr>
</thead>
<tbody>
<tr>
<td><strong>模型大小</strong></td>
<td>3.3GB</td>
<td>574MB</td>
<td>440MB</td>
</tr>
<tr>
<td><strong>压缩倍率</strong></td>
<td>1x</td>
<td>约 5.7x</td>
<td>约 7.5x</td>
</tr>
<tr>
<td><strong>量化网格</strong></td>
<td>N/A</td>
<td>{-1.5, -0.5, 0.5, 1.5}</td>
<td>{-1.25, -0.25, 0.25, 1.25}</td>
</tr>
<tr>
<td><strong>质量保留率</strong></td>
<td>100%</td>
<td>约 97%+</td>
<td>约 95%+</td>
</tr>
</tbody>
</table>
<hr>
<h2 id="3-benchmark">3. 翻译质量 Benchmark</h2>
<p>这是 Hy-MT1.5-1.8B-2bit 最令人印象深刻的地方——区区 <strong>574MB</strong> 的模型，全面超越：</p>
<ul>
<li><strong>Tower-Plus-72B</strong> — 720 亿参数商用翻译模型</li>
<li><strong>Qwen3-32B</strong> — 阿里巴巴 320 亿参数多语言模型</li>
<li><strong>Microsoft Translator</strong> — 主流商业翻译 API</li>
<li><strong>Doubao Translator</strong> — 字节跳动翻译服务</li>
</ul>
<p>在业界标准 <strong>Flores-200 多语言翻译质量评估</strong> benchmark 上，Hy-MT1.5-1.8B-2bit 在中西翻译方向上名列前茅，尤其擅长：</p>
<ul>
<li><strong>中文 ↔ 英语</strong> 翻译</li>
<li><strong>东南亚语言</strong>（越南语、泰语、印尼语）</li>
<li><strong>低资源语言对</strong> — 大模型往往在此失分</li>
</ul>
<p>这说明一个道理：<strong>专用翻译模型 + 恰当量化 >>> 通用大模型暴力 scaling</strong>。</p>
<hr>
<h2 id="4">4. 端侧部署与隐私保护</h2>
<p>Hy-MT1.5-1.8B-2bit 的一大亮点是可以在移动设备上<strong>完全离线运行</strong>，针对以下平台优化：</p>
<ul>
<li><strong>Apple M 系列芯片</strong>（M4、M3、M2），支持 Arm SME2 指令集</li>
<li><strong>Android 设备</strong>：Snapdragon 865+ 及以上，RAM 8GB+</li>
<li><strong>vivo x300</strong> 系列等旗舰安卓手机</li>
</ul>
<h3 id="_3">隐私优先设计</h3>
<p>翻译在本地执行，<strong>数据永远不会离开你的手机</strong>。这与云端翻译 API 有本质区别：</p>
<ul>
<li>文本不会上传到第三方服务器</li>
<li>对话记录不会被记录或用于模型训练</li>
<li>无需稳定网络连接</li>
</ul>
<p>任何场景——浏览外文网页、与外国朋友聊天、阅读外语文档——全部<strong>零网络延迟</strong>、<strong>完全隐私</strong>。</p>
<h3 id="android-app">Android 演示 App</h3>
<p>腾讯提供了开箱即用的 Android APK 演示，展示两大功能：</p>
<ol>
<li><strong>翻译演示</strong> — 输入文本即时翻译（演示设备：Snapdragon 865，RAM 8GB）</li>
<li><strong>后台取词翻译模式</strong> — 全局悬浮窗，任意 App 内实时翻译，无需切换应用</li>
</ol>
<p>APK 一次性下载，永久离线使用，无需注册、无数据收集。</p>
<hr>
<h2 id="5">5. 推理速度</h2>
<p>腾讯 benchmarks 显示，在支持 SME2（Scalable Matrix Extension 2）的硬件上，2-bit 模型推理速度极快。原因在于：</p>
<ol>
<li><strong>更小的内存占用</strong> → 内存读取更快（574MB vs 3.3GB）</li>
<li><strong>位运算优化</strong> → 2-bit 权重在专用芯片上处理效率更高</li>
<li><strong>SME2 指令集优化</strong> → Arm 新一代扩展指令集专为矩阵运算设计</li>
</ol>
<p>在 SME2 内核上，2-bit 模型在移动级硬件上达到实时翻译速度。标准 ARMv8 Neon 内核虽然稍慢，但非实时场景完全可用。</p>
<hr>
<h2 id="6">6. 下载与使用</h2>
<h3 id="_4">模型权重</h3>
<table>
<thead>
<tr>
<th>版本</th>
<th>格式</th>
<th>大小</th>
<th>下载链接</th>
</tr>
</thead>
<tbody>
<tr>
<td><strong>Hy-MT1.5-1.8B-2bit</strong></td>
<td>Safetensors</td>
<td>574MB</td>
<td>模型</td>
</tr>
<tr>
<td><strong>Hy-MT1.5-1.8B-2bit</strong></td>
<td>GGUF</td>
<td>~574MB</td>
<td>GGUF</td>
</tr>
<tr>
<td><strong>Hy-MT1.5-1.8B-1.25bit</strong></td>
<td>Safetensors</td>
<td>440MB</td>
<td>模型</td>
</tr>
<tr>
<td><strong>Hy-MT1.5-1.8B-1.25bit</strong></td>
<td>GGUF</td>
<td>~440MB</td>
<td>GGUF</td>
</tr>
</tbody>
</table>
<h3 id="transformers">Transformers 使用示例</h3>
<pre class="codehilite"><code class="language-python">from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model_name = "AngelSlim/Hy-MT1.5-1.8B-2bit"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
# 英译中
inputs = tokenizer("The weather is great today.", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs, skip_special_tokens=True))
</code></pre>
<hr>
<h2 id="7-angelslim">7. AngelSlim 工具包技术解析</h2>
<p>Hy-MT1.5-1.8B-2bit 基于腾讯的 <strong>AngelSlim</strong> 模型压缩工具包开发，该工具包支持从小型 1B 模型到超大规模 100B+ VLM 和音频模型的全面压缩。</p>
<h3 id="_5">核心组件</h3>
<ul>
<li><strong>SEQ（弹性延伸量化）</strong> — 核心 2-bit 量化算法</li>
<li><strong>Sherry</strong> — 基于细粒度稀疏化的硬件高效 1.25-bit 三值量化（详见 arXiv:2601.07892）</li>
<li><strong>Eagle3</strong> — 全尺度 LLM/VLM/音频模型的训练和部署支持</li>
</ul>
<p>AngelSlim 由腾讯混元 AI 基础设施团队持续维护，定期发布新功能。</p>
<h3 id="_6">相关资源</h3>
<ul>
<li><strong>AngelSlim GitHub</strong>: https://github.com/Tencent/AngelSlim</li>
<li><strong>HY-MT GitHub</strong>: https://github.com/Tencent-Hunyuan/HY-MT</li>
<li><strong>文档</strong>: https://angelslim.readthedocs.io/</li>
</ul>
<hr>
<h2 id="8">8. 与同类方案对比</h2>
<table>
<thead>
<tr>
<th>模型</th>
<th>参数量</th>
<th>大小</th>
<th>语言数</th>
<th>部署方式</th>
<th>商业 API</th>
</tr>
</thead>
<tbody>
<tr>
<td><strong>Hy-MT1.5-1.8B-2bit</strong></td>
<td>1.8B</td>
<td>574MB</td>
<td>33 + 5 方言</td>
<td>端侧（手机）</td>
<td>否</td>
</tr>
<tr>
<td><strong>Tower-Plus-72B</strong></td>
<td>72B</td>
<td>~144GB</td>
<td>200+</td>
<td>仅云端</td>
<td>是（付费）</td>
</tr>
<tr>
<td><strong>Qwen3-32B</strong></td>
<td>32B</td>
<td>~64GB</td>
<td>100+</td>
<td>云端/GPU</td>
<td>API</td>
</tr>
<tr>
<td><strong>Google 翻译 API</strong></td>
<td>N/A</td>
<td>N/A</td>
<td>130+</td>
<td>云端</td>
<td>是（付费）</td>
</tr>
</tbody>
</table>
<p><strong>结论</strong>：Hy-MT1.5-1.8B-2bit 是唯一能在端侧、隐私保护、零成本条件下提供有竞争力翻译质量的方案。</p>
<hr>
<h2 id="9">9. 常见问题</h2>
<h3 id="q2-bit">Q：2-bit 量化实际意味着什么？</h3>
<p>A：每个模型权重（通常以 16 或 32 位浮点数存储）被压缩到仅 2 位。权重只能取 4 个值：-1.5、-0.5、0.5 或 1.5。这带来了 82% 的文件体积缩减。</p>
<h3 id="q">Q：相比全精度模型，质量损失多少？</h3>
<p>A：基于腾讯在 Flores-200 数据集上的 benchmark，质量损失极小——标准翻译指标（BLEU、COMET）通常不超过 3%。多数语言对在人工评估中与 FP16 基座模型无统计显著差异。</p>
<h3 id="qiphone">Q：iPhone 能运行吗？</h3>
<p>A：目前腾讯的优化二进制文件针对 ARM SME2 的 Android 设备和 Apple M 系列芯片（Mac/iPad）。iPhone 部署需要 Core ML 转换等优化，暂未官方提供。GGUF 格式可通过 llama.cpp 在 Apple Silicon Mac 上运行。</p>
<h3 id="q_1">Q：支持哪些语言？</h3>
<p>A：33 种主要语言，包括英语、中文（简体/繁体）、西班牙语、法语、德语、日语、韩语、阿拉伯语、俄语、葡萄牙语、意大利语、荷兰语、波兰语、越南语、泰语、印尼语等，外加 5 种方言/少数民族语言变体和 1056 个语言方向。</p>
<h3 id="q_2">Q：模型是开源的吗？</h3>
<p>A：是的。模型权重和 AngelSlim 工具包均为开源，基于 AngelSlim License 发布。Safetensors 和 GGUF 格式均可在 Hugging Face 免费获取。</p>
<hr>
<h2 id="10">10. 总结</h2>
<p><strong>Hy-MT1.5-1.8B-2bit</strong> 代表了机器翻译的新范式：领域专用训练 + 激进量化 + 端侧优先部署，全部整合在一个开源项目中。腾讯的 AngelSlim 工具包证明，极端量化（2-bit、1.25-bit）不必然导致灾难性的质量损失。</p>
<p>对于开发翻译应用、嵌入式系统、隐私敏感工具、离线移动体验的开发者，Hy-MT1.5-1.8B-2bit 值得认真考虑：</p>
<ul>
<li><strong>574MB 模型体积</strong>（1.25-bit 版仅 440MB）</li>
<li><strong>33 种语言、1056 个翻译方向</strong></li>
<li><strong>完全离线端侧推理</strong></li>
<li><strong>零 API 成本 + 完全隐私保护</strong></li>
<li><strong>与 72B 级模型相当的翻译质量</strong></li>
</ul>
<p>这是 LLM 压缩领域目前最实用、最落地的成果之一。</p>
<p><strong>相关链接：</strong>
- 模型：https://huggingface.co/tencent/Hy-MT1.5-1.8B-2bit
- AngelSlim：https://github.com/Tencent/AngelSlim
- Android 演示 APK：https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit-GGUF/resolve/main/Hy-MT-demo.apk
- AngelSlim 技术报告（arXiv:2602.21233）：https://arxiv.org/abs/2602.21233
- HY-MT1.5 技术报告（arXiv:2512.24092）：https://arxiv.org/abs/2512.24092</p>
<hr>
<p><em>原文发表于 CurateClick | Dev.to | Zenn.dev</em></p><br><br>
来源：https://www.cnblogs.com/sing1ee/p/19961936 这波真的被腾讯惊艳到了，574MB的模型能干翻72B的大家伙，还是在手机上离线跑，太离谱了！
我自己第一时间试了那个安卓APK，骁龙865+8G内存完全够用，后台取词翻译简直神器，看推特刷外网文章长按直接出译文，不用切应用，体验丝滑。而且完全本地运行，数据不出手机，这点对注重隐私的朋友太香了。以前用谷歌翻译总有网络延迟，现在零延迟真的爽。
量化技术那块我也仔细看了，SEQ弹性延伸量化确实聪明，把传统2bit的{-1,0,1}网格改成{-1.5,-0.5,0.5,1.5}，居然能保住离群权重信息，这思路真绝。1.25bit版才440MB，质量损失据说不到5%，回头我也准备试试。
目前官方没出iPhone直接可用的包有点可惜，不过有GGUF格式，用llama.cpp在Mac上也能跑。社区里已经有人在做Core ML转换了，估计很快有戏。
总之这个模型对移动端翻译是降维打击，零成本、隐私保护、质量不输商业API，开发者做应用集成也方便。腾讯这波开源真的良心，大家快去Hugging Face下载试试，欢迎一起交流使用体验！
模型下载地址
AngelSlim工具包GitHub 腾讯这次在端侧AI上的发力确实让人眼前一亮！
把大参数模型压到不到600MB还能保持这种翻译水准，底层工程团队绝对是下了狠功夫。对于经常出差或者出国旅游的人来说，纯离线、零延迟的体验简直是刚需，再也不用担心在地铁里或者信号差的景区查不到词了。
SEQ量化方案能巧妙保留离群权重，说明算法优化已经摸到了门道，不是简单粗暴的暴力压缩。期待后续开源社区能适配更多第三方输入法或者阅读器的插件，要是能直接集成到系统级服务里就完美了。
另外想请教一下，实际跑起来的时候功耗和发热控制得怎么样？有没有兄弟拿中低端机型测过续航？求分享一波真实体验！
頁:
[1]