字节跳动 Seed 团队针对文本翻译面临的复杂语言现象 (如俚语, 习语, 谚语, 网络用语等) 处理难题, 以及开源与闭源模型性能鸿沟、数据与训练效率矛盾三大核心问题，提出 7B 参数多语言翻译 LLM 家族 Seed-X。Seed 团队发现, 单语数据的质量与多样性、平行数据的多轮优化、以及翻译过程中的推理能力（CoT）是提升多语言翻译性能的关键；而自动评估指标（如 BLEURT）与人类判断存在偏差，所以需结合人类偏好与无参考对偶奖励（DuPO）评估翻译质量；多平行数据易导致模型过拟合，盲目扩大语言方向反而损害泛化能力。为了解决现有问题, Seed-X 提出了 4 个创新方法论: 包括 1. 设计 “通用→多语言主导→仅平行语料” 三阶段预训练，结合 6 万亿 token 高质量单语数据与迭代优化的双语数据，夯实多语言基础; 2. 将 Chain-of-Thought（CoT）推理融入翻译 SFT，让模型掌握复杂语言现象的语义解析与文化适配逻辑; 3. 提出人类偏好 + DuPO 对偶奖励的 RL 策略，解决翻译质量评估主观性问题; 4. 首次实现 7B 参数开源模型在自动与人类评估中比肩 GPT-4o、Gemini-2.5 等闭源超大规模模型，为开源翻译模型建立更高性能基线.

Technical Report: Seed-X: Building Strong Multilingual Translation LLM with 7B Parameters

研究背景与业界难题

机器翻译 (Machine Translation, MT) 是自然语言处理 (Natural Language Processing, NLP) 领域的长期研究方向与核心挑战之一, LLMs 的发展虽革新了机器翻译范式, 但仍存在关键瓶颈, 如:

  1. 复杂语言现象处理难: 习语, 俚语, 谚语, 网络用语等短语的翻译, 需考虑文化适配与深层次语义理解, 而非单纯词对词映射, 现有机器翻译模型/算法易产生生硬翻译 (一眼就分辨出机翻痕迹).

  2. 开源与闭源模型的性能鸿沟: 闭源模型 (如 Gemini-2.5-Pro) 翻译质量领先, 但开源模型受限于参数规模 (多为小型模型) 与开发方法论的落后, 难以匹敌.

  3. 数据与训练效率矛盾: 多语言翻译需兼顾数据多样性和数据质量, 但现有开源模型缺乏系统的多语言数据构建与训练策略, 导致低资源语言 (如泰语) 翻译性能差, 且泛化能力弱.

研究进展

  1. LLM 专业化: 让 LLM 在特定领域或特定任务达到 “专家级” 性能

    • 方法论:

      1. 从头预训练: 结合通用文本与领域领域.

      2. 基于开源模型微调: 在现有 LLM 基础上持续训练 (Continue Pretraining) + 特定任务 SFT (Supervised Finetuning). SFT 受限于基础模型能力, 难以突破性能天花板; 另外一方面, 多数专业化模型也未聚焦翻译任务.

  2. 面向翻译任务的 LLM:

    • 现有成果:

      • TowerInstruct-13B: 开源翻译模型, 优于同类开源模型, 但在自动评估 (如 BLEU 分数) 上仍落后于 GPT-4.

      • ALMA 系列: 性能超过 NLLB-54B 与 GPT-3.5，但依旧不及 GPT-4.

      当前开源模型依然依赖自动评估指标 (如 BLEU, COMET 等), 缺乏复杂语言现象 (如俚语, 古诗) 的人类评估, 且多基于开源基础模型进行微调, 未从头优化多语言能力.

    • Seed-X 的突破:

      1. 首次实现 7B 参数开源模型在自动 + 人类评估中比肩超大规模闭源模型 (GPT-4o, Gemini-2.5-Pro).

      2. 从头设计多语言预训练数据集和训练方法, 而非依赖现有开源模型微调.

      3. 提出翻译需推理 (CoT 融入翻译) 与对偶奖励 (DuPO), 缓解翻译质量评估的主观性问题.

Seed-X 方法论

Seed-X 的核心是预训练注入语法基础 -> 后训练提升翻译能力 -> RL 泛化的三阶段管线, 各环节均针对多语言翻译优化.

  1. 预训练: 构建多语言基础能力

    1. 模型架构设计: Seed-X-7B 基于 Mistral-7B (32 x TransformerDecoder, 32 x AttentionHead, 8 x ExpertHead, emb_dim = 4096):

      但 Seed-X-7B 对 Mistral 模型进行了一些优化:

      • 分词表扩展: 分词表从 32k 扩展到 65k tokens, 覆盖更多更完整的 token 提升了多语言的压缩率 (从 3.17 字符 / token 提升到 3.74 字符 / token, 每个 token 覆盖的字符更多了, 一个句子就能用更少的 token 表示).

      • 位置编码改进: 引入了 RoPE 旋转矩阵位置编码, 强化了长文本的相对位置特征.

      • 序列长度: 支持到 2048 tokens.

    2. 数据集设计:

      • 单语言数据集: 6 万亿 token 规模, 覆盖 28 种语言; 文档级质量分级, 高质量保留, 中质量使用 LLM 改写增强, 低质量直接剔除; 排除 STEM, Code, Reasoning 等 “STEM 领域” 数据, 允许其对代码和数学等工程领域知识的缺乏, 以专注于学习成为一个优秀的”文科生”.

      • 双语数据集 (迭代式构建, 由弱到强): 使用 200B tokens 的公开网页数据, 用语言识别置信度与词对齐工具筛选, 得到种子数据; 再用种子数据训练初始翻译模型, 得到早期模型; 使用早期模型生成伪平行数据 (起始语言 -> 目标语言翻译), 改写首轮翻译, 剔除低质量对, 进而实现数据的增强; 使用更优的模型替换早期模型, 并重复数据增强步骤, 逐步提升双语数据质量.

    3. 预训练管线设计:

      1. (Step1) 学习通用语言基础: 该阶段使用单语言数据集进行无监督训练, 其核心任务是归纳基本语言规律, 得到各个语言的基础 next token 概念分布, 以此掌握各语言的语法.

      2. (Step2) 扩展语言覆盖: 增加低资源语言单语数据 + 双语数据, 该阶段的核心任务是建立多语言之间的基础语义关联.

      3. (Step3) 翻译能力对齐: 该阶段使用多轮增强和清洗后的高质量双语数据, 其核心任务是进一步强化跨语言的语义等价性.

  2. 后训练: 强化模型的翻译能力与泛化能力

    1. SFT: 监督学习微调, 精准对齐翻译任务

      • 数据集: 使用 236K 翻译数据, 来源包括 facebook/FLORES 和字节内部人工标注数据.

      • 质量控制: 使用 G-DIG 剔除高错误率样本, 对低资源语言应用”拒绝采样”筛选优质数据.

      • 核心创新: 将 CoT 融入翻译, 由专业语言学家标注复杂翻译的推理过程, 其主要包含三类信息

        1. 原句整体语义

        2. 难点解析: 如俚语, 古文, 网络梗等.

        3. 目标语言表达规范与常见语法错误

        通过定制 CoT 提示, 引导模型学习推理式翻译.

    2. RL: 强化学习泛化

      翻译输出的语义多样, 无法用规则或 BLEU 等自动指标完全替代人类的主观判别. 所以 Seed 团队引入了两种奖励策略:

      1. 人类偏好奖励 (有监督): 基于 Seed-X-base 训练奖励模型 Seed-X-RM, 对 20K 高资源语言(中文, 英文, 法语, 西班牙语等主流语言)对的候选翻译打分.

      2. 无参考对偶奖励 DuPO (无监督): $\text{A}$ 语言翻译为 $\text{B}$ 语言, 再将 $\text{B}$ 语言翻译为 $\text{A}$ 语言 (我在这记为 $\text{A}^$), 将 $\text{A}^$ 与 $\text{A}$ 的嵌入的相似度分数作为奖励分数, 来衡量 A 语言翻译为 B 语言的质量, 以解决低资源语言标注缺失的问题.

      Seed-X 采用 PPO 方法进行优化, 并通过大批次训练 + 多轮 Rollout 提升效率, 用奖励模型初始化 Critic 保证训练稳定.

      Rollout, 一个强化学习术语, 可类比为监督学习中的 Epoch, 一个 Rollout 即 Agent 从初始状态开始, 探索至终止状态的过程. Rollout 的作用是收集动作-价值对, 为强化学习优化提供策略和价值采样.

      Critic, 一个强化学习术语, 中文翻译为 “评论家”, 来自 Actor-Critic 范式 (演员-评论家范式), 该范式旨在通过 Actor 和 Critic 不断博弈, 相互优化直至系统达到纳什均衡, 在大语言模型 RL 中, Actor 或者说策略网络即大模型本身 (策略即文本生成策略).

    3. 关键工程优化:

      通过省略源语言标签, 提升模型对混合语言输入的鲁棒性; 而 CoT 方法极大提升了翻译质量.

      在提示模板构建中, Seed 团队选择了不同于传统分词器的分句特殊 Token (<SEP>), 而是选用了目标语言标签 (如 <zh> <es> 等), 其比 <SEP> 更能帮助模型区分语言, 达到更高的翻译性能.

实验结论

实验覆盖自动评估（FLORES-200、WMT-25） 与人类评估（Seed-X-Challenge），核心结论如下：

  1. 在 FLORES-200 和 WMT-25 上, Seed-X-PPO-7B 性能高于 Gemini-2.5-pro 和 GPT-4o 等闭源模型, 并碾压一众参数规模超自身多倍的开源大型模型 (如 Gemma3-27B, Qwen3-235B-A22B).

在实验过程中, Seed-X 还发现, 谷歌翻译的 BLEURT 分数虽高, 但人类评估很差 (也就是生硬的机翻感), 证明自动指标如 BLEU 等尚且无法完全反映实际翻译质量.

  1. 在人类评估 Seed-X-Challenge 测试集上, 英语作为原始语言翻译其他语言任务上 (EN -> XX), Seed-X 排名第一, 超过 Gemini-2.5-pro 和 GPT-4o; 而 ZH -> XX 任务上, Seed-X 则排名第二 (仅次于 DeepSeek-R1).

另外, 团队做了一系列消融实验, 实验验证:

  • 单语数据质量和多样性, 能够直接提升翻译性能.

  • 平行数据的多轮筛选与改写可显著提升模型对复杂语言的处理能力.

  • CoT 推理与语言标签特殊 Token 显著提升翻译准确性.

  • 多平行数据易导致过拟合, 反而不利于训练.