科研 Skill

译本对比与质量评估

translation-quality-assessment

结合MQM人工标注、自动指标与翻译转换分析系统评估比较译文。适用于多译本比较、机译对比及翻译教学评估。

发布者 Codar安全审核通过v0.1.0更新于 2026-11-18

SKILL.md

译本对比与翻译质量评估(Translation Comparison and Quality Assessment)

适用场景

  • 比较《红楼梦》霍克思译本与杨宪益/戴乃迭译本在文化负载词、诗词、称谓上的处理策略。
  • 评估大语言模型或机器翻译对现代小说片段的译文质量,并与已出版人工译本比较。
  • 用 MQM 框架为翻译课程或翻译项目建立统一的错误标注与打分规范。
  • 对某译者多部译作做转换分析,归纳其翻译规范与风格倾向。

边界与不适用

  • 不负责平行语料构建与句对齐,前置工作转 translation-parallel-corpus;译介史与接受研究转 complit-influence-reception。
  • 自动指标(BLEU、chrF、COMET)不能衡量文学性、风格与创造性改写;文学翻译中"与参考译文不同"不等于"错"。自动指标只用于同条件下系统间的相对比较或机器译文筛查。
  • 不对已出版译本作商业性或人身性评判;评价以文本证据为依据。
  • 被评文本若受版权保护,引用控制在合理范围内。

工作流

  1. 确定评估目的与框架
    • 决策点:
      • 描述性研究(译者做了什么、为什么):以转换分析与多译本对读为主,参照 Toury 描述翻译学。
      • 质量评估(好不好、错在哪):以 MQM 人工标注为主,辅以自动指标。
      • 机器/人工译文比较:人工标注 + 自动指标 + 盲评。
    • 产出:评估方案(目的、样本、方法、评估人)。
  2. 抽样
    • 输入:已对齐的原文—译文句对。
    • 操作:按章节分层随机抽样,另按研究主题定向抽取(文化负载词、诗词、方言、称谓、隐喻);记录抽样规则。
  3. MQM 人工标注
    • 操作:按 MQM 维度(准确性 Accuracy、流利度 Fluency/语言规范、术语 Terminology、风格 Style、本地化/区域惯例、受众适宜性等)与严重程度(轻微/严重/重大)标注错误;按权重计算每千词惩罚分。
    • 决策点:文学文本需在"风格"维度下明确何为可接受的创造性偏离,写入标注指南;至少两名标注者,计算一致性。
  4. 自动指标(可选)
    • 操作:用 sacreBLEU 计算 BLEU(中文目标语用 zh 分词)与 chrF;用 COMET(如 Unbabel/wmt22-comet-da)计算有参考评分,或 CometKiwi 做无参考质量估计。
    • 决策点:只在同一参考、同一测试集下比较系统;报告指标版本签名;文学文本中与人工评分相关性需自行检验。
  5. 翻译转换分析
    • 操作:逐句标注转换类型:Catford 的层次转换与范畴转换(结构、词类、单位、系统内转换);van Leuven-Zwart 的调整(modulation)、修饰(modification)、变异(mutation);Vinay & Darbelnet 的直接与间接翻译程序(借用、仿译、直译、词性转换、调制、对等、改编);文化负载词按归化/异化、音译、意译、加注分类。
    • 产出:转换标注表与频次统计。
  6. 多译本对读与阐释
    • 操作:同一原文句对齐多个译本并列,比较策略差异;结合译者背景、目标读者、出版语境、底本差异解释。
    • 产出:对读表与论证。

工具与数据源

  • MQM:Multidimensional Quality Metrics 框架(themqm.org 提供错误类型与评分模型);与 TAUS DQF 已整合。
  • 自动指标:sacrebleu(BLEU、chrF、TER)、unbabel-comet(COMET、CometKiwi)、BERTScore。
  • 标注工具:Excel/表格模板、Label Studio、doccano;标注一致性用 statsmodels 或 sklearn.metrics.cohen_kappa_score。
  • 平行检索:ParaConc、AntPConc。
  • 标准:ISO 17100:2015(翻译服务要求)、GB/T 19682—2005《翻译服务译文质量要求》、GB/T 19363《翻译服务规范》。

最小代码示例(Python)

用 sacreBLEU 计算语料级 BLEU 与 chrF,用于同一测试集上两个系统的相对比较。

import sacrebleu

refs = [line.strip() for line in open("ref_zh.txt", encoding="utf-8")]
sys_a = [line.strip() for line in open("mt_a_zh.txt", encoding="utf-8")]
sys_b = [line.strip() for line in open("mt_b_zh.txt", encoding="utf-8")]

for name, hyp in (("A", sys_a), ("B", sys_b)):
    bleu = sacrebleu.corpus_bleu(hyp, [refs], tokenize="zh")
    chrf = sacrebleu.corpus_chrf(hyp, [refs])
    print(name, round(bleu.score, 2), round(chrf.score, 2))

MQM 每千词惩罚分可在标注表上计算:penalty = Σ(错误数 × 严重度权重) / 译文词数 × 1000;常用权重如轻微 1、严重 5、重大 10(以所采用的 MQM 评分模型为准,须在报告中写明)。

质量检查

  • 评估目的与框架明确,描述性研究未被写成"优劣评判"。
  • 抽样规则可复现,样本覆盖不同章节与文本类型。
  • MQM 标注指南(含文学性偏离的处理)成文,标注者间一致性已报告。
  • 自动指标只用于同参考同测试集的相对比较,报告了版本签名与局限。
  • 转换分类体系出处明确,类型定义与示例附录给出。
  • 多译本比较考虑了底本差异、译者背景与出版语境。
  • 引文控制在合理使用范围,评价基于文本证据。

输出格式

  1. MQM 标注表:句ID | 原文 | 译文 | 错误片段 | 维度 | 子类 | 严重度 | 标注者 | 说明。
  2. 评分汇总:译本/系统 | 词数 | 各维度错误数 | 惩罚分/千词 | BLEU | chrF | COMET。
  3. 转换分析表:句ID | 原文 | 译本A | 译本B | 转换类型A | 转换类型B | 文化负载词处理 | 评注。
  4. 报告章节:评估目的与方法;样本说明;定量结果;典型例析;结论与局限。

参考规范与文献

  • Catford, J. C. (1965). A Linguistic Theory of Translation. Oxford University Press.
  • Vinay, J.-P. & Darbelnet, J. (1958). Stylistique comparée du français et de l'anglais. Didier.
  • van Leuven-Zwart, K. M. (1989, 1990). Translation and Original: Similarities and Dissimilarities I–II. Target, 1(2), 2(1).
  • Toury, G. (1995). Descriptive Translation Studies and Beyond. John Benjamins.
  • House, J. (2015). Translation Quality Assessment: Past and Present. Routledge.
  • Lommel, A., Uszkoreit, H. & Burchardt, A. (2014). Multidimensional Quality Metrics (MQM). Tradumàtica, 12.
  • Papineni, K. et al. (2002). BLEU: a Method for Automatic Evaluation of Machine Translation. ACL.
  • Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. WMT.
  • Post, M. (2018). A Call for Clarity in Reporting BLEU Scores. WMT.
  • Rei, R. et al. (2020). COMET: A Neural Framework for MT Evaluation. EMNLP.
  • Chesterman, A. (1997). Memes of Translation. John Benjamins.

示例提示词

帮我用MQM和翻译转换分析比较杨宪益与霍克思两个《红楼梦》译本对称谓和诗词的处理。

所属插件

中国语言文学与比较文学面向中国语言文学、比较文学与翻译学研究:古籍语料检索与校勘、古汉语断句分词、诗词格律、现当代报刊史料、文体计量与远读、影响与接受研究、平行语料与译本质量评估。

安装该插件会一并获得同领域的 11 个 Skill / MCP。

同插件的其他科研 Skill

常见问题

译本对比与质量评估能做什么?

结合MQM人工标注、自动指标与翻译转换分析系统评估比较译文。适用于多译本比较、机译对比及翻译教学评估。

如何安装译本对比与质量评估?

在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「译本对比与质量评估」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。

译本对比与质量评估需要哪些权限?

该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。

译本对比与质量评估经过官方审核吗?

是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。