科研 Skill
译本对比与质量评估
translation-quality-assessment
结合MQM人工标注、自动指标与翻译转换分析系统评估比较译文。适用于多译本比较、机译对比及翻译教学评估。
发布者 Codar安全审核通过v0.1.0更新于 2026-11-18
SKILL.md
译本对比与翻译质量评估(Translation Comparison and Quality Assessment)
适用场景
- 比较《红楼梦》霍克思译本与杨宪益/戴乃迭译本在文化负载词、诗词、称谓上的处理策略。
- 评估大语言模型或机器翻译对现代小说片段的译文质量,并与已出版人工译本比较。
- 用 MQM 框架为翻译课程或翻译项目建立统一的错误标注与打分规范。
- 对某译者多部译作做转换分析,归纳其翻译规范与风格倾向。
边界与不适用
- 不负责平行语料构建与句对齐,前置工作转
translation-parallel-corpus;译介史与接受研究转complit-influence-reception。 - 自动指标(BLEU、chrF、COMET)不能衡量文学性、风格与创造性改写;文学翻译中"与参考译文不同"不等于"错"。自动指标只用于同条件下系统间的相对比较或机器译文筛查。
- 不对已出版译本作商业性或人身性评判;评价以文本证据为依据。
- 被评文本若受版权保护,引用控制在合理范围内。
工作流
- 确定评估目的与框架
- 决策点:
- 描述性研究(译者做了什么、为什么):以转换分析与多译本对读为主,参照 Toury 描述翻译学。
- 质量评估(好不好、错在哪):以 MQM 人工标注为主,辅以自动指标。
- 机器/人工译文比较:人工标注 + 自动指标 + 盲评。
- 产出:评估方案(目的、样本、方法、评估人)。
- 决策点:
- 抽样
- 输入:已对齐的原文—译文句对。
- 操作:按章节分层随机抽样,另按研究主题定向抽取(文化负载词、诗词、方言、称谓、隐喻);记录抽样规则。
- MQM 人工标注
- 操作:按 MQM 维度(准确性 Accuracy、流利度 Fluency/语言规范、术语 Terminology、风格 Style、本地化/区域惯例、受众适宜性等)与严重程度(轻微/严重/重大)标注错误;按权重计算每千词惩罚分。
- 决策点:文学文本需在"风格"维度下明确何为可接受的创造性偏离,写入标注指南;至少两名标注者,计算一致性。
- 自动指标(可选)
- 操作:用 sacreBLEU 计算 BLEU(中文目标语用
zh分词)与 chrF;用 COMET(如Unbabel/wmt22-comet-da)计算有参考评分,或 CometKiwi 做无参考质量估计。 - 决策点:只在同一参考、同一测试集下比较系统;报告指标版本签名;文学文本中与人工评分相关性需自行检验。
- 操作:用 sacreBLEU 计算 BLEU(中文目标语用
- 翻译转换分析
- 操作:逐句标注转换类型:Catford 的层次转换与范畴转换(结构、词类、单位、系统内转换);van Leuven-Zwart 的调整(modulation)、修饰(modification)、变异(mutation);Vinay & Darbelnet 的直接与间接翻译程序(借用、仿译、直译、词性转换、调制、对等、改编);文化负载词按归化/异化、音译、意译、加注分类。
- 产出:转换标注表与频次统计。
- 多译本对读与阐释
- 操作:同一原文句对齐多个译本并列,比较策略差异;结合译者背景、目标读者、出版语境、底本差异解释。
- 产出:对读表与论证。
工具与数据源
- MQM:Multidimensional Quality Metrics 框架(themqm.org 提供错误类型与评分模型);与 TAUS DQF 已整合。
- 自动指标:
sacrebleu(BLEU、chrF、TER)、unbabel-comet(COMET、CometKiwi)、BERTScore。 - 标注工具:Excel/表格模板、Label Studio、doccano;标注一致性用
statsmodels或sklearn.metrics.cohen_kappa_score。 - 平行检索:ParaConc、AntPConc。
- 标准:ISO 17100:2015(翻译服务要求)、GB/T 19682—2005《翻译服务译文质量要求》、GB/T 19363《翻译服务规范》。
最小代码示例(Python)
用 sacreBLEU 计算语料级 BLEU 与 chrF,用于同一测试集上两个系统的相对比较。
import sacrebleu
refs = [line.strip() for line in open("ref_zh.txt", encoding="utf-8")]
sys_a = [line.strip() for line in open("mt_a_zh.txt", encoding="utf-8")]
sys_b = [line.strip() for line in open("mt_b_zh.txt", encoding="utf-8")]
for name, hyp in (("A", sys_a), ("B", sys_b)):
bleu = sacrebleu.corpus_bleu(hyp, [refs], tokenize="zh")
chrf = sacrebleu.corpus_chrf(hyp, [refs])
print(name, round(bleu.score, 2), round(chrf.score, 2))
MQM 每千词惩罚分可在标注表上计算:penalty = Σ(错误数 × 严重度权重) / 译文词数 × 1000;常用权重如轻微 1、严重 5、重大 10(以所采用的 MQM 评分模型为准,须在报告中写明)。
质量检查
- 评估目的与框架明确,描述性研究未被写成"优劣评判"。
- 抽样规则可复现,样本覆盖不同章节与文本类型。
- MQM 标注指南(含文学性偏离的处理)成文,标注者间一致性已报告。
- 自动指标只用于同参考同测试集的相对比较,报告了版本签名与局限。
- 转换分类体系出处明确,类型定义与示例附录给出。
- 多译本比较考虑了底本差异、译者背景与出版语境。
- 引文控制在合理使用范围,评价基于文本证据。
输出格式
- MQM 标注表:句ID | 原文 | 译文 | 错误片段 | 维度 | 子类 | 严重度 | 标注者 | 说明。
- 评分汇总:译本/系统 | 词数 | 各维度错误数 | 惩罚分/千词 | BLEU | chrF | COMET。
- 转换分析表:句ID | 原文 | 译本A | 译本B | 转换类型A | 转换类型B | 文化负载词处理 | 评注。
- 报告章节:评估目的与方法;样本说明;定量结果;典型例析;结论与局限。
参考规范与文献
- Catford, J. C. (1965). A Linguistic Theory of Translation. Oxford University Press.
- Vinay, J.-P. & Darbelnet, J. (1958). Stylistique comparée du français et de l'anglais. Didier.
- van Leuven-Zwart, K. M. (1989, 1990). Translation and Original: Similarities and Dissimilarities I–II. Target, 1(2), 2(1).
- Toury, G. (1995). Descriptive Translation Studies and Beyond. John Benjamins.
- House, J. (2015). Translation Quality Assessment: Past and Present. Routledge.
- Lommel, A., Uszkoreit, H. & Burchardt, A. (2014). Multidimensional Quality Metrics (MQM). Tradumàtica, 12.
- Papineni, K. et al. (2002). BLEU: a Method for Automatic Evaluation of Machine Translation. ACL.
- Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. WMT.
- Post, M. (2018). A Call for Clarity in Reporting BLEU Scores. WMT.
- Rei, R. et al. (2020). COMET: A Neural Framework for MT Evaluation. EMNLP.
- Chesterman, A. (1997). Memes of Translation. John Benjamins.
示例提示词
帮我用MQM和翻译转换分析比较杨宪益与霍克思两个《红楼梦》译本对称谓和诗词的处理。
所属插件
安装该插件会一并获得同领域的 11 个 Skill / MCP。
同插件的其他科研 Skill
- 古汉语断句与分词用jiayan、SikuBERT等模型对未标点古籍做自动断句分词,并设计分层评估指标。适用于古籍语料检索与文体计量的预处理。
- 古籍校勘与版本对勘按对校本校他校理校四法组织校勘,用CollateX做字符级自动对勘并生成异文表。适用于古籍整理、底本选择与校勘记编制。
- 古籍检索与引文核对用ctext.org API与中华经典古籍库检索先秦至明清文献,批量核对论文引文。适用于古代文学思想史论文定稿前的引文核查。
- 文学远读与人物网络用分词NER构建人物共现网络,做主题模型与情感曲线分析,并与细读互证。适用于长篇小说、期刊语料的大规模结构研究。
- 出土文献与写本研究整理甲骨金文简牍帛书的释文与缺字标注,建立异说对照表并与传世本比勘。适用于出土文献与古文字研究,不做实物鉴定。
- 现代文学报刊史料检索报刊数据库核实初刊信息,编制作品系年并比对初刊本修订本差异。适用于现代文学史料学、版本研究与作家年谱编制。
- 诗词格律用韵分析按平水韵等韵书批量检测近体诗平仄粘对、孤平拗救,统计词作用韵现象。适用于诗人用韵研究、格律统计与合律检查。
- 文体计量作者归属基于高频字词与R包stylo的Burrows Delta、聚类检验作者归属与文本分期。适用于佚文辨伪、合著分工等归属研究。
- 比较文学影响接受在法国美国学派与变异学框架下搜集译介史料与接受语料,梳理跨文化传播证据链。适用于中外文学关系与译介史研究。
- 双语平行语料对齐用bertalign等工具做汉外句对齐,经人工抽检后导出TMX供检索分析。适用于多译本对比与译者风格研究的数据准备。
常见问题
译本对比与质量评估能做什么?
结合MQM人工标注、自动指标与翻译转换分析系统评估比较译文。适用于多译本比较、机译对比及翻译教学评估。
如何安装译本对比与质量评估?
在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「译本对比与质量评估」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。
译本对比与质量评估需要哪些权限?
该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。
译本对比与质量评估经过官方审核吗?
是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。