科研 Skill

双语平行语料对齐

translation-parallel-corpus

用bertalign等工具做汉外句对齐,经人工抽检后导出TMX供检索分析。适用于多译本对比与译者风格研究的数据准备。

发布者 Codar安全审核通过v0.1.0更新于 2026-11-18

SKILL.md

双语平行语料构建与句对齐(Building Bilingual Parallel Corpora)

适用场景

  • 构建《红楼梦》原文与霍克思(Hawkes)、杨宪益/戴乃迭译本的汉英平行语料,供多译本对比。
  • 为某位现代作家作品的英、日、俄等译本建立句对齐语料,研究译者风格或翻译规范。
  • 将已对齐语料导出为 TMX,导入 ParaConc、AntPConc、Sketch Engine 或 CAT 工具做检索。
  • 为机器翻译评估或领域微调准备干净的文学双语数据(仅限研究用途)。

边界与不适用

  • 不做翻译质量评分与转换分析,转 translation-quality-assessment;不做译介史与接受研究,转 complit-influence-reception。
  • 文学翻译中大量存在增删、合句、拆句、调序,自动对齐无法达到 100%,必须人工抽检并修正关键章节。
  • 原著与译本多受版权保护:语料仅限研究内部使用,发布时只公开检索结果、统计或少量例句,或取得授权。

工作流

  1. 版本确定与数字化
    • 输入:原文版本与译本版本(注明出版社、年份、版次;译本所据原文底本须核对,如《红楼梦》不同译本据不同底本)。
    • 操作:OCR 或获取电子文本,校对 OCR 错误,去除页眉页脚、注释编号、插图说明;保存原始与清洗后两份。
    • 决策点:译者注、前言、附录是否纳入语料,事先规定。
  2. 结构对齐
    • 操作:先按章/回、再按段落对齐(以章节标题与段落数量为锚点);发现译本合并或删除段落时记录。
    • 产出:章节级、段落级对应表。
  3. 句子切分
    • 操作:中文按"。!?;……"及引号规则切分,注意引号内句末标点;英文用 spaCy、NLTK 或 Stanza 切分,处理缩写(Mr.、Mrs.)。
    • 决策点:中文";"是否作为句界视研究目的定,并与对齐粒度一致。
  4. 自动句对齐
    • 首选:bertalign(基于 LaBSE 多语句向量,针对汉英文学文本设计,支持 1-n、n-1、n-m 对齐)。
    • 备选:hunalign(基于句长与双语词典,速度快);vecalign;LF Aligner(图形界面,内部调用 hunalign,直接导出 TMX/表格)。
    • 产出:对齐句对(含对齐类型 1-1、1-2、2-1、1-0、0-1)。
  5. 质量抽检与人工修正
    • 操作:分层随机抽样(按章节与对齐类型),人工判定"正确/部分正确/错误",计算对齐准确率;对 1-0、0-1 与 n-m 对齐全部或高比例复核(多为增删译或对齐失败)。
    • 决策点:准确率未达预设阈值(如 95%)的章节整体人工复核。
  6. 元数据与导出
    • 操作:为每个句对添加 ID、章节号、对齐类型、置信度、人工复核标记;导出 TSV 与 TMX(TMX 1.4b),附语料说明文档。

工具与数据源

  • bertalign(GitHub 开源项目,依赖 sentence-transformers 与 LaBSE 模型)。
  • hunalign(开源命令行工具,需双语词典可提升效果);LF Aligner(Windows 图形界面);vecalign。
  • 句子切分:spaCy、NLTK、Stanza;中文可用规则或 HanLP。
  • 语料检索:ParaConc、AntPConc(Laurence Anthony 开发)、Sketch Engine。
  • 参照语料与资源:OPUS 开放平行语料平台、北京外国语大学通用汉英对应语料库(王克非团队)、绍兴文理学院等机构的汉英文学平行语料库(访问政策以机构为准)。
  • 标准:TMX(Translation Memory eXchange)1.4b。

最小代码示例(Python)

用 bertalign 对齐一章,并导出 TMX。bertalign 的接口以其仓库 README 为准。

from bertalign import Bertalign
import xml.etree.ElementTree as ET

src = open("hlm_ch01_zh.txt", encoding="utf-8").read()
tgt = open("hlm_ch01_hawkes.txt", encoding="utf-8").read()

aligner = Bertalign(src, tgt)      # 默认使用 LaBSE;内部会做句子切分
aligner.align_sents()
aligner.print_sents()              # 先人工浏览对齐结果

def write_tmx(pairs, path, srclang="zh-CN", tgtlang="en"):
    tmx = ET.Element("tmx", version="1.4")
    ET.SubElement(tmx, "header", creationtool="custom", creationtoolversion="0.1",
                  segtype="sentence", adminlang="en", srclang=srclang,
                  datatype="plaintext", **{"o-tmf": "none"})
    body = ET.SubElement(tmx, "body")
    for i, (s, t) in enumerate(pairs, 1):
        tu = ET.SubElement(body, "tu", tuid=str(i))
        for lang, seg in ((srclang, s), (tgtlang, t)):
            tuv = ET.SubElement(tu, "tuv", {"xml:lang": lang})
            ET.SubElement(tuv, "seg").text = seg
    ET.ElementTree(tmx).write(path, encoding="utf-8", xml_declaration=True)

# pairs = [(中文句, 英文句), ...]  由对齐结果整理并经人工修正后得到
# write_tmx(pairs, "hlm_ch01.tmx")

质量检查

  • 原文与译本版本、译本所据底本已核对并写入语料说明。
  • OCR 文本经过校对,页眉页脚、注释编号已清除。
  • 句子切分规则在中外文两端一致,并有说明。
  • 报告了分层抽样的对齐准确率与各对齐类型比例。
  • 1-0、0-1 及 n-m 对齐已重点人工复核。
  • 每个句对有可追溯的章节与位置 ID,人工修改有标记。
  • 语料使用符合版权要求,公开发布范围已评估。

输出格式

  1. 对齐语料 TSV:pair_id | 章节 | 原文句 | 译文句 | 对齐类型 | 置信度 | 人工复核(是/否) | 备注。
  2. TMX 1.4b 文件(每章或全书)。
  3. 语料说明:版本信息、清洗规则、切分规则、对齐工具与参数、抽检方法与准确率、版权说明。
  4. 抽检记录表:样本ID | 章节 | 对齐类型 | 判定 | 错误原因。

参考规范与文献

  • Gale, W. A. & Church, K. W. (1993). A Program for Aligning Sentences in Bilingual Corpora. Computational Linguistics, 19(1).
  • Varga, D. et al. (2005). Parallel corpora for medium density languages. RANLP(hunalign)。
  • Thompson, B. & Koehn, P. (2019). Vecalign: Improved Sentence Alignment in Linear Time and Space. EMNLP.
  • Liu, L. & Zhu, M. (2023). Bertalign: Improved word embedding-based sentence alignment for Chinese–English parallel corpora of literary texts. Digital Scholarship in the Humanities.
  • Feng, F. et al. (2022). Language-agnostic BERT Sentence Embedding. ACL(LaBSE)。
  • Baker, M. (1993). Corpus Linguistics and Translation Studies: Implications and Applications.
  • 王克非等:《双语对应语料库:研制与应用》,外语教学与研究出版社。

示例提示词

帮我把《红楼梦》前五回与霍克思英译本用bertalign做句对齐,抽检质量后导出TMX。

所属插件

中国语言文学与比较文学面向中国语言文学、比较文学与翻译学研究:古籍语料检索与校勘、古汉语断句分词、诗词格律、现当代报刊史料、文体计量与远读、影响与接受研究、平行语料与译本质量评估。

安装该插件会一并获得同领域的 11 个 Skill / MCP。

同插件的其他科研 Skill

常见问题

双语平行语料对齐能做什么?

用bertalign等工具做汉外句对齐,经人工抽检后导出TMX供检索分析。适用于多译本对比与译者风格研究的数据准备。

如何安装双语平行语料对齐?

在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「双语平行语料对齐」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。

双语平行语料对齐需要哪些权限?

该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。

双语平行语料对齐经过官方审核吗?

是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。