科研 Skill
双语平行语料对齐
translation-parallel-corpus
用bertalign等工具做汉外句对齐,经人工抽检后导出TMX供检索分析。适用于多译本对比与译者风格研究的数据准备。
发布者 Codar安全审核通过v0.1.0更新于 2026-11-18
SKILL.md
双语平行语料构建与句对齐(Building Bilingual Parallel Corpora)
适用场景
- 构建《红楼梦》原文与霍克思(Hawkes)、杨宪益/戴乃迭译本的汉英平行语料,供多译本对比。
- 为某位现代作家作品的英、日、俄等译本建立句对齐语料,研究译者风格或翻译规范。
- 将已对齐语料导出为 TMX,导入 ParaConc、AntPConc、Sketch Engine 或 CAT 工具做检索。
- 为机器翻译评估或领域微调准备干净的文学双语数据(仅限研究用途)。
边界与不适用
- 不做翻译质量评分与转换分析,转
translation-quality-assessment;不做译介史与接受研究,转complit-influence-reception。 - 文学翻译中大量存在增删、合句、拆句、调序,自动对齐无法达到 100%,必须人工抽检并修正关键章节。
- 原著与译本多受版权保护:语料仅限研究内部使用,发布时只公开检索结果、统计或少量例句,或取得授权。
工作流
- 版本确定与数字化
- 输入:原文版本与译本版本(注明出版社、年份、版次;译本所据原文底本须核对,如《红楼梦》不同译本据不同底本)。
- 操作:OCR 或获取电子文本,校对 OCR 错误,去除页眉页脚、注释编号、插图说明;保存原始与清洗后两份。
- 决策点:译者注、前言、附录是否纳入语料,事先规定。
- 结构对齐
- 操作:先按章/回、再按段落对齐(以章节标题与段落数量为锚点);发现译本合并或删除段落时记录。
- 产出:章节级、段落级对应表。
- 句子切分
- 操作:中文按"。!?;……"及引号规则切分,注意引号内句末标点;英文用 spaCy、NLTK 或 Stanza 切分,处理缩写(Mr.、Mrs.)。
- 决策点:中文";"是否作为句界视研究目的定,并与对齐粒度一致。
- 自动句对齐
- 首选:bertalign(基于 LaBSE 多语句向量,针对汉英文学文本设计,支持 1-n、n-1、n-m 对齐)。
- 备选:hunalign(基于句长与双语词典,速度快);vecalign;LF Aligner(图形界面,内部调用 hunalign,直接导出 TMX/表格)。
- 产出:对齐句对(含对齐类型 1-1、1-2、2-1、1-0、0-1)。
- 质量抽检与人工修正
- 操作:分层随机抽样(按章节与对齐类型),人工判定"正确/部分正确/错误",计算对齐准确率;对 1-0、0-1 与 n-m 对齐全部或高比例复核(多为增删译或对齐失败)。
- 决策点:准确率未达预设阈值(如 95%)的章节整体人工复核。
- 元数据与导出
- 操作:为每个句对添加 ID、章节号、对齐类型、置信度、人工复核标记;导出 TSV 与 TMX(TMX 1.4b),附语料说明文档。
工具与数据源
- bertalign(GitHub 开源项目,依赖 sentence-transformers 与 LaBSE 模型)。
- hunalign(开源命令行工具,需双语词典可提升效果);LF Aligner(Windows 图形界面);vecalign。
- 句子切分:spaCy、NLTK、Stanza;中文可用规则或 HanLP。
- 语料检索:ParaConc、AntPConc(Laurence Anthony 开发)、Sketch Engine。
- 参照语料与资源:OPUS 开放平行语料平台、北京外国语大学通用汉英对应语料库(王克非团队)、绍兴文理学院等机构的汉英文学平行语料库(访问政策以机构为准)。
- 标准:TMX(Translation Memory eXchange)1.4b。
最小代码示例(Python)
用 bertalign 对齐一章,并导出 TMX。bertalign 的接口以其仓库 README 为准。
from bertalign import Bertalign
import xml.etree.ElementTree as ET
src = open("hlm_ch01_zh.txt", encoding="utf-8").read()
tgt = open("hlm_ch01_hawkes.txt", encoding="utf-8").read()
aligner = Bertalign(src, tgt) # 默认使用 LaBSE;内部会做句子切分
aligner.align_sents()
aligner.print_sents() # 先人工浏览对齐结果
def write_tmx(pairs, path, srclang="zh-CN", tgtlang="en"):
tmx = ET.Element("tmx", version="1.4")
ET.SubElement(tmx, "header", creationtool="custom", creationtoolversion="0.1",
segtype="sentence", adminlang="en", srclang=srclang,
datatype="plaintext", **{"o-tmf": "none"})
body = ET.SubElement(tmx, "body")
for i, (s, t) in enumerate(pairs, 1):
tu = ET.SubElement(body, "tu", tuid=str(i))
for lang, seg in ((srclang, s), (tgtlang, t)):
tuv = ET.SubElement(tu, "tuv", {"xml:lang": lang})
ET.SubElement(tuv, "seg").text = seg
ET.ElementTree(tmx).write(path, encoding="utf-8", xml_declaration=True)
# pairs = [(中文句, 英文句), ...] 由对齐结果整理并经人工修正后得到
# write_tmx(pairs, "hlm_ch01.tmx")
质量检查
- 原文与译本版本、译本所据底本已核对并写入语料说明。
- OCR 文本经过校对,页眉页脚、注释编号已清除。
- 句子切分规则在中外文两端一致,并有说明。
- 报告了分层抽样的对齐准确率与各对齐类型比例。
- 1-0、0-1 及 n-m 对齐已重点人工复核。
- 每个句对有可追溯的章节与位置 ID,人工修改有标记。
- 语料使用符合版权要求,公开发布范围已评估。
输出格式
- 对齐语料 TSV:pair_id | 章节 | 原文句 | 译文句 | 对齐类型 | 置信度 | 人工复核(是/否) | 备注。
- TMX 1.4b 文件(每章或全书)。
- 语料说明:版本信息、清洗规则、切分规则、对齐工具与参数、抽检方法与准确率、版权说明。
- 抽检记录表:样本ID | 章节 | 对齐类型 | 判定 | 错误原因。
参考规范与文献
- Gale, W. A. & Church, K. W. (1993). A Program for Aligning Sentences in Bilingual Corpora. Computational Linguistics, 19(1).
- Varga, D. et al. (2005). Parallel corpora for medium density languages. RANLP(hunalign)。
- Thompson, B. & Koehn, P. (2019). Vecalign: Improved Sentence Alignment in Linear Time and Space. EMNLP.
- Liu, L. & Zhu, M. (2023). Bertalign: Improved word embedding-based sentence alignment for Chinese–English parallel corpora of literary texts. Digital Scholarship in the Humanities.
- Feng, F. et al. (2022). Language-agnostic BERT Sentence Embedding. ACL(LaBSE)。
- Baker, M. (1993). Corpus Linguistics and Translation Studies: Implications and Applications.
- 王克非等:《双语对应语料库:研制与应用》,外语教学与研究出版社。
示例提示词
帮我把《红楼梦》前五回与霍克思英译本用bertalign做句对齐,抽检质量后导出TMX。
所属插件
安装该插件会一并获得同领域的 11 个 Skill / MCP。
同插件的其他科研 Skill
- 古汉语断句与分词用jiayan、SikuBERT等模型对未标点古籍做自动断句分词,并设计分层评估指标。适用于古籍语料检索与文体计量的预处理。
- 古籍校勘与版本对勘按对校本校他校理校四法组织校勘,用CollateX做字符级自动对勘并生成异文表。适用于古籍整理、底本选择与校勘记编制。
- 古籍检索与引文核对用ctext.org API与中华经典古籍库检索先秦至明清文献,批量核对论文引文。适用于古代文学思想史论文定稿前的引文核查。
- 文学远读与人物网络用分词NER构建人物共现网络,做主题模型与情感曲线分析,并与细读互证。适用于长篇小说、期刊语料的大规模结构研究。
- 出土文献与写本研究整理甲骨金文简牍帛书的释文与缺字标注,建立异说对照表并与传世本比勘。适用于出土文献与古文字研究,不做实物鉴定。
- 现代文学报刊史料检索报刊数据库核实初刊信息,编制作品系年并比对初刊本修订本差异。适用于现代文学史料学、版本研究与作家年谱编制。
- 诗词格律用韵分析按平水韵等韵书批量检测近体诗平仄粘对、孤平拗救,统计词作用韵现象。适用于诗人用韵研究、格律统计与合律检查。
- 文体计量作者归属基于高频字词与R包stylo的Burrows Delta、聚类检验作者归属与文本分期。适用于佚文辨伪、合著分工等归属研究。
- 比较文学影响接受在法国美国学派与变异学框架下搜集译介史料与接受语料,梳理跨文化传播证据链。适用于中外文学关系与译介史研究。
- 译本对比与质量评估结合MQM人工标注、自动指标与翻译转换分析系统评估比较译文。适用于多译本比较、机译对比及翻译教学评估。
常见问题
双语平行语料对齐能做什么?
用bertalign等工具做汉外句对齐,经人工抽检后导出TMX供检索分析。适用于多译本对比与译者风格研究的数据准备。
如何安装双语平行语料对齐?
在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「双语平行语料对齐」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。
双语平行语料对齐需要哪些权限?
该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。
双语平行语料对齐经过官方审核吗?
是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。