科研 Skill

古汉语断句与分词

cnlit-classical-chinese-nlp

用jiayan、SikuBERT等模型对未标点古籍做自动断句分词,并设计分层评估指标。适用于古籍语料检索与文体计量的预处理。

发布者 Codar安全审核通过v0.1.0更新于 2026-11-18

SKILL.md

古汉语自动断句与分词(Classical Chinese Sentence Segmentation & Tagging)

适用场景

  • 大批未标点古籍(如地方志、笔记、文集 OCR 文本)需要先自动断句,才能做检索或统计。
  • 为文体计量、主题模型准备古汉语分词结果(单音词为主,需处理复音词、人名地名、官名)。
  • 比较不同模型在某一文体(史传、骈文、诗词、佛经、公文)上的断句效果,选择最佳方案。
  • 在小规模人工标注数据上微调 SikuBERT 等预训练模型,提升特定领域文本的断句质量。

边界与不适用

  • 自动断句结果不能直接作为出版级标点本;正式整理仍需人工审读。
  • 不做版本对勘与校勘,转 cnlit-classical-text-collation;不做格律分析,转 cnlit-poetry-prosody。
  • 现代汉语分词与人物网络构建转 cnlit-distant-reading。
  • 模型对罕见字、异体字、未见文体可能显著退化,结论需按文体分别报告,不可泛化。

工作流

  1. 语料预处理
    • 输入:原始文本(OCR 或录入)。
    • 操作:去除原有标点(若做断句评估需保留一份作为金标准)、统一繁简与异体字策略、处理 Unicode 扩展区汉字与缺字符号(如"□")。
    • 产出:无标点纯文本 + 预处理日志。
  2. 构建金标准评估集
    • 操作:按文体/年代分层抽取样本(建议每层不少于数千字),取自可靠点校本的标点作为金标准,或由两名标注者独立标注并计算一致率。
    • 决策点:金标准与待处理语料的文体分布要一致,否则评估结果失真。
  3. 选择与运行模型
    • 轻量方案:jiayan(基于 KenLM 语言模型与 CRF,提供断句、分词、词性标注,需下载其模型文件)。
    • 预训练模型方案:SikuBERT/SikuRoBERTa(基于《四库全书》训练)、GuwenBERT,在断句/标点数据上做序列标注微调(每字预测其后是否断句或接何种标点)。
    • 在线工具:古籍酷等自动标点平台(注意数据上传的版权与保密要求)。
    • 产出:各方案的输出文件。
  4. 自动评估
    • 断句:以"断点位置"为单位计算 Precision/Recall/F1;标点任务再分标点类别评估。
    • 分词:以词边界计算 F1;词性另算准确率。
    • 产出:按文体分层的指标表。
  5. 人工抽检
    • 操作:在每一层随机抽取段落,由熟悉该文体的研究者审读,记录错误类型(该断未断、误断、标点类型错、人名地名切分错)。
    • 决策点:若某文体 F1 明显偏低或高频错误集中于某类,考虑加入领域词典或少量标注微调。
  6. 后处理与交付
    • 操作:合并自定义词典(人名、地名、官职、年号),输出带版本说明的结果;对低置信度段落打标记供人工复核。

工具与数据源

  • jiayan(甲言,pip install jiayan,依赖 kenlm,需单独下载其语言模型与 CRF 模型)。
  • SikuBERT / SikuRoBERTa(南京农业大学等团队发布,Hugging Face 名称 SIKU-BERT/sikubert、SIKU-BERT/sikuroberta)。
  • GuwenBERT(Hugging Face ethanyt/guwenbert-base)。
  • Hugging Face transformers、datasets:微调序列标注模型。
  • 评测与数据:EvaHan 古汉语处理评测(LT4HALA 研讨会系列)的分词与词性数据;可靠点校本(中华书局、上海古籍)作为金标准来源。
  • 古籍酷等在线自动标点平台;ctext.org 提供部分文本的标点与原始未标点对照。

最小代码示例(Python)

断句评估:从带标点的金标准与模型输出中提取断点位置,计算 P/R/F1。

PUNCT = set(",。、;:?!")

def boundaries(text: str) -> tuple[str, set[int]]:
    """返回去标点后的字符串,以及'第 i 个字之后有断点'的位置集合"""
    chars, cuts = [], set()
    for ch in text:
        if ch in PUNCT:
            if chars:
                cuts.add(len(chars) - 1)
        elif not ch.isspace():
            chars.append(ch)
    return "".join(chars), cuts

def prf(gold: str, pred: str):
    g_txt, g = boundaries(gold)
    p_txt, p = boundaries(pred)
    assert g_txt == p_txt, "去标点后文本不一致,请先对齐"
    tp = len(g & p)
    P = tp / len(p) if p else 0.0
    R = tp / len(g) if g else 0.0
    F = 2 * P * R / (P + R) if P + R else 0.0
    return round(P, 4), round(R, 4), round(F, 4)

gold = "學而時習之,不亦說乎?有朋自遠方來,不亦樂乎?"
pred = "學而時習之不亦說乎?有朋自遠方來,不亦樂乎?"
print(prf(gold, pred))  # (1.0, 0.75, 0.8571)

质量检查

  • 金标准来源可靠、与待处理语料文体分布一致,并记录来源版本。
  • 评估指标按文体/年代分层报告,而非只给总体 F1。
  • 训练集与评估集无重叠(同一书的不同段落也要警惕近重复)。
  • 人工抽检样本随机抽取,记录错误类型分布与抽检人。
  • 模型名称、版本、参数、自定义词典留档,可复现。
  • 繁简与异体字处理策略在训练、预测、评估三个环节一致。
  • 上传在线平台的文本不涉及未授权的版权文本或保密数据。

输出格式

  1. 处理结果:按原文段落编号的断句/分词文本(TXT 或 JSONL,字段:id, raw, segmented, model, low_confidence)。
  2. 评估表:文体 | 样本字数 | 方案 | Precision | Recall | F1 | 主要错误类型。
  3. 方法说明:预处理规则、模型与版本、微调数据规模、抽检流程与结果。

参考规范与文献

  • 王力主编:《古代汉语》,中华书局。
  • 杨伯峻:《古汉语虚词》,中华书局(用于判断虚词处断句)。
  • Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
  • Sprugnoli, R. & Passarotti, M. (eds.) LT4HALA Workshop Proceedings(含 EvaHan 古汉语评测)。
  • 王东波等关于 SikuBERT 的论文(发表于《图书馆论坛》等,引用前请核对具体卷期)。

示例提示词

帮我用SikuBERT给这批明代地方志OCR文本自动断句,并按文体抽检评估断句F1。

所属插件

中国语言文学与比较文学面向中国语言文学、比较文学与翻译学研究:古籍语料检索与校勘、古汉语断句分词、诗词格律、现当代报刊史料、文体计量与远读、影响与接受研究、平行语料与译本质量评估。

安装该插件会一并获得同领域的 11 个 Skill / MCP。

同插件的其他科研 Skill

常见问题

古汉语断句与分词能做什么?

用jiayan、SikuBERT等模型对未标点古籍做自动断句分词,并设计分层评估指标。适用于古籍语料检索与文体计量的预处理。

如何安装古汉语断句与分词?

在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「古汉语断句与分词」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。

古汉语断句与分词需要哪些权限?

该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。

古汉语断句与分词经过官方审核吗?

是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。