科研 Skill
古汉语断句与分词
cnlit-classical-chinese-nlp
用jiayan、SikuBERT等模型对未标点古籍做自动断句分词,并设计分层评估指标。适用于古籍语料检索与文体计量的预处理。
发布者 Codar安全审核通过v0.1.0更新于 2026-11-18
SKILL.md
古汉语自动断句与分词(Classical Chinese Sentence Segmentation & Tagging)
适用场景
- 大批未标点古籍(如地方志、笔记、文集 OCR 文本)需要先自动断句,才能做检索或统计。
- 为文体计量、主题模型准备古汉语分词结果(单音词为主,需处理复音词、人名地名、官名)。
- 比较不同模型在某一文体(史传、骈文、诗词、佛经、公文)上的断句效果,选择最佳方案。
- 在小规模人工标注数据上微调 SikuBERT 等预训练模型,提升特定领域文本的断句质量。
边界与不适用
- 自动断句结果不能直接作为出版级标点本;正式整理仍需人工审读。
- 不做版本对勘与校勘,转
cnlit-classical-text-collation;不做格律分析,转cnlit-poetry-prosody。 - 现代汉语分词与人物网络构建转
cnlit-distant-reading。 - 模型对罕见字、异体字、未见文体可能显著退化,结论需按文体分别报告,不可泛化。
工作流
- 语料预处理
- 输入:原始文本(OCR 或录入)。
- 操作:去除原有标点(若做断句评估需保留一份作为金标准)、统一繁简与异体字策略、处理 Unicode 扩展区汉字与缺字符号(如"□")。
- 产出:无标点纯文本 + 预处理日志。
- 构建金标准评估集
- 操作:按文体/年代分层抽取样本(建议每层不少于数千字),取自可靠点校本的标点作为金标准,或由两名标注者独立标注并计算一致率。
- 决策点:金标准与待处理语料的文体分布要一致,否则评估结果失真。
- 选择与运行模型
- 轻量方案:jiayan(基于 KenLM 语言模型与 CRF,提供断句、分词、词性标注,需下载其模型文件)。
- 预训练模型方案:SikuBERT/SikuRoBERTa(基于《四库全书》训练)、GuwenBERT,在断句/标点数据上做序列标注微调(每字预测其后是否断句或接何种标点)。
- 在线工具:古籍酷等自动标点平台(注意数据上传的版权与保密要求)。
- 产出:各方案的输出文件。
- 自动评估
- 断句:以"断点位置"为单位计算 Precision/Recall/F1;标点任务再分标点类别评估。
- 分词:以词边界计算 F1;词性另算准确率。
- 产出:按文体分层的指标表。
- 人工抽检
- 操作:在每一层随机抽取段落,由熟悉该文体的研究者审读,记录错误类型(该断未断、误断、标点类型错、人名地名切分错)。
- 决策点:若某文体 F1 明显偏低或高频错误集中于某类,考虑加入领域词典或少量标注微调。
- 后处理与交付
- 操作:合并自定义词典(人名、地名、官职、年号),输出带版本说明的结果;对低置信度段落打标记供人工复核。
工具与数据源
- jiayan(甲言,
pip install jiayan,依赖kenlm,需单独下载其语言模型与 CRF 模型)。 - SikuBERT / SikuRoBERTa(南京农业大学等团队发布,Hugging Face 名称
SIKU-BERT/sikubert、SIKU-BERT/sikuroberta)。 - GuwenBERT(Hugging Face
ethanyt/guwenbert-base)。 - Hugging Face
transformers、datasets:微调序列标注模型。 - 评测与数据:EvaHan 古汉语处理评测(LT4HALA 研讨会系列)的分词与词性数据;可靠点校本(中华书局、上海古籍)作为金标准来源。
- 古籍酷等在线自动标点平台;ctext.org 提供部分文本的标点与原始未标点对照。
最小代码示例(Python)
断句评估:从带标点的金标准与模型输出中提取断点位置,计算 P/R/F1。
PUNCT = set(",。、;:?!")
def boundaries(text: str) -> tuple[str, set[int]]:
"""返回去标点后的字符串,以及'第 i 个字之后有断点'的位置集合"""
chars, cuts = [], set()
for ch in text:
if ch in PUNCT:
if chars:
cuts.add(len(chars) - 1)
elif not ch.isspace():
chars.append(ch)
return "".join(chars), cuts
def prf(gold: str, pred: str):
g_txt, g = boundaries(gold)
p_txt, p = boundaries(pred)
assert g_txt == p_txt, "去标点后文本不一致,请先对齐"
tp = len(g & p)
P = tp / len(p) if p else 0.0
R = tp / len(g) if g else 0.0
F = 2 * P * R / (P + R) if P + R else 0.0
return round(P, 4), round(R, 4), round(F, 4)
gold = "學而時習之,不亦說乎?有朋自遠方來,不亦樂乎?"
pred = "學而時習之不亦說乎?有朋自遠方來,不亦樂乎?"
print(prf(gold, pred)) # (1.0, 0.75, 0.8571)
质量检查
- 金标准来源可靠、与待处理语料文体分布一致,并记录来源版本。
- 评估指标按文体/年代分层报告,而非只给总体 F1。
- 训练集与评估集无重叠(同一书的不同段落也要警惕近重复)。
- 人工抽检样本随机抽取,记录错误类型分布与抽检人。
- 模型名称、版本、参数、自定义词典留档,可复现。
- 繁简与异体字处理策略在训练、预测、评估三个环节一致。
- 上传在线平台的文本不涉及未授权的版权文本或保密数据。
输出格式
- 处理结果:按原文段落编号的断句/分词文本(TXT 或 JSONL,字段:
id,raw,segmented,model,low_confidence)。 - 评估表:文体 | 样本字数 | 方案 | Precision | Recall | F1 | 主要错误类型。
- 方法说明:预处理规则、模型与版本、微调数据规模、抽检流程与结果。
参考规范与文献
- 王力主编:《古代汉语》,中华书局。
- 杨伯峻:《古汉语虚词》,中华书局(用于判断虚词处断句)。
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
- Sprugnoli, R. & Passarotti, M. (eds.) LT4HALA Workshop Proceedings(含 EvaHan 古汉语评测)。
- 王东波等关于 SikuBERT 的论文(发表于《图书馆论坛》等,引用前请核对具体卷期)。
示例提示词
帮我用SikuBERT给这批明代地方志OCR文本自动断句,并按文体抽检评估断句F1。
所属插件
安装该插件会一并获得同领域的 11 个 Skill / MCP。
同插件的其他科研 Skill
- 古籍校勘与版本对勘按对校本校他校理校四法组织校勘,用CollateX做字符级自动对勘并生成异文表。适用于古籍整理、底本选择与校勘记编制。
- 古籍检索与引文核对用ctext.org API与中华经典古籍库检索先秦至明清文献,批量核对论文引文。适用于古代文学思想史论文定稿前的引文核查。
- 文学远读与人物网络用分词NER构建人物共现网络,做主题模型与情感曲线分析,并与细读互证。适用于长篇小说、期刊语料的大规模结构研究。
- 出土文献与写本研究整理甲骨金文简牍帛书的释文与缺字标注,建立异说对照表并与传世本比勘。适用于出土文献与古文字研究,不做实物鉴定。
- 现代文学报刊史料检索报刊数据库核实初刊信息,编制作品系年并比对初刊本修订本差异。适用于现代文学史料学、版本研究与作家年谱编制。
- 诗词格律用韵分析按平水韵等韵书批量检测近体诗平仄粘对、孤平拗救,统计词作用韵现象。适用于诗人用韵研究、格律统计与合律检查。
- 文体计量作者归属基于高频字词与R包stylo的Burrows Delta、聚类检验作者归属与文本分期。适用于佚文辨伪、合著分工等归属研究。
- 比较文学影响接受在法国美国学派与变异学框架下搜集译介史料与接受语料,梳理跨文化传播证据链。适用于中外文学关系与译介史研究。
- 双语平行语料对齐用bertalign等工具做汉外句对齐,经人工抽检后导出TMX供检索分析。适用于多译本对比与译者风格研究的数据准备。
- 译本对比与质量评估结合MQM人工标注、自动指标与翻译转换分析系统评估比较译文。适用于多译本比较、机译对比及翻译教学评估。
常见问题
古汉语断句与分词能做什么?
用jiayan、SikuBERT等模型对未标点古籍做自动断句分词,并设计分层评估指标。适用于古籍语料检索与文体计量的预处理。
如何安装古汉语断句与分词?
在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「古汉语断句与分词」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。
古汉语断句与分词需要哪些权限?
该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。
古汉语断句与分词经过官方审核吗?
是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。