科研 Skill
CSMAR数据清洗SOP
mgmt-paper-data-cleaning
提供CSMAR数据清洗SOP:ST剔除、缩尾标准、公司ID追踪、行业代码映射与时间对齐模板。适用于处理CSMAR数据或构建经管类面板数据。
SKILL.md
MGMT - Paper - Data Cleaning — CSMAR 国泰安数据清洗 SOP
本 Skill 面向使用 CSMAR (国泰安, China Stock Market & Accounting Research Database) 进行实证会计 / 金融 / 公司治理研究的中文研究者,提供一套标准化的清洗流程 (SOP),把"导入原始库表 → 输出可上跑回归的干净面板"这条链路上的踩坑点显式化。
What it does
- 列出实证经管研究最高频使用的 CSMAR 库表与关键字段(
references/csmar-tables.md) - 给出通用清洗规则(删 ST/PT、剔金融业、剔 IPO 当年、缺失值、上市公司 ID 变更)(
references/cleaning-rules.md) - 标准化缩尾选择:1% / 5%、按年/按行业/全样本(
references/winsorize-standard.md) - 处理公司股票代码变更、借壳、退市的 ID 追踪(
references/id-tracking.md) - CSRC 2012 vs 2001 行业代码映射、制造业 C13–C43 子门类(
references/industry-codes.md) - 财报年度 vs 自然年、季报年化、月度/日度对齐(
references/time-alignment.md) - 国内学者高频踩坑(
references/pitfalls.md) - Stata / R / Python 三语言可直接跑的清洗模板(
code/)
When to use
调用本 Skill 的典型情形:
- 用户提到 CSMAR / 国泰安 / Stkcd / Symbol / TRD_Dalyr / FS_Combas / FS_Comins 等关键词
- 用户在做 A 股实证(公司治理、盈余管理、信息披露、ESG、股价同步性、IPO、SEO、并购等)
- 用户在构建经管类面板数据并询问"要不要剔金融业?""怎么缩尾?""上市公司代码变了怎么处理?"
- 用户面板回归出现明显异常值、不平衡面板、IPO 当年观测过多等症状
- 用户准备投国内 C 刊 / SSCI 财会金融期刊,需要按惯例做样本筛选
Skill layout
mgmt-paper-data-cleaning/
├── SKILL.md ← 本文件
├── README.md ← 用户视角入门
├── references/ ← 知识库(中文)
│ ├── csmar-tables.md 高频用表清单
│ ├── cleaning-rules.md 通用清洗规则
│ ├── winsorize-standard.md 缩尾标准
│ ├── id-tracking.md 公司 ID 变更
│ ├── industry-codes.md CSRC 行业代码
│ ├── time-alignment.md 时间对齐
│ └── pitfalls.md 常见陷阱
└── code/ ← 三语言模板
├── stata/
│ ├── basic_cleaning.do
│ └── winsor_industry.do
├── r/basic_cleaning.R
└── python/basic_cleaning.py
Highest-frequency tables (quick reference)
| 库表英文名 | 中文 | 频率 | 关键字段 |
|---|---|---|---|
TRD_Dalyr | 个股交易日数据 | 日 | Stkcd, Trddt, Clsprc, Dretwd, Dsmvosd |
TRD_Mnth | 个股交易月数据 | 月 | Stkcd, Trdmnt, Mclsprc, Mretwd, Msmvosd |
FS_Combas | 资产负债表(合并) | 季/年 | Stkcd, Accper, A001000000 (资产总计), A002000000 (负债) |
FS_Comins | 利润表(合并) | 季/年 | Stkcd, Accper, B001100000 (营业收入), B002000000 (净利润) |
FS_Comscfd | 现金流量表(合并直接法) | 季/年 | Stkcd, Accper, C001000000 系列 |
FN_Fn041 | 财务指标—相对价值类 | 年 | Stkcd, Accper, ROA, ROE, EPS |
EN_EnterpriseInfo | 上市公司基本信息 | 截面 | Stkcd, ListDt, IndCd, EstDt |
CG_Ybasic | 公司治理年度基本表 | 年 | Stkcd, Reptdt, Y0301a (董事人数), Y1101b (独董) |
STK_MKT_DalyR | A 股市场日度收益(含市场指数) | 日 | Trddt, Cdretwdos (流通市值加权) |
字段名以 CSMAR 最新版数据手册为准;以上为长期沿用的命名约定。
Standard cleaning pipeline (cookbook)
实证会计 / 金融论文样本筛选的"标准菜单"(按惯例顺序):
- 样本期窗口 — 按研究设计选定(常见 1998–2023,避开 1990s 早期数据质量问题)
- 剔除金融业 — 行业代码 J(CSRC 2012)或 I(CSRC 2001)
- *剔除 ST / ST / PT 公司 — 通过
TRD_Dalyr的Trdsta字段(交易状态码) - 剔除 IPO 当年观测 —
Trddt - ListDt < 1 year全部丢 - 剔除 B 股 / H 股双重上市样本(视研究设计)—
Stkcd首位为 9 的为 B 股 - 关键变量缺失值处理 — 一般直接删除(不可插补盈利等关键变量)
- 缩尾极值 — 连续型变量按 1% / 99% 缩尾(详见
winsorize-standard.md) - 检查面板平衡度 —
xtset Stkcd year+xtdescribe输出 - 保存中间数据 —
.dta/.parquet格式 + 一份变量字典
Three-language templates
每条样本筛选规则在 Stata / R / Python 都有对应实现:
- Stata:
code/stata/basic_cleaning.do(载入 + 清洗 + 保存);code/stata/winsor_industry.do(winsor2行业内缩尾) - R:
code/r/basic_cleaning.R(dplyr+DescTools::Winsorize) - Python:
code/python/basic_cleaning.py(pandas+scipy.stats.mstats.winsorize)
代码模板均包含合成 minimal 数据用于自检,可独立运行。
Common pitfalls (must read before regression)
详见 references/pitfalls.md。最高频四个:
- 剔金融业但忘记剔房地产 / 类金融 —— 银行业、保险业之外,K 房地产业是否剔有学派分歧
Stkcd当成不可变 ID —— 借壳上市后Stkcd不变但公司本质已变- 季报年化口径混乱 ——
Accper的 03-31 / 06-30 / 09-30 / 12-31 不能直接相加 - 缩尾在子样本回归前 vs 后做 —— 标准做法是全样本统一缩尾,子样本不再二次缩尾
License & data access
- 本 Skill 代码 / 文档:Apache 2.0
- CSMAR 数据本身:商业数据库,需机构订阅。本 Skill 不分发任何 CSMAR 数据,仅提供清洗代码。
- 字段名 / 表名引用自 CSMAR 公开数据手册(官网免费下载)。
示例提示词
我在整理CSMAR面板数据,需要按标准流程剔除ST股票并做缩尾处理。
所属插件
安装该插件会一并获得同领域的 40 个 Skill / MCP。
同插件的其他科研 Skill
- 文献计量分析Runs bibliometric and co-citation analysis for management or economics literature reviews using CiteSpace, VOSviewer, or bibliometrix. Use for citation-network mapping.
- 发展经济学与RCT分析Loads LSMS data and runs RCT ITT analysis, Lee sharp bounds, covariate balance tables, propensity-score matching, and FGT poverty indices. Use for development-economics impact or poverty research.
- 双重差分因果推断Estimates DiD effects with two-way fixed effects, parallel-trends tests, Callaway-Sant’Anna staggered estimators, and Goodman-Bacon decomposition. Use for staggered or two-period DiD designs.
- 宏观经济预测Runs ARIMA, VAR, LightGBM ensemble forecasting, Diebold-Mariano tests, fan charts, and real-time ALFRED data. Use for macroeconomic forecasting or forecast-accuracy comparison.
- 金融事件研究法Estimates abnormal returns, CARs, BMP tests, and Fama-French normal returns plus long-run BHAR using yfinance. Use for a corporate-finance event-study around an announcement date.
- 实验经济学设计Designs incentivized lab, online, or lab-in-field experiments: treatment and payoff design, deception/IRB norms, and oTree/z-Tree setup. Use when designing a behavioral-economics study.
- 资产定价因子模型Fits Fama-French 3/5-factor, Carhart 4-factor, and q-factor asset-pricing models with rolling loadings and the GRS alpha test. Use for asset-pricing factor-model estimation.
- 金融时间序列分析Covers GARCH volatility modeling, cointegration, pairs trading, factor models, and risk decomposition for financial time series. Use for volatility or financial time-series research.
- 固定收益证券分析Covers bond pricing, yield curves, duration/convexity, Nelson-Siegel fitting, and credit-spread modeling. Use for fixed-income analytics or term-structure research.
- FRED宏观数据分析Fetches and analyzes FRED series via fredapi: GDP, unemployment, inflation, yield curves, recession shading, and HP filtering. Use for US macroeconomic time-series retrieval and analysis.
- 工具变量两阶段最小二乘Runs IV/2SLS with first-stage diagnostics, Wu-Hausman endogeneity, Sargan overidentification, and weak-instrument tests via linearmodels. Use for IV estimation of an endogenous regressor.
- 劳动经济学分析Estimates Mincer wage equations, Heckman selection, Oaxaca-Blinder decomposition, and unconditional quantile regression on CPS data. Use for labor-economics wage or selection research.
- 管理学实证研究图表為管理/財務實證研究產出出版級統計圖:轉折點圖、係數森林圖、交互作用圖、事件研究CAR曲線。用於迴歸或追蹤資料結果需要投稿圖表時。
- 中国情境因果推断方法提供DiD/RDD/IV/合成控制/PSM识别策略的Stata/R/Python模板,附中国数据陷阱。适用于CSMAR/Wind/CFPS数据的因果识别。
- 经管学术图表模板集提供12种经管高频图表的Stata/R/Python三语言模板,支持4种期刊样式切换。适用于绘制经管学术图表、事件研究可视化或政策评估图。
- 研究流程与因果图绘制自动生成研究流程图、因果DAG、PRISMA图与网络图,提供Mermaid/Python/LaTeX TikZ模板。适用于绘制论文流程图或因果识别可视化。
- 科研资助申请书写作覆盖国内外主流科研资助项目的写作助手,提供项目对比、各模块写作提示与预算编制规范。适用于撰写国家社科基金、NSF、ERC等资助申请书。
- 管理学期刊投稿图表按目标期刊生成投稿级图表规格,强调矢量PDF、字体嵌入、色盲友好与可复现脚本。适用于准备特定期刊风格的图表或审查图表质量。
- 论文投稿材料整理覆盖论文材料盘点、证据矩阵、章节撰写与预投稿package整理,含cover letter与补充材料清单。适用于把研究项目整理成可投稿的完整论文包。
- 混合方法研究设计覆盖探索型/解释型顺序设计、并行汇聚设计、joint display与方法整合段落写作。适用于连接访谈/案例与问卷/实验数据的混合方法论文设计。
- 国自然基金申请书写作提供NSFC面上/青年/重点等8类项目的立项依据、研究内容、预算编制模板与退稿信号清单。适用于撰写、修改或审阅国家自然科学基金申请书。
- 论文项目进度管理提供论文项目的任务拆解、看板、里程碑、风险登记与周计划模板,适用于管理论文进度、协调合作者或安排修订冲刺与会议纪要整理。
- 中文期刊配图规范提供中文学术期刊配图规范与matplotlib模板:三线表、宋体字号、色盲友好调色板与7类常用图。适用于绘制符合中文期刊规范的学术图表。
- 管理学定性研究方法覆盖案例选择、访谈提纲、扎根理论、Gioia方法、编码本与NVivo/MAXQDA工作流。适用于设计、执行或写作管理学定性研究。
常见问题
CSMAR数据清洗SOP能做什么?
提供CSMAR数据清洗SOP:ST剔除、缩尾标准、公司ID追踪、行业代码映射与时间对齐模板。适用于处理CSMAR数据或构建经管类面板数据。
如何安装CSMAR数据清洗SOP?
在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「CSMAR数据清洗SOP」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。
CSMAR数据清洗SOP需要哪些权限?
该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。
CSMAR数据清洗SOP经过官方审核吗?
是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。