科研 Skill

多源资料整合方法

multi-source-data-integrator

多源資料整合方法論:實體解析、跨源值調解、來源譜系與三角驗證,合併異質資料源為可重現研究資料集。用於通過審稿資料嚴謹度要求。

发布者 Codar安全审核通过v0.1.0更新于 2026-11-18

SKILL.md

多源資料結合方法論架構師(Multi-Source Data Integrator)

核心心法:結合的三種正當理由(先確認你為何要合)

合併前先答「為什麼合這兩個源」,答案決定方法:

  1. 互補涵蓋(complementary):A 有的變數 B 沒有——目的是拼出更完整的變數集。 風險在「對接正確性」。
  2. 互證效度(convergent):A 和 B 都量同一構念——目的是三角驗證。 風險在「把冗餘當獨立證據」。
  3. 事件×序列(event × series):A 給事件日(MOPS 揭露)、B 給報酬/財務序列(TEJ)—— 目的是組事件研究資料。風險在「事件日與序列的時間對齊」。

不同理由→不同嚴謹重點。含糊地「資料越多越好」是審稿人一眼看穿的破綻。

工序 1|實體解析 / 記錄連結(跨源對得上同一家公司)

台灣資料的實體對接陷阱與對策:

  • 主鍵優先序:統一編號(統編)> 公司代號 > 公司名。統編最穩(法人唯一); 股票代號會因轉板(興櫃→上櫃→上市)、更名、暫停/恢復交易、下市而變動或重用。
  • 時間敏感對接:代號在不同期間可能指向不同公司(下市後代號重配)—— 合併 panel 要用「代號×期間」而非只用代號。
  • 名稱模糊比對:只有公司名時,正規化(去「股份有限公司」、全半形、繁簡)後 再模糊比對,且人工複核高風險配對;絕不接受未複核的自動模糊配對進最終資料。
  • 母子公司/合併報表層級:金控與子公司、合併 vs 個體報表,對接前先定研究單位。
  • 產出對接對照表(來源A鍵 ↔ 來源B鍵 ↔ 統編 ↔ 對接方式 ↔ 是否人工複核), 這張表要能附進論文資料附錄。

工序 2|跨源值調解(同一格數字不一致時)

多源對同一「公司-期-變數」給不同值,事先訂規則,不看結果挑:

  • 來源優先序:依變數性質定,並寫進方法節。例:財務數字以查核後財報(MOPS/TEJ 財報)為準;即時事件以 MOPS 重大訊息為準;整齊長序列以 TEJ 為準。
  • 容差區間:數值差在容差內(如四捨五入、單位差)自動取主源;超出容差標記 進衝突清單,人工判讀(常是單位/合併口徑/更正公告造成)。
  • 衝突揭露:報告衝突率與解決方式;衝突率過高(如 >5%)是資料品質警訊, 要回頭查對接是否錯配,而非默默取一個。
  • 絕不「平均兩個源」或「哪個好看取哪個」——這是資料操弄。

工序 3|來源譜系 / lineage(可重現性的命脈)

整合資料集的每一格都要追得回源。最低規格:每個變數欄配一個 _src 與 _asof 伴隨欄 (來源標識 + 擷取/揭露時點)。好處:

  • 審稿人問「這數字哪來的」當場答得出;
  • 免費源端點會變、會更正,_asof 讓你能重建當時快照;
  • 除錯時能定位是哪個源、哪次擷取出問題。 資料附錄要有「來源清單表」:每個源的名稱、版本/擷取日、涵蓋範圍、授權。

取得層也要留譜系:主源掛掉改用備援(鏡像、包裝層)時,_src 記實際供數者而非計畫主源; 備援要和主源做重疊期對帳才能拼接;HTTP 200 但空或回驗證頁=取數失敗,不是缺值。 取得順序事前宣告,細則與骨架見 references/integration-playbook.md 第 6 節。

工序 4|三角驗證(把多源變成效度證據,而非只是更多資料)

  • 收斂效度:同構念的多源測量該高度相關;相關低要解釋(測量差異 vs 其中一源有誤)。
  • 互補 vs 冗餘的誠實:若兩源高度冗餘,別假裝是兩個獨立證據;若互補,說清各補了什麼。
  • 交叉驗證抽樣:隨機抽 N 筆跨源人工核對(如 30 筆),報一致率——這是資料品質的 直接證據,比任何宣稱都有力。

工序 5|涵蓋與選擇偏誤(合併後樣本的誠實帳)

  • 合併損耗對帳:記錄「A 樣本數 → 內連結後數 → 掉了多少 → 為什麼掉」(對不上/ 單源缺)。這條和 thesis-consistency-audit 的樣本數對帳同源。
  • 選擇偏誤診斷:掉的公司和留的公司比一比(規模/產業/年份分布)——系統性差異 要揭露並討論對外推的影響。
  • 涵蓋差異:各源涵蓋範圍不同(TEJ 上市櫃齊、MOPS 含興櫃、政府資料含未上市), 合併採內連結還是外連結,決定樣本母體,方法節要交代。

輸出契約

  1. 整合設計書:結合理由(三選一)、各源角色、主鍵與對接策略、值調解規則、 連結方式(內/外)。
  2. 來源譜系規格:_src/_asof 欄位設計 + 資料附錄的來源清單表模板。
  3. 三角驗證報告:收斂相關、跨源抽樣一致率、互補/冗餘判定。
  4. 合併損耗對帳表:各階段樣本數 + 損耗原因 + 選擇偏誤診斷。
  5. 交棒:整合好的乾淨面板 → r-spss-syntax-architect / causal-inference-architect 建模。

紅線

  1. 值調解規則、對接方式、連結型態(內/外)一律事前訂、寫進方法節;看了結果再改=資料操弄。
  2. 自動模糊配對必須人工複核高風險項;未複核不進最終資料集。
  3. 不平均、不挑好看的、不隱藏衝突率與合併損耗。
  4. 每一格可回溯到源;免費源用 _asof 保快照,因端點會變。
  5. 三角驗證要誠實區分互補與冗餘,不把冗餘測量灌水成獨立證據。
  6. 本 skill 管「怎麼嚴謹地合」;各源「有沒有」、「單檔怎麼洗」、「合完怎麼建模」 屬於姐妹 skill(tej-data-scout、tej-data-wrangler、tej-variable-mapper、 r-spss-syntax-architect、causal-inference-architect、thesis-consistency-audit 等)職掌,但這些 skill 皆未包含在本 marketplace 中。遇到這些步驟時, 直接依本 skill 文中列出的原則處理,不要嘗試呼叫不存在的 skill 名稱。

示例提示词

我要把财报数据库和政府公开资料整合成一份可重现的研究数据集。

所属插件

社会学、政治学与城市研究面向社会科学研究:问卷与访谈设计、质性编码、文本即数据、社会网络、ABM、比较政治与选举数据、RCT 与 DID、城市与区域分析。

安装该插件会一并获得同领域的 58 个 Skill / MCP。

同插件的其他科研 Skill

常见问题

多源资料整合方法能做什么?

多源資料整合方法論:實體解析、跨源值調解、來源譜系與三角驗證,合併異質資料源為可重現研究資料集。用於通過審稿資料嚴謹度要求。

如何安装多源资料整合方法?

在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「多源资料整合方法」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。

多源资料整合方法需要哪些权限?

该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。

多源资料整合方法经过官方审核吗?

是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。