科研 Skill

调查实验方法设计

policy-survey-experiment-methods

设计列举实验、联合分析与情境实验测量敏感议题真实态度并估计处理效应。适用于腐败容忍度、政府信任等难测议题研究。

发布者 Codar安全审核通过v0.1.0更新于 2026-11-18

SKILL.md

公共管理调查实验方法(Survey Experiments in Public Administration)

适用场景

  • 测量对敏感议题(行贿受贿容忍度、对特定群体的歧视性偏好、对威权治理手段的支持度)的真实态度,规避社会期望偏差导致的直接提问低估或高估。
  • 用联合分析(conjoint analysis)研究公众对政策方案多个属性(如福利资格条件、公共服务分配标准)的边际偏好权重。
  • 用情境实验(vignette experiment)比较公众对不同情境描述(如不同身份的申请人、不同违规情节)的评价差异,揭示隐性标准或偏见。
  • 评估政府沟通、信息提供对公众态度或行为意向的因果效应(信息型实验,information experiment)。
  • 为政策扩散、治理满意度等议题设计补充性的实验证据,与 policy-diffusion-eha、policy-evaluation-design 的观察性方法互补。

边界与不适用

  • 本 Skill 聚焦调查实验的设计与估计方法;一般性问卷调查抽样与信效度检验属于通用调查方法,参见其他 Plugin 的问卷设计 Skill。
  • 涉及敏感议题(腐败、违法行为、歧视态度)的研究需格外注意受访者心理风险与社会风险,须经伦理审查,严禁诱导或教唆违法行为的情境设计。
  • 列举实验、联合分析等方法估计的是群体层面的平均效应或流行率,不能识别或推断任何个体的真实态度或行为,分析与报告中不得试图"反推"具体受访者的敏感信息。
  • 实验设计中涉及的情境、选项描述若包含民族、宗教、性别等身份变量,需评估是否可能强化刻板印象,并在报告中讨论伦理考量。
  • 不替代正式的态度测量心理测量学验证;复杂多维态度建构仍需配合传统量表方法。

工作流

  1. 界定敏感议题与测量目标

    • 输入:研究问题(流行率估计/态度测量/因果效应估计)。
    • 决策点:直接提问是否会导致系统性偏差?若怀疑存在社会期望偏差或政治敏感性,考虑间接测量方法(列举实验);若目标是测量多属性偏好权重,考虑联合分析;若目标是比较情境差异,考虑情境实验。
    • 产出:方法选择备忘,说明为何不适合直接提问。
  2. 列举实验(list experiment)设计

    • 原理:控制组呈现 k 个非敏感陈述,要求受访者只回答"有多少条符合"而非具体哪条;处理组呈现相同 k 个陈述加上第 1 条敏感陈述,要求回答符合总数;敏感陈述的流行率 = 处理组均值 − 控制组均值。
    • 操作:非敏感陈述的选择需与敏感陈述方向不完全一致(避免"天花板/地板效应",即所有陈述都为"是"或都为"否"导致答案本身泄露敏感信息);陈述数量通常 3–5 条,过少易推断具体回答,过多增加认知负荷。
    • 决策点:是否需要双列表法(double list experiment,每位受访者接受两版列表的不同组合)以提高统计效率;是否需要多元回归扩展(list experiment regression,可估计敏感议题与协变量的关联,而非仅总体流行率)。
    • 产出:两版问卷(控制/处理)、随机分配方案。
  3. 联合分析(conjoint analysis)设计

    • 操作:确定待研究的属性(attributes)及其水平(levels),如政策方案的"覆盖范围""资金来源""执行主体";随机生成属性组合的"剖面(profile)",通常每位受访者比较 2 个剖面并选择偏好或打分(choice-based 或 rating-based conjoint)。
    • 决策点:属性数量与呈现次数需控制认知负荷(常见 4–6 个属性,受访者完成 5–10 次比较);某些属性组合在现实中不合理时需排除(restriction),但过度限制会影响属性间独立性估计。
    • 估计:平均边际成分效应(Average Marginal Component Effect, AMCE)为标准估计量,用线性概率模型或条件逻辑模型估计;需讨论 AMCE 对属性水平分布(频率权重)的依赖性。
    • 产出:联合分析问卷设计矩阵、随机化方案。
  4. 情境实验(vignette experiment)设计

    • 操作:编写情境文本,系统操纵关键变量(如申请人身份、违规情节严重程度),保持其他描述一致;随机分配不同版本给受访者,要求评分或判断。
    • 决策点:情境描述的真实性与可信度需预试验(pilot)检验;操纵的变量数量不宜过多,避免交互效应难以解释。
    • 产出:情境文本各版本、操纵检查(manipulation check)题项。
  5. 样本与随机化

    • 操作:计算机随机分配版本/列表,记录随机化种子以便复现;样本量基于预期效应量做功效分析(列举实验所需样本量通常显著大于直接提问,因估计基于组间均值差)。
    • 决策点:在线调查平台(问卷星、腾讯问卷支持有限随机化功能,复杂实验设计可能需要专门的调查实验平台或自建)。
  6. 统计分析

    • 列举实验:差中差估计量(处理组均值 − 控制组均值);可用 R 包 list 做多元回归扩展(如 Imai 等提出的 ML 估计)与设计诊断(天花板/地板效应检验)。
    • 联合分析:用 R 包 cjoint 或 cregg 估计 AMCE 及边际均值(Marginal Means),绘制系数图。
    • 情境实验:方差分析或回归分析比较各版本间的评分差异,报告效应量;检查操纵是否成功(manipulation check 未通过的样本需讨论处理方式)。
  7. 报告与局限讨论

    • 操作:说明方法选择的理由、样本代表性、实验材料的生态效度(外部有效性),讨论调查实验结果向真实行为推论的局限。

工具与数据源

  • R:list(Blair & Imai 开发,列举实验设计诊断与多元回归扩展)、cjoint/cregg(联合分析 AMCE 估计与可视化)、randomizr(随机化)。
  • 调查平台:Qualtrics(支持内置随机化与联合分析模块);国内问卷星、腾讯问卷(复杂随机化需自行编程实现或导出后处理)。
  • 方法学文献数据库:American Political Science Review、Journal of Public Administration Research and Theory、Public Administration Review 中的调查实验方法论文。
  • 功效分析:R pwr;列举实验专用样本量计算参考 Blair & Imai (2012) 附录方法。

最小示例:列举实验流行率估计与差异检验(R)

# install.packages("list")
library(list)

# df: control 组与 treatment 组的"符合条数"(0..k 为对照,0..k+1 为处理,因多了敏感陈述)
# 列:y(回答的符合条数),treat(0=控制组,1=处理组),协变量...
df <- read.csv("list_experiment.csv")

# 简单差中差估计敏感议题流行率
prevalence <- mean(df$y[df$treat == 1]) - mean(df$y[df$treat == 0])
se <- sqrt(var(df$y[df$treat == 1]) / sum(df$treat == 1) +
           var(df$y[df$treat == 0]) / sum(df$treat == 0))
cat("估计流行率:", round(prevalence, 3), " SE:", round(se, 3), "\n")

# 设计诊断:检验天花板/地板效应
ict.test(y ~ treat, data = df, treat = "treat")

# 多元回归扩展:敏感议题与协变量的关联(需协变量列,如age, gender, edu)
fit <- ictreg(y ~ age + gender + edu, data = df, treat = "treat", J = 4, method = "ml")
summary(fit)

质量检查

  • 方法选择(列举实验/联合分析/情境实验)与研究问题匹配,直接提问不适用的理由已说明。
  • 列举实验的非敏感陈述已做天花板/地板效应预检验或设计诊断。
  • 联合分析的属性与水平选择、现实合理性限制已在方法中说明,AMCE 的频率权重依赖性已讨论。
  • 情境实验的操纵检查已执行,未通过检查的样本处理方式已预先规定。
  • 随机化方法与种子已记录,可复现分配结果。
  • 样本量基于功效分析,列举实验样本量需求已特别评估(通常显著大于直接提问所需样本)。
  • 涉及敏感议题的实验材料经伦理审查,未包含诱导性或教唆性内容。
  • 结果未被用于推断或标注任何具体受访者的敏感态度或行为。
  • 身份相关变量(民族、性别等)的使用已评估刻板印象强化风险。

输出格式

  • 实验设计表:方法 | 控制组内容 | 处理组内容/属性水平 | 随机化方式 | 样本量。
  • 列举实验结果表:组别 | 均值 | 流行率估计 | SE | 设计诊断结果(天花板/地板检验)。
  • 联合分析结果表:属性 | 水平 | AMCE | 95% CI;系数图。
  • 情境实验结果表:版本 | 均值评分 | 组间比较 | 效应量 | 操纵检查通过率。
  • 报告章节:研究问题与方法选择 → 实验设计 → 样本与随机化 → 结果 → 外部效度与伦理讨论。

参考规范与文献

  • Blair G, Imai K (2012). Statistical analysis of list experiments. Political Analysis.
  • Imai K (2011). Multivariate regression analysis for the item count technique. Journal of the American Statistical Association.
  • Hainmueller J, Hopkins DJ, Yamamoto T (2014). Causal inference in conjoint analysis: Understanding multidimensional choices via stated preference experiments. Political Analysis.
  • Hainmueller J, Hangartner D, Yamamoto T (2015). Validating vignette and conjoint survey experiments against real-world behavior. PNAS.
  • Mutz DC (2011). Population-Based Survey Experiments. Princeton University Press.
  • Auspurg K, Hinz T (2015). Factorial Survey Experiments. Sage.

示例提示词

请帮我设计一个列举实验,测量基层干部对轻微违规行为的容忍度,并说明如何避免天花板效应。

所属插件

公共管理与政策分析面向公共管理与政策研究:政策文本量化与政策工具编码、政策扩散事件史分析、政策评估设计、政府与公共数据源、公共预算财政、指标体系赋权、案例研究、政府绩效效率与政策建议写作。

安装该插件会一并获得同领域的 10 个 Skill / MCP。

同插件的其他科研 Skill

常见问题

调查实验方法设计能做什么?

设计列举实验、联合分析与情境实验测量敏感议题真实态度并估计处理效应。适用于腐败容忍度、政府信任等难测议题研究。

如何安装调查实验方法设计?

在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「调查实验方法设计」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。

调查实验方法设计需要哪些权限?

该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。

调查实验方法设计经过官方审核吗?

是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。