科研 Skill
调查实验方法设计
policy-survey-experiment-methods
设计列举实验、联合分析与情境实验测量敏感议题真实态度并估计处理效应。适用于腐败容忍度、政府信任等难测议题研究。
发布者 Codar安全审核通过v0.1.0更新于 2026-11-18
SKILL.md
公共管理调查实验方法(Survey Experiments in Public Administration)
适用场景
- 测量对敏感议题(行贿受贿容忍度、对特定群体的歧视性偏好、对威权治理手段的支持度)的真实态度,规避社会期望偏差导致的直接提问低估或高估。
- 用联合分析(conjoint analysis)研究公众对政策方案多个属性(如福利资格条件、公共服务分配标准)的边际偏好权重。
- 用情境实验(vignette experiment)比较公众对不同情境描述(如不同身份的申请人、不同违规情节)的评价差异,揭示隐性标准或偏见。
- 评估政府沟通、信息提供对公众态度或行为意向的因果效应(信息型实验,information experiment)。
- 为政策扩散、治理满意度等议题设计补充性的实验证据,与
policy-diffusion-eha、policy-evaluation-design的观察性方法互补。
边界与不适用
- 本 Skill 聚焦调查实验的设计与估计方法;一般性问卷调查抽样与信效度检验属于通用调查方法,参见其他 Plugin 的问卷设计 Skill。
- 涉及敏感议题(腐败、违法行为、歧视态度)的研究需格外注意受访者心理风险与社会风险,须经伦理审查,严禁诱导或教唆违法行为的情境设计。
- 列举实验、联合分析等方法估计的是群体层面的平均效应或流行率,不能识别或推断任何个体的真实态度或行为,分析与报告中不得试图"反推"具体受访者的敏感信息。
- 实验设计中涉及的情境、选项描述若包含民族、宗教、性别等身份变量,需评估是否可能强化刻板印象,并在报告中讨论伦理考量。
- 不替代正式的态度测量心理测量学验证;复杂多维态度建构仍需配合传统量表方法。
工作流
-
界定敏感议题与测量目标
- 输入:研究问题(流行率估计/态度测量/因果效应估计)。
- 决策点:直接提问是否会导致系统性偏差?若怀疑存在社会期望偏差或政治敏感性,考虑间接测量方法(列举实验);若目标是测量多属性偏好权重,考虑联合分析;若目标是比较情境差异,考虑情境实验。
- 产出:方法选择备忘,说明为何不适合直接提问。
-
列举实验(list experiment)设计
- 原理:控制组呈现 k 个非敏感陈述,要求受访者只回答"有多少条符合"而非具体哪条;处理组呈现相同 k 个陈述加上第 1 条敏感陈述,要求回答符合总数;敏感陈述的流行率 = 处理组均值 − 控制组均值。
- 操作:非敏感陈述的选择需与敏感陈述方向不完全一致(避免"天花板/地板效应",即所有陈述都为"是"或都为"否"导致答案本身泄露敏感信息);陈述数量通常 3–5 条,过少易推断具体回答,过多增加认知负荷。
- 决策点:是否需要双列表法(double list experiment,每位受访者接受两版列表的不同组合)以提高统计效率;是否需要多元回归扩展(list experiment regression,可估计敏感议题与协变量的关联,而非仅总体流行率)。
- 产出:两版问卷(控制/处理)、随机分配方案。
-
联合分析(conjoint analysis)设计
- 操作:确定待研究的属性(attributes)及其水平(levels),如政策方案的"覆盖范围""资金来源""执行主体";随机生成属性组合的"剖面(profile)",通常每位受访者比较 2 个剖面并选择偏好或打分(choice-based 或 rating-based conjoint)。
- 决策点:属性数量与呈现次数需控制认知负荷(常见 4–6 个属性,受访者完成 5–10 次比较);某些属性组合在现实中不合理时需排除(restriction),但过度限制会影响属性间独立性估计。
- 估计:平均边际成分效应(Average Marginal Component Effect, AMCE)为标准估计量,用线性概率模型或条件逻辑模型估计;需讨论 AMCE 对属性水平分布(频率权重)的依赖性。
- 产出:联合分析问卷设计矩阵、随机化方案。
-
情境实验(vignette experiment)设计
- 操作:编写情境文本,系统操纵关键变量(如申请人身份、违规情节严重程度),保持其他描述一致;随机分配不同版本给受访者,要求评分或判断。
- 决策点:情境描述的真实性与可信度需预试验(pilot)检验;操纵的变量数量不宜过多,避免交互效应难以解释。
- 产出:情境文本各版本、操纵检查(manipulation check)题项。
-
样本与随机化
- 操作:计算机随机分配版本/列表,记录随机化种子以便复现;样本量基于预期效应量做功效分析(列举实验所需样本量通常显著大于直接提问,因估计基于组间均值差)。
- 决策点:在线调查平台(问卷星、腾讯问卷支持有限随机化功能,复杂实验设计可能需要专门的调查实验平台或自建)。
-
统计分析
- 列举实验:差中差估计量(处理组均值 − 控制组均值);可用 R 包
list做多元回归扩展(如 Imai 等提出的 ML 估计)与设计诊断(天花板/地板效应检验)。 - 联合分析:用 R 包
cjoint或cregg估计 AMCE 及边际均值(Marginal Means),绘制系数图。 - 情境实验:方差分析或回归分析比较各版本间的评分差异,报告效应量;检查操纵是否成功(manipulation check 未通过的样本需讨论处理方式)。
- 列举实验:差中差估计量(处理组均值 − 控制组均值);可用 R 包
-
报告与局限讨论
- 操作:说明方法选择的理由、样本代表性、实验材料的生态效度(外部有效性),讨论调查实验结果向真实行为推论的局限。
工具与数据源
- R:
list(Blair & Imai 开发,列举实验设计诊断与多元回归扩展)、cjoint/cregg(联合分析 AMCE 估计与可视化)、randomizr(随机化)。 - 调查平台:Qualtrics(支持内置随机化与联合分析模块);国内问卷星、腾讯问卷(复杂随机化需自行编程实现或导出后处理)。
- 方法学文献数据库:American Political Science Review、Journal of Public Administration Research and Theory、Public Administration Review 中的调查实验方法论文。
- 功效分析:R
pwr;列举实验专用样本量计算参考 Blair & Imai (2012) 附录方法。
最小示例:列举实验流行率估计与差异检验(R)
# install.packages("list")
library(list)
# df: control 组与 treatment 组的"符合条数"(0..k 为对照,0..k+1 为处理,因多了敏感陈述)
# 列:y(回答的符合条数),treat(0=控制组,1=处理组),协变量...
df <- read.csv("list_experiment.csv")
# 简单差中差估计敏感议题流行率
prevalence <- mean(df$y[df$treat == 1]) - mean(df$y[df$treat == 0])
se <- sqrt(var(df$y[df$treat == 1]) / sum(df$treat == 1) +
var(df$y[df$treat == 0]) / sum(df$treat == 0))
cat("估计流行率:", round(prevalence, 3), " SE:", round(se, 3), "\n")
# 设计诊断:检验天花板/地板效应
ict.test(y ~ treat, data = df, treat = "treat")
# 多元回归扩展:敏感议题与协变量的关联(需协变量列,如age, gender, edu)
fit <- ictreg(y ~ age + gender + edu, data = df, treat = "treat", J = 4, method = "ml")
summary(fit)
质量检查
- 方法选择(列举实验/联合分析/情境实验)与研究问题匹配,直接提问不适用的理由已说明。
- 列举实验的非敏感陈述已做天花板/地板效应预检验或设计诊断。
- 联合分析的属性与水平选择、现实合理性限制已在方法中说明,AMCE 的频率权重依赖性已讨论。
- 情境实验的操纵检查已执行,未通过检查的样本处理方式已预先规定。
- 随机化方法与种子已记录,可复现分配结果。
- 样本量基于功效分析,列举实验样本量需求已特别评估(通常显著大于直接提问所需样本)。
- 涉及敏感议题的实验材料经伦理审查,未包含诱导性或教唆性内容。
- 结果未被用于推断或标注任何具体受访者的敏感态度或行为。
- 身份相关变量(民族、性别等)的使用已评估刻板印象强化风险。
输出格式
- 实验设计表:方法 | 控制组内容 | 处理组内容/属性水平 | 随机化方式 | 样本量。
- 列举实验结果表:组别 | 均值 | 流行率估计 | SE | 设计诊断结果(天花板/地板检验)。
- 联合分析结果表:属性 | 水平 | AMCE | 95% CI;系数图。
- 情境实验结果表:版本 | 均值评分 | 组间比较 | 效应量 | 操纵检查通过率。
- 报告章节:研究问题与方法选择 → 实验设计 → 样本与随机化 → 结果 → 外部效度与伦理讨论。
参考规范与文献
- Blair G, Imai K (2012). Statistical analysis of list experiments. Political Analysis.
- Imai K (2011). Multivariate regression analysis for the item count technique. Journal of the American Statistical Association.
- Hainmueller J, Hopkins DJ, Yamamoto T (2014). Causal inference in conjoint analysis: Understanding multidimensional choices via stated preference experiments. Political Analysis.
- Hainmueller J, Hangartner D, Yamamoto T (2015). Validating vignette and conjoint survey experiments against real-world behavior. PNAS.
- Mutz DC (2011). Population-Based Survey Experiments. Princeton University Press.
- Auspurg K, Hinz T (2015). Factorial Survey Experiments. Sage.
示例提示词
请帮我设计一个列举实验,测量基层干部对轻微违规行为的容忍度,并说明如何避免天花板效应。
所属插件
安装该插件会一并获得同领域的 10 个 Skill / MCP。
同插件的其他科研 Skill
- 决策咨询稿写作将研究成果按问题-证据-方案-建议结构改写为决策咨询稿,分级呈现证据与方案比选矩阵。适用于向政府部门报送要报专报。
- 政策扩散事件史分析构建省市面板风险集,用离散时间logit与Cox模型估计政策创新扩散机制。适用于河长制等地方政策扩散时序研究。
- 公共政策评估设计用逻辑模型梳理政策链条,按推行方式选择DID/RDD等因果识别策略并设计CBA。适用于政策评估方案设计与可评估性评估。
- 公共管理数据源系统梳理统计年鉴、财政公开与CGSS/CFPS等微观调查数据的获取与口径问题。适用于构建省市县面板或选择微观调查数据。
- 公共管理案例研究按Yin案例设计开展过程追踪与比较案例选择,设计田野访谈提纲与三角验证。适用于基层治理、政策执行等案例研究。
- 指标体系构建与赋权用德尔菲法凝聚共识,AHP与熵权组合赋权并用TOPSIS排序,做敏感性分析。适用于数字政府等综合评价指标体系构建。
- 政府绩效与服务效率用DEA/SBM与Malmquist指数测度政府效率及动态变化,结合满意度做对照。适用于医疗教育等公共服务效率研究。
- 公共预算与财政分析处理一般公共预算等四本账,分析转移支付与地方债务指标并规范口径。适用于财政分权、转移支付效应等财政研究。
- 政策文本量化分析按政策工具三分法构建编码框架,结合分词与主题模型做量化分析并检验信度。适用于政策工具、政策演进与府际比较研究。
常见问题
调查实验方法设计能做什么?
设计列举实验、联合分析与情境实验测量敏感议题真实态度并估计处理效应。适用于腐败容忍度、政府信任等难测议题研究。
如何安装调查实验方法设计?
在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「调查实验方法设计」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。
调查实验方法设计需要哪些权限?
该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。
调查实验方法设计经过官方审核吗?
是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。