科研 Skill

设计评价与用户实验

arts-design-evaluation-experiment

用SUS、NASA-TLX、语义差异法与眼动追踪设计用户实验并做统计分析。适用于产品界面包装设计的效果评价研究。

发布者 Codar安全审核通过v0.1.0更新于 2026-11-18

SKILL.md

设计评价与用户实验(Design Evaluation & User Experiments)

适用场景

  • 比较两套或多套界面/包装/海报方案的可用性、工作负荷或偏好。
  • 用语义差异法与感性工学建立“设计要素—感性意象”的映射(如文创产品“传统—现代”“精致—粗犷”意象)。
  • 用眼动追踪分析观者对海报、展板、网页的注意分配(首次注视时间、注视时长、注视次数)。
  • 线上 A/B 测试评估转化率或点击率差异。
  • 撰写设计学论文中的实验方法与结果章节,满足期刊对样本量、统计与伦理的要求。

边界与不适用

  • 质性设计研究(民族志、文化探针、旅程图)见 arts-design-research-methods。
  • 图像本身的色彩与构图计算见 arts-color-composition-analysis;计算显著性不能替代眼动实验。
  • 不做临床或医疗器械的人因验证(需遵循专门法规标准)。
  • 统计显著不等于设计“更好”,结论需结合效应量与情境。

工作流

  1. 定义假设与变量

    • 输入:设计方案、评价目标。
    • 操作:明确自变量(方案、因素水平)、因变量(SUS 分、TLX 分、SD 评分、眼动指标、转化率)、控制变量(经验、年龄、设备)。
    • 决策点:被试内设计(每人看所有方案,需平衡顺序,如拉丁方)或被试间设计(避免学习/疲劳效应,但需更多样本)。
  2. 选择测量工具

    • SUS:10 题 5 点量表,奇数题得分 −1、偶数题 5 − 得分,总和 ×2.5 得 0–100;常见参照平均约 68(Sauro 的基准)。中文版需使用已发表的译本或做回译。
    • NASA-TLX:6 维度(脑力、体力、时间需求、绩效、努力、挫败),可用加权版或 Raw TLX(6 维平均)。
    • 语义差异法:先通过文献、访谈、网络评论收集形容词对,筛选(专家评审 + 聚类/因子分析)出 6–12 对,7 点量表。
    • 感性工学:将设计要素分解(形态、色彩、材质),以数量化理论 I 类或多元回归建立要素与意象分数关系。
    • 眼动:划分兴趣区 AOI,指标包括首次注视时间(TTFF)、总注视时长、注视次数、回视;需报告采样率、校准精度、数据丢失率。
    • A/B:随机分流单位(用户/会话)、主要指标、实验时长。
  3. 样本量估计

    • 依据预期效应量(参考前人研究或预实验)做功效分析,α=0.05、power=0.80 为常见设定。
    • 被试内设计考虑相关性;眼动实验通常还会因数据质量剔除部分被试,预留余量。
    • A/B 测试按基线转化率与最小可检测提升计算每组样本。
  4. 实验材料与流程

    • 控制材料差异只在目标因素上(尺寸、亮度、文字量保持一致)。
    • 预实验:检查任务难度、时长、量表理解。
    • 知情同意、隐私说明;记录实验环境(屏幕、距离、光照)。
  5. 数据清洗与信效度

    • 剔除注意力检测题未通过、作答时间异常、眼动追踪比例过低(阈值事先设定并报告)的样本。
    • 量表信度:Cronbach's α 或 McDonald's ω;SD 法可做探索性因子分析提取意象维度(如评价、潜力、活动三维度)。
  6. 统计分析

    • 两组:独立/配对 t 检验或 Mann-Whitney / Wilcoxon;多组:ANOVA / 重复测量 ANOVA 或 Friedman;多因素或嵌套数据:线性混合模型(被试、刺激为随机效应)。
    • 报告效应量(Cohen's d、η²p)与置信区间;多重比较校正(Holm、Bonferroni)。
    • A/B:两比例 z 检验或卡方检验;避免反复偷看结果后提前停止(如需,使用序贯检验方法)。
  7. 结果解释与设计建议

    • 将统计结果转化为具体设计改进点;说明外部效度(样本是否代表目标用户)。

工具与数据源

  • 问卷平台:问卷星、腾讯问卷、Qualtrics。
  • 统计:R(pwr、lme4、psych、afex)、Python(scipy、statsmodels、pingouin)、SPSS、JASP、G*Power(样本量计算)。
  • 眼动:Tobii Pro Lab、SR Research EyeLink(Data Viewer)、Pupil Labs;分析可用 R/Python 自编脚本。
  • 心理物理实验:PsychoPy。
  • 标准:ISO 9241-11(可用性定义:有效性、效率、满意度);GB/T 18978.11 为其国标等同采用版本(引用前核对现行版本号)。

最小示例:SUS 计分、样本量与配对比较

# pip install pandas numpy scipy statsmodels
import numpy as np
import pandas as pd
from scipy import stats
from statsmodels.stats.power import TTestPower

# sus.csv: pid, design(A/B), q1..q10  (1–5 分,被试内设计)
df = pd.read_csv("sus.csv")
q = df[[f"q{i}" for i in range(1, 11)]].to_numpy()
odd = (q[:, 0::2] - 1).sum(axis=1)
even = (5 - q[:, 1::2]).sum(axis=1)
df["sus"] = (odd + even) * 2.5

wide = df.pivot(index="pid", columns="design", values="sus").dropna()
diff = wide["B"] - wide["A"]
t, p = stats.ttest_rel(wide["B"], wide["A"])
dz = diff.mean() / diff.std(ddof=1)
print(f"A={wide['A'].mean():.1f} B={wide['B'].mean():.1f} t={t:.2f} p={p:.4f} dz={dz:.2f}")
print("Wilcoxon:", stats.wilcoxon(wide["B"], wide["A"]))

# 预期 dz=0.5 时配对设计所需样本量
n = TTestPower().solve_power(effect_size=0.5, alpha=0.05, power=0.8, alternative="two-sided")
print("所需被试数约:", int(np.ceil(n)))

质量检查

  • 假设、主要指标、排除标准在数据收集前确定(必要时预注册,如 OSF)。
  • 样本量有功效分析依据,报告实际有效样本与剔除原因。
  • 被试内设计已平衡呈现顺序;刺激材料只在目标因素上不同。
  • 量表使用有来源的中文版,报告信度系数。
  • 眼动报告设备、采样率、校准误差、AOI 定义与数据丢失率。
  • 报告效应量、置信区间与多重比较校正。
  • 已获知情同意,个人信息(含眼动视频、人脸)匿名化存储。
  • 数据与分析脚本可共享或可复现。

输出格式

  • 实验设计表:自变量与水平、因变量、设计类型、被试数、顺序平衡方案。
  • 描述统计表:方案 × 指标(M、SD、95% CI)。
  • 推断统计表:检验方法、统计量、自由度、p、效应量、校正方法。
  • SD/感性工学:形容词对清单、因子载荷表、设计要素—意象回归系数表。
  • 眼动:AOI 指标表与热图/注视轨迹图。
  • 论文章节:研究假设 → 方法(被试、材料、程序、测量)→ 结果 → 讨论(设计启示、局限)。

参考规范与文献

  • Brooke, J. (1996). SUS: A "quick and dirty" usability scale. In Usability Evaluation in Industry. Taylor & Francis.
  • Bangor, A., Kortum, P., & Miller, J. (2009). Determining what individual SUS scores mean: Adding an adjective rating scale. Journal of Usability Studies.
  • Hart, S. G., & Staveland, L. E. (1988). Development of NASA-TLX: Results of empirical and theoretical research. Advances in Psychology.
  • Osgood, C. E., Suci, G. J., & Tannenbaum, P. H. (1957). The Measurement of Meaning. University of Illinois Press.
  • Nagamachi, M. (1995). Kansei Engineering: A new ergonomic consumer-oriented technology for product development. International Journal of Industrial Ergonomics.
  • Holmqvist, K., et al. (2011). Eye Tracking: A Comprehensive Guide to Methods and Measures. Oxford University Press.
  • Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments. Cambridge University Press.
  • Sauro, J., & Lewis, J. R. (2016). Quantifying the User Experience (2nd ed.). Morgan Kaufmann.
  • ISO 9241-11:2018 Ergonomics of human-system interaction — Usability: Definitions and concepts.

示例提示词

我要比较两版博物馆导览小程序界面,请帮我设计被试内实验,含 SUS、NASA-TLX、样本量估计和统计分析方案。

所属插件

艺术学面向音乐学、美术学、设计学、戏剧与影视学研究:传统音乐与乐谱数字化、演奏分析与采录、作品著录与图像学、色彩构图计算、设计研究与用户实验、电影视听语言与产业数据。

安装该插件会一并获得同领域的 11 个 Skill / MCP。

同插件的其他科研 Skill

常见问题

设计评价与用户实验能做什么?

用SUS、NASA-TLX、语义差异法与眼动追踪设计用户实验并做统计分析。适用于产品界面包装设计的效果评价研究。

如何安装设计评价与用户实验?

在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「设计评价与用户实验」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。

设计评价与用户实验需要哪些权限?

该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。

设计评价与用户实验经过官方审核吗?

是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。