科研 Skill
设计评价与用户实验
arts-design-evaluation-experiment
用SUS、NASA-TLX、语义差异法与眼动追踪设计用户实验并做统计分析。适用于产品界面包装设计的效果评价研究。
发布者 Codar安全审核通过v0.1.0更新于 2026-11-18
SKILL.md
设计评价与用户实验(Design Evaluation & User Experiments)
适用场景
- 比较两套或多套界面/包装/海报方案的可用性、工作负荷或偏好。
- 用语义差异法与感性工学建立“设计要素—感性意象”的映射(如文创产品“传统—现代”“精致—粗犷”意象)。
- 用眼动追踪分析观者对海报、展板、网页的注意分配(首次注视时间、注视时长、注视次数)。
- 线上 A/B 测试评估转化率或点击率差异。
- 撰写设计学论文中的实验方法与结果章节,满足期刊对样本量、统计与伦理的要求。
边界与不适用
- 质性设计研究(民族志、文化探针、旅程图)见
arts-design-research-methods。 - 图像本身的色彩与构图计算见
arts-color-composition-analysis;计算显著性不能替代眼动实验。 - 不做临床或医疗器械的人因验证(需遵循专门法规标准)。
- 统计显著不等于设计“更好”,结论需结合效应量与情境。
工作流
-
定义假设与变量
- 输入:设计方案、评价目标。
- 操作:明确自变量(方案、因素水平)、因变量(SUS 分、TLX 分、SD 评分、眼动指标、转化率)、控制变量(经验、年龄、设备)。
- 决策点:被试内设计(每人看所有方案,需平衡顺序,如拉丁方)或被试间设计(避免学习/疲劳效应,但需更多样本)。
-
选择测量工具
- SUS:10 题 5 点量表,奇数题得分 −1、偶数题 5 − 得分,总和 ×2.5 得 0–100;常见参照平均约 68(Sauro 的基准)。中文版需使用已发表的译本或做回译。
- NASA-TLX:6 维度(脑力、体力、时间需求、绩效、努力、挫败),可用加权版或 Raw TLX(6 维平均)。
- 语义差异法:先通过文献、访谈、网络评论收集形容词对,筛选(专家评审 + 聚类/因子分析)出 6–12 对,7 点量表。
- 感性工学:将设计要素分解(形态、色彩、材质),以数量化理论 I 类或多元回归建立要素与意象分数关系。
- 眼动:划分兴趣区 AOI,指标包括首次注视时间(TTFF)、总注视时长、注视次数、回视;需报告采样率、校准精度、数据丢失率。
- A/B:随机分流单位(用户/会话)、主要指标、实验时长。
-
样本量估计
- 依据预期效应量(参考前人研究或预实验)做功效分析,α=0.05、power=0.80 为常见设定。
- 被试内设计考虑相关性;眼动实验通常还会因数据质量剔除部分被试,预留余量。
- A/B 测试按基线转化率与最小可检测提升计算每组样本。
-
实验材料与流程
- 控制材料差异只在目标因素上(尺寸、亮度、文字量保持一致)。
- 预实验:检查任务难度、时长、量表理解。
- 知情同意、隐私说明;记录实验环境(屏幕、距离、光照)。
-
数据清洗与信效度
- 剔除注意力检测题未通过、作答时间异常、眼动追踪比例过低(阈值事先设定并报告)的样本。
- 量表信度:Cronbach's α 或 McDonald's ω;SD 法可做探索性因子分析提取意象维度(如评价、潜力、活动三维度)。
-
统计分析
- 两组:独立/配对 t 检验或 Mann-Whitney / Wilcoxon;多组:ANOVA / 重复测量 ANOVA 或 Friedman;多因素或嵌套数据:线性混合模型(被试、刺激为随机效应)。
- 报告效应量(Cohen's d、η²p)与置信区间;多重比较校正(Holm、Bonferroni)。
- A/B:两比例 z 检验或卡方检验;避免反复偷看结果后提前停止(如需,使用序贯检验方法)。
-
结果解释与设计建议
- 将统计结果转化为具体设计改进点;说明外部效度(样本是否代表目标用户)。
工具与数据源
- 问卷平台:问卷星、腾讯问卷、Qualtrics。
- 统计:R(pwr、lme4、psych、afex)、Python(scipy、statsmodels、pingouin)、SPSS、JASP、G*Power(样本量计算)。
- 眼动:Tobii Pro Lab、SR Research EyeLink(Data Viewer)、Pupil Labs;分析可用 R/Python 自编脚本。
- 心理物理实验:PsychoPy。
- 标准:ISO 9241-11(可用性定义:有效性、效率、满意度);GB/T 18978.11 为其国标等同采用版本(引用前核对现行版本号)。
最小示例:SUS 计分、样本量与配对比较
# pip install pandas numpy scipy statsmodels
import numpy as np
import pandas as pd
from scipy import stats
from statsmodels.stats.power import TTestPower
# sus.csv: pid, design(A/B), q1..q10 (1–5 分,被试内设计)
df = pd.read_csv("sus.csv")
q = df[[f"q{i}" for i in range(1, 11)]].to_numpy()
odd = (q[:, 0::2] - 1).sum(axis=1)
even = (5 - q[:, 1::2]).sum(axis=1)
df["sus"] = (odd + even) * 2.5
wide = df.pivot(index="pid", columns="design", values="sus").dropna()
diff = wide["B"] - wide["A"]
t, p = stats.ttest_rel(wide["B"], wide["A"])
dz = diff.mean() / diff.std(ddof=1)
print(f"A={wide['A'].mean():.1f} B={wide['B'].mean():.1f} t={t:.2f} p={p:.4f} dz={dz:.2f}")
print("Wilcoxon:", stats.wilcoxon(wide["B"], wide["A"]))
# 预期 dz=0.5 时配对设计所需样本量
n = TTestPower().solve_power(effect_size=0.5, alpha=0.05, power=0.8, alternative="two-sided")
print("所需被试数约:", int(np.ceil(n)))
质量检查
- 假设、主要指标、排除标准在数据收集前确定(必要时预注册,如 OSF)。
- 样本量有功效分析依据,报告实际有效样本与剔除原因。
- 被试内设计已平衡呈现顺序;刺激材料只在目标因素上不同。
- 量表使用有来源的中文版,报告信度系数。
- 眼动报告设备、采样率、校准误差、AOI 定义与数据丢失率。
- 报告效应量、置信区间与多重比较校正。
- 已获知情同意,个人信息(含眼动视频、人脸)匿名化存储。
- 数据与分析脚本可共享或可复现。
输出格式
- 实验设计表:自变量与水平、因变量、设计类型、被试数、顺序平衡方案。
- 描述统计表:方案 × 指标(M、SD、95% CI)。
- 推断统计表:检验方法、统计量、自由度、p、效应量、校正方法。
- SD/感性工学:形容词对清单、因子载荷表、设计要素—意象回归系数表。
- 眼动:AOI 指标表与热图/注视轨迹图。
- 论文章节:研究假设 → 方法(被试、材料、程序、测量)→ 结果 → 讨论(设计启示、局限)。
参考规范与文献
- Brooke, J. (1996). SUS: A "quick and dirty" usability scale. In Usability Evaluation in Industry. Taylor & Francis.
- Bangor, A., Kortum, P., & Miller, J. (2009). Determining what individual SUS scores mean: Adding an adjective rating scale. Journal of Usability Studies.
- Hart, S. G., & Staveland, L. E. (1988). Development of NASA-TLX: Results of empirical and theoretical research. Advances in Psychology.
- Osgood, C. E., Suci, G. J., & Tannenbaum, P. H. (1957). The Measurement of Meaning. University of Illinois Press.
- Nagamachi, M. (1995). Kansei Engineering: A new ergonomic consumer-oriented technology for product development. International Journal of Industrial Ergonomics.
- Holmqvist, K., et al. (2011). Eye Tracking: A Comprehensive Guide to Methods and Measures. Oxford University Press.
- Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments. Cambridge University Press.
- Sauro, J., & Lewis, J. R. (2016). Quantifying the User Experience (2nd ed.). Morgan Kaufmann.
- ISO 9241-11:2018 Ergonomics of human-system interaction — Usability: Definitions and concepts.
示例提示词
我要比较两版博物馆导览小程序界面,请帮我设计被试内实验,含 SUS、NASA-TLX、样本量估计和统计分析方案。
所属插件
安装该插件会一并获得同领域的 11 个 Skill / MCP。
同插件的其他科研 Skill
- 书画著录流传考证整理题跋印鉴、检索著录书与博物馆开放数据,建立带证据等级的流传链条。适用于书画鉴藏史与流散文物追索研究,不做真伪鉴定。
- 中国传统音乐数字化将简谱、工尺谱、减字谱转写为MusicXML/kern,做宫调判别与旋律统计分析。适用于民歌色彩区划、曲牌比较与古谱打谱研究。
- 色彩构图计算分析在CIELAB空间用k-means提取主色、计算显著性图与构图线指标。适用于绘画设计作品的形式分析与风格量化研究。
- 设计研究方法按双钻模型组织设计民族志、文化探针与用户旅程图,提炼可迁移知识贡献。适用于设计学论文与研究型设计的过程记录。
- 民族音乐学田野采录规范田野录音设备参数、元数据与长期保存格式,处理知情同意与传承人权益。适用于少数民族音乐田野调查与资料库建设。
- 影视产业票房数据整合官方与平台票房数据,辨析统计口径差异并做回归面板分析。适用于档期效应、口碑传播与电影政策研究,须遵守爬取合规。
- 电影镜头计算分析用PySceneDetect自动切镜并人工校正,计算镜头长度分布与剪辑节奏曲线。适用于导演风格与类型片剪辑节奏的电影学研究。
- 图像志与图像学分析按潘诺夫斯基三层次组织图像释读,用Iconclass与自定义编码表考证母题谱系。适用于美术史图像释读与跨文化图像比较。
- 演奏录音表演分析在Sonic Visualiser标注拍点,计算速度弹性与力度曲线并用DTW对齐多版本演奏。适用于名家录音诠释风格的比较研究。
- 技术美术史材料分析用红外、X光、多光谱成像与XRF/拉曼光谱做绘画材料无损检测。适用于书画材料研究与修复前评估,不单独构成真伪定论。
常见问题
设计评价与用户实验能做什么?
用SUS、NASA-TLX、语义差异法与眼动追踪设计用户实验并做统计分析。适用于产品界面包装设计的效果评价研究。
如何安装设计评价与用户实验?
在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「设计评价与用户实验」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。
设计评价与用户实验需要哪些权限?
该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。
设计评价与用户实验经过官方审核吗?
是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。