科研 Skill
机器学习训练与评估
machine-learning-evaluation
训练、推理、解释、交叉验证、基准评测或调优通用机器学习模型时使用;领域专用基础模型优先使用对应生物任务Skill。
SKILL.md
机器学习训练与评估
先切分,再学习
当结果异常好、样本预测几乎不变、标签由表达计算,或用户要求核查代谢/图模型时,读取模型有效性与MetaGNN审计。运行 scripts/audit_reaction_scores.py 检查真实输入、标签与已有对照输出;它不是训练器,没有对照就标为未检查,不能用随机矩阵代替原始模型推理。
按患者、动物、中心或实验批次划分训练、验证和测试集;同一个体的不同时间点、切片或细胞不能跨集合。任何归一化、填补、特征筛选和调参都只在训练折内拟合。
选择能代表实际部署的验证方式:多中心数据优先留中心验证,时间预测优先时间外验证。保留简单基线,复杂模型只有在独立测试集有稳定增益时才成立。
根据任务报告区分度、校准、阈值下的敏感度/特异度或决策收益,并给出置信区间。类别不平衡时不要只报准确率。检查批次捷径、缺失模式、标签泄漏和亚组性能。
交付数据划分、特征生成时点、模型与超参数、测试结果、校准和误差案例。测试集不得在模型选择后反复使用。
任务分流
- 分类任务至少比较简单基线、线性模型和一种非线性模型;二分类同时报告 ROC-AUC、PR-AUC、校准和预先指定阈值下的混淆矩阵。
- 回归任务报告 MAE、RMSE、R²、残差与预测区间;目标值偏态明显时记录变换及反变换规则。
- 聚类任务先完成尺度处理和必要的降维,再依据簇稳定性、轮廓系数及领域可解释性选择 KMeans、DBSCAN 或谱聚类;不得只凭二维图形决定簇数。
可复现交付
保存训练数据标识或哈希、分组键、随机种子、预处理器、特征顺序、候选模型、最终超参数和软件版本。预测输出必须保留样本 ID;分类输出保留类别概率,回归输出保留原始尺度预测,聚类输出保留标签、距离或置信信息以及未分配样本。
模型诊断直接交付真实/基线/无信号对照的指标点图、患者间输出变化图和对应数据;误差区间须来自适当独立单位的重采样,不能把重复dropout当患者重复。只有单次分数时不绘制虚构误差线。解释每项检查检出了什么、没排除什么,模型评分不等同真实代谢通量。
所属插件
安装该插件会一并获得同领域的 68 个 Skill / MCP。
同插件的其他科研 Skill
- API与外部系统集成设计或调用API、处理认证、限流、分页、重试和外部平台集成时使用;已有Claude Science数据访问应优先使用MCP。
- 生信分析代理可靠性评测当用户明确要比较生信助手、检查自动分析是否编造、评估升级回归或建立失败基准(BioAgent Failure Atlas),且有案例或记录时使用;组织冻结判据及产物审计,普通分析失败先回原流程,不要求科研新手设计测试。
- 生物医学知识图谱与RAG构建或查询基因-疾病、药物-靶点、文献和调控关系,进行证据子图聚合或生物医学RAG时使用;富集分析使用独立Skill。
- 数据库版本与分析结论漂移审计当用户说更新数据库后结果变了、以前显著现在没有、注释或排名不一致,或需比较两版资源影响(BioDataDrift)时使用;核验运行条件,已有结果比较漂移、有两版映射可固定背景重算,不要求用户理解哈希或参数。
- 临床研究报告整理适应症、患者人群、疾病生物学、标准治疗、监管先例或生成临床科研报告时使用;不替代临床诊断。
- 临床统计与生存分析开展生存分析、时间结局建模、删失数据处理或临床预测评估时使用。
- 临床试验检索与方案设计检索临床试验、比较试验设计或生成药物和器械临床试验方案时使用;不替代法规或医学专业审查。
- 探索性数据分析与统计检验当用户需要检查科研表格的数据质量、分布、关联和异常值,或为连续、分类、配对及多组数据选择并执行通用统计检验时使用;生存结局和专门组学模型使用对应领域 Skill。
- 生物信息文件格式转换与完整性校验当用户需要在 FASTA、FASTQ、SAM、BAM、CRAM、BIOM、TSV 或常见丰度表布局之间转换,并核对转换前后记录、配对关系和校验值时使用;分子结构格式转换不使用本 Skill。
- 科研数据隐私与脱敏当用户需要识别、移除或降低科研数据中的个人身份、基因组再识别和敏感元数据风险时使用。
- 科研表格数据处理清洗、校验、转换、筛选、聚合或序列化表格与DataFrame数据时使用;不用于领域统计模型或数据库在线检索。
- Word 公式处理器安全处理 Word 论文公式
- Word 文档处理读写编辑复杂 Word 文档
- 科研证据评估进行证据分级、矛盾搜索、来源回溯、模型评估或置信度校准时使用;不用于首次数据库检索。
- 生物医学实验设计设计生物医学实验、对照、重复、样本量、随机化或实验协议时使用;临床试验使用临床试验工作流Skill。
- 图像生成助手调用图像接口生成位图素材
- 科研计算环境与工作流配置Docker、HPC、Slurm、Nextflow、Snakemake、并行任务或科研流水线执行环境时使用;不用于解释生物学结果。
- 实验仪器数据标准化把实验室仪器输出转换为Allotrope ASM、规范JSON或二维表格并校验字段时使用;不用于生物统计分析。
- 文献检索与科学写作检索和核验科学文献、管理引文、撰写综述或形成有来源支撑的科学文本时使用。
- MCP工具发现与故障处理检查Claude Science MCP服务、发现工具、判断连接状态或排查工具调用失败时使用;不用于修改现有MCP源码。
- Markdown 转 Word 工具将 Markdown 转换为 Word 文档
- nf-core流程选择与比较当用户只有测序公司或科研平台交付的文件、仅知道样本来源,不清楚数据类型、能研究什么或如何分析时使用;先识别数据与处理阶段,再根据研究问题自主匹配分析流程、输入与参数,也支持已有明确方法的请求。
- nf-core-datasync流程当科研数据需要在存储位置间复制、同步或整理,且能核对源文件与目标位置时使用。根据文件、实验背景与研究问题判断适配性,选择方法及参数并解释限制;无需用户知道 nf-core/datasync。
- nf-core-deepmodeloptim流程当已有生物医学训练数据和模型,希望改善预测效果或评估数据增强时使用。根据文件、实验背景与研究问题判断适配性,选择方法及参数并解释限制;无需用户知道 nf-core/deepmodeloptim。
常见问题
机器学习训练与评估能做什么?
训练、推理、解释、交叉验证、基准评测或调优通用机器学习模型时使用;领域专用基础模型优先使用对应生物任务Skill。
如何安装机器学习训练与评估?
在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「机器学习训练与评估」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。
机器学习训练与评估需要哪些权限?
该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。
机器学习训练与评估经过官方审核吗?
是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。