科研 Skill

机器学习训练与评估

machine-learning-evaluation

训练、推理、解释、交叉验证、基准评测或调优通用机器学习模型时使用;领域专用基础模型优先使用对应生物任务Skill。

官方收录发布者 Codar安全审核通过v0.1.2更新于 2026-09-08

SKILL.md

机器学习训练与评估

先切分,再学习

当结果异常好、样本预测几乎不变、标签由表达计算,或用户要求核查代谢/图模型时,读取模型有效性与MetaGNN审计。运行 scripts/audit_reaction_scores.py 检查真实输入、标签与已有对照输出;它不是训练器,没有对照就标为未检查,不能用随机矩阵代替原始模型推理。

按患者、动物、中心或实验批次划分训练、验证和测试集;同一个体的不同时间点、切片或细胞不能跨集合。任何归一化、填补、特征筛选和调参都只在训练折内拟合。

选择能代表实际部署的验证方式:多中心数据优先留中心验证,时间预测优先时间外验证。保留简单基线,复杂模型只有在独立测试集有稳定增益时才成立。

根据任务报告区分度、校准、阈值下的敏感度/特异度或决策收益,并给出置信区间。类别不平衡时不要只报准确率。检查批次捷径、缺失模式、标签泄漏和亚组性能。

交付数据划分、特征生成时点、模型与超参数、测试结果、校准和误差案例。测试集不得在模型选择后反复使用。

任务分流

  • 分类任务至少比较简单基线、线性模型和一种非线性模型;二分类同时报告 ROC-AUC、PR-AUC、校准和预先指定阈值下的混淆矩阵。
  • 回归任务报告 MAE、RMSE、R²、残差与预测区间;目标值偏态明显时记录变换及反变换规则。
  • 聚类任务先完成尺度处理和必要的降维,再依据簇稳定性、轮廓系数及领域可解释性选择 KMeans、DBSCAN 或谱聚类;不得只凭二维图形决定簇数。

可复现交付

保存训练数据标识或哈希、分组键、随机种子、预处理器、特征顺序、候选模型、最终超参数和软件版本。预测输出必须保留样本 ID;分类输出保留类别概率,回归输出保留原始尺度预测,聚类输出保留标签、距离或置信信息以及未分配样本。

模型诊断直接交付真实/基线/无信号对照的指标点图、患者间输出变化图和对应数据;误差区间须来自适当独立单位的重采样,不能把重复dropout当患者重复。只有单次分数时不绘制虚构误差线。解释每项检查检出了什么、没排除什么,模型评分不等同真实代谢通量。

所属插件

通用科研与数据服务通用科研工作流与共享生物医学数据 MCP。

安装该插件会一并获得同领域的 68 个 Skill / MCP。

同插件的其他科研 Skill

常见问题

机器学习训练与评估能做什么?

训练、推理、解释、交叉验证、基准评测或调优通用机器学习模型时使用;领域专用基础模型优先使用对应生物任务Skill。

如何安装机器学习训练与评估?

在科搭 Codar 左侧点击「插件」,在「组件」页签搜索「机器学习训练与评估」并安装;在 Claude Code 或 Codex 中可以发送本页的安装提示词,或下载 Skill 包后解压到 ~/.claude/skills 或 ~/.codex/skills。

机器学习训练与评估需要哪些权限?

该科研 Skill没有声明额外权限;执行具体操作时仍由 Agent 按自身规则请求确认。

机器学习训练与评估经过官方审核吗?

是。SpeedSkills 收录的每个版本都会记录内容摘要与权限声明,当前版本已通过安全审核。