# DSH 插件实测规范（v0.1）

> 定位：**不比“能不能装”，只比“装上之后，在真实任务里好不好用”。**
> 安装/兼容性看 dsh-plugin-radar 与 dshbase 的审计；本栏目只回答任务级效果。

## 1. 测什么 / 不测什么

| 测 | 不测 |
|---|---|
| 任务成功率 | 安装、兼容性 |
| 输出质量（rubric 1–5） | 安全审计 |
| 时间 / token 成本 | UI 外观 |
| 失败模式与适用边界 | 作者背景、更新频率 |

## 2. 公平性

- 固定：DSH 版本、模型、机器、输入、时间预算；
- 每项跑 3 次取中位；
- 独立 `DSH_HOME` / profile / 工作区，互不污染；
- 按官方文档安装；装不上记“官方方式装不上”，不手工修；
- 自己的插件单列，标“作者自测”，不参与排名。

## 3. 任务设计（每品类 3–4 个）

| 品类 | 任务 | 指标 |
|---|---|---|
| 记忆 | M1 跨会话偏好召回 / M2 压缩后一致性 / M3 矛盾更新 / M4 项目隔离 | 正确率、保留率、污染率 |
| ComfyUI | C1 环境体检 / C2 崩图诊断 / C3 批量 5 张 | 命中率、成功率、耗时 |
| Blender | B1 headless 渲染 / B2 glTF 完整性 / B3 错误恢复 | 成功率、完整率、耗时 |

## 4. 评分

- 成功率 50%、质量 30%、效率 20%（权重先定死，不随结果调整）；
- 质量用 1–5 rubric，两个评审（作者 + 外部），分歧 >1 分复核；
- **不输出单一总排名**，按任务给结论。

## 5. 证据

每次运行保留：命令、日志、输出文件、截图、JSON。报告附复现包（脚本 + 固定输入），数据放 `bench/<category>/results/`。

## 6. 报告模板

见 `bench/templates/report.md`：
结论 → 测试条件 → 任务与规则 → 结果表（按任务）→ 失败案例 → 适用/不适用 → 复现命令 → 更正记录。

## 7. 告知与更正

- 测完再告知，不事前审批；
- 邮件优先，GitHub Issue 次之（中性标题，非 bug）；
- 72 小时申辩期；复核后更正，**不删稿**；
- 报告内固定放更正入口。

## 8. 节奏

- 每月 1 个品类，每篇 2–3 天；
- 先做记忆；站点 `/bench/` 发全文，小红书拆图文。

## 9. 风险控制

| 风险 | 对策 |
|---|---|
| 环境差异导致不可复现 | 固定版本 + 3 次 + 原始日志 |
| 作者反弹 | 先告知、给申辩、只陈述事实 |
| 偏心自己的插件 | 单列 + 外部评审 + 标注 |
| 变成“又一个榜单” | 不排名，只按任务给结论 |

## 10. 变更记录

- 2026-10-20 v0.1 初稿。