AGENT SKILL

skill-backtest-overfit

Detect backtest overfitting and selection bias from multiple testing. Use when a user has a backtest / factor result and asks whether the Sharpe is real, whether a strategy is overfit, or wants to validate results before trusting them. Computes Deflated Sharpe Ratio, Probability of Backtest Overfitting (PBO), multiple-testing haircut, and Minimum Track Record Length.

License 许可
GPL-3.0
最近更新
2026-11-06
Stars
★ 98
Forks
39

01 前言 Front Matter

name
skill-backtest-overfit
license
GPL-3.0
category
工具
metadata
{ "collection": "portfolio-risk-validation", "repository": "skill-backtest-overfit", "organization": "QuantSkills", "project_type": "skill", "repository_url": "https://github.com/quantskills/skill-backtest-overfit", "organization_url": "https://github.com/quantskills" }
description
Detect backtest overfitting and selection bias from multiple testing. Use when a user has a backtest / factor result and asks whether the Sharpe is real, whether a strategy is overfit, or wants to validate results before trusting them. Computes Deflated Sharpe Ratio, Probability of Backtest Overfitting (PBO), multiple-testing haircut, and Minimum Track Record Length.

02 资源文件 11

03 SKILL.md 正文

WorkBuddy 真实证据强制覆盖

本节优先于本 Skill 后续示例。此成员只审计主流程封存的真实 selected_returns.csv 和 trials_matrix.csv;不得自行连接本地数据 SDK,也不得用合成、模拟或随机行情替代缺失 证据。若上游收益证据缺失,必须返回阻塞。需要补取市场数据时,按共享 Runtime Skill 执行 auth_status 与 call_pandadata,保存真实结果后再进入统计审计。

WorkBuddy 真实证据强制覆盖

本节优先于本 Skill 后续示例。此成员只审计主流程封存的真实 selected_returns.csv 和 trials_matrix.csv;不得自行连接本地数据 SDK,也不得用合成、模拟或随机行情替代缺失 证据。若上游收益证据缺失,必须返回阻塞。需要补取市场数据时,按共享 Runtime Skill 执行 auth_status 与 call_pandadata,保存真实结果后再进入统计审计。

WorkBuddy 真实证据强制覆盖

本节优先于本 Skill 后续示例。此成员只审计主流程封存的真实 selected_returns.csv 和 trials_matrix.csv;不得自行连接本地数据 SDK,也不得用合成、模拟或随机行情替代缺失 证据。若上游收益证据缺失,必须返回阻塞。需要补取市场数据时,按共享 Runtime Skill 执行 auth_status 与 call_pandadata,保存真实结果后再进入统计审计。

{
  "version": 1,
  "task": {
    "placeholder": "说明待检验的回测、收益序列、试验次数及数据文件;可上传 selected_returns 和 trials_matrix",
    "required": true
  },
  "fields": [
    {
      "key": "n_trials",
      "label": "试验次数",
      "type": "number",
      "placeholder": "例如 200",
      "help": "请如实填写所有尝试过的参数或策略配置数量"
    },
    {
      "key": "periods_per_year",
      "label": "年化期数",
      "type": "number",
      "default": "252",
      "help": "日频通常为 252"
    },
    {
      "key": "haircut_method",
      "label": "多重检验方法",
      "type": "select",
      "default": "holm",
      "options": [
        { "value": "holm", "label": "Holm" },
        { "value": "bonferroni", "label": "Bonferroni" },
        { "value": "bhy", "label": "BHY" }
      ]
    }
  ],
  "prompt_template": "{{#task}}任务与材料:\n{{task}}\n\n{{/task}}{{#attachments}}用户上传的材料(已放入工作区):\n{{attachments}}\n\n{{/attachments}}检验该回测的过拟合与多重选择偏差。{{#n_trials}}按真实试验次数 {{n_trials}} 计算。{{/n_trials}}{{#periods_per_year}}年化期数采用 {{periods_per_year}}。{{/periods_per_year}}{{#haircut_method}}多重检验校正采用 {{haircut_method}}。{{/haircut_method}}计算 DSR、PBO、Haircut Sharpe 和最小样本长度,缺少试验矩阵时明确降级项及局限,给出可追溯的通过/失败结论,输出中文报告。"
}

skill-backtest-overfit

role: skill · output: OverfitReport (JSON + text) · paradigm: statistical validation of backtests

把"一个回测的 Sharpe 到底是不是真的"变成可计算、可引用、可归档的统计结论。这是因子流水线最后、也是最缺的统计守门员。

🎯 这个 Skill 解决什么问题

量化生态在批量造因子/调参:同一段历史数据上试了 N 个配置,挑出最好看的一个。问题是——只要 N 够大,纯噪声里也必然能挑出一个 Sharpe 很高的"策略"。常规 health-check(持仓数、换手率、回撤区间)抓不到这种选择偏差。

本 Skill 用四个有原始文献支撑的统计量回答:"这个回测有多大概率是过拟合?"

  • Deflated Sharpe Ratio (DSR) — 把"试了 N 次"的选择偏差从 Sharpe 里扣掉,给出"真 SR > 0"的概率。
  • PBO(回测过拟合概率) — 样本内最优的配置,在样本外有多大概率沦为中等水平。
  • Haircut Sharpe — 多重检验下给 Sharpe 打的折。
  • MinTRL — 要多长样本,这个 Sharpe 才统计显著。

⚡ 工作流(Agent 按此执行)

  1. 收集输入:拿到①被选中策略的逐期收益序列;②(强烈建议)所有试过的配置组成的收益矩阵 T×N;③诚实的试验次数 n_trials(每个网格点、每个因子变体都算)。
  2. 算 DSR / PSR / MinTRL:scripts/deflated_sharpe.py。需要跨试验的 Sharpe 方差——有收益矩阵时自动估,没有则退化为单次估计(偏宽松,须提示用户)。
  3. 算 PBO:scripts/pbo_cscv.py,需要 T×N 收益矩阵,CSCV 组合对称交叉验证。
  4. 算 Haircut:scripts/haircut.py,Bonferroni / Holm / BHY 三选一。
  5. 生成报告:scripts/overfit_report.py 汇总四项 → OverfitReport(JSON + 文本),给出 PASS/FAIL 与触发原因。
  6. 解释结论:用业务语言告诉用户"该回测约有 X% 概率是数据挖掘噪声",并指出最薄弱的统计项。
# 一行生成报告
python scripts/overfit_report.py --returns selected.csv --trials trials.csv --n-trials 200 --out report.json
# 离线演示(无需凭证,对比过拟合 vs 真实 edge)
# WorkBuddy: use sealed real return files

🗃️ 输入契约

输入 形态 必需 说明
selected_returns 1D 数组 / CSV 单列 是 被选中策略的逐期收益(非年化)
trials_matrix T×N 矩阵 / CSV 否(PBO 必需) 每列一个被试配置的逐期收益
n_trials int 是 诚实的多重检验次数
periods_per_year int 否 默认 252,用于年化展示

输出 OverfitReport:verdict / passed / deflated_sharpe_ratio / pbo / haircut / minimum_track_record_length / ...

🔗 管线定位

因子挖掘(批量) → 评估 → 回测(skill-backtest) → [本 Skill:过拟合统计守门] → 上线

它是 skill-backtest 的统计补充:skill-backtest 给净值与启发式 health-check,本 Skill 给多重检验下的统计显著性。任一统计项不过,先怀疑是过拟合,不要相信回测。

📦 仓库结构

skill-backtest-overfit/
├── SKILL.md
├── README.md
├── requirements.txt
├── scripts/
│   ├── deflated_sharpe.py   # DSR / PSR / MinTRL  (Bailey & Lopez de Prado 2014)
│   ├── pbo_cscv.py          # PBO via CSCV        (Bailey et al. 2017)
│   ├── purged_kfold.py      # 净化+禁运 K-Fold CV (Lopez de Prado 2018, ch.7)
│   ├── haircut.py           # 多重检验 haircut    (Harvey & Liu 2015)
│   ├── overfit_report.py    # 汇总 → OverfitReport
├── references/
│   ├── methodology.md       # 公式推导 + 文献
│   └── anti-patterns.md     # 10 种过拟合陷阱
└── examples/
    └── run_demo.py          # 过拟合 vs 真实 edge 对照

⚠️ 使用规则

  • 诚实申报 n_trials 是本 Skill 成立的前提:少报 = 自欺。
  • DSR/PSR 用逐期Sharpe,勿传年化值。
  • PBO 需要足够多的配置列(N≥10 才有意义);n_blocks 必须为偶数且 ≤ T。
  • 只做研究/方法论参考,不构成投资建议。

04 同仓库更多 Skills

ahang1598
ahang1598/doubao-workbuddy-qwenwork-skills

xiaoyi-pdf-win

PDF 综合处理技能,处理文档生成、编辑、安全与解析。 适用情形: 1. 创建与排版:从零生成报告、提案、简历等 PDF,或对现有文档重新排版美化; 2. 表单与水印:自动填写 PDF 表单字段,或添加文字/图片水印(如打水印、标机密); 3. 页面管理:合并多个 PDF,或拆分、提取指定页码; 4. 安全控制:为 PDF 添加密码(加密)或移除密码(解密); 5. 内容提取:从 PDF 中提取纯文本或导出表格数据。 只要用户诉求涉及生成、排版、美化、转换、拼接、拆分 PDF,或处理水印、表单、密码,必须触发本技能。

★ 98
ahang1598
ahang1598/doubao-workbuddy-qwenwork-skills

skill-creator-win

Create or update AgentSkills. Use when designing, structuring, or packaging skills with scripts, references, and assets.

★ 98
ahang1598
ahang1598/doubao-workbuddy-qwenwork-skills

markitdown-win

Convert files and office documents to Markdown. Supports PDF, DOCX, PPTX, XLSX, images (with OCR), audio (with transcription), HTML, CSV, JSON, XML, ZIP, YouTube URLs, EPubs and more.

★ 98
ahang1598
ahang1598/doubao-workbuddy-qwenwork-skills

minimax-docx

Professional DOCX document creation, editing, and formatting using OpenXML SDK (.NET). Three pipelines: (A) create new documents from scratch, (B) fill/edit content in existing documents, (C) apply template formatting with XSD validation gate-check. MUST use this skill whenever the user wants to produce, modify, or format a Word document — including when they say "write a report", "draft a proposal", "make a contract", "fill in this form", "reformat to match this template", or any task whose final output is a .docx file. Even if the user doesn't mention "docx" explicitly, if the task implies a printable/formal document, use this skill.

★ 98
ahang1598
ahang1598/doubao-workbuddy-qwenwork-skills

skillhub-daily

SkillHub 每日推荐 - 扫描 skillhub.cn 全站 Top100 + 7 大分类各 Top20(共 240 个 Skill), 基于用户痛点精准推荐高价值 Skill,支持 IMA/飞书/Obsidian 多通道存储。 触发词:每日推荐、SkillHub 日报、潜力Skill、帮我推荐技能。 支持两种使用模式:常规 Skills 模式(对话触发)/ Cron 定时任务模式。

★ 98
ahang1598
ahang1598/doubao-workbuddy-qwenwork-skills

deep-research

Structured deep research workflow with human-in-the-loop control. Use /research to generate research outline, /research-deep for parallel web search across items, /research-report to compile markdown reports. Supports academic research, benchmark research, technology selection, market analysis, and due diligence. Triggers: 'deep research', 'research topic', 'benchmark comparison', 'technology survey', 'market analysis'. Requires: WebSearch capability.

★ 98