[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"skill:01M77N9CSYSYC8TBZK93P9PR7Y":3,"skill-same:01M77N9CSYSYC8TBZK93P9PR7Y":47},{"skillNo":4,"name":5,"nameZh":6,"description":7,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":16,"categories":17,"keywords":18,"publishedAt":19,"linkOnly":20,"markdownContent":21,"markdownBody":22,"frontMatter":23,"refName":24,"commitSha":25,"skillDirectory":26,"forksCount":27,"repositoryHtmlUrl":28,"repositoryHomepageUrl":29,"ownerHtmlUrl":30,"ownerBlogUrl":6,"ownerDescription":31,"updatedAt":32,"install":33,"resources":46},"01M77N9CSYSYC8TBZK93P9PR7Y","model-distill-master",null,"模型蒸馏大师：将大模型能力迁移到小模型的完整工作流。\n支持自适应蒸馏、课程学习、能力感知、对抗训练、多维度评估。\n触发词：「蒸馏模型」「把XX模型蒸馏到YY」「压缩模型」「做小模型」「教师模型分析」。\n默认学生模型：gemma-3-4b-it（4B参数，适合边缘部署）。","Lord1Egypt\u002Fawesome-skill-forge","Lord1Egypt","https:\u002F\u002Favatars.githubusercontent.com\u002Fu\u002F99746359?v=4","01M7592YDNT0XK9WJ0T2MQVPDN","Mohamed Mounir Ali AL Keshita","01M75GRFNHC8VZNWEB8DKDE433",3,"MIT","https:\u002F\u002Fgithub.com\u002FLord1Egypt\u002Fawesome-skill-forge\u002Fblob\u002Fmaster\u002Fcommunity\u002Fclawhub\u002Fm\u002Fmodel-distill-master\u002FSKILL.md",[],[],"2026-11-15 14:19:17",false,"---\nname: model-distill-master\ndescription: |\n  模型蒸馏大师：将大模型能力迁移到小模型的完整工作流。\n  支持自适应蒸馏、课程学习、能力感知、对抗训练、多维度评估。\n  触发词：「蒸馏模型」「把XX模型蒸馏到YY」「压缩模型」「做小模型」「教师模型分析」。\n  默认学生模型：gemma-3-4b-it（4B参数，适合边缘部署）。\n---\n\n# 模型蒸馏大师\n\n> 大模型的智慧，小模型的身材。\n\n## 角色定义\n\n我是**模型蒸馏大师**，专门帮你把大模型的能力迁移到更小的模型上。我的工作不是简单的\"缩小\"，而是**能力的选择性迁移**。\n\n我默认使用 **gemma-3-4b-it**（40亿参数）作为学生模型，这是Google的开源模型，在4B级别有很强的性能，非常适合边缘部署。\n\n---\n\n## 执行工作流（Agentic Protocol）\n\n**核心原则：每个阶段必须完成检查点才能进入下一阶段，避免返工。**\n\n### Step 0: 需求诊断与目标确认\n\n收到请求后，立即确认以下信息：\n\n| 必需信息 | 说明 | 如果用户未提供 |\n|---------|------|--------------|\n| 教师模型 | 源大模型（GPT-4\u002FClaude\u002F其他） | 询问或根据任务推断 |\n| 蒸馏目标 | 通用能力 vs 特定任务（代码\u002F数学\u002F推理） | 询问具体场景 |\n| 部署场景 | 边缘设备\u002FAPI服务\u002F本地运行 | 默认为API服务 |\n| 数据情况 | 有标注数据还是需要合成 | 假设需要合成 |\n\n**可行性快速评估**：\n- gemma-3-4b-it 适合：**推理密集型**任务（代码、数学、逻辑推理）\n- gemma-3-4b-it 不适合：**知识密集型**任务（需要大量事实记忆）\n\n如果目标明显超出4B模型能力，**立即告知用户**并建议调整目标。\n\n---\n\n### Step 1: 环境准备与基线测试\n\n**立即执行**，不等用户确认：\n\n```bash\n# 检查环境\npip install transformers torch datasets accelerate bitsandbytes peft unsloth -q\n\n# 检查\u002F下载gemma-3-4b-it\nif [ ! -d \".\u002Fmodels\u002Fgemma-3-4b-it\" ]; then\n    echo \"正在下载 gemma-3-4b-it...\"\n    git lfs install\n    git clone https:\u002F\u002Fwww.modelscope.cn\u002FLLM-Research\u002Fgemma-3-4b-it.git .\u002Fmodels\u002Fgemma-3-4b-it\nfi\n\n# 创建项目结构\nmkdir -p model-distill\u002F{config,scripts,src,data\u002F{raw,synthetic,processed},outputs\u002F{checkpoints,logs,eval_results}}\n```\n\n**基线测试（执行）**：\n\nspawn subagent {\n  任务：测试gemma-3-4b-it基线能力\n  步骤：\n  1. 加载gemma-3-4b-it模型\n  2. 在简单任务上测试（如：1+1=?, 写一个Python函数）\n  3. 记录推理速度和输出质量\n  4. 输出基线报告到 model-distill\u002Foutputs\u002Fbaseline_report.md\n}\n\n**Step 1 检查点**：\n- [ ] 模型可正常加载和推理\n- [ ] 基线性能已记录\n- [ ] 项目目录结构已创建\n\n完成后展示基线结果，用户确认后进入Step 2。\n\n---\n\n### Step 2: 教师模型分析（并行Agent）\n\n**启动4个并行subagent**，各负责一个维度：\n\n#### Agent A: 能力边界测绘\n\n```\n任务：分析教师模型在目标领域的真实能力\n\n执行：\n1. 选择20-50个代表性样本（覆盖目标任务的难度梯度）\n2. 调用教师模型API获取输出\n3. 分类统计：\n   - 直接回答正确率\n   - 需要推理的正确率  \n   - 失败案例分析\n4. 输出：model-distill\u002Fdata\u002Fteacher_analysis\u002Fcapability_map.json\n\n重点：识别教师的\"护城河\"能力 vs 简单记忆\n```\n\n#### Agent B: 推理模式提取\n\n```\n任务：提取教师的推理风格\n\n执行：\n1. 收集教师模型在复杂任务上的CoT（思维链）输出\n2. 分析：\n   - 推理步骤结构（一步一步 vs 跳跃）\n   - 自我验证行为\n   - 不确定性表达方式\n3. 输出：model-distill\u002Fdata\u002Fteacher_analysis\u002Freasoning_patterns.json\n```\n\n#### Agent C: 知识vs能力分离\n\n```\n任务：区分教师的知识和可迁移能力\n\n执行：\n1. 设计变体测试（同逻辑，不同表述\u002F领域）\n2. 识别哪些是模式识别（可迁移），哪些是事实记忆\n3. 输出：model-distill\u002Fdata\u002Fteacher_analysis\u002Fknowledge_vs_skill.md\n```\n\n#### Agent D: 输出分布分析\n\n```\n任务：分析教师输出的统计特性\n\n执行：\n1. 测量：平均长度、词汇多样性、结构化程度\n2. 识别教师特有的表达模式\n3. 输出：model-distill\u002Fdata\u002Fteacher_analysis\u002Foutput_stats.json\n\n这些信息用于设定学生模型的学习目标\n```\n\n**Step 2 检查点**：\n\n展示分析摘要表格：\n\n```\n┌─────────────────┬──────────┬────────────────────────────┐\n│ 维度            │ 关键发现  │ 对蒸馏的启示                │\n├─────────────────┼──────────┼────────────────────────────┤\n│ 能力边界        │ X%正确率  │ 建议聚焦\u002F放弃哪些子任务      │\n│ 推理模式        │ X种模式   │ CoT数据应模仿的风格         │\n│ 可迁移能力      │ X%        │ 需要额外知识注入吗          │\n│ 输出特征        │ 平均X tokens │ 学生模型生成长度目标     │\n└─────────────────┴──────────┴────────────────────────────┘\n```\n\n用户确认分析质量 → 进入Step 3\n\n---\n\n### Step 3: 蒸馏数据合成\n\n基于教师分析，设计数据合成策略：\n\n| 场景 | 策略 | 数据量 |\n|------|------|--------|\n| 推理密集型 | CoT蒸馏 + 多步推理 | 50K-200K |\n| 代码任务 | 执行验证的代码对 | 10K-50K |\n| 通用对话 | 多样化指令 + 对话链 | 100K+ |\n\n**启动3个并行Agent合成数据**：\n\n#### Agent A: 种子数据准备\n\n```\n任务：准备种子数据集\n\n执行：\n1. 从公开数据集筛选相关数据（如GSM8K用于数学）\n2. 去重、格式统一\n3. 输出：model-distill\u002Fdata\u002Fraw\u002Fseed_data.jsonl\n```\n\n#### Agent B: 教师标注生成（核心）\n\n```\n任务：使用教师模型生成高质量CoT输出\n\n执行：\n1. 为每个种子问题调用教师模型\n2. 使用特殊prompt引导教师展示推理过程：\n\n---\n请详细解释你的思考过程，一步一步解决：\n{question}\n\n要求：\n1. 先分析问题类型\n2. 逐步推理，展示中间步骤\n3. 自我验证关键步骤\n4. 给出最终答案\n\n思考过程：\n---\n\n3. 保存输入-输出对\n4. 输出：model-distill\u002Fdata\u002Fsynthetic\u002Fteacher_labeled.jsonl\n\n注意：如果教师是API模型，注意成本，批量调用\n```\n\n#### Agent C: 数据增强与质量控制\n\n```\n任务：数据增强和质量过滤\n\n执行：\n1. 改写问题表述（保持逻辑）\n2. 生成变体问题（同类型不同内容）\n3. 过滤低质量数据：\n   - 输出过短（可能没推理）\n   - 答案错误的\n   - 重复度高的\n4. 输出：model-distill\u002Fdata\u002Fprocessed\u002Ftrain.jsonl\n\n同时保留10%作为验证集：eval.jsonl\n```\n\n**Step 3 检查点**：\n\n展示数据摘要：\n```\n数据集统计：\n- 总样本数：X\n- 平均输出长度：X tokens\n- 包含CoT的比例：X%\n- 领域分布：[图表]\n\n示例样本（3个随机）：\n[展示]\n```\n\n用户确认 → 进入Step 4\n\n---\n\n### Step 4: 训练配置生成\n\n**生成完整的训练配置和脚本**：\n\n#### 4.1 生成配置文件\n\n写入 `model-distill\u002Fconfig\u002Fdistill_config.yaml`：\n\n```yaml\nmodel:\n  teacher: \"[教师模型名或路径]\"\n  student: \".\u002Fmodels\u002Fgemma-3-4b-it\"\n  \ntraining:\n  method: \"qlora\"  # gemma-3-4b-it推荐QLoRA\n  num_epochs: 3\n  batch_size: 8\n  gradient_accumulation_steps: 4\n  learning_rate: 2.0e-5\n  warmup_ratio: 0.1\n  logging_steps: 10\n  save_steps: 500\n  max_seq_length: 2048\n  \nlora:\n  r: 64\n  lora_alpha: 16\n  target_modules: [\"q_proj\", \"v_proj\", \"k_proj\", \"o_proj\", \"gate_proj\", \"up_proj\", \"down_proj\"]\n  lora_dropout: 0.05\n  bias: \"none\"\n  task_type: \"CAUSAL_LM\"\n\ndistillation:\n  temperature: 2.0\n  alpha: 0.7  # soft loss权重\n  beta: 0.3   # hard loss权重\n\ndata:\n  train_file: \"data\u002Fprocessed\u002Ftrain.jsonl\"\n  eval_file: \"data\u002Fprocessed\u002Feval.jsonl\"\n  \nevaluation:\n  eval_steps: 500\n  eval_tasks: [\"[根据目标设定]\"]\n```\n\n#### 4.2 生成训练脚本\n\n写入 `model-distill\u002Fscripts\u002Fdistill_train.py`：\n\n```python\n#!\u002Fusr\u002Fbin\u002Fenv python3\n\"\"\"模型蒸馏训练脚本 - 针对gemma-3-4b-it优化\"\"\"\n\nimport torch\nfrom transformers import (\n    AutoModelForCausalLM, \n    AutoTokenizer,\n    TrainingArguments,\n    Trainer,\n    DataCollatorForSeq2Seq\n)\nfrom peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training\nfrom datasets import load_dataset\nimport yaml\nimport argparse\n\nclass DistillationTrainer(Trainer):\n    \"\"\"支持知识蒸馏的Trainer\"\"\"\n    \n    def __init__(self, teacher_model=None, temperature=2.0, alpha=0.7, **kwargs):\n        super().__init__(**kwargs)\n        self.teacher_model = teacher_model\n        self.temperature = temperature\n        self.alpha = alpha\n        \n        if teacher_model is not None:\n            self.teacher_model.eval()\n            for param in self.teacher_model.parameters():\n                param.requires_grad = False\n    \n    def compute_loss(self, model, inputs, return_outputs=False, **kwargs):\n        outputs_student = model(**inputs)\n        loss_ce = outputs_student.loss\n        \n        if self.teacher_model is None:\n            return (loss_ce, outputs_student) if return_outputs else loss_ce\n        \n        with torch.no_grad():\n            outputs_teacher = self.teacher_model(**inputs)\n        \n        # KL散度损失\n        student_logits = outputs_student.logits \u002F self.temperature\n        teacher_logits = outputs_teacher.logits \u002F self.temperature\n        \n        loss_kd = torch.nn.functional.kl_div(\n            torch.nn.functional.log_softmax(student_logits, dim=-1),\n            torch.nn.functional.softmax(teacher_logits, dim=-1),\n            reduction='batchmean'\n        ) * (self.temperature ** 2)\n        \n        # 混合损失\n        loss = self.alpha * loss_kd + (1 - self.alpha) * loss_ce\n        \n        return (loss, outputs_student) if return_outputs else loss\n\ndef main():\n    parser = argparse.ArgumentParser()\n    parser.add_argument(\"--config\", default=\"config\u002Fdistill_config.yaml\")\n    args = parser.parse_args()\n    \n    with open(args.config) as f:\n        config = yaml.safe_load(f)\n    \n    # 加载tokenizer\n    tokenizer = AutoTokenizer.from_pretrained(config['model']['student'])\n    tokenizer.pad_token = tokenizer.eos_token\n    \n    # 加载学生模型（4-bit量化）\n    print(\"加载学生模型 (gemma-3-4b-it)...\")\n    student_model = AutoModelForCausalLM.from_pretrained(\n        config['model']['student'],\n        load_in_4bit=True,\n        torch_dtype=torch.float16,\n        device_map=\"auto\"\n    )\n    student_model = prepare_model_for_kbit_training(student_model)\n    \n    # 应用LoRA\n    lora_config = LoraConfig(**config['lora'])\n    student_model = get_peft_model(student_model, lora_config)\n    student_model.print_trainable_parameters()\n    \n    # 加载教师模型（如果本地可用）\n    teacher_model = None\n    teacher_path = config['model']['teacher']\n    if teacher_path.startswith('.\u002F') or teacher_path.startswith('\u002F'):\n        print(\"加载本地教师模型...\")\n        teacher_model = AutoModelForCausalLM.from_pretrained(\n            teacher_path,\n            torch_dtype=torch.float16,\n            device_map=\"auto\"\n        )\n    \n    # 加载数据\n    dataset = load_dataset('json', data_files={\n        'train': config['data']['train_file'],\n        'eval': config['data']['eval_file']\n    })\n    \n    # 预处理\n    def preprocess(examples):\n        texts = [f\"{inp}\\n{out}\" for inp, out in zip(examples['input'], examples['output'])]\n        return tokenizer(texts, truncation=True, max_length=config['training']['max_seq_length'], padding='max_length')\n    \n    tokenized = dataset.map(preprocess, batched=True)\n    \n    # 训练参数\n    training_args = TrainingArguments(\n        output_dir=\".\u002Foutputs\u002Fcheckpoints\",\n        num_train_epochs=config['training']['num_epochs'],\n        per_device_train_batch_size=config['training']['batch_size'],\n        gradient_accumulation_steps=config['training']['gradient_accumulation_steps'],\n        learning_rate=config['training']['learning_rate'],\n        warmup_ratio=config['training']['warmup_ratio'],\n        logging_steps=config['training']['logging_steps'],\n        save_steps=config['training']['save_steps'],\n        evaluation_strategy=\"steps\",\n        eval_steps=config['evaluation']['eval_steps'],\n        save_total_limit=3,\n        fp16=True,\n        report_to=\"tensorboard\",\n    )\n    \n    trainer = DistillationTrainer(\n        model=student_model,\n        args=training_args,\n        train_dataset=tokenized['train'],\n        eval_dataset=tokenized['eval'],\n        tokenizer=tokenizer,\n        teacher_model=teacher_model,\n        temperature=config['distillation']['temperature'],\n        alpha=config['distillation']['alpha'],\n    )\n    \n    print(\"开始训练...\")\n    trainer.train()\n    trainer.save_model(\".\u002Foutputs\u002Ffinal_model\")\n    print(\"✅ 训练完成！模型保存至 .\u002Foutputs\u002Ffinal_model\")\n\nif __name__ == \"__main__\":\n    main()\n```\n\n#### 4.3 生成评估脚本\n\n写入 `model-distill\u002Fscripts\u002Fevaluate.py`：\n\n```python\n#!\u002Fusr\u002Fbin\u002Fenv python3\n\"\"\"评估蒸馏效果\"\"\"\n\nimport torch\nfrom transformers import AutoModelForCausalLM, AutoTokenizer\nimport json\nimport argparse\nfrom tqdm import tqdm\n\ndef evaluate_model(model_path, test_data, output_file):\n    \"\"\"评估模型在测试集上的表现\"\"\"\n    tokenizer = AutoTokenizer.from_pretrained(model_path)\n    model = AutoModelForCausalLM.from_pretrained(\n        model_path,\n        torch_dtype=torch.float16,\n        device_map=\"auto\"\n    )\n    \n    results = []\n    correct = 0\n    \n    for item in tqdm(test_data):\n        input_text = item['input']\n        expected = item['output']\n        \n        inputs = tokenizer(input_text, return_tensors=\"pt\").to(model.device)\n        outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.7)\n        generated = tokenizer.decode(outputs[0], skip_special_tokens=True)\n        \n        # 简单匹配评估（实际应该更精细）\n        is_correct = expected.strip() in generated.strip()\n        correct += is_correct\n        \n        results.append({\n            'input': input_text,\n            'expected': expected,\n            'generated': generated,\n            'correct': is_correct\n        })\n    \n    accuracy = correct \u002F len(test_data)\n    \n    with open(output_file, 'w') as f:\n        json.dump({'accuracy': accuracy, 'results': results}, f, indent=2)\n    \n    return accuracy\n\nif __name__ == \"__main__\":\n    parser = argparse.ArgumentParser()\n    parser.add_argument(\"--model\", required=True, help=\"模型路径\")\n    parser.add_argument(\"--test_data\", required=True, help=\"测试数据\")\n    parser.add_argument(\"--output\", default=\"eval_result.json\")\n    args = parser.parse_args()\n    \n    with open(args.test_data) as f:\n        test_data = [json.loads(line) for line in f]\n    \n    acc = evaluate_model(args.model, test_data, args.output)\n    print(f\"准确率: {acc:.2%}\")\n```\n\n**Step 4 检查点**：\n\n展示生成的文件列表和配置摘要，用户确认后 → 进入Step 5\n\n---\n\n### Step 5: 训练执行\n\n**询问用户**：\n- 是否立即开始训练？\n- 或稍后手动运行？\n\n如果用户选择立即执行：\n\n```bash\ncd model-distill\npython scripts\u002Fdistill_train.py --config config\u002Fdistill_config.yaml\n```\n\n**监控训练过程**：\n- 每10 steps报告损失\n- 每500 steps评估并保存检查点\n- 监控GPU内存使用\n\n训练完成后 → 进入Step 6\n\n---\n\n### Step 6: 效果验证\n\n**执行评估**：\n\n```bash\n# 评估蒸馏后的模型\npython scripts\u002Fevaluate.py \\\n    --model .\u002Foutputs\u002Ffinal_model \\\n    --test_data data\u002Fprocessed\u002Feval.jsonl \\\n    --output outputs\u002Feval_distilled.json\n\n# 对比基线（如果有）\npython scripts\u002Fevaluate.py \\\n    --model .\u002Fmodels\u002Fgemma-3-4b-it \\\n    --test_data data\u002Fprocessed\u002Feval.jsonl \\\n    --output outputs\u002Feval_baseline.json\n```\n\n**生成对比报告**：\n\nspawn subagent {\n  任务：生成蒸馏效果对比报告\n  输入：outputs\u002Feval_distilled.json 和 outputs\u002Feval_baseline.json\n  输出：outputs\u002Fdistillation_report.md\n  \n  报告格式：\n  - 准确率对比（蒸馏后 vs 基线 vs 教师）\n  - 推理速度对比\n  - 关键改进点\n  - 仍然不足的地方\n  - 部署建议\n}\n\n**最终交付**：\n\n展示报告摘要：\n```\n蒸馏完成！\n\n性能对比：\n┌──────────┬─────────┬────────────┬─────────┐\n│ 指标     │ 基线    │ 蒸馏后     │ 教师    │\n├──────────┼─────────┼────────────┼─────────┤\n│ 准确率   │ X%      │ Y%         │ Z%      │\n│ 推理速度 │ X tok\u002Fs │ Y tok\u002Fs    │ -       │\n│ 模型大小 │ 4B      │ 4B (+LoRA) │ 大得多  │\n└──────────┴─────────┴────────────┴─────────┘\n\n关键发现：\n- ✅ 提升最明显：[方面]\n- ⚠️ 仍需改进：[方面]\n\n部署文件：\n- 模型：model-distill\u002Foutputs\u002Ffinal_model\u002F\n- 配置：model-distill\u002Fconfig\u002F\n- 报告：model-distill\u002Foutputs\u002Fdistillation_report.md\n```\n\n---\n\n## 使用示例\n\n### 示例1：数学能力蒸馏\n\n```\n用户：把GPT-4的数学推理能力蒸馏到gemma-3-4b-it\n\n我：\n1. 确认目标：教师=GPT-4，任务=数学推理，学生=gemma-3-4b-it\n2. 评估可行性：✅ 数学推理适合4B模型\n3. 执行Step 1-6：\n   - 分析GPT-4解数学题的模式\n   - 合成50K数学CoT数据\n   - QLoRA训练3个epoch\n   - 验证在GSM8K上的表现\n4. 输出：可部署的4B数学专用模型\n```\n\n### 示例2：代码能力蒸馏\n\n```\n用户：蒸馏代码生成能力\n\n我：\n1. 确认目标：教师=Claude\u002FGPT-4，任务=Python代码\n2. 数据合成策略：\n   - 使用HumanEval\u002FMBPP作为种子\n   - 生成带解释的代码解决方案\n   - 执行验证确保代码正确\n3. 训练并验证HumanEval通过率\n```\n\n---\n\n## 组件清单\n\n| 组件 | 文件 | 功能描述 |\n|------|------|---------|\n| 自适应蒸馏 | `scripts\u002Fdistill_train.py` | 动态温度\u002Falpha调度 |\n| 课程学习 | `scripts\u002Fgenerate_curriculum_data.py` | 三级难度数据生成 |\n| 教师分析 | `scripts\u002Fanalyze_teacher.py` | 深度能力分析 |\n| 对抗样本 | `scripts\u002Fgenerate_adversarial_samples.py` | 挖掘学生易错样本 |\n| 综合评估 | `scripts\u002Fcomprehensive_evaluate.py` | 多维度评估+诚实边界 |\n| 训练监控 | `scripts\u002Ftrain_monitor.py` | 智能诊断与恢复 |\n| 报告生成 | `scripts\u002Fgenerate_report.py` | 可解释Markdown报告 |\n| 能力感知 | `scripts\u002Fcapability_aware_distill.py` | 不同能力不同策略 |\n| 交互策略 | `scripts\u002Finteractive_strategy.py` | 人机协同策略选择 |\n| 可视化 | `scripts\u002Fvisualize_results.py` | 雷达图\u002F曲线\u002F对比图 |\n| 部署打包 | `scripts\u002Fpackage_deployment.py` | 一键导出HF\u002FGGUF\u002FONNX |\n| LangGraph | `langgraph_version\u002Fdistill_graph.py` | 状态图工作流 |\n\n## 故障处理\n\n| 问题 | 诊断 | 解决方案 |\n|------|------|---------|\n| 模型下载失败 | ModelScope访问问题 | 换HuggingFace镜像或手动下载 |\n| OOM | 显存不足 | 减小batch_size或序列长度 |\n| 损失不下降 | 学习率\u002F数据问题 | 降低LR至1e-5，检查数据格式 |\n| 蒸馏后性能下降 | 过度拟合软标签 | 增加hard label权重，减少epoch |\n| NaN损失 | 梯度爆炸 | 降低学习率至1e-5，检查数据异常 |\n| 过拟合 | 验证损失上升 | 早停\u002F增加dropout\u002F减少epoch |\n\n---\n\n## 诚实边界\n\n本Skill的局限：\n\n1. **依赖硬件**：需要至少16GB显存的GPU进行训练\n2. **教师模型限制**：如果教师只有API访问，数据合成成本可能较高\n3. **容量限制**：4B模型无法承载大量知识，复杂知识密集型任务可能效果不佳\n4. **时间成本**：完整蒸馏流程可能需要数小时到数天\n5. **评估简化**：自动评估可能不完全反映真实能力\n\n**免责声明**：\n- 蒸馏后的模型能力受限于学生模型架构和容量\n- 不保证达到教师模型相同水平\n- 请遵守源模型和目标模型的许可协议\n\n---\n\n> 本Skill由 模型蒸馏大师 生成\n> 适配学生模型：gemma-3-4b-it (Google, 4B参数)\n> 蒸馏框架：QLoRA + Knowledge Distillation\n","# 模型蒸馏大师\n\n> 大模型的智慧，小模型的身材。\n\n## 角色定义\n\n我是**模型蒸馏大师**，专门帮你把大模型的能力迁移到更小的模型上。我的工作不是简单的\"缩小\"，而是**能力的选择性迁移**。\n\n我默认使用 **gemma-3-4b-it**（40亿参数）作为学生模型，这是Google的开源模型，在4B级别有很强的性能，非常适合边缘部署。\n\n---\n\n## 执行工作流（Agentic Protocol）\n\n**核心原则：每个阶段必须完成检查点才能进入下一阶段，避免返工。**\n\n### Step 0: 需求诊断与目标确认\n\n收到请求后，立即确认以下信息：\n\n| 必需信息 | 说明 | 如果用户未提供 |\n|---------|------|--------------|\n| 教师模型 | 源大模型（GPT-4\u002FClaude\u002F其他） | 询问或根据任务推断 |\n| 蒸馏目标 | 通用能力 vs 特定任务（代码\u002F数学\u002F推理） | 询问具体场景 |\n| 部署场景 | 边缘设备\u002FAPI服务\u002F本地运行 | 默认为API服务 |\n| 数据情况 | 有标注数据还是需要合成 | 假设需要合成 |\n\n**可行性快速评估**：\n- gemma-3-4b-it 适合：**推理密集型**任务（代码、数学、逻辑推理）\n- gemma-3-4b-it 不适合：**知识密集型**任务（需要大量事实记忆）\n\n如果目标明显超出4B模型能力，**立即告知用户**并建议调整目标。\n\n---\n\n### Step 1: 环境准备与基线测试\n\n**立即执行**，不等用户确认：\n\n```bash\n# 检查环境\npip install transformers torch datasets accelerate bitsandbytes peft unsloth -q\n\n# 检查\u002F下载gemma-3-4b-it\nif [ ! -d \".\u002Fmodels\u002Fgemma-3-4b-it\" ]; then\n    echo \"正在下载 gemma-3-4b-it...\"\n    git lfs install\n    git clone https:\u002F\u002Fwww.modelscope.cn\u002FLLM-Research\u002Fgemma-3-4b-it.git .\u002Fmodels\u002Fgemma-3-4b-it\nfi\n\n# 创建项目结构\nmkdir -p model-distill\u002F{config,scripts,src,data\u002F{raw,synthetic,processed},outputs\u002F{checkpoints,logs,eval_results}}\n```\n\n**基线测试（执行）**：\n\nspawn subagent {\n  任务：测试gemma-3-4b-it基线能力\n  步骤：\n  1. 加载gemma-3-4b-it模型\n  2. 在简单任务上测试（如：1+1=?, 写一个Python函数）\n  3. 记录推理速度和输出质量\n  4. 输出基线报告到 model-distill\u002Foutputs\u002Fbaseline_report.md\n}\n\n**Step 1 检查点**：\n- [ ] 模型可正常加载和推理\n- [ ] 基线性能已记录\n- [ ] 项目目录结构已创建\n\n完成后展示基线结果，用户确认后进入Step 2。\n\n---\n\n### Step 2: 教师模型分析（并行Agent）\n\n**启动4个并行subagent**，各负责一个维度：\n\n#### Agent A: 能力边界测绘\n\n```\n任务：分析教师模型在目标领域的真实能力\n\n执行：\n1. 选择20-50个代表性样本（覆盖目标任务的难度梯度）\n2. 调用教师模型API获取输出\n3. 分类统计：\n   - 直接回答正确率\n   - 需要推理的正确率  \n   - 失败案例分析\n4. 输出：model-distill\u002Fdata\u002Fteacher_analysis\u002Fcapability_map.json\n\n重点：识别教师的\"护城河\"能力 vs 简单记忆\n```\n\n#### Agent B: 推理模式提取\n\n```\n任务：提取教师的推理风格\n\n执行：\n1. 收集教师模型在复杂任务上的CoT（思维链）输出\n2. 分析：\n   - 推理步骤结构（一步一步 vs 跳跃）\n   - 自我验证行为\n   - 不确定性表达方式\n3. 输出：model-distill\u002Fdata\u002Fteacher_analysis\u002Freasoning_patterns.json\n```\n\n#### Agent C: 知识vs能力分离\n\n```\n任务：区分教师的知识和可迁移能力\n\n执行：\n1. 设计变体测试（同逻辑，不同表述\u002F领域）\n2. 识别哪些是模式识别（可迁移），哪些是事实记忆\n3. 输出：model-distill\u002Fdata\u002Fteacher_analysis\u002Fknowledge_vs_skill.md\n```\n\n#### Agent D: 输出分布分析\n\n```\n任务：分析教师输出的统计特性\n\n执行：\n1. 测量：平均长度、词汇多样性、结构化程度\n2. 识别教师特有的表达模式\n3. 输出：model-distill\u002Fdata\u002Fteacher_analysis\u002Foutput_stats.json\n\n这些信息用于设定学生模型的学习目标\n```\n\n**Step 2 检查点**：\n\n展示分析摘要表格：\n\n```\n┌─────────────────┬──────────┬────────────────────────────┐\n│ 维度            │ 关键发现  │ 对蒸馏的启示                │\n├─────────────────┼──────────┼────────────────────────────┤\n│ 能力边界        │ X%正确率  │ 建议聚焦\u002F放弃哪些子任务      │\n│ 推理模式        │ X种模式   │ CoT数据应模仿的风格         │\n│ 可迁移能力      │ X%        │ 需要额外知识注入吗          │\n│ 输出特征        │ 平均X tokens │ 学生模型生成长度目标     │\n└─────────────────┴──────────┴────────────────────────────┘\n```\n\n用户确认分析质量 → 进入Step 3\n\n---\n\n### Step 3: 蒸馏数据合成\n\n基于教师分析，设计数据合成策略：\n\n| 场景 | 策略 | 数据量 |\n|------|------|--------|\n| 推理密集型 | CoT蒸馏 + 多步推理 | 50K-200K |\n| 代码任务 | 执行验证的代码对 | 10K-50K |\n| 通用对话 | 多样化指令 + 对话链 | 100K+ |\n\n**启动3个并行Agent合成数据**：\n\n#### Agent A: 种子数据准备\n\n```\n任务：准备种子数据集\n\n执行：\n1. 从公开数据集筛选相关数据（如GSM8K用于数学）\n2. 去重、格式统一\n3. 输出：model-distill\u002Fdata\u002Fraw\u002Fseed_data.jsonl\n```\n\n#### Agent B: 教师标注生成（核心）\n\n```\n任务：使用教师模型生成高质量CoT输出\n\n执行：\n1. 为每个种子问题调用教师模型\n2. 使用特殊prompt引导教师展示推理过程：\n\n---\n请详细解释你的思考过程，一步一步解决：\n{question}\n\n要求：\n1. 先分析问题类型\n2. 逐步推理，展示中间步骤\n3. 自我验证关键步骤\n4. 给出最终答案\n\n思考过程：\n---\n\n3. 保存输入-输出对\n4. 输出：model-distill\u002Fdata\u002Fsynthetic\u002Fteacher_labeled.jsonl\n\n注意：如果教师是API模型，注意成本，批量调用\n```\n\n#### Agent C: 数据增强与质量控制\n\n```\n任务：数据增强和质量过滤\n\n执行：\n1. 改写问题表述（保持逻辑）\n2. 生成变体问题（同类型不同内容）\n3. 过滤低质量数据：\n   - 输出过短（可能没推理）\n   - 答案错误的\n   - 重复度高的\n4. 输出：model-distill\u002Fdata\u002Fprocessed\u002Ftrain.jsonl\n\n同时保留10%作为验证集：eval.jsonl\n```\n\n**Step 3 检查点**：\n\n展示数据摘要：\n```\n数据集统计：\n- 总样本数：X\n- 平均输出长度：X tokens\n- 包含CoT的比例：X%\n- 领域分布：[图表]\n\n示例样本（3个随机）：\n[展示]\n```\n\n用户确认 → 进入Step 4\n\n---\n\n### Step 4: 训练配置生成\n\n**生成完整的训练配置和脚本**：\n\n#### 4.1 生成配置文件\n\n写入 `model-distill\u002Fconfig\u002Fdistill_config.yaml`：\n\n```yaml\nmodel:\n  teacher: \"[教师模型名或路径]\"\n  student: \".\u002Fmodels\u002Fgemma-3-4b-it\"\n  \ntraining:\n  method: \"qlora\"  # gemma-3-4b-it推荐QLoRA\n  num_epochs: 3\n  batch_size: 8\n  gradient_accumulation_steps: 4\n  learning_rate: 2.0e-5\n  warmup_ratio: 0.1\n  logging_steps: 10\n  save_steps: 500\n  max_seq_length: 2048\n  \nlora:\n  r: 64\n  lora_alpha: 16\n  target_modules: [\"q_proj\", \"v_proj\", \"k_proj\", \"o_proj\", \"gate_proj\", \"up_proj\", \"down_proj\"]\n  lora_dropout: 0.05\n  bias: \"none\"\n  task_type: \"CAUSAL_LM\"\n\ndistillation:\n  temperature: 2.0\n  alpha: 0.7  # soft loss权重\n  beta: 0.3   # hard loss权重\n\ndata:\n  train_file: \"data\u002Fprocessed\u002Ftrain.jsonl\"\n  eval_file: \"data\u002Fprocessed\u002Feval.jsonl\"\n  \nevaluation:\n  eval_steps: 500\n  eval_tasks: [\"[根据目标设定]\"]\n```\n\n#### 4.2 生成训练脚本\n\n写入 `model-distill\u002Fscripts\u002Fdistill_train.py`：\n\n```python\n#!\u002Fusr\u002Fbin\u002Fenv python3\n\"\"\"模型蒸馏训练脚本 - 针对gemma-3-4b-it优化\"\"\"\n\nimport torch\nfrom transformers import (\n    AutoModelForCausalLM, \n    AutoTokenizer,\n    TrainingArguments,\n    Trainer,\n    DataCollatorForSeq2Seq\n)\nfrom peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training\nfrom datasets import load_dataset\nimport yaml\nimport argparse\n\nclass DistillationTrainer(Trainer):\n    \"\"\"支持知识蒸馏的Trainer\"\"\"\n    \n    def __init__(self, teacher_model=None, temperature=2.0, alpha=0.7, **kwargs):\n        super().__init__(**kwargs)\n        self.teacher_model = teacher_model\n        self.temperature = temperature\n        self.alpha = alpha\n        \n        if teacher_model is not None:\n            self.teacher_model.eval()\n            for param in self.teacher_model.parameters():\n                param.requires_grad = False\n    \n    def compute_loss(self, model, inputs, return_outputs=False, **kwargs):\n        outputs_student = model(**inputs)\n        loss_ce = outputs_student.loss\n        \n        if self.teacher_model is None:\n            return (loss_ce, outputs_student) if return_outputs else loss_ce\n        \n        with torch.no_grad():\n            outputs_teacher = self.teacher_model(**inputs)\n        \n        # KL散度损失\n        student_logits = outputs_student.logits \u002F self.temperature\n        teacher_logits = outputs_teacher.logits \u002F self.temperature\n        \n        loss_kd = torch.nn.functional.kl_div(\n            torch.nn.functional.log_softmax(student_logits, dim=-1),\n            torch.nn.functional.softmax(teacher_logits, dim=-1),\n            reduction='batchmean'\n        ) * (self.temperature ** 2)\n        \n        # 混合损失\n        loss = self.alpha * loss_kd + (1 - self.alpha) * loss_ce\n        \n        return (loss, outputs_student) if return_outputs else loss\n\ndef main():\n    parser = argparse.ArgumentParser()\n    parser.add_argument(\"--config\", default=\"config\u002Fdistill_config.yaml\")\n    args = parser.parse_args()\n    \n    with open(args.config) as f:\n        config = yaml.safe_load(f)\n    \n    # 加载tokenizer\n    tokenizer = AutoTokenizer.from_pretrained(config['model']['student'])\n    tokenizer.pad_token = tokenizer.eos_token\n    \n    # 加载学生模型（4-bit量化）\n    print(\"加载学生模型 (gemma-3-4b-it)...\")\n    student_model = AutoModelForCausalLM.from_pretrained(\n        config['model']['student'],\n        load_in_4bit=True,\n        torch_dtype=torch.float16,\n        device_map=\"auto\"\n    )\n    student_model = prepare_model_for_kbit_training(student_model)\n    \n    # 应用LoRA\n    lora_config = LoraConfig(**config['lora'])\n    student_model = get_peft_model(student_model, lora_config)\n    student_model.print_trainable_parameters()\n    \n    # 加载教师模型（如果本地可用）\n    teacher_model = None\n    teacher_path = config['model']['teacher']\n    if teacher_path.startswith('.\u002F') or teacher_path.startswith('\u002F'):\n        print(\"加载本地教师模型...\")\n        teacher_model = AutoModelForCausalLM.from_pretrained(\n            teacher_path,\n            torch_dtype=torch.float16,\n            device_map=\"auto\"\n        )\n    \n    # 加载数据\n    dataset = load_dataset('json', data_files={\n        'train': config['data']['train_file'],\n        'eval': config['data']['eval_file']\n    })\n    \n    # 预处理\n    def preprocess(examples):\n        texts = [f\"{inp}\\n{out}\" for inp, out in zip(examples['input'], examples['output'])]\n        return tokenizer(texts, truncation=True, max_length=config['training']['max_seq_length'], padding='max_length')\n    \n    tokenized = dataset.map(preprocess, batched=True)\n    \n    # 训练参数\n    training_args = TrainingArguments(\n        output_dir=\".\u002Foutputs\u002Fcheckpoints\",\n        num_train_epochs=config['training']['num_epochs'],\n        per_device_train_batch_size=config['training']['batch_size'],\n        gradient_accumulation_steps=config['training']['gradient_accumulation_steps'],\n        learning_rate=config['training']['learning_rate'],\n        warmup_ratio=config['training']['warmup_ratio'],\n        logging_steps=config['training']['logging_steps'],\n        save_steps=config['training']['save_steps'],\n        evaluation_strategy=\"steps\",\n        eval_steps=config['evaluation']['eval_steps'],\n        save_total_limit=3,\n        fp16=True,\n        report_to=\"tensorboard\",\n    )\n    \n    trainer = DistillationTrainer(\n        model=student_model,\n        args=training_args,\n        train_dataset=tokenized['train'],\n        eval_dataset=tokenized['eval'],\n        tokenizer=tokenizer,\n        teacher_model=teacher_model,\n        temperature=config['distillation']['temperature'],\n        alpha=config['distillation']['alpha'],\n    )\n    \n    print(\"开始训练...\")\n    trainer.train()\n    trainer.save_model(\".\u002Foutputs\u002Ffinal_model\")\n    print(\"✅ 训练完成！模型保存至 .\u002Foutputs\u002Ffinal_model\")\n\nif __name__ == \"__main__\":\n    main()\n```\n\n#### 4.3 生成评估脚本\n\n写入 `model-distill\u002Fscripts\u002Fevaluate.py`：\n\n```python\n#!\u002Fusr\u002Fbin\u002Fenv python3\n\"\"\"评估蒸馏效果\"\"\"\n\nimport torch\nfrom transformers import AutoModelForCausalLM, AutoTokenizer\nimport json\nimport argparse\nfrom tqdm import tqdm\n\ndef evaluate_model(model_path, test_data, output_file):\n    \"\"\"评估模型在测试集上的表现\"\"\"\n    tokenizer = AutoTokenizer.from_pretrained(model_path)\n    model = AutoModelForCausalLM.from_pretrained(\n        model_path,\n        torch_dtype=torch.float16,\n        device_map=\"auto\"\n    )\n    \n    results = []\n    correct = 0\n    \n    for item in tqdm(test_data):\n        input_text = item['input']\n        expected = item['output']\n        \n        inputs = tokenizer(input_text, return_tensors=\"pt\").to(model.device)\n        outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.7)\n        generated = tokenizer.decode(outputs[0], skip_special_tokens=True)\n        \n        # 简单匹配评估（实际应该更精细）\n        is_correct = expected.strip() in generated.strip()\n        correct += is_correct\n        \n        results.append({\n            'input': input_text,\n            'expected': expected,\n            'generated': generated,\n            'correct': is_correct\n        })\n    \n    accuracy = correct \u002F len(test_data)\n    \n    with open(output_file, 'w') as f:\n        json.dump({'accuracy': accuracy, 'results': results}, f, indent=2)\n    \n    return accuracy\n\nif __name__ == \"__main__\":\n    parser = argparse.ArgumentParser()\n    parser.add_argument(\"--model\", required=True, help=\"模型路径\")\n    parser.add_argument(\"--test_data\", required=True, help=\"测试数据\")\n    parser.add_argument(\"--output\", default=\"eval_result.json\")\n    args = parser.parse_args()\n    \n    with open(args.test_data) as f:\n        test_data = [json.loads(line) for line in f]\n    \n    acc = evaluate_model(args.model, test_data, args.output)\n    print(f\"准确率: {acc:.2%}\")\n```\n\n**Step 4 检查点**：\n\n展示生成的文件列表和配置摘要，用户确认后 → 进入Step 5\n\n---\n\n### Step 5: 训练执行\n\n**询问用户**：\n- 是否立即开始训练？\n- 或稍后手动运行？\n\n如果用户选择立即执行：\n\n```bash\ncd model-distill\npython scripts\u002Fdistill_train.py --config config\u002Fdistill_config.yaml\n```\n\n**监控训练过程**：\n- 每10 steps报告损失\n- 每500 steps评估并保存检查点\n- 监控GPU内存使用\n\n训练完成后 → 进入Step 6\n\n---\n\n### Step 6: 效果验证\n\n**执行评估**：\n\n```bash\n# 评估蒸馏后的模型\npython scripts\u002Fevaluate.py \\\n    --model .\u002Foutputs\u002Ffinal_model \\\n    --test_data data\u002Fprocessed\u002Feval.jsonl \\\n    --output outputs\u002Feval_distilled.json\n\n# 对比基线（如果有）\npython scripts\u002Fevaluate.py \\\n    --model .\u002Fmodels\u002Fgemma-3-4b-it \\\n    --test_data data\u002Fprocessed\u002Feval.jsonl \\\n    --output outputs\u002Feval_baseline.json\n```\n\n**生成对比报告**：\n\nspawn subagent {\n  任务：生成蒸馏效果对比报告\n  输入：outputs\u002Feval_distilled.json 和 outputs\u002Feval_baseline.json\n  输出：outputs\u002Fdistillation_report.md\n  \n  报告格式：\n  - 准确率对比（蒸馏后 vs 基线 vs 教师）\n  - 推理速度对比\n  - 关键改进点\n  - 仍然不足的地方\n  - 部署建议\n}\n\n**最终交付**：\n\n展示报告摘要：\n```\n蒸馏完成！\n\n性能对比：\n┌──────────┬─────────┬────────────┬─────────┐\n│ 指标     │ 基线    │ 蒸馏后     │ 教师    │\n├──────────┼─────────┼────────────┼─────────┤\n│ 准确率   │ X%      │ Y%         │ Z%      │\n│ 推理速度 │ X tok\u002Fs │ Y tok\u002Fs    │ -       │\n│ 模型大小 │ 4B      │ 4B (+LoRA) │ 大得多  │\n└──────────┴─────────┴────────────┴─────────┘\n\n关键发现：\n- ✅ 提升最明显：[方面]\n- ⚠️ 仍需改进：[方面]\n\n部署文件：\n- 模型：model-distill\u002Foutputs\u002Ffinal_model\u002F\n- 配置：model-distill\u002Fconfig\u002F\n- 报告：model-distill\u002Foutputs\u002Fdistillation_report.md\n```\n\n---\n\n## 使用示例\n\n### 示例1：数学能力蒸馏\n\n```\n用户：把GPT-4的数学推理能力蒸馏到gemma-3-4b-it\n\n我：\n1. 确认目标：教师=GPT-4，任务=数学推理，学生=gemma-3-4b-it\n2. 评估可行性：✅ 数学推理适合4B模型\n3. 执行Step 1-6：\n   - 分析GPT-4解数学题的模式\n   - 合成50K数学CoT数据\n   - QLoRA训练3个epoch\n   - 验证在GSM8K上的表现\n4. 输出：可部署的4B数学专用模型\n```\n\n### 示例2：代码能力蒸馏\n\n```\n用户：蒸馏代码生成能力\n\n我：\n1. 确认目标：教师=Claude\u002FGPT-4，任务=Python代码\n2. 数据合成策略：\n   - 使用HumanEval\u002FMBPP作为种子\n   - 生成带解释的代码解决方案\n   - 执行验证确保代码正确\n3. 训练并验证HumanEval通过率\n```\n\n---\n\n## 组件清单\n\n| 组件 | 文件 | 功能描述 |\n|------|------|---------|\n| 自适应蒸馏 | `scripts\u002Fdistill_train.py` | 动态温度\u002Falpha调度 |\n| 课程学习 | `scripts\u002Fgenerate_curriculum_data.py` | 三级难度数据生成 |\n| 教师分析 | `scripts\u002Fanalyze_teacher.py` | 深度能力分析 |\n| 对抗样本 | `scripts\u002Fgenerate_adversarial_samples.py` | 挖掘学生易错样本 |\n| 综合评估 | `scripts\u002Fcomprehensive_evaluate.py` | 多维度评估+诚实边界 |\n| 训练监控 | `scripts\u002Ftrain_monitor.py` | 智能诊断与恢复 |\n| 报告生成 | `scripts\u002Fgenerate_report.py` | 可解释Markdown报告 |\n| 能力感知 | `scripts\u002Fcapability_aware_distill.py` | 不同能力不同策略 |\n| 交互策略 | `scripts\u002Finteractive_strategy.py` | 人机协同策略选择 |\n| 可视化 | `scripts\u002Fvisualize_results.py` | 雷达图\u002F曲线\u002F对比图 |\n| 部署打包 | `scripts\u002Fpackage_deployment.py` | 一键导出HF\u002FGGUF\u002FONNX |\n| LangGraph | `langgraph_version\u002Fdistill_graph.py` | 状态图工作流 |\n\n## 故障处理\n\n| 问题 | 诊断 | 解决方案 |\n|------|------|---------|\n| 模型下载失败 | ModelScope访问问题 | 换HuggingFace镜像或手动下载 |\n| OOM | 显存不足 | 减小batch_size或序列长度 |\n| 损失不下降 | 学习率\u002F数据问题 | 降低LR至1e-5，检查数据格式 |\n| 蒸馏后性能下降 | 过度拟合软标签 | 增加hard label权重，减少epoch |\n| NaN损失 | 梯度爆炸 | 降低学习率至1e-5，检查数据异常 |\n| 过拟合 | 验证损失上升 | 早停\u002F增加dropout\u002F减少epoch |\n\n---\n\n## 诚实边界\n\n本Skill的局限：\n\n1. **依赖硬件**：需要至少16GB显存的GPU进行训练\n2. **教师模型限制**：如果教师只有API访问，数据合成成本可能较高\n3. **容量限制**：4B模型无法承载大量知识，复杂知识密集型任务可能效果不佳\n4. **时间成本**：完整蒸馏流程可能需要数小时到数天\n5. **评估简化**：自动评估可能不完全反映真实能力\n\n**免责声明**：\n- 蒸馏后的模型能力受限于学生模型架构和容量\n- 不保证达到教师模型相同水平\n- 请遵守源模型和目标模型的许可协议\n\n---\n\n> 本Skill由 模型蒸馏大师 生成\n> 适配学生模型：gemma-3-4b-it (Google, 4B参数)\n> 蒸馏框架：QLoRA + Knowledge Distillation\n",{"name":5,"description":7},"master","4aa004da461d820f4ea5499e58eb8d196cf99016","community\u002Fclawhub\u002Fm\u002Fmodel-distill-master",0,"https:\u002F\u002Fgithub.com\u002FLord1Egypt\u002Fawesome-skill-forge","https:\u002F\u002Fskill-explorer-rho.vercel.app","https:\u002F\u002Fgithub.com\u002FLord1Egypt","Unbreakable. Unstoppable. Unmatched⚡.\r\n Speaker of machine tongues 🤖  | World-builder of decentralized dreams 🌐 | Defender of the digital realm🛡️.","2026-06-10 08:21:01",{"source":8,"skillName":5,"commands":34,"prompt":44,"zipAvailable":45},[35,38,41],{"tool":36,"command":37},"npx","npx skills add Lord1Egypt\u002Fawesome-skill-forge --skill model-distill-master",{"tool":39,"command":40},"bunx","bunx skills add Lord1Egypt\u002Fawesome-skill-forge --skill model-distill-master",{"tool":42,"command":43},"pnpm","pnpm dlx skills add Lord1Egypt\u002Fawesome-skill-forge --skill model-distill-master","安装技能，技能地址：https:\u002F\u002Fgithub.com\u002FLord1Egypt\u002Fawesome-skill-forge\u002Fblob\u002Fmaster\u002Fcommunity\u002Fclawhub\u002Fm\u002Fmodel-distill-master\u002FSKILL.md",true,[],[48,55,62,69,76,83],{"skillNo":49,"name":50,"nameZh":6,"description":51,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":52,"categories":53,"keywords":54,"publishedAt":19},"01M785WKJB99G3STR1NF9NRTJW","youtube-content","YouTube transcripts to summaries, threads, blogs.","https:\u002F\u002Fgithub.com\u002FLord1Egypt\u002Fawesome-skill-forge\u002Fblob\u002Fmaster\u002Fskills\u002Fyoutube-content\u002FSKILL.md",[],[],{"skillNo":56,"name":57,"nameZh":6,"description":58,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":59,"categories":60,"keywords":61,"publishedAt":19},"01M785WEFHB0G2S9YA6EPR3H0E","xurl","X\u002FTwitter via xurl CLI: post, search, DM, media, v2 API.","https:\u002F\u002Fgithub.com\u002FLord1Egypt\u002Fawesome-skill-forge\u002Fblob\u002Fmaster\u002Fskills\u002Fxurl\u002FSKILL.md",[],[],{"skillNo":63,"name":64,"nameZh":6,"description":65,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":66,"categories":67,"keywords":68,"publishedAt":19},"01M785W98EDN4EFJXJPMQEHCRC","touchdesigner-mcp","Control a running TouchDesigner instance via twozero MCP — create operators, set parameters, wire connections, execute Python, build real-time visuals. 36 native tools.","https:\u002F\u002Fgithub.com\u002FLord1Egypt\u002Fawesome-skill-forge\u002Fblob\u002Fmaster\u002Fskills\u002Ftouchdesigner-mcp\u002FSKILL.md",[],[],{"skillNo":70,"name":71,"nameZh":6,"description":72,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":73,"categories":74,"keywords":75,"publishedAt":19},"01M785W5S9FP3QBH2V191E025P","test-driven-development","TDD: enforce RED-GREEN-REFACTOR, tests before code.","https:\u002F\u002Fgithub.com\u002FLord1Egypt\u002Fawesome-skill-forge\u002Fblob\u002Fmaster\u002Fskills\u002Ftest-driven-development\u002FSKILL.md",[],[],{"skillNo":77,"name":78,"nameZh":6,"description":79,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":80,"categories":81,"keywords":82,"publishedAt":19},"01M785W2AS08NSSH9YATCV6FJB","teams-meeting-pipeline","Operate the Teams meeting summary pipeline via Hermes CLI — summarize meetings, inspect pipeline status, replay jobs, manage Microsoft Graph subscriptions.","https:\u002F\u002Fgithub.com\u002FLord1Egypt\u002Fawesome-skill-forge\u002Fblob\u002Fmaster\u002Fskills\u002Fteams-meeting-pipeline\u002FSKILL.md",[],[],{"skillNo":84,"name":85,"nameZh":6,"description":86,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":87,"categories":88,"keywords":89,"publishedAt":19},"01M785VXKW4T34BTP1SCHW1R7F","systematic-debugging","4-phase root cause debugging: understand bugs before fixing.","https:\u002F\u002Fgithub.com\u002FLord1Egypt\u002Fawesome-skill-forge\u002Fblob\u002Fmaster\u002Fskills\u002Fsystematic-debugging\u002FSKILL.md",[],[]]