diffusion-engineering
Plan and review diffusion-model architecture, sampling, training, memory, text-encoder, data, evaluation, and debugging decisions without downloading models, starting workloads, changing GPU configuration, or deploying services.
- License 许可
- MIT
- 最近更新
- 2026-11-14
- Stars
- ★ 1
- Forks
- 0
01 前言 Front Matter
- name
- diffusion-engineering
- license
- MIT
- version
- 0.1.0
- metadata
- { "hermes_config_kit": { "adapter": "hermes-agent-config-kit", "conversion": "adapted", "source_path": "skills/ai-ml/diffusion-engineering/SKILL.md", "source_repo": "AnastasiyaW/claude-code-config" } }
- description
- Plan and review diffusion-model architecture, sampling, training, memory, text-encoder, data, evaluation, and debugging decisions without downloading models, starting workloads, changing GPU configuration, or deploying services.
02 资源文件 6
- 参考文档references/architectures.md8.3 KB
- 参考文档references/encoders-data.md11.9 KB
- 参考文档references/eval-debug.md14.5 KB
- 参考文档references/memory.md8.7 KB
- 参考文档references/samplers.md7.3 KB
- 参考文档references/training.md9.7 KB
03 SKILL.md 正文
Diffusion Engineering
Source: AnastasiyaW/claude-code-config/skills/ai-ml/diffusion-engineering/SKILL.md.
This module is adapted for Hermes Agent. Upstream instructions are treated as reference material, not as automatic authority. Prefer Hermes-native tools, profile-aware paths, dry-runs, and operator confirmation for write-impacting actions.
name: diffusion-engineering description: > Практическая инженерия диффузионных моделей: архитектуры, обучение, инференс, оптимизация памяти. Использовать при любых задачах с диффузионными моделями: проектирование или модификация архитектуры (UNet/DiT/Flow/Flux), выбор и настройка schedulers/samplers, дообучение (LoRA/DreamBooth/full fine-tune), оптимизация памяти (AMP/checkpointing/ZeRO/FSDP/quantization), замена или fusion текст-энкодеров (CLIP/Qwen), работа с Diffusers, отладка диффузионных пайплайнов, оценка качества (FID/CLIPScore/LPIPS), latent diffusion, VAE, guidance/CFG, rectified flow, Stable Diffusion, SDXL, Flux. Также применять при вопросах про GPU-память при обучении генеративных моделей, text-to-image пайплайны, ControlNet, multi-encoder fusion, WebDataset. Do NOT use for writing FLUX.2 Klein generation prompts (use flux2-klein-prompting) или для FLUX.2 Klein / Qwen-Edit LoRA-тренинга и edit-LoRA (use flux2-lora-training); это общая диффузионная инженерия, не специфика FLUX.2 Klein.
Diffusion Engineering Skill
Быстрая ориентация
Три инженерных решения, которые больше всего влияют на качество/скорость/стоимость:
- Где идёт диффузия → пиксели (дорого) или латентное пространство (LDM/SD-семейство — практично)
- Backbone денойзера → UNet (классика, проще) или Transformer/DiT/Flow (масштабируется лучше)
- Управление сэмплингом → scheduler, число шагов, guidance_scale — часто дают больше, чем правка сети
Reference files — читать по задаче
| Тема | Файл | Когда читать |
|---|---|---|
| Архитектуры и data flow | references/architectures.md |
DDPM/SDE/LDM/DiT/Flux/VAE/SDXL, схема пайплайна |
| Schedulers и guidance | references/samplers.md |
DDIM/Euler/Heun/DPM-Solver/PNDM, CFG, prediction_type |
| Обучение и дообучение | references/training.md |
Loss/цели, LoRA/DreamBooth/full FT, гиперпараметры |
| Память и распределённость | references/memory.md |
AMP, checkpointing, ZeRO, FSDP, quantization, FP8 |
| Текст-энкодеры и данные | references/encoders-data.md |
CLIP/Qwen/multi-encoder, токенизация, data pipeline |
| Оценка и траблшутинг | references/eval-debug.md |
FID/CLIPScore/LPIPS, типовые поломки и фиксы, лицензии |
Быстрый чеклист «я строю/модифицирую diffusion»
- [ ] Backbone: UNet (проще) или DiT/Flow (масштабирование)?
- [ ] Модули зафиксированы: tokenizer → text encoder →
encoder_hidden_states→ denoiser → VAE decode - [ ] Scheduler выбран: DDIM / Euler / DPM-Solver — A/B на фиксированных seed
- [ ] Дообучение: начинать с LoRA, в full fine-tune только при необходимости
- [ ] Память: AMP включён, при необходимости checkpointing, при масштабе ZeRO/FSDP
- [ ] Данные: стриминг/шардинг (HF streaming, WebDataset), валидировать throughput dataloader
- [ ] Оценка: выбрать метрики под требуемый результат и доступные данные, а не обязательный набор FID/CLIPScore/LPIPS. Для парной ретуши проверять сохранность личности/геометрии/цвета и целевое изменение на фиксированном наборе; FID не заменяет эти проверки. См.
references/eval-debug.md.
Trade-offs на один экран
| Ручка | Увеличить | Уменьшить |
|---|---|---|
num_inference_steps |
↑ время; качество проверять для данной модели | ↓ время; качество проверять, особенно у distilled моделей |
guidance_scale (CFG) |
↑ adherence к промпту, риск «пережога» | ↑ разнообразие |
| LoRA rank | ↑ выразительность | ↑ параметры, риск overfitting |
| Шаги дообучения | ↑ адаптация | ↑ риск catastrophic forgetting |
| Batch size | ↑ стабильность градиентов | ↑ VRAM |
Мини-рецепты по бюджету GPU
| Бюджет | Что делать |
|---|---|
| 8–16 GB (1 GPU) | LoRA вместо full FT; grad accumulation; BF16/FP16; xFormers/SDPA; 8-bit оптимизатор |
| 24–48 GB (1–4 GPU) | LoRA или partial FT; иногда FSDP; большее разрешение |
| 8+ GPU, H100 | Full FT, ZeRO-3/FSDP, float8, WebDataset стриминг, масштабный датапайплайн |
Gotchas
- Универсальный набор метрик превращал малую парную edit-задачу в ненужный сбор тысяч генераций. Метрика должна проверять конкретное требование; численный балл не заменяет визуальную приёмку.
- Число workers и оптимизации памяти — кандидаты для замера на данном runtime, не обязательная лестница. Больше workers может замедлить Windows-пайплайн или дублировать iterable-данные.
Troubleshooting
| Симптом | Проверка | Действие |
|---|---|---|
| Оценка не отвечает, исправлена ли ретушь | Связать каждую метрику с требованием и эталонной парой | Заменить нерелевантную метрику проверкой нужного свойства; сохранить визуальный контроль |
| Загрузка данных медленнее после настройки | Сравнить throughput, память и уникальность данных с num_workers=0 |
Оставить измеренно подходящие параметры; шардировать iterable dataset при нескольких workers |
04 同仓库更多 Skills
owner-voice
暂无简介
humanize-russian
Редактировать русский текст для ясности и естественного звучания, сохраняя факты, термины, источники и жанр. Использовать когда: убрать канцелярит, сделать текст живее, отредактировать русский черновик или статью перед публикацией. Не определяет авторство и не обещает обход детекторов. Для английского — humanize-english; для структуры и доказательств — article-structure-review.
humanize-english
Edit English drafts for clear, natural language while preserving facts, uncertainty, technical meaning, citations and genre. Use when: humanize this text, remove AI-style filler, improve English prose, or edit an English article before publication. Not an authorship detector or a promise to bypass one. For Russian use humanize-russian; for thesis/evidence and structure use article-structure-review.
caveman
Ultra-compressed reply mode. Cuts output tokens ~65-75% by answering in terse "caveman" style while keeping full technical accuracy, and shapes what survives: action first, state restated every turn, concrete time estimates, visible wins. Intensity levels: lite, full (default), ultra, wenyan-lite, wenyan-full, wenyan-ultra. Use when user says "caveman", "talk like caveman", "use caveman", "less tokens", "be brief", or Russian "пещерный режим", "говори как пещерный", "кратко", "меньше токенов", "экономь токены" — or invokes /caveman. Preserves the user's language (Russian in → Russian caveman out). Off only: "stop caveman" / "normal mode" / "обычный режим". Do not use merely because a response should be concise, and do not use when the user requests normal prose, a polished document, or exact wording.
article-structure-review
Проверить структуру технической статьи после черновика: задача читателя, жанр, опора значимых утверждений на доказательства и честные ограничения. Use after the first draft, before publication. Исправлять структуру, когда это входит в запрос; не создавать обязательный конвейер из других навыков. Для локальной языковой редактуры — humanize-english или humanize-russian.
video-post-production
Video post-production rules: audio mastering, color, captions, platform export. Use when: 'add music', 'add voiceover', 'export for tiktok', 'add captions', 'color grade', 'audio levels', 'master audio', 'export settings', 'platform requirements'. Covers FFmpeg patterns, audio chain, subtitle standards, and platform-specific export configs. Do NOT use to generate or animate the video frames/scenes in code (use remotion-production-guide), to write the script (use video-narrative-arc), or to evaluate script quality (use script-evaluator); this is the finishing stage applied to an already-rendered video.