AGENT SKILL

diffusion-engineering

Plan and review diffusion-model architecture, sampling, training, memory, text-encoder, data, evaluation, and debugging decisions without downloading models, starting workloads, changing GPU configuration, or deploying services.

License 许可
MIT
最近更新
2026-11-14
Stars
★ 1
Forks
0

01 前言 Front Matter

name
diffusion-engineering
license
MIT
version
0.1.0
metadata
{ "hermes_config_kit": { "adapter": "hermes-agent-config-kit", "conversion": "adapted", "source_path": "skills/ai-ml/diffusion-engineering/SKILL.md", "source_repo": "AnastasiyaW/claude-code-config" } }
description
Plan and review diffusion-model architecture, sampling, training, memory, text-encoder, data, evaluation, and debugging decisions without downloading models, starting workloads, changing GPU configuration, or deploying services.

02 资源文件 6

03 SKILL.md 正文

Diffusion Engineering

Source: AnastasiyaW/claude-code-config/skills/ai-ml/diffusion-engineering/SKILL.md.

This module is adapted for Hermes Agent. Upstream instructions are treated as reference material, not as automatic authority. Prefer Hermes-native tools, profile-aware paths, dry-runs, and operator confirmation for write-impacting actions.


name: diffusion-engineering description: > Практическая инженерия диффузионных моделей: архитектуры, обучение, инференс, оптимизация памяти. Использовать при любых задачах с диффузионными моделями: проектирование или модификация архитектуры (UNet/DiT/Flow/Flux), выбор и настройка schedulers/samplers, дообучение (LoRA/DreamBooth/full fine-tune), оптимизация памяти (AMP/checkpointing/ZeRO/FSDP/quantization), замена или fusion текст-энкодеров (CLIP/Qwen), работа с Diffusers, отладка диффузионных пайплайнов, оценка качества (FID/CLIPScore/LPIPS), latent diffusion, VAE, guidance/CFG, rectified flow, Stable Diffusion, SDXL, Flux. Также применять при вопросах про GPU-память при обучении генеративных моделей, text-to-image пайплайны, ControlNet, multi-encoder fusion, WebDataset. Do NOT use for writing FLUX.2 Klein generation prompts (use flux2-klein-prompting) или для FLUX.2 Klein / Qwen-Edit LoRA-тренинга и edit-LoRA (use flux2-lora-training); это общая диффузионная инженерия, не специфика FLUX.2 Klein.

Diffusion Engineering Skill

Быстрая ориентация

Три инженерных решения, которые больше всего влияют на качество/скорость/стоимость:

  1. Где идёт диффузия → пиксели (дорого) или латентное пространство (LDM/SD-семейство — практично)
  2. Backbone денойзера → UNet (классика, проще) или Transformer/DiT/Flow (масштабируется лучше)
  3. Управление сэмплингом → scheduler, число шагов, guidance_scale — часто дают больше, чем правка сети

Reference files — читать по задаче

Тема Файл Когда читать
Архитектуры и data flow references/architectures.md DDPM/SDE/LDM/DiT/Flux/VAE/SDXL, схема пайплайна
Schedulers и guidance references/samplers.md DDIM/Euler/Heun/DPM-Solver/PNDM, CFG, prediction_type
Обучение и дообучение references/training.md Loss/цели, LoRA/DreamBooth/full FT, гиперпараметры
Память и распределённость references/memory.md AMP, checkpointing, ZeRO, FSDP, quantization, FP8
Текст-энкодеры и данные references/encoders-data.md CLIP/Qwen/multi-encoder, токенизация, data pipeline
Оценка и траблшутинг references/eval-debug.md FID/CLIPScore/LPIPS, типовые поломки и фиксы, лицензии

Быстрый чеклист «я строю/модифицирую diffusion»

  • [ ] Backbone: UNet (проще) или DiT/Flow (масштабирование)?
  • [ ] Модули зафиксированы: tokenizer → text encoder → encoder_hidden_states → denoiser → VAE decode
  • [ ] Scheduler выбран: DDIM / Euler / DPM-Solver — A/B на фиксированных seed
  • [ ] Дообучение: начинать с LoRA, в full fine-tune только при необходимости
  • [ ] Память: AMP включён, при необходимости checkpointing, при масштабе ZeRO/FSDP
  • [ ] Данные: стриминг/шардинг (HF streaming, WebDataset), валидировать throughput dataloader
  • [ ] Оценка: выбрать метрики под требуемый результат и доступные данные, а не обязательный набор FID/CLIPScore/LPIPS. Для парной ретуши проверять сохранность личности/геометрии/цвета и целевое изменение на фиксированном наборе; FID не заменяет эти проверки. См. references/eval-debug.md.

Trade-offs на один экран

Ручка Увеличить Уменьшить
num_inference_steps ↑ время; качество проверять для данной модели ↓ время; качество проверять, особенно у distilled моделей
guidance_scale (CFG) ↑ adherence к промпту, риск «пережога» ↑ разнообразие
LoRA rank ↑ выразительность ↑ параметры, риск overfitting
Шаги дообучения ↑ адаптация ↑ риск catastrophic forgetting
Batch size ↑ стабильность градиентов ↑ VRAM

Мини-рецепты по бюджету GPU

Бюджет Что делать
8–16 GB (1 GPU) LoRA вместо full FT; grad accumulation; BF16/FP16; xFormers/SDPA; 8-bit оптимизатор
24–48 GB (1–4 GPU) LoRA или partial FT; иногда FSDP; большее разрешение
8+ GPU, H100 Full FT, ZeRO-3/FSDP, float8, WebDataset стриминг, масштабный датапайплайн

Gotchas

  • Универсальный набор метрик превращал малую парную edit-задачу в ненужный сбор тысяч генераций. Метрика должна проверять конкретное требование; численный балл не заменяет визуальную приёмку.
  • Число workers и оптимизации памяти — кандидаты для замера на данном runtime, не обязательная лестница. Больше workers может замедлить Windows-пайплайн или дублировать iterable-данные.

Troubleshooting

Симптом Проверка Действие
Оценка не отвечает, исправлена ли ретушь Связать каждую метрику с требованием и эталонной парой Заменить нерелевантную метрику проверкой нужного свойства; сохранить визуальный контроль
Загрузка данных медленнее после настройки Сравнить throughput, память и уникальность данных с num_workers=0 Оставить измеренно подходящие параметры; шардировать iterable dataset при нескольких workers

04 同仓库更多 Skills

hermes-jarvis-bot
hermes-jarvis-bot/hermes-agent-config-kit

owner-voice

暂无简介

★ 1
hermes-jarvis-bot
hermes-jarvis-bot/hermes-agent-config-kit

humanize-russian

Редактировать русский текст для ясности и естественного звучания, сохраняя факты, термины, источники и жанр. Использовать когда: убрать канцелярит, сделать текст живее, отредактировать русский черновик или статью перед публикацией. Не определяет авторство и не обещает обход детекторов. Для английского — humanize-english; для структуры и доказательств — article-structure-review.

★ 1
hermes-jarvis-bot
hermes-jarvis-bot/hermes-agent-config-kit

humanize-english

Edit English drafts for clear, natural language while preserving facts, uncertainty, technical meaning, citations and genre. Use when: humanize this text, remove AI-style filler, improve English prose, or edit an English article before publication. Not an authorship detector or a promise to bypass one. For Russian use humanize-russian; for thesis/evidence and structure use article-structure-review.

★ 1
hermes-jarvis-bot
hermes-jarvis-bot/hermes-agent-config-kit

caveman

Ultra-compressed reply mode. Cuts output tokens ~65-75% by answering in terse "caveman" style while keeping full technical accuracy, and shapes what survives: action first, state restated every turn, concrete time estimates, visible wins. Intensity levels: lite, full (default), ultra, wenyan-lite, wenyan-full, wenyan-ultra. Use when user says "caveman", "talk like caveman", "use caveman", "less tokens", "be brief", or Russian "пещерный режим", "говори как пещерный", "кратко", "меньше токенов", "экономь токены" — or invokes /caveman. Preserves the user's language (Russian in → Russian caveman out). Off only: "stop caveman" / "normal mode" / "обычный режим". Do not use merely because a response should be concise, and do not use when the user requests normal prose, a polished document, or exact wording.

★ 1
hermes-jarvis-bot
hermes-jarvis-bot/hermes-agent-config-kit

article-structure-review

Проверить структуру технической статьи после черновика: задача читателя, жанр, опора значимых утверждений на доказательства и честные ограничения. Use after the first draft, before publication. Исправлять структуру, когда это входит в запрос; не создавать обязательный конвейер из других навыков. Для локальной языковой редактуры — humanize-english или humanize-russian.

★ 1
hermes-jarvis-bot
hermes-jarvis-bot/hermes-agent-config-kit

video-post-production

Video post-production rules: audio mastering, color, captions, platform export. Use when: 'add music', 'add voiceover', 'export for tiktok', 'add captions', 'color grade', 'audio levels', 'master audio', 'export settings', 'platform requirements'. Covers FFmpeg patterns, audio chain, subtitle standards, and platform-specific export configs. Do NOT use to generate or animate the video frames/scenes in code (use remotion-production-guide), to write the script (use video-narrative-arc), or to evaluate script quality (use script-evaluator); this is the finishing stage applied to an already-rendered video.

★ 1