Обучение нейросети рисованию: от сбора данных до тонкой настройки стиля

Введение: зачем обучать нейросеть рисованию

Современные генеративные нейросети, такие как Stable Diffusion, Midjourney и DALL·E, позволяют создавать изображения по текстовому описанию. Однако стандартные модели не всегда точно передают нужный стиль, композицию или детали. Обучение (fine-tuning) нейросети на собственном датасете решает эту проблему: вы можете научить модель рисовать в стиле конкретного художника, генерировать объекты с определёнными признаками или создавать уникальные визуальные концепции.

Процесс обучения стал доступен даже без глубоких знаний программирования. Современные методы — DreamBooth и LoRa — позволяют дообучить модель всего на 10–20 изображениях за 10–30 минут на обычной видеокарте. В этой статье мы разберём все этапы: от сбора и подготовки данных до настройки параметров и финальной генерации.

Выбор базовой модели и метода обучения

Первый шаг — выбрать генеративную модель, которую вы будете дообучать. Наиболее популярные варианты:

• Stable Diffusion — открытая модель с множеством версий (SD 1.5, SDXL). Гибкая, поддерживает LoRa и DreamBooth, работает локально.
• Midjourney — закрытая, но с высоким художественным качеством. Дообучение через Midjourney Style Tuner или ремиксы.
• DALL·E 3 — отлично понимает сложные промпты, но fine-tuning недоступен.
• Kandinsky — от Сбера, хорошо работает с русским языком, есть бесплатный доступ.

Для обучения стилю лучше всего подходит Stable Diffusion (SDXL) — он даёт наибольший контроль. Методы:

• DreamBooth — дообучает всю модель на нескольких изображениях, сохраняя уникальный идентификатор (например, sks). Требует больше памяти.
• LoRa (Low-Rank Adaptation) — добавляет небольшой набор обучаемых весов к модели. Быстрее, легче, позволяет комбинировать несколько стилей.

На практике часто используют комбинацию: DreamBooth для внедрения нового концепта, LoRa для тонкой настройки стиля.

Подготовка датасета: сбор и разметка изображений

Качество обучения напрямую зависит от датасета. Основные правила:

• Количество: 10–20 изображений достаточно для DreamBooth/LoRa. Больше — лучше, но не обязательно.
• Разнообразие: включайте разные ракурсы, освещение, композиции. Если учите стиль художника, соберите его работы в разных сюжетах.
• Качество: изображения должны быть высокого разрешения (минимум 512×512 для SD 1.5, 1024×1024 для SDXL). Удалите размытые или с артефактами.
• Подписи (captions): для каждого изображения нужно текстовое описание. Автоматические подписи (BLIP) часто ошибаются, особенно на абстрактных или стилизованных работах. Лучше писать вручную: укажите ключевые объекты, стиль, цвета, настроение.

Пример подписи для картины в стиле Всеволода Иванова: "ancient slavic warriors in a mystical forest, epic fantasy style, detailed, dramatic lighting".

Если вы хотите, чтобы модель реагировала на определённые слова (например, my_style), используйте уникальный идентификатор в подписях.

Аугментация и предобработка данных

Когда датасет мал, помогает аугментация — создание модифицированных копий изображений. Типичные техники:

• Поворот на небольшой угол (±10°)
• Изменение яркости, контраста, насыщенности
• Лёгкое размытие или добавление шума
• Горизонтальное отражение (если не нарушает логику, например, для текста)

Аугментация увеличивает количество примеров и помогает модели обобщать, но не должна искажать ключевые признаки стиля.

Предобработка включает:

• Нормализацию: приведение значений пикселей к диапазону [0,1] или [-1,1] в зависимости от модели.
• Изменение размера: все изображения должны быть одного размера (обычно 512×512 или 1024×1024).
• Разделение на обучающую и тестовую выборки: 80–90% на обучение, остальное — для проверки. Тестовая выборка не участвует в обучении и используется для оценки качества.

Важно: не используйте аугментацию на тестовых изображениях.

Процесс обучения: настройка параметров и запуск

Обучение можно провести локально (если есть GPU с 8+ ГБ памяти) или в облачных сервисах (Replicate, Google Colab).

Основные шаги:

1. Установите библиотеку diffusers от Hugging Face и зависимости (PyTorch, transformers).
2. Загрузите базовую модель: StableDiffusionXLPipeline для SDXL.
3. Подготовьте датасет: папка с изображениями и CSV-файл с подписями (колонки: file_name, caption).
4. Настройте параметры обучения:

• learning_rate: обычно 1e-5 для DreamBooth, 1e-4 для LoRa.
• batch_size: 1–4, зависит от памяти GPU.
• num_train_epochs: 100–500 итераций.
• resolution: 512 или 1024.
• lr_scheduler: cosine или constant.

1. Запустите обучение. Для LoRa используйте pipe.load_lora_weights после сохранения.

Пример кода для LoRa на SDXL:

from diffusers import StableDiffusionXLPipeline
pipe = StableDiffusionXLPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16).to("cuda")
pipe.load_lora_weights("path/to/lora", weight_name="lora.safetensors")
pipe.fuse_lora(lora_scale=0.6)

Параметр lora_scale регулирует силу влияния LoRa: 0.3 — слабое, 0.8 — сильное.

Оценка результатов и итеративное улучшение

После обучения проверьте модель на тестовых изображениях и новых промптах. Критерии оценки:

• Соответствие стилю: цвета, мазки, композиция похожи на обучающий датасет?
• Разнообразие: модель генерирует разные сцены или копирует обучающие изображения?
• Качество: отсутствие артефактов, правильная анатомия (руки, лица).

Если результат неудовлетворительный, попробуйте:

• Увеличить количество эпох (но не переобучить).
• Изменить learning_rate (слишком высокий — шум, слишком низкий — медленная сходимость).
• Добавить больше изображений в датасет или улучшить подписи.
• Использовать негативный промпт при генерации: "ugly, blurry, low quality, deformed".

Итеративный подход — норма: редко удаётся получить идеал с первой попытки. Сохраняйте чекпоинты после каждых 50–100 итераций.

Постобработка: инпейнтинг, апскейл и цветокоррекция

Даже лучшая модель иногда допускает ошибки. Исправление дефектов — важный этап:

• Инпейнтинг (Inpainting): выделите проблемную область (например, неправильную руку) и перегенерируйте её, сохраняя остальное. В Stable Diffusion это делается через аргумент mask_image.
• Апскейл (Upscaling): увеличьте разрешение в 2–4 раза с помощью нейросетевых апскейлеров (Real-ESRGAN, SwinIR). Это улучшит детализацию для печати.
• Цветокоррекция: в любом графическом редакторе (GIMP, Photoshop) настройте контраст, насыщенность, баланс белого.

Пример инпейнтинга в коде:

from diffusers import StableDiffusionInpaintPipeline
pipe = StableDiffusionInpaintPipeline.from_pretrained("runwayml/stable-diffusion-inpainting")
image = pipe(prompt="fix hand", image=original_image, mask_image=mask).images[0]

Постобработка может превратить среднюю генерацию в качественную работу.

Практические примеры и ограничения

Примеры успешного обучения:

• Стиль Анатолия Фоменко: модель выучила органическо-геометрические абстракции и суровые лица.
• Стиль Ивана Билибина: генерация сцен русского рейва в лесу с сохранением орнаментов и цветовой гаммы.
• Стиль художницы электри4ка: осмысленные образы для музыкального альбома с помощью инпейнтинга.

Ограничения:

• Анатомия: руки и пальцы остаются слабым местом, хотя новые версии моделей (SDXL, Midjourney v6) справляются лучше.
• Текст: нейросети плохо генерируют читаемый текст на изображениях.
• Переобучение: если датасет слишком мал или однообразен, модель будет копировать обучающие примеры, а не создавать новые.
• Авторские права: использование стиля живого художника может быть спорным. Проверяйте лицензии.

Несмотря на ограничения, современные методы позволяют получать впечатляющие результаты при минимальных затратах времени и ресурсов.

Вопросы и ответы