Обучение моделей Flux AI с использованием одного изображения и маски внимания

Проблема: Ограниченный набор данных

Иногда у вас есть только одно хорошее изображение для вашей модели или стиля. Может показаться, что этого недостаточно для тренировки надежной модели, но с Flux AI можно добиться неплохих результатов даже с одним изображением. Главное — максимально использовать то, что у вас есть.

Решение: Тренировка на одном изображении

Использовать только одно изображение для обучения может быть не так надежно, как более большой набор данных, но при правильном подходе это тоже может дать хорошие результаты. Вот пошаговая инструкция, как эффективно использовать одно изображение для тренировки модели.

Наборы данных с одним изображением

Подбор подписи

Поскольку у вас только одно изображение, важно потратить время на создание подписи. Подписи могут сильно повлиять на понимание и работу модели.

Основные моменты:

Слово-триггер: Решите, нужно ли вам слово-триггер. Для стилей — это необязательно, но для персонажей всегда используйте слово-триггер, чтобы эффективно управлять разными персонажами.
Подпишите всё: Опишите каждую деталь, видимую на изображении.
Не описывайте стиль: Описание стиля не обязательно.
Используйте маскированное обучение: Эта техника помогает сосредоточить модель на субъекте, избегая элементов заднего фона.

Советы для наборов данных стилей

Можете пропустить слова-триггеры, если стиль достаточно уникален.
Дайте подробные описания того, что на изображении, не уточняя стиль.

Советы для наборов данных персонажей

Всегда используйте слово-триггер (например, "GoWRAtreus").
Подписывайте все элементы на изображении и не пытайтесь «обмануть» модель, пропуская детали, которые хотите, чтобы она запомнила.

Маскированное обучение

Техника маскирования

Маскированное обучение подразумевает использование прозрачного фона или черно-белых изображений в качестве масок. Белые области тренируются, а черные игнорируются, что помогает модели сосредоточиться только на субъекте.

Преимущества

Основное преимущество маскированного обучения в том, что модель учится важным элементам без отвлечения на фон. Этот метод обеспечивает лучшую обобщаемость, особенно когда используется только одно изображение для обучения.

Примеры обучения: с маскировкой и без

Без маскировки

Обучение без маскировки привело к интеграции нежелательных элементов фона в модель.

С маскировкой

Используя маскированное изображение для обучения, удалось успешно изолировать субъект, что привело к лучшей обобщаемости и более желаемым результатам.

Как создать хорошие маски

Автоматизированные инструменты: Используйте инструменты, такие как Inspyrnet-Rembg.
Ручное редактирование: Вы можете также вручную создать маски с помощью Photoshop или Photopea. Сохраните итоговое изображение в формате прозрачного PNG.

Где тренировать

Модели на базе Flux AI можно тренировать на разных платформах:

ComfyUI: Эта платформа поддерживает маскированное обучение эффективно. Я использовал ее для своей модели.
Другие: Тренеры, такие как OneTrainer и kohya_ss, также начинают поддерживать маскированное обучение. Проверьте их документацию для подробной информации.

Примеры наборов данных и моделей

Вот несколько примеров моделей, обученных с использованием наборов данных из одного изображения:

Переобучение и проблемы

Несмотря на полезность обучения на одном изображении, переобучение может быть проблемой. Чтобы снизить переобучение, следите за длительностью тренировки и шагами:

Обращайте внимание на визуальные артефакты: Проблемы с текстурой, размытые края и призрачные эффекты — знаки переобучения.
Настройте эпохи: Сосредоточьтесь на эпохах, а не на повторах, и сохраняйте несколько версий, чтобы найти лучшую модель.

FAQ

Какую подпись использовать для модели на одном изображении?

Включите все видимые детали на изображении. Используйте слова-триггеры с осторожностью в зависимости от вашего набора данных.

Какое разрешение использовать для изображения в наборе данных?

Обычно лучше всего подходят 1024x1024 или 512x512. Более высокие разрешения не обязательны, если вы не ориентируетесь на очень тонкие детали.

Как узнать, переобучается ли моя модель?

Обратите внимание на такие признаки, как повторяющиеся текстуры, призрачные эффекты и размытые края. Эти вещи указывают на переобучение модели на тренировочном изображении.

Какие инструменты я могу использовать для создания масок изображений?

Автоматизированные инструменты, такие как Inspyrnet-Rembg, или ручные редакторы, такие как Photoshop или Photopea.

Почему стоит использовать маскированные изображения, а не полностью убирать фон?

Полное удаление фона может вызвать запоминание модели пустого фона, что ограничит ее способность генерировать разнообразные фоны.

Сколько времени нужно для тренировки модели на одном изображении?

Это займет примерно 40 минут для 400 шагов на GPU 3090 с 24 ГБ VRAM. Также можно использовать онлайн-платформы, такие как CivitAI или Shakker, для обучения.

Другие вопросы?

Обучение на нескольких изображениях: Попробуйте расширить набор данных, создавая и используя синтетические данные.
Спецификации GPU: GPU 3090 с 24 ГБ VRAM идеально подходит для локального обучения, хотя также подойдут другие с минимум 16 ГБ.

Отказ от ответственности

Эта статья — это подробное резюме, основанное на посте в Reddit: https://www.reddit.com/r/StableDiffusion/comments/1fop9gy/training_guide_flux_model_training_from_just_1/.