logo
pub

Используем FluxGym для обучения Flux LoRA с низким VRAM

Введение

FluxGym — это веб-интерфейс для тренировки Flux LoRAs с низким объемом VRAM (12G, 16G и т.д.). Он разработан Black Forest Labs с использованием Kohya-ss/sd-scripts и направлен на упрощение процесса тренировки для пользователей с не очень мощными графическими картами. Это заметка подводит итоги общим проблемам, с которыми сталкиваются пользователи, и предлагает решения.

Описание проблем

Пользователи сталкиваются с разными проблемами при использовании FluxGym, включая высокое использование VRAM, проблемы с реализацией и расхождения в результатах тренировок.

Типичные проблемы:

  • Высокие требования к VRAM, даже после оптимизаций
  • Расхождения в тренировках
  • Ошибки из-за конфигураций окружения
  • Медленные времена тренировки на системах с низким VRAM

Проблема 1: Высокое использование VRAM

Даже с оптимизациями, некоторые пользователи все равно находят использование VRAM слишком высоким. Например:

UPDATE: Только что узнал, что авто-подпись Florence-2 не очищала кеш... это, похоже, экономит 4ГБ VRAM! Теперь вариант на 20ГБ работает всего на 16ГБ.

Ссылка: Изменение на GitHub

Решение:

  • Убедитесь, что вы скачали последнюю версию с GitHub.
  • Используйте функцию torch.cuda.empty_cache(), чтобы вручную очищать кеш, где это возможно.

Проблема 2: Конфигурации тренировки

Некоторые пользователи не понимают, как настроить параметры тренировки для достижения лучших результатов. Пример:

так что эта базовая конфигурация оптимальна для 4090? Или можно выжать больше скорости с другой конфигурацией?

Сравнение:

  • A4500: 58 минут (1300 шагов)
  • 4090: 20 минут (1200 шагов)

Решение:

  • Используйте вкладку "Advanced", чтобы настроить параметры, такие как эпохи, скорость обучения и разрешения.
  • Пример настройки параметров:
    https://x.com/cocktailpeanut/status/1832113636367876446

Проблема 3: Проблемы с настройкой окружения

Ошибки часто возникают из-за проблем с окружением и зависимостями. Пример:

return Variable._execution_engine.run_backward( # Вызывает C++ движок для выполнения обратного прохода" уже более полутора часов.

Решение:

  • Убедитесь в совместимости с Python и проверьте, что все зависимости установлены корректно.
  • Просмотрите эту дискуссию для помощи:
    https://github.com/pinokiofactory/factory/discussions/6

Проблема 4: Расхождения в результатах тренировки

Пользователи сообщают о непоследовательных результатах при тренировке. Пример:

Кто-нибудь знает, как настроить параметры для лучших результатов, если оригинальная тренировка не соответствует ожиданиям?

Решение:

  • Просмотрите и настройте параметры, такие как шаги и эпохи, в зависимости от качества и размера датасета.
  • Используйте более высокие разрешения для детальной работы:
    https://x.com/cocktailpeanut/status/1832098084794356081

Дополнительные советы

Совет 1: Следите за обновлениями

Регулярно проверяйте обновления, чтобы воспользоваться новыми оптимизациями.

Совет 2: Используйте качественные датасеты

Качественные и правильно размеченные датасеты приводят к лучшим результатам тренировки.

Совет 3: Вступайте в сообщество

Участвуйте в форумах и обсуждениях для получения поддержки и советов.

Следуя этим стратегиям и советам, вы сможете максимально эффективно использовать FluxGym для тренировки Flux LoRAs с низким VRAM. Удачной тренировки!

SHARE