logo
pub

PuLID-FLUX: Решение для кастомизации ID для Flux AI

Введение в PuLID-FLUX

PuLID-FLUX — это новое решение для настройки ID без необходимости тонкой настройки для модели FLUX.1-dev. Оно сохраняет поведение оригинальной модели, но позволяет добавлять индивидуальные ID.

Что такое PuLID-FLUX?

PuLID-FLUX-v0.9.0 — это модель, которая позволяет настраивать идентификацию без тонкой настройки для модели FLUX.1-dev. Она очень гибкая и сохраняет производительность оригинальной модели при добавлении уникальных ID к изображениям.

Установка и интеграция

Установка PuLID-FLUX

  1. Клонировать репозиторий: Зайди на страницу PuLID в GitHub: PuLID GitHub.
  2. Настроить окружение: Следуй инструкциям по настройке необходимого окружения (версия Python, зависимости и т.д.).
    git clone https://github.com/ToTheBeginning/PuLID.git
cd PuLID
pip install -r requirements.txt
  3. Скачать нужные модели:
  4. Запустить приложение:
    python app_flux.py

Использование различных конфигураций памяти

Наивный bf16

  • Запуск с bf16 напрямую:
    python app_flux.py
    • Пиковая память ниже 45ГБ.

bf16 + Offload

  • Используй offloading для экономии памяти:
    python app_flux.py --offload
    • Пиковая память ниже 30ГБ.

fp8 + Offload (Для потребительских GPU)

  • Убедись, что дополнительные требования установлены:
    pip install -r requirements-fp8.txt
  • Используй контрольный пункт flux-dev-fp8:
    python app_flux.py --offload --fp8 --onnx_provider cpu
    • Пиковая память ниже 15ГБ (для GPU с 16ГБ памяти).
    • Для пользователей с 24ГБ видеопамяти:
    python app_flux.py --offload --fp8
    • Пиковая память ниже 17ГБ.
    - Примечание: качество fp8 хуже по сравнению с bf16 в деталях лиц.

bf16 + Агрессивный Offload

  • Используй более агрессивный offloading:
    python app_flux.py --aggressive_offload
    • Пиковая память около 23ГБ, но процесс будет очень медленным.

Онлайн демо

ComfyUI

  • Следи за реализацией поддержки ComfyUI от сообщества.

Визуальные результаты

puLID_flux_results

Полезные советы

Настройка параметров

1. Таймстеп для начала вставки ID

  • Управляет временем вставки ID. Определяет баланс между точностью ID и редактируемостью.
  • Использование:
    • Реалистичные изображения: начинай с таймстепа 4.
    • Более высокая схожесть ID: уменьшай значение.
    • Стилизованные изображения: устанавливай на 0-1.
start_id

2. Истинный CFG Scale

  • FLUX.1-dev использует дистилляцию руководства с модулированным шкалированием, чтобы симулировать CFG.
  • Сравнивай истинный CFG с ложным CFG для фотореалистичных и стилизованных сцен.
fake_cfg_vs_true_cfg_fidelity

Технические детали

  • Переключили кодировщик ID с MLP на Transformer.
  • Вдохновлено Flamingo, добавлены дополнительные блоки перекрестного внимания каждые несколько блоков DIT для работы с взаимодействием ID и DIT.
  • Опциональный метод ускорения, похожий на SDXL-Lightning, хотя не критичен для обучения PuLID.

Лицензия

Пока ты используешь модель FLUX.1-dev, нужно следовать лицензии модели FLUX.1-dev.

Контакт

Если есть вопросы или предложения, можешь обратиться к Yanze Wu или открыть вопрос/обсуждение на странице GitHub.

Дополнительные часто задаваемые вопросы

В: Как я могу попробовать PuLID-FLUX? О: Начни с их страницы в GitHub: PuLID-FLUX GitHub и следуй инструкциям по установке.

В: Поддерживает ли PuLID-FLUX коммерческое использование? О: Лицензия PuLID-FLUX в GitHub указывает, что коммерческое использование разрешено, но интегрированные модели, такие как Insightface, имеют ограничения.

В: Какой рекомендованный VRAM для PuLID-FLUX? О: Сначала требовалось 45ГБ, но оптимизации сделали возможным запуск на 16ГБ.

В: Что делать, если мне нужен узел ComfyUI? О: Пока совместимого узла нет, но разработчики, как Cubiq, ожидаются с выпуском такого узла в ближайшее время.

В: Как справиться с размазанными изображениями? О: Техники увеличения могут помочь эффективно убрать размазанность.

В: Какое главное преимущество PuLID-FLUX по сравнению с другими моделями? О: PuLID-FLUX предлагает настройку ID без тонкой настройки и с высокой точностью, что делает его полезным инструментом для точной настройки изображений.

В: Может ли PuLID-FLUX работать с не-человеческими изображениями? О: Хотя модель в основном предназначена для настройки ID людях, эксперименты с не-человеческими изображениями могут принести интересные результаты. Заходи на страницу демо, чтобы попробовать.

Если внимательно следить за последними обновлениями и оптимизациями, использование PuLID-FLUX может быть и простым, и очень полезным для серьезных энтузиастов генерации изображений.

SHARE