logo
pub

PuLID-FLUX: ID Anpassungslösung für Flux AI

Einführung in PuLID-FLUX

PuLID-FLUX ist eine neue Lösung zur ID-Anpassung für das FLUX.1-dev Modell, und das ganz ohne Tuning. Es behält das ursprüngliche Verhalten des Modells bei und sorgt gleichzeitig für eine hochpräzise Anpassung der IDs.

Was ist PuLID-FLUX?

PuLID-FLUX-v0.9.0 ist ein Modell, mit dem du IDs anpassen kannst, ohne das FLUX.1-dev Modell tunen zu müssen. Es ist super flexibel und behält die Leistung des Originalmodells bei, während es jedem Bild eine einzigartige ID hinzufügt.

Einrichtung und Integration

PuLID-FLUX installieren

  1. Repository klonen: Gehe zur PuLID GitHub-Seite unter PuLID GitHub.
  2. Umgebung einrichten: Folge der Anleitung, um die erforderliche Umgebung einzurichten (Python-Version, Abhängigkeiten usw.).
    git clone https://github.com/ToTheBeginning/PuLID.git
cd PuLID
pip install -r requirements.txt
  3. Benötigte Modelle herunterladen:
  4. Die Anwendung starten:
    python app_flux.py

Verschiedene Speicher-Konfigurationen verwenden

Naive bf16

  • Direkt mit bf16 starten:
    python app_flux.py
    • Maximaler Speicherbedarf liegt unter 45GB.

bf16 + Offload

  • Offloading nutzen, um Speicher zu sparen:
    python app_flux.py --offload
    • Maximaler Speicherbedarf liegt unter 30GB.

fp8 + Offload (Für Consumer-Grafikkarten)

  • Stelle sicher, dass zusätzliche Anforderungen installiert sind:
    pip install -r requirements-fp8.txt
  • Verwende flux-dev-fp8 Checkpoint:
    python app_flux.py --offload --fp8 --onnx_provider cpu
    • Maximaler Speicherbedarf liegt unter 15GB (für GPUs mit 16GB Speicher).
    • Für Nutzer mit 24GB Grafikspeicher:
    python app_flux.py --offload --fp8
    • Maximaler Speicherbedarf liegt unter 17GB.
    - Hinweis: Bei fp8 gibt es eine Qualitätsverschlechterung bei Gesichtsdetails im Vergleich zu bf16.

bf16 + Aggressives Offload

  • Aggressiveres Offloading verwenden:
    python app_flux.py --aggressive_offload
    • Maximaler Speicherbedarf liegt bei etwa 23GB, der Prozess wird aber sehr langsam sein.

Online-Demo

ComfyUI

  • Bleib dran für die Community-Implementierung, die ComfyUI unterstützen wird.

Visuelle Ergebnisse

puLID_flux_results

Nützliche Tipps

Parameteranpassung

1. Zeitschritt, um die ID einzufügen

  • Bestimmt, wann die ID eingefügt wird. Setzt das Trade-off zwischen ID-Präzision und Bearbeitbarkeit fest.
  • Nutzung:
    • Realistische Bilder: Starte bei Zeitschritt 4.
    • Höhere ID-Ähnlichkeit: Wert verringern.
    • Stilistische Bilder: Setze ihn auf 0-1.
start_id

2. Echte CFG-Skala

  • FLUX.1-dev nutzt Guidance-Destillation mit einer modulierten Guidance-Skala, um CFG zu simulieren.
  • Vergleiche echte CFG mit falscher CFG für fotorealistische und stilisierte Szenen.
fake_cfg_vs_true_cfg_fidelity

Technische Details

  • Der ID-Encoder wurde von MLP auf Transformer umgestellt.
  • Inspiriert von Flamingo werden zusätzliche Cross-Attention-Module alle paar DIT-Module eingefügt, um die Interaktion der ID-Features mit den DIT-Bildfeatures zu verwalten.
  • Eine optionale Beschleunigungsmethode ähnlich wie SDXL-Lightning. Ist aber nicht unbedingt nötig für das Training von PuLID.

Lizenz

Solange du das FLUX.1-dev Modell verwendest, solltest du die Lizenz des FLUX.1-dev Modells befolgen.

Kontakt

Fragen oder Vorschläge? Kontaktiere Yanze Wu oder schau in die Issues/Diskussionen auf der GitHub-Seite.

Zusätzliche FAQs

Q: Wie kann ich PuLID-FLUX ausprobieren? A: Du kannst starten, indem du die GitHub-Seite unter PuLID-FLUX GitHub besuchst und die Anweisungen zur Einrichtung befolgst.

Q: Unterstützt PuLID-FLUX die kommerzielle Nutzung? A: Die Lizenz auf der PuLID-FLUX GitHub-Seite deutet darauf hin, dass kommerzielle Nutzung erlaubt ist. Aber integrierte Modelle wie Insightface haben kommerzielle Beschränkungen.

Q: Was ist der empfohlene VRAM für PuLID-FLUX? A: Anfangs wurden 45GB benötigt, aber durch Optimierungen kannst du es jetzt auch mit 16GB betreiben.

Q: Was, wenn ich einen ComfyUI-Knoten brauche? A: Ein passender Knoten ist noch nicht verfügbar, aber Entwickler wie Cubiq arbeiten daran, bald einen herauszubringen.

Q: Wie gehe ich mit Unschärfe in den Ausgabebildern um? A: Upscaling-Techniken können oft effektiv gegen Unschärfe helfen.

Q: Was ist der Hauptvorteil von PuLID-FLUX im Vergleich zu anderen Modellen? A: PuLID-FLUX bietet eine tuning-freie, hochpräzise ID-Anpassung, was es zu einem starken Werkzeug für präzise Bildanpassungen macht.

Q: Kann PuLID-FLUX auch mit nicht-menschlichen Bildern arbeiten? A: Es wurde hauptsächlich für die ID-Anpassung von Menschen entwickelt, aber Experimente mit nicht-menschlichen Bildern können interessante Ergebnisse liefern. Schau dir die Demo-Seite an, um es auszuprobieren.

Wenn du die neuesten Updates und Optimierungen im Auge behältst, kann die Nutzung von PuLID-FLUX sowohl handhabbar als auch sehr lohnend für ernsthafte Bildgenerierungs-Enthusiasten sein.

SHARE