logo
pub

PuLID-FLUX: Soluzione di Personalizzazione ID per Flux AI

Introduzione a PuLID-FLUX

PuLID-FLUX è una nuova soluzione per la personalizzazione degli ID senza bisogno di sintonizzazione per il modello FLUX.1-dev. Mantiene il comportamento originale del modello, ma permette di personalizzare gli ID con alta fedeltà.

Cos'è PuLID-FLUX?

PuLID-FLUX-v0.9.0 è un modello che ti lascia personalizzare l’identificazione senza sintonizzare il modello FLUX.1-dev. È super flessibile e mantiene le prestazioni originali del modello, aggiungendo ID unici alle immagini.

Configurazione e Integrazione

Installazione di PuLID-FLUX

  1. Clona il Repository: Vai sulla pagina GitHub di PuLID a PuLID GitHub.
  2. Imposta l'Ambiente: Segui la guida per impostare l'ambiente necessario (versione Python, dipendenze, ecc.).
    git clone https://github.com/ToTheBeginning/PuLID.git
cd PuLID
pip install -r requirements.txt
  3. Scarica i Modelli Necessari:
  4. Esegui l'Applicazione:
    python app_flux.py

Utilizzo di Diverse Configurazioni di Memoria

Naive bf16

  • Esegui direttamente con bf16:
    python app_flux.py
    • La memoria di picco è sotto i 45GB.

bf16 + Offload

  • Usa l'offloading per risparmiare memoria:
    python app_flux.py --offload
    • La memoria di picco è sotto i 30GB.

fp8 + Offload (Per GPU di Consumo)

  • Assicurati di installare requisiti aggiuntivi:
    pip install -r requirements-fp8.txt
  • Usa il checkpoint flux-dev-fp8:
    python app_flux.py --offload --fp8 --onnx_provider cpu
    • La memoria di picco è sotto i 15GB (per GPU con 16GB di memoria).
    • Per chi ha 24GB di memoria grafica:
    python app_flux.py --offload --fp8
    • La memoria di picco è sotto i 17GB.
    - Nota: con fp8 la qualità dei dettagli facciali può essere inferiore rispetto a bf16.

bf16 + Aggressive Offload

  • Usa un offloading più aggressivo:
    python app_flux.py --aggressive_offload
    • La memoria di picco è circa 23GB, ma il processo sarà molto lento.

Demo Online

ComfyUI

  • Resta aggiornato sull’implementazione della community che supporta ComfyUI.

Risultati Visivi

puLID_flux_results

Consigli Utili

Sintonizzazione dei Parametri

1. Tempo per Iniziare a Inserire l'ID

  • Controlla il momento in cui inserire l'ID. Imposta il compromesso tra fedeltà dell'ID e modificabilità.
  • Uso:
    • Immagini realistiche: inizia a timestep 4.
    • Maggiore somiglianza ID: abbassa il valore.
    • Immagini stilizzate: impostalo a 0-1.
start_id

2. Vero Scala CFG

  • FLUX.1-dev utilizza la distillazione della guida con una scala di guida modulata per simulare il CFG.
  • Confronta vero CFG con falso CFG per scene fotorealistiche e stilizzate.
fake_cfg_vs_true_cfg_fidelity

Dettagli Tecnici

  • Cambiato l'encoder ID da MLP a Transformer.
  • Ispirato da Flamingo, blocchi di cross-attention vengono inseriti ogni pochi blocchi DIT per gestire l'interazione tra le caratteristiche ID e quelle dell'immagine DIT.
  • Metodo di accelerazione opzionale simile a SDXL-Lightning, ma non essenziale per l'addestramento di PuLID.

Licenza

Se usi il modello FLUX.1-dev, devi seguire la licenza del modello FLUX.1-dev.

Contatti

Per domande o suggerimenti, contatta Yanze Wu o apri un problema/discussione sulla pagina GitHub.

FAQ Aggiuntive

D: Come posso provare PuLID-FLUX? R: Puoi iniziare visitando la loro pagina GitHub a PuLID-FLUX GitHub e seguendo le istruzioni di installazione.

D: PuLID-FLUX supporta l'uso commerciale? R: La licenza su GitHub di PuLID-FLUX permette l'uso commerciale, ma modelli integrati come Insightface hanno restrizioni commerciali.

D: Qual è la VRAM consigliata per PuLID-FLUX? R: Inizialmente erano richiesti 45GB, ma ottimizzazioni ora permettono di usare 16GB.

D: Cosa fare se mi serve un nodo ComfyUI? R: Non c’è ancora un nodo compatibile, ma gli sviluppatori come Cubiq stanno per rilasciarne uno a breve.

D: Come posso risolvere il problema di sfocatura nelle immagini in output? R: Le tecniche di upscaling possono spesso ridurre efficacemente la sfocatura.

D: Qual è il principale vantaggio di usare PuLID-FLUX rispetto ad altri modelli? R: PuLID-FLUX offre un'opzione di personalizzazione ID ad alta fedeltà e senza sintonizzazione, rendendolo uno strumento robusto per una personalizzazione precisa delle immagini.

D: Può PuLID-FLUX funzionare con immagini non umane? R: Anche se è progettato principalmente per la personalizzazione degli ID umani, sperimentare con immagini non umane può portare a risultati interessanti. Visita la pagina demo per provare.

Prestando attenzione agli aggiornamenti più recenti e alle ottimizzazioni, utilizzare PuLID-FLUX può essere gestibile e molto gratificante per gli appassionati di generazione di immagini.

SHARE