logo
pub

PuLID-FLUX: ID Aanpassingsoplossing voor Flux AI

Introductie tot PuLID-FLUX

PuLID-FLUX is een nieuwe oplossing voor ID-aanpassing zonder tuning voor het FLUX.1-dev model. Het behoudt het oorspronkelijke gedrag van het model, terwijl je toch high-fidelity ID-aanpassingen kunt maken.

Wat is PuLID-FLUX?

PuLID-FLUX-v0.9.0 is een model waarmee je identificatie kunt aanpassen zonder dat je moet tunen voor het FLUX.1-dev model. Het is super flexibel en behoudt de prestaties van het originele model terwijl je unieke ID's aan afbeeldingen toevoegt.

Setup en Integratie

Installeren van PuLID-FLUX

  1. Kloon de Repository: Ga naar de PuLID GitHub-pagina op PuLID GitHub.
  2. Stel de Omgeving In: Volg de gids om de vereiste omgeving in te stellen (Python versie, afhankelijkheden, enz.).
    git clone https://github.com/ToTheBeginning/PuLID.git
cd PuLID
pip install -r requirements.txt
  3. Download Nodige Modellen:
  4. Voer de Applicatie Uit:
    python app_flux.py

Verschillende Geheugenconfiguraties Gebruiken

Naïef bf16

  • Voer uit met bf16 direct:
    python app_flux.py
    • Pieken in geheugengebruik zijn onder de 45GB.

bf16 + Offload

  • Gebruik offloading om geheugen te besparen:
    python app_flux.py --offload
    • Pieken in geheugengebruik zijn onder de 30GB.

fp8 + Offload (Voor Consumenten-Grade GPU's)

  • Zorg dat je extra vereisten hebt geïnstalleerd:
    pip install -r requirements-fp8.txt
  • Gebruik de flux-dev-fp8 checkpoint:
    python app_flux.py --offload --fp8 --onnx_provider cpu
    • Pieken in geheugengebruik zijn onder de 15GB (voor GPU's met 16GB geheugen).
    • Voor gebruikers met 24GB grafisch geheugen:
    python app_flux.py --offload --fp8
    • Pieken in geheugengebruik zijn onder de 17GB.
    - Opmerking: fp8 heeft kwaliteitsverlies in gezichtsdetails vergeleken met bf16.

bf16 + Agressieve Offload

  • Gebruik een meer agressieve offloading:
    python app_flux.py --aggressive_offload
    • Pieken in geheugengebruik zijn ongeveer 23GB, maar het proces zal heel langzaam gaan.

Online Demo

ComfyUI

  • Blijf op de hoogte van de ondersteuning voor ComfyUI in de community.

Visuele Resultaten

puLID_flux_results

Nuttige Tips

Parameter Tuning

1. Timestep om ID In Te Voegen

  • Bepaalt wanneer de ID wordt toegevoegd. Dit beïnvloedt de ID-kwaliteit en aanpasbaarheid.
  • Gebruik:
    • Realistische beelden: Begin bij timestep 4.
    • Hogere ID-vergelijkbaarheid: Verlaag de waarde.
    • Gestileerde beelden: Zet het op 0-1.
start_id

2. True CFG Scale

  • FLUX.1-dev gebruikt guidance distillation met een gemoduleerde guidance scale om CFG te simuleren.
  • Vergelijk true CFG met fake CFG voor fotorealistische en gestileerde scènes.
fake_cfg_vs_true_cfg_fidelity

Technische Details

  • ID-encoder gewisseld van MLP naar Transformer.
  • Geïnspireerd door Flamingo, zijn er extra cross-attention blokken toegevoegd na een paar DIT blokken om de interactie van ID-functies met de DIT afbeeldingsfuncties aan te pakken.
  • Optionele versnelingsmethode vergelijkbaar met SDXL-Lightning, maar niet essentieel voor het trainen van PuLID.

Licentie

Zolang je het FLUX.1-dev model gebruikt, volg je de FLUX.1-dev modellicentie.

Contact

Als je vragen of suggesties hebt, neem contact op met Yanze Wu of open een issue/discussie op de GitHub-pagina.

Extra FAQs

Q: Hoe kan ik PuLID-FLUX uitproberen? A: Je kunt beginnen door hun GitHub-pagina te bezoeken op PuLID-FLUX GitHub en de installatie-instructies te volgen.

Q: Ondersteunt PuLID-FLUX commercieel gebruik? A: De licentie op de PuLID-FLUX GitHub suggereert dat commercieel gebruik is toegestaan, maar geïntegreerde modellen zoals Insightface hebben commerciële beperkingen.

Q: Wat is de aanbevolen VRAM voor PuLID-FLUX? A: Aanvankelijk was 45GB nodig, maar door optimalisaties is het nu ook mogelijk om het op 16GB te draaien.

Q: Wat als ik een ComfyUI-knoop nodig heb? A: Er is nog geen compatibele knoop beschikbaar, maar ontwikkelaars zoals Cubiq worden verwacht binnenkort één uit te brengen.

Q: Hoe ga ik om met wazigheid in outputafbeeldingen? A: Upscaling-technieken kunnen vaak wazigheid effectief verminderen.

Q: Wat is het belangrijkste voordeel van PuLID-FLUX ten opzichte van andere modellen? A: PuLID-FLUX biedt een tuning-vrije, high-fidelity ID-aanpassingsoptie, wat het een krachtig hulpmiddel maakt voor nauwkeurige afbeeldingsaanpassing.

Q: Kan PuLID-FLUX werken met niet-menselijke afbeeldingen? A: Terwijl het voornamelijk is ontworpen voor menselijke ID-aanpassing, kunnen experimenten met niet-menselijke afbeeldingen interessante resultaten opleveren. Bezoek de demo pagina om het uit te proberen.

Door goed op de hoogte te blijven van de laatste updates en optimalisaties, kan het gebruik van PuLID-FLUX zowel beheersbaar als zeer lonend zijn voor serieuze enthousiastelingen in afbeeldingsgeneratie.

SHARE