logo
pub

PuLID-FLUX : Solution de personnalisation d'ID pour Flux AI

Introduction à PuLID-FLUX

PuLID-FLUX est une nouvelle solution de personnalisation d'ID sans réglage pour le modèle FLUX.1-dev. Ça garde le comportement original du modèle tout en permettant une personnalisation d'ID de haute fidélité.

C'est quoi PuLID-FLUX ?

PuLID-FLUX-v0.9.0 est un modèle qui te permet de personnaliser l'identification sans réglage pour le modèle FLUX.1-dev. C'est super flexible et ça garde les performances du modèle original tout en ajoutant des ID uniques aux images.

Configuration et Intégration

Installer PuLID-FLUX

  1. Cloner le Répertoire : Vas sur la page GitHub de PuLID à PuLID GitHub.
  2. Configurer l'Environnement : Suis le guide pour mettre en place l'environnement requis (version Python, dépendances, etc.).
    git clone https://github.com/ToTheBeginning/PuLID.git
cd PuLID
pip install -r requirements.txt
  3. Télécharger les Modèles Nécessaires :
  4. Lancer l'Application :
    python app_flux.py

Utiliser Différentes Configurations de Mémoire

Naive bf16

  • Exécute avec bf16 directement :
    python app_flux.py
    • La mémoire maximale est sous 45 Go.

bf16 + Offload

  • Utilise le déchargement pour économiser de la mémoire :
    python app_flux.py --offload
    • La mémoire maximale est sous 30 Go.

fp8 + Offload (Pour les GPU Grand Public)

  • Assure-toi que les exigences supplémentaires sont installées :
    pip install -r requirements-fp8.txt
  • Utilise le checkpoint flux-dev-fp8 :
    python app_flux.py --offload --fp8 --onnx_provider cpu
    • La mémoire maximale est sous 15 Go (pour les GPUs avec 16 Go de mémoire).
    • Pour les utilisateurs avec 24 Go de mémoire graphique :
    python app_flux.py --offload --fp8
    • La mémoire maximale est sous 17 Go.
    - Note : le fp8 peut dégrader la qualité des détails du visage comparé au bf16.

bf16 + Aggressive Offload

  • Utilise un déchargement plus agressif :
    python app_flux.py --aggressive_offload
    • La mémoire maximale est autour de 23 Go, mais le processus sera très lent.

Démo en Ligne

ComfyUI

  • Reste à l'écoute pour le support de ComfyUI qui arrive dans la communauté.

Résultats Visuels

puLID_flux_results

Conseils Utiles

Réglage des Paramètres

1. Timestep pour Commencer à Insérer l'ID

  • Contrôle le moment où on insère l'ID. Ça établit le compromis entre la fidélité de l'ID et l'éditabilité.
  • Utilisation :
    • Images réalistes : Commence à timestep 4.
    • Plus de similarité d'ID : Diminue la valeur.
    • Images stylisées : Mets ça à 0-1.
start_id

2. Vrai CFG Scale

  • FLUX.1-dev utilise la distillation d'orientation avec une échelle d'orientation modulée pour simuler le CFG.
  • Compare vrai CFG avec faux CFG pour des scènes photoréalistes et stylisées.
fake_cfg_vs_true_cfg_fidelity

Détails Techniques

  • Change l'encodeur ID de MLP à Transformer.
  • Inspiré par Flamingo, des blocs d'attention croisée supplémentaires sont insérés tous les quelques blocs DIT pour gérer l'interaction entre les caractéristiques d'ID et les caractéristiques d'image DIT.
  • Méthode d'accélération optionnelle similaire à SDXL-Lightning, mais pas essentielle pour l'entraînement de PuLID.

Licence

Tant que tu utilises le modèle FLUX.1-dev, tu dois suivre la licence du modèle FLUX.1-dev.

Contact

Pour des questions ou suggestions, contacte Yanze Wu ou ouvre un problème/discussion sur la page GitHub.

FAQ Supplémentaires

Q : Comment puis-je essayer PuLID-FLUX ? R : Tu peux commencer par visiter leur page GitHub à PuLID-FLUX GitHub et suivre les instructions de configuration.

Q : PuLID-FLUX supporte-t-il l'utilisation commerciale ? R : La licence sur le GitHub de PuLID-FLUX suggère que l'utilisation commerciale est autorisée, mais des modèles intégrés comme Insightface ont des restrictions commerciales.

Q : Quelle est la VRAM recommandée pour PuLID-FLUX ? R : Au début, 45 Go étaient nécessaires, mais des optimisations ont rendu possible de l'exécuter maintenant sur 16 Go.

Q : Que faire si j'ai besoin d'un nœud ComfyUI ? R : Un nœud compatible n'est pas encore disponible, mais des développeurs comme Cubiq devraient en sortir un bientôt.

Q : Comment gérer le flou dans les images de sortie ? R : Les techniques d'augmentation peuvent souvent atténuer le flou efficacement.

Q : Quel est l'avantage principal d'utiliser PuLID-FLUX plutôt que d'autres modèles ? R : PuLID-FLUX offre une personnalisation d'ID de haute fidélité sans réglage, ce qui en fait un outil robuste pour une personnalisation précise des images.

Q : PuLID-FLUX peut-il fonctionner avec des images non humaines ? R : Bien qu'il soit principalement conçu pour la personnalisation d'ID humaine, l'expérimentation avec des images non humaines peut donner des résultats intéressants. Visite la page de démonstration pour essayer.

En restant attentif aux dernières mises à jour et optimisations, utiliser PuLID-FLUX peut être à la fois gérable et très gratifiant pour les passionnés de génération d'images.

SHARE