logo
pub

Peaufiner ta propre LoRA Flux Dev avec Flux AI

Aperçu : Affiner Flux AI avec LoRA

Tu veux créer des modèles d'images sur mesure ? C'est possible avec LoRA de Flux AI. C'est super puissant pour rendre des textes de façon précise, faire des compositions complexes, et avoir une anatomie réaliste. Voici comment affiner avec tes propres images. Tu peux suivre ici.

Étapes pour Affiner Ton LoRA Flux Dev

Étape 1 : Préparer Tes Images de Formation

Rassemble quelques images (5-6 pour des sujets simples, plus si c'est complexe).

  • Conseils :
    • Les images doivent bien se concentrer sur le sujet.
    • JPEG ou PNG, ça marche. Les dimensions et les noms de fichiers, pas de souci.
    • Pas d'images d'autres sans leur accord.
  • Compresse tes images :
    zip -r data.zip data
  • Télécharge le fichier zip à un endroit accessible pour le public, comme S3 ou GitHub Pages.

Étape 2 : Configure Ton Jeton API Replicate

Récupère ton jeton API sur replicate.com/account et configure-le dans ton environnement :

export REPLICATE_API_TOKEN=ton_token

Étape 3 : Crée un Modèle sur Replicate

Va sur replicate.com/create pour mettre en place ton modèle. Tu peux le rendre public ou privé.

Étape 4 : Lance l’Entraînement

Utilise Python pour démarrer le processus d’entraînement. Installe le package Python Replicate :

pip install replicate

Puis, crée ton job d’entraînement :

import replicate

training = replicate.trainings.create(
    version="ostris/flux-dev-lora-trainer",
    input={
        "input_images": "https://ton-url-de-telechargement/data.zip",
    },
    destination="ton-nom-utilisateur/ton-modèle"
)
print(training)

Options d’Affinage

  • Visages : Ajoute cette ligne pour te concentrer sur les visages :
    "use_face_detection_instead": True,
  • Style : Ajuste les taux d’apprentissage pour les styles :
    "lora_lr": 2e-4,
"caption_prefix": 'Dans le style de XYZ,',

Surveille Ton Entraînement

Regarde tes progrès d’entraînement sur replicate.com/trainings ou programme-le :

training.reload()
print(training.status)

Utiliser Ton Modèle Entraîné

Après l’entraînement, tu peux faire tourner le modèle via le site Replicate ou l’API :

output = replicate.run(
    "ton-nom-utilisateur/ton-modèle:version",
    input={"prompt": "une photo de XYZ chevauchant une licorne arc-en-ciel"},
)

Comment Ça Marche l'Affinage

Tes images passent par un prétraitement :

  • SwinIR : Agrandit les images.
  • BLIP : Crée des légendes textuelles.
  • CLIPSeg : Enlève les zones inutiles.

Tu peux en savoir plus sur le README du modèle SDXL.

Utilisation Avancée : Intégration avec Diffusers

Charge les poids entraînés dans Diffusers :

from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0')
pipe.unet.load_state_dict(torch.load("chemin-vers-les-poids-unet.pth"))
# Maintenant, tu peux générer des images
pipe(prompt="Une photo de <s0>").images[0].save("output.png")

FAQ

Est-ce que je peux utiliser LoRA pour plusieurs concepts ?

Oui, LoRA peut gérer plusieurs concepts, c'est assez flexible.

LoRA est-il meilleur pour les styles ou les visages ?

LoRA excelle dans les styles, mais peut avoir du mal avec les visages.

Combien d'images ai-je besoin ?

Un minimum de 10 images est recommandé.

Où puis-je télécharger mon LoRA entraîné ?

Tu peux le télécharger sur un dépôt Hugging Face.

SHARE