Former des modèles Flux AI avec une seule image et un masquage d'attention

Le Problème : Dataset Limité

Des fois, t'as qu'une seule bonne image pour ton sujet ou ton style. Tu te dis que c'est pas assez pour entraîner un modèle solide, mais avec Flux AI, tu peux quand même obtenir des résultats efficaces, même avec une seule image. L'important, c'est de tirer le maximum de ce que t'as.

Solution : Entraînement avec Une Seule Image

Utiliser juste une image pour l'entraînement, c'est pas aussi costaud qu'un dataset plus large, mais ça peut donner de bons résultats selon ce que tu veux. Voici un petit guide étape par étape pour utiliser une seule image pour l'entraînement de ton modèle de manière efficace.

Datasets avec une Seule Image

Peaufine Ta Légende

Comme t'as qu'une seule image, il faut que tu passes un peu de temps à peaufiner la légende. Les légendes influencent grave la compréhension et la performance du modèle.

À garder en tête :

• Mot Déclencheur : Décide si t'as besoin d'un mot déclencheur. Pour les styles, c'est optionnel, mais pour des datasets de personnages, mets toujours un mot déclencheur pour gérer les différents personnages.
• Légende Tout : Décris tous les détails visibles de l'image.
• Évite la Description du Style : C'est pas nécessaire de décrire le style lui-même.
• Pense à l’Entraînement Masqué : Cette technique aide le modèle à se concentrer sur le sujet en évitant les éléments d'arrière-plan.

Suggestions pour les Datasets de Style

• Tu peux omettre les mots déclencheurs si le style est assez distinctif.
• Donne des descriptions détaillées de ce qui est dans l'image sans définir le style explicitement.

Suggestions pour les Datasets de Personnage

• Utilise toujours un mot déclencheur (par exemple, "GoWRAtreus").
• Légende tous les éléments de l'image et évite d'essayer de "tromper" le modèle en omettant des détails que tu veux qu'il se rappelle.

Entraînement Masqué

Technique de Masquage

L’entraînement masqué, ça consiste à utiliser un arrière-plan transparent ou des images noires/blanches comme masques. Les zones blanches sont entraînées, tandis que les zones noires sont ignorées, aidant le modèle à se concentrer uniquement sur le sujet.

Avantages

Le principal avantage, c'est que l'entraînement masqué permet au modèle d'apprendre les éléments importants sans être distrait par l'arrière-plan. Cette méthode assure une meilleure généralisation, surtout quand tu utilises une seule image pour l'entraînement.

Exemples d’Entraînement : Avec et Sans Masquage

Sans Masquage

L’entraînement sans masquage a entraîné l'intégration d'éléments d'arrière-plan non désirés dans le modèle.

Avec Masquage

Utiliser une image masquée pour l'entraînement a réussi à isoler le sujet, menant à une meilleure généralisation et des résultats plus souhaitables.

Comment Créer de Bons Masques

• Outils Automatisés : Utilise des outils comme Inspyrnet-Rembg.
• Édition Manuelle : Tu peux aussi créer manuellement des masques avec Photoshop ou Photopea. Sauvegarde l'image finale en tant que fichier PNG transparent.

Où Entraîner

Les modèles Flux AI peuvent être entraînés sur plusieurs plateformes :

• ComfyUI : Cette plateforme supporte bien l’entraînement masqué. Je l'ai utilisée pour mon entraînement de modèle.
• Autres : Des outils comme OneTrainer et kohya_ss commencent à soutenir l’entraînement masqué. Consulte leur documentation pour plus de détails.

Exemples de Datasets et Modèles

Voici quelques modèles d'exemple entraînés avec des datasets d'images uniques :

• Style Kawaii sans Masquage
• Style Kawaii avec Masquage

Surapprentissage et Problèmes

Malgré l'utilité de l'entraînement avec une seule image, le surapprentissage peut être un souci. Pour éviter ça, fais attention à la durée et au nombre de pas de l'entraînement :

• Surveille les Artefacts Visuels : Les problèmes de texture, les bords flous, et le ghosting montrent que le modèle est en surapprentissage.
• Ajuste les Époques : Concentre-toi sur les époques plutôt que sur les répétitions, et sauvegarde plusieurs versions pour trouver le meilleur modèle.

FAQ

Quelle légende devrais-je utiliser pour mon modèle avec une seule image ?

• Inclut tous les détails visibles dans l'image. Utilise les mots déclencheurs avec parcimonie selon ton dataset.

Quelle résolution devrais-je utiliser pour l'image de mon dataset ?

• 1024x1024 ou 512x512 marche généralement mieux. Des résolutions plus élevées ne sont pas obligatoires à moins que tu te concentres sur des détails très fins.

Comment savoir si mon modèle est en surapprentissage ?

• Cherche des signes comme des textures répétées, des effets de ghosting, et des bords flous. Ça, c'est un indice que le modèle surapprend l'image d'entraînement.

Quels outils puis-je utiliser pour créer des masques d'image ?

• Utilise des outils automatisés comme Inspyrnet-Rembg ou des outils d’édition manuels comme Photoshop ou Photopea.

Pourquoi utiliser des images masquées plutôt que de retirer complètement l'arrière-plan ?

• Enlever complètement l'arrière-plan peut amener le modèle à mémoriser un arrière-plan vide, limitant sa capacité à générer des arrière-plans diversifiés.

Combien de temps faut-il pour entraîner un modèle avec une seule image ?

• Ça prend environ 40 minutes pour 400 pas sur un GPU 3090 avec 24 Go de VRAM. Des plateformes d'entraînement en ligne comme CivitAI ou Shakker peuvent aussi être utilisées.

D'autres Questions ?

• Entraînement Multi-image : Essaie d'élargir le dataset en créant et utilisant des données synthétiques.
• Spécifications GPU : Un GPU 3090 avec 24 Go de VRAM, c'est l'idéal pour l'entraînement local, mais d'autres avec au moins 16 Go peuvent aussi faire le job.

Avertissement

Cet article est un résumé détaillé basé sur un post Reddit : https://www.reddit.com/r/StableDiffusion/comments/1fop9gy/training_guide_flux_model_training_from_just_1/.