logo
pub

Utiliser FluxGym pour l'entraînement de Flux LoRA avec peu de VRAM

Introduction

FluxGym, c'est une interface web pour entraîner des Flux LoRAs avec peu de VRAM (genre 12G, 16G, etc.). C'est développé par Black Forest Labs en utilisant Kohya-ss/sd-scripts. L'idée, c'est de rendre l'entraînement plus facile pour ceux qui n'ont pas de GPU super puissants. Donc, ici, je résume les problèmes courants que les utilisateurs rencontrent et je propose quelques solutions.

Problème Description

Les utilisateurs rencontrent pas mal de soucis en essayant d'utiliser FluxGym, comme une utilisation élevée de VRAM, des problèmes d'implémentation, et des différences dans les résultats d'entraînement.

Les problèmes courants incluent :

  • Une demande de VRAM trop élevée même après optimisation
  • Des écarts dans l'entraînement
  • Des erreurs dues aux configurations de l'environnement
  • Des temps d'entraînement lents sur des configurations avec peu de VRAM

Problème 1 : Usage Élevé de VRAM

Même avec les optimisations, certains utilisateurs trouvent que l'utilisation de VRAM reste trop élevée. Par exemple :

MÀJ : Je viens de découvrir que le Florence-2 Auto-caption ne vidait pas le cache... ça, ça semble enlever 4Go de VRAM ! Maintenant, l'option 20G fonctionne avec juste 16G.

Lien : Changement GitHub

Solution :

  • Pense à télécharger la dernière version depuis GitHub.
  • Utilise la fonction torch.cuda.empty_cache() pour vider manuellement le cache quand c'est nécessaire.

Problème 2 : Configurations d'Entraînement

Certains utilisateurs ne savent pas comment ajuster les paramètres d'entraînement pour de meilleurs résultats. Exemple :

donc cette config de base est optimale pour un 4090 ? ou est-ce qu'on pourrait en tirer encore plus avec une autre config ?

Comparaison :

  • A4500 : 58 minutes (1300 étapes)
  • 4090 : 20 minutes (1200 étapes)

Solution :

  • Utilise l'onglet avancé pour personnaliser des réglages comme les epochs, les taux d'apprentissage, et les résolutions.
  • Exemple d'ajustement de paramètres :
    https://x.com/cocktailpeanut/status/1832113636367876446

Problème 3 : Problèmes de Configuration de l'Environnement

Les erreurs viennent souvent de problèmes d'environnement et de dépendances. Exemple :

return Variable._execution_engine.run_backward( # Appelle le moteur C++ pour exécuter le passage arrière" pendant plus d'une heure et demie.

Solution :

  • Vérifie la compatibilité de Python et assure-toi que toutes les dépendances sont bien installées.
  • Jette un œil à cette discussion pour avoir de l'aide :
    https://github.com/pinokiofactory/factory/discussions/6

Problème 4 : Écarts dans les Résultats d'Entraînement

Les utilisateurs rapportent des résultats incohérents lors de l'entraînement. Exemple :

quelqu'un sait comment ajuster les paramètres pour de meilleurs résultats quand l'entraînement d'origine ne correspond pas aux attentes ?

Solution :

  • Révise et ajuste des paramètres comme le nombre d'étapes et les epochs, en fonction de la qualité et de la taille du dataset.
  • Utilise des résolutions plus élevées pour un travail plus détaillé :
    https://x.com/cocktailpeanut/status/1832098084794356081

Astuces Supplémentaires

Astuce 1 : Reste à Jour avec les Mises à Jour

Vérifie les mises à jour régulièrement pour profiter des nouvelles optimisations.

Astuce 2 : Utilise des Datasets de Qualité

Des datasets bien étiquetés et de haute qualité donnent de meilleurs résultats d'entraînement.

Astuce 3 : Implique-toi avec la Communauté

Participe à des forums et discussions pertinents pour obtenir du soutien et des conseils.

En suivant ces stratégies et astuces, tu peux tirer le meilleur de FluxGym pour entraîner les Flux LoRAs avec peu de VRAM. Bon entraînement !

SHARE