Usando o FluxGym para Treinamento de Flux LoRA com Baixo VRAM

Introdução

FluxGym é uma interface web pra treinar Flux LoRAs com VRAM baixa (12G, 16G, etc). Foi desenvolvida pela Black Forest Labs usando o Kohya-ss/sd-scripts, e a ideia é simplificar o processo de treinamento pra quem tem placas de vídeo menos potentes. Aqui, vou resumir os problemas comuns que o pessoal enfrenta e dar algumas soluções.

Descrição do Problema

Os usuários encontram várias dificuldades ao tentar usar o FluxGym, tipo alto uso de VRAM, problemas de implementação e diferenças nos resultados do treinamento.

Os problemas mais comuns incluem:

• Requisitos de VRAM muito altos mesmo depois de otimizações
• Discrepâncias nos treinos
• Erros causados pelas configurações do ambiente
• Treinamentos lentos em setups com VRAM baixa

Problema 1: Alto Uso de VRAM

Mesmo com as otimizações, alguns usuários acham que o uso de VRAM ainda tá alto. Por exemplo:

ATUALIZAÇÃO: Acabei de descobrir que o Florence-2 Auto-caption não estava limpando o cache... só isso parece reduzir 4GB de VRAM! Agora, a opção de 20G roda com apenas 16G.

Link: Mudança no GitHub

Solução:

• Sempre puxe a versão mais recente do GitHub.
• Use a função torch.cuda.empty_cache() pra limpar o cache manualmente onde der.

Problema 2: Configurações de Treinamento

Alguns usuários não tão muito certos de como ajustar os parâmetros de treinamento pra ter resultados melhores. Exemplo:

então essa configuração base é ideal pra uma 4090? ou tem como tirar mais velocidade com uma configuração diferente?

Comparação:

• A4500: 58 minutos (1300 passos)
• 4090: 20 minutos (1200 passos)

Solução:

• Vá na aba avançada pra personalizar as configurações, como épocas, taxas de aprendizado e resoluções.
• Exemplo de ajuste de configurações:

  https://x.com/cocktailpeanut/status/1832113636367876446
  

Problema 3: Problemas de Configuração do Ambiente

Erros frequentemente surgem de problemas no ambiente e nas dependências. Exemplo:

return Variable._execution_engine.run_backward( # Chamando o motor C++ pra rodar a passada pra trás" por mais de uma hora e meia.

Solução:

• Verifique a compatibilidade do Python e confirme que todas as dependências estão instaladas corretamente.
• Dê uma olhada nessa discussão pra ajudar:

  https://github.com/pinokiofactory/factory/discussions/6
  

Problema 4: Discrepâncias nos Resultados do Treinamento

Os usuários reportam resultados inconsistentes durante os treinos. Exemplo:

alguém sabe como ajustar as configurações pra ter resultados melhores quando o treinamento original não bate com as expectativas?

Solução:

• Revise e ajuste parâmetros como passos e épocas, dependendo da qualidade e tamanho do conjunto de dados.
• Use resoluções mais altas pra trabalhos detalhados:

  https://x.com/cocktailpeanut/status/1832098084794356081
  

Dicas Adicionais

Dica 1: Fique de Olho nas Atualizações

Cheque atualizações regularmente pra aproveitar novas otimizações.

Dica 2: Use Conjuntos de Dados Adequados

Conjuntos de dados de alta qualidade e bem etiquetados resultam em melhores resultados de treinamento.

Dica 3: Interaja com a Comunidade

Participe de fóruns e discussões relevantes pra pegar suporte e dicas.

Seguindo essas estratégias e dicas, você pode aproveitar ao máximo o FluxGym pra treinar Flux LoRAs com VRAM baixa. Boa sorte nos treinos!