logo
pub

Ajustando o Seu Próprio Flux Dev LoRA com Flux AI

Visão Geral: Ajustando o Flux AI com LoRA

Quer criar modelos de imagem personalizados? Você pode fazer isso usando o LoRA do Flux AI. É mó poderoso pra renderizar texto com precisão, composições complexas e anatomia realista. Olha só como você pode ajustar com suas próprias imagens. Pode seguir o passo a passo aqui.

Passos pra Ajustar Seu Flux Dev LoRA

Passo 1: Prepare Suas Imagens de Treinamento

Junta um monte de imagens (5-6 pra assuntos simples, mais se for algo complexo).

  • Dicas:
    • As imagens devem focar no assunto.
    • JPEG ou PNG tá de boa. Dimensões e nomes de arquivo não importam.
    • Não use imagens de outras pessoas sem a permissão delas.
  • Compacte suas imagens:
    zip -r data.zip data
  • Faça upload do seu arquivo zip onde todo mundo possa acessar, como S3 ou GitHub Pages.

Passo 2: Configure Seu Token da API do Replicate

Pegue seu token da API em replicate.com/account e coloque no seu ambiente:

export REPLICATE_API_TOKEN=seu_token

Passo 3: Crie um Modelo no Replicate

Visite replicate.com/create pra criar seu modelo. Você pode deixá-lo público ou privado, do jeito que você preferir.

Passo 4: Comece o Treinamento

Use Python pra iniciar o processo de treinamento. Primeiro, instale o pacote Python do Replicate:

pip install replicate

Depois, crie seu trabalho de treinamento:

import replicate

training = replicate.trainings.create(
    version="ostris/flux-dev-lora-trainer",
    input={
        "input_images": "https://seu-url-de-upload/data.zip",
    },
    destination="seu-usuário/seu-modelo"
)
print(training)

Opções de Ajuste

  • Rostos: Adicione essa linha pra focar nos rostos:
    "use_face_detection_instead": True,
  • Estilo: Ajuste as taxas de aprendizado pra estilos:
    "lora_lr": 2e-4,
"caption_prefix": 'No estilo de XYZ,',

Monitore Seu Treinamento

Verifique o progresso do seu treinamento em replicate.com/trainings ou programaticamente:

training.reload()
print(training.status)

Executando Seu Modelo Treinado

Depois de treinar, você pode rodar o modelo pelo site do Replicate ou pela API:

output = replicate.run(
    "seu-usuário/seu-modelo:versão",
    input={"prompt": "uma foto de XYZ montando um unicórnio arco-íris"},
)

Como Funciona o Ajuste

Suas imagens passam por um pré-processamento:

  • SwinIR: Aumenta a resolução das imagens.
  • BLIP: Cria legendas em texto.
  • CLIPSeg: Remove regiões que não são importantes.

Você pode conferir mais no README do modelo SDXL.

Uso Avançado: Integração com Diffusers

Carregue os pesos treinados no Diffusers:

from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0')
pipe.unet.load_state_dict(torch.load("caminho-para-os-pesos-unet.pth"))
# Agora você pode gerar imagens
pipe(prompt="Uma foto de <s0>").images[0].save("output.png")

FAQ

Posso usar LoRA pra vários conceitos?

Sim, o LoRA consegue lidar com vários conceitos, é bem versátil.

O LoRA é melhor pra estilos ou rostos?

O LoRA manda bem em estilos, mas pode ter dificuldade com rostos.

Quantas imagens eu preciso?

Recomenda-se um mínimo de 10 imagens.

Onde posso fazer o upload do meu LoRA treinado?

Você pode fazer upload pra um repositório do Hugging Face.

SHARE