logo
pub

PuLID-FLUX: Solução de Personalização de ID para Flux AI

Introdução ao PuLID-FLUX

O PuLID-FLUX é uma nova solução de personalização de ID que não precisa de ajuste para o modelo FLUX.1-dev. Ele mantém o comportamento original do modelo e ainda permite uma personalização de ID com alta fidelidade.

O que é PuLID-FLUX?

O PuLID-FLUX-v0.9.0 é um modelo que deixa você personalizar identificações sem precisar ajustar o modelo FLUX.1-dev. Ele é bem flexível e mantém o desempenho do modelo original enquanto adiciona IDs únicos às imagens.

Configuração e Integração

Instalando o PuLID-FLUX

  1. Clone o Repositório: Vá para a página do PuLID no GitHub em PuLID GitHub.
  2. Configure o Ambiente: Siga o guia para configurar o ambiente necessário (versão do Python, dependências, etc.).
    git clone https://github.com/ToTheBeginning/PuLID.git
cd PuLID
pip install -r requirements.txt
  3. Baixe os Modelos Necessários:
  4. Execute o Aplicativo:
    python app_flux.py

Usando Diferentes Configurações de Memória

Naive bf16

  • Execute com bf16 diretamente:
    python app_flux.py
    • O pico de memória fica abaixo de 45GB.

bf16 + Offload

  • Use offloading para economizar memória:
    python app_flux.py --offload
    • O pico de memória fica abaixo de 30GB.

fp8 + Offload (Para GPUs de Consumo)

  • Verifique se você tem os requisitos adicionais instalados:
    pip install -r requirements-fp8.txt
  • Use o checkpoint flux-dev-fp8:
    python app_flux.py --offload --fp8 --onnx_provider cpu
    • O pico de memória fica abaixo de 15GB (para GPUs com 16GB de memória).
    • Para usuários com 24GB de memória gráfica:
    python app_flux.py --offload --fp8
    • O pico de memória fica abaixo de 17GB.
    - Nota: fp8 tem degradação de qualidade nos detalhes do rosto em comparação ao bf16.

bf16 + Offload Agressivo

  • Use offloading mais agressivo:
    python app_flux.py --aggressive_offload
    • O pico de memória fica em torno de 23GB, mas o processo será bem lento.

Demonstração Online

ComfyUI

  • Fique ligado na implementação de suporte ao ComfyUI pela comunidade.

Resultados Visuais

puLID_flux_results

Dicas Úteis

Ajuste de Parâmetros

1. Tempo para Começar a Inserir ID

  • Controla o momento da inserção do ID. Define a fidelidade do ID e a possibilidade de edição.
  • Uso:
    • Imagens realistas: Comece no tempo 4.
    • Maior similaridade de ID: Diminua o valor.
    • Imagens estilizadas: Defina de 0 a 1.
start_id

2. Verdadeiro CFG Scale

  • O FLUX.1-dev usa destilação de orientação com uma escala de orientação modulada para simular CFG.
  • Compare true CFG com fake CFG para cenas fotorrealistas e estilizadas.
fake_cfg_vs_true_cfg_fidelity

Detalhes Técnicos

  • Mudou o codificador de ID de MLP para Transformer.
  • Inspirado pelo Flamingo, blocos de atenção cruzada adicionais são inseridos a cada alguns blocos DIT para lidar com a interação das características do ID com as características da imagem DIT.
  • Método de aceleração opcional, semelhante ao SDXL-Lightning, mas não essencial para treinar o PuLID.

Licença

Enquanto você usar o modelo FLUX.1-dev, deve seguir a licença do modelo FLUX.1-dev.

Contato

Para dúvidas ou sugestões, entre em contato com Yanze Wu ou abra um problema/discussão na página do GitHub.

FAQs Adicionais

Q: Como posso experimentar o PuLID-FLUX? A: Você pode começar visitando a página do GitHub deles em PuLID-FLUX GitHub e seguindo as instruções de configuração.

Q: O PuLID-FLUX suporta uso comercial? A: A licença no GitHub do PuLID-FLUX sugere que o uso comercial é permitido, mas modelos integrados como o Insightface têm restrições comerciais.

Q: Qual é a VRAM recomendada para PuLID-FLUX? A: Inicialmente, eram necessários 45GB, mas otimizações tornaram possível rodar com 16GB agora.

Q: E se eu precisar de um node para ComfyUI? A: Um node compatível ainda não está disponível, mas desenvolvedores como Cubiq devem lançar um em breve.

Q: Como lido com a borrão nas imagens de saída? A: Técnicas de upscale podem geralmente mitigar o borrão de forma eficaz.

Q: Qual é a principal vantagem de usar o PuLID-FLUX em relação a outros modelos? A: O PuLID-FLUX oferece uma opção de personalização de ID de alta fidelidade e sem ajustes, tornando-se uma ferramenta robusta para personalização precisa de imagens.

Q: O PuLID-FLUX pode funcionar com imagens não-humanas? A: Embora seja projetado principalmente para personalização de ID humano, experimentar com imagens não-humanas pode gerar resultados interessantes. Acesse a página de demonstração para tentar.

Mantendo atenção nas atualizações e otimizações mais recentes, usar o PuLID-FLUX pode ser tanto manejável quanto altamente gratificante para amantes sérios da geração de imagens.

SHARE