logo
pub

PuLID-FLUX: Solución de Personalización de ID para Flux AI

Introducción a PuLID-FLUX

PuLID-FLUX es una nueva solución de personalización de ID sin necesidad de ajustes para el modelo FLUX.1-dev. Mantiene el comportamiento original del modelo y permite una personalización de ID de alta fidelidad.

¿Qué es PuLID-FLUX?

PuLID-FLUX-v0.9.0 es un modelo que te deja personalizar la identificación sin necesidad de hacer ajustes para el modelo FLUX.1-dev. Es muy flexible y conserva el rendimiento original del modelo mientras agrega IDs únicos a las imágenes.

Configuración e Integración

Instalando PuLID-FLUX

  1. Clona el Repositorio: Ve a la página de GitHub de PuLID en PuLID GitHub.
  2. Configura el Entorno: Sigue la guía para configurar el entorno necesario (versión de Python, dependencias, etc.).
    git clone https://github.com/ToTheBeginning/PuLID.git
cd PuLID
pip install -r requirements.txt
  3. Descarga los Modelos Necesarios:
  4. Ejecuta la Aplicación:
    python app_flux.py

Usando Diferentes Configuraciones de Memoria

Naive bf16

  • Ejecuta con bf16 directamente:
    python app_flux.py
    • La memoria máxima es menos de 45GB.

bf16 + Offload

  • Usa offloading para ahorrar memoria:
    python app_flux.py --offload
    • La memoria máxima es menos de 30GB.

fp8 + Offload (Para GPUs de Consumo)

  • Asegúrate de tener instalados los requisitos adicionales:
    pip install -r requirements-fp8.txt
  • Usa el checkpoint flux-dev-fp8:
    python app_flux.py --offload --fp8 --onnx_provider cpu
    • La memoria máxima es menos de 15GB (para GPUs con 16GB de memoria).
    • Para usuarios con 24GB de memoria gráfica:
    python app_flux.py --offload --fp8
    • La memoria máxima es menos de 17GB.
    - Nota: fp8 puede degradar la calidad en detalles faciales comparado con bf16.

bf16 + Aggressive Offload

  • Usa un offloading más agresivo:
    python app_flux.py --aggressive_offload
    • La memoria máxima es de alrededor de 23GB, pero el proceso será muy lento.

Demo en Línea

ComfyUI

  • Mantente atento a la implementación de soporte para ComfyUI por parte de la comunidad.

Resultados Visuales

puLID_flux_results

Consejos Útiles

Ajustes de Parámetros

1. Tiempo para Empezar a Insertar ID

  • Controla cuándo insertar el ID. Establece la fidelidad del ID y el equilibrio entre edición y calidad.
  • Uso:
    • Imágenes realistas: empieza en el tiempo 4.
    • Mayor similitud de ID: baja el valor.
    • Imágenes estilizadas: ponlo entre 0-1.
start_id

2. Verdadero Escalado CFG

  • FLUX.1-dev usa destilación de guía con una escala de guía modulada para simular CFG.
  • Compara verdadero CFG con falso CFG para escenas fotorrealistas y estilizadas.
fake_cfg_vs_true_cfg_fidelity

Detalles Técnicos

  • Cambiamos el codificador de ID de MLP a Transformer.
  • Inspirado en Flamingo, se insertan bloques de atención cruzada cada pocos bloques DIT para manejar la interacción de características de ID con las características de imagen DIT.
  • Método de aceleración opcional similar a SDXL-Lightning, aunque no es esencial para entrenar PuLID.

Licencia

Mientras uses el modelo FLUX.1-dev, debes seguir la licencia del modelo FLUX.1-dev.

Contacto

Si tienes preguntas o sugerencias, contacta a Yanze Wu o abre un problema/conversación en la página de GitHub.

Preguntas Frecuentes

P: ¿Cómo puedo probar PuLID-FLUX?
R: Puedes empezar visitando su página de GitHub en PuLID-FLUX GitHub y siguiendo las instrucciones de configuración.

P: ¿PuLID-FLUX soporta uso comercial?
R: La licencia en el GitHub de PuLID-FLUX sugiere que el uso comercial está permitido, pero modelos integrados como Insightface tienen restricciones comerciales.

P: ¿Cuál es la VRAM recomendada para PuLID-FLUX?
R: Inicialmente, se requerían 45GB, pero las optimizaciones lo han hecho viable para ejecutarlo en 16GB ahora.

P: ¿Qué pasa si necesito un nodo para ComfyUI?
R: Aún no hay un nodo compatible, pero se espera que desarrolladores como Cubiq lancen uno pronto.

P: ¿Cómo trato la borrosidad en las imágenes de salida?
R: Las técnicas de escalado suelen mitigar la borrosidad de manera efectiva.

P: ¿Cuál es la principal ventaja de usar PuLID-FLUX sobre otros modelos?
R: PuLID-FLUX ofrece una opción de personalización de ID sin ajustes y de alta fidelidad, lo que lo convierte en una herramienta robusta para la personalización precisa de imágenes.

P: ¿Puede PuLID-FLUX funcionar con imágenes que no son humanas?
R: Aunque está diseñado principalmente para la personalización de ID humana, experimentar con imágenes no humanas puede dar resultados interesantes. Visita la página de demo para probar.

Si prestas atención a las últimas actualizaciones y optimizaciones, usar PuLID-FLUX puede ser manejable y muy gratificante para los entusiastas serios de la generación de imágenes.

SHARE