Usando Flux AI para Expresiones y Forma Corporal con un Nuevo Conjunto de Datos

Experimenta con un Nuevo Conjunto de Datos

He estado trabajando con Flux AI, enfocándome en mejorar las expresiones y la precisión de la forma del cuerpo usando un nuevo conjunto de datos. El proceso incluyó entrenar con 256 imágenes, así que aquí te dejo algunos puntos clave y fotos del experimento.

Problemas Encontrados

1. Sobreajuste: Con 256 imágenes, se dio el sobreajuste. Necesitábamos prompts más detallados para manejar esto, y eso afectó los fondos generados.
2. Consistencia del Conjunto de Datos: Las imágenes tomadas en diferentes momentos tenían variaciones en el cabello, peso y color de piel, lo que causó inconsistencias en los resultados finales.
3. Expresiones: Los primeros conjuntos tenían poca variedad en las expresiones, lo que resultó en caras menos diversas.

Soluciones y Mejoras

1. Prompts Detallados: Para controlar el sobreajuste, hice los prompts más específicos, especialmente respecto al ambiente, usando Claude 3.5.
2. Mejorar el Conjunto de Datos: Aumenté la diversidad en las expresiones y la captura de imágenes fue más consistente en intervalos más cortos.
3. Uso de Herramientas Avanzadas: Utilicé Kohya GUI para el entrenamiento, SUPIR para mejorar la calidad de las imágenes y LLaVA para mejorar los captions.

Creando y Usando el Conjunto de Datos

Preparación del Conjunto de Datos

• Capturé imágenes con la cámara Poco X6.
• Me enfoqué en recoger expresiones y formas corporales variadas.
• Implementé mi propio flujo de trabajo investigado para obtener los mejores resultados.

Flujo de Trabajo de Entrenamiento

1. Reúne un Conjunto de Datos Bien Variado: Asegúrate de que tu conjunto de datos incluya diferentes expresiones y perspectivas.
2. Sigue Tutoriales de Entrenamiento: Usé guías para el entrenamiento en LoRA.
3. Genera Imágenes Usando la UI: Utilicé SwarmUI para generar imágenes con prompts específicos.
4. Aumenta la Calidad de las Imágenes Con SUPIR: Mejoré la calidad de las imágenes al aumentarlas.

Resultados Clave

• Precisión en la Forma del Cuerpo: El modelo aprendió la forma del cuerpo de manera precisa, incluyendo detalles como rasgos faciales.
• Realismo Mejorado: Las salidas fueron mucho más realistas y anatómicamente correctas.
• Variedad en Expresiones: Mejorar los resultados de las expresiones faciales le dio más vida a las imágenes.

Consejos y Mejores Prácticas

1. Usa Prompts Específicos: Incluye prompts descriptivos para controlar el sobreajuste.
2. Calidad Sobre Cantidad: Conjuntos de datos más pequeños y consistentes pueden producir resultados más estables.
3. Experimenta con Herramientas: Prueba diferentes herramientas para el entrenamiento y aumento de imágenes para ver qué te funciona mejor.

Recursos Adicionales

• Tutorial de SwarmUI: Video Tutorial de SwarmUI
• Conjunto de Datos y Flujo de Trabajo en CivitAI: Página del Modelo en CivitAI

Conclusión

Usando Flux AI, logré mejorar tanto las expresiones como la precisión de la forma del cuerpo al experimentar y ajustar el conjunto de datos y el flujo de trabajo. Aunque el sobreajuste y los problemas de consistencia fueron un reto, los prompts detallados y datos variados ayudaron a conseguir resultados impresionantes. En el futuro, me enfocaré en mejorar aún más el flujo de trabajo y explorar nuevos conjuntos de datos.

Preguntas Frecuentes (FAQ)

1. ¿Qué es Flux AI?

Flux AI es una herramienta de generación de imágenes de código abierto creada por Black Forest Labs. Se especializa en producir textos precisos, composiciones complejas y imágenes anatómicamente correctas.

2. ¿Cómo manejas el sobreajuste con Flux AI?

El sobreajuste se puede controlar proporcionando prompts detallados que describan el fondo y el entorno. Esto reduce el impacto de los elementos repetitivos en el conjunto de datos.

3. ¿Qué tipo de cámara usaste para el conjunto de datos?

Usé una cámara Poco X6 para capturar todas las imágenes del conjunto de datos. La consistencia en la captura de imágenes es clave para obtener mejores resultados en el entrenamiento.

4. ¿Puede Flux AI manejar múltiples expresiones en una sola imagen?

Sí, Flux AI puede gestionar expresiones diversas si el conjunto de datos es robusto y variado. Asegúrate de que tu conjunto incluya diferentes expresiones para lograr esto.

5. ¿Qué herramientas y UI usaste para entrenar y generar imágenes?

Usé Kohya GUI para el entrenamiento y SwarmUI para la generación de imágenes. Además, utilicé SUPIR para aumentar la calidad y LLaVA para mejorar los captions.

6. ¿Cuál es la resolución ideal de imagen para entrenar con Flux AI?

Entrenar a una resolución de 1024x1024 da los mejores resultados. Resoluciones más bajas pueden llevar a una pérdida de detalles y calidad.

7. ¿Cómo gestionas las inconsistencias en el conjunto de datos?

La consistencia se puede mejorar capturando imágenes en un entorno controlado y uniforme durante un periodo más corto. Esto minimiza las variaciones en el cabello, peso y color de piel.

8. ¿Se puede usar Flux AI con 12GB de VRAM?

Sí, puedes entrenar un modelo de Flux AI con 12GB de VRAM. El entrenamiento puede tardar más en comparación con GPUs más potentes, pero es factible.

¿Más Preguntas?

Si tienes más preguntas o necesitas más ayuda, no dudes en contactarme o dejar un comentario.