logo
pub

Rifinire il Tuo Flux Dev LoRA con Flux AI

Panoramica: Affinare Flux AI con LoRA

Vuoi creare modelli di immagini personalizzati? Puoi farlo usando LoRA di Flux AI. È davvero potente per la resa precisa del testo, composizioni complesse e anatomia realistica. Ecco come puoi affinare con le tue immagini. Puoi seguire il tutorial qui.

Passi per Affinare il Tuo LoRA di Flux Dev

Passo 1: Prepara le Tue Immagini di Allenamento

Prendi un bel po' di immagini (5-6 per soggetti semplici, di più se sono complessi).

  • Linee Guida:
    • Le immagini dovrebbero concentrarsi sul soggetto.
    • Va bene JPEG o PNG. Le dimensioni e i nomi dei file non importano.
    • Non usare immagini di altri senza il loro permesso.
  • Comprimi le tue immagini:
    zip -r data.zip data
  • Carica il tuo file zip dove può essere accessibile pubblicamente, tipo S3 o GitHub Pages.

Passo 2: Imposta il Tuo Token API di Replicate

Prendi il tuo token API da replicate.com/account e settalo nel tuo ambiente:

export REPLICATE_API_TOKEN=tuo_token

Passo 3: Crea un Modello su Replicate

Visita replicate.com/create per impostare il tuo modello. Puoi renderlo pubblico o privato.

Passo 4: Inizia l'Allenamento

Usa Python per avviare il processo di allenamento. Prima, installa il pacchetto Python di Replicate:

pip install replicate

Poi, crea il tuo lavoro di allenamento:

import replicate

training = replicate.trainings.create(
    version="ostris/flux-dev-lora-trainer",
    input={
        "input_images": "https://il-tuo-url-di-upload/data.zip",
    },
    destination="tuo-username/tuo-modello"
)
print(training)

Opzioni di Affinamento

  • Volti: Aggiungi questa riga per concentrarti sui volti:
    "use_face_detection_instead": True,
  • Stile: Regola i tassi di apprendimento per gli stili:
    "lora_lr": 2e-4,
"caption_prefix": 'Nello stile di XYZ,',

Monitora il Tuo Allenamento

Controlla i progressi del tuo allenamento su replicate.com/trainings o in modo programmatico:

training.reload()
print(training.status)

Esegui il Tuo Modello Allenato

Dopo l'allenamento, puoi eseguire il modello tramite il sito web di Replicate o tramite API:

output = replicate.run(
    "tuo-username/tuo-modello:version",
    input={"prompt": "una foto di XYZ che cavalca un unicorno arcobaleno"},
)

Come Funziona l'Affinamento

Le tue immagini passano per un pre-processamento:

  • SwinIR: Ingrossa le immagini.
  • BLIP: Crea didascalie di testo.
  • CLIPSeg: Rimuove le regioni non importanti.

Puoi dare un'occhiata a ulteriori dettagli nella README del modello SDXL.

Uso Avanzato: Integrazione con i Diffusori

Carica i pesi allenati nei Diffusori:

from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0')
pipe.unet.load_state_dict(torch.load("percorso-ai-pesi-unet.pth"))
# Ora puoi generare immagini
pipe(prompt="Una foto di <s0>").images[0].save("output.png")

FAQ

Posso usare LoRA per più concetti?

Sì, LoRA può gestire più concetti, è super versatile.

È LoRA migliore per stili o volti?

LoRA è bravissima con gli stili ma potrebbe avere qualche difficoltà con i volti.

Quante immagini mi servono?

Consiglio almeno 10 immagini.

Dove posso caricare il mio LoRA allenato?

Puoi caricarlo su un repository di Hugging Face.

SHARE