logo
pub

Je Eigen Flux Dev LoRA Fijnslijpen met Flux AI

Overzicht: Fine-Tuning Flux AI met LoRA

Wil je aangepaste beeldmodellen maken? Dat kan met de LoRA van Flux AI. Het is echt mega krachtig voor nauwkeurige tekstweergave, complexe composities en realistische anatomie. Hier vertellen we je hoe je het kunt finetunen met je eigen afbeeldingen. Je kunt de stappen ook volgen hier.

Stappen om je Flux Dev LoRA te Finetunen

Stap 1: Bereid je Trainingsafbeeldingen Voor

Verzamel een paar afbeeldingen (5-6 voor simpele onderwerpen, meer als het complex is).

  • Richtlijnen:
    • Zorg dat de afbeeldingen goed op het onderwerp focussen.
    • JPEG of PNG is prima. Afmetingen en bestandsnamen maken niet zoveel uit.
    • Gebruik geen afbeeldingen van anderen zonder hun toestemming.
  • Zip je afbeeldingen:
    zip -r data.zip data
  • Upload je zip-bestand waar het publiek toegankelijk is, zoals op S3 of GitHub Pages.

Stap 2: Stel je Replicate API-token In

Pak je API-token van replicate.com/account en zet het in je omgeving:

export REPLICATE_API_TOKEN=je_token

Stap 3: Maak een Model op Replicate

Ga naar replicate.com/create om je model op te zetten. Je kunt het openbaar of privé maken.

Stap 4: Start de Training

Gebruik Python om het trainingsproces te starten. Installeer eerst de Replicate Python package:

pip install replicate

Maak daarna je trainingsjob aan:

import replicate

training = replicate.trainings.create(
    version="ostris/flux-dev-lora-trainer",
    input={
        "input_images": "https://je-upload-url/data.zip",
    },
    destination="jouw-gebruikersnaam/jouw-model"
)
print(training)

Finetuning Opties

  • Gezichten: Voeg deze regel toe om je op gezichten te focussen:
    "use_face_detection_instead": True,
  • Stijl: Pas leerpercentages voor stijlen aan:
    "lora_lr": 2e-4,
"caption_prefix": 'In de stijl van XYZ,',

Houd je Training in de Gaten

Check je trainingsvoortgang op replicate.com/trainings of via code:

training.reload()
print(training.status)

Voer je Getrainde Model uit

Na het trainen kun je het model draaien via de Replicate-website of API:

output = replicate.run(
    "jouw-gebruikersnaam/jouw-model:versie",
    input={"prompt": "een foto van XYZ die op een regenboog eenhoorn rijdt"},
)

Hoe Finetuning Werkt

Je afbeeldingen gaan door een preprocessing:

  • SwinIR: Schaal afbeeldingen omhoog.
  • BLIP: Maakt tekst bijschriften.
  • CLIPSeg: Verwijdert onbelangrijke gebieden.

Je kunt meer bekijken in de SDXL model README.

Geavanceerd Gebruik: Integratie met Diffusers

Laad de getrainde gewichten in Diffusers:

from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0')
pipe.unet.load_state_dict(torch.load("pad-naar-unet-gewichten.pth"))
# Nu kun je afbeeldingen genereren
pipe(prompt="Een foto van <s0>").images[0].save("output.png")

FAQ

Kan ik LoRA voor meerdere concepten gebruiken?

Ja, LoRA kan meerdere concepten aan, dus dat is handig.

Is LoRA beter in stijlen of gezichten?

LoRA presteert goed in stijlen, maar kan moeite hebben met gezichten.

Hoeveel afbeeldingen heb ik nodig?

Een minimum van 10 afbeeldingen is aanbevolen.

Waar kan ik mijn getrainde LoRA uploaden?

Je kunt het uploaden naar een Hugging Face repository.

SHARE