logo
pub

Dein eigenes Flux Dev LoRA feintunen mit Flux AI

Überblick: Feineinstellung von Flux AI mit LoRA

Hey, willst du coole Bilder-Modelle erstellen? Na klar, das kannst du mit dem LoRA von Flux AI machen! Das Ding ist mega stark, gerade wenn's um präzises Text-Rendering, komplizierte Kompositionen und realistische Anatomie geht. Hier ist, wie du mit deinen eigenen Bildern eine Feineinstellung machen kannst. Du kannst auch hier mit dem Lernlink mitmachen.

Schritte zur Feineinstellung deines Flux Dev LoRA

Schritt 1: Bereite deine Trainingsbilder vor

Sammle ein paar Bilder (5-6 für einfache Motive, mehr für komplexe).

  • Richtlinien:
    • Bilder sollten den Fokus auf das Motiv haben.
    • JPEG oder PNG sind völlig okay. Die Größe und die Dateinamen sind egal.
    • Verwende keine Bilder von anderen, ohne deren Erlaubnis.
  • Zippe deine Bilder:
    zip -r data.zip data
  • Lade deine Zip-Datei hoch, wo sie öffentlich zugänglich ist, wie z.B. S3 oder GitHub Pages.

Schritt 2: Richte dein Replicate API-Token ein

Hol dir dein API-Token von replicate.com/account und setz es in deiner Umgebung:

export REPLICATE_API_TOKEN=dein_token

Schritt 3: Erstelle ein Modell auf Replicate

Geh zu replicate.com/create, um dein Modell einzurichten. Du kannst es öffentlich oder privat machen.

Schritt 4: Starte das Training

Mit Python kannst du den Trainingsprozess loslegen. Installiere das Replicate Python-Paket:

pip install replicate

Dann leg los mit deinem Trainingsjob:

import replicate

training = replicate.trainings.create(
    version="ostris/flux-dev-lora-trainer",
    input={
        "input_images": "https://dein-upload-url/data.zip",
    },
    destination="dein-benutzername/dein-modell"
)
print(training)

Feineinstellung Optionen

  • Gesichter: Füge diese Zeile hinzu, um den Fokus auf Gesichter zu legen:
    "use_face_detection_instead": True,
  • Stil: Pass die Lernraten für Stile an:
    "lora_lr": 2e-4,
"caption_prefix": 'Im Stil von XYZ,',

Überwache dein Training

Überprüfe den Fortschritt deines Trainings auf replicate.com/trainings oder programmatisch:

training.reload()
print(training.status)

Ausführen deines trainierten Modells

Nach dem Training kannst du das Modell über die Replicate-Webseite oder API ausführen:

output = replicate.run(
    "dein-benutzername/dein-modell:version",
    input={"prompt": "ein Foto von XYZ, das auf einem Regenbogen-Einhorn reitet"},
)

Wie die Feineinstellung funktioniert

Deine Bilder werden zuerst bearbeitet:

  • SwinIR: Skaliert die Bilder hoch.
  • BLIP: Erstellt Textbeschreibungen.
  • CLIPSeg: Entfernt unwichtige Bereiche.

Du kannst mehr im SDXL Modell README nachlesen.

Fortgeschrittene Nutzung: Diffusers-Integration

Lade die trainierten Gewichte in Diffusers:

from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0')
pipe.unet.load_state_dict(torch.load("path-zu-unet-gewichten.pth"))
# Jetzt kannst du Bilder generieren
pipe(prompt="Ein Foto von <s0>").images[0].save("output.png")

FAQ

Kann ich LoRA für mehrere Konzepte nutzen?

Klar, LoRA kann mehrere Konzepte verarbeiten, ziemlich flexibel also!

Ist LoRA besser bei Stilen oder Gesichtern?

LoRA macht echt tolle Sachen bei Stilen, kann aber bei Gesichtern Schwierigkeiten haben.

Wie viele Bilder brauche ich?

Mindestens 10 Bilder werden empfohlen.

Wo kann ich mein trainiertes LoRA hochladen?

Du kannst es in ein Hugging Face Repository hochladen.

SHARE