logo
pub

Beheers Flux AI met NF4: Snelheid en Kwaliteitsverbeteringen

Overzicht

Hey! Dus, je hebt Flux AI, een te gekke tool voor het genereren van beelden van Black Forest Labs, toevallig? Super vet, hè? Maar om echt de kracht ervan te benutten, vooral met die handige Flux checkpoints, moet je wel weten hoe je het moet instellen. Laten we kijken hoe je verschillende Flux checkpoints kunt gebruiken en het beste resultaat eruit kunt halen!

Ondersteunde Flux Checkpoints

1. Beschikbare Checkpoints

Zoek je rauwe Flux of GGUF? Check deze post.

2. Waarom NF4?

  • Snelheid: Voor 6GB/8GB/12GB GPU's kan NF4 1.3x tot 4x sneller zijn dan FP8.
  • Grootte: NF4 gewichten zijn ongeveer de helft van de grootte van FP8.
  • Nauwkeurigheid: NF4 overtreft vaak FP8 qua numerieke precisie en dynamisch bereik.

Gebruik van Flux Checkpoints

1. Zet je GPU op

  • CUDA Ondersteuning: Als je apparaat CUDA ondersteunt die nieuwer is dan 11.7, ga dan voor NF4. Gefeliciteerd, je hebt alleen de flux1-dev-bnb-nf4.safetensors nodig.
  • Oudere GPU's: Heb je een oudere GPU, zoals GTX 10XX/20XX, download dan de flux1-dev-fp8.safetensors.

2. Laden in de UI

  • In de UI biedt Forge een optie om het gewichtstype geforceerd te laden.
  • Stel het meestal in op Auto om de standaardprecisie in je gedownloade checkpoint te gebruiken.

Tip: Laad het FP8 checkpoint niet met de NF4 optie!

Versnellen van Inference Snelheid

1. Standaard Instellingen

  • Forge’s presets zijn snel, maar je kunt de snelheid nog verder opvoeren.
  • Voorbeeld Systeem: 8GB VRAM, 32GB CPU-geheugen, en 16GB gedeeld GPU-geheugen.

2. Offloading en Swapping

  • Als de modelgrootte > GPU-geheugen, split het model. Laad een deel naar GPU en het andere naar een "swap" locatie, ofwel CPU of gedeeld geheugen.
  • Gedeeld geheugen kan ~15% sneller zijn, maar kan op sommige apparaten crashes veroorzaken.

3. Afstemmen van GPU Gewichten

  • Grotere GPU gewichten = snellere snelheid, maar te groot kan voor crashes zorgen.
  • Kleinere GPU gewichten = tragere snelheid maar mogelijk om grotere beelden te diffuseren.

Voorbeeldconfiguraties

Voorbeeld met Flux-dev

Gebruik van Flux-dev in diffusie:
- GPU Geheugen: 8GB
- CPU Geheugen: 32GB
- Gedeeld GPU Geheugen: 16GB
- Tijd: 1.5 min

Voorbeeld Prompts

Astronaut in een jungle, koud kleurpalet, gedempte kleuren, zeer gedetailleerd, scherpe focus.
Stappen: 20, Sampler: Euler, Schema type: Eenvoudig, CFG-schaal: 1, Gededistilleerde CFG-schaal: 3.5, Zaad: 12345, Grootte: 896x1152, Model: flux1-dev-bnb-nf4-v2

Veelgestelde Vragen

Welke checkpoints moet ik gebruiken?

  • Als je GPU nieuwere CUDA-versies ondersteunt (>11.7), gebruik dan flux1-dev-bnb-nf4.safetensors voor betere snelheid en precisie.
  • Voor oudere GPU's, houd het bij flux1-dev-fp8.safetensors.

Hoe kan ik ervoor zorgen dat mijn GPU de T5 tekstencoder gebruikt?

  • T5 kan standaard op FP8 staan, wat niet compatibel kan zijn. Zorg ervoor dat je setup NF4 aankan voor het beste van de T5 tekstencoder.

Hoe kan ik onderdelen tussen CPU en GPU wisselen?

  • Ga naar instellingen en selecteer de swap-locaties. Gedeeld geheugen is vaak sneller, maar controleer eerst op stabiliteit.

Kan ik modellen zoals SDXL met NF4 gebruiken?

  • Zeker! Het gebruik van NF4 diffusie versnelt modellen zoals SDXL gemiddeld met ongeveer 35%, hoewel het niet precies dezelfde zaden reproduceert.

Problemen met inpainting of img2img?

  • Zorg ervoor dat je op de nieuwste versie van Forge zit. Update het indien nodig om problemen met zwarte beelden of ontbrekende uitgangen op te lossen.

Hoe zet ik modellen om naar NF4?

En dat is het! Met deze aanpassingen ben je helemaal klaar om het beste uit je Flux AI checkpoints te halen. Succes met creëren!

SHARE