logo
pub

Flux AI로 나만의 Flux Dev LoRA 조정하기

개요: LoRA로 Flux AI 미세 조정하기

커스텀 이미지 모델 만들고 싶어? Flux AI의 LoRA를 사용하면 할 수 있어. 이건 텍스트 렌더링, 복잡한 구성, 그리고 리얼한 해부학에 진짜 강력해. 자, 이제 너의 이미지로 미세 조정하는 방법을 알려줄게. 여기서 따라 해봐!

Flux Dev LoRA 미세 조정 단계

1단계: 훈련 이미지 준비하기

이미지를 좀 모아봐 (간단한 주제는 5-6개, 복잡한 건 더 많이).

  • 가이드라인:
    • 이미지가 주제에 집중해야 해.
    • JPEG나 PNG면 괜찮아. 크기나 파일명은 상관 없어.
    • 다른 사람의 이미지는 허락 없이는 쓰지 마.
  • 이미지를 압축해:
    zip -r data.zip data
  • 넌 이 zip 파일을 공용으로 접근 가능한 곳에 업로드해야 해, S3나 GitHub Pages 같은 데.

2단계: Replicate API 토큰 설정하기

replicate.com/account에서 API 토큰을 가져와서 환경에 설정해 줘:

export REPLICATE_API_TOKEN=your_token

3단계: Replicate에서 모델 만들기

replicate.com/create 가서 모델 설정해. 공용이든 사적인 모델이든 만들 수 있어.

4단계: 훈련 시작하기

Python을 사용해서 훈련 프로세스를 시작해. 먼저 Replicate Python 패키지를 설치해:

pip install replicate

그리고 훈련 작업을 만들어:

import replicate

training = replicate.trainings.create(
    version="ostris/flux-dev-lora-trainer",
    input={
        "input_images": "https://your-upload-url/data.zip",
    },
    destination="your-username/your-model"
)
print(training)

미세 조정 옵션

  • 얼굴: 얼굴에 집중하고 싶다면, 이 줄 추가해:
    "use_face_detection_instead": True,
  • 스타일: 스타일에 맞춰 학습률 조정해:
    "lora_lr": 2e-4,
"caption_prefix": 'In the style of XYZ,',

훈련 모니터링하기

훈련 진행 상황은 replicate.com/trainings에서 확인할 수 있어, 아니면 코드로 확인해도 돼:

training.reload()
print(training.status)

훈련된 모델 실행하기

훈련이 끝난 후, Replicate 웹사이트나 API를 통해 모델을 실행할 수 있어:

output = replicate.run(
    "your-username/your-model:version",
    input={"prompt": "a photo of XYZ riding a rainbow unicorn"},
)

미세 조정 작동 원리

너의 이미지는 전처리를 거쳐:

  • SwinIR: 이미지를 업스케일해.
  • BLIP: 텍스트 캡션을 만들어.
  • CLIPSeg: 중요하지 않은 영역을 제거해.

자세한 내용은 SDXL 모델 README에서 확인할 수 있어.

고급 사용법: Diffusers 통합

훈련된 가중치를 Diffusers에 로드해:

from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0')
pipe.unet.load_state_dict(torch.load("path-to-unet-weights.pth"))
# 이제 이미지를 생성할 수 있어
pipe(prompt="A photo of <s0>").images[0].save("output.png")

자주 묻는 질문

LoRA를 여러 개념에 사용할 수 있나요?

응, LoRA는 여러 개념을 처리할 수 있어서 꽤 유용해.

LoRA가 스타일에 더 났나요, 얼굴에 더 났나요?

LoRA는 스타일에 더 강하지만 얼굴 처리에서는 좀 어려울 수 있어.

몇 장의 이미지가 필요해요?

최소 10장의 이미지가 추천돼.

훈련된 LoRA는 어디에 업로드할 수 있나요?

Hugging Face 레포지토리에 업로드할 수 있어.

SHARE