logo
pub

PuLID-FLUX: Flux AI ID 맞춤화 솔루션

PuLID-FLUX 소개

PuLID-FLUX는 FLUX.1-dev 모델을 위한 새로운 튜닝이 필요 없는 ID 커스터마이징 솔루션이에요. 원래 모델의 동작을 유지하면서 고충실도의 ID 커스터마이징을 가능하게 해요.

PuLID-FLUX란?

PuLID-FLUX-v0.9.0은 FLUX.1-dev 모델에 대해 튜닝 없이 아이디를 커스터마이즈할 수 있는 모델이에요. 유연성이 뛰어나고, 원래 모델의 성능을 유지하면서 이미지에 독특한 ID를 추가할 수 있어요.

설치 및 통합

PuLID-FLUX 설치하기

  1. 저장소 클론하기: PuLID GitHub 페이지로 가서 PuLID GitHub를 확인하세요.
  2. 환경 설정하기: 필요한 환경(파이썬 버전, 의존성 등)을 설정하기 위한 가이드를 따라 하세요.
    git clone https://github.com/ToTheBeginning/PuLID.git
cd PuLID
pip install -r requirements.txt
  3. 필요한 모델 다운로드:
  4. 애플리케이션 실행하기:
    python app_flux.py

다양한 메모리 구성 사용하기

Naive bf16

  • bf16로 바로 실행하기:
    python app_flux.py
    • 최대 메모리는 45GB 이하예요.

bf16 + 오프로드

  • 메모리를 절약하기 위해 오프로드 사용하기:
    python app_flux.py --offload
    • 최대 메모리는 30GB 이하예요.

fp8 + 오프로드 (소비자용 GPU용)

  • 추가 요구 사항을 설치해야 해요:
    pip install -r requirements-fp8.txt
  • flux-dev-fp8 체크포인트 사용하기:
    python app_flux.py --offload --fp8 --onnx_provider cpu
    • 16GB 메모리 GPU 사용자: 최대 메모리 15GB 이하
    • 24GB 그래픽 메모리 사용자:
    python app_flux.py --offload --fp8
    • 최대 메모리는 17GB 이하예요.
    • 주의: fp8는 bf16에 비해 얼굴 세부 사항의 품질 저하가 있어요.

bf16 + 공격적인 오프로드

  • 더 공격적인 오프로드 사용하기:
    python app_flux.py --aggressive_offload
    • 최대 메모리는 약 23GB지만, 프로세스는 매우 느려요.

온라인 데모

ComfyUI

  • ComfyUI 지원의 커뮤니티 구현 소식 기다려주세요.

시각적 결과

puLID_flux_results

유용한 팁

파라미터 조정

1. ID 삽입 시작 타임스탬프

  • ID 삽입의 타이밍을 조정해요. ID의 충실도와 편집 가능성 사이의 균형을 설정해요.
  • 사용법:
    • 현실적인 이미지: 타임스탬프 4에서 시작
    • ID 유사함을 높이고 싶다면 값 낮춤
    • 스타일화된 이미지: 0-1로 설정
start_id

2. 진짜 CFG 스케일

  • FLUX.1-dev는 CFG를 시뮬레이션하기 위해 조정된 가이드 스케일을 사용하는 가이던스 증류를 사용해요.
  • 포토리얼리스틱 및 스타일화된 장면에 대해 진짜 CFG와 가짜 CFG 비교하세요.
fake_cfg_vs_true_cfg_fidelity

기술적인 세부 사항

  • ID 인코더를 MLP에서 Transformer로 변경했어요.
  • Flamingo에서 영감을 받아 몇 개의 DIT 블록마다 추가적인 크로스 어텐션 블록을 삽입해 ID 기능과 DIT 이미지 기능 간의 상호작용을 처리해요.
  • SDXL-Lightning과 유사한 선택적 가속 방법이 있지만, PuLID 훈련에는 필수가 아니에요.

라이선스

FLUX.1-dev 모델을 사용할 경우 FLUX.1-dev 모델 라이선스를 따라야 해요.

연락처

질문이나 제안 있으면 Yanze Wu에게 연락하거나 GitHub 페이지에 이슈/토론을 열어주세요.

추가 FAQ

Q: PuLID-FLUX를 어떻게 사용해 볼 수 있나요? A: 먼저 GitHub 페이지인 PuLID-FLUX GitHub를 방문하고 설치 방법을 따라 해보세요.

Q: PuLID-FLUX는 상업적 사용을 지원하나요? A: PuLID-FLUX GitHub의 라이선스에서 상업적 사용이 허용된다고 되어 있지만, Insightface와 같은 통합 모델에는 상업적 제한이 있어요.

Q: PuLID-FLUX의 권장 VRAM은 얼마인가요? A: 처음에는 45GB가 필요했지만, 최적화 덕분에 이제는 16GB에서도 작동이 가능해요.

Q: ComfyUI 노드가 필요하면 어떻게 하나요? A: 호환되는 노드는 아직 없지만, Cubiq와 같은 개발자들이 곧 출시할 것으로 예상돼요.

Q: 출력 이미지의 흐림 현상은 어떻게 처리하나요? A: 업스케일링 기술로 흐린 부분을 효과적으로 줄일 수 있어요.

Q: PuLID-FLUX를 사용하는 주요 장점은 무엇인가요? A: PuLID-FLUX는 튜닝이 필요 없는 고충실도 ID 커스터마이징 옵션을 제공해서, 정밀한 이미지 커스터마이징을 위한 강력한 도구예요.

Q: PuLID-FLUX는 비인간 이미지를 다룰 수 있나요? A: 주로 인간 ID 커스터마이징을 위해 설계됐지만, 비인간 이미지를 가지고 실험하면 흥미로운 결과를 얻을 수도 있어요. 데모 페이지 여기에서 사용해보세요.

최신 업데이트와 최적화를 잘 살펴보면서 PuLID-FLUX를 활용하면, 이미지 생성 애호가에게 매우 유용하고 보람 있는 경험이 될 수 있어요.

SHARE