logo
pub

PuLID-FLUX: Flux AI 的 ID 自定义方案

PuLID-FLUX介绍

PuLID-FLUX 是一个新的无调优 ID 自定义解决方案，专门针对 FLUX.1-dev 模型。它能保持原模型的表现，同时实现高保真度的 ID 自定义。

什么是 PuLID-FLUX？

PuLID-FLUX-v0.9.0 是一个让你可以自定义身份识别的模型，不需要调优 FLUX.1-dev 模型。它非常灵活，能够保持原模型的表现，并且可以向图像添加独特的 ID。

设置和集成

安装 PuLID-FLUX

  1. 克隆代码库：去 PuLID 的 GitHub 页面 PuLID GitHub。
  2. 设置环境：按照指南设置必要的环境（Python 版本、依赖等）。
    git clone https://github.com/ToTheBeginning/PuLID.git
cd PuLID
pip install -r requirements.txt
  3. 下载必需的模型：
  4. 运行应用程序：
    python app_flux.py

使用不同的内存配置

基本的 bf16

  • 直接运行 bf16：
    python app_flux.py
    • 峰值内存少于 45GB。

bf16 + 内存卸载

  • 使用卸载来节省内存：
    python app_flux.py --offload
    • 峰值内存少于 30GB。

fp8 + 内存卸载（针对消费级 GPU）

  • 确保安装额外的要求：
    pip install -r requirements-fp8.txt
  • 使用 flux-dev-fp8 检查点：
    python app_flux.py --offload --fp8 --onnx_provider cpu
- 峰值内存少于 15GB（适用于 16GB 内存的 GPU）。
- 对于 24GB 显存的用户：
python app_flux.py --offload --fp8
- 峰值内存少于 17GB。
    • 注意：fp8 在面部细节上质量会有所下降，相较于 bf16。

bf16 + 激进卸载

  • 使用更激进的卸载：
    python app_flux.py --aggressive_offload
    • 峰值内存大约 23GB，但过程会非常慢。

在线体验

ComfyUI

  • 敬请关注社区对 ComfyUI 支持的实现。

视觉效果

puLID_flux_results

实用提示

参数调节

1. 开始插入 ID 的时间步

  • 控制 ID 插入的时机。设定 ID 保真度和可编辑性的权衡。
  • 使用：
    • 真实图像：在时间步 4 开始。
    • 更高的 ID 相似度：把值调低。
    • 风格化图像：设置为 0-1。
start_id

2. 真实 CFG 比例

  • FLUX.1-dev 使用引导蒸馏和调制引导比例来模拟 CFG。
  • 比较 真实 CFG 和 虚假 CFG 在真实场景和风格化场景中的表现。
fake_cfg_vs_true_cfg_fidelity

技术细节

  • ID 编码器从 MLP 切换到了 Transformer。
  • 受 Flamingo 启发，每隔几个 DIT 块就插入额外的交叉注意力模块，以处理 ID 特征与 DIT 图像特征的交互。
  • 可选的加速方法类似于 SDXL-Lightning，但对训练 PuLID 不是必需的。

许可

只要你使用 FLUX.1-dev 模型，需遵循 FLUX.1-dev 模型许可。

联系方式

有问题或者建议请联系 Yanze Wu 或者在 GitHub 页面开个 issue/讨论。

额外常见问题

问：我该如何尝试 PuLID-FLUX？ 答：你可以先去他们的 GitHub 页面 PuLID-FLUX GitHub，然后按照设置说明来操作。

问：PuLID-FLUX 支持商业用途吗？ 答：PuLID-FLUX GitHub 上的许可说明是允许商业用途的，但像 Insightface 这样的集成模型有商业限制。

问：PuLID-FLUX 推荐的显存是多少？ 答：一开始需要 45GB，但现在经过优化，可以在 16GB 的显存上运行了。

问：如果我需要 ComfyUI 节点怎么办？ 答：目前还没有兼容的节点，但像 Cubiq 这样的开发者预计很快会发布一个。

问：如何解决输出图像的模糊问题？ 答：通常可以通过放大技术有效减轻模糊。

问：与其他模型相比，使用 PuLID-FLUX 的主要优势是什么？ 答：PuLID-FLUX 提供了一个无调优的高保真度 ID 自定义选项，是进行精确图像自定义的强大工具。

问：PuLID-FLUX 能处理非人类图像吗？ 答：虽然主要设计是针对人类 ID 自定义，但尝试处理非人类图像也能得到有趣的结果。可以去 演示页面 试试。

通过关注最新的更新和优化，使用 PuLID-FLUX 对于认真搞图像生成的爱好者来说，会变得既容易又非常有收获。

SHARE