FLUX.1 用の ControlNet モデルも既に幾つか公開されています。今回は Hugging Face Hub で利用可能な XLabs-AI のモデルを試してみます。

FLUX.1 : XLabs-AI ControlNet モデル (Canny, Depth)

作成 : Masashi Okumura (@ClassCat)
作成日時 : 09/08/2024

* 本記事は 🤗 Hugging Face Hub で公開されているモデル重みを使用しています :

• huggingface.co/XLabs-AI/flux-controlnet-collections

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

 

 

FLUX.1 : XLabs-AI ControlNet モデル (Canny, Depth)

FLUX.1 用の ControlNet モデルも既に幾つか公開されています。今回は Hugging Face Hub で利用可能な XLabs-AI のモデル を ComfyUI で試してみます。

 

ComfyUI 拡張ノード

公開されているモデルを ComfyUI で使用するには 2 種類の拡張ノードのインストールが必要です。

 
ControlNet Auxiliary プリプロセッサ

Fannovel16/comfyui_controlnet_aux は ControlNet のヒント画像を生成するための Plug&Play ComfyUI ノードセットです。

インストールは ComfyUI Manager の使用が推奨されていますが、通常の拡張ノードとしてインストールしても問題ありません :

1. ComfyUI/custom_nodes/ フォルダに移動。
2. git clone https://github.com/Fannovel16/comfyui_controlnet_aux
3. comfyui_controlnet_aux フォルダで “pip install -r requirements.txt”

 
x-flux-comfyui

そして XLabs-AI の拡張ノード x-flux-comfyui のインストールも必要になります :

1. ComfyUI/custom_nodes に移動。
2. git clone https://github.com/XLabs-AI/x-flux-comfyui
3. x-flux-comfyui フォルダで “python setup.py”

 

Canny エッジ検出

XLabs-AI ControlNet のチェックポイントは Hugging Face Hub で公開されています : XLabs-AI/flux-controlnet-collections

Canny エッジ検出のために flux-canny-controlnet.safetensors を使用してみます。
取得して ComfyUI/models/xlabs/controlnets フォルダに配置すれば良いです。

ワークフロー canny_workflow.json をロードすると次のようなワークフローが得られます :

そしてサンプリングを実行すると :

 

Depth (Midas) (深度マップ)

深度マップについても同様で、flux-depth-controlnet.safetensors を使用してみます。

ワークフロー depth_workflow.json をロードすると次のようなワークフローが得られます :

サンプリングを実行すると :

以上