今回は SDXL 用のマルチ ControlNet を試してみます。Hugging Face Hub で利用可能な diffusers のモデルを利用します。

SDXL : ComfyUI マルチ ControlNet (Canny, depth)

作成 : Masashi Okumura (@ClassCat)
作成日時 : 10/14/2024

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

クラスキャット人工知能研究開発支援サービス ⭐️ リニューアルしました 😉

◆ クラスキャットは人工知能に関する各種サービスを提供しています。お気軽にご相談ください :

◆ お問合せ : 本件に関するお問合せは下記までお願いします。

今回は SDXL 用のマルチ ControlNet を試してみます。Hugging Face Hub で利用可能な diffusers のモデルを利用します。

Canny エッジ検出

Diffusers の ControlNet のチェックポイントは SDXL ControlNets で各種公開されています。

今回は Canny エッジ検出のために diffusers/controlnet-canny-sdxl-1.0 を使用してみます。
取得して ComfyUI/models/controlnet フォルダに配置すれば良いです。

もう一つのコントロールネット用の Depth (深度マップ) のためには diffusers/controlnet-depth-sdxl-1.0 を使用します。
取得して ComfyUI/models/controlnet フォルダに配置すれば良いです。

ワークフローは前回 (SDXL : ComfyUI ControlNet (Canny)) のものに、”Apply ControlNet” ノードを追加してカスケード接続すれば良いです :

次の入力画像に対して :

サンプリングを実行すると :

以上