SDXL 用の ControlNet モデルも幾つか公開されています。今回は Hugging Face Hub で利用可能な diffusers のモデルを試してみます。
SDXL : ComfyUI ControlNet (Canny)
作成 : Masashi Okumura (@ClassCat)
作成日時 : 10/13/2024
* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
◆ お問合せ : 本件に関するお問合せは下記までお願いします。
- クラスキャット セールス・インフォメーション
- sales-info@classcat.com
- ClassCatJP
SDXL : ComfyUI ControlNet (Canny)
SDXL 用の ControlNet モデルも幾つか公開されています。今回は Hugging Face Hub で利用可能な diffusers のモデルを試してみます。
Canny エッジ検出
Diffusers の ControlNet のチェックポイントは SDXL ControlNets で各種公開されています。
今回は Canny エッジ検出のために diffusers/controlnet-canny-sdxl-1.0 を使用してみます。
取得して ComfyUI/models/controlnet フォルダに配置すれば良いです。
ワークフローは通常の Stable Diffusion 用のものがそのまま利用できます。例えば ComfyUI_examples : ControlNet and T2I-Adapter Examples が参考になります。ロードすると次のようなワークフローが得られます :
そして次の入力画像に対して :
サンプリングを実行すると :
以上