ClassCat® AI Research

FLUX.1 : ComfyUI : マルチ ControlNet (HED & Depth)

Posted on by Masashi Okumura

今回は複数の XLabs-AI ControlNet モデルを使用して、マルチ ControlNet (HED & Depth) 用の ComfyUI ワークフローを作成して試してみます。

FLUX.1 : ComfyUI : マルチ ControlNet (HED & Depth)

作成 : Masashi Okumura (@ClassCat)
作成日時 : 09/24/2024

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス ⭐️ リニューアルしました 😉

◆ クラスキャット は人工知能に関する各種サービスを提供しています。お気軽にご相談ください :

  • 人工知能導入個別相談会(無償)実施中！ [詳細]

  • 人工知能研究開発支援 [詳細]
    1. 自社特有情報を含むチャットボット構築支援
    2. 画像認識 (医療系含む) / 画像生成

  • PoC(概念実証)を失敗させないための支援 [詳細]

◆ お問合せ : 本件に関するお問合せは下記までお願いします。

  • クラスキャット セールス・インフォメーション
  • sales-info@classcat.com
  • ClassCatJP

 

 

FLUX.1 : ComfyUI : マルチ ControlNet (HED & Depth)

先に、Hugging Face Hub で利用可能な XLabs-AI の ControlNet モデルを FLUX.1 : XLabs-AI ControlNet モデル (Canny, Depth) で紹介しましたが、今回は複数の XLabs-AI ControlNet モデルを使用して、マルチ ControlNet (HED & Depth) 用の ComfyUI ワークフローを作成して試してみます。

 

HED エッジ検出

XLabs-AI ControlNet のチェックポイントは Hugging Face Hub で公開されています : XLabs-AI/flux-controlnet-collections

HED エッジ検出のためには flux-hed-controlnet-v3.safetensors を使用してみます。
取得して ComfyUI/models/xlabs/controlnets フォルダに配置すれば良いです。

 

Depth (Midas) (深度マップ)

深度マップについても同様で、flux-depth-controlnet-v3.safetensors を使用してみます。

 

ワークフロー

ワークフローは以下のような感じです。”Apply Flux ControlNet” ノードをカスケード接続しているのがポイントです :

 

実行

入力画像は既にお馴染みになった次の画像を使用します :

　

例えば以下のようなプロンプトを使用してみます :

cyberpunk, a maid with cat ears and a tail holding a cake in the retro kitchen, there are serveral lit candles on the cake, the large window offer a view of the trees at night,

実行すると、次のような出力画像が得られました。ワークフローとしても利用できます :

 

以上