FLUX.1 : XLabs-AI ControlNet モデル (Canny, Depth)

Posted on by Masashi Okumura

FLUX.1 用の ControlNet モデルも既に幾つか公開されています。今回は Hugging Face Hub で利用可能な XLabs-AI のモデルを試してみます。

FLUX.1 : XLabs-AI ControlNet モデル (Canny, Depth)

作成 : Masashi Okumura (@ClassCat)
作成日時 : 09/08/2024

* 本記事は 🤗 Hugging Face Hub で公開されているモデル重みを使用しています :

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス ⭐️ リニューアルしました 😉

◆ クラスキャット は人工知能に関する各種サービスを提供しています。お気軽にご相談ください :

  • 人工知能導入個別相談会(無償)実施中！ [詳細]

  • 人工知能研究開発支援 [詳細]
    1. 自社特有情報を含むチャットボット構築支援
    2. 画像認識 (医療系含む) / 画像生成

  • PoC(概念実証)を失敗させないための支援 [詳細]

◆ お問合せ : 本件に関するお問合せは下記までお願いします。

  • クラスキャット セールス・インフォメーション
  • sales-info@classcat.com
  • ClassCatJP

 

 

FLUX.1 : XLabs-AI ControlNet モデル (Canny, Depth)

FLUX.1 用の ControlNet モデルも既に幾つか公開されています。今回は Hugging Face Hub で利用可能な XLabs-AI のモデル を ComfyUI で試してみます。

 

ComfyUI 拡張ノード

公開されているモデルを ComfyUI で使用するには 2 種類の拡張ノードのインストールが必要です。

 
ControlNet Auxiliary プリプロセッサ

Fannovel16/comfyui_controlnet_aux は ControlNet のヒント画像を生成するための Plug&Play ComfyUI ノードセットです。

インストールは ComfyUI Manager の使用が推奨されていますが、通常の拡張ノードとしてインストールしても問題ありません :

  1. ComfyUI/custom_nodes/ フォルダに移動。
  2. git clone https://github.com/Fannovel16/comfyui_controlnet_aux
  3. comfyui_controlnet_aux フォルダで “pip install -r requirements.txt”

 
x-flux-comfyui

そして XLabs-AI の拡張ノード x-flux-comfyui のインストールも必要になります :

  1. ComfyUI/custom_nodes に移動。
  2. git clone https://github.com/XLabs-AI/x-flux-comfyui
  3. x-flux-comfyui フォルダで “python setup.py”

 

Canny エッジ検出

XLabs-AI ControlNet のチェックポイントは Hugging Face Hub で公開されています : XLabs-AI/flux-controlnet-collections

Canny エッジ検出のために flux-canny-controlnet.safetensors を使用してみます。
取得して ComfyUI/models/xlabs/controlnets フォルダに配置すれば良いです。

ワークフロー canny_workflow.json をロードすると次のようなワークフローが得られます :

そしてサンプリングを実行すると :

 

Depth (Midas) (深度マップ)

深度マップについても同様で、flux-depth-controlnet.safetensors を使用してみます。

ワークフロー depth_workflow.json をロードすると次のようなワークフローが得られます :

サンプリングを実行すると :

 

以上