ComfyUI v0.2.0 がリリースされ、そのまま ControlNet が利用できるようになりました。XLab に加えて InstantX + Shakker Labs が FLUX 用の ControlNet を公開しています。

FLUX.1 : ComfyUI v0.2 ControlNet (Canny, Depth & Union)

作成 : Masashi Okumura (@ClassCat)
作成日時 : 09/13/2024

* 本記事は以下のブログ記事を参考にしています :

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

クラスキャット人工知能研究開発支援サービス ⭐️ リニューアルしました 😉

◆ クラスキャットは人工知能に関する各種サービスを提供しています。お気軽にご相談ください :

◆ お問合せ : 本件に関するお問合せは下記までお願いします。

XLabs のモデルについては既に FLUX.1 : XLabs-AI ControlNet モデル (Canny, Depth) で扱っていますので、今回は InstantX と Shaker のモデルを試してみます。

InstantX Canny エッジ検出

ComfyUI v0.2 を使用すると、InstantX の Canny エッジ検出が拡張ノードのインストールなしに実行できます。

InstantX の Canny モデルファイルは Hugging Face Hub InstantX/FLUX.1-dev-Controlnet-Canny から取得できます。ComfyUI/models/controlnet に配置すれば良いです。

ワークフローファイルは、ComfyUI_examples : Flux Examples : Flux Controlnets の画像が利用できます。

Shakker-Labs Depth (深度マップ) ControlNet は、やはり Hugging Face Hub 上の Shakker-Labs/FLUX.1-dev-ControlNet-Depth から取得できます。

要領は同じです。

更に、Shakker-Labs から Union ControlNet も公開されています : Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro

This repository contains a unified ControlNet for FLUX.1-dev model jointly released by researchers from InstantX Team and Shakker Labs.

モデルカードによれば :

このチェックポイントは、InstantX/FLUX.1-dev-Controlnet-Union の Pro 版でより多くのステップとデータセットでトレーニングされています。
このモデルは 7 つの制御モードをサポートしています : canny (0), tile (1), depth (2), blur (3), pose (4), gray (5), low quality (6).
推奨 controlnet_conditioning_scale は 0.3-0.8
このモデルは他の ControlNet とともに使用できます。

ワークフローは Civitai で見つかります : Flux Union Controlnet Pro workflow

以上