Hugging Face で Black Forest Labs が公開した FLUX.1 dev & schnell 完全版を利用して Google Colab 上 ComfyUI で高品質な画像を生成してみます。

FLUX.1 : Colab / ComfyUI による高品質な画像生成

作成 : Masashi Okumura (@ClassCat)
作成日時 : 08/12/2024

* 本記事の作成には comfyanonymous.github.io/ComfyUI_examples の以下のページを参考にしています :

• ComfyUI_examples : Flux Examples

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

 

 

FLUX.1 : Colab / ComfyUI による高品質な画像生成

前回は FLUX.1 による画像生成について、FLUX.1 : Colab / ComfyUI で FP8 精度の画像を簡単生成 という記事を公開しましたが、今回は Hugging Face で Black Forest Labs が公開した FLUX.1 dev & schnell 完全版を利用して Google Colab 上 ComfyUI で高品質な画像を生成してみます。

ComfyUI_examples : Flux Examples の Regular Full Version のセクションに従っています。

 

環境構築

Colab 上で ComfyUI を利用するには以下に従うだけですが、FLUX.1 完全版の配備についてはこの後のセクションで説明します :

• comfyanonymous/ComfyUI/README.md : Jupyter Notebook

※ ハードウェア・アクセラレータは L4 GPU でも動作しました。21+ GB ほど消費します。

 

CLIP

t5xxl_fp16.safetensors　あるいは　clip_l.safetensors　が ComfyUI/models/clip/ ディレクトリにまだない場合は、Hugging Face の comfyanonymous/flux_text_encoders からダウンロードして配置します。

※ t5xxl_fp16.safetensors と clip_l.safetensors の両方とも必要です。
※ メモリが十分でない場合には t5xxl_fp8_e4m3fn.safetensors を代わりに使用できますが、t5xxl_fp16.safetensors が推奨です。

 

VAE

VAE は black-forest-labs/FLUX.1-schnell にありますので、ダウンロードして ComfyUI/models/vae/ ディレクトリに配置します。

 

FLUX.1 Dev

Flux Dev 拡散モデルの重みは black-forest-labs/FLUX.1-dev にあります。flux1-dev.safetensors ファイルを ComfyUI/models/unet/ に配置してください。

前出の ComfyUI_examples : Flux Examples の Regular Full Version : Flux Dev にある画像を ComfyUI 上にドラッグ&ドロップすれば、以下のようなワークフローが得られます :

 

FLUX.1 Schnell

Flux Schnell は蒸留された (distilled) 4 ステップ・モデルです。

Flux Schnell 拡散モデルの重みは black-forest-labs/FLUX.1-schnell にあります。flux1-schnell.safetensors ファイルを ComfyUI/models/unet/ に配置してください。

前出の ComfyUI_examples : Flux Examples の Regular Full Version : Flux Schnell にある画像を ComfyUI 上にドラッグ&ドロップすれば、以下のようなワークフローが得られます :

以上