🤗 Hugging Face Hub で city96/FLUX.1-dev-gguf が公開している black-forest-labs/FLUX.1-dev の GGUF 変換済みの量子化モデルを ComfyUI で試してみました。

FLUX.1 : GGUF 形式の量子化モデル

作成 : Masashi Okumura (@ClassCat)
作成日時 : 09/04/2024

* 本記事は 🤗 Hugging Face Hub で公開されているモデル重みを使用しています :

huggingface.co/city96/FLUX.1-dev-gguf

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

クラスキャット人工知能研究開発支援サービス ⭐️ リニューアルしました 😉

◆ クラスキャットは人工知能に関する各種サービスを提供しています。お気軽にご相談ください :

人工知能導入個別相談会(無償)実施中！ [詳細]
人工知能研究開発支援 [詳細]
1. 自社特有情報を含むチャットボット構築支援
2. 画像認識 (医療系含む) / 画像生成
PoC(概念実証)を失敗させないための支援 [詳細]

◆ お問合せ : 本件に関するお問合せは下記までお願いします。

クラスキャット セールス・インフォメーション
sales-info@classcat.com
ClassCatJP

FLUX.1 : GGUF 形式の量子化モデル

🤗 Hugging Face Hub で city96/FLUX.1-dev-gguf が公開している black-forest-labs/FLUX.1-dev の GGUF 変換済みの量子化モデルを ComfyUI で試してみました。

※ 微調整モデルではなく量子化モデルですので、black-forest-labs/FLUX.1-dev と同じ制限や元のライセンス条件が依然として適用されます。

実践

使用方法は簡単でモデルカードに記載されている通りです :

モデルファイルは ComfyUI-GGUF カスタムノードでロードできます。
モデルファイルは通常のように ComfyUI/models/unet に配置します。

サンプリング実行時に簡単に確認した各モデルファイルの仕様は以下です :

モデルファイル	サイズ	使用 GPU メモリ
flux1-dev-Q2_K.gguf	3.8G	14,337MiB
flux1-dev-Q3_K_S.gguf	4.9G	15,425MiB
flux1-dev-Q4_K_S.gguf	6.4G	17,025MiB
flux1-dev-Q5_K_S.gguf	7.8G	18,529MiB
flux1-dev-Q6_K.gguf	9.2G	19,873MiB
flux1-dev-Q8_0.gguf	12G	19,969MiB
flux1-dev.safetensors	23G	22,177MiB

量子化タイプの基本的な概要についてはこのチャートを参照してください。

サンプリング

各モデルファイルによるサンプリング結果を以下に示します。
flux1-dev-Q2_K.gguf は厳しいですし、flux1-dev-Q3_K_S.gguf や flux1-dev-Q4_K_S.gguf も少し表現力に欠ける印象ですが、あとは利用可能な GPU 仕様を考慮して最適なモデルファイルを選択すれば良いでしょう。

flux1-dev-Q2_K.gguf