ClassCat® AI Research

Stable Diffusion 3.5 Medium : Colab / ComfyUI による高品質な画像生成

Posted on by Masashi Okumura

Stable Diffusion 3.5 Medium モデルが10月29日に追加で公開され、前回は Hugging Face Diffusers で画像を生成してみました。今回は Google Colab 上 ComfyUI で高品質な画像を生成してみます。

Stable Diffusion 3.5 Medium : Colab / ComfyUI による高品質な画像生成

作成 : Masashi Okumura (@ClassCat)
作成日時 : 10/31/2024

* 本記事の作成には comfyanonymous.github.io/ComfyUI_examples の以下のページを参考にしています :

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス ⭐️ リニューアルしました 😉

◆ クラスキャット は人工知能に関する各種サービスを提供しています。お気軽にご相談ください :

  • 人工知能導入個別相談会(無償)実施中！ [詳細]

  • 人工知能研究開発支援 [詳細]
    1. 自社特有情報を含むチャットボット構築支援
    2. 画像認識 (医療系含む) / 画像生成

  • PoC(概念実証)を失敗させないための支援 [詳細]

◆ お問合せ : 本件に関するお問合せは下記までお願いします。

  • クラスキャット セールス・インフォメーション
  • sales-info@classcat.com
  • ClassCatJP

 

 

SD3 Medium : Colab / ComfyUI による高品質な画像生成

Stable Diffusion 3.5 Medium モデルが10月29日に追加で公開され、前回 (Stable Diffusion 3.5 Medium モデル登場) は Hugging Face Diffusers で画像を生成してみました。今回は Google Colab 上 ComfyUI で高品質な画像を生成してみます。

ComfyUI_examples の ComfyUI_examples : SD3 Examples : SD3.5 に従っています。

 

環境構築

Colab 上で ComfyUI を利用するには以下に従うだけです。SD3.5 Medium モデルの配備については後述します :

 

sd3.5_medium

必要なファイルは HuggingFace Hub : stabilityai/stable-diffusion-3.5-medium でダウンロード可能です。

sd3.5_medium.safetensor ファイルは ComfyUI/models/checkpoints/ ディレクトリに配置します。

sd3.5_medium.safetensors ファイルにはテキストエンコーダー/CLIP 重みが含まれていません。そのため、定番ですが、別途 “text_encoders” ディレクトリ等から以下をダウンロードする必要があります :

  • clip_g.safetensors
  • clip_l.safetensors
  • t5xxl_fp16.safetensors または t5xxl_fp8_e4m3fn.safetensors

これらは ComfyUI/models/clip/ ディレクトリに配置する必要がありますので、注意してください。

公式のワークフロー (SD3.5M_example_workflow.json) は以下のような単純なものです :

 

サンプリング

ワークフローをそのまま使用してサンプリングすると次のような画像が得られます :

 

ComfyUI_examples

ComfyUI_examples : SD3 Examples : SD3.5 で提供されているワークフローは以下です :

サンプリング結果は :

 

以上