【Stable Diffusion】VAEとは何か。使い方や便利な設定について

Stable Diffusionの「VAE」という機能を使うと簡単に画質を向上することができます。

生成した画像にもよりますが、簡単に言うと「クリアにする」

ハッキリとクリアにするにはプロンプトで指示を出すか、生成後に画像を補正する方が好みに近づけると思いますが、「VAE」を使うだけでもやっとしたのは簡単に取れます。

ネガティブプロンプトでコントロールするには難しいことも、「VAE」を使えば簡単にできます。

今回はStable Diffusionの「VAE」について、ポイントや導入方法、おすすめの「VAE」について説明します。

Stable Diffusion「VAE」とは何か

「VAE(ブイエーイー)」とはVariational Auto-Encoderの略で、Stable Diffusionの機能のことです。

「VAE」を使うだけで、簡単に画質のクオリティをあげることができ、必須ツールとなっています。

「VAE」を使う理由は以下のようになります。

くすみや彩度の低さを防ぐ
鮮明になることで、細かい部分も補正される
色のバランスがとれる

Stable Diffusionで生成される画像は、全体的に色味が薄くなったりぼやけて見えることがあります。

「VAE」を使うことで、そのデメリットを解消できます。

「VAE」で覚えておきたいポイント

「VAE」はすべてのモデルに対応しているわけではなく、モデルとは別に用意したり、その必要が無い場合もあります。

「VAE」の利用について押さえておきたいポイントは以下のようになります。

Stable Diffusion「VAE」のポイント

モデルと同じく単体のファイルである
モデルごとに合うVAEがある
すでにモデルに組み込まれている場合がある
SDXLモデルの注意点

モデルと同じく単体のファイルである

VAEにはVAEのファイルがあり、モデルと同じく所定のフォルダにダウンロード後入れておく必要があります。

また、VAEにもライセンスがそれぞれあるので、利用の際には確認が必要です。

ファイルの拡張子

.pt
.ckpt
.safetensors

ファイルの場所

📁stable-diffusionwebui > 📁models >📁VAE

モデルごとに合うVAEがある

「VAE」１つ用意すればいいのではなく、モデルに適したVAEがあります。

各モデルのダウンロードサイトで詳細にVAEの指定がある場合は、推奨されるVAEを用意します。

またモデルのアップデートで、VAEのバージョン変更がある場合もありますので確認するようにしましょう。

すでにモデルに組み込まれている場合がある

モデルによっては、すでにVAEが組み込まれているものもあります。

ダウンロードサイトで詳細に不要と書かれている場合は、Stable DiffusionのVAEの選択で「none」を選ぶようにします。

またモデルのアップデートでVAEが導入される場合もあるので、同じモデルでもダウンロード時は必ず詳細を確認しましょう。

SDXLモデルの注意点

モデルがSDXLタイプの場合は、SDXL専用のVAEを使うことになります。

互換性が無いので注意してください。

VAEのダウンロード先

「VAE」を利用する際は、まず「VAE」のダウンロードサイトで詳細を必ずチェックしてください。

「VAE」はcivitaiかHugging Faceからダウンロードできます。

ファイルの拡張子

.pt
.ckpt
.safetensors

ファイルの場所

📁stable-diffusionwebui > 📁models >📁VAE

Civitai

トップページで「VAE」と検索し、ダウンロードしたいVAEのページを開くと、ダウンロードボタンがあるのでクリックします。

詳細も表示されているので、翻訳機能を使ってチェックしておきましょう。

: Civitai | Discover and Create AI Art

Explore thousands of free Stable Diffusion & Flux models, create and share AI-generated art, and joi ...

続きを見る

Hugging Face

トップページで「VAE」を検索し、ダウンロードしたいVAEのページを開くと、「Files and versions」というタブがあるのでクリックします。

ダウンロードしたいVAEをクリックしてダウンロードします。

: Hugging Face – The AI community building the future.

We’re on a journey to advance and democratize artificial intelligence through open source and open s ...

続きを見る

代表的なVAE

VAEの選び方は、まずモデルで推奨されるVAEがあるかをチェックします。

特に記載がない場合は、他のVAEで試してみたり、モデルに組み込まれている場合は使わないでOKです。

次にいくつかのVAEの中から、人気のものやおすすめのVAEを紹介します。

vae-ft-mse-840000-ema-pruned
Clear VAE
Color101

vae-ft-mse-840000-ema-pruned

リアル系画像で人気なのが、Stability AI社が公開している「vae-ft-mse-840000-ema-pruned」です。

「vae-ft-mse-840000-ema-pruned」を推奨しているモデルもよくあるので、初めてのVAEやひとつ用意しておくVAEとしておすすめです。

リアル系で人気ですが、イラストでも使えます。

「vae-ft-mse-840000-ema-pruned」の導入方法や画像比較についてはこちらの記事をご覧ください。

: 【VAE】vae-ft-mse-840000-ema-prunedの使い方

続きを見る

Clear VAE

アニメ、イラスト系の画像生成で人気のVAEです。

: https://civitai.com/models/22354/clearvae

civitai.com

Color101

アニメ、イラスト系におすすめ。彩度高め、肌の色に赤みを加えた表現に強いVAEです。

: https://civitai.com/models/70248/color101-vae

civitai.com

VAEの設定

VAEはファイルをフォルダに入れるだけでは適応されず、設定が必要です。

インストールしたVAEファイルをフォルダに入れた後、Stable Diffusion WebUIを立ち上げます。

「Settings」のタブを開きます
画面左のセッティングメニューに「VAE」があるのでクリックします
「SD VAE」のプルダウンをクリックし、「vae-ft-mse-840000-ema-pruned」を選択します

Stable Diffusion WebUIを立ち上げたまま、ダウンロードしたファイルを所定フォルダいに入れた際は、反映されていない場合があるので、リロードして読み込んでみてください。

上記の設定方法では、毎回settingsのページを開き、設定する必要がでてきますので、次にこの手間を省く設定を行います。

先ほどと同じく「Settings」を開きます。

左側のメニューから次は「User interface」を開きます
「Quicksettings list」という項目があるので、項目のプルダウンをクリックします
リストの中から「sd_vae」を探し、選択します。

「sd_model_checkpoint」がすでに設定されていますが、追加で「sd_vae」が並べばOKです。

最後にsettingsの上部にある「Apply settings」をクリックし設定を完了させ、「Reload Ul」ボタンをクリックし更新します。

これで設定は完了です。

「txt2img」のタブをクリックし、いつものプロンプト入力画面に戻ります。

今まで画面上部にはモデルを切り替える[checkpoint]しか表示されていませんでしたが、今回の設定で隣にVAEを選択できる項目ができました。

ここでリロードもできるようになるので、モデルと同じように切り替えることも簡単にできます。

もし、[SD_VAE]が表示されていない場合は、設定保存忘れ、リロード忘れがないかなど見直してください。

VAEの使い方

VAEを適応させたら、画像生成時は以下の手順で使います。

Stable Diffusion WebUI画面左上にある「SD VAE」のプルダウンから使用したいVAEのファイルを選びます。

これだけで、VAEが適用されますので、特に設定入りません。

使わない場合は「None」を選びます。

適応させる設定をしたのにVAEが見つからない場合は、以下のことを試してみてください。

隣にあるリロードボタンを押してみる
再起動してみる
所定のフォルダにファイルがあるか確認する

VAEの拡張機能

拡張機能の「VAE」もあり、高解像度化もできる機能があります。

Tiled Diffusion with Tiled VAE

「Tiled Diffusion with Tiled VAE」は、「Tiled Diffusion」と「Tiled VAE」の2つが入った拡張機能です。

VRAMをさほど使用しなくても、高解像度化された画像が生成できます。

「Tiled Diffusion with Tiled VAE」のライセンスは「CC BY-NC-SA 4.0」が付与されているので、商用サービスへの使用、コードの販売はできません。

詳しくはこちらをご覧ください。

: GitHub - pkuliyi2015/multidiffusion-upscaler-for-automatic1111: Tiled Diffusion and VAE optimize, licensed under CC BY-NC-SA 4.0 · GitHub

Tiled Diffusion and VAE optimize, licensed under CC BY-NC-SA 4.0 - pkuliyi2015/multidiffusion-upscal ...

続きを見る