Stable Diffusionの「VAE(ブイエーイー)」とは、簡単に言うと画質のクオリティを上げるツールで、導入するだけで
- ぼやけた画像がクリアになる
- 彩度が上がる
- くすみが取れる
など、ネガティブプロンプトでコントロールするには難しいことも、VAEを使えば簡単にできます。
聞きなれない用語に最初は難しそうに感じましたが、導入や設定も簡単でしたので今回は画像付きで初心者にもわかりやすく解説します。
こんな方におすすめ
- ぼやけた画像をどうにかしたい
- 彩度を上げたい
- 画像のクオリティを簡単に上げたい
VAEとは何か
「vae-ft-mse-840000-ema-pruned」使用
生成した画像にもよりますが、簡単に言うと「クリアにする」
ハッキリとクリアにするにはプロンプトで指示を出すか、生成後に画像を補正する方が好みに近づけると思いますが、
VAEを使うだけでもやっとしたのは簡単に取れます。
VAEについてまず知っておきたいことは
- 同じモデルでもVAEによって画像の雰囲気は変わる（相性がある）
- アニメ系に特化したVAEがある
- モデル詳細で推奨されるVAEがある
- モデルがすでにVAEが組み込まれている
使いたいモデルで推奨されるVAEがないか確認し、なければいろいろ試して好みのVAEを見つけましょう。
ファイルの拡張子は以下のタイプです。
- .pt
- .ckpt
- .safetensors
VAEのダウンロード
VAEはcivitaiかHugging Faceからダウンロードできます。
VAEを使う際は、ライセンサー規約を必ず確認してください。
Civitaiの場合
トップページで「VAE」と検索し、ダウンロードしたいVAEのページを開くと、ダウンロードボタンがあるのでクリックします。
huggingfaceの場合
トップページで「VAE」を検索し、ダウンロードしたいVAEのページを開くと、「Files and versions」というタブがあるのでクリック。
ダウンロードしたいVAEをクリックしてダウンロードします。
VAEデータの保存場所
ダウンロードしたファイルは、Stable Diffusion WebUIがインストールされているフォルダ
stable-diffusion-webui > models > VAE
に入れてください。
代表的なVAE
ここでは代表的なVAEを紹介します。
vae-ft-mse-840000-ema-pruned
リアル系画像で人気なのが、Stability AI社が公開しているVAEです。
イラスト系でも使えます。
詳しくはこちらの記事で解説しています。
-
-
【VAE】vae-ft-mse-840000-ema-prunedの使い方
生成した画像がぼやけていたり、くすんでいたり、もう少しトーンを上げたいときは、 「vae-ft-mse-840000-ema-pruned」というVAEを使うと簡単に解決で ...
続きを見る
Clear VAE
アニメ、イラスト系の画像生成で人気のVAEです。
-
-
https://civitai.com/models/22354/clearvae
civitai.com
Color101
アニメ、イラスト系におすすめ。彩度高め、肌の色に赤みを加えた表現に強いVAEです。
-
-
https://civitai.com/models/70248/color101-vae
VAEの基本的な使い方
VAEはファイルをフォルダに入れるだけでは適応されません。
フォルダに入れた後、Stable Diffusion WebUIを立ち上げます。
- 「Settings」のタブを開きます
- 画面左のセッティングメニューに「VAE」があるのでクリックします
- 「SD VAE」のプルダウンをクリックし、「vae-ft-mse-840000-ema-pruned」を選択します
Stable Diffusion WebUIを立ち上げたまま、ファイルをダウンロードし、所定のVAEフォルダに入れた際、プルダウン内にファイル名が表記されていない可能性があります。
その場合はリロードして読み込みます。
設定はこれで完了です。
「txt2img」タブを開き、いつも通り画像を生成すると「vae-ft-mse-840000-ema-pruned」が適応されます。
VAEを使用しない(none）または、違うVAEに切り替えるときもここで切り替えます。
VAEを簡単に使えるようにする
上記の設定方法では、毎回settingsのページを開き、設定する必要がでてきます。
この手間を省く方法があります。
「Stable Diffusion Webui」アップデートで設定方法が変わりましたので、2023年10月時点最新版での解説です。
先ほどと同じく「Settings」を開きます。
- 左側のメニューから次は「User interface」を開きます
- 「Quicksettings list」という項目があるので、項目のプルダウンをクリックします
- リストの中から「sd_vae」を探し、選択します。
「sd_model_checkpoint」がすでに設定されていますが、追加で「sd_vae」が並べばOKです。
最後にsettingsの上部にある「Apply settings」をクリックし設定を完了させ、
右にある「Reload Ul」をクリックし更新します。
「txt2img」のタブをクリックし、いつものプロンプト入力画面に戻ります。
今まで画面上部にはモデルを切り替える[checkpoint]しか表示されていませんでしたが、今回の設定で隣にVAEを選択できる項目ができました。
ここでリロードもできるようになるので、モデルと同じように切り替えることも簡単にできます。
もし、[SD_VAE]が表示されていない場合は、設定保存忘れ、リロード忘れがないかなど見直してください。
まとめ
VAEにはいろんな種類があるのですが、ダウンロードができなくなっているものもいくつか出てきていました。
モデルにすでに入っているものもありますので、今後VAEが必須であるかはわかりませんが、アニメやイラスト系を生成する方は特にクオリティUPが見込めるツールですので是非参考にしていただければと思います。
また、セッティングに関しても最初だけですので「txt2img」の画面で選択できるようにすると効率的には良いです。
Stable Diffusionガイド
Stable Diffusionで大事なグラボ
画像生成において、グラボは妥協せずに用意しましょう。
最低でも「RTX 3060」を用意すると、生成もスムーズに行えます
Stable Diffusion関連書籍
Stable Diffusionスタートから応用まで学べる１冊
Stable Diffusion LORAの使い方までしっかりカバー
ゲーム系画像が作りたい方におすすめ
」とは、簡単に言うと画質のクオリティを上げるツールで、導入するだけで ぼやけた画像がクリアになる 彩){kind=link}