【Stable Diffusion web UI】VAEを使って鮮やかな画像を生成する
VAE（variational autoencode）とは
Stable Diffusionのチェックポイントモデルの説明を見ているとよくVAEの指定とかが出てきますよね。このVAEとはどんな技術なのでしょうか。
VAE（変分オートエンコーダー）とは、画像をコンピューターが理解しやすい形に変換するためのツールのことです。この技術は、画像を小さなデータの集まりに変換し、その後で元の画像に戻すことができます。これにより、コンピューターは画像をより速く処理することが可能になります。
ロンドンにあるAI開発の大手でStable Diffusionモデルを開発した「Stability AI」という会社は、EMAとMSEという2種類の改良されたVAEをリリースしました。これらは、VAEがどれだけうまく機能しているかを測るための指標です。EMAは、時間が経つにつれてデータがどれだけ安定しているかを示し、MSEは、データの平均的な誤差がどれだけ小さいかを示します。
もともとモデルにはデフォルトのVAEが組み込まれているので、Stable Diffusionを使う時、VAEを別途インストールする必要はありません。しかし、より良いVAEが開発されることがあります。これは、元のVAEを改良して、画像の細かい部分をより鮮明に再現できるようにしたものです。この改良されたVAEを使うと、色味が鮮やかになり、目や文字などの細かいディテールがよりクリアに表示されます。
VAEのインストール方法
VAEのインストール方法はNegativeEmbeddingの時と同様で、指定されたフォルダーにファイル入れるだけです。
ダウンロード
まずは先ほど紹介した「Stability AI」の2つのモデルの中から、お好きな方をインストールしてみましょう。
とくに理由がなければsafetensorsファイルをダウンロードしましょう。
フォルダーに移動
ダウンロードしてきたファイルを/stable-diffusion-webui/models/VAEフォルダーに移動します。
VAEセレクターの出し方
VAEの選択時に「Setting」ページのVAEから選択する方法もありますが、VAEセレクターから選択する方法が断然に便利なのでセレクターを使いましょう。
- 設定を開く：Stable Diffusion web UIのブラウザーを開き「Settings」ページを開きます。
- ユーザーインターフェースの選択：左側のメニューから「User Interface」を選択してください。
-
クイック設定リストから検索：検索ボックスに
sd_vaeと入力し、検索結果から該当する項目を選択します。sd_vae - 設定の適用：選択後、「Apply Settings」ボタンをクリックします。
- UIの再起動：「Reload UI」を押して、ユーザーインターフェースを再起動します。
VAEの使い方
先ほど適応したVAEセレクターから選択しましょう。
Automaticについて
VAEの選択リストにある「Automatic」はチェックポイントモデルの名前とVAEの名前が一致した場合に自動で適応される機能です。チェックポイントモデルに対していい感じのVAEを選んでくれる訳ではないのでご注意を。
オススメのVAE
ここからはよく使われているオススメのVAEモデルを紹介します。
SD1.5モデルのVAE紹介
SD1.5のVAEは先ほど紹介したStability AIの2つのモデル以外にもたくさんあります。サンプルの比較画像は「darkSushiMixMix_2.25D」を使って生成しています。
kl-f8-anime2 VAE
- 作者：🔗migatte2001388
- ダウンロード：385.84 MB
- アップロード：2023/3/25
- データ形式：safetensors
migatte2001388氏の「kl-f8-anime2 VAE」は全体的にくっきりした画像を生成します。
Color101 VAE
- 作者：🔗Rexts
- ダウンロード：319.14 MB
- アップロード：2023/5/29
- データ形式：safetensors
Rexts氏の「Color101 VAE」も全体的にコントラストがしっかりでます。
difConsistency RAW VAE
- 作者：🔗rMada
- ダウンロード：319.19 MB
- アップロード：2023/6/12
- データ形式：pt
rMada氏の「difConsistency RAW VAE」は少しトーンの落ち着いた感じになります。サイトにはチェックポイントモデル・ネガティブエンベディング・Lora等をセットにして使うことを推奨しています。
Matrix-VAE
- 作者：🔗lawsuit
- ダウンロード：147.42 MB
- アップロード：2023/7/10
- データ形式：pt
lawsuit氏の「Matrix-VAE」は「Matrix-Anime」用に開発されたVAEですがサンプル画像の「darkSushiMixMix_225D」にもちゃんと影響しています。こちらもコントラストを落ち着かしてくれます。
Tone Range Compressor (VAE)
- 作者：🔗Z_phyr
- ダウンロード：159.58 MB
- アップロード：2023/6/10
- データ形式：safetensors
Z_phyr氏の「Tone Range Compressor (VAE)」は白トビ黒潰れを解消してくれます。サンプル画像では後頭部あたりの影部を明るくなっているのが確認できます。
SDXLモデルのVAE紹介
SDXLモデルのVAEはまだまだ少ないですが紹介します。サンプルの比較画像は「bluePencilXL_v500」を使って生成しています。
sdxl-vae
- 作者：🔗Stability AI
- ダウンロード：335 MB
- アップロード：2023/7/27
- データ形式：safetensors
Stability AIの「sdxl-vae」は見た感じほとんど変わってませんが、スキントーンを見てみるとナチュラルな色になっているのがわかります。
FIX FP16 Errors SDXL – Lower Memory use
- 作者：🔗nucleardiffusion
- ダウンロード：319.14 MB
- アップロード：2023/9/6
- データ形式：safetensors
nucleardiffusion氏の「FIX FP16 Errors SDXL – Lower Memory use」は先ほど紹介した「sdxl-vae」をfp-16の低メモリーで計算できるように調節されたモデルです。生成は高速ですが生成結果はほとんど「sdxl-vae」と変わりません。
XL_VAE_F
- 作者：🔗atw44qb
- ダウンロード：159.58 MB
- アップロード：2023/6/10
- データ形式：safetensors
atw44qb氏の「XL_VAE_F」はコントラストがハッキリした画像を生成してくれます。サイトページには他複数のバージョンがあります。
まとめ
今回はVAEの使い方とオススメモデルの紹介をさせていただきました。VAEは画像をコンピューターが扱いやすい形に変換するツールであり、改良されたVAEを使うと、画像の品質が向上します。Stable Diffusionを使う際には、とくにVAEを気にする必要はありませんが、より良い結果を求める場合は、改良されたVAEを試してみる価値があるかもしれません。