低VRAMでも大丈夫！Stable Diffusionの進化版SDXLを使ってみたらこんなにすごかったのじゃ！画像生成のコツと結果を公開するのじゃ💖

今日は以前から興味があったStable Diffusionの最新版であるSDXLを試してみるのじゃ💖

SDXLは驚くほど高品質な画像を生成できるみたいなのじゃ

グラボのVRAMが足りないのでSDXLは諦めていたのじゃが低VRAMでも出来るとの情報をゲットしたので早速試してみるのじゃ💖

わしのようにVRAMが足りなくてSDXLを諦めていた人はぜひ見て欲しいのじゃ💖

手順は以下の通りなのじゃ💖

SDXLではモデルを２つ使うみたいなのじゃ

あとはいつものプロンプトを入力して作成するだけなのじゃ💖

早速やってみるのじゃ💖

SDXLで生成したイラストがこちらなのじゃ！

お、思ってたのと違うのじゃ・・・

そもそもいつもはblue_pencilモデルを使っているにそこを変えると絵柄も変わるのは当然なのじゃ

というわけで、blue_pencilモデルのSDXL版であるblue_pencil-XL v3.0をダウンロードするのじゃ💖

これはbaseだけでいいのかのう？

よくわからんがとにかくやってみるのじゃ💖

ほうほう、なかなか可愛らしいではないか💖

じゃがちょっと幼い感じなのじゃ

絵柄も今の絵より少しだけリアルな感じになっておるのじゃ

ちなみにblue_pencilモデルは10ぐらいまであるのじゃが、8以降は顔が幼くなるのでわしはいつも7を使っているのじゃ

SDXLの推奨サイズは1024×1024らしいのでそれでも作ってみるのじゃ

う～む、大して変わらんのう・・・

blue_pencil-XL v3.0のページに下記があったのじゃ

”Negative Embeddings: unaestheticXL or NegativeXL”

とりあえずunaestheticXL_Sky3.1をダウンロードしてNegativeプロンプトに挿入してみたのじゃ

それほど変わらんのじゃ・・・

やはりGothic lolitaのタグの影響なのか？

試しにGothic lolitaタグを抜いてセクシーなバニーガールでやってみるのじゃ💖

う～む、セクシーさが足りないのじゃ

試しにRefinerのCheckpointもblue_pencil-XL v3.0にしてみるのじゃ

なかなかセクシーになったのじゃ💖

はっ！目的を見失っていたのじゃ

目的は幼い顔をもっと大人っぽくすることじゃった・・・

こうなったらControlNetのreference_onlyを使ってみるのじゃ

下のイラストをreference_onlyにセットなのじゃ！

体は良い感じなのじゃが、顔の幼さでアンバランスなのじゃ・・

う～ん、今のところこれが限界なのじゃ

試しにわしの設定を抜いて作ってみるのじゃ

抜いたタグはこれなのじゃ

red eyes,silver hair,ponytail,ahoge,small breasts

あれ？なんかいい感じのイラストなのじゃ！？

もしかしてわしの設定が悪い？

銀髪、赤目、ポニーテール、アホ毛、ゴスロリが余計だった？

み、認めないのじゃ！！

こうなったら力業なのじゃ！！

どうじゃ！

モデルを戻して顔だけinpaintで修正したのじゃ

少々面倒じゃが、こういったやり方もありなのじゃ💖

良かった点や気になる点をまとめてみたのじゃ💖

今のところリアル寄りならSDXL、アニメ寄りならSDという感じなのじゃ💖

気になった点もプロンプトタグの工夫でどうにかなる場合もあるのじゃ

今回はStable Diffusionの進化版SDXLを低VRAMで使用するやり方と実際に使用してみたのじゃ💖

この記事を見て気になった人はぜひ試してほしいのじゃ💖

この記事の感想や質問などはSNSやコメント欄で気軽にして欲しいのじゃ

わしもあまり詳しくはないが一緒に悩むことはできるのじゃ💖

このブログではAIイラストに限らず、AI動画、AI音声などAIを使った生成AI（ジェネレーティブAI）の情報発信や実践をやっていくのじゃ💖

生成AIで新しい情報やおもしろそうなサービスがあればぜひ教えて欲しいのじゃ💖