今日は以前から興味があったStable Diffusionの最新版であるSDXLを試してみるのじゃ💖
SDXLは驚くほど高品質な画像を生成できるみたいなのじゃ
グラボのVRAMが足りないのでSDXLは諦めていたのじゃが低VRAMでも出来るとの情報をゲットしたので早速試してみるのじゃ💖
わしのようにVRAMが足りなくてSDXLを諦めていた人はぜひ見て欲しいのじゃ💖
低VRAMでSDXLを使う手順
手順は以下の通りなのじゃ💖
SDXLではモデルを２つ使うみたいなのじゃ
1⃣ sd_xl_base_1.0.safetensorsをダウンロード
2⃣ sd_xl_refiner_1.0.safetensorsをダウンロード
3⃣ sdxl_vae.safetensorsをダウンロード
4⃣ sd_xl_base_1.0.safetensorsとsd_xl_refiner_1.0.safetensorsは「stable-diffusion-webui\models\Stable-diffusion」フォルダへ移動、sdxl_vae.safetensorsは「stable-diffusion-webui\models\VAE\sdxl_vae.safetensors」フォルダへ移動
5⃣ 「webui-user.bat」を編集 ”–xformers –medvram”を追加する
※それでも動かない人はmedvramをlowvramに変更
6⃣ 「webui-user.bat」でStable Diffusionを起動させ、Baseのcheckpoint、Refinerのcheckpoint、vaeを先ほどダウンロードしたファイルに変更する
あとはいつものプロンプトを入力して作成するだけなのじゃ💖
早速やってみるのじゃ💖
実践！SDXLを使ってイラスト生成
SDXLで生成したイラストがこちらなのじゃ！
512×512
512×768 高解像度補助2倍
お、思ってたのと違うのじゃ・・・
そもそもいつもはblue_pencilモデルを使っているにそこを変えると絵柄も変わるのは当然なのじゃ
というわけで、blue_pencilモデルのSDXL版であるblue_pencil-XL v3.0をダウンロードするのじゃ💖
これはbaseだけでいいのかのう？
よくわからんがとにかくやってみるのじゃ💖
512×768 高解像度補助2倍
ほうほう、なかなか可愛らしいではないか💖
じゃがちょっと幼い感じなのじゃ
絵柄も今の絵より少しだけリアルな感じになっておるのじゃ
ちなみにblue_pencilモデルは10ぐらいまであるのじゃが、8以降は顔が幼くなるのでわしはいつも7を使っているのじゃ
SDXLの推奨サイズは1024×1024らしいのでそれでも作ってみるのじゃ
1024×1024
う～む、大して変わらんのう・・・
blue_pencil-XL v3.0のページに下記があったのじゃ
”Negative Embeddings: unaestheticXL or NegativeXL”
とりあえずunaestheticXL_Sky3.1をダウンロードしてNegativeプロンプトに挿入してみたのじゃ
それほど変わらんのじゃ・・・
やはりGothic lolitaのタグの影響なのか？
試しにGothic lolitaタグを抜いてセクシーなバニーガールでやってみるのじゃ💖
sexy playboy bunny 1024×1024
(sexy playboy bunny) (1024×1024)×1.2
う～む、セクシーさが足りないのじゃ
試しにRefinerのCheckpointもblue_pencil-XL v3.0にしてみるのじゃ
(sexy playboy bunny:1.2) (1024×1024)×1.2
なかなかセクシーになったのじゃ💖
はっ！目的を見失っていたのじゃ
目的は幼い顔をもっと大人っぽくすることじゃった・・・
こうなったらControlNetのreference_onlyを使ってみるのじゃ
下のイラストをreference_onlyにセットなのじゃ！
reference_onlyにセットするイラスト
生成されたイラスト
体は良い感じなのじゃが、顔の幼さでアンバランスなのじゃ・・
う～ん、今のところこれが限界なのじゃ
試しにわしの設定を抜いて作ってみるのじゃ
抜いたタグはこれなのじゃ
red eyes,silver hair,ponytail,ahoge,small breasts
あれ？なんかいい感じのイラストなのじゃ！？
もしかしてわしの設定が悪い？
銀髪、赤目、ポニーテール、アホ毛、ゴスロリが余計だった？
み、認めないのじゃ！！
こうなったら力業なのじゃ！！
どうじゃ！
モデルを戻して顔だけinpaintで修正したのじゃ
少々面倒じゃが、こういったやり方もありなのじゃ💖
まとめ
良かった点や気になる点をまとめてみたのじゃ💖
良かった点
・イラストのクオリティが高い
・肌や服の質感が奇麗
・作画崩壊が少なく安定して作成できる
気になった点
・イラストに動きというか躍動感が控えめ
・複数枚生成する時、同じようなポーズや構図で生成される
・まだモデルが少なく自分の好きな絵柄のイラストが作れない
今のところリアル寄りならSDXL、アニメ寄りならSDという感じなのじゃ💖
気になった点もプロンプトタグの工夫でどうにかなる場合もあるのじゃ
今回はStable Diffusionの進化版SDXLを低VRAMで使用するやり方と実際に使用してみたのじゃ💖
この記事を見て気になった人はぜひ試してほしいのじゃ💖
この記事の感想や質問などはSNSやコメント欄で気軽にして欲しいのじゃ
わしもあまり詳しくはないが一緒に悩むことはできるのじゃ💖
このブログではAIイラストに限らず、AI動画、AI音声などAIを使った生成AI（ジェネレーティブAI）の情報発信や実践をやっていくのじゃ💖
生成AIで新しい情報やおもしろそうなサービスがあればぜひ教えて欲しいのじゃ💖
MSI GeForce RTX 3060 VENTUS 2X 12G OC グラフィックスボード VD7553
コメント