今回はStable DiffusionのControlNetにあるIP-Adapterという機能を使ってみるのじゃ💖
IP-Adapterは狙ったキャラクターの作画を安定して作れる機能ですよね！
わしは今までControlNetのreference_onlyを使っていたのじゃが、噂によるとIP-Adapterのほうが良いらしいのじゃ💖
今回はIP-Adapterを使って色々検証していきましょう！
IP-Adapterとは？
IP-Adapterとは、画像をプロンプトとして使って、類似した画像を生成できる技術です。詳細なプロンプトを書かなくても、画像をアップロードするだけで、画像の芸術的なスタイルや内容を反映した作品を作ることができます。
IP-Adapterの使い方
ip-adapterを使うには、ControlNetという拡張機能をインストールする必要があります。ControlNetをインストールするとControlNetのControl TypeにIP-Adapterの項目があるのでそこにチェックを入れて使用します。
IP-Adapterを使用する際にモデルが必要となります。モデルは以下の３種類(現時点)あります。
・ip-adapter_sd15.pth
・ip-adapter_sd15_plus.pth
・ip-adapter_xl.pth
ip-adapter_sd15.pthとip-adapter_sd15_plus.pthはSD1.5でip-adapter_xl.pthはSDXLで使用します。
モデルは以下のサイトからダウンロードできます。
https://huggingface.co/lllyasviel/sd_control_collection/tree/main
ダウンロードしたモデルは以下のフォルダに格納します。
\stable-diffusion-webui\models\controlnet\ControlNet\
IP-Adapterを使ってイラストを作成
それでは早速やってみるのじゃ💖
ではControlNetの設定手順を説明しますね！
checkpointはblue_pencil-v7
画像サイズは512×512
プロンプト入力は無しでやってみましょう！
参照イラスト
Generateボタン、ポチッなのじゃ💖
赤目、銀髪、ゴスロリ
プロンプト入力無しで学園長の特徴を押さえていますね！
胸が大きいのがマイナスポイントですが・・・
作成時間は約5秒でした。
AIがわしに忖度してくれたのじゃ💖
わしは今までreference_onlyしか使ってこなかったのじゃ
試しにreference_onlyでも試してみるのじゃ💖
こちらのほうが参照イラストにより近い絵柄ですね！
なぜかカレーパンを食べていますが・・
生成時間は約10秒でした。
カレーパン、美味いのじゃ💖
しかしIP-Adapterの絵柄の違いが気になるのじゃ・・
そうですね。
IP-Adapterはモデルを使用しているのでこの辺りが影響しているんですかね？
次はモデルをip-adapter_sd15からip-adapter_sd15_plusに変更して作ってみましょう！
Generateボタン、ポチッなのじゃ💖
こちらも特徴は捉えていますが、参照イラストと絵柄が違いますね。
ip-adapter_sd15とも結構違いますね。
作成時間は約5秒でした。
う～む、これだけ絵柄が違うと正直使えないのじゃ・・・
では次にプロンプトを入力して作成してみましょう！
参照イラストと同じプロンプトを入力しました。
Generateボタン、ポチッなのじゃ💖
上がip-adapter_sd15で下がip-adapter_sd15_plusです。
かなり参照イラストに近づきましたね！
特にip-adapter_sd15はいつもの学園長ですね！
そうじゃな！
念のためreference_onlyも試してみるのじゃ
Generateボタン、ポチッなのじゃ💖
やはりreference_onlyのほうが参照イラストに近いですね！
画質はreference_only、スピードはip-adapterといったところでしょうか。
使用しているcheckpointによっても差があるかもしれません。
いいことを思いついたのじゃ！
ip-adapterのモデルをcheckpointで使っているモデルにしてみるのじゃ！
そうすれば画質とスピードの両方を得られるはずなのじゃ💖
Generateボタン、ポチッなのじゃ💖
・・・
ダメでしたね・・・
まとめ
今回はIP-Adapterを使って使用感を試してみたのじゃ💖
reference_onlyとの比較もできましたね！
今回のおさらいをしてみましょう！
・IP-Adapterの設定方法
・参照イラストを元にIP-Adapterでイラスト生成
プロンプト無しよりプロンプト有りのほうが精度が格段に高い
・似た機能のreference_onlyとの比較
reference_onlyのほうが精度が高いが、作成スピードはIP-Adapterのほうが２倍近く早い
今回はここまでなのじゃ💖
質問やご意見、アドバイスなどがあればコメント欄に書いて欲しいのじゃ
ここまで読んでくれてありがとうなのじゃ💖
「こんなことをやって欲しい！」などの要望もお待ちしていますよ！
ただし、VRAMが8Gなのでやれることが限られていますが・・・
追記なのじゃ💖
ドラゴン娘のエメラルダでも試してみたのじゃ🐲
彼女は頭に角があり羽も生えているのじゃ
今まではreference_onlyを使用していたのじゃが、角や羽が安定して出せなかったのじゃ
私の出番ですね！
今年は辰年なのに全然呼ばれないのは作画が安定しないからだったのですかっ！？
参照イラストはこれを使ってくださいっ！
そういゆことなのじゃ💖
しかし今回のIP-Adapterで状況がかわるかもしれんぞ！
Generateボタン、ポチッなのじゃ💖
あれ？絵柄が違うのじゃ・・・
しかし角や羽は以前より安定して出ているような気もするのじゃ
こ、これはこれでアリだと思いますっ！
え、絵柄ぐらい変わりますよっ！
だ、だって私こう見えてドド、ドラゴンですからっ💦
ドラゴンは何の関係もないのじゃ💖
まあ、これはこれで可愛いのじゃ💖
よろしくお願いしますよっ！
MSI GeForce RTX 3060 VENTUS 2X 12G OC グラフィックスボード VD7553
コメント