【Stable Diffusion】たった1枚のイラストと音声データだけで”喋るアニメーション”を作成できるSadTalkerを試してみたのじゃ💖

それならStable Diffusionの拡張機能SadTalkerを試してみましょう！

では喋らせたい人物の画像と音声データを用意しましょう！

では次に音声データですね。

今回、音声データ作成に「VOICEVOX」というソフトを使ってみます。

VOICEVOXはテキストを様々なキャラクターの声で読み上げてくれるソフトです。

声は”四国めたん”ちゃんで作ってみますね！

読み上げる文章はどうしましょう？

了解です！

はい、出来ましたよ！

いよいよSadTalkの出番ですね！

SadTalkはtxt2imgと同じ並びのタブにあるのでSadTalkのタブをクリックしましょう！

下図の①に人物イラストをアップロードします。

②に音声データをアップロードします。

あとはGenerateボタンを押すだけです！

生成された動画は③に表示されます。

そうなんです！

SadTalkは喋らせたい人物の顔がリアル寄りでないと認識出来ずにエラーになるんです！

上の方にもエラーが表示されています。

それではモデルを実写系に変更して試してみましょう！

モデルはmajicmixRealistic_v7です。

majicMIX realistic 麦橘写实 - v7 | Stable Diffusion Checkpoint | Civitai

V7 is here. So far so good for me. ASIAN ALERT! 推荐参数 Recommended Parameters for V7: Sampler: Euler a, Euler, restart Steps: 20~40 Hires upscaler: E...

civitai.com

学園長が愚痴ってる間に生成成功です！

それでは見てみましょう！

次はもう少しだけアニメに寄せた絵柄でやってみましょう！

モデルはxxmix9realistic_v40です。

XXMix_9realistic - v4.0 | Stable Diffusion Checkpoint | Civitai

I found a new AI tool Shakker, a best image to image tool. You can try it via You can run XXMix_9realistic on sinkin.ai : ht...

civitai.com

はい！ではもっと学園長に近づけていきますよ！

モデルはdarkSushi25D25D_v40です。

Dark Sushi 2.5D 大颗寿司2.5D - v4.0 | Stable Diffusion Checkpoint | Civitai

Recommend: vae-ft-mse-840000-ema use highres fix to improve quality. Source: using MBW to merge Chillout and Dark Sushi and also add a little NijiE...

civitai.com

アニメ調ですが目鼻口がしっかりと描かれていますからね。

AIはその部分で人の顔だと判断しているんじゃないでしょうか。

それは設定で調整できますよ！

face model resolutionを256から512にして解像度を上げてみましょう！

preprocessもcropからfullに変更しました。cropは顔周りだけを切り抜くのに対してfullは参照画像をそのまま動画にします。

画素数を上げたり、fullにすると人物の顔が崩れやすいみたいですね。

GFPGAN as Face enhancerにチェックを入れるたりStill Modeにチェックを入れるとそれが抑えられるみたいですよ。

イラストが動くだけでもワクワクするのに喋るなんて凄いですよね！

SadTalkerは今のところ3次元イラストの方が安定してますね

でもこの業界の進歩は早いのですぐに出来ますよ！

わたしたちが知らないだけでもうあるかもしれませんしね！

・・・

み、みなさんも面白い活用法があればぜひ教えてくださいね！