はじめに｜FramePackで遊んでみたAI動画まとめ
最近は新しいAI動画モデルの検証に時間がかかっていて、なかなか記事を更新できずにいました。
とはいえ、少しずつ試した生成結果はXに投稿しているので、今回はその中からいくつかの動画をまとめてご紹介します。
使用したのは、1枚絵を自然に動かせるAI動画モデル「FramePack」。
エフェクトを重ねた幻想的な表現や、アニメ風のイラストとリアル写真を合成した不思議な動画など、ちょっと変わった作例も交えて紹介します。
エフェクト検証
本当は人物のポーズや動きの検証をしたかったのですが、以下のポストを見てPhotoShopでエフェクト画像を作ってみたくなり脱線してしまいました・・
さらに「#月曜日討伐隊」というタグに引き寄せられこんな動画を作りました。
みなさんが強そうなイラストを作っていたのであえて子供のごっこ遊びを意識した動画にしてみました。
背景がもう少し流れてくれれば、走っている感がでたのに。
ちな、にじボイスは結構お勧めですよ！
上記の２つが組み合わされば「剣のエフェクト」動画を作りたいと思うのが自然の摂理です。
動画を作るにあたり、エフェクトのついた画像を作成しました。
ただ、このイラストは最後のフレームであり最初のフレームの画像はどうするの？という問題にぶち当たります。
棒を上にあげて構えさせる動画を作れば、最初のフレーム画像が作れるのでは？
動画を作るためのイラストを動画で生成するという発想です。
結果は失敗です。プロンプトが悪かったのか動作自体むずかしいのか・・
素直に棒を振り上げているイラストから作成しました。
上記の動画の手順
１．棒を振り上げているイラスト作成
２．棒を振り下ろした動画を作成
このとき、FramePack-eichiの「セクションごとの静止画を保存」にチェックを入れる。そうすることで、棒を振り下ろしたイラストが生成される
３．棒を振り下ろしたイラストにPhotoShopでエフェクトを入れる
４．棒を振り上げるイラストとエフェクト加工した棒を振りおろしたイラストの2枚のイラストを使って動画を作成
結構面倒くさかったです。その割に仕上がりも微妙・・・
この動画は1秒でもっさりしていますが、0.2秒ぐらいにしたら少しは良くなるかも
ただ、剣を振る動作やそれに追随するカッコいエフェクトはFramePackの得意分野ではないと思います。既存の動画生成サービスの方が圧倒的クオリティーで作れると思います。
しかし、エフェクト自体はFramePackでもそんなに悪くないと思っています。
以前に作ったスーパーサイヤ人に変身する動画もエフェクトはカッコいいと感じました。
そこで、単純に剣にエフェクトをかけるだけの動画を作ってみました。
サンダーソードやフレイムソードが作れます。
剣を構えたかっこいい構図のイラストにこのエフェクトを追加するだけでいいものが作れる気がします。
欲張って、剣を振らせようとしないで1枚絵が少し動いてるぐらいの感じでいいのではないかと思いました、今のところ。
いつもの少女に剣を持たせて、色々な属性のエフェクトを検証していたのですがそれほどいい感じにはならずに途中で止まっています・・・
他にも、霧や煙などのエフェクトは出力確度が高いですね。
あと、花火も奇麗に作れます。
動作検証
気分転換でいつものイラストで動作検証をしました。
他の人も言ってましたが、座る動作が難しい、というか出来なかった・・・
出来ないことは「出来ない」という結果で締めることも大事
次に、後ろを向くという動作の検証です。
これには別の意図もあって、ポストにも書いていますが「セクションごとの静止画を保存」にチェックを入れておけば一貫性の高い別角度のイラストも生成できます。
イラスト生成で同じキャラの別ポーズを作る時にLoraやi2i（イメージtoイメージ）を使いますが、それでも微妙に衣装が違ったりします。
FramePackは異常に一貫性が高いので複雑なキャラでも違和感なく別ポーズがつくれるのではないかと考えています。
今回はシンプルな「べすこちゃん（検証のベースとなる女の子）」で試しましたが次回はもっと複雑なキャラで検証してみます。
次に2人が抱き合うという動作の検証
ついでに少し前に流行ったアニメと実写が抱き合う動画をFramePackでも出来るかためしてみました。
べすこちゃんとAdobeのFireflyで作ったリアルなイラストを抱き合わせましたが、この動作は確度が高いです。
アイデア次第ではSNSのコンテンツやマネタイズに使えるかもしれません。
1つ考えたのが推しカプ（好きな推しのカップル）や自分と推しキャラのイチャイチャ動画というコンテンツ。
自分で作って楽しむもよし、販売サイトや支援サイトのコンテンツとして提供するもよし、個別販売で「あなたと推しキャラのイチャイチャ動画を作ります！」という商売にをするもよし。
その他の動画
FramePack布教動画
おみくじ結果をポストする時の動画
最後に、以前に作成した２つの動画をYoutubeショートに投稿しました。
今のところ「ブロッコリー危機一髪」の方が再生数が多いですね。
「ブロッコリー危機一髪」はショートアニメ、もう１つが検証動画です。
まとめ
以上が最近作ったAI動画のまとめでした。
私の性格上、やりたいと思ったらそっちを優先してしまうのでなかなか検証がすすみません・・・
FramePackの動画生成で出来ること・出来ないこと、得意なこと・苦手なことを切り分けて効率よく最大限に動画の良さを引き出せるような情報を提供したいと思っていますので、よろしくお願いします。
リクエストやご提案、訂正やご指導ご鞭撻などを頂けたら嬉しいです！
最新の情報はXで発信していますので、フォローよろしくお願いします！
https://x.com/Celestia_chibi
コメント