1枚絵が動く!AI動画生成FramePackの使い方と実例レポート【Easy-WanVideo対応】

AI動画生成に新たな注目モデルが登場しました。その名も「FramePack」。 ローカル環境で利用可能なこのモデルは、AI動画の精度や滑らかさをさらに高める可能性を秘めています。

この記事では:

  • FramePackの概要と注目ポイント
  • EasyWanVideoを使った導入・使用方法
  • 実際に動画を生成してみた結果 を順に紹介していきます。

FramePackとは?

FramePackは、lllyasviel氏によって開発されたフレーム予測ベースのAI動画生成モデルです。画像から次のフレームを予測し、自然な時間的変化を伴う滑らかな動画を作ることができます。

特徴:

  • フレーム補完や連続フレーム生成に優れた自然な動き
  • スタイルやコンセプトを保ちつつ映像変化を予測
  • 既存の静止画モデルとの組み合わせにも応用可能

GitHubページはこちら: 👉 https://github.com/lllyasviel/FramePack

要件:

・RTX 30XX、40XX、50XX シリーズの、fp16 および bf16 をサポートする NVIDIA GPU。GTX 10XX/20XX はテストされていません。
・Linux または Windows オペレーティングシステム。
・GPU メモリ 6GB 以上。

EasyWanVideoでのFramePack使用方法

FramePackは、EasyWanVideoでも簡単に使用することができます。

使用手順

最新版のEasyWanVideoを導入しておく(またはアップデート)

EasyWanVideoをインストールしている人はEasyWanVideoフォルダ内の「Update.bat」をダブルクリックしてEasyWanVideoをアップデートします。するとEasyWanVideoフォルダ内に「FramePack.bat」が作成されます。
EasyWanVideoのインストールがまだの人はインストールしてください。

インストールフォルダ内にある「 FramePack.bat」 を実行

「FramePack.bat」をダブルクリックするとFramePackのインストールが開始されます。容量が50GBほど必要みたいなので要注意です!結構時間がかかります!

インストールが完了するとコマンドプロンプトに下記の表示がされます

Running on local URL: http://0.0.0.0:7840

To create a public link, set share=True in launch().

インストールフォルダ内にある「FramePack_NoArgs.bat」を実行

これは正直、意味が分かってないのですがとりあえず実行しておきました^^;

詳しい人、教えてください!

FramePackを立ち上げる

WebブラウザのURLに「http://0.0.0.0:7840」を入力するとFramePackのUI画面が表示されます。

動画を作る

1.設定

①動画の秒数の設定です。
②使用するVRAMの容量です。自分のPCに合った数値に設定しましょう。数値が大きいほど生成速度が上がります。

2.動画作成

①に動画にしたい画像をドロップします。
②動作のプロンプトを入力します。
③青枠の「Start Generation」を押すと、動画生成が開始されます。

3.動画変換

動画ダウンロード

赤枠をクリックして生成した動画をダウンロードします。

ダウンロードした動画を再生しようとしても画面がまっくらで見れません

そこでEasyWanVideoフォルダに「FramePack_FixBlackVideo.bat」があるのでダブルクリックで起動します。

ここに先ほどダウンロードした動画ファイルをドラッグ&ドロップすればいいみたいですが、私の環境ではなぜか何も起きませんでした><

FramePack の *.mp4 が黒画面になるのを修正する FramePack_FixBlackVideo.bat を用意しました。

  • 動画を直接 FramePack_FixBlackVideo.bat にドラッグ&ドロップするか、実行してからコンソールにドラッグ&ドロップで変換します。
  • FramePack の *.mp4 が黒画面になるのを修正する FixFramePackMp4 ワークフローを追加しました。
    削除しました。
https://github.com/Zuntan03/EasyWanVideo

上記の削除されたFixFramePackMP4ワークフローを使ったら、ちゃんと動画がみれるようになりました!ただ、今からインストールされる方やアップロードされる方はこのワークフローが削除されているため使えません・・

もし私と同じように上記のやり方で上手くいかない人はファイルが残っていたので下記のURLからFixFramePackMP4のワークフローをダウンロードしてみてください。
ダウンロードした「z0_FixFramePackMp4.json」ファイルを他のワークフローと同じフォルダに入れておくとEasyWanVideoのアップデートで削除されます。このワークフローが必要な人は別フォルダに保存して削除されないようにしておいた方がいいかもしれません。

https://gosuloli.com/up/z0_FixFramePackMp4.zip

「choose video to upload」から作成したAI動画を選択し、実行ボタンを押します。
(ファイル選択はドラッグアンドドロップでは出来なかったので要注意)

これで動画制作完了です!

実際に作ってみた動画

とりあえず、作ってみました。

まとめ

今回はEasyWanVideoを通して、FramePackの導入と動画生成を実際に試してみました

まだ触り始めたばかりですが、ローカル環境(しかもVRAM 6GBレベル)でもこれほど滑らかで高クオリティな動画が作れるというのは、正直驚きです。
私のように中スペック環境で頑張っている方にとって、まさにぴったりの選択肢だと感じました。

FramePackはまだリリースされたばかりで、UIやモデル自体もこれからどんどん進化していくはず。
この流れがきっかけとなって、AI動画ローカル環境の界隈全体が盛り上がっていくようなポテンシャルを感じています。

この記事を作っている間に、本家からワンパッケージで簡単にインストールするものが登場してしまいました^^;
https://github.com/lllyasviel/FramePack

恐らく上記のURLからインストールした方がいい気がしますが、とりあえずここまで記事を書いてしまったのでしょうがないですよね^^;

今後はこのFramePackを中心に、さまざまな検証を行いながら、実際の活用方法やクリエイティブな使い道についても模索していきたいと思います。

ローカル生成AI環境用PC

クリエーター、動画編集向け ゲーミングデスクトップパソコン CPU : i7 14700K / RTX4070Ti / メモリー : DDR5-32GB / SSD : 2TB / HDD : 4TB / 電源ユニット 750W 80PLUS / Windows11 pro (CPU:Core i7 14700K / GPU:RTX4070Ti, White)

クリエーター、動画編集向け ゲーミングデスクトップパソコン

参考価格: 約¥499,800
商品リンク: https://amzn.to/3Ye9iwi

【NEWLEAGUE】ハイスペックゲーミングパソコン Core i5 13600K / RTX4070 / メモリ32GB / NVMe SSD 2TB / Windows11Pro / WPS Office

【NEWLEAGUE】ハイスペックゲーミングパソコン

参考価格: 約¥389,800
商品リンク: https://amzn.to/4jipk0C

【NEWLEAGUE】ゲーミングデスクトップパソコン【 Core i7-13700K / GeForceRTX3070Ti / メモリ32GB / SSD1TB / HDD4TB / Widows10Pro 64bit(Windows11アップグレード対応) / 750W 】ゲーミングデスクトップパソコン

【NEWLEAGUE】ゲーミングデスクトップパソコン

参考価格: 約¥299,800
商品リンク: https://amzn.to/4jmwP6H
AI動画
Celestiaをフォローする
セレスティアのAIゆるラボ|AIイラスト・AI動画・マネタイズ実験室

コメント

タイトルとURLをコピーしました