【凄すぎる新モデル登場】FramePackとは?EasyWanVideoでの使い方と実際の生成結果レポート

AI動画生成に新たな注目モデルが登場しました。その名も「FramePack」。 ローカル環境で利用可能なこのモデルは、AI動画の精度や滑らかさをさらに高める可能性を秘めています。

この記事では:

  • FramePackの概要と注目ポイント
  • EasyWanVideoを使った導入・使用方法
  • 実際に動画を生成してみた結果 を順に紹介していきます。

FramePackとは?

FramePackは、lllyasviel氏によって開発されたフレーム予測ベースのAI動画生成モデルです。画像から次のフレームを予測し、自然な時間的変化を伴う滑らかな動画を作ることができます。

特徴:

  • フレーム補完や連続フレーム生成に優れた自然な動き
  • スタイルやコンセプトを保ちつつ映像変化を予測
  • 既存の静止画モデルとの組み合わせにも応用可能

GitHubページはこちら: 👉 https://github.com/lllyasviel/FramePack

要件:

・RTX 30XX、40XX、50XX シリーズの、fp16 および bf16 をサポートする NVIDIA GPU。GTX 10XX/20XX はテストされていません。
・Linux または Windows オペレーティングシステム。
・GPU メモリ 6GB 以上。

EasyWanVideoでのFramePack使用方法

FramePackは、EasyWanVideoでも簡単に使用することができます。

使用手順

最新版のEasyWanVideoを導入しておく(またはアップデート)

EasyWanVideoをインストールしている人はEasyWanVideoフォルダ内の「Update.bat」をダブルクリックしてEasyWanVideoをアップデートします。するとEasyWanVideoフォルダ内に「FramePack.bat」が作成されます。
EasyWanVideoのインストールがまだの人はインストールしてください。

インストールフォルダ内にある「 FramePack.bat」 を実行

「FramePack.bat」をダブルクリックするとFramePackのインストールが開始されます。容量が50GBほど必要みたいなので要注意です!結構時間がかかります!

インストールが完了するとコマンドプロンプトに下記の表示がされます

Running on local URL: http://0.0.0.0:7840

To create a public link, set share=True in launch().

インストールフォルダ内にある「FramePack_NoArgs.bat」を実行

これは正直、意味が分かってないのですがとりあえず実行しておきました^^;

詳しい人、教えてください!

FramePackを立ち上げる

WebブラウザのURLに「http://0.0.0.0:7840」を入力するとFramePackのUI画面が表示されます。

動画を作る

1.設定

①動画の秒数の設定です。
②使用するVRAMの容量です。自分のPCに合った数値に設定しましょう。数値が大きいほど生成速度が上がります。

2.動画作成

①に動画にしたい画像をドロップします。
②動作のプロンプトを入力します。
③青枠の「Start Generation」を押すと、動画生成が開始されます。

3.動画変換

動画ダウンロード

赤枠をクリックして生成した動画をダウンロードします。

ダウンロードした動画を再生しようとしても画面がまっくらで見れません

そこでEasyWanVideoフォルダに「FramePack_FixBlackVideo.bat」があるのでダブルクリックで起動します。

ここに先ほどダウンロードした動画ファイルをドラッグ&ドロップすればいいみたいですが、私の環境ではなぜか何も起きませんでした><

FramePack の *.mp4 が黒画面になるのを修正する FramePack_FixBlackVideo.bat を用意しました。

  • 動画を直接 FramePack_FixBlackVideo.bat にドラッグ&ドロップするか、実行してからコンソールにドラッグ&ドロップで変換します。
  • FramePack の *.mp4 が黒画面になるのを修正する FixFramePackMp4 ワークフローを追加しました。
    削除しました。
https://github.com/Zuntan03/EasyWanVideo

上記の削除されたFixFramePackMP4ワークフローを使ったら、ちゃんと動画がみれるようになりました!ただ、今からインストールされる方やアップロードされる方はこのワークフローが削除されているため使えません・・

もし私と同じように上記のやり方で上手くいかない人はファイルが残っていたので下記のURLからFixFramePackMP4のワークフローをダウンロードしてみてください。
ダウンロードした「z0_FixFramePackMp4.json」ファイルを他のワークフローと同じフォルダに入れておくとEasyWanVideoのアップデートで削除されます。このワークフローが必要な人は別フォルダに保存して削除されないようにしておいた方がいいかもしれません。

https://gosuloli.com/up/z0_FixFramePackMp4.zip

「choose video to upload」から作成したAI動画を選択し、実行ボタンを押します。
(ファイル選択はドラッグアンドドロップでは出来なかったので要注意)

これで動画制作完了です!

実際に作ってみた動画

とりあえず、作ってみました。

まとめ

今回はEasyWanVideoを通して、FramePackの導入と動画生成を実際に試してみました

まだ触り始めたばかりですが、ローカル環境(しかもVRAM 6GBレベル)でもこれほど滑らかで高クオリティな動画が作れるというのは、正直驚きです。
私のように中スペック環境で頑張っている方にとって、まさにぴったりの選択肢だと感じました。

FramePackはまだリリースされたばかりで、UIやモデル自体もこれからどんどん進化していくはず。
この流れがきっかけとなって、AI動画ローカル環境の界隈全体が盛り上がっていくようなポテンシャルを感じています。

この記事を作っている間に、本家からワンパッケージで簡単にインストールするものが登場してしまいました^^;
https://github.com/lllyasviel/FramePack

恐らく上記のURLからインストールした方がいい気がしますが、とりあえずここまで記事を書いてしまったのでしょうがないですよね^^;

今後はこのFramePackを中心に、さまざまな検証を行いながら、実際の活用方法やクリエイティブな使い道についても模索していきたいと思います。

おすすめ商品のご紹介

XPPen 液晶ペンタブレット Artist 12セカンド 豪華版



・X3チップ搭載の高性能ペンで、紙に描くような自然な描き心地を実現。
・フルラミネーションディスプレイにより、視差を最小限に抑えたクリアな表示。
・Android、Windows、MacOSに対応し、幅広いデバイスで使用可能。
・初心者にも使いやすい設計で、イラスト制作を始めるのに最適。

参考価格: 約¥29,800
商品リンク: https://amzn.to/4iTH95V

ASUS NVIDIA GeForce RTX 3050 搭載 グラフィックボード



・最新のAIイラスト生成や動画編集に必要な高い処理能力を提供。
・8GBのGDDR6メモリ搭載で、高解像度の作業もスムーズに。
・コンパクトなデザインで、多くのPCケースにフィット。
・高性能ながら比較的手頃な価格で、コストパフォーマンスに優れる。

参考価格: 約¥39,800
商品リンク: https://amzn.to/4iTH95V

『AIイラストテクニックがまるごとわかる本』



・ChatGPTやStable Diffusion、Adobe Fireflyなど、最新のAIツールの使い方を網羅。
・実際にAIを活用しているイラストレーターによる制作アイデアやテクニックを紹介。
・AIを活用したイラスト制作の基本から応用まで、この一冊で学べる内容。
・初心者から上級者まで、幅広い層に対応した解説が魅力。

参考価格: 約¥2,200
商品リンク: https://amzn.to/4j4Pi7W
AI動画
Celestiaをフォローする
セレスティアのAIゆるラボ|AIイラスト・AI動画・マネタイズ実験室

コメント

タイトルとURLをコピーしました