今回は、1枚のキャラクターイラストからダンス動画を作成してみました。
使用するのはChatGPTとGrokです。
実際に行った作業を順番に紹介します。
1. 参照画像をもとにChatGPTで3×3のダンスシートを作る
最初に、ダンス動画にしたいキャラクターのイラストをChatGPTにアップロードします。
アップロードした画像を参照させて、キャラクターの外見を維持したまま、3×3のダンスポーズシートを作成してもらいます。
今回はハロウィンをテーマにしたダンスにしました。
ChatGPTに入力するプロンプト
3×3のダンスポーズシートを作成してください。
アップロードされた参照画像のキャラクターをフィーチャーし、1つの長方形（横：1縦：2の比率）画像内に正確に9個の等しいサイズのパネルを含めてください。
キャラクターの一貫性
アップロードされたキャラクターを、キャラクターのアイデンティティと外見の唯一の参照として使用してください。
9個すべてのパネルで、キャラクターの顔、髪型、色、身体のプロポーション、種族、衣装、アクセサリー、およびオリジナルのアートスタイルを保持してください。
キャラクターを再設計したり、衣装を追加したりしないでください。
参照画像で身体や衣装の詳細が見えない場合、控えめに推測し、全体を通じて一貫性を保ってください。
適応型振り付け
この特定のキャラクターの性格、外見、解剖学的構造、服装、動作範囲に合わせてまとまりのあるダンスシーケンスを設計してください。
ダンスの振り付けはハロウィンを意識したものにしてください。
すべてのキャラクターを可愛いアイドルポーズに無理やり当てはめないでください。
同じダンスルーチンから9個の異なるキー ポーズを表示し、左から右へ、上から下への順序で配置してください。
シーケンスはつながりを感じさせ、自然なトランジションを持ち、明確な始まり、盛り上がり、クライマックス、終わりを持たせてください。
構成とプレゼンテーション
クリーンな白背景、細いグリッド線、各パネルの左上隅に小さな読みやすい数字1～9を使用してください。
各パネルに同じキャラクターのフルボディ描写を正確に1つ含めてください。キャラクターのスケール、カメラ距離、照明、レンダリングスタイルを一貫させてください。
固定カメラを使用しつつ、キャラクターが自然に回転することを許可してください。
髪、耳、角、翼、尾、手、足、アクセサリーを含むキャラクター全体を、各パネル内に快適な余白で収めてください。
伸ばした手足やジャンプのためのスペースを確保してください。
微妙な地面の影を追加してください。
髪、布地、アクセサリーに自然なセカンダリームーブメントを表示してください。
すべてのポーズは、明確なシルエット、説得力のあるバランス、解剖学的にあり得る関節、表現的なボディランゲージを持たなければなりません。
適用される場合、非人間の解剖学的構造にすべての動きを適応させてください。
避けること
繰り返しやほぼ同一のポーズ、キャラクターのアイデンティティのずれ、衣装の変更、不一致のプロポーション、余分または欠損した手足、変形した手、切り取られた身体部位、重なるパネル、追加のキャラクター、モーショントレイル、背景の景色、参照にない小道具、スピーチバブル、キャプション、およびウォーターマーク。
最終出力：
9個の異なる、キャラクターに適したダンスポーズの明確に整理された3×3グリッドを含む、洗練された1つの長方形（横：1縦：2の比率）画像。この指示で、キャラクターの元イラストから3×3のダンスシートを作成します。
通常ダンスポーズ
ゾンビダンスポーズ
2. ダンスプロンプトの作成
次に、動画生成で使用するダンスプロンプトを作成します。
最初からダンスの動きを細かく考える必要はありません。
今回は、以前使用していたアイドルダンス用のプロンプトをChatGPTに渡し、作りたいダンスの種類に合わせて修正してもらいました。
ChatGPTに入力する指示
以下のプロンプトを通常ダンス、ゾンビダンス用のプロンプトに変更して。
以下のプロンプトはアイドルダンス用のプロンプトです。修正元のアイドルダンス用プロンプト
このシートをキャラクターの外見と振付に使用してください。左から右へ、上から下へポーズ1→16を順に追い、連続したダンスに繋げてください。
シンプルな白い空間で、陽気なアイドルが一人で踊る連続した2Dアニメーションを作成してください。
彼女の見た目は銀髪ポニーテールの赤目。ミニハット。アイドル衣装。
彼女のパフォーマンスは明るく、遊び心があり、自信に満ちており、活発なアイドルジェスチャー、リズミカルなステップ、ハート型のハンドサイン、軽いホップを組み合わせています。自然な笑顔と時折のウィンクを使用してください。
固定された正面カメラで、途切れのない全身ショットを使用してください。ポーズ1から即座に開始してください。彼女の全身のシルエット（挙げた指、ポニーテール、リボン、ブーツの裏地を含む）をフレーム内に収め、快適な白い余白を保ってください。柔らかいライトグレーの楕円形の影が彼女の足元を接地させ、ジャンプ中も床に残ります。
グリッドは振付の順序のみを定義します。一人のキャラクターを一つの連続した空間に表示してください。参照シート、分画面、枠、数字、キャプション、重複したフィギュア、アフターイメージ、カット、カメラの動きは使用しないでください。
各番号付きポーズは0.5秒を占めます。そのシルエットを明確に表現した後、自然な動きで次のポーズへ移行してください。連続した解剖学的構造と重心移動を維持：足が押し出して着地し、膝が衝撃を吸収し、腰と肩がターンに導きます。彼女のポニーテール、スカートのフリル、リボンはわずかに遅れた動きで追従します。スライドショー移行、モーフィング、足の滑り、または手足の位置の突然の変化を避けてください。今回は通常ダンス用とゾンビダンス用に修正してもらいました。
通常ダンス用プロンプト
このシートをキャラクターの外見と振付の唯一の参照として使用してください。左から右へ、上から下へポーズ1→9を順に追い、連続したダンスに繋げてください。
シンプルな白い空間で、ハロウィンをテーマにした衣装の女の子が一人で踊る、滑らかで躍動感のある2Dアニメーションを作成してください。
彼女の外見は、銀髪のポニーテール、赤い瞳、黒いミニハット。オレンジと黒を基調としたハロウィン風のゴシック衣装、紫のケープ、コウモリの翼、カボチャのアクセサリー、黒い厚底ブーツを着用しています。キャラクターの顔、髪型、体型、衣装、色、アクセサリー、翼の形状を参照画像から忠実に維持してください。
彼女のパフォーマンスは、少し小悪魔的で遊び心のある、明るくリズミカルなダンスです。腕を大きく広げる動き、身体をひねるターン、片足を上げるステップ、軽快なジャンプ、腰のリズミカルな動きを組み合わせてください。可愛らしさだけでなく、ハロウィンらしいいたずらっぽさと自信に満ちた表情を表現してください。
固定された正面カメラで、途切れのない全身ショットを使用してください。ポーズ1から即座に開始してください。頭、ミニハット、ポニーテール、手、コウモリの翼、ブーツの裏までキャラクターの全身をフレーム内に収め、快適な白い余白を保ってください。
足元には柔らかいライトグレーの楕円形の影を配置し、床にしっかり接地しているようにしてください。ジャンプ中も自然な接地感と空間的な位置関係を維持してください。
グリッドは振付の順序のみを定義します。一人のキャラクターを一つの連続した空間に表示してください。参照シート、分割画面、枠、数字、キャプション、重複したフィギュア、アフターイメージ、カット、カメラの動きは使用しないでください。
各番号付きポーズは0.5秒を目安に明確に表現した後、自然な動きで次のポーズへ移行してください。ポーズ1から始まり、徐々に動きを大きくして、ポーズ7～8でダンスの盛り上がりと躍動感を最大限に表現し、ポーズ9で自然に締めくくってください。
連続した解剖学的構造と重心移動を維持してください。足が床を押して身体を動かし、着地時には膝が衝撃を吸収します。腰、肩、腕の動きが自然に連動し、ターンやジャンプにも説得力を持たせてください。
ポニーテール、スカートのフリル、紫のケープ、リボン、カボチャのアクセサリー、コウモリの翼には、身体の動きに少し遅れて自然な揺れを加えてください。
スライドショーのような移行、ポーズ間のモーフィング、足の滑り、手足の突然の位置変化、身体の変形を避けてください。9つのポーズを単純につなぐのではなく、一つの連続したダンスパフォーマンスとして表現してください。ゾンビダンス用プロンプト
このシートをキャラクターの外見と振付の唯一の参照として使用してください。左から右へ、上から下へポーズ1→9を順に追い、連続したゾンビダンスに繋げてください。
シンプルな白い空間で、ハロウィン衣装の女の子が一人でゾンビダンスを踊る、滑らかで独特な動きのある2Dアニメーションを作成してください。
彼女の外見は、銀髪のポニーテール、赤い瞳、黒いミニハット。オレンジと黒を基調としたハロウィン風のゴシック衣装、紫のケープ、コウモリの翼、カボチャのアクセサリー、黒い厚底ブーツを着用しています。キャラクターの顔、髪型、体型、衣装、色、アクセサリー、翼の形状を参照画像から忠実に維持してください。
彼女のパフォーマンスは、ゾンビをイメージした独特なダンスです。両腕を力なく前に垂らす動き、指を不自然に曲げたようなゾンビの手、前傾姿勢、左右に傾く上半身、ぎこちない足取り、膝を曲げたステップ、身体をひねる動きを組み合わせてください。
動きは少し不気味でコミカルな雰囲気にしてください。関節が固まったようなぎこちなさと、突然の方向転換、頭や肩の遅れた動きを取り入れてください。滑らかすぎるアイドルダンスや可愛らしいアイドルジェスチャーは使用しないでください。
固定された正面カメラで、途切れのない全身ショットを使用してください。ポーズ1から即座に開始してください。頭、ミニハット、ポニーテール、手、コウモリの翼、ブーツの裏までキャラクターの全身をフレーム内に収め、快適な白い余白を保ってください。
足元には柔らかいライトグレーの楕円形の影を配置し、床にしっかり接地しているようにしてください。足を引きずるような動きは、実際に足を床から少し持ち上げて踏み出す動作として表現してください。
グリッドは振付の順序のみを定義します。一人のキャラクターを一つの連続した空間に表示してください。参照シート、分割画面、枠、数字、キャプション、重複したフィギュア、アフターイメージ、カット、カメラの動きは使用しないでください。
各番号付きポーズは0.5秒を目安に明確に表現した後、次のポーズへ自然に移行してください。
ダンスの序盤は、両腕を前に垂らし、背中を丸めたゾンビ特有の歩き方から始めてください。徐々に両手を不気味に持ち上げ、指を曲げながら身体を左右に揺らしてください。中盤では大きく前傾したり、低くしゃがみ込んだり、身体をねじったりしながら、不規則でぎこちないステップを表現してください。後半は片足を上げながら身体を傾け、前方に手を伸ばす動きで盛り上げ、最後は両腕を高く持ち上げたゾンビらしいポーズで締めくくってください。
動きの特徴として、腕は肩から力なくぶら下がり、肘は少し曲がり、手首は脱力し、指は軽く曲げてください。頭は左右に不自然に傾き、肩と腰は少しずつ異なるタイミングで動かしてください。動作の切り替わりには短い硬直やぎこちない動きを取り入れてください。
連続した解剖学的構造と重心移動を維持してください。足が床を押して身体を移動させ、着地時には膝が自然に曲がります。ゾンビらしい不自然な動きであっても、関節や身体の構造は正常に保ってください。
ポニーテール、スカートのフリル、紫のケープ、リボン、カボチャのアクセサリー、コウモリの翼には、身体の動きに少し遅れて自然な揺れを加えてください。
スライドショーのような移行、ポーズ間のモーフィング、足の滑り、手足の突然の位置変化、身体の変形を避けてください。9つのポーズを単純につなぐのではなく、ぎこちなさや不規則なリズムを持った、一つの連続したゾンビダンスとして表現してください。上記のイラストとプロンプトを使いGrokでダンス動画が作れます。
ただ、背景が白で味気が無いので背景も追加してみましょう。
3. ChatGPTに背景を作成してもらう
次に、ダンス動画に使用する背景画像を作成します。
今回はハロウィン衣装に合うように、紫・黒・オレンジを基調としたゴシック調の背景にしました。
キャラクターを配置するため、横長画像で作成します。
ChatGPTに入力するプロンプト
ハロウィンの背景画像を作って。サイズは横長画像。これで、満月、ゴシック城、ジャック・オー・ランタン、コウモリなどが描かれた背景画像を作成しました。
4. Grokで2枚の画像を基に動画を作る
最後にGrokで動画を生成します。
ここで使用する画像は2枚です。
アップロードする順番は以下のとおりです。
1枚目：ChatGPTで作成したハロウィンの背景画像
2枚目：ChatGPTで作成した3×3のダンスシート
画像をアップロードしたら、以下のプロンプトを入力して動画を生成します。
通常ダンス用プロンプト
2枚目のシートをキャラクターの外見と振付の唯一の参照として使用してください。左から右へ、上から下へポーズ1→9を順に追い、連続したダンスに繋げてください。
1枚目の背景でハロウィンをテーマにした衣装の女の子が一人で踊る、滑らかで躍動感のある2Dアニメーションを作成してください。
彼女の外見は、銀髪のポニーテール、赤い瞳、黒いミニハット。オレンジと黒を基調としたハロウィン風のゴシック衣装、紫のケープ、コウモリの翼、カボチャのアクセサリー、黒い厚底ブーツを着用しています。キャラクターの顔、髪型、体型、衣装、色、アクセサリー、翼の形状を参照画像から忠実に維持してください。
彼女のパフォーマンスは、少し小悪魔的で遊び心のある、明るくリズミカルなダンスです。腕を大きく広げる動き、身体をひねるターン、片足を上げるステップ、軽快なジャンプ、腰のリズミカルな動きを組み合わせてください。可愛らしさだけでなく、ハロウィンらしいいたずらっぽさと自信に満ちた表情を表現してください。
固定された正面カメラで、途切れのない全身ショットを使用してください。ポーズ1から即座に開始してください。頭、ミニハット、ポニーテール、手、コウモリの翼、ブーツの裏までキャラクターの全身をフレーム内に収め、快適な余白を保ってください。
足元には柔らかいライトグレーの楕円形の影を配置し、床にしっかり接地しているようにしてください。ジャンプ中も自然な接地感と空間的な位置関係を維持してください。
グリッドは振付の順序のみを定義します。一人のキャラクターを一つの連続した空間に表示してください。参照シート、分割画面、枠、数字、キャプション、重複したフィギュア、アフターイメージ、カット、カメラの動きは使用しないでください。
各番号付きポーズは0.5秒を目安に明確に表現した後、自然な動きで次のポーズへ移行してください。ポーズ1から始まり、徐々に動きを大きくして、ポーズ7～8でダンスの盛り上がりと躍動感を最大限に表現し、ポーズ9で自然に締めくくってください。
連続した解剖学的構造と重心移動を維持してください。足が床を押して身体を動かし、着地時には膝が衝撃を吸収します。腰、肩、腕の動きが自然に連動し、ターンやジャンプにも説得力を持たせてください。
ポニーテール、スカートのフリル、紫のケープ、リボン、カボチャのアクセサリー、コウモリの翼には、身体の動きに少し遅れて自然な揺れを加えてください。
スライドショーのような移行、ポーズ間のモーフィング、足の滑り、手足の突然の位置変化、身体の変形を避けてください。9つのポーズを単純につなぐのではなく、一つの連続したダンスパフォーマンスとして表現してください。ゾンビダンス用プロンプト
2枚目のシートをキャラクターの外見と振付の唯一の参照として使用してください。左から右へ、上から下へポーズ1→9を順に追い、連続したゾンビダンスに繋げてください。
1枚目の背景で、ハロウィン衣装の女の子が一人でゾンビダンスを踊る、滑らかで独特な動きのある2Dアニメーションを作成してください。
彼女の外見は、銀髪のポニーテール、赤い瞳、黒いミニハット。オレンジと黒を基調としたハロウィン風のゴシック衣装、紫のケープ、コウモリの翼、カボチャのアクセサリー、黒い厚底ブーツを着用しています。キャラクターの顔、髪型、体型、衣装、色、アクセサリー、翼の形状を参照画像から忠実に維持してください。
彼女のパフォーマンスは、ゾンビをイメージした独特なダンスです。両腕を力なく前に垂らす動き、指を不自然に曲げたようなゾンビの手、前傾姿勢、左右に傾く上半身、ぎこちない足取り、膝を曲げたステップ、身体をひねる動きを組み合わせてください。
動きは少し不気味でコミカルな雰囲気にしてください。関節が固まったようなぎこちなさと、突然の方向転換、頭や肩の遅れた動きを取り入れてください。滑らかすぎるアイドルダンスや可愛らしいアイドルジェスチャーは使用しないでください。
固定された正面カメラで、途切れのない全身ショットを使用してください。ポーズ1から即座に開始してください。頭、ミニハット、ポニーテール、手、コウモリの翼、ブーツの裏までキャラクターの全身をフレーム内に収め、快適な余白を保ってください。
足元には柔らかいライトグレーの楕円形の影を配置し、床にしっかり接地しているようにしてください。足を引きずるような動きは、実際に足を床から少し持ち上げて踏み出す動作として表現してください。
グリッドは振付の順序のみを定義します。一人のキャラクターを一つの連続した空間に表示してください。参照シート、分割画面、枠、数字、キャプション、重複したフィギュア、アフターイメージ、カット、カメラの動きは使用しないでください。
各番号付きポーズは0.5秒を目安に明確に表現した後、次のポーズへ自然に移行してください。
ダンスの序盤は、両腕を前に垂らし、背中を丸めたゾンビ特有の歩き方から始めてください。徐々に両手を不気味に持ち上げ、指を曲げながら身体を左右に揺らしてください。中盤では大きく前傾したり、低くしゃがみ込んだり、身体をねじったりしながら、不規則でぎこちないステップを表現してください。後半は片足を上げながら身体を傾け、前方に手を伸ばす動きで盛り上げ、最後は両腕を高く持ち上げたゾンビらしいポーズで締めくくってください。
動きの特徴として、腕は肩から力なくぶら下がり、肘は少し曲がり、手首は脱力し、指は軽く曲げてください。頭は左右に不自然に傾き、肩と腰は少しずつ異なるタイミングで動かしてください。動作の切り替わりには短い硬直やぎこちない動きを取り入れてください。
連続した解剖学的構造と重心移動を維持してください。足が床を押して身体を移動させ、着地時には膝が自然に曲がります。ゾンビらしい不自然な動きであっても、関節や身体の構造は正常に保ってください。
ポニーテール、スカートのフリル、紫のケープ、リボン、カボチャのアクセサリー、コウモリの翼には、身体の動きに少し遅れて自然な揺れを加えてください。
スライドショーのような移行、ポーズ間のモーフィング、足の滑り、手足の突然の位置変化、身体の変形を避けてください。9つのポーズを単純につなぐのではなく、ぎこちなさや不規則なリズムを持った、一つの連続したゾンビダンスとして表現してください。以上で完成です。
今回の制作では、ChatGPTでダンスシートを作成 → ChatGPTでダンス用プロンプトを作成 → ChatGPTで背景画像を作成 → Grokで動画生成という順番で進めました。
コメント