MidjourneyとRunwayを使って画像から動画を作る流れ

Midjourneyで静止画を作り、Runwayで動きを加えるときは、画像側に「誰・何が、どんな構図と光で写るか」を決め、動画側では「その画面で何がどう動くか」を指示します。RunwayのImage to Videoでは、入力画像がcomposition、subject、lighting、styleを示し、text promptは主にmotionを説明するという考え方が公式ガイドで案内されています。画像と動画の役割を分けると、promptで見た目を繰り返して動きを曖昧にするのを避けやすくなります。

なお、Midjourney自体にも画像を起点にした短い動画生成があります。公式のVideo機能は、選んだ画像を最初のフレームとして約5秒の動画を作る方式です。短い動きを試したいなら、まずMidjourney内で完結させる選択肢があります。一方、動きやカメラの指示を分けて調整し、複数shotを個別に作る設計ならRunwayへ画像を渡す方法が候補です。どちらを選んでも出力の一貫性や意図どおりの動きを保証するものではないため、短い試作で判断します。

この記事では、短い一shot動画を作る前提で、構図決め、静止画QA、Runwayへの入力、motion prompt、失敗の切り分けを説明します。MidjourneyやRunwayを実際に操作した体験談ではありません。モデル・aspect ratio・duration・creditは変わるため、作業前に公式Docsを確認してください。

最終用途から静止画の構図を決める

まず出力先を決めます。横長動画なら16:9、縦型shortなら9:16など、配信面に合わせた比率を静止画から選びます。Midjourneyの公式docsではaspect ratioを指定でき、defaultはsquare、versionやupscalerによって実際のpixel寸法が変わると説明されています。比率が合わない画像を後から大きくcropすると、被写体や余白が失われることがあります。

表は横にスクロールできます

出力先	静止画で残したい余白	動画化前の確認
16:9解説	被写体の左右、字幕の下部	crop後も要素が画面端に触れない
9:16 short	顔の上部、下部caption領域	platform UIが顔・文字を隠さない
1:1 post	中央の主要subject	camera moveの余白が足りる
4:3 slide風	textと図の読みやすさ	animationで文字が歪まない

静止画promptはsubject、背景、光、composition、styleを短く指定します。Midjourney公式のPrompt Basicsも、subjectや環境、lighting、色、mood、compositionのような具体要素から始める考え方を説明しています。長い形容詞列を足すより、一枚で何を見せたいかを先に決めます。

動画化しやすい静止画を選ぶ

RunwayのImage to Videoガイドは、高品質でvisual artifactの少ないinput imageを推奨しています。ぶれた手、顔、細い線、文字、重なった物体は、動画化で目立つことがあります。静止画が魅力的かだけでなく、少し動いたときに破綻しそうな部分がどこかを見ます。

表は横にスクロールできます

静止画の状態	動画化時の懸念	先に直すこと
指や顔が崩れている	motionで崩れが大きく見える	静止画を再生成または修正
細い文字が多い	文字が揺れる・変形する	文字は編集で後から合成
subjectが画面端に密着	camera moveでcropされる	周囲に余白を追加
背景に強いmotion cueがある	promptと逆の動きが出る	cueを弱めて画像を整える
複数の被写体が重なる	誰を動かすか曖昧	対象と位置を明確にする

Runway側でmotionをpromptしても、入力画像の矛盾や描画ミスが自動で消えるわけではありません。まず画像だけを見て修正できる問題と、動きの指定で調整する問題を分けます。

Runwayでは動きの一文から始める

Runway Gen-4.5の公式説明ではImage to Videoが提供され、inputはimageとtextです。現行のImage to Video Prompting Guideは、画像がvisual starting pointとなり、promptではmotion、camera work、時間の流れを明確にする方法を案内しています。したがって、服装や背景を長く再説明するより、被写体・camera・速度・順序を簡潔に書きます。

例の構造：

被写体：画面中央の人物

動き：ゆっくり顔を右へ向ける

camera：静止

環境：背景の木の葉だけが風で揺れる

時間：一連の連続したshot

最初から複雑な動き、camera arc、背景変化を全部指定すると、何が原因で結果が崩れたか分かりません。第一案では一つのsubject actionと一つのcamera motionに留め、必要になったら一要素ずつ追加します。imageに含まれる方向線やmotion blurとpromptが矛盾しないかも見ます。

1回で完成させず、原因を一つずつ切り分ける

表は横にスクロールできます

出力で起きたこと	見る場所	次の試行
顔・手の歪み	input imageのartifact	静止画を直して同じmotion promptを試す
意図しないcamera move	camera指示の曖昧さ	cameraを固定する表現を追加
被写体が別動作をする	actionの対象が曖昧	left/rightやsubjectを指定
unwanted cut	promptの時間構造やduration	continuous shotと必要な長さを見直す
全体が動かない	imageのmotion cueと指示の衝突	input imageまたはmotion記述を調整
背景まで大きく変化	promptで指定した範囲が広い	動かす要素と固定する要素を分ける

変更のたびに、画像、prompt、model、durationを全部変えると改善理由が分かりません。まず同じ画像・同じmodelでmotion promptだけ変え、次に同じpromptで画像を直すなど、比較条件を一つずつ動かします。出力の完全一致を目標にせず、主題が保たれたか、動きが伝わるか、使えるshotになったかで判断します。

Shot単位で複数clipを編集する

一つの長い動画へ全sceneを任せると、人物や構図の一貫性が崩れたときに全体を作り直すことになります。必要なcutを先に分け、各shotで一つの動きを作り、編集段階でつなぐ方法があります。

表は横にスクロールできます

Shot	静止画で固定	Runway motion	編集で合わせるもの
1 導入	subjectと背景	slow push-in	冒頭の見出し・音
2 説明	図や物体の構図	指定objectの小さな動き	sceneの色味
3 締め	最終画面の余白	camera static、軽いsubject motion	end cardと字幕

shot間でカメラの方向、motion speed、color toneが違う場合は、同じ素材の継ぎ目が目立ちます。各clipを単独で評価した後、編集上の連続性を確認します。AI動画生成だけで字幕や正確な価格表を作る前提にせず、文字情報は編集ツールで重ねると差し替えやすくなります。

公開前の権利・品質チェック

• 生成画像や参照画像の利用条件を確認した

• 人物・ブランド・ロゴを使う場合の許諾を確認した

• 製品UIや価格など変動情報を公式情報で確認した

• 顔、手、文字、背景の崩れを全frameで見た

• 音声、字幕、映像のタイミングを合わせた

• outputが予定するaspect ratioとdurationか確認した

• 複数shotの色・camera方向・速度がつながる

• 重要な字幕やCTAをAI生成画面文字に依存しない

• 公開先の商用利用条件を利用時点で再確認した

AIものさしの判断

Midjourney＋Runwayでは、Midjourney側を構図・見た目の起点、Runway側を時間方向の変化として扱うと、修正箇所が分かりやすくなります。まず配信先に合わせた静止画を一枚作り、artifactと余白を確認してから、短い一shotでmotionを試します。画像の見た目、motion prompt、編集のどこで直すかを分離し、複数clipは編集段階で整える方法が、再試行の手間を抑えます。

失敗の切り分け例

同じ画像から「人物が歩き出す」動きを作ろうとして、結果で顔が変形した場合は、まずRunway promptへ形容詞を足す前に静止画を見直します。顔の境界がぼけている、髪が顔に重なっている、手が不自然な姿勢なら、その状態が動画で強調されることがあります。静止画を修正し、motion promptは同じままで再生成すれば、原因を比較しやすくなります。

一方、画像は安定しているのにカメラが回り込みすぎるなら、subject detailではなくcamera motionを絞ります。例えば「人物が微笑む。cameraは固定」のように、被写体の動きとcameraの状態を分けます。subjectもcameraも環境も一度に指定していた場合、どれを弱めると意図に近づくか一要素ずつ調整してください。

失敗を「AIの気まぐれ」で終わらせず、入力画像、motion指示、duration、編集後の用途のどれに問題があったか記録すると、同じstyleの次shotを再設計しやすくなります。