FLUXとRunwayを使って画像から動画を作る流れ

画像から動画へ進めるときは、最初の静止画で「何を見せるか」を決め、動画側の指示では「何をどう動かすか」だけを足すと整理しやすくなります。FLUXで作った画像をRunwayのImage to Videoへ渡す構成では、画像が被写体・構図・光・色の基準になり、テキストは主に動き、カメラ、時間変化を指定します。まず短いshotで動きの方向を検証し、静止画の修正と動画promptの修正を別々に行うのが近道です。

この方法が向くのは、静止画の見た目を先に詰めてから、商品・人物・風景に限定した小さな動きを付けたいケースです。複雑な演技や長い物語を一度の生成で完成させる用途ではありません。長尺作品は短いshotを個別に作り、編集でつなぎます。ここでいう「FLUXとRunwayの連携」は、必ずしも自動API連携を意味しません。生成した静止画を動画モデルへ入力する制作上の受け渡しを扱います。

まず決めるのはモデル名ではなく納品条件

作業を始める前に、完成動画の縦横比、掲載先、必要な尺、人物や商品の同一性、納期を一枚のbriefにまとめます。縦型ショートなら9:16、横型説明動画なら16:9など、最終媒体に合わせて最初の画像の構図を決めます。後から横長を縦長に切り出すと、顔や商品が画面端へ寄ったり、文字を置く余白がなくなったりします。

FLUXには複数のモデルや提供形態があり、生成・編集機能、実行環境、ライセンス条件は同一ではありません。FLUX.2の公式モデル一覧では参照画像を使う編集が案内されていますが、モデルごとのライセンスも異なります。商用案件、ローカル実行、API経由など利用条件がある場合は、選んだ正確なモデル名と提供元の条件を確認してください。「FLUXなら同じ機能・同じ権利」とまとめないことが大切です。

first frameに入れる情報、動画へ残す情報

静止画を作る段階では、動かす前に見た目の基準を決めます。たとえば「白い背景の中央に置かれた青いボトルを、目線の高さから撮影した商品画像」を作り、ラベル、輪郭、反射、背景の余白を確認します。複数shotで同じ商品を使うなら、基準画像を参照させる方法を検討し、色や形が変わっていないか生成後に照合します。

動画promptへ画像内の説明を重ねすぎると、モデルが何を変えるのか曖昧になります。RunwayのImage to Videoガイドは、入力画像が構図や被写体などの視覚情報を担い、テキスト側では動きの記述に集中する方法を案内しています。たとえば「ボトルがテーブルの上にある」と再説明するより、「カメラがゆっくり右へ回り、ボトル表面の反射が移動する」のように変化を書く方が意図を分けやすくなります。

一つのpromptには、主動作を一つ置きます。被写体の動きとカメラの動きを同時に書く場合も、別の節に分けます。

例：

入力画像：窓辺に立つ人物。室内、夕方の光、人物は正面。

動き指示：人物は視線を窓の外へ移す。カメラは固定。カーテンだけがわずかに揺れる。

確認点：顔の向きが急に変わらないか、手や髪が不自然に増えないか、光が途中で昼夜のように変わらないか。

この例は完成品質を保証するpromptではなく、何を固定し、何を動かすかを分けるための書き方です。実際の出力はモデル・入力画像・設定によって変わるため、短い試作で確認します。

生成前の静止画QA

動画化すると目立ちやすい破綻は、first frameの時点で直しておきます。商品ラベルの文字が崩れている、指が重なっている、左右の目の高さが違う、背景の直線が波打つ、といった欠陥は、時間変化によって見えにくくなるとは限りません。むしろ動きの途中で形状が揺れ、動画全体の違和感になります。

確認は「見た目がきれいか」だけでなく、動画化後に守るべき特徴を決めて行います。人物なら顔、髪、衣服、背景との距離。商品なら輪郭、ロゴ、ラベル、色。風景なら水平線、建物の直線、空と地面の境界です。文字やロゴを正確に保つ必要がある場合、画像生成に任せず、後編集で正規素材を重ねる設計も選択肢です。

複数の参照画像を使うなら、役割を明確にします。正面写真を形状の基準、側面写真を細部の確認、ブランド画像を色の基準にするなど、各画像から何を参照させたいのかを言葉にします。参照画像を増やすほど常に安定するとは限りません。相互に矛盾した照明や角度の画像が混ざると、どれを優先するか分かりにくくなります。モデルごとの参照数や入力条件は現行の公式資料で確認し、上限を固定知識として扱わないでください。

Runwayでは動作を短く、観察できる単位にする

Image to Videoの初回生成では、映像全体の演出を一度に書くより、最も重要な動き一つを試します。カメラをパンさせたいのか、被写体を動かしたいのか、背景の一部だけを揺らしたいのかを決めます。「映画のように、ドラマチックに、滑らかに」だけでは、何が画面内で変化するのか特定できません。

promptの例：

「カメラは固定。人物がゆっくり目を閉じ、再び正面を見る。背景と照明は変えない。」

「カメラが商品を中心に小さく左から右へ移動する。商品は動かない。背景の形は保つ。」

「雲が画面右から左へゆっくり流れる。建物とカメラは静止する。」

失敗したら、次の生成でprompt全体を書き換える前に、変えた要素を一つに絞ります。動きが大きすぎるなら速度や移動量を弱め、人物の顔が変わるなら顔を動かす指示を減らす。背景が動くなら、背景固定の指定を加える。カットが突然入るなら、継続した一つのshotを明示し、必要なら尺を見直す。こうすると改善理由を判別できます。

ただし「固定」と書けば完全に止まる、参照画像どおりの顔が全フレームで保たれる、と保証されるわけではありません。生成結果を再生し、冒頭・中盤・末尾を確認します。特に端のフレームだけでなく、途中で出る変形や小物の増減を見ます。ロゴや説明文を含む動画は、動きだけでなく読める状態を保てるかも検証してください。

2つ以上のshotを編集でつなぐ

長い動画が必要なら、最初の生成にストーリー全体を詰め込まず、素材をshotへ分けます。例として商品紹介を「全体を見せる」「手元の使い方」「使用後の状態」の三つに分け、それぞれにfirst frameと主動作を用意します。すべてのshotで同じ参照画像を使うだけでなく、色温度、カメラ距離、被写体の向き、背景のルールも記録します。

shot一覧には、番号、役割、開始画像、主動作、守る特徴、想定尺、編集上の接続点を記録します。次のshotを作る際、前shotの最後のフレームを入力に使う方法もありますが、連続性を保証するものではありません。服の色、位置、明るさがずれた場合は、最後のフレームをそのまま使うより、基準のfirst frameへ戻して再構成した方が整うことがあります。

編集では生成素材の良い部分だけを採用できます。不要な冒頭・末尾を切り、字幕やロゴ、正確な商品情報を編集ソフトで重ねます。映像間に不自然な飛びがあるときは、生成を何度も繰り返す前に、カット位置、短い静止、別カットの挿入で解決できないか確認します。完成尺や書き出し形式は掲載先に合わせ、現行Runwayモデルの提供条件や解像度を確認します。

問題が出たときは原因を分けて直す

結果の崩れを見たら、静止画、動きprompt、生成設定、編集のどこで起きたかを切り分けます。初期画像の顔が崩れているならFLUX側の画像を修正します。画像は良いのに動き始めてから顔が揺れるなら、動作を弱くし、対象を限定してRunway側を調整します。画面比率が合わないなら生成後に無理に切り抜く前に、first frameの構図と最終比率を見直します。

実務用の記録表は次の項目で足ります。

shot ID／FLUXのモデル・提供先／参照画像の役割／first frame版／Runwayのモデル・設定／motion prompt／確認結果／採用版。

モデル名や設定は更新され得るので、後から同じ制作を再現する必要がある案件では、使用日と画面上の設定も残します。これは公式仕様の代わりではなく、プロジェクト内の再現メモです。

納品前には、①全shotの人物・商品が同じに見える、②途中で不要な物体が出入りしない、③カメラ運動が意図と合う、④比率・尺・音声が掲載先に合う、⑤ロゴや字幕が正確、⑥素材の利用条件を確認した、をチェックします。権利が必要な人物写真・商品画像・音源を使う場合、生成モデルの契約とは別に元素材の権利も確認します。

どこまで自動生成に任せるか

FLUXからRunwayへ進む利点は、見た目の設計と時間方向の動きを別工程にできることです。一方、1枚の画像を動画にすれば制作が完了するわけではありません。人物の同一性、文字、商品形状、音と映像の同期、複数shotの連続性は、人が確認する必要があります。業務で再現性が必要なら、画像・prompt・モデル・設定・採用理由を記録し、案件ごとに権利や公開条件を見ます。

まずは重要度の低い短いshotで、比率、被写体の安定、動きの解釈を小さく試してください。静止画の不具合ならFLUX側、時間変化の不具合ならRunway側、編集上のつながりなら動画編集側、と修正場所を分けられれば、闇雲な再生成を減らせます。モデルの推奨や参照機能、生成条件は更新されるため、制作日に使う正確なモデルの公式説明を確認するのが安全です。

仕上がりを比較する小さな試作

初回は同じfirst frameから、固定カメラ、ゆっくりしたcamera move、被写体だけの動きという3種類を作り、どの指示が商品や人物の特徴を保ちやすいか比べます。これはモデルの一般性能を順位づけるテストではなく、その案件の画像・目的・設定で使える動きを選ぶための確認です。採用理由を「画面のどの特徴を保てたか」で記録すれば、次のshotでも同じ判断軸を使えます。