AI動画 制作方法 FFmpeg/EBsynth(パラパラ動画)
はじめに
簡単なパラパラ動画を作成してみる
- Stable Diffusion
- FFmpeg
- EBsynth
参考サイト
サンプル動画
【sample.mp4】
以下のサイトから、サンプル動画を使用させていただきました。
作成方法
C:\MovieProject にサンプル動画を用意
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_10.jpg)
videoフレームの抽出
[EbSynth Utility]タブ → [Project Setting]タブ
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_11-1024x243-1.jpg)
project directory: C:\MovieProject
Original Movie Path: C:\MovieProject\sample.mp4
動画のフレーム幅とフレーム高を確認する。
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_12.jpg)
[Cofiguration]タブ → [Stage1]タブ
Frame Width:960
Frame Height: 540
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_13.jpg)
「Stage1」をチェック!
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_14.jpg)
「Generate」をクリック!
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_15.jpg)
Generate
C:\MovieProject に 「video_frame」フォルダ と 「video_mask」フォルダが生成されています。
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_16.jpg)
※「video_frame」フォルダ
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_17.jpg)
※「video_mask」フォルダ
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_18.jpg)
キーフレームの抽出
[Stage2]タブをクリック
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_19.jpg)
「Stage2」をチェック!
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_20.jpg)
「Generate」をクリック!
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_15.jpg)
Generate
C:\MovieProject に 「video_key」フォルダが生成されています。
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_22.jpg)
※「video_key」フォルダ
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_23.jpg)
作成画像の調整
[img2img]タブをクリック
「video_key」フォルダの1枚から、最適な画像をジェネレート!
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_24-1024x509-1.jpg)
元データの幅と高さを揃える
Width:960
Height: 540
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_25.jpg)
ControlNetで元データから形状などを継承する
※OpenPose
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_26.jpg)
※SoftEdge
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_27.jpg)
設定が決まったら、Seed値を代入する (Seed値固定)
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_28-1024x433-1.jpg)
Script: ebsynth utility
Project directory: C:\MovieProject
ControlNet option
Control Net Weight: 1
Control Net Weight For Face: 1
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_30.jpg)
「Generate」をクリック!
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_31.jpg)
C:\MovieProject に 「img2img_key」フォルダが生成されています。
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_32.jpg)
※「img2img_key」フォルダ
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_33.jpg)
動画の制作
[EbSynth Utility]タブ → [stage5]チェック
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_34-1024x451-1.jpg)
「Generate」をクリック!
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_15.jpg)
C:\MovieProject に 「*.ebs」ファイルが生成されています。
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_35.jpg)
EbSynthを起動
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_36.jpg)
Openで「*_00000.ebs」ファイルを選択
Advanced De-flicker: High
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_37.jpg)
[Run All] で生成開始!
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_39.jpg)
C:\MovieProject に 「out-*」フォルダが生成されます。
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_41.jpg)
[stage7]タブ選択 → [stage7]チェック
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_42-1024x306-1.jpg)
「Generate」をクリック!
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_15.jpg)
C:\MovieProject に 「*.mp4」ファイルが生成されます。
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/20230614_43.jpg)
これで、完成です!!
完成動画
おまけ
背景変更
背景動画を用意する
例えば、Cドライブ> aimovie> bg> bg.mp4
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/img20231012_14.jpg)
次に、変更したい背景動画を以下のように指定する。
Ebsynth Utility> configuration> stage8> Background source
![](https://kinchannel.sakura.ne.jp/aiainet/2024/wordpress/wp-content/uploads/2024/07/img20231012_13-2-1024x428-1.jpg)
Process Stage> stage8 を選択し、Generateする
背景が変更された動画が生成される