sd-webui-AnimateDiff AI動画
はじめに
AIアニメーションがさらに向上した。
- AnimateDiff
- PoseMy.Art
- FFmpeg
- EBsynth
- VideoProc Vlogger
参考サイト
【必見】Control netやdeforumと連携したsd-webui-AnimateDiffのアップデートを確認しよう【AIアニメーション】
準備
AnimateDiff
AnimateDiffは、以下をご覧ください。
PoseMy.Art
Opening video を作成する。
PoseMy.Artサイトより、ダンスムービーを作成。
Windows10の標準機能にて、画面録画できます。
作成したダンスムービーは以下の通りです。
ドレスLora
Sweet style dress | 甜美风裙子
roop用 顔画像
FooocusでAI顔画像を生成
動画生成
画像準備
モデル:BracingEvoMix_v1.safetensors
プロンプト:
1girl, solo, japanese, 18 y.o, dancing, solo, sing, grin, smile, slender, looking at viewer, standing, outdoor, day, full body,
dress, braid, white thighhighs, detached sleeves, ribbon, bare shoulders, shoes,
realistic, masterpiece, best quality, on stage, <lora:sweet_dress_style2_v1:0.8>,
Sampling method:DPM++ 2M Karras
※roop使用
Upscaler scale は R-ESRGAN 4x+ を選択
AnimateDiff準備
各設定
Number of frames を 60(4秒)にしました
ControlNetにて、「OpenPose」と「IP-Adapter」を使用
OpenPose
IP-Adapter (今回の考察では、IP-Adapterを外しました)
画像は、衣装全体が見えるものを採用
→ Generate
生成結果
EBsynth生成(背景交換)
EBsynthの使い方は、以下をご覧ください。
AI動画 制作方法 FFmpeg/EBsynth(パラパラ動画)
EBsynthで背景交換後
動画編集 (BGM追加など)
VideoProc Vlogger 使用(BGM追加、フォーカスの動き、ダンスのスピード速度の変更など)
音源(フリー素材):Don’t be afraid!!
完成動画
ダンスバージョン
ダンスバージョン 改良版
考察
今までXやTikTokで見かけていたAI動画を自作することができた。
かなり時間はかかるが、想像以上に満足できる動画ができた。
今後は、PoseMy.Artのようなソフトで、骨格を動かせるムービーを自作できるようにしていきたい。