sd-webui-AnimateDiff AI動画
aiainet2024はじめに
AIアニメーションがさらに向上した。
- AnimateDiff
- PoseMy.Art
- FFmpeg
- EBsynth
- VideoProc Vlogger
参考サイト
【必見】Control netやdeforumと連携したsd-webui-AnimateDiffのアップデートを確認しよう【AIアニメーション】
準備
AnimateDiff
AnimateDiffは、以下をご覧ください。
PoseMy.Art
Opening video を作成する。
PoseMy.Artサイトより、ダンスムービーを作成。
Windows10の標準機能にて、画面録画できます。
Windows 10 の標準機能で画面録画と画面キャプチャを撮る方法-パソブル
画面録画は録画したいアプリ画面を最前面に表示し [Windows]＋[G] キーてゲームバーを起動し [Windows]＋[A...
作成したダンスムービーは以下の通りです。
ドレスLora
Sweet style dress | 甜美风裙子
roop用 顔画像
FooocusでAI顔画像を生成
動画生成
画像準備
モデル：BracingEvoMix_v1.safetensors
プロンプト：
1girl, solo, japanese, 18 y.o, dancing, solo, sing, grin, smile, slender, looking at viewer, standing, outdoor, day, full body,
dress, braid, white thighhighs, detached sleeves, ribbon, bare shoulders, shoes,
realistic, masterpiece, best quality, on stage, <lora:sweet_dress_style2_v1:0.8>,Sampling method:DPM++ 2M Karras
※roop使用
Upscaler scale は R-ESRGAN 4x+ を選択
AnimateDiff準備
各設定
Number of frames を 60（４秒）にしました
ControlNetにて、「OpenPose」と「IP-Adapter」を使用
OpenPose
IP-Adapter （今回の考察では、IP-Adapterを外しました）
画像は、衣装全体が見えるものを採用
→ Generate
生成結果
EBsynth生成（背景交換）
EBsynthの使い方は、以下をご覧ください。
AI動画 制作方法 FFmpeg/EBsynth（パラパラ動画）
EBsynthで背景交換後
動画編集 (BGM追加など）
VideoProc Vlogger 使用（BGM追加、フォーカスの動き、ダンスのスピード速度の変更など）
音源(フリー素材）：Don’t be afraid!!
フリーBGM素材『Don’t be afraid!!』試聴ページ｜フリーBGM DOVA-SYNDROME
無料・著作権フリーのBGM素材「Don’t be afraid!!（作：t.tam）」の試聴ページです。
フリーBGM DOVA-SYNDROME 
完成動画
ダンスバージョン
ダンスバージョン 改良版
考察
今までXやTikTokで見かけていたAI動画を自作することができた。
かなり時間はかかるが、想像以上に満足できる動画ができた。
今後は、PoseMy.Artのようなソフトで、骨格を動かせるムービーを自作できるようにしていきたい。
