sd-webui-AnimateDiff AI動画

はじめに

AIアニメーションがさらに向上した。

  • AnimateDiff
  • PoseMy.Art
  • FFmpeg
  • EBsynth
  • VideoProc Vlogger

参考サイト

【必見】Control netやdeforumと連携したsd-webui-AnimateDiffのアップデートを確認しよう【AIアニメーション】

準備

AnimateDiff

AnimateDiffは、以下をご覧ください。

PoseMy.Art 

Opening video を作成する。

PoseMy.Artサイトより、ダンスムービーを作成。
Windows10の標準機能にて、画面録画できます。

Windows 10 の標準機能で画面録画と画面キャプチャを撮る方法-パソブル

画面録画は録画したいアプリ画面を最前面に表示し [Windows]+[G] キーてゲームバーを起動し [Windows]+[A...

作成したダンスムービーは以下の通りです。

ドレスLora

Sweet style dress | 甜美风裙子

[SD 1.5] Sweet style dress | 甜美风裙子 - Style 2 | Stable Diffusion LoRA | Civitai

Sweet style dress | 甜美风裙子 诚挚邀请您尝试此LORA,作者很希望能得到您的反馈和建议。如果您能分享您生成的美图就更好了。感谢~ Sincerely invite you to try this L…

roop用 顔画像

FooocusでAI顔画像を生成

動画生成

画像準備

モデル:BracingEvoMix_v1.safetensors

プロンプト:

1girl,  solo, japanese, 18 y.o, dancing, solo, sing, grin, smile, slender, looking at viewer, standing, outdoor, day, full body, 
dress, braid, white thighhighs, detached sleeves, ribbon, bare shoulders, shoes,
realistic,  masterpiece, best quality, on stage,  <lora:sweet_dress_style2_v1:0.8>,

Sampling method:DPM++ 2M Karras

※roop使用

Upscaler scale は R-ESRGAN 4x+ を選択

AnimateDiff準備

各設定

Number of frames を 60(4秒)にしました

ControlNetにて、「OpenPose」と「IP-Adapter」を使用

OpenPose

IP-Adapter (今回の考察では、IP-Adapterを外しました)

画像は、衣装全体が見えるものを採用

 Generate

生成結果

EBsynth生成(背景交換)

EBsynthの使い方は、以下をご覧ください。

AI動画 制作方法 FFmpeg/EBsynth(パラパラ動画)

EBsynthで背景交換後

動画編集 (BGM追加など)

VideoProc Vlogger 使用(BGM追加、フォーカスの動き、ダンスのスピード速度の変更など)

音源(フリー素材):Don’t be afraid!!

フリーBGM素材『Don’t be afraid!!』試聴ページ|フリーBGM DOVA-SYNDROME

無料・著作権フリーのBGM素材「Don’t be afraid!!(作:t.tam)」の試聴ページです。

完成動画

ダンスバージョン

ダンスバージョン 改良版

考察

今までXやTikTokで見かけていたAI動画を自作することができた。

かなり時間はかかるが、想像以上に満足できる動画ができた。

今後は、PoseMy.Artのようなソフトで、骨格を動かせるムービーを自作できるようにしていきたい。