AnimateDiff+OpenPose AI動画 (txt2img)

はじめに

前回、sd-webui-AnimateDiff AI動画 (img2img)で動画を生成した。

しかし、AnimateDiffのみを使用した際の滑らかな(ヌルヌルした)動画を作成することができなかった。

そこで、animatediff+openposeで何かできないかと検索していたところ、以下のようなサイトを見つけた

【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ|Baku

「AnimateDiff」では簡単にショートアニメをつくれますが、プロンプトだけで思い通りの構図を再現するのはやはり難しいです。 そこで、画像生成でおなじみの「ControlN…

ComfyUIにて作成していたため、sd-webuiで生成できるように考案した。

準備

Openpose画像(openpose_samples.zip)を以下のサイトから、ダウンロードする
※下記サイト様より、Openpose画像をお借りしました

【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ

【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ|Baku

「AnimateDiff」では簡単にショートアニメをつくれますが、プロンプトだけで思い通りの構図を再現するのはやはり難しいです。 そこで、画像生成でおなじみの「ControlN…

 【こちらからもダウンロード可能(openpose_samples.zip)】

連続画像を動画に変換する

Openpose画像を動画にするため、Flowframesを使用した

Flowframes - Fast Video Interpolation for any GPU by N00MKRAD

Video interpolation for everyone. Up to 100x faster than DAIN, compatible with all recent AMD/Nvidia/Intel GPUs.

編集などの設定は、以下の通りです。

Openpose画像を動画にした
※ゆっくりバージョン

openpose_samples-4x-RIFE-RIFE3.8-16fps.mp4

動画生成

画像準備

モデル:BracingEvoMix_v1.safetensors

プロンプト:

1girl, grin, smile,standing,hair fluttering, tilting head,wave hand,perfect light,
pink dress, on stage,realistic, best quality, <lora:sweet_dress_style2_v1:0.8>,

Sampling method:DPM++ 2M Karras

Hires. fix:1.2 

Number of frames:48 (6秒)

ControlNetにて、「OpenPose」を使用

動画元が、OpenPose動画のため、Preprocessorを none」 に変更 (←※重要)

roopで顔を固定する (Upscaler scale は R-ESRGAN 4x+ 選択)

完成動画

VideoProc Vlogger使用(BGM追加など)

考察動画

今回作成したAI動画と元のOpenPose動画の比較

考察

連番画像を動画に変更することにより、動作をある程度固定した状態で、綺麗な動画(ヌルヌルした動画)を生成することができた。

なおかつ、Flowframesソフトを活用することにより、OpenPoseを動画にすることも簡単に作成できた。