AnimateDiff+OpenPose AI動画 (txt2img)
aiainet2024はじめに
前回、sd-webui-AnimateDiff AI動画 (img2img)で動画を生成した。
しかし、AnimateDiffのみを使用した際の滑らかな（ヌルヌルした）動画を作成することができなかった。
そこで、animatediff＋openposeで何かできないかと検索していたところ、以下のようなサイトを見つけた
【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ｜Baku
「AnimateDiff」では簡単にショートアニメをつくれますが、プロンプトだけで思い通りの構図を再現するのはやはり難しいです。 そこで、画像生成でおなじみの「ControlN…
ComfyUIにて作成していたため、sd-webuiで生成できるように考案した。
準備
Openpose画像（openpose_samples.zip）を以下のサイトから、ダウンロードする
※下記サイト様より、Openpose画像をお借りしました
【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ
【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ｜Baku
「AnimateDiff」では簡単にショートアニメをつくれますが、プロンプトだけで思い通りの構図を再現するのはやはり難しいです。 そこで、画像生成でおなじみの「ControlN…
【こちらからもダウンロード可能（openpose_samples.zip）】
連続画像を動画に変換する
Openpose画像を動画にするため、Flowframesを使用した
Flowframes - Fast Video Interpolation for any GPU by N00MKRAD
Video interpolation for everyone. Up to 100x faster than DAIN, compatible with all recent AMD/Nvidia/Intel GPUs.
編集などの設定は、以下の通りです。
Openpose画像を動画にした
※ゆっくりバージョン
openpose_samples-4x-RIFE-RIFE3.8-16fps.mp4
動画生成
画像準備
モデル：BracingEvoMix_v1.safetensors
プロンプト：
1girl, grin, smile,standing,hair fluttering, tilting head,wave hand,perfect light,
pink dress, on stage,realistic, best quality, <lora:sweet_dress_style2_v1:0.8>,Sampling method:DPM++ 2M Karras
Hires. fix：1.2
Number of frames：48 （6秒）
ControlNetにて、「OpenPose」を使用
動画元が、OpenPose動画のため、Preprocessorを 「none」 に変更 （←※重要）
roopで顔を固定する （Upscaler scale は R-ESRGAN 4x+ 選択）
完成動画
VideoProc Vlogger使用（BGM追加など）
考察動画
今回作成したAI動画と元のOpenPose動画の比較
考察
連番画像を動画に変更することにより、動作をある程度固定した状態で、綺麗な動画（ヌルヌルした動画）を生成することができた。
なおかつ、Flowframesソフトを活用することにより、OpenPoseを動画にすることも簡単に作成できた。
