はじめに
yayoiMixの生成画像を試してみると、日本人の人物を綺麗に表現できた。
今回は、yayoiMixにて、sd-webui-AnimateDiff AI動画にチャレンジしてみました。
→ CIVIT AI (yayoi_Mix) から、ダウンロード可能
AnimateDiff (txt2img)
設定内容
※今回は、かわいらしい小さい女の子を表現できたらと思います
モデル：yayoiMix
プロンプト：
1loli, ((10yo)), face, hair flower, grin, realistic,
0: close_eyes, from side
16: open_eyes, from front※AnimateDiffでは、呪文の単語数が少ないほうが、動きのある動画を表現できるように感じます。
大きさ：600×800
生成された32枚の画像
各画像をより綺麗に(img2img)
img2imgを利用し、生成された画像をより綺麗にしてみる。
- ピクチャフォルダに「test_input」フォルダを作成
- output用に「test_output」フォルダを作成
「test_input」フォルダに先ほど生成した32枚の画像をコピーする
「Batch」タブを選択し、以下のような設定にした。
Resize to
※画像の大きさを作成した画像の大きさに合わせる（600×800）
Resize by
※大きさを1.25倍に拡大（750×1000）
ControlNetを以下のように設定し、各画像の相関性を合わせるようにした
生成すると「test_output」フォルダに32枚の画像が生成される
動画生成（FILM使用）
生成した「test_output」フォルダの32枚の画像をFILMで綺麗な動画に変換しました。
FILMの詳細は、以下をご確認ください。
動画の再生速度を変更(ffmpeg使用）
動画を2倍速
ffmpeg -i input.mp4 -vf setpts=PTS/2 -af atempo=2 output_fast.mp4
「-vf setpts=PTS/2 -af atempo=2」の箇所で、動画のテンポを変更
「-vf setpts=PTS/2」で動画の速度が2倍
「-af atempo=2」で音声の速度が2倍※今回は、生成した動画（input.mp4)を12倍速に変更（cmd使用)
ffmpeg -i input.mp4 -vf setpts=PTS/12 -af atempo=12 output_fast.mp4
編集動画（BGM付き）
【VideoProc Vlogger 編集画面】
考察
いろいろなモデルが登場してきました。
日本人モデルも以前に比べると多様な人物を表現できるようになりました。
くわえて、思い通りの動きができるようになれば、短編ムービーも可能になっていけると思います。
以前と比べると、LoRAを使用しなくても、かわいらしい女の子を表現できたのも画期的に感じます。
また、「Settings」→「Optmizations」→「Pad prompt/negative prompt to be same length(improves performance when prompt and negative prompt have different lengths; changes seeds)」を有効に変更。
この変更により、一貫した動画が生成出来るようになります。
