SadTalker 画像に音声を合成
はじめに
音声に合わせて、画像の動画をつくりたいと思った。
【ツール】
- SadTalker
参考サイト
SadTalkerのインストールは、以下をご覧ください。
口パク(リップシンク)AI「SadTalker」をWebUI(1111)拡張機能として導入する方法 | 経済的生活日誌 (economylife.net)
SadTalkerの使い方と魅力、画像と音声からアニメーションを作ろう! | 定年後のスローライフブログ (yanai-ke.com)
SadTalkerの設定資料
拡張機能URL
https://github.com/Winfredy/SadTalker
モデルの配置
stable-diffusion-webui/models/SadTalker
以下のサイトから、すべてのファイルをダウンロードし、上記フォルダ以下にコピーする。
sadtalker_checkpoints – Google ドライブ
SadTalkerをつかってみた
txt2imgにて、画像を作成
【その1】

【その2】

SadTalkerに画像と音声を合成
※音声は、音読さん (https://ondoku3.com/ja/)
【その1】

【その2】

ビデオエディター(windows標準アプリ)にて、動画を結合
※はじめて使いましたが、使いやすかったです。

完成動画
リンのあいさつ
考察
1枚の画像から、音声動画ができるようになった。
Stable Diffusion の各動画ツールと違い、動画内の画質・人物・風景が相違なく動くのが、すごくよかった。