SadTalker 画像に音声を合成

はじめに

音声に合わせて、画像の動画をつくりたいと思った。

【ツール】

• SadTalker

参考サイト

SadTalkerのインストールは、以下をご覧ください。

口パク(リップシンク)AI「SadTalker」をWebUI(1111)拡張機能として導入する方法 | 経済的生活日誌 (economylife.net)

SadTalkerの使い方と魅力、画像と音声からアニメーションを作ろう！ | 定年後のスローライフブログ (yanai-ke.com)

SadTalkerの設定資料

拡張機能URL

https://github.com/Winfredy/SadTalker

モデルの配置

stable-diffusion-webui/models/SadTalker

以下のサイトから、すべてのファイルをダウンロードし、上記フォルダ以下にコピーする。

sadtalker_checkpoints – Google ドライブ

SadTalkerをつかってみた

txt2imgにて、画像を作成

【その1】

【その2】

SadTalkerに画像と音声を合成
※音声は、音読さん　（https://ondoku3.com/ja/）

【その1】

【その2】

ビデオエディター（windows標準アプリ）にて、動画を結合
※はじめて使いましたが、使いやすかったです。

完成動画

リンのあいさつ

考察

1枚の画像から、音声動画ができるようになった。

Stable Diffusion の各動画ツールと違い、動画内の画質・人物・風景が相違なく動くのが、すごくよかった。