今回はArtListのVoiceoverに新たに加わった機能「フランス語」「スペイン語」「ドイツ語」の音声作成と、それを使ってのリップシンクのテストです。
手順としては、まず日本語の台詞をGoogle翻訳で各語に変換。ArtListのVoiceoverに追加された「各語の項目」を選択し、性別とキャラクターを決め、さきほどの翻訳文をコピペし、しゃべらせます。（この段階で10秒に収まるかどうか確認し、極端にオーバーするようなら最初の手順に戻り、日本語の台詞を縮めて再翻訳させたものでリトライします。なぜ10秒かというと、Runway GEN-3で生成できる動画の尺が、現状では5秒か10秒の二択になるからです）
狙い通りの音声が仕上がったらmp3データを書き出しておきます。
そのうえで各語のインタビュー動画のベースになる画像をAdobe Fireflyで生成します。
このとき人物像（性別、年齢、雰囲気）と共に「街頭インタビューである」こと、背景は「各国の街並みであること」も指示しておきます。
（インタビュアーを入れ込みたいカットに関してはその旨も記します。例えば「紺のスーツを着た男性インタビュアーの肩ナメ（もしくはOTS）」といった具合に。ちなみにOTSというのはOver The Shoulderの略で映像用語です）
欲しいイメージの画像が生成されたらRunway GEN-3のimage to videoにドロップし、10秒の動画を生成します。無事に生成されたらLipsyncボタンを押し、取り込み画面の用意が出来たら、さきに用意してあった各語のインタビュー音声（mp3）をドロップし、Lipsync動画を生成。
完成した動画をダウンロードしてDaVinci Resolveで編集・字幕入れ・SE及びエアノイズ追加・グレーディング等をして完成です。
※エアノイズはArtListから街頭関係のSEを、質問画面につけたタッチ音はフリー素材の効果音を使用しました。
ちょっとミスったのは、スペインの「ブルボン好きの女性」の音声（台詞）がわずかに12秒に達しており、最後の部分で動画が逆戻りしてしまったことです。どうやら11秒台まではギリギリ10秒扱いしてくれる（のりしろの範疇に収まる）ようですが、12秒台にタッチするとこういうことになるんですね……。
あと、ドイツの「ビルガモ推し」の女性のまばたきがちょっと破綻してるのが気になりますが、テスト内容とは別問題なので今回は良しとしました。
#動画生成ai
#runwaygen3
#ai動画
10 окт 2024
