Sunoを声優にできるか？
前回の記事ではSuno・DALL-E・Runwayを使ってミュージックビデオを制作しました。
さて今回の記事では通常、歌詞を入力すると自動で歌ってくれる音楽生成AIのSunoに歌わせずに、Sunoを声優として活用できるか？ という実験を行いました。
前回に続いてDALL-Eで原画を作成し、Runwayで映像化。さらにSunoで声を合成するAIコラボレーションを活用。そして出来た素材を統合して短い映像作品の制作に挑戦してみます。
使用ツール
Suno（suno.com） – 歌詞を書いて伝えると曲にしてくれる作曲AIツール
DALL-E (chatgpt.com)- 画像をもとに5～10秒の動画を作成
Runway(runwayml.com) – 動画生成AI
OpenShot Video Editor(openshot.org) – 編集ソフト
Sunoにセリフを読ませる
今回はSunoにセリフを読み上げてもらいます。その内容は以下の通り。
セリフは「私たちは言葉で描いてきた。そしてそれはもうすぐ形になる。手に触れそうなほどに。」という内容です。
しかしセリフをSunoに読み上げてもらうのは、日本語の発音の難しさを考慮し、ここではセリフを英訳しました。今回の歌詞（セリフ）は以下のように。
📌 英訳版 “As we have always done, we will continue to paint with words. The dreams that words see are about to take a clear shape—so close, you can almost touch them.”
Sunoに歌い方（話し方）の指示
通常は、Sunoは入力した歌詞を自動で歌うAIです。しかし今回はセリフとして話してもらうことに挑戦しますので下記のプロンプト（指示）を追加。
📌 使用したプロンプト:
[all of the line: without any background music, without any sing, this lyrics is speak softly.]
さらに、音声のスタイルとして以下の設定を行いました。
女性ボーカル（ただし歌わない）
そして優しくささやくような話し方
しかもBGMはなし
さらにエコーを加える
この内容でSunoはちゃんと指示通りに話してくれるのか？
音声が出来上がったらダウンロードします。のちほど結果を確認します！🎤✨
DALL-Eで映像用のキャラクターを作成
音声だけでは少し寂しいので、話し手となる人物の映像 も用意することにしました。
前回同様、DALL-Eを使って 「ヘッドフォンをつけて勉強する女性」 を原画として生成します。
📌 DALL-Eへの指示:
- 試験勉強中の女性
- ヘッドフォンをつけている
- そしてノートにメモを取りながら集中している
こうして出来上がったのが、こちらの画像です。
Runwayで動画化
次に、DALL-Eで作成した画像をRunwayにアップロードし、動画化 していきます。
ここではRunwayに以下のような指示を設定しました。
📌 Runwayへの指示:
- 「彼女は勉強しています」
- 「ノートにペンで文字を書いています」
- 「集中して取り組んでいる様子」
しばらく待つと処理が終わり、静止画だったキャラクターが動き出し、映像が完成します！
出来上がったら、生成された動画をダウンロードできます。
実験結果
最後に、前回の記事でも使用した編集ソフト OpenShot を使って、音声と映像を統合 しました。
こうして、Sunoが語るショートムービーが完成！それでは実際に再生してみます。
Sunoはしっかりとセリフを読み上げてくれました！
🎙✨このように、歌うAIのSunoは「歌わず話してください」というプロンプトにも従ってくれます。この実験では見事にセリフを読み上げてくれました。
上手くいったので調子に乗ってもう一本
🎥 もう一本のショートムービー：夜の街で独り言
予想以上に実験が上手くいったのでもう一本作ってみました。こちらの動画でもSunoにセリフを与え、Runwayで夜の街の映像と組み合わせました。
さてこちらの動画は夜の東京をイメージしています。この動画では「音楽が都会の喧騒から守ってくれる」というのがセリフの意味です。 このように音楽生成AIのSunoは実はただ歌うだけでプロンプト次第で話すことも可能です。このように感情や雰囲気も演出することもできるようです。
今回の歌うAIのSunoを「声優」として使う実験は新たな可能性を感じられる結果になりました。
さて、いかがでしたでしょうか。まず今回の動画の成功で、短い映画を作ったりも出来そうだという考えが頭に浮かんできます。それでは今回はこのあたりで。次回も何かを作って紹介するか、もしくは本題とも言えるLLM編を始めるかわかりませんが、いろいろなことな企画を考えています。
それでは次回をお楽しみに！
今回使用したツール
Suno（suno.com） – 歌詞を書いて伝えると曲にしてくれる作曲ツール
DALL-E (chatgpt.com)- 画像をもとに5～10秒の動画を作成
Runway(runwayml.com) – 動画生成AI
OpenShot Video Editor(openshot.org) – 編集ソフト
☆素晴らしいツールをこの世に送り出してくれるエンジニアの皆様に感謝☆
コメント