どーも、こんにちは、はむたまです
背景
最近還暦祝いがあったので、サプライズムービー作成に挑戦しました
結婚式でよくある写真とコメントが載ったスライドショーのような動画は退屈なので、チャレンジングなことがしたいと感じていました。
そこで最近話題の動画生成aiを使ってどこまでできるのか、何ができないのか、こんなことが難しいなどをまとめます
はじめに
動画生成AI技術は、急速に発展しており、たくさんのツールが登場します。また特定のツールであっても日々更新されておりリアルタイムの実情を記載するのは難しいです。2024/12月末時点での結果を記します。またお金がないので基本的に無料枠での検証となります
1. AIによる自動動画編集
動画生成の実情
一時期Youtubeの動画編集を生成AIがやってくれることで動画編集という仕事がなくなるかも？と騒がれました。そこで気になったので複数枚の画像データをインプットに動画を作れるかツールにかけてみました。それこそ結婚式で出てくるようなフレームワークに写真をはめて、簡単なテキストを下に入れた動画はできます。これは今回私が求めていたレベルではなかったです。正直もう少し頑張って欲しかった部分。動画を入れてプロンプトで会話しながらアニメーションや画像を動かしながら作ってくれるレベルを期待したい
主なツール
- canva
- flexclip
- filmora AI
2. 画像をインプットにモーションを生成
現状
画像データを元に被写体が踊り出すようなショート動画を見たことがあるかと思います。このタイプは画像に映った人のテクスチャを取得して、あらかじめ用意していたモーションと組み合わせることでショートなモーション動画を生成します。コマンドプロンプトでさまざまなシチュエーションのモーションを呼び出すことができます。他方で海外のツールが多く、日本人の画像をインプットに動かすにも、途中で外国人顔っぽく見えてしまうため、完成度はかなり低いです
主なツール
- Pica
- videoBRAIN
3. 動画データの高度化
現状
動画データをインプットに映像をよりリアルに、別のシチュエーションに変更することが可能です。実際にsoraの動画生成AIが紹介された時驚かされた内容です。どんなことができるかというと、動画の中に映っている人が笑っていたとします。しかしぎこちない笑顔だったり光の加減が悪く綺麗に見えないとします。この場合光の加減を変えたり、表情を変えて綺麗な笑顔を作ることができます。動画の一部を編集してよりよく見せるにはもってこいなツールです。一方で0→1なアウトプットは苦手とします
主なツール
- sora
4. AIによる音声生成とナレーション
現状
これは非常にイメージがしやすいはずです。ゆっくり解説やひろゆきの声でナレーションされる音声生成AIです。無料でも結構レパートリーはあり、自分のイメージする声を選択できます。文章に！や？をつけるとイントネーションが変わるのも魅力的です。ただcm（センチメートル）をシーエムと呼んでしまい、ちょっと日本語としては拙いレベルのものが出来上がります
主なツール
- にじボイス
5. 画像と動画の融合
概要
画像と動画をインプットに動画で動いている人の顔や姿を画像のデータにすり替えるツールです。映画の有名なワンシーンを別の作品の主人公にしたり、自分に置き換えることが可能です。苦手なことや限界点としては複数人映っている画像をインプットにするとどの人が選ばれるか指定できません。動画の中に複数人写っている場合、誰を画像データに入れ替えるか指定できないのも課題です。プロンプトで正確に指示をしても複数人 x 複数モーションの融合はまだ実現しません。しかし私のイメージしていた動画生成AIとして一番イメージにあったのはこれです
主なツール
- viggle.ai
結論
さまざまな動画生成AIができてきましたが、やってみて思うことはツールを使いこなすのが大事です。さまざまなツールにアカウント作成して、体験してみることでツールごとの強み弱みが確認できます。また一つのツールでもプロンプトエンジニアリングのようにインプットさせる情報を変えるだけで欲しい成果物を作ってくれることがあります。まずはやりたいことを決めて、それにあってそうなツールを探すことが大事です。少し使ってみて勝手がわかったら様々なパターンでやりたいことができるか試してみると、より楽しいものが作れます
暇な時にでも遊んでみてください
ではでは！
コメント