動画生成AIで要りそうなものリスト
そう、まだ「必要なもの」と言えるほどは分かっていないフェーズです。動画生成AIは写実的な映像での表現はすごいスピードで進化しているけれど、アニメーションとなるとまだまだ難しい。そもそもアニメーションに限らず詳細な条件の指定や、例えば同じキャラクターを出力させ続けるという事も今の生成AIは苦手としている。
「それならいっそ自分が思い求めている自分仕様のアニメーション特化型の動画生成AIをイチから作ったら」と一瞬よぎったけれど、あまりにも無謀なのでそれは世界中の秀才の方々に期待しておくとして、自分の感じているような事はみんな感じているし、あらゆる課題はそのうち解決していくのだろう。
要りそうなもの
プロンプトだけで自分の表現したい事を詳細に指定するのは現状難しいです。だけど理想は自分の思いのままの作品を作りたい。そこでいろいろな切り口で調べていると、やり方はありそうな雰囲気です。と言う事でカギになりそうなワードを、備忘録的にざっくりまとめておきます。このでは記事はまだその程度の段階です。
Deforum
RunwayやKLINGとの様に動画を生成してくれるAI。ただし”動画生成AI”と言う位置づけではなく、画像生成AI「Stable Diffusion」の拡張機能。
AnimateDiff
こちらも画像生成AI「Stable Diffusion」の拡張機能の一つで、よく目にする説明としては「一枚の画像から(一貫性のある)高品質のアニメーションを作ってくれる」と言う感じ。実際使ってみないと、Deforumとの違いなんかもピンとこないですね。とりあえず”そうなのかぁ”くらいの理解で留めておきます。
Google Colab
Googleが無料で提供してくれているクラウドベースのプログラム開発環境。何かをインストールする必要無く、Python等を使う事が出来る。この「Python」は、生成AIを調べていると時々目にする言語。
LoRA
すごくざっくり理解しようとすると、これまでの生成AIでは出来なかった微調整が出来たり、キャラクターの残しておきたい特徴などを残したり出来るものみたい。イメージでは画風やキャラクターの特徴をコード化しておいて、画像や動画を生成する時にそれを用いる事によって意図したものを生成させると言った感じか。Stable Diffusionと組み合わせて使う事が出来る。
これが結構要な感じがしている。
ControlNet
これもStable Diffusionの拡張機能で、ある画像を基にして別の画像を生成出来る。とても分かりやすく説明してくれているサイトがあったので、こちらを参照するとよくわかると思います。百聞は一見に如かず！
EbSynth
これの説明で良く出てくるのが、「もととなる動画が必要。その元動画から一部を抜き出して、Stable Diffusionで生成した人物に置き換えて動画化」みたいな説明ですが、正直よく分からない。でも何となく他の方の解説動画などを見ていると自分のやりたい事と無関係ではなさそうな気もするから、とりあえずここにリストアップしておきます。
まとめ
ここではとりあえず備忘録的に、さらに深堀していきたいものをリストアップしただけです。これまでMidjourneyは使ったことがありますが、Stable Diffusionは使ったことがありません。まずはStable Diffusionを使ってみるところから初めて、そこから実際に拡張機能を一つずつ体験していこうと思います。
