先日こんなツイートがバズってました。
これは！！Web上で動画をAIでアニメーションに変換してくれるツール「Plask」が公開されたようです。Blenderでも使えるのかな？上手くいけばアニメーションの工数が大幅に削減されるかも？は、早く試してぇ〜！！ https://t.co/LiOOLW1Vkx
— 星子 旋風脚／Merry Men Inc. (@senpookyaku) January 19, 2022
動画からモーション取り込めるってモーションキャプチャ―要らないやん…神か？
しかし日本語のサイトでない点や解説サイトが少ないので、簡単な使い方を書いていきます！
この記事では「とりあえず動画からモーションを取り込む方法」について解説します！
詳しい調整や使い方はまだわかってないので…()
おまけでBlenderに取り込んでいます。
できること
ウェブカメラから動画を撮影し、アニメーションを取り込めます。
ノートPCやスマホで大活躍しそうです。
しかし、動画を取り込むことはできず、その場で動画を取るしかないっぽいです（私の時はそうでした）
なので、既存の動画を使うにはOBSなどを使いましょう。
その場でキーフレームを打ったりして編集もできます。
細かい修正もできてしまいます。
しかもブラウザで動くものなので、どこでも使える点が魅力的です。
しかも無料！神！
ファイル管理も便利ですね！
サポートされているファイル形式も豊富です！
使い方
簡単に使い方を解説します！
目次から知りたいところに飛んで行ってください！
アカウント登録
まずPlask公式ページにアクセスしましょう！
そしたら、右上の「SignUp」をクリックし、アカウント登録しましょう。
アカウントを作るのもいいですが、Googleでログインもできるので、好きな方を選びましょう。
また、メアドや名前の入力も忘れずに！
編集画面
完了したら「Get Started」をクリックしましょう。
すると編集画面になります。
右上にこんなマークがありますが、左が青だと編集画面。
右だと動画取り込み画面になります。
モデルの取り込み
まずモデルを取り込みます。
私は今回MixamoのFBX形式のモデルを使います。
モデルデータをこの編集画面にD&Dします。
すると読み込みが始まるので待ちましょう。
すると編集画面の左側に取り込んだモデルが表示されます。
これを編集画面中央にD&Dするとモデルを配置できます。
動画の取り込み（OBSを使います）
画面右上のモード切替ボタンを「カメラアイコン」にすると動画取り込みモードになります。
こんな風に動画を撮影できるようになります。
画面右上のカメラから使用するカメラを選びましょう。
ブラウザの設定からカメラにアクセスできるようにしましょう。
しかし私はダンスを踊れない上にPCにカメラもついてないです…
ということで！今回はミライアカリさんのダンスの動画を使用しました。
多分本物の人間の方がトラッキングしやすいと思います（）
かわいい
私はOBSから動画を流し、その映像をカメラ出力しました。
OBSに動画ファイルをD&Dして仮想カメラを開始するだけです。
こんな風に映れば成功です。
赤い録画ボタンを押せばカウントダウンの後、録画が始まります。
停止ボタンを押せば録画は止まります。
録画が終わったらカットなどの編集ができます。
お好みの長さの動画にしましょう。
そしたら「Extract Motion」をクリックし、モーションの解析をします。
モーションもファイルとして保存されるので、名前を付けておきましょう。
数分かかるので待ちましょう。
終わると編集画面に変わります。
左のタブにモーションデータがあるのがわかります。
このモーションデータを適応したいモデルにD&Dしましょう。
これでモデルが動きます。
私はこんな風になりました。なんちゅうボーンをしとんじゃ。
スペースキーなどを押すとモーションを再生できます。
動かしたモデルを出力する
モーションを取り込んだモデルを右クリックします。
するとこんなメニューが出るので、「Export」を押します。
そしたらいろいろ設定できます。
出力する形式を決めたら「Export」を押しましょう。
こちらも数分かかりますが、自動でDLが始まります。
Blenderで開いてみる
DLできたらBlenderで開いてみます。
ファイル→インポート→FBXよりファイルを選びましょう。
無事取り込めましたね。
再生してちゃんと動くか確認しましょう。
いろいろいじっていい感じにしましょう！
動画はこんな感じです。プレビューできませんが興味があれば見てみてください。
上手くできてないです（笑）
公式マニュアル
公式サイトにマニュアルもあります。
わかりやすいですが、英語なので注意！
感想
私の場合はうまくいきませんでしたが、本物の人間を写すと精度がよくなるかもしれないです。
Plaskさっそく試してみました！
・操作はシンプル
・さすがにちょっとはカクつく
・動画も読み込めるけど、Webカメラからその場で録画もできる
・上半身だけの撮影でもOK
・トラッキングは手首まで、指の動きはなし
・FBX等でエクスポート可能
など確認できました#Plask https://t.co/cTFUtMF3o9 pic.twitter.com/6YOYNAN5y9— 星子 旋風脚／Merry Men Inc. (@senpookyaku) January 19, 2022
このように、上半身だけでもトラッキングできたりと、かなり高性能なようなので、私に問題があったんだと思います（）
とはいえ、これがあればいちいちキーフレームを打ち込まなくてもアニメーションを作れてしまうかもですね…
今後の進展に注目です！
コメント