Blenderでモーションキャプチャーする(ビデオから)

標準

参考動画

1.ビデオファイルからモーションをAI推定する、Plaskを使う

https://plask.ai/

無料バージョンで出来ること

・一日30秒まで
・ビデオに映っている1人のみキャプチャ
・1GBまでのアセットライブラリ
・インポート FBX,GLB,JSON,MP4,MOV,WEBM
・エクスポート FBX,GLB,BVH

Freeのほうの、「Get Started」ボタンをクリック


ログインを求められるので、Googleでログインするか、メールアカウントを作成

スタートすると、上図のような画面が表示される

ダンスモーションビデオは、画面固定したものがよい。もし画面が揺れるようであれば、次のリンクからゲットできる、スタビライズド フッテージをゲットするとよい
https://blenderdaily.gumroad.com/l/xrqnqj

MyProjectをクリックし、ワークプレースに行く

左側に、ビデオクリップをドロップすると、真ん中にプレビュー画面があらわれる。

ビデオクリップは、必要部分だけをトリムすることも出来る(図は、参考動画より)

あとは、Extractをクリックするだけだが、フリーバージョンだと30秒しか試せない
約30秒で、12分かかるらしい

Extractでできたモーションが左側ウィンドウに出てくるので、デフォルトキャラクターの下にドラッグする

3Dビューにキャラクターがモーションする様子がプレビューできる

足は結構すべる。足のロックは、MocapProバージョン(1月あたり140$ または年間契約で、1月50$)でないと難しいかも

ただ、コメントによると、BlenderのNLA editorで簡単に出来るとのこと。。。

「BlenderのNLAエディターで、地面に立つ足のモーションをつくっておいて、Plaskで作成できたモーションとブレンドモードでセットする」

さて、出来上がったモデルとダンスモーションを右クリックで、FBXにエクスポートする
しばらくすると、ダウンロード完了する
これをBlenderにインポートする

インポートするときに、アーマチュアのところ「ボーン方向の自動整列」にチェックをいれること。

アニメーションのタイムラインをデフォルトの250から、今回のムービーのフレーム長にし、プレイボタンをクリックすると、モーションキャプチャできている

Animationウィンドウ設定にし、左上ウィンドウをノンリニアアニメーションにする(下図)。
また、一番下のドープシートのウィンドウは、アクションエディタを選択(下図)。


コメントは受け付けていません。