UE プラグインダウンロード
以下はダウンロードリンクです。UEのソースコードを確認して開発することができ、自分でコンパイルすることができます。現在のプラグインは UE5 バージョンにのみ対応しており。
UE 使用説明
UEで新しいプロジェクトを作成
ブループリントまたはc++プロジェクトのどちらでも可能です。プラグインの二次開発が必要な場合は、
c++プロジェクトを作成し、キャラクターをインポートします（キャラクターのデフォルトポーズはT-Poseでなければならず、A-Poseでは手の動きが異常になります）。次に、プロジェクトのフォルダを開き、新しいPluginsフォルダを作成し、rebocap_unreal_engine_pluginをPluginsに配置します。例えば、新しいtestV3プロジェクトを作成した場合、全体のディレクトリ構造は以下のようになります：
UEを再度開くと自動的にコンパイルされます【ソースコードがリリースされているため、すべてのバージョンに対応するはずです】
プラグインの二次開発とデバッグは、Riderを使用して
[name].uprojectを直接開くことで簡単に行えます。Riderを使用してコンパイルし、コンパイルエラーを確認できます。UEの自動コンパイルを使用してエラーが発生した場合は、
Saved/Logs/[name].Logを確認してください。UEの出力ログは一般的に日本語のエンコード問題があるため、システムエンコードをUTF-8に調整する必要があるかもしれません。スケルトンバインディングの手順
- キャラクターアセットのスケルトンメッシュをクリックし、右クリックして新しいアニメーションブループリントを作成し、アニメーションブループリントをダブルクリックして編集します。【不明な点はビデオと併せて確認することをお勧めします】
- 右クリックして
Rebocapを検索し、Rebocap Body Poseを選択してノードを作成し、ノードの右側のキャラクターを出力ポーズのResultに接続します。 - ブループリント編集ページの左下の変数セクションでプラスボタンをクリックして新しい変数を作成し、変数タイプを検索して
Rebocapを選択し、RebocapMapDataを選択してクラス参照を行います。次に、変数をブループリントにドラッグして先ほど作成したノードRetargetAssetに接続すると、自動的に変数ノードが生成されます。次に、左上のコンパイルボタンをクリックします。 先ほど作成した変数ノードをクリックし、右側のデフォルト値でプラスボタンをクリックして新しい
Mapアセットを作成します。自動的に新しいページに移動し、新しいページでユーザーがスケルトンマッピングを手動で入力する必要があります。注意として、24個のノードすべてを入力することをお勧めします。Avatarのスケルトン名に基づいて入力してください。スケルトン名はブループリントページの上部バーの最初のライトブルーのスケルトンキャラクターをクリックすると自動的に選択され、各スケルトンの対応するポイントを確認できます。
Rebocapの24個のノードのポイントは標準の人体スケルトンポイントです。ここでRebocapのスケルトン名はスケルトンボーンの起点に基づいて命名されています。例えば、VRMではLeftUpperLegと命名されているボーンの起点はヒップなので、RebocapではL_Hipと命名されます。LeftFootの起点は足首なので、対応する命名はL_Ankleです。RebocapではL_Footは足の指に対応します。UEの命名体系では一般的にballと呼ばれます。L Collar左肩のスケルトンL Shoulder左上腕のスケルトンL Elbow左前腕のスケルトンL Wrist左手のスケルトンL Hand左手の中指のスケルトン【駆動しません】スケルトンが多い場合は、適切な位置を選択して選択することができます。例えば、脊柱が6本ある場合は、そのうちの3本を選択することができます。
先ほどのブループリントページに戻り（選択したスケルトンマッピングは保存してコンパイルしないと有効になりません）、変数ノードの値を先ほど作成した
Mapアセットに設定します。- 再度コンパイルし、
Warningを確認します。通常、Warningは3つだけです。スケルトンマッピングが間違っている場合は、特定のスケルトンが見つからないという警告が表示されます。 - アニメーションブループリント編集ウィンドウを閉じ、トップメニューの
ウィンドウ->バーチャルプロダクション->Live Linkをクリックし、ソース->Rebocap Source->connを選択します。【portはポート番号です。Rebocapのブロードキャストポート番号を変更した場合は、ここも変更する必要があります】。Rebocapクライアントが開いている場合、connectはok状態になります。そうでない場合はbad状態です。また、ユーザーが動作キャリブレーションを行った後にデータのブロードキャストが開始されます。
<div align="center">
<img src="../../img/ue_plugin/ue2.png" alt="pic_left" width="80%">
<img src="../../img/ue_plugin/ue3.png" alt="pic_left" width="80%">
</div>
- コードの説明
主な動作制御に関連するコードはSource\rebocap\Private\rebocap_pose_node.cppにあり、その他は周辺関連コード（例えばdllの呼び出しやlivelinkなど）です。その中で、Init_Foot_Vertices_And_SkeletalData関数はキャラクターのデフォルト骨格位置およびvertポイントを取得し、地面接触用の6つのポイント【各足6つ】を計算します。自動計算のため精度が不足する可能性があるので、ユーザーは自分で足底の6つのポイントを見つけてパラメータを渡すと、より正確になるかもしれません。
PS：足が大きいとキャラクターが上下に揺れる可能性があります。極端な例を挙げると、例えば2メートルの大きな足を持つキャラクターが2メートルしかない場合、つま先で立ってから地面に降りると、つま先が地面に接触し続けるためにキャラクターが上下に揺れることになります。
パッケージ化を必要とする開発者の方は、最新バージョンのプラグインをダウンロードしてください（以前のバージョンではパッケージ化後に動作しません）。
runtimeモードではlivelink接続管理が追加されています。Plugins/rebocap_unreal_engine_plugin/Source/rebocap_runtime/Private/RebocapLivelinkManagerDemoWidget.cppファイルのConnectLiveLinkとDisconnectLiveLinkメソッドを参考にして独自に実装することができます。プラグインに付属のUIを無効にしたい場合は、Plugins/rebocap_unreal_engine_plugin/Source/rebocap_runtime/rebocap_runtime.Build.csを編集し、USE_REBOCAP_LIVELINK_MANAGER_DEMOのマクロ定義をコメントアウトしてから自分でコンパイルしてください。プラグインを自分のプロジェクトに組み込む開発者の方は、独自にUIを追加してlivelinkの接続を管理してください。
runtimeモード（standalone or game mode、つまりパッケージ化後の実行）については、現在のところruntimeモードでメッシュの頂点を取得する方法が見つかっていないため、パッケージ化後は自動ボーン登録に足底が含まれず、足底の表現がEditorモードよりも少し劣ることがあります。将来的にはこの問題を解決する予定です。
Editorでlivelink接続を使用する場合、livelinkチャンネルが占有され、gameモードでの接続が成功しない可能性がありますので、Editorを再起動してから試してください。
ビデオ操作デモ
ここには音声がなく、仮に使用しています。後でより本格的なものにします。
Meta Human を Tpose に変更
以下はビデオチュートリアルと対応するTposeファイルのパッケージです。ビデオに従って操作してください。変換ファイルは現在UE5.3にのみ対応しており、他のバージョンは後で追加します。