UE プラグインのダウンロード
以下はダウンロードリンクです。UEのソースコードを確認して開発し、自分でコンパイルすることができます。現在、プラグインは UE5 バージョンにのみ対応しています。
UE 使用説明
UEで新しいプロジェクトを作成
ブループリントまたはc++プロジェクトのどちらでも可能です。プラグインを二次開発する場合は、
c++プロジェクトを作成し、キャラクターをインポートします（キャラクターのデフォルトポーズはT-Poseでなければならず、A-Poseではないこと。そうでないと腕の動きが異常になります）。その後、プロジェクトのフォルダを開き、新しいフォルダPlugins フォルダを作成し、rebocap_unreal_engine_pluginをPluginsに入れます。例えば、新しいtestV3プロジェクトを作成した場合、全体のディレクトリ構造は以下のようになります：
UEを再度開くと自動的にコンパイルされます【ソースコードがリリースされているため、すべてのバージョンに対応しているはずです】
プラグインを二次開発およびデバッグする際は、Riderを使用して
[name].uprojectを直接開くことで開発および簡単にデバッグできます。Riderを使用してコンパイルし、コンパイルエラーを確認できます。UEの自動コンパイルを使用してエラーが発生した場合は、
Saved/Logs/[name].Logを確認してください。UEの出力するLogには一般的に日本語のエンコード問題が存在するため、システムのエンコードをUTF-8に調整する必要があるかもしれません。スケルトンのバインディング手順
- キャラクターアセットのスケルトンメッシュ【英語版では:
Skeleton Mesh】をクリックし、右クリックして新しいアニメーションブループリントを作成し、アニメーションブループリントをダブルクリックして編集します。【不明な点はビデオと併せて確認することをお勧めします】 - 右クリックして
Rebocapを検索し、Rebocap Body Poseを選択してノードを作成し、ノードの右側の小人を出力ポーズのResultに接続します。 - ブループリント編集ページの左下の変数のところでプラスボタンをクリックして新しい変数を作成し、変数タイプを検索して
Rebocapを選択し、RebocapMapDataをクラス参照として選択します。次に変数をブループリントにドラッグして、先ほど作成したノードRetargetAssetに入れると、自動的に変数ノードが生成されます。その後、左上のコンパイルボタンをクリックします。 先ほど新しく作成した変数ノードをクリックし、右側のデフォルト値でプラスボタンをクリックして新しい
Mapアセットを作成します。自動的に新しいページに移動し、新しいページでユーザーがスケルトンマッピングを自分で入力する必要があります。注意として、24個のノードすべてを入力することをお勧めします。Avatarのスケルトン名に基づいて入力してください。スケルトン名はブループリントページの上部の一番左の水色のスケルトン小人をクリックすると自動的にスケルトンを選択し、各スケルトンに対応するポイントを確認できます。
Rebocapの24個のノードのポイントは標準の人体スケルトンポイントであり、ここでのRebocapのスケルトン名はスケルトンボーンの始点で命名されています。例えば、VRMでは、LeftUpperLegと命名されたボーンの始点はお尻のところなので、Rebocapでの命名はL_Hip、LeftFootの始点は足首なので、対応する命名はL_Ankle、RebocapでのL_Footは足の指のところに対応しています。UEの命名体系では一般的にballと呼ばれます。L Collar左肩のスケルトンL Shoulder左上腕のスケルトンL Elbow左前腕のスケルトンL Wrist左手の手のひらのスケルトンL Hand左手の中指のスケルトン【駆動しません】スケルトンが多い場合は、適切なスケルトンを選択してマッピングすることができます。例えば、脊柱が6本ある場合は、その中の3本を選んでマッピングすることができます。
先ほどのブループリントページに戻ります（選択したスケルトンマッピングは保存してコンパイルしないと有効になりません）、変数ノードの値を先ほど新しく作成した
Mapアセットに設定します。- 再度コンパイルし、
Warningを確認します。通常、Warningは3つしか表示されません。もしスケルトンのmapに誤りがある場合、特定のスケルトンが見つからないというwarningが表示されます。 アニメーションブループリントエディタウィンドウを閉じ、上部の
ウィンドウ->バーチャルプロダクション->Live Linkをクリックし、次にソース->Rebocap Source->connを選択します【portはポート番号です。Rebocapのブロードキャストポート番号を変更した場合、ここも変更する必要があります】。Rebocapクライアントが開いている場合、connectはok状態になります。そうでない場合はbad状態です。また、ユーザーは動作キャリブレーションを行った後にデータのブロードキャストを開始します。
- キャラクターアセットのスケルトンメッシュ【英語版では:
コード説明
主な動作制御関連のコードは
Source\rebocap\Private\rebocap_pose_node.cppにあり、その他は周辺関連コードで、例えばdllの呼び出しやlivelinkです。その中で、Init_Foot_Vertices_And_SkeletalData関数はキャラクターのデフォルトの骨格位置とvertポイントを取得し、地面接触用の両足の6つのポイント【各足6つ】を計算します。自動計算のため精度が不足する可能性があるので、ユーザーは自分で足底の6つのポイントを見つけてパラメータを渡すと、より正確になるかもしれません。PS：足底のサイズが大きいとキャラクターが上下に揺れる可能性があります。極端な例を挙げると、例えば2メートルの長い足で、キャラクターも2メートルの場合、つま先立ちしてから着地すると、つま先が地面に接触し続ける必要があるため、キャラクターが上下に揺れることになります。
パッケージング説明
- 開発者
パッケージングが必要な開発者は、最新バージョンのプラグインをダウンロードできます（以前のバージョンではパッケージング後に実行できません）。
runtimeモードでLivelink接続管理が追加されており、Plugins/rebocap_unreal_engine_plugin/Source/rebocap_runtime/Private/RebocapLivelinkManagerDemoWidget.cppファイルのConnectLiveLinkとDisconnectLiveLinkメソッドを参考にして自分で実装できます。プラグインのUIを無効にしたい場合は、Plugins/rebocap_unreal_engine_plugin/Source/rebocap_runtime/rebocap_runtime.Build.csを変更し、USE_REBOCAP_LIVELINK_MANAGER_DEMOのマクロ定義をコメントアウトして自分でコンパイルしてください。プラグインを自分のプロジェクトに追加する開発者は、livelinkの接続を管理するUIを自分で追加してください。 - ブループリントユーザー
Livelinkを管理するためのブループリントノードが追加されました。ノード名はそれぞれ：Connect to Rebocap Livelink Source,Disconnect to Rebocap Livelink Source
- 開発者
注意:
Editorでlivelink接続を使用する場合、livelinkチャネルが占有され、gameモードで接続できない可能性があります。Editorを再起動してから試してください。runtimeモード（standalone or game mode、つまりパッケージング後の実行）では、runtimeモードでメッシュの頂点を取得する方法がまだ見つかっていないため、パッケージング後、自動骨格登録には足底が含まれず、足底のパフォーマンスはEditorモードより少し劣ります。将来的にこの問題を解決する予定です。
動画操作デモ
ここには音声はありませんが、一時的に使用するためのもので、後でより良いものにします。
Meta Human を Tpose に変更
以下は動画チュートリアルと対応する T-pose 変換ファイルのパッケージです。動画に従って操作してください。変換ファイルは現在 UE5.3 のみ対応しており、他のバージョンは後で追加します。