検索
Start typing to search...

LEDウォールをバーチャルプロダクションに活用する

Author:

LEDウォール製造の概要に戻る LEDウォール製造の概要

注意:このドキュメントの一部は古くなっています。内容の更新作業を進めています。

導入

Aximmetryにおける「LEDウォール」の用語の使い方

Aximmetryの制御ボードにおいて、「LEDウォール」とは、LEDウォール構造の連続したセグメントを指し、以下のいずれかで表現可能です。

  • 平らな長方形
  • または曲線状の長方形(曲線は正円弧の一部

通常、LEDウォール構造は、上記のカテゴリに該当する3~4つのセグメントに分割可能です。例:典型的な構成は次のとおりです:

  • 3つのLEDウォールの角:直角に配置された2つのウォールと床用の1つ
  • メインのフロントディスプレイ用の1つのウォール(平面または曲面)、直角に配置された両側の2つ、および天井用の1つ(後者の3つは通常、環境光/反射光源としてのみ機能します)。

これらは単なる例です。任意の構成を使用できます

曲面長方形が過度に長い場合(例:270°の円形ディスプレイ)は、正しくレンダリングするために3~4つのセグメントに分割する必要があります。

非常に高解像度レンダリングが必要な場合(例:2×4K)、LEDウォール(通常は前面のウォール)をさらに分割する必要がある場合があります。この場合、GPU負荷を2台以上のPCに分散させることを検討できます。

ただし、これらのセグメントは物理的な接続(HDMIまたはDP)で分離する必要はありません。LEDウォールプロセッサの構成によっては、単一のHDMI/DP接続で全体を送信することも可能です。仮想的な分離は、AximmetryがLEDウォールのすべての部分を正しくレンダリングするために必要です。実際の複数接続が必要なケースは、レンダリングに複数のPCを使用する場合、または単一のHDMI/DP接続の帯域幅が不足する場合のみです。

最後に、「LEDウォール」は、シナリオに適合する場合、フラットテレビやプロジェクターでも構いません。

このドキュメントの残りの部分では、上記の意味で「LEDウォール」という用語を使用します。

レンダリングパス、シングルマシン vs. マルチマシン構成

すべてのLEDウォールに正しい画像コンテンツを提供するため、Aximmetryは以下のレンダリングパスを実行します:

  • Frustum」 レンダリング:カメラが現在実際にLEDウォール上で見ている画像部分。必要最低限の解像度と品質で実行する必要があります。
  • Fill」 レンダリング:各LEDウォールごとに1パス実行され、カメラが現在見ていない部分のコンテンツを提供します。これらの画像部分の主な目的は、環境光と反射環境を提供することであるため、品質を低下させてレンダリング可能です。

LEDウォールの数とFillパスの解像度低下によっては、すべてのコンテンツをレンダリングするために単一のPCで十分かもしれません。

ただし、すべてのFillレンダリングに非常に高い解像度が必要な場合は、複数のPCが必要になる可能性があります。この場合、どのLEDウォールをどのPCでレンダリングするかを指定する必要があります。ご注意ください:「Frustum」パスは必ずすべてのPCで実行する必要があります。

Fillレンダリングには「Freeze」オプションも利用可能で、高解像度のFillコンテンツが必要な場合でも単一のマシンで処理可能です。

これらのケースのセットアップについては後ほど説明します。

カメラ入力

シーンは単一または複数の物理カメラで撮影できます。

LEDウォールを使用する場合、カメラから出力される信号は、既に実写の前景とバーチャル背景の最終合成済みです。そのため、カメラ自体に画像を録画するか、放送/録画用にスタジオ機器に直接信号を送信できます。

ただし、以下の理由から、信号をAximmetry PCに戻すことが推奨されます:

  • カメラの映像を見ながらLEDウォールの位置を調整するのがはるかに簡単です。これが推奨される方法です。以下の
  • Aximmetryで最終コンテンツを録画したい場合
  • 画像の調整やポスト処理を行いたい場合
  • 画像にオーバーレイ、PIP、テキスト、チャンネルロゴなど、追加の要素を合成したい場合
  • Green Frustumモード(以下参照)を使用する場合、最終画像のプレビューを確認したい場合
  • リアルタイムのデジタル拡張以下参照)を使用します。
  • 複数のカメラを使用します。すべてのカメラ信号を別々に記録しても、後々の編集セッションで任意に切り替えることはできません。LEDウォールは、一度に選択された1つのカメラの視点からのバーチャル背景のみを表示できるためです。Aximmetry UIは、カメラ入力と背景投影を同期して切り替える機能を提供します。

NOTE: LED ウォールを撮影する場合は、他のシナリオとはまったく異なる設定を物理カメラで使用することをお勧めします。

たとえば、カメラの自動設定をすべてオフにしてください。自動露出やオートフォーカスなどは、物理カメラではなく仮想シーンで作成する効果であるため、オフにしてください。

カメラのトラッキング

各カメラには空間情報が必要です。通常、この情報はカメラトラッキングシステムによって提供されますが、固定カメラを使用する場合は手動で指定することもできます。

Aximmetry コントロールボードでは、カメラを切り替えることができます。仮想背景は、現在選択されているカメラのトラッキング位置から LED ウォールに常に投影されます。

最終的な画像は、選択したカメラの視点から見た場合にのみ正しく表示されます。他のカメラの角度やスタジオスタッフから見た場合、奇妙に見える場合がありますが、これは正常です。

LEDウォール構成の具体的な例

このドキュメントでは、以下の配置を例として使用します。すべてのスクリーンショットで表示される設定は、この配置に準拠しています。ただし、実際の使用では異なる配置/設定を使用する可能性が高いです。

LEDウォールプロパティ

前面ウォール:8m × 3.5m、曲面、2816 × 1232ピクセル

後部壁2面:2.5m × 3m、平面、各520 × 624ピクセル

UsingLedWallsForVirtualProduction Image1.png

単一マシン出力フレーム配置

LEDウォールプロセッサーは、3つの壁の映像を単一のDPケーブル経由で、3856 × 1232ピクセルのフレーム内に以下の配置で受信します:

UsingLedWallsForVirtualProduction Image2.png

複数マシン出力フレーム配置

マルチマシン構成をデモするため、前面壁を2つの半分の領域(各1408×1232ピクセル)に分割します。右半分は中央マシンがレンダリングし、左半分は2番目のマシンが、2つの背面壁は3番目のマシンがレンダリングします。

UsingLedWallsForVirtualProduction Image3.png

中央マシンは、DPケーブル経由でLEDウォールプロセッサーに1408×1232ピクセルのフレーム内で自身の部分を送信します:

UsingLedWallsForVirtualProduction Image4.png

2番目のマシンは、別のDPケーブル経由で左側の部分を1408 x 1232ピクセルのフレームで送信します:

UsingLedWallsForVirtualProduction Image5.png

3番目のマシンは、2つの後部画像を単一のDPケーブル経由で送信します。これらは1040 x 624ピクセルのフレームに配置されます:

UsingLedWallsForVirtualProduction Image6.png

初期の構成

単一マシン構成

プレビュー出力

PCにセカンダリモニターを接続してプレビューを行うことをおすすめします。セカンダリモニターがある場合は、出力#1として選択してください。

UsingLedWallsForVirtualProduction Image7.png

セカンダリモニターがない場合は、このステップを省略してください。Composerのプレビューパネルの1つでプレビュー可能です。

最終プログラム出力

放送/録音のためにスタジオシステムに最終出力を転送する必要がある場合、または専用モニターで視聴したい場合は、SDI出力の1つに#2を割り当ててください。カメラ入力とLEDウォール出力のフレームレートが一致するように、正しいフレームレートを設定してください(以下を参照)。

UsingLedWallsForVirtualProduction Image8.png

LEDウォール出力

通常、すべてのLEDウォール画像を単一のHDMIまたはDPケーブルで大きなフレームに統合して送信でき、LEDウォールプロセッサーが適切な場所に送信します。

LEDウォールプロセッサーは、フレームの総サイズとPC用の予想フレームレートを報告します。これはWindowsとAximmetryの両方で適切なサイズのモニターとして表示されます。

この場合、この出力を#3に選択し、Sync on を設定します。

UsingLedWallsForVirtualProduction Image9.png

この場合、複数のHDMI/DPケーブルで画像を送信し、#3、#4、#5などにこれらの出力を割り当て、最初の出力にSync on を設定します。

UsingLedWallsForVirtualProduction Image10.png

マルチマシン構成

マルチマシン構成とは何か、リモートエンジンをどのように割り当てるかについては、 このドキュメントを参照してください。ここでは、LEDウォール出力に関連する設定のみを説明します。

使用するPCの数や、これらのPCがどのLEDウォールをレンダリングするかは、ご自由に設定できます。例えば、各LEDウォールに専用のPCを使用したり、2台のPCでそれぞれ2つのLEDウォールをレンダリングしたりするなど、さまざまな構成が可能です。

中央マシン設定

中央マシンは、すべてのカメラおよびトラッキング入力、最終出力、および対象とする LED ウォールのサブセットの出力を処理します。設定は、基本的に単一マシンの場合とまったく同じです。

UsingLedWallsForVirtualProduction Image11.png

次のステップは、他の 2 台のマシンを リモートレンダラーエンジンとして定義することです。これらが LAN 上の IP アドレス 192.168.0.2 および 192.168.0.3 に存在すると仮定しましょう。

UsingLedWallsForVirtualProduction Image12.png

リモートエンジン設定

以下の設定は、2番目と3番目のマシンでAximmetry Renderer Configアプリを起動して行います。

各リモートエンジンは、割り当てられたLEDウォールのサブセットのみを処理します。単一のHDMI/DPケーブルで接続されている場合は、対応する出力に#1を割り当てます。(複数のケーブルを使用する場合は、#1、#2、#3などのインデックスを使用します。)

2番目のマシン

UsingLedWallsForVirtualProduction Image13.png

3番目のマシン

UsingLedWallsForVirtualProduction Image14.png

チャンネルマトリックス

中央のマシンでComposerを起動後、Editメニュー / Preferencesを選択し、Channel Matrixに移動します。Unified multi-machine setupオフにします。チャンネル1と2を中央マシンのプレビューと最終出力に、チャンネル3、4、5を対応するマシンのLEDウォール出力に設定します。次のように設定します:

UsingLedWallsForVirtualProduction Image15.png

これは2台の機械の典型的なシナリオであり、次のように解釈されます:

  • チャンネル1、2、3はローカル(中央)機械の出力#1、#2、#3に送信されます
  • チャンネル4は192.168.0.2の遠隔機械の出力#1に送信されます
  • チャンネル5は192.168.0.3の遠隔機械の出力#1に送信されます

レンダリングフレームレート

システムのレンダリングフレームレートは、LEDウォールシステムのリフレッシュ周波数と一致する必要があります(通常はカメラのフレームレートとも一致させるべきです)。Composerを起動し、Editメニュー / Preferencesを選択し、Renderingセクションに移動し、Frame rateを設定します。

UsingLedWallsForVirtualProduction Image16.png

Frame size設定はここでの効果はありません。FrustumFillのレンダリングフレームサイズは、コントロールボードで個別に指定されます。詳細は以下を参照してください。

Unreal Engine シーンの設定

Aximmetry 5.x 用の Unreal Engine を使用する場合

プロジェクトを Unreal Editor for Aximmetry に読み込みます。

プロジェクトが読み込まれたら、Aximmetry -> Add Camera から LED ウォール カメラを挿入します。

Aximmetry カメラが追加されたら、Aximmetry DE 用に Cook Content をクリックしてシーンをクックします。

Aximmetry 4.x 用の Unreal Engine を使用する場合

Aximmetry プロジェクトフォルダー内で、

Common_Studio\Unreal_Assets\Aximmetry_LEDWallCam

フォルダーをコピーし、Unreal プロジェクトContent サブフォルダーに貼り付けます。

UsingLedWallsForVirtualProduction Image17.png

プロジェクトを Unreal Editor for Aximmetry に読み込みます。

Content 内で以下のブループリントを探し、シーンにドラッグアンドドロップします。位置は任意です。

UsingLedWallsForVirtualProduction Image18.png

UsingLedWallsForVirtualProduction Image19.png

シーンを Windows 用にレンダリングします。

 

Aximmetry DEでのUnreal Engineシーンの設定

まだ起動していない場合は、Aximmetry DEを起動します。

新しい複合プロジェクトを作成します。

アッププロジェクトファイルをFlowエディターにドラッグアンドドロップします。次のように表示されます:

UsingLedWallsForVirtualProduction Image20.png

ファイルブラウザに移動し、

[Common_Studio]:Camera\LEDWallCam\LEDWallCam_3-Cam_4-Wall.xcomp

Flowエディターにドラッグアンドドロップします。

次のようにすべてを接続します:

Aximmetryネイティブエンジンシーンの設定

シーンのレンダリングには、Frustumレンダリング用のメインカメラ1つと、使用されるLEDウォールごとにFillレンダリング用のカメラ1つが必要です。

最初は次を使用することをおすすめします:

[Common_Studio]:Compounds\Render\Render_LEDWall_4-Wall.xcomp

コンパウンドを初期状態から使用し、必要に応じて内部設定を変更してください。

以下のコンパウンドも必要です:

[Common_Studio]:Camera\LEDWallCam\LEDWallCam_3-Cam_4-Wall.xcomp

コンパウンド。

これらすべてを次のように接続します:

シーンを編集するには、Free camera モードを使用できます。

UsingLedWallsForVirtualProduction Image23.png

UsingLedWallsForVirtualProduction Image24.png

このモードでは、プレビューモニターに3Dシーンのみが表示され、通常通り編集できます。編集が完了し、LED ウォールの設定を続ける場合は、normal モードに戻してください。

UsingLedWallsForVirtualProduction Image25.png

入力の設定

カメラ入力

先ほど説明したように、カメラ信号を Aximmetry に接続することを強く推奨します。そのため、INPUTS コントロールボードに移動し、入力デバイスとそのビデオモードを指定します:

UsingLedWallsForVirtualProduction Image26.png

UsingLedWallsForVirtualProduction Image27.png

もちろん、他のチュートリアルで示したように、Mapped デバイスも使用できます。

プレビューおよび出力モニターに、カメラの映像がすぐに表示されます。

複数のカメラを使用する場合は、INPUT 2、INPUT 3についてもこの手順を繰り返してください。プレビューおよび最終出力に表示するカメラの映像を選択するには、CAMERASコントロールボードに移動し、CAMボタンを使用します。

UsingLedWallsForVirtualProduction Image28.png

UsingLedWallsForVirtualProduction Image29.png

トラッキング入力

各カメラについて、そのカメラの位置を報告するトラッキングデバイスも指定する必要があります。

UsingLedWallsForVirtualProduction Image30.png

Aximmetry 独自のカメラキャリブレーションツールで作成されたレンズデータが必要なトラッキングデバイスを使用する場合は、キャリブレーションプロファイルプロパティでレンズファイルも選択する必要があります。

ズームおよびフォーカスエンコーディングに独立したデバイスを使用する場合は、そのデバイスも指定する必要があります。

UsingLedWallsForVirtualProduction Image33.png

カメラトラッキングデバイスおよびレンズキャリブレーションの使用に関する詳細については、こちらおよびこちらのドキュメントをご覧ください。

トラッキングの遅延

トラッキング情報は、4 つの異なる目的で使用されます。

  1. カメラからの視点で LED ウォールの画像をレンダリングするため。
  2. STUDIO ビューモードを使用して、3D 空間における LED ウォールの位置を指定するため。
  3. LED ウォールの位置の周囲にデジタル拡張をレンダリングするため。
  4. ここで説明するように、カメラ画像の前に AR グラフィックを配置するため:別々のマシンで異なる制作物を組み合わせる

最初の目的では、現在のカメラの位置に応じて LED ウォール上のグラフィックが更新されるまでの時間を最小限に抑える必要があるため、遅延はまったく使用されません。

その他の目的では、実際のカメラ画像と AR グラフィックが同時に移動していることを確認する必要があります。そのためには、通常、トラッキングデータ遅延を指定する必要があります。

UsingLedWallsForVirtualProduction Image34.png

これはフレーム単位で測定され、必要に応じて小数点以下の値も指定できます。

適切な値は試行錯誤で決定する必要があります。LEDWALLSコントロールボードに移動し、STUDIOビューモードを選択します:

UsingLedWallsForVirtualProduction Image35.png

UsingLedWallsForVirtualProduction Image36.png

実際の画像の上に仮想のチェッカーパターンが表示されます。椅子やLEDウォール自体、または他のオブジェクトを使用して、動きの同期を確認できます。

UsingLedWallsForVirtualProduction Image37.png

カメラを移動しながらdelay値を調整し、適切な値を見つけます。

Zoom Delay設定は、独立したZoom Deviceを使用する場合のみ必要です。

LEDウォールの設定

LEDWALLS コントロールボードに移動します。

この複合デバイスでは、最大4つのLEDウォールを使用できます。各LEDウォールはコントロールボード上に1行で表示されます。

使用するLEDウォールの数を選択する

各行の先頭にあるOn/Offボタンで、LEDウォール構造を構成するLEDウォールを選択します。例では3つを使用します。

UsingLedWallsForVirtualProduction Image38.png

サイズの指定

最初のステップは、各LEDウォールのサイズとピクセル解像度を指定することです。LED Wall Xパネルを1つずつ選択し、プロパティを設定します。

重要: サイズはメートル単位で指定し、LED画面の正確な寸法を表す必要があります。

LED Wall 1

UsingLedWallsForVirtualProduction Image39.png

LED Wall 2

UsingLedWallsForVirtualProduction Image40.png

LED Wall 3

UsingLedWallsForVirtualProduction Image41.png

出力フレームの配置構築

LEDウォールに送信される画像は、LEDWallCamコンパウンドのLED Wall X出力ピンで生成されます。

当社の例では、3つの画像を単一の出力(単一のDPケーブル)で送信し、以前に説明した配置で表示します。このシンプルなケースでは、UnevenモードのStickerモジュールを使用し、列と行を3×1に設定するだけで実現できます。

これにより、3つの画像をサイズを維持したまま順番に配置し、総サイズを自動的に決定します。

ほとんどのケースではこのシンプルな方法が適用可能です。より複雑な配置の場合、Placer Precise モジュールをシリーズで配置し、すべての画像を大きなフレーム内の任意の矩形内に配置できます。当社のケースでは、次のように設定します:

UsingLedWallsForVirtualProduction Image43.png

UsingLedWallsForVirtualProduction Image44.png

UsingLedWallsForVirtualProduction Image45.png

UsingLedWallsForVirtualProduction Image46.png

UsingLedWallsForVirtualProduction Image47.png

UsingLedWallsForVirtualProduction Image48.png

マルチマシンケース

マルチマシン例では、LED Wall 4を有効化し、サイズを次のように設定します:

LED Walls 1 4

UsingLedWallsForVirtualProduction Image49.png

フレーム配置は次のように行えます。LED Walls 1 4 は対応する出力に直接接続し、2 3 のみを単一のフレームに統合します。

出力配置の確認

すべてのサイズ、解像度、フレーム配置の設定が正しいかどうかを確認するには、STUDIO ビューモードを選択します。

UsingLedWallsForVirtualProduction Image55.png

これにより、すべてのLEDウォールにチェックパターンが送信されます。

UsingLedWallsForVirtualProduction Image56.png

UsingLedWallsForVirtualProduction Image57.png

設定が正しい場合:

  • 中央の大きなインデックス番号が正しいものです。
  • すべてのLEDウォールの4辺に赤い境界線が表示されます。境界線はすべての場所で5cmの厚さである必要があります。
  • チェッカーパターンの各番号付き正方形は50cm×50cmでなければなりません。測定テープで確認してください。

注:チェッカーパターンの番号は、LEDウォールの寸法(メートル単位)も反映しています。

LEDウォールの位置指定

STUDIOビューモードのままにします。

UsingLedWallsForVirtualProduction Image58.png

フラットLEDウォールの配置

この例では、フラットなLEDウォールであるLED Wall 2から開始します。

カメラを回転させて、LEDウォールの底面中央が見えるようにします。

ここでは、プレビューモニターに表示される補助グラフィックを使用して、仮想空間内のLEDウォールの仮想画像を、実際のLEDウォールの画像と一致させるのが目的です。

最初は、仮想画像は仮想空間の原点にあるため、画面に表示されないか、少なくとも非常に間違った位置にある可能性があります。

UsingLedWallsForVirtualProduction Image59.png

配置の最初のステップを助けるために、LED Wall XパネルのPut In Front機能を使用できます。

UsingLedWallsForVirtualProduction Image60.png

UsingLedWallsForVirtualProduction Image61.png

Triggerを押すと、LEDウォールの仮想画像が指定されたPut Distanceの距離でカメラの真前に正確に配置されます。

UsingLedWallsForVirtualProduction Image62.png

これにより、その後の位置調整が格段に簡単になります。

LEDウォールは通常、底面と床の間に隙間があります。Aximmetryでこれを補正する必要があるため、隙間の長さを測定します。

UsingLedWallsForVirtualProduction Image63.png

当社の場合、5 cm です。この値を LED ウォールの Y 位置フィールドに入力してください。

NOTE: 仮想 LED ウォールの変換位置はメートル単位で指定されます。したがって、実際の LED ウォールの位置と一致する必要があります。

UsingLedWallsForVirtualProduction Image64.png

現在、Aximmetry の通常の 3D 編集ツールを使用して、仮想画像を適切な位置に移動できます。編集用のプレビューモニターを選択してください。

UsingLedWallsForVirtualProduction Image65.png

注:フルスクリーンモニターではなく、Composerのプレビューパネルを使用している場合は、Preview 1, 2, などを選択してください。

次に、LED Wall Xパネルを選択します。

UsingLedWallsForVirtualProduction Image66.png

仮想画像の下部に移動ハンドルが表示されます。これを使用して、壁を実際のLEDウォールの中心に概ね一致するまで移動します。Y軸に沿って移動しないように注意してください。

UsingLedWallsForVirtualProduction Image67.png

Rotateモードに切り替えるには、Rotボタンをクリックするか、Eキーを押してください。

UsingLedWallsForVirtualProduction Image68.png

壁を回転させて、その下部が実際のLEDウォールの下部と平行になるまで回転させます。Y軸のみを中心に回転させるように注意してください。

UsingLedWallsForVirtualProduction Image69.png

Positionモードに戻すには、Posボタンをクリックするか、Wキーを押してください。

UsingLedWallsForVirtualProduction Image70.png

壁を移動させて、適切な位置に合わせます。

UsingLedWallsForVirtualProduction Image71.png

注:トラッキングの品質やレンズのキャリブレーションによっては、完全に一致しない場合があります。わずかなゴースト画像が発生しても、最終的な合成の品質には影響はありません。

ただし、かなり近い位置に合わせることができない場合は、レンズのキャリブレーションに問題があるか、トラッキングが正しく設定されていない可能性があります。例えば、仮想 LED 壁が実際の壁よりも大きくまたは小さく見えるというエラーがよく発生します。これは通常、仮想の床が実際の床と一致していないことを意味します(トラッキングシステムのゼロ面が実際の床にない)。

この例では、LED 壁 3 もフラットであるため、同じ手順を実行する必要があります。

湾曲した LED 壁の配置

この例で使用している LED 壁 1 は湾曲しています。これを設定しましょう。

まず、上記で説明したPut In FrontY位置の測定・入力の手順を実行します。

最初の目標は、平面の仮想壁を曲面LEDウォールの中心を通る接線に合わせることです。これにはいくつかの方法があります。例えば、曲線の端点間にロープやケーブルを張って直線を作成する方法です。

UsingLedWallsForVirtualProduction Image72.png

次に、移動と回転を使用して平面壁をロープに合わせます。

UsingLedWallsForVirtualProduction Image73.png

その後、回転を一切行わずに、壁の中心を実際のLED壁の中心に合わせます。壁の中心を特定するには、チェッカーボードパターンを使用できます。

UsingLedWallsForVirtualProduction Image74.png

次に、カメラを回転させて、LED壁の側面の1つのエッジが見えるようにします。

UsingLedWallsForVirtualProduction Image75.png

LED WallRadiusパラメーターを調整し、一致するまで調整します。

UsingLedWallsForVirtualProduction Image76.png

UsingLedWallsForVirtualProduction Image77.png

注意:Radiusには最小値があり、これは半円の半径を表します。この値以下では、LED 壁は平らに見えます。この最小値を超えると、パラメータに応じて曲線が変化し始めます。

Studio Free View

STUDIO パネルのマウスボタンをオンにすると、仮想 LED 壁の設定を自由に表示できます。マウスで自由に移動できます。また、トラッキングしたカメラの現在の位置も確認できます。

UsingLedWallsForVirtualProduction Image78.png

UsingLedWallsForVirtualProduction Image79.png

接触するLEDウォールの精密な配置

2つのLEDウォールが接触している場合、レンダリング画像の破れを避けるため、より精密な配置が必要になります。

例えば、当社のマルチマシン例では、中央の曲面LEDウォールを2つに分割しています。

UsingLedWallsForVirtualProduction Image80.png

このシナリオでは、2つの半分の曲面LEDウォールを別々のオブジェクトとして定義し、互いに精密に配置する必要があります。

まず、上記で説明したStudio free viewを使用できます。トップビューから小さな位置ずれを確認し、各LEDウォールの回転と位置パラメーターを調整して解決できます。

UsingLedWallsForVirtualProduction Image81.png

次に、最終ビューでは、重大な位置ずれがすぐに確認できます。このビューを使用して最終調整を行うことも可能です。そのためには、SCENE表示モードをオフにします。

UsingLedWallsForVirtualProduction Image82.png

UsingLedWallsForVirtualProduction Image83.png

ずれをより明確に確認するには、LUT パネルのチェッカーパターンを使用することもできます。

UsingLedWallsForVirtualProduction Image84.png

UsingLedWallsForVirtualProduction Image85.png

このパターンはカメラの視錐体内にのみ表示されるため、カメラを問題の領域に向けるように回転させてください。

設定が完了したら、LUT モードをオフにして最終結果を確認してください。

レンダリングパラメーター

SCENE表示モードをオフにすると、各LEDウォールに正しい視点からレンダリングされた最終的なバーチャル背景が表示されます。

UsingLedWallsForVirtualProduction Image86.png

UsingLedWallsForVirtualProduction Image87.png

UsingLedWallsForVirtualProduction Image88.png

バーチャルシーンの配置

INPUTSコントロールボードに移動します。

SCENEパネルのBase Cam Transfプロパティを使用すると、バーチャル空間と現実空間の相対位置を設定でき、LEDウォールに表示されるバーチャルシーンの領域と角度を決定できます。

UsingLedWallsForVirtualProduction Image89.png

UsingLedWallsForVirtualProduction Image90.png

UsingLedWallsForVirtualProduction Image91.png

注:カメラとヘッドの変換については、こちらをご覧ください。

フラスタムレンダリング

システムは、その部分で最高の品質を得るために、カメラが LED ウォールで現在実際に認識している画像部分を作成するために、別のレンダリングパスを実行します。

UsingLedWallsForVirtualProduction Image92.png

LEDWALLS コントロールボードの FRUSTUM パネルには、このレンダリングパスに関するオプションがあります。

UsingLedWallsForVirtualProduction Image93.png

UsingLedWallsForVirtualProduction Image94.png

解像度

最も重要なパラメータは、ピクセル解像度です。GPUに過度の負荷をかけすぎない範囲で、制作に適した解像度を選択する必要があります。一般的には、メインLEDウォールの垂直解像度を使用することが推奨されます。水平解像度は、指定されたアスペクト比から自動的に計算されます。

UsingLedWallsForVirtualProduction Image95.png

エッジ拡張

カメラの位置/方向の変更がLEDウォールに反映されるまで、一定の遅延が発生します。したがって、カメラが現在見ている frustum を正確にレンダリングするだけでは不十分です。カメラの移動により、レンダリングされた画像がカメラの視野から外れてしまうためです。

この問題を補償するため、実際にレンダリングする領域を拡張する Edge Expand 値を指定できます。補償したいカメラの移動が速いほど、Edge Expand の値を大きくする必要があります。

UsingLedWallsForVirtualProduction Image96.png

デフォルトでは、システムはこの拡大されたビューを指定したピクセル解像度でレンダリングします。これにより、カメラが実際に捉える中央部分の画質が低下する可能性があります。この低下が目立つ場合は、Preserve Resolutionオプションを選択すると、拡張量に比例してピクセル解像度を増加させることができます。

UsingLedWallsForVirtualProduction Image97.png

この機能は注意して使用してください。Edge Expand値が大きい場合、GPU負荷が大幅に増加する可能性があります。

また、Edge Expandは遅延のためだけに必要なわけではありません。カメラレンズには常に一定の歪みが存在します。LEDウォールに投影される視錐体領域は、カメラを通じた完璧な長方形として表示されません。その端部が内側に縮むため、領域を拡大して補償する必要があります。

 

バーチャルレンズパラメーター

以下のパラメーターは、実際のカメラの設定とは独立して任意に設定可能です。

UsingLedWallsForVirtualProduction Image98.png

 

LED ウォールごとのオプション

ADJUSTER X パネルを使用して、各 LED ウォールごとにfrustum イメージの色調整を独立して行うことができます。

UsingLedWallsForVirtualProduction Image99.png

通常は同じ特性の LED ウォールを使用するため、独立した設定は不要です。この場合、すべてのADJUSTER パネルを選択し、プロパティをまとめて設定します。

LED Wall Xパネルを選択すると、ファストム画像の表示を個別にオン/オフできます。ただし、このオプションはマルチマシン構成で使用する場合にのみ意味があります。詳細は後述します。

UsingLedWallsForVirtualProduction Image100.png

UsingLedWallsForVirtualProduction Image101.png

フィルレンダリング

各LEDウォールに対して、カメラが現在見ていない部分のコンテンツを提供する別々のレンダリングが実行されます。これらの画像部分の主な目的は、環境光と反射環境を提供することであるため、低品質でレンダリングできます。

固定位置

デフォルトでは、Fill レンダリングは現在のカメラ位置の視点から実行されます。多くの場合、これは望ましくありません。代わりに、タレントや反射オブジェクトの視点からフィルをレンダリングしたい場合があります。これにより、タレントへの照明がより正確になり、カメラの動作に依存しない正確な反射が得られます。

これを行うには、FILL パネルを選択し、Use Fixed Position オプションを設定します。

現在、レンダリングは一定の「カメラ」位置から実行されます。この位置は手動で指定するか、Capture Fixed Positionトリガーを使用して実際のカメラの現在の位置を保存できます。

UsingLedWallsForVirtualProduction Image102.png

UsingLedWallsForVirtualProduction Image103.png

フリーズ

固定されたフィル画像を作成する別の方法は、最後のレンダリングされたフレームを文字通り凍結することです。その最大の利点は、GPUがすべてのFillコンテンツの連続レンダリングから解放されるため、使用されるLEDウォールの数に関係なく単一のマシンを使用できる点です。

Screenshot 2021-03-24 171927.png

ただし、この方法は、アンビエント/反射(例:炎の変動する光や移動するオブジェクト)の変更が不要な場合のみ適しています。

LEDウォールごとのオプション

LED Wall Xパネルを選択します。

UsingLedWallsForVirtualProduction Image105.png

前述の通り、FillレンダリングはFrustumレンダリングと同じ品質を必要としません。GPUの処理能力を節約するため、Fillの解像度を低下させることができます:

UsingLedWallsForVirtualProduction Image106.png

このパラメーターが1の場合、レンダリングはLEDウォールのピクセル解像度(Resolutionプロパティで指定)で行われます。他の値は、このベース解像度の倍率として機能します。これにより、レンダリング品質を向上または低下させることができます。

Fill 画像にBlur を適用することで、環境光を拡散させることができます。

UsingLedWallsForVirtualProduction Image107.png

UsingLedWallsForVirtualProduction Image108.png

この機能は、低解像度でレンダリングを選択した場合に、画像のギザギザしたエッジを滑らかにする際に役立ちます。

FILL ADJUST X パネルを使用して、各LEDウォールごとにfrustum 画像の色調整を独立して行うことができます。

UsingLedWallsForVirtualProduction Image109.png

注意:Fill調整は、各LEDウォールごとに独立して指定できるだけでなく、Frustum調整からも独立して指定できます。これにより、カメラが実際に捉える部分を変更せずに、環境光の効果や反射の色を強化または変更できます。

UsingLedWallsForVirtualProduction Image110.png

 

Green Frustum

一部のケースでは、最終的な背景をポストプロダクションでレンダリングし、LEDウォールを環境光/反射専用に使用する場合があります。この場合、ポストプロダクションで俳優をキーアウトするために緑の背景が必要です。

そのためには、GREEN パネルを有効にします。

UsingLedWallsForVirtualProduction Image111.png

これにより、Frustum レンダリングが固い緑色に置き換えられます:

UsingLedWallsForVirtualProduction Image112.png

Color 自体は任意の色を選択できます:

UsingLedWallsForVirtualProduction Image113.png

ポストプロダクションで俳優の周囲の領域のみを処理したい場合、Crop プロパティを使用してFrustum 画像内の緑の領域を小さく指定できます。

UsingLedWallsForVirtualProduction Image114.png

UsingLedWallsForVirtualProduction Image115.png

GREEN 有効になっている場合、プレビューモニターにも緑色が表示されます。これはカメラの入力信号を表示しているためです。

UsingLedWallsForVirtualProduction Image116.png

グリーンエリアを設定する際は便利ですが、撮影中は最終的なプロダクションのプレビューを表示したいでしょう。その場合はPREVIZ KEYERパネルを有効化してください。

UsingLedWallsForVirtualProduction Image117.png

これにより、緑色の部分をキーアウトし、Frustumでレンダリングされた画像に置き換えます。

UsingLedWallsForVirtualProduction Image118.png

このパネルは、通常どおり操作できるAdvanced Bキーヤーを制御します。

UsingLedWallsForVirtualProduction Image119.png

トラッキングマーカー

ポストプロダクション作業には、カメラのトラッキング情報も必要です。

この情報を取得する方法の 1 つは、トラッキングデータを FBX に記録することです。この方法については、このドキュメントの最終合成の記録」セクションをご覧ください。

ただし、LED ウォールの緑色の領域にトラッキングマーカーを表示し、従来のポストプロダクションのトラッキングに使用することもできます。

そのためには、GREENパネルでTracking Markersオンにし、必要に応じてマーカーのプロパティを設定してください。

UsingLedWallsForVirtualProduction Image120.png

UsingLedWallsForVirtualProduction Image121.png

UsingLedWallsForVirtualProduction Image122.png

 

マルチマシン設定

マルチマシン構成の場合、どのマシンがどの LED ウォールをレンダリングするかを指定する必要があります。この場合、LED Wall Xパネルを選択し、そのEngineプロパティを設定することで指定できます。

例では次のように設定されます:

LED Wall 1

UsingLedWallsForVirtualProduction Image123.png

LED Walls 2 and 3

UsingLedWallsForVirtualProduction Image124.png

LED Wall 4

UsingLedWallsForVirtualProduction Image125.png

これにより、各マシンは自身のLEDウォールのみをレンダリングし、GPU負荷を分散させます。

ただし、カメラの視野内に表示される可能性があるすべてのLEDウォールに対してFrustumパスをレンダリングする必要があります。これにより、すべてのマシンに高い追加のGPU負荷が発生します。ただし、通常、側面、後部、天井のLEDウォールは環境光/反射ソースとして機能し、カメラの frustum には参加しません。

これらのLEDウォールに対しては、Frustumオフに設定できます。当社の例では:

LED Walls 2 および 3

UsingLedWallsForVirtualProduction Image126.png

特定の機器が処理するすべてのLEDウォールに対してFrustumをオフにすると、その機器でのFrustumレンダリングが省略されます。当社の例では、Remote #2機器がLED Walls 2と3をレンダリングし、これら両方のFrustumをオフにしているため、Remote #2はFrustumパスをレンダリングしません。

この方法により、サイドLEDウォールにはより少ないGPUパワー(マシン数削減またはGPU性能の低いマシン)で済みます。

デジタル拡張

基本

Aximmetryは、物理的なLEDウォールの境界を超えて仮想グラフィックを拡張する機能を備えています。システムは、カメラの位置とLEDウォールの位置・サイズ情報に基づいてマスクを生成します。マスク領域内では実際のカメラ画像(LEDウォールが背景に表示された状態)が表示され、マスク領域外では拡張された仮想空間が表示されます。

デジタル拡張を実際に使用するには、カメラのトラッキングとレンズの歪みが完全に正確である必要があります。そのため、通常この機能は録画中のプレビューとしてのみ使用され、最終的なデジタル拡張はポストプロダクションで行われます。

また、この方法は、俳優が常に LED 壁の前にいる場合にのみ使用できます。俳優が LED 壁の外に出る場合は、LED 壁の後ろにグリーンスクリーンを用意する必要があります。

この機能を使用するには、DIGITAL EXTパネルを有効化してください。

UsingLedWallsForVirtualProduction Image133.png

UsingLedWallsForVirtualProduction Image134.png

Edge Softnessプロパティを調整することで、現実と拡張された画像の境界の移行を硬くしたり柔らかくしたりできます。

UsingLedWallsForVirtualProduction Image135.png

UsingLedWallsForVirtualProduction Image136.png

カラーマッチング(ヴィネット補正とLUTを使用)

現実と拡張された画像の間には常に色差が生じます。まず現実の画像がLEDウォールに表示され、次にカメラを通じて見られます。両者はある程度の色変換を伴います。

最初の対策(特にプレビズ用にデジタル拡張オプションのみを使用する場合)として、DIGIT EXT ADJパネルの通常のBrightness / Contrastなどのコントロールを使用して、仮想部分のカラーをLEDウォールのカラーに近づけることができます。

より良いマッチングを実現するには、VignetteマスクとLUTが必要です。

ヴィネット補正

カメラ入力にヴィネット補正を適用することは、単一焦点距離の設定で使用する場合、LUTの品質を向上させる優れた方法です。

ヴィネット効果の詳細やヴィネット補正の使い方について詳しく知りたい場合は、以下の記事を参照してください:How Vignette Correction could be useful for you

LUT

パネルのLUTプロパティで、標準のキューブLUTファイルを指定できます。

UsingLedWallsForVirtualProduction Image137.png

UsingLedWallsForVirtualProduction Image138.png

Aximmetryでは、このようなLUTファイルを作成する機能も提供しています。その場合は、LUT MEASUREパネルを有効化してください。

UsingLedWallsForVirtualProduction Image139.png

最初に、LED ウォール内の frustum 領域にチェッカーパターンが投影されます。

UsingLedWallsForVirtualProduction Image140.png

プレビューモニターには、カメラを通過する 8 x 8 パターンと、Aximmetry が色をサンプリング(平均化)する領域を示す 8 x 8 の矩形マーカーが表示されます。

UsingLedWallsForVirtualProduction Image141.png

カメラのレンズ歪みにより、サンプリング領域が少しずれる場合があります。正しい色サンプリングのため、これらの領域がパターンセル内に配置されていることが重要です。歪みを補正するため、以下のプロパティを調整して、すべてのサンプリング矩形が対応するパターンセル内に収まるまで調整してください。

UsingLedWallsForVirtualProduction Image142.png

UsingLedWallsForVirtualProduction Image143.png

UsingLedWallsForVirtualProduction Image144.png

ターゲットのフォルダーファイル名パラメーターを指定します。

UsingLedWallsForVirtualProduction Image145.png

プレイボタンを押します。

UsingLedWallsForVirtualProduction Image146.png

システムは32×32×32の異なる色を表示し、8×8の領域を一度にサンプリングします。全体プロセスは数分間かかります。

UsingLedWallsForVirtualProduction Image147.png

最終的に、32サイズのキューブLUTを含む.cubeファイルが保存されます。このファイルをDIGIT EXT ADJに手動で指定することで、その効果を確認できます。

ショット期間は、2つの8×8測定間の間隔を指定します。LEDウォールとカメラ入力の総遅延のため、色変更と結果サンプリングの間には待機が必要です。システム遅延が低い場合、ショット期間を短縮して全体プロセス時間を短縮できます。

UsingLedWallsForVirtualProduction Image148.png

表示される色が、指定された LED ウォールの frustum ADJUSTER X を通過することが重要です。したがって、指定された LUT ファイルは、LED ウォールとカメラの両方の物理設定がまったく同じであり、ADJUSTER の設定もまったく同じである場合にのみ使用できます。

カメラ間の切り替え

異なるスタジオカメラを切り替える場合、特にトラッキングカメラを使用したり、シーンでデジタルエクステンションアニメーションを使用したりすると、いくつかの問題が発生します。2つのオプションがあります:

  • シングルマシン設定
  • マルチマシン設定

どちらの場合も、ゲンロックデバイスの使用は絶対必須です。

画像遅延

どちらのオプションを選択しても、画像遅延値を設定する必要があります。

CAMERAS コントロールボードに移動します。

ここで、CAM 1、CAM 2、CAM 3ボタンを使用してスタジオカメラを選択できます。

UsingLedWallsForVirtualProduction Image127.png

カメラを切り替える際、LEDウォールに視点の変更が反映されるまでの一定の遅延が発生します。その後、スタジオカメラが画像を録画し、その画像がAximmetryに送信されます。LEDウォールの画像切り替えとカメラ切り替えがAximmetryの最終出力で同時に発生するように、Picture Delay値を入力する必要があります。この値は、切り替えたカメラの画像を遅延させます。満足のいく結果を得るまで値を調整してください。

各カメラについて、画像遅延の値を定義する必要があります。

画像遅延 CAM 1 は、このカメラに切り替えたときに、そのカメラの画像に適用されるフレーム単位の遅延です。

単一のマシン

制限

この設定では、複数の追跡スタジオカメラを使用し、その動きをデジタル拡張機能で同期させることはできますが、これらのカメラ間の切り替えを同期させることはできません。

もう 1 つの制限は、固定(トラッキングされていない)スタジオカメラを使用している場合です。この場合、カメラ間の切り替えと Digital Extension の切り替えを同期するには、各カメラの Picture Delay を設定するだけです。アニメーションを同期するには、Animation delay パラメータを調整することもできます。後述の「Animation Delay」を参照してください。

シングルマシン設定の現在の制限は次のとおりです。

  • カメラ間の切り替えと、そのビデオおよびトラッキングデータの同期の同時実行
  • ビデオ入力とトラッキングデータの同期、およびアニメーション遅延の使用

マルチマシン

これは、制限なくトラッキングされたスタジオカメラを切り替えたい場合に最適な方法です。カメラ間の切り替え、デジタル拡張、アニメーション、およびビデオ入力によるカメラのトラッキングがすべて同期されます。

この場合、デジタル拡張はコントロールマシンでレンダリングされます。すべてのLEDウォール画像はリモートマシンでレンダリングされます。デジタル拡張は画像遅延なしでレンダリングされるため、カメラ切り替え時にデジタル拡張とLEDウォール上の画像が同期されます。

設定

LEDWALLSコントロールボードに移動し、LEDウォールパネルを選択します。

ピン値ウィンドウで、LEDウォールの画像をレンダリングするリモートマシンを選択します。

注:上記の画像では、他のすべてのLEDウォールはオフになっています。LEDウォールをオンにする場合は、その画像をレンダリングするリモートマシンも選択することをおすすめします。

デジタル拡張がオンの場合、情報パネルに設定に関するメッセージが表示されます。

ローカルオプションが選択されている場合:

リモートオプションが選択されている場合:

アニメーション遅延

シーンでアニメーションをトリガーし、デジタル拡張とカメラの変更と同期させるには、FLOWエディターで追加のロジックを構築する必要があります。

例えば、次のようなロジックです:

上記のフローエディターロジックは、コントロールマシンでのシーケンスの再生を遅延させます。リモートマシンでは遅延は適用されません。

システムパラメータモジュールのエンジンピンは、コントロールマシンのIDが0であるマシンのIDを返します。そのため、コントロールマシンではIfモジュールが真となりアニメーション遅延を返しますが、他のマシンでは0を返します。このアニメーション遅延値または0値は、Delayモジュールによってトリガーピンデータの遅延に使用され、シーケンサーが制御マシンで後から開始されます。注意:DelayモジュールのFramesピンはオンに設定されています。アニメーション遅延はフレーム単位でカウントされるためです。

このロジックが準備できたら、CAMERASコントロールボードのSELECT CAMERAパネルでアニメーション遅延を調整できます。

ピン値ウィンドウには、アニメーション遅延調整機能が見つかります

最終画像への追加

先ほど説明したように、入力カメラ画像は既に最終構成を含んでいるため、プログラム出力にそのまま渡されます。

ただし、画像に最終調整を加えたい場合は、INPUTS コントロールボードに移動し、ADJUSTER X パネルを使用します。

UsingLedWallsForVirtualProduction Image130.png

UsingLedWallsForVirtualProduction Image131.png

また、他のカメラ処理コンパウンドと同様に、LEDWallCam にも標準のオーバーレイ機能を使用するための入力ピンが用意されており、ローワーサードやチャンネルロゴなどを追加できます。

LEDウォールをビューから除外する

デジタルエクステンションを通じて表示されたくない特定のLEDウォールがある場合があります。典型的な例は、環境照明/反射用にのみ使用され、通常は低解像度の画像を表示する側面/天井のウォールです。これらのウォールについては、Digital Ext Thruオプションをオフにできます。

記事内容

Loading
Close
Loading spinner icon
1/10