はじめに
本ドキュメントでは、LEDウォールベースのバーチャルプロダクションの基本について、スタジオスタッフ、ハードウェア、レンダリング、出力、ポストプロダクションの5つの側面を中心に解説します。
注記：本ドキュメントは、Aximmetryの基本およびカメラトラッキングシステムの使用方法について既にご存知であることを前提としています。そうでない場合は、まず以下のドキュメントから進めることをお勧めします：
スタジオスタッフ
LEDウォールベースのバーチャルプロダクションでは、LEDウォールとLEDプロセッサーという特殊なコンポーネントを使用します。
LEDウォールは、ビデオコンテンツ（例：Aximmetryコンピューターでレンダリングされたバーチャルスタジオシーン）を表示するために使用されます。
LEDプロセッサーは、LEDウォールの解像度、フレームレート、出力を制御します。
両コンポーネントには深い知識が必要であり、通常はLEDウォール技術者が提供します。
注記：本ドキュメントではこれらのコンポーネントのセットアップ手順は扱いません。
ハードウェア
ハードウェア接続
LEDプロセッサーへの接続には、GPUからHDMI/DPケーブルの使用を推奨します。これらのプロトコルは任意の解像度をサポートしており、LEDウォールに必要かつ適している場合が多いです。
キャプチャカードのSDI出力を使用することも可能ですが、SDIプロトコルは特定の解像度のみをサポートするため、LEDウォールプロセッサーでのピクセルマッピングが必要となります。
注記：出力に同期を追加するには、NVIDIA RTX PRO、RTX Ada、またはRTX Aシリーズ（旧称Quadro）GPUとNVIDIA PRO Syncカード（旧称Quadro Sync II）の組み合わせを使用できます。これはLEDウォールベースの仮想制作に推奨されるGPUラインです。参照：
カメラトラッキング
機能制限のある固定カメラの使用も可能ですが、使用する各カメラ用にカメラトラッキングシステムを事前に設定・構成しておくことを強く推奨します。
トラッキング情報は以下の4つの目的で使用されます：
- スタジオカメラの視点から仮想グラフィックス（LEDウォールに表示される）をレンダリングするため
- 3D仮想空間におけるLEDウォールの位置指定を支援するため
- LEDウォールの位置周辺にデジタルエクステンションをレンダリングするため
- カメラ映像の前面にARグラフィックスを配置するため。
注：詳細については、以下のドキュメントを参照してください：
ゲンロック
遅延の制御は、LEDウォールベースのバーチャルプロダクションの成功と品質において極めて重要な役割を果たします。したがって、これらを完全に制御する必要があります。
Genlockデバイスを使用して、すべてのデバイスをGenlockしてください：
- カメラ
- カメラトラッキングシステム
- LEDプロセッサー
- GPU
- 注記：GPUカードのゲンロックには、NVIDIA RTX PRO、RTX Ada、またはRTX Aシリーズ（旧称Quadro）GPUカードとNVIDIA PRO Syncカード（旧称Quadro Sync II）が必要です。
- 注記：他のタイプのGPUカードも使用可能ですが、GPUカードをゲンロックできないため、特定の機能が理想的に動作しない場合があります。
重要：すべてのデバイス（Genlockデバイスを含む）が同一のフレームレートを使用していることを確認してください。
レンダリング
レンダリング設定
すべてのLEDウォールに正しい画像コンテンツを提供するため、Aximmetryは以下のレンダリングパスを実行します：
- "Frustum"レンダリング：カメラがLEDウォール上で認識する画像部分。必要な最高解像度と品質で実行する必要があります。
- 「Fill」レンダリング：各LEDウォールごとに1パス。カメラが捉えない領域（カメラの視野外にあるため）のコンテンツを提供します。これらの画像領域の主な目的は環境光と反射の表現であるため、品質を落としてレンダリング可能です。
注記：FrustumとFillはそれぞれ独立して多角的に調整可能です。詳細は以下のドキュメントを参照してください：
必要なPC台数
LEDウォールの数、Frustumの解像度とフレームレート、Fillパスの解像度低減設定によっては、単一コンピュータで全コンテンツをレンダリング可能。
制作要件によっては複数台のコンピュータが必要となる場合あり。主な要件例：
- LEDウォール/プロセッサーの数
- カメラの数
- デジタルエクステンションの併用とその他の要件
- アニメーションの併用とその他の要件
複数のコンピューターが必要な場合：
- 重要：「Frustum」パスは常に全コンピューターで実行する必要があります。
- 状況によっては必須となる場合もあれば、追加のコンピューターを制御マシンとして使用することを強く推奨する場合もあります。
- すべてのFillレンダリングに超高解像度が必要な場合、複数コンピュータでの処理が必要となる可能性があります。この場合、どのLEDウォールをどのコンピュータでレンダリングするかを指定する必要があります。
- パフォーマンスと視覚効果の向上のため、LEDウォールごとに1台のコンピュータを使用することを推奨します。さらに、大規模なLEDウォールは少なくとも2つのウォールに分割し、それぞれを別々のコンピュータでレンダリングすることを提案します。
注記: LEDウォール制作に1台のコンピューターを使用する場合、Digital Extensionの使用には制限があります。単一マシンによるLEDウォール制作に関連する制限の詳細については、以下のドキュメントを参照してください:
注記: 制作に必要なコンピューター台数については、こちらで詳細を確認できます:
AximmetryにおけるLEDウォールの形状
AximmetryがサポートするLEDウォール形状：
- 平坦な長方形
- 平坦な三角形
- 曲面長方形（曲線が正円弧である場合）
- 曲面三角形（曲線が正円弧である場合）
- カスタム形状マスク（形状を決定するアルファチャンネル付き画像ファイルが必要）
注記：上記形状は単一プロダクション内で組み合わせ可能（各LEDウォールに1オプション指定）。
バーチャルコンテンツの処理段階
リアルタイムLEDウォールベースのバーチャルプロダクションでは、バーチャルコンテンツは3段階を経ます：
- LEDウォール出力（Aximmetry Composerが提供するLEDウォール上に表示される仮想シーン）
- 合成画像（LEDウォールベースのバーチャルプロダクションの場合、スタジオカメラがキャプチャする画像）
- ポストプロダクション（Aximmetryは制作をさらに強化するリアルタイムポストプロダクション機能を提供）
LEDウォール出力
Aximmetryは FRUSTUM画像（選択したカメラ視点からの仮想スタジオシーン）とFILL画像（環境光と反射に使用）をレンダリングし、LEDプロセッサーへ出力します（プロセッサーがLEDウォールへ送信）。
注：仮想背景は常に、現在選択されているカメラのトラッキング位置からLEDウォールに投影されます。
合成画像
単一または複数のスタジオカメラを使用してシーンを撮影できます。
LEDウォール使用時、カメラから出力される信号は既に実写前景と仮想背景の最終合成状態です。そのため、カメラ本体で映像を記録するか、信号を直接スタジオ機器に送って放送/録画できます。
重要：LEDウォール上のコンテンツはデフォルトで常に選択カメラの視点からレンダリングされます。Aximmetryで複数カメラをデフォルト設定で使用する場合、正しい視点を捕捉できるのは一度に1台のカメラのみです。ただしAximmetryは様々な方法で設定可能です。
注記：この段階では既に本番放送可能な結果（例：ライブ観客への配信）が得られますが、リアルタイムポストプロダクション機能を活用するため、まずカメラ出力をAximmetryにフィードバックすることを推奨します。
ポストプロダクション
信号をAximmetryコンピュータにフィードバックすることを推奨する理由はいくつかあります：
- リアルタイムデジタル拡張機能は、カメラ出力をAximmetryに戻す場合にのみ動作します。
- カメラ映像を見ながらLEDウォールの位置を設定する方がはるかに容易です。これが推奨される方法です。
- プリビズキーイングはこの方法でのみ実行可能です。
- 最終コンテンツをAximmetryで記録したい場合があるでしょう。
- 画像の調整や後処理を行いたい場合があるでしょう。
- 画像上にオーバーレイ、PIP、テキスト、チャンネルロゴなどの要素を追加合成したい場合もあるでしょう。
以下では、上記機能の詳細について説明します。
デジタル拡張
デジタル拡張は、LEDウォールの物理的限界（エッジ）を超えて仮想スタジオシーンを拡張する機能です。これにより、スタジオカメラがLEDウォールの周囲を撮影している場合でも、仮想カメラが仮想スタジオシーンを捕捉できます。
注：カメラが捉えたLEDウォールのコーナー例（左：デジタル拡張なし／右：デジタル拡張あり）。
一般的に制作工程の一部と見なされることが多い（ライブレンダリングの利点による）ものの、技術的にはデジタル拡張はポストプロダクションの一部と位置付けられます。
