はじめ
このドキュメントでは、TrackedCam コンパウンドを使用して外部および内部入力を設定する方法について説明します。
- 外部入力は通常、スタジオカメラからのライブ入力ですが、他のソース（例：トラッキングデバイス、オーディオデバイス）からも入力できます。
- 内部入力は、ソースファイルをインポートした後に Aximmetry 内で生成されるため、外部ハードウェアは必要ありません。通常、これらは事前に録画されたビデオやトラッキングデータですが、オーディオ録音も使用できます。
すべての Tracked Camera コンパウンドでは、コンパウンドをインポートすると、INPUTS コントロールボードに INPUT パネルが表示されます。
以下の例では、次のコンパウンドをインポートしました：
[Common_Studio]:Camera\TrackedCam\TrackedCam_3-Cam.xcomp
INPUTS コントロールボードの内容
INPUTS コントロールボードに移動すると、多くのパネルが表示されます。
INPUT # で始まるパネルの行は、単一の入力に対応しています。番号のないパネルは、すべての入力に対応しています。
この記事では、INPUT # パネルについて説明します。
INPUTS コントロールボードの他のパネル設定を探している場合は、以下の記事が役立ちます：
または、トラッキングカメラワークフローのカテゴリをご覧ください。
INPUT # パネル
パネルの電源ボタンアイコンを使用して、各入力をオンまたはオフにすることができます。これにより、PC のリソースを節約することができます。たとえば、8 つの INPUT パネルがあるものの、制作には 6 つしか必要ない場合は、残りの 2 つをオフにすることができます。
外部（ライブ）入力
外部入力とは、外部ハードウェア（カメラ、マイク、トラッキングデバイス、別のコンピュータなど）から、できればケーブル（SDI、SMPTE2110、NDI など）を介して受信されるあらゆる入力を指します。
INPUTS コントロールボードで INPUT # パネルが選択されている場合、画面右側の Pin Values パネルに入力オプションが表示されます。
カメラデバイス
TrackedCam コンパウンドの場合、INPUT # パネルで最も重要な入力デバイスは Camera Device と Tracking Device です。
デフォルトでは、Mapped #1 が両方のデフォルト入力ですが、これは、#1 ID にいずれかの入力をマッピングしている場合のみ機能します。
デバイスのマッピングの詳細についてはこちらをご覧ください。
サポートされている入力の詳細については、こちらをご覧ください。
カメラモード
Aximmetry の [AUTO] を選択すると、入力の解像度とフレームレートが自動的に学習されます。必要に応じて、任意の解像度とフレームレートを個別に設定することができます。
注：古いキャプチャカードモデルでは、AUTO 機能が動作しない場合があります。AUTO モードを使用していて、ビデオ入力が表示されない場合は、入力の解像度とフレームレートを手動で指定してみてください。
トラッキングデバイス
カメラデバイスの設定が完了したら、トラッキングデバイスを次の順序で設定してください。
- トラッキングデバイスを定義する
- 必要に応じて、Aximmetry でキャリブレーションプロファイルを定義します（詳細については、キャリブレーションプロファイルを参照してください）。
- トラッキングデバイスのトラッキング遅延を確認して設定します（詳細については、遅延を参照してください）。
キャリブレーションプロファイル
Aximmetry Basic Calibrator または Aximmetry Camera Calibrator を使用してカメラレンズおよび/またはトラッキングデバイスをキャリブレーションした場合は、ここで作成したキャリブレーションプロファイルファイルを選択してください。
プロフェッショナルカメラトラッキングまたはオブジェクトトラッキングシステムでキャリブレーションソリューションが提供されており、そのソリューションを使用する場合、キャリブレーションプロファイルパラメータを指定する必要はありません。
ズームデバイス
ズームデバイスは、トラッキングデバイスと組み合わせて追加のトラッキングデータを提供する、二次的なトラッキングデバイスです。このパラメータには 3 つの使用例があります。
- 追加のレンズデータを受信するサードパーティ製のズームエンコーダデバイスを指定する。
- PTZ カメラの位置を決定するために、追加のトラッキングデバイスを使用して PTZ カメラをトラッキングする場合に、PTZ カメラのトラッキングデータストリームを指定する。
- トラッキングデバイスパラメータで指定したのと同じトラッキングデバイスを指定して、そのトラッキングデバイスに対するトラッキング遅延およびズーム遅延パラメータを個別に調整できるようにする。
トラッキングフォワード
トラッキングデータ入力を 1 台以上のコンピュータに転送することで、複数のコンピュータ間でトラッキングデータを共有することができます（たとえば、マルチマシン設定の場合）。
トラッキングフォワード パラメータをオンにすると、お使いのコンピュータから別のコンピュータにトラッキングデータが転送されます。
トラッキング転送ポート
お使いのコンピュータから別のコンピュータに転送されたトラッキングデータを受信するには、2 つの情報が必要です。お使いのコンピュータの IP アドレスと、このパラメータで指定した UDP ポート番号です。
オーディオデバイスを使用
オーディオ入力を受信するには、オーディオデバイスパラメータをオンにします。
オーディオデバイス
オーディオ入力デバイスをここで選択します。
タイムコードマスター
Aximmetry のタイムコードマスターをこの入力に設定する場合は、これをオンにします。
カラースペース
Aximmetryはカラースペースを自動的に検出しますが、特定のカラースペースを使用したい場合は、ここで選択できます。
ガンマカーブ
カラースペースと同様ですが、ガンマカーブの設定です。
クロマオフセット
クロマオフセットは、クロマ（色）チャンネルとルマ（明るさ）チャンネルを再調整し、異なるチャンネルのピクセルが正しく配置されるようにします。クロマチャンネル（UとVまたはCrとCb）は、ルマチャンネルと異なるフォーマットを持っている場合があります。この違いにより、画像の色と明るさがわずかにずれることがあります。クロマオフセットを調整することで、この問題を修正できます。
入力画像なし
デフォルトの入力画像はありません：
このオプションでPC内の別の画像を選択できます。
レンズデータのオーバーライド
レンズデータのオーバーライドが有効になっていて、カメラコンパウンドのレンズデータのオーバーライドピンが（INPUT に応じて）接続されている場合、カメラはトラッキングシステムまたはキャリブレーションプロファイルのレンズデータではなく、そのピンから提供されたレンズデータを使用します。
レンズデータのオーバーライドピンは、9 つの浮動小数点値を含むベクトルを期待します。
- DescType - 説明タイプ、以下の通り：
- 0 = OpenCV（デフォルトのAximmetry形式；Aximmetry Camera Calibratorでも使用）
- 1 = Stype
- 2 = Mo-Sys
- 3 = TrackMen
- 4 = Camix
- FOVX - 水平方向の視野角（度）
- Aspect - 画像のアスペクト比
- CX - 中心シフトのX成分
- CY - 中心シフトのY成分
- K1 - 放射歪み係数1
- K2 - 放射歪み係数2
- K3 - 放射歪み係数3
- SensorWidth - カメラセンサーの有効領域の幅
注: ベクトルのレイアウトは統一されていますが、データ要素の正確な解釈は指定された説明タイプによって異なります。
注記: レンズデータを解析してこのようなベクトルを作成する方法の例は、[Common_Studio]:Compounds\Tools\Lens_Distort_Vanishing.xcomp コンパウンドです。
センサー幅のオーバーライド
有効にすると、センサー幅パラメータが、トラッキングシステムまたはキャリブレーションプロファイルによって提供された値ではなく、センサーの幅の値を定義します。
センサー幅
センサー幅のオーバーライドが有効になっている場合に、センサーの幅を設定します。
注：絞りトラッキングを使用する場合、正確な被写界深度 (DoF) 効果を得るため、および正しい焦点距離を書き出すために、正しいセンサーの幅が必要です。
Raw オーバーライド
有効にすると、以下の ズーム、フォーカス、絞りパラメータを使用して、対応する オーバーライドパラメータも有効になっている場合に、RAW エンコーダセンサーの値をシミュレートすることができます。これらの値は、キャリブレーションプロファイルで処理され、最終的なレンズデータが生成されます。
ズームのオーバーライド
有効にすると、ズームパラメータが、トラッキングシステムまたはキャリブレーションプロファイルによって提供された値ではなく、センサーの幅の値を定義します。
ズーム
センサーズームのオーバーライドが有効になっている場合、トラッキングデータの視野 (FOV、焦点距離) 値を手動で設定できます。
フォーカスのオーバーライド
有効にすると、フォーカスパラメータが、トラッキングシステムまたはキャリブレーションプロファイルによって提供された値よりも優先して、フォーカス距離の値を定義します。
フォーカス
フォーカスをオーバーライドが有効になっている場合、トラッキングデータのフォーカス距離値を手動で調整できます。
注：この調整を Aximmetry レンダリングのシーンで有効にするには、レンダリングコンパウンドがこの機能をサポートしている必要があります。通常、Depth of Field モジュールを使用します。
絞りオーバーライド
有効にすると、Aperture パラメータがレンズの絞り値を定義し、トラッキングシステムまたはキャリブレーションプロファイルによって提供された値を上書きします。
絞り
絞りを上書きが有効になっている場合、トラッキングデータのレンズの絞り (F 値) 値を手動で設定できます。
注: この調整を Aximmetry レンダリングのシーンで有効にするには、レンダリングコンパウンドがこの機能をサポートしている必要があります (通常は、Depth of Field モジュールを使用)。
外部レンズデータ
外部レンズデータは、キャリブレーションプロファイル またはトラッキングシステムのいずれかからレンズデータを読み込む Aximmetry の切り替えを切り替えます（トラッキングシステムがレンズデータを提供する場合のみ）。
すべての可能性を網羅すると、 キャリブレーションプロファイル が指定されている場合、レンズデータのソースは次のように変化します。
| キャリブレーションプロファイルが指定されている | 外部レンズデータがオン | 外部レンズデータがオフ |
| トラッキングシステムがレンズデータを提供し、ズームデバイスが指定されていない | トラッキングシステム | キャリブレーションプロファイル |
| トラッキングシステムがレンズデータを提供しない、またはズームデバイスが指定されている場合 | キャリブレーションプロファイル | キャリブレーションプロファイル |
|
記録したトラッキングデータの再生 |
記録データ | キャリブレーションプロファイル |
キャリブレーションプロファイル が指定されていない場合：
| キャリブレーションプロファイルが指定されていない | 外部レンズデータがオン | 外部レンズデータがオフ |
| トラッキングシステムがレンズデータを提供し、ズームデバイスが指定されていない場合 | トラッキングシステム | 固定のデフォルト値 |
|
トラッキングシステムがレンズデータを提供しない、またはズームデバイスが指定されている |
固定のデフォルト値 | 固定のデフォルト値 |
| 記録されたトラッキングデータの再生 | 記録データ | 固定のデフォルト値 |
固定のデフォルト値は、FOVX = 60、アスペクト = 16:9、歪みなしです。
遅延
さまざまな入力の遅延値を指定できます。値はフレーム単位です。
- カメラ遅延 ---ビデオ入力の遅延値を設定します。必要がない限り、このパラメータは調整しないでください。
- トラッキング遅延 ---トラッキングデータの遅延値を設定します。
- ズーム遅延 ---レンズデータのみの遅延値を設定します。使用例の詳細については、このドキュメントのこの点をご覧ください：ズームデバイス
- オーディオデバイス遅延---オーディオデバイスの入力の遅延値を設定します。
タイムコード同期
タイムコードジェネレータは、通常、ゲンロック信号とともに、各デバイスのタイムコードを送信することができます。これにより、ビデオとトラッキングが確実に同期されます。通常、この場合、トラッキング遅延を設定
デフォルトでは、タイムコード同期はオンになっています。「タイムコードを一致させることができません」というエラーが表示された場合、お使いのデバイスがタイムコードを送信しているものの、同期が取れていない可能性があります。この場合は、タイムコード同期をオフにしてください。
ズームタイムコード同期
上記のタイムコード同期がトラッキング遅延を同期するように、ズームデバイスをタイムコードに合わせて同期することができます。ズームタイムコード同期は、ズーム遅延を同期します。
トラッキングとズームの遅延を検出
バージョン 2023.2 以降、Aximmetry には、正しいトラッキング（トラッキングの遅延を検出）およびズームの遅延（ズームの遅延を検出）の値を自動的に検出する新機能が追加されました。
これらの機能は、INPUT# コントロールパネルのピン値にあります。
使用するには、スタジオ内に赤、青、または緑の参照ポイントが必要です。これは、赤、青、または緑の色をした平らな物体や詳細部分でも構いません。例では、赤い円をターゲットとして選択しました。
NOTE: 信頼性の高い結果を得るため、平らなターゲットを使用することをおすすめします。
NOTE: 背景と異なる色を選択することをおすすめします。
NOTE: モーションブラーを避けるため、シャッタースピードを高く設定することをおすすめします。
注：ターゲットをカメラから適切な距離に配置してください（カメラに近づきすぎないように、例えば1メートル未満の距離を避けてください）。
以下の3つの画像のいずれかを参照ポイントとして使用できます：
（3つの円のうち1つをクリックして高解像度画像を表示）。
スマートフォンや他の画面に表示できます。または、以下の例のように印刷して使用できます。
ターゲットの色をターゲットの色を検出ドロップダウンから選択してください。
使用する検出器をオンにしてください。(トラッキング遅延を検出、またはズーム遅延を検出)
メッセージが表示されます。
Aximmetry がターゲットを検出すると、トラッキング遅延検出とズーム遅延検出のどちらを行っているかによって、新しいメッセージが表示されます。
遅延値が検出されると、次のメッセージが表示され、対応するピンの遅延値が自動的に設定されます。
トラッキングディジッター
トラッキングディジッターは、カメラが動いていないときにトラッキングを安定させることができます。多くのトラッキングシステムでは、トラッカーが静止しているときでも（その測定精度により）、トラッキングデータは常に変化しています。通常、これらの変化はごくわずかであるため、目には認識できません。しかし、ズームインすると、これらの変化がはるかに顕著になる場合があります。
トラッキングデジャッターを有効にすると、カメラがデジャッター位置しきい値以上移動したり、デジャッター回転しきい値以上回転したりしない限り、カメラは固定位置にロックされます。
トラッキングのジッターは、カメラが動き始めた瞬間にトラッキングにわずかな遅れが生じる可能性があるため、どうしても必要な場合にのみ有効にしてください。さらに、トラッキングシステムに代替手段がないか確認してください。メーカーは自社のシステムの測定精度を把握しており、トラッキングのジッターよりも優れた解決策を提供できる場合があります。
注：トラッキングのジッターは、カメラが動いている間のジッターは修正しません。
オーディオレベル
オーディオレベルをデシベル（dB）で変更します。0はオーディオの音量が変更されないことを意味します。より静かなレベルは負の数で測定され、-100 dBはミュートを表します。0 dBを超えるレベルはオーディオ品質の低下を引き起こす可能性があります。
INPUTのオーディオは、AUDIOパネルを使用してモニタリングできます：
各INPUTのオーディオは、Audioピンを使用してアクセスできます：
注：Flow Editor には、さまざまなオーディオソースを処理およびミキシングできるさまざまなオーディオモジュールが用意されています。
内部（事前に録音された）入力
内部入力とは、外部デバイス（スタジオカメラ、トラッキングデバイス、オーディオデバイスなど）からのライブ入力の代わりに、Aximmetry 内で事前に録音された映像（ビデオ、トラッキングデータ、オーディオ、画像、画像シーケンスなど）を使用することを意味します。これにはさまざまな利点があります。例えば、バーチャルシーンのセットアップや照明の調整などにタレント（s）の presence が不要です。
Aximmetryは、幅広い事前録音された素材やデータを使用できるだけでなく、さまざまな目的（例：ポストプロダクション）でそれらをキャプチャすることも可能です。
事前に録画した映像やデータの詳細については、こちらをご覧ください：カメラトラッキングデータの記録方法
内部ビデオおよびトラッキング入力の設定
TrackedCamコンパウンドで事前に録画したビデオ入力およびトラッキングデータを使用するには、INPUTSコントロールボードのPLAYBACKコントロールパネルに移動します。
[Pin Values] タブで、事前に録画したビデオファイルを選択します。ここでは、お持ちのすべての INPUT # コントロールパネルに、事前に録画したビデオ入力を追加することができます。
注：ビデオファイルを追加するだけで、Aximmetry はビデオファイルの名前に基づいて、ビデオファイルのフォルダから対応するトラッキングデータを自動的にインポートします（ビデオファイルとトラッキングデータファイルは、まったく同じファイル名である必要があります）。
準備が整ったら、PLAYBACKコントロールパネルのPlayボタンを押してください。
メニューバーからFLOWエディターに移動してください。
マウス右クリックでFLOWエディターの背景をクリックし、Insert Module...を選択し、Sequencerモジュールを追加してください。
TrackedCam コンパウンドと次のように接続します。
シーケンサーモジュールのトラックピンを、TrackedCamコンパウンドの再生シーケンス番号ピンに接続します。(この例では、再生シーケンス番号 1 です。)
シーケンサーモジュールをダブルクリックして、シーケンスエディタパネルを開きます。スペースキーを使用して、ビデオの再生と一時停止を行います。
ここでは、シーケンサーおよびシーケンスエディタの使用方法について詳しく説明します。
これにより、インポートしたビデオとそのトラッキングデータがビルボードで再生されます。
もちろん、事前に録画したビデオについても、ライブ入力の場合とまったく同じ手順（遅延値のチェックと調整、キーイング、スタジオマスクの設定など）を行う必要があります。
キーイングに進む
入力の設定が完了したら、キーイングに進みます。
