WO2024048295A1

WO2024048295A1 - 情報処理装置、情報処理方法、プログラム

Info

Publication number: WO2024048295A1
Application number: PCT/JP2023/029689
Authority: WO
Inventors: 隆史土屋
Original assignee: ソニーグループ株式会社
Priority date: 2022-09-02
Filing date: 2023-08-17
Publication date: 2024-03-07
Also published as: JP2024035420A

Abstract

情報処理装置は、ディスプレイの表示領域における周縁部に表示させる境界マーカーを含む映像を表示する前記ディスプレイをカメラで撮影した撮影映像に対して、撮影映像の対象フレームにおける境界マーカーの位置を判定する判定処理を行う撮影映像処理部を備えるようにする。

Description

情報処理装置、情報処理方法、プログラム

　本技術は情報処理装置、情報処理方法、プログラムに関し、例えば映像制作の分野で用いることのできる技術に関する。

　映画等の映像コンテンツの制作のための撮影手法として、いわゆるグリーンバックの前で演者が演技を行い、後に背景映像を合成する技術が知られている。
　また近年はグリーンバック撮影に代わって、大型のディスプレイを設置したスタジオにおいて、ディスプレイに背景映像を表示させ、その前で演者が演技を行うことで、演者と背景を撮影できる撮影システムも開発され、いわゆるバーチャルプロダクション（Virtual Production）、インカメラＶＦＸ（In-Camera VFX）、またはＬＥＤ（Light Emitting Diode）ウォールバーチャルプロダクション（LED Wall Virtual Production）として知られている。
　下記特許文献１には、背景映像の前で演技する演者や物体を撮影するシステムの技術が開示されている。

米国特許出願公開第２０２０／０１４５６４４号明細書

　大型のディスプレイに背景映像を表示させたうえで、演者及び背景映像をカメラで撮影することによれば、撮影後に背景映像を別途合成しなくてもよいことや、演者やスタッフがシーンを視覚的に理解して演技や演技良否の判断ができるなど、グリーンバック撮影に比べて利点が多い。

　ただし背景映像等が表示されている範囲はディスプレイの枠内であり有限である。カメラの位置、撮影方向、或いはズーム画角によっては、撮影している範囲がディスプレイの枠外にはみ出してしまうこともある。
　このような場合、撮影を無駄にしないためには、後にはみ出し他部分を検出して、合成処理などにより映像を修正する必要があるが、極めて手間のかかる作業となる。またこれを避けるためには、カメラマンがディスプレイの範囲を注意して撮影しなければならず、フレーミングに制限がかかる。

　そこで本開示では、ディスプレイの枠外を撮影したような場合でも、映像制作の効率を低下させないような技術を提案する。

　本技術に係る情報処理装置は、ディスプレイの表示領域における周縁部に表示させる境界マーカーを含む映像を表示する前記ディスプレイをカメラで撮影した撮影映像に対して、撮影映像の対象フレームにおける前記境界マーカーの位置を判定する判定処理を行う撮影映像処理部を備える。
　また本技術に係る情報処理装置は、カメラによる撮影対象となるディスプレイに表示させる映像に対して、前記ディスプレイの表示領域内の周縁部に表示させる境界マーカーを付加する処理を行うマーカー処理部を備える。

　例えばディスプレイに表示させる背景映像について、ディスプレイの周縁部に表示される境界マーカーを付加しておく。境界マーカーは、ディスプレイの枠の範囲を撮影映像上で正確に検出できるようにするものである。映像処理部は、撮影映像について、この境界マーカーを検出する。

本技術の実施の形態の撮影システムの説明図である。実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。実施の形態の映像コンテンツ制作工程の説明図である。実施の形態の撮影システムのブロック図である。実施の形態の撮影システムの背景映像生成のフローチャートである。実施の形態の複数カメラを用いた撮影システムのブロック図である。実施の形態の情報処理装置のブロック図である。実施の形態のマーカー処理及び撮影映像処理の説明図である。実施の形態で表示される背景映像の説明図である。実施の形態の境界マーカーの説明図である。実施の形態の境界マーカーを含む撮影映像の説明図である。実施の形態の抽出されたマーカー画像の説明図である。実施の形態の位置推定されたマーカー画像の説明図である。実施の形態のマスクの説明図である。実施の形態の最終出力映像の説明図である。実施の形態のマーカー処理を含むレンダリングのフローチャートである。実施の形態の撮影映像処理のフローチャートである。実施の形態の周辺光量落ち量と歪量の算出の説明図である。実施の形態の周辺光量落ち量と歪量の算出のための比較の説明図である。実施の形態のマスク生成の説明図である。実施の形態のマスクのブレンディングの説明図である。実施の形態の合成処理の説明図である。実施の形態のプレビジュアライゼーションの説明図である。実施の形態のプレビジュアライゼーションの構成例のブロック図である。実施の形態のプレビジュアライゼーションでの処理例のフローチャートである。

　以下、実施の形態を次の順序で説明する。
＜１．撮影システム及びコンテンツ制作＞
＜２．情報処理装置の構成＞
＜３．マーカー処理及び撮影映像処理＞
＜４．処理例＞
＜５．プレビジュアライゼーションでの処理＞
＜６．まとめ及び変型例＞

　なお、本開示において「映像」或いは「画像」とは静止画、動画のいずれをも含む。また「映像」とはディスプレイに表示されている状態を指すだけでなく、ディスプレイに表示されていない状態の映像データについても包括的に「映像」と表記する場合がある。「画像」も同様である。
　例えば実施の形態において、ディスプレイでの表示に至る前における背景映像、カメラによる撮影映像、スイッチャーで切り替えられる背景映像や撮影映像は、実際に表示されている映像ではなく映像データであるが、便宜上「背景映像」「撮影映像」等と表記する。

＜１．撮影システム及び映像コンテンツ制作＞
　本開示の技術を適用できる撮影システム及び映像コンテンツの制作について説明する。
　図１は撮影システム５００を模式的に示している。この撮影システム５００はバーチャルプロダクションとしての撮影を行うシステムで、図では撮影スタジオに配置される機材の一部を示している。

　撮影スタジオにおいては演者５１０が演技その他のパフォーマンスを行うパフォーマンスエリア５０１が設けられる。このパフォーマンスエリア５０１の少なくとも背面、さらには左右側面や上面には、大型の表示装置が配置される。表示装置のデバイス種別は限定されないが、図では大型の表示装置の一例としてＬＥＤウォール５０５を用いる例を示している。

　１つのＬＥＤウォール５０５は、複数のＬＥＤパネル５０６を縦横に連結して配置することで、大型のパネルを形成する。ここでいうＬＥＤウォール５０５のサイズは特に限定されないが、演者５１０の撮影を行うときに背景を表示するサイズとして必要な大きさ、或いは十分な大きさであればよい。

　パフォーマンスエリア５０１の上方、或いは側方などの必要な位置に、必要な数のライト５８０が配置され、パフォーマンスエリア５０１に対して照明を行う。

　パフォーマンスエリア５０１の付近には、例えば映画その他の映像コンテンツの撮影のためのカメラ５０２が配置される。カメラ５０２は、カメラマン５１２が位置を移動させることができ、また撮影方向や、画角等の操作を行うことができる。もちろんリモート操作によってカメラ５０２の移動や画角操作等が行われるものも考えられる。またカメラ５０２が自動的もしくは自律的に移動や画角変更を行うものであってもよい。このためにカメラ５０２が雲台や移動体に搭載される場合もある。

　カメラ５０２によって、パフォーマンスエリア５０１における演者５１０と、ＬＥＤウォール５０５に表示されている映像がまとめて撮影される。例えばＬＥＤウォール５０５に背景映像ｖＢとして風景が表示されることで、演者５１０が実際にその風景の場所に居て演技をしている場合と同様の映像を撮影できることになる。

　パフォーマンスエリア５０１の付近にはアウトプットモニタ５０３が配置される。このアウトプットモニタ５０３にはカメラ５０２で撮影されている映像がモニタ映像ｖＭとしてリアルタイム表示される。これにより映像コンテンツの制作を行う監督やスタッフが、撮影されている映像を確認することができる。

　このように、撮影スタジオにおいてＬＥＤウォール５０５を背景にした演者５１０のパフォーマンスを撮影する撮影システム５００では、グリーンバック撮影に比較して各種の利点がある。

　例えば、グリーンバック撮影の場合、演者が背景やシーンの状況を想像しにくく、それが演技に影響するということがある。これに対して背景映像ｖＢを表示させることで、演者５１０が演技しやすくなり、演技の質が向上する。また監督その他のスタッフにとっても、演者５１０の演技が、背景やシーンの状況とマッチしているか否かを判断しやすい。

　またグリーンバック撮影の場合よりも撮影後のポストプロダクションが効率化される。これは、いわゆるクロマキー合成が不要とすることができる場合や、色の補正や映り込みの合成が不要とすることができる場合があるためである。また、撮影時にクロマキー合成が必要とされた場合においても、緑や青の映像を表示するだけで済むため物理的な背景用スクリーンを追加不要とされることも効率化の一助となっている。

　グリーンバック撮影の場合、演者の身体、衣装、物にグリーンの色合いが増してしまうため、その修正が必要となる。またグリーンバック撮影の場合、ガラス、鏡、スノードームなどの周囲の光景が映り込む物が存在する場合、その映り込みの画像を生成し、合成する必要があるが、これは手間のかかる作業となっている。

　これに対し、図１の撮影システム５００で撮影する場合、グリーンの色合いが増すことはないため、その補正は不要である。また背景映像ｖＢを表示させることで、ガラス等の実際の物品への映り込みも自然に得られて撮影されているため、映り込み映像の合成も不要である。

　ここで、背景映像ｖＢについて図２、図３で説明する。背景映像ｖＢを、ＬＥＤウォール５０５に表示させて、演者５１０とともに撮影を行うにしても、単純に背景映像ｖＢを表示させるのみでは、撮影された映像は背景が不自然になる。実際には立体で奥行きもある背景を平面的に背景映像ｖＢとしているためである。

　例えばカメラ５０２は、パフォーマンスエリア５０１の演者５１０に対して、多様な方向から撮影することができ、またズーム操作も行うことができる。演者５１０も一カ所に立ち止まっているわけではない。するとカメラ５０２の位置、撮影方向、画角などに応じて、演者５１０の背景の実際の見え方は変化するはずであるが、平面映像としての背景映像ｖＢではそのような変化が得られない。そこで背景が、視差を含めて、実際の見え方と同様になるように背景映像ｖＢを変化させる。

　図２はカメラ５０２が図の左側の位置から演者５１０を撮影している様子を示し、また図３はカメラ５０２が図の右側の位置から演者５１０を撮影している様子を示している。各図において、背景映像ｖＢ内に撮影領域映像ｖＢＣを示している。
　なお背景映像ｖＢのうちで撮影領域映像ｖＢＣを除いた部分は「アウターフラスタム」と呼ばれ、撮影領域映像ｖＢＣは「インナーフラスタム」と呼ばれる。
　ここで説明している背景映像ｖＢとは、撮影領域映像ｖＢＣ（インナーフラスタム）を含んで背景として表示される映像全体を指す。

　この撮影領域映像ｖＢＣ（インナーフラスタム）の範囲は、ＬＥＤウォール５０５の表示面内で、カメラ５０２によって実際に撮影される範囲に相当する。そして撮影領域映像ｖＢＣは、カメラ５０２の位置、撮影方向、画角等に応じて、実際にそのカメラ５０２の位置を視点としたときに見える光景を表現するような映像となっている。

　具体的には、撮影領域映像ｖＢＣは、背景としての３Ｄ（three dimensions）モデルである３Ｄ背景データを用意し、その３Ｄ背景データに対して、リアルタイムで逐次、カメラ５０２の視点位置に基づいてレンダリングする。
　なお、実際には撮影領域映像ｖＢＣの範囲は、その時点でカメラ５０２によって撮影される範囲よりも少し広い範囲とされる。これはカメラ５０２のパン、チルトやズームなどにより撮影される範囲が若干変化したときに、描画遅延によってアウターフラスタムの映像が映り込んでしまうことを防止するためや、アウターフラスタムの映像からの回折光による影響を避けるためである。
　このようにリアルタイムでレンダリングされた撮影領域映像ｖＢＣの映像は、アウターフラスタムの映像と合成される。背景映像ｖＢで用いられるアウターフラスタムの映像は、予め３Ｄ背景データに基づいてレンダリングされたものである場合や、毎フレーム或いは間欠的なフレーム毎に、リアルタイムにレンダリングされる場合があるが、そのアウターフラスタムの映像の一部に、撮影領域映像ｖＢＣ（インナーフラスタム）の映像を組み込むことで、全体の背景映像ｖＢを生成している。
　なお、アウターフラスタムの映像もインナーフラスタムと同様に毎フレームレンダリングするケースがあるが、ここでは静止した映像を例にとり、以降の説明では主にアウターフラスタムの映像は先頭フレームのみレンダリングする場合を例として説明する。

　これにより、カメラ５０２を前後左右に移動させたり、ズーム操作を行ったりしても、演者５１０とともに撮影される範囲の背景は、実際のカメラ５０２の移動に伴う視点位置やＦＯＶ（Field of View（視野））の変化に応じた映像として撮影されることになる。

　図２、図３に示すように、アウトプットモニタ５０３には、演者５１０と背景を含むモニタ映像ｖＭが表示されるが、これが撮影された映像である。このモニタ映像ｖＭにおける背景は、撮影領域映像ｖＢＣである。つまり撮影された映像に含まれる背景は、リアルタイムレンダリングされた映像となる。

　このように実施の形態の撮影システム５００においては、単に背景映像ｖＢを平面的に表示させるだけではなく、実際に風景を撮影した場合と同様の映像を撮影することができるように、撮影領域映像ｖＢＣを含む背景映像ｖＢをリアルタイムに変化させるようにしている。

　なお、ＬＥＤウォール５０５に表示させた背景映像ｖＢの全体ではなく、カメラ５０２によって映り込む範囲としての撮影領域映像ｖＢＣのみをリアルタイムにレンダリングすることで、システムの処理負担も軽減するような工夫を行ってもよい。

　ここで、撮影システム５００で撮影を行うバーチャルプロダクションとしての映像コンテンツの制作工程を説明しておく。図４に示すように、映像コンテンツ制作工程は３つの段階に大別される。アセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３である。

　アセットクリエイションＳＴ１は、背景映像ｖＢを表示するための３Ｄ背景データを制作する工程である。上述のように背景映像ｖＢは、撮影の際に３Ｄ背景データを用いてリアルタイムでレンダリングを行って生成する。そのために予め３Ｄモデルとしての３Ｄ背景データを制作しておく。

　３Ｄ背景データの制作手法の例として、フルＣＧ（Full Computer Graphics）、点群データ（Point Cloud）スキャン、フォトグラメトリ（Photogrammetry）という例がある。

　フルＣＧは、３Ｄモデルをコンピュータグラフィックスで制作する手法である。３つの手法の中で最も工数や時間を要する手法となるが、非現実的な映像や、実際には撮影が困難な映像などを背景映像ｖＢとしたい場合に用いられることが好適となる。

　点群データスキャンは、ある位置から例えばライダー（LiDAR）を用いて距離測定を行うとともに、同じ位置からカメラで３６０度の画像を撮影し、ライダーで測距した点の上にカメラで撮影した色データを載せることで点群データによる３Ｄモデルを生成する手法である。フルＣＧに比較して、短い時間で３Ｄモデル制作ができる。またフォトグラメトリより高精細の３Ｄモデルを制作しやすい。

　フォトグラメトリは、物体を複数視点から撮影して得た２次元画像から、視差情報を解析して寸法・形状を求める写真測量の技術である。３Ｄモデル制作を短時間で行うことができる。
　なお、フォトグラメトリによる３Ｄデータ生成において、ライダーで取得した点群情報を用いても良い。

　アセットクリエイションＳＴ１では、例えばこれらの手法を用いて３Ｄ背景データとなる３Ｄモデルを制作する。もちろん上記手法を複合的に用いてもよい。例えば点群データスキャンやフォトグラメトリで制作した３Ｄモデルの一部をＣＧで制作し、合成するなどである。

　プロダクションＳＴ２は、図１に示したような撮影スタジオにおいて撮影を行う工程である。この場合の要素技術として、リアルタイムレンダリング、背景表示、カメラトラッキング、照明コントロールなどがある。

　リアルタイムレンダリングは、図２、図３で説明したように各時点（背景映像ｖＢの各フレーム）で撮影領域映像ｖＢＣを得るためのレンダリング処理である。これはアセットクリエイションＳＴ１で制作した３Ｄ背景データに対して、各時点のカメラ５０２の位置等に応じた視点でレンダリングを行うものである。

　このようにリアルタイムレンダリングを行って撮影領域映像ｖＢＣを含む各フレームの背景映像ｖＢを生成し、ＬＥＤウォール５０５に表示させる。

　カメラトラッキングは、カメラ５０２による撮影情報を得るために行われ、カメラ５０２の各時点の位置情報、撮影方向、画角などをトラッキングする。これらを含む撮影情報を各フレームに対応させてレンダリングエンジンに提供することで、カメラ５０２の視点位置等に応じたリアルタイムレンダリングが実行できる。

　撮影情報はメタデータとして映像と紐づけられたり対応づけられたりする情報である。
　撮影情報としては各フレームタイミングでのカメラ５０２の位置情報、カメラの向き、画角、焦点距離、Ｆ値（絞り値）、シャッタースピード、レンズ情報などを含むことが想定される。

　照明コントロールとは、撮影システム５００における照明の状態をコントロールすることで、具体的にはライト５８０の光量、発光色、照明方向などの制御を行う。例えば撮影するシーンの時刻設定や場所の設定などに応じた照明コントロールが行われる。

　ポストプロダクションＳＴ３は、撮影後に行われる各種処理を示している。例えば映像の補正、映像の調整、クリップ編集、映像エフェクトなどが行われる。

　映像の補正としては、色域変換や、カメラや素材間の色合わせなどが行われる場合がある。
　映像の調整として色調整、輝度調整、コントラスト調整などが行われる場合がある。
　クリップ編集として、クリップのカット、順番の調整、時間長の調整などが行われる場合がある。
　映像エフェクトとして、ＣＧ映像や特殊効果映像の合成などが行われる場合がある。

　続いてプロダクションＳＴ２で用いられる撮影システム５００の構成を説明する。
　図５は、図１、図２、図３で概要を説明した撮影システム５００の構成を示すブロック図である。

　図５に示す撮影システム５００は、上述した、複数のＬＥＤパネル５０６によるＬＥＤウォール５０５、カメラ５０２、アウトプットモニタ５０３、ライト５８０を備える。そしてさらに撮影システム５００は、図５に示すように、レンダリングエンジン５２０、アセットサーバ５３０、シンクジェネレータ５４０、オペレーションモニタ５５０、カメラトラッカー５６０、ＬＥＤプロセッサ５７０、ライティングコントローラ５８１、ディスプレイコントローラ５９０を備える。

　ＬＥＤプロセッサ５７０のそれぞれは、１又は複数のＬＥＤパネル５０６に対応して設けられ、それぞれ対応する１又は複数のＬＥＤパネル５０６の映像表示駆動を行う。

　シンクジェネレータ５４０は、ＬＥＤパネル５０６による表示映像のフレームタイミングと、カメラ５０２による撮像のフレームタイミングの同期をとるための同期信号を発生し、各ＬＥＤプロセッサ５７０、カメラ５０２、及びレンダリングエンジン５２０に供給する。

　カメラトラッカー５６０は、各フレームタイミングでのカメラ５０２による撮影情報を生成し、レンダリングエンジン５２０に供給する。例えばカメラトラッカー５６０は撮影情報の１つとして、ＬＥＤウォール５０５の位置或いは所定の基準位置に対する相対的なカメラ５０２の位置情報や、カメラ５０２の撮影方向を検出し、これらをレンダリングエンジン５２０に供給する。
　カメラトラッカー５６０による具体的な検出手法としては、天井にランダムに反射板を配置して、それらに対してカメラ５０２に組み付けられたカメラトラッカー５６０から照射された赤外光の反射光から位置を検出する方法がある。また検出手法としては、カメラ５０２の雲台やカメラ５０２の本体に搭載されたジャイロ情報や、カメラ５０２の撮影映像の画像認識によりカメラ５０２の自己位置推定する方法もある。

　またカメラ５０２からレンダリングエンジン５２０に対しては、撮影情報として画角、焦点距離、Ｆ値、シャッタースピード、レンズ情報などが供給される場合もある。

　アセットサーバ５３０は、アセットクリエイションＳＴ１で制作された３Ｄモデル、即ち３Ｄ背景データを記録媒体に格納し、必要に応じて３Ｄモデルを読み出すことができるサーバである。即ち３Ｄ背景データのＤＢ（data Base）として機能する。

　レンダリングエンジン５２０は、ＬＥＤウォール５０５に表示させる背景映像ｖＢを生成する処理を行う。このためレンダリングエンジン５２０は、アセットサーバ５３０から必要な３Ｄ背景データを読み出す。そしてレンダリングエンジン５２０は、３Ｄ背景データをあらかじめ指定された空間座標から眺めた形でレンダリングしたものとして背景映像ｖＢで用いるアウターフラスタムの映像を生成する。
　またレンダリングエンジン５２０は、カメラトラッカー５６０やカメラ５０２から供給された撮影情報を用いて３Ｄ背景データに対する視点位置等を特定して撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行う。

　さらにレンダリングエンジン５２０は、アウターフラスタムに対し、カメラ５０２の動きに応じて動的に変化する撮影領域映像ｖＢＣを合成して１フレームの映像データとしての背景映像ｖＢを生成する。そしてレンダリングエンジン５２０は、生成した１フレームの映像データをディスプレイコントローラ５９０に送信する。

　ディスプレイコントローラ５９０は、１フレームの映像データを、各ＬＥＤパネル５０６で表示させる映像部分に分割した分割映像信号ｎＤを生成し、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行う。このときディスプレイコントローラ５９０は、表示部間の発色などの個体差／製造誤差などに応じたキャリブレーションを行っても良い。
　なお、ディスプレイコントローラ５９０を設けず、これらの処理をレンダリングエンジン５２０が行うようにしてもよい。つまりレンダリングエンジン５２０が分割映像信号ｎＤを生成し、キャリブレーションを行い、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行うようにしてもよい。

　各ＬＥＤプロセッサ５７０が、それぞれ受信した分割映像信号ｎＤに基づいてＬＥＤパネル５０６を駆動することで、ＬＥＤウォール５０５において全体の背景映像ｖＢが表示される。その背景映像ｖＢには、その時点のカメラ５０２の位置等に応じてレンダリングされた撮影領域映像ｖＢＣが含まれている。

　カメラ５０２は、このようにＬＥＤウォール５０５に表示された背景映像ｖＢを含めて演者５１０のパフォーマンスを撮影することができる。カメラ５０２の撮影によって得られた映像は、カメラ５０２の内部又は図示しない外部の記録装置において記録媒体に記録されるほか、リアルタイムでアウトプットモニタ５０３に供給され、モニタ映像ｖＭとして表示される。

　オペレーションモニタ５５０では、レンダリングエンジン５２０の制御のためのオペレーション画像ｖＯＰが表示される。エンジニア５１１はオペレーション画像ｖＯＰを見ながら背景映像ｖＢのレンダリングに関する必要な設定や操作を行うことができる。

　ライティングコントローラ５８１は、ライト５８０の発光強度、発光色、照射方向などを制御する。ライティングコントローラ５８１は、例えばレンダリングエンジン５２０とは非同期でライト５８０の制御を行うものとしてもよいし、或いは撮影情報やレンダリング処理と同期して制御を行うようにしてもよい。そのためレンダリングエンジン５２０或いは図示しないマスターコントローラ等からの指示によりライティングコントローラ５８１が発光制御を行うようにしてもよい。またレンダリングエンジン５２０からライト５８０の制御を行うようにしてもよい。

　このような構成の撮影システム５００におけるレンダリングエンジン５２０の処理例を図６に示す。

　レンダリングエンジン５２０は、ステップＳ１０でアセットサーバ５３０から、今回使用する３Ｄ背景データを読み出し、内部のワークエリアに展開する。
　この段階でアウターフラスタムとして用いる映像を生成する場合もある。

　その後レンダリングエンジン５２０は、ステップＳ２０で、読み出した３Ｄ背景データに基づく背景映像ｖＢの表示終了と判定するまで、ステップＳ３０からステップＳ６０の処理を繰り返す。

　ステップＳ３０でレンダリングエンジン５２０は、カメラトラッカー５６０やカメラ５０２からの撮影情報を取得する。これにより、現フレームで反映させるカメラ５０２の位置や状態を確認する。

　ステップＳ４０でレンダリングエンジン５２０は、撮影情報に基づいてレンダリングを行う。即ち現在のフレームに反映させるカメラ５０２の位置、撮影方向、或いは画角等に基づいて３Ｄ背景データに対する視点位置を特定してレンダリングを行う。このとき、焦点距離、Ｆ値、シャッタースピード、レンズ情報などを反映した映像処理を行うこともできる。このレンダリングによって撮影領域映像ｖＢＣ（インナーフラスタム）としての映像データを得ることができる。アウターフラスタムについては、ステップＳ１０で予め固定的な映像として生成する他、ステップＳ４０でフレーム毎に生成することもある。

　ステップＳ５０でレンダリングエンジン５２０は、全体の背景映像であるアウターフラスタムと、カメラ５０２の視点位置を反映した映像、即ち撮影領域映像ｖＢＣを合成する処理を行う。例えばある特定の基準視点でレンダリングした背景全体の映像に対して、カメラ５０２の視点を反映して生成した映像を合成する処理である。これにより、ＬＥＤウォール５０５で表示される１フレームの背景映像ｖＢ、つまり撮影領域映像ｖＢＣを含む背景映像ｖＢが生成される。

　ステップＳ６０の処理は、レンダリングエンジン５２０又はディスプレイコントローラ５９０で行う。ステップＳ６０でレンダリングエンジン５２０又はディスプレイコントローラ５９０は、１フレームの背景映像ｖＢについて、個別のＬＥＤパネル５０６に表示される映像に分割した分割映像信号ｎＤを生成する。キャリブレーションを行う場合もある。そして各分割映像信号ｎＤを各ＬＥＤプロセッサ５７０に送信する。

　以上の処理により、各フレームタイミングで、カメラ５０２で撮像される撮影領域映像ｖＢＣを含む背景映像ｖＢがＬＥＤウォール５０５に表示されることになる。

　ところで図５では１台のカメラ５０２のみを示したが、複数台のカメラ５０２で撮影を行うこともできる。図７は複数のカメラ５０２ａ，５０２ｂを使用する場合の構成例を示している。カメラ５０２ａ，５０２ｂは、それぞれ独立してパフォーマンスエリア５０１における撮影を行うことができるようにされる。また各カメラ５０２ａ，５０２ｂ及び各ＬＥＤプロセッサ５７０は、シンクジェネレータ５４０により同期が維持される。

　カメラ５０２ａ，５０２ｂに対応して、アウトプットモニタ５０３ａ，５０３ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂによって撮影された映像を、モニタ映像ｖＭａ，ｖＭｂとして表示するように構成される。

　またカメラ５０２ａ，５０２ｂに対応して、カメラトラッカー５６０ａ，５６０ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂの位置や撮影方向を検出する。カメラ５０２ａ及びカメラトラッカー５６０ａからの撮影情報や、カメラ５０２ｂ及びカメラトラッカー５６０ｂからの撮影情報は、レンダリングエンジン５２０に送信される。

　レンダリングエンジン５２０は、カメラ５０２ａ側、或いはカメラ５０２ｂ側のいずれか一方又は両方の撮影情報を用いて、各フレームの背景映像ｖＢを得るためのレンダリングを行うことができる。

　なお図７では２台のカメラ５０２ａ、５０２ｂを用いる例を示したが、３台以上のカメラ５０２を用いて撮影を行うことも可能である。
　但し、複数のカメラ５０２を用い、それぞれの撮影情報を用いて、それぞれのカメラ５０２に対応した撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行い、表示させると、それぞれの撮影領域映像ｖＢＣが互いに干渉するという事情がある。例えば図７のように２台のカメラ５０２ａ、５０２ｂを用いる例では、カメラ５０２ａに対応する撮影領域映像ｖＢＣを示しているが、カメラ５０２ｂの映像を用いる場合、カメラ５０２ｂに対応する撮影領域映像ｖＢＣも必要になる。その場合に単純に各カメラ５０２ａ、５０２ｂに対応するそれぞれの撮影領域映像ｖＢＣを表示させると、それらが互いに干渉する。このため撮影領域映像ｖＢＣの表示に関する工夫が必要とされる。

＜２．情報処理装置の構成＞
　次に、アセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３で用いることができる情報処理装置７０の構成例を図８で説明する。
　情報処理装置７０は、コンピュータ機器など、情報処理、特に映像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ、ワークステーション、スマートフォンやタブレット等の携帯端末装置、ビデオ編集装置等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。

　本実施の形態の場合、具体的には情報処理装置７０は、アセットクリエイションＳＴ１において３Ｄモデルを制作する３Ｄモデル制作装置として機能できる。
　また情報処理装置７０は、プロダクションＳＴ２で用いる撮影システム５００を構成するレンダリングエンジン５２０やアセットサーバ５３０としても機能できる。
　また情報処理装置７０は、ポストプロダクションＳＴ３における各種映像処理を行う映像編集装置としても機能できる。

　さらに情報処理装置７０は、図２５等で後述するプレビジュアライゼーションにおけるシミュレーション映像ｖＳＭの生成を行う情報処理装置（レンダリングエンジン３１）としても機能できる。

　図８に示す情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　映像処理部８５は各種の映像処理を行うプロセッサとして構成される。例えば３Ｄモデル生成処理、レンダリング、ＤＢ処理、色・輝度調整処理を含む映像処理、映像編集処理、映像解析・検出処理などのいずれか、或いは複数の処理を行うことができるプロセッサとされる。

　特に図８では映像処理部８５における処理機能として撮影映像処理部８５ａ、マーカー処理部８５ｂを示している。
　この撮影映像処理部８５ａ、マーカー処理部８５ｂは、例えばレンダリングエンジン５２０としての情報処理装置７０において設けられる例がある。
　マーカー処理部８５ｂは、レンダリングした背景映像ｖＢに対して後述する境界マーカー６０（図９等参照）を付加する処理を行う機能である。これによりＬＥＤウォール５０５に表示される背景映像ｖＢには境界マーカー６０の画像が含まれる。
　撮影映像処理部８５ａは、ＬＥＤウォール５０５に表示された、境界マーカー６０を含む背景映像ｖＢを撮影した撮影映像ｖＣの対象フレームにおける境界マーカー６０の位置を判定する判定処理を行う機能である。対象フレームとは、或る時点で撮影映像処理の処理対象としているフレームを指す。例えば動画としての撮影映像ｖＣを構成する各フレームは、順次、対象フレームとされる。
　なお、撮影映像ｖＣの対象フレームにおける位置（例えば境界マーカー６０の位置）とは、そのフレームの画像における位置のことであり、時間的に異なるフレームについての位置を含まない。

　撮影映像処理部８５ａ、マーカー処理部８５ｂの機能による映像処理部８５の処理についての詳細は後述する。
　なお、情報処理装置７０における映像処理部８５としては、撮影映像処理部８５ａを有してマーカー処理部８５ｂを有しない例や、マーカー処理部８５ｂを有して撮影映像処理部８５ａを有しない例も想定される。

　この映像処理部８５は例えば、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現できる。
　なお映像処理部８５はＣＰＵ７１内の機能として設けられてもよい。

　ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、映像処理部８５は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。

　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、トラックボール、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
　入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。

　また入出力インタフェース７５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（electro-luminescence）パネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像、操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　入出力インタフェース７５には、ＨＤＤ（Hard Disk Drive）や固体メモリなどより構成される記憶部７９や通信部８０が接続される場合もある。

　記憶部７９は、各種のデータやプログラムを記憶することができる。記憶部７９においてＤＢを構成することもできる。
　例えば情報処理装置７０がアセットサーバ５３０や後述のレンダリングエンジン３１として機能する場合、記憶部７９を利用して３Ｄ背景データ群を格納するＤＢを構築できる。

　通信部８０は、インターネット等の伝送路を介しての通信処理や、外部のＤＢ、編集装置、情報処理装置等の各種機器との有線／無線通信、バス通信などによる通信を行う。
　例えば情報処理装置７０がレンダリングエンジン５２０や後述のレンダリングエンジン３１として機能する場合、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスしたり、カメラ５０２やカメラトラッカー５６０からの撮影情報を受信したりすることができる。
　またポストプロダクションＳＴ３に用いる情報処理装置７０の場合も、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスすることなども可能である。

　入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
　ドライブ８１により、リムーバブル記録媒体８２からは映像データや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータは記憶部７９に記憶されたり、データに含まれる映像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

　この情報処理装置７０では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

＜３．マーカー処理及び撮影映像処理＞
　実施の形態のマーカー処理及び撮影映像処理について説明する。
　図９はバーチャルプロダクションの過程におけるマーカー処理と撮影映像処理について示している。

　例えば図８の映像処理部８５におけるマーカー処理部８５ｂの機能により、図９のマーカー生成処理Ｐ２、マーカー付加処理Ｐ３が行われる。
　マーカー生成処理Ｐ２、マーカー付加処理Ｐ３は、バーチャルプロダクションにおける撮影時、つまりＬＥＤウォール５０５に背景映像ｖＢを表示させる際に、例えばレンダリングエンジン５２０内の処理として実行される。

　また図８の映像処理部８５における撮影映像処理部８５ａの機能により撮影映像処理（Ｐ１１からＰ１９）が行われる。
　撮影映像処理（Ｐ１１からＰ１９）は、同じく撮影時にリアルタイムで、例えば撮影映像ｖＣを入力したレンダリングエンジン５２０内、或いは他の装置で行われてもよいし、ポストプロダクションＳＴ３の段階で行われてもよい。

　ここでは一例として、撮影時にリアルタイムで、レンダリングエンジン５２０によりマーカー生成処理と撮影映像処理が行われるとして説明していく。

　例えばレンダリングエンジン５２０としての情報処理装置７０の映像処理部８５は、図９のレンダリングＰ１として背景映像ｖＢを生成する。

　図１０Ａに背景映像ｖＢの例を示している。なお、レンダリングエンジン５２０は図１０Ａのような背景映像ｖＢを生成するが、この例はＬＥＤウォール５０５の表示領域より広い範囲の映像としている。例えば破線で示す実表示領域１００の範囲が、実際にＬＥＤウォール５０５で表示される映像である。レンダリングエンジン５２０は、ＬＥＤウォール５０５の表示範囲と同等の範囲の背景映像ｖＢを生成してもよいが、図１０Ａのように、より広い範囲の背景映像ｖＢを生成しておくことで、後の撮影映像処理において、この背景映像ｖＢを合成に利用できる。
　また背景映像ｖＢは撮影領域映像ｖＢＣ（インナーフラスタム）も含んでいる。

　レンダリングエンジン５２０の映像処理部８５は、マーカー処理部８５ｂの機能により、図９に示すマーカー生成処理Ｐ２を行う。
　マーカー生成処理Ｐ２では、レンダリングされた背景映像ｖＢ及びその実表示領域１００の情報を入力してマーカー画像ｖＭＫを生成する。

　図１１Ａ、図１１Ｂにマーカー画像ｖＭＫの例を示している。
　図１１Ａのマーカー画像ｖＭＫの例は、境界マーカー６０としてのパターンが周縁部を囲うようにした例である。
　図１１Ｂのマーカー画像ｖＭＫの例は、境界マーカー６０としてのパターンが左右及び上の周縁部に配置される例である。

　この境界マーカー６０は、ＬＥＤウォール５０５を撮影しているカメラ５０２の撮影範囲が、ＬＥＤウォール５０５からはみ出してしまうことを検出できるようにするものである。このため、図１１Ａのように周縁部を全周にわたって境界マーカー６０が形成されるとよい。但し図１のような撮影システム５００のパフォーマンスエリア５０１には、背景映像ｖＢの内容とつながる実光景のセットが設けられている場合もあり、その場合は、カメラ５０２の撮影範囲がＬＥＤウォール５０５の下方にはみ出しても問題ない。そのような場合は、図１１Ｂのような境界マーカー６０でもよい。

　この図１１Ａ、図１１Ｂのような境界マーカー６０は、境界ライン６１と検出パターン６２を有するものとされる。
　境界ライン６１は、ＬＥＤウォール５０５の縁部を明示するための例えば枠状に形成されるラインである。
　検出パターン６２は、カメラ５０２のレンズによって生じる周辺光量落ち量と空間的な歪み量を判定するために設けられる縦横の格子状パターンである。なおパターン形状は一例であり、これに限られない。
　このような境界マーカー６０のパターン形状自体はシステム内にあらかじめ保持しておけばよい。

　そして図９に示すマーカー生成処理Ｐ２では、レンダリングエンジン５２０は、境界マーカー６０の輝度、色や、サイズを設定してマーカー画像ｖＭＫを生成する。
　境界マーカー６０の輝度や色は、背景映像ｖＢの輝度や色を参照して、背景映像ｖＢ内で目立つように設定する。例えば背景映像ｖＢが明るい光景を示しているのであれば、境界マーカー６０の輝度を低くし、背景映像ｖＢが暗い光景を示しているのであれば、境界マーカー６０の輝度を高くする。また色も背景映像ｖＢの色に応じて設定する。
　さらに、レンダリングエンジン５２０は、実表示領域１００の範囲における周縁部に境界マーカー６０が表示されるように、境界マーカー６０のサイズを設定する。なお実表示領域１００のラインは説明のために加えたもので、背景映像ｖＢに、実際にこのような実表示領域１００を示すラインが含まれるわけではない。

　次にレンダリングエンジン５２０の映像処理部８５は、マーカー処理部８５ｂの機能により、マーカー付加処理Ｐ３を行う。
　レンダリングエンジン５２０はマーカー付加処理Ｐ３として、レンダリングされた背景映像ｖＢにマーカー画像ｖＭＫを合成して境界マーカー６０を付加する処理を行う。
　即ち元の背景映像ｖＢにおいて境界マーカー６０に該当する位置の画素値を境界マーカー６０の画素値に置き換える。

　図１０Ｂに境界マーカー６０を付加した背景映像ｖＢを示している。図１０Ａの背景映像ｖＢにおける実表示領域１００の範囲での周縁部となる位置に境界マーカー６０が付加された状態となる。

　このような境界マーカー６０が付加された背景映像ｖＢがＬＥＤウォール５０５において表示される。従って図９のようにＬＥＤウォール５０５では、周縁部に境界マーカー６０が表示される。

　カメラ５０２によってこのようなＬＥＤウォール５０５の背景映像ｖＢと、演者５１０の撮影が行われる。なおカメラ５０２で撮影される背景映像ｖＢは、撮影領域映像ｖＢＣの範囲である。図９では、撮影領域映像ｖＢＣはＬＥＤウォール５０５内にあり、カメラ５０２の撮影範囲がＬＥＤウォール５０５からはみ出していない状態である。さらに図の例では撮影領域映像ｖＢＣは、境界マーカー６０にも重なっていない。

　撮影領域映像ｖＢＣはカメラ５０２の撮影範囲に略一致しているため、カメラ５０２の撮影範囲がＬＥＤウォール５０５からはみ出す場合は、撮影領域映像ｖＢＣの一部がＬＥＤウォール５０５からはみ出す状態となる。

　続いて、カメラ５０２による撮影映像ｖＣに対する撮影映像処理について説明する。
　例えばレンダリングエンジン５２０は、カメラ５０２による撮影映像ｖＣを入力し、撮影映像ｖＣの各フレームに対して撮影映像処理を行って、撮影による最終的な映像として最終出力映像ｖＣＦを出力するものとする。つまり撮影映像ｖＣの各フレームをそれぞれ順次、対象フレームとして撮影映像処理を行う。

　具体的にはレンダリングエンジン５２０が撮影映像処理部８５ａの機能により、対象フレームに対して、図９におけるマーカー抽出処理Ｐ１１、マーカー位置推定処理Ｐ１２、周辺光量落ち量・歪量検出処理Ｐ１３、マスク生成処理Ｐ１４、周辺光量落ち・歪付加処理Ｐ１５、周辺光量落ち・歪除去処理Ｐ１６、選択処理Ｐ１７，Ｐ１８、合成処理Ｐ１９を行う。

　なおレンダリングエンジン５２０の処理とするのは一例で、他のデバイスや或いはカメラ５０２の内部のプロセッサの処理として、以下の撮影映像処理を行ってもよい。

　図９に示すようにカメラ５０２によって撮影映像ｖＣが出力される（出力処理Ｐ１０）。カメラ５０２は、ＬＥＤウォール５０５に表示された背景映像ｖＢにおける撮影領域映像ｖＢＣと、演者５１０等の実景を同時に撮影する。その際にカメラ５０２の位置、撮影方向、画角によっては、撮影映像ｖＣにＬＥＤウォール５０５外が含まれることもある。この場合、ＬＥＤウォール５０５の枠外の光景とＬＥＤウォール５０５の周縁部に表示されている境界マーカー６０も一緒に撮影される。
　或いはカメラ５０２の撮影範囲がＬＥＤウォール５０５の枠外に至らなくとも、境界マーカー６０の部分を含めて撮影することもある。

　図１２に撮影映像ｖＣの一例を示している。これは、カメラ５０２による撮影範囲が、ＬＥＤウォール５０５の上方、左方、右方にはみ出してしまった場合である。例えばカメラ５０２をＬＥＤウォール５０５の幅を超えるほど広角とし、かつ撮影方向を上方にしすぎたような場合、この図１２のような撮影映像ｖＣが得られる。
　撮影映像ｖＣには、背景映像ｖＢにおける撮影領域映像ｖＢＣと、演者５１０に加えて、境界マーカー６０と、さらにＬＥＤウォール５０５の周囲の光景（図では黒塗りとしている）が含まれる。

　例えばこのような撮影映像ｖＣの対象フレームに対して、レンダリングエンジン５２０は図９のマーカー抽出処理Ｐ１１を行う。

　マーカー抽出のためにレンダリングエンジン５２０はマーカー生成処理Ｐ２の際の情報（マーカー生成情報Ｉｍｋ）を参照する。即ち境界マーカー６０の輝度や色の情報を取得する。マーカー生成情報Ｉｍｋは、マーカー生成処理Ｐ２の際に設定した境界マーカー６０の輝度、色、パターン形状、サイズなどの情報である。
　レンダリングエンジン５２０は、このマーカー生成情報Ｉｍｋに基づいて輝度及び色のスレッショルドレベルを設定し、撮影映像ｖＣの各画素値を比較して、撮影映像ｖＣから境界マーカー６０を取り出す。例えば図１２の撮影映像ｖＣから、図１３のようなマーカー抽出画像ｖＭＫａを生成する。

　またレンダリングエンジン５２０は図９に示すマーカー位置推定処理Ｐ１２を行う。これは、計算上で、撮影映像ｖＣ内の対象フレームのどの位置に境界マーカー６０が表示されるかを推定する処理である。
　今回の撮影映像ｖＣの対象フレームについての、ＬＥＤウォール５０５とカメラ５０２の相対的な位置関係や画角、イメージセンサのサイズがわかれば、撮影映像ｖＣ内での境界マーカー６０の位置が計算できる。

　ＬＥＤウォール５０５の配置位置や角度の情報は、予めシステム内で既知であり、例えばレンダリングエンジン５２０はＬＥＤウォール５０５の情報として記憶しておくことができる。カメラ５０２のイメージセンサのサイズも既知であり、あらかじめ計算のために設定されている。カメラ５０２の位置、撮影方向、ズーム画角は、撮影情報としてカメラトラッカー５６０（図５参照）から入力される。
　従ってレンダリングエンジン５２０は、撮影映像ｖＣの各フレームについて、カメラトラッカー５６０からの撮影情報を取得することで、撮影映像ｖＣ内のどの位置に境界マーカー６０が表示されるかをリアルタイムの計算により推定できる。
　そしてレンダリングエンジン５２０は、例えば図１４のように、推定された境界マーカー６０を示すマーカー位置推定画像ｖＭＫｂを生成する。

　ここで、図１４のマーカー位置推定画像ｖＭＫｂにおける境界マーカー６０の位置は、レンズ歪の影響のない場合の理想的な位置である。一方、図１３のマーカー抽出画像ｖＭＫａにおける境界マーカー６０の位置は、カメラ５０２のレンズ歪の影響を受けた位置となっている。
　このマーカー抽出画像ｖＭＫａと、マーカー位置推定画像ｖＭＫｂを用いることで、レンズによる歪量や、周辺光量落ち量を検出できる。

　レンダリングエンジン５２０は、周辺光量落ち量・歪量検出処理Ｐ１３を行う。
　この処理では、レンダリングエンジン５２０は、マーカー抽出画像ｖＭＫａとマーカー位置推定画像ｖＭＫｂを用いて周辺光量落ち量と歪み量を算出する。算出処理としては、例えば周辺光量落ち量はマーカー位置推定画像ｖＭＫｂに周辺光量落ち量を異なる量で加えた画像を複数枚用意し、マーカー抽出画像ｖＭＫａとマーカー位置推定画像ｖＭＫｂの差分を取り各画素の差分の絶対値の総和の値を最も小さくする周辺光量落ち量を選択する。歪量についても同様の手法を用いることができる。詳しくは後述するが、　この処理により、撮影映像ｖＣにおける周辺光量落ち量と歪み量が求められる。

　レンダリングエンジン５２０は、マスク生成処理Ｐ１４を行う。
　レンダリングエンジン５２０は、マーカー抽出画像ｖＭＫａ、又はマーカー位置推定画像ｖＭＫｂに歪量を付加した画像を用いて、図１５のマスクｖＫを生成する。マスクｖＫは合成処理Ｐ１９において撮影映像ｖＣを使用する第１領域１１１（斜線部）と、ＣＧ映像（例えば背景映像ｖＢ）を合成する第２領域１１２を示す情報である。第１領域１１１は、撮影映像ｖＣの対象フレームで、境界マーカー６０よりも内側となる領域である。第２領域１１２は、境界マーカー６０を含んで、第１領域１１１より外側となる領域である。

　なおこのマスクｖＫは、第１領域１１１の各画素に相当する値を全て「１」、第２領域１１２の各画素に相当する値を全て「０」とする。
　或いはマスクｖＫは、第１領域１１１内に第２領域１１２との境界領域（後述のブレンド領域１１１ａ）を設けて、徐々に「１」から「０」に遷移する値としたαチャンネル画像を生成してもよい。詳細は後述する。

　レンダリングエンジン５２０は、周辺光量落ち・歪付加処理Ｐ１５又は周辺光量落ち・歪除去処理Ｐ１６を行う。

　周辺光量落ち・歪付加処理Ｐ１５は、周辺光量落ち量・歪量検出処理Ｐ１３で求められた周辺光量落ち量と歪量を用いて、背景映像ｖＢにカメラ５０２の撮影映像ｖＣと同様の周辺光量落ち量、歪量を付加する処理である。
　周辺光量落ち・歪除去処理Ｐ１６は、周辺光量落ち量・歪量検出処理Ｐ１３で求められた周辺光量落ち量と歪量を用いて、その逆特性を撮影映像ｖＣに施し、撮影映像ｖＣから周辺光量落ち及び歪みを取り除く処理である。

　これらのいずれかの処理を行うかは選択処理Ｐ１７，Ｐ１８によって決まる。
　選択処理Ｐ１７は、撮影映像ｖＣをそのまま出力する場合（説明上「Ａコース」とする）と、撮影映像ｖＣについて周辺光量落ち・歪除去処理Ｐ１６を行って出力する場合（説明上「Ｂコース」とする）を選択する。

　選択処理Ｐ１８は、背景映像ｖＢについて周辺光量落ち・歪付加処理Ｐ１５を行って出力する場合（Ａコース）と、背景映像ｖＢをそのまま出力する場合（Ｂコース）を選択する。

　選択処理Ｐ１７，Ｐ１８でＡコースが選択される場合は、撮影映像ｖＣと、周辺光量落ち量、歪量が付加された背景映像ｖＢについて合成処理Ｐ１９が行われる。この場合はカメラ５０２による歪みや光量落ちを生かした映像同士が合成されるものとなる。
　選択処理Ｐ１７，Ｐ１８でＢコースが選択される場合は、周辺光量落ち及び歪みを除去した撮影映像ｖＣと、背景映像ｖＢについて合成処理Ｐ１９が行われる。この場合はカメラ５０２による歪みや光量落ちのない映像同士が合成されるものとなる。
　Ａコース、Ｂコースは制作者の制作意図により適切な方が選択されればよい。

　レンダリングエンジン５２０は、合成処理Ｐ１９では、Ａコース又はＢコースで選択された撮影映像ｖＣと背景映像ｖＢについての合成が、マスクｖＫを用いて行われ、図１６のような最終出力映像ｖＣＦが生成される。

　この最終出力映像ｖＣＦは、破線ＢＤより内側として示す、マスクｖＫの第１領域１１１に相当する撮影映像ｖＣに対して、破線ＢＤより外側で、第２領域１１２に相当する背景映像ｖＢの部分が枠外付加映像ｖＯＴとして付加された映像となる。つまり撮影映像ｖＣにおける境界マーカー６０を含む境界マーカー６０から外方の面内領域に、背景映像ｖＢとして生成されたＣＧ映像の一部を、枠外付加映像ｖＯＴとして付加するものである。

　以上のような撮影映像処理を例えばレンダリングエンジン５２０が行うことによって、撮影範囲がＬＥＤウォール５０５からはみ出したとしても、そのはみ出した領域に、背景映像ｖＢを足すことで、はみ出しが生じなかったようにすることができる。

　なお、以上の撮影映像処理（Ｐ１１からＰ１９）は、レンダリングエンジン５２０、或いはカメラ５０２、或いは他のデバイスとして、情報処理装置７０の構成を有する機器が撮影時にリアルタイムで実行する。
　或いは以上の撮影映像処理（Ｐ１１からＰ１９）は、ポストプロダクションＳＴ３において、映像編集装置となる情報処理装置７０において実行されてもよい。

　さらには、撮影映像処理（Ｐ１１からＰ１９）の一部は撮影時にリアルタイムに行い、一部はポストプロダクションＳＴ３で実行するようにしてもよい。
　例えばマーカー抽出処理Ｐ１１、マーカー位置推定処理Ｐ１２が撮影時に行われ、他はポストプロダクションＳＴ３で実行されてもよい。また例えばマーカー抽出処理Ｐ１１から選択処理Ｐ１７，Ｐ１８までが撮影時に行われ、合成処理Ｐ１９がポストプロダクションＳＴ３において実行されてもよい。他の例も考えられる。

　撮影映像処理（Ｐ１１からＰ１９）の一部又は全部をポストプロダクションＳＴ３で行う場合は、ポストプロダクションＳＴ３において必要となる情報が記憶されていればよい。
　例えば撮影映像処理（Ｐ１１からＰ１９）の全てをポストプロダクションＳＴ３で行う場合は、撮影映像ｖＣ、背景映像ｖＢ、マーカー生成情報Ｉｍｋ、撮影情報（フレーム毎のカメラ５０２の位置、撮影方向、画角）、ＬＥＤウォール５０５の配置情報が記憶され、ポストプロダクションＳＴ３を行う情報処理装置７０が取得できればよい。

　また、例えば合成処理Ｐ１９のみをポストプロダクションＳＴ３で実行する場合は、Ａコース又はＢコースの撮影映像ｖＣ及び背景映像ｖＢと、マスクｖＫを、ポストプロダクションＳＴ３を行う情報処理装置７０が取得できればよい。

　また図９の例では枠外付加映像ｖＯＴの元として背景映像ｖＢを使用する例を示したが、枠外付加映像ｖＯＴとなるＣＧ映像を背景映像ｖＢとは別途に生成してもよい。

　また図１０では背景映像ｖＢが実表示領域１００より外側も含んで生成される例を挙げた。この場合、ＬＥＤウォール５０５からはみ出した撮影範囲に背景映像ｖＢを用いることができるが、さらに大きくはみ出した場合、或いは背景映像ｖＢが実表示領域１００のみの映像である場合は、背景映像ｖＢとは別途に枠外付加映像ｖＯＴとなるＣＧ映像を生成することが考えられる。

＜４．処理例＞
　図９のようなマーカー処理及び撮影映像処理を含む情報処理装置７０の処理例を説明する。ここでは例えば撮影時にレンダリングエンジン５２０がリアルタイムでマーカー処理及び撮影映像処理を行うことを想定して説明する。

　図１７は、図６で説明したレンダリングの際の処理に、マーカー処理を加えた例である。ステップＳ１０からステップＳ５０は図６と同様であるため、重複説明は避ける。

　ステップＳ５０までの処理で、撮影領域映像ｖＢＣ（インナーフラスタム）を含む背景映像ｖＢのフレームが生成される。
　この背景映像ｖＢに対してレンダリングエンジン５２０は、ステップＳ５１からステップＳ５５のマーカー処理を行う。なお図９のマーカー処理との対応を示すために「Ｐ２」「Ｐ３」を付している。

　ステップＳ５１でレンダリングエンジン５２０は、背景映像ｖＢの特徴量を算出する。特徴量とは輝度や色やエッジなどである。

　ステップＳ５２でレンダリングエンジン５２０は、背景映像ｖＢの特徴量に応じて背景と容易に識別できるような境界マーカー６０の輝度や色を設定し、ステップＳ５３で設定に応じた境界マーカー６０を有するマーカー画像ｖＭＫを生成する。

　例えば背景映像ｖＢが明るい光景を示しているのであれば、境界マーカー６０の輝度を低くし、背景映像ｖＢが暗い光景を示しているのであれば、境界マーカー６０の輝度を高くする。
　また例えば、青い背景の場合は、輝度は同等で目立つ色にする。こうすることで暗めのシーンに明るい境界マーカー６０を使うことによるフレアを防ぐことができる。
　また例えば背景映像ｖＢにエッジとして縦線が多い場合は、境界マーカー６０を横線成分が多いパターンとする。

　境界マーカー６０については、輝度や色やエッジの特徴を組み合わせて生成してもよい。
　また特徴量に応じた境界マーカー６０は、例えば右半分は明るく左半分が暗いような不均一であってもいい。つまり境界マーカー６０が表示される部分の背景の特徴に応じて変化するようにしてもよい。

　ステップＳ５４でレンダリングエンジン５２０は、今回のフレームの境界マーカー６０についてマーカー生成情報Ｉｍｋを記憶媒体に記憶する。つまり後の時点で今回のフレームに関連してマーカー生成情報Ｉｍｋが読み出せるようにする。

　ステップＳ５５でレンダリングエンジン５２０は、背景映像ｖＢに対して境界マーカー６０を付加する処理を行う。

　そしてステップＳ６０でレンダリングエンジン５２０は、図１０Ｂのような境界マーカー６０を含む背景映像ｖＢを出力し、ＬＥＤウォール５０５で表示させる。

　図１８は撮影映像処理の例を示している。図９の撮影映像処理との対応を示すために「Ｐ１１」から「Ｐ１９」を付している。

　レンダリングエンジン５２０は、例えば撮影に先立ってステップＳ１００でＬＥＤウォール５０５の情報を取得する。即ちマーカー位置推定処理Ｐ１２のためのＬＥＤウォール５０５の配置位置や角度の情報である。

　撮影開始後は、レンダリングエンジン５２０は撮影映像ｖＣのフレーム毎にステップＳ１０１からＳ１１３の処理を行う。

　ステップＳ１０１でレンダリングエンジン５２０は、現在の処理対象のフレームについてのマーカー生成情報Ｉｍｋを取得する。
　ステップＳ１０２でレンダリングエンジン５２０は、現在の処理対象のフレームについての撮影情報、特にはカメラトラッカー５６０によるカメラ５０２の位置、撮影方向、画角の情報を取得する。

　ステップＳ１０３でレンダリングエンジン５２０は、ＬＥＤウォール５０５の情報と、撮影情報と、マーカー生成情報Ｉｍｋ（パターン形状、サイズ）を用いてマーカー位置推定処理Ｐ１２を行い、マーカー位置推定画像ｖＭＫｂを生成する。

　またステップＳ１０４でレンダリングエンジン５２０は、マーカー生成情報Ｉｍｋ（輝度、色）に基づいて閾値を設定し、撮影映像ｖＣからのマーカー抽出処理Ｐ１１を行ってマーカー抽出画像ｖＭＫａを生成する。

　なおステップＳ１０３，Ｓ１０４の順序は逆でもよい。
　またリアルタイムでの処理負担の削減のためには、ステップＳ１０３は、ステップＳ１０５からステップＳ１０６に進む際にのみ実行されてもよい。

　ステップＳ１０５でレンダリングエンジン５２０は、今回のフレームについて境界マーカー６０の一部又は全部が撮影されたか否かを判定する。
　ステップＳ１０４の処理により、今回のフレームに境界マーカー６０の一部又は全部が映り込んでいるか否かを判定できる。

　今回のフレームに境界マーカー６０が映り込んでいなければ、境界マーカー６０に応じた撮影映像処理を実行する必要はない。そのためレンダリングエンジン５２０はステップＳ１０５からステップＳ１１３に進み、撮影映像ｖＣのフレームを、そのまま撮影による最終出力映像ｖＣＦとして出力する。例えば撮影による出力映像の１フレームとして記憶媒体に記憶させたり、外部機器に送信したりする。

　一方、今回のフレームに境界マーカー６０が映り込んでいる場合は、撮影映像処理により、境界マーカー６０を含む外方の映像の差し替えのための合成処理Ｐ１９が必要になる。そこでレンダリングエンジン５２０はステップＳ１０５からステップＳ１０６に進み、周辺光量落ち量・歪量検出処理Ｐ１３を行う。

　図１９に周辺光量落ち量・歪量検出処理Ｐ１３の具体例を示している。
　レンダリングエンジン５２０は、マーカー抽出画像ｖＭＫａとマーカー位置推定画像ｖＭＫｂを用いて周辺光量落ち量と歪み量を算出する。

　まずレンダリングエンジン５２０は、マーカー抽出画像ｖＭＫａに対して２値化処理Ｐ２１を行う。マーカー抽出画像ｖＭＫａは撮影映像ｖＣから境界マーカー６０を抽出した画像であるため２値の状態ではない。これを２値化し、周辺光量落ち分を取り除く。

　またレンダリングエンジン５２０は、レンズ歪付加処理Ｐ２２として、マーカー位置推定画像ｖＭＫｂを元に、小から大の何段階かの量のレンズ歪みを付加した画像を生成する。例えば図２０に示すように画像ｖＭＫｂ１から画像ｖＭＫｂ（ｎ）としてｎ個の画像を生成する。これらの画像ｖＭＫｂ１から画像ｖＭＫｂ（ｎ）はそれぞれ歪量が段階的に異なるようにされている。

　次にレンダリングエンジン５２０は、差分計算Ｐ２３を行う。これは画像ｖＭＫｂ１から画像ｖＭＫｂ（ｎ）のそれぞれと、２値化したマーカー抽出画像ｖＭＫａとの差分を計算する処理である。

　そしてレンダリングエンジン５２０は、歪量決定処理Ｐ２４を行う。これは画像ｖＭＫｂ１から画像ｖＭＫｂ（ｎ）のうちで、２値化したマーカー抽出画像ｖＭＫａとの差分が最も小さかった画像を判定し、その画像に加えた歪量を、今回のフレームの撮影映像ｖＣにおける歪量として決定する処理である。例えば画像ｖＭＫｂ２が、２値化したマーカー抽出画像ｖＭＫａとの差分が最も小さかった画像であった場合、画像ｖＭＫｂ２に付加した歪量が、検出目的の歪量となる。
　以上で撮影映像ｖＣにおける歪量が検出される。

　次にレンダリングエンジン５２０は、周辺光量落ち量の検出のため、マーカー位置推定画像ｖＭＫｂに対してレンズ歪付加処理Ｐ２５を行う。つまりマーカー位置推定画像ｖＭＫｂが撮影映像ｖＣと同様にレンズ歪がある状態とする。
　なお、このレンズ歪付加処理Ｐ２５を行わなくとも、歪量決定処理Ｐ２４で選択された画像（例えば画像ｖＭＫｂ２）をそのまま用いてもよい。元のマーカー位置推定画像ｖＭＫｂに同じレンズ歪量が加えられた画像であるからである。

　周辺光量落ち付加処理Ｐ２６では、検出された歪量が加えられたマーカー位置推定画像ｖＭＫｂ（或いは同様の画像ｖＭＫｂ２）を元にして、小から大の何段階かの量の周辺光量落ち量を付加した画像を生成する。例えば図２０に示すように画像ｖＭＫｂ１１から画像ｖＭＫｂ（ｍ）としてｍ個の画像を生成する。これらの画像ｖＭＫｂ１１から画像ｖＭＫｂ（ｍ）はそれぞれ周辺光量落ち量が段階的に異なるようにされている。

　次にレンダリングエンジン５２０は、差分計算Ｐ２７を行う。これは画像ｖＭＫｂ１１から画像ｖＭＫｂ（ｍ）のそれぞれと、マーカー抽出画像ｖＭＫａとの差分を計算する処理である。

　そしてレンダリングエンジン５２０は、周辺光量落ち量決定処理Ｐ２８を行う。これは画像ｖＭＫｂ１１から画像ｖＭＫｂ（ｍ）のうちで、マーカー抽出画像ｖＭＫａとの差分が最も小さかった画像を判定し、その画像に加えた周辺光量落ち量を、今回のフレームの撮影映像ｖＣにおける周辺光量落ち量として決定する処理である。例えば画像ｖＭＫｂ１２が、マーカー抽出画像ｖＭＫａとの差分が最も小さかった画像であった場合、画像ｖＭＫｂ１２に付加した周辺光量落ち量が、検出目的の周辺光量落ち量となる。以上で撮影映像ｖＣにおける周辺光量落ち量が検出される。

　レンダリングエンジン５２０は、この図１９のように周辺光量落ち量・歪量検出処理Ｐ１３を行ったら、図１８のステップＳ１０７で、選択処理Ｐ１７，Ｐ１８によってＡコース、Ｂコースのいずれが設定されているかにより処理を分岐する。

　Ａコースの場合は、レンダリングエンジン５２０はステップＳ１０７に進み、マスク生成処理Ｐ１４を行い、またステップＳ１１０で背景映像ｖＢに対して周辺光量落ち・歪付加処理Ｐ１５を行う。
　Ｂコースの場合は、レンダリングエンジン５２０はステップＳ１０９に進み、マスク生成処理Ｐ１４を行い、またステップＳ１１１で撮影映像ｖＣに対して周辺光量落ち・歪除去処理Ｐ１６を行う。

　ステップＳ１０８のマスク生成処理Ｐ１４について図２１で説明する。
　マスクｖＫについては、上述のように第１領域１１１は「１」、第２領域１１２は「０」とするものでもよいが、図２１では、第１領域１１１と第２領域１１２の境界部分でブレンドするための処理例を示している。なお、図２１はステップＳ１０８、つまりＡコースが選択されているときの処理例である。

　マスクｖＫは、マーカー抽出画像ｖＭＫａ又はマーカー位置推定画像ｖＭＫｂのいずれかに基づいて生成できる。
　図２１の選択処理Ｐ３３として、レンダリングエンジン５２０はマーカー抽出画像ｖＭＫａとマーカー位置推定画像ｖＭＫｂのどちらを元にマスクｖＫを生成するかを選択する。

　マーカー位置推定画像ｖＭＫｂを選択する場合は、レンダリングエンジン５２０は、歪付加処理Ｐ３１により、マーカー位置推定画像ｖＭＫｂにステップＳ１０６で検出した歪量を付加する。
　マーカー抽出画像ｖＭＫａを選択する場合は、レンダリングエンジン５２０は、２値化処理Ｐ３２により、マーカー抽出画像ｖＭＫａを２値化する。

　この歪が付加されたマーカー位置推定画像ｖＭＫｂ又は２値化されたマーカー抽出画像ｖＭＫａに対して、レンダリングエンジン５２０は、値設定処理Ｐ３４を行う。
　値設定処理Ｐ３４では、図２２Ａに示すように内側の第１領域１１１をαチャンネル＝１、外側の第２領域１１２をチャンネル＝０とするマスクｖＫを生成する。
　なお図２２Ａでは破線で境界マーカー６０を示しているが、これは第１領域１１１が境界マーカー６０よりも内側の領域であることを示すために付したもので、マスクｖＫに境界マーカー６０が付加されるわけではない。

　次にレンダリングエンジン５２０はスロープ付加処理Ｐ３５を行う。
　図２２Ｂに示す様に第１領域１１１における第２領域１１２との境界部分にブレンド領域１１１ａを設定する。このブレンド領域１１１ａには、第２領域１１２に接する位置から離れる方向に向かってαチャンネルが「０」から「１」の間で変化していくようにαチャンネルにスロープをつける。
　例えばαチャンネルの値が外側から内側に向かって「０．１」「０．２」・・・「０．９」と変化していくようにする。
　レンダリングエンジン５２０は、このようにスロープを付加した状態でマスクｖＫを出力する。

　以上のようにステップＳ１０８でマスク生成処理Ｐ１４を行ったら、ステップＳ１１０で背景映像ｖＢに対して周辺光量落ち・歪付加処理Ｐ１５を行う。
　Ａコースが選択されている場合であるので、撮影映像ｖＣと、周辺光量落ち・歪が付加された背景映像ｖＢと、ステップＳ１０８で生成されたマスクｖＫとにより合成処理Ｐ１９が行われることになる。

　なお、Ｂコースが選択されており、ステップＳ１０７からステップＳ１０９に進んだ場合のマスク生成処理Ｐ１４でも図２１と同様にブレンド領域１１１ａを設ける処理を行う。但しこの場合は、マーカー位置推定画像ｖＭＫｂを元にマスクｖＫを生成する場合は、マーカー位置推定画像ｖＭＫｂに歪みを付加する必要はない。マーカー位置推定画像ｖＭＫｂをそのまま用いて値設定処理Ｐ３４、スロープ付加処理Ｐ３５を行えば良い。
　またマーカー抽出画像ｖＭＫａを元にマスクｖＫを生成する場合は、マーカー抽出画像ｖＭＫａを２値化し、さらに歪を除去する処理を行ってから、値設定処理Ｐ３４、スロープ付加処理Ｐ３５を行うことになる。

　以上のようにステップＳ１０９でマスク生成処理Ｐ１４を行ったら、ステップＳ１１１で撮影映像ｖＣに対して周辺光量落ち・歪除去処理Ｐ１６を行う。
　Ｂコースが選択されている場合であるので、周辺光量落ち・歪が除去された撮影映像ｖＣと、背景映像ｖＢと、ステップＳ１０９で生成されたマスクｖＫとにより合成処理Ｐ１９が行われることになる。

　レンダリングエンジン５２０は、ステップＳ１１２で撮影映像ｖＣと背景映像ｖＢの合成処理Ｐ１９を行う。図２３に合成処理Ｐ１９の例を示している。

　合成処理Ｐ１９では、レンダリングエンジン５２０は、撮影映像ｖＣのフレームの画素値に対してマスクｖＫのα値を乗算する乗算処理Ｐ４１を行う。上述のように第１領域１１１はαチャンネル＝「１」であるので、撮影映像ｖＣ内の画素値がそのまま維持される。但しブレンド領域１１１ａの画素は、その画素の位置に応じて内側から外側に「１」から「０」にスロープ状に設定された係数が乗算される。第２領域１１２はαチャンネル＝「０」であるので、撮影映像ｖＣ内の画素値は「０」とされる。

　またレンダリングエンジン５２０は、マスクｖＫに対してα値反転処理Ｐ４２を行った上で、背景映像ｖＢに対して乗算する乗算処理Ｐ４３を行う。
　α値反転処理Ｐ４２により、第１領域１１１はαチャンネル＝「０」、第２領域１１２はαチャンネル＝「１」となる。ブレンド領域１１１ａでは、第２領域１１２から内方に向かって「１」から「０」に至るスロープの値とされる。
　そして乗算処理Ｐ４３において、第２領域１１２はαチャンネル＝「１」であるので、背景映像ｖＢ内の画素値がそのまま維持される。第１領域１１１はαチャンネル＝「０」であるので、背景映像ｖＢ内の画素値は「０」とされる。但しブレンド領域１１１ａの画素は、その画素の位置に応じて外側から内側に「１」から「０」にスロープ状に設定された係数が乗算される。

　レンダリングエンジン５２０は、乗算処理Ｐ４１，Ｐ４３の出力に対して加算合成処理Ｐ４４を行う。
　これにより第１領域１１１においてブレンド領域１１１ａより内側は撮影映像ｖＣ、第２領域１１２は背景映像ｖＢ、ブレンド領域１１１ａは内側から外側に向かって撮影映像ｖＣの比重が高い値から徐々に背景映像ｖＢの比重が高い値に変化するようになり、図１６のような最終出力映像ｖＣＦが得られることになる。

　なお図２３ではいわゆるαブレンドを行う例で述べたが、マスクｖＫにブレンド領域１１１ａを設けず、α値を第１領域１１１は「１」、第２領域１１２は「０」とした場合でも、図２３の処理で合成が行われる。

　バーチャルプロダクションの場合、モアレ等の問題が発生しないようＬＥＤウォール５０５に焦点を合わせないことがある。その場合、合成する背景映像ｖＢと撮影映像ｖＣで、厳密に画素単位で位置、輝度、色が合っていなくても良い。

　以上で１フレームについての処理を終える。ステップＳ１１４でレンダリングエンジン５２０は、処理を終了するか否かを判定し、終了しなければステップＳ１０１に戻る。つまり引き続き次のフレームに対応して同様の処理を行う。
　レンダリングエンジン５２０は、例えば撮影終了の時点で、ステップＳ１１４で終了と判定し、図１８の処理を終える。

＜５．プレビジュアライゼーションでの処理＞
　ところで以上の撮影映像処理では、マーカー抽出処理Ｐ１１、マーカー位置推定処理Ｐ１２、周辺光量落ち量・歪量検出処理Ｐ１３、マスク生成処理Ｐ１４等を行うが、これらの一部を撮影前に行っておいてもよい。これにより撮影時のリアルタムでの撮影映像処理の負担を下げることができる。
　そこで撮影前のプレビジュアライゼーションについて説明する。
　映像制作過程におけるプレビジュアライゼーションの位置づけを図２４に示す。

　図２４には先に図４で説明したアセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３という流れを示している。
　プロダクションＳＴ２は、実際にスタジオで撮影を行う段階であるが、これは撮影準備と撮影に分けられる。

　これに対してプレビジュアライゼーションとは、主に撮影準備よりも前の段階で行われることが想定される。なお、必ずしも時系列的な順序は限定されないが、プレビジュアライゼーションは、アセットクリエイションＳＴ１において背景映像ｖＢをレンダリングするための３Ｄモデルが制作された後の段階で行われればよい。
　その意味で、プレビジュアライゼーションは、アセットクリエイションＳＴ１の最終段階で行われるととらえてもよいし、プロダクションＳＴ２における撮影準備の前の段階で行われるととらえてもよい。

　プレビジュアライゼーションでは、映像確認、モアレアラートという処理が行われる。映像確認とは、撮影に先立って、撮影により得られる撮影映像ｖＣを監督やスタッフが確認できるようにする処理である。主に撮影映像ｖＣの色合いを含む確認をシミュレーション映像により可能とする。

　モアレアラートは、例えば映像確認をしながらスタッフが仮想的にカメラ位置を操作している際に、モアレ予測を行い、モアレが出ると予測される場合に、その警告を発する処理である。これにより、その後の撮影の際のアーティファクト発生を回避できるようにする。

　撮影準備の段階では、撮影システム５００におけるＬＥＤやカメラ等各種の設定とともに、色キャリブレーションが行われる。具体的にはＬＥＤウォール５０５をカメラ５０２で撮影したときに生ずる色変化をキャンセルするキャリブレーションＬＵＴ（Look Up Table）を生成する。キャリブレーションＬＵＴは例えば３Ｄ－ＬＵＴとされる。
　なお３Ｄ－ＬＵＴの代わりに、マトリックスと１Ｄ－ＬＵＴの組み合わせや他の映像信号処理で行うキャリブレーションのための準備を行ってもよい。

　撮影の段階では、モアレアラート、キャリブレーションＬＵＴ、on-setカメラ設定が行われる。
　この場合のモアレアラートとは、レンダリングエンジン５２０によるモアレ判定に応じてリアルタイムにカメラマン等にモアレアラートを出力する処理である。
　キャリブレーションＬＵＴとは、撮影準備の際の色キャリブレーションで生成したＬＵＴを適用してＬＥＤウォール５０５やカメラ５０２等による背景映像表示に関する色変化をキャンセルする処理である。
on-setカメラ設定とは、プレビジュアライゼーションで設定したカメラ設定を例えばクラウドサーバ等から取得し、スタジオのカメラ５０２に反映させる処理である。

　図２５は、撮影システム５００の構成と、プレビジュアライゼーションのための構成とを並記している。図面上方は、図５等で説明した撮影システム５００の構成を簡略化して示しており、図面下方は、プレビジュアライゼーションで使用する構成（プレビジュアライゼーションシステム７００）を示している。

　図２５において撮影システム５００に関しては、レンダリングエンジン５２０、ＬＥＤプロセッサ５７０、ＬＥＤウォール５０５、カメラ５０２、撮影映像処理部８５ａ、オペレーションモニタ５５０又はアウトプットモニタ５０３を示している。

　レンダリングエンジン５２０はレンダリング部５２０ａとマーカー処理部８５ｂを備える。これによりＬＥＤウォール５０５で境界マーカー６０を付した背景映像ｖＢが表示される。

　カメラ５０２に対しては、撮影映像ｖＣに対して処理を行う撮影映像処理部８５ａを示している。撮影映像処理部８５ａはレンダリングエンジン５２０或いは他の機器を構成する情報処理装置７０において設けられる。

　出力される最終出力映像ｖＣＦは本線映像とされて記録媒体に記録されたり、放送や配信のために他機器に送信されたりする。

　以上のような撮影システム５００に対して、例えばスタジオ外のシステムとしてプレビジュアライゼーションシステム７００が構成される。プレビジュアライゼーションシステム７００ではレンダリングエンジン３１として機能する情報処理装置７０と、モニタ４０を少なくとも備える。
　レンダリングエンジン３１は例えばレンダリングエンジン５２０とは別体の情報処理装置７０により構成される。

　レンダリングエンジン３１はレンダリング部３２と映像処理部３３を備える。
　レンダリング部３２は、上述のレンダリングエンジン５２０におけるレンダリング部５２０ａと同様のレンダリング機能であり、３Ｄモデルに基づいて背景映像ｖＢＰを生成することができる。

　このレンダリング部３２は、少なくともアセットクリエイションＳＴ１の工程で制作された３Ｄモデルを用いて背景映像ｖＢのレンダリングを行うことができる。つまりプロダクションＳＴ２の工程で用いるものと同じ３Ｄモデルを例えばアセットサーバ５３０（図５，図７参照）から取得し、それを用いてレンダリングを行う。

　そしてレンダリング部３２は、当該３Ｄモデルを用いて撮影領域映像ｖＢＣ（インナーフラスタム）を含む背景映像ｖＢ及びのレンダリングを行うことができる。
　なおレンダリング部３２には、撮影領域映像ｖＢＣを生成するために、カメラ位置、撮影方向、画角が入力され、それに応じた３Ｄモデルに対する視点位置でレンダリングを行う。従って、実際の撮影時のカメラワーク（カメラ５０２の位置、撮影方向等のカメラパスや画角の遷移）が既に決められていることを前提とする。実際の撮影時のカメラワークの情報を得ることで、撮影時と同様の撮影領域映像ｖＢＣを得ることができる。
　このレンダリング部３２で生成する背景映像を、撮影時にレンダリングエンジン５２０で生成する撮影領域映像ｖＢＣと説明上、区別する意味で、「背景映像ｖＢＰ」と表記する。

　映像処理部３３は、背景映像ｖＢＰに対する各種の映像処理を行う機能を示している。映像処理部３３は、マーカー処理部８５ｂ、撮影映像処理部８５ａ、及び実撮影映像化処理部３３ａとしての機能を有する。

　映像処理部３３はマーカー処理部８５ｂの機能によりマーカー処理を行う。つまり背景映像ｖＢＰにおいてＬＥＤウォール５０５に表示された場合の周縁部となる箇所に境界マーカー６０を付加する。

　また映像処理部３３は、実撮影映像化処理部３３ａの機能により実撮影映像化処理を行う。実撮影映像化処理とは、実際に撮影に用いるカメラ５０２を模したシミュレーション映像ｖＳＭを生成する処理である。この実撮影映像化処理では、背景映像ｖＢＰに対して、少なくとも撮影システム５００で使用するカメラ５０２の撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像ｖＳＭを生成する。具体的には映像処理部３３は、ＲＧＢゲインやホワイトバランス値、ガンマ値、オフセット値等のパラメータをカメラ５０２に合わせる。

　輝度又は色に関するパラメータを、撮影時のカメラ５０２と同じとすることで、撮影映像ｖＣと同じ色合いのシミュレーション映像ｖＳＭが生成されるようにし、そのシミュレーション映像ｖＳＭがモニタ４０に表示されるようにする。

　モニタ４０は、レンダリングエンジン３１としての情報処理装置７０から出力される映像を表示するモニタ装置を示しており、例えば撮影スタジオとは別の場所にあるモニタ装置でもよいし、撮影スタジオにあるモニタ装置でもよい。モニタ４０は、少なくともプレビジュアライゼーションの段階でシミュレーション映像ｖＳＭを表示させるものであればどのような形態でもよい。

　レンダリングエンジン３１においてレンダリング部３２で背景映像ｖＢＰを生成し、映像処理部３３で実撮影映像化処理を行ってシミュレーション映像ｖＳＭを生成する。これをモニタ４０に表示させることで、スタッフは、撮影時の撮影映像ｖＣに含まれる背景の映像と同じ色合いとされたシミュレーション映像ｖＳＭを確認することができる。これにより、撮影に先立って、色の確認を行い、必要に応じて撮影準備段階でのカメラ５０２やカメラ信号処理部５１５での色の調整などを行うことができるようになる。

　ここで映像処理部３３は、撮影映像処理部８５ａの機能により、シミュレーション映像ｖＳＭを対象として撮影映像処理の一部を実行する。
　例えば図２６に映像処理部３３の処理例を示す。

　映像処理部ステップＳ２００で映像処理部３３は、撮影時のＬＥＤウォール５０５の配置位置や角度の情報を取得する。

　シミュレーション映像ｖＳＭの生成開始後は、映像処理部３３は撮影映像ｖＣのフレーム毎にステップＳ２０１からＳ２０８の処理を行う。

　ステップＳ２０１で映像処理部３３は、シミュレーション映像ｖＳＭの現在の処理対象のフレームについてのマーカー生成情報Ｉｍｋを取得する。
　ステップＳ２０２で映像処理部３３は、現在の処理対象のフレームについての実際の撮影時の撮影情報としてカメラ５０２の位置、撮影方向、画角の情報を取得する。カメラワークが予め決められている場合、シミュレーション映像ｖＳＭのフレームに対応するカメラ５０２の位置、撮影方向、画角の情報を取得できる。

　ステップＳ２０３で映像処理部３３は、ＬＥＤウォール５０５の情報と、撮影情報と、マーカー生成情報Ｉｍｋ（パターン形状、サイズ）を用いてマーカー位置推定処理Ｐ１２を行い、マーカー位置推定画像ｖＭＫｂを生成する。

　またステップＳ２０４で映像処理部３３は、マーカー生成情報Ｉｍｋ（輝度、色）に基づいて閾値を設定し、シミュレーション映像ｖＳＭからのマーカー抽出処理Ｐ１１を行ってマーカー抽出画像ｖＭＫａを生成する。

　ステップＳ２０５で映像処理部３３は、今回のフレームについて境界マーカー６０の一部又は全部が含まれているか否かを判定する。
　今回のフレームに境界マーカー６０が含まれていなければ、ステップＳ２０８に進む。

　一方、今回のフレームに境界マーカー６０が含まれていれば、映像処理部３３はステップＳ２０６に進み、周辺光量落ち量・歪量検出処理Ｐ１３を行う。
　そしてステップＳ２０７で、周辺光量落ち量と歪量を、今回のフレームの情報として記憶する。例えば図２５のＤＢ４２において記憶させ、撮影時における撮影映像処理の際に参照できるようにする。

　映像処理部３３は、以上の処理を、ステップＳ２０８で終了と判定するまでフレーム毎に繰り返す。

　この処理により、撮影前の段階で、ＤＢ４２は、撮影映像ｖＣのフレーム毎に、周辺光量落ち量と歪量が検出されていることになる。
　従って図１８の撮影映像処理の際に、ステップＳ１０６を実行しなくてもよい。さらには、それによって、ステップＳ１０３，Ｓ１０４はいずれか一方を行えばよい。マーカー抽出画像ｖＭＫａ又はマーカー位置推定画像ｖＭＫｂのいずれかから、マスク生成が可能なためである。

　なお、プレビジュアライゼーションの段階でマスクｖＫの生成までを行っておき、撮影時の撮影映像処理では、フレーム毎にマスクｖＫを読み出して合成処理Ｐ１９を行うようにすることもできる。

＜６．まとめ及び変型例＞
　以上の実施の形態によれば次のような効果が得られる。

　実施の形態の情報処理装置７０は、例えばレンダリングエンジン５２０、カメラ５０２内のプロセッサ、或いは撮影時にカメラ５０２からの撮影映像ｖＣを入力する装置などとされて撮影映像処理やマーカー処理を行う。或いは実施の形態の情報処理装置７０は、ポストプロダクションＳＴ３において映像編集を行う機器とされて撮影映像処理を行う。さらに実施の形態の情報処理装置７０は、プレビジュアライゼーションの段階で用いるレンダリングエンジン３１とされてマーカー処理や撮影映像処理を行う。

　これらのような情報処理装置７０は、背景映像ｖＢ等の仮想映像に境界マーカー６０を付した映像を表示するＬＥＤウォール５０５をカメラ５０２で撮影した撮影映像ｖＣに対して、撮影映像ｖＣの対象フレームにおける前記境界マーカーの位置を判定する判定処理を行う撮影映像処理部８５ａを備える構成となる。
　撮影映像ｖＣにおいて境界マーカー６０を検出することで、カメラ５０２の撮影範囲がＬＥＤウォール５０５の表示範囲を越えてはみ出したような場合も、そのはみ出した位置や量を正確に検出して対応処理ができるようになる。例えばはみ出し部分の映像の補填なども正確に実行でき、撮影を無駄にしないようにできる。
　またこれにより撮影時にカメラマン５１２は撮影範囲がＬＥＤウォール５０５の範囲に収まるように無理に意識しなくてもよくなり、フレーミングの自由度が拡大する。

　実施の形態では、撮影映像処理部８５ａは、判定処理として、マーカー生成情報Ｉｍｋに基づいて、撮影映像ｖＣの対象フレームから境界マーカー６０を抽出する処理を行うものとした。即ちレンダリングエンジン５２０等の情報処理装置７０における撮影映像処理部８５ａはマーカー抽出処理Ｐ１１において、マーカー生成情報Ｉｍｋにより境界マーカー６０の輝度や色の情報を取得し、それに応じて撮影映像ｖＣ内で境界マーカー６０の抽出を行う。
　背景映像ｖＢの色や背景内容に対して明確な輝度や色が選択されて境界マーカー６０が生成される場合、その輝度や色の情報を得ることで、撮影映像ｖＣからの境界マーカー６０の抽出を正確に行うことができるようになる。
　またこれは換言すれば、境界マーカー６０を、背景映像ｖＢの内容に応じて輝度や色を設定してもよいことになる。従って背景映像ｖＢ内で境界マーカー６０を目立たせることを可能とすることに繋がる。

　実施の形態では、撮影映像処理部８５ａは、判定処理として、撮影時のカメラ５０２の位置情報、撮影方向、画角を含む撮影情報と、ＬＥＤウォール５０５の位置情報に基づいて、撮影映像ｖＣの対象フレームにおける境界マーカー６０の位置を推定するマーカー位置推定処理Ｐ１２を行うものとした。
　これによりレンズ歪等が無い状態での撮影映像ｖＣ内の境界マーカー６０の位置を正確に判定できる。

　実施の形態では、撮影映像処理部８５ａは、撮影映像ｖＣの対象フレームから境界マーカー６０を抽出する第１の判定処理（マーカー抽出処理Ｐ１１）と、撮影映像ｖＣの対象フレームにおける境界マーカー６０の位置を推定する第２の判定処理（マーカー位置推定処理Ｐ１２）を行う。そして撮影映像処理部８５ａは、これらの結果であるマーカー抽出画像ｖＭＫａと、マーカー位置推定画像ｖＭＫｂを用いて、撮影映像ｖＣの歪量を算出する処理を行う（図１８のステップＳ１０６，図１９参照）。
　歪量を求めることで、枠外付加映像ｖＯＴとなる背景映像ｖＢ等への歪付加や、撮影映像ｖＣに対する歪除去を正確に行うことが可能になり、違和感のない枠外付加映像ｖＯＴの合成が可能になる。これにより最終出力映像ｖＣＦの品質を向上させることができる。

　また実施の形態では、撮影映像処理部８５ａは、第１の判定処理（マーカー抽出処理Ｐ１１）と、第２の判定処理（マーカー位置推定処理Ｐ１２）によるマーカー抽出画像ｖＭＫａと、マーカー位置推定画像ｖＭＫｂを用いて、撮影映像ｖＣの周辺光量落ち量を算出する処理を行う（図１８のステップＳ１０６，図１９参照）。
　周辺光量落ち量を求めることで、枠外付加映像ｖＯＴへの周辺光量落ちの付加や、撮影映像ｖＣに対する周辺光量落ちの除去を正確に行うことが可能になり、違和感のない枠外付加映像ｖＯＴの合成が可能になる。これにより最終出力映像ｖＣＦの品質を向上させることができる。

　実施の形態では、撮影映像処理部８５ａは、撮影映像ｖＣの対象フレームにおける境界マーカー６０より内方となる第１領域１１１と、第１領域１１１より外方となる第２領域１１２とを区別するマスクｖＫを生成する処理と、マスクｖＫを用いて、撮影映像ｖＣにおける第１領域１１１の映像に対して、第２領域１１２に対応する映像とされた枠外付加映像ｖＯＴを合成する合成処理を行うものとした。即ち撮影映像処理部８５ａはマスク生成処理Ｐ１４で生成したマスクｖＫを用いて合成処理Ｐ１９を行う（図１８のステップＳ１０７，Ｓ１１１，図２１，図２３参照）。
　これにより撮影映像ｖＣにおける境界マーカー６０を含む第２領域１１２を枠外付加映像ｖＯＴに差し替えるように合成処理を行い、ＬＥＤウォール５０５からはみ出した部分も適切な背景となっている最終出力映像ｖＣＦを出力できる。

　なお上述のように、このようなマスク生成処理Ｐ１４や合成処理Ｐ１９は、撮影時にリアルタイムで行ってもよいが、一方又は両方をポストプロダクションＳＴ３の段階で行ってもよい。
　例えば撮影映像ｖＣの各フレームに関連づけて、撮影時のカメラ５０２の位置情報、撮影方向、画角を含む撮影情報と、ＬＥＤウォール５０５の位置情報と、マーカー生成情報Ｉｍｋを記憶しておけば、ポストプロダクションＳＴ３の際に図１８の処理が可能になる。
　また撮影映像ｖＣの各フレームに関連づけて、背景映像ｖＢを記憶しておけば、ステップＳ１０９，Ｓ１１０の処理において背景映像ｖＢをそのまま利用できる。
　撮影時にはリアルタイムでマスクｖＫを生成し、これを撮影映像ｖＣの各フレームに関連づけて記憶しておいて、ポストプロダクションＳＴ３での合成処理の際にマスクｖＫを読み出して使用してもよい。

　実施の形態の例では、撮影映像処理部８５ａは、合成処理Ｐ１９で、撮影映像ｖＣにおける第１領域１１１の映像と、撮影映像ｖＣに生じた歪量又は周辺光量落ち量を付加した枠外付加映像ｖＯＴとの合成を行う場合がある。つまり図９の選択処理Ｐ１７，Ｐ１８でＡコースの選択が行われた場合である。
　これにより第１領域１１１の撮影映像ｖＣに対して、第２領域１１２に、同様の歪や周辺光量落ちが加えられた枠外付加映像ｖＯＴが合成される。従って枠外付加映像ｖＯＴが撮影映像ｖＣに対して違和感なく合成される。特にこの場合は、カメラ５０２のレンズ歪等が生かされた状態の最終出力映像ｖＣＦを得ることができる。

　なお、プレビジュアライゼーションの段階で、各フレームについて歪量を算出しておくことができる（図２６参照）。これにより撮影時の図１８の処理としてはステップＳ１０６が不要となり、枠外付加映像ｖＯＴとなる背景映像ｖＢ等に対する歪量の付加のための処理負担が軽減される。従って図１８の処理を撮影時にリアルタイムで行う場合に好適となる。

　また実施の形態の例では、撮影映像処理部８５ａは、合成処理Ｐ１９で、歪量又は周辺光量落ち量を除去した撮影映像ｖＣにおける第１領域１１１の映像と、枠外付加映像ｖＯＴ（背景映像ｖＢ等）との合成を行う場合がある。つまり図９の選択処理Ｐ１７，Ｐ１８でＢコースの選択が行われた場合である。
　これにより第１領域１１１の歪や周辺光量落ちが除去された撮影映像ｖＣに対して、歪や周辺光量落ちが加えられていない枠外付加映像ｖＯＴが合成される。従って枠外付加映像ｖＯＴが撮影映像ｖＣに対して違和感なく合成される。特にこの場合は、カメラ５０２のレンズ歪がキャンセルされた状態の最終出力映像ｖＣＦを得ることができる。

　なお、プレビジュアライゼーションの段階で、各フレームについて周辺光量落ち量を算出しておくことで（図２６参照）、撮影時の図１８の処理においてステップＳ１０６が不要となり、撮影映像ｖＣについて周辺光量落ち量を除去するための処理負担が軽減される。従って図１８の処理を撮影時にリアルタイムで行う場合に好適となる。

　またＡコースとＢコースの選択が行われるものとしたが、選択処理Ｐ１７，Ｐ１８を行わないでＡコースのみ、又はＢコースのみとする処理も考えられる。
　つまり合成処理Ｐ１９では、常に、撮影映像ｖＣにおける第１領域１１１の映像と、撮影映像ｖＣに生じた歪量又は周辺光量落ち量を付加した枠外付加映像ｖＯＴ（背景映像ｖＢ等）との合成を行うものとしてもよい。
　或いは合成処理Ｐ１９では、常に、歪量又は周辺光量落ち量を除去した撮影映像ｖＣにおける第１領域１１１の映像と、枠外付加映像ｖＯＴ（背景映像ｖＢ等）との合成を行うものとしてもよい。

　実施の形態では、撮影映像処理部８５ａは、合成処理Ｐ１９では、第１領域１１１と第２領域１１２の境界近辺で、撮影映像ｖＣと背景映像ｖＢ等による枠外付加映像ｖＯＴの映像比率を段階的に変化させて合成する例を述べた。
　図２２，図２３で説明したように、第１領域１１１の境界近辺をブレンド領域１１１ａとし、マスクｖＫのα値を「０」から「１」の間で段階的に変化させるようにした。これにより撮影映像ｖＣと枠外付加映像ｖＯＴの境界が目立たなくすることができ最終出力映像ｖＣＦの品質を向上させることができる。

　実施の形態では、枠外付加映像ｖＯＴとして、ＬＥＤウォール５０５に表示させるためにレンダリングした背景映像ｖＢを用いる例を挙げた。
　例えば背景映像ｖＢをそのまま枠外付加映像ｖＯＴとして用いる。これにより枠外付加映像ｖＯＴを別途制作する必要はない。またこのため撮影時のリアルタイムでの合成処理にも適している。
　但し、背景映像ｖＢとは別に第２領域１１２の映像を生成して枠外付加映像ｖＯＴとしてもよい。

　実施の形態では、情報処理装置７０は、ＬＥＤウォール５０５に表示させる背景映像ｖＢ（仮想映像）に対して、境界マーカー６０を付加する処理を行うマーカー処理部８５ｂを備える例を挙げた。
　これによりＬＥＤウォール５０５に境界マーカー６０の表示が行われる。従って上述の撮影映像処理部８５ａの処理が可能となる。
　なお撮影映像処理部８５ａとマーカー処理部８５ｂとしての機能は、例えばレンダリングエンジン５２０等の情報処理装置７０が両方を備えてもよいが、それぞれ別体の情報処理装置７０が備えるようにしてもよい。

　実施の形態では、マーカー処理部８５ｂは、ＬＥＤウォール５０５の表示領域の境界を示すとともにカメラ５０２の撮影による歪量、周辺光量落ち量を検出可能なパターンを有する境界マーカー６０を生成して背景映像ｖＢに付加する例を挙げた。
　例えば境界マーカー６０は、境界ライン６１と検出パターン６２を有するようにする。これにより撮影映像処理部８５ａにおける周辺光量落ち量や歪み量の検出処理や、これらの除去、付加の処理が可能になる。
　なお、境界マーカー６０としては、少なくとも境界ライン６１を有するものとし、撮影範囲がＬＥＤウォール５０５の枠外へはみ出したことを検出できるものであればよい。つまり検出パターン６２を設けない例もある。

　実施の形態では、マーカー処理部８５ｂは、ＬＥＤウォール５０５に表示させる背景映像ｖＢにおける、ＬＥＤウォール５０５の周縁部に相当する位置に境界マーカー６０を付加する処理を行うものとした。
　レンダリングにより生成した背景映像ｖＢの全領域がＬＥＤウォール５０５に表示されるとは限らない。図１０Ａのように実表示領域１００より広い範囲の背景映像ｖＢが生成されることもある。そこで、図１０ＢのようにＬＥＤウォール５０５で実際に表示される範囲である実表示領域１００の周縁部に境界マーカー６０を付加する。これにより図９に示すように、ＬＥＤウォール５０５の周縁部に境界マーカー６０の表示が行われ、撮影映像処理部８５ａの処理が適切に実行できる。
　なお例えば図１０Ａのような背景映像ｖＢの全体がＬＥＤウォール５０５で表示されるなら、その背景映像ｖＢの全体における周縁部に境界マーカー６０を付加するようにすることが適切である。

　実施の形態では、マーカー処理部８５ｂは、マーカー生成情報Ｉｍｋを記録させる処理を行うものとした（図１７のステップＳ５４参照）。
　例えば境界マーカー６０の輝度、色、パターン形状、サイズなどのマーカー生成情報Ｉｍｋを記録媒体に記憶させる。これによりマーカー付加後のタイミング、例えばポストプロダクションＳＴ３の段階でも、撮影映像ｖＣからマーカー抽出を行うことが可能になる。

　なお図８の情報処理装置７０は、映像処理部３３として撮影映像処理を行う機能である撮影映像処理部８５ａと、マーカー処理を行う機能であるマーカー処理部８５ｂを共に備える例としたが、これに限らない。例えばマーカー処理部８５ｂを備えて撮影映像処理部８５ａを備えない情報処理装置７０や、撮影映像処理部８５ａを備えてマーカー処理部８５ｂを備えない情報処理装置７０も想定される。

　また実施の形態ではＬＥＤウォール５０５に表示させる映像である背景映像ｖＢは、３Ｄモデルを用いたレンダリングにより得た仮想映像としたが、例えば実写映像をＬＥＤウォール５０５に表示させる場合にも、境界マーカー６０を付加するマーカー処理や、撮影映像ｖＣに対する撮影映像処理は有効である。

　実施の形態のプログラムは、上述の図１７，図１８，図２６のような処理を、例えばＣＰＵ、ＤＳＰ等のプロセッサ、或いはこれらを含むデバイスに実行させるプログラムである。
　即ち実施の形態のプログラムは、ＬＥＤウォール５０５等のディスプレイの表示領域における周縁部に表示させる境界マーカー６０を含む映像（例えば背景映像ｖＢ等の仮想映像）を表示するディスプレイをカメラで撮影した撮影映像ｖＣに対して、撮影映像ｖＣの対象フレームにおける境界マーカー６０の位置を判定する処理を情報処理装置７０に実行させるプログラムである。

　このようなプログラムにより、上述したレンダリングエンジン５２０等のプロダクションＳＴ２で動作する情報処理装置７０や、ポストプロダクションＳＴ３で用いられる情報処理装置７０、或いはプレビジュアライゼーションで用いられる情報処理装置７０を、各種のコンピュータ装置により実現できる。

　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。また、このようなプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の情報処理装置７０の広範な提供に適している。例えばパーソナルコンピュータ、通信機器、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの装置を本開示の情報処理装置７０として機能させることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　ディスプレイの表示領域における周縁部に表示させる境界マーカーを含む映像を表示する前記ディスプレイをカメラで撮影した撮影映像に対して、撮影映像の対象フレームにおける前記境界マーカーの位置を判定する判定処理を行う撮影映像処理部を備えた
　情報処理装置。
　（２）
　前記撮影映像処理部は、前記判定処理として、前記境界マーカーの生成情報に基づいて、前記撮影映像の対象フレームから前記境界マーカーを抽出する処理を行う
　上記（１）に記載の情報処理装置。
　（３）
　前記撮影映像処理部は、前記判定処理として、撮影時の前記カメラの位置情報、撮影方向、画角を含む撮影情報と、前記ディスプレイの位置情報に基づいて、前記撮影映像の対象フレームにおける前記境界マーカーの位置を推定する処理を行う
　上記（１）又は（２）に記載の情報処理装置。
　（４）
　前記撮影映像処理部は、
　前記撮影映像の対象フレームから前記境界マーカーを抽出する第１の判定処理と、
　前記撮影映像の対象フレームにおける前記境界マーカーの位置を推定する第２の判定処理と、
　前記第１の判定処理の判定結果と、前記第２の判定処理の判定結果とに基づいて、前記撮影映像の歪量を算出する処理と、を行う
　上記（１）から（３）のいずれかに記載の情報処理装置。
　（５）
　前記撮影映像処理部は、
　前記撮影映像の対象フレームから前記境界マーカーを抽出する第１の判定処理と、
　前記撮影映像の対象フレームにおける前記境界マーカーの位置を推定する第２の判定処理と、
　前記第１の判定処理の判定結果と、前記第２の判定処理の判定結果とに基づいて、前記撮影映像の周辺光量落ち量を算出する処理と、を行う
　上記（１）から（４）のいずれかに記載の情報処理装置。
　（６）
　前記撮影映像処理部は、
　前記撮影映像の対象フレームにおける前記境界マーカーより内方となる第１領域と、前記第１領域より外方となる第２領域とを区別するマスクを生成する処理と、
　前記マスクを用いて、前記撮影映像における前記第１領域の映像に対して、前記第２領域に対応する映像とされた付加映像を合成する合成処理と、を行う
　上記（１）から（５）のいずれかに記載の情報処理装置。
　（７）
　前記撮影映像処理部は、
　前記合成処理では、
　前記撮影映像における前記第１領域の映像と、前記撮影映像に生じた歪量又は周辺光量落ち量を付加した前記付加映像との合成を行う
　上記（６）に記載の情報処理装置。
　（８）
　前記撮影映像処理部は、
　前記合成処理では、
　歪量又は周辺光量落ち量を除去した前記撮影映像における前記第１領域の映像と、前記付加映像との合成を行う
　上記（６）に記載の情報処理装置。
　（９）
　前記撮影映像処理部は、
　前記合成処理では、
　前記第１領域と前記第２領域の境界領域で、前記撮影映像と前記付加映像の映像比率を段階的に変化させて合成する
　上記（６）から（８）のいずれかに記載の情報処理装置。
　（１０）
　前記付加映像として、前記ディスプレイに表示させるためにレンダリングした仮想映像を用いる
　上記（６）から（９）のいずれかに記載の情報処理装置。
　（１１）
　前記ディスプレイに表示させる映像に対して、前記境界マーカーを付加する処理を行うマーカー処理部を備えた
　上記（１）から（１０）のいずれかに記載の情報処理装置。
　（１２）
　前記マーカー処理部は、カメラの撮影による歪量又は周辺光量落ち量を検出可能なパターンを有する前記境界マーカーを生成して前記ディスプレイに表示させる映像に付加する
　上記（１１）に記載の情報処理装置。
　（１３）
　前記マーカー処理部は、前記ディスプレイに表示させる映像における、前記ディスプレイの周縁部に相当する位置に前記境界マーカーを付加する処理を行う
　上記（１１）又は（１２）に記載の情報処理装置。
　（１４）
　前記マーカー処理部は、前記境界マーカーの生成情報を記録させる処理を行う
　上記（１１）から（１３）のいずれかに記載の情報処理装置。
　（１５）
　前記ディスプレイに表示させる映像は、３Ｄモデルを用いたレンダリングにより得た仮想映像である
　上記（１）から（１４）のいずれかに記載の情報処理装置。
　（１６）
　カメラによる撮影対象となるディスプレイに表示させる映像に対して、前記ディスプレイの表示領域内の周縁部に表示させる境界マーカーを付加する処理を行うマーカー処理部を備えた
　情報処理装置。
　（１７）
　ディスプレイの表示領域における周縁部に表示させる境界マーカーを含む映像を表示する前記ディスプレイをカメラで撮影した撮影映像に対して、撮影映像の対象フレームにおける前記境界マーカーの位置を判定する処理を
　情報処理装置が行う情報処理方法。
　（１８）
　ディスプレイの表示領域における周縁部に表示させる境界マーカーを含む映像を表示する前記ディスプレイをカメラで撮影した撮影映像に対して、撮影映像の対象フレームにおける前記境界マーカーの位置を判定する処理を
　情報処理装置に実行させるプログラム。

６０　境界マーカー
７０　情報処理装置、
７１　ＣＰＵ
８５　映像処理部
８５ａ　出力映像処理部
８５ｂ　マーカー処理部
１１１　第１領域
１１２　第２領域
５０２　カメラ
５０５　ＬＥＤウォール
５２０　レンダリングエンジン
ｖＢ　背景映像
ｖＢＣ　撮影領域映像（インナーフラスタム）
ｖＣ　撮影映像
ｖＣＦ　最終出力映像
ｖＭＫ　マーカー画像
ｖＭＫａ　マーカー抽出画像
ｖＭＫｂ　マーカー位置推定画像
ｖＯＴ　枠外付加映像
ｖＫ　マスク
Ｉｍｋ　マーカー生成情報

Claims

　ディスプレイの表示領域における周縁部に表示させる境界マーカーを含む映像を表示する前記ディスプレイをカメラで撮影した撮影映像に対して、撮影映像の対象フレームにおける前記境界マーカーの位置を判定する判定処理を行う撮影映像処理部を備えた
　情報処理装置。
　前記撮影映像処理部は、前記判定処理として、前記境界マーカーの生成情報に基づいて、前記撮影映像の対象フレームから前記境界マーカーを抽出する処理を行う
　請求項１に記載の情報処理装置。
　前記撮影映像処理部は、前記判定処理として、撮影時の前記カメラの位置情報、撮影方向、画角を含む撮影情報と、前記ディスプレイの位置情報に基づいて、前記撮影映像の対象フレームにおける前記境界マーカーの位置を推定する処理を行う
　請求項１に記載の情報処理装置。
　前記撮影映像処理部は、
　前記撮影映像の対象フレームから前記境界マーカーを抽出する第１の判定処理と、
　前記撮影映像の対象フレームにおける前記境界マーカーの位置を推定する第２の判定処理と、
　前記第１の判定処理の判定結果と、前記第２の判定処理の判定結果とに基づいて、前記撮影映像の歪量を算出する処理と、を行う
　請求項１に記載の情報処理装置。
　前記撮影映像処理部は、
　前記撮影映像の対象フレームから前記境界マーカーを抽出する第１の判定処理と、
　前記撮影映像の対象フレームにおける前記境界マーカーの位置を推定する第２の判定処理と、
　前記第１の判定処理の判定結果と、前記第２の判定処理の判定結果とに基づいて、前記撮影映像の周辺光量落ち量を算出する処理と、を行う
　請求項１に記載の情報処理装置。
　前記撮影映像処理部は、
　前記撮影映像の対象フレームにおける前記境界マーカーより内方となる第１領域と、前記第１領域より外方となる第２領域とを区別するマスクを生成する処理と、
　前記マスクを用いて、前記撮影映像における前記第１領域の映像に対して、前記第２領域に対応する映像とされた付加映像を合成する合成処理と、を行う
　請求項１に記載の情報処理装置。
　前記撮影映像処理部は、
　前記合成処理では、
　前記撮影映像における前記第１領域の映像と、前記撮影映像に生じた歪量又は周辺光量落ち量を付加した前記付加映像との合成を行う
　請求項６に記載の情報処理装置。
　前記撮影映像処理部は、
　前記合成処理では、
　歪量又は周辺光量落ち量を除去した前記撮影映像における前記第１領域の映像と、前記付加映像との合成を行う
　請求項６に記載の情報処理装置。
　前記撮影映像処理部は、
　前記合成処理では、
　前記第１領域と前記第２領域の境界領域で、前記撮影映像と前記付加映像の映像比率を段階的に変化させて合成する
　請求項６に記載の情報処理装置。
　前記付加映像として、前記ディスプレイに表示させるためにレンダリングした仮想映像を用いる
　請求項６に記載の情報処理装置。
　前記ディスプレイに表示させる映像に対して、前記境界マーカーを付加する処理を行うマーカー処理部を備えた
　請求項１に記載の情報処理装置。
　前記マーカー処理部は、カメラの撮影による歪量又は周辺光量落ち量を検出可能なパターンを有する前記境界マーカーを生成して前記ディスプレイに表示させる映像に付加する
　請求項１１に記載の情報処理装置。
　前記マーカー処理部は、前記ディスプレイに表示させる映像における、前記ディスプレイの周縁部に相当する位置に前記境界マーカーを付加する処理を行う
　請求項１１に記載の情報処理装置。
　前記マーカー処理部は、前記境界マーカーの生成情報を記録させる処理を行う
　請求項１１に記載の情報処理装置。
　前記ディスプレイに表示させる映像は、３Ｄモデルを用いたレンダリングにより得た仮想映像である
　請求項１に記載の情報処理装置。
　カメラによる撮影対象となるディスプレイに表示させる映像に対して、前記ディスプレイの表示領域内の周縁部に表示させる境界マーカーを付加する処理を行うマーカー処理部を備えた
　情報処理装置。
　ディスプレイの表示領域における周縁部に表示させる境界マーカーを含む映像を表示する前記ディスプレイをカメラで撮影した撮影映像に対して、撮影映像の対象フレームにおける前記境界マーカーの位置を判定する処理を
　情報処理装置が行う情報処理方法。
　ディスプレイの表示領域における周縁部に表示させる境界マーカーを含む映像を表示する前記ディスプレイをカメラで撮影した撮影映像に対して、撮影映像の対象フレームにおける前記境界マーカーの位置を判定する処理を
　情報処理装置に実行させるプログラム。