WO2023238646A1

WO2023238646A1 - 情報処理装置、情報処理方法、プログラム、情報処理システム

Info

Publication number: WO2023238646A1
Application number: PCT/JP2023/018964
Authority: WO
Inventors: 正樹広瀬; 弘晃菊地; 隆史土屋
Original assignee: ソニーグループ株式会社
Priority date: 2022-06-07
Filing date: 2023-05-22
Publication date: 2023-12-14

Abstract

【課題】カメラでディスプレイの仮想映像を撮影する前の時点で、撮影映像の色合い等を確認できるようにする。【解決手段】情報処理装置は、３Ｄモデルを用いたレンダリングにより得た仮想映像を表示するディスプレイ（５０５）の映像をカメラ（５０２）で撮影する撮影システムにおいて使用する３Ｄモデルを用いてレンダリングを行うことで仮想映像を生成するレンダリング部（５２０ａ）と、レンダリング部で生成した仮想映像に対して、撮影システムで使用するカメラの撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像を生成するための実撮影映像化処理を行う映像処理部（３３）とを備える。

Description

情報処理装置、情報処理方法、プログラム、情報処理システム

　本技術は情報処理装置、情報処理方法、プログラム、情報処理システムに関し、特に仮想映像を用いた映像制作の技術に関する。

　映画等の映像コンテンツの制作のための撮影手法として、いわゆるグリーンバックの前で演者が演技を行い、後に背景映像を合成する技術が知られている。
　また近年はグリーンバック撮影に代わって、大型のディスプレイを設置したスタジオにおいて、ディスプレイに背景映像を表示させ、その前で演者が演技を行うことで、演者と背景を撮影できる撮影システムも開発され、いわゆるバーチャルプロダクション（Virtual Production）、インカメラＶＦＸ（In-Camera VFX）、またはＬＥＤ（Light Emitting Diode）ウォールバーチャルプロダクション（LED Wall Virtual Production）として知られている。
　下記特許文献１には、背景映像の前で演技する演者や物体を撮影するシステムの技術が開示されている。

米国特許出願公開第２０２０／０１４５６４４号明細書

　大型のディスプレイに背景映像を表示させたうえで、演者及び背景映像をカメラで撮影することによれば、撮影後に背景映像を別途合成しなくてもよいことや、演者やスタッフがシーンを視覚的に理解して演技や演技良否の判断ができるなど、グリーンバック撮影に比べて利点が多い。

　ただしディスプレイに対するカメラの位置や撮影方向によって、背景の見え方が異なるべきである。単純に背景映像を映すのみでは、カメラの位置や撮影方向などが異なっても背景が変わらず、かえって不自然な映像となってしまう。そこでカメラの位置や撮影方向などに応じて、実際の三次元空間の見え方と同等となるように、背景映像（少なくともディスプレイ内でカメラの画角内となる範囲の映像）を変化させることで、実際の風景を背景に撮影した場合と同等の映像が撮影できるようになる。

　このような仮想的な背景映像を用いる撮影システムの場合は、実際に撮影した段階では、撮影された映像の色合いなどが、監督やスタッフの思い描いていたものと異なる場合がある。そのような場合、撮影現場であるスタジオなどで、各種の設定変更などを行って色合いを調整することが必要になり、現実には極めて面倒かつ時間を要する作業となる。これは映像制作の効率を悪化させる。

　そこで本開示では、映像制作をより効率的に行うことができる技術を提案する。

　本技術に係る情報処理装置は、３Ｄモデルを用いたレンダリングにより得た仮想映像を表示するディスプレイの映像をカメラで撮影する撮影システムにおいて使用する前記３Ｄモデルを用いてレンダリングを行うことで仮想映像を生成するレンダリング部と、前記レンダリング部で生成した仮想映像に対して、前記撮影システムで使用する前記カメラの撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像を生成するための実撮影映像化処理を行う映像処理部と、を備える。
　撮影に先立って、撮影システムで用いる３Ｄモデルを用いて背景映像等の仮想映像をレンダリングし、モニタリングできるようにする。この場合に、仮想映像について、撮影時のカメラの輝度や色の特性を再現する映像処理を施す。

本技術の実施の形態の撮影システムの説明図である。実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。実施の形態の映像コンテンツ制作工程の説明図である。実施の形態の撮影システムのブロック図である。実施の形態の撮影システムの背景映像生成のフローチャートである。実施の形態の複数カメラを用いた撮影システムのブロック図である。実施の形態の情報処理装置のブロック図である。実施の形態のプレビジュアライゼーションの説明図である。第１の実施の形態のシステム構成例のブロック図である。イメージセンサからの切り出し範囲設定の説明図である。第１の実施の形態の実撮影映像化処理のフローチャートである。第２の実施の形態のシステム構成例のブロック図である。第２の実施の形態の色変換情報生成処理のフローチャートである。第３の実施の形態のシステム構成例のブロック図である。第３の実施の形態のシーン毎のカメラ設定記憶の説明図である。第３の実施の形態のカメラ設定についての処理のフローチャートである。第４の実施の形態のシステム構成例のブロック図である。第４の実施の形態のカメラ位置操作映像の説明図である。第４の実施の形態のモアレアラートの説明図である。第４の実施の形態のカメラ位置操作映像における操作の説明図である。第４の実施の形態のモアレアラート処理のフローチャートである。第４の実施の形態の撮影時のモアレアラート処理のフローチャートである。

　以下、実施の形態を次の順序で説明する。
＜１．撮影システム及びコンテンツ制作＞
＜２．情報処理装置の構成＞
＜３．第１の実施の形態＞
＜４．第２の実施の形態＞
＜５．第３の実施の形態＞
＜６．第４の実施の形態＞
＜７．撮影データのフロー＞
＜８．まとめ及び変型例＞

　なお、本開示において「映像」或いは「画像」とは静止画、動画のいずれをも含む。また「映像」とはディスプレイに表示されている状態を指すだけでなく、ディスプレイに表示されていない状態の映像データについても包括的に「映像」と表記する場合がある。
　例えば実施の形態において、ディスプレイでの表示に至る前における背景映像、カメラによる撮影映像、スイッチャーで切り替えられる背景映像や撮影映像は、実際に表示されている映像ではなく映像データであるが、便宜上「背景映像」「撮影映像」等と表記する。

＜１．撮影システム及び映像コンテンツ制作＞
　本開示の技術を適用できる撮影システム及び映像コンテンツの制作について説明する。
　図１は撮影システム５００を模式的に示している。この撮影システム５００はバーチャルプロダクションとしての撮影を行うシステムで、図では撮影スタジオに配置される機材の一部を示している。

　撮影スタジオにおいては演者５１０が演技その他のパフォーマンスを行うパフォーマンスエリア５０１が設けられる。このパフォーマンスエリア５０１の少なくとも背面、さらには左右側面や上面には、大型の表示装置が配置される。表示装置のデバイス種別は限定されないが、図では大型の表示装置の一例としてＬＥＤウォール５０５を用いる例を示している。

　１つのＬＥＤウォール５０５は、複数のＬＥＤパネル５０６を縦横に連結して配置することで、大型のパネルを形成する。ここでいうＬＥＤウォール５０５のサイズは特に限定されないが、演者５１０の撮影を行うときに背景を表示するサイズとして必要な大きさ、或いは十分な大きさであればよい。

　パフォーマンスエリア５０１の上方、或いは側方などの必要な位置に、必要な数のライト５８０が配置され、パフォーマンスエリア５０１に対して照明を行う。

　パフォーマンスエリア５０１の付近には、例えば映画その他の映像コンテンツの撮影のためのカメラ５０２が配置される。カメラ５０２は、カメラマン５１２が位置を移動させることができ、また撮影方向や、画角等の操作を行うことができる。もちろんリモート操作によってカメラ５０２の移動や画角操作等が行われるものも考えられる。またカメラ５０２が自動的もしくは自律的に移動や画角変更を行うものであってもよい。このためにカメラ５０２が雲台や移動体に搭載される場合もある。

　カメラ５０２によって、パフォーマンスエリア５０１における演者５１０と、ＬＥＤウォール５０５に表示されている映像がまとめて撮影される。例えばＬＥＤウォール５０５に背景映像ｖＢとして風景が表示されることで、演者５１０が実際にその風景の場所に居て演技をしている場合と同様の映像を撮影できることになる。

　パフォーマンスエリア５０１の付近にはアウトプットモニタ５０３が配置される。このアウトプットモニタ５０３にはカメラ５０２で撮影されている映像がモニタ映像ｖＭとしてリアルタイム表示される。これにより映像コンテンツの制作を行う監督やスタッフが、撮影されている映像を確認することができる。

　このように、撮影スタジオにおいてＬＥＤウォール５０５を背景にした演者５１０のパフォーマンスを撮影する撮影システム５００では、グリーンバック撮影に比較して各種の利点がある。

　例えば、グリーンバック撮影の場合、演者が背景やシーンの状況を想像しにくく、それが演技に影響するということがある。これに対して背景映像ｖＢを表示させることで、演者５１０が演技しやすくなり、演技の質が向上する。また監督その他のスタッフにとっても、演者５１０の演技が、背景やシーンの状況とマッチしているか否かを判断しやすい。

　またグリーンバック撮影の場合よりも撮影後のポストプロダクションが効率化される。これは、いわゆるクロマキー合成が不要とすることができる場合や、色の補正や映り込みの合成が不要とすることができる場合があるためである。また、撮影時にクロマキー合成が必要とされた場合においても、緑や青の映像を表示するだけで済むため物理的な背景用スクリーンを追加不要とされることも効率化の一助となっている。

　グリーンバック撮影の場合、演者の身体、衣装、物にグリーンの色合いが増してしまうため、その修正が必要となる。またグリーンバック撮影の場合、ガラス、鏡、スノードームなどの周囲の光景が映り込む物が存在する場合、その映り込みの画像を生成し、合成する必要があるが、これは手間のかかる作業となっている。

　これに対し、図１の撮影システム５００で撮影する場合、グリーンの色合いが増すことはないため、その補正は不要である。また背景映像ｖＢを表示させることで、ガラス等の実際の物品への映り込みも自然に得られて撮影されているため、映り込み映像の合成も不要である。

　ここで、背景映像ｖＢについて図２、図３で説明する。背景映像ｖＢを、ＬＥＤウォール５０５に表示させて、演者５１０とともに撮影を行うにしても、単純に背景映像ｖＢを表示させるのみでは、撮影された映像は背景が不自然になる。実際には立体で奥行きもある背景を平面的に背景映像ｖＢとしているためである。

　例えばカメラ５０２は、パフォーマンスエリア５０１の演者５１０に対して、多様な方向から撮影することができ、またズーム操作も行うことができる。演者５１０も一カ所に立ち止まっているわけではない。するとカメラ５０２の位置、撮影方向、画角などに応じて、演者５１０の背景の実際の見え方は変化するはずであるが、平面映像としての背景映像ｖＢではそのような変化が得られない。そこで背景が、視差を含めて、実際の見え方と同様になるように背景映像ｖＢを変化させる。

　図２はカメラ５０２が図の左側の位置から演者５１０を撮影している様子を示し、また図３はカメラ５０２が図の右側の位置から演者５１０を撮影している様子を示している。各図において、背景映像ｖＢ内に撮影領域映像ｖＢＣを示している。
　なお背景映像ｖＢのうちで撮影領域映像ｖＢＣを除いた部分は「アウターフラスタム」と呼ばれ、撮影領域映像ｖＢＣは「インナーフラスタム」と呼ばれる。
　ここで説明している背景映像ｖＢとは、撮影領域映像ｖＢＣ（インナーフラスタム）を含んで背景として表示される映像全体を指す。

　この撮影領域映像ｖＢＣ（インナーフラスタム）の範囲は、ＬＥＤウォール５０５の表示面内で、カメラ５０２によって実際に撮影される範囲に相当する。そして撮影領域映像ｖＢＣは、カメラ５０２の位置、撮影方向、画角等に応じて、実際にそのカメラ５０２の位置を視点としたときに見える光景を表現するような映像となっている。

　具体的には、撮影領域映像ｖＢＣは、背景としての３Ｄ（three dimensions）モデルである３Ｄ背景データを用意し、その３Ｄ背景データに対して、リアルタイムで逐次、カメラ５０２の視点位置に基づいてレンダリングする。
　なお、実際には撮影領域映像ｖＢＣの範囲は、その時点でカメラ５０２によって撮影される範囲よりも少し広い範囲とされる。これはカメラ５０２のパン、チルトやズームなどにより撮影される範囲が若干変化したときに、描画遅延によってアウターフラスタムの映像が映り込んでしまうことを防止するためや、アウターフラスタムの映像からの回折光による影響を避けるためである。
　このようにリアルタイムでレンダリングされた撮影領域映像ｖＢＣの映像は、アウターフラスタムの映像と合成される。背景映像ｖＢで用いられるアウターフラスタムの映像は、予め３Ｄ背景データに基づいてレンダリングされたものである場合や、毎フレーム或いは間欠的なフレーム毎に、リアルタイムにレンダリングされる場合があるが、そのアウターフラスタムの映像の一部に、撮影領域映像ｖＢＣ（インナーフラスタム）の映像を組み込むことで、全体の背景映像ｖＢを生成している。
　なお、アウターフラスタムの映像もインナーフラスタムと同様に毎フレームレンダリングするケースがあるが、ここでは静止した映像を例にとり、以降の説明では主にアウターフラスタムの映像は先頭フレームのみレンダリングする場合を例として説明する。

　これにより、カメラ５０２を前後左右に移動させたり、ズーム操作を行ったりしても、演者５１０とともに撮影される範囲の背景は、実際のカメラ５０２の移動に伴う視点位置やＦＯＶ（Field of View（視野））の変化に応じた映像として撮影されることになる。

　図２、図３に示すように、アウトプットモニタ５０３には、演者５１０と背景を含むモニタ映像ｖＭが表示されるが、これが撮影された映像である。このモニタ映像ｖＭにおける背景は、撮影領域映像ｖＢＣである。つまり撮影された映像に含まれる背景は、リアルタイムレンダリングされた映像となる。

　このように実施の形態の撮影システム５００においては、単に背景映像ｖＢを平面的に表示させるだけではなく、実際に風景を撮影した場合と同様の映像を撮影することができるように、撮影領域映像ｖＢＣを含む背景映像ｖＢをリアルタイムに変化させるようにしている。

　なお、ＬＥＤウォール５０５に表示させた背景映像ｖＢの全体ではなく、カメラ５０２によって映り込む範囲としての撮影領域映像ｖＢＣのみをリアルタイムにレンダリングすることで、システムの処理負担も軽減するような工夫を行ってもよい。

　ここで、撮影システム５００で撮影を行うバーチャルプロダクションとしての映像コンテンツの制作工程を説明しておく。図４に示すように、映像コンテンツ制作工程は３つの段階に大別される。アセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３である。

　アセットクリエイションＳＴ１は、背景映像ｖＢを表示するための３Ｄ背景データを制作する工程である。上述のように背景映像ｖＢは、撮影の際に３Ｄ背景データを用いてリアルタイムでレンダリングを行って生成する。そのために予め３Ｄモデルとしての３Ｄ背景データを制作しておく。

　３Ｄ背景データの制作手法の例として、フルＣＧ（Full Computer Graphics）、点群データ（Point Cloud）スキャン、フォトグラメトリ（Photogrammetry）という例がある。

　フルＣＧは、３Ｄモデルをコンピュータグラフィックスで制作する手法である。３つの手法の中で最も工数や時間を要する手法となるが、非現実的な映像や、実際には撮影が困難な映像などを背景映像ｖＢとしたい場合に用いられることが好適となる。

　点群データスキャンは、ある位置から例えばライダー（LiDAR）を用いて距離測定を行うとともに、同じ位置からカメラで３６０度の画像を撮影し、ライダーで測距した点の上にカメラで撮影した色データを載せることで点群データによる３Ｄモデルを生成する手法である。フルＣＧに比較して、短い時間で３Ｄモデル制作ができる。またフォトグラメトリより高精細の３Ｄモデルを制作しやすい。

　フォトグラメトリは、物体を複数視点から撮影して得た２次元画像から、視差情報を解析して寸法・形状を求める写真測量の技術である。３Ｄモデル制作を短時間で行うことができる。
　なお、フォトグラメトリによる３Ｄデータ生成において、ライダーで取得した点群情報を用いても良い。

　アセットクリエイションＳＴ１では、例えばこれらの手法を用いて３Ｄ背景データとなる３Ｄモデルを制作する。もちろん上記手法を複合的に用いてもよい。例えば点群データスキャンやフォトグラメトリで制作した３Ｄモデルの一部をＣＧで制作し、合成するなどである。

　プロダクションＳＴ２は、図１に示したような撮影スタジオにおいて撮影を行う工程である。この場合の要素技術として、リアルタイムレンダリング、背景表示、カメラトラッキング、照明コントロールなどがある。

　リアルタイムレンダリングは、図２、図３で説明したように各時点（背景映像ｖＢの各フレーム）で撮影領域映像ｖＢＣを得るためのレンダリング処理である。これはアセットクリエイションＳＴ１で制作した３Ｄ背景データに対して、各時点のカメラ５０２の位置等に応じた視点でレンダリングを行うものである。

　このようにリアルタイムレンダリングを行って撮影領域映像ｖＢＣを含む各フレームの背景映像ｖＢを生成し、ＬＥＤウォール５０５に表示させる。

　カメラトラッキングは、カメラ５０２による撮影情報を得るために行われ、カメラ５０２の各時点の位置情報、撮影方向、画角などをトラッキングする。これらを含む撮影情報を各フレームに対応させてレンダリングエンジンに提供することで、カメラ５０２の視点位置等に応じたリアルタイムレンダリングが実行できる。

　撮影情報はメタデータとして映像と紐づけられたり対応づけられたりする情報である。
　撮影情報としては各フレームタイミングでのカメラ５０２の位置情報、カメラの向き、画角、焦点距離、Ｆ値（絞り値）、シャッタースピード、レンズ情報などを含むことが想定される。

　照明コントロールとは、撮影システム５００における照明の状態をコントロールすることで、具体的にはライト５８０の光量、発光色、照明方向などの制御を行う。例えば撮影するシーンの時刻設定や場所の設定などに応じた照明コントロールが行われる。

　ポストプロダクションＳＴ３は、撮影後に行われる各種処理を示している。例えば映像の補正、映像の調整、クリップ編集、映像エフェクトなどが行われる。

　映像の補正としては、色域変換や、カメラや素材間の色合わせなどが行われる場合がある。
　映像の調整として色調整、輝度調整、コントラスト調整などが行われる場合がある。
　クリップ編集として、クリップのカット、順番の調整、時間長の調整などが行われる場合がある。
　映像エフェクトとして、ＣＧ映像や特殊効果映像の合成などが行われる場合がある。

　続いてプロダクションＳＴ２で用いられる撮影システム５００の構成を説明する。
　図５は、図１、図２、図３で概要を説明した撮影システム５００の構成を示すブロック図である。

　図５に示す撮影システム５００は、上述した、複数のＬＥＤパネル５０６によるＬＥＤウォール５０５、カメラ５０２、アウトプットモニタ５０３、ライト５８０を備える。そしてさらに撮影システム５００は、図５に示すように、レンダリングエンジン５２０、アセットサーバ５３０、シンクジェネレータ５４０、オペレーションモニタ５５０、カメラトラッカー５６０、ＬＥＤプロセッサ５７０、ライティングコントローラ５８１、ディスプレイコントローラ５９０を備える。

　ＬＥＤプロセッサ５７０のそれぞれは、１又は複数のＬＥＤパネル５０６に対応して設けられ、それぞれ対応する１又は複数のＬＥＤパネル５０６の映像表示駆動を行う。

　シンクジェネレータ５４０は、ＬＥＤパネル５０６による表示映像のフレームタイミングと、カメラ５０２による撮像のフレームタイミングの同期をとるための同期信号を発生し、各ＬＥＤプロセッサ５７０、カメラ５０２、及びレンダリングエンジン５２０に供給する。

　カメラトラッカー５６０は、各フレームタイミングでのカメラ５０２による撮影情報を生成し、レンダリングエンジン５２０に供給する。例えばカメラトラッカー５６０は撮影情報の１つとして、ＬＥＤウォール５０５の位置或いは所定の基準位置に対する相対的なカメラ５０２の位置情報や、カメラ５０２の撮影方向を検出し、これらをレンダリングエンジン５２０に供給する。
　カメラトラッカー５６０による具体的な検出手法としては、天井にランダムに反射板を配置して、それらに対してカメラ５０２に組み付けられたカメラトラッカー５６０から照射された赤外光の反射光から位置を検出する方法がある。また検出手法としては、カメラ５０２の雲台やカメラ５０２の本体に搭載されたジャイロ情報や、カメラ５０２の撮影映像の画像認識によりカメラ５０２の自己位置推定する方法もある。

　またカメラ５０２からレンダリングエンジン５２０に対しては、撮影情報として画角、焦点距離、Ｆ値、シャッタースピード、レンズ情報などが供給される場合もある。

　アセットサーバ５３０は、アセットクリエイションＳＴ１で制作された３Ｄモデル、即ち３Ｄ背景データを記録媒体に格納し、必要に応じて３Ｄモデルを読み出すことができるサーバである。即ち３Ｄ背景データのＤＢ（data Base）として機能する。

　レンダリングエンジン５２０は、ＬＥＤウォール５０５に表示させる背景映像ｖＢを生成する処理を行う。このためレンダリングエンジン５２０は、アセットサーバ５３０から必要な３Ｄ背景データを読み出す。そしてレンダリングエンジン５２０は、３Ｄ背景データをあらかじめ指定された空間座標から眺めた形でレンダリングしたものとして背景映像ｖＢで用いるアウターフラスタムの映像を生成する。
　またレンダリングエンジン５２０は、カメラトラッカー５６０やカメラ５０２から供給された撮影情報を用いて３Ｄ背景データに対する視点位置等を特定して撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行う。

　さらにレンダリングエンジン５２０は、アウターフラスタムに対し、カメラ５０２の動きに応じて動的に変化する撮影領域映像ｖＢＣを合成して１フレームの映像データとしての背景映像ｖＢを生成する。そしてレンダリングエンジン５２０は、生成した１フレームの映像データをディスプレイコントローラ５９０に送信する。

　ディスプレイコントローラ５９０は、１フレームの映像データを、各ＬＥＤパネル５０６で表示させる映像部分に分割した分割映像信号ｎＤを生成し、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行う。このときディスプレイコントローラ５９０は、表示部間の発色などの個体差／製造誤差などに応じたキャリブレーションを行っても良い。
　なお、ディスプレイコントローラ５９０を設けず、これらの処理をレンダリングエンジン５２０が行うようにしてもよい。つまりレンダリングエンジン５２０が分割映像信号ｎＤを生成し、キャリブレーションを行い、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行うようにしてもよい。

　各ＬＥＤプロセッサ５７０が、それぞれ受信した分割映像信号ｎＤに基づいてＬＥＤパネル５０６を駆動することで、ＬＥＤウォール５０５において全体の背景映像ｖＢが表示される。その背景映像ｖＢには、その時点のカメラ５０２の位置等に応じてレンダリングされた撮影領域映像ｖＢＣが含まれている。

　カメラ５０２は、このようにＬＥＤウォール５０５に表示された背景映像ｖＢを含めて演者５１０のパフォーマンスを撮影することができる。カメラ５０２の撮影によって得られた映像は、カメラ５０２の内部又は図示しない外部の記録装置において記録媒体に記録されるほか、リアルタイムでアウトプットモニタ５０３に供給され、モニタ映像ｖＭとして表示される。

　オペレーションモニタ５５０では、レンダリングエンジン５２０の制御のためのオペレーション画像ｖＯＰが表示される。エンジニア５１１はオペレーション画像ｖＯＰを見ながら背景映像ｖＢのレンダリングに関する必要な設定や操作を行うことができる。

　ライティングコントローラ５８１は、ライト５８０の発光強度、発光色、照射方向などを制御する。ライティングコントローラ５８１は、例えばレンダリングエンジン５２０とは非同期でライト５８０の制御を行うものとしてもよいし、或いは撮影情報やレンダリング処理と同期して制御を行うようにしてもよい。そのためレンダリングエンジン５２０或いは図示しないマスターコントローラ等からの指示によりライティングコントローラ５８１が発光制御を行うようにしてもよい。またレンダリングエンジン５２０からライト５８０の制御を行うようにしてもよい。

　このような構成の撮影システム５００におけるレンダリングエンジン５２０の処理例を図６に示す。

　レンダリングエンジン５２０は、ステップＳ１０でアセットサーバ５３０から、今回使用する３Ｄ背景データを読み出し、内部のワークエリアに展開する。
　この段階でアウターフラスタムとして用いる映像を生成する場合もある。

　その後レンダリングエンジン５２０は、ステップＳ２０で、読み出した３Ｄ背景データに基づく背景映像ｖＢの表示終了と判定するまで、ステップＳ３０からステップＳ６０の処理を繰り返す。

　ステップＳ３０でレンダリングエンジン５２０は、カメラトラッカー５６０やカメラ５０２からの撮影情報を取得する。これにより、現フレームで反映させるカメラ５０２の位置や状態を確認する。

　ステップＳ４０でレンダリングエンジン５２０は、撮影情報に基づいてレンダリングを行う。即ち現在のフレームに反映させるカメラ５０２の位置、撮影方向、或いは画角等に基づいて３Ｄ背景データに対する視点位置を特定してレンダリングを行う。このとき、焦点距離、Ｆ値、シャッタースピード、レンズ情報などを反映した映像処理を行うこともできる。このレンダリングによって撮影領域映像ｖＢＣ（インナーフラスタム）としての映像データを得ることができる。アウターフラスタムについては、ステップＳ１０で予め固定的な映像として生成する他、ステップＳ４０でフレーム毎に生成することもある。

　ステップＳ５０でレンダリングエンジン５２０は、全体の背景映像であるアウターフラスタムと、カメラ５０２の視点位置を反映した映像、即ち撮影領域映像ｖＢＣを合成する処理を行う。例えばある特定の基準視点でレンダリングした背景全体の映像に対して、カメラ５０２の視点を反映して生成した映像を合成する処理である。これにより、ＬＥＤウォール５０５で表示される１フレームの背景映像ｖＢ、つまり撮影領域映像ｖＢＣを含む背景映像ｖＢが生成される。

　ステップＳ６０の処理は、レンダリングエンジン５２０又はディスプレイコントローラ５９０で行う。ステップＳ６０でレンダリングエンジン５２０又はディスプレイコントローラ５９０は、１フレームの背景映像ｖＢについて、個別のＬＥＤパネル５０６に表示される映像に分割した分割映像信号ｎＤを生成する。キャリブレーションを行う場合もある。そして各分割映像信号ｎＤを各ＬＥＤプロセッサ５７０に送信する。

　以上の処理により、各フレームタイミングで、カメラ５０２で撮像される撮影領域映像ｖＢＣを含む背景映像ｖＢがＬＥＤウォール５０５に表示されることになる。

　ところで図５では１台のカメラ５０２のみを示したが、複数台のカメラ５０２で撮影を行うこともできる。図７は複数のカメラ５０２ａ，５０２ｂを使用する場合の構成例を示している。カメラ５０２ａ，５０２ｂは、それぞれ独立してパフォーマンスエリア５０１における撮影を行うことができるようにされる。また各カメラ５０２ａ，５０２ｂ及び各ＬＥＤプロセッサ５７０は、シンクジェネレータ５４０により同期が維持される。

　カメラ５０２ａ，５０２ｂに対応して、アウトプットモニタ５０３ａ，５０３ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂによって撮影された映像を、モニタ映像ｖＭａ，ｖＭｂとして表示するように構成される。

　またカメラ５０２ａ，５０２ｂに対応して、カメラトラッカー５６０ａ，５６０ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂの位置や撮影方向を検出する。カメラ５０２ａ及びカメラトラッカー５６０ａからの撮影情報や、カメラ５０２ｂ及びカメラトラッカー５６０ｂからの撮影情報は、レンダリングエンジン５２０に送信される。

　レンダリングエンジン５２０は、カメラ５０２ａ側、或いはカメラ５０２ｂ側のいずれか一方又は両方の撮影情報を用いて、各フレームの背景映像ｖＢを得るためのレンダリングを行うことができる。

　なお図７では２台のカメラ５０２ａ、５０２ｂを用いる例を示したが、３台以上のカメラ５０２を用いて撮影を行うことも可能である。
　但し、複数のカメラ５０２を用い、それぞれの撮影情報を用いて、それぞれのカメラ５０２に対応した撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行い、表示させると、それぞれの撮影領域映像ｖＢＣが互いに干渉するという事情がある。例えば図７のように２台のカメラ５０２ａ、５０２ｂを用いる例では、カメラ５０２ａに対応する撮影領域映像ｖＢＣを示しているが、カメラ５０２ｂの映像を用いる場合、カメラ５０２ｂに対応する撮影領域映像ｖＢＣも必要になる。その場合に単純に各カメラ５０２ａ、５０２ｂに対応するそれぞれの撮影領域映像ｖＢＣを表示させると、それらが互いに干渉する。このため撮影領域映像ｖＢＣの表示に関する工夫が必要とされる。

＜２．情報処理装置の構成＞
　次に、アセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３で用いることができる情報処理装置７０の構成例を図８で説明する。
　情報処理装置７０は、コンピュータ機器など、情報処理、特に映像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ、ワークステーション、スマートフォンやタブレット等の携帯端末装置、ビデオ編集装置等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。

　本実施の形態の場合、具体的には情報処理装置７０は、アセットクリエイションＳＴ１において３Ｄモデルを制作する３Ｄモデル制作装置として機能できる。
　また情報処理装置７０は、プロダクションＳＴ２で用いる撮影システム５００を構成するレンダリングエンジン５２０やアセットサーバ５３０としても機能できる。
　また情報処理装置７０は、ポストプロダクションＳＴ３における各種映像処理を行う映像編集装置としても機能できる。

　さらに情報処理装置７０は、図１０等で後述するプレビジュアライゼーションにおけるシミュレーション映像ｖＳＭの生成を行う情報処理装置（レンダリングエンジン３１）としても機能できる。

　図８に示す情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　映像処理部８５は各種の映像処理を行うプロセッサとして構成される。例えば３Ｄモデル生成処理、レンダリング、ＤＢ処理、色・輝度調整処理を含む映像処理、映像編集処理、映像解析・検出処理などのいずれか、或いは複数の処理を行うことができるプロセッサとされる。

　この映像処理部８５は例えば、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現できる。
　なお映像処理部８５はＣＰＵ７１内の機能として設けられてもよい。

　ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、映像処理部８５は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。

　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、トラックボール、ダイヤル、タッチパネル、タッチパッド、グレーティング用パネル、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
　入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。

　また入出力インタフェース７５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（electro-luminescence）パネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像、操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　入出力インタフェース７５には、ＨＤＤ（Hard Disk Drive）や固体メモリなどより構成される記憶部７９や通信部８０が接続される場合もある。

　記憶部７９は、各種のデータやプログラムを記憶することができる。記憶部７９においてＤＢを構成することもできる。
　例えば情報処理装置７０がアセットサーバ５３０や後述のレンダリングエンジン３１として機能する場合、記憶部７９を利用して３Ｄ背景データ群を格納するＤＢを構築できる。

　通信部８０は、インターネット等の伝送路を介しての通信処理や、外部のＤＢ、編集装置、情報処理装置等の各種機器との有線／無線通信、バス通信などによる通信を行う。
　例えば情報処理装置７０がレンダリングエンジン５２０や後述のレンダリングエンジン３１として機能する場合、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスしたり、カメラ５０２やカメラトラッカー５６０からの撮影情報を受信したりすることができる。
　またポストプロダクションＳＴ３に用いる情報処理装置７０の場合も、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスすることなども可能である。

　入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
　ドライブ８１により、リムーバブル記録媒体８２からは映像データや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータは記憶部７９に記憶されたり、データに含まれる映像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

　この情報処理装置７０では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

＜３．第１の実施の形態＞
　以下の各実施の形態では、プレビジュアライゼーションとしての処理に注目する。まず映像制作過程におけるプレビジュアライゼーションの位置づけを図９で説明する。

　図９には先に図４で説明したアセットクリエイション（ＳＴ１）、プロダクション（ＳＴ２）、ポストプロダクション（ＳＴ３）という流れを示している。
　プロダクション（ＳＴ２）は、実際にスタジオで撮影を行う段階であるが、これは撮影準備と撮影に分けられる。

　これに対して実施の形態で注目するプレビジュアライゼーションとは、主に撮影準備よりも前の段階で行われることが想定される。なお、必ずしも時系列的な順序は限定されないが、プレビジュアライゼーションは、アセットクリエイション（ＳＴ１）において背景映像ｖＢをレンダリングするための３Ｄモデルが制作された後の段階で行われればよい。
　その意味で、プレビジュアライゼーションは、アセットクリエイション（ＳＴ１）の最終段階で行われるととらえてもよいし、プロダクション（ＳＴ２）における撮影準備の前の段階で行われるととらえてもよい。

　プレビジュアライゼーションでは、映像確認、モアレアラートという処理が行われる。これらは実施の形態の処理として詳述するが、映像確認とは、撮影に先立って、撮影により得られる撮影映像ｖＣを監督やスタッフが確認できるようにする処理である。主に撮影映像ｖＣの色合いを含む確認をシミュレーション映像により可能とする。

　モアレアラートは、例えば映像確認をしながらスタッフが仮想的にカメラ位置を操作している際に、モアレ予測を行い、モアレが出ると予測される場合に、その警告を発する処理である。これにより、その後の撮影の際のアーティファクト発生を回避できるようにする。

　撮影準備の段階では、撮影システム５００におけるＬＥＤやカメラ等各種の設定とともに、色キャリブレーションが行われる。具体的にはＬＥＤウォール５０５をカメラ５０２で撮影したときに生ずる色変化をキャンセルするキャリブレーションＬＵＴ（Look Up Table）を生成する。キャリブレーションＬＵＴは例えば３Ｄ－ＬＵＴとされる。
　なお３Ｄ－ＬＵＴの代わりに、マトリックスと１Ｄ－ＬＵＴの組み合わせや他の映像信号処理で行うキャリブレーションのための準備を行ってもよい。

　撮影の段階では、モアレアラート、キャリブレーションＬＵＴ、on-setカメラ設定が行われる。
　この場合のモアレアラートとは、レンダリングエンジン５２０によるモアレ判定に応じてリアルタイムにカメラマン等にモアレアラートを出力する処理である。
　キャリブレーションＬＵＴとは、撮影準備の際の色キャリブレーションで生成したＬＵＴを適用してＬＥＤウォール５０５やカメラ５０２等による背景映像表示に関する色変化をキャンセルする処理である。
on-setカメラ設定とは、プレビジュアライゼーションで設定したカメラ設定を例えばクラウドサーバ等から取得し、スタジオのカメラ５０２に反映させる処理である。

　以下、第１の実施の形態としての構成例を、図１０を用いて説明する。なお以下の各実施の形態では、撮影システム５００の構成と、プレビジュアライゼーションのための構成とを並記する。図１０、図１３、図１５、図１８における図面上方は、図５等で説明した撮影システム５００の構成を簡略化して示しており、図面下方は、プレビジュアライゼーションで使用する構成（プレビジュアライゼーションシステム７００）を示している。

　図１０において撮影システム５００に関しては、レンダリングエンジン５２０、ＬＥＤプロセッサ５７０、ＬＥＤウォール５０５、カメラ５０２、カメラ信号処理部５１５、オペレーションモニタ５５０又はアウトプットモニタ５０３を示している。

　この図におけるオペレーションモニタ５５０又はアウトプットモニタ５０３は、撮影現場であるスタジオにおいて撮影映像ｖＣやモニタ映像ｖＭを表示するモニタを包括的に示している。以下では説明上「モニタ５５０等」と略称する。

　レンダリングエンジン５２０はレンダリング部５２０ａと色キャリブレーション部５２０ｂを含むものとして示している。
　レンダリング部５２０ａは先に説明したとおり、アウターフラスタムやカメラ５０２の位置や撮影方向に応じたインナーフラスタム（撮影領域映像）ｖＢＣのレンダリングを行い、ＬＥＤウォール５０５に表示させる背景映像ｖＢを生成する機能を示している。即ちレンダリング部５２０ａは図６の処理を行う機能である。

　レンダリングエンジン５２０は、色キャリブレーション部５２０ｂとしての機能を備える場合がある。色キャリブレーション部５２０ｂは、ＬＥＤプロセッサ５７０の処理やＬＥＤウォール５０５を構成するＬＥＤパネル５０６（図１０では不図示）のＬＥＤ発光特性及びカメラの受光特性や処理などにより生ずる色変化をキャンセルするためのキャリブレーション処理を行う機能を示している。

　即ち色キャリブレーション部５２０ｂは、撮影準備の段階の色キャリブレーションにより生成したＬＵＴを用いて、レンダリングされた背景映像ｖＢの色変換を行う。
　このようにレンダリングエンジン５２０において色キャリブレーション部５２０ｂとしての機能でキャリブレーションＬＵＴの処理を行う場合は、例えば背景映像ｖＢの表示側における色変化は生じないものとすることもできる。
　なお、ここでいう色変化とは、レンダリングされた背景映像ｖＢがＬＥＤウォール５０５で表示されるまでの処理や発光特性や、カメラの受光特性や処理などにより生ずる色変化のことである。

　レンダリングエンジン５２０において色キャリブレーション部５２０ｂとしての機能を備えていない場合、或いは当該機能を備えていても有効化しない場合は、３Ｄモデルからレンダリングした状態の色と、ＬＥＤウォール５０５で表示された状態の色に、色合い、つまり色の濃淡やＲＧＢバランスなどによる変化が生ずる場合がある。

　図１０では、カメラ５０２に対しては、撮像映像信号の信号処理を行うカメラ信号処理部５１５を示している。図５，図７では省略したが、このカメラ信号処理部５１５は、カメラ５０２内のプロセッサ等により形成されてもよいし、カメラ５０２とは別体ユニットの装置として設けられても良い。

　カメラ５０２で撮影された映像信号はカメラ信号処理部５１５で輝度処理、色処理等を含む現像処理やリサイズ処理などをされて、撮影映像ｖＣやモニタ映像ｖＭとして出力される。

　撮影映像ｖＣは本線映像とされて記録媒体に記録されたり、放送や配信のために他機器に送信されたりする。また撮影映像ｖＣはモニタ映像ｖＭとして用いられてモニタ５５０等で表示される。

　以上のような撮影システム５００に対して、例えばスタジオ外のシステムとしてプレビジュアライゼーションシステム７００が構成される。プレビジュアライゼーションシステム７００ではレンダリングエンジン３１として機能する情報処理装置７０と、モニタ４０を少なくとも備える。
　レンダリングエンジン３１は例えばレンダリングエンジン５２０とは別体の情報処理装置７０により構成される。

　レンダリングエンジン３１はレンダリング部３２と映像処理部３３を備える。
　レンダリング部３２は、上述のレンダリングエンジン５２０におけるレンダリング部５２０ａと同様のレンダリング機能であり、３Ｄモデルに基づいて背景映像ｖＢＰを生成することができる。

　このレンダリング部３２は、少なくともアセットクリエイション（ＳＴ１）の工程で制作された３Ｄモデルを用いて背景映像ｖＢのレンダリングを行うことができる。つまりプロダクション（ＳＴ２）の工程で用いるものと同じ３Ｄモデルを例えばアセットサーバ５３０（図５，図７参照）から取得し、それを用いてレンダリングを行う。

　そしてレンダリング部３２は、当該３Ｄモデルを用いて例えばインナーフラスタムのレンダリングを行うことができる。なお、インナーフラスタム（撮影領域映像ｖＢＣ）を生成する場合は、任意のカメラ位置や方向が入力され、それに応じた３Ｄモデルに対する視点位置でレンダリングを行う。
　これら、レンダリング部３２で生成する背景映像を、撮影時にレンダリングエンジン５２０で生成する撮影領域映像ｖＢＣと説明上、区別する意味で、「背景映像ｖＢＰ」と表記する。

　映像処理部３３は、背景映像ｖＢＰに対する各種の映像処理を行う機能を示している。
　映像処理の１つとして映像処理部３３は実撮影映像化処理を行う。実撮影映像化処理とは、実際に撮影に用いるカメラ５０２を模したシミュレーション映像ｖＳＭを生成する処理である。この実撮影映像化処理では、背景映像ｖＢＰに対して、少なくとも撮影システム５００で使用するカメラ５０２の撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像ｖＳＭを生成する。

　輝度又は色に関するパラメータを、撮影時のカメラ５０２と同じとすることで、撮影映像ｖＣと同じ色合いのシミュレーション映像ｖＳＭが生成されるようにし、そのシミュレーション映像ｖＳＭがモニタ４０に表示されるようにする。

　モニタ４０は、レンダリングエンジン３１としての情報処理装置７０から出力される映像を表示するモニタ装置を示しており、例えば撮影スタジオとは別の場所にあるモニタ装置でもよいし、撮影スタジオにあるモニタ装置でもよい。モニタ４０は、少なくともプレビジュアライゼーションの段階でシミュレーション映像ｖＳＭを表示させるものであればどのような形態でもよい。

　レンダリングエンジン３１においてレンダリング部３２で背景映像ｖＢＰを生成し、映像処理部３３で実撮影映像化処理を行ってシミュレーション映像ｖＳＭを生成する。これをモニタ４０に表示させることで、スタッフは、撮影時の撮影映像ｖＣに含まれる背景の映像と同じ色合いとされたシミュレーション映像ｖＳＭを確認することができる。これにより、撮影に先立って、色の確認を行い、必要に応じて撮影準備段階でのカメラ５０２やカメラ信号処理部５１５での色の調整などを行うことができるようになる。

　このような映像処理部３３の実撮影映像化処理としては、レンダリング部３２でレンダリングされた背景映像ｖＢＰについて、少なくとも色合いを、実際の撮影時の撮影映像ｖＣに含まれる背景の映像と同等とする。
　このために具体的には映像処理部３３は、ＲＧＢゲインやホワイトバランス値、ガンマ値、オフセット値等のパラメータをカメラ５０２に合わせる。

　例えば映像処理部３３は、背景映像ｖＢＰに対し、カメラ５０２におけるイメージセンサから読み出された各色の画素信号に対するゲインの値と同様のＲ、Ｇ、Ｂゲインを与える処理を行う。
　また映像処理部３３は、背景映像ｖＢＰに対し、実撮影映像化処理においてカメラ５０２の撮影時のホワイトバランス値と同じホワイトバランス値でホワイトバランス処理を行う。
　これにより、撮影映像ｖＣにおける背景と同じ色合いの背景となるシミュレーション映像ｖＳＭが得られるようにする。これによりモニタ４０では、撮影時にモニタ５５０等で撮影映像ｖＣを見る場合と同じ色合いの映像を確認できる。

　さらに映像処理部３３は、実撮影映像化処理として、背景映像ｖＢＰに対し、カメラ５０２のイメージセンサからの切り出し範囲やズーム倍率設定などによる画角も同一とする処理を行ってもよい。
　例えば図１１にカメラ５０２のイメージセンサ３０からの読み出し範囲の例を示している。実線がイメージセンサ３０の全画素領域であるとする。イメージセンサ３０からの撮像信号となる光電変換信号の読み出しは、実線の全画素領域とされる場合もあるし、点線の範囲、破線の範囲、一点鎖線の範囲など、読み出しモードによって各種の場合がある。これらの読み出し範囲の差によって撮影映像ｖＣにおける画角が異なる。
　そこで映像処理部３３の実撮影映像化処理では、画角も撮影映像ｖＣと同等となるようにする。

　また映像処理部３３は、実撮影映像化処理として、背景映像ｖＢＰに対し、カメラ５０２に装着されたレンズの各種特性（球面あるいはアナモルフィックレンズの別や、色味・透過率・フレア・歪曲収差・周辺光量落ち等の特性）を反映させる処理を行ってもよい。これにより、シミュレーション映像ｖＳＭをより撮影映像ｖＣに近づける。

　また映像処理部３３は、実撮影映像化処理として、背景映像ｖＢＰに対し、カメラ５０２に装着された円偏光フィルタ等の光学フィルタの特性を反映させる処理を行ってもよい。これにより、フィルタを装着して撮影する場合でも、シミュレーション映像ｖＳＭを、より撮影映像ｖＣに近づける。

　ところで、撮影時にレンダリングエンジン５２０での色キャリブレーション処理でＬＥＤウォール５０５までの色変化がキャンセルされる場合には、実撮影映像化処理としては、カメラ側の色変化等を反映させる処理でよい。ＬＥＤウォール５０５に表示される背景映像ｖＢはレンダリングされた状態から色変化が生じないとされるためである。
　一方で、上記のような色キャリブレーションが行われない場合は、ＬＥＤウォール５０５に表示される背景映像ｖＢにおいても既に色変化が生じている場合がある。そのような場合は、映像処理部３３における実撮影映像化処理では、ＬＥＤ側の各色の輝度（強度）特性などを反映する処理も行うようにする。これにより、シミュレーション映像ｖＳＭを撮影映像ｖＣに近づけることができる。

　なお、以上の実撮影映像化処理の前提として、レンダリングエンジン３１がシミュレーション映像ｖＳＭをレンダリングする際に想定する仮想的なカメラのフレームレート、シャッタースピード、露出値などのカメラ設定は、実際のカメラ５０２と同様の設定とする。即ち映像処理部３３は、背景映像ｖＢＰについて、フレームレート、シャッタースピード、露出値、ＮＤ設定、などの各種のカメラ設定に応じたＲＧＢ値となるようにした上で、ＲＧＢゲインやホワイトバランス値等の色処理を行うことで、実際の撮影映像ｖＣの色合いを模したシミュレーション映像ｖＳＭを生成する。
　またＬＥＤウォール５０５の明るさについてもカメラ設定と同様に反映させるとよい。

　図１２に、プレビジュアライゼーションの際のレンダリングエンジン３１の処理例を示す。
　先ずレンダリングエンジン３１はステップＳ１００で、撮影時のカメラ５０２のカメラ設定やホワイトバランスを取得し、それに応じた処理パラメータを設定する。フレームレート、シャッタースピード、露出値などの基本的なパラメータである。またレンダリングエンジン３１は、このステップＳ１００で、撮影時にカメラ５０２に装着されるレンズの各種特性や光学フィルタの特性を取得して、それらを処理パラメータに反映させる場合もある。

　ステップＳ１０１でレンダリングエンジン３１は、プレビジュアライゼーションでのシミュレーション映像ｖＳＭのモニタリングの終了を判定する。終了に至るまではレンダリングエンジン３１は、例えばフレーム毎にステップＳ１０２以降の処理を実行する。

　ステップＳ１０２でカメラ位置設定を行う。これは仮想的に、ＬＥＤウォール５０５に対するカメラ５０２の相対的な位置及び向き（撮影方向）を設定する処理である。つまりレンダリングする際の３Ｄモデルに対する視点位置の設定処理である。
　実際の撮影時のカメラ５０２の位置やカメラパス（カメラ移動軌跡）の設定がプレビジュアライゼーションの段階で存在するのであれば、その情報を用いてフレーム毎のカメラ位置を設定すればよい。またプレビジュアライゼーションの段階でスタッフが任意にカメラ位置を設定する入力を行うようにしてもよい。

　ステップＳ１０３でレンダリングエンジン３１は、設定したカメラ位置による視点位置設定のうえで、３Ｄモデルを用いて背景映像ｖＢＰのレンダリングを行う。例えばインナーフラスタム（撮影領域映像ｖＢＣ）に相当する背景の映像を生成する。

　ステップＳ１０４ではレンダリングエンジン３１は、撮影時の色キャリブレーション処理により、ＬＥＤウォール５０５までの色変化をキャンセルするか否かを判定する。
　レンダリングエンジン３１は、撮影時の色キャリブレーション処理の有無や処理の内容は、ユーザの入力などにより判定してもよいし、撮影システム５００と通信連携可能であれば、撮影システム５００のレンダリングエンジン５２０との通信により判定してもよい。レンダリングエンジン３１がレンダリングエンジン５２０の処理を兼ねるシステムの場合は、色キャリブレーション処理の有無は通信等を行わずとも既知である。

　撮影時に色キャリブレーション処理を行わない場合は、レンダリングエンジン３１はステップＳ１０５の処理を、実撮影映像化処理の１つとして行う。即ちＬＥＤウォール５０５に表示される背景映像ｖＢに生ずる輝度又は色の変化特性を、背景映像ｖＢＰにも反映させる輝度・色処理を行う。例えばＬＥＤパネル５０６のＲＧＢ各色の輝度バランスに応じたゲインパラメータを設定して背景映像ｖＢＰに対する色補正を行う。

　撮影時に色キャリブレーション処理でＬＥＤウォール５０５までの色変化をキャンセルする場合は、ＬＥＤウォール５０５に表示される背景映像ｖＢに色変化は生じないため、ステップＳ１０５の処理はスキップする。

　即ち、撮影時に色キャリブレーション処理を行う場合は、ＬＥＤウォール５０５に表示される背景映像ｖＢに生ずる輝度又は色の変化はキャンセルされる一方、撮影時に色キャリブレーション処理を行わない場合は、ＬＥＤウォール５０５に表示される背景映像ｖＢに生ずる輝度又は色の変化は撮影映像ｖＣの色に影響する。そこで、撮影時に色キャリブレーション処理を行わない場合は、ステップＳ１０５の処理を行うことで、シミュレーション映像ｖＳＭに、そのＬＥＤウォール５０５までの色変化も反映されるようにする。

　続いてレンダリングエンジン３１はステップＳ１０６の処理を、実撮影映像化処理の１つとして行う。即ちカメラ５０２側で生ずる色変化を、背景映像ｖＢＰにも反映させる輝度・色処理を行う。例えば上述のように、ホワイトバランス値やＲＧＢゲインをカメラ５０２と同様とする処理を行う。
　なおさらにステップＳ１０６の実撮影映像化処理においてレンダリングエンジン３１は、画角、レンズ特性、光学フィルタ特性などを反映させる処理を行う場合もある。

　ステップＳ１０６の処理、又はステップＳ１０５とＳ１０６の処理が施された背景映像ｖＢＰがシミュレーション映像ｖＳＭとなる。
　ステップＳ１０７でレンダリングエンジン３１は、そのシミュレーション映像ｖＳＭとしての１フレームを出力する。例えばモニタ４０に出力して表示させる。

　以上の処理をレンダリングエンジン３１が実行することにより、撮影システム５００で撮影を行うスタッフ等は、モニタ４０により事前に撮影映像ｖＣの色合いなどを確認できるようになる。

＜４．第２の実施の形態＞
　第２の実施の形態の構成例を図１３に示す。
　第２の実施の形態では、スタッフが、積極的に色調整を行うことができるようにするものである。モニタ４０では上述のように映像処理部３３の実撮影映像化処理によるシミュレーション映像ｖＳＭが表示され、スタッフが色合いを確認できる。

　この場合に、レンダリングエンジン３１はスタッフ等のユーザが色調整操作に用いることのできる調整操作部３５の機能を備えるようにする。例えばレンダリングエンジン３１とされる情報処理装置７０の表示部７７や入力部７６を利用したＧＵＩなどをユーザに提供する。これによりユーザは、モニタ４０を見ながら映像の色合いを操作することができる。
　即ち、スタッフが、実撮影映像化処理によるシミュレーション映像ｖＳＭを見て、考えていた色合いとは異なっていると感じた場合に、色調整を行い、望みの色が得られるようにする。
　また、調整の内容を色変換情報Ｉｃとしてカメラ５０２やカメラ信号処理部５１５に提供することで、調整した色を、撮影時に反映できるようにもする。

　具体的にレンダリングエンジン３１は、先の図１２の処理に加えて、映像処理部３３の機能により図１４のような処理を行う。

　ステップＳ２０１でレンダリングエンジン３１は、調整操作部３５によるＧＵＩを用いたユーザの色調整操作を監視する。
　色調整操作を検知した場合は、レンダリングエンジン３１はステップＳ２０２に進み、その色調整操作に応じた色調整処理を行う。

　またステップＳ２０３でレンダリングエンジン３１が調整操作部３５による決定操作を監視する。ここでいう決定操作とは、調整後の色の状態を後に再現できるようにするための色変換情報Ｉｃを生成する指示の操作である。
　具体的には色変換情報Ｉｃは、次に述べるＬＵＴやＣＤＬ（Color Decision List）などである。

　決定操作があったらレンダリングエンジン３１はステップＳ２０４に進み、色変換情報ＩｃとしてのＬＵＴやＣＤＬの生成処理を行う。
　この場合のＬＵＴは、例えばＲ、Ｇ、Ｂのレベルを３軸として、３軸の各格子点で示されるもとの色のＲ、Ｇ、Ｂ値に対して、調整後のＲ、Ｇ、Ｂ値の色を記憶する三次元ＬＵＴ（３ＤＬＵＴ）である。
　ＣＤＬは、Ｒ、Ｇ、Ｂのそれぞれにスロープ、オフセット、パワーを調整するパラメータや、サチュレーションを調整するパラメータなどを有するものである。
　これらのＬＵＴやＣＤＬとしての色変換情報Ｉｃは、例えば実撮影映像化処理で生成したシミュレーション映像ｖＳＭの色を基準にし、ユーザの調整操作による色の変化を示すものである。

　ステップＳ２０５でレンダリングエンジン３１は、生成したＬＵＴやＣＤＬを記憶したり、所定の機器に出力したりする処理を行う。
　例えばＬＵＴやＣＤＬの出力先としては、図１３に示すようにカメラ５０２やカメラ信号処理部５１５とすることが考えられる。

　つまり第２の実施の形態では、シミュレーション映像ｖＳＭによりスタッフが予め撮影映像ｖＣの色合いなどを確認できる場合に、スタッフが色を積極的に調整できるようにする。そして調整内容に応じたＬＵＴやＣＤＬを生成し、後の撮影の際に使用できるようにする。

　ＬＵＴやＣＤＬは、カメラ５０２やカメラ信号処理部５１５に導入することで、撮影映像ｖＣにＬＵＴやＣＤＬを適用させて、色調整を実行させることができる。
　つまり、スタッフは予め、撮影映像ｖＣを確認するとともに、必要に応じて色調整を行うことができる。その色調整については、ＬＵＴやＣＤＬとして記憶／出力されることで、撮影時の映像処理で適用させることができる。これにより撮影映像ｖＣは、プレビジュアライゼーションの際と同様の色調整が施されたものとなる。換言すれば、予め撮影映像ｖＣの色合いを確認し、調整までもしてしまうことが可能となる。

＜５．第３の実施の形態＞
　第３の実施の形態は、レンダリングエンジン３１の映像処理部３３が、入力に応じてシミュレーション映像ｖＳＭに反映するカメラ設定情報の変更処理を行い、カメラ設定情報を出力可能とする例である。

　ここでいうカメラ設定情報とは、例えばイメージセンサ３０からの読み出しサイズ設定、シャッタースピード設定、露出設定、ＮＤ設定、レンズ特性、フォーカス／アイリス／ズーム動作設定、ホワイトバランス値、ＲＧＢゲインなどを指す。
　上述の実撮影映像化処理では、基本的にはこれらの設定値は、撮影に用いるカメラ５０２の設定に合わせることで、実際の撮影映像ｖＣをシミュレートする。

　その上で第３の実施の形態では、これらのカメラ設定を調整操作することで、各種のカメラ設定を予め用意できるようにする。

　図１５では、映像処理部３３がプレカメラ設定の処理を行うことを示している。
　このプレカメラ設定とは、例えばスタッフが、シミュレーション映像ｖＳＭをモニタ４０で見ながら、調整操作部３５の操作により、上記のカメラ設定を変更していく処理である。映像処理部３３では、例えばシャッタースピードや露出設定などの操作に応じて、シミュレーション映像ｖＳＭにおいて露出設定変化が擬似的に反映されるようにする映像処理、例えばＲＧＢの各輝度値の変換などを行う。

　また映像処理部３３は、操作に応じて変更したカメラ設定の記憶や送信ができるようにする。例えば調整操作に応じたカメラ設定を後の撮影時にカメラ５０２等に反映させることができるようにする。
　図１５では、カメラ設定をクラウドサーバ４１に送信することを示している。クラウドサーバ４１はレンダリングエンジン３１から送信されてくるカメラ設定を記憶し、後に撮影システム５００に提供できるものとする。

　例えばユーザは、プレビジュアライゼーションでシミュレーション映像ｖＳＭを確認しながら各種のカメラ設定の調整操作を行っていき、例えばシーン毎のカメラ設定などを調整する。それらをクラウドサーバ４１にアップロードすることで、クラウドサーバ４１には、例えば図１６のようにシーンＳＣ１，ＳＣ２，ＳＣ３のそれぞれに応じてカメラ設定が記憶される。

　このようなカメラ設定は、クラウドサーバ４１からカメラ５０２やカメラ信号処理部５１５にダウンロード可能とすることで、実際の撮影時に、そのカメラ設定が用いられるようにすることができる。

　なお、カメラ設定に限らず、ＬＥＤ側の設定も同様に調整できるようにし、ＬＥＤプロセッサ５７０に設定情報がダウンロードできるようにすることもできる。
　またカメラ設定としては、上記の情報に加えて、第２の実施の形態で説明したＬＵＴやＣＤＬ等を含むものでもよい。

　図１７に映像処理部３３の機能によるレンダリングエンジン３１の処理例を示す。例えばレンダリングエンジン３１は図１２の処理や図１４の処理に加えて図１７の処理も実行できるようにする。

　ステップＳ３０１でレンダリングエンジン３１は調整操作部３５によりカメラ設定に関する調整操作が行われたか否かを監視する。
　調整操作が行われた場合は、レンダリングエンジン３１はステップＳ３０２でカメラ設定の設定変更を行う。なお実際のカメラが存在するわけではないので、設定変更とは、カメラ設定による映像を実現するように必要な映像処理パラメータを変更する処理となる。
　この状態でユーザは、カメラ設定を変更した場合のシミュレーション映像ｖＳＭを見ることができる。

　ステップＳ３０３でレンダリングエンジン３１は、設定記憶指示を検知する。ユーザが調整操作部３５による操作などにより設定記憶指示を行った場合は、レンダリングエンジン３１はステップＳ３０４に進み、その時点のカメラ設定情報の記憶や送信を行う。例えばレンダリングエンジン３１は内部の記憶媒体に記憶したり、クラウドサーバ４１等の外部装置に送信したりする処理を行う。
　これによりプレビジュアライゼーションの段階でスタッフが調整したカメラ設定を、後の撮影時に撮影システム５００において使用できるようにする。

＜６．第４の実施の形態＞
　第４の実施の形態を図１８で説明する。第４の実施の形態は、プレビジュアライゼーションの段階でモアレアラートを出力できるようにする例である。

　図１８ではレンダリングエンジン３１に、モアレ予測部３６、位置操作部３７を示している。位置操作部３７は、仮想的なカメラ位置をユーザが任意に操作できるようにしたインタフェース機能である。

　モアレ予測部３６は、設定されているカメラ位置の状態で、モアレが発生するか否かを特定のアルゴリズムで予測する機能である。
　特定のアルゴリズムとは、例えば、
・カメラの位置、角度、アイリス／フォーカス／ズーム状態
・ディスプレイ（レンダリングエンジン３１が設定する仮想的なＬＥＤウォール）の位置、角度
　等の情報から、この状態で実際に撮影を行うとモアレやスキャンライン等のアーティファクトが発生するということを判定するアルゴリズムである。

　モアレ予測部３６は、カメラ位置などの条件で、モアレ発生を予測した場合は、そのモアレ発生の情報及び発生位置の情報を映像処理部３３に通知する。
　映像処理部３３は、例えばモアレの警告や、モアレ位置を示す映像をモニタ４０に表示させるようにする。

　例えば図１９は、背景映像ｖＢＰのシミュレーション映像ｖＳＭを含む映像であるが、さらに仮想的なＬＥＤウォール５４や仮想的なカメラ５１を示した画像である。
　映像処理部３３は、単に背景映像ｖＢＰのシミュレーション映像ｖＳＭを表示させるだけでなく、例えば視点位置をスタジオ内の或る位置に設定したような映像を表示させることもできるようにする。

　図１９の映像では、さらに、ＬＥＤウォール５４の位置情報５２や、カメラの位置情報５２を表示させている。
　また原点情報５０として、空間内での各位置の基準となる原点位置やＸ、Ｙ、Ｚの３軸方向を示している。

　図２０は、モアレアラート５３が表示されるとともに、モアレ位置５７が示されている例である。
　例えばカメラ５１の位置が図１９と変更されているが、この状態でモアレ発生予測がなされたとする。その場合、モアレアラート５３が表示され、またモアレが発生する位置がモアレ位置５７として表示される。

　なお、映像上でのカメラ５１の位置は、ユーザが任意に変更させることができる。例えばユーザがカメラ５１を指定する操作を行うと、図２１に示すようにＸ、Ｙ、Ｚ方向の移動軸５５が表示される。ユーザはカーソル５６を或る移動軸５５に合わせた状態で、ドラッグ等の操作を行うと、仮想空間内のカメラ５１の位置が変更される。例えば以上のようなユーザインタフェースが位置操作部３７の機能により提供されるようにする。

　従ってユーザは、仮想的なカメラ５１を任意に動かしながら、モアレが生ずるか否かを確認していくことができる。
　これにより、実際の撮影時のカメラ位置やカメラパスを、モアレが生じないように設定することも可能となる。

　図２２はレンダリングエンジン３１によるモアレに関する処理を示している。レンダリングエンジン３１は、例えば図１２の処理、図１４の処理、図１７の処理に加えて図２２の処理を実行する。

　ステップＳ４０１でレンダリングエンジン３１はカメラ位置操作がなされたか否かを監視する。
　例えばユーザが位置操作部３７の機能でカメラ位置操作を行った場合は、レンダリングエンジン３１はステップＳ４０２に進み、変更したカメラ位置及び撮影方向の情報を用いてモアレ予測を行う。
　なお、カメラ位置操作の際だけでなく、ズーム操作や露出調整操作などが行われた場合にもステップＳ４０２に進むようにしてもよい。

　ステップＳ４０３でレンダリングエンジン３１はモアレ予測の結果を確認し、モアレが発生すると予測された場合は、ステップＳ４０４でモアレアラートを出力させる処理を行う。

　以上により、図２０で示したようなモアレアラート５３が表示され、これによりスタッフは撮影前の段階で、モアレ発生を知ることができる。従ってモアレが発生しないようなカメラ位置やカメラパスを考えるなどを本番撮影前に行うことができる。

　ところで、実際の撮影時においてレンダリングエンジン５２０がモアレ判定を行うこともできる。
　図１８ではレンダリングエンジン５２０側において、レンダリング部５２０ａに加えてＣＧカメラ設定部５２０ｃとモアレ判定部５２０ｄを示している。
　ＣＧカメラ設定部５２０ｃは、カメラトラッカー５６０からの撮影情報、例えばカメラ５０２の位置、撮影方向、画角、焦点距離、Ｆ値、シャッタースピード、レンズ情報などを受け、それに応じたレンダリングをレンダリング部５２０ａに実行させる。

　モアレ判定部５２０ｄは、レンダリングされた撮影領域映像ｖＢＣに対して、今、モアレが発生しているか否かの判定を、ＣＧカメラ設定部５２０ｃが得た情報を利用して行う。つまりモアレ予測部３６と同様のアルゴリズムで現在のモアレ発生判定を行う。
　そしてモアレ発生と判定した場合は、例えばその情報をカメラ５０２に送信し、ビューファインダーなどにおいてモアレアラートが表示されるようにする。

　図２３にそのようなリアルタイムのモアレアラートを行う処理例を示している。なお、図２３は図６で説明したステップＳ１０からステップＳ６０に加えて、ステップＳ７０以降が行われるようにしたものである。

　上述したようにレンダリングエンジン５２０はフレームタイミング毎にステップＳ３０からステップＳ６０までの処理を行う。これにより背景映像ｖＢがＬＥＤウォール５０５に表示される。

　レンダリングエンジン５２０はステップＳ７０でモアレ判定を行う。
　ステップＳ７１でレンダリングエンジン５２０はモアレ判定の結果を確認し、モアレが発生していると判定した場合は、ステップＳ７２でモアレアラートを出力させる処理を行う。例えばレンダリングエンジン５２０はモアレアラートの情報をカメラ５０２に送信し、ビューファインダーなどにおいてモアレアラートが表示されるようにする。或いはモニタ５５０等にモアレアラートが表示されるようにしてもよい。

　以上により、カメラマンは、撮影中に現在モアレが発生していると認識して対処することができる。例えばカメラ位置を移動させたり、フォーカス調整を行ったりして対処できる。

＜７．撮影データのフロー＞
　続いて、撮影システム５００を用いたプロダクション（ＳＴ２）で得た撮影映像ｖＣのポストプロダクション（ＳＴ３）への提供形態について述べておく。

　カメラ５０２で撮影した撮影映像ｖＣは、例えば配信サーバに送信し、リアルタイムでストリーム配信することができる。これにより映像コンテンツの制作スタッフの一部が、外部モニタで撮影映像ｖＣをリモートモニタリングできるようになる。

　また撮影映像ｖＣを動画ファイルとしてファイル化してクラウドサーバ等に転送し、ポストプロダクションスタッフが共有可能に保存することで、ポストプロダクションの各種作業を進めるようにすることができる。
　その際、撮影時の撮影情報としてのカメラ５０２の位置情報、カメラの向き、画角、焦点距離、絞り値、シャッタースピード、レンズ情報などや、使用したＬＵＴ、ＣＤＬ等をメタデータ化してファイルに含めるようにする。或いは撮影情報や、ＬＵＴ、ＣＤＬ等を少なくとも動画と関連づけて参照できるようにしておく。これにより撮影時の情報を用いた編集等を行うことができる。
　動画ファイルとしては、ＲＡＷ動画ファイル、ＭＰＥＧ－４（Moving Picture Experts Group）、ＡＶＩ（Audio Video Interleave）、ＭＯＶ（Quick time File Format)、ＷＭＶ（Windows Media Video）等の動画ファイル、メザニンファイル、プロキシ動画ファイルなど、どのような形式のファイルでもよい。

　先に述べたように、プレビジュアライゼーションの確認や調整の作業は、スタジオ外の情報処理装置７０によるレンダリングエンジン３１により実行可能である。
　また上記のように撮影映像ｖＣをリアルタイムモニタリングすることやクラウドサーバ等により共有化することで、ポストプロダクションも撮影スタジオに縛られずに可能となる。つまりこれらにより、一連の映像制作作業のリモート化、効率化を促進できる。

＜８．まとめ及び変型例＞
　以上の実施の形態によれば次のような効果が得られる。

　情報処理装置７０により実現される実施の形態のレンダリングエンジン３１は、撮影システム５００で撮影時に使用する３Ｄモデルを用いてレンダリングを行って仮想映像である背景映像ｖＢＰを生成するレンダリング部３２を有する。またレンダリングエンジン３１は、レンダリング部３２で生成した背景映像ｖＢＰに対して、撮影システム５００で使用するカメラ５０２の撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像ｖＳＭを生成するための実撮影映像化処理を行う映像処理部３３を備える。

　これにより、撮影前の段階で、撮影映像ｖＣにおける輝度や色の状態を模したモニタ映像が表示できる。従って撮影に先立って監督やスタッフが、撮影によって得られる撮影映像ｖＣの輝度や色の具合を確認することができる。
　実際に撮影の段階で、監督等が思い描いていた色合いなどと異なる撮影映像ｖＣが得られることがあるが、その場合、現場のスタジオにおける色調整に時間がかかり、制作効率が低下する。このため撮影前に予め撮影映像ｖＣの色合いなどを確認できることは重要である。

　またバーチャルプロダクションの場合、アセットクリエイション（ＳＴ１）の段階で背景映像ｖＢのための３Ｄモデルが制作される。つまり撮影前の段階で、背景映像ｖＢをレンダリングできる環境にある。このため図１０のように映像処理部３３で実撮影映像化処理を加えることで予めの輝度・色確認を実現できる。

　なお実施の形態においてレンダリングエンジン３１は、レンダリングエンジン５２０とは別の情報処理装置７０により実現されるとして説明したが、レンダリングエンジン３１、５２０が一つの情報処理装置７０により実現されてもよい。

　実施の形態では、映像処理部３３は、ＬＥＤウォール５０５の映像の輝度又は色の変化特性を実現する処理パラメータによるディスプレイ映像処理（図１２のステップＳ１０５の映像処理）も行ったうえで、カメラ５０２の撮影時の輝度又は色の特性を実現する処理パラメータによるカメラ映像処理（図１２のステップＳ１０６の映像処理）を行ってシミュレーション映像ｖＳＭを生成する場合についても述べた。
　ＬＥＤウォール５０５側において、色や輝度の変化がある場合、つまりＬＥＤパネル５０６やＬＥＤプロセッサ５７０の処理において色や輝度の変化が生じる場合は、その変化も加味することで、撮影時の撮影映像ｖＣをシミュレートできる。これによりシミュレーション精度を向上でき、映像確認に適している。

　なお、図１０で説明したようにレンダリングエンジン５２０において色キャリブレーション部５２０ｂの処理により、ＬＥＤウォール５０５側の背景映像ｖＢに、機器や処理による色変化がキャンセルされる場合もある。そのような撮影システム５００の場合は、ＬＥＤウォール５０５側の特性は反映せず、カメラ特性をシミュレートした実撮影映像化処理でよい。

　第２の実施の形態では、映像処理部３３がユーザ操作に基づく制御信号に応じてシミュレーション映像ｖＳＭの色調整処理を行い、色調整処理に基づいて色変換情報Ｉｃを生成する例を挙げた。
　図１３で説明したように映像処理部３３は、色変換情報ＩｃとしてＬＵＴやＣＤＬを生成する。スタッフは、モニタ４０を確認しながら色調整操作を行うことができ、これに応じてＬＵＴやＣＤＬが生成される。つまりプレビジュアライゼーションの段階で、望ましい色づくりを行い、その色づくりを実現する色変換情報Ｉｃを生成しておくことができる。

　第２の実施の形態で述べたように、映像処理部３３は、色変換情報Ｉｃを出力可能とされている。
　映像処理部３３は、色変換情報ＩｃとしてＬＵＴやＣＤＬを生成したら、それを出力し、カメラ５０２やカメラ信号処理部５１５などで用いることができるようにする。これによりプレビジュアライゼーションの段階で設定したＬＵＴ等による色調整を本番の撮影の際に容易に実現できる。

　第３の実施の形態では、映像処理部３３は、ユーザ操作に基づく制御信号に応じてシミュレーション映像ｖＳＭに反映するカメラ設定情報の変更処理を行い、変更したカメラ設定情報を出力可能とされている例を挙げた。
　図１５で説明したように映像処理部３３は、プレカメラ設定としてカメラ５０２の撮影時の設定を保持する。例えばイメージセンサ３０からの読み出しサイズ設定、シャッタースピード設定、露出設定、ＮＤ設定、レンズ特性、フォーカス／アイリス／ズーム動作設定、ホワイトバランス設定などである。さらには適用するＬＵＴ等の設定もある。
　例えばこれらの設定をカメラ５０２と同一にした状態からスタッフの操作により変更していくことができるようにする。そして調整したカメラ設定情報を出力し、カメラ５０２やカメラ信号処理部５１５、或いはＬＥＤプロセッサ５７０に提供できるようにする。これにより、撮影時のカメラ設定をプレビジュアライゼーションの段階で映像を確認しながら最適な状態に調整することが可能になる。本番の撮影作業は、プレビジュアライゼーションの際に確認した状態から開始できる。

　実施の形態において、撮影システム５００で使用するカメラ５０２の撮影時の輝度又は色の特性を実現する処理パラメータとしては、ホワイトバランス値を含むものとした。
　撮影前に撮影時の撮影映像ｖＣの色合いを確認できることが重要である。そのためプレビジュアライゼーションでは撮影時のカメラ５０２で適用するホワイトバランス値を含んで実撮影映像化処理を行ったシミュレーション映像ｖＳＭを生成することが好適である。

　また実施の形態において、撮影システム５００で使用するカメラ５０２の撮影時の輝度又は色の特性を実現する処理パラメータとしては、カメラ５０２におけるイメージセンサから読み出された各色の画素信号に対するゲインの値を含む。
　撮影映像ｖＣの色合いの確認のための要素としては、例えばＲ、Ｇ、Ｂの各画素信号に対するゲインによって決まる色バランスがある。そこでプレビジュアライゼーションでは撮影時のカメラ５０２で適用するＲ、Ｇ、Ｂ信号についてのゲイン（色バランス）を含んで実撮影映像化処理を行うことが好適である。

　また実施の形態において、映像処理部３３は、実撮影映像化処理において、撮影システム５００で使用するカメラ５０２の撮影時の画角情報に基づいた画角設定でシミュレーション映像ｖＳＭを生成する例を述べた。
　シミュレーション映像ｖＳＭとしては、撮影時の撮影映像ｖＣと同じ画角の映像とする。シミュレーション映像ｖＳＭは撮影映像ｖＣと同じ色合いであることに加えて同じ画角であることが、映像の確認としては望ましいためである。
　なお画角情報とは、ズーム設定による画角情報もあるし、イメージセンサ３０からの切り出し範囲設定を示す画角情報もある。

　また実施の形態において、映像処理部３３は、実撮影映像化処理において、撮影システム５００で使用するカメラ５０２のレンズ特性を反映したシミュレーション映像ｖＳＭを生成する例を述べた。
　シミュレーション映像ｖＳＭとしては、撮影時の撮影映像ｖＣに限りなく近づけることが望ましいため、レンズ歪み等の特性も表現される映像とする。

　また実施の形態において、映像処理部３３は、実撮影映像化処理において、撮影システム５００で使用するカメラ５０２に装着される光学フィルタの特性を反映したシミュレーション映像ｖＳＭを生成する例を述べた。
　カメラ５０２に光学フィルタが装着される場合は、その光学フィルタ特性も反映させることで、シミュレーション映像ｖＳＭを撮影時の撮影映像ｖＣに近づけることができる。

　第４の実施の形態では、レンダリング部３２によってレンダリングされた背景映像ｖＢＰについて判定されたモアレ予測情報に応じて、モアレ警告の出力処理を行う例を述べた。
　図１８で説明したようにモアレ予測部３６によるモアレ予測情報に応じて、モニタ４０などにおいてモアレアラート５３を表示させる処理を行う。これによりプレビジュアライゼーションの段階でモアレの状況を予測できる。

　また第４の実施の形態では、映像上でカメラ位置を任意に変更させるユーザインタフェースが用意され、モアレ予測は、ユーザインタフェースにより変更されるカメラ位置に応じて行われる例を挙げた（図１９，図２０，図２１，図２２参照）。
　スタッフがカメラ位置操作映像においてカメラ位置を各種シミュレートできるようにした場合、そのカメラ位置に応じてモアレ発生が予測されるようにする。これによりモアレの出ないカメラ位置を選ぶなど、カメラワークの構想にも役立つ。

　また第４の実施の形態では、モアレ判定部５２０ｄによるモアレ判定情報に応じて、カメラ５０２のビューファインダーなどにおいてモアレアラートを表示させる処理を行う例も述べた（図１８，図２３参照）。これにより撮影時にカメラマン等はモアレの状況を知ることができ、対処できる。
　なお、モアレ予測部３６によるモアレ予測と、モアレ判定部５２０ｄによるモアレ判定は、同じアルゴリズムでもよいし、異なるアルゴリズムでもよい。また同じアルゴリズムの場合に、予測／判定の閾値を同じとしてもよいし、異なるものとしてもよい。

　実施の形態においてレンダリングエンジン３１とされる情報処理装置７０は、撮影システム５００を構成する機器とは別体の機器であるとして説明した。
　プレビジュアライゼーションのための情報処理装置７０は、撮影スタジオに構築された撮影システム５００を構成する機器とは別の装置とする。例えばスタッフは、スタジオセット以外のＰＣ、タブレット等の機器を本実施の形態の情報処理装置７０として用いる。これによりスタッフは、スタジオとは別の場所でシミュレーション映像ｖＳＭを確認でき、映像コンテンツ制作の効率化に好適である。

　なお、撮影システム５００におけるレンダリングエンジン５２０を利用して実施の形態で説明したシミュレーション映像ｖＳＭを生成することもできる。即ちレンダリングエンジン５２０が映像処理部３３と同等の機能を備えて実撮影映像化処理を行うようにすれば撮影システム５００を使用して、例えば撮影開始前にシミュレーション映像ｖＳＭを確認するといったことも可能である。

　実施の形態のプログラムは、上述の図１２，図１４，図１７，図２２のような処理を、例えばＣＰＵ、ＤＳＰ等のプロセッサ、或いはこれらを含むデバイスに実行させるプログラムである。
　即ち実施の形態のプログラムは、撮影システム５００で使用する３Ｄモデルを用いてレンダリングを行って仮想映像（例えば背景映像ｖＢＰ）を生成する処理と、生成した仮想映像に対して、撮影システム５００で使用するカメラ５０２の撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像ｖＳＭを生成する実撮影映像化処理とを情報処理装置に実行させるプログラムである。

　このようなプログラムにより、上述したプレビジュアライゼーションにおけるシミュレーション映像ｖＳＭを生成する情報処理装置７０を、各種のコンピュータ装置により実現できる。

　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。また、このようなプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態のレンダリングエンジン３１となる情報処理装置７０の広範な提供に適している。例えばパーソナルコンピュータ、通信機器、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの装置を本開示の情報処理装置７０（レンダリングエンジン３１）として機能させることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　３Ｄモデルを用いたレンダリングにより得た仮想映像を表示するディスプレイの映像をカメラで撮影する撮影システムにおいて使用する前記３Ｄモデルを用いてレンダリングを行うことで仮想映像を生成するレンダリング部と、
　前記レンダリング部で生成した仮想映像に対して、前記撮影システムで使用する前記カメラの撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像を生成するための実撮影映像化処理を行う映像処理部と、を備えた
　情報処理装置。
　（２）
　前記映像処理部は、前記ディスプレイの映像の輝度又は色の変化特性を実現する処理パラメータによるディスプレイ映像処理を行ったうえで、前記カメラの撮影時の輝度又は色の特性を実現する処理パラメータによるカメラ映像処理を行って前記シミュレーション映像を生成する
　上記（１）に記載の情報処理装置。
　（３）
　前記映像処理部は、ユーザ操作に基づく制御信号に応じて前記シミュレーション映像の色調整処理を行い、色調整処理に基づいて色変換情報を生成する
　上記（１）又は（２）に記載の情報処理装置。
　（４）
　前記映像処理部は、前記色変換情報を出力可能とされている
　上記（３）に記載の情報処理装置。
　（５）
　前記色変換情報は、前記カメラによる撮影映像の信号処理に用いられる情報として出力される
　上記（４）に記載の情報処理装置。
　（６）
　前記映像処理部は、ユーザ操作に基づく制御信号に応じて前記シミュレーション映像に反映するカメラ設定情報の変更処理を行い、変更したカメラ設定情報を出力可能とされている
　上記（１）から（５）のいずれかに記載の情報処理装置。
　（７）
　前記カメラ設定情報は、前記カメラの設定に用いられる情報として出力される
　上記（６）に記載の情報処理装置。
　（８）
　前記撮影システムで使用する前記カメラの撮影時の輝度又は色の特性を実現する処理パラメータとしては、ホワイトバランス値を含む
　上記（１）から（７）のいずれかに記載の情報処理装置。
　（９）
　前記撮影システムで使用する前記カメラの撮影時の輝度又は色の特性を実現する処理パラメータとしては、前記カメラにおけるイメージセンサから読み出された各色の画素信号に対するゲインの値を含む
　上記（１）から（８）のいずれかに記載の情報処理装置。
　（１０）
　前記映像処理部は、前記実撮影映像化処理において、前記撮影システムで使用する前記カメラの撮影時の画角情報に基づいた画角設定で前記シミュレーション映像を生成する
　上記（１）から（９）のいずれかに記載の情報処理装置。
　（１１）
　前記映像処理部は、前記実撮影映像化処理において、前記撮影システムで使用する前記カメラのレンズ特性を反映した前記シミュレーション映像を生成する
　上記（１）から（１０）のいずれかに記載の情報処理装置。
　（１２）
　前記映像処理部は、前記実撮影映像化処理において、前記撮影システムで使用する前記カメラに装着される光学フィルタの特性を反映した前記シミュレーション映像を生成する
　上記（１）から（１１）のいずれかに記載の情報処理装置。
　（１３）
　前記レンダリング部によってレンダリングされた映像について判定されたモアレ予測情報に応じて、モアレ警告の出力処理を行う
　上記（１）から（１２）のいずれかに記載の情報処理装置。
　（１４）
　映像上でカメラ位置を任意に変更させるユーザインタフェースが用意され、モアレ予測は、前記ユーザインタフェースにより変更されるカメラ位置に応じて行われる
　上記（１３）に記載の情報処理装置。
　（１５）
　前記撮影システムを構成する機器とは別体の機器である
　上記（１）から（１４）のいずれかに記載の情報処理装置。
　（１６）
　３Ｄモデルを用いてレンダリングした仮想映像を表示するディスプレイの映像をカメラで撮影する撮影システムで使用する前記３Ｄモデルを用いてレンダリングを行って仮想映像を生成し、
　生成した仮想映像に対して、前記撮影システムで使用するカメラの撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像を生成する実撮影映像化処理を行う
　情報処理方法。
　（１７）
　３Ｄモデルを用いてレンダリングした仮想映像を表示するディスプレイの映像をカメラで撮影する撮影システムで使用する前記３Ｄモデルを用いてレンダリングを行って仮想映像を生成する処理と、
　生成した仮想映像に対して、前記撮影システムで使用するカメラの撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像を生成する実撮影映像化処理と、
を情報処理装置に実行させるプログラム。
　（１８）
　３Ｄモデルを用いてレンダリングした仮想映像を表示するディスプレイの映像をカメラで撮影する撮影システムと、
　前記３Ｄモデルを使用する情報処理装置と、
　を備え、
　前記情報処理装置は、
前記３Ｄモデルを用いてレンダリングを行って仮想映像を生成するレンダリング部と、
　前記レンダリング部で生成した仮想映像に対して、前記撮影システムで使用するカメラの撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像を生成するための実撮影映像化処理を行う映像処理部と、を備えた
　情報処理システム。
　（１９）
　前記撮影システムは、
　前記ディスプレイの映像を前記カメラで撮影する場合に、モアレ判定情報に応じて、モアレ警告の出力処理を行う
　上記（１８）に記載の情報処理システム。
　（２０）
　前記映像処理部は、ユーザ操作に基づく制御信号に応じて前記シミュレーション映像の色調整処理を行い、色調整処理に基づいて色変換情報を生成して出力し、
　前記撮影システムは、前記色変換情報を用いて前記カメラによる撮影映像の信号処理を行う
　上記（１８）又は（１９）に記載の情報処理システム。
　（２１）
　前記映像処理部は、ユーザ操作に基づく制御信号に応じて前記シミュレーション映像に反映するカメラ設定情報の変更処理を行い、変更したカメラ設定情報を出力し、
　前記撮影システムは、前記カメラ設定情報に基づいて前記カメラの設定を行う
　上記（１８）から（２０）のいずれかに記載の情報処理システム。

３１　レンダリングエンジン
３２　レンダリング部
３３　映像処理部
３５　調整操作部
３６　モアレ予測部
３７　位置操作部
４０　モニタ
４１　クラウドサーバ
７０　情報処理装置、
５００　撮影システム
５０２　カメラ
５０３　アウトプットモニタ
５０５　ＬＥＤウォール
５０６　ＬＥＤパネル
５１５　カメラ信号処理部
５２０　レンダリングエンジン
５２０ａ　レンダリング部
５２０ｂ　色キャリブレーション部
５２０ｃ　ＣＧカメラ設定部
７００　プレビジュアライゼーションシステム
ｖＢ，ｖＢＰ　背景映像
ｖＣ　撮影映像
ｖＭ　モニタ映像
ｖＳＭ　シミュレーション映像
ｖＰ　カメラ位置操作映像
Ｉｃ　色変換情報

Claims

　３Ｄモデルを用いたレンダリングにより得た仮想映像を表示するディスプレイの映像をカメラで撮影する撮影システムにおいて使用する前記３Ｄモデルを用いてレンダリングを行うことで仮想映像を生成するレンダリング部と、
　前記レンダリング部で生成した仮想映像に対して、前記撮影システムで使用する前記カメラの撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像を生成するための実撮影映像化処理を行う映像処理部と、を備えた
　情報処理装置。
　前記映像処理部は、前記ディスプレイの映像の輝度又は色の変化特性を実現する処理パラメータによるディスプレイ映像処理を行ったうえで、前記カメラの撮影時の輝度又は色の特性を実現する処理パラメータによるカメラ映像処理を行って前記シミュレーション映像を生成する
　請求項１に記載の情報処理装置。
　前記映像処理部は、ユーザ操作に基づく制御信号に応じて前記シミュレーション映像の色調整処理を行い、色調整処理に基づいて色変換情報を生成する
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記色変換情報を出力可能とされている
　請求項３に記載の情報処理装置。
　前記色変換情報は、前記カメラによる撮影映像の信号処理に用いられる情報として出力される
　請求項４に記載の情報処理装置。
　前記映像処理部は、ユーザ操作に基づく制御信号に応じて前記シミュレーション映像に反映するカメラ設定情報の変更処理を行い、変更したカメラ設定情報を出力可能とされている
　請求項１に記載の情報処理装置。
　前記カメラ設定情報は、前記カメラの設定に用いられる情報として出力される
　請求項６に記載の情報処理装置。
　前記撮影システムで使用する前記カメラの撮影時の輝度又は色の特性を実現する処理パラメータとしては、ホワイトバランス値を含む
　請求項１に記載の情報処理装置。
　前記撮影システムで使用する前記カメラの撮影時の輝度又は色の特性を実現する処理パラメータとしては、前記カメラにおけるイメージセンサから読み出された各色の画素信号に対するゲインの値を含む
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記実撮影映像化処理において、前記撮影システムで使用する前記カメラの撮影時の画角情報に基づいた画角設定で前記シミュレーション映像を生成する
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記実撮影映像化処理において、前記撮影システムで使用する前記カメラのレンズ特性を反映した前記シミュレーション映像を生成する
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記実撮影映像化処理において、前記撮影システムで使用する前記カメラに装着される光学フィルタの特性を反映した前記シミュレーション映像を生成する
　請求項１に記載の情報処理装置。
　前記レンダリング部によってレンダリングされた映像について判定されたモアレ予測情報に応じて、モアレ警告の出力処理を行う
　請求項１に記載の情報処理装置。
　映像上でカメラ位置を任意に変更させるユーザインタフェースが用意され、モアレ予測は、前記ユーザインタフェースにより変更されるカメラ位置に応じて行われる
　請求項１３に記載の情報処理装置。
　前記撮影システムを構成する機器とは別体の機器である
　請求項１に記載の情報処理装置。
　３Ｄモデルを用いてレンダリングした仮想映像を表示するディスプレイの映像をカメラで撮影する撮影システムで使用する前記３Ｄモデルを用いてレンダリングを行って仮想映像を生成し、
　生成した仮想映像に対して、前記撮影システムで使用するカメラの撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像を生成する実撮影映像化処理を行う
　情報処理方法。
　３Ｄモデルを用いてレンダリングした仮想映像を表示するディスプレイの映像をカメラで撮影する撮影システムで使用する前記３Ｄモデルを用いてレンダリングを行って仮想映像を生成する処理と、
　生成した仮想映像に対して、前記撮影システムで使用するカメラの撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像を生成する実撮影映像化処理と、
を情報処理装置に実行させるプログラム。
　３Ｄモデルを用いてレンダリングした仮想映像を表示するディスプレイの映像をカメラで撮影する撮影システムと、
　前記３Ｄモデルを使用する情報処理装置と、
　を備え、
　前記情報処理装置は、
　前記３Ｄモデルを用いてレンダリングを行って仮想映像を生成するレンダリング部と、
　前記レンダリング部で生成した仮想映像に対して、前記撮影システムで使用するカメラの撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像を生成するための実撮影映像化処理を行う映像処理部と、を備えた
　情報処理システム。
　前記撮影システムは、
　前記ディスプレイの映像を前記カメラで撮影する場合に、モアレ判定情報に応じて、モアレ警告の出力処理を行う
　請求項１８に記載の情報処理システム。
　前記映像処理部は、ユーザ操作に基づく制御信号に応じて前記シミュレーション映像の色調整処理を行い、色調整処理に基づいて色変換情報を生成して出力し、
　前記撮影システムは、前記色変換情報を用いて前記カメラによる撮影映像の信号処理を行う
　請求項１８に記載の情報処理システム。
　前記映像処理部は、ユーザ操作に基づく制御信号に応じて前記シミュレーション映像に反映するカメラ設定情報の変更処理を行い、変更したカメラ設定情報を出力し、
　前記撮影システムは、前記カメラ設定情報に基づいて前記カメラの設定を行う
　請求項１８に記載の情報処理システム。