JP7391542B2 - 画像処理システム、画像処理方法、およびプログラム - Google Patents

Description

本発明は、撮像画像からオブジェクトに関するデータを生成する技術に関する。

異なる位置に設置された複数のカメラで同期撮像を行い、当該撮像により得られた複数の画像を用いて、実際には存在しないカメラからの仮想視点画像を含む仮想視点コンテンツを生成する技術が注目されている。

非特許文献１には、複数の画像から対象物体のシルエットマスクを抽出し、視体積交差法による３次元モデル生成に関する技術が記載されている。

特開２００１―４３４５８号公報

Ａ．Ｌａｕｒｅｎｔｉｎｉ、"Ｔｈｅ ｖｉｓｕａｌ ｈｕｌｌ ｃｏｎｃｅｐｔ ｆｏｒ ｓｉｌｈｏｕｅｔｔｅ―ｂａｓｅｄ ｉｍａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ"、ＩＥＥＥ Ｔｒａｎｓｃｒｉｐｔｉｏｎｓ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ.１６、Ｎｏ.２、ｐｐ.１５０－１６２、Ｆｅｂ.１９９４

複数の視点による撮像は、様々な環境下で行われる。例えば、快晴の場合における、炎天下などの外部からの光が強い場所と日影の組み合わせ、夜間における強力な照明とそれが当たらない部分の組み合わせ、強い逆光の条件での撮像などにおいて、被写体としてダイナミックレンジが非常に大きくなるケースがある。ダイナミックレンジが大きいと、撮像画像の明るい部分や暗い部分から、前景画像や、白飛びや黒潰れの無いテクスチャを取得することは困難であった。すなわち、明るさのダイナミックレンジが広いオブジェクトあるいは撮像環境であると、撮像画像からオブジェクトに関するデータを適切に生成することができなかった。

本発明は、明るさのダイナミックレンジが広いオブジェクトあるいは撮像環境であっても、オブジェクトに関するデータを適切に生成することを目的としている。

本発明の一態様に係る画像処理システムは、複数の撮像手段によってオブジェクトを撮像することにより取得された複数の撮像画像それぞれに対する、前記オブジェクトを抽出するための複数の前景マスクを取得する第一の取得手段と、前記複数の撮像画像それぞれにおいて露出値が不適切である領域を検出して、前記複数の撮像画像に対応する、露出不適切領域をマスクするための複数の不適切領域マスクを取得する第二の取得手段と、前記複数の前景マスクおよび前記複数の不適切領域マスクに基づき、前記オブジェクトの形状を表す三次元形状データを生成する生成手段とを有し、前記第二の取得手段は、前記複数の撮像手段のうち、第一の輝度レンジに設定された前記撮像手段によって撮像することにより取得された前記撮像画像にて画素値が前記第一の輝度レンジの上限閾値よりも大きい部分を第一の不適切領域として検出し、前記複数の撮像手段のうち、前記第一の輝度レンジより相対的に輝度が高い第二の輝度レンジに設定された前記撮像手段によって撮像することにより取得された前記撮像画像にて画素値が前記第二の輝度レンジの下限閾値よりも小さい部分を第二の不適切領域として検出し、前記生成手段は、前記露出値が不適切である領域に対応する前記前景マスクが形状データの生成用のシルエットマスクとして使用可能である場合、前記前景マスクを用いて前記三次元形状データを生成することを特徴とする。

本発明によれば、明るさのダイナミックレンジが広いオブジェクトあるいは撮像環境であっても、オブジェクトに関するデータを適切に生成することができる。

視体積交差法による３次元モデルの生成方法を示す図 画像処理システムの概略構成を示す図 カメラの姿勢を説明する図 カメラおよび撮像対象を説明する図 各カメラと輝度カバー領域との関係例を示す図 所定の露出値のカメラで撮像した画像例を示す図 カメラ処理部および本体処理部の内部構成を含むブロック図 Ｈカメラの撮像画像に基づく画像例を示す図 Ｌカメラの撮像画像に基づく画像例を示す図 形状推定処理の手順例を示すフローチャート カメラ処理部および本体処理部の内部構成を含むブロック図 形状推定処理の手順例を示すフローチャート カメラ処理部および本体処理部の内部構成を含むブロック図 所定の露出値のカメラで撮像した画像例を示す図 カメラと前景オブジェクトとの関係を示す図 カメラ選択および露出補正を説明する図 色付け処理の手順例を示すフローチャート 画像処理装置のハードウェア構成例を示す図

本実施形態の説明に先立ち、視体積交差法による３次元モデル（３次元形状データ）の生成について説明する。

視体積交差法は、例えば複数のカメラで撮像して取得した撮像画像を基に３次元モデルを生成する代表的な手法であり、近年それに基づくシステムが数多く開発されている。図１は、視体積交差法の基本原理を示す図である。図１（ａ）は、ある対象物体（オブジェクト）（Ｃ）を撮像装置であるカメラにより撮像したときの図である。図１（ａ）に示すように、対象物体（Ｃ）をカメラで撮像すると、カメラが撮像した撮像画像の撮像面（Ｓ）に対象物体を示す前景の二次元シルエット（前景領域）を表すマスク画像（Ｄａ）が得られる。図１（ｂ）は、カメラの投影中心（Ｐａ）からマスク画像（Ｄａ）の輪郭上の各点を通すように、３次元空間中に広がる錐体を示す図である。この錐体のことを当該カメラによる視体積Ｖａと呼ぶ。

図１（ｃ）は、複数の視体積によりオブジェクトの３次元（前景の３次元モデル）が求まる様子を示す図である。図１（ｃ）に示すように、位置が異なる複数のカメラ（図示例では、カメラＡ、カメラＢ、カメラＣの３台）によって同期撮像された画像に基づく前景領域からカメラごとの複数の視体積を求める。視体積交差法は、複数のカメラの視体積の交差（共通領域）を求めることによって、対象物体の前景の３次元モデルを求める方法である。

本明細書では、以降、マスク画像Ｄａに相当するものをシルエットマスクと表現し、オブジェクトがシルエットマスクにあることを主張する部分を“１”とし、オブジェクトがシルエットマスクに無いことを主張する部分を“０”とする。

以下、本発明を実施するための形態について図面を用いて説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。また、実施形態で説明されている構成要素の組み合わせのすべてが、課題を解決するための手段に必須のものとは限らず、種々の変形及び変更が可能である。

［実施形態１］
図２は、本実施形態の画像処理システム（以下、システムと称す）２００の概略構成を説明する図である。システム２００は、複数の撮像装置であるカメラ２０１と画像処理装置２０２とを有する。複数のカメラ２０１は、競技場のフィールド２１０の周囲に並べて配置される。複数のカメラ２０１は、複数のカメラ２０１による複数の視点から競技場のフィールド２１０を撮像するように構成されている。競技場のフィールド２１０上では、例えばサッカーなどの競技が行われており、競技場のフィールド２１０上に前景のオブジェクトとなる人物２１１が存在しているものとする。オブジェクトとは、例えば選手、監督、または審判などの特定の人物である。オブジェクトは、ボール、またはゴールなどのように画像パターンが予め定められている物体であってもよい。また、オブジェクトは動体であってもよいし、静止体であってもよい。

図３は、カメラの姿勢を説明する図である。カメラ２０１は、競技場のフィールド２１０（撮像空間の底面）上方にて、カメラの視線方向が競技場のフィールド２１０に対して所定の角度θ（例えば５度～８０度）となるように設置される。このように設置されたカメラ２０１によれば、フィールド２１０上方の高い位置からフィールド２１０を俯瞰できる。

カメラ２０１の設置角度θは、全てのカメラで同じ値である必要はなく、例えば個体ごとに大幅に異なる値でも良い。あるいは、複数のカメラは、例えば、各カメラに取り付けた三脚を１段伸ばした状態、２段伸ばした状態や３段伸ばした状態など、複数段に分かれて並んでいてもよい。

各カメラ２０１は、データ伝送のための画像処理および入出力ハードウェアを備える。カメラ２０１同士は、例えばネットワークケーブルを使ってリング型のネットワーク接続がされており、ネットワークを介して隣のカメラへ画像データを順次伝送するように構成されている。

すなわち、カメラ２０１は、受信した画像データと、自身のカメラ２０１で撮像して得られた画像データとを併せて隣のカメラに伝送するように構成されている。カメラ２０１のうちの一つは画像処理装置２０２と接続されている。各カメラ２０１の画像データは、詳細につき後述する、各カメラ２０１に設けられたカメラアダプタ（不図示）のカメラ処理部７１０で所定の情報処理（画像処理）が行われた後、ネットワーク及びカメラ２０１を介して画像処理装置２０２まで伝送される。画像処理装置２０２の本体処理部７２０では、受信した画像データを用いて、仮想視点画像を生成する処理が行われる。

システム２００が有する複数のカメラ２０１の露出設定について、図４、５、６を用いて説明する。

図４は、カメラおよび撮像対象を説明する図である。図４では、システム２００が有する複数のカメラ２０１の一部を示している。ここでは、システム２００が有する、Ｃａｍ０１、・・・、Ｃａｍ６０の６０台のカメラ２０１のうち、Ｃａｍ０１～Ｃａｍ０６の６台のカメラ２０１を例として説明する。なお、システム２００が有するカメラ２０１の数量は６０台に限定されず、６０台未満であっても６１台以上であってもよい。

システム２００では、複数のカメラ２０１はそれぞれ露出設定を変更可能となっている。★印の付いたカメラは、通常より露出値を上げる方向に制御するように指定され他のカメラの露出値よりも相対的に高い露出値に設定され、少なくとも低輝度部分をカバーするように露出値が設定されたカメラ（以下、Ｌカメラと称す）であるとする。ここでは、カメラＣａｍ０１、Ｃａｍ０３、Ｃａｍ０５、Ｃａｍ０７、・・・、Ｃａｍ５９は、Ｌカメラであるとする。☆印の付いたカメラは、通常より露出値を下げる方向に制御するように指定され他のカメラの露出値よりも相対的に低い露出値に設定され、少なくとも高輝度部分をカバーするように露出値が設定されたカメラ（以下、Ｈカメラと称す）であるとする。ここでは、カメラＣａｍ０２、Ｃａｍ０４、Ｃａｍ０６、Ｃａｍ０８、・・・、Ｃａｍ６０は、Ｈカメラであるとする。

システム２００では、ＬカメラとＨカメラとが、横方向にて交互に配置される。カメラの配置は、これに限定されない。ＬカメラとＨカメラは、必要に応じて別の形で分散配置されても良い。例えば、ＬカメラおよびＨカメラは上下複数段に配置され、段ごとにＬカメラとＨカメラに分かれて配置されたり、同一段にてＬカメラとＨカメラが交互にまたはランダムに配置されたりしてもよく、適切に分散して配置されていればよい。

ここで、ＬカメラおよびＨカメラとその撮像領域内の明暗領域との関係について説明する。本実施形態では、例えば晴天であり、フィールド２１０には、強い日差しが当たり明るくなっている領域と、建物の影となり暗くなっている領域とが存在する場合を例に説明する。

図４に示すように、フィールド２１０上の一番明るい部分に該当する領域を領域Ａとし、一番暗い部分に該当する領域を領域Ｃとし、領域Ａおよび領域Ｃのどちらでもない部分に該当する領域を領域Ｂとする。領域Ａ、領域Ｂ、および領域Ｃのそれぞれに存在する被写体を前景オブジェクトＡ、前景オブジェクトＢ、前景オブジェクトＣとする。以下、カメラで撮像された画像において、前景オブジェクトに該当する部分を、単に「前景」と称する。また、Ａ、Ｂ、Ｃなどの区別はそのまま対応するものとする。なお、カメラ２０１のＣａｍ０１～Ｃａｍ０６はフィールド上の必要な対象領域を画角内に含むように設置され、それぞれの三次元的な位置・姿勢に関する情報は予め取得されている。

図５は、図４に示すカメラ２０１のＣａｍ０１～Ｃａｍ０６でフィールド２１０を撮像したときにカバーする輝度レンジ例を表す図である。なお、図５（ａ）、（ｂ）では、縦方向が輝度の大きさを示し、上方向に向かうに従い輝度が大きいことを示している。

図５（ａ）は、全て同じに露出設定されたカメラで撮像した従来例を示す図である。従来例では、図５（ａ）に示すように、Ｃａｍ０１～Ｃａｍ０６全ての輝度レンジは、全て同じであって、Ｌｅｖｅｌ＿０１～Ｌｅｖｅｌ＿０２となる。

図５（ｂ）は、ＬカメラとＨカメラに交互に設定されたカメラで撮像した本実施形態例を示す図である。本実施形態例では、図５（ｂ）に示すように、Ｃａｍ０１、Ｃａｍ０３、Ｃａｍ０５に関し露出値をΔＬ＿１だけ下げ、Ｃａｍ０１、Ｃａｍ０３、Ｃａｍ０５の輝度レンジがＬｅｖｅｌ＿１Ｌ～Ｌｅｖｅｌ＿２Ｌとなる。Ｃａｍ０２、Ｃａｍ０４、Ｃａｍ０６に関し露出値をΔＬ＿２だけ上げ、Ｃａｍ０２、Ｃａｍ０４、Ｃａｍ０６の輝度レンジがＬｅｖｅｌ＿１Ｈ～Ｌｅｖｅｌ＿２Ｈとなる。このように設定し、Ｌカメラ、Ｈカメラで取得した画像を前景の形状推定時、色付け時にＨＤＲ統合することで、従来の輝度レンジＬｅｖｅｌ＿０１～Ｌｅｖｅｌ＿０２に対してΔＬ＿１＋ΔＬ＿２だけ広い輝度レンジにおいて、仮想視点画像を生成できる。なお、ΔＬ＿１およびΔＬ＿２の大きさは、適宜変更可能である。

図６は、図４に示すカメラ２０１のＣａｍ０１でフィールド２１０を撮像して取得した画像例に示す図である。図６（ａ）は、通常より露出値を下げて設定されたカメラ、すなわち、上述のＨカメラによる画像例を示す図である。図４に示す領域Ｃに対応する画像６１０の領域Ｃでは、前景Ｃおよび領域Ｃが真っ黒になり前景Ｃを領域Ｃと区別できず黒潰れまたは黒潰れに近い状態となる。図４に示す領域Ａ、Ｂに対応する画像６１０の領域Ａ、Ｂでは、前景Ａおよび前景Ｂが真っ黒にも真っ白にもならず、前景Ａおよび前景Ｂそれぞれを領域Ａおよび領域Ｂと区別でき、適切に撮像された状態となる。このような画像６１０では、領域Ｃにおける前景Ｃの形状およびテクスチャ情報は、欠落あるいは品位の低いものとなる。

図６（ｂ）は、通常より露出値を上げて設定されたカメラ、すなわち、上述のＬカメラによる画像例を示す図である。図４に示す領域Ａに対応する画像６２０の領域Ａでは、前景Ａおよび領域Ａが真っ白になり前景Ａを領域Ａと区別できず白飛びまたは白飛びに近い状態となる。図４に示す領域Ｂ、Ｃに対応する画像６２０の領域Ｂ、Ｃでは、前景Ｂおよび前景Ｃが真っ白にも真っ黒にもならず、前景Ｂおよび前景Ｃそれぞれを領域Ｂおよび領域Ｃと区別でき、適切に撮像された状態となる。このような画像６２０では、領域Ａにおける前景Ａの形状およびテクスチャ情報は、欠落あるいは品位の低いものとなる。

本明細書では、図６（ａ）の領域Ｃのような領域は、黒潰れまたは黒潰れに近い状態である黒潰れ寄りに起因して露出値が不適切となる領域であることから、図６（ａ）の領域Ｃのような領域を黒潰れ寄りの露出不適切領域（以下、ＮＧＬ領域という）と称する。また、図６（ｂ）の領域Ａのような領域は、白飛びまたは白飛びに近い状態である白飛び寄りに起因して露出値が不適切となる領域であることから、図６（ｂ）の領域Ａのような領域を白飛び寄りの露出不適切領域（以下、ＮＧＨ領域という）と称する。

＜画像処理装置の構成および処理＞
システム２００が有する、カメラアダプタのカメラ処理部７１０および画像処理装置２０２の本体処理部７２０の内部構成について、図７を用いて説明する。また図７の各ブロックの処理内容を図８、図９を用いて順に説明する。なお、図８はＨカメラによる画像例を示す図であり、図９はＬカメラによる画像例を示す図である。

図７は、システム２００が有する、カメラ２０１に対応するカメラアダプタのカメラ処理部７１０および画像処理装置２０２の本体処理部７２０の内部構成を含むブロック図である。

システム２００は、カメラ２０１、カメラ処理部７１０、本体処理部７２０を有する。システム２００では、カメラ処理部７１０がカメラ系統ごとに存在する。すなわち、システム２００は、カメラアダプタのカメラ処理部７１０を、カメラ２０１の台数と同じ数量有する。システム２００では、画像処理装置２０２の本体処理部７２０は１つである。図７にて、アスタリスクで示された部分は、図２で示したリング型のネットワークによる接続を意味する。

すなわち、図７のカメラ２０１およびカメラ処理部７１０はカメラ２０１毎の撮像と処理の流れを示し、図７の本体処理部７２０については接続された全てのカメラ２０１を対象とした処理の流れを示している。

カメラ処理部７１０では、カメラ２０１が撮像して取得した画像データから、詳細につき後述するいくつかの画像情報を抽出する。本体処理部７２０では、カメラ処理部７１０が抽出した画像情報を受け取り形状推定と色付けを行って、仮想視点画像のデータを生成する。

本実施形態における画像処理は、カメラアダプタおよび画像処理装置２０２に内蔵されたＡＳＩＣやＦＰＧＡなどのハードウェアによりなされる。ＡＳＩＣは、ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙの略である。
図７に示した各モジュールは、ハードウェアとしてＡＳＩＣやＦＰＧＡの内部に実装される。

カメラ処理部７１０は、画像取得部７１１、背景画像生成部７１２、フレーム平均化処理部７１３、スイッチ７１４、露出不適切領域検出部７１５、背景差分処理部７１６、前景テクスチャ生成部７１７を有する。カメラ処理部７１０は、さらに、領域限定Ｍ処理部７１８、領域限定Ｔ処理部７１９を有する。

本体処理部７２０は、形状推定処理部（以下、推定部という）７２１、色付け処理部（以下、色付け部という）７２２、全体背景生成部７２３、仮想視点画像生成部７２４、システム制御部（以下、制御部という）７２５を有する。

制御部７２５は、カメラ２０１、カメラ処理部７１０、本体処理部７２０を制御する。制御部７２５は、カメラ２０１に露出設定のコマンドを送る。

カメラ２０１は、制御部７２５から露出設定のコマンドを受け取ると、露出設定のコマンドに応じて、上述のＨカメラまたはＬカメラに対応する輝度レンジとなるように露出値が設定される。ＨカメラまたはＬカメラに設定されたカメラ２０１が撮像して取得した撮像画像の画像データは、画像取得部（以下、取得部という）７１１に出力される。

取得部７１１は、カメラ２０１が撮像した撮像画像の画像データを取得する。撮像画像は、時間的に連続して撮像された静止画または動画像のフレームなどの画像である。以下、取得部７１１に入力される、時間的に連続する入力画像の中のある１フレームの画像をフレーム画像という。取得部７１１では、取得したフレーム画像に対して、画像の揺れや振動の補正、レンズ歪などの画像の歪みの補正、および、色調整・ガンマ調整などの前処理が行われて前処理済みの画像（以下、補正済み画像という）の画像データを生成する。補正済み画像の画像データは、背景画像生成部（以下、背景生成部という）７１２、フレーム平均化処理部（以下、平均化部という）７１３、背景差分処理部７１６、前景テクスチャ生成部７１７に出力される。

背景生成部７１２は、取得部７１１から入力された補正済み画像の画像データから、随時前景を取り除きつつ順番に背景画像の画像データ（以下、背景データともいう）を生成する。背景生成部７１２は、対応するカメラ２０１、例えば図４に示すＣａｍ０１がＨカメラに設定されていると、図８（ａ）に示す背景画像８１０の画像データを生成する。背景生成部７１２は、対応するカメラ２０１、例えば図４に示すＣａｍ０２がＬカメラに設定されていると、図９（ａ）に示す背景画像９１０の画像データを生成する。背景画像の生成方法として、例えば特許文献１に記載の技術などの公知技術が用いられる。背景画像の画像データは、スイッチ７１４を介して、露出不適切領域検出部（以下、検出部という）７１５に出力される。また、背景画像の画像データは、背景差分処理部７１６に出力される。

平均化部７１３は、取得部７１１から入力された、所定期間の補正済み画像の画像データの全体、または一部分を時間方向に平均化した平均画像の画像データを生成する。所定期間は、例えば２０フレームや３０フレームなどの所定数のフレーム分の補正済み画像の画像データが入力される期間であって、予め設定された期間である。

検出部７１５は、スイッチ７１４を介して、背景画像または平均画像の画像データを取り込む。そして、検出部７１５は、取り込んだ画像データの背景画像または平均画像の画素値を解析して露出値が不適切となる領域を検出し、露出不適切領域をマスクする露出不適切領域マスクのデータを生成する。露出不適切領域マスクのデータは、領域限定Ｍ処理部（以下、マスク限定部という）７１８および領域限定Ｔ処理部（以下、テクスチャ限定部という）７１９に出力される。スイッチ７１４は、その接続先が背景生成部７１２と平均化部７１３とで切り替え可能であって、フレーム全体、領域ごと、または画素ごと切り替えてもよい。

具体的には、検出部７１５は、対応するカメラ２０１がＨカメラに設定されていると、画素値が所定の下限閾値以下の部分を黒潰れ寄り露出不適切領域として検出する。検出部７１５は、検出した黒潰れ寄り露出不適切領域に対応する、第二の露出マスクである黒潰れ寄り露出不適切領域マスク（以下、ＮＧＬ領域マスクとも称す）のデータを生成する。検出部７１５は、対応するカメラ２０１がＬカメラに設定されていると、画素値が所定の上限閾値（下限閾値と異なり下限閾値よりも大きな閾値）を超える部分を白潰れ寄り露出不適切領域として検出する。検出部７１５は、検出した白潰れ寄り露出不適切領域に対応する、第一の露出マスクである白潰れ寄り露出不適切領域マスク（以下、ＮＧＨ領域マスクとも称す）のデータを生成する。すなわち、検出部７１５は、特定のマスクのデータを生成する機能を有する。

ＮＧＬ領域マスクおよびＮＧＨ領域マスクのデータは、露出値が不適切な領域が１（白）、それ以外の露出値が適切な領域が０（黒）の２値のマップで表される。また、マップは、膨張収縮処理により、必要以上に細かく分散した領域にはならないようにする必要があると同時に、確実性を増すために、ある程度膨張した状態にしておく必要がある。検出部７１５は、例えば、画素値を上限値および下限値の範囲内か否かの判定で作成された２値のマップに対して膨張・収縮処理を実行してもよい。この処理を実行することで、ノイズを除去できる。

図７では、スイッチ７１４の接続先が背景生成部７１２となっており、検出部７１５では、背景生成部７１２で生成した背景画像の画像データに基づく処理が行われる。

検出部７１５は、対応するカメラ２０１、例えば図４に示すＣａｍ０１がＨカメラに設定されていると、図８（ｂ）に示すＮＧＬ領域マスク８２０のデータを生成する。ＮＧＬ領域マスク８２０のデータは、ＮＧＬ領域８２１が１（白）、それ以外の露出値が適切な領域８２２が０（黒）の２値のマップで表現されたマスクのデータである。

検出部７１５は、対応するカメラ２０１、例えば図４に示すＣａｍ０２がＬカメラに設定されていると、図９（ｂ）に示すＮＧＨ領域マスク９２０のデータを生成する。ＮＧＨ領域マスク９２０のデータは、ＮＧＨ領域９２１が１（白）、それ以外の露出値が適切な領域９２２が０（黒）の２値のマップで表現されたマスクのデータである。

一方、背景差分処理部７１６は、取得部７１１で生成された補正済み画像と背景生成部７１２で生成された背景画像の画像データを用いて、前景背景分離処理（背景差分処理）を行うことで、前景をマスクするマスク画像（前景マスク）のデータを生成する。前景マスクのデータは、前景テクスチャ生成部７１７およびマスク限定部７１８に出力される。背景差分処理部７１６は、対応するカメラ２０１、例えば図４に示すＣａｍ０１がＨカメラに設定されていると、図８（ｂ）に示す前景マスク８３０のデータを生成する。前景マスク８３０のデータは、前景Ａ、前景Ｂ、前景Ｃそれぞれを示す前景マスクＡ（前景Ａの二次元シルエット）８３１、前景マスクＢ（前景Ｂの二次元シルエット）８３２、前景マスクＣ（前景Ｃの二次元シルエット）８３３を有する。背景差分処理部７１６は、対応するカメラ２０１、例えば図４に示すＣａｍ０２がＬカメラに設定されていると、図９（ｂ）に示す前景マスク９３０のデータを生成する。前景マスク９３０のデータは、前景Ａ、前景Ｂ、前景Ｃそれぞれを示す前景マスクＡ（前景Ａの二次元シルエット）９３１、前景マスクＢ（前景Ｂの二次元シルエット）９３２、前景マスクＣ（前景Ｃの二次元シルエット）９３３のデータを有する。

前景テクスチャ生成部７１７は、取得部７１１で生成された補正済み画像と背景差分処理部７１６で生成された前景マスクのデータを用いて、前景テクスチャを生成する。前景テクスチャ生成部７１７は、前景マスクの前景およびその近傍部分を含む矩形領域に関し、補正済み画像からテクスチャを抽出することにより、前景テクスチャを生成する。前景テクスチャは、例えば前景マスクのデータによって示される前景に対応する領域の各画素のＲ、Ｇ、Ｂなどの色情報のことである。前景テクスチャは、テクスチャ限定部７１９に出力される。

前景テクスチャ生成部７１７は、対応するカメラ２０１、例えば図４に示すＣａｍ０１がＨカメラに設定されていると、図８（ｂ）に示す前景テクスチャ８４０を生成する。前景テクスチャ８４０は、前景Ａを含む矩形領域の前景テクスチャＡ（テクスチャＡともいう）と、前景Ｂを含む矩形領域の前景テクスチャＢ（テクスチャＢともいう）と、前景Ｃを含む矩形領域の前景テクスチャＣ（テクスチャＣともいう）とを有する。Ｈカメラの場合には、前景Ｃの二次元シルエットと前景テクスチャＣは、ＮＧＬ領域マスクのＮＧＬ領域に存在しており、何れも黒潰れまたは黒潰れに近い状態であることから、前景マスクＣおよび前景テクスチャＣの品質が不十分となる可能性が高い状態となる。

前景テクスチャ生成部７１７は、対応するカメラ２０１、例えば図４に示すＣａｍ０２がＬカメラに設定されていると、図９（ｂ）に示す前景テクスチャ９４０を生成する。前景テクスチャ９４０は、前景Ａを含む矩形領域のテクスチャＡと、前景Ｂを含む矩形領域のテクスチャＢと、前景Ｃを含む矩形領域のテクスチャＣとを有する。前景マスクＡと前景テクスチャＡは、ＮＧＨ領域に存在しており、何れも白飛びまたは白飛びに近い状態であることから、前景マスクＡおよび前景テクスチャＡの品質が不十分となる可能性が高い状態となる。前景テクスチャは、テクスチャ限定部７１９に出力される。

マスク限定部７１８、テクスチャ限定部７１９は、前記のような状況を鑑み、品質が不充分になる部分をマスキングする処理を行う。

マスク限定部７１８は、前景が１（白）である前景マスクと露出不適切領域が１(白）である露出不適切領域マスクとの論理和を取り、前景および露出不適切領域が１(白）である領域限定前景マスク（以下、限定マスクともいう）を生成する。すなわち、マスク限定部７１８は、前景マスクから、露出不適切領域に該当する前景マスクを除いた、特定の前景マスクで構成される限定マスクを生成する。限定マスクのデータは、推定部７２１に出力される。

マスク限定部７１８は、対応するカメラ、例えば図４に示すＣａｍ０１がＬカメラに設定されている場合、図８（ｂ）に示す、ＮＧＬ領域マスク８２０と前景マスク８３０のデータの論理和を取り、限定マスク８５０のデータを生成する。

マスク限定部７１８は、対応するカメラ、例えば図４に示すＣａｍ０２がＨカメラに設定されている場合、図９（ｂ）に示す、ＮＧＨ領域マスク９２０と前景マスク９３０のデータの論理和を取り、限定マスク９５０のデータを生成する。

テクスチャ限定部７１９は、前景テクスチャから、露出不適切領域に該当する前景テクスチャを除いた、特定の前景テクスチャで構成される領域限定前景テクスチャ（以下、限定テクスチャという）を生成する。限定テクスチャは、色付け部７２２に出力される。

テクスチャ限定部７１９は、対応するカメラ２０１、例えば図４に示すＣａｍ０１がＨカメラに設定されていると、図８（ｂ）に示す、前景Ａを含む矩形領域のテクスチャＡと前景Ｂを含む矩形領域のテクスチャＢを有する領域限定テクスチャ８６０を生成する。テクスチャ限定部７１９は、対応するカメラが例えば図４に示すＣａｍ０２のようにＬカメラに設定されていると、図９（ｂ）に示す前景Ｂを含む矩形領域のテクスチャＢと前景Ｃを含む矩形領域のテクスチャＣを有する領域限定テクスチャ９６０を生成する。

このようにカメラ処理部７１０の各機能部が本体処理部７２０で用いる画像情報を生成することから、カメラ処理部７１０は画像情報生成部であるといえる。

推定部７２１は、複数の限定マスクのデータを用いて、視体積交差法により、推定した
オブジェクトの形状を表す形状データである前景の３次元モデル（前景形状））のデータを生成する。詳細な推定処理については後述する。前景の３次元モデルのデータは、色付け部７２２と仮想視点画像生成部７２４に出力される。

色付け部７２２は、限定テクスチャに基づき、推定部７２１で生成したデータの前景の３次元モデル（前景形状）に付与するための色データを生成する。色データは、仮想視点画像生成部７２４に出力される。

全体背景生成部７２３は、背景画像生成部７１２で生成した背景画像のデータに基づき、全体の背景画像（以下、全体背景画像ともいう）のデータを生成する。生成した全体背景画像のデータは、仮想視点画像生成部７２４に出力される。

仮想視点画像生成部７２４は、仮想視点情報、形状データ、色データ、全体背景画像のデータに基づき、カメラが実際には存在しない仮想視点の仮想カメラから見た前景画像及び背景画像を生成し、それらを合成して仮想視点画像のデータを生成する。仮想視点画像生成部７２４は、生成した仮想視点画像のデータをエンドユーザ端末（不図示）に送信する。本体処理部７２０の視点入力部（不図示）は、不図示のエンドユーザ端末や仮想カメラ操作ＵＩなどを介して不図示のユーザによる仮想視点情報の入力を受け付け、仮想視点画像生成部７２４に出力する。仮想視点情報は、実際にはカメラが存在せず仮想視点に配置されると仮定した仮想カメラで仮想視点画像を撮像する時刻、仮想視点（仮想カメラ）の位置、仮想カメラの姿勢、仮想カメラの向き、仮想カメラの画角、焦点距離などを含む情報である。

次に、推定部７２１の動作（処理フロー）について、図１０を参照して説明する。図１０は、推定部７２１による前景の形状推定処理の手順例を示すフローチャートである。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。各カメラに関し、世界座標空間におけるカメラの座標位置と、カメラの姿勢（左右、上下）、および焦点距離と画像中心に関するカメラパラメータが設定されるとする。推定部７２１は、カメラパラメータを予め取得しているものとする。また、各カメラで撮像して取得したフレーム画像のデータを取得しているものとする。推定部７２１は、同期撮像して取得したフレーム画像のデータから対象のシルエットを抽出しているものとする。また、推定部７２１は、視体積交差法によって、対象のｖｉｓｕａｌ ｈｕｌｌをボクセル形式で求めたボクセルデータを生成しているものとする。ボクセルデータは、例えば、図４に示す場面例では、前景オブジェクトＡ、前景オブジェクトＢ、前景オブジェクトＣに対応したデータとなる。

まず、Ｓ１００１では、推定部７２１は、生成したボクセルデータから処理対象となるボクセル（以下、注目ボクセルともいう）を順番に選択する。注目ボクセルを選択する順番は、全てのボクセルを順番に選択できればよく、限定されない。例えば、カメラと最も近いボクセルから順番に選択したり、世界座標の中心位置に近いボクセルから順番に選択したりしてもよい。

Ｓ１００２では、推定部７２１は、Ｓ１００１で選択されたボクセルの位置（以下、ボクセル位置ともいう）を、予め取得したキャリブレーションデータを基に、各カメラに投影する。これにより、ボクセルが各カメラで撮像する画像上にてどの位置に存在するかを示す座標が決定される。

Ｓ１００３では、推定部７２１は、全カメラに関してマスク限定部７１８から入力されたデータの限定マスクを参照し、参照した限定マスクをシルエットマスクとする。

Ｓ１００４では、推定部７２１は、投影された点のシルエットマスクの値が１になっているカメラの数を求め、これがカメラ台数の閾値Ｘ（例えば、カメラ６０台中の５５台など）以上であるかを判定する。すなわち、推定部７２１は、投影された点がシルエットマスクにあることを示す１となっているカメラの台数を合計し、この合計数が閾値Ｘ以上であるかを判定する。推定部７２１は、カメラの台数が閾値Ｘ以上であり、判定条件を満たすとの判定結果を取得する場合（Ｓ１００４のＹＥＳ）、処理をＳ１００５に移行する。推定部７２１は、カメラの台数が閾値Ｘより少なく、判定条件を満たさないとの判定結果を取得した場合（Ｓ１００４のＮＯ）、処理をＳ１００６に移行する。

Ｓ１００５では、推定部７２１は、注目ボクセル位置には物体が存在すると推定し注目ボクセルを残す処理を実行する。

Ｓ１００６では、推定部７２１は、注目ボクセル位置には物体が存在しないと推定し注目ボクセル自体を削除する処理を実行する。

Ｓ１００７では、推定部７２１は、所定のボクセルの全てについて処理を終了したか否かを判定する。推定部７２１は、未処理のボクセルがあり、所定のボクセルの全てを処理していないと判定した場合（Ｓ１００７のＮＯ）、処理をＳ１００１へ移行し、Ｓ１００１～Ｓ１００７の処理を継続する。推定部７２１は、未処理のボクセルがなく、所定のボクセルの全てを処理したと判定した場合（Ｓ１００７のＹＥＳ）、本フローを終了する。

推定部７２１は、上述のボクセルを残すかあるいはボクセルを削除するかの処理を全てのボクセルに対して実行することにより、視体積交差法による前景（オブジェクト）の形状を推定して、前景（オブジェクト）の形状のデータを生成することになる。

ここで、Ｌカメラの露出適切領域、Ｈカメラの露出適切領域を視体積交差法のシルエットマスクとして推定部７２１に入力することで、前景形状の推定におけるＨＤＲ合成が可能になる理由について、以下に説明する。

すなわち、図８（ｂ）、図９（ｂ）に示す、マスクデータである限定マスク８５０、９５０を用いた視体積交差法によりＨＤＲ合成が可能になる理由について、以下に説明する。

そもそも、視体積交差法においては、各カメラのシルエットマスクに応じてボクセルを削るという処理が行われる。一般的に、図８（ｂ）、図９（ｂ）に示すような前景マスク８３０、９３０において、０（黒）の部分についてボクセルを削除する処理が行われる。

しかしながら、本実施形態においては、ＨＤＲ化するためにＬカメラとＨカメラとで露出値をずらしているため、逆に其々に露出値が不適切な領域ができ、その部分の前景マスクの品質が不充分となる。具体的には、マスク形状の形の精度が不充分である、欠落がある、不要な部分が付帯しているなどである。このため、図８（ｂ）、図９（ｂ）のような前景マスク８３０、９３０をそのまま入力して視体積交差法を行うと前景オブジェクトＡ，Ｃの形状推定の品質が低下する。

そこで、本実施形態においては、ここまで説明したように、其々の露出適切領域におけるボクセル削除を行わない様にするために限定マスクのデータを作成し、これを推定部７２１に入力して視体積交差法を実行する。

例えば、Ｌカメラにおいては、領域Ｃに該当するＮＧＬ領域の部分を１（白）とするので、その部分のボクセル削除には実質的に参加しない。このため領域Ｃの前景オブジェクトＣの形状を決める処理には、同領域の部分が露出不適切であるＬカメラの撮像画像は実質的に関与せず、処理はＨカメラの撮像画像のみで行われる。一方、この部分の形状を作るためのカメラ台数が減ると、形状の推定処理に不利な要因となるが、露出不適切なマスクを使うことによる劣化を防止することの方が勝っている。

同様に、Ｈカメラにおいては、領域Ａに該当するＮＧＨ領域の部分を１（白）とするので、その部分のボクセル削除には実質的に参加しない。このため領域Ａの前景オブジェクトＡの形状を決める処理には、同領域の部分が露出不適切であるＨカメラの撮像画像は実質的に関与せず、処理はＬカメラの撮像画像のみで行われる。一方、この部分の形状を作るためのカメラ台数が減ると、形状の推定処理に不利な要因となるが、露出不適切なマスクを使うことによる劣化を防止することの方が勝っている。

以上のような仕組みにより、いわば、其々設置位置の異なるＬカメラとＨカメラによるデータが、形状推定時においてＨＤＲ合成されることになる。

よって、本実施形態によれば、ＬカメラとＨカメラの構成によりハイダイナミックレンジ化が可能となる。また、Ｌカメラの撮像画像の白飛び部分やＨカメラの撮像画像の黒潰れ部分が形状推定に影響を及ぼすことのない、仮想視点画像を生成する装置が実現可能となる。

なお、本実施形態における、一連の処理は、仮にＬカメラとＨカメラの露出設定値が同じ値であっても、処理フローとして機能するものであり、仮に、何らかの事情で特定のカメラのみ白飛び、黒潰れがあるような場合にも効果的である。

［実施形態２］
実施形態１では、限定マスクのデータを用いて形状推定処理を行う形態を説明した。本実施形態では、前景マスクおよび露出不適切領域マスクのデータを用いて形状推定処理を行う形態を説明する。

図１１は、本実施形態のシステム２００が有するカメラ処理部７１０および本体処理部７２０の内部構成を含むブロック図である。なお、実施形態１のシステムと同じデバイスおよび機能部には同一符号を付記しその説明を省略する。

図１１においても、カメラ２０１およびカメラ処理部７１０はカメラ２０１毎の撮像と処理の流れを示し、図１１の本体処理部７２０については接続された全てのカメラを対象とした処理の流れを示している。

カメラ処理部７１０では、カメラ２０１で撮像して取得した画像データから、詳細につき後述するいくつかの画像情報を抽出する。本体処理部７２０では、カメラ処理部７１０が抽出した画像情報を受け取り形状推定処理と色付け処理を行って、仮想視点画像のデータを生成する。

本実施形態のシステム２００では、実施形態１のマスク限定部７１８が除去され、背景差分処理部７１６で生成された前景マスクと、検出部７１５で生成された露出不適切領域マスクのデータが直接に推定部７２６に入力される構成となっている。

すなわち、本実施形態のシステム２００では、図８（ｂ）、図９（ｂ）に示す限定マスク８５０、９５０が生成されない構成となっている。本実施形態の推定部７２６には、前景の形状推定用のマスク（二次元シルエット）として、図８（ｂ）、図９（ｂ）に示す前景マスク８３０、９３０、露出不適切領域マスク８２０、９２０の画像情報が送られる。

これにより、露出不適切領域の範囲にある前景マスクに関し、カメラ処理部７１０の側で固定的に削除せず、本体処理部７２０側で個別に使用可能であるか否かを再評価することができる。例えば、Ｌカメラの場合、図８（ｂ）の露出不適切領域マスク８２０のＮＧＬ領域８２１内に存在する前景Ｃに関し、カメラ処理部７１０側で削除せず、本体処理部７２０側で評価し、評価結果に応じた処理を実行することになる。

その結果、露出不適切領域にある前景を前景の３次元モデルの形状推定に使用可能であると判定（評価）した場合には、推定部７２６は、露出不適切領域にある前景も用いて、推定した前景の３次元モデル（前景形状）のデータを生成することになる。露出不適切領域にある前景を３次元モデルの形状推定に使用不可能であると判定（評価）した場合には、推定部７２６は、露出不適切領域にある前景を削除する。ここでいう削除とは、前景マスクと露出不適切領域マスクとで論理和を取ることである。

前景がある場所に関わらず、前景マスクと露出不適切領域マスクを用いた前景の３次元モデルの形状推定処理を行うことで、限定マスクを用いた形状推定処理を行う実施形態１と比べて、露出不適切領域にて形状推定に参加するカメラの台数の減少を抑制できる。

次に、推定部７２６による形状推定処理の手順例ついて、図１２を参照して説明する。図１２は、推定部７２６による前景の形状推定処理の手順例を示すフローチャートである。なお、本処理を行う前に、図１０に示す形状推定処理手順例の場合と同様、各カメラのカメラパラメータが設定されているとする。推定部７２６は、同期撮像して取得したフレーム画像から対象のシルエットを抽出しているものとする。また、推定部７２６は、視体積交差法によって、対象のｖｉｓｕａｌ ｈｕｌｌをボクセル形式で求めたボクセルデータを生成しているものとする。ボクセルデータは、例えば、図４の場面例では、前景オブジェクトＡ、前景オブジェクトＢ、前景オブジェクトＣに対応したデータとなる。

図１２中のＳ１２０１、Ｓ１２０２における処理は、図１０に示す実施形態１のＳ１００１、Ｓ１００２と同様でありその説明を省略する。

Ｓ１２０３では、推定部７２６は、全カメラに関して背景差分処理部７１６から入力される前景マスクと検出部７１５から入力されるＮＧＨマスクまたは、ＮＧＬマスクの、其々投影された点の値（１または０）を参照して取得する。

Ｓ１２０４では、推定部７２６は、まず、各カメラの露出不適切領域の範囲にある前景マスク（マスク画像）に関して、視体積交差法のシルエットマスクとして使用可能であるか否かを判断する評価を実行する。推定部７２６は、使用可能であると判断された前景マスクに対応するカメラに関し、シルエットマスクとして前記カメラによる前景マスクを採用する。推定部７２６は、不適切であると判断された前景マスクに対応するカメラに関しては、シルエットマスクとして、前記カメラによる前景マスクと露出不適切領域マスクの論理和を採用する。推定部７２６は、例えば露出不適切領域内にあるオブジェクトに対応する前景マスクをカメラの撮像画像から得ることができる場合には、露出不適切領域内にある前景マスクに関して、視体積交差法のシルエットマスクとして使用可能であると判断する評価を行う。これは、前景マスクを視体積交差法のシルエットマスクとして使用可能な輝度範囲が領域限定テクスチャと比べて広く、露出不適切領域内の前景マスクであっても上述の評価結果よっては視体積交差法のシルエットマスクとして使用可能となるためである。

図１２中のＳ１２０５、Ｓ１２０６、Ｓ１２０７、Ｓ１２０８は、図１０に示す実施形態１のＳ１００４、Ｓ１００５、Ｓ１００６、Ｓ１００７と同様でありその説明を省略する。

このようにボクセルを残すか、あるいはボクセルを削除するかの処理を全てのボクセルに対して実行することにより、視体積交差法による前景（オブジェクト）の形状が推定されて、推定された前景（オブジェクト）の形状のデータが生成される。

以上、説明したように、本実施形態によれば、露出不適切領域内の前景の形状推定でも、実質的に参加するカメラの台数をできるだけ減らさないようにしてその部分の形状品質を維持しつつＨＤＲ化した仮想視点画像を生成する装置が実現可能となる。

［実施形態３］
実施形態１では、限定テクスチャを用いて色付け処理を行う形態を説明した。本実施形態では、前景テクスチャを用いて選択的に色付け処理を行う形態を説明する。

図１３は、本実施形態のシステム２００が有するカメラ処理部７１０および本体処理部７２０の内部構成を含むブロック図である。なお、実施形態１のシステムと同じデバイスおよび機能部には同一符号を付記しその説明を省略する。

図１３においても、カメラ２０１およびカメラ処理部７１０はカメラ２０１毎の撮像と処理の流れを示し、図１３の本体処理部７２０については接続された全てのカメラを対象とした処理の流れを示している。

カメラ処理部７１０では、カメラ２０１で撮像して取得した画像データから、詳細につき後述するいくつかの画像情報を抽出する。本体処理部７２０では、カメラ処理部７１０が抽出した画像情報を受け取り形状推定処理と色付け処理を行って、仮想視点画像のデータを生成する。

本実施形態のシステム２００では、実施形態１のテクスチャ限定部７１９が除去され、前景テクスチャ生成部７１７で生成された前景テクスチャが直接に色付け部７２７に入力される構成となっている。すなわち、本実施形態のシステム２００では、前景テクスチャ生成部７１７から出力される前景テクスチャは、検出部７１５で生成される露出不適切領域に該当する領域に限定されることなく、色付け部７２７に送られる。また、色付け部７２７では、適正な露出値で撮像された結果を優先的に選択して色付け処理を行うような仕組みになっている。

実施形態１、２では、主としてフィールド２１０上の場所によって明るさが異なる場合を想定した。本実施形態では、明るい部分に関して逆光となる方向から撮像するような場合に対応することを想定している。

図１４は、フィールド２１０上の領域Ａの部分が逆光になっている場面を所定の露出値のカメラで撮像した画像例を示す図である。

図１４（a）は、カメラ２０１、例えば図４に示すＣａｍ０１がＨカメラに設定された場合の撮像画像例を示す図である。図１４（ｂ）は、カメラ２０１、例えば図４に示すＣａｍ０１がＬカメラに設定された場合の撮像画像例を示す図である。

領域Ａの部分が逆光なので、図１４（ａ）のように、Ｈカメラに設定されたカメラ２０１で撮像した場合、前景Ａのテクスチャは黒潰れまたは黒潰れ気味な状態となる。一方、図１４（ｂ）のように、Ｌカメラに設定されたカメラ２０１で撮像した場合、前景Ａのテクスチャは適正な露出値となる可能性が高い状態となる。

実施形態１、２では、白飛びまたは白飛びに近い状態である図１４（ｂ）の領域Ａに相当する部分を除去していたが、本実施形態では、このような逆光のケースを考慮し、評価基準を設け、色付け処理時に評価の高いものを選択できるような仕組みとした。

以下、色付け部７２７による色付け処理の手順例について図１５～図１７を参照して説明する。図１５は、カメラと前景オブジェクトとの関係例を示す図である。

説明のために、図１５に示すような状態を仮定する。色付け処理については前景オブジェクトＡの表面にある点Ｐの色付けに関して説明する。点Ｐは３次元空間の中に３次元座標で定義された位置である。

なお、図１５（ａ）における、領域Ａ、Ｂ、Ｃおよび、前景オブジェクトＡ、Ｂ、Ｃ、カメラの配置、★印や☆印などの意味は、図４と同じであり、その説明を省略する。図１５（b）はｉ番目のカメラの撮像画像である。

３次元空間の点Ｐが、ｉ番目のカメラの撮像画像に投影される点をＰｉとする。Ｐｉは、各カメラの撮像画像内に二次元座標で定義される点である。Ｐｉの位置は、キャリブレーションによって得られた情報に基づいて元の３次元空間の点Ｐの位置から導出される。

３次元空間の点Ｐの色付け処理は、全カメラあるいは一部のカメラの撮像画像のＰｉにおける画素値に基づいてなされる。

実際には、前景オブジェクト上の点Ｐが全カメラから見えているわけではない。このため色付け方法としては、例えば（１）図１５中に示す仮想視点Ｘが存在する方向に近いカメラの撮像画像の座標Ｐｉにおける画素値を優先的に選択して色付け処理を行う方法がある。あるいは、例えば（２）前景オブジェクトＡの３次元空間の点Ｐの部分の法線方向に近いカメラの撮像画像の座標Ｐｉを優先的に選択して色付け処理を行う方法などがある。色付け方法（１）、（２）のいずれの場合も、色付け処理のために選択するカメラは一台とは限らず、その近傍のカメラを複数台選択し其々の撮像画像の座標Ｐｉにおける画素値を重みづけ平均するなどして、３次元空間の点Ｐの色付け処理を行ってもよい。

本実施形態においては、色付け方法（１）の仮想視点Ｘの方向を中心とした、近傍６台のカメラを採用候補とし、これらの撮像画像の座標Ｐｉを基に上記色付け処理を行って３次元空間の点Ｐの画素値を求める。なお、カメラの採用候補数は必ずしも６台でなくてもよく、２台以上であればよい。

本実施形態では、上記６台のカメラのそれぞれの重みづけ係数を、以下の式１に示すようにベクトル［Ａ］で表す。Ｃａｍ０１、Ｃａｍ０２、Ｃａｍ０３、Ｃａｍ０４、Ｃａｍ０５、Ｃａｍ０６の重みづけ係数をそれぞれａ１、ａ２、ａ３、ａ４、ａ５、ａ６とする。

また、６台の中のｉ番目のカメラ（Ｃａｍｉ）の撮像画像の座標Ｐｉにおける画素値を１番目から６番目まで順番に並べたものを、以下の式２に示すようにベクトル［Ｃ］で表す。

画素値Ｃｉを標準露出値に補正した値Ｈｉを順番に並べたものを、以下の式３に示すようにベクトル［Ｈ］で表す。

［Ｈ］の各成分Ｈｉは、以下の式４のように画素値Ｃｉを関数Ｈ（）によって露出補正して求めたものである。

露出補正は、簡単には所定の値を足し引きする場合もあるが、正確には撮像画像のガンマ値を一旦リニアに変換し、所定の係数をかけてその後、元のガンマ値に戻すなどの方法を用いることもできる。

カメラの採用候補の中で実際の色付けに選択するか否かを以下の式５のようにベクトル［Ｊ］で表す。各成分Ｊｉは１または０の値であり、色付け処理に採用の有無を表す。「１」は、対象となるカメラを色付け処理に採用することを表し、「０」は、対象となるカメラを色付け処理に採用しないことを表している。

ここで、カメラの選択および露出補正について、図１６を参照して説明する。図１６は、カメラの選択および露出補正を説明する図である。図１６（ａ）は、選択カメラの撮像画像における、下限閾値（Ｔｈ１）未満の画素値を含む露出補正前の画素値を示す図である。図１６（ｂ）は、図１６（ａ）に示す画素値を露出補正した後の画素値を示す図である。図１６（ｃ）は、選択カメラの撮像画像における、上限閾値（Ｔｈ２）より大きい画素値を含む露出補正前の画素値を示す図である。図１６（ｄ）は、図１６（ａ）に示す画素値を露出補正した後の画素値を示す図である。

図１６（ａ）、（ｂ）（図１６の上段ともいう）は、撮像画像の画素値Ｃｉを順番に並べた図である。図１６（ｃ）、（ｄ）（図１６の下段ともいう）は画素値Ｃｉを標準露出値に露出補正した値Ｈｉを同様に順番に並べた図である。したがって、図１６の横軸は特に物理的な意味はない。図１６において、○印はＨカメラに属するカメラのデータを表し、●印はＬカメラに属するカメラのデータを表している。

図１６（ａ）、（ｂ）は、図１５に示す明るい部分（領域Ａ）が逆光である場合の各カメラの画素値を示す図である。図１６（ｃ）、（ｄ）は、図１５に示す明るい部分（領域Ａ）が逆光ではない場合の各カメラの画素値を示す図である。

上段の場合、図１６（ａ）に示すように、Ｌカメラによる撮像画像の画素値Ｃｉ（●印）は黒潰れ気味となっており、撮像時に輝度を正しく捉えることができていないことになる。Ｈカメラによる撮像画像の画素値Ｃｉ（○印）は適正な露出値で撮像できているので撮像時に輝度を正しく捉えることができていることになる。

Ｌカメラによる撮像画像の画素値Ｃｉは黒潰れしていたため、図１６（ｂ）に示すように、露出補正後の画素値Ｈｉは、本来の値（撮像画像の画素値）より明るい値となる。Ｈカメラによる撮像画像の画素値Ｃｉは正しく輝度を捉えていたため、露出補正後の画素値Ｈｉは、適正な値となる。

下段の場合、図１６（ｃ）に示すように、Ｈカメラによる撮像画像の画素値Ｃｉ（○印）は白飛び気味となっており、撮像時に輝度を正しく捉えることができていないことになる。Ｌカメラによる撮像画像の画素値Ｃｉ（●印）は適正な露出値で撮像できているので撮像時に輝度を正しく捉えることができていることになる。

Ｈカメラによる撮像画像の画素値Ｃｉは白飛びしていため、図１６（ｄ）に示すように、露出補正後の画素値Ｈｉは、本来の値（撮像画像の画素値）より暗い値になる。Ｌカメラによる撮像画像の画素値Ｃｉは正しく輝度を捉えていたため、露出補正後の画素値Ｈｉは、適正な値となる。

図１６(ａ)、図１６（ｃ）の破線は、正しく輝度を取得できたレベルを表している。図１６図（ｂ）、図１６（ｄ）の破線は、図１６（ａ）、（ｂ）に示すレベルを露出補正した後のレベルを表している。

上段のケースでは、黒潰れを含む撮像画像を取得するカメラからのデータ（●印）を除くことにより正しい露出補正結果（適切な露出補正後のデータ）を得ることができる。下段のケースでは、白飛びを含む撮像画像を取得するカメラからのデータ（○印）を除くことにより正しい露出補正結果（適切な露出補正後のデータ）を得ることができる。

本実施形態では、上記正しくないデータを除く手法として、撮像後の画素値Ｃｉが、下限閾値Ｔｈ１と上限閾値Ｔｈ２の間に入っているか否かで判定する手法とした。下限閾値Ｔｈ１と上限閾値Ｔｈ２の間に入っていない場合、そのデータが削除対象のデータとなる。

下限閾値Ｔｈ１の数値は、黒潰れあるいはそれに近い状態であるデータを除くことを目的としており、例えば画素値の１０％程度の数値であることが望ましい。上限閾値Ｔｈ２の数値は、白飛びあるいは白飛びに近い状態であるデータを除くことを目的としており、例えば画素値の９０％程度の数値であることが望ましい。しかしながら、画素値データにかかっているガンマの状態あるいは装置のチューニング次第では上記と大幅に異なる値であっても構わない。

ベクトル［Ｊ］は、不適切なものを除いて適切なものを採用した結果を表すベクトルである。例えば図１６の上段の場合、ベクトル［Ｊ］は以下の式で表される。
［Ｊ］＝［０，１，０，１，０，１］
また、例えば、図１６の下段の場合、ベクトル［Ｊ］は以下の式で表される。
［Ｊ］＝［１，０，１，０，１，０］

次に、本実施形態のシステム２００の色付け部７２７による色付け処理の手順例について図１７を参照して説明する。図１７は、色付け部７２７による色付け処理の手順例を示すフローチャートである。

Ｓ１７０１では、色付け部７２７は、色付け処理を行う対象となる注目ボクセルを選択する。例えば、色付け部７２７は、図１５に示す、前景オブジェクトＡの表面にある点Ｐを選択する。

Ｓ１７０２では、色付け部７２７は、採用候補として、例えば図１５に示す点Ｘの方向の近傍のカメラＣａｍ０１～Ｃａｍ０６を選択し、Ｐｉにおける画素値ベクトル［Ｃ］を参照して取得する。なお、Ｐｉにおける画素値ベクトル［Ｃ］は、公知の手法で導出され、詳細につき後述の記憶装置１８０４などに格納される。

Ｓ１７０３では、色付け部７２７は、予め決められ、記憶装置１８０４などに格納された重みづけ係数ベクトル［Ａ］を参照して取得する。

Ｓ１７０４では、色付け部７２７は、画素値が階調の中央値に近いデータ、または画素値が予め決められた所定の二つの閾値である下限閾値Ｔｈ１と上限閾値Ｔｈ２の間にあるデータを採用するベクトル［Ｊ］の内容を決定する。すなわち、色付け部７２７は、対象のカメラによる撮像画像の画素の画素値が階調の中央値に近い、または下限閾値Ｔｈ１と上限閾値Ｔｈ２の間にある場合、当該対象となるカメラに対応するベクトル［Ｊ］を色付け処理に採用することを示す「１」に決定する。色付け部７２７は、対象のカメラによる撮像画像の画素の画素値が階調の中央値に近くない、または下限閾値Ｔｈ１と上限閾値Ｔｈ２の間に無い場合、当該対象となるカメラに対応するベクトル［Ｊ］を色付け処理に採用しないことを示す「０」に決定する。なお、画素値が階調の中央値に近いか否かは、例えば、予め定められた、階調の中央値を含む所定の範囲にあるか否かに置き換えてもよい。

Ｓ１７０５では、色付け部７２７は、例えば上述の式４に示すような関数Ｈ（）に基づいて、撮像画像における画素の画素値Ｃｉから補正後の画素の画素値Ｈｉを導出する。すなわち、色付け部７２７は、撮像画像における画素の画素値Ｃｉを基準の露出条件に対して露出補正を行い、補正後の画素の画素値Ｈｉを導出する。

Ｓ１７０６では、色付け部７２７は、例えば以下の式６、式７を用いて色付けする値Ｃｏｌｏｒ＿Ｐを確定する。すなわち、色付け部７２７は、Ｓ１７０５で得られた補正後の画素の画素値Ｈｉに関し、加重平均を取って色付け処理で対応する形状データの画素に付与するための画素値を確定する。なお、［Ｈ］^tはベクトルＨの転置を示している。

Ｓ１７０７では、色付け部７２７は、所定のボクセルの全てについて処理を終了したか否かを判定する。色付け部７２７は、未処理のボクセルがあり、所定のボクセルの全てを処理していないと判定した場合（Ｓ１７０７のＮＯ）、処理をＳ１７０１へ移行し、Ｓ１７０１～Ｓ１７０７の処理を継続する。色付け部７２７は、未処理のボクセルがなく、所定のボクセルの全てを処理したと判定した場合（Ｓ１７０７のＹＥＳ）、本フローを終了する。

以上のようなプロセスで処理することにより、明るさのダイナミックレンジの広い被写体、撮像環境であっても、前景の３次元モデルの推定が破たんすることなく、また推定された前景の３次元モデルに対して適切な色付け処理を行うことが可能となる。

図１８は、上述した実施形態１、２、３のシステム２００における画像処理装置２０２のハードウェア構成例を示す図である。画像処理装置１８００は、ＣＰＵ１８０１、ＲＯＭ１８０２、ＲＡＭ１８０３、記憶装置１８０４、及びネットワークＩ／Ｆ（インターフェース）１８０７を有する。各構成要素は、バス１８０９を介して相互に通信可能に接続されている。また、画像処理装置１８００には、出力装置１８０５及び入力装置１８０６が接続されている。

ＣＰＵ１８０１は、ＲＯＭ１８０２又は記憶装置１８０４に格納されたプログラムを実行して、画像処理装置１８００を統括的に制御する。ＲＯＭ１８０２は、画像処理装置１８００の制御プログラムを格納する。ＲＡＭ１８０３は、ＣＰＵ１８０１がプログラムを実行する際のメインメモリとして機能し、一時記憶領域として用いられる。記憶装置１８０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶媒体であり、画像データや各種プログラムなどを記憶する。

出力装置１８０５は、液晶ディスプレイなどの表示装置であって、各種設定情報や画像データ等を表示する。入力装置１８０６は、マウスやキーボード、タッチパネル等であり、ユーザから各種設定情報の入力や、操作指示を受け付ける。ネットワークＩ／Ｆ１８０７は、ネットワークを介して外部装置と通信を行なうためのインターフェースである。

なお、画像処理装置１８００がＣＰＵ１８０１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有してもよい。その場合、ＣＰＵ１８０１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。

また、上述した実施形態１、２、３のシステム２００におけるカメラ処理部７１０は、ハードウェアとして構成してもよく、本体処理部７２０と同様、上述の画像処理装置１８００で構成してもよい。

以上、実施形態１、２、３における画像処理装置１８００のハードウェア構成例を説明したが、上述した構成には限定されない。ＣＰＵがＲＯＭなどに記憶されたプログラムをＲＡＭに読み出して実行することで、ＣＰＵが図７、図１１、図１３に示す各部として機能する形態でもよい。すなわち、画像処理装置１８００は、ソフトウェアのモジュールとして図７、図１１、図１３に示す各モジュールを実現してもよい。

［その他の実施形態］
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、前述した実施形態では、一つの画像処理装置２０２が、複数のカメラの画像データを取得して各カメラにおける背景画像の生成および前景領域の決定を行う形態を説明した。しかしながら、この形態に限られない。例えば、各カメラのハードウェア、または、各カメラに付随する画像処理装置が、仮想視点画像生成部の機能を除く機能を有する形態でもよい。そして、各カメラ側において、背景画像および前景領域を示す画像を生成し、生成したそれぞれのデータが、仮想視点画像を生成する装置に送信される形態でもよい。

前述した実施形態では、カメラ２０１と、カメラアダプタのカメラ処理部７１０と、画像処理装置２０２の本体処理部７２０とを有するシステム２００について説明した。カメラ２０１と、カメラ処理部７１０および本体処理部７２０を備える画像処理装置２０２とを有するシステム２００としてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

７１５ 検出部
７１６ 背景差分処理部
７２１ 推定部

Claims (15)

1. 複数の撮像手段によってオブジェクトを撮像することにより取得された複数の撮像画像それぞれに対する、前記オブジェクトを抽出するための複数の前景マスクを取得する第一の取得手段と、
   前記複数の撮像画像それぞれにおいて露出値が不適切である領域を検出して、前記複数の撮像画像に対応する、露出不適切領域をマスクするための複数の不適切領域マスクを取得する第二の取得手段と、
   前記複数の前景マスクおよび前記複数の不適切領域マスクに基づき、前記オブジェクトの形状を表す三次元形状データを生成する生成手段と
   を有し、
   前記第二の取得手段は、
   前記複数の撮像手段のうち、第一の輝度レンジに設定された前記撮像手段によって撮像することにより取得された前記撮像画像にて画素値が前記第一の輝度レンジの上限閾値よりも大きい部分を第一の不適切領域として検出し、
   前記複数の撮像手段のうち、前記第一の輝度レンジより相対的に輝度が高い第二の輝度レンジに設定された前記撮像手段によって撮像することにより取得された前記撮像画像にて画素値が前記第二の輝度レンジの下限閾値よりも小さい部分を第二の不適切領域として検出し、
   前記生成手段は、前記露出値が不適切である領域に対応する前記前景マスクが形状データの生成用のシルエットマスクとして使用可能である場合、前記前景マスクを用いて前記三次元形状データを生成する
   ことを特徴とする画像処理システム。
2. 前記生成手段は、前記前景マスクと前記不適切領域マスクとの論理和として得られる限定マスクに基づき前記三次元形状データを生成する
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記生成手段は、前記露出値が不適切である領域に対応する前記前景マスクが形状データの生成用のシルエットマスクとして使用不可能である場合、前記限定マスクを用いて前記三次元形状データを生成する
   ことを特徴とする請求項２に記載の画像処理システム。
4. 前記第二の取得手段は、前記撮像画像から生成した背景画像、または前記撮像画像から生成した、所定期間の背景画像の各画素を平均化した平均画像に基づき、前記不適切領域マスクを取得する
   ことを特徴とする請求項１から３の何れか一項に記載の画像処理システム。
5. 前記生成手段は、前記第一の不適切領域を示す第一の露出マスク、または前記第二の不適切領域を示す第二の露出マスクと、前記前景マスクとの論理和をシルエットマスクとした視体積交差法により、前記三次元形状データを生成する
   ことを特徴とする請求項１から４の何れか一つに記載の画像処理システム。
6. 前記撮像画像から抽出された前景テクスチャ、または、前記前景テクスチャと前記不適切領域マスクの論理和として得られる限定テクスチャに基づき、前記三次元形状データに付与するための色データを生成する色付け手段を有する
   ことを特徴とする請求項１から５の何れか一項に記載の画像処理システム。
7. 前記色付け手段は、少なくとも、前記三次元形状データで表される前景オブジェクトの表面の点から前記撮像画像に投影された画素の画素値に基づき、前記色データを生成する
   ことを特徴とする請求項６に記載の画像処理システム。
8. 前記色付け手段は、適正な前記露出値で撮像された前記撮像画像から抽出された前記前景テクスチャを優先的に用いて前記色データを生成する
   ことを特徴とする請求項７に記載の画像処理システム。
9. 前記色付け手段は、前記撮像手段に設定された前記露出値に応じて当該撮像手段に対応する前記撮像画像における前記画素の画素値を補正し、補正後の前記画素の画素値と、前記撮像手段に対して予め設定された所定の係数とに基づき得られた画素値を付与した前記色データを生成する
   ことを特徴とする請求項８に記載の画像処理システム。
10. 前記撮像手段に設けられ、前記撮像手段で取得した前記撮像画像に対して所定の処理を行う情報処理装置と、
    前記情報処理装置に接続し、前記情報処理装置で前記所定の処理が行われた前記撮像画像に基づき前記オブジェクトに関するデータを生成する画像処理装置と、
    を有し、
    前記情報処理装置は、前記第一の取得手段と前記第二の取得手段とを有し、
    前記画像処理装置は、前記生成手段を有する
    ことを特徴とする請求項１から５の何れか一項に記載の画像処理システム。
11. 前記撮像手段に設けられ、前記撮像手段で取得した前記撮像画像に対して所定の処理を行う情報処理装置と、
    前記情報処理装置に接続し、前記情報処理装置で前記所定の処理が行われた前記撮像画像に基づき前記オブジェクトに関するデータを生成する画像処理装置と、
    を有し、
    前記情報処理装置は、前記第一の取得手段と前記第二の取得手段とを有し、
    前記画像処理装置は、前記生成手段と前記色付け手段を有する
    ことを特徴とする請求項６から９の何れか一項に記載の画像処理システム。
12. 前記複数の撮像手段により撮像された複数の視点の画像を前記複数の撮像画像として取得し、
    前記画像処理システムは、前記複数の視点の画像と、前記生成手段によって生成された前記三次元形状データと、を用いて仮想視点画像を生成する
    ことを特徴とする請求項１から１１の何れか一項に記載の画像処理システム。
13. 前記第一の取得手段は、前記前景マスクを生成し、
    前記第二の取得手段は、前記不適切領域マスクを生成する
    ことを特徴とする請求項１から１２のいずれか一項に記載の画像処理システム。
14. 複数の撮像手段によってオブジェクトを撮像することにより取得された複数の撮像画像それぞれに対する、前記オブジェクトを抽出するための複数の前景マスクを取得する第一の取得ステップと、
    前記複数の撮像画像それぞれにおいて露出値が不適切である領域を検出して、前記複数の撮像画像に対応する、露出不適切領域をマスクするための複数の不適切領域マスクを取得する第二の取得ステップと、
    前記複数の前景マスクおよび前記複数の不適切領域マスクに基づき、前記オブジェクトの形状を表す三次元形状データを生成する生成ステップと
    を有し、
    前記第二の取得ステップにて、
    前記複数の撮像手段のうち、第一の輝度レンジに設定された前記撮像手段によって撮像することにより取得された前記撮像画像にて画素値が前記第一の輝度レンジの上限閾値よりも大きい部分を第一の不適切領域として検出し、
    前記複数の撮像手段のうち、前記第一の輝度レンジより相対的に輝度が高い第二の輝度レンジに設定された前記撮像手段によって撮像することにより取得された前記撮像画像にて画素値が前記第二の輝度レンジの下限閾値よりも小さい部分を第二の不適切領域として検出し、
    前記生成ステップにて、前記露出値が不適切である領域に対応する前記前景マスクが形状データの生成用のシルエットマスクとして使用可能である場合、前記前景マスクを用いて前記三次元形状データを生成する
    ことを特徴とする画像処理方法。
15. コンピュータを、請求項１から１３の何れか一項に記載の画像処理システムの各手段として機能させるためのプログラム。

Images