JP2022181493A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】入力画像から前景画像を精度よく生成する。【解決手段】画像処理装置は、入力画像と、当該入力画像に対応する背景画像とからオブジェクトの形状を示す第一の前景画像を生成する。入力画像に対応する、光以外の要素を表す画像と、当該画像に対応する背景画像とからオブジェクトの形状を示す第二の前景画像を生成する。第二の前景画像を基に、前記第一の前景画像を生成するためのパラメータを設定する。【選択図】図２

Description

本開示は、入力画像内の前景領域を特定する技術に関する。

昨今、複数の撮像装置を異なる位置に設置して複数の視点で同期撮像し、その撮像により得られた複数の画像を用いて、撮像装置の設置位置における画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。この複数の画像に基づく仮想視点画像の生成及び閲覧は、複数の撮像装置で撮像した画像をサーバ等の画像処理装置に集約し、その画像処理装置にて、仮想視点に基づくレンダリング等の処理を施し、ユーザ端末に仮想視点画像を表示することで実現される。このような仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールなどの特定のシーンを様々な角度から視聴、閲覧することができるため、従来の撮像画像と比較して、ユーザに高臨場感を与えることができる。

仮想視点画像を生成する技術として、様々な手法が開発されている。例えば、撮像画像から選手等の前景とサッカーフィールド等の背景とを分離して生成し、複数の画像から３次元座標を算出し、算出結果を基に仮想視点画像を生成する技術がある。前景と背景とを分離する手法として、前景のない背景画像と撮像画像との差分をとることで撮像画像から前景を分離する手法がある。

但し、この分離手法では、前景の画素値が背景の画素値に近いと、前景と背景との差異の検出が困難になり、分離した前景に欠けが生じてしまう。また、前景と背景との差異を検出するために閾値を下げると、背景を前景として誤検出してしまう。

そこで、前景を精度よく分離するため、画素値以外の情報、例えば、距離情報を用いて前景を分離する手法がある。特許文献１は、カラー画像と背景画像とで、画素値の差分が一定値以上となる画素を前景とする背景差分マスク画像と、デプスマップにて所定の距離範囲内に含まれる領域を前景とする距離閾値マスク画像とを合成する技術を開示している。

特開２０１８－１２４８９０号公報

特許文献１の技術では、背景差分マスク画像と距離閾値マスク画像の双方が前景を示す領域をカラー画像内の前景領域としている。仮に距離閾値マスク画像が前景領域の輪郭と重なると、一般に距離情報は撮像画像よりも解像度が低い為、カラー画像から生成された前景の輪郭は荒くなる。さらに、前景と背景の画素値が近く背景差分マスクに欠けが生じると、生成された前景にも欠けが生じることになる。

本開示は、入力画像から前景画像を精度よく生成する技術を提供することを目的とする。

本開示の一態様に係る画像処理装置は、入力画像と、当該入力画像に対応する背景画像とからオブジェクトの形状を示す第一の前景画像を生成する第一の生成手段と、前記入力画像に対応する、光以外の要素を表す画像と、当該画像に対応する背景画像とから前記オブジェクトの形状を示す第二の前景画像を生成する第二の生成手段と、前記第二の前景画像を基に、前記第一の生成手段で前記第一の前景画像を生成するためのパラメータを設定する設定手段と、を有することを特徴とする。

本開示によれば、入力画像から前景画像を精度よく生成することができる。

画像処理装置のハードウェア構成例を示す図である。 画像処理装置の機能構成例を示すブロック図である。 前景分離方法の概要を示す図である。 前景分離方法の効果を示す図である。 画像処理装置が実行する処理の流れを示すフローチャートである。 画像処理装置の機能構成例を示すブロック図である。 前景分離方法の概要および効果を示す図である。 画像処理装置が実行する処理の流れを示すフローチャートである。 画像処理装置の機能構成例を示すブロック図である。 画像処理装置が実行する処理の流れを示すフローチャートである。

以下、本開示を実施するための形態について図面を用いて説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、発明の範囲をそれらに限定する趣旨のものではない。また、実施形態で説明されている構成要素の組み合わせのすべてが、課題を解決するための手段に必須のものとは限らず、種々の変形及び変更が可能である。同一の構成については、同じ符号を付して説明する。

［実施形態１］
本実施形態では、背景と前景の画素値が近い領域において、距離情報前景マスクを用いて前景を正しく特定する態様について説明する。なお、本実施形態では、映像を例に処理を説明するが、静止画像にも適用可能である。

＜画像処理装置のハードウェア構成＞
図１は、本実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。画像処理装置１００は、ＣＰＵ１１１と、ＲＡＭ１１２と、ＲＯＭ１１３と、操作部１１４と、出力部１１５と、補助記憶装置１１６と、通信Ｉ／Ｆ（インターフェース）１１７、バス１１８とを有する。

ＣＰＵ１１１は、中央処理装置であり、ＲＡＭ１１２やＲＯＭ１１３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御することで、後述の図２に示す画像処理装置１００の各機能を実現する。なお、画像処理装置１００がＣＰＵ１１１とは異なる１又は複数の専用ハードウェアを有し、ＣＰＵ１１１による処理の少なくとも一部をこの専用ハードウェアが実行してもよい。専用ハードウェアの例として、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１２は、補助記憶装置１１６からロードされたコンピュータプログラムやデータ、通信Ｉ／Ｆ（インターフェース）１１７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。さらに、ＲＡＭ１１２は、ＣＰＵ１１１が各種の処理を実行する際に用いるワークエリアを有する。すなわち、ＲＡＭ１１２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１１４は、キーボードやマウスなどを有しており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１１１に対して入力することができる。出力部１１５は、例えば液晶ディスプレイを有し、ＣＰＵ１１１による処理結果を表示する。操作部１１４、出力部１１５は必ずしも必要ではなく、通信Ｉ／Ｆ１１７を介して、接続される外部装置に対して、データの入出力を行ってもよい。

補助記憶装置１１６は、ハードディスクドライブ装置などの大容量情報記憶装置である。補助記憶装置１１６には、ＯＳ（オペレーティングシステム）や、図２に示す各処理部の機能をＣＰＵ１１１に実現させるためのコンピュータプログラムが保存されている。更には、補助記憶装置１１６には、処理対象としての各画像データが保存されていてもよい。

補助記憶装置１１６に保存されているコンピュータプログラムやデータは、ＣＰＵ１１１による制御に従って適宜、ＲＡＭ１１２にロードされ、ＣＰＵ１１１による処理対象となる。通信Ｉ／Ｆ１１７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、画像処理装置１００はこの通信Ｉ／Ｆ１１７を介して様々な情報を取得したり、送出したりすることができる。バス１１８は、画像処理装置１００の各部をつないで情報を伝達する。

＜画像処理装置の構成＞
図２は、本実施形態に係る画像処理装置の構成例を示すブロック図である。画像処理装置１００は、入力装置１２０と接続しており、画像処理装置１００には、接続された入力装置１２０から画像データが入力される。入力装置１２０は、撮像装置１２１と、計測装置１２２とを有する。撮像装置１２１は、対象となるオブジェクトを撮像して撮像画像を取得する。計測装置１２２は、撮像装置１２１と同じ場所に設置され、撮像装置１２１と同じ画角であって、画像の各画素に対して計測装置１２２からの距離を表現した深度マップを取得する。すなわち、計測装置１２２は、撮像画像と対をなし、当該撮像画像に対応した深度マップを取得する。深度マップは、光以外の要素を表す画像であり、例えば、手前が黒で表され、最奥が白で表され、手前から最奥に向かい計測装置１２２から距離に応じて黒の濃淡で表現されており、距離情報を表す画像である。なお、深度マップの詳細については図を用いて後述する。このように取得した撮像画像および深度マップを含む画像データが画像処理装置１００に入力されることから、画像データに含まれる撮像画像は、画像処理装置１００では入力画像といえる。なお、計測装置１２２は、これに限定されず、撮像装置１２１に内蔵されていてもよい。

画像データに含まれる入力画像として、例えば、解像度Ｉｒｅｓが、１９２０（フルハイビジョン対応解像度）、３８４０（４Ｋ対応解像度)、または７６８０（８Ｋ対応解像度）などの画像が用いられるが、これに限定されない。画像データに含まれる深度マップとして、例えば、解像度Ｄｒｅｓが６４０（ＶＧＡ対応解像度）、１２８０（ＨＤ ７２０ｐ解像度)、１９２０（ＨＤ １０８０ｐ解像度）などのデータが用いられるが、これに限定されない。なお、上述の対をなす組み合わせ｛入力画像の解像度Ｉｒｅｓ，深度マップの解像度Ｄｒｅｓ｝としては、いずれの組み合わせであってもよい。

深度マップとして、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式のＬｉＤＡＲ（ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、赤外線によるドットパターン照射、超音波等の入力画像とは異なる撮像方法で取得したデータが望ましい。本実施形態では、入力画像としてのフォーマットについては特に限定されない。例えば、画素単位のビット深度（８ビット、１０ビットなど）、画素単位の色を表現するフォーマット（ＹＵＶ４４４、ＹＵＶ４２２、ＲＧＢなど）等については、種々の形式を使用することが可能である。また、動画ファイル形式も、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）、ＭＰＥＧ－２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ ２）等の規定の形式又は独自の形式が使用可能であり、特に限定されない。

画像処理装置１００は、背景生成部２０１と、第一の前景生成部２０２と、第二の前景生成部２０３と、制御部２０４と、仮想視点映像生成部（以下、「生成部」と記す）２０５とを有する。背景生成部２０１は、複数の入力画像から動きのある被写体を前景、静止している領域を背景として識別し、背景のみを抽出した背景画像を生成する。

第一の前景生成部２０２は、外部から入力された画像データに含まれる入力画像と、背景生成部２０１で生成された背景画像とを用いて、背景差分法によりオブジェクトの形状を示す前景領域を抽出して二値画像（前景マスク）を生成する。すなわち、第一の前景生成部２０２は、入力画像から背景画像を減算した差分画像に対し所定の閾値を用いて二値化を行うことにより第一の前景画像として二値画像（前景マスク）を生成する。なお、二値画像（前景マスク）の生成方法は、これに限定されず、公知の技術であればよい。この二値画像（前景マスク）は、前景領域を特定する為に用いられるデータであり、本実施形態では、前景領域を「１」とし、背景領域を「０」としたデータであるとする。なお、二値画像（前景マスク）における二値の値は、前述の値に限定されず、前景領域を「０」とし、背景領域を「１」とした逆の値を有するデータであってもよい。

第二の前景生成部２０３は、外部から入力された画像データに含まれる深度マップを用いて、オブジェクトの形状を示す前景領域を抽出して二値画像（距離情報前景マスク）を生成する。この前景領域の抽出方法は、前述した入力画像と同じように、先ず、入力された複数の深度マップから静止している領域を抽出することによって背景に相当する深度マップ（背景の深度マップ）を生成する。次に、入力される深度マップと背景の深度マップとの差分を所定の閾値を用いて二値化を行うことにより第二の前景画像として二値化画像（距離情報前景マスク）を生成する。背景の深度マップの生成方法は、これに限定されず、例えば、背景だけの深度マップのデータを予め取得して記憶する方法でもよい。なお、深度マップの解像度と入力画像の解像度とが異なる場合は、入力画像の解像度に合わせるように深度マップに対して解像度変換を行う。この解像度変換は、第二の前景生成部２０３で行われる。なお、この解像度変換は、二値化後の距離情報前景マスクに対して行ってもよい。解像度変換時の画素の補間は、ニアレストネイバー、バイリニア、バイキュービック等のフィルタ演算で行われる。

制御部２０４は、第一の前景生成部２０２で生成する差分画像もしくは入力画像のコントラストの補正を行うためのパラメータを設定する。または、制御部２０４は、差分画像の二値化閾値の制御を行うためのパラメータを設定する。詳細については図を用いて後述する。すなわち、制御部２０４は、第一の前景生成部２０２で差分画像から前景を抽出する（生成する）ためのパラメータを設定するともいえる。

生成部２０５は、入力画像と背景画像と前景マスクとを用いて仮想視点映像を生成する。例えば、生成部２０５は、ユーザにより指定された視点に対応する仮想視点映像（画像）の生成に要する背景を、背景生成部２０１で生成された背景画像を２次元平面上に投影することによって生成する。また生成部２０５は、第一の前景生成部２０２で生成された前景マスクの画素値が「１」の画素群に対応する該入力画像上の画素群の領域を前景領域として特定する。そして生成部２０５は、特定した前景領域を入力画像から抽出し、該抽出した前景領域に基づいて前景の３次元モデルを生成する。最後に生成部２０５は、該生成した３次元モデルにユーザから指定された視点に応じたテクスチャをマッピングして上記の２次元平面上に投影することで、該２次元平面上に仮想視点映像を生成する。なお、生成された仮想視点映像は、画像処理装置１００に接続される表示装置や、ネットワークを介して接続されるユーザ端末などに出力される。

＜前景分離時のコントラスト補正及び二値化閾値の制御＞
本実施形態における距離情報を用いた前景生成方法である前景分離方法の制御の詳細について、図を用いて説明する。図３は、前景分離方法の概要を示す図である。

入力画像３１０は、外部から画像処理装置１００に入力される画像データに含まれ、後述の深度マップ３５０と対をなす画像である。入力画像３１０は、楽器を持つ人物を撮像して得た画像であって、光沢のある楽器３０２を持つ人物３０１と、人物３０１がいる場所の床３１１および壁３１２とを含む。楽器３０２の一部分（光沢部）３０３には、床３１１が映り込んでおり、この部分を映り込み部とする。Ａ－Ａの線分３９１は、楽器３０２から床３１１に亘る線分であって、床の映り込み部３０３を通る線分である。

背景画像３２０は、入力画像３１０を用いて背景生成部２０１で生成された画像である。背景画像３２０は、入力画像３１０中の人物３０１および楽器３０２を含まないが、入力画像３１０中の床３１１および壁３１２のそれぞれに対応する床３２１および壁３２２を含む。Ｂ－Ｂの線分３９２は、入力画像３１０におけるＡ－Ａの線分３９１に対応した線分であって、床３２１のみを通る線分である。

差分画像３３０は、入力画像３１０と背景画像３２０とを用いて、第一の前景生成部２０２で生成される画像であり、各画素が入力画像３１０と背景画像３２０とで対応する画素の画素値の差（差分値）で表された画像である。差分画像３３０は、入力画像３１０の人物３０１および楽器３０２に対応する部分が前記差分値で表された前景領域３３１と、入力画像３１０の人物３０１および楽器３０２以外に対応する部分が前記差分値で表された背景領域３３２とを有する。差分画像３３０は、さらに、入力画像３１０にて床の映り込み部３０３に対応する箇所が前記差分値で表され背景領域３３２と類似した背景類似領域３０４を有する。背景類似領域３０４は、前景領域３３１に含まれる箇所であるが、背景領域３３２となる床３１１が映り込み、前景領域となる楽器３０２などに対応する領域の画素値よりも背景領域となる床３１１に対応する領域の画素値に近い値を有する箇所である。すなわち、背景類似領域３０４は、楽器の光沢部で反射された領域３０３が床３１１の色に近い色になる。そのため、差分画像３３０において、背景類似領域３０４の画素値は、背景領域３３２の画素値と同じ「０」に近い値になる。よって、背景類似領域３０４は、前景の欠落領域であるともいえる。Ｃ－Ｃの線分３９３は、入力画像３１０におけるＡ－Ａの線分３９１、背景画像３２０におけるＢ－Ｂの線分３９２に対応した線分である。すなわち、Ｃ－Ｃの線分３９３は、前景領域３３１にて入力画像３１０の楽器３０２に対応した箇所から背景領域３３２にて入力画像３１０の床３１１に対応した箇所に亘る線分であって、床の映り込み部３０３に対応する背景類似領域３０４を通る線分である。

前景マスク３４０は、差分画像３３０の全面（全ての画素）に対し、一律の閾値を用いて、差分画像３３０を二値化した画像である。具体的には、前景マスク３４０は、差分画像３３０の前景領域３３１に対応する領域３４１を１（白）とし、差分画像３３０の背景領域３３２に対応する領域３４２を０（黒）とした場合の画像である。前景マスク３４０では、差分画像３３０の背景類似領域３０４に対応する領域３０５は、差分画像３３０の背景領域３３２に対応する領域３４２と同じ０（黒）となっており、前景の欠落を示す欠落領域となる。このように、前景領域を示す差分画像の画素値が０に近くなると適切な閾値で前景を特定することが困難になる。仮に、閾値に０に近い値を設定し、背景類似領域３０４を前景として特定できたとしても、外光のゆらぎやカメラのＩＳＯ感度に起因する背景領域に紛れたノイズ成分を前景として誤検出してしまう。そこで、深度マップから算出して得た距離情報前景マスクを用いて差分画像及び二値化閾値の制御を行う。このような制御を行うことにより、前述の前景の欠落やノイズ成分の誤検出を防ぐことができる。

深度マップ３５０は、外部から画像処理装置１００に入力される画像データに含まれ、入力画像３１０と対をなし、入力画像３１０に対応する画像である。深度マップ３５０は、グレースケールの濃淡を使って３次元空間の奥行きである対象物までの距離（深度）を表現した画像である。深度マップ３５０は、オブジェクトを含まない背景領域３０６と、オブジェクトの形状を示す前景領域３０７とを含む。前景領域３０７は、楽器を持つ人物の形状を示す領域に対応している。なお、前景領域３０７は、白で表しているが、実際には計測装置からの距離に応じた色で表される。

距離情報前景マスク３６０は、深度マップ３５０から算出して得た画像であって、前景領域３６１を白とし、背景領域３６２を黒とした場合の画像である。

コントラストの補正後の差分画像３７０は、差分画像３３０において、距離情報前景マスク３６０が示す前景領域３６１に対応した領域に対して、低階調から中間階調の値をやや持ち上げるようにコントラストの補正を行って得た画像である。コントラストの補正の詳細については図を用いて後述する。差分画像３７０は、背景類似領域３０４に対応する補正領域３０８を含む楽器とこの楽器を持つ人物とを含む前景領域３７１と、それ以外の背景領域３７２とを有する画像である。補正領域３０８は、差分画像３７０の背景領域３７２の画素値よりも高い値となる。これにより、背景の画素値と近い画素値を持つ領域（箇所）が前景となる領域内にあっても、その差分画像３７０にて画素値の差を確実に持たせることが可能になる。Ｄ－Ｄの線分３９４は、入力画像３１０におけるＡ－Ａの線分３９１、背景画像３２０におけるＢ－Ｂの線分３９２、差分画像３３０におけるＣ－Ｃの線分３９３に対応した線分である。なお、Ｄ－Ｄの線分３９４は、前景領域３７１の楽器から背景領域３７２に亘る線分であって、補正領域３０８を通る線分である。

前景マスク３８０は、コントラスト補正後の差分画像３７０に対して二値化処理をして得た画像である。前景マスク３８０は、人物および楽器を含む前景領域３８１を白とし、それ以外の背景領域３８２を黒とした場合の画像である。前景マスク３８０では、前景マスク３４０の欠落領域３０５に対応する領域３０９が前景領域である白となり、前景の欠落は解消されることになる。

なお、上記では、コントラストの補正を差分画像３３０に対して実行する例について説明したが、これに限定されない。例えば、入力画像３１０に対してコントラストの補正を実行してもよい。この場合、距離情報前景マスク３６０が示す前景領域３６１の範囲を対象として入力画像３１０に対してコントラストの補正を実行した後、補正後の画像から背景画像３２０を減算することで、コントラストの補正後の差分画像３７０に相当する画像を得られる。

上述した前景分離処理で用いる制御情報について、図を用いて詳細に説明する。図４は、前景分離方法の効果を示す図である。

グラフ４１０は、入力画像３１０に示されるＡ－Ａの線分３９１にて、水平方向の座標での画素値を示している。グラフ４１０には、楽器の画素値４１１と、床が反射して楽器に映り込んだ箇所（映り込み部）の画素値４１２と、床の画素値４１３と、床に紛れたノイズの画素値４１４とが示されている。床の画素値４１３は、楽器の画素値４１１と比べて小さくなっている。そのため、映り込み部の画素値４１２は、楽器の画素値４１１と比べて小さくなっている。ノイズの画素値４１４は、床の画素値４１３と比べて大きくなっている。

グラフ４２０は、背景画像３２０に示されるＢ－Ｂの線分３９２にて、水平方向の座標での画素値を示している。グラフ４２０には、床の画素値４２１が示されている。

グラフ４３０は、差分画像３３０に示されるＣ－Ｃの線分３９３にて、水平方向の座標での画素値を示し、グラフ４１０とグラフ４２０の差分に等しいことを示している。グラフ４３０には、楽器に対応する箇所の画素値４３１と、映り込み部に対応する箇所の画素値４３２と、床に対応する箇所の画素値４３３と、床に紛れたノイズに対応する箇所の画素値４３４とが示されている。第１の二値化閾値４３５は、楽器に対応する箇所の画素値４３１より小さく、映り込み部に対応する箇所の画素値４３２より大きいことを示している。第２の二値化閾値４３６は、床に紛れたノイズに対応する箇所の画素値４３４より小さく、床に対応する箇所の画素値４３３より大きいことを示している。

グラフ４４０は、水平方向の座標での画素値であって、グラフ４３０を第１の二値化閾値４３５で二値化した場合の画素値を示している。グラフ４４０には、画素値４３１に対応する画素値４４１と、画素値４３２に対応する画素値４４２と、画素値４３３、４３４に対応する画素値４４３とが示されている。このグラフ４４０によれば、映り込み部に対応する箇所の画素値４４２が０となり、前景領域の一部が欠落することが確認される。一方で、グラフ４５０は、水平方向の座標での画素値であって、グラフ４３０を第２の二値化閾値４３６で二値化した場合の画素値を示している。グラフ４５０には、画素値４３１、４３２に対応する画素値４５１と、画素値４３３に対応する画素値４５２と、画素値４３４に対応する画素値４５３とが示されている。このグラフ４５０によれば、映り込み部を含む楽器に対応する箇所の画素値４５１が０より大きく、この箇所を、欠落せず前景として検出するが、床に紛れたノイズに対応する箇所の画素値４５３が０より大きくこの箇所を前景として検出することが確認される。

そこで、本実施形態では、グラフ４５０に示すノイズなどの誤検出を防ぐため、距離情報前景マスクを利用する。グラフ４６０は、差分画像３７０に示されるＤ－Ｄの線分３９４にて、水平方向の座標での画素値を示している。グラフ４６０には、グラフ４３０に対応する画素値を示す曲線４６２と、斜線で表される距離情報前景マスクの前景領域４６１とが示されている。曲線４６２に示すように、該前景領域に範囲を限定して、差分画像における画素値のコントラストを、低階調から中間階調の値をやや持ち上げるように補正する。補正方法の一例はガンマ補正である。これにより、背景領域のノイズ成分を誤検出することなく前景の欠落を防ぐ為の閾値の範囲を広げることが可能となる。グラフ４８０は、適正な閾値を設定して生成された前景マスクを示している。グラフ４８０では、前景領域４６１に対応する画素値４８１と、前景領域４６１以外の領域に対応する画素値４８２とが示されている。ここで、上記二値化を式で示す。まず、（１）式で、入力画像の画素値をＩとし、背景画像をＢとし、双方の差分値の絶対値を差分画像Ｓとして求める。

次に、（２）式で、ガンマ補正を行う関数をγとし、距離情報前景マスクをＭとし、二値化閾値をαとして二値画像Ｏを求める。（２）式の右辺は不等式が示す真理値を、真を１とし、偽を０として返す。

また、上記二値化の別の手段として距離情報前景マスクに応じて二値化閾値を切り替えてもよい。グラフ４７０に示すように、距離情報前景マスクの前景領域内は、僅かな差分を検出する為に第２の二値化閾値４３６に示す低い閾値を設定し、該領域外は背景領域の誤検出を防ぐ程度の第１の二値化閾値４３５に示す高い閾値を設定する。この二値化を（３）式に示す。低い値となる第２の二値化閾値４３６をαとし、高い値となる第１の二値化閾値４３５をβとする。閾値αとして、例えば、「入力画像内の前景領域の画素値」と「背景画像内の前記前景領域と同じ座標の画素値」との差分値の中で、最も小さい差分値を前景として検出できる値を用いてもよい。これにより、前景マスクに欠落（例えば穴や欠け）が生じることを防ぐことができる。また、閾値βとして、例えば、「入力画像内の背景領域の画素値」と「背景画像内の前記背景領域と同じ座標の画素値」との差分値の中で、最も大きい差分値を前景として検出できる値を用いてもよい。このように、閾値αのような低い値では、背景領域のノイズを拾ってしまうため、ノイズを拾わない程度に高い閾値を設定する。閾値βとして、例えば、最大値（８ｂｉｔであれば２５５）としてもよい。（３）式の右辺は不等式が示す真理値を、真を１とし、偽を０として返す。

さらに、上記２つの二値化手段を合わせてもよい。この二値化を（４）式に示す。（４）式の右辺は不等式が示す真理値を、真を１とし、偽を０として返す。この手段により、距離情報領域マスクによって示される前景領域が、差分画像における前景領域の輪郭周辺の背景領域の画素（以降、輪郭背景画素と称す）を若干含む場合に、次の処理が可能となる。すなわち、該輪郭背景画素を背景画素として識別できる低い閾値を設定でき、かつ、その設定範囲を広げることが可能となる。

＜処理手順＞
続いて、本実施形態に係る画像処理装置が実行する処理の流れについて、図を用いて説明する。図５（ａ）および（ｂ）は、仮想視点映像の生成処理の流れを示すフローチャートであり、図５（ａ）に全体の流れを示し、図５（ｂ）に図５（ａ）に示すＳ５０３の詳細な流れを示す。図５（ａ）および（ｂ）のフローチャートで示される一連の処理は、ＣＰＵ１１１がＲＯＭ１１３に記憶されているプログラムコードをＲＡＭ１１２に展開し実行することにより行われる。また、図５（ａ）および（ｂ）におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。

まず、画像処理装置が実行する処理の全体の流れについて、図５（ａ）を用いて説明する。画像処理装置は外部から画像データを受信することで処理が開始される。なお、画像データは、入力画像と、入力画像に対応する深度マップとを含む。

Ｓ５０１では、背景生成部２０１は、複数枚の入力画像から動きのある領域を前景、静止している領域を背景として識別し、背景のみを抽出した背景画像を生成する。

Ｓ５０２では、第二の前景生成部２０３は、深度マップを用いて距離情報前景マスクを生成する。距離情報前景マスクは、二値画像であり、詳細につき後述する前景領域を特定する際に用いられる。なお、距離情報前景マスクは、距離前景とも称す。

Ｓ５０３では、第一の前景生成部２０２は、入力画像と背景画像と、距離情報前景マスクとを用いて前景マスク（色情報前景マスク）を生成する。前景マスクは、二値画像であり、前景領域を特定する際に用いられる。前景マスクの生成処理の詳細については、図を用いて後述する。なお、第一の前景生成部２０２で生成される前景マスクは、色前景とも称す。

Ｓ５０４では、生成部２０５は、入力画像と、Ｓ５０１で生成された背景画像と、Ｓ５０３で生成された前景マスクとを用いて仮想視点映像を生成する。なお、仮想視点映像の生成方法として、公知の技術が用いられる。

次に、Ｓ５０３の前景マスクの生成処理（色情報前景生成処理）の詳細について、図５（ｂ）を用いて説明する。

Ｓ５１１では、第一の前景生成部２０２は、入力画像と、Ｓ５０１で生成した背景画像とを用いて、処理対象となる画素の画素値の差分の絶対値を差分画素値として生成する。

Ｓ５１２では、第一の前景生成部２０２は、Ｓ５０２で生成した距離情報前景マスクを用いて、処理対象となる画素が前景領域内にあるかどうかを判定する。処理対象となる画素の座標と同じ座標の距離情報前景マスクの値が「１」であり、処理対象となる画素が前景領域内にある場合（Ｓ５１２のＹＥＳ）、処理がＳ５１３に移行される。他方、処理対象となる画素の座標と同じ座標の距離情報前景マスクの値が「０」であり、処理対象となる画素が前景領域内にない場合（Ｓ５１２のＮＯ）、処理がＳ５１５に移行される。

Ｓ５１３では、制御部２０４は、処理対象となる画素の差分画素値にガンマ補正をかけてコントラストの補正を行う。なお、Ｓ５１４及びＳ５１５に示す二値化閾値の設定を行う場合は、Ｓ５１３の処理を省いても構わない。これは、コントラスト補正と二値化閾値制御のどちらか一方の処理だけを用いても、相応の効果が得られる為である。

Ｓ５１４では、制御部２０４は、二値化閾値としてαを設定する。この二値化閾値αの値は、後述する二値化閾値βの値よりも小さい値となる。二値化閾値αを設定することにより、差分画像における前景領域の僅かな値を検出することができる。

Ｓ５１５では、制御部２０４は、二値化閾値としてβを設定する。この閾値βの値は、前述した二値化閾値αの値よりも大きい値となる。二値化閾値βを設定することにより、差分画像における背景領域のノイズ成分の検出を防ぐことができる。

Ｓ５１６では、第一の前景生成部２０２は、Ｓ５１４で設定した二値化閾値α、またはＳ５１５で設定した二値化閾値βを用いて、Ｓ５１１で生成した処理対象の差分画素値を二値化する。

Ｓ５１７では、第一の前景生成部２０２は、処理対象の１フレーム分の画素に対する処理が完了したか否かを判定する。処理対象の１フレーム分の画素に対する処理が完了したとの判定結果を得た場合（Ｓ５１７のＹＥＳ）、図５（ｂ）に示す前景マスクの生成処理（色情報前景生成処理）のフローを終える。他方、処理対象の１フレーム分の画素に対する処理が完了していないとの判定結果を得た場合（Ｓ５１７のＮＯ）、処理がＳ５１１に戻され、未処理の画素に対して、Ｓ５１１からＳ５１７の処理が行われる。

以上説明した通り、本実施形態によれば、背景と前景の画素値が近い領域において、距離情報前景マスクを用いて前景を正しく特定することができる。よって、前景の画素値が背景の画素値と近い場合でも、輪郭の精度を保ちつつ、前景の欠け及び背景領域のノイズの誤検出を防いだ前景を分離して生成することができる。これにより、仮想視点映像における前景の品質を向上させることができる。

なお、本実施形態では、前景を特定する手段として、色以外の情報（要素）を表す画像である深度マップを用いたが、これに限定されない。前景を特定する手段として、例えば、色以外の要素である熱情報を表す画像であるヒートマップを用いてもよい。その場合、本実施形態において入力画像の座標に関連付けられる情報が距離情報から熱情報に変わる構成となる。

［実施形態２］
本実施形態では、入力画像と深度マップの解像度の差に応じて、距離情報前景マスクの前景領域を適切に膨張させることにより、前景マスクを正しく覆う態様について、説明する。

＜画像処理装置のソフトウェア構成＞
図６は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。本実施形態に係る画像処理装置６００は、実施形態１の画像処理装置１００が有する機能部２０１－２０５に加えて、膨張率決定部６０１と、膨張部６０２とを有する。

膨張率決定部６０１は、外部から入力画像と深度マップの解像度を取得して適切な膨張率を決定する。膨張率の決定方法の詳細については図を用いて後述する。なお、各解像度を示す情報は、画像データに付随したデータでもよいし、ユーザ操作で画像処理装置に予め登録されたデータでもよい。

膨張部６０２は、膨張率決定部６０１で決定された膨張率に応じて第二の前景生成部２０３で生成された距離情報前景マスクの前景領域を膨張させる。

＜距離情報前景マスクの膨張制御＞
本実施形態における、入力画像と深度マップの解像度に応じた距離情報前景マスクの前景領域の膨張制御の詳細について、図を用いて説明する。図７は、距離情報前景マスクの膨張制御の概要を示す図である。図７（ａ）に距離情報前景マスクにおける前景領域の膨張制御の概要を示し、図７（ｂ）に前景領域の膨張制御による効果を示す。

差分画像７１０は、第一の前景生成部２０２によって生成される画像であり、各画素が入力画像と背景画像とで対応する画素の画素値の差（差分値）を有する画像である。差分画像７１０は、楽器を持つ人物７０１を含む前景領域７１１と、人物以外に対応する部分を含む背景領域７１２とを有する。また、前景領域７１１は、前記人物以外の人物７０２も含む。人物７０２は、人物７０１よりも後ろ側の遠方であって、背景領域７１２内に存在する。Ａ－Ａの線分７４１は、人物７０１が持つ楽器から背景領域７１２内の床に亘る線分であって、床の映り込み部および遠方に存在する人物７０２を通る線分である。

距離情報前景マスク７２０は、差分画像７１０に対応する入力画像と対をなす深度マップから算出して得た画像であり、前景領域に対して膨張処理を実行する前の画像であって、前景領域７２１を白で表し、背景領域７２２を黒で表した場合の画像である。前景領域７２１は、差分画像７１０の人物７０１に対応する部分７０３と、差分画像７１０の人物７０２に対応する部分７０４とを有しており、膨張処理前の領域を示している。部分７０４は、上述の通り、人物７０２が人物７０１よりも遠方に存在しており、人物７０２の足に対応する部分の一部が欠けている。これは、深度マップの解像度は、入力画像よりも低い為、入力画像の画質と比較すると物体の輪郭部が荒くなるからである。Ｂ－Ｂの線分７４２は、差分画像７１０におけるＡ－Ａの線分７４１に対応した線分である。

グラフ７５０は、Ａ－Ａの線分７４１およびＢ－Ｂの線分７４２にて、水平方向の座標での画素値を示している。曲線７５１は、差分画像７１０の人物７０１が持つ楽器の画素値を示し、曲線７５３は、差分画像７１０の人物７０２の画素値を示している。グラフ７５０では、距離情報前景マスク７２０の前景領域にて手前の人物が持つ楽器に対応する領域の画素値７５２と、距離情報前景マスク７２０の前景領域にて奥側の人物に対応する領域の画素値７５４とが示されている。距離情報の前景領域に欠けが生じた場合、曲線７５３および画素値７５４に示すように差分画像の前景領域の一部を覆うことができなくなる。そこで、膨張率決定部６０１において、以下に示す（５）式を用いて距離情報の前景領域の最適な膨張幅（膨張率）を算出する。着目する距離情報の前景マスクの画素を中心とした膨張幅（半径）をＡとし、入力画像の解像度をＩｒｅｓとし、深度マップの解像度をＤｒｅｓとし、調整係数をＢとする。

入力画像の解像度をＦｕｌｌＨＤ相当とし、深度マップの解像度をＶＧＡ相当とした場合、入力画像の解像度Ｉｒｅｓが１９２０となり、深度マップの解像度Ｄｒｅｓが６４０となる。調整係数Ｂを１とした場合、膨張幅は２となる。例えば、膨張対象の前景マスクが１×１のドットである場合、５×５のドットに膨張される。入力解像度と深度マップの解像度が等しい場合は、膨張幅は０となり膨張は行われない。ここで、調整係数Ｂは、０以上の実数であって、ユーザによって任意に定められる値であればよい。調整係数Ｂは、例えば、解像度変換方法に応じて調整されてもよい。ジャギーの影響が大きいニアレストネイバー法による拡大であれば調整係数Ｂを１以上の実数に設定してよいし、ジャギーの影響が小さいバイキュービック法による拡大であれば調整係数Ｂを１以下の実数を設定してもよい。以上、式の一例を示したが、入力画像と深度マップの解像度に応じて係数を算出することが本式のポイントであって、算出式をこれに限定するものではない。なお、膨張率決定部６０１は、計測装置１２２（撮像装置１２１）からの距離に応じて膨張率を決定してもよいし、計測装置１２２（撮像装置１２１）から遠くになるに従い相対的に大きくなるように膨張率を決定してもよい。

前景マスク７３０は、上述の（５）式を用いて、距離情報前景マスク７２０の前景領域に対して膨張処理を実行した後の画像であり、前景領域７３１を白で表し、背景領域７３２を黒で表した場合の画像である。Ｃ－Ｃの線分７４３は、差分画像７１０におけるＡ－Ａの線分７４１、距離情報前景マスク７２０におけるＢ－Ｂの線分７４２に対応した線分である。

グラフ７６０は、Ａ－Ａの線分７４１およびＣ－Ｃの線分７４３にて、水平方向の座標での画素値を示している。画素値７６２と画素値７６４は適正幅で膨張した距離情報前景マスクであり、曲線７５３および画素値７６４に示すように、差分画像の前景領域を覆うことが可能となる。

＜処理手順＞
続いて、本実施形態に係る画像処理装置が実行する処理の流れについて、図を用いて説明する。図８は、仮想視点映像の生成処理の流れを示すフローチャートである。なお、本実施形態に係る画像処理装置は、外部から入力画像を受信することで処理を開始する。

Ｓ５０１およびＳ５０２の処理は、実施形態１にて説明した処理内容と同じであり、詳細な説明については割愛する。なお、Ｓ５０２での処理を終えると、処理がＳ８０１に移行される。

Ｓ８０１では、膨張率決定部６０１は、入力画像の解像度及び深度マップの解像度から（５）式に示す膨張率Ａを算出して決定する。

Ｓ８０２では、膨張部６０２は、Ｓ８０１で決定した膨張率を用いて、距離情報前景マスクの前景領域に対して膨張処理を実行する。なお、膨張処理後の距離情報前景マスクは、Ｓ５０３で用いられることになる。

Ｓ５０３およびＳ５０４の処理は、実施形態１にて説明した処理内容と同じであり、詳細な説明については割愛する。

以上説明した通り、本実施形態によれば、深度マップから生成した距離情報前景マスクの前景領域を適正な膨張率で膨張させることで、入力画像と深度マップの解像度が異なることに起因する前景領域の欠けの発生を抑制することができる。すなわち、深度マップの輪郭に発生するジャギーや欠けに起因した前景領域の欠けの発生を抑制することができる。これにより、仮想視点映像における前景の品質を向上させることができる。

なお、膨張率は、上述の値に限定されない。膨張率は、例えば、撮像装置から近いオブジェクトの距離情報は精度がよく、遠いものは精度が悪くなることから、撮像装置からの距離に応じて制御して遠いオブジェクトほど前景範囲を広げるように設定してもよい。

［実施形態３］
本実施形態では、前景マスクの前景領域と距離情報前景マスクの前景領域を比較して、その比較結果に応じて前景マスクの生成を制御する態様について、説明する。

＜画像処理装置のソフトウェア構成＞
図９は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。本実施形態に係る画像処理装置９００は、実施形態２の画像処理装置６００が有する機能部２０１－２０５、６０１、６０２に加えて、比較部９０１と、切替え部９０２とを有する。

比較部９０１は、第一の前景生成部２０２が生成する前景マスクと、第二の前景生成部２０３が生成する距離情報前景マスクとを比較する。比較結果は、制御部２０４と切替え部９０２とに出力される。詳細については後述する。

切替え部９０２は、生成部２０５で使用される前景マスクの切替えを行う。比較部９０１による比較結果に応じて、入力画像から生成した前景マスク、または深度マップから生成した距離情報前景マスクのいずれかを選択する。詳細については後述する。

＜処理手順＞
続いて、本実施形態に係る画像処理装置が実行する処理の流れについて、図を用いて説明する。図１０は、仮想視点映像の生成処理の流れ示すフローチャートである。なお、図１０に示すフローでは、前景マスクの比較および切替え制御が行われる。

Ｓ１００１では、制御部２０４は、第一の前景生成部２０２で使用される差分画像を二値化する為の閾値αおよび閾値βに対し所定の初期値を設定する。この初期値は、撮像時に想定される安定した外光下において、前景と背景を適切に分離する閾値であることが望ましい。外光の変化が無く画素値が変動しない環境である場合には、閾値αおよび閾値βとして、例えば、実施形態１と同様な値としてもよい。他方、外光の変化があり画素値が変動する環境である場合には、閾値αおよび閾値βとして、例えば、実施形態１とは異なり、環境に応じた値としてよい。なお、Ｓ１００１での処理を終えると、処理がＳ５０１およびＳ５０２に移行される。

Ｓ５０１－Ｓ５０３、Ｓ８０１－Ｓ８０２の処理は、実施形態２にて説明した処理内容と同じであり、詳細な説明については割愛する。なお、Ｓ５０３での処理を終えると、処理がＳ１００２に移行される。

Ｓ１００２では、比較部９０１は、第一の前景生成部２０２で生成された前景マスクから第二の前景生成部２０３で生成された距離情報前景マスクを減算してマスク差分を算出する。このマスク差分は、双方の前景マスクを重ねたときに、前景領域が重畳していない画素の凡その数を示す。想定を超えるような外光の急変が発生した場合には、色情報で生成される前景マスクの前景領域及び背景領域にノイズが多数出現する。このノイズの凡その数を、重畳していない箇所の画素数として算出する。

Ｓ１００３では、比較部９０１は、Ｓ１００２で算出したマスク差分の絶対値を所定の閾値γと比較し、マスク差分の絶対値が所定の閾値γ以下であるか否かを判定する。閾値γとしては、例えば、「想定される前景領域の画素数の総和」の十数％程度とする。例えば、フィールドに選手１０人が映るとすれば、閾値γは、「１０人の前景領域の画素数の総和」×「十数％」とする。これは、微小な外光の変動によって生じる前景領域の変動量を十数％程度と想定しているためである。マスク差分の絶対値が閾値γ以下であるとの判定結果を得た場合（Ｓ１００３のＹＥＳ）、「外光の変化はない」または「穏やかな変化がある」と判断して、処理がＳ１００５に移行される。他方、マスク差分の絶対値が閾値γより大きく閾値γ以下ではないとの判定結果を得た場合（Ｓ１００３のＮＯ）、「外光の急変」が発生したと判断して、処理がＳ１００４に移行される。

Ｓ１００４では、切替え部９０２は、生成部２０５で使用される前景マスクとして距離情報前景マスクを選択し、選択した距離情報前景マスクを生成部２０５に対して出力する。これは、外光の急変時には色情報前景マスクのノイズが多く、色情報前景マスクによる前景マスクは仮想視点映像生成に使用する前景マスクとして適切ではなく、距離情報前景マスクは多少輪郭が荒くともノイズが少ないためである。

Ｓ１００５では、切替え部９０２は、生成部２０５で使用される前景マスクとして色情報前景マスクを選択し、選択した色情報前景マスクを生成部２０５に対して出力する。

Ｓ１００６では、比較部９０１は、Ｓ１００２で算出したマスク差分の絶対値を所定の閾値δと比較し、マスク差分の絶対値が所定の閾値δ以下であるか否かを判定する。ここで、閾値δとして、例えば、「想定される前景領域の膨張量の総和」とする。この膨張量の総和は、「想定される前景領域の画素数の総和」の数％程度とする。例えば、フィールドに選手１０人が映るとすれば、閾値δは、「１０人の前景領域の画素数の総和」×「数％」とする。なお、閾値δと閾値γの関係は、閾値δ＜閾値γであるとする。マスク差分の絶対値が閾値δ以下であるとの判定結果を得た場合（Ｓ１００６のＹＥＳ）、「外光の変化はない」と判断して、処理がＳ１０１０に移行される。他方、マスク差分の絶対値が閾値δより大きく、閾値δ以下ではないとの判定結果を得た場合（Ｓ１００６のＮＯ）、「外光の穏やかな変化」が発生したと判断して、処理がＳ１００７に移行される。

Ｓ１００７では、比較部９０１は、Ｓ１００２で算出したマスク差分の符号に基づき判定を行う。マスク差分の符号が負であり０より小さいとの判定結果を得た場合（Ｓ１００７のＹＥＳ）、外光の穏やかな変化により色情報の前景領域に多数の欠けが発生していると判断して、処理がＳ１００８に移行される。他方、マスク差分の符号が正であり０より大きいとの判定結果を得た場合（Ｓ１００７のＮＯ）、色情報の前景領域周辺及び背景領域にノイズが発生していると判断して、処理がＳ１００９に移行される。

Ｓ１００８では、制御部２０４は、第一の前景生成部２０２の二値化閾値αおよび二値化閾値βそれぞれから１を減算して、二値化閾値αおよび二値化閾値βとして減算後の大きさを設定する。なお、減算量は、１に限定されない。減算量は、例えば、１より大きい値に微調整してもよい。微調整は、１フレーム毎に閾値を変動したときに、その変動による前景マスクの輪郭の形状変化が人間の目に違和感として視認されない程度の調整量であればよく、例えば、１～３程度としてもよい。これは、減算量として、あまり大きな値を設定すると、設定時に前景のチラツキとして視認されてしまう可能性があり、小さい値で徐々に調整したいためである。このように差分画像を二値化する為の閾値を下げることにより、前景領域の欠けの発生を抑制することができる。Ｓ１００８で設定した二値化閾値αおよび二値化閾値βは、次のフレームに対する処理であって、Ｓ５０３の処理で使用されることになる。

Ｓ１００９では、制御部２０４は、第一の前景生成部２０２の二値化閾値αおよび二値化閾値βそれぞれに１を加算して、二値化閾値αおよび二値化閾値βとして加算後の大きさを設定する。なお、加算量は、１に限定されない。加算量は、例えば、１より大きい値に微調整してもよい。このように差分画像を二値化する為の閾値を上げることにより、前景領域周辺及び背景領域に発生しているノイズ成分の誤検出を抑制することができる。Ｓ１００９で設定した二値化閾値αおよび二値化閾値βは、次のフレームに対する処理であって、Ｓ５０３の処理で使用されることになる。

Ｓ１０１０では、生成部２０５は、入力画像と背景画像と前景マスクとを用いて仮想視点映像を生成する。

Ｓ１０１１では、画像データの入力が完了したか否かを判定する。画像処理装置９００への画像データの入力が続いており、画像データの入力が完了していないとの判定結果を得た場合（Ｓ１０１１のＮＯ）、処理がＳ５０１およびＳ５０２へ戻される。他方、画像データの入力が終了しており、画像データの入力が完了しているとの判定結果を得た場合（Ｓ１０１１のＹＥＳ）、図１０に示すフローを終える。

以上説明した通り、本実施形態によれば、前景マスクと距離情報前景マスクとで前景領域を比較して、その結果に応じて前景マスクの生成を制御することで、次の効果を奏する。日照の変化等で外光が急激に大きく変動し、例えばカメラの露出が一時的に適切でなくなる位に明るくなり、前景も背景もほとんどの領域が白くなり、前景の一部のみならず、その多くの画素値が背景画素値と同等になっても、安定した前景マスクを生成できる。すなわち、日照の変化の発生時においても安定した前景マスクを生成することが可能になる。これにより、仮想視点映像における前景の品質を向上させることができる。

［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０２：第一の前景生成部
２０３：第二の前景生成部
２０４：制御部

Claims (13)

1. 入力画像と、当該入力画像に対応する背景画像とからオブジェクトの形状を示す第一の前景画像を生成する第一の生成手段と、
   前記入力画像に対応する、光以外の要素を表す画像と、当該画像に対応する背景画像とから前記オブジェクトの形状を示す第二の前景画像を生成する第二の生成手段と、
   前記第二の前景画像を基に、前記第一の生成手段で前記第一の前景画像を生成するためのパラメータを設定する設定手段と、
   を有することを特徴とする画像処理装置。
2. 前記光以外の要素を表す画像は、前記入力画像を取得する撮像装置からオブジェクトまでの距離情報を表す画像から前記第二の前景画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記光以外の要素を表す画像は、オブジェクトの熱情報を表す画像から前記第二の前景画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記設定手段は、前記パラメータとして、前記入力画像と前記入力画像に対応する背景画像との差分画像における、前記第二の前景画像が示す領域に対してコントラストの補正を行うためのパラメータを設定する
   ことを特徴とする請求項１から３の何れか一項に記載の画像処理装置。
5. 前記設定手段は、前記パラメータとして、前記入力画像における、前記第二の前景画像が示す領域に対してコントラストの補正を行うためのパラメータを設定する
   ことを特徴とする請求項１から３の何れか一項に記載の画像処理装置。
6. 前記設定手段は、前記パラメータとして、前記入力画像と前記入力画像に対応する背景画像との差分画像から前記第二の前景画像を生成するための閾値を設定する
   ことを特徴とする請求項１から５の何れか一項に記載の画像処理装置。
7. 前記第二の前景画像を膨張させる膨張手段を更に有する
   ことを特徴とする請求項１から６の何れか一項に記載の画像処理装置。
8. 前記入力画像の解像度と、前記光以外の要素を表す画像の解像度とに応じて前記膨張手段で前記第二の前景画像を膨張させる膨張率を決定する決定手段を更に有する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記決定手段は、距離に応じて前記膨張率を決定する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記決定手段は、遠くなるに従い相対的に大きくなるように前記膨張率を決定する
    ことを特徴とする請求項８または９に記載の画像処理装置。
11. 前記第一の前景画像と前記第二の前景画像とを比較する比較手段と、
    前記比較手段による比較結果に応じて、前記第一の前景画像または前記第二の前景画像に切り替えて出力する切替え手段と、
    を有する、ことを特徴とする請求項１から１０の何れか一項に記載の画像処理装置。
12. 入力画像と、当該入力画像に対応する背景画像とからオブジェクトの形状を示す第一の前景画像を生成する第一の生成工程と、
    前記入力画像に対応する、光以外の要素を表す画像と、当該画像に対応する背景画像とから前記オブジェクトの形状を示す第二の前景画像を生成する第二の生成工程と、
    を含み、
    前記第一の生成工程にて前記第一の前景画像を生成するためのパラメータは、前記第二の前景画像を基に設定されることを特徴とする画像処理方法。
13. コンピュータを、請求項１から１１の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images