JP2015019346A - 視差画像生成装置 - Google Patents

Abstract

【課題】テクスチャの少ない被写体についても、可視光領域の画像に影響を与えることなくテクスチャを付与して視差画像を精度よく生成できる視差画像生成装置を提供する。
【解決手段】視差画像生成装置１は、赤外線パターンの投影により赤外線のテクスチャを付与された被写体について２台の赤外線カラーカメラ３１，３２で撮影した赤外線ステレオ画像及びカラーステレオ画像をそれぞれ平行化する画像変換部４と、視差毎かつ画素毎にステレオ画像の当該画素を含む所定範囲の画像の一致の度合いを示すコストを算出することでコストボリュームを生成するコストボリューム生成部５と、画素毎にコストが最小となる視差を選択することで視差画像を生成する視差画像生成処理部６とを備える。
【選択図】図１

Description

本発明は、複数のカメラで撮影した画像を用いて視差画像を生成する視差画像生成装置に関する。

撮影位置の異なる２台のカラーカメラで撮影したステレオ画像から、各画像について視差を推定した視差画像を生成する手法は多く存在する。しかし、そのほとんどがカラー画像の局所的な輝度変化を手がかりに、左右の画像における各画素の対応を探索して求めている。このため、人工物に多く見られるように、テクスチャが乏しい領域については、推定精度が低下するという問題がある。

その問題を克服するために、既知のパターンを照射し、その照射されたパターンを観測して、高速かつ高精度に視差画像を生成する手法がある。
例えば、特許文献１には、ランダムなスペックルパターンを物体の表面に照射して、複数のカメラで撮影した２次元画像を解析することで物体の３次元形状を求める手法が記載されている。

米国特許第６１０１２６９号明細書

特許文献１に記載された手法では、スペックルパターンが照射されることにより、被写体である物体表面にテクスチャが付与され、カメラによって撮影される画像には、当該テクスチャが撮影される。このため、カメラで撮影した画像を、視差画像を生成するために用いるとともに、当該撮影画像を生成した視差画像を用いて異なる視点の画像を生成する際の基準画像として用いる場合には、テクスチャ自体がノイズになるという問題がある。
また、照射されるスペックルパターンは、必ずしも高い密度で付与できるものではないため、付与したテクスチャのみに基づいて視差を推定するには、広範囲の領域を参照する必要がある。このため、特許文献１に記載された手法では、視差が大きく異なる領域の境界付近において、視差の推定精度が低下するという問題がある。

本発明は、かかる問題に鑑みて創案されたものであり、テクスチャの少ない被写体についても、可視光領域の画像に影響を与えることなくテクスチャを付与して視差画像を精度よく生成できる視差画像生成装置を提供することを課題とする。

前記した課題を解決するために、本発明の一形態に係る視差画像生成装置は、赤外線パターンを投影した被写体について、前記赤外線の波長領域の画像である赤外線画像及び可視光の波長領域の画像である可視光画像を２台のカメラで撮影した赤外線画像の組及び可視光画像の組を用いて、視差画像を生成する視差画像生成装置であって、画像変換部と、対応度マップ群生成部と、視差画像生成処理部と、を備える構成とした。

かかる構成によれば、視差画像生成装置は、画像変換部によって、前記２台のカメラについてのカメラパラメータを用いて、前記赤外線画像の組を、前記２台のカメラの光軸を平行とした際に得られる画像である平行化赤外線画像の組に変換するとともに、前記２台のカメラについてのカメラパラメータを用いて、前記可視光画像の組を、前記２台のカメラの光軸を平行とした際に得られる画像である平行化可視光画像の組に変換する。
次に、視差画像生成装置は、対応度マップ群生成部によって、基準となる前記平行化赤外線画像である基準赤外線画像と、他方の前記平行化赤外線画像である非基準赤外線画像との間の視差が画像全体において一定値であるとした場合に、前記基準赤外線画像と前記非基準赤外線画像との画素毎の、当該画素を含む所定範囲の画像の一致の度合いを示す指標である対応度と、前記基準赤外線画像と同じ光軸の前記平行化可視光画像である基準可視光画像と、他方の前記平行化可視光画像である非基準可視光画像との間の視差が画像全体において前記一定値であるとした場合に、前記基準可視光画像と前記非基準可視光画像との画素毎の、当該画素を含む所定範囲の画像の一致の度合いを示す指標である対応度と、を統合した対応度の２次元配列である対応度マップを、所定の視差範囲について所定間隔の視差毎に求めることで対応度マップ群を生成する。

そして、視差画像生成装置は、視差画像生成処理部によって、画素毎に、前記対応度マップ群の中で最も一致の度合いが高い対応度マップについての視差を選択することにより、画素毎に視差が定められた画像である視差画像を生成する。
これによって、視差画像生成装置は、テクスチャの少ない被写体領域について赤外線パターンのテクスチャを付与された赤外線ステレオ画像を用いて精度よく視差を推定するとともに、テクスチャを有する被写体領域について可視光ステレオ画像を用いて精度よく視差を推定する。

また、本発明の他の形態に係る視差画像生成装置は、赤外線パターンを投影した被写体について、前記赤外線の波長領域の画像である赤外線画像を２台の赤外線カメラで撮影した赤外線画像の組と、可視光の波長領域の画像である可視光画像を２台の可視光カメラで撮影した可視光画像の組とを用いて、視差画像を生成する視差画像生成装置であって、画像変換部と、対応度マップ群生成部と、視差画像生成処理部と、を備える構成とした。

かかる構成によれば、視差画像生成装置は、画像変換部によって、前記２台の赤外線カメラについてのカメラパラメータを用いて、前記赤外線画像の組を、前記２台の赤外線カメラの光軸を平行とした際に得られる画像である平行化赤外線画像の組に変換するとともに、前記２台の可視光カメラ及び前記２台の赤外線カメラについてのカメラパラメータを用いて、前記可視光画像の組を、前記２台の可視光カメラの光軸を前記平行化赤外線画像の組を得るための光軸と同じとした際に得られる画像である平行化可視光画像の組に変換する。
次に、視差画像生成装置は、対応度マップ群生成部によって、基準となる前記平行化赤外線画像である基準赤外線画像と、他方の前記平行化赤外線画像である非基準赤外線画像との間の視差が画像全体において一定値であるとした場合に、前記基準赤外線画像と前記非基準赤外線画像との画素毎の、当該画素を含む所定範囲の画像の一致の度合いを示す指標である対応度と、前記基準赤外線画像と同じ光軸の前記平行化可視光画像である基準可視光画像と、他方の前記平行化可視光画像である非基準可視光画像との間の視差が画像全体において前記一定値であるとした場合に、前記基準可視光画像と前記非基準可視光画像との画素毎の、当該画素を含む所定範囲の画像の一致の度合いを示す指標である対応度と、を統合した対応度の２次元配列である対応度マップを、所定の視差範囲について所定間隔の視差毎に求めることで対応度マップ群を生成する。

そして、視差画像生成装置は、視差画像生成処理部によって、画素毎に、前記対応度マップ群の中で最も対応度が高い対応度マップについての視差を選択することにより、画素毎に視差が定められた画像である視差画像を生成する。
これによって、視差画像生成装置は、テクスチャの少ない被写体領域について赤外線パターンのテクスチャを付与された赤外線ステレオ画像を用いて精度よく視差を推定するとともに、テクスチャを有する被写体領域について可視光ステレオ画像を用いて精度よく視差を推定する。

本発明の更に他の形態に係る視差画像生成装置は、赤外線パターンを投影した被写体について、前記赤外線の波長領域の画像である赤外線画像を２台の赤外線カメラで撮影した赤外線画像の組と、可視光の波長領域の画像である可視光画像を可視光カメラで撮影した可視光画像とを用いて、視差画像を生成する視差画像生成装置であって、画像変換部と、対応度マップ群生成部と、平滑化フィルタ処理部と、視差画像生成処理部と、を備える構成とした。

かかる構成によれば、視差画像生成装置は、画像変換部によって、前記２台の赤外線カメラについてのカメラパラメータを用いて、前記赤外線画像の組を、前記赤外線カメラの光軸を平行とした際に得られる画像である平行化赤外線画像の組に変換するとともに、前記可視光カメラ及び基準となる前記赤外線カメラについてのカメラパラメータを用いて、前記可視光画像を、前記可視光カメラの光軸を基準となる前記平行化赤外線画像を得るための光軸と同じとした際に得られる画像である基準可視光画像に変換する。
次に、視差画像生成装置は、対応度マップ群生成部によって、前記基準となる平行化赤外線画像である基準赤外線画像と、他方の前記平行化赤外線画像である非基準赤外線画像との間の視差が画像全体において一定値であるとした場合に、前記基準赤外線画像と前記非基準赤外線画像との画素毎の、当該画素を含む所定範囲の画像の一致の度合いを示す指標である対応度の２次元配列である対応度マップを、所定の視差範囲について所定間隔の視差毎に求めることで対応度マップ群を生成する。

次に、視差画像生成装置は、平滑化フィルタ処理部によって、前記対応度マップ群について、前記対応度マップ毎に、前記基準可視光画像をエッジ領域識別のためのガイド画像として、当該ガイド画像における被写体のエッジに対応する前記対応度マップのエッジを保持した平滑化フィルタ処理を行う。
そして、視差画像生成装置は、視差画像生成処理部によって、前記平滑化フィルタ処理された対応度マップ群の中で最も対応度の高い対応度マップについての視差を、画素毎に選択することにより、画素毎に視差が定められた画像である視差画像を生成する。
これによって、視差画像生成装置は、被写体について赤外線パターンによるテクスチャを付与した赤外線ステレオ画像を用いて視差を推定する。また、視差画像生成装置は、可視光画像をガイド画像とするエッジ保持型の平滑化フィルタ処理を行うことによって、視差の推定精度を向上する。

本発明によれば、赤外線パターンを投影した被写体を撮影した赤外線画像及び可視光画像を用いて視差を推定するため、テクスチャの少ない被写体領域についても視差が精度よく推定された視差画像を生成することができる。また、本発明によれば、赤外線パターンでテクスチャを付与するため、可視光画像には影響を及ぼさない。

本発明の第１実施形態に係る視差画像生成装置を備えた視差画像生成システムの構成を示すブロック図である。 本発明の各実施形態に係る視差画像生成装置を備えた視差画像生成システムにおけるカメラと赤外線パターン照射機との配置を示す模式的斜視図であり、（ａ）は第１実施形態及び第２実施形態、（ｂ）は第３実施形態、（ｃ）は第４実施形態の例を示す。 本発明の第１実施形態に係る視差画像生成システムにおいて、コストボリュームの生成を説明するための図である。 本発明の第１実施形態に係る視差画像生成システムの動作を示すフローチャートである。 本発明の第２実施形態に係る視差画像生成システムの構成を示すブロック図である。 本発明の第２実施形態に係る視差画像生成システムにおいて、コストボリュームの平滑化フィルタ処理を説明するための図である。 本発明の第２実施形態に係る視差画像生成システムの動作を示すフローチャートである。 本発明の第３実施形態に係る視差画像生成システムの構成を示すブロック図である。 本発明の第３実施形態に係る視差画像生成システムの動作を示すフローチャートである。 本発明の第４実施形態に係る視差画像生成システムの構成を示すブロック図である。 本発明の第４実施形態に係る視差画像生成システムの動作を示すフローチャートである。 本発明の第５実施形態に係る視差画像生成システムの構成を示すブロック図である。 本発明の第５実施形態に係る視差画像生成システムにおいて、コストボリュームの平滑化フィルタ処理を説明するための図である。 本発明の第５実施形態に係る視差画像生成システムにおいて、コストボリュームの平滑化フィルタ処理を説明するための図である。

以下、本発明の実施形態について、適宜に図面を参照して詳細に説明する。
＜第１実施形態＞
［視差画像生成システムの構成］
まず、図１及び図２（ａ）を参照して、第１実施形態に係る視差画像生成システムの構成について説明する。
図１に示すように、本実施形態に係る視差画像生成システム１００は、視差画像生成装置１と、赤外線パターン照射機２と、撮影装置３と、を備えて構成されている。また、視差画像生成装置１は、画像変換部４と、コストボリューム生成部５と、視差画像生成処理部６と、を備えて構成されている。本実施形態において、撮影装置３は、赤外線及びＲＧＢ（赤、緑、青）の４チャンネルの波長域の画像を同光軸で撮影する２台の赤外線カラーカメラ３１，３２を備えている。また、図２（ａ）に示すように、赤外線パターン照射機２と、２台の赤外線カラーカメラ３１，３２とが、水平方向（Ｘ軸方向）に並置されている。

なお、本明細書においては特に断らない限り、図２（ａ）に示すように、水平方向をＸ軸方法とし、垂直方向をＹ軸方向とし、撮影装置３の内の基準となるカメラ（例えば、赤外線カラーカメラ３１）の光軸方向、すなわち被写体の奥行方向をＺ軸方向として説明する。

本実施形態に係る視差画像生成システム１００は、赤外線パターン照射機２によって赤外線パターンを被写体に投影することにより、被写体に赤外線のテクスチャを付与する。そして、視差画像生成装置１によって、赤外線のテクスチャを付与した被写体を撮影した赤外線画像の組と、可視光の画像であるカラー画像の組とを用いて、被写体の奥行方向の距離に対応した指標である視差を示す画像である視差画像を生成するものである。
以下、各構成について順次詳細に説明する。

赤外線パターン照射機２は、赤外線パターンを照射し、被写体に赤外線パターンを投影することによって被写体の赤外線のテクスチャを付与するためのものである。
照射する赤外線の波長は特に限定されるものではないが、赤外線画像に撮影され、かつカラー画像に撮影されない近赤外領域の波長であることが好ましい。

赤外線パターン照射機２は、例えば、コヒーレント光を出力する光源と、光拡散器とで構成することができる。コヒーレント光を出力する光源としては、赤外線レーザを用いることができる。また、光拡散器としては、擦りガラスを用いることができる。
擦りガラスに赤外線レーザ光を照射することにより、擦りガラスの凹凸による赤外線レーザ光の回折光が互いに干渉してスペックルパターンが形成される。このとき、擦りガラスの凹凸はランダムに配置されているため、スペックルパターンもランダムな斑点状のパターンとなる。
また、光拡散器として、表面に凹凸がランダムに形成されたホログラムであってもよい。更にまた、光拡散器は、赤外線レーザ光を透過するものであっても反射するものであってもよい。

また、赤外線パターン照射機２は１台に限定されず、複数台で構成し、広範囲に赤外線パターンを照射するようにしてもよい。また、このとき、複数の赤外線パターン照射機２から照射される赤外線パターンが、重なるように照射して、被写体に、より高密度に赤外線パターンが投影されるようにしてもよい。

また、照射する赤外線パターンは、前記したスペックルパターンのようなランダムドットパターンが好ましいが、これに限定されず、間隔が不規則なストライプパターンや格子パターンなど、他のテクスチャ形状であってもよい。このとき、赤外線パターンは、少なくとも、ステレオ撮影される赤外線画像のエピポーラ線の近傍において、互いの相関が高い類似パターンが発生しなければよい。すなわち、少なくともエピポーラ線の近傍でパターンがランダムであればよい。
また、赤外線パターンは、赤外線カラーカメラ３１，３２によって撮影される赤外線画像においてパターンが判別できる範囲で細かい方が好ましい。パターンが細かい方が、赤外線画像を用いたステレオマッチングによる視差の推定の解像度を高くすることができる。

撮影装置３は、前記したように２台の赤外線カラーカメラ３１，３２で構成され、赤外線画像及びＲＧＢからなるカラー画像をそれぞれステレオ撮影するカメラである。本実施形態では、２台の赤外線カラーカメラ３１，３２と、赤外線パターン照射機２とが水平方向に並置されている。更に、赤外線パターン照射機２は、２台の赤外線カラーカメラ３１，３２の間に配置されている。すなわち、２台の赤外線カラーカメラ３１，３２の何れにとっても、赤外線パターン照射機２が近くに配置されていることになる。このため、２台の赤外線カラーカメラ３１，３２の何れから見ても、赤外線パターン照射機２から被写体に向かって照射される赤外線パターンが、被写体の一部の影になって投影されない領域、すなわちテクスチャが付与されない領域を低減することができるため好ましい。

赤外線カラーカメラ３１，３２は、それぞれ赤外線画像及びＲＧＢからなるカラー画像を同光軸で撮影するカメラである。本実施形態では、被写体に向かって左側に配置された赤外線カラーカメラ３１によって撮影される左視点の赤外線画像及びカラー画像をそれぞれのチャンネル（波長領域）の基準画像とする。また、右側に配置された赤外線カラーカメラ３２によって撮影される右視点の赤外線画像及びカラー画像と、それぞれ基準視点である左視点の赤外線画像及びカラー画像とを組み合わせることにより赤外線ステレオ画像及びカラーステレオ画像とする。

以下、２台のカメラで撮影した赤外線画像の組及びカラー画像の組を、適宜に、それぞれ「赤外線ステレオ画像」及び「カラーステレオ画像」と呼ぶこととする。なお、後記する他の実施形態のように、赤外線カメラとカラーカメラとが別個のカメラである場合も同様である。
赤外線カラーカメラ３１，３２は、撮影した赤外線ステレオ画像を視差画像生成装置１の画像平行化処理部４１に、撮影したカラーステレオ画像を視差画像生成装置１の画像平行化処理部４２に、それぞれ出力する。

なお、本実施形態では、２台の赤外線カラーカメラ３１，３２を用いてステレオ撮影するように構成したが、３台以上の赤外線カラーカメラを用いて被写体を撮影し、例えば、隣接する２台のカメラで撮影した画像組を、それぞれステレオ画像として用いるようにしてもよい。
また、本実施形態では、赤外線カラーカメラ３１，３２によって、可視光領域の画像としてＲＧＢの３チャンネルからなるカラー画像を撮影するようにしたが、可視光領域のモノクロ画像、２チャンネルの画像又は４チャンネル以上の画像を撮影するようにしてもよい。

また、赤外線カラーカメラ３１，３２は、赤外線画像において、赤外線パターン照射機２で照射される赤外線の波長に感度を有し、カラー画像において、当該赤外線の波長に感度を有さないことが好ましい。すなわち、カラー画像において、当該赤外線に波長を有さないことにより、カラー画像に赤外線パターンが撮影されない。これによって、赤外線パターンの照射の影響を受けることなくカラー画像を撮影することができる。
従って、本実施形態に係る視差画像生成装置１によって生成される視差画像を、赤外線カラーカメラ３１，３２で撮影されるカラー画像と組み合わせることによって、視差画像を有するカラー画像として用いることができる。

視差画像生成装置１は、画像変換部４と、コストボリューム生成部５と、視差画像生成処理部６とを備え、赤外線ステレオ画像と、可視光ステレオ画像と、これらの画像を撮影した赤外線カラーカメラ３１，３２のカメラパラメータと、を用いて視差画像を生成する。

画像変換部４は、画像平行化処理部４１，４２を備え、赤外線カラーカメラ３１，３２から入力する赤外線ステレオ画像及びカラーステレオ画像を、それぞれ平行化する。ここで、画像の平行化とは、２つの画像について、それぞれの光学主点を変えずに、互いに光軸を平行とした場合の画像に座標変換することである。

画像平行化処理部４１は、赤外線カラーカメラ３１，３２から赤外線ステレオ画像を入力するとともに、２台の赤外線カラーカメラ３１，３２のそれぞれのカメラパラメータを入力し、入力した赤外線ステレオ画像を平行化するものである。なお、カメラパラメータ及びその取得方法については後記する。
画像平行化処理部４１は、平行化した赤外線ステレオ画像をコストボリューム生成部５のコストボリューム算出部５１に出力する。

画像平行化処理部４２は、赤外線カラーカメラ３１，３２からカラーステレオ画像を入力するとともに、２台の赤外線カラーカメラ３１，３２のそれぞれのカメラパラメータを入力し、入力したカラーステレオ画像を平行化するものである。なお、カメラパラメータ及びその取得方法については後記する。
画像平行化処理部４２は、平行化したカラーステレオ画像をコストボリューム生成部５のコストボリューム算出部５２に出力する。

ここで、カメラパラメータについて説明する。
カメラパラメータには、カメラの状態を示す内部パラメータと、カメラの位置関係を示す外部パラメータとがある。
内部パラメータには、カメラレンズの焦点距離、画素ピッチ、画素ピッチの縦横の比であるアスペクト比、光軸と撮像面との交点の画像座標及びカメラレンズによるディストーションについての情報がある。また、外部パラメータには、世界座標系又は基準カメラのカメラ座標系におけるカメラの位置と回転量がある。この内の画素ピッチ及びアスペクト比は、カメラに固有の既知の値として予め取得することができ、他のパラメータは、カメラキャリブレーションを行うことにより取得することができる。
なお、本実施形態では、外部パラメータとして、各カメラについて、世界座標系におけるカメラの回転量を用いてステレオ画像の平行化処理を行うものとする。
また、同仕様のカメラを複数台用いる場合は、当該複数台のカメラの内部パラメータの平均値を、各カメラに共通の内部パラメータとして用いるようにしてもよい。

カメラキャリブレーションは、マーカーやテストチャートなどの既知のパターンをキャリブレーション対象のカメラで撮影し、撮影した画像を解析することで行うことができる。このような画像解析によるカメラキャリブレーションとしては、例えば、参考文献１に記載の手法を用いることができるため、詳細な説明は省略する。
なお、本実施形態においては、カメラパラメータは、前記した手法等により予め求められているものとする。
（参考文献１）R. Tsai, “A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses,” Journal of Robotics & Automation, RA-3(4), pp.323-344, (1987)

次に、画像平行化処理部４１，４２による画像の平行化処理について説明する。
画像の平行化処理とは、光軸が平行でない状態の２台のカメラで撮影した画像を、光軸が平行な状態で撮影される画像に座標変換する処理のことである。
なお、カメラの光軸が平行になるように２台のカメラを設置した場合であっても、カメラキャリブレーションによって取得したカメラパラメータを用いて平行化処理を行うことにより、ステレオ画像をより高精度に平行化することができる。

具体的には、座標変換処理前の内部パラメータ行列をＦ、外部パラメータである回転行列をＲとし、座標変換処理後の内部パラメータをＦ_ｒ、回転行列をＲ_ｒとすると、式（１）を用いて画像の平行化処理を行うことができる。

ここで、（ｕ，ｖ）は座標変換処理前の画像座標を示し、（ｕ_ｒ，ｖ_ｒ）は座標変換処理後の画像座標を示し、Ｐ_Ｃ及びＰ_Ｃｒは、それぞれ座標変換処理前及び座標変換処理後の画像座標の斉次座標を示す。
また、内部パラメータ行列Ｆは、式（２）のように表わすことができる。

ここで、ｆは垂直方向の画素ピッチ単位で表わしたカメラレンズの焦点距離、ａは垂直方向の画素ピッチを水平方向の画素ピッチで除することで算出されるアスペクト比、（Ｃ_ｕ，Ｃ_ｖ）は、カメラの光軸と画像面との交点、すなわち撮影される画像の中心画素の画像座標を示す。

なお、本実施形態では、赤外線ステレオ画像を平行化する画像平行化処理部４１とカラーステレオ画像を平行化する画像平行化処理部４２とを独立して設けるように設けるようにしたが、１つの画像平行化処理部４１（又は４２）を設け、タイミングをずらせて、赤外線ステレオ画像及びカラーステレオ画像について順次に平行化処理を行うように構成してもよい。

視差画像生成装置１の構成について説明を続ける。
コストボリューム生成部（対応度マップ群生成部）５は、平行化された赤外線ステレオ画像及びカラーステレオ画像を用いて、視差をある一定の値に仮定した場合に、ステレオ画像を構成する左右の画像の一致の度合を示す画素毎の「コスト（Cost）」（対応度）の２次元配列であるコストマップ（Cost Map）（対応度マップ）を、所定範囲の視差毎に求めたコストボリューム（Cost Volume）（対応度マップ群）を生成するものである。
このために、コストボリューム生成部５は、コストボリューム算出部５１，５２と、コストボリューム統合部５３とを備えて構成されている。
コストボリューム生成部５は、生成したコストボリュームを視差画像生成処理部６に出力する。

コストボリューム算出部５１は、画像平行化処理部４１から平行化された赤外線ステレオ画像Ｊ_ｒ，Ｌ，Ｊ_ｒ，Ｒを入力し、入力した赤外線ステレオ画像Ｊ_ｒ，Ｌ，Ｊ_ｒ，Ｒを用いてコストボリュームを算出するものである。コストボリューム算出部５１は、算出したコストボリュームをコストボリューム統合部５３に出力する。

また、コストボリューム算出部５２は、画像平行化処理部４２から平行化されたカラーステレオ画像Ｉ_ｒ，Ｌ，Ｉ_ｒ，Ｒを入力し、入力したカラーステレオ画像Ｉ_ｒ，Ｌ，Ｉ_ｒ，Ｒを用いてコストボリュームを算出するものである。コストボリューム算出部５２は、算出したコストボリュームをコストボリューム統合部５３に出力する。

ここで、図３を参照（適宜図１参照）して、コストボリューム算出部５１，５２におけるコストボリュームの算出方法について説明する。
まず、コストボリューム算出部５１について説明する。
コストボリューム算出部５１は、平行化された赤外線ステレオ画像Ｊ_ｒ，Ｌ，Ｊ_ｒ，Ｒについて、画素毎に、当該画素を中心とする所定サイズの画像領域の一致度、すなわち相関を示すコストを算出する。このとき、基準画像である左視点の赤外線画像Ｊ_ｒ，Ｌと、他方の画像である右視点の赤外線画像Ｊ_ｒ，Ｒとの間の視差を、画像全体において一定値ｄであると仮定して、画素毎にコストを算出する。
なお、本実施形態では、視差ｄは、ステレオ画像である左右の画像Ｊ_ｒ，Ｌ，Ｊ_ｒ，Ｒにおける被写体の対応点の画像座標（ｕ_ｒ，ｖ_ｒ）の差を示すものとする。

具体的には、図３に示すように、基準画像である左画像Ｊ_ｒ，Ｌの画素ｐ_Ｌを中心とする所定範囲の画像である画像ブロックＢ_Ｌと、ステレオ画像の他方の画像である右画像Ｊ_ｒ，Ｒの対応点ｐ_Ｒを中心とする同サイズの画像ブロックＢ_Ｒとの一致度、すなわち画像の相関を示す指標としてコストを算出する。なお、本実施形態では、算出されるコストの値が小さいほど、画像ブロックＢ_Ｌ及び画像ブロックＢ_Ｒの一致度（相関）が高いものとする。

ここで、画像ブロックＢ_Ｌ，Ｂ_Ｒのサイズは、一辺の長さ（画素数）がτの正方形領域とする。また、左視点の画像Ｊ_ｒ，Ｌを基準とした場合は、右視点の画像Ｊ_ｒ，Ｒにおける被写体の対応点は、視差ｄだけ左側にシフトすることになる。従って、画像ブロックＢ_Ｌの中心画素Ｐ_Ｌの画像座標を（ｕ_ｒ，ｖ_ｒ）とすると、視差ｄを仮定したときの画像ブロックＢ_Ｒの中心画素ｐ_Ｒの画像座標は、視差ｄだけ左側にシフトした（ｕ_ｒ−ｄ，ｖ_ｒ）となる。
本実施形態では、このコストの評価式として、式（３）を用いる。

なお、式（３）において、Ｃ_ｊ（ｕ_ｒ，ｖ_ｒ，ｄ）は、視差をｄであると仮定した場合の、基準画像である平行化された左視点の赤外線画像Ｊ_ｒ，Ｌの画像座標（ｕ_ｒ，ｖ_ｒ）におけるコストを示す。すべての画素についてコストＣ_ｊを算出することによって、赤外線ステレオ画像について、視差をｄであると仮定したときの、画素毎のコストの２次元配列であるコストマップＣＭ_ｊｄ（ＣＭ_ｊ１〜ＣＭ_ｊＮの何れか）が算出される。

更に、所定範囲（ｄ＝１〜Ｎ）の視差ｄ毎に、前記した手順でコストマップを算出する。これによって、Ｎ個のコストマップＣＭ_ｊ１〜ＣＭ_ｊＮからなる配列、すなわちコストの３次元配列であるコストボリュームＣＶ_ｊが算出される。
ここで、Ｎは視差ｄの取り得る最大値として予め定められた値である。また、本実施形態では、ｄは「１」毎に算出するものとして説明するが、例えば「２」などの整数値毎としてもよく、また、「０．５」毎や「２．５」毎のように小数値毎としてもよい。

また、画像ブロックＢ_Ｌ，Ｂ_Ｒのサイズτは、撮影された赤外線画像Ｊ_ｒ，Ｌ，Ｊ_ｒ，Ｒの解像度や赤外線パターン照射機２が照射する赤外線パターンの細かさに応じて、適宜に定めることができるが、例えば、７〜１９画素程度とすることができる。また、画像ブロックＢ_Ｌ，Ｂ_Ｒの形状は正方形とすることで計算が簡便となるが、これに限定されず、長方形、六角形、菱形などの多角形、円形などであってもよい。

また、コストボリューム算出部５２は、前記したコストボリューム算出部５１と同様の手順で、平行化されたカラーステレオ画像Ｉ_ｒ，Ｌ，Ｉ_ｒ，Ｒについて、コストボリュームＣＶ_ｃを算出する。
なお、コストボリューム算出部５２において、カラーステレオ画像Ｉ_ｒ，Ｌ，Ｉ_ｒ，Ｒの各画素ついてのコストを算出する際の画像ブロックＢ_Ｌ，Ｂ_Ｒのサイズτ及び／又は形状は、コストボリューム算出部５１とは異なるようにしてもよい。

ここで、カラーステレオ画像Ｉ_ｒ，Ｌ，Ｉ_ｒ，Ｒについて、視差をｄであると仮定し、基準画像であるカラー画像Ｉ_ｒ，Ｌの画像座標（ｕ_ｒ，ｖ_ｒ）におけるコストＣ_ｃ（ｕ_ｒ，ｖ_ｒ，ｄ）は、式（４）により算出する。

なお、式（４）において、ｋは、カラー画像Ｉ_ｒ，Ｌ，Ｉ_ｒ，ＲにおけるＲＧＢの各チャンネルを示す。
また、カラー画像Ｉ_ｒ，Ｌ，Ｉ_ｒ，Ｒを用いた式（４）に代えて、グレー画像Ｍ_ｒ，Ｌ，Ｍ_ｒ，Ｒを用いた式（５）によりコストＣ_ｃ（ｕ_ｒ，ｖ_ｒ，ｄ）を算出するようにしてもよい。ここで、グレー画像Ｍ_ｒ，Ｌ，Ｍ_ｒ，Ｒは、各カラー画像Ｉ_ｒ，Ｌ，Ｉ_ｒ，Ｒから生成した１成分からなる画像である。グレー画像Ｍ_ｒ，Ｌ，Ｍ_ｒ，Ｒとしては、例えば、カラー画像Ｉ_ｒ，Ｌ，Ｉ_ｒ，Ｒの輝度成分を示す画像を用いることができる。

また、本実施形態では、式（３）〜式（５）に示したように、一般的にＳＳＤ（Sum of Squared Difference）と呼ばれる評価式を用いてコストを算出するようにしたが、画像の相関を示す他の評価式を用いるようにしてもよい。他の評価式としては、例えば、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross Correlation）、ＳＤ（Squared Difference）などを用いることができる。

なお、本実施形態では、平行化された赤外線ステレオ画像Ｊ_ｒ，Ｌ，Ｊ_ｒ，Ｒを用いてコストボリュームを算出するコストボリューム算出部５１と、平行化されたカラーステレオ画像Ｉ_ｒ，Ｌ，Ｉ_ｒ，Ｒを用いてコストボリュームを算出するコストボリューム算出部５２とを独立して設けるように設けるようにしたが、１つのコストボリューム算出部５１（又は５２）を設け、タイミングをずらせて、赤外線ステレオ画像Ｊ_ｒ，Ｌ，Ｊ_ｒ，Ｒ及びカラーステレオ画像Ｉ_ｒ，Ｌ，Ｉ_ｒ，Ｒを用いて順次にコストボリュームを算出するように構成してもよい。

図１に戻って、視差画像生成装置１の構成について説明を続ける。
コストボリューム統合部５３は、コストボリューム算出部５１から赤外線ステレオ画像Ｊ_ｒ，Ｌ，Ｊ_ｒ，Ｒについてのコストボリュームを、コストボリューム算出部５２からカラーステレオ画像Ｉ_ｒ，Ｌ，Ｉ_ｒ，Ｒについてのコストボリュームをそれぞれ入力し、入力した２つのコストボリュームを１つに統合するものである。コストボリューム統合部５３は、統合した１つのコストボリュームを、視差画像生成処理部６に出力する。

具体的には、コストボリューム統合部５３は、視差ｄ毎に、かつ画素毎に、２つのコストボリュームのコストＣ_ｊ，Ｃ_ｃを、式（６）によって重み付き加算することで、１つのコストボリュームに統合する。
なお、式（６）において、λは重み係数であり、０＜λ＜１である。

また、２つのコストボリュームの統合方法は、式（６）による各コストＣ_ｊ，Ｃ_ｃの重み付き加算に限定されず、各コストＣ_ｊ，Ｃ_ｃの積、各コストＣ_ｊ，Ｃ_ｃの逆数の和、各コストＣ_ｊ，Ｃ_ｃの逆数の積など、他の方法であってもよい。

また、本実施形態では、コストボリューム算出部５１，５２によって、まず２つのコストボリュームを生成し、その後に２つのコストボリュームを１つに統合するようにしたが、これに限定されるものではない。例えば、赤外線ステレオ画像及びカラーステレオ画像についての同じ視差のコストマップを算出する毎に、１つのコストマップに統合するようにしてもよく、赤外線ステレオ画像及びカラーステレオ画像についての同じ視差かつ同じ画素のコストを算出する毎に、１つのコストに統合するようにしてもよい。

視差画像生成処理部６は、コストボリューム統合部５３から１つに統合されたコストボリュームを入力し、入力したコストボリュームを用いて画素毎に視差を定めた視差画像を生成するものである。また、視差画像生成処理部６は、生成した視差画像を、視差画像生成装置１の出力として外部に出力する。

視差画像生成処理部６は、具体的には、コストボリュームにおいて、画素毎に、コストが最小となるコストマップに仮定した視差ｄを、当該画素における視差として選択する。すなわち、赤外線カラーカメラ３１，３２で撮影されたステレオ画像の各画素について、各画素を中心画素とする所定サイズの画像ブロックＢ_Ｌ，Ｂ_Ｒ（図３参照）の一致の度合いが最も高くなるように（コストが最小となるように）視差が定められる。
すべての画素について、同じ手順によって視差ｄを選択することにより、視差画像を生成することができる。

［視差画像生成システムの動作］
次に、図４を参照（適宜図１参照）して、第１実施形態に係る視差画像生成システム１００の動作について説明する。
図４に示すように、まず、視差画像生成システム１００は、赤外線パターン照射機２によって、ランダムドットパターンなどの赤外線パターンを照射して、被写体に赤外線画像で識別可能なテクスチャを付与する（ステップＳ１１）。

次に、視差画像生成システム１００は、２台の赤外線カラーカメラ３１，３２によって、赤外線ステレオ画像及びカラーステレオ画像を撮影する（ステップＳ１２）。
次に、視差画像生成システム１００は、画像平行化処理部４１によって、ステップＳ１２で撮影した赤外線ステレオ画像を平行化処理する（ステップＳ１３）。また、視差画像生成システム１００は、画像平行化処理部４２によって、ステップＳ１２で撮影したカラーステレオ画像を平行化処理する（ステップＳ１４）。なお、ステップＳ１３とステップＳ１４とは、何れを先に実行してもよく、並行して行うようにしてもよい。

次に、視差画像生成システム１００は、コストボリューム算出部５１によって、ステップＳ１３で平行化した赤外線ステレオ画像について、コストボリュームを算出する（ステップＳ１５）。また、視差画像生成システム１００は、コストボリューム算出部５２によって、ステップＳ１４で平行化したカラーステレオ画像について、コストボリュームを算出する（ステップＳ１６）。なお、ステップＳ１５とステップＳ１６とは、何れを先に実行してもよく、並行して行うようにしてもよい。

次に、視差画像生成システム１００は、コストボリューム統合部５３によって、ステップＳ１５で算出した赤外線ステレオ画像についてのコストボリュームと、ステップＳ１６で算出したカラーステレオ画像についてのコストボリュームとを、式（６）を用いて、視差毎及び画素毎にコストを重み付き加算することで、１つのコストボリュームに統合する（ステップＳ１７）。

そして、視差画像生成システム１００は、視差画像生成処理部６によって、ステップＳ１７で統合したコストボリュームについて、画素毎に最小コストを与える視差を選択することで、視差画像を生成する（ステップＳ１８）。
以上の手順により、視差画像生成システム１００は、視差画像を生成することができる。

本実施形態では、前記したように赤外線ステレオ画像を用いて算出したコストボリュームと、カラー画像を用いて算出したコストボリュームとを統合したコストボリュームを用いて視差を推定する。このため、テクスチャを有する被写体については、主として本来のテクスチャが撮影されたカラーステレオ画像に基づくコストボリュームにより精度よく視差を推定することができる。また、本来テクスチャを有さない被写体については、主として赤外線パターンによりテクスチャを付与された画像が撮影された赤外線ステレオ画像に基づくコストボリュームにより精度よく視差を推定することができる。
すなわち、赤外線ステレオ画像とカラーステレオ画像とを用いることにより、互いに視差推定精度の低い領域を補完することができるため、高い精度の視差画像を生成することができる。

＜第２実施形態＞
［視差画像生成システムの構成］
次に、図５を参照して、本発明の第２実施形態に係る視差画像生成システムについて説明する。
図５に示すように、第２実施形態に係る視差画像生成システム１００Ａは、図１に示した第１実施形態に係る視差画像生成システム１００に対して、コストボリューム生成部５を備えた視差画像生成装置１に代えて、コストボリューム生成部５Ａを備えた視差画像生成装置１Ａを備えることが異なる。
また、第２実施形態の視差画像生成装置１Ａにおいて、コストボリューム生成部５Ａは、コストボリュームフィルタ処理部５４を更に備え、コストボリューム統合部５３が統合したコストボリュームについて、コストマップ毎に、エッジ保持型の平滑化フィルタ処理を行うことにより、被写体の輪郭付近の視差推定精度の向上を図るものである。

なお、第１実施形態に係る視差画像生成システム１００と同様の構成要素については、同じ符号を付して説明は適宜に省略する。
以下、主として視差画像生成装置１Ａのコストボリュームフィルタ処理部５４について説明する。

視差画像生成装置１Ａは、画像変換部４と、コストボリューム生成部５Ａと、視差画像生成処理部６とを備え、赤外線ステレオ画像と、可視光ステレオ画像と、これらの画像を撮影した赤外線カラーカメラ３１，３２のカメラパラメータと、を用いて視差画像を生成する。
また、コストボリューム生成部５Ａは、コストボリューム算出部５１，５２と、コストボリューム統合部５３と、コストボリュームフィルタ処理部５４とを備える。

コストボリュームフィルタ処理部（平滑化フィルタ処理部）５４は、コストボリューム統合部５３から統合されたコストボリュームを入力するとともに、画像平行化処理部４２から平行化されたカラーステレオ画像の内の基準画像であるカラー画像Ｉ_ｒ，Ｌを入力し、入力したコストボリュームについて、コストマップ毎に、カラー画像Ｉ_ｒ，Ｌをガイド画像としてエッジ保持型の平滑化フィルタ処理を行う。
コストボリュームフィルタ処理部５４は、平滑化フィルタ処理したコストボリュームを視差画像生成処理部６に出力する。

コストボリュームフィルタ処理部５４によるコストマップ毎の平滑化フィルタ処理は、前記したように、被写体の輪郭付近の視差推定精度の向上を図るためのものである。特に、本来テクスチャを有さない被写体については、主として赤外線ステレオ画像に基づいて視差を推定することとなる。ここで、赤外線パターン照射機２により付与される赤外線パターンのテクスチャは、必ずしも高密度のテクスチャではないため、エッジ保持型の平滑化フィルタ処理を行うことにより、本来テクスチャを有さない被写体の輪郭付近の視差推定精度の向上に特に有用である。

エッジ保持型の平滑化フィルタ処理としては、例えば、参考文献２〜参考文献４に記載された手法を用いることができる。
（参考文献２）J. Lu, K. Shi, D. Min, L. Lin and M. Do, “Cross-Based Local Multipoint Filtering”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 430-437, (2012)
（参考文献３）K. He, J. Sun, X. Tang, “Guided Image Filtering,” In Proc. of ECCV Part I, Pages 1-14, (2010)
（参考文献４）G. Petschnigg, M. Agrawala, H. Hoppe, R. Szeliski, M. Cohen, K. Toyama, “Digital Photography with Flash and No-Flash Image Pairs,” In Proc. of SIGGRAPH, (2004)

以下、本実施形態におけるコストボリュームフィルタ処理部５４が、参考文献２に記載されたＣＬＭＦ（Cross-based Local Multipoint Filter）によってエッジ保持型の平滑化フィルタ処理を行う場合を例として説明する。
本実施形態において、ＣＬＭＦによるコストボリュームの平滑化フィルタ処理は、各コストマップをコストを画素値とする２次元の画像として扱い、コストマップ毎に２次元空間フィルタ処理を行うものである。また、各画素についてのコストを、当該画素の周辺画素についてのコストを参照して平滑化フィルタ処理する際に、基準視点についてのカラー画像を被写体のエッジ領域識別のためのガイド画像として、当該平滑化フィルタ処理の対象画素と、色が類似する（色差が所定の閾値以下の）周辺画素についてのコストのみを抽出して平滑化フィルタ処理に用いるものである。視差が大きく異なる領域は、被写体のエッジ部、すなわち別個の被写体が隣接して撮影された領域に相当し、互いに色も大きく異なることが多いという性質を利用して、平滑化の際にエッジ（輪郭）を保持するための参考情報とするものである。平滑化フィルタ処理に類似色の画素のみを用いることで、特に評価式としてＳＳＤを用いてコストを算出してコストボリュームを生成する際に発生する「領域が太る現象」を抑制する効果がある。

ここで、図６を参照して、ＣＬＭＦによる平滑化フィルタ処理について説明する。
図６において、矩形の画像領域であるカーネルＷ_ｐは、中心画素ｐについてのコストを平滑化フィルタ処理する際に参照する周辺画素の最大領域である。このカーネルＷ_ｐから、中心画素ｐと色が類似する画像領域としてカーネルΩ_ｐを抽出する。

カーネルΩ_ｐを抽出するために、まず、画素ｐから垂直方向（ｖ軸方向）に配列する画素列について、画素ｐから上下方向のそれぞれについて順次に、画素ｐと色が類似するかどうかを判定する。このとき、カラー画像Ｉ_ｒ，Ｌを判定用のガイド画像として用い、当該ガイド画像における画素ｐと、各周辺画素との色差が所定の閾値以下の場合に色が類似すると判定する。
画素ｐから色が類似する画素を上下方向に順次に判定し、カーネルＷ_ｐの範囲内で色が類似しない画素が検出されるまで判定を続ける。そして、最後に色が類似する画素を、カーネルΩ_ｐの上端及び下端とする。

次に、前記した上端から下端の範囲内で、画素ｐの垂直方向に配列する画素ｑ（図６において、実線の矢印線で示した範囲の各画素）から、左右方向（ｕ軸方向）に配列する画素について順次に、画素ｑと色が類似するかどうかを判定する。画素ｑから色が類似する画素を左右方向に順次に判定し、カーネルＷ_ｐの範囲内で色が類似しない画素が検出されるまで判定を続ける。そして、最後に色が類似する画素を、当該画素ｑの位置におけるカーネルΩ_ｐの左端及び右端とする。
これを、すべての画素ｑについて行うことで、図６に破線で示したように、カーネルΩ_ｐを抽出することができる。

また、ＣＬＭＦでは、フィルタ処理後の画像Ｓは、ガイド画像Ｇと線形の関係にあると仮定する。そこで、係数ａ，ｂを用いて、フィルタ処理後の画像Ｓを、式（７）のように表わすこととする。

式（７）において、添字ｋはカーネルΩ_ｐに属する各画素を示し、係数ａ_ｋ，ｂ_ｋは、式（８）によって算出される。

式（８）において、Ω_ｋは画素ｋを中心画素として、前記したΩ_ｐを抽出するのと同様の手順で抽出されるカーネル（画像領域）を示す。また、μ_ｋ、σ_ｋ ^２、Ｚ’_ｋ及びεは、それぞれカーネルΩ_ｋにおけるガイド画像Ｇの平均、分散、カーネルΩ_ｋにおけるフィルタ処理の対象画像であるコストマップの平均、及び正則化項を示す。また、｜Ω_ｋ｜は、カーネルΩ_ｋに属する画素数を示す。

また、フィルタ処理後の画像Ｓ_ｐ（すなわち、画素ｐにおけるフィルタ処理後のコスト）は、式（９）のように近似することができる。

コストボリュームフィルタ処理部５４は、以上に手順によって、コストボリュームのすべてのコストマップについて、エッジ保持型の平滑化フィルタ処理を行う。

図５に戻って、視差画像生成装置１Ａの構成について説明を続ける。
視差画像生成処理部６は、コストボリュームフィルタ処理部５４から平滑化フィルタ処理されたコストボリュームを入力し、入力したコストボリュームを用いて画素毎に視差を定めた視差画像を生成するものである。また、視差画像生成処理部６は生成した視差画像を、視差画像生成装置１Ａの出力として外部に出力する。
視差画像生成処理部６による視差画像生成処理の手順は、第１実施形態における視差画像生成処理部６と同様であるから、説明は省略する。

［視差画像生成システムの動作］
次に、図７を参照（適宜図５参照）して、第２実施形態に係る視差画像生成システム１００Ａの動作について説明する。
第２実施形態に係る視差画像生成システム１００Ａによる視差画像生成において、赤外線パターンを照射するステップＳ２１からコストボリュームを統合するステップＳ２７までは、図４に示した第１実施形態に係る視差画像生成システム１００による視差画像生成におけるステップＳ１１からステップＳ１７までと同様であるから、説明は省略する。

ステップＳ２７の後、視差画像生成システム１００Ａは、コストボリュームフィルタ処理部５４によって、ステップＳ２７で統合されたコストボリュームについて、ステップＳ２４で平行化した基準視点（左視点）についてのカラー画像をガイド画像として、コストマップ毎にエッジ保持型の平滑化フィルタ処理を行う（ステップＳ２８）。

そして、視差画像生成システム１００Ａは、視差画像生成処理部６によって、ステップＳ２８で平滑化フィルタ処理したコストボリュームについて、画素毎に最小コストを与える視差を選択することで、視差画像を生成する（ステップＳ２９）。
以上の手順により、視差画像生成システム１００Ａは、視差画像を生成することができる。

本実施形態では、視差画像生成処理（ステップＳ２９）を行う前に、コストボリュームに対してエッジ保持型の平滑化フィルタ処理を行うため、特に被写体の輪郭近傍での視差推定精度を向上することができる。

＜第３実施形態＞
［視差画像生成システムの構成］
次に、図８及び図２（ｂ）を参照して、本発明の第３実施形態に係る視差画像生成システムについて説明する。
図８に示すように、第３実施形態に係る視差画像生成システム１００Ｂは、図５に示した第２実施形態に係る視差画像生成システム１００Ａに対して、撮影装置３に代えて撮影装置３Ｂを備えることと、視差画像生成装置１Ａに代えて視差画像生成装置１Ｂを備えることとが異なる。また、視差画像生成装置１Ｂは、視差画像生成装置１Ａに対して、画像変換部４に代えて画像変換部４Ｂを備えることと、コストボリューム生成部５Ａに代えてコストボリューム生成部５Ｂを備えることとが異なる。

第３実施形態に係る視差画像生成システム１００Ｂは、撮影装置３Ｂとして、第１実施形態及び第２実施形態の撮影装置３における２台の赤外線カラーカメラ３１，３２に代えて、赤外線ステレオ画像を撮影するための２台の赤外線カメラ３３，３４と、カラーステレオ画像を撮影するための２台のカラーカメラ３５，３６とを備えている。同光軸で赤外線画像とカラー画像とを撮影できるが高価な赤外線カラーカメラ３１，３２の代わりに、赤外線画像を撮影するカメラとカラー画像を撮影するカメラとを別個に備えることにより、安価に撮影装置３Ｂを構成することができる。

また、本実施形態では、赤外線画像の撮影とカラー画像の撮影とを光軸の異なる別個のカメラで撮影するため、カラーカメラ３５で撮影したカラー画像とカラーカメラ３６で撮影したカラー画像との光軸を平行化することに加えて、それぞれのカラー画像に対応する赤外線カメラ３３で撮影した赤外線画像及び赤外線カメラ３４で撮影した赤外線画像と光学主点を合わせるように、画像座標を変換する必要がある。そのために、画像平行化処理部４２の代わりに、画像座標変換処理部４３と、画像座標変換処理部４４とを備え、画像座標変換処理部４３によって、カラーカメラ３５で撮影したカラー画像を、赤外線カメラ３３で撮影して平行化した基準画像となる赤外線画像と光軸を合わせるとともに、画像座標変換処理部４４によって、カラーカメラ３６で撮影したカラー画像を、赤外線カメラ３４で撮影して平行化した他方の赤外線画像と光軸を合わせるものである。

画像座標変換処理部４３及び画像座標変換処理部４４から出力されるカラー画像の組は、平行化され、かつ赤外線ステレオ画像と光軸が一致するように座標変換されたカラーステレオ画像である。但し、平行化及び光学主点の移動を伴う画像座標変換処理は、被写体の奥行方向の距離（もしくは変換先の赤外線ステレオ画像上での視差）に依存するため、カラーカメラ３５及びカラーカメラ３６で撮影されたカラー画像の画像座標変換は、赤外線ステレオ画像上での視差を一律に仮定し、仮定した視差毎に行う必要がある。
本実施形態では、視差毎に画像座標変換されたカラー画像を用いてコストボリュームを算出するために、第１実施形態及び第２実施形態におけるコストボリューム算出部５２の代わりに、コストボリューム算出部５２Ｂを備えるものである。

他の構成については、第２実施形態に係る視差画像生成システム１００Ａと同様であるから、同じ構成要素については、同じ符号を付して説明は適宜に省略する。
以下、主として第２実施形態と異なる構成について説明する。

撮影装置３Ｂは、前記したように、２台の赤外線カメラ３３，３４と、２台のカラーカメラ３５，３６とを備えている。
図２（ｂ）に示すように、２台の赤外線カメラ３３，３４は、赤外線パターン照射機２を挟んで、水平方向（Ｘ軸方向）に並置されている。また、２台のカラーカメラ３５，３６は、それぞれＸ軸方向に対応する視点の画像を撮影する赤外線カメラ３３，３４の上方向（Ｙ軸方向）に配置されている。赤外線カメラ３３，３４及びカラーカメラ３５，３６は、互いに略光軸が平行となるように配置されることが好ましい。また、赤外線カメラ３３及びカラーカメラ３５と、赤外線カメラ３４及びカラーカメラ３６とは、それぞれできる限り近い視点から撮影するように近傍に配置することが好ましい。これによって、画像平行化処理部４１及び画像座標変換処理部４３，４４によって座標変換される変換量が小さくなるため、精度よく光軸を合わせた画像を算出することができる。

また、カラーカメラ３５，３６は、赤外線パターン照射機２が照射する波長の赤外線をカットする赤外カットフィルタを備えることが好ましい。これによって、赤外線パターン照射の影響を受けることなくカラー画像を撮影することができる。
更にまた、本実施形態では、カラーカメラ３５，３６によって、可視光領域の画像としてＲＧＢの３チャンネルからなるカラー画像を撮影するようにしたが、可視光領域のモノクロ画像、２チャンネルの画像又は４チャンネル以上の画像を撮影するようにしてもよい。

赤外線カメラ３３，３４は、撮影した赤外線ステレオ画像を画像平行化処理部４１に出力する。また、カラーカメラ３５は、撮影したカラー画像を画像座標変換処理部４３に出力し、カラーカメラ３６は、撮影したカラー画像を画像座標変換処理部４４に出力する。

視差画像生成装置１Ｂは、画像変換部４Ｂと、コストボリューム生成部５Ｂと、視差画像生成処理部６とを備え、赤外線ステレオ画像及び可視光ステレオ画像と、これらの画像を撮影した赤外線カメラ３３，３４及びカラーカメラ３５，３６のカメラパラメータと、を用いて視差画像を生成する。

画像変換部４Ｂは、画像平行化処理部４１と、画像座標変換処理部４３，４４とを備えて構成されている。
画像平行化処理部４１は、第２実施形態と同様であるから、説明は省略する。
画像座標変換処理部４３は、カラーカメラ３５からカラー画像を入力するとともに、カラーカメラ３５についてのカメラパラメータと、赤外線カメラ３３についてのカメラパラメータとを入力する。画像座標変換処理部４３は、入力したカラー画像を、カラーカメラ３５のカメラパラメータと赤外線カメラ３３のカメラパラメータとを用いて、画像平行化処理部４１によって平行化される赤外線カメラ３３により撮影された赤外線画像と同じ光軸の画像座標系に変換する。画像座標変換処理部４３は、画像座標を変換したカラー画像を、基準視点である左視点のカラー画像としてコストボリューム算出部５２Ｂに出力する。更に、画像座標変換処理部４３は、画像座標を変換したカラー画像を、平滑化フィルタ処理のガイド画像としてコストボリュームフィルタ処理部５４に出力する。

なお、各カメラパラメータの取得方法は、前記した第１実施形態と同様であるから、詳細な説明は省略する。なお、本実施形態では、赤外線カメラ３３とカラーカメラ３５とは光軸が異なるため、それぞれカメラについてカメラキャリブレーションを行ってカメラパラメータを取得するものとする。ここで、赤外線カメラ３３については、撮影した赤外線画像をモノクロ画像として取り扱うことにより、画像解析手法を用いた従来のカメラキャリブレーションによりカメラパラメータを取得することができる。
また、赤外線カメラ３４及びカラーカメラ３６のカメラパラメータについても同様である。

画像座標変換処理部４４は、カラーカメラ３６からカラー画像を入力するとともに、カラーカメラ３６についてのカメラパラメータと、赤外線カメラ３４についてのカメラパラメータとを入力する。画像座標変換処理部４４は、入力したカラー画像を、カラーカメラ３６のカメラパラメータと赤外線カメラ３４のカメラパラメータとを用いて、画像平行化処理部４１によって平行化される赤外線カメラ３４により撮影された赤外線画像と同じ光軸の画像座標系に変換する。画像座標変換処理部４４は、画像座標を変換したカラー画像を、右視点のカラー画像としてコストボリューム算出部５２Ｂに出力する。

ここで、画像座標変換処理部４３による画像座標変換処理について説明する。
画像座標変換処理部４３は、カラーカメラ３５によって撮影されたカラー画像を、赤外線カメラ３３によって撮影された赤外線画像と同じ座標系で扱えるようにカラー画像を座標変換する。ここで、変換式は、視差ｄに依存するため、視差ｄ毎に、すべての視差ｄに対応するカラー画像を算出する。
なお、すべての視差ｄとは、第１実施形態についての説明において、コストマップを算出するための視差ｄの範囲及び間隔と同じである。すなわち、視差ｄは、最小値「０」から視差画像生成装置１Ｂで生成する視差画像において視差として取り得る最大の値「Ｎ」までを、所定の間隔（例えば、「１」）毎に想定されるものとする。

基準視点である左視点についての平行化した赤外線画像の位置ｐ_ｒの画像座標（ｕ_ｒ，ｖ_ｒ）における視差をｄとすると、位置ｐ_ｒの斉次座標は、式（１０）によって算出することができる。

式（１０）において、ｆは２台の赤外線カメラ３３，３４のカメラレンズの画素ピッチを単位とする焦点距離を示し、Ｂは２台の赤外線カメラ３３，３４の光学主点間の距離を示し、（Ｃ_ｕ，Ｃ_ｖ）は、赤外線画像の中心点の画像座標を示す。各パラメータにおいて、添字ｒは平行化画像についてのパラメータであることを示す。また、右肩の「Ｔ」は、転置行列を示す。

ここで、内部パラメータ行列をＦ、回転行列をＲ、並進ベクトルをＴとすると、赤外線画像において位置ｐ_ｒに撮影された被写体上の点Ｐの世界座標は、式（１１）のように表わされる。更に、当該被写体上の点Ｐに対応するカラー画像中の画像座標（ｕ_ｃ，ｖ_ｃ）は、式（１２）のように表わされる。なお、式（１２）において、添字ｃは、カラー画像についてのパラメータであることを示す。

平行化された基準視点における赤外線画像の各画素について、カラー画像において対応する画素の画像座標（ｕ_ｃ，ｖ_ｃ）を式（１１）及び式（１２）を用いて算出することにより、視差がｄであると仮定したときのカラー画像に変換することができる。
画像座標変換処理部４３は、想定するすべての視差ｄについて、カラー画像を変換する。

画像座標変換処理部４４は、左視点の赤外線画像及びカラー画像とこれらの画像を撮影したカメラのカメラパラメータとに代えて、右視点の赤外線画像及びカラー画像とこれのら画像を撮影したカメラのカメラパラメータとを用いて、同様の手順で、想定するすべての視差ｄについて、平行化された右視点の赤外線画像の座標面に変換したカラー画像を算出する。

コストボリューム生成部５Ｂは、コストボリューム算出部５１，５２Ｂと、コストボリューム統合部５３と、コストボリュームフィルタ処理部５４とを備える。

コストボリューム算出部５２Ｂは、画像座標変換処理部４３から左視点のカラー画像を、画像座標変換処理部４４から右視点のカラー画像を、それぞれ入力し、これらのカラー画像の組からなるカラーステレオ画像について、視差ｄ毎にコストマップを算出することで、これらのコストマップの配列であるコストボリュームを算出する。
コストボリューム算出部５２Ｂは、算出したカラーステレオ画像についてのコストボリュームを、コストボリューム統合部５３に出力する。

なお、コストボリューム算出部５２Ｂに入力されるカラーステレオ画像は、視差ｄ毎に生成されているため、コストマップを算出する際には、対応する視差ｄのカラーステレオ画像を用いて各画素についてのコストを算出する。

コストボリュームフィルタ処理部５４は、コストボリューム統合部５３から統合されたコストボリュームを入力するとともに、画像座標変換処理部４３から平行化された基準視点の赤外線画像と同じ光軸の画像に変換されたカラー画像をガイド画像として入力する。そして、コストボリュームフィルタ処理部５４は、前記した第２実施形態におけるコストボリュームフィルタ処理部５４と同様にして、コストボリュームにエッジ保持型の平滑化フィルタ処理を施し、フィルタ処理を施したコストボリュームを視差画像生成処理部６に出力する。

その他の構成要素は、第２実施形態に係る視差画像生成システム１００と同様であるから、説明は省略する。
なお、本実施形態において、第１実施形態と同様に、視差画像生成装置１Ｂが、コストボリュームフィルタ処理部５４を備えずに、コストボリューム統合部５３によって算出したコストボリュームを用いて、視差画像生成処理部６によって視差画像を生成するように構成してもよい。

［視差画像生成システムの動作］
次に、図９を参照（適宜図８参照）して、第３実施形態に係る視差画像生成システム１００Ｂの動作について説明する。
赤外線パターンを照射するステップＳ３１は、第１実施形態のステップＳ１１（図４参照）と同様であるから、説明は省略する。

次に、視差画像生成システム１００Ｂは、２台の赤外線カメラ３３，３４によって赤外線ステレオ画像を撮影するとともに、２台のカラーカメラ３５，３６によってカラーステレオ画像を撮影する（ステップＳ３２）。
次に、視差画像生成システム１００Ｂは、画像平行化処理部４１によって、ステップＳ３２で撮影した赤外線ステレオ画像を平行化処理する（ステップＳ３３）。また、視差画像生成システム１００Ｂは、画像座標変換処理部４３によって、ステップＳ３２でカラーカメラ３５により撮影したカラー画像を、ステップＳ３３で平行化した基準視点（左視点）の赤外線画像の光軸と合うように画像座標の変換処理を行うとともに、画像座標変換処理部４４によって、ステップＳ３２でカラーカメラ３６により撮影したカラー画像を、ステップＳ３３で平行化した右視点の赤外線画像の光軸と合うように画像座標の変換処理を行う（ステップＳ３４）。なお、ステップＳ３３とステップＳ３４とは、何れを先に実行してもよく、並行して行うようにしてもよい。

次に、視差画像生成システム１００Ｂは、コストボリューム算出部５１によって、ステップＳ３３で平行化した赤外線ステレオ画像について、コストボリュームを算出する（ステップＳ３５）。また、視差画像生成システム１００Ｂは、コストボリューム算出部５２Ｂによって、ステップＳ３４で画像座標を変換したカラーステレオ画像について、コストボリュームを算出する（ステップＳ３６）。なお、ステップＳ３５とステップＳ３６とは、何れを先に実行してもよく、並行して行うようにしてもよい。

次に、視差画像生成システム１００Ｂは、コストボリューム統合部５３によって、ステップＳ３５で算出した赤外線ステレオ画像についてのコストボリュームと、ステップＳ３６で算出したカラーステレオ画像についてのコストボリュームとを、式（６）を用いて、視差毎及び画素毎にコストを重み付き加算することで、１つのコストボリュームに統合する（ステップＳ３７）。

次に、視差画像生成システム１００Ｂは、コストボリュームフィルタ処理部５４によって、ステップＳ３７で統合されたコストボリュームについて、ステップＳ３４で画像座標変換した基準視点（左視点）についてのカラー画像をガイド画像として、視差ｄ毎に、すなわちコストマップ毎にエッジ保持型の平滑化フィルタ処理を行う（ステップＳ３８）。

そして、視差画像生成システム１００Ｂは、視差画像生成処理部６によって、ステップＳ３８で平滑化フィルタ処理したコストボリュームについて、画素毎に最小コストを与える視差を選択することで、視差画像を生成する（ステップＳ３９）。
以上の手順により、視差画像生成システム１００Ｂは、視差画像を生成することができる。

本実施形態では、画像座標変換処理部４３，４４によって、カラーカメラ３５，３６で撮影したカラーステレオ画像を、平行化した赤外線ステレオ画像の光軸と一致するように画像座標を変換するため、安価な赤外線カメラ及びカラーカメラを用いて撮影した赤外線画像及びカラー画像から視差画像を生成することができる。

＜第４実施形態＞
［視差画像生成システムの構成］
次に、図１０及び図２（ｃ）を参照して、本発明の第４実施形態に係る視差画像生成システムについて説明する。
図１０に示すように、第４実施形態に係る視差画像生成システム１００Ｃは、図８に示した第３実施形態に係る視差画像生成システム１００Ｂに対して、撮影装置３Ｂに代えて撮影装置３Ｃを備えることと、視差画像生成装置１Ｂに代えて視差画像生成装置１Ｃを備えることとが異なる。また、視差画像生成装置１Ｃは、視差画像生成装置１Ｂに対して、画像変換部４Ｂに代えて画像変換部４Ｃを備えることと、コストボリューム生成部５Ｂに代えてコストボリューム生成部５Ｃを備えることとが異なる。

第４実施形態に係る視差画像生成システム１００Ｃは、撮影装置３Ｃとして、赤外線ステレオ画像を撮影するための２台の赤外線カメラ３３，３４と、カラー画像を撮影するための１台のカラーカメラ３５とを備えている。本実施形態では、コストボリュームは、赤外線ステレオ画像からのみ算出する。そして、平行化された基準視点の赤外線画像と同じ光軸の画像に座標変換したカラー画像をガイド画像として用いて、赤外線ステレオ画像について算出したコストボリュームをエッジ保持型の平滑化フィルタ処理をし、平滑化フィルタ処理したコストボリュームを用いて視差画像を生成する。

このため、本実施形態に係る視差画像生成システム１００Ｃは、図８に示した第３実施形態に係る視差画像生成システム１００Ｂに対して、撮影装置３Ｃに右視点用のカラーカメラ３６を備えないことと、視差画像生成装置１Ｃの画像変換部４Ｃに右視点用の画像座標変換処理部４４を備えないことと、視差画像生成装置１Ｃのコストボリューム生成部５Ｃにカラーステレオ画像についてのコストボリュームを算出するためのコストボリューム算出部５２Ｂ及びコストボリューム統合部５３を備えないこととが異なる。
第３実施形態と同様の構成要素については、同じ符号を付して説明は適宜に省略する。

撮影装置３Ｃは、前記したように、２台の赤外線カメラ３３，３４と、１台のカラーカメラ３５とを備えている。
図２（ｃ）に示すように、２台の赤外線カメラ３３，３４は、赤外線パターン照射機２及び１台のカラーカメラ３５を挟んで、水平方向（Ｘ軸方向）に並置されている。
赤外線パターン照射機２は、２台の赤外線カメラ３３，３４の間に配置することが好ましい。これによって、２台の赤外線カメラ３３，３４の何れから見ても、赤外線パターン照射機２から被写体に向かって照射される赤外線パターンが、被写体の一部の影になって投影されない領域、すなわちテクスチャが付与されない領域を低減することができる。
また、カラーカメラ３５も、赤外線カメラ３３，３４の間に配置することが好ましい。更に、カラーカメラ３５は、基準画像を撮影する赤外線カメラ３３の近くに配置することが、より好ましい。
カラーカメラ３５が撮影したカラー画像は、赤外線ステレオ画像についてのコストボリュームをエッジ保持型の平滑化フィルタ処理する際のガイド画像として用いるため、赤外線カメラ３３，３４と視点が近くなるように配置することで、基準視点の赤外線画像と光軸を合わせたカラー画像を高精度に算出することができる。

赤外線カメラ３３，３４は、撮影した赤外線ステレオ画像を画像平行化処理部４１に出力する。また、カラーカメラ３５は、撮影したカラー画像を画像座標変換処理部４３に出力する。

視差画像生成装置１Ｃは、画像変換部４Ｃと、コストボリューム生成部５Ｃと、視差画像生成処理部６とを備え、赤外線ステレオ画像及び可視光画像と、これらの画像を撮影した赤外線カメラ３３，３４及びカラーカメラ３５のカメラパラメータと、を用いて視差画像を生成する。

画像変換部４Ｃは、画像平行化処理部４１と、画像座標変換処理部４３とを備えて構成されている。
画像平行化処理部４１は、第２実施形態及び第３実施形態と同様であるから、説明は省略する。
画像座標変換処理部４３は、第３実施形態と同様に、カラーカメラ３５からカラー画像を入力するとともに、カラーカメラ３５についてのカメラパラメータと、赤外線カメラ３３についてのカメラパラメータとを入力し、入力したカラー画像を、カラーカメラ３５のカメラパラメータと赤外線カメラ３３のカメラパラメータとを用いて、画像平行化処理部４１によって平行化される赤外線カメラ３３により撮影された赤外線画像と同じ光軸の画像座標系に変換する。画像座標変換処理部４３は、画像座標を変換したカラー画像を、平滑化フィルタ処理のガイド画像としてコストボリュームフィルタ処理部５４に出力する。

コストボリューム算出部５１は、画像平行化処理部４１から平行化された赤外線ステレオ画像を入力し、当該赤外線ステレオ画像についてコストボリュームを算出する。コストボリューム算出部５１は、算出したコストボリュームをコストボリュームフィルタ処理部５４に出力する。

コストボリュームフィルタ処理部５４は、コストボリューム算出部５１から赤外線ステレオ画像についてのコストボリュームを入力するとともに、画像座標変換処理部４３から平行化された基準視点の赤外線画像と同じ光軸の画像に座標変換されたカラー画像をガイド画像として入力する。そして、コストボリュームフィルタ処理部５４は、前記した第２実施形態及び第３実施形態におけるコストボリュームフィルタ処理部５４と同様にして、コストボリュームにエッジ保持型の平滑化フィルタ処理を施し、平滑化フィルタ処理を施したコストボリュームを視差画像生成処理部６に出力する。

その他の構成要素は、第３実施形態に係る視差画像生成システム１００Ｂと同様であるから、説明は省略する。

［視差画像生成システムの動作］
次に、図１１を参照（適宜図１０参照）して、第４実施形態に係る視差画像生成システム１００Ｃの動作について説明する。
赤外線パターンを照射するステップＳ４１は、第１実施形態のステップＳ１１（図４参照）と同様であるから、説明は省略する。

次に、視差画像生成システム１００Ｃは、２台の赤外線カメラ３３，３４によって赤外線ステレオ画像を撮影するとともに、１台のカラーカメラ３５によってカラー画像を撮影する（ステップＳ４２）。
次に、視差画像生成システム１００Ｃは、画像平行化処理部４１によって、ステップＳ４２で撮影した赤外線ステレオ画像を平行化処理する（ステップＳ４３）。また、視差画像生成システム１００Ｃは、画像座標変換処理部４３によって、ステップＳ４２でカラーカメラ３５により撮影したカラー画像を、ステップＳ４３で平行化した基準視点（左視点）の赤外線画像の光軸と合うように画像座標の変換処理を行う（ステップＳ４４）。なお、ステップＳ４３とステップＳ４４とは、何れを先に実行してもよく、並行して行うようにしてもよい。

次に、視差画像生成システム１００Ｃは、コストボリューム算出部５１によって、ステップＳ４３で平行化した赤外線ステレオ画像について、コストボリュームを算出する（ステップＳ４５）。

次に、視差画像生成システム１００Ｃは、コストボリュームフィルタ処理部５４によって、ステップＳ４５で算出したコストボリュームについて、ステップＳ４４で基準視点（左視点）の画像に変換したカラー画像をガイド画像として、コストマップ毎にエッジ保持型の平滑化フィルタ処理を行う（ステップＳ４６）。

そして、視差画像生成システム１００Ｃは、視差画像生成処理部６によって、ステップＳ４６で平滑化フィルタ処理したコストボリュームについて、画素毎に最小コストを与える視差を選択することで、視差画像を生成する（ステップＳ４７）。
以上の手順により、視差画像生成システム１００Ｃは、視差画像を生成することができる。

本実施形態では、赤外線パターン照射機２によって赤外線パターンのテクスチャを被写体に付与し、テクスチャが付与された被写体を撮影した赤外線ステレオ画像についてのコストボリュームに基づいて視差画像を生成するため、本来テクスチャを有さない被写体についても精度よく視差を推定することができる。また、コストボリュームを、カラー画像をガイド画像として用いたエッジ保持型の平滑化フィルタ処理するため、本来テクスチャを有する領域についても、精度よく視差を推定することができる。

＜第５実施形態＞
［視差画像生成システムの構成］
次に、図１２を参照して、本発明の第５実施形態に係る視差画像システムについて説明する。
図１２に示す第５実施形態に係る視差画像生成システム１００Ｄは、図５に示した第２実施形態に係る視差画像生成システム１００Ａにおいて、視差画像生成装置１Ａに代えて視差画像生成装置１Ｄを備えるものである。また、視差画像生成装置１Ｄは、視差画像生成装置１Ａにおいて、コストボリュームフィルタ処理部５４を有するコストボリューム生成部５Ａに代えて、コストボリュームフィルタ処理部５４Ｄを有するコストボリューム生成部５Ｄを備えるものである。第５実施形態に係る視差画像生成システム１００Ｄの他の構成については、第２実施形態に係る視差画像生成システム１００Ａと同様であるから、同じ符号を付して説明は省略する。

第２実施形態におけるコストボリュームフィルタ処理部５４（図５参照）は、２次元空間に広がりを有するカーネルΩ_ｐ（図６参照）を用いてコストを平滑化するものである。ここで、時系列に連続する複数の視差画像（フレーム）で構成される視差映像に対して、視差画像毎に、すなわちフレーム毎に視差を推定すると、時間軸方向の視差の連続性が考慮されない。このため、フレーム毎に平滑化処理をして、時系列に連続する複数の視差画像を連続再生すると、視差映像にフリッカが生じることがある。そこで、本実施形態におけるコストボリュームフィルタ処理部５４Ｄは、２次元空間に時間軸を加えた、３次元時空間に亘る平滑化フィルタ処理を行う。これによって、複数の視差画像を連続再生する際に、フリッカの発生を抑制することができるとともに、特に静止物についての奥行き推定精度を改善することができる。

具体的には、本実施形態におけるコストボリュームフィルタ処理部５４Ｄは、第２実施形態におけるコストボリュームフィルタ処理部５４による２次元空間に広がりを有するカーネルを用いた平滑化フィルタ処理を、時間軸方向に拡張して、３次元時空間に広がりを有するカーネルを用いた平滑化フィルタ処理を行うようにするものである。
なお、本実施形態においては、画像変換部４、並びに、コストボリューム生成部５Ｄのコストボリューム算出部５１，５２及びコストボリューム統合部５３は、それぞれフレーム毎に第２実施形態で説明した処理を行うものとする。そして、コストボリュームフィルタ処理部５４Ｄは、平滑化フィルタ処理の対象となるフレームを中心として、時間軸方向について予め定めた範囲の複数のフレームについてのコストボリューム及びガイド画像を用いて、平滑化フィルタ処理を行う。

以下、図１２から図１４を参照して、本実施形態におけるコストボリュームフィルタ処理部５４Ｄによるコストボリュームの平滑化処理について順を追って説明する。
まず、２次元カーネルを用いたエッジ保持型の平滑化フィルタ処理について説明する。この平滑化フィルタ処理は、第２実施形態のコストボリュームフィルタ処理部５４で行う平滑化フィルタ処理と同じものである。２次元の平滑化フィルタ処理としては、前記したように、参考文献２〜参考文献４に記載された手法を用いることができる。ここでは、適応型カーネルを用いた２次元の平滑化フィルタ処理として、参考文献２に記載されたＣＬＭＦを用いる場合について改めて説明する。

［適応型カーネル］
第２実施形態におけるコストボリューム統合部５３から出力される１つのフレームについてのコストボリュームＣ_ｊは、前記したように、Ｃ_ｊ（ｕ_ｒ，ｖ_ｒ，ｄ）と表わすことができる。このコストボリュームＣ_ｊは、各視差ｄの２次元のコストマップＣＭ_ｊｄがｄの数だけ集まって構成された３次元配列で表わされる。本実施形態では、時系列に連続する複数のフレームについてのコストボリュームを用いて視差を推定するため、コストボリュームＣ_ｊは、Ｃ_ｊ（ｕ_ｒ，ｖ_ｒ，ｄ，ｔ）のように、４次元配列で表わすことができる。ここで、ｔは時間を示すものであり、時刻やフレーム番号で示される。例えば、ｔがフレーム番号を示す場合において、平滑化フィルタ処理のために参照するフレーム数をＦとすると、ｔ＝１〜Ｆの値をとるものである。
一方、各視差ｄのコストマップＣＭ_ｊｄは、ＣＭ_ｊｄ（ｕ_ｒ，ｖ_ｒ，ｔ）となり、３次元配列で表わされる。また、ガイド画像もコストボリュームＣ_ｊに対応して複数のフレームを用いるため、平滑化フィルタ処理のカーネルも３次元となる。

図１３は、平滑化フィルタ処理の２次元カーネルの例を示したものである。図１３において、ｘ軸が水平方向を示し、ｙ軸方向が垂直方向を示し、各格子が画素を示している。なお、図１３におけるｘ軸及びｙ軸は、それぞれ図６におけるｕ軸及びｖ軸に相当するものである。
矩形領域であるカーネルＷ_ｐは、平滑化フィルタ処理を行う際に参照される可能性がある最大の画素領域である。このカーネルＷ_ｐから、中心画素ｐと色が類似する画素領域が、適応型カーネルΩ_ｐとして抽出される。
また、図１３に示した例では、ガイド画像上において、中央部の網掛けを施した領域と、その他の周辺領域とで色相が異なっていることを示している。例えば、網掛けを施した領域が青色の領域であり、その周辺領域である網掛けを施していない領域が黄色の領域である場合を示している。

次に、１フレームについての適応型カーネルΩ_ｐを抽出する手順について説明する。
（手順１）
中心画素ｐから、アームを上方向（ｙ軸のマイナス方向）に向かって、１画素ずつ延伸させる。
（手順２）
アームの先端の画素値と中心画素の画素値との差が所定の閾値以上になったら、アームの延伸を止め、中心画素ｐからの長さをＳ_ｐ，１として保存する。
なお、アームの延伸は、予め定めた大きさの矩形（３次元時空間に拡張した場合は、カーネルＷ_ｐは直方体となる）のカーネルＷ_ｐ内を最大範囲とする。また、後記する他の手順においても同様とする。
（手順３）
手順２と同様に、アームを下方向（ｙ軸のプラス方向）に向かって１画素ずつ延伸させる。

（手順４）
アームの先端の画素値と中心画素ｐの画素値との差が所定の閾値以上になったら、アームの延伸を止め、中心画素ｐからの長さをＳ_ｐ，３として保存する。
（手順５）
式（１３）で示される縦方向（ｙ軸方向）に延伸する線分（画素列）Ｖ（ｐ）上の、ある画素（点）ｑから、左方向（ｘ軸のマイナス方向）及び右方向（ｘ軸のプラス方向）に、それぞれアームを１画素ずつ延伸させる。
なお、ｘ_ｐ及びｙ_ｐは、それぞれ中心画素ｐのｘ座標及びｙ座標を示す。

（手順６）
アームの先端の画素値と、中心画素ｐの画素値との差が所定の閾値以上になったら、アームの延伸を止め、線分Ｖ（ｐ）からの距離（長さ）を、それぞれＳ_ｑ，０及びＳ_ｑ，２として保存する。これによって、式（１４）で表わされる水平方向（ｘ軸方向）に延伸する線分（画素列）Ｈ（ｑ）を抽出することができる。
なお、ｘ_ｑ及びｙ_ｑは、それぞれ画素ｑのｘ座標及びｙ座標を示す。

（手順７）
線分Ｖ（ｐ）上のすべての画素ｑについて、（手順５）及び（手順６）を実行してＨ（ｑ）を抽出する。そして、１フレームについてのカーネルＵ（ｔ）は、式（１５）に示すように、各画素ｑについて抽出したＨ（ｑ）の和集合で表わすことができる。ここで、ｔは、フレーム番号（時刻）を示す。
なお、図１３において破線で示したカーネルΩ_ｐが、Ｕ（ｔ）として抽出された画素領域を示している。

この処理は、Orthogonal Integral Imageを用いたアルゴリズムにより、効率的に処理することができる。この手法については、参考文献５に詳細に説明されている。
（参考文献５）
K. Zhang, J. Lu, and G. Lafruit, “Cross-based local stereo matching using orthogonal integral images.” IEEE Transactions on Circuits and Systems for Video Technology, 19(7):1073-1079, July 2009.

［適応型時空間カーネル］
本実施形態では、この処理を時間軸（ｔ軸）方向に拡張し、３次元時空間に広がりを有する３次元カーネルを生成して、平滑化フィルタ処理に用いるものである。図１４は、複数フレーム分のガイド画像を並べた３次元時空間を、ｘ−ｔ平面で切った断面図を示したものである。但し、図１３において、水平方向をｘ軸、垂直方向をｔ軸（時間軸）としている。なお、時系列に番号が割り当てられるフレーム番号がｔ軸の座標値に相当する。
このとき、３次元カーネルΩ_ｐは、以下に示す（手順８）から（手順１０）の処理を行うことで生成することができる。

（手順８）
中心画素ｐから、時間軸方向の、前方向（ｔ軸のマイナス方向）及び後方向（ｔ軸のプラス方向）に、それぞれ１フレームずつアームを延伸させる。
（手順９）
アームの先端の画素値と中心画素ｐの画素値との差が所定の閾値以上になったら、アームの延伸を止め、中心画素ｐからの長さを、それぞれＳ_ｑ，４及びＳ_ｑ，５として保存する。
これによって、式（１６）で表わされる時間軸（ｔ軸）方向に延伸する線分（画素列）Ｔ（ｐ）を抽出することができる。

（手順１０）
線分Ｔ（ｐ）上のすべての画素ｔについて、各画素ｔを含むフレーム毎に、それぞれ（手順１）から（手順７）を実行して、式（１５）で示したフレーム毎のカーネルＵ（ｔ）を抽出する。そして、時空間に拡張した３次元カーネルＹ（ｐ）は、式（１７）に示すように、各フレームｔについて抽出したＵ（ｔ）の和集合で表わすことができる。
なお、図１４において破線で示したカーネルΩ_ｐが、Ｙ（ｐ）として抽出された画素領域の、ｘ−ｔ平面で切った断面を示している。

［ＣＬＭＦ］
前記したように、ＣＬＭＦにおいて、平滑化された画像Ｓは、式（１８）に示すように、ガイド画像Ｇ_ｐと２つの係数ａ，ｂとによる線形変換で表されると仮定している。

式（１８）において、添字ｋは、カーネルΩ_ｐに属する画素を示し、係数ａ_ｋ，ｂ_ｋは、画素ｋを中心とするカーネルΩ_ｋ内においては一定であり、線形回帰法を用いて、式（１９）により算出することができる。

式（１９）において、Ｚは平滑化する対象となる画像であり、本実施形態においては、コストマップが相当する。また、μ_ｋ，σ_ｋ ^２，Ｚ’_ｋ、及びεは、それぞれカーネルΩ_ｋにおけるガイド画像の平均、分散、カーネルΩ_ｋにおけるコストマップの平均、及び正則化項である。また、｜Ω_ｋ｜は、カーネルΩ_ｋに属する画素数を示す。

このとき、平滑化された画像Ｓ_ｐは、式（２０）で定義されるＳ_ｋの重み付け加算で近似することができる。

コストボリュームフィルタ処理部５４Ｄは、以上の手順によって、コストボリュームのすべてのコストマップについて、視差毎に３次元時空間の平滑化フィルタ処理を行う。コストボリュームフィルタ処理部５４Ｄは、平滑化したコストボリュームを、視差画像生成処理部６に出力する。また、視差画像生成部６は、コストボリュームフィルタ処理部５４Ｄから平滑化されたコストボリュームを入力し、このコストボリュームについて、画素毎に最もコストの低い視差を選択することで、視差画像を生成する。

［視差画像生成ステムの動作］
本実施形態に係る視差画像生成システム１００Ｄは、撮影装置３によって、所定のフレーム周波数で撮影した赤外線画像及びカラー画像を、視差画像生成装置１Ｄに入力する。フレーム周波数は特に限定されるものではないが、例えば、３０〜２４０Ｈｚ程度とすることができる。
このとき、赤外線画像のフレーム及びカラー画像のフレームは、視差画像生成装置１Ｄに同期して入力される。そして、視差画像生成装置１Ｄは、前記したように、画像変換部４、コストボリューム算出部５１，５２及びコストボリューム統合部５３によって、フレーム毎に第２実施形態で説明したものと同じ処理を行う。また、視差画像生成装置１Ｄは、コストボリュームフィルタ処理部５４Ｄによって、平滑化フィルタ処理の対象となるフレームを中心として、時間軸方向について、その近傍の予め定めた範囲の複数のフレームについてのコストボリューム及びガイド画像を用いて、前記した手順の平滑化フィルタ処理を行う。本実施形態に係る視差画像生成システム１００Ｄの他の動作は、図７に示した第２実施形態に係る視差画像生成システム１００Ａと同様であるから、詳細な説明は省略する。

また、図８に示した第３実施形態及び図１０に示した第４実施形態についても、コストボリュームフィルタ処理部５４を、第５実施形態におけるコストボリュームフィルタ処理部５４Ｄに置き換えることで、カーネルを２次元空間及び時間軸からなる３次元時空間に拡張した平滑化フィルタ処理を適用することができる。
これらの実施形態において、３次元時空間に亘る平滑化フィルタ処理を適用することによって、第５実施形態と同様に、複数の視差画像を連続再生する際に、フリッカの発生を抑制することができるとともに、特に静止物についての奥行き推定精度を改善することができる。

以上説明したように、各実施形態に係る視差画像生成システム１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄは、赤外線パターン照射機２によってテクスチャが付与された被写体の赤外線ステレオ画像と、カラーステレオ画像又はカラー画像とを用いて、視差画像生成装置１，１Ａ，１Ｂ，１Ｃ，１Ｄによって精度よく視差画像を生成することができる。生成された視差画像は、例えば、３次元モデル生成のために用いることができる。更にまた、当該３次元モデルを用いて、例えば、インテグラル・フォトグラフィ方式の立体映像の生成にために用いることができる。

なお、本発明の各実施形態に係る視差画像生成システム１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄにおいて、赤外線画像及びカラー画像を演算処理する視差画像生成装置１，１Ａ，１Ｂ，１Ｃ，１Ｄの画像変換部４，４Ｂ，４Ｃ、コストボリューム生成部５，５Ａ，５Ｂ，５Ｃ，５Ｄ及び視差画像生成処理部６の各構成手段は、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、又は専用のハードウェア回路を用いて構成することができる。
また、本発明の各実施形態における視差画像生成装置１，１Ａ，１Ｂ，１Ｃ，１Ｄは、赤外線パターン照射機２及び撮影装置３等が接続され、ＣＰＵ（Central Processing Unit）、記憶手段（例えば、メモリ、ハードディスク）、各種信号の入出力手段等のハードウェア資源を備えるコンピュータを、前記した画像変換部４，４Ｂ，４Ｃ、コストボリューム生成部５，５Ａ，５Ｂ，５Ｃ，５Ｄ及び視差画像生成処理部６の各構成手段として協調動作させるための、視差画像生成プログラムによって実現することもできる。このプログラムは、通信回線を介して配布してもよく、光ディスクや磁気ディスク、フラッシュメモリ等の記録媒体に書き込んで配布してもよい。

以上、本発明の実施形態に係る視差画像生成システムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。

１，１Ａ，１Ｂ，１Ｃ，１Ｄ 視差画像生成装置
２ 赤外線パターン照射機
３，３Ｂ，３Ｃ 撮影装置
３１，３２ 赤外線カラーカメラ（カメラ）
３３，３４ 赤外線カメラ
３５，３６ カラーカメラ（可視光カメラ）
４，４Ｂ，４Ｃ 画像変換部
４１，４２ 画像平行化処理部
４３，４４ 画像座標変換処理部
５，５Ａ，５Ｂ，５Ｃ，５Ｄ コストボリューム生成部（対応度マップ群生成部）
５１，５２，５２Ｂ コストボリューム算出部
５３ コストボリューム統合部
５４，５４Ｄ コストボリュームフィルタ処理部（平滑化フィルタ処理部）
６ 視差画像生成処理部
１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ 視差画像生成システム

Claims (6)

1. 赤外線パターンを投影した被写体について、前記赤外線の波長領域の画像である赤外線画像及び可視光の波長領域の画像である可視光画像を２台のカメラで撮影した赤外線画像の組及び可視光画像の組を用いて、視差画像を生成する視差画像生成装置であって、
   前記２台のカメラについてのカメラパラメータを用いて、前記赤外線画像の組を、前記２台のカメラの光軸を平行とした際に得られる画像である平行化赤外線画像の組に変換するとともに、前記２台のカメラについてのカメラパラメータを用いて、前記可視光画像の組を、前記２台のカメラの光軸を平行とした際に得られる画像である平行化可視光画像の組に変換する画像変換部と、
   基準となる前記平行化赤外線画像である基準赤外線画像と、他方の前記平行化赤外線画像である非基準赤外線画像との間の視差が画像全体において一定値であるとした場合に、前記基準赤外線画像と前記非基準赤外線画像との画素毎の、当該画素を含む所定範囲の画像の一致の度合いを示す指標である対応度と、前記基準赤外線画像と同じ光軸の前記平行化可視光画像である基準可視光画像と、他方の前記平行化可視光画像である非基準可視光画像との間の視差が画像全体において前記一定値であるとした場合に、前記基準可視光画像と前記非基準可視光画像との画素毎の、当該画素を含む所定範囲の画像の一致の度合いを示す指標である対応度と、を統合した対応度の２次元配列である対応度マップを、所定の視差範囲について所定間隔の視差毎に求めることで対応度マップ群を生成する対応度マップ群生成部と、
   画素毎に、前記対応度マップ群の中で最も一致の度合いが高い対応度マップについての視差を選択することにより、画素毎に視差が定められた画像である視差画像を生成する視差画像生成処理部と、
   を備えることを特徴とする視差画像生成装置。
2. 赤外線パターンを投影した被写体について、前記赤外線の波長領域の画像である赤外線画像を２台の赤外線カメラで撮影した赤外線画像の組と、可視光の波長領域の画像である可視光画像を２台の可視光カメラで撮影した可視光画像の組とを用いて、視差画像を生成する視差画像生成装置であって、
   前記２台の赤外線カメラについてのカメラパラメータを用いて、前記赤外線画像の組を、前記２台の赤外線カメラの光軸を平行とした際に得られる画像である平行化赤外線画像の組に変換するとともに、前記２台の可視光カメラ及び前記２台の赤外線カメラについてのカメラパラメータを用いて、前記可視光画像の組を、前記２台の可視光カメラの光軸を前記平行化赤外線画像の組を得るための光軸と同じとした際に得られる画像である平行化可視光画像の組に変換する画像変換部と、
   基準となる前記平行化赤外線画像である基準赤外線画像と、他方の前記平行化赤外線画像である非基準赤外線画像との間の視差が画像全体において一定値であるとした場合に、前記基準赤外線画像と前記非基準赤外線画像との画素毎の、当該画素を含む所定範囲の画像の一致の度合いを示す指標である対応度と、前記基準赤外線画像と同じ光軸の前記平行化可視光画像である基準可視光画像と、他方の前記平行化可視光画像である非基準可視光画像との間の視差が画像全体において前記一定値であるとした場合に、前記基準可視光画像と前記非基準可視光画像との画素毎の、当該画素を含む所定範囲の画像の一致の度合いを示す指標である対応度と、を統合した対応度の２次元配列である対応度マップを、所定の視差範囲について所定間隔の視差毎に求めることで対応度マップ群を生成する対応度マップ群生成部と、
   画素毎に、前記対応度マップ群の中で最も対応度が高い対応度マップについての視差を選択することにより、画素毎に視差が定められた画像である視差画像を生成する視差画像生成処理部と、
   を備えることを特徴とする視差画像生成装置。
3. 前記対応度マップ群生成部は、前記対応度マップ群について、前記対応度マップ毎に、前記基準可視光画像をエッジ領域識別のためのガイド画像として、当該ガイド画像における被写体のエッジに対応する前記対応度マップのエッジを保持する平滑化フィルタ処理を行う平滑化フィルタ処理部を更に備え、
   前記視差画像生成処理部は、前記平滑化フィルタ処理部によって平滑化フィルタ処理された対応度マップ群を用いて、前記視差画像を生成することを特徴とする請求項１又は請求項２に記載の視差画像生成装置。
4. 赤外線パターンを投影した被写体について、前記赤外線の波長領域の画像である赤外線画像を２台の赤外線カメラで撮影した赤外線画像の組と、可視光の波長領域の画像である可視光画像を可視光カメラで撮影した可視光画像とを用いて、視差画像を生成する視差画像生成装置であって、
   前記２台の赤外線カメラについてのカメラパラメータを用いて、前記赤外線画像の組を、前記赤外線カメラの光軸を平行とした際に得られる画像である平行化赤外線画像の組に変換するとともに、前記可視光カメラ及び基準となる前記赤外線カメラについてのカメラパラメータを用いて、前記可視光画像を、前記可視光カメラの光軸を基準となる前記平行化赤外線画像を得るための光軸と同じとした際に得られる画像である基準可視光画像に変換する画像変換部と、
   前記基準となる平行化赤外線画像である基準赤外線画像と、他方の前記平行化赤外線画像である非基準赤外線画像との間の視差が画像全体において一定値であるとした場合に、前記基準赤外線画像と前記非基準赤外線画像との画素毎の、当該画素を含む所定範囲の画像の一致の度合いを示す指標である対応度の２次元配列である対応度マップを、所定の視差範囲について所定間隔の視差毎に求めることで対応度マップ群を生成する対応度マップ群生成部と、
   前記対応度マップ群について、前記対応度マップ毎に、前記基準可視光画像をエッジ領域識別のためのガイド画像として、当該ガイド画像における被写体のエッジに対応する前記対応度マップのエッジを保持した平滑化フィルタ処理を行う平滑化フィルタ処理部と、
   前記平滑化フィルタ処理された対応度マップ群の中で最も対応度の高い対応度マップについての視差を、画素毎に選択することにより、画素毎に視差が定められた画像である視差画像を生成する視差画像生成処理部と、
   を備えることを特徴とする視差画像生成装置。
5. 前記平滑化フィルタ処理部は、前記ガイド画像を参照して平滑化フィルタ処理の対象画素との間の色差が所定の閾値以下である周辺画素を抽出し、前記抽出した周辺画素についての前記対応度を用いて平滑化フィルタ処理を行うことを特徴とする請求項３又は請求項４に記載の視差画像生成装置。
6. 前記赤外線画像及び前記カラー画像は、所定のフレーム周波数で撮影され、
   前記対応度マップ群生成部は、フレーム毎に前記対応度マップ群を生成し、
   前記平滑化フィルタ処理部は、前記対応度マップ群について、前記平滑化フィルタ処理の対象である当該対応度マップ群に対応するフレームの近傍の複数のフレームについての前記対応度マップ群及び前記ガイド画像を参照して、２次元空間及び時間軸からなる３次元時空間について前記平滑化フィルタ処理を行うことを特徴とする請求項３乃至請求項５の何れか一項に記載の視差画像生成装置。

Images