JP6476831B2 - 視差演算システム、情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は視差演算システム、情報処理装置、情報処理方法及びプログラムに関する。

従来より、ステレオカメラ等の複数の撮像部を用いて撮影された撮影画像（ステレオ画像）に含まれるオブジェクトについて、視差演算を行うことで該オブジェクトまでの距離を算出する測距技術が知られている。

当該測距技術により得られた視差画像を用いれば、例えば、走行する車両前方の障害物までの距離を検出することができる。

しかしながら、視差演算されるステレオ画像には、通常、テクスチャの少ない領域や飽和した領域、黒つぶれした領域等が含まれる。そして、このような領域の場合、ステレオ画像間のマッチング精度を確保することが困難となるため、視差演算の精度が著しく低下することとなる。このため、上記測距技術の分野においては、ステレオ画像内にテクスチャの少ない領域や飽和した領域、黒つぶれした領域等が含まれていた場合であっても、視差演算を精度よく行えるようにすることが望まれている。

本発明は上記課題に鑑みてなされたものであり、複数の撮像部を用いて撮影された撮影画像における視差演算の精度を向上させることを目的とする。

本発明の実施形態に係る情報処理装置は、以下のような構成を有する。すなわち、
複数の撮像部により撮影された撮影画像に基づいて視差画像を生成する情報処理装置であって、
前記複数の撮像部の撮影方向に向かって照射された電磁波の反射波から得られる前記電磁波の照射位置までの距離情報を、前記撮影画像を構成する第１の画像内の前記電磁波の照射位置の第１の画素と関連付ける手段と、
前記第１の画素に関連付けられた前記距離情報と前記複数の撮像部の配置に関する情報とに基づいて、前記撮影画像を構成する第２の画像内の各画素のうち、前記第１の画素に対応する位置の第２の画素における視差を求め、求めた視差における伝播パラメータを起点としてデンスアルゴリズムを用いて、前記第２の画像内の各画素の伝播パラメータを順次求めることで、前記第２の画像内の各画素について、前記第１の画像内の対応する画素に対するずれ量に応じたエネルギ値を求める手段と、
前記第２の画像内の各画素について求めたエネルギ値の、前記ずれ量の変化に対する変化に基づいて、前記第２の画像内の各画素の視差を求める手段とを有することを特徴とする。

本発明の各実施形態によれば、複数の撮像部を用いて撮影された撮影画像における視差演算の精度を向上させることが可能となる。

実施形態に係る視差演算システムの構成を示す図である。 実施形態に係る視差演算システムの適用例を示す図である。 視差演算システムを構成するレーザレーダ測距部によるレーザ光の照射範囲を示す図である。 視差演算システムを構成するステレオ画像演算部によるステレオ画像の撮影範囲を示す図である。 レーザレーダ測距部によるレーザ光の照射位置とステレオ画像の画素位置との関係を説明するための図である。 レーザレーダ測距部の機能構成を示す図である。 ステレオ画像演算部の機能構成を示す図である。 ステレオ画像演算部を構成するコスト計算部におけるコスト計算処理を説明するための図である。 ステレオ画像演算部を構成するコスト計算部におけるコスト計算処理を説明するための図である。 ステレオ画像内の所定の画素の視差とＳＡＤとの関係を説明するための図である。 デンスアルゴリズムを用いて伝播パラメータを算出する処理を模式的に示した図である。 デンスアルゴリズムの具体例を示す図である。 エネルギ計算部において計算されたエネルギ値と視差との関係について説明するための図である。 エネルギ計算部におけるエネルギ計算処理の流れを示すフローチャートである。 視差計算部における視差計算処理の流れを示すフローチャートである。 ステレオ画像演算部の他の機能構成を示す図である。 レーザ光の照射位置とステレオ画像の画素位置との関係を説明するための図である。 ステレオ画像演算部を構成する視差計算部における視差計算処理の概要を説明するための図である。 視差計算部における視差計算処理の流れを示すフローチャートである。 ステレオ画像演算部の他の機能構成を示す図である。 ステレオ画像演算部を構成する情報埋め込み部における情報埋め込み処理の概要を説明するための図である。 情報埋め込み部における情報埋め込み処理の流れを示すフローチャートである。 ステレオ画像演算部の他の機能構成を示す図である。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜１．視差演算システムの全体構成＞
はじめに、本実施形態に係る視差演算システムの全体構成について説明する。図１は、本実施形態に係る視差演算システム１００の構成を示す図である。図１に示すように、視差演算システム１００は、レーザレーダ測距部１１０と、ステレオ画像演算部１２０とを備える。

レーザレーダ測距部１１０は、ステレオ画像演算部１２０を構成するステレオカメラによりステレオ画像を撮影する場合の撮影方向に向かってレーザ光を照射し、その反射光を受光することで、レーザ光の反射位置までの距離データを測定する。レーザレーダ測距部１１０により測定された距離データは、受光タイミングに関する情報とともに、距離情報としてステレオ画像演算部１２０に入力される。

ステレオ画像演算部１２０は、ステレオカメラを備え、該ステレオカメラにより所定のフレーム周期で撮影されたステレオ画像に基づいて、視差画像を算出する。なお、視差画像の算出に際して、ステレオ画像演算部１２０では、距離情報に含まれる受光タイミングに関する情報に基づいて、フレームを特定する。更に、距離情報に含まれる距離データを、ステレオ画像の当該フレームにおけるレーザ光の照射位置に対応する画素に関連付ける。そして、当該画素に関連付けられた距離データ（距離データに基づいて算出された値）を視差画像の算出に利用する。

このように、視差画像の算出において、レーザレーダ測距部１１０において測定された距離データを利用することにより、視差演算の精度を向上させることができる。

なお、ステレオ画像演算部１２０において算出された視差画像は、例えば、自動車の前方の路面上における車両の有無や、人の有無等を検出するのに有効である。一方で、路面等のように、テクスチャの少ない領域の場合、視差演算の精度が低下する。このため、ステレオ画像演算部１２０では、レーザレーダ測距部１１０において測定された距離データを視差画像の算出に利用している。

＜視差演算システムの適用例＞
次に、視差演算システム１００の適用例について説明する。図２は、視差演算システム１００を自動車に適用した例を示す図である。図２の例では、自動車２００のフロントウィンドウの内側中央位置に、レーザレーダ測距部１１０とステレオ画像演算部１２０とが設置されている。なお、レーザレーダ測距部１１０とステレオ画像演算部１２０はいずれも前方方向に向かって設置されており、レーザレーダ測距部１１０は、ステレオ画像演算部１２０を構成するステレオカメラ（２台の撮像部）の間に配置されるものとする。

＜レーザレーダ測距部の照射範囲＞
次に、レーザレーダ測距部１１０によるレーザ光の照射範囲について説明する。図３は、レーザレーダ測距部１１０によるレーザ光の照射範囲を示す図である。図３（ａ）は、自動車２００を上方から見た様子を、図３（ｂ）は、自動車２００を側方から見た様子をそれぞれ示している。

図３（ａ）に示すように、レーザレーダ測距部１１０では、レーザ光を自動車２００の進行方向の前方に向かって直線的に照射する。なお、自動車２００を上方から見た場合のレーザ光の旋回方向の照射角度は、自動車２００の進行方向を０度と定義した場合、０度に固定されている。

また、図３（ｂ）に示すように、レーザレーダ測距部１１０では、レーザ光を自動車２００の前方の路面部分に向かって照射する。具体的には、レーザレーダ測距部１１０の設置位置を基準として、距離Ｄ１から距離Ｄ２までの範囲を照射する。

つまり、レーザレーダ測距部１１０は、レーザ光の照射方向を、仰角方向に回転させることができるよう構成されている。これにより、レーザレーダ測距部１１０の設置位置を基準として、距離Ｄ１から距離Ｄ２までの範囲の路面を照射範囲として照射することができる。

＜ステレオ画像演算部の撮影範囲＞
次に、ステレオ画像演算部１２０によるステレオ画像の撮影範囲について説明する。図４は、ステレオ画像演算部１２０によるステレオ画像の撮影範囲を説明するための図である。図４（ａ）は、自動車２００を上方から見た様子を示している。図４（ａ）に示すように、ステレオ画像演算部１２０では、ステレオカメラが自動車２００の進行方向の前方に向かって設置されており、進行方向の画像（路面から空までの画像）を撮影する。

図４（ｂ−１）と図４（ｂ−２）は、ステレオカメラにおいて撮影されたステレオ画像１フレーム分を示している。このうち、図４（ｂ−１）は、ステレオ画像演算部１２０のステレオカメラを構成する撮像部のうち、左側に設置された撮像部により撮影された撮影画像１フレーム分を示している。また、図４（ｂ−２）は、ステレオ画像演算部１２０のステレオカメラを構成する撮像部のうち、右側に設置された撮像部により撮影された撮影画像１フレーム分を示している。

左側に設置された撮像部と右側に設置された撮像部とは、互いに、所定の間隔を介して平行に設置されている。このため、図４（ｂ−１）に示す撮影画像４１０と図４（ｂ−２）に示す撮影画像４２０とでは、撮影画像内のオブジェクトの位置が、左右方向にずれることとなる。

ステレオ画像演算部１２０では、撮影画像４１０、４２０内の各オブジェクトを構成する各画素のずれ量（以下では視差と称す）を算出することで、視差画像を生成し出力する。

＜レーザ光の照射位置とステレオ画像の画素位置との関係＞
次に、レーザレーダ測距部１１０によるレーザ光の照射位置とステレオ画像演算部１２０により撮影されたステレオ画像（基準画像）の画素位置との関係について説明する。図５は、レーザ光の照射位置とステレオ画像（基準画像）の画素位置との関係を説明するための図である。

上述したように、レーザレーダ測距部１１０は、ステレオ画像演算部１２０のステレオカメラ（２台の撮像部）の間において旋回角度＝０°に固定して設置されており、かつ、仰角方向に回転可能に設置されている。

このため、撮影画像４２０上においてレーザ光の照射範囲は、照射範囲５２０に示す領域となる。つまり、撮影画像４２０の予め定められた位置の画素が、レーザ光の照射範囲に対応する位置の画素となる。

本実施形態では、このうち、（Ｐ_ｘ１，Ｐ_ｙ１）の画素、（Ｐ_ｘ１，Ｐ_ｙ２）の画素、（Ｐ_ｘ１，Ｐ_ｙ３）の画素、（Ｐ_ｘ１，Ｐ_ｙ４）の画素が、距離データが測定された位置に対応しているものとする。このため、これらの画素に対しては、レーザレーダ測距部１１０において測定された距離データを関連付けることができる。

撮影画像４２０の例では、（Ｐ_ｘ１，Ｐ_ｙ１）の画素に距離データＬＤ_１を、（Ｐ_ｘ１，Ｐ_ｙ２）の画素に距離データＬＤ_２を、（Ｐ_ｘ１，Ｐ_ｙ３）の画素に距離データＬＤ_３を、（Ｐ_ｘ１，Ｐ_ｙ４）の画素に距離データＬＤ_４を、それぞれ関連付けるものとする。

なお、撮影画像４２０の画素（Ｐ_ｘ１，Ｐ_ｙ１）、（Ｐ_ｘ１，Ｐ_ｙ２）、（Ｐ_ｘ１，Ｐ_ｙ３）、（Ｐ_ｘ１，Ｐ_ｙ４）について、距離データＬＤ_１〜ＬＤ_４が関連付けられることで、当該画素と当該画素に対応する撮影画像４１０上の画素との視差を算出することができる。具体的には、撮影画像４１０の画素（Ｐ_ｘ１，Ｐ_ｙ１）の視差は、距離データＬＤ_１と、ステレオカメラ間の距離（既知）とに基づいて算出される。

同様に、撮影画像４１０の画素（Ｐ_ｘ１，Ｐ_ｙ２）の視差は、距離データＬＤ_２と、ステレオカメラ間の距離（既知）とに基づいて算出される。また、撮影画像４１０の画素（Ｐ_ｘ１，Ｐ_ｙ３）の視差は、距離データＬＤ_３と、ステレオカメラ間の距離（既知）とに基づいて算出される。更に、撮影画像４１０の画素（Ｐ_ｘ１，Ｐ_ｙ４）の視差は、距離データＬＤ_４と、ステレオカメラ間の距離（既知）とに基づいて算出される。

＜レーザレーダ測距部の機能構成＞
次に、レーザレーダ測距部１１０の機能構成について説明する。図６は、レーザレーダ測距部１１０の機能構成を示す図である。

レーザレーダ測距部１１０では、信号処理部６０１からの指示に基づいて、仰角方向スキャンドライブユニット６０２が、仰角方向スキャンミラー６０４を仰角方向に回転させるためのモータ６０３を駆動する。これにより、仰角方向スキャンミラー６０４は、仰角方向に回転する。

また、レーザレーダ測距部１１０では、信号処理部６０１からの指示に基づいて、レーザドライバ６０９が駆動し、レーザ出力部６０８からレーザ光が出力される。このとき、レーザ光の出力タイミングは、時間間隔カウンタ６０７に一時的に保持される。レーザ出力部６０８から出力されたレーザ光は、仰角方向スキャンミラー６０４を介して、外部に出力されるため、所定の照射範囲を照射することとなる。

外部に出力されたレーザ光は、路面上の照射位置において反射し、その反射光が仰角方向スキャンミラー６０４を介して、レーザ受光部６０５において受光される。レーザ受光部６０５は、垂直方向に配列された複数のフォトディテクタ（ＰＤ：Photo Detector）を有しており、レーザ光はいずれかのフォトディテクタで受光され電気信号に変換される。

変換された電気信号は、信号増幅器６０６において増幅され、時間間隔カウンタ６０７に入力される。時間間隔カウンタ６０７では、レーザ出力部６０８より出力されたレーザ光の出力タイミングと、レーザ受光部６０５において受光された反射光の受光タイミングとに基づいて、時間間隔を算出する。

時間間隔カウンタ６０７において算出された時間間隔は、信号処理部６０１において距離データに変換され、受光タイミングを示す情報とともに、距離情報として、ステレオ画像演算部１２０に送信される。

＜ステレオ画像演算部の機能構成＞
次に、ステレオ画像演算部１２０の機能構成について説明する。図７は、ステレオ画像演算部１２０の機能構成を示す図である。

図７に示すように、ステレオ画像演算部１２０は、撮像部７１０と、撮像部７２０と、視差演算部（情報処理装置）７３０とを備える。撮像部７１０及び撮像部７２０はステレオカメラを構成する。なお、本実施形態において、撮像部７１０により撮影される撮影画像は比較画像として用い、撮像部７２０により撮影される撮影画像は基準画像として用いることとする。

視差演算部７３０は、更に、コスト計算部７３１と、エネルギ計算部７３２と、視差計算部７３３とを備える。以下、視差演算部７３０を構成する、コスト計算部７３１、エネルギ計算部７３２、視差計算部７３３についての詳細を説明する。なお、以下に説明するコスト計算部７３１、エネルギ計算部７３２、視差計算部７３３は、専用の電子回路を用いて実現してもよい。あるいは、各部を実現するためのプログラムがＣＰＵ（コンピュータ）によって実行されることで実現されてもよい。

＜コスト計算部の説明＞
コスト計算部７３１は、コスト計算処理を行う。具体的には、撮像部７１０により撮影された撮影画像（比較画像）と、撮像部７２０により撮影された撮影画像（基準画像）とを取得し、両者を比較することにより、撮影画像（比較画像）を構成する各画素のコストＣ（ｐ，ｄ）を算出する。

コストとは、ステレオ画像を構成する２つの撮影画像（比較画像、基準画像）のうち、一方の撮影画像（比較画像）を左右方向にシフトさせた際の他方の撮影画像（基準画像）との一致度を示す指標である。コストの一例としては、ＳＡＤ（Sum of Absolute Differences）が挙げられる。ただし、コストはＳＡＤに限られず、例えば、ＳＳＤ（Sum of Squared Differences）、ＮＣＣ（Normalized Cross-Correlation）等であってもよい。

図８及び図９を用いて具体的に説明する。図８は、撮像部７１０により撮影された撮影画像４１０と撮像部７２０により撮影された撮影画像４２０とからなるステレオ画像における、注目画素ｐ＝（Ｐ_ｘ３，Ｐ_ｙ５）のコストとして、ＳＡＤを算出する例を示した図である。

図８に示すように、撮影画像４１０と撮影画像４２０とでは、撮影位置が異なるため、撮影画像上の同じ位置の注目画素ｐ＝（Ｐ_ｘ３，Ｐ_ｙ５）であっても、同じオブジェクトを指し示すことはなく、左右方向にずれた位置を指し示すことになる。

このため、ブロックサイズを１×１画素とした場合のＳＡＤである、撮影画像４１０上の注目画素ｐ＝（Ｐ_ｘ３，Ｐ_ｙ５）の輝度値と、撮影画像４２０上の注目画素ｐ＝（Ｐ_ｘ３，Ｐ_ｙ５）の輝度値との差分値は、大きな値となる。

ここで、比較画像である撮影画像４１０上の注目画素ｐを１画素分、右方向にシフトさせる。つまり、視差ｄ＝１としたときのＳＡＤを算出する。具体的には、撮影画像４１０上の注目画素ｐ＝（Ｐ_ｘ３＋１，Ｐ_ｙ５）の輝度値と、撮影画像４２０上の注目画素ｐ＝（Ｐ_ｘ３，Ｐ_ｙ５）の輝度値との差分値（ＳＡＤ）を算出する。なお、図８の例では、ｄ＝１の場合も、ＳＡＤは大きな値となる。

以下、同様に、ｄ＝２、３、・・・と変化させていき、それぞれにおいてＳＡＤを算出する。図８の例では、ｄ＝３の場合に、撮影画像４２０の注目画素ｐ＝（Ｐ_ｘ３，Ｐ_ｙ５）が指し示すオブジェクトと撮影画像４１０の注目画素ｐ＝（Ｐ_ｘ３＋３，Ｐ_ｙ５）が指し示すオブジェクトとが同じとなる。このため、ｄ＝３とした場合のＳＡＤは、ｄ＝３とした場合以外のＳＡＤと比べて小さくなる。

図１０（ａ）は、注目画素ｐ＝（Ｐ_ｘ３，Ｐ_ｙ５）について、横軸に視差ｄをとり、縦軸にＳＡＤをとった場合の視差ｄに対するＳＡＤの変化を示したグラフ（視差−ＳＡＤグラフ）である。図１０（ａ）に示すように、注目画素ｐ＝（Ｐ_ｘ３，Ｐ_ｙ５）の場合、ｄ＝３において、ＳＡＤが小さくなるため、視差ｄ＝３であると認識することができる。

一方、図９は、撮像部７１０により撮影された撮影画像４１０と撮像部７２０により撮影された撮影画像４２０とからなるステレオ画像における、注目画素ｐ＝（Ｐ_ｘ４，Ｐ_ｙ６）のコストとして、ＳＡＤを算出する例を示した図である。

図８と同様に、撮影画像４１０と撮影画像４２０とでは、撮影位置が異なるため、撮影画像上の同じ位置の注目画素ｐ＝（Ｐ_ｘ４，Ｐ_ｙ６）であっても、同じオブジェクトを指し示すことはなく、左右方向にずれた位置を指し示すことになる。

このため、ブロックサイズを１×１画素とした場合のＳＡＤである、撮影画像４１０上の注目画素ｐ＝（Ｐ_ｘ４，Ｐ_ｙ６）の輝度値と、撮影画像４２０上の注目画素ｐ＝（Ｐ_ｘ４，Ｐ_ｙ６）の輝度値との差分値は、大きな値となる。

そして、図８と同様に、比較画像である撮影画像４１０上の注目画素ｐを１画素分、右方向にシフトさせる。つまり、視差ｄ＝１としたときのＳＡＤを算出する。具体的には、撮影画像４１０上の注目画素ｐ＝（Ｐ_ｘ４＋１，Ｐ_ｙ６）の輝度値と、撮影画像４２０上の注目画素ｐ＝（Ｐ_ｘ４，Ｐ_ｙ６）の輝度値との差分値（ＳＡＤ）を算出する。なお、図９の例では、ｄ＝１の場合も、ＳＡＤは大きな値となる。

以下、同様に、ｄ＝２、３、・・・と変化させていき、それぞれにおいてＳＡＤを算出する。図９の例では、ｄ＝３の場合に、撮影画像４２０の注目画素ｐ＝（Ｐ_ｘ４，Ｐ_ｙ６）が指し示すオブジェクトと撮影画像４１０の注目画素ｐ＝（Ｐ_ｘ４＋３，Ｐ_ｙ６）が指し示すオブジェクトとが同じとなる。しかしながら、図９の例では、当該オブジェクトが路面であり、もともと、テクスチャが少ない。このため、ＳＡＤの変化も小さい。

図１０（ｂ）は、注目画素ｐ＝（Ｐ_ｘ４，Ｐ_ｙ６）について、横軸に視差ｄをとり、縦軸にＳＡＤをとった場合の視差ｄに対するＳＡＤの変化を示したグラフ（視差−ＳＡＤグラフ）である。図１０（ｂ）に示すように、注目画素ｐ＝（Ｐ_ｘ４，Ｐ_ｙ６）の場合、視差ｄの変化に対するＳＡＤの変化が小さいため、視差を抽出することができない。

このように、コスト計算部７３１によるコスト計算処理だけでは、視差を特定することができない画素が生じえるため、視差演算部７３０のエネルギ計算部７３２では、視差を顕在化させるためにエネルギ計算処理を行う。

＜エネルギ計算部の説明＞
エネルギ計算部７３２では、デンスアルゴリズムと称されるアルゴリズムを用いて、伝播パラメータＬ_ｒを算出し、当該伝播パラメータＬ_ｒを用いて注目画素ｐのエネルギ値Ｓ（ｐ，ｄ）を算出するエネルギ計算処理を行う。

そこで、以下では、当該エネルギ計算処理のうち、まず、デンスアルゴリズムを用いて伝播パラメータＬ_ｒを算出する処理について説明する。図１１は、デンスアルゴリズムを用いて伝播パラメータＬ_ｒを算出する処理を模式的に示した図である。

図１１の例では、注目画素ｐである画素１１００に対して、４方向の伝播パラメータＬ_ｒを求める場合を示している。具体的には、画素１１００に対して、矢印１１１１方向の伝播パラメータＬ_１と、矢印１１１２方向の伝播パラメータＬ_２と、矢印１１１３方向の伝播パラメータＬ_３と、矢印１１１４方向の伝播パラメータＬ_４とを求める場合を示している。なお、画素１１００に対して求める伝播パラメータの方向（ｒ）は、４方向に限定されるものではなく、例えば、８方向であっても、あるいは２方向であってもよい。

図１１に示すように、矢印１１１１方向の伝播パラメータＬ_１は、下式により求めることができる。

ただし、ｐは画素１１００の座標を、ｄは視差を表している。このように、伝播パラメータＬ_１（ｐ，ｄ）は、画素１１００のコストＣ（ｐ，ｄ）と、画素１１００の左側１画素に位置する画素の各視差（ｄ−１〜ｄ＋１）での伝播パラメータとによって算出することができる。つまり、矢印１１１１方向の伝播パラメータは、左方向から右方向へと順次伝播パラメータが算出されていくことになる。なお、左方向から右方向へと伝播パラメータを伝播させていく際の伝播間隔は、１画素に限定されるものではない。つまり、画素１１００の左側ａ画素に位置する画素の各視差での伝播パラメータを用いて、伝播パラメータＬ_１（ｐ，ｄ）を算出するように構成してもよい。

同様に、矢印１１１２方向の伝播パラメータＬ_２は、上方向から下方向へと順次算出されていくことになる。また、矢印１１１３方向の伝播パラメータＬ_３は、右方向から左方向へと順次算出され、矢印１１１４方向の伝播パラメータＬ_４は、下方向から上方向へと順次算出されていくことになる。

つづいて、エネルギ計算処理のうち、当該伝播パラメータＬ_ｒを用いて注目画素ｐのエネルギ値Ｓ（ｐ，ｄ）を算出する処理について説明する。

上記のようにして、各画素について算出された各方向からの伝播パラメータに基づいて、エネルギ計算部７３２では、各画素のエネルギ値Ｓ（ｐ，ｄ）を下式により算出する。

図１１の例では、Ｓ（ｐ，ｄ）＝Ｌ_１（ｐ，ｄ）＋Ｌ_２（ｐ，ｄ）＋Ｌ_３（ｐ，ｄ）＋Ｌ_４（ｐ，ｄ）により算出することができる。

＜デンスアルゴリズムにおける距離データの利用＞
次に、上述したデンスアルゴリズムの具体例について説明し、レーザレーダ測距部１１０より送信された距離データのデンスアルゴリズムへの適用について説明する。

図１２は、伝播パラメータＬ_１（ｐ，ｄ）から伝播パラメータＬ_１（ｐ＋１，ｄ）を求めるデンスアルゴリズムの具体例を示す図である。図１２において、画素１２２０は、撮影画像４２０の注目画素ｐ＝（Ｐ_ｘ４，Ｐ_ｙ６）であるとする。

一方、画素１２１０は、撮影画像４１０の注目画素ｐ＝（Ｐ_ｘ４，Ｐ_ｙ６）であるとする。また、画素１２１１〜１２１４は、それぞれ画素１２１０の視差ｄ＝１〜４のときの画素であるとする。

ここで、撮影画像４２０の画素１２２０は、レーザレーダ測距部１１０により、当該画素が指し示すオブジェクトまでの距離データが測定されている画素であるとする（つまり、画素１２２０には、距離データが関連付けられているものとする）。画素１２２０が指し示すオブジェクトまでの距離データが測定されている場合、撮像部７１０と撮像部７２０との間の距離が既知であるとすると、画素１２２０に対応する撮影画像４１０上の画素の視差を算出することができる。

図１２の例では、距離データが関連付けられた画素１２２０に対応する撮影画像４１０の画素１２１０は、視差ｄ＝４であるとする。つまり、撮影画像４１０の画素１２１４が、距離データが関連付けられている撮影画像４２０上の画素と同じ位置を指し示す画素であるとする。

この場合、撮影画像４２０の画素１２２０の輝度値と撮影画像４１０の画素１２１４の輝度値とは同一であることから、画素１２１４の伝播パラメータＬ_１（ｐ，４）＝０となる。

画素１２１４の伝播パラメータＬ_１（ｐ，４）＝０の場合、画素１２１３の伝播パラメータＬ_１（ｐ，３）は、Ｃ（ｐ，３）＋０となる。つまり、画素１２１３の伝播パラメータＬ_１（ｐ，３）は、画素１２１３の輝度値と画素１２２０の輝度値との差分値に基づいて算出することができる。

同様に、画素１２１２の伝播パラメータＬ_１（ｐ，２）は、Ｃ（ｐ，２）＋０となり、画素１２１２の伝播パラメータＬ_１（ｐ，２）は、画素１２１２の輝度値と画素１２２０の輝度値との差分値に基づいて算出することができる。

同様に、画素１２１１の伝播パラメータＬ_１（ｐ，１）、画素１２１０の伝播パラメータＬ_１（ｐ，０）も、画素１２１１の輝度値と画素１２２０の輝度値との差分値、及び画素１２１０の輝度値と画素１２２０の輝度値との差分値に基づいて算出することができる。つまり、撮影画像４１０内の各画素と撮影画像４２０内の各画素との類似度に基づいて、撮影画像４１０の画素１２１０〜１２１４の伝播パラメータＬ_１（ｐ，０）〜Ｌ_１（ｐ，４）を算出することができる。

このようにして、撮影画像４１０の画素１２１０〜１２１４の伝播パラメータＬ_１（ｐ，０）〜Ｌ_１（ｐ，４）が算出されると、続いて、画素１２２３の伝播パラメータＬ_１（ｐ＋１，ｄ）を算出することができる。

具体的には、伝播パラメータＬ_１（ｐ＋１，３）＝Ｃ（ｐ＋１，３）＋ｍｉｎ｛Ｌ_１（ｐ，３），Ｌ_１（ｐ，２）＋Ｐ_１，Ｌ_１（ｐ，４）＋Ｐ_１｝となる。ここで、Ｐ１は定数であり、Ｌ_１（ｐ，４）＝０である。また、Ｌ_１（ｐ，３）、Ｌ_１（ｐ，２）は、上述したとおり、Ｃ（ｐ，３）、Ｃ（ｐ，２）に等しい。

以下、同様の処理を繰り返すことにより、画素１２２２、１２２１、・・・についての伝播パラメータを求めていくことができ、撮影画像４１０上のすべての画素について、伝播パラメータを算出することができる。

つまり、エネルギ計算部７３２では、レーザレーダ測距部１１０より送信された距離データに基づいて、当該距離データが関連付けられた、基準画像である撮影画像４２０上の画素に対応する、比較画像である撮影画像４１０上の画素の視差ｄを算出する。そして、当該距離データが関連付けられた画素に対応する画素の視差ｄにおける伝播パラメータＬ_１（ｐ，ｄ）＝０とおいたうえで、当該伝播パラメータを起点として、順次、当該画素以外の他の画素の伝播パラメータを算出していく。

このように、エネルギ計算部７３２では、伝播パラメータを算出する際の起点となる画素として、レーザレーダ測距部１１０により測定された距離データが関連付けられている画素に対応する画素を用いる。そして、当該画素の視差ｄにおける伝播パラメータを０とおくことで、当該画素の視差ｄにおける伝播パラメータを起点として順次算出される他の画素の伝播パラメータの精度も向上し、視差演算の精度を向上させることが可能となる。

＜エネルギ値と視差との関係＞
次に、エネルギ計算部７３２において計算されたエネルギ値Ｓ（ｐ，ｄ）と視差との関係について説明する。図１３は、エネルギ計算部７３２において計算されたエネルギ値と視差との関係について説明するための図である。

図１３では、画素１３０１について、４方向の伝播パラメータＬ_１〜Ｌ_４を、視差＝０〜１０の範囲でそれぞれ算出した例を示している。４方向の伝播パラメータＬ_１〜Ｌ_４は、それぞれの視差ごとに足しあわされることで、それぞれの視差におけるエネルギ値Ｓ（ｐ，０）〜Ｓ（ｐ，１０）が算出される。

視差−エネルギグラフ１３１１に示すように、画素１３０１について算出したエネルギ値Ｓ（ｐ，０）〜Ｓ（ｐ，１０）を、横軸を視差としてグラフ化すると、エネルギ値Ｓ（ｐ）は、所定の視差において、急峻に低下することとなる。

以上の説明から明らかなように、路面などのテクスチャの小さい画像に対して、ＳＡＤを算出した場合には、視差ｄの変化に対してＳＡＤの変化が小さかったところ、エネルギ値Ｓ（ｐ）を算出した場合には、視差ｄの変化に対する変化が大きくなる。つまり、視差を精度よく算出することが可能となる。

なお、同様の処理を、他の画素１３０２、１３０３、・・・についても行い、エネルギ値Ｓ（ｐ）を算出することで、それぞれの画素において、視差を精度よく算出することができる。

＜エネルギ計算処理の流れ＞
次に、エネルギ計算部７３２におけるエネルギ計算処理の流れについて説明する。図１４は、エネルギ計算部７３２におけるエネルギ計算処理の流れを示すフローチャートである。コスト計算部７３１によるコスト計算処理が完了すると、エネルギ計算部７３２では、図１４に示すエネルギ計算処理を開始する。なお、図１４に示すエネルギ計算処理は、ステレオ画像１フレームごとに実行されるものとする（図１４の例では、１フレーム分のステレオ画像についてのエネルギ計算処理について記載している）。

ステップＳ１４０１では、複数フレームのステレオ画像のうち、処理対象のフレームに対応する距離データをレーザレーダ測距部１１０より取得する。

ステップＳ１４０２では、処理対象のフレーム内の基準画像の各画素のうち、当該距離データが関連付けられている画素を特定する。更に、特定した画素に対応する比較画像の画素について、距離データと、撮像部７１０と撮像部７２０との間の既知の距離とに基づいて、視差ｄを算出する。

ステップＳ１４０３では、当該距離データが関連付けられている画素に対応する比較画像上の画素の視差ｄにおける伝播パラメータを算出する。

ステップＳ１４０４では、カウンタｒに１を代入する（なお、カウンタｒ＝１は、４方向の伝播パラメータのうち、図１１の矢印１１１１に対応する方向の伝播パラメータであることを表す）。

ステップＳ１４０５では、ステップＳ１４０３において算出された伝播パラメータを起点として、デンスアルゴリズムを用いて、すべての画素の伝播パラメータＬ_１（ｐ，ｄ）を算出する。

ステップＳ１４０６では、ｒ≧４であるか否かを判定し、ｒ≧４でなければ、ステップＳ１４０７に進み、カウンタｒをインクリメントしたのち、ステップＳ１４０５に戻る。ステップＳ１４０５では、ステップＳ１４０３において算出された伝播パラメータを起点として、デンスアルゴリズムを用いて他の画素の伝播パラメータＬ_２（ｐ，ｄ）を算出する。

以下、同様に、伝播パラメータＬ_３（ｐ，ｄ）、Ｌ_４（ｐ，ｄ）を算出し、４方向の伝播パラメータについて算出が完了したと判断された場合には、ステップＳ１４０８に進む。ステップＳ１４０８では、各画素において４方向の伝播パラメータＬ_１（ｐ，ｄ）〜Ｌ_４（ｐ，ｄ）について、視差ごとに足し合わせることで、各視差におけるエネルギ値Ｓ（ｐ）を算出する（視差−エネルギグラフを生成する）。

＜視差計算部の説明＞
次に、視差計算部７３３について説明する。図１５は、視差計算部７３３における視差計算処理の流れを示すフローチャートである。エネルギ計算部７３２によるエネルギ計算処理が完了すると、視差計算部７３３では、図１５に示す視差計算処理を開始する。なお、図１５に示す視差計算処理は、ステレオ画像１フレームごとに実行されるものとする（図１５の例では、１フレーム分のステレオ画像に含まれる比較画像についての視差計算処理について記載している）。

ステップＳ１５０１では、画素カウンタｐに１を代入し、ステップＳ１５０２では、比較画像の画素ｐにおける視差−エネルギグラフを読み出す。上述したように、エネルギ計算部７３２では、比較画像の各画素について視差−エネルギグラフを算出しており、ステップＳ１５０２では、そのうちの注目画素ｐにおける視差―エネルギグラフを読み出す。

ステップＳ１５０３では、読み出した視差−エネルギグラフにおいて所定の閾値以下である最下点を算出し、視差Ｄ（ｐ）として抽出する。ステップＳ１５０４では、処理対象のフレーム内の画素すべてについて視差Ｄ（ｐ）を抽出したか否かを判定する。

ステップＳ１５０４において、視差Ｄ（ｐ）を抽出していない画素があると判定した場合には、ステップＳ１５０２に戻る。一方、すべての画素について、視差Ｄ（ｐ）を抽出したと判定した場合には、ステップＳ１５０５において、当該抽出した視差Ｄ（ｐ）に基づいて当該フレームの視差画像を生成し、出力する。

＜まとめ＞
以上の説明から明らかなように、本実施形態に係る視差演算システムでは、レーザ光により距離データを測定するレーザレーダ測距部１１０と、視差画像を算出するステレオ画像演算部１２０とを組み合わせるとともに、各部を以下のように構成した。
・ステレオカメラを構成する撮像部７１０、７２０により撮影されるステレオ画像と同期して、レーザレーダ測距部１１０では、所定の照射範囲について、距離データを測定するように構成した。
・ステレオ画像演算部１２０では、レーザレーダ測距部１１０より取得した距離データを、対応するステレオ画像（基準画像）のフレーム内の画素と関連付けるように構成した。
・ステレオ画像演算部１２０では、距離データが関連付けられた画素に対応する比較画像上の画素について、当該距離データと、ステレオカメラ間の既知の距離とに基づいて、視差を算出するように構成した。
・ステレオ画像演算部１２０では、距離データが関連付けられた画素に対応する比較画像上の画素の視差ｄにおける伝播パラメータを起点として、デンスアルゴリズムを用いてフレーム内の他の画素の伝播パラメータを順次算出するように構成した。

このように、伝播パラメータを算出する際の起点として、レーザレーダ測距部１１０により測定された距離データが関連付けられた画素に対応する画素の視差ｄにおける伝播パラメータを用いることで、他の画素について正確な伝播パラメータを求めることができる。つまり、当該伝播パラメータを起点として順次算出される他の画素の伝播パラメータの精度を向上させることが可能となる。この結果、視差演算の精度を向上させることが可能となる。

［第２の実施形態］
上記第１の実施形態では、レーザレーダ測距部１１０において測定された距離データを、エネルギ計算部７３２において利用する場合について説明したが、本発明はこれに限定されない。例えば、レーザレーダ測距部１１０において測定された距離データを、視差計算部７３３において視差計算処理を行う際に利用するように構成してもよい。以下、本実施形態の詳細について説明する。なお、以下では、上記第１の実施形態との相違点を中心に説明する。

＜ステレオ画像演算部の機能構成＞
はじめに、本実施形態に係る視差演算システム１００におけるステレオ画像演算部１２０の機能構成について説明する。図１６は、本実施形態に係る視差演算システム１００におけるステレオ画像演算部１２０の機能構成を示す図である。

図７に示すステレオ画像演算部１２０の機能構成との相違点は、レーザレーダ測距部１１０により送信された距離情報が、視差計算部７３３に取り込まれている点である。なお、本実施形態に係る視差演算システム１００では、レーザレーダ測距部１１０が旋回方向スキャンミラーを有しており、旋回方向における複数角度（例えば、３角度）に対して、レーザ光を照射できるように構成されているものとする。

このため、レーザレーダ測距部１１０により送信される距離情報には、３方向分の距離情報が含まれていることになる。

＜レーザ光の照射位置とステレオ画像の画素位置との関係＞
次に、本実施形態に係る視差演算システム１００における、レーザ光の照射位置とステレオ画像の画素位置との関係について説明する。図１７は、本実施形態に係る視差演算システム１００における、レーザ光の照射位置とステレオ画像の画素位置との関係を説明するための図である。上述したように、本実施形態に係る視差演算システム１００では、レーザレーダ測距部１１０は、ステレオ画像演算部１２０のステレオカメラの間において旋回可能に配置されており、仰角方向において所定の照射範囲を動作する。

このため、撮影画像４２０上の複数角度の所定の位置の画素が、レーザ光の照射位置に対応する。参照番号１７１１〜１７１３は、撮影画像４２０上のレーザ光の照射範囲を示している。

このうち、（Ｐ_ｘ１１，Ｐ_ｙ１）の画素、（Ｐ_ｘ１２，Ｐ_ｙ２）の画素、（Ｐ_ｘ１３，Ｐ_ｙ３）の画素、（Ｐ_ｘ１４，Ｐ_ｙ４）の画素が、照射範囲１７１１において距離データが測定された位置に対応している。このため、これらの画素は、レーザレーダ測距部１１０において測定された距離データと関連付けられている。

撮影画像４２０の例では、（Ｐ_ｘ１１，Ｐ_ｙ１）の画素に距離データＬＤ_１１が、（Ｐ_ｘ１２，Ｐ_ｙ２）の画素に距離データＬＤ_１２がそれぞれ関連付けられている。更に、（Ｐ_ｘ１３、Ｐ_ｙ３）の画素に距離データＬＤ_１３が、（Ｐ_ｘ１４，Ｐ_ｙ４）の画素に距離データＬＤ_１４が、それぞれ関連付けられている。

同様に、（Ｐ_ｘ２，Ｐ_ｙ１）の画素、（Ｐ_ｘ２，Ｐ_ｙ２）の画素、（Ｐ_ｘ２，Ｐ_ｙ３）の画素、（Ｐ_ｘ２，Ｐ_ｙ４）の画素が、照射範囲１７１２において距離データが測定された位置に対応している。このため、（Ｐ_ｘ２，Ｐ_ｙ１）の画素に距離データＬＤ_２１が、（Ｐ_ｘ２，Ｐ_ｙ２）の画素に距離データＬＤ_２２が、（Ｐ_ｘ２，Ｐ_ｙ３）の画素に距離データＬＤ_２３が、（Ｐ_ｘ２，Ｐ_ｙ４）の画素に距離データＬＤ_２４が、それぞれ関連付けられている。

同様に、（Ｐ_ｘ３１，Ｐ_ｙ１）の画素、（Ｐ_ｘ３２，Ｐ_ｙ２）の画素、（Ｐ_ｘ３３，Ｐ_ｙ３）の画素、（Ｐ_ｘ３４，Ｐ_ｙ４）の画素が、照射範囲１７１３において距離データが測定された位置に対応している。このため、（Ｐ_ｘ３１，Ｐ_ｙ１）の画素に距離データＬＤ_３１が、（Ｐ_ｘ３１，Ｐ_ｙ２）の画素に距離データＬＤ_３２が、（Ｐ_ｘ３１，Ｐ_ｙ３）の画素に距離データＬＤ_３３が、（Ｐ_ｘ３１，Ｐ_ｙ４）の画素に距離データＬＤ_３４が、それぞれ関連付けられている。

なお、ステレオカメラを構成する撮像部７１０と撮像部７２０との間の距離は既知であることから、関連付けられた画素では、距離データＬＤ_１１〜ＬＤ_３４に基づいて、視差をそれぞれ正確に算出することができる。

＜視差計算部の説明＞
次に、視差計算部７３３における視差計算処理の概要について説明する。図１８は、視差計算部７３３における視差計算処理の概要について説明するための図である。図１８は、撮影画像４１０の一部の領域であって、距離データが関連付けられた撮影画像４２０上の画素に対応する画素を含む領域を示している。図１８において、ハッチングされた画素は、距離データが関連付けられた撮影画像４２０上の画素に対応する撮影画像４１０上の画素であることを示している。つまり、ハッチングされた画素は、距離データに基づいて視差が算出された画素である。

一方、画素１８０１及び画素１８０２は、それぞれ、エネルギ計算部７３２において視差が抽出できなかった画素であるとする。具体的には、エネルギ計算部７３２において算出されたそれぞれの画素におけるエネルギ値Ｓ（ｐ）が、視差の変化に対して、大きな変化を示さず、所定の閾値以下の最下点が存在しなかったとする。

視差計算部７３３では、このような画素について、距離データに基づいて算出された視差を用いて補間する（つまり、距離データに基づいて視差が算出された画素が、当該画素以外の画素の視差を、当該画素の視差を用いて補間する）。例えば、画素１８０１は、視差が算出された画素（Ｐ_ｘ２，Ｐ_ｙ３）と画素（Ｐ_ｘ２，Ｐ_ｙ２）との間であって、画素（Ｐ_ｘ２，Ｐ_ｙ３）から１画素離れ、画素（Ｐ_ｘ２，Ｐ_ｙ２）から２画素離れた位置にある。

ここで、画素（Ｐ_ｘ２，Ｐ_ｙ３）について、距離データＤ_２３から算出された視差をｄ_２３、画素（Ｐ_ｘ２，Ｐ_ｙ２）について、距離データＤ_２２から算出された視差をｄ_２２とする。この場合、視差計算部７３３では、画素１８０１の視差を下式に基づいて算出する。

画素１８０１の視差＝ｄ_２３×２／３＋ｄ_２２×１／３
また、画素１８０２は、視差が算出された画素（Ｐ_ｘ３２，Ｐ_ｙ２）、画素（Ｐ_ｘ３３，Ｐ_ｙ３）に隣接している。

ここで、画素（Ｐ_ｘ３２，Ｐ_ｙ３）について、距離データＤ_３２から算出された視差をｄ_３２、画素（Ｐ_ｘ３３，Ｐ_ｙ３）について、距離データＤ_３３から算出された視差をｄ_３３とする。この場合、視差計算部７３３では、画素１８０２の視差を下式に基づいて算出する。

画素１８０２の視差＝ｄ_３２×３／４＋ｄ_３３×１／４
このように、視差計算部７３３では、エネルギ計算部７３２において視差が算出できなかった画素について、当該画素近傍の画素であって、距離データに基づいて視差が算出されている画素を用いて視差を算出する。また、距離データに基づいて視差が算出されている画素を用いるにあたっては、当該画素と、エネルギ計算部７３２において視差が算出できなかった画素との距離に応じた重み付けを行う。

これにより、撮影画像４１０のフレーム内の画素すべてについて視差を算出することが可能となる。つまり、視差演算の精度を向上させることが可能となる。

＜視差計算部における視差計算処理＞
次に、視差計算部７３３における視差計算処理の流れについて説明する。図１９は、視差計算部７３３における視差計算処理の流れを示すフローチャートである。上記第１の実施形態と同様、エネルギ計算部７３２によるエネルギ計算処理が完了すると、視差計算部７３３では、図１９に示す視差計算処理を開始する。なお、図１９に示す視差計算処理は、ステレオ画像１フレームごとに実行されるものとする（図１９の例では、１フレーム分のステレオ画像についての視差計算処理について記載している）。

ステップＳ１９０１では、エネルギ計算部７３２において算出された比較画像の各画素の視差を読み込む。ステップＳ１９０２では、読み込まれた各画素のうち、視差が計算されていない画素があるか否かを判定する。ステップＳ１９０２において、視差が計算されていない画素がないと判定された場合には、ステップＳ１９０７に進む。

一方、視差が計算されていない画素があると判定された場合には、ステップＳ１９０３に進む。ステップＳ１９０３では、視差が計算されていない画素近傍の画素であって、距離データに基づいて視差が算出されている画素を読み込む。

更に、ステップＳ１９０４では、視差が算出されている画素と、視差が算出されていない画素との間の距離に応じて、重み付け係数を算出する。ステップＳ１９０５では、ステップＳ１９０３において読み込まれた画素の視差と、ステップＳ１９０４において算出された重み付け係数とを積和算することにより、エネルギ計算部７３２において視差が計算されていなかった画素の視差を算出する。

ステップＳ１９０６では、処理対象のフレーム内のすべての画素について視差を算出したか否かを判定する。ステップＳ１９０６において、視差を算出していない画素があると判定した場合には、ステップＳ１９０３に戻る。

一方、ステップＳ１９０６において、処理対象のフレーム内のすべての画素について視差を算出したと判定した場合には、ステップＳ１９０７に進む。ステップＳ１９０７では、算出した視差に基づいて、視差画像を生成し出力する。

＜まとめ＞
以上の説明から明らかなように、本実施形態に係る視差演算システムでは、レーザ光により距離データを測定するレーザレーダ測距部１１０と、視差画像を算出するステレオ画像演算部１２０とを組み合わせるとともに、各部を以下のように構成した。
・ステレオカメラを構成する撮像部７１０、７２０により撮影されるステレオ画像と同期して、レーザレーダ測距部１１０では、旋回方向の複数角度で、所定の照射範囲について、距離データを測定するように構成した。
・ステレオ画像演算部１２０では、レーザレーダ測距部１１０より取得した距離データを、対応するステレオ画像（基準画像）のフレーム内の画素と関連付けるように構成した。
・ステレオ画像演算部１２０では、距離データが関連付けられた画素に対応する比較画像上の画素について、当該距離データと、ステレオカメラ間の既知の距離とに基づいて、視差を算出するように構成した。
・ステレオ画像演算部１２０では、ステレオ画像に基づいて視差を算出したフレーム内の各画素のうち、視差を算出できなかった画素がある場合に、距離データを用いて視差が算出されている画素を用いて、当該画素の視差を算出するように構成した。

このように、レーザレーダ測距部１１０において測定された距離データに基づいて算出される視差を用いて、ステレオ画像に基づいて算出される視差を補間するため、視差演算の精度を向上させることが可能となる。

［第３の実施形態］
上記第１の実施形態では、レーザレーダ測距部１１０において測定された距離データを、エネルギ計算部７３２において利用する場合について説明し、上記第２の実施形態では、視差計算部７３３において利用する場合について説明した。

しかしながら、本発明はこれに限定されず、距離データが関連付けられた基準画像上の画素の輝度、及び当該画素に対応する比較画像上の画素から視差ｄの位置にある画素の輝度値を所定値に変更することで、ステレオ画像を加工するように構成してもよい。ステレオ画像のうち、テクスチャの少ない領域の画素を加工することで、視差を算出しやすくすることができるからである。以下、本実施形態の詳細について説明する。なお、以下では、上記第１及び第２の実施形態との相違点を中心に説明する。

＜ステレオ画像演算部の機能構成＞
はじめに、本実施形態に係る視差演算システム１００におけるステレオ画像演算部１２０の機能構成について説明する。図２０は、本実施形態に係る視差演算システム１００におけるステレオ画像演算部１２０の機能構成を示す図である。

図７に示すステレオ画像演算部１２０の機能構成との相違点は、レーザレーダ測距部１１０により送信された距離情報が、情報埋め込み部２００１に取り込まれている点である。

ここで、情報埋め込み部２００１では、撮像部７２０において撮影された撮影画像４２０の各画素のうち、レーザレーダ測距部１１０より送信された距離データが関連付けられた画素を抽出する。更に、抽出した画素に対応する撮影画像４１０上の各画素から視差ｄの位置にある画素を抽出する。

そして、撮影画像４１０及び４２０それぞれから抽出した画素であって、相互に対応する画素どうしの輝度値を、所定値に変更する。具体的には、エネルギ計算部においてエネルギ値Ｓ（ｐ）を算出した際に、視差の変化に対するエネルギ値Ｓ（ｐ）の変化が大きくなるように、輝度値を変更する。つまり、抽出した画素の周辺の平均輝度値と大きく異なる輝度値に変更する。

これにより、テクスチャの小さい領域においても、抽出した画素について、視差を確実に算出することが可能となり、視差演算の精度を向上させることが可能となる。

＜情報埋め込み部の説明＞
次に、情報埋め込み部２００１における情報埋め込み処理の概要について説明する。図２１は、情報埋め込み部２００１における情報埋め込み処理の概要を説明するための図である。

図２１（ａ）の撮影画像４２０において、レーザ光の照射範囲５２０内の、（Ｐ_ｘ１，Ｐ_ｙ１）の画素、（Ｐ_ｘ１，Ｐ_ｙ２）の画素、（Ｐ_ｘ１，Ｐ_ｙ３）の画素、（Ｐ_ｘ１，Ｐ_ｙ４）の画素には、距離データが関連付けられているものとする。

ここで、（Ｐ_ｘ１，Ｐ_ｙ１）の画素に関連付けられた距離データＬＤ_１に基づいて算出される視差をｄ_１、（Ｐ_ｘ１，Ｐ_ｙ２）の画素に関連付けられた距離データＬＤ_２に基づいて算出される視差をｄ_２とする。また、（Ｐ_ｘ１，Ｐ_ｙ３）の画素に関連付けられた距離データＬＤ_３に基づいて算出される視差をｄ_３、（Ｐ_ｘ１，Ｐ_ｙ４）の画素に関連付けられた距離データＬＤ_４に基づいて算出される視差をｄ_４とする。

この場合、撮影画像４２０上の各画素（Ｐ_ｘ１，Ｐ_ｙ１）、（Ｐ_ｘ１，Ｐ_ｙ２）、（Ｐ_ｘ１，Ｐ_ｙ３）、（Ｐ_ｘ１，Ｐ_ｙ４）が指し示すオブジェクトと同じオブジェクトを指し示す撮影画像４１０上の画素は、以下のとおりとなる。
・（Ｐ_ｘ１，Ｐ_ｙ１）→（Ｐ_ｘ１＋ｄ_１，Ｐ_ｙ１）
・（Ｐ_ｘ１，Ｐ_ｙ２）→（Ｐ_ｘ１＋ｄ_２，Ｐ_ｙ２）
・（Ｐ_ｘ１，Ｐ_ｙ３）→（Ｐ_ｘ１＋ｄ_３，Ｐ_ｙ３）
・（Ｐ_ｘ１，Ｐ_ｙ４）→（Ｐ_ｘ１＋ｄ_４，Ｐ_ｙ４）
情報埋め込み部２００１では、撮影画像４１０と撮影画像４２０とで、互いに対応する画素（同じオブジェクトを指し示している画素）の輝度値を、周辺の画素の平均輝度値とは大きく異なる輝度値であって、互いに同じ輝度値に変更する。

図２１（ｂ）は、情報埋め込み部２００１が、同じ位置を指し示している画素の輝度値を変更した様子を示している。具体的には、撮影画像４１０の画素（Ｐ_ｘ１＋ｄ_１，Ｐ_ｙ１）と撮影画像４２０の画素（Ｐ_ｘ２，Ｐ_ｙ１）の輝度値をｇ_１に変更し、撮影画像４１０の画素（Ｐ_ｘ１＋ｄ_２，Ｐ_ｙ２）と撮影画像４２０の画素（Ｐ_ｘ２，Ｐ_ｙ２）の輝度値をｇ_２に変更している。更に、撮影画像４１０の画素（Ｐ_ｘ１＋ｄ_３，Ｐ_ｙ３）と撮影画像４２０の画素（Ｐ_ｘ２，Ｐ_ｙ３）の輝度値をｇ_３に、撮影画像４１０の画素（Ｐ_ｘ１＋ｄ_４，Ｐ_ｙ４）と撮影画像４２０の画素（Ｐ_ｘ２，Ｐ_ｙ４）の輝度値をｇ_４にそれぞれ変更している。

なお、輝度値ｇ_１、ｇ_２、ｇ_３、ｇ_４は、いずれも、周辺の画素の平均輝度値と大きく異なる値であるとする。このように、レーザレーダ測距部１１０より送信される距離情報に基づいて、ステレオ画像において同じオブジェクトを指し示している画素を特定し輝度値を変更することで、エネルギ計算部７３２において視差を確実に算出することが可能となる。つまり、視差演算の精度を向上させることが可能となる。

＜情報埋め込み部における埋め込み処理の流れ＞
次に、情報埋め込み部２００１における情報埋め込み処理の流れについて説明する。図２２は、情報埋め込み部２００１における情報埋め込み処理の流れを示すフローチャートである。撮像部７１０及び撮像部７２０において撮影が開始されると、図２２に示す情報埋め込み処理を開始する。なお、図２２に示す情報埋め込み処理は、ステレオ画像１フレームごとに実行されるものとする（図２２の例では、１フレーム分のステレオ画像についての情報埋め込み処理について記載している）。

ステップＳ２２０１では、撮像部７１０により撮影された撮影画像と、撮像部７２０により撮影された撮影画像を読み込む。ステップＳ２２０２では、ステップＳ２２０１において読み込まれた撮影画像と同期して測定された距離データを読み込む。

ステップＳ２２０３では、ステップＳ２２０２において読み込まれた距離データに基づいて、ステップＳ２２０１において読み込まれたそれぞれの撮影画像において同じオブジェクトを指し示す画素を特定する。

ステップＳ２２０４では、ステップＳ２２０３において特定した画素の輝度値をそれぞれ変更する。ステップＳ２２０５では、特定した画素の輝度値が変更された撮影画像をコスト計算部７３１に出力する。

＜まとめ＞
以上の説明から明らかなように、本実施形態に係る視差演算システムでは、レーザ光により距離データを測定するレーザレーダ測距部１１０と、視差画像を算出するステレオ画像演算部１２０とを組み合わせるとともに、各部を以下のように構成した。
・ステレオ画像演算部１２０では、レーザレーダ測距部１１０より取得した距離情報に基づいて、対応するステレオ画像のフレームに含まれる各画素のうち、同じオブジェクトを指し示す画素を特定するように構成した。
・ステレオ画像演算部１２０では、距離情報に基づいて特定した画素の輝度値を、テクスチャが大きくなる方向に変更するように構成した。

このように、レーザレーダ測距部１１０より取得した距離情報に基づいて、対応するステレオ画像のフレーム内の画素の輝度値を変更することで、エネルギ計算部において、視差を抽出しやすくすることが可能となる。この結果、視差演算の精度を向上させることが可能となる。

［第４の実施形態］
上記第１乃至第３の実施形態では、撮像部７１０において撮影された撮影画像及び撮像部７２０において撮影された撮影画像を視差演算部７３０に直接入力する構成としたが、本発明はこれに限定されない。例えば、図２３に示すように、視差演算部７３０の前に、前処理部２３０１及び前処理部２３０２をそれぞれ配する構成としてもよい。つまり、撮像部７１０において撮影された撮影画像及び撮像部７２０において撮影された撮影画像に対して、前処理を行ったうえで、視差演算部７３０に入力する構成としてもよい。

なお、前処理部２３０１及び前処理部２３０２において実行される前処理としては、例えば、ノイズ除去処理、歪み補正処理、ガンマ変換処理等が挙げられる。かかる前処理を実行することで、視差演算の精度を向上させることが可能となる。

［第５の実施形態］
上記各実施形態では、レーザレーダ測距部１１０により距離データが測定される位置を、照射範囲内において４点としたが、本発明はこれに限定されず、少なくとも１点以上あれば、何点であってもよい。

また、上記第１の実施形態では、エネルギ計算部７３２において、伝播パラメータの起点となる画素を１画素としたが、本発明はこれに限定されず、伝播パラメータの起点となる画素は、複数画素であってもよい。

また、上記第１の実施形態では、エネルギ計算部７３２において、コストを計算するにあたり、１×１ブロックサイズにて実施する構成としたが、本発明はこれに限定されず、ブロックサイズは複数であってもよい。

また、上記第１の実施形態では、視差−エネルギグラフから視差を抽出するにあたり、画素単位（整数値）で抽出する構成としたが、本発明はこれに限定されず、小数値で抽出する構成としてもよい。

また、上記第１の実施形態では、視差−エネルギグラフを生成するにあたり、ｐ＝０〜１０の範囲で視差を変化させることとしたが、本発明はこれに限定されず、更に広い範囲または更に狭い範囲で視差を変化させるように構成してもよい。

また、上記第１の実施形態では、レーザレーダ測距部１１０により測定された距離データが関連付けられた画素に対応する画素の視差ｄを、伝播パラメータを算出する際の起点となる伝播パラメータに用いることとしたが、本発明はこれに限定されない。視差ｄを他の方法により、デンスアルゴリズムに組み込むように構成してもよい。

また、上記第２の実施形態では、レーザ光を旋回方向に３角度分旋回させる構成としたが、本発明はこれに限定されず、旋回方向の角度は、２角度であっても、４角度以上であってもよい。

また、上記各実施形態では、レーザレーダ測距部１１０のレーザ光の照射方向を、仰角方向に旋回させることができるよう構成されていることとしたが、本発明はこれに限定されず、レーザ光は旋回せずに複数のレーザ光を用いる構成としてもよい。また、第５の実施形態においては、１つの固定のレーザ光としてもよい。

また、上記各実施形態では、レーザレーダ測距部１１０により測定された距離データを、ステレオ画像演算部１２０における視差画像の生成に利用する効果の一例として、視差演算の精度向上を挙げたが、本発明の効果はこれに限定されない。例えば、視差演算の精度が向上することで、路面上の物体の認識率が向上する効果も、本発明の効果に含まれるものとする。

更に、上記各実施形態では、レーザレーダ測距部１１０より照射されたレーザの反射光から、レーザの照射位置までの距離情報を取得する構成としたが本発明はこれに限定されない。レーザレーダ測距部以外の電磁波測距部より照射された電磁波の反射波から、電磁波の照射位置までの距離情報を祝とする構成としてもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：視差演算システム
１１０ ：レーザレーダ測距部
１２０ ：ステレオ画像演算部
２００ ：自動車
４１０ ：撮影画像
４２０ ：撮影画像
５２０ ：照射範囲
６０１ ：信号処理部
６０２ ：仰角方向スキャンドライブユニット
６０３ ：モータ
６０４ ：仰角方向スキャンミラー
６０５ ：レーザ受光部
６０６ ：信号増幅器
６０７ ：時間間隔カウンタ
６０８ ：レーザ出力部
６０９ ：レーザドライバ
７１０ ：撮像部
７２０ ：撮像部
７３０ ：視差演算部
７３１ ：コスト計算部
７３２ ：エネルギ計算部
７３３ ：視差計算部
１２１０〜１２１４ ：画素
１２２０ ：画素
１７１１ ：照射範囲
１７１２ ：照射範囲
１７１３ ：照射範囲
１８０１ ：画素
１８０２ ：画素
２００１ ：情報埋め込み部
２３０１ ：前処理部
２３０２ ：前処理部

特許第３２１２２１８号公報 特許第４２６５９３１号公報

Claims (6)

1. 複数の撮像部により撮影された撮影画像に基づいて視差画像を生成する情報処理装置であって、
   前記複数の撮像部の撮影方向に向かって照射された電磁波の反射波から得られる前記電磁波の照射位置までの距離情報を、前記撮影画像を構成する第１の画像内の前記電磁波の照射位置の第１の画素と関連付ける手段と、
   前記第１の画素に関連付けられた前記距離情報と前記複数の撮像部の配置に関する情報とに基づいて、前記撮影画像を構成する第２の画像内の各画素のうち、前記第１の画素に対応する位置の第２の画素における視差を求め、求めた視差における伝播パラメータを起点としてデンスアルゴリズムを用いて、前記第２の画像内の各画素の伝播パラメータを順次求めることで、前記第２の画像内の各画素について、前記第１の画像内の対応する画素に対するずれ量に応じたエネルギ値を求める手段と、
   前記第２の画像内の各画素について求めたエネルギ値の、前記ずれ量の変化に対する変化に基づいて、前記第２の画像内の各画素の視差を求める手段と
   を有することを特徴とする情報処理装置。
2. 複数の撮像部と、電磁波測距部と、情報処理装置とを有する視差演算システムであって、
   前記複数の撮像部により撮影された撮影画像を取得する手段と、
   前記複数の撮像部の撮影方向に向かって照射した電磁波の反射波から得られる前記電磁波の照射位置までの距離情報を、前記撮影画像を構成する第１の画像内の前記電磁波の照射位置の第１の画素と関連付ける手段と、
   前記第１の画素に関連付けられた前記距離情報と前記複数の撮像部の配置に関する情報とに基づいて、前記撮影画像を構成する第２の画像内の各画素のうち、前記第１の画素に対応する位置の第２の画素における視差を求め、求めた視差における伝播パラメータを起点としてデンスアルゴリズムを用いて、前記第２の画像内の各画素の伝播パラメータを順次求めることで、前記第２の画像内の各画素について、前記第１の画像内の対応する画素に対するずれ量に応じたエネルギ値を求める手段と、
   前記第２の画像内の各画素について求めたエネルギ値の、前記ずれ量の変化に対する変化に基づいて、前記第２の画像内の各画素の視差を求める手段と
   を有することを特徴とする視差演算システム。
3. 前記電磁波測距部は、
   前記複数の撮像部により撮影される撮影画像に含まれる路面部分が照射範囲となるように、前記電磁波を照射することを特徴とする請求項２に記載の視差演算システム。
4. 前記電磁波測距部は、
   前記複数の撮像部が前記撮影画像を撮影する間に、前記電磁波の照射方向を変更することで、複数の距離情報を取得することを特徴とする請求項２または３に記載の視差演算システム。
5. 複数の撮像部により撮影された撮影画像に基づいて視差画像を生成する情報処理装置のコンピュータに、
   前記複数の撮像部の撮影方向に向かって照射された電磁波の反射波から得られる前記電磁波の照射位置までの距離情報を、前記撮影画像を構成する第１の画像内の前記電磁波の照射位置の第１の画素と関連付ける工程と、
   前記第１の画素に関連付けられた前記距離情報と前記複数の撮像部の配置に関する情報とに基づいて、前記撮影画像を構成する第２の画像内の各画素のうち、前記第１の画素に対応する位置の第２の画素における視差を求め、求めた視差における伝播パラメータを起点としてデンスアルゴリズムを用いて、前記第２の画像内の各画素の伝播パラメータを順次求めることで、前記第２の画像内の各画素について、前記第１の画像内の対応する画素に対するずれ量に応じたエネルギ値を求める工程と、
   前記第２の画像内の各画素について求めたエネルギ値の、前記ずれ量の変化に対する変化に基づいて、前記第２の画像内の各画素の視差を求める工程と
   を実行させるプログラム。
6. 複数の撮像部と、電磁波測距部と、情報処理装置とを有する視差演算システムにおける情報処理方法であって、
   前記複数の撮像部により撮影された撮影画像を取得する工程と、
   前記複数の撮像部の撮影方向に向かって照射した電磁波の反射波から得られる前記電磁波の照射位置までの距離情報を、前記撮影画像を構成する第１の画像内の前記電磁波の照射位置の第１の画素と関連付ける工程と、
   前記第１の画素に関連付けられた前記距離情報と前記複数の撮像部の配置に関する情報とに基づいて、前記撮影画像を構成する第２の画像内の各画素のうち、前記第１の画素に対応する位置の第２の画素における視差を求め、求めた視差における伝播パラメータを起点としてデンスアルゴリズムを用いて、前記第２の画像内の各画素の伝播パラメータを順次求めることで、前記第２の画像内の各画素について、前記第１の画像内の対応する画素に対するずれ量に応じたエネルギ値を求める工程と、
   前記第２の画像内の各画素について求めたエネルギ値の、前記ずれ量の変化に対する変化に基づいて、前記第２の画像内の各画素の視差を求める工程と
   を有することを特徴とする情報処理方法。

Images