JP4762774B2 - 測距装置および車両の周辺監視装置 - Google Patents

Description

本発明は、車両に搭載された２つの撮像画像における対象物の視差を基に、該対象物の距離（車両からの相対距離）を測定する測距装置に関する。さらに、この測距装置を搭載した車両の周辺監視装置に関する。

従来、車両に搭載した撮像装置の撮像画像を基に、車両の周辺に存在する人などの対象物を監視する車両の周辺監視装置としては、例えば特許文献１に見られるものが本願出願人により提案されている。

この特許文献１に見られる技術では、車両の前部に左右一対の撮像装置（赤外線カメラ）を搭載して、これらの撮像装置の撮像画像から人などの対象物を抽出すると共に、左右の撮像画像にそれぞれ含まれる同一の対象物の視差、すなわち、右側の撮像画像中での該対象物の位置（該撮像画像中での横方向位置）と左側の撮像画像中での該対象物の位置（該撮像画像中での横方向位置）との差を基に、車両から該対象物までの相対距離を検出するようにしている。この場合、各撮像画像中での対象物の横方向位置は、該撮像画像の中心点を通る縦方向の直線（以下、横方向中心線という）から、該対象物の重心点までの間隔（横方向中心線の右側または左側を正とする間隔）により表される。そして、その検出した相対距離を基に、対象物の実空間位置（車両に対する相対位置）を認識し、その認識した実空間位置などを基に、対象物が車両との接触を回避すべき回避対象であるか否かを判定して、回避対象であると判定した場合に運転者に対する警報を行なうようにしている。

また、特許文献２に見られる装置も知られている。この装置では、機構的なズーム動作が可能な撮像装置を車両に搭載し、その撮像画像をヘッドアップディスプレイ装置により、フロントウィンドウに表示するようにしている。そして、撮像装置の画角（ズーム量）を、車両の車速や、車両のステアリング舵角、レーダ装置によって検出された前走車との車間距離などに応じて変更するようにしている。
特開２００１−６０９６号公報 特開２００５−８１８６０号公報

ところで、特許文献１に見られるように、２つの撮像画像から求められる対象物の視差を利用して、対象物の相対距離の算出を行なうようにした車両の周辺監視装置において、車両の走行環境（車両の運転状況や、車両の周辺の状況）に応じて適宜、撮像範囲を拡縮できるようにすることが望まれる。例えば画像処理の演算処理の負荷を軽減するために、通常は、撮像範囲を狭くしておく。そして、車両からの対象物の距離が比較的近距離となり、狭い撮像範囲では、２つの撮像画像内に、該対象物の全体を含ませることができないような場合に、撮像範囲を広げることが望ましいと考えられる。

そして、このように撮像範囲を拡縮する場合、特許文献２に見られるように、各撮像装置に機構的なズーム機能を備え、各撮像画像の撮像範囲を変更できるようにすることが考えられる。

しかしながら、各撮像装置にズーム機能を備えると、そのズーム機能の機構的な動作によって、各撮像装置の光軸や焦点距離の経時的な変化を生じやすい。このため、特許文献１に見られるように、２つの撮像画像における同一の対象物の視差を利用して該対象物の相対距離の検出を行なう場合には、その相対距離の検出を精度よく行なうことが困難となりやすい。これは、各撮像装置の光軸や焦点距離の変化によって、視差と相対距離との関係が変化すると共に、その光軸や焦点距離の変化を検出することが困難であるためである。

そこで、各撮像画像に、対象物を抽出するための画像領域を可変的に設定するようにして、各撮像装置に機構的なズーム機能を備えることなく、実質的な撮像範囲を拡縮することが考えられる。

この場合、左右の２つの撮像装置の光軸が互いに平行で、且つ、それらの光軸の高さが同一である場合には、特許文献１に見られる如く、右側および左側の撮像画像に含まれる同一対象物の、各撮像画像の横方向中心線からの間隔の差を該対象物の視差として求め、その求めた視差に基づいて対象物の相対距離を算出するようにすればよい。

しかるに、２つの撮像装置の光軸の向きや高さを正確に上記の如く揃えて、車両に搭載することは、撮像装置の車両への組付け位置もしくは姿勢の誤差などに起因して、実際には極めて難しい。また、撮像装置を車両に組付けた後に、両撮像装置の光軸を調整することは非常に手間を要するものとなる。

そして、２つの撮像装置の光軸が揃っていない場合には、対象物を抽出するための画像領域の設定の仕方などによっては、算出された視差から求められる対象物の相対速度の精度が低下する恐れがあった。

本発明はかかる背景に鑑みてなされたものであり、２つの撮像装置の撮像画像から対象物を抽出する領域を可変的に設定するようにしつつ、視差に基づく対象物の距離の測定を精度よく行うことを可能とする測距装置を提供することを目的とする。さらに、そのような測距装置を備えた車両の周辺監視装置を提供することを目的とする。

本発明の測距装置の第１の態様である第１発明は、前記の目的を達成するために、車両に搭載された２つの撮像装置からそれぞれ得られる第１の撮像画像および第２の撮像画像から、それぞれの撮像画像内に含まれる同一の対象物を抽出し、該対象物の前記第１の撮像画像上での位置と該対象物の第２の撮像画像上での位置との差である視差に基づいて、該対象物の前記車両に対する距離を算出する測距装置において、前記第１の撮像画像および第２の撮像画像のそれぞれの全体領域内であらかじめ定められた基準画像領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係を規定する基準パラメータと各撮像画像における前記基準画像領域の位置を表す位置データとをあらかじめ記憶保持した記憶手段と、前記第１の撮像画像および第２の撮像画像のそれぞれに、対象物の抽出を行なうべき対象物抽出領域を可変的に設定する対象物抽出領域設定手段と、前記第１の撮像画像および第２の撮像画像のそれぞれにおける前記設定された対象物抽出領域の位置と前記位置データが表す前記基準画像領域の位置との間の位置関係と、前記基準パラメータとに基づいて、前記第１撮像画像および第２の撮像画像のそれぞれに設定された対象物抽出領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係を規定するパラメータを決定するパラメータ決定手段と、前記第１撮像画像および第２の撮像画像のそれぞれに設定された対象物抽出領域で同一の対象物が抽出されたとき、該対象物抽出領域に対応して前記パラメータ決定手段により決定されたパラメータにより規定される関係に基づき、該対象物抽出領域における該対象物の視差から該対象物の距離を算出する距離算出手段とを備え、前記対象物抽出領域設定手段は、前記対象物抽出領域として、前記基準画像領域に一致する領域と、該基準画像領域よりも面積が大きく、該基準画像領域を内部に包含する領域とを、前記第１の撮像画像および第２の撮像画像のそれぞれに選択的に設定可能な手段であることを特徴とする。

かかる第１発明によれば、前記第１の撮像画像および第２の撮像画像のそれぞれにおける前記設定された対象物抽出領域の位置と前記位置データが表す前記基準画像領域の位置との間の位置関係と、前記基準パラメータとに基づいて、前記第１撮像画像および第２の撮像画像のそれぞれに設定された対象物抽出領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係を規定するパラメータを決定するので、前記対象物抽出領域設定手段により可変的に設定される各種類の対象物抽出領域に対して、各撮像画像の該対象物抽出領域で抽出される同一の対象物の視差と距離との関係を規定する適切なパラメータを設定できる。なお、基準画像領域や、この基準画像領域に対応する前記基準パラメータおよび位置データは、例えば車両の製造時や保守・点検時などに実験的に決定しておけばよい。この場合、第１および第２の撮像画像のそれぞれにおける基準画像領域の位置は、各撮像画像の光軸の向きのずれなどに起因して、一般には、第１の撮像画像と第２の撮像画像とで相違する。

従って、対象物抽出領域設定手段により可変的に設定される各種類の対象物抽出領域に対して、上記の如く決定したパラメータにより規定される視差と距離との関係に基づいて、該対象物抽出領域における対象物の視差から該対象物の距離を求めることにより、該距離を精度よく適切に求めることが可能となる。

よって、第１発明によれば、２つの撮像装置の撮像画像から対象物を抽出する領域を可変的に設定するようにしつつ、視差に基づく対象物の距離（車両からの相対距離）の測定を精度よく行うことが可能となる。

なお、第１発明では、対象物抽出領域における対象物の視差を求めるときには、第１の撮像画像の対象物抽出領域に対する対象物の相対位置（該対象物抽出領域に対して固定された基準点に対する相対位置）と、第２の撮像画像の対象物抽出領域に対する対象物の相対位置（該対象物抽出領域に対して固定された基準点に対する相対位置）との差を該対象物の視差として求めればよい。同様に、前記基準パラメータに係わる視差については、第１の撮像画像の基準画像領域に対する対象物の相対位置と、第２の撮像画像の基準画像領域に対する対象物の相対位置との差を該対象物の視差として求めればよい。

また、本発明の測距装置の第２の態様である第２発明は、前記の目的を達成するために、車両に搭載された２つの撮像装置からそれぞれ得られる第１の撮像画像および第２の撮像画像から、それぞれの撮像画像内に含まれる同一の対象物を抽出し、該対象物の前記第１の撮像画像上での位置と該対象物の第２の撮像画像上での位置との差である視差に基づいて、該対象物の前記車両に対する距離を算出する測距装置において、前記第１の撮像画像および第２の撮像画像のそれぞれの全体領域内であらかじめ定められた基準画像領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係を規定する基準パラメータと各撮像画像における前記基準画像領域の位置を表す位置データとをあらかじめ記憶保持した記憶手段と、前記第１の撮像画像および第２の撮像画像のそれぞれに、対象物の抽出を行なうべき対象物抽出領域を可変的に設定する対象物抽出領域設定手段と、前記第１撮像画像および第２の撮像画像のそれぞれに設定された対象物抽出領域で同一対象物が抽出されたとき、前記基準パラメータにより規定される関係に基づき、該対象物抽出領域における該対象物の視差から該対象物の距離を算出する距離算出手段とを備え、前記対象物抽出領域設定手段は、前記対象物抽出領域として、前記基準画像領域に一致する領域と、該基準画像領域よりも面積が大きく、該基準画像領域を内部に包含する領域とを、前記第１の撮像画像および第２の撮像画像のそれぞれに選択的に設定可能な手段であり、該基準画像領域よりも面積が大きく、該基準画像領域を内部に包含する領域を前記対象物抽出領域として前記第１の撮像画像および第２の撮像画像のそれぞれに設定するとき、前記第１の撮像画像および第２の撮像画像のそれぞれに設定する前記対象物抽出領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係が前記基準パラメータにより規定される関係に等しくなるように、前記位置データが表す前記基準画像領域の位置に応じて前記対象物抽出領域を設定することを特徴とする。

かかる第２発明では、前記対象物抽出領域設定手段は、前記基準画像領域よりも面積が大きく、該基準画像領域を内部に包含する領域を前記対象物抽出領域として前記第１の撮像画像および第２の撮像画像のそれぞれに設定するとき、前記第１の撮像画像および第２の撮像画像のそれぞれに設定する前記対象物抽出領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係が前記基準パラメータにより規定される関係に等しくなるように、前記位置データが表す前記基準画像領域の位置に応じて前記対象物抽出領域を設定するので、対象物抽出領域設定手段により可変的に設定される各種類の対象物抽出領域に対して、前記基準パラメータが、各撮像画像の該対象物抽出領域で抽出される同一の対象物の視差と距離との関係を規定する適切なパラメータとなる。なお、基準画像領域の設定の仕方は、第１発明と同様でよい。

従って、対象物抽出領域設定手段により可変的に設定される各種類の対象物抽出領域に対して、前記基準パラメータにより規定される視差と距離との関係に基づいて、該対象物抽出領域における対象物の視差から該対象物の距離を求めることにより、該距離を精度よく適切に求めることが可能となる。

よって、第２発明によれば、２つの撮像装置の撮像画像から対象物を抽出する領域を可変的に設定するようにしつつ、視差に基づく対象物の距離（車両からの相対距離）の測定を精度よく行うことが可能となる。

なお、第２発明では、第１および第２の各撮像画像に設定する対象物抽出領域（基準画像領域よりも面積が大きい領域）は、より具体的には、例えば第１の撮像画像における対象物抽出領域と基準画像領域との間の位置関係と、第２の撮像画像における対象物抽出領域と基準画像領域との間の位置関係とが一致するように各撮像画像に設定すればよい。また、対象物抽出領域における対象物の視差を求めるときには、第１の撮像画像の対象物抽出領域に対する対象物の相対位置（該対象物抽出領域に対して固定された基準点に対する相対位置）と、第２の撮像画像の対象物抽出領域に対する対象物の相対位置（該対象物抽出領域に対して固定された基準点に対する相対位置）との差を該対象物の視差として求めればよい。同様に、前記基準パラメータに係わる視差については、第１の撮像画像の基準画像領域に対する対象物の相対位置と、第２の撮像画像の基準画像領域に対する対象物の相対位置との差を該対象物の視差として求めればよい。

次に、本発明の測距装置の第３の態様である第３発明は、前記の目的を達成するために、車両に搭載された２つの撮像装置からそれぞれ得られる第１の撮像画像および第２の撮像画像から、それぞれの撮像画像内に含まれる同一の対象物を抽出し、該対象物の前記第１の撮像画像上での位置と該対象物の第２の撮像画像上での位置との差である視差に基づいて、該対象物の前記車両に対する距離を算出する測距装置において、前記第１の撮像画像および第２の撮像画像のそれぞれの全体領域内であらかじめ定められた複数種類の画像領域のそれぞれに対し、各種類の画像領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係を規定するパラメータを各種類の画像領域に対応づけてあらかじめ記憶保持した記憶手段と、前記第１の撮像画像および第２の撮像画像のそれぞれに、対象物の抽出を行なうべき対象物抽出領域を前記複数種類の画像領域から選択的に設定する対象物抽出領域設定手段と、前記第１撮像画像および第２の撮像画像のそれぞれに設定された前記対象物抽出領域で同一対象物が抽出されたとき、該対象物抽出領域に対応する前記パラメータにより規定される関係に基づき、該対象物抽出領域における該対象物の視差から該対象物の距離を算出する距離算出手段とを備え、前記複数種類の画像領域は、互いに面積が相違し、且つ、面積の大きい画像領域が、面積の小さい画像領域を内部に包含するようにあらかじめ定められた画像領域であることを特徴とする。

かかる第３発明では、第１の撮像画像および第２の撮像画像のそれぞれの全体領域内であらかじめ定められた複数種類の画像領域のそれぞれに対し、各種類の画像領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係を規定するパラメータをあらかじめ決定して記憶保持しておき、対象物抽出領域設定手段は、その複数種類の画像領域から選択的に対象物抽出領域を設定する。このため、選択された各種類の対象物抽出領域に対して、これに対応する前記パラメータは、対象物の視差と距離との関係を表すものとして適切なものとすることができる。すなわち、前記パラメータは、各種類の対象物抽出領域に対して、視差と距離との関係が適切になるように実験的に定めておけばよいので、該パラメータを適切に設定できる。

従って、対象物抽出領域設定手段により選択的に設定される各種類の対象物抽出領域に対して、これに対応する前記パラメータにより規定される視差と距離との関係に基づいて、該対象物抽出領域における対象物の視差から該対象物の距離を求めることにより、該距離を精度よく適切に求めることが可能となる。

よって、第３発明によれば、２つの撮像装置の撮像画像から対象物を抽出する領域を可変的に設定するようにしつつ、視差に基づく対象物の距離（車両からの相対距離）の測定を精度よく行うことが可能となる。

なお、第３発明では、各種類の対象物抽出領域における視差の求め方は、第１発明の場合と同様でよい。

また、本発明の測距装置の第４の態様である第４発明は、車両に搭載された２つの撮像装置からそれぞれ得られる第１の撮像画像および第２の撮像画像から、それぞれの撮像画像内に含まれる同一の対象物を抽出し、該対象物の前記第１の撮像画像上での位置と該対象物の第２の撮像画像上での位置との差である視差に基づいて、該対象物の前記車両に対する距離を算出する測距装置において、前記第１の撮像画像および第２の撮像画像のそれぞれにおける対象物の位置の基準とする基準点の位置を示す基準点位置データと、該第１の撮像画像および第２の撮像画像のそれぞれで同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係を規定する基準パラメータとをあらかじめ記憶保持した記憶手段と、前記第１の撮像画像および第２の撮像画像のそれぞれに、対象物の抽出を行なうべき対象物抽出領域を可変的に設定する対象物抽出領域設定手段と、前記第１撮像画像および第２の撮像画像のそれぞれに設定された対象物抽出領域で同一対象物が抽出されたとき、前記第１の撮像画像上での前記基準点位置データが示す基準点に対する該対象物の相対位置と、前記第２の撮像画像上での前記基準点位置データが示す基準点に対する該対象物の相対位置との差を該対象物の視差として求め、その求めた視差から、前記基準パラメータにより規定される関係に基づき、該対象物の距離を算出する距離算出手段とを備え、前記対象物抽出領域設定手段は、前記対象物抽出領域として、前記第１の撮像画像および第２の撮像画像よりも面積が小さく、且つ、第１の撮像画像および第２の撮像画像のそれぞれにおける基準点に対する相対位置が固定された領域としてあらかじめ定められた基準画像領域に一致する領域と、該基準画像領域よりも面積が大きく、該基準画像領域を内部に包含する領域とを、前記第１の撮像画像および第２の撮像画像のそれぞれに選択的に設定可能な手段であることを特徴とする。

かかる第４発明によれば、対象物抽出領域設定手段により設定される各種類の対象物抽出領域に対し、前記第１の撮像画像上での前記基準点位置データが示す基準点に対する該対象物の相対位置と、前記第２の撮像画像上での前記基準点位置データが示す基準点に対する該対象物の相対位置との差を該対象物の視差として求め、その求めた視差から、前記基準パラメータにより規定される関係に基づき、該対象物の距離を算出するので、各種類の対象物抽出領域に対して、前記基準パラメータを、各撮像画像の該対象物抽出領域で抽出される同一の対象物の視差と距離との関係を規定する適切なパラメータとすることができる。すなわち、前記基準点は、第１および第２の各撮像画像に対して定めれた点であるので、上記のように視差を求めたとき、その視差の値は、対象物抽出領域に依存しない。そして、基準点位置データや基準パラメータは、実験的に定めればよいので、適切に設定できる。

従って、対象物抽出領域設定手段により可変的に設定される各種類の対象物抽出領域に対して、上記の如く対象物の視差を求め、その求めた視差から、前記基準パラメータにより規定される視差と距離との関係に基づいて、該対象物の距離を求めることにより、該距離を精度よく適切に求めることが可能となる。

よって、第４発明によれば、２つの撮像装置の撮像画像から対象物を抽出する領域を可変的に設定するようにしつつ、視差に基づく対象物の距離（車両からの相対距離）の測定を精度よく行うことが可能となる。

なお、第４発明では、対象物抽出領域は任意に設定できる。

また、本発明の車両の周辺監視装置（第５発明）は、前記した本発明の測距装置を備えた車両の周辺監視装置であり、前記対象物抽出領域設定手段は、前記車両の走行環境に応じて前記対象物抽出領域を可変的に設定する手段であることを特徴とする。

かかる第５発明によれば、車両の走行環境に応じて対象物抽出領域を設定するので、車両の走行環境に適した範囲の空間的領域で対象物を抽出して監視することが可能となる。

なお、走行環境としては、例えば前記車両の車速や、車両の進行方向の状態（例えば直進状態であるか、右方向への旋回状態であるか、左方向への旋回状態であるかなどの状態）、車両と対象物との接近度合いなどが挙げられる。

［第１実施形態］
本発明の第１実施形態を以下に図面を参照して説明する。この第１実施形態は、本願の第１発明、第５発明の実施形態である。まず、図１および図２を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図１は該周辺監視装置の全体構成を示すブロック図、図２は該周辺監視装置を搭載した車両（車両）の外観を示す斜視図である。なお、図２では、周辺監視装置の一部の構成要素の図示を省略している。

図１および図２を参照して、本実施形態の周辺監視装置は、画像処理ユニット１を備える。この画像処理ユニット１には、車両１の前方の画像を撮像する２つの撮像装置としての赤外線カメラ２Ｒ，２Ｌが接続されると共に、車両１０の走行状態を検出するセンサとして、車両１０のヨーレートを検出するヨーレートセンサ３と、車両１０の走行速度（車速）を検出する車速センサ４と、車両１０のブレーキ操作（詳しくはブレーキペダルが操作されているか否か）を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な警報情報を出力するためのスピーカ６と、前記赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な警報情報を表示するための表示装置７とが接続されている。

画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ）、画像メモリなどを含む電子回路により構成され、前記赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル化されて入力される。さらに、図示は省略するが、画像処理ユニット１には、車両１０の右左折用方向指示器（いわゆるウィンカー）の操作信号（右左折用方向指示器が操作されているか否かを示すＯＮ・ＯＦＦ信号）も入力される。そして、画像処理ユニット１は、入力されたデータを基に、人（歩行者）などの対象物を検出する処理や、その検出した対象物の車両１０に対する実空間位置（車両１０からの距離を含む）を検出する処理、該対象物に関する警報を、適宜、前記スピーカ６や表示装置７を介して運転者に対して発する処理などをマイクロコンピュータにより実行する。これらの処理は、マイクロコンピュータのＲＯＭにあらかじめ実装されたプログラムを該マイクロコンピュータにより実行することにより実現され、そのプログラムは、本発明の測距用プログラムを含んでいる。

補足すると、画像処理ユニット１は、本発明の測距装置としての機能と車両の周辺監視装置としての機能とを含んでいる。

図２に示すように、前記赤外線カメラ２Ｒ，２Ｌは、車両１０の前方を撮像するために、車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それらの位置は、車両１０の車幅方向の中心に対して左右対称である。そして、該赤外線カメラ２Ｒ，２Ｌは、基本的には、それらの光軸が互いに平行に車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように車両１０の前部に固定されている。ただし、実際には、赤外線カメラ２Ｒ，２Ｌの構造的なばらつきや、車両１０に対する組付け位置のばらつきなどに起因して、赤外線カメラ２Ｒ，２Ｌの光軸の向きや高さは、ある程度のばらつきを生じる。なお、各赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有する撮像装置であり、それにより撮像される物体の温度が高いほど、その物体の画像の出力信号のレベルが高くなる（該物体の画像の輝度が高くなる）特性を有している。

また、前記表示装置７は、本実施形態では、例えば車両１０のフロントウィンドウに画像などの情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７は、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを含んでもよい。

次に、本実施形態の周辺監視装置の全体的動作（画像処理ユニット１の処理）を図３および図４のフローチャートを参照して説明する。なお、図３および図４のフローチャートの処理のうち、前記特許文献１に記載されている処理と同じ処理については、本明細書での詳細な説明は省略する。補足すると、図３および図４のフローチャートの処理は、画像処理ユニット１のマイクロコンピュータが実行するプログラムにより実現される処理である。

画像処理ユニット１は、所定の演算処理周期で、ＳＴＥＰ１〜ＳＴＥＰ２０の処理を繰り返し実行する。以下、説明すると、画像処理ユニット１は、まず、赤外線カメラ２Ｒ，２Ｌのそれぞれの出力信号である赤外線画像を取得して（ＳＴＥＰ１）、Ａ／Ｄ変換し（ＳＴＥＰ２）、それぞれの画像を画像メモリに格納する（ＳＴＥＰ３）。これにより、各赤外線カメラ２Ｒ，２Ｌにより撮像された画像が画像処理ユニット１に取り込まれる。以降、赤外線カメラ２Ｒから得られた画像を右画像、赤外線カメラ２Ｌから得られた画像を左画像という。これらの右画像および左画像は、いずれもグレースケール画像である。なお、右画像および左画像の全体は、いずれも方形状の２次元画像で、そのサイズ（縦方向および横方向の寸法）および画素数は互いに同一である。また、右画像および左画像は、本発明における第１の撮像画像、第２の撮像画像に相当するものである。

補足すると、ＳＴＥＰ１〜３の処理は、前記特許文献１の図３のＳ１１〜Ｓ１３の処理と同じである。

次いで、画像処理ユニット１は、車両１０の走行環境に応じて、右画像と左画像とに対象物を抽出すべき対象物抽出領域を設定する（ＳＴＥＰ４）。この場合、対象物抽出領域の設定に際して考慮される走行環境として、本実施形態では、車両１０の車速（前記車速センサ４により検出される車速）と、ウィンカーの動作の有無と、画像処理ユニット１の過去の演算処理周期（前回の演算処理周期）で抽出された対象物の車両１０に対する相対距離（車両１０の前後方向における対象物の相対距離）とが含まれる。

本実施形態では、ＳＴＥＰ４で設定される対象物抽出領域は、比較的大きめの面積の領域である拡大領域Ｓｂと比較的小さめの面積の領域である標準領域Ｓｓとの２種類があり、そのいずれかの領域に設定される。ここで、これらの拡大領域Ｓｂおよび標準領域Ｓｓを図５を参照して説明する。図５は右画像と左画像とを上下に並列させて示している。

右画像および左画像のそれぞれに設定される拡大領域Ｓｂは、いずれも各画像と同じ形状の領域（方形領域）で、且つ、そのサイズ（横方向の寸法ＦＨｂおよび縦方向の寸法ＦＶｂ）が互いに同一の領域である。本実施形態では、右画像および左画像のそれぞれの拡大領域Ｓｂは、各々、右画像、左画像の全体領域と同一サイズ（同一面積）の方形領域である。また、右画像および左画像のそれぞれに設定される標準領域Ｓｓは、いずれも右画像および左画像の全体領域よりも小さい面積の方形領域で、且つ、そのサイズ（横方向の寸法ＦＨｓおよび縦方向の寸法ＦＶｓ）が互いに同一の領域である。

この場合、右画像および左画像のそれぞれでの拡大領域Ｓｂの位置（左右の各画像に対して互いに同一の位置関係で固定された座標系（例えば図５のｘｙ座標系Ｃｂ）での拡大領域Ｓｂの位置）は、右画像と左画像とで同じである。本実施形態では、拡大領域Ｓｂのサイズは、左右の各画像の全体領域と同一であるので、拡大領域Ｓｂは、左右の各画像において、該画像の全体領域と一致する。補足すると、「領域の位置」は、該領域に固定された代表点（該領域の中心点や頂点など）の位置を意味する。

一方、左右の各画像での標準領域Ｓｓの位置（左右の各画像に対して互いに同一の位置関係で固定された座標系（例えば図５のｘｙ座標系Ｃｂ）での標準領域Ｓｓの位置）は、図５に示す例の如く一般には相違する。すなわち、標準領域Ｓｓの代表点を例えば該標準領域Ｓｓの左上の頂点とし、図５に示すように、右画像の座標系Ｃｂでの標準領域Ｓｓの左上の頂点の位置（座標）を（ｘrb，ｙrb）とし、左画像の座標系Ｃｂでの標準領域Ｓｓの左上の頂点の位置（座標）を（ｘlb，ｙlb）とおくと、一般には、ｘrb≠ｘlbまたはｙrb≠ｙlbである。この標準領域Ｓｓは、その各画像での配置位置が、車両１０の製造時や保守・点検時などに作業者によってあらかじめ設定される領域である。左右の各画像における標準領域Ｓｓの位置の設定の仕方については後述する。

なお、図５において、画像内の点に関する位置の座標成分値の符号における添え字「ｂ」は、図５の座標系Ｃｂでの座標成分値であることを示しており、添え字「ｓ」は図５の座標系Ｃｓにおける位置を示すことを意味する。座標系Ｃｓは標準領域Ｓｓに対して固定された座標系である。いずれの座標系Ｃｂ，Ｃｓでもｘ軸は画像の横方向の軸、ｙ軸は画像の縦方向の軸である。補足すると、本実施形態では、左右の各画像の全体領域と、拡大領域Ｓｂとは一致するので、座標系Ｃｂは、各画像に対して固定された座標系としての意味を持つと同時に、拡大領域Ｓｂに対して固定された座標系としての意味を持つ。

上記ＳＴＥＰ４では、例えば車両１０の車速が、あらかじめ定めた所定速度以下である（比較的低速である）という要件と、車両１０の右左折用方向指示器が動作しているといういう要件（車両１０のウィンカースイッチがＯＮになっているという要件）と、過去（例えば前回の演算処理周期）に抽出された対象物のうちに、車両１０に対する相対距離（車両１０の前後方向での距離）があらかじめ定めた所定値以下となる対象物（車両１０との距離が比較的短い対象物）が存在するという要件とのうちのいずれかの要件が満たされる場合には、対象物抽出領域として拡大領域Ｓｂが設定される。また、上記のいずれの要件も満たされない場合には、対象物抽出領域として標準領域Ｓｓが設定される。

なお、ＳＴＥＰ４の処理は、本発明における対象物抽出領域設定手段を構成するものである。

補足すると、車両１０の前方に存在する対象物は、後述するように右画像および左画像の対象物抽出領域内で検出されるので、該対象物抽出領域を変更するということは、赤外線カメラ２Ｒ，２Ｌの視野角（画角）を変更することと同等の効果を奏する。この場合、対象物抽出領域の横方向の寸法が、赤外線カメラ２Ｒ，２Ｌの水平方向の視野角（画角）に相当し、対象物抽出領域の縦方向の寸法が赤外線カメラ２Ｒ，２Ｌの垂直方向の視野角（画角）に相当する。従って、各対象物抽出領域Ｓｂ，Ｓｓの横方向の寸法および縦方向の寸法は、それぞれに対応して要求される画角に応じて設定すればよい。

また、本実施形態では、右画像および左画像のそれぞれの拡大領域Ｓｂは、各画像の全体領域に一致させたが、該全体領域よりも小さい面積の領域であってもよい。例えば図５の仮想線の領域Ｓｂ’で示すような領域を拡大領域としてもよい。ただし、本実施形態で対象物の距離を算出する手法では、左右の各画像での拡大領域の横方向位置は、右画像と左画像とで同じ位置になるように設定される。その場合、図５の座標系Ｃｂでの拡大領域の左上の頂点の位置を（ｘb，ｙb）とし、左右の画像の全体領域の横方向のサンプリング数をＦＨｍ、縦方向のサンプリング数をＦＶｍとしたとき、ｘｂ、ｙｂの値（ピクセル単位での値）が、例えばそれぞれ次式（１），（２）により与えられる値となるように、拡大領域を左右の各画像に設定すればよい。ここで、「横方向のサンプリング数」および「縦方向のサンプリング数」は、それぞれ、横方向における画像の全体領域の分割数［ピクセル］、縦方向における画像の全体領域の分割数［ピクセル］を意味する。

ｘｂ＝（１／２）×ＦＨｍ×（１−ＲＨfov／ＭＨfov） ……（１）
ｙｂ＝（１／２）×ＦＶｍ×（１−ＲＶfov／ＭＶfov） ……（２）

なお、式（１），（２）におけるＲＨfovは、赤外線カメラ２Ｒ，２Ｌの水平方向（横方向）の要求画角、ＲＶfovは、赤外線カメラ２Ｒ，２Ｌの垂直方向（縦方向）の要求画角、ＭＨfovは、赤外線カメラ２Ｒ，２Ｌの水平方向の最大画角、ＲＶfovは、赤外線カメラ２Ｒ，２Ｌの垂直方向の最大画角である。

図３および図４のフローチャートの説明に戻って、画像処理ユニット１は、次に、前記右画像および左画像のうちの一方を基準画像とし、この基準画像を２値化する（ＳＴＥＰ５）。基準画像は、本実施形態では右画像である。この２値化処理は、基準画像の各画素の輝度値を所定の輝度閾値と比較し、基準画像のうちの、該所定の輝度閾値よりも高い輝度値を有する領域（比較的明るい領域）を「１」（白）とし、該輝度閾値よりも低い輝度値を有する領域（比較的暗い領域）を「０」（黒）とする処理である。以降、この２値化処理により得られる画像（白黒画像）を２値化画像という。そして、この２値化画像のうちの、「１」とされる領域を高輝度領域という。なお、この２値化画像は、グレースケール画像（右画像および左画像）とは別に画像メモリに記憶される。また、上記２値化処理は、基準画像のうちの、前記ＳＴＥＰ４で設定された対象物抽出領域で行なわれる。

次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ６〜９の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像部分）を抽出する。すなわち、前記２値化画像の高輝度領域を構成する画素群を、基準画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）延在するラインに分類し、その各ラインを、その位置（基準画像上での２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換する（ＳＴＥＰ６）。そして、このランレングスデータにより表されるラインのうちの、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付し（ＳＴＥＰ７）、そのライン群のそれぞれを対象物として抽出する（ＳＴＥＰ８）。これにより、基準画像の対象物抽出領域内で、対象物が抽出される。

なお、ＳＴＥＰ６〜８の処理により抽出される対象物には、一般には、人（歩行者）だけでなく、他車両などの人工構造物なども含まれる。また、同一の物体の複数の局所部分が対象物として抽出される場合もある。

前記図５には、夜間において赤外線カメラ２Ｒ，２Ｌから得られる右画像および左画像の模式的な例を示している。この例では、車両１０の前方に他車両が存在しており、他車両の全体が、概略的に破線で示すように右画像および左画像に捉えられている。この場合、図５で参照符号Ｔ１〜Ｔ５を付した部分が高輝度領域となり、これらの部分Ｔ１〜Ｔ５のうちの対象物抽出領域に存在するものが対象物として抽出される。Ｔ１，Ｔ２は他車両のテールランプに相当する部分であり、Ｔ４，Ｔ５は他車両の後輪に相当する部分であり、Ｔ３は他車両の排気管に相当する部分である。なお、図５では、Ｔ１〜Ｔ５を実線で模式的に示している。実際の画像から抽出される対象物の形状は、一般には、図５のように整った形状とはならない。

補足すると、前記ＳＴＥＰ５の２値化処理は、ＳＴＥＰ４で設定された対象物抽出領域によらずに、基準画像の全体領域で行なうようにしてもよい。この場合には、ＳＴＥＰ６〜８の処理をＳＴＥＰ４で設定された対象物抽出領域内で行なうようにすればよい。また、ＳＴＥＰ５〜８の処理は、これらの処理を行なう対象物抽出領域を除いて、前記特許文献１の図３のＳ１４〜Ｓ１７の処理と同じである。

次いで、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）と面積と外接四角形の縦横比とを求める（ＳＴＥＰ９）。なお、各対象物の重心の位置は、該対象物に含まれるランレングスデータの各ラインの位置（各ラインの中心位置）の座標に該ラインの長さを乗じたものを、該対象物に含まれるランレングスデータの全てのラインについて加算し、その加算結果を該対象物の面積により除算することにより求められる。また、各対象物の重心の代わりに、該対象物の外接四角形の重心（中心）の位置を求めてもよい。

次いで、画像処理ユニット１は、前記ＳＴＥＰ８で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（ＳＴＥＰ１０）。この処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ８の処理により対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ８の処理により対象物Ｂが抽出されたとしたとき、それらの対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの対象物Ａ，Ｂの２値化画像上での形状やサイズ、基準画像（グレースケール画像）上での輝度分布の相関性などに基づいて行なえばよい。そして、それらの対象物Ａ，Ｂが互いに同一であると判定された場合に、時刻ｋ＋１で抽出した対象物Ｂのラベル（ＳＴＥＰ７で付したラベル）が対象物Ａのラベルと同じラベルに変更される。

次いで、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）を読み込む（ＳＴＥＰ１１）。なお、このＳＴＥＰ１１では、読込んだヨーレートの検出値を積分することにより、車両１０の回頭角（方位角）の算出も行なわれる。補足すると、ＳＴＥＰ９〜１１の処理は、前記特許文献１のＳ１８〜Ｓ２０の処理と同じである。

一方、画像処理ユニット１は、ＳＴＥＰ１０，１１の処理と並行して、ＳＴＥＰ１２〜１４の処理を実行する。このＳＴＥＰ１２〜１４の処理は、ＳＴＥＰ８で抽出した各対象物の車両１０からの距離（相対距離）を求めるための処理である。その処理を概略的に説明すると、まず、右画像（基準画像）のうち、各対象物を含む領域を探索画像Ｒ１として抽出する（ＳＴＥＰ１２）。探索画像Ｒ１は、例えば該対象物の外接四角形の領域である。

次いで、ＳＴＥＰ４で設定された左画像の対象物抽出領域内で、右画像の探索画像Ｒ１に含まれる対象物と同じ対象物を探索するための領域（探索画像Ｒ１よりも広い領域）である探索領域Ｒ２が設定され、その探索領域Ｒ２内で、探索画像Ｒ１との相関性が最も高い領域（探索画像Ｒ１と同じ形状および寸法の領域）が、探索画像Ｒ１に対応する画像（探索画像Ｒ１と同等の画像）である対応画像Ｒ３として抽出される（ＳＴＥＰ１３）。

具体的には、左画像の探索領域Ｒ２内の複数の位置に、探索画像Ｒ１と同じ形状および寸法の領域が相関性判定領域として設定され、その各位置の相関性判定領域の輝度分布と探索画像Ｒ１の輝度分布との一致度合いを表す特徴量が算出される。該特徴量としては、例えば、相関性判定領域の各画素の輝度値と該画素に対応する探索画像Ｒ１の画素の輝度値との差の絶対値を、該相関性判定領域の全ての画素について積算してなる絶対差分和が用いられる。この場合、該特徴量（絶対差分和）の値が小さいほど、相関性判定領域の輝度分布と探索画像Ｒ１の輝度分布との一致度合いが高いことを意味する。そして、該特徴量（絶対差分和）の値が最小となる相関性判定領域が、探索画像Ｒ１との相関性が最も高い領域とされ、その領域が対応画像Ｒ３として抽出される。なお、ＳＴＥＰ１３の処理は、２値化画像ではなく、グレースケール画像を使用して行なわれる。

補足すると、探索領域Ｒ２は、その内部に、対応画像Ｒ３が存在する可能性が高い領域に設定すればよく、探索画像Ｒ１が過去から時系列的に抽出されている対象物に対応するものである場合には、該対象物の距離（車両１０からの相対距離）の過去履歴などを基に、探索領域Ｒ２の設定位置や寸法を適宜変更するようにしてもよい。対応画像Ｒ３の探索をできるだけ短時間で行う上では、探索領域Ｒ２を狭めに設定することが望ましい。

次いで、右画像の対象物抽出領域における前記探索画像Ｒ１の重心の位置（あるいは探索画像Ｒ１に含まれる対象物（高輝度領域）の重心の位置）と、左画像の対象物抽出領域における前記対応画像Ｒ３の重心の位置（あるいは対応画像Ｒ３に含まれる対象物（高輝度領域）の重心の位置）との横方向の差分の画素数を視差Δｄとして算出し、その視差Δｄを基に、対象物の車両１０からの距離ｚ（車両１０の前後方向における距離）が算出される（ＳＴＥＰ１４）。なお、視差の算出と距離の算出処理の詳細は後述する。

以上がＳＴＥＰ１２〜１４の処理の概要である。なお、ＳＴＥＰ１２〜１４の処理は、前記ＳＴＥＰ８で抽出された各対象物に対して実行される。補足すると、ＳＴＥＰ１４の処理には、本発明におけるパラメータ決定手段、距離算出手段としての機能が含まれる。

前記ＳＴＥＰ１１およびＳＴＥＰ１４の処理の終了後、画像処理ユニット１は、次に、各対象物の実空間上での位置（車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１５）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向およびＹ方向は、それぞれ車両１０の車幅方向、上下方向であり、これらのＸ方向およびＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、車両１０の前後方向である。そして、対象物の実空間位置（Ｘ，Ｙ，Ｚ）は次式（３）、（４）、（５）により算出される。

Ｘ＝ｘ×ｚ×ｐ／ｆ ……（３）
Ｙ＝ｙ×ｚ×ｐ／ｆ ……（４）
Ｚ＝ｚ ……（５）

なお、ｘ、ｙは基準画像上での対象物のｘ座標、ｙ座標である。ただし、この場合の座標系は、図示は省略するが、基準画像の中心点の付近に原点を有するｘｙ座標系である。その原点は、前記実空間座標系のＺ軸上に対象物が存在するときに、該対象物の基準画像上でのｘ座標、ｙ座標が共に０となるようにあらかじめ定められた点である。

次いで、画像処理ユニット１は、車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを上記式（３）により求めた値から、前記ＳＴＥＰ１０で求めた回頭角の時系列データに応じて補正する（ＳＴＥＰ１６）。これにより、最終的に対象物の実空間位置が求められる。以降の説明では、「対象物の実空間位置」は、この補正を施した対象物の実空間位置を意味する。

次に、画像処理ユニット１は、対象物の車両１０に対する移動ベクトルを求める（ＳＴＥＰ１７）。具体的には、同一対象物についての実空間位置の、所定期間（現在時刻から所定時間前までの期間。以下、モニタ期間という）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（点）から、現在時刻における該直線上の対象物の位置（点）に向かうベクトルを対象物の移動ベクトルとして求める。この移動ベクトルは、対象物の車両１０に対する相対速度ベクトルに比例する。なお、ＳＴＥＰ１５〜１７の処理は、前記特許文献１の図３のＳ２１〜Ｓ２３の処理と同じである。

次に、画像処理ユニット１は、前記ＳＴＥＰ８で抽出された各対象物が、車両１０との接触を回避すべき回避対象であるか否かを判定する回避対象判定処理を実行する（ＳＴＥＰ１８）。この回避対象判定処理を図６および図７を参照して以下に説明する。図６はＳＴＥＰ１８の回避対象判定処理を示すフローチャート、図７はこの回避対象判定処理で使用する領域を説明するための図である。

図６を参照して、回避対象判定処理では、まず、対象物の実空間位置に関する第１の判定処理としての第１対象物位置判定処理が実行される（ＳＴＥＰ３１）。この第１対象物位置判定処理は、車両１０と対象物との接触を車両１０の操舵やブレーキ操作によって余裕をもって回避できるか否かを判定するための処理である。具体的には、該第１対象物位置判定処理では、前記ＳＴＥＰ４で設定した対象物抽出領域に対応する赤外線カメラ２Ｒ，２Ｌの視野角内の領域（以下、撮像監視領域という）のうち、車両１０からのＺ方向の距離（車両１０の前後方向の距離）が、所定値以下となる領域（以下、第１領域という）に対象物の現在の実空間位置（実空間位置の今回値）が存在するか否かが判定される。

この場合、車両１０からの距離に関する所定値は、対象物毎に設定される。具体的には、前記ＳＴＥＰ１７で移動ベクトルを求めるための前記モニタ期間の時間で、該移動ベクトルのＺ方向成分を除算することにより、該モニタ期間での対象物の平均速度Ｖz（車両１０の前後方向での対象物の相対速度の平均値Ｖz）が求められ、この平均速度Ｖzに所定の定数Ｔ（時間の次元の定数）を乗じてなる値Ｖz・Ｔが前記第１領域の、Ｚ方向の境界を規定する上記所定値として設定される。

ここで、前記第１領域を図７を参照して説明する。図７において、対象物抽出領域が前記拡大領域Ｓｂに設定されている場合における前記撮像監視領域は、平面視で図中の直線Ｌ１ｂ，Ｌ２ｂの間の領域により表され、対象物抽出領域が前記標準領域Ｓｓに設定されている場合における前記撮像監視領域は、平面視で図中の直線Ｌ１ｓ，Ｌ２ｓの間の領域で表される。従って、前記第１領域は、平面視で、図７の三角形ａｂｃまたはａｄｅで囲まれた領域となる。なお、第１領域ａｂｃまたはａｄｅは、上下方向では、所定の高さ（例えば車両１０の高さの２倍程度の高さ）を有する領域である。

ＳＴＥＰ３１の第１対象物位置判定処理は、このような第１領域ａｂｃまたはａｄｅに対象物が存在するか否かを判定する処理であり、対象物の現在の実空間位置のＺ方向位置がＶz・Ｔ以下で、且つ、Ｙ方向位置が所定の高さ以下の位置であるときに、該対象物が第１領域に存在すると判定される。なお、車両１０の前後方向における対象物の相対速度Ｖzが車両１０から遠ざかる向きの相対速度である場合には、該対象物は第１領域に存在しないと判定される。

ＳＴＥＰ３１において、対象物が第１領域ａｂｃまたはａｄｅ内に存在しないと判定された場合（ＳＴＥＰ３１の判定結果がＮＯとなる場合）は、車両１０の操舵やブレーキ操作によって該対象物と車両１０との接触を余裕をもって回避し得る状況である。そして、この場合には、画像処理ユニット１は、ＳＴＥＰ３６において、該対象物が回避対象で無いと判定し、該対象物についての回避対象判定処理を終了する。

一方、ＳＴＥＰ３１において、対象物が第１領域ａｂｃまたはａｄｅ内に存在すると判定された場合（ＳＴＥＰ３１の判断結果がＹＥＳとなる場合）には、画像処理ユニット１はさらに、対象物の実空間位置に関する第２の判定処理としての第２対象物位置判定処理を実行する（ＳＴＥＰ３２）。この第２対象物位置判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、車両１０と対象物との接触の可能性が高いか否かを判定するための処理である。具体的には、該第２対象物位置判定処理では、対象物が、図７に示すように車両１０の両側で前後方向に延在する（車両１０の車幅中心線Ｌ０と平行に延在する）ように設定された一対の境界線Ｌ３，Ｌ４の間の領域ＡＲ２（以下、第２領域ＡＲ２という）に存在するか否かが判定される。

この場合、第２領域ＡＲ２の左右の境界線Ｌ３，Ｌ４は、それらの間隔をＷとしたとき、図７に示すように、車両１０の車幅中心線Ｌ０から左右に同じ間隔Ｗ／２を有する位置に設定される。そして、境界線Ｌ３，Ｌ４の間隔Ｗは、車両１０の車幅αよりも若干広い間隔に設定される。なお、対象物が第２領域ＡＲ２に存在するか否かは、対象物の現在の実空間位置のＸ方向成分の値が、境界線Ｌ３のＸ方向位置と境界線Ｌ４のＸ方向位置との間の値であるか否によって判定される。

補足すると、第２領域ＡＲ２の幅Ｗは、前記ＳＴＥＰ４で対象物抽出領域を設定するために考慮した車両１０の走行環境（車両１０の車速や、ウィンカーの動作など）に応じて変化させるようにしてもよい。この場合、対象物抽出領域として前記拡大領域Ｓｂが設定されるような走行環境では、標準領域Ｓｓが設定されるような走行環境よりも、第２の領域ＡＲ２の幅を広くすることが好ましい。

ＳＴＥＰ３２において、対象物の実空間位置が第２領域ＡＲ２に存在すると判定された場合（ＳＴＥＰ３２の判定結果がＹＥＳとなる場合）は、対象物が現在の実空間位置に留まったとした場合に、該対象物が車両１０と接触する可能性が高い。この場合には、画像処理ユニット１は、次に、対象物が歩行者（人）であるか（より正確には人である可能性が高いか否か）の判定処理を行なう（ＳＴＥＰ３３）。対象物が歩行者であるか否かの判定は、公知の手法（例えば特開２００３−２８４０５７号公報に記載されている手法）を使用すればよく、グレースケール画像上での対象物の形状や大きさ、輝度分布等の特徴に基づいて行なうことができる。

このＳＴＥＰ３３の歩行者判定処理で、対象物が歩行者である可能性が高いと判断した場合には、対象物が歩行者であるとの判定の信頼性を高めるために、ＳＴＥＰ３４に進み、該対象物が他車両や電柱などの人工構造物であるか否かの判定処理（人工構造物判定処理）が行なわれる。対象物が人工構造物であるか否かの判定は、公知の手法（例えば特開２００３−１６４２９号公報や特開２００３−２３０１３４号公報に記載されている手法）を使用すればよく、対象物の画像（グレースケール画像または２値化画像）における直線部分や直角部分の有無、他車両のウィンドウシールド部分の有無などに基づいて行うことができる。あるいは、パターンマッチングの手法により対象物が人工構造物であるか否かの判定を行なうようにしてもよい。

そして、ＳＴＥＰ３４で、対象物が人工構造物でないと判定された場合（ＳＴＥＰ３４の判定結果がＮＯとなる場合）には、画像処理ユニット１は、ＳＴＥＰ３５において、対象物が回避対象であると判定し、回避対象判定処理を終了する。従って、対象物が前記第１領域ａｂｃまたはａｄｅ内の第２領域ＡＲ２に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が回避対象であると判定される。

また、ＳＴＥＰ３３で対象物が歩行者でないと判定され、あるいは、ＳＴＥＰ３４で対象物が人工構造物であると判定された場合には、前記ＳＴＥＰ３６に進んで、対象物が回避対象で無いと判定され、回避対象判定処理が終了する。

一方、前記ＳＴＥＰ３２において、対象物が第２領域ＡＲ２に存在しないと判定された場合（ＳＴＥＰ３２の判定結果がＮＯとなる場合）には、画像処理ユニット１は、次に、対象物の移動方向に関する進入接触判定処理を実行する（ＳＴＥＰ３７）。この進入接触判定処理は、対象物が前記第２領域ＡＲ２に進入し、且つ、車両１０と接触する可能性が高いか否かを判定する処理である。具体的には、対象物の移動ベクトルが現状に維持されると仮定し、この移動ベクトルを含む直線と、車両１０の前端位置における実空間座標系のＸＹ平面との交点のＸ方向位置が求められる。そして、この求めたＸ方向位置が、車両１０の車幅中心線Ｌ０のＸ方向位置を中心とする所定範囲（車両１０の車幅よりも若干広い範囲）に存在することを要件（以下、進入接触要件という）として、この進入接触要件が満たされるか否かが判定される。

ＳＴＥＰ３７において、対象物が前記進入接触要件を満たす場合（ＳＴＥＰ３７の判定結果がＹＥＳとなる場合）には、対象物が将来、車両１０と接触する可能性が高い。そこで、この場合には、画像処理ユニット１は、前記ＳＴＥＰ３５において、該対象物が回避対象であると判定し、回避対象判定処理を終了する。

また、ＳＴＥＰ３７において、対象物が前記進入接触要件を満たさない場合（ＳＴＥＰ３７の判定結果がＮＯとなる場合）には、対象物が車両１０と接触する可能性が低いので、画像処理ユニット１は、前記ＳＴＥＰ３６おいて、該対象物が回避対象で無いと判定し、回避対象判定処理を終了する。

以上がＳＴＥＰ１８の回避対象判定処理の詳細である。

図３および図４のフローチャートの説明に戻って、ＳＴＥＰ１８の回避対象判定処理において、対象物が回避対象でないと判定された場合（回避対象であると判定された対象物が存在しない場合）には、ＳＴＥＰ１８の判定結果がＮＯとなる。この場合には、画像処理ユニット１の今回の演算処理周期の処理は終了して、次回の演算処理周期でＳＴＥＰ１からの処理を再開する。

また、ＳＴＥＰ１８の回避対象判定処理において、対象物が回避対象であると判定された場合（回避対象であると判定された対象物が存在する場合）には、ＳＴＥＰ１８の判定結果がＹＥＳとなる。この場合には、ＳＴＥＰ１９に進んで、画像処理ユニット１は、回避対象であると判定された対象物に関する実際の警報を行なうべきか否かの判定を行なう警報出力判定処理を実行する。この警報出力判定処理では、前記ブレーキセンサ５の出力から、運転者による車両１０のブレーキ操作がなされていることが確認され、且つ、車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、警報を行なわないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、車両１０の減速加速度が所定の閾値以下である場合には、警報を行なうべきと判定される。

そして、画像処理ユニット１は、警報を行なうべきと判定した場合（ＳＴＥＰ１９の判断結果がＹＥＳとなる場合）には、前記スピーカ６と表示装置７とによる警報を車両１０の運転者に対して発する警報発生処理を実行する（ＳＴＥＰ２０）。そして、この警報発生処理の後、今回の演算処理周期の処理が終了して、次回の演算処理周期でＳＴＥＰ１からの処理が再開される。上記警報発生処理では、例えば表示装置７に前記基準画像を表示すると共に、その基準画像中の、回避対象の対象物の画像を強調的に表示する。さらに、そのような対象物が存在することをスピーカ６から運転者に音声案内する。これにより、該対象物に対する運転者の注意が喚起される。なお、運転者に対する警報は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。また、車両１０が自動操舵を行い得る車両である場合には、ＳＴＥＰ１８で回避対象であると判定された対象物との接触を回避するように車両１０の操舵制御を実行するようにしてもよい。

また、ＳＴＥＰ１９で警報を行なわないと判断したとき（全ての対象物について警報を行なわないと判断したとき）には、ＳＴＥＰ２１の判断結果がＮＯとなり、この場合には、そのまま今回の演算処理周期の処理が終了して、次回の演算処理周期でＳＴＥＰ１からの処理が再開される。

以上が本実施形態の周辺監視装置の全体的作動である。

次に、説明を後回しにしたＳＴＥＰ１４の処理（対象物の視差および距離の算出処理）と、標準領域Ｓｓの設定とに関して詳細に説明する。

本実施形態では、前記標準領域Ｓｓは、本発明における基準画像領域に相当している。この標準領域Ｓｓは、車両１０の製造時や保守・点検時などに、作業者によってあらかじめ設定される領域であり、その設定は次のように行なわれる。

すなわち、車両１０の製造時や保守・点検時などに、車両１０を停止させた状態で、エイミング用対象物が車両１０の正面前方に配置される。この場合、エイミング用対象物の車両１０に対する相対位置は既定の位置である。そして、この状態で、各赤外線カメラ２Ｒ，２Ｌの撮像画像（右画像および左画像）中のエイミング用対象物と各画像の標準領域Ｓｓとの相対的な位置関係（標準領域Ｓｓに対して固定された基準点（例えば標準領域Ｓｓの左上の頂点）との位置関係）が既定の位置関係になるように、各画像中での標準領域Ｓｓの位置が設定される。換言すれば、各画像の標準領域Ｓｓに対して固定された座標系（２次元座標系）でのエイミング用対象物の位置（該対象物の重心点または中心の位置）の座標値が、既定の座標値になるように各画像中での標準領域Ｓｓの位置が設定される。この場合、標準領域Ｓｓに対するエイミング用対象物の、縦方向での既定位置は、左右の画像で同じであるが、標準領域Ｓｓに対するエイミング用対象物の、横方向での既定位置は、左右の画像で相違する。

ここで、赤外線カメラ２Ｒ，２Ｌの光軸が正確に、車両１０の前後方向に平行に延在し、且つ、それらの光軸の間隔と高さとが設計値どおりになっている状態（以降、赤外線カメラ２Ｒ，２Ｌの理想組付け状態）では、上記のように標準領域Ｓｓを設定したとき、該標準領域Ｓｓは、その中心点が、左画像および右画像の中心点と一致する位置で各画像に設定される。

しかるに、一般には、赤外線カメラ２Ｒ，２Ｌの組付け状態は、理想組付け状態に対してずれ（光軸の向きや高さのずれ）を生じている。このため、一般には、標準領域Ｓｓは、左右の各画像の中央には設定されず、例えば前記図５に示したように、各画像の中央からずれた位置に設定される。

さらに、上記のように標準領域Ｓｓを設定した後、左画像の標準領域Ｓｓに対するエイミング用対象物の相対位置と右画像の標準領域Ｓｓに対するエイミング用対象物の相対位置との横方向の差分の画素数Δｄｓをエイミング用対象物の視差として求め、この視差Δｄ0と、車両１０の前後方向（Ｚ方向）でのエイミング用対象物の相対距離ｚ0（これは既定値である）とが、次式（５）の関係を満たすように、基準視差オフセット量Ｌdisp（画素数単位の量）を決定する。

ｚ0＝（ｆ×Ｄ）／（（Δｄ0＋Ｌdisp）×ｐ） ……（５）

なお、式（５）におけるｆは、赤外線カメラ２Ｒ，２Ｌの焦点距離、Ｄは赤外線カメラ２Ｒ，２Ｌの光軸の間隔である基線長、ｐは画素間隔（互いに隣接する画素の間隔）である。ｆ，Ｄは前記理想組付け状態における設計値である。また、標準領域Ｓｓに対するエイミング用対象物の相対位置は、一般的には、標準領域Ｓｓに対して固定された基準点（標準領域Ｓｓに対して所定の位置関係を有する基準点）に対するエイミンング用対象物の相対位置である。換言すれば、標準領域Ｓｓに対して固定された座標系（２次元座標系）でのエイミング用対象物の位置である。本実施形態では、左右の各画像における標準領域Ｓｓに対する対象物の相対位置は、例えば、図５に示すように、標準領域Ｓｓの左上の頂点を原点とする座標系Ｃsでの対象物の位置（これは、標準領域Ｓｓの左上の頂点を基準点としたときの該基準点に対する対象物の相対位置を意味する）として求められる。

ここで、左右の各画像での対象物の位置、ひいては、視差は、画素単位でしか算出できないので、算出し得る視差は、長さの単位（［ｍ］、［ｃｍ］など）では離散値となる。このため、仮に式（５）のＬdispを０とすると、式（５）の右辺の演算により求められる相対距離は、実際の相対距離に対して誤差を生じる。この誤差を補償するための補正パラメータが、前記基準視差オフセット量Ｌdispである。

本実施形態では、車両１０の製造時や保守・点検時に、上述のように決定された基準視差オフセット量Ｌdispが、標準領域Ｓｓ上で抽出される対象物の視差と相対距離との関係を規定する基準パラメータの１つとして、画像処理ユニット１に備えたＥＥＰＲＯＭなどの図示しない不揮発性メモリ（書き込み・消去可能な不揮発性メモリ）に記憶保持される。
この不揮発性メモリは、本発明における記憶手段に相当するものである。

なお、式（５）の右辺のｆ、Ｄ、ｐも、標準領域Ｓｓ上で抽出される対象物の視差と相対距離との関係を規定する基準パラメータであるが、これらは、本実施形態では固定値であり、画像処理ユニット１のＲＯＭもしくはＥＥＰＲＯＭにあらかじめ記憶保持されている。また、左右の各画像における標準領域Ｓｓの位置を示すデータも、基準視差オフセット量Ｌdispと共に不揮発性メモリに記憶保持される。左右の各画像における標準領域Ｓｓの位置を示すデータは、各画像に固定された座標系での標準領域Ｓｓの代表点の位置である。本実施形態では、例えば、左右の各画像の全体領域（本実施形態ではこれは拡大領域Ｓｂに一致する）の左上の頂点を原点とする座標系Ｃｂでの、標準領域Ｓｓの左上の頂点（標準領域Ｓｓの代表点）の位置（座標）が各画像における標準領域Ｓｓの位置を表す位置データとして、不揮発性メモリに記憶保持される。

次に、前記ＳＴＥＰ１４における視差および距離の算出処理を以下に詳細に説明する。
この処理は、マイクロコンピュータのＲＯＭにあらかじめ実装されたサブルーチンプログラムを該マイクイロコンピュータにより実行することによって実現される処理である。

本実施形態では、前記ＳＴＥＰ８で抽出された各対象物の視差Δｄは、対象物抽出領域が標準領域Ｓｓおよび拡大領域Ｓｂのいずれに設定されている場合であっても、右画像における対象物抽出領域に対する対象物の相対位置（横方向の相対位置）と、左画像における対象物抽出領域に対する対象物の相対位置（横方向の相対位置）との差分の画素数として算出される。この場合、右画像における拡大領域Ｓｂと標準領域Ｓａとの間の位置関係と、左画像における拡大領域Ｓｂと標準領域Ｓｂとの間の位置関係とは、一般には互いに異なるので、対象物の視差の値は、一般には、対象物抽出領域に依存するものとなる。

具体的には、図５を参照して、対象物抽出領域が標準領域Ｓｓに設定されている場合には、右画像における対象物の標準領域Ｓｓに対する相対位置は、該右画像の標準領域Ｓｓの左上の頂点を原点とする座標系Ｃｓでの該対象物の位置（座標）として求められる。左画像についても同様である。従って、対象物抽出領域が標準領域Ｓｓに設定されている場合における対象物の視差は、右画像における座標系Ｃｓでの対象物の横方向位置（座標系Ｃｓでのｘ座標）と、左画像における座標系Ｃｓでの対象物の横方向位置（座標系Ｃｓでのｘ座標）との差分の画素数として求められる。例えば、右画像内の対象物Ｔ３の座標系Ｃｓでの位置（座標）を（ｘ3rs，ｙ3rs）とし、左画像内の対象物Ｔ３の座標系Ｃｓでの位置（座標）を（ｘ3ls，ｙ3ls）とすると、対象物抽出領域が標準領域Ｓｓに設定されている場合における対象物Ｔ３の視差Δｄ3sは、｜ｘ3rs−ｘ3ls｜の画素数として算出される。

なお、左右の各座標系Ｃｓは、前記した如く、不揮発性メモリに記憶保持された標準領域Ｓｓの位置データを基に、各画像上で設定される。

また、対象物抽出領域が前記拡大領域Ｓｂに設定されている場合には、右画像における対象物の標準領域Ｓｓに対する相対位置は、該右画像の拡大領域Ｓｂの左上の頂点（本実施形態では、これは右画像の全体領域の左上の頂点）を原点とする座標系Ｃｂでの該対象物の位置（座標）として求められる。左画像についても同様である。従って、対象物抽出領域が拡大領域Ｓｂに設定されている場合における対象物の視差は、右画像における座標系Ｃｂでの対象物の横方向位置（座標系Ｃｂでのｘ座標）と、左画像における座標系Ｃｂでの対象物の横方向位置（座標系Ｃｂでのｘ座標）との差分の画素数として求められる。例えば、右画像の対象物Ｔ３の座標系Ｃｂでの位置（座標）を（ｘ3rb，ｙ3rb）とし、左画像の対象物Ｔ３の座標系Ｃｂでの位置（座標）を（ｘ3lb，ｙ3lb）とすると、対象物抽出領域が拡大領域Ｓｂに設定されている場合における対象物Ｔ３の視差Δｄ3bは、｜ｘ3rb−ｘ3lb｜の画素数として算出される。

以降、対象物抽出領域が標準領域Ｓｓに設定された場合に、左右の画像のそれぞれの標準領域Ｓｓで抽出された同一の対象物（例えば図のＴ３）の視差を一般的にΔｄｓで表す。同様に、対象物抽出領域が拡大領域Ｓｂに設定された場合に、左右の画像のそれぞれの拡大領域Ｓｂで抽出された同一の対象物（例えば図のＴ１〜Ｔ５）の視差を一般的にΔｄｂで表す。

そして、上記の如く求めた視差Δｄｓ，Δｄｂから、次のように、対象物の車両１０に対する相対距離が算出される。

すなわち、対象物抽出領域が標準領域Ｓｓに設定されている場合には、該標準領域Ｓｓが基準画像領域に一致するので、画像処理ユニット１は、前記した如く不揮発性メモリに記憶保持された、焦点距離ｆ、基線長Ｄ、画素間隔ｐ、および基準視差オフセットＬdispを対象物の視差と相対距離との関係を規定するパラメータとして決定する。

そして、上記の如く求めた視差から、前記式（５）と同等の次式（６）により対象物の相対距離ｚを算出する。

ｚ＝（ｆ×Ｄ）／（（Δｄｓ＋Ｌdisp）×ｐ） ……（６）

一方、対象物抽出領域が拡大領域Ｓｂに設定されている場合には、右画像および左画像のそれぞれにおける拡大領域Ｓｂの位置関係と、標準領域Ｓｓ（基準画像領域）に位置関係とが一般には相違しているため、対象物抽出領域が拡大領域Ｓｂに設定されている場合における対象物の視差と距離との関係は、対象物抽出領域が拡大領域Ｓｂに設定されている場合における対象物の視差と距離との関係と一般には相違する。従って、上記の如くもとめた視差Δｄｂを前記式（６）にそのまま適用しても、対象物の相対距離を正しく算出することができない。

そこで、この場合には、画像処理ユニット１は、基準パラメータのうちの基準視差オフセット量Ｌdispを次のように補正して、視差と相対距離との関係を規定するパラメータを決定する。

すなわち、不揮発性メモリに記憶保持された標準領域Ｓｓ（基準画像領域）の位置データを基に、右画像の座標系Ｃｂでの標準領域Ｓｓの横方向位置と、左画像の座標系Ｃｂでの標準領域Ｓｂの横方向位置との偏差Δｘ（＝ｘrb−ｘlb）を算出する。そして、この偏差Δｘを不揮発性メモリに記憶保持された前記基準視差オフセット量Ｌdispに加えることによって、拡大領域Ｓｂに対応する視差オフセット量Ｓdispを算出する。

すなわち、次式（７）により、視差オフセット量Ｓdispを算出する。

Ｓdisp＝（ｘrb−ｘlb）＋Ｌdisp
＝Δｘ＋Ｌdisp ……（７）

そして、このようにして求めた視差オフセット量Ｓdispと前記焦点距離ｆ、基線長Ｄおよび画素間隔ｐとの組を、視差と距離との関係を表すパラメータとして決定する。

ここで、ｘrbは、右画像の座標系Ｃｂでの標準領域Ｓｓ（基準画像領域）の横方向位置を示すものであるから、右画像における拡大領域Ｓｂと標準領域Ｓｓとの位置関係を表すものとなる。また、ｘlbは、左画像の座標系Ｃｂでの標準領域Ｓｓ（基準画像領域）の横方向位置を示すものであるから、左画像における拡大領域Ｓｂと標準領域Ｓｓとの位置関係を表すものとなる。

従って、視差オフセット量Ｓdispは、左右の各画像における拡大領域Ｓｂと標準領域Ｓｓとの位置関係と、基準視差オフセット量Ｌdispとを基に決定されることとなる。

そして、上記の如く拡大領域Ｓｂに対応するパラメータ（視差オフセット量Ｓdispを含む）を決定した後、対象物の視差Δｄｂから、次式（８）により、対象物の距離ｚを算出する。

ｚ＝（ｆ×Ｄ）／（（Δｄｂ＋Ｓdisp）×ｐ） ……（８）

以上が、ＳＴＥＰ１４の処理の詳細である。

補足すると、各対象物抽出領域に対応して、視差と距離との関係を規定するパラメータ（特に視差オフセット量）を決定する処理が、本発明におけるパラメータ決定手段の処理に相当する。そして、式（６）または（８）により、対象物の距離ｚを算出する処理が、本発明における距離算出手段の処理に相当する。

以上のように視差を求めて対象物の距離を算出することにより、対象物抽出領域を拡大領域Ｓｂおよび標準領域Ｓｓのいずれに設定した場合であっても、対象物の距離を精度よく算出することができる。

また、本実施形態では、車両１０の前記した走行環境に応じて対象物抽出領域を設定することにより、走行環境に適した対象物抽出領域を設定できる。例えば、図５に示すように、車両１０の前方の他車両が車両１０に近い場合に、対象物抽出領域を拡大領域Ｓｂに設定することにより、標準領域Ｓｓでは捉えきれない他車両の全体を拡大領域Ｓｂ内で捉えることができるので、例えば前記ＳＴＥＰ３４の人工構造物判定処理において、対象物Ｔ１〜Ｔ５が他車両の構成要素であることを認識しやすくなる。また、車両１０のウィンカーが動作しているとき、すなわち、車両１０が左右いずれかに旋回しようとしているときには、対象物抽出領域は、拡大領域Ｓｂに設定されるので、車両１０の前方の広い領域（車幅方向に広い領域）で、対象物を抽出することが可能となる。このため、車両１０の前方の広範囲にわたって、運転者に注意を喚起することが可能となる。

補足すると、本実施形態では、基準画像領域としての前記標準領域Ｓｓは、前記したように、エイミング用対象物の標準領域Ｓｓに対する縦方向の位置（高さ）が左右の画像で同じなるように、該標準領域Ｓｓが設定される。このため、各画像における標準領域Ｓｓの縦方向の位置は、一般には左右の画像で異なるものの、両画像の標準領域Ｓｓに同一の対象物が存在する場合、その対象物の標準領域Ｓｓ上での高さはほぼ同一となる。従って、前記ＳＴＥＰ１３で、左画像の標準領域Ｓｓ上で対応画像を探索する場合、右画像の標準領域Ｓｓ上での探索画像の高さと同じ高さ位置で対応画像を探索するようにすることで、その探索を効率よく行なうことができる。

一方、左右の各画像の拡大領域Ｓｂの相互の縦方向の位置関係は、左右の各画像の標準領域Ｓｓの相互の縦方向の位置関係と一般には異なるので、両画像の拡大領域Ｓｂに同一の対象物が存在する場合、その対象物の拡大領域Ｓｂ上での高さは一般には異なる。この場合、前記ＳＴＥＰ１３で、左画像の標準領域Ｓｓ上で対応画像を探索する場合、右画像における標準領域Ｓｓの縦方向の位置（例えば図５の座標系Ｃｂでの縦方向位置「ｙrb」）と左画像における標準領域Ｓｓの縦方向の位置（例えば図５の座標系Ｃｂでの縦方向位置「ｙlb」）との差分だけ、右画像の拡大領域Ｓｓ上での探索画像の高さと異なる高さ位置（左画像の拡大領域Ｓｓ上での高さ位置）で対応画像を探索するようにすることで、その探索を効率よく行なうことができる。なお、拡大領域Ｓｂを各画像の全体領域よりも小さい領域に設定する場合には、各画像における拡大領域Ｓｂの縦方向の位置の差分が、標準領域Ｓｓの縦方向の位置の差分と同じになるように、各画像における拡大領域Ｓｂを設定すれば、左右の各画像の拡大領域Ｓｂ上での同一の対象物の高さが左右の画像でほぼ同じになる。
［第２実施形態］
次に、本発明の第２実施形態を図８を参照して説明する。この第２実施形態は、本願の第２発明、第５発明の実施形態である。図８は、本実施形態で設定される対象物抽出領域を示す図である。なお、本実施形態は、対象物抽出領域の設定の仕方と、対象物の距離の算出の仕方だけが前記第１実施形態と相違するものであるので、第１実施形態と同一の構成部分もしくは同一の処理部分については説明を省略し、相違点部分を中心に説明する。

本実施形態では、前記ＳＴＥＰ４で設定される対象物抽出領域は、第１実施形態と同様に標準領域Ｓｓと拡大領域Ｓ2bとの２種類があり、第１実施形態と同様に、車両１０の走行環境に応じて設定される。この場合、標準領域Ｓｓは、基準画像領域に相当し、その形状およびサイズと、左右の各画像での位置の設定の仕方は、前記第１実施形態と同じである。また、標準領域Ｓｓに係わる前記基準視差オフセット量Ｌdispも第１実施形態と同じで、車両１０の製造時や保守・点検時に第１実施形態で説明した如く求められる。そして、この基準視差オフセット量Ｌdispが、焦点距離ｆ、基線長Ｄおよび画素間隔ｐと共に、視差と距離との関係を規定する基準パラメータとして、ＥＥＰＲＯＭなどの不揮発性メモリ（記憶手段）に記憶保持される。また、該不揮発性メモリには、左右の各画像における標準領域Ｓｓの位置を表す位置データも、第１実施形態と同様に記憶保持される。

一方、本実施形態では、前記ＳＴＥＰ４において、図８に示す如く、拡大領域Ｓ2bは、右画像および左画像の全体領域ではなく、右画像における拡大領域Ｓ2ｂと標準領域Ｓｓとの間の位置関係と、左画像における拡大領域Ｓ2bと標準領域Ｓｓとの間の位置関係とが一致するように、左右の各画像における拡大領域Ｓ2bの位置が設定される。

具体的には、本実施形態では、図８に示す如く、拡大領域Ｓ2bは、方形状の領域で、且つ、そのサイズ（縦方向の寸法ＦＶ2bおよび横方向の寸法ＦＨ2b）が、左右の画像の全体領域のサイズよりも、多少小さい領域に定められている。そして、右画像における拡大領域Ｓ2bは、その中心点Ｐrが右画像の標準領域Ｓｓの中心点と一致するような位置に設定される。同様に、左画像における拡大領域Ｓ2bは、その中心点Ｐlが左画像の標準領域Ｓｓの中心点と一致するような位置に設定される。なお、左右の各画像の標準領域Ｓｓの中心点は、前記不揮発性メモリに記憶保持された標準領域Ｓｓの位置データを基に決定される。

補足すると、左右の各画像における拡大領域Ｓ2bの中心点Ｐr，Ｐlの縦方向の位置は、標準領域Ｓｓの中心点の縦方向の位置と一致していなくてもよい。ただし、左右の各画像の拡大領域Ｓ2bに同一の対象物が捉えられている場合に、各拡大領域Ｓ2b上での該対象物の縦方向の位置が同じになるようにする上では、拡大領域Ｓ2bの中心点と標準領域Ｓｓの中心点との縦方向の位置ずれ量は、左右の画像で同じであることが好ましい。

上記のように拡大領域Ｓ2bを設定したとき、右画像における拡大領域Ｓ2ｂと標準領域Ｓｓとの間の位置関係と、左画像における拡大領域Ｓ2bと標準領域Ｓｓとの間の位置関係とが一致する。このため、対象物抽出領域が拡大領域Ｓ2bに設定されていて、各拡大領域Ｓ2bに同一の対象物が捕らえられている場合に、右画像の拡大領域Ｓ2bに対する該対象物の相対位置（例えば該拡大領域Ｓ2bの左上の頂点を原点とする座標系Ｃｂでの対象物の座標）と、左画像の拡大領域Ｓ2bに対する該対象物の相対位置（例えば該拡大領域Ｓ2bの左上の頂点を原点とする座標系Ｃｂでの対象物の座標）との横方向の差分の画素数を該対象物の視差として算出したとき、その視差と該対象物の距離との関係は、前記式（６）により表されることとなる。すなわち、不揮発性メモリに記憶保持された前記基準パラメータが、標準領域Ｓｓにおける視差と距離との関係を規定するだけでなく、拡大領域Ｓｂにおける視差と距離との関係を規定するものとなる。これは、標準領域Ｓｓに対して固定された座標系での対象物の視差と、拡大領域Ｓ2bに対して固定された座標系での対象物の視差とが同じ値になるからである。

そして、本実施形態では、前記ＳＴＥＰ１４の処理において、対象物抽出領域が標準領域Ｓｓに設定されている場合には、前記第１実施形態と同一の手法で、対象物の視差と、距離とが算出される。

一方、対象物抽出領域が拡大領域Ｓ2bに設定されている場合には、上記の如く、右画像の拡大領域Ｓ2bの左上の頂点を原点とする座標系Ｃｂでの対象物の位置（座標）と、左画像の拡大領域Ｓ2bの左上の頂点を原点とする座標系Ｃｂでの対象物の位置（座標）との横方向の差分の画素数を該対象物の視差として算出する。この視差の算出の仕方は、第１実施形態と同じである。ただし、本実施形態では、その視差から、対象物の距離を算出するときには、前記式（６）により、対象物の距離ｚが算出される。

従って、対象物抽出領域が拡大領域Ｓ2bと標準領域Ｓｓとのいずれに設定されている場合であっても、前記した如く不揮発性メモリに記憶保持された基準視差オフセット量Ｌdisp、焦点距離ｆ、基線長Ｄおよび画素間隔ｐからなる基準パラメータを基に、前記式（６）により、対象物の視差から対象物の距離ｚが算出される。

以上説明した以外の構成および処理は、前記第１実施形態と同じである。かかる本実施形態においても、第１実施形態と同様の効果を奏することができる。
［第３実施形態］
次に本発明の第３実施形態を説明する。この第３実施形態は、本願の第３発明、第５発明の実施形態である。なお、本実施形態は、第１実施形態とＳＴＥＰ１４の処理の一部だけが相違するものであるので、その相違点を中心に説明し、第１実施形態と同一構成部分および同一処理部分については説明を省略する。

本実施形態では、ＳＴＥＰ４における対象物抽出領域の設定の仕方は、第１実施形態と同じであり、図５に示したように、拡大領域Ｓｂと標準領域Ｓｓとのいずれかに設定される。

ここで、前記第１実施形態では、拡大領域Ｓｂを設定したときに、標準領域Ｓｓ（基準画像領域）における視差と距離との関係を規定する基準パラメータ（基準視差オフセット量Ｌdisp、焦点距離ｆ、基線長Ｄおよび画素間隔ｐ）を基に、前記ＳＴＥＰ１４において、拡大領域Ｓｂにおける視差と距離との関係を規定するパラメータ（前記視差オフセット量Ｓdisp、焦点距離ｆ、基線長Ｄおよび画素間隔ｐ）のうちの視差オフセット量Ｓdispを算出して、該パラメータを決定するようにした。

これに対して本実施形態では、車両１０の製造時や保守・点検時に前記基準視差オフセット量Ｌdispを求めるだけでなく、拡大領域Ｓｂに対応する視差オフセット量Ｓdispも前記式（７）に従って算出しておき、それを、基準視差オフセット量Ｌdsipと共に不揮発性メモリ（記憶手段）に記憶保持しておく。これにより、対象物抽出領域として設定される各種類の領域である標準領域Ｓｓと拡大領域Ｓｂとのそれぞれに対応して、対象物の視差と距離との関係を規定するパラメータが、あらかじめ不揮発性メモリに記憶保持されることとなる。なお、左右の各画像における標準領域Ｓｓの位置と拡大領域Ｓｂの位置とをそれぞれ表す位置データも、不揮発性メモリに記憶保持される。そして、ＳＴＥＰ４では、対象物抽出領域は、それに対応して不揮発性メモリに記憶保持されている位置データにより表される位置に設定される。

そして、本実施形態では、ＳＴＥＰ１４の処理において、対象物抽出領域が標準領域Ｓｓに設定されている場合には、対象物の視差から距離を算出するときに、標準領域Ｓｓに対応するパラメータである基準視差オフセット量Ｌdispと用いて、前記式（６）により、対象物の距離を算出する。また、対象物抽出領域が拡大領域Ｓｂに設定されている場合には、対象物の視差から距離を算出するときに、拡大領域Ｓｂに対応するパラメータである視差オフセット量Ｓdispと用いて、前記式（８）により、対象物の距離を算出する。なお、いずれの場合であっても、視差の算出の仕方は、第１実施形態と同じである。

以上説明した以外の構成および処理は、第１実施形態と同じである。

かかる本実施形態においても、第１実施形態と同様の効果を奏することができる。なお、本実施形態においても、拡大領域Ｓｂは、各画像の全体領域に一致している必要はなく、例えば図５の仮想線の領域Ｓｂ’を拡大領域としてもよい。

また、拡大領域Ｓｂを左右の各画像の全体領域と一致させるようにした場合において、該拡大領域Ｓｂに関する視差と距離との関係を規定するパラメータ（視差オフセット量Ｓdispなど）を、車両１０の製造時や保守・点検時に不揮発性メモリなどの記憶手段にあらかじめ記憶保持しておくことで、対象物抽出領域として拡大領域Ｓｂだけを使用して、対象物の抽出処理や該対象物の車両１０からの距離の算出処理を行なうようにすることも可能である。
［第４実施形態］
次に、本発明の第４実施形態を図９を参照して説明する。この第４実施形態は、本願の第４発明、第５発明の実施形態である。図９は、本実施形態で設定される対象物抽出領域を示す図である。なお、本実施形態は、対象物抽出領域における視差の算出の仕方と距離の算出の仕方だけが、前記第１実施形態と相違するものであるので、第１実施形態と同一の構成部分もしくは同一の処理部分については説明を省略し、相違点部分を中心に説明する。

前記第１実施形態では、対象物抽出領域が標準領域Ｓｓおよび拡大領域Ｓｂのいずれに設定されている場合でも、対象物の視差を求めるときに、右画像に設定されている対象物抽出領域に対する該対象物の相対位置と、左画像に設定されている対象物抽出領域（右画像と同じ種類の対象物抽出領域）に対する該対象物の相対位置との横方向の差分の画素数を該対象物の視差として算出した。

これに対して本実施形態では、対象物抽出領域が標準領域Ｓｓおよび拡大領域Ｓｂのいずれに設定されている場合でも、前記ＳＴＥＰ１４において、右画像の標準領域Ｓｓ（基準画像領域）に対する該対象物の相対位置と、左画像の標準領域Ｓｓ（基準画像領域）に対する該対象物の相対位置との横方向の差分の画素数を該対象物の視差として算出する。

具体的には、対象物抽出領域が標準領域Ｓｓに設定されている場合における視差の算出の仕方は、第１実施形態と同じである。すなわち、右画像の標準領域Ｓｓに対して固定された座標系Ｃｓでの対象物の位置（座標）と、左画像の標準領域Ｓｓに対して固定された座標系Ｃｓでの対象物の位置（座標）との横方向の差分の画素数が該対象物の視差として算出される。

一方、対象物抽出領域が拡大領域Ｓｂに設定されている場合における視差の算出の仕方は、第１実施形態と異なる。すなわち、対象物抽出領域が標準領域Ｓｓに設定されている場合と同様に、右画像の標準領域Ｓｓに対して固定された座標系Ｃｓでの対象物の位置（座標）と、左画像の標準領域Ｓｓに対して固定された座標系Ｃｓでの対象物の位置（座標）との横方向の差分の画素数が該対象物の視差として算出される。例えば、図９の対象物Ｔ１（車両１０の前方の他車両の左側テールランプの部分）の拡大領域Ｓｂにおける視差は、右画像の標準領域Ｓｓに対して固定された座標系Ｃｓでの対象物のｘ座標であるｘ1rsと、左画像の標準領域Ｓｓに対して固定された座標系Ｃｓでの対象物のｘ座標であるｘ1lsとの差分の画素数として求められる。

このようにして各種類の対象物抽出領域で対象物の視差を算出したとき、その視差と、該対象物の距離との関係は、対象物抽出領域の種類によらずに、前記式（６）により表される。従って、車両１０の製造時は保守・点検時に不揮発性メモリに記憶保持された前記基準パラメータが、標準領域Ｓｓと拡大領域Ｓｂとの両者に関して、視差と距離との関係を規定するものとなる。

そこで、本実施形態では、前記ＳＴＥＰ１４において上記の如く対象物の視差を求め、この求めた視差から前記式（６）により該対象物の距離を求める。以上説明した以外の構成および処理は第１実施形態と同じである。

なお、本実施形態では、左右の各画像における前記標準領域Ｓｓの位置を表すものとして、車両１０の製造時や保守・点検時に不揮発性メモリに記憶保持された位置データは、本願の第４発明、第９発明、第１３発明における基準点位置データに相当している。その位置データは、前記第１実施形態で説明した如く、左右の各画像の全体領域の左上の頂点を原点とする座標系（各画像に対して固定された座標系）での、標準領域Ｓｓの左上の頂点（標準領域Ｓｓの代表点）の位置（座標）である。そして、標準領域Ｓｓの左上の頂点が第４発明、第９発明、第１３発明における基準点に相当している。

かかる本実施形態においても第１実施形態と同様の効果を奏することができる。

補足すると、本実施形態では、拡大領域Ｓｂを第１実施形態と同じにしたが、例えば第２実施形態と同じに設定するようにしてもよい。より一般的には、各画像における拡大領域のサイズおよび位置は任意でよく、また、それらのサイズおよび位置が、右画像と左画像とで異なっていてもよい。

なお、以上説明した実施形態では、対象物抽出領域を２種類にしたが、より多くの対象物抽出領域を走行環境に応じて可変的に設定するようにしてもよい。

本発明の第１実施形態における車両の周辺監視装置の全体構成を示すブロック図。 図１の周辺監視装置を搭載した車両（車両）の外観を示す斜視図 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図１の周辺監視装置に備えた赤外線カメラの撮像画像と対象物抽出領域とを示す図。 図４のフローチャートのＳＴＥＰ１８の処理を示すフローチャート。 図６のフローチャートの処理を説明するための図。 本発明の第２実施形態における撮像画像と対象物抽出領域とを示す図。 本発明の第４実施形態における撮像画像と対象物抽出領域とを示す図。

符号の説明

１…画像処理ユニット（測距装置）、ＳＴＥＰ４…対象物抽出領域設定手段、ＳＴＥＰ１４…パラメータ決定手段、距離算出手段。

Claims (5)

1. 車両に搭載された２つの撮像装置からそれぞれ得られる第１の撮像画像および第２の撮像画像から、それぞれの撮像画像内に含まれる同一の対象物を抽出し、該対象物の前記第１の撮像画像上での位置と該対象物の第２の撮像画像上での位置との差である視差に基づいて、該対象物の前記車両に対する距離を算出する測距装置において、
   前記第１の撮像画像および第２の撮像画像のそれぞれの全体領域内であらかじめ定められた基準画像領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係を規定する基準パラメータと各撮像画像における前記基準画像領域の位置を表す位置データとをあらかじめ記憶保持した記憶手段と、
   前記第１の撮像画像および第２の撮像画像のそれぞれに、対象物の抽出を行なうべき対象物抽出領域を可変的に設定する対象物抽出領域設定手段と、
   前記第１の撮像画像および第２の撮像画像のそれぞれにおける前記設定された対象物抽出領域の位置と前記位置データが表す前記基準画像領域の位置との間の位置関係と、前記基準パラメータとに基づいて、前記第１撮像画像および第２の撮像画像のそれぞれに設定された対象物抽出領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係を規定するパラメータを決定するパラメータ決定手段と、
   前記第１撮像画像および第２の撮像画像のそれぞれに設定された対象物抽出領域で同一の対象物が抽出されたとき、該対象物抽出領域に対応して前記パラメータ決定手段により決定されたパラメータにより規定される関係に基づき、該対象物抽出領域における該対象物の視差から該対象物の距離を算出する距離算出手段とを備え、
   前記対象物抽出領域設定手段は、前記対象物抽出領域として、前記基準画像領域に一致する領域と、該基準画像領域よりも面積が大きく、該基準画像領域を内部に包含する領域とを、前記第１の撮像画像および第２の撮像画像のそれぞれに選択的に設定可能な手段であることを特徴とする測距装置。
2. 車両に搭載された２つの撮像装置からそれぞれ得られる第１の撮像画像および第２の撮像画像から、それぞれの撮像画像内に含まれる同一の対象物を抽出し、該対象物の前記第１の撮像画像上での位置と該対象物の第２の撮像画像上での位置との差である視差に基づいて、該対象物の前記車両に対する距離を算出する測距装置において、
   前記第１の撮像画像および第２の撮像画像のそれぞれの全体領域内であらかじめ定められた基準画像領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係を規定する基準パラメータと各撮像画像における前記基準画像領域の位置を表す位置データとをあらかじめ記憶保持した記憶手段と、
   前記第１の撮像画像および第２の撮像画像のそれぞれに、対象物の抽出を行なうべき対象物抽出領域を可変的に設定する対象物抽出領域設定手段と、
   前記第１撮像画像および第２の撮像画像のそれぞれに設定された対象物抽出領域で同一対象物が抽出されたとき、前記基準パラメータにより規定される関係に基づき、該対象物抽出領域における該対象物の視差から該対象物の距離を算出する距離算出手段とを備え、
   前記対象物抽出領域設定手段は、前記対象物抽出領域として、前記基準画像領域に一致する領域と、該基準画像領域よりも面積が大きく、該基準画像領域を内部に包含する領域とを、前記第１の撮像画像および第２の撮像画像のそれぞれに選択的に設定可能な手段であり、該基準画像領域よりも面積が大きく、該基準画像領域を内部に包含する領域を前記対象物抽出領域として前記第１の撮像画像および第２の撮像画像のそれぞれに設定するとき、前記第１の撮像画像および第２の撮像画像のそれぞれに設定する前記対象物抽出領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係が前記基準パラメータにより規定される関係に等しくなるように、前記位置データが表す前記基準画像領域の位置に応じて前記対象物抽出領域を設定することを特徴とする測距装置。
3. 車両に搭載された２つの撮像装置からそれぞれ得られる第１の撮像画像および第２の撮像画像から、それぞれの撮像画像内に含まれる同一の対象物を抽出し、該対象物の前記第１の撮像画像上での位置と該対象物の第２の撮像画像上での位置との差である視差に基づいて、該対象物の前記車両に対する距離を算出する測距装置において、
   前記第１の撮像画像および第２の撮像画像のそれぞれの全体領域内であらかじめ定められた複数種類の画像領域のそれぞれに対し、各種類の画像領域で同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係を規定するパラメータを各種類の画像領域に対応づけてあらかじめ記憶保持した記憶手段と、
   前記第１の撮像画像および第２の撮像画像のそれぞれに、対象物の抽出を行なうべき対象物抽出領域を前記複数種類の画像領域から選択的に設定する対象物抽出領域設定手段と、
   前記第１撮像画像および第２の撮像画像のそれぞれに設定された前記対象物抽出領域で同一対象物が抽出されたとき、該対象物抽出領域に対応する前記パラメータにより規定される関係に基づき、該対象物抽出領域における該対象物の視差から該対象物の距離を算出する距離算出手段とを備え、
   前記複数種類の画像領域は、互いに面積が相違し、且つ、面積の大きい画像領域が、面積の小さい画像領域を内部に包含するようにあらかじめ定められた画像領域であることを特徴とする測距装置。
4. 車両に搭載された２つの撮像装置からそれぞれ得られる第１の撮像画像および第２の撮像画像から、それぞれの撮像画像内に含まれる同一の対象物を抽出し、該対象物の前記第１の撮像画像上での位置と該対象物の第２の撮像画像上での位置との差である視差に基づいて、該対象物の前記車両に対する距離を算出する測距装置において、
   前記第１の撮像画像および第２の撮像画像のそれぞれにおける対象物の位置の基準とする基準点の位置を示す基準点位置データと、該第１の撮像画像および第２の撮像画像のそれぞれで同一の対象物が抽出された場合における該対象物の視差と該対象物の距離との関係を規定する基準パラメータとをあらかじめ記憶保持した記憶手段と、
   前記第１の撮像画像および第２の撮像画像のそれぞれに、対象物の抽出を行なうべき対象物抽出領域を可変的に設定する対象物抽出領域設定手段と、
   前記第１撮像画像および第２の撮像画像のそれぞれに設定された対象物抽出領域で同一対象物が抽出されたとき、前記第１の撮像画像上での前記基準点位置データが示す基準点に対する該対象物の相対位置と、前記第２の撮像画像上での前記基準点位置データが示す基準点に対する該対象物の相対位置との差を該対象物の視差として求め、その求めた視差から、前記基準パラメータにより規定される関係に基づき、該対象物の距離を算出する距離算出手段とを備え、
   前記対象物抽出領域設定手段は、前記対象物抽出領域として、前記第１の撮像画像および第２の撮像画像よりも面積が小さく、且つ、第１の撮像画像および第２の撮像画像のそれぞれにおける基準点に対する相対位置が固定された領域としてあらかじめ定められた基準画像領域に一致する領域と、該基準画像領域よりも面積が大きく、該基準画像領域を内部に包含する領域とを、前記第１の撮像画像および第２の撮像画像のそれぞれに選択的に設定可能な手段であることを特徴とする測距装置。
5. 請求項１〜４のいずれか１項に記載の測距装置を備えた車両の周辺監視装置であって、
   前記対象物抽出領域設定手段は、前記車両の走行環境に応じて前記対象物抽出領域を可変的に設定する手段であることを特徴とする車両の周辺監視装置。

Images