JP5950193B2 - 視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラム - Google Patents

Description

本発明は、移動体に搭載される一対の撮像手段によって移動体周囲の撮像領域を撮像して得られる一対の撮像画像データ間の視差値を演算する視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラムに関するものである。

この種の視差値演算装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置や、移動体の運転者に有益な情報を提供する情報提供装置などの物体検出処理に広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような運転者支援システムにおいては、自車両が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車両の周囲を撮像した撮像画像を解析して、自車両周囲に存在する各種物体（例えば、他車両、歩行者、車線やマンホール蓋などの路面構成物、電柱やガードレールなどの路端構造物など）までの距離を、精度よく検出することが重要である。

特許文献１には、水平方向に同じ高さで車両に搭載された２台のカメラにより測距対象（視差値算出対象）の赤外線画像を撮影し、各カメラで撮影した２つの赤外線画像の視差値を利用して、測距対象までの距離を算出する画像測距装置が開示されている。この画像測距装置では、２台のカメラの一方の画像を基準画像として、この基準画像をパターン領域に分割し、もう一方の画像上において同一サイズのパターン領域を順次シフトしながら両画像間における当該パターン領域の相関演算を行い、その相関度が最も高くなるシフト量を求める。そして、このシフト量である２つの画像の視差値から、三角測量の原理により、当該パターン領域に映し出されている測距対象までの距離を算出する。

図１（ａ）及び（ｂ）は、一対のカメラでそれぞれ撮像した撮像画像の一例をそれぞれ示す説明図である。
図１（ａ）及び（ｂ）に示す例では、まず、エピポーラ線が一致している一対のカメラを用い、互いに異なる方向から同じ撮像領域を撮像し、これにより得られる２つの撮像画像のうちの一方（図１（ａ）に示す画像）を基準画像とし、他方（図１（ｂ）に示す画像）を比較画像とする。その後、基準画像内のある画像領域が比較画像内のどの画像領域に対応するかを検索する。例えば、基準画像内の画像領域Ｗａに対応する比較画像内の画像領域を検索する際、縦方向位置は画像領域Ｗａの縦方向位置と同じ位置に固定したまま、横方向位置を変化させて、比較画像内を、Ｗｂ１→Ｗｂ２→Ｗｂ３…というように検索していく。そして、この検索を行いながら基準画像と比較画像との間の相関演算を行い、相関度が最も高くなる画像領域を検出して、撮像領域内の同一地点に対応する対応点を基準画像及び比較画像の両方で特定するマッチング処理を行う。

図２は、一般的な測距原理を示す説明図である。
マッチング処理により、基準画像内の画像領域Ｗａに対応する比較画像内の画像領域Ｗｂ３が特定されたら、撮像領域内の同一地点に対応した各画像領域Ｗａ，Ｗｂ３上の対応点について基準画像と比較画像とのズレ量を視差値として求め、三角測量の原理を利用して、測距対象である当該同一地点までの距離を算出する。

移動体に搭載される一対のカメラ（撮像手段）で撮像した一対の撮像画像データ間の視差値を演算する場合、この一対の撮像画像データは同じ撮像タイミングに撮像されたものであることが望まれる。なぜなら、視差値は、一対の撮像画像データ間における画像のズレが一対のカメラの取り付け位置の差によってのみ生じることを前提にして算出されるからである。

図３（ａ）及び（ｂ）は、撮像タイミングがズレている一対のカメラで自車両の進行方向前方を撮像した撮像画像の一例をそれぞれ模式的に示した画像例である。
この例は、図３（ａ）に示す撮像画像が先に撮像され、これに遅れて図３（ｂ）に示す撮像画像が撮像されたものである。このように一方のカメラの撮像タイミングが遅れていると、図示のように、その遅れ時間中に、当該一対のカメラが搭載された自車両が移動し、これに伴って当該一対のカメラも移動する。そのため、一対の撮像画像データ間における画像のズレには、その遅れ時間中におけるカメラの移動に起因するズレも含まれてしまう。また、例えば他車両や歩行者のように視差値算出対象が移動するものである場合には、その遅れ時間中に視差値算出対象が移動してしまい、一対の撮像画像データ間における視差値算出対象の画像のズレには、視差値算出対象の移動に起因するズレも含まれてしまう。

このように、一対のカメラの撮像タイミングがズレていると、一対の撮像画像データ間における画像のズレに対し、一対のカメラの取り付け位置の差とは異なる要因に基づくズレが含まれる。その場合、画像のズレから視差値を算出すると、当該画像に対する本来の視差値から許容範囲を超えるほど異なった視差値が算出されるという問題が生じる。

本発明者は、上記問題を解消すべく、一対のカメラ間の撮像タイミングのズレ量を検出し、検出したズレ量が所定のズレ許容範囲を超える場合には視差値の利用を制限するように動作する視差値演算装置を開発した。この視差値演算装置によれば、許容範囲を超える撮像タイミングのズレが生じた場合でも、誤った視差値の利用が制限されるので、誤った視差値による不具合の発生を抑制することができる。そして、カメラの同期信号を調整するなどして一対のカメラ間の撮像タイミングのズレを許容範囲内に戻せば、再び、適切な視差値を利用することが可能となる。

ところが、一対のカメラ間の撮像タイミングのズレ量の最適な許容範囲は、当該一対のカメラが搭載される移動体の移動速度によって変わってくる。すなわち、撮像タイミングのズレ量が一定であっても、移動体の速度が変化する場合には、そのズレ量に応じた時間中に移動体が移動する距離が変わる。また、視差算出対象が移動している場合、移動体の速度が変化すると、そのズレ量に応じた時間中に視差算出対象が移動する距離が変わる。したがって、移動体の速度が変化すると、撮像タイミングのズレ量が一定であっても、移動体の移動が一対の撮像画像データ間における画像のズレに与える影響が変わり、この画像のズレ量から算出される視差値の誤差が変わってくる。

撮像タイミングのズレ量の許容範囲は、算出される視差値の誤差が許容範囲を超えないことを基準に設定される。よって、撮像タイミングのズレ量の最適な許容範囲は、撮像タイミングのズレ量が一定であっても、移動体の速度に応じて変化する。そのため、撮像タイミングのズレ量が予め決められた一定のズレ許容範囲を超える場合に視差値の出力を行わないような処理動作では、移動体の速度が想定よりも速い場合などにおいて、誤った視差値の利用を安定して制限することができないという問題が生じる。一方、この一定のズレ許容範囲を予め十分に狭い範囲に設定しておけば、誤った視差値の利用を安定して制限できるものの、十分に許容される誤差しか含んでいない視差値でも、視差値の利用が制限されてしまい、実用上で問題が生じる。

本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、一対のカメラ間の撮像タイミングにズレが生じる場合でも、そのズレ許容範囲を過剰に狭い範囲に設定することなく、誤った視差値が利用されるのを安定して制限できる視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラムを提供することである。

上記目的を達成するために、本発明は、移動体の移動速度を検出する移動速度検出手段を備えた当該移動体に搭載される一対の撮像手段によって当該移動体の周囲の撮像領域を撮像して得られる一対の撮像画像データ間の視差値を演算する視差値演算手段を備えた視差値演算装置において、上記一対の撮像手段から入力される該一対の撮像手段の各撮像タイミングを示す情報を用いて上記一対の撮像手段間の撮像タイミングのズレ量を検出するタイミングズレ量検出手段と、上記タイミングズレ量検出手段が検出したズレ量が所定のズレ許容範囲を超える場合には、上記視差値演算手段が演算する視差値の利用を制限するための処理を実行する利用制限処理実行手段とを有し、上記利用制限処理実行手段は、上記移動速度検出手段が検出した速度検出結果に基づき、上記移動体の移動速度が遅いほど上記所定のズレ許容範囲が広がるように、上記所定のズレ許容範囲を変更することを特徴とする。

移動体の移動が一対の撮像画像データ間における画像のズレに与える影響は、移動体の速度が速いほど大きいものとなる。よって、本発明においては、移動体の移動速度が遅いほど所定のズレ許容範囲が広がるように、一対の撮像手段間の撮像タイミングのズレ許容範囲を変更する。これにより、移動体の速度に応じて視差値の誤差が変わっても、その誤差が許容範囲を超えないように撮像タイミングのズレ許容範囲が変更される。よって、撮像タイミングのズレ許容範囲を予め過剰に狭い範囲に設定しておかなくても、誤った視差値が利用されるのを安定して制限することができる。

本発明によれば、一対のカメラ間の撮像タイミングにズレが生じる場合でも、そのズレ許容範囲を過剰に狭い範囲に設定することなく、誤った視差値が利用されるのを安定して制限できるという優れた効果が得られる。

（ａ）及び（ｂ）は、ステレオカメラを構成する２台のカメラでそれぞれ撮像した基準画像と比較画像を示す説明図である。 一般的な測距原理を示す説明図である。 （ａ）及び（ｂ）は、撮像タイミングがズレている一対のカメラで自車両の進行方向前方を撮像した撮像画像の一例をそれぞれ模式的に示した画像例である。 実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムにおける撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 （ａ）は視差画像の視差値分布の一例を示す説明図である。（ｂ）は、同（ａ）の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ（Ｖマップ）を示す説明図である。 （ａ）は、撮像画像（輝度画像）の一例を模式的に表した画像例である。（ｂ）は、視差ヒストグラム計算部により算出される行視差分布マップ（Ｖマップ）を直線近似したグラフである。 実施形態における路面領域認識処理の流れを示すフローチャートである。 各撮像部の出力データ方式を説明するためのタイミングチャートである。 実施形態における位相差検出部の動作を説明するためのタイミングチャートである。

以下、本発明に係る視差値演算装置を、車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る視差値演算装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。

図４は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの移動体である自車両１００に搭載された撮像ユニットで撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して認識対象物の認識結果に応じて各種車載機器の制御を行うものである。

本実施形態の車載機器制御システムには、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、例えば、自車両１００が走行している路面（移動面）を映し出す路面領域（移動面領域）を検出する。

画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８に送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した路面領域（移動可能領域）の認識結果に基づいて、走行可能領域から自車両１００が外れそうな場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図５は、本実施形態の車載機器制御システムに利用される視差値演算システムを含む路面領域認識システム（移動面認識システム）の概略構成を示す模式図である。
撮像ユニット１０１は、撮像手段としての２つの撮像部１１０Ａ，１１０Ｂを一対で備えたステレオカメラであり、２つの撮像部１１０Ａ，１１０Ｂの構成は同一のものである。各撮像部１１０Ａ，１１０Ｂは、主に、撮像レンズと、必要に応じて光学フィルタと、撮像素子が２次元配置された画像センサを含んだセンサ基板と、センサ基板から出力されるアナログ電気信号（画像センサ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部とから構成されている。

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部を備えている。この処理ハードウェア部は、各撮像部１１０Ａ，１１０Ｂから出力される一対の撮像画像データから視差画像データを得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算して出力する視差値演算出力手段としての視差演算部１２１を備えている。ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

視差値から距離を算出する方法は以下のとおりである。
視差演算部１２１で算出した視差値（基準画像上の画像部分と比較画像上の対応画像部分とのズレ量）をｄとし、２つの撮像部１１０Ａ，１１０Ｂの間隔（基線長）をＢとし、焦点距離ｆとしたとき、当該画像部分に映し出されている対象物までの距離Ｚは、以下の式（１）より算出することができる。このようにして算出される距離Ｚは、例えば、数値として自車両室内の画像表示装置に表示させるようにしてもよい。
Ｚ／Ｂ ＝ ｆ／ｄ ・・・（１）

一方、画像解析ユニット１０２は、撮像ユニット１０１から出力される視差画像データを記憶するメモリと、識別対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵したＭＰＵ（Micro Processing Unit）とを備えている。ＭＰＵは、メモリに格納された視差画像データを用いて各種の認識処理を実行する。

次に、本実施形態における路面領域認識システムで行われる路面認識処理について説明する。
本実施形態の視差演算部１２１は、２つの撮像部１１０Ａ，１１０Ｂのうちの一方の撮像部１１０Ａの撮像画像データを基準画像データとし、他方の撮像部１１０Ｂの撮像画像データを比較画像データとして用い、両者の視差値を演算して視差画像データを生成し、出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値に応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、視差演算部１２１は、基準画像データのある行について、一の注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（Ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値として算出する。このような視差値を算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。このようにして得られる視差画像データは、視差ヒストグラム計算部１４１に送られる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

視差画像データを取得した視差ヒストグラム計算部１４１は、視差画像データの各行について、視差値頻度分布を計算する。具体例を挙げて説明すると、図６（ａ）に示すような視差値分布をもった視差画像データが入力されたとき、視差ヒストグラム計算部１４１は、図６（ｂ）に示すような行ごとの視差値頻度分布を計算して出力する。このようにして得られる各行の視差値頻度分布の情報から、例えば、縦方向に視差画像上の縦方向位置をとり、横方向に視差値をとった２次元平面上に、視差画像データ上の各画素を分布させた行視差分布マップ（Ｖマップ）を得ることができる。

図７（ａ）は、撮像部１１０Ａで撮像した撮像画像（輝度画像）の一例を模式的に表した画像例であり、図７（ｂ）は、視差ヒストグラム計算部１４１により算出される行ごとの視差値頻度分布から、行視差分布マップ（Ｖマップ）上の画素分布を直線近似したグラフである。
図７（ａ）に示す画像例は、中央分離帯を有する片側２車線の直線道路において自車両が左車線を走行している状況を撮像したものであり、図中符号ＣＬは中央分離帯を映し出す中央分離帯画像部であり、図中符号ＷＬは車線境界線である白線を映し出す白線画像部（車線境界線画像部）であり、図中符号ＥＬは路端に存在する縁石等の段差を映し出す路端段差画像部である。以下、路端段差画像部ＥＬ及び中央分離帯段差画像部ＣＬをまとめて段差画像部という。また、図中破線で囲まれた領域ＲＳは、中央分離帯と路側段差とによって区画される車両走行が可能な路面領域である。

本実施形態では、路面領域認識部１４２において、視差ヒストグラム計算部１４１から出力される各行の視差値頻度分布の情報から、路面領域ＲＳを認識する。具体的には、路面領域認識部１４２は、まず、視差ヒストグラム計算部１４１から各行の視差値頻度分布情報を取得し、その情報から特定される行視差分布マップ上の画素分布を最小二乗法やハフ変換処理などにより直線近似する処理を行う。これにより得られる図７（ｂ）に示す近似直線は、視差画像の下部に対応する行視差分布マップの下部において、画像上方へ向かうほど視差値が小さくなるような傾きをもった直線となる。すなわち、この近似直線上又はその近傍に分布する画素（視差画像上の画素）は、視差画像上の各行においてほぼ同一距離に存在して最も占有率が高く、かつ、画像上方へ向かうほど距離が連続的に遠くなる対象を映し出した画素であると言える。

ここで、撮像部１１０Ａでは自車両前方領域を撮像するため、その視差画像の内容は、図７（ａ）に示すように、画像下部において路面領域ＲＳの占有率が最も高く、また、画像上方へ向かうほど路面領域ＲＳの視差値は小さくなる。また、同じ行（横ライン）内において、路面領域ＲＳを構成する画素はほぼ同じ視差値を持つことになる。したがって、視差ヒストグラム計算部１４１から出力される各行の視差値頻度分布情報から特定される、上述した行視差分布マップ（Ｖマップ）上の近似直線上又はその近傍に分布する画素は、路面領域ＲＳを構成する画素が持つ特徴に合致する。よって、図７（ｂ）に示す近似直線上又はその近傍に分布する画素は、高い精度で、路面領域ＲＳを構成する画素であると推定できる。

このように、本実施形態の路面領域認識部１４２は、視差ヒストグラム計算部１４１から得た各行の視差値頻度分布情報に基づいて演算した行視差分布マップ（Ｖマップ）上の直線近似を行い、その近似直線上又はその近傍に分布する画素を、路面を映し出す画素として特定し、特定した画素によって占められる画像領域を路面領域ＲＳとして認識する。なお、路面上には図７（ａ）に示すように白線も存在するが、路面領域認識部１４２では、白線画像部ＷＬも含めて路面領域ＲＳを認識する。

路面領域認識部１４２の認識結果は、車両走行制御ユニット１０８へ送られる。車両走行制御ユニット１０８では、例えば、この路面領域認識結果に基づいて、走行可能領域から自車両１００が外れそうな場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。また、車両走行制御ユニット１０８では、例えば、撮像ユニット１０１で撮像した自車両前方の撮像画像を例えば自車両室内の画像表示装置に表示する制御を車両走行制御ユニット１０８が行っている場合、車両走行制御ユニット１０８は、路面領域認識部１４２の認識結果に基づき、その表示画像上の対応する路面領域ＲＳを強調表示するなど、路面領域ＲＳが視認しやすい表示処理を行ってもよい。

ここで、ステレオカメラを構成する一対の撮像部１１０Ａ，１１０Ｂの撮像タイミングがズレている場合、一方の撮像部の撮像タイミングに遅れて他方の撮像部が撮像することになる。その遅れ時間中に自車両１００が移動するため、上述したように、視差演算部１２１で算出される視差値には、その遅れ時間中に自車両が移動することによる誤差が含まれることになる。この視差値誤差が許容範囲を超えていると、視差演算部１２１で算出された視差値から得られる視差値頻度分布情報が不正確なものとなり、その不正確な視差値頻度分布情報から路面領域認識部１４２が認識する路面領域ＲＳは、認識精度が低いものとなる。この場合、路面領域認識部１４２の路面領域認識結果の信頼性が低いものとなって、後段の処理を適正に行うことができないおそれがある。

そこで、本実施形態では、一対の撮像部１１０Ａ，１１０Ｂ間の撮像タイミングのズレ量を把握するために、位相差検出部１２２において、一対の撮像部１１０Ａ，１１０Ｂの同期信号の位相差を検出する。そして、同期ズレ判断部１２３において、位相差検出部１２２で検出された位相差が、視差演算部１２１で算出される視差値に対して許容範囲を超えるほどの誤差を生じさせるものであるかどうかを判断する。この判断の結果、視差値に対して許容範囲を超えるほどの誤差を生じさせると判断された場合には、路面領域認識部１４２は、視差ヒストグラム計算部１４１からの視差値頻度分布情報を用いず、白線認識処理部１４９の白線認識結果から路面領域ＲＳを認識する。

具体的には、白線認識処理部１４９は、基準画像データを撮像する撮像部１１０Ａから撮像画像データを取得し、まずは、画素値（輝度）が規定値以上変化する箇所をエッジ部分として抽出する。エッジ抽出の方法は、公知のものを広く利用することができる。多くの道路では、黒色に近い色の路面上に白線が形成されており、輝度画像上において白線画像部ＷＬの輝度は路面上の他部分より十分に大きい。そのため、輝度画像上で所定値以上の画素値の差を有するエッジ部は、白線のエッジ部である可能性が高い。また、路面上の白線を映し出す白線画像部ＷＬは、撮像画像上においてライン状に映し出されるので、ライン状に並ぶエッジ部を特定することで、白線のエッジ部を高精度に認識することができる。よって、本実施形態の白線認識処理部１４９は、エッジ部分について最小二乗法やハフ変換処理などによる直線近似処理を施し、得られた近似直線を白線のエッジ部（路面上の白線を映し出す白線画像部ＷＬ）として認識する。

路面領域認識部１４２は、白線認識処理部１４９から出力される白線認識結果に基づいて路面領域ＲＳを認識する場合には、次のような処理を行う。まず、撮像画像データについて、白線認識結果に基づいて特定される白線画像部よりも画像左右方向外側に向かってエッジ箇所を探索していく。多くの場合、路面の側端部（白線よりも外側）には段差や壁などの路側部材が存在し、この路側部材によって生じる陰影によって路面との境界に輝度差が生じる。よって、白線画像部よりも画像左右方向外側に存在するエッジ箇所は、このような陰影の箇所である可能性が高く、これを路面領域の境界として認識することが可能である。

次に、一対の撮像部１１０Ａ，１１０Ｂの撮像タイミングのズレ量を利用した路面領域認識部１４２の路面領域認識処理について説明する。
図８は、本実施形態における路面領域認識処理の流れを示すフローチャートである。
本実施形態において、位相差検出部１２２には、一対の撮像部１１０Ａ，１１０Ｂからそれぞれの垂直同期信号と水平同期信号が入力され、それぞれの垂直同期信号の間の位相差を検出する（Ｓ１）。位相差の測定単位は、水平同期信号の数としている。したがって、本実施形態の撮像タイミングのズレは、例えば、７本の水平同期信号分だけズレているというような形で把握することができる。

本実施形態の位相差検出部１２２は、アップダウンカウンタで構成されており、一対の撮像部１１０Ａ，１１０Ｂそれぞれから出力される同期信号間の位相差を、カウント値として表すものである。より詳しくは、ある時刻に一方の撮像部の垂直同期信号がＨレベルになってから、他方の撮像部の垂直同期信号がＨレベルになるまでの時間差を測定する。

位相差検出部１２２の動作の説明に先立ち、各撮像部１１０Ａ，１１０Ｂの出力データ方式について説明する。
図９は、各撮像部１１０Ａ，１１０Ｂの出力データ方式を説明するためのタイミングチャートである。
各撮像部１１０Ａ，１１０Ｂからは、画像データが継続的に出力されるが、その画像データのどこからどこまでが一画面にあたるのかを示す垂直同期信号や、その画像データのどこからどこまでが横１ライン分（１行分）にあたるのかを示す水平同期信号も出力される。画像データには、撮像領域を撮影して得られた有効な画像データだけでなく、撮像部の動作上必要ではあるが画像としては意味の無いデータも含まれる。水平同期信号は、横１ラインのうち有効な画像が出力されている期間にＨレベルを示す。垂直同期信号は、水平同期信号が継続的に出力されている期間にＨレベルを示す。

図１０は、本実施形態における位相差検出部１２２の動作を説明するためのタイミングチャートである。
位相差検出部１２２を構成するアップダウンカウンタは、一方の撮像部１１０Ａから出力される第一の垂直同期信号及び他方の撮像部１１０Ｂから出力される第二の垂直同期信号のうち、どちらか一方がＬレベルからＨレベルに遷移したことを検出すると、カウント有効期間になる。第一の垂直同期信号がＨレベルに遷移してカウント有効期間に入った場合には、カウントアップ動作を行う。一方、第二の垂直同期信号がＨレベルに遷移してカウント有効期間に入った場合には、カウントダウン動作を行う。図示の例は、第一の垂直同期信号がＨレベルに遷移してカウント有効期間に入った場合であるため、アップダウンカウンタは、カウントアップ動作を行う。

その後、アップダウンカウンタは、他方の垂直同期信号がＬレベルからＨレベルに遷移したことを検出すると、カウント有効期間を終了し、その時のカウント値を維持する。そして、その後に、第一の垂直同期信号及び第二の垂直同期信号のうちのどちらか一方がＨレベルからＬレベルに遷移したことを検出すると、カウント値をゼロに戻す。

カウント有効期間におけるカウントアップ動作又はカウントダウン動作は、撮像部１１０Ａから出力される第一の水平同期信号、もしくは、撮像部１１０Ｂから出力される第二の水平同期信号のうち、どちらか一方が１回入力されるたびに、１カウントずつ行う。したがって、アップダウンカウンタのカウント値は、それぞれの垂直同期信号間の位相差が水平同期信号の何回分に相当するかを示すものとなる。これは、言い換えると、１画面の開始時刻のズレが横ライン何本分に相当するかを示すものと言える。

以上のようにして検出された撮像タイミングのズレ量（位相差検出部１２２のカウント値＝垂直同期信号の位相差）は、同期ズレ判断部１２３へ送られる。同期ズレ判断部１２３では、この撮像タイミングのズレ量が上述したマッチング処理に支障をきたすほどに大きいかどうかを判断し、その判断結果を路面領域認識部１４２へ出力する。

同期ズレ判断部１２３は、その判断に先立って、まず、自車両１００に搭載されている図示しない車速検出部で検出した車速情報を取得し（Ｓ２）、この車速情報に基づいて、撮像タイミングのズレ量と比較するための閾値を決定する（Ｓ３）。具体的には、自車両１００の車速が遅いほど閾値が大きくなるように、閾値を決定する。したがって、自車両１００の車速が遅いほど、閾値が大きくなって、視差ヒストグラム計算部１４１からの視差値頻度分布情報を用いた路面領域認識処理を実行できるズレ許容範囲が広がる。逆に、自車両１００の車速が速いほど、閾値が小さくなるので、視差ヒストグラム計算部１４１からの視差値頻度分布情報を用いた路面領域認識処理を実行できるズレ許容範囲は狭くなる。なお、図１０に示す例では、閾値の絶対値が５に決定された例である。

同期ズレ判断部１２３は、このようにして車速情報に応じて決定された閾値と、位相差検出部１２２のカウント値が示す垂直同期信号の位相差（撮像タイミングのズレ量）とを比較し（Ｓ４）、位相差が閾値以下である場合には（Ｓ４のＮｏ）、その旨の判断結果を路面領域認識部１４２へ出力する。これにより、路面領域認識部１４２では、視差ヒストグラム計算部１４１からの視差値頻度分布情報を用いて、路面領域ＲＳの認識処理を行う（Ｓ５）。

一方、位相差が閾値を超えている場合には（Ｓ４のＹｅｓ）、その旨の判断結果を路面領域認識部１４２へ出力する。これにより、路面領域認識部１４２では、視差ヒストグラム計算部１４１からの視差値頻度分布情報を用いずに、白線認識処理部１４９の白線認識結果から路面領域ＲＳを認識する（Ｓ６）。このように位相差が閾値を超えている場合、すなわち、撮像タイミングのズレ量が所定のズレ許容範囲を超える場合には、撮像タイミングのズレ量がズレ許容範囲内に戻るように、一対の撮像部１１０Ａ，１１０Ｂの撮像タイミングを修正する処理動作を実行するのが好ましい。

なお、本実施形態では、位相差が閾値を超えている場合、すなわち、撮像タイミングのズレ量が所定のズレ許容範囲を超える場合には、視差値に基づく路面認識処理に代えて、輝度情報に基づく路面認識処理を行っているが、例えば、視差値を用いた後段の処理それ自体（路面認識処理や、視差値から距離を演算する処理など）を中止してもよい。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
自車両１００等の移動体の移動速度を検出する車速検出部等の移動速度検出手段を備えた当該移動体に搭載される一対の撮像部１１０Ａ，１１０Ｂ等の撮像手段によって当該移動体周囲の撮像領域を撮像して得られる一対の撮像画像データ間の視差値を演算する視差演算部１２１等の視差値演算手段を備えた視差値演算装置において、上記一対の撮像手段から入力される該一対の撮像手段の各撮像タイミングを示す同期信号等の情報を用いて上記一対の撮像手段間の撮像タイミングのズレ量を検出する位相差検出部１２２等のタイミングズレ量検出手段と、上記タイミングズレ量検出手段が検出したズレ量が所定のズレ許容範囲を超える場合には、上記視差値演算手段が演算する視差値の利用を制限するための処理を実行する同期ズレ判断部１２３等の利用制限処理実行手段とを有し、上記利用制限処理実行手段は、上記移動速度検出手段が検出した速度検出結果に基づき、上記移動体の移動速度が遅いほど上記所定のズレ許容範囲が広がるように、上記所定のズレ許容範囲を変更することを特徴とする。
これによれば、移動体の速度に応じて視差値の誤差が変わっても、その誤差が許容範囲を超えないように撮像タイミングのズレ許容範囲が変更される結果、撮像タイミングのズレ許容範囲を予め過剰に狭い範囲に設定しておかなくても、許容範囲を超える誤った視差値が利用されるのを安定して制限することができる。

（態様Ｂ）
上記態様Ａにおいて、上記一対の撮像手段の各撮像タイミングを示す情報として、該一対の撮像手段から出力される各撮像画像データの同期信号を用い、上記タイミングズレ量検出手段は、上記一対の撮像手段間の撮像タイミングのズレ量として、上記一対の撮像手段間の同期信号の位相差を検出することを特徴とする。
これによれば、撮像手段で一般に使用されている同期信号を用いて、撮像タイミング間のズレ量を検出することができる。

（態様Ｃ）
上記態様Ｄにおいて、上記タイミングズレ量検出手段は、上記一対の撮像手段の一方の撮像手段についての同期信号が最初に入力された場合には、上記一対の撮像手段間の同期信号の位相差を示すカウント値を、該一対の撮像手段の他方の撮像手段についての同期信号が入力されるまでカウントアップし、該他方の撮像手段についての同期信号が最初に入力された場合には、該カウント値を、該一方の撮像手段についての同期信号が入力されるまでカウントダウンし、カウントしたカウント値を出力するものであることを特徴とする。
これによれば、カウント値が初期値よりも大きな値であれば、一方の撮像手段に対して他方の撮像手段の撮像タイミングが遅れていることを把握でき、カウント値が初期値よりも小さな値であれば、他方の撮像手段に対して一方の撮像手段の撮像タイミングが遅れていることを把握できる。よって、簡易な構成で、いずれの撮像手段の撮像タイミングが遅れているのかを把握できる。

（態様Ｄ）
移動体の移動速度を検出する移動速度検出手段を備えた当該移動体に搭載される一対の撮像手段と、該一対の撮像手段によって当該移動体周囲の撮像領域を撮像して得られる一対の撮像画像データ間の視差値を演算する視差値演算装置とを備えた視差値演算システムにおいて、上記視差値演算装置として、上記態様Ａ〜Ｃのいずれかの態様に係る視差値演算装置を用いたことを特徴とする。
これによれば、撮像タイミングのズレ許容範囲を予め過剰に狭い範囲に設定しておかなくても、許容範囲を超える誤った視差値が利用されるのを安定して制限できる視差値演算システムを提供できる。

（態様Ｅ）
移動面上を移動する移動体に搭載された撮像手段で移動体周囲を撮像して得た撮像画像から、当該移動体が移動する移動面を映し出す移動面領域を認識する移動面領域認識システムにおいて、上記態様Ｄに係る視差値演算システムと、上記視差値演算システムによって演算される視差値および上記一対の撮像手段の少なくとも一方によって得られる輝度画像に基づいて、上記移動面領域を認識する処理を行う認識処理手段とを有することを特徴とする。
これによれば、撮像タイミングのズレ許容範囲を予め過剰に狭い範囲に設定しておかなくても、許容範囲を超える誤った視差値が利用されるのを安定して制限でき、移動面領域の認識精度を向上させることができる。

（態様Ｆ）
移動体の移動速度を検出する移動速度検出手段を備えた当該移動体に搭載される一対の撮像手段によって当該移動体周囲の撮像領域を撮像して得られる一対の撮像画像データ間の視差値を演算する視差値演算工程を有する視差値演算方法において、上記一対の撮像手段から入力される該一対の撮像手段の各撮像タイミングを示す情報を用いて上記一対の撮像手段間の撮像タイミングのズレ量を検出するタイミングズレ量検出工程と、上記タイミングズレ量検出工程で検出されたズレ量が所定のズレ許容範囲を超える場合には、上記視差値演算工程で演算される視差値の利用を制限するための処理を実行する利用制限処理実行工程とを有し、上記利用制限処理実行工程は、上記移動速度検出手段で検出された速度検出結果に基づき、上記移動体の移動速度が遅いほど上記所定のズレ許容範囲が広がるように、上記所定のズレ許容範囲を変更することを特徴とする。
これによれば、撮像タイミングのズレ許容範囲を予め過剰に狭い範囲に設定しておかなくても、許容範囲を超える誤った視差値が利用されるのを安定して制限できる。

（態様Ｇ）
移動体の移動速度を検出する移動速度検出手段を備えた当該移動体に搭載される一対の撮像手段によって当該移動体周囲の撮像領域を撮像して得られる一対の撮像画像データ間の視差値を演算する視差値演算工程を、コンピュータに実行させるための視差値演算用プログラムにおいて、上記一対の撮像手段から入力される該一対の撮像手段の各撮像タイミングを示す情報を用いて上記一対の撮像手段間の撮像タイミングのズレ量を検出するタイミングズレ量検出工程と、上記タイミングズレ量検出工程で検出されたズレ量が所定のズレ許容範囲を超える場合には、上記視差値演算工程で演算される視差値の利用を制限するための処理を実行する利用制限処理実行工程とを、上記コンピュータに実行させるものであって、上記利用制限処理実行工程は、上記移動速度検出手段で検出された速度検出結果に基づき、上記移動体の移動速度が遅いほど上記所定のズレ許容範囲が広がるように、上記所定のズレ許容範囲を変更することを特徴とする。
これによれば、撮像タイミングのズレ許容範囲を予め過剰に狭い範囲に設定しておかなくても、許容範囲を超える誤った視差値が利用されるのを安定して制限できる。
尚、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０５ フロントガラス
１０８ 車両走行制御ユニット
１１０Ａ，１１０Ｂ 撮像部
１２１ 視差演算部
１２２ 位相差検出部
１２３ 同期ズレ判断部
１４１ 視差ヒストグラム計算部
１４２ 路面領域認識部
１４９ 白線認識処理部

特開２００３−２８６３５号公報

Claims (7)

1. 移動体の移動速度を検出する移動速度検出手段を備えた当該移動体に搭載される一対の撮像手段によって当該移動体の周囲の撮像領域を撮像して得られる一対の撮像画像データ間の視差値を演算する視差値演算手段を備えた視差値演算装置において、
   上記一対の撮像手段から入力される該一対の撮像手段の各撮像タイミングを示す情報を用いて上記一対の撮像手段間の撮像タイミングのズレ量を検出するタイミングズレ量検出手段と、
   上記タイミングズレ量検出手段が検出したズレ量が所定のズレ許容範囲を超える場合には、上記視差値演算手段が演算する視差値の利用を制限するための処理を実行する利用制限処理実行手段とを有し、
   上記利用制限処理実行手段は、上記移動速度検出手段が検出した速度検出結果に基づき、上記移動体の移動速度が遅いほど上記所定のズレ許容範囲が広がるように、上記所定のズレ許容範囲を変更することを特徴とする視差値演算装置。
2. 請求項１の視差値演算装置において、
   上記一対の撮像手段の各撮像タイミングを示す情報として、該一対の撮像手段から出力される各撮像画像データの同期信号を用い、
   上記タイミングズレ量検出手段は、上記一対の撮像手段間の撮像タイミングのズレ量として、上記一対の撮像手段間の同期信号の位相差を検出することを特徴とする視差値演算装置。
3. 請求項２の視差値演算装置において、
   上記タイミングズレ量検出手段は、上記一対の撮像手段の一方の撮像手段についての同期信号が最初に入力された場合には、上記一対の撮像手段間の同期信号の位相差を示すカウント値を、該一対の撮像手段の他方の撮像手段についての同期信号が入力されるまでカウントアップし、該他方の撮像手段についての同期信号が最初に入力された場合には、該カウント値を、該一方の撮像手段についての同期信号が入力されるまでカウントダウンし、カウントしたカウント値を出力するものであることを特徴とする視差値演算装置。
4. 移動体の移動速度を検出する移動速度検出手段を備えた当該移動体に搭載される一対の撮像手段と、
   該一対の撮像手段によって当該移動体の周囲の撮像領域を撮像して得られる一対の撮像画像データ間の視差値を演算する視差値演算装置とを備えた視差値演算システムにおいて、
   上記視差値演算装置として、請求項１乃至３のいずれか１項に記載の視差値演算装置を用いたことを特徴とする視差値演算システム。
5. 移動面上を移動する移動体に搭載された撮像手段で当該移動体の周囲を撮像して得た撮像画像から、当該移動体が移動する移動面を映し出す移動面領域を認識する移動面領域認識システムにおいて、
   請求項４の視差値演算システムと、
   上記視差値演算システムによって演算される視差値および上記一対の撮像手段の少なくとも一方によって得られる輝度画像に基づいて、上記移動面領域を認識する処理を行う認識処理手段とを有することを特徴とする移動面領域認識システム。
6. 移動体の移動速度を検出する移動速度検出手段を備えた当該移動体に搭載される一対の撮像手段によって当該移動体の周囲の撮像領域を撮像して得られる一対の撮像画像データ間の視差値を演算する視差値演算工程を有する視差値演算方法において、
   上記一対の撮像手段から入力される該一対の撮像手段の各撮像タイミングを示す情報を用いて上記一対の撮像手段間の撮像タイミングのズレ量を検出するタイミングズレ量検出工程と、
   上記タイミングズレ量検出工程で検出されたズレ量が所定のズレ許容範囲を超える場合には、上記視差値演算工程で演算される視差値の利用を制限するための処理を実行する利用制限処理実行工程とを有し、
   上記利用制限処理実行工程は、上記移動速度検出手段で検出された速度検出結果に基づき、上記移動体の移動速度が遅いほど上記所定のズレ許容範囲が広がるように、上記所定のズレ許容範囲を変更することを特徴とする視差値演算方法。
7. 移動体の移動速度を検出する移動速度検出手段を備えた当該移動体に搭載される一対の撮像手段によって当該移動体の周囲の撮像領域を撮像して得られる一対の撮像画像データ間の視差値を演算する視差値演算工程を、コンピュータに実行させるための視差値演算用プログラムにおいて、
   上記一対の撮像手段から入力される該一対の撮像手段の各撮像タイミングを示す情報を用いて上記一対の撮像手段間の撮像タイミングのズレ量を検出するタイミングズレ量検出工程と、
   上記タイミングズレ量検出工程で検出されたズレ量が所定のズレ許容範囲を超える場合には、上記視差値演算工程で演算される視差値の利用を制限するための処理を実行する利用制限処理実行工程とを、上記コンピュータに実行させるものであって、
   上記利用制限処理実行工程は、上記移動速度検出手段で検出された速度検出結果に基づき、上記移動体の移動速度が遅いほど上記所定のズレ許容範囲が広がるように、上記所定のズレ許容範囲を変更することを特徴とする視差値演算用プログラム。