JPH09223227A - 車両用環境認識装置 - Google Patents

Abstract

(57)【要約】 【課題】ステレオカメラにおいて、車体にピッチングが
発生しても、左右の対応画像をエピポーラーラインに沿
った狭い帯状領域を検索することのみで確実に検出でき
るようにする。 【解決手段】ピッチ角演算器９７により車体Ｍのピッチ
角θａｐを演算する際、車高センサ９１、９２検出され
たピッチ方向の傾斜量の低域通過成分Ｈｒ′、Ｈｆ′か
ら得られる傾斜量θｈと、ピッチレートセンサ９３によ
り検出されたピッチレートから求めたピッチ量の高域通
過成分θｐ′との合成値を車体のピッチ角θａｐ（θａ
ｐ＝θｈ＋θｐ′）として演算し、対応処理手段で、演
算されたピッチ角θａｐに応じた分だけ画像間の対応を
採るための小領域を画像の上下方向に移動するようにし
たので、たとえ、路面の凹凸や搭乗者の数等に応じて車
体にピッチングが発生した場合においても、対応しよう
とする物体がエピポーラーラインの近傍に存在すること
から、複数の画像間で対応物体を確実に検出することが
できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ステレオ視を利
用した車両用環境認識装置に関し、一層詳細には、例え
ば、自動車等の車両に搭載され、当該自動車の位置を基
準として、風景や先行車等を含む情景に係る周囲環境を
認識する車両用環境認識装置に関する。

【０００２】

【従来の技術】従来から、周囲環境を認識しようとする
場合、ステレオ視を利用したステレオカメラにより得ら
れる２枚の画像（ステレオ画像ともいう。）から三角測
量の原理に基づき対象物（単に、物体ともいう。）まで
の距離を求め、対象物の位置を認識する、いわゆるステ
レオ法が採用されている。

【０００３】このステレオ法においては、前記距離を求
める際に、レンズを通じて撮像した２枚の画像上におい
て同一物体の対応が採れることが前提条件となる。

【０００４】撮像した２枚の画像上において同一物体の
対応を採る技術として、画像中の領域に着目する方法が
ある。

【０００５】この方法は、まず、一方の画像上に適当な
サイズのウィンドウを設定し、他方の画像においてこの
ウィンドウに対応する領域を求めるために、他方の画像
に前記ウィンドウと同一サイズの領域を設定する。

【０００６】次に、両画像上の各ウィンドウ内の画像
（単に、ウィンドウ画像ともいう。）を構成する対応す
る各画素（詳しく説明すると、マトリクス位置が対応す
る各画素）についての画素データ値を引き算して差を
得、さらに差の絶対値を得る。

【０００７】そして、各画素についての差の絶対値の前
記ウィンドウ内の和、いわゆる総和を求める。

【０００８】このようにウィンドウ内の各画素データ値
の差の絶対値の総和を求める計算を他方の画像上のウィ
ンドウの位置を変えて順次行い、前記総和が最小になる
他方の画像のウィンドウを、前記一方の画像のウィンド
ウに対応する領域であると決定する方法である。

【０００９】この発明においても、基本的には、この画
像中の領域に着目する方法を採用している。

【００１０】

【発明が解決しようとする課題】ところで、車両が走行
中に路面の凹凸により車両にピッチング（縦揺れ：車両
の前後が反対に上下する振動）が発生した場合、車両の
周囲環境は静止しているのにもかかわらず、例えば、車
両に搭載されている対応処理手段は、周囲環境が縦揺れ
しているように解釈し、捉えようとする物体が対応領域
から外れてしまい、結局、距離を求めることができなく
なってしまうという問題があった。

【００１１】なお、この出願に関連する技術として、例
えば、特開平５−１１０９０６号公報に開示された技術
を挙げることができる。この公報には、車両にピッチン
グが発生したとき、ビデオカメラの視野の中心（視線）
をピッチングした方向と反対の方向に角度を変えて、常
に、車両の前方の同一位置を撮像するようにするピッチ
補正技術が開示されている。しかしながら、この補正技
術は、視線を変更するためにカメラ自体の角度を機械的
に変更するようにした技術であり、この技術では、撮像
角度変更のための構造が複雑になるという問題があっ
た。

【００１２】この発明はこのような課題を考慮してなさ
れたものであり、車両にピッチングが発生した場合で
も、簡単な構成で物体を確実に検出することを可能とす
る車両用環境認識装置を提供することを目的とする。

【００１３】

【課題を解決するための手段】この発明は、例えば、図
１、図６、図８および図１６に示すように、複数の撮像
手段１Ｒ、１Ｌと、前記複数の撮像手段からそれぞれ得
られる画像ＩＬ、ＩＲの対応を複数の画像の小領域３
１、３２間で採る対応処理手段６と、対応の採れた物体
までの距離を三角測量の原理に基づき演算する位置演算
手段７と、車両のピッチ方向の傾斜を検出する傾斜量検
出手段９１、９２と、車両のピッチレートを検出するピ
ッチレート検出手段９３と、入力側が前記傾斜量検出手
段と前記ピッチレート検出手段とに接続されるピッチ角
演算手段９７とを備え、前記ピッチ角演算手段は、前記
傾斜量の低域通過成分と前記ピッチレートから求めたピ
ッチ量の高域通過成分θｐ′とを合成した値を車体のピ
ッチ角θａｐとして演算して、前記対応処理手段に供給
し、前記対応処理手段は、演算されたピッチ角に応じた
分、複数の画像の対応を採るための前記小領域を画像の
垂直方向に移動するようにしたことを特徴とする。

【００１４】この発明によれば、ピッチ角演算手段によ
り車体のピッチ角を演算する際、傾斜量検出手段により
検出されたピッチ方向の傾斜量の低域通過成分と、ピッ
チレート検出手段により検出されたピッチレートから求
めたピッチ量の高域通過成分との合成値を車体のピッチ
角として演算し、演算されたピッチ角に応じた分だけ対
応処理手段で対応を採る小領域を画像の垂直方向に移動
するようにしたので、複数の画像間で対応物体を確実に
検出することができる。

【００１５】また、この発明は、例えば、図１６に示す
ように、前記ピッチ角演算手段の入力側にヨーレートを
検出するヨーレート検出手段９４を備え、前記ピッチ角
演算手段は、前記傾斜量の低域通過成分と、前記ピッチ
レートから求めたピッチ量の高域通過成分と、予め求め
てあるピッチ量換算係数を前記ヨーレートに掛けた換算
成分とを合成した値を車体のピッチ角として演算し、前
記対応処理手段に供給するようにしたことを特徴とす
る。

【００１６】この発明によれば、車両のステアリングが
切られて（操舵されて）車両にヨーイング（首振り：車
両を上からみた場合、車体が回転運動すること）が発生
し、これを原因としてロール（車両の左右が反対に上下
する傾き）が発生し、見かけ上、ピッチレート（積分す
ると前後の傾斜量になる。）が変動した場合であって
も、ヨーレートにピッチ量換算係数を掛けた換算ピッチ
量を演算し、この換算成分を前記演算されたピッチ角に
合成するようにしているので、例えば、車両に旋回が発
生した場合であっても、対応物体を確実に検出すること
ができる。

【００１７】

【発明の実施の形態】以下、この発明の一実施の形態に
ついて、図面を参照して説明する。

【００１８】図１はこの発明の一実施の形態の構成を示
すブロック図である。

【００１９】図１において、ステレオカメラ１が、右側
のビデオカメラ（以下、単にカメラまたは右カメラとも
いう。）１Ｒと、左側のビデオカメラ（同様に、カメラ
または左カメラともいう。）１Ｌとにより構成されてい
る。左右のカメラ１Ｒ、１Ｌは、図２に示すように、自
動車（車両ともいう。）Ｍのダッシュボード上に予め定
めた所定の間隔、いわゆる基線長Ｄを隔てて設置してあ
る。また、カメラ１Ｒ、１Ｌはダッシュボード上に水平
面に対して平行に、かつ水平面上に配された車両Ｍの正
面方向にある無限遠点が画像の中心となるように設置し
てある。さらに、カメラ１Ｒ、１Ｌはダッシュボード上
に設置してあるために、カメラ１Ｒ、１Ｌを一体として
連結することができ、上述の基線長Ｄを維持できる。

【００２０】また、カメラ１Ｒ、１Ｌは、車両Ｍのワイ
パーのワイパー拭き取り範囲内に配置し、かつワイパー
が左右にあって同方向に回動する場合には、左右のワイ
パーブレードの始点から同一位置になるように配置する
ことで、ワイパーブレードによる遮光位置の変化が左右
のカメラ１Ｒ、１Ｌで同一となり、認識対象物体（物
体、対象物、対象物体、または、単に、対象ともい
う。）の撮像に対してワイパーブレードの撮像の影響を
少なくすることができる。左右のカメラ１Ｒ、１Ｌの光
軸１５Ｒ、１５Ｌ（図１参照）は、同一水平面上におい
て平行になるように設定されている。

【００２１】図１から分かるように、右と左のカメラ１
Ｒ、１Ｌには、光軸１５Ｒ、１５Ｌに略直交する方向
に、画像情報を有する光Ｉｃｒをとらえる同一の焦点距
離Ｆを有する対物レンズ１１Ｒ、１１Ｌと、減光フィル
タとしてのＮＤフィルタ組立体１２Ｒ、１２Ｌと、対物
レンズ１１Ｒ、１１Ｌによって結像された像を撮像する
エリアセンサ型のＣＣＤイメージセンサ（ＣＣＤエリア
センサ、撮像素子部）１３Ｒ、１３Ｌとが配設されてい
る。この場合、それぞれの光学系（光学部ともいう。）
とも、例えば、右側の光学系で説明すれば、対物レンズ
１１Ｒ、ＮＤフィルタ組立体１２Ｒを構成する１つのＮ
Ｄフィルタ（または素通しの状態）およびＣＣＤイメー
ジセンサ１３Ｒは、いわゆる共軸光学系を構成する。

【００２２】カメラ１Ｒ、１Ｌには、ＣＣＤイメージセ
ンサ１３Ｒ、１３Ｌの読み出しタイミング、電子シャッ
タ時間等の各種タイミングを制御したり、ＣＣＤイメー
ジセンサ１３Ｒ、１３Ｌを構成する撮像素子群を走査し
て得られる光電変換信号である撮像信号を、いわゆる映
像信号に変換するための信号処理回路１４Ｒ、１４Ｌが
配設されている。

【００２３】左右のカメラ１Ｒ、１Ｌの出力信号、言い
換えれば、信号処理回路１４Ｒ、１４Ｌの出力信号であ
る映像信号は、増幅利得等を調整するＣＣＵ２Ｒ、２Ｌ
を通じて、例えば、８ビット分解能のＡＤ変換器３Ｒ、
３Ｌに供給される。

【００２４】ＡＤ変換器３Ｒ、３Ｌによりアナログ信号
である映像信号がデジタル信号に変換され、水平方向の
画素数７６８列、垂直方向の画素数２４０行の画素の信
号の集合としての画像信号（以下、必要に応じて、画素
データの集合としての画像データともいい、実際上は濃
度を基準とする画像信号ではなく輝度を基準とする映像
信号データであるので、映像信号データともいう。）と
してフレームバッファ等の画像メモリ４Ｒ、４Ｌに格納
される。画像メモリ４Ｒ、４Ｌには、それぞれ、Ｎフレ
ーム（Ｎコマ）分、言い換えれば、ラスタディスプレイ
上の画面Ｎ枚分に相当する画面イメージが保持される。
一実施の形態においてはＮの値として、Ｎ＝２〜６まで
の値が当てはめられる。２枚以上を保持できるようにし
たために、画像の取り込みと対応処理とを並行して行う
ことが可能である。

【００２５】画像メモリ（画像を構成する画素を問題と
する場合には、画素メモリともいう。）４Ｒ、４Ｌは、
この実施の形態においては、上記水平方向の画素数×垂
直方向の画素数と等しい値の１フレーム分の画素メモリ
を有するものと考える。各画素メモリ４Ｒ、４Ｌは８ビ
ットのデータを格納することができる。なお、各画素メ
モリ４Ｒ、４Ｌに格納されるデータは、上述したよう
に、映像信号の変換データであるので輝度データであ
る。

【００２６】画像メモリ４Ｒ、４Ｌに格納される画像
は、上述したように１枚の画面イメージ分の画像である
ので、これを明確にするときには、必要に応じて、全体
画像ともいう。

【００２７】右側用の画像メモリ４Ｒの所定領域の画像
データ（ウィンドウ画像ともいう。）に対して、左側の
画像メモリ４Ｌの同じ大きさの領域の画像データ（ウィ
ンドウ画像ともいう。）を位置（実際には、アドレス）
を変えて順次比較して所定演算を行い、物体の対応領域
を求める対応処理装置６が、画像メモリ４Ｒ、４Ｌに接
続されている。

【００２８】左右の画像メモリ４Ｒ、４Ｌ中の対象の対
応領域（対応アドレス位置）に応じ三角測量法（両眼立
体視）に基づいて、対象の相対位置を演算する位置演算
装置７が対応処理装置６に接続されている。

【００２９】また、姿勢推定装置９は、後に詳しく説明
するように、車両Ｍの姿勢角であるピッチ角θａｐを推
定し、これを姿勢角メモリ１０に送出する。姿勢推定装
置９により新たなピッチ角θａｐが推定され、姿勢角メ
モリ１０に送出されたとき、姿勢角メモリ１０の内容が
更新される。

【００３０】姿勢角メモリ１０に格納されているピッチ
角θａｐは、露光量調整装置８および対応処理装置６に
より読み取られるようになっている。

【００３１】対応処理装置６および位置演算装置７にお
ける対応処理・位置演算に先立ち、入力側が画像メモリ
４Ｒに接続される露光量調整装置８の制御により、ＣＣ
Ｄイメージセンサ１３Ｒ、１３Ｌに入射される画像情報
を有する光Ｉｃｒの露光量が適正化される。

【００３２】露光量調整装置８は、ピッチ角θａｐおよ
び画像メモリ４Ｒの所定領域の画像データに基づいて、
ルックアップテーブル等を参照して露光量を決定し、Ｃ
ＣＵ２Ｒ、２Ｌの増幅利得と、ＣＣＤイメージセンサ１
３Ｒ、１３Ｌの電子シャッタ時間と、ＮＤフィルタ組立
体１２Ｒ、１２Ｌのうちの所望のフィルタとを、それぞ
れ、同じ値、同じものに同時に決定する。

【００３３】ＮＤフィルタ組立体１２Ｒ、１２Ｌのう
ち、所望のＮＤフィルタが、駆動回路５Ｒ、５Ｌを通じ
て切り換え選定されるが、この切り換えには、ＮＤフィ
ルタを使用しない場合、いわゆる素通し（必要に応じ
て、素通しのＮＤフィルタとして考える。）の場合も含
まれる。

【００３４】次に、上記実施の形態の動作および必要に
応じてさらに詳細な構成について説明する。

【００３５】図３は、三角測量の原理説明に供される、
対象物体Ｓを含む情景を左右のカメラ１Ｒ、１Ｌにより
撮像している状態の平面視的図を示している。対象物体
Ｓの相対位置をＲＰで表すとき、相対位置ＲＰは、既知
の焦点距離ＦからのＺ軸方向（奥行き方向）の距離Ｚｄ
と右カメラ１ＲのＸ軸方向（水平方向）中心位置からの
水平方向のずれ距離ＤＲとによって表される。すなわ
ち、相対位置ＲＰがＲＰ＝ＲＰ（Ｚｄ、ＤＲ）で定義さ
れるものとする。もちろん、相対位置ＲＰは、既知の焦
点距離Ｆからの距離Ｚｄと左カメラ１ＬのＸ軸（水平方
向）中心位置からの水平方向のずれ距離ＤＬとによって
表すこともできる。すなわち、相対位置ＲＰをＲＰ＝Ｒ
Ｐ（Ｚｄ、ＤＬ）と表すことができる。

【００３６】図４Ａは、右側のカメラ１Ｒによって撮像
された対象物体Ｓを含む画像（右画像または右側画像と
もいう。）ＩＲを示し、図４Ｂは、左側のカメラ１Ｌに
よって撮像された同一対象物体Ｓを含む画像（左画像ま
たは左側画像ともいう。）ＩＬを示している。これら画
像ＩＲと画像ＩＬとがそれぞれ画像メモリ４Ｒおよび画
像メモリ４Ｌに格納されていると考える。右側画像ＩＲ
中の対象物体画像ＳＲと左側画像ＩＬ中の対象物体画像
ＳＬとは、画像ＩＲ、ＩＬのＸ軸方向の中心線３５、３
６に対してそれぞれ視差ｄＲと視差ｄＬとを有してい
る。対象物体画像ＳＲと対象物体画像ＳＬとは、エピポ
ーラーライン（視線像）ＥＰ上に存在する。

【００３７】車両Ｍが水平面上に傾きがなく配置された
状態において、対象物体Ｓが無限遠点に存在するとき、
対象物体画像ＳＲと対象物体画像ＳＬとは、中心線３
５、３６上の同一位置に撮像され、視差ｄＲ、ｄＬは、
ｄＲ＝ｄＬ＝０になる。

【００３８】なお、ＣＣＤエリアセンサ１３Ｒ、１３Ｌ
上における図３に示す視差ｄＲ、ｄＬとは、画像ＩＲ、
ＩＬ上の図４Ａ、図４Ｂに示す視差ｄＲ、ｄＬとは極性
が異なるが、ＣＣＤエリアセンサ１３Ｒ、１３Ｌからの
読み出し方向を変えることで同一極性とすることができ
る。光学部に配設するレンズの枚数を適当に設定するこ
とによりＣＣＤエリアセンサ１３Ｒ、１３Ｌ上における
視差ｄＲ、ｄＬと画像ＩＲ、ＩＬ上の視差ｄＲ、ｄＬの
極性とを合わせることもできる。

【００３９】図３から、次の（１）式〜（３）式が成り
立つことが分かる。

【００４０】 ＤＲ：Ｚｄ＝ｄＲ：Ｆ …（１） ＤＬ：Ｚｄ＝ｄＬ：Ｆ …（２） Ｄ＝ＤＲ＋ＤＬ …（３） これら（１）式〜（３）式から距離Ｚｄとずれ距離ＤＲ
とずれ距離ＤＬとをそれぞれ（４）式〜（６）式で求め
ることができる。

【００４１】 Ｚｄ＝Ｆ×Ｄ／（ＤＲ＋ＤＬ） …（４） ＤＲ＝ｄＲ×Ｄ／（ｄＬ＋ｄＲ） …（５） ＤＬ＝ｄＬ×Ｄ／（ｄＬ＋ｄＲ） …（６） これら位置情報である距離Ｚｄとずれ距離ＤＲとずれ距
離ＤＬとをクラスタリングして、対象物体Ｓについての
識別符号としての、いわゆるアイディ（ＩＤ：Identifi
cation）を付けることで、車両追従装置等への応用を図
ることができる。

【００４２】なお、実際上の問題として、ＣＣＤイメー
ジセンサ１３Ｒ、１３Ｌの実効１画素の物理的な大きさ
の測定や焦点距離Ｆの測定は困難であるため、比較的正
確に測定可能な画角を利用して距離Ｚｄ、ずれ距離Ｄ
Ｒ、ＤＬを求める。

【００４３】すなわち、例えば、カメラ１Ｒ、１Ｌの水
平画角をθ、カメラ１Ｒ、１Ｌの水平方向の実効画素数
（画像メモリ４Ｒ、４Ｌの水平画素数に等しい画素数）
をＮ、視差ｄＲ、ｄＬに対応する画像メモリ４Ｒ、４Ｌ
上の画素数をＮＲ、ＮＬとすると、次に示す（７）式〜
（９）式から距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬと
をそれぞれ求めることができる。

【００４４】 Ｚｄ＝Ｎ×Ｄ／｛２（ＮＬ＋ＮＲ）ｔａｎ（θ／２）｝ …（７） ＤＲ＝ＮＲ・Ｄ／（ＮＬ＋ＮＲ） …（８） ＤＬ＝ＮＬ・Ｄ／（ＮＬ＋ＮＲ） …（９） ここで、水平画角θは測定可能な値であり、水平方向の
実効画素数Ｎ（この実施の形態では、上述したようにＮ
＝７６８）は予め定められており、視差ｄＲ、ｄＬに対
応する画素数ＮＲおよびＮＬも取り込んだ画像から分か
る値である。

【００４５】次に、上述の画像の取り込みからＩＤを付
けるまでの過程をフローチャートを利用して全体的に説
明すれば、図５に示すようになる。

【００４６】すなわち、ＡＤ変換器３Ｒ、３Ｌから出力
される映像信号データがそれぞれ画像メモリ４Ｒ、４Ｌ
に取り込まれて格納される（ステップＳ１）。

【００４７】ステップＳ１に続いて、画像メモリ４Ｒに
記憶されたある領域の画像に対応する画像を画像メモリ
４Ｌから求め、いわゆる画像の左右の対応を採る（ステ
ップＳ２）。

【００４８】対応を取った後、カメラ１Ｒ、１Ｌにおけ
る視差ｄＲ、ｄＬを求め、位置情報に変換する（ステッ
プＳ３）。

【００４９】その位置情報をクラスタリングし（ステッ
プＳ４）、ＩＤを付ける（ステップＳ５）。

【００５０】位置演算装置７の出力である、ＩＤの付け
られた出力は、本発明の要部ではないので、詳しく説明
しないが、図示していない、例えば、道路・障害物認識
装置等に送出されて自動運転システムを構成することが
できる。この自動運転システムでは、運転者に対する警
告、自動車（ステレオカメラ１を積んだ車両）Ｍの衝突
回避、前走車の自動追従等の動作を行うことができる。

【００５１】この実施の形態において、上述の左右の画
像の対応を採るステップＳ２では、いわゆる特徴に着目
した方法ではなく、基本的には、従来技術の項で説明し
た画像中の領域に着目する方法を採用している。

【００５２】すなわち、エッジ、線分、特殊な形など何
らかの特徴を抽出し、それらの特徴が一致する部分が対
応の取れた部分であるとする特徴に着目する方法は、取
り扱う情報量が低下するので採用せず、一方の画像、こ
の実施の形態では、右画像ＩＲから対象物体画像ＳＲを
囲む小領域、いわゆるウィンドウを切り出し、この小領
域に似た小領域を他方の左画像ＩＬから探すことにより
対応を決定する方法を採用している。

【００５３】この実施の形態において採用した画像中の
領域に着目する方法では、２枚の画像ＩＬ、ＩＲ上にお
いて同一対象物体Ｓの対応を採る技術として、一方の画
像上に適当なサイズのウィンドウを設定し、他方の画像
においてこのウィンドウに対応する領域を求めるため
に、他方の画像に前記ウィンドウと同一サイズの領域を
設定する。

【００５４】次に、両画像上の各ウィンドウ内の画像
（単に、ウィンドウ画像ともいう。）を構成する対応す
る各画素（詳しく説明すると、ウィンドウ画像中のマト
リクス位置が対応する各画素）についての画素データ
値、すなわち、輝度値を引き算して差を得、さらに輝度
差の絶対値を得る。

【００５５】そして、各対応する画素についての輝度差
の絶対値の前記ウィンドウ内の和、いわゆる総和を求め
る。

【００５６】この総和を左右画像の一致度（対応度とも
いう。）Ｈと定義する。このとき、右画像ＩＲと左画像
ＩＬのウィンドウ内の対応座標点（ｘ，ｙ）の輝度（画
素データ値）をそれぞれＩＲ（ｘ，ｙ）、ＩＬ（ｘ，
ｙ）とし、ウィンドウの横幅をｎ画素（ｎは画素数）、
縦幅をｍ画素（ｍも画素数）とするとき、ずらし量をｄ
ｘ（後述する）とすれば、一致度Ｈは、次の（１０）式
により求めることができる。

【００５７】 Ｈ（ｘ，ｙ）＝Σ（ｊ＝１→ｍ）Σ（ｉ＝１→ｎ）｜Ｉｄ｜ …（１０） ここで、 ｜Ｉｄ｜＝｜ＩＲ（ｘ＋ｉ，ｙ＋ｊ）−ＩＬ（ｘ＋ｉ＋
ｄｘ，ｙ＋ｊ）｜ である。記号Σ（ｉ＝１→ｎ）は、｜Ｉｄ｜についての
ｉ＝１からｉ＝ｎまでの総和を表し、記号Σ（ｊ＝１→
ｍ）は、Σ（ｉ＝１→ｎ）｜Ｉｄ｜の結果についてのｊ
＝１からｊ＝ｍまでの総和を表すものとする。

【００５８】この（１０）式から、一致度Ｈが小さいほ
ど、言い換えれば、輝度差の絶対値の総和が小さいほ
ど、左右のウィンドウ画像が良く一致していることが分
かる。

【００５９】この場合、分割しようとするウィンドウ、
すなわち小領域の大きさが大きすぎると、その領域内に
相対距離Ｚｄの異なる他の物体が同時に存在する可能性
が大きくなって、誤対応の発生する可能性が高くなる。
一方、小領域の大きさが小さすぎると、誤った位置で対
応してしまう誤対応、あるいは、ノイズを原因とする誤
対応が増加してしまうという問題がある。本発明者等
は、種々の実験結果から、最も誤対応が少なくなる小領
域の大きさは、横方向の画素数ｎがｎ＝７〜９程度、縦
方向の画素数ｍがｍ＝１２〜１５程度の大きさであるこ
とをつきとめた。

【００６０】図６と図７は、対応処理装置６において一
致度Ｈを求める対応計算を行う際の領域の動かし方の概
念を示している。

【００６１】図６に示すように、対応を採る元となる右
画像ＩＲ上の所定領域（小領域、原領域またはウィンド
ウ画像ともいう。）３１は、左右画像ＩＬ、ＩＲを横断
して水平方向に延びる帯状領域３３中をＸ軸方向左端位
置から右へ１画素ずつ６４０画素分移動していき、対応
を採られる左画像ＩＬの所定領域（小領域、検索領域ま
たはウィンドウ画像ともいう。）３２は、右画像ＩＲの
原領域３１の左端位置に対応する位置（以下、原領域３
１の水平方向の変移位置という。）から対応計算を行
い、ずらし量ｄｘを右方向にエピポーラーラインＥＰ上
を０〜最大１２７画素分だけ１画素ずつ移動させて対応
計算を行うようにしている。最大１２７画素のずれが有
効な一致度Ｈの計算は、合計で（６４０−ｎ）×１２８
回行われる。

【００６２】なお、１２８画素分に限定する理由は、出
力結果を利用する側の要求から水平画角θがθ＝４０
°、最短の距離ＺｄがＺｄ＝５ｍ、使用できるステレオ
カメラ１（カメラ１Ｒとカメラ１Ｌ）の水平方向の画素
数ＮがＮ＝７６８、設置できる基線長ＤがＤ＝０．５ｍ
から、下記の（１１）式に当てはめると、ＮＬ＋ＮＲ＝
１０５画素となり、ハードウエアにおいて都合のよい２
の累乗でこれに近い値の２＝１２８を選んだからであ
る。

【００６３】 ＮＬ＋ＮＲ＝（Ｎ×Ｄ）／｛Ｚｄ×２×ｔａｎ（θ／２）｝ ＝（７６８×０．５）／（５×２×ｔａｎ２０°） …（１１） このことは、右画像ＩＲ中、Ｘ＝０（左端）の位置に撮
像された対象が、かならず、左画像ＩＬのずらし量ｄｘ
がｄｘ＝０〜１２７に対応する０番目の画素位置から１
２７番目の画素位置内に撮像されていることを意味す
る。したがって、Ｘ座標値（変移位置ともいう。）Ｘが
Ｘ＝０を基準とする原領域３１内の撮像対象は、左画像
ＩＬのＸ座標値ＸがＸ＝０を基準として、ずらし量ｄｘ
がｄｘ＝０〜１２７の範囲に撮像されていることを意味
する。同様にして右画像ＩＲのＸ座標値ＸがＸ＝６４０
−ｎを基準とする原領域３１内の撮像対象は、左画像Ｉ
ＬのＸ座標値ＸがＸ＝６４０−ｎを基準として、ずらし
量ｄｘがｄｘ＝０〜１２７の範囲に撮像されていること
になる。

【００６４】このとき、検索領域３２の最右端の画素が
Ｘ座標値ＸがＸ＝６４０＋ｎ＋１２７＝７６７（７６８
番目）の最右端の画素になるので、それ以上、右画像Ｉ
Ｒの原領域３１を右方向にずらすことは、一般に、無意
味である。右画像ＩＲ中、Ｘ座標値ＸがＸ＝６４０−ｎ
より右側の撮像対象は、左画像ＩＬに撮像されないから
である。しかし、遠方の画像については対応がとれるた
め、有意なこともあるので、本発明においては、対応す
べき画像のない部分の画素については８ビットの最大値
２５５があるものとして一応計算を行っている。メモリ
や計算時間を節約するためにはＸ座標値ＸをＸ＝６４０
−ｎまでで打ち切ることが有効である。

【００６５】そこで、図７のフローチャートに示すよう
に、まず、右画像ＩＲ中のＸ座標値ＸがＸ＝０を変移位
置とする原領域３１を取り出し（ステップＳ１１）、左
画像ＩＬの検索領域３２のずらし量ｄｘをｄｘ＝０に設
定する（ステップＳ１２）。

【００６６】次に、ずらし量ｄｘがｄｘ＝１２７を超え
る値であるかどうか、すなわちｄｘ＝１２８であるかど
うかを判定する（ステップＳ１３）。

【００６７】この判定が否定的であるときには、対応度
Ｈの計算をするために、左画像ＩＬの検索領域（小領
域）３２分の画素データを取り出す（ステップＳ１
４）。

【００６８】次いで、小領域３１と小領域３２の各画素
の差の絶対値の総和、すなわち、（１０）式に示す一致
度Ｈを求め記憶する（ステップＳ１５）。

【００６９】次に、ずらし量ｄｘをｄｘ→ｄｘ＋１（こ
の場合、ｄｘ＝１）として１画素分増加する（ステップ
Ｓ１６）。

【００７０】このとき、ステップＳ１３の判定は成立し
ないので、次に、ずらし量ｄｘがｄｘ＝１を基準に検索
領域３２を取り出し（再び、ステップＳ１４）、このず
らし量ｄｘがｄｘ＝１を基準の検索領域３２とＸ座標値
（変移位置ともいう。）ＸがＸ＝０の原領域３１とで一
致度Ｈを計算して記憶する（再び、ステップＳ１５）。

【００７１】同様にして、ずらし量ｄｘがｄｘ＝１２８
になるまで（ステップＳ１３の判定が成立するまで）Ｘ
座標値ＸがＸ＝０の原領域３１についての一致度Ｈを計
算する。

【００７２】ステップＳ１３の判定が肯定的であると
き、すなわち、Ｘ座標値ＸがＸ＝０の原領域３１につい
て計算した一致度Ｈのうち、負のピーク値である最小値
Ｈｍｉｎとその近傍の値を求め、記憶しておく（ステッ
プＳ１７）。

【００７３】次に、繁雑になるので、図７のフローチャ
ート中には記載しないが、右画像ＩＲ中の変移位置Ｘが
Ｘ＝１〜７６７（または６４０−ｎ）まで、上述のステ
ップＳ１１〜Ｓ１７を繰り返し、各変移位置Ｘにおける
右画像ＩＲの原領域３１に最も対応する左画像ＩＬの検
索領域３２を検出する。

【００７４】図８は、図６の動作説明図、図７のフロー
チャートに基づいて、一致度Ｈの計算等を行う対応処理
装置６の詳細な構成を示すブロック図である。

【００７５】図８中、スキャン座標生成部６１におい
て、対応処理を行おうとする右画像ＩＲに対する原領域
３１と左画像ＩＬに対する検索領域３２の座標（上述の
図６に示す変移位置Ｘとずらし量ｄｘおよびエピポーラ
ーラインＥＰのＹ座標値）が生成される。なお、後に説
明するように、座標を生成する際に、姿勢角メモリ１０
からのピッチ角θａｐが考慮される。

【００７６】このスキャン座標生成部６１で生成された
座標（Ｘ，Ｙ）に基づいて、画像メモリ４Ｒ、４Ｌから
読み出す小領域のアドレスデータが画像メモリアドレス
生成部６４により生成される。

【００７７】画像メモリアドレス生成部６４で、画像メ
モリ４Ｒ、４Ｌに対する読み出しアドレスデータが生成
され、それぞれ、画像メモリ４Ｒ、４Ｌに供給される。

【００７８】画像メモリ４Ｒ、４Ｌから読み出された画
像データに基づく一致度Ｈの計算、いわゆる相関演算が
相関演算部６５で行われ、相関演算結果が相関メモリ６
７に記憶される。また、ずらし量ｄｘに対応して相関演
算結果のピーク値、すなわち一致度Ｈの最小値Ｈｍｉｎ
等がピーク値検出部６６により検出され、検出されたピ
ーク値がピーク値メモリ６８に記憶される。

【００７９】次に、図９は、図６、図７を参照して説明
した一致度Ｈを求めるための相関演算部６５の詳細な構
成を示している。

【００８０】この相関演算部６５は、基本的には、第１
〜第４の演算ブロック８１、８２、８３、８４を有す
る、いわゆるパイプライン方式的処理である並列処理方
式を採用している。

【００８１】理解の容易化のために、まず、パイプライ
ン方式的処理を考慮しないで、具体的には、ＦＩＦＯメ
モリ６５ｉが存在しないものとして、第１演算ブロック
８１のみで、図６、図７を参照して説明した一致度Ｈを
求めるための動作について説明する。そして、上述のよ
うに、誤対応が最も少なくなるそれぞれの小領域（原領
域３１と検索領域３２）の大きさとしては、横方向の画
素数ｎがｎ＝７〜９画素程度、縦方向の画素数ｍがｍ＝
１２〜１５画素程度であるが、ここでは、理解を容易に
するために、ｎ＝４、ｍ＝５として説明する。

【００８２】図１０は、このような前提のもとでの、エ
ピポーラーラインＥＰ上に乗る仮想的な右画像データＩ
ｒｄの例を示している。原領域３１の対象となる全画素
データ数は、ｍ×６４０＝５×６４０箇であるものとす
る。

【００８３】図１１は、同様に、エピポーラーラインＥ
Ｐ上に乗る仮想的な左画像データＩｌｄの例を示してい
る。検索領域３２の対象となる全画素データ数は、ｍ×
７６８＝５×７６８箇であるものとする。

【００８４】図９において、画像メモリ４Ｒから端子８
５を通じて原領域３１の右画像データＩｒｄが減算器６
５ａの被減算入力端子に供給され、画像メモリ４Ｌから
端子８６を通じて検索領域３２の左画像データＩｌｄが
減算器６５ａの減算入力端子に供給される。

【００８５】まず、一般的に説明すると、減算器６５ａ
では、縦方向の左右の画素データの差を取り、その差の
絶対値が絶対値演算器６５ｂで取られる。加算器６５ｃ
は、縦方向の左右の画素データの差の絶対値の和を取る
とともに、ラッチ６５ｄにラッチされている前列の縦方
向の左右の画素データの差の絶対値の和を加算する。

【００８６】ＦＩＦＯメモリ６５ｅには、横方向の画素
数ｎに対応するｎ段分、この実施の形態では、当該列の
分を除いて左側（前側）に４（＝ｎ）列分の縦方向の左
右の画素データの差の絶対値の和が保持される。すなわ
ち、この実施の形態において、ＦＩＦＯメモリ６５ｅ
は、最初（入力側）のメモリ６５ｅ１〜最後（出力側）
のメモリ６５ｅ４までの４段ある。

【００８７】具体的に説明すると、１回目の演算（１列
１行目）で加算器６５ｃの出力側には、１列１行目の左
右の画素データの差の絶対値｜Ａ１−ａ１｜が現れ、か
つ、この値｜Ａ１−ａ１｜がラッチ６５ｄに保持され
る。

【００８８】２回目の演算（１列２行目）で１列２行目
の左右の画素データの差の絶対値｜Ａ２−ａ２｜とラッ
チ６５ｄに保持されているデータ｜Ａ１−ａ１｜との
和、すなわち、｜Ａ２−ａ２｜＋｜Ａ１−ａ１｜が加算
器６５ｃの出力側に現れる。

【００８９】したがって、５回目の演算後には、次の
（１２）式に示す１列目の左右の画素データの差の絶対
値の和（データ）Σ（以下、２列目以降を順次、Σ
、Σ、Σ、…Σ６４１とする。）が加算器６５ｃ
の出力側に現れ、この和Σは、ラッチ６５ｄに保持さ
れる。また、このデータΣは、ＦＩＦＯメモリ６５ｅ
の最初のメモリ６５ｅ１に格納される。

【００９０】 Σ＝｜Ａ１−ａ１｜＋｜Ａ２−ａ２｜＋｜Ａ３−ａ３｜ ＋｜Ａ４−ａ４｜＋｜Ａ５−ａ５｜ …（１２） この１列目の左右の画素データの差の絶対値の和Σ
が、最初のメモリ６５ｅ１に格納された後、ラッチ６５
ｄは、端子８９から供給される制御信号によりリセット
される。

【００９１】このようにして、ずらし量ｄｘの値がｄｘ
＝０での小領域３１、３２間での全ての１回目の計算が
終了する４列（４＝ｎ）５行（５＝ｍ）目の演算終了後
のラッチ６５ｄに格納されるデータ値とＦＩＦＯメモリ
６５ｅに格納されるデータ値とラッチ６５ｈに格納され
るデータ値等を図１２に模式的に示す。

【００９２】図１２において、ずらし量ｄｘの値がｄｘ
＝０の場合における次の（１３）式に示す最初に求めら
れる一致度Ｈ０が加算器６５ｇの出力側に現れている点
に留意する。

【００９３】 Ｈ０＝Σ＋Σ＋Σ＋Σ …（１３） 次に、５列５行目の演算終了後の図１２に対応する図を
図１３に示す。図１３から分かるように、ずらし量ｄｘ
の値がｄｘ＝０の場合の検索領域３２に対する一致度Ｈ
０が出力端子９０に現れる。

【００９４】この場合、加算器６５ｆの出力側には、５
列目のデータΣと１列目のデータΣとの差Σ−Σ
が現れるので、加算器６５ｇの出力側には、ずらし量
ｄｘの値がｄｘ＝１の場合の検索領域３２に対する次の
（１４）式に示す一致度Ｈ１が現れることになる。

【００９５】 Ｈ１＝Σ＋Σ＋Σ＋Σ …（１４） ここで、実際の１５×１５の小領域を水平方向にＸ＝０
〜６３９まで移動し、ずらし量ｄｘをｄｘ＝１２８まで
の各一致度Ｈを求める際に、この実施の形態では、原領
域３１の左画像ＩＬ上で１画素分右にずらした位置での
対応度Ｈを求めるとき、左端の縦方向の和（上例ではΣ
）を減じて右に加わる新たな列の縦方向の和（上例で
はΣ）を加えるようにしているので、演算回数を１５
×６４０×１２８＝１，２２８，８００回にすることが
できる。すなわち、小領域の横方向の幅（画素数）は計
算時間に無関係になる。

【００９６】もし、上例のように演算しなくて、１５×
１５の小領域を移動させこの小領域毎に各領域を構成す
る画素データの差を取って、一致度Ｈを、水平方向Ｘを
ＸがＸ＝０〜６３９まで、ずらし量ｄｘを１２８まで計
算することにすると、演算回数は１５×１５×６４０×
１２８＝１８，４３２，０００回となり、最も演算時間
のかかる絶対値演算器６５ｂの１回の演算時間を１００
ｎｓで実行した場合でも、総演算時間が１８４３ｍｓか
かることになる。これに対して上例では、総演算時間が
１２３ｍｓであり、約１／１５に低減することができ
る。

【００９７】しかし、この総演算時間１２３ｍｓは、Ｎ
ＴＳＣ方式のフレームレートである３３ｍｓより大きい
ので、フレームレート毎に、言い換えれば、１画面毎に
一致度Ｈを計算する場合には、総演算時間１２３ｍｓを
約１／４以下の時間にする必要がある。

【００９８】そこで、この実施の形態では、図９に示し
たように、第１演算ブロック８１と同一構成の第２〜第
４演算ブロック８２、８３、８４を設け、縦方向の画素
数ｍと同数のＦＩＦＯメモリ６５ｉを直列に接続してい
る。

【００９９】この場合、簡単のために、図１０、図１１
と同じ画像データを利用してパイプライン方式的処理動
作を説明すれば、最初に、第１と第２の演算ブロック８
１、８２を構成するＦＩＦＯメモリ６５ｅを通じて、第
３演算ブロック８３を構成するＦＩＦＯメモリ６５ｉに
左１列目の画素データａ１〜ａ５までを転送する。した
がって、この転送時点で、第２演算ブロック８２を構成
するＦＩＦＯメモリ６５ｉには２列目の画素データｂ１
〜ｂ５が転送され、第１演算ブロック８１を構成するＦ
ＩＦＯメモリ６５ｉには３列目の画素データｃ１〜ｃ５
が転送される。

【０１００】次に、次の４列目の画素データｄ１〜ｄ５
を第１演算ブロック８１のＦＩＦＯメモリ６５ｉに順次
転送したとき、第４演算ブロック８４では右１列目の画
素データＡ１〜Ａ５と左１列目の画素データａ１〜ａ５
に関連する上述の演算が行われ、第３演算ブロック８３
では右１列目の画素データＡ１〜Ａ５と左２列目の画素
データｂ１〜ｂ５に関連する上述の演算が行われ、第２
演算ブロック８２では右１列目の画素データＡ１〜Ａ５
と左３列目の画素データｃ１〜ｃ５に関連する上述の演
算が行われ、第１演算ブロック８１では右１列目の画素
データＡ１〜Ａ５と左４列目の画素データｄ１〜ｄ５に
関連する上述の演算が行われる。

【０１０１】次いで、右２列目の画素データＢ１〜Ｂ５
の転送に同期して次の左５列目の画素データｅ１〜ｅ５
を第１演算ブロック８１のＦＩＦＯメモリ６５ｉに順次
転送したとき、第４演算ブロック８４では右２列目の画
素データＢ１〜Ｂ５と左２列目の画素データｂ１〜ｂ５
に関連する演算が行われ、第３演算ブロック８３では右
２列目の画素データＢ１〜Ｂ５と左３列目の画素データ
ｃ１〜ｃ５に関連する演算が行われ、第２演算ブロック
８２では右２列目の画素データＢ１〜Ｂ５と左４列目の
画素データｄ１〜ｄ５に関連する演算が行われ、第１演
算ブロック８１では右２列目の画素データＢ１〜Ｂ５と
左５列目の画素データｅ１〜ｅ５に関連する上述の演算
が行われる。

【０１０２】このようにして、次に、右３列目の画素デ
ータＣ１〜Ｃ５の転送に同期して次の左６列目の画素デ
ータｆ１〜ｆ５を順次同期して転送するようにすれば、
第４演算ブロック８４では、ずらし量ｄｘがｄｘ＝０、
ｄｘ＝４、……についての一致度Ｈを計算でき、同様
に、第３演算ブロック８３では、ずらし量ｄｘがｄｘ＝
１、ｄｘ＝５、……についての一致度Ｈを計算でき、第
２演算ブロック８２では、ずらし量ｄｘがｄｘ＝２、ｄ
ｘ＝６、……についての一致度Ｈを計算でき、第１演算
ブロック８１では、ずらし量ｄｘがｄｘ＝３、ｄｘ＝
７、……についての一致度Ｈを同時に計算することでき
る。

【０１０３】このように、パイプライン方式的処理の４
並列にすれば、演算時間を約１／４に低減することがで
きる。なお、上述の説明から理解できるように、第４演
算ブロック８４中のＦＩＦＯメモリ６５ｉは不要であ
る。

【０１０４】この場合、図９例の４並列による動作によ
れば、１フレームレートで１フレームの画像についての
６４０点の距離情報が求まり、左画像ＩＬの横７６８画
素×縦１５画素の帯領域の処理が完了するが、これは１
画像領域が７６８×２４０画素であることを考えると、
全画像領域の１／１６になる。

【０１０５】なお、左右のカメラ１Ｒ、１Ｌの上下方向
の取付位置がずれた場合等を想定すると、当初のエピポ
ーラーラインＥＰ上に対応する対象物画像が存在しなく
なる場合も考えられる。この場合、図示はしないが、例
えば、図９の対応処理装置６の構成を４並列にし、画像
の縦方向の処理を４並列にすることにより、横７６８画
素、縦１５画素の帯領域４つをフレームレート内で処理
することが可能となる。この場合に、領域が重ならない
ようにすることで、最大１２７画素のずれまで検出でき
る距離情報を１フレームレート内で（６４０−ｎ）×４
点出力できる。

【０１０６】図９例の相関演算部６５の処理により、１
本のエピポーラーラインＥＰ上における右画像ＩＲ中の
６４０個の原領域３１のそれぞれに対して、ずらし量ｄ
ｘがｄｘ＝０〜１２７の検索領域３２についての１２８
個の一致度Ｈが演算され、この演算結果の一致度Ｈが、
相関メモリ６７に格納される。

【０１０７】また、１個の原領域３１、すなわち、各変
移位置Ｘに対する１２８個の検索領域３２のうち、一致
度Ｈが最小値となる値（ピーク値ともいう。）をピーク
値検出部６６で検出し、検出したピーク値（最小値）Ｈ
ｍｉｎを、そのときの変移位置Ｘとずらし量ｄｘに対応
させてピーク値メモリ６８に記憶する。ピーク値メモリ
６８は、一致度Ｈのピーク値（最小値）記憶テーブルと
して機能する。

【０１０８】変移位置Ｘとずらし量ｄｘをアドレスとし
て一致度Ｈが記憶されている相関メモリ６７と、その最
小値としてのピーク値Ｈｍｉｎが記憶されているピーク
値メモリ６８が位置演算装置７に接続されている。

【０１０９】位置演算装置７は、一致度Ｈとそのピーク
値Ｈｍｉｎとを参照し、図１４に示すフローチャートに
基づいて、対象物体Ｓの３次元空間での位置Ｐを求め
る。

【０１１０】変移位置Ｘが所定の変移位置であるＸ＝Ｘ
ｐの原領域３１についての位置Ｐの算出方法について説
明する。

【０１１１】まず、所定の変移位置Ｘｐの原領域３１に
ついての一致度Ｈのピーク値Ｈｍｉｎと、そのときのず
らし量ｄｘ（このずらし量ｄｘをずらし量ｄｘｍｉｎと
呼ぶ）をピーク値メモリ６８から取り込む（ステップＳ
２１）。

【０１１２】次に、このずらし量ｄｘｍｉｎの近傍の左
右各２個の一致度Ｈ、すなわち、ずらし量ｄｘがずらし
量ｄｘｍｉｎより３つ少ないずれ量ｄｘｍｉｎ-2および
３つ多いずれ量ｄｘｍｉｎ+2の各位置における一致度Ｈ
ｍｉｎ-2、Ｈｍｉｎ+2を取り込む（ステップＳ２２）。

【０１１３】次に、次の（１５）式に基づいて谷の深さ
（ピーク深さともいう。）Ｑを求める（ステップＳ２
３）。

【０１１４】 Ｑ＝ｍｉｎ｛Ｈｍｉｎ-2／Ｈｍｉｎ，Ｈｍｉｎ+2／Ｈｍｉｎ｝ …（１５） この（１５）式は、ピーク値Ｈｍｉｎに対する、これか
ら２つ隣の一致度Ｈｍｉｎ-2、Ｈｍｉｎ+2の大きさの各
比のうち、最小値を取ることを意味する。

【０１１５】そして、この谷の深さＱが所定の閾値ＴＨ
以上の値であるかどうか（Ｑ≧ＴＨ）を判定し（ステッ
プＳ２４）、所定の閾値ＴＨ以上の値である場合には、
ピーク値Ｈｍｉｎであり、ずらし量ｄｘｍｉｎの検索領
域３２が所定の変移位置Ｘｐの原領域３１に対応する領
域であると同定して次のステップＳ２５に進む。

【０１１６】一方、ステップＳ２４の結果が否定的であ
る場合には、ピーク値Ｈｍｉｎであり、ずらし量ｄｘｍ
ｉｎの検索領域３２が所定の変移位置Ｘｐの原領域３１
に対応する領域ではないと判断して、次の変移位置Ｘｐ
＋１の原領域３１に対する対応する検索領域３２を求め
る処理が全て終了したかどうかを判定し（ステップＳ２
８）、全ての変移位置Ｘに対応する処理が終了していな
い場合には、そのステップＳ２１〜Ｓ２４の処理を繰り
返す。

【０１１７】この実施の形態において、一致度Ｈのピー
ク値Ｈｍｉｎを変移位置Ｘｐの原領域３１に対応する検
索領域３２であると直ちに同定しないで、その近傍を見
て（ステップＳ２２）、その谷の深さＱを計算し（ステ
ップＳ２３）、その谷の深さＱが所定の閾値ＴＨ以上の
場合にのみ、一致度Ｈのピーク値Ｈｍｉｎが得られるず
らし量ｄｘｍｉｎの検索領域３２が、変移位置Ｘｐの原
領域３１に対応する検索領域３２であると同定する理由
は、雑音の混入または画像ＩＲ、ＩＬの被写体の画像濃
度が一様である場合等に、一致度Ｈのピーク値Ｈｍｉｎ
が得られ、ずらし量ｄｘｍｉｎの検索領域３２が、変移
位置Ｘｐの原領域３１に必ずしも対応するとは限らない
からである。

【０１１８】すなわち、ずらし量ｄｘｍｉｎの位置の近
傍領域を考慮して、谷の深さＱが、所定の閾値ＴＨより
小さいものは、対応がよく取れていないと判断し、その
一致度Ｈのピーク値Ｈｍｉｎは利用しないこととした。
なお、所定の閾値ＴＨは、この実施の形態においては、
ＴＨ＝１．２とした。

【０１１９】ステップＳ２４の判断が肯定的であると
き、ずらし量ｄｘの真の値（真のピーク位置という）ｄ
ｓを次に示す補間処理により求める（ステップＳ２
５）。すなわち、図１５に示すように、最小位置座標を
（ｄｘｍｉｎ，Ｈｍｉｎ）とし、その前後の位置座標を
それぞれ（ｄｘｍｉｎ-1，Ｈｍｉｎ-1）、（ｄｘｍｉｎ
+1，Ｈｍｉｎ+1）とするとき、前後の一致度Ｈｍｉｎ-
1、Ｈｍｉｎ+1の大きさを比較して、それぞれ次の（１
６）式〜（１８）式で示す値に推定する。

【０１２０】Ｈｍｉｎ-1＜Ｈｍｉｎ+1の場合、 ｄｓ＝ｄｘｍｉｎ −｛（Ｈｍｉｎ-1−Ｈｍｉｎ+1）／（２・（Ｈｍｉｎ−Ｈｍｉｎ+1))｝ …（１６） Ｈｍｉｎ-1＝Ｈｍｉｎ+1の場合、 ｄｓ＝ｄｘｍｉｎ …（１７） Ｈｍｉｎ-1＞Ｈｍｉｎ+1の場合、 ｄｓ＝ｄｘｍｉｎ ＋｛（Ｈｍｉｎ+1−Ｈｍｉｎ-1）／（２・（Ｈｍｉｎ−Ｈｍｉｎ-1))｝ …（１８） この（１６）式〜（１８）式の補間式を用いて真のピー
ク位置ｄｓを求めた場合には、補間しない場合に比較し
て、位置精度が３倍向上することを実験的に確認するこ
とができた。

【０１２１】結局、ステップＳ２５の補間処理終了後
に、変移位置Ｘｐの原領域３１に最も対応する検索領域
３２の真のピーク位置ｄｓが求まることになる。

【０１２２】このようにして求められた変移位置Ｘｐと
真のピーク位置ｄｓは、それぞれ、図５に示す右画像Ｉ
Ｒ上の対象物体画像ＳＲの視差ｄＲと左画像ＩＬ上の対
象物体画像ＳＬの視差ｄＬに対応する。

【０１２３】しかし、実際上、フロントガラスやカメラ
１Ｒ、１Ｌの対物レンズ１１Ｒ、１１Ｌの光学特性によ
って、左右の画像ＩＲ、ＩＬには、例えば、ピンクッシ
ョン的歪み、あるいはバレル的歪みが存在するので、こ
れらによる歪み補正を行った視差ｄＲと視差ｄＬとを求
める（ステップＳ２６）。

【０１２４】そこで、これら歪み補正を行った視差ｄＲ
と視差ｄＬを測定値として、上述の（４）式〜（６）式
から対象物体Ｓまでの奥行き方向の距離Ｚｄと、その距
離Ｚｄからの左右の偏差にかかるずれ距離ＤＲとずれ距
離ＤＬとの３次元位置情報を求めることができる（ステ
ップＳ２７）。

【０１２５】ステップＳ２８では、エピポーラーライン
ＥＰ上の全ての変移位置Ｘでの原領域３１に対応する検
索領域３２中の真のピーク位置ｄｓを求める演算が終了
したかどうか、すなわち、変移位置ＸがＸ＝７６７であ
るかどうかを確認して処理を終了する。

【０１２６】位置演算装置７で作成された、これら３次
元位置情報である距離Ｚｄとずれ距離ＤＲとずれ距離Ｄ
Ｌとはクラスタリングされ、対象物体Ｓについての識別
符号としての、いわゆるアイディ（ＩＤ：Identificati
on）が付けられて、出力端子１０１を通じて、次の処理
過程である、図示しない道路・障害物認識装置等に接続
される。

【０１２７】道路・障害物認識装置等は、自動運転シス
テムを構成し、運転者に対する警告、車体の自動衝突回
避、前走車への自動追従走行などの動作を行うことがで
きる装置である。この場合、例えば、自動追従走行を行
うシステムとして、本出願人の出願による「物体検出装
置およびその方法」（特願平７−２４９７４７号）を挙
げることができる。

【０１２８】図１６は、車両Ｍとの関係において、図１
に示した姿勢推定装置９の詳細な構成を示している。

【０１２９】この姿勢推定装置９は、基本的には、走行
中の車体Ｍの揺れや、乗車人員の数や荷物の重量による
車体の傾きにより、距離検出領域が消失点よりずれるこ
とを補正する装置である。なお、消失点とは、エピポー
ラーラインＥＰが通る点であって、車両Ｍの正面方向に
ある無限遠点に対応する画像の中心とした点である。消
失点は、例えば、車両Ｍの前方に真っ直ぐな道路が存在
するとき、画像上、その道路の両側の線の延長線の前方
での交点と考えることができる。

【０１３０】車両Ｍの前部のバンパーの下部に前部車高
センサ９１が固定され、後部のホイールハウスの下部に
後部車高センサ９２が固定されている。傾斜量検出手段
を構成する車高センサ９１、９２は、例えば、レーザ測
長器または超音波測長器等を用いることができる。ま
た、トランクの近くに、それぞれ、角速度センサである
ピッチレートセンサ９３とヨーレートセンサ９４とが、
ピッチレートとヨーレートを検出する方向に固定されて
いる。これらセンサ９１〜９４は、車体を上側から見た
場合、ロールによるピッチ角の誤差の発生を防止するた
めに、車体の前後を結ぶ中心線から同じ方向に同じだけ
離れた位置に配置されている。

【０１３１】前部車高センサ９１と後部車高センサ９２
との車軸上での間隔（長さ）はＬとされている。傾きの
ない路面１０２からの前部車高センサ９１および後部車
高センサ９２で測定される高さをそれぞれＨｆｏ、Ｈｒ
ｏとし、ある状態における路面１０２からの高さをそれ
ぞれＨｆ、Ｈｒとするとき、ピッチ方向の傾き（傾斜
量）θｈは、（１９）式で与えられる。

【０１３２】 θｈ＝ａｒｃｔａｎ[ ｛（Ｈｆ−Ｈｆｏ）−（Ｈｒ−Ｈｒｏ）｝／Ｌ] …（１９） 車高センサ９１、９２の出力である高さＨｆ、Ｈｒは、
路面１０２の細かい凹凸による影響を避ける等の理由に
より、それぞれ、ローパスフィルタ９５、９６を通して
演算器９７にその低域通過成分である高さＨｆ′とＨ
ｒ′とが供給されるように構成されている。これら高さ
Ｈｆ′、Ｈｒ′から求められるピッチ方向の傾きは、θ
ｈ′とする。

【０１３３】一方、ピッチレートセンサ９３の出力信号
は、各速度信号であるので、それを１回積分器９８で積
分することでピッチ方向の傾きを求めることができる。
求めた傾き（傾斜量）をθｐとする。

【０１３４】しかし、ピッチレートセンサ９３には、通
常、ドリフト等の誤差を有しているため、長時間積分す
ると誤差が累積されてしまうという問題が発生する。

【０１３５】そこで、傾きθｐをハイパスフィルタ９９
を通過させてその高域通過成分である傾きθｐ′を演算
器９７に供給するようにする。ハイパスフィルタ９９を
通過させることで、静止していると傾きθｐ′は０値に
近づくことになる。このようにすることで、坂道のよう
に路面に傾斜がある場合でも路面の向きに沿った方向を
推定することができる。

【０１３６】そこで、演算器９７では、基本的には、ピ
ッチ方向の傾きθａｐを、傾きθｈ′と傾きθｐ′とを
合成した（２０）式で示す式で求めるようにしている。

【０１３７】 θａｐ＝θｈ′＋θｐ′ …（２０） この場合、ローパスフィルタ９５、９６とハイパスフィ
ルタ９９との時定数を同一の値にしておくことで、車体
の揺れと傾斜を好適に検出することができる。

【０１３８】すなわち、図１７に示すように、車体Ｍが
突然傾きθα°だけ傾いたとする。このとき、車高セン
サ９１、９２の出力を基に得られる傾きθｈ′は、ロー
パスフィルタ９５、９６を挿入しているので時間の経過
とともに傾きθα°に近づき、ピッチレートセンサ９３
に基づく傾きθｐ′は、ハイパスフィルタ９９を挿入し
ているので時間の経過とともに傾き０°に近づくことに
なる。したがって、これを合成した傾きθａｐ（θａｐ
＝θｈ′＋θｐ′）は、突然傾いた時点からステップ関
数的に立ち上がることになるので、車体Ｍの揺れと傾斜
を直ちにしかも正確に検出することができる。

【０１３９】なお、合成されたピッチ方向の傾きθａｐ
は、後部車高センサ９２の位置を相対的な原点として路
面１０２から時計方向に回転する方向を正方向としてい
る。

【０１４０】（２０）式で傾きθａｐを求めた場合に
は、車体Ｍにヨーイングが発生する転回時などにおいて
は、車体Ｍがロールし、このロールを原因としてピッチ
レートが発生するので、正しく路面との平行面を推定で
きなくなる。

【０１４１】この場合、図示しない３軸のレートセンサ
を設けて車体Ｍの軸回転を推定して、ピッチ方向の傾き
θａｐを求めるようにしてもよいが、ヨーレートとロー
ル量は比例関係にあり、したがって、ヨーレートからロ
ール量を推定することが可能となり、結果として、ヨー
レートからピッチレートを擬似的に補正することが可能
となる。

【０１４２】例えば、ヨーレートからピッチ方向の角度
への換算係数（ピッチ量換算係数）をＫとして予め求め
ておくことで、ヨーレートセンサ９４により検出された
ヨーレートＲｙａｗに、この換算係数Ｋを掛けること
で、ピッチ方向の傾斜θａｐの補正量を求めることがで
きる。

【０１４３】そこで、演算器９７では、車体Ｍのピッチ
方向の傾斜（ピッチ角）θａｐを（２１）式により算出
することとする。

【０１４４】 θａｐ＝θｈ′＋θｐ′−Ｋｙａｗ …（２１） このようにして算出された傾斜θａｐが端子１０３を通
じて図１に示す姿勢角メモリ１０に格納される。

【０１４５】姿勢角メモリ１０の内容は、対応処理装置
６（図８参照）内で相関演算をする際にスキャン座標生
成装置６１により読み取られる。

【０１４６】スキャン座標生成装置６１では、傾斜θａ
ｐが正の値であった場合には、傾斜θａｐに対応するＳ
個の画素分だけ、左右画像ＩＬ、ＩＲ（図６参照）の対
応を採る領域（ウィンドウ画像）３２、３１を選択する
際の帯状領域３３の座標を下側に下げる。したがって、
傾斜θａｐが負の値であった場合には、傾斜θａｐに対
応するＳ個の画素分だけ、左右画像ＩＬ、ＩＲの対応を
採る領域３２、３１を選択する際の帯状領域３３の座標
を上側に上げる。

【０１４７】なお、傾斜θａｐ、すなわちピッチ角θａ
ｐと帯状領域３３（エピポーラーラインＥＰ）との対応
関係は、予め測定してルックアップテーブルまたは演算
式としてスキャン座標生成装置６１に格納しておく。

【０１４８】例えば、傾きθａｐ、ステレオカメラ１の
縦方向の画角がθｖ、縦方向のカメラの画素数がＮｖ
（この実施の形態では、上述したように、Ｎｖ＝２４
０）であるとき、距離検出用対応領域３２、３１の縦方
向の中央付近に消失点を含む帯状領域３３が入るよう
に、次の（２２）式に基づいて、画素数Ｓを求めればよ
い。

【０１４９】 Ｓ＝（Ｎｖ／θｖ）×ｓｉｎθａｐ ＝（Ｎｖ／θｖ）×θａｐ …（２２） なお、図１に示すように露光量調整装置８でも姿勢角メ
モリ１０の内容を読み取ることができるように構成して
いるのは、露光調整基準領域も（２１）式に基づいて補
正できるようにするためである。

【０１５０】また、この発明は上述の実施の形態に限ら
ず、この発明の要旨を逸脱することなく種々の構成を採
り得ることはもちろんである。

【０１５１】

【発明の効果】以上説明したように、この発明によれ
ば、ピッチ角演算手段により車体のピッチ角を演算する
際、傾斜量検出手段により検出されたピッチ方向の傾斜
量の低域通過成分と、ピッチレート検出手段により検出
されたピッチレートから求めたピッチ量の高域通過成分
との合成値を車体のピッチ角として演算し、演算された
ピッチ角に応じた分だけ対応処理手段で対応を採るため
の小領域を画像の垂直方向に移動するようにしたので、
たとえ、路面の凹凸や搭乗者の数等に応じて車体にピッ
チングが発生したり、車両が傾斜したり、旋回により車
体が傾斜した場合においても路面と平行な方向が安定し
て推定でき、対応しようとする物体がエピポーラーライ
ンの近傍に存在することから、複数の画像間で対応物体
を確実に検出することができるという効果が達成され
る。これにより、車両の環境の認識を正確に行うことが
できるという利点が得られる。

【０１５２】また、この発明によれば、従来技術のよう
にカメラ自体の角度を機械的に変更することなく、画像
領域上で対応領域を移動するようにしているので、機械
的構成が必要なくなり、構成がきわめて簡単になり信頼
性も向上するという効果も達成される。

【図面の簡単な説明】

【図１】この発明の一実施の形態の構成を示すブロック
図である。

【図２】ステレオカメラの据えつけ位置の説明に供され
る概略斜視図である。

【図３】三角測量の原理で距離を求める際の説明に供さ
れる平面視的図である。

【図４】対象物体にかかる左右画像上での視差の説明に
供される線図であって、Ａは左側画像、Ｂは右側画像を
それぞれ表す図である。

【図５】図１例の装置の全体的な動作説明に供されるフ
ローチャートである。

【図６】左右の小領域の対応処理の仕方の説明に供され
る図である。

【図７】図６例の説明に供されるフローチャートであ
る。

【図８】対応処理装置の詳細な構成を含む装置の構成を
示すブロック図である。

【図９】相関演算部の詳細な構成を示す回路ブロック図
である。

【図１０】エピポーラーライン上の左画像データの一部
を模式的に表す線図である。

【図１１】エピポーラーライン上の右画像データの一部
を模式的に表す線図である。

【図１２】図９例中、第１演算ブロックの動作説明に供
されるブロック図である。

【図１３】図９例中、第１演算ブロックの動作説明に供
される他のブロック図である。

【図１４】位置演算装置の動作説明に供されるフローチ
ャートである。

【図１５】補間演算の説明に供される線図である。

【図１６】姿勢推定装置の詳細な構成を含む線図であ
る。

【図１７】ピッチ角の合成説明に供される線図である。

【符号の説明】

１…ステレオカメラ １Ｒ、１Ｌ…ビデ
オカメラ ２Ｒ、２Ｌ…ＣＣＵ ４Ｒ、４Ｌ…画像
メモリ ５Ｒ、５Ｌ…駆動回路 ６…対応処理装置 ７…位置演算装置 ８…露光量調整装
置 ９…姿勢推定装置 １０…姿勢角メモ
リ １３Ｒ、１３Ｌ…ＣＣＤイメージセンサ ３１、３２…小領域（ウィンドウ画像） ３３…帯状領域 ９１、９２…車高センサ ９３…ピッチレー
トセンサ ９４…ヨーレートセンサ ９５、９６…ロー
パスフィルタ ９７…演算器 θａｐ…傾斜（ピッチ角）

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ａ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ

Claims (2)

【特許請求の範囲】
1. 【請求項１】複数の撮像手段と、 前記複数の撮像手段からそれぞれ得られる画像の対応
   を、複数の画像の小領域間で採る対応処理手段と、 対応の採れた物体までの距離を三角測量の原理に基づき
   演算する位置演算手段と、 車両のピッチ方向の傾斜を検出する傾斜量検出手段と、 車両のピッチレートを検出するピッチレート検出手段
   と、 入力側が前記傾斜量検出手段と前記ピッチレート検出手
   段とに接続されるピッチ角演算手段とを備え、 前記ピッチ角演算手段は、前記傾斜量の低域通過成分と
   前記ピッチレートから求めたピッチ量の高域通過成分と
   を合成した値を車体のピッチ角として演算して、前記対
   応処理手段に供給し、 前記対応処理手段は、演算されたピッチ角に応じた分、
   複数の画像の対応を採るための前記小領域を画像の垂直
   方向に移動するようにしたことを特徴とする車両用環境
   認識装置。
2. 【請求項２】前記ピッチ角演算手段の入力側にヨーレー
   トを検出するヨーレート検出手段を備え、 前記ピッチ角演算手段は、前記傾斜量の低域通過成分
   と、前記ピッチレートから求めたピッチ量の高域通過成
   分と、予め求めてあるピッチ量換算係数を前記ヨーレー
   トに掛けた換算成分とを合成した値を車体のピッチ角と
   して演算し、前記対応処理手段に供給するようにしたこ
   とを特徴とする車両用環境認識装置。