JP3055721B2 - 左，右カメラの撮像画像の対応点検索方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、２個以上の撮像カメラ
で前方のシ−ンを撮映しステレオ画像処理により、該シ
−ンにあるものを摘出もしくは認識し、認識したものの
距離および速度を測定する、物***置監視に関し、特
に、左，右カメラの撮像画像中の物体の同一点の対応付
けすなわわち対応点検索に関する。

【０００２】

【従来の技術】例えば車両や船舶においては、前方車両
又は船舶もしくは障害物を自動検出する技術が望まれて
いる。これに答えるものとして特開昭６１−４４３１２
号公報および特開昭６１−４４３１３号公報には、車両
上の二台のテレビカメラで撮映したそれぞれ一画面分の
画像情報をステレオ処理して、カメラで映したシ−ン内
の物の距離を算出する距離測定装置が提示されている。

【０００３】前者では、所定量離して配置した２台のカ
メラで撮影した画像上で、同一の明るさを持つ領域をブ
ロック化する。次に一方の画像上の各々のブロックを視
差が減る方向に動かし、もう一方のブロックと比較しブ
ロックが一致する位置を見つける。一致するまでに動か
した量から距離を計算する。

【０００４】後者では、所定量離して配置した２台のカ
メラで撮影した画像上で、同一の明るさを持つ領域をブ
ロック化する。次に一方の画像上のブロックともう一方
の画像上のブロックのそれぞれの特徴量を算出し、相異
なるカメラで撮影した各ブロックの間で特徴量を比較し
最も良く一致するブロックを検出する（対応ブロックの
検出）。そして対応ブロック間の位置差から距離を計算
する。

【０００５】また本出願人の出願にかかる特開平２−２
９８７８号公報および特開平２−２９８７９号公報は、
前記シ−ン内の特定の物体、特に表面凹凸が多く複雑な
外表面を呈する物体、の撮映画面上の領域すなわちテク
スチャ領域を検出し、該物体の表面各部の距離すなわち
立体形状を検出する技術を提示している。

【０００６】更に、本発明者の提案にかかる特願平２−
２６２２６９号では、車両上で前景を左，右カメラで撮
映し、前景画像中の路面を切出す画像処理方法を開示し
ている。

【０００７】

【発明が解決しようとする課題】前記特開昭６１−４４
３１２号公報および特開昭６１−４４３１３号公報に開
示の如き距離測定装置では、２台のカメラの視差が大き
いときには非常に大きな領域を対応探索することになる
ので、似かよった特徴を持つブロックが多く存在する場
合には対応ブロック検出を誤る確率が高くなる。

【０００８】前記特開平２−２９８７８号公報および特
開平２−２９８７９号公報に開示の如き距離測定装置で
は、立体的に比較的に複雑な形状をした物体の検出に多
くの利点をもたらすが、立体的には比較的に単調でしか
も領域が広く、画面上に１つの独立体（単体）として現
われにくい物体、例えばテ−ブルの上面，床面，路面，
水面等々、平面又は擬似平面（以下平面状部という）、
の摘出は難しい。これはこれらの距離測定装置がもとも
と立体的な個体を正確に摘出しかつその表面凹凸をより
正確に検出しようとするものであることを考えれば当然
でもある。

【０００９】いずれの立体視による物体検出あるいは追
跡においても、左カメラで撮映した画像と右カメラで撮
映した画像の中の、物体の同一点を検索する対応処理に
おいて誤対応をとってしまうと、左，右カメラの立体視
処理技術を利用する物体の認識が混乱し、例えば車両上
における前方物体の認識では物体認識に基づいて前方物
体の位置および速度（自車両に対する相対速度）を算出
するが、これらが誤りとなる。

【００１０】本発明は、左，右カメラの撮像画像の対応
点検索をより正確にすることを目的とする。

【００１１】

【課題を解決するための手段】左，右の撮像カメラによ
りそれらの前方のシ−ンを撮映してそれぞれビデオ信号
を得て、これらのビデオ信号をデジタル処理して、左，
右画像にある同一物体の同一点を検索するにおいて、ｔ
ｏ時刻，これよりΔｔ後のｔ１時刻および更にΔｔ後の
ｔ２時刻の左，右画像の内、少くともｔｏ時刻およびｔ
１時刻の左，右画像は、画像中の物体のエッジを細線で
表わす細線化処理を施して、これらｔｏ，ｔ１およびｔ
２時刻の左，右画像に基づいて、時刻ｔｏの左（右）画
像にある細線のある点を注目点Poa1と定め、時刻ｔｏの
右（左）画像上の細線の、注目点Poa1の垂直座標iの対
応垂直座標i上にある点Pob1,Pob2,Po3bを摘出してｔｏ
時刻の右（左）画像上の対応候補点Pob1,Pob2,Po3bと
し、時刻ｔ１の左（右）画像上で注目点Poa1の座標(j,
i)を中心とする所定領域の細線上の各点をｔ１時刻の左
（右）画像上の対応候補点P1a-d〜P1a-eとして、対応候
補点Pob1,Pob2,Po3bの１つ毎に、それと注目点Poa1の座
標で定まるｔｏ時刻の注目点Poa1の３次元位置、ならび
に、注目点Poa1が対応候補点P1a-d〜P1a-eのそれぞれに
移動した場合のそれぞれのｔ１時刻の右（左）画像上の
位置の連なりとｔ１時刻の右（左）画像上の細線の交点
P1bの座標で定まる、ｔ１時刻の注目点Poa1の３次元位
置を算出して、両３次元位置の外挿によりｔ２時刻の注
目点Poa1の３次元位置を算出し、これを左，右画像上の
座標に変換して、これらの座標位置の、ｔ２時刻の左，
右画像上の画像濃度の相関値Cを算出し、対応候補点Pob
1,Pob2,Po3bの内、相関値Cが最大の候補点を、時刻の左
（右）画像上の注目点Poa1の、ｔｏ時刻の右（左）画像
上の対応点と定める。

【００１２】

【作用】ｔｏ時刻，これよりΔｔ後のｔ１時刻および更
にΔｔ後のｔ２時刻の左，右画像の内、少くともｔｏ時
刻およびｔ１時刻の左，右画像は、画像中の物体のエッ
ジを細線で表わす細線化処理を施すことにより、ｔｏ時
刻およびｔ１時刻の左，右画像は、撮映画像中の物体の
縁を表わすので、左，右画像で細線同志の対応付けで対
応点がある。

【００１３】左，右カメラを実質上水平にならべること
により、左カメラの画像中のある細線の、ある走査線
（水平線）上の一点Ｐｏａ１の対応点は、右カメラの画
像中の細線と、該走査線に対応する走査線（水平線）と
の交点となる。この交点は通常複数（多数）となる。左
カメラの画像中の一点Ｐｏａ１は右カメラでは該一点Ｐ
ｏａ１の横方向位置ｊよりも左側に表われるので、時刻
ｔｏの右（左）画像上の細線の、注目点Poa1の垂直座標
iの対応垂直座標i上にある点Pob1,Pob2,Po3bを摘出して
ｔｏ時刻の右（左）画像上の対応候補点Pob1,Pob2,Po3b
とすることにより、対応候補点数が絞られる。

【００１４】短時間Δｔ内では、カメラで撮映された物
体の移動範囲は狭いので、その範囲（所定領域）を定め
ておくことができる。しかして、時刻ｔ１の左（右）画
像上で注目点Poa1の座標(j,i)を中心とする所定領域の
細線上の各点をｔ１時刻の左（右）画像上の対応候補点
P1a-d〜P1a-eとすることにより、ｔｏ時刻の左（右）画
像上の注目点Poa1は、ｔ１時刻の左（右）画像上の対応
候補点P1a-d〜P1a-eのいずれかである。そこで、ｔｏ時
刻の右（左）画像上の対応候補点Pob1,Pob2,Po3bのそれ
ぞれを注目点Poa1の対応点と仮定し、例えば１つの候補
点Pob1に関しては、ｔｏ時刻の左（右）画像上の注目点
＝Poa1，ｔｏ時刻の右（左）画像上の対応点＝Pob1，ｔ
１時刻の左（右）画像上の対応点＝P1a-d〜P1a-e、とし
て、ｔ１時刻の右（左）画像上の、P1a-d〜P1a-eに対応
する点列を求めて、ｔ１時刻の右（左）画像上の細線と
この点列との交点P1bをｔ１時刻の右（左）画像上の対
応点P1bとして、Poa1とPob1よりｔｏ時刻の注目点Poa1
の３次元位置を求め、ｔ１時刻の交点P1bとこれに対応
するｔ１時刻の左（右）画像上のP1b対応点よりｔ１時
刻の注目点Poa1の３次元位置を求めて、注目点Poa1の運
動が２Δｔの間この時間が極く短いので、実質上等速直
線運動であるとして、ｔｏ時刻の３次元位置とｔ１時刻
の３次元位置に外挿法を適用して、ｔ２時刻の注目点Po
a1の対応点の３次元位置を算出する。この、算出した３
次元位置に対応する、ｔ２時刻の左，右画像上の位置の
画像濃度の、左，右画像相関値Ｃを算出する。

【００１５】これと同様の処理を残りの候補点について
も同様に行なう。このようにして得た相関値の最大値を
得た候補点(Pob1,Pob2,Po3bの1つ)を、ｔｏ時刻の左
（右）画像の注目点Poa1に対応する、ｔｏ時刻の右(左)
画像上の対応点と決定する。

【００１６】短時間Δｔ内では、カメラで撮映された物
体の移動範囲は狭いので、その範囲を常に含むように前
記所定領域を定めておくことにより、注目点Po1のΔｔ
後（ｔ１時刻）の対応点が必ず、対応候補点P1a-d〜P1a
-eとして摘出される。すなわちｔ１時刻の対応候補点P1
a-d〜P1a-eの摘出が正確となる。これ（P1a-d〜P1a-e）
とｔｏ時刻の右（左）画像上の対応候補点Pob1,Pob2,Po
3bのそれぞれに基づいてｔ１時刻の対応点列（Pob1,Pob
2,Po3b毎）を算出するので、この点列とｔ１時刻の右
（左）画像上の細線との交点P1bでなる、ｔ１時刻の右
（左）画像上の対応点P1b（Pob1,Pob2,Po3bそれぞれに
１個）も正確に求まる。物体の移動は等速直線運動に見
なせるので、ｔｏ時刻の注目点Poaの３次元位置と、ｔ
１時刻の対応点P1b（Pob1,Pob2,Po3bそれぞれに１個）
の３次元位置より、外挿によりｔ２時刻の対応点（Pob
1,Pob2,Po3bそれぞれに１個）の３次元位置を求めるの
で、ｔ２時刻の対応点の推定精度が高い。加えて、物体
の同一点の左，右画像上の濃度は実質上同一であり、こ
れに着目して、ｔ２時刻の各対応点（Pob1,Pob2,Po3bそ
れぞれに１個）に関して、ｔ２時刻の左，右画像上の画
像濃度の相関値Ｃを算出し、相関値の最大値を得た対応
点補点(Pob1,Pob2,Po3bの1つ)を、ｔｏ時刻の左（右）
画像の注目点Poa1に対応する、ｔｏ時刻の右(左)画像上
の対応点と決定するので対応点の推定が正確である。

【００１７】このように、物体の運動による対応点の位
置変化を利用した外挿による対応点(X2a,Y2a),(X2b,Y2
b)の推定と、同一物体の同一部は同一の明るさであると
の自明の事項を利用した左右画像濃度の相関値の演算お
よび比較により、複数の候補点Pob1,Pob2,Po3bから一点
を対応点と決定するので、相対的に高速に移動する物体
の認識の信頼度が高い。

【００１８】本発明の他の目的および特徴は、図面を参
照した以下の実施例の説明より明らかになろう。

【００１９】

【実施例】図２に、本発明を一態様で実施する画像処理
装置の構成を示す。この装置は、コンピュ−タ１，撮像
カメラ２ａ（左），２ｂ（右），画像メモリ４，ディス
プレイ５，プリンタ６，フロッピ−ディスク７およびキ
−ボ−ドタ−ミナル８等でなり、これらは乗用車に搭載
されている。左，右カメラ２ａ，２ｂは、それぞれ、前
方のシ−ンを撮映して５１２×５１２画素区分でアナロ
グ画像信号を出力する同諸元のＩＴＶカメラ（ＣＣＤカ
メラ）であり、これらの画像信号をＡ／Ｄコンバ−タ２
２ａ，２２ｂが１画素２５６階調のデジタルデ−タ（画
像デ−タ）に変換する。撮映カメラ２ａ，２ｂは、平面
（路面）よりある高さｈにあり、二台のステレオで斜め
下向き（下向き角度）で前方のシ−ンを撮映する。図３
に示すように左カメラ２ａの撮映画面ＦＬａを左画像
と、右カメラ２ｂの撮映画面ＦＬｂと呼ぶものとする。

【００２０】図２に示す画像メモリ４は読み書き自在で
あり、左画像や右画像の原画像デ−タを始めとして種々
の処理デ−タを記憶する。ディスプレイユニット５およ
びプリンタ６は、コンピュ−タ１の処理結果等を出力
し、フロッピ−ディスク７はその処理結果を登録してお
く。また、キ−ボ−ドタ−ミナル８はオペレ−タにより
操作されて、各種の指示が入力される。コンピュ−タ１
には、さらにホストコンピュ−タが接続されており、そ
こから与えられた指示、またはキ−ボ−ドタ−ミナル８
より与えられた指示に従って各部を制御し、対応する処
理を行なう。以下、その処理のうち、前方のシ−ンの中
の物体を認識しその位置（カメラからの距離）および速
度（カメラとの相対速度）を検出するための、「前方物
体の速度監視」について説明する。

【００２１】この種の画像処理装置による物体認識にお
いては、前方に２つの点（物体又はその一部）が存在
し、図４に示すように、それらの点がｔｏ時刻でＡ１，
Ｂ１にあり、それよりΔｔ後のｔ１時刻でＡ２，Ｂ２に
あり、更にΔｔ後のｔ２時刻でＡ３，Ｂ３にあったと
し、物体認識で誤対応を生じて、図４に示すように、両
点を一点（対応点）と認識して、ＰＣ１，ＰＣ２，ＰＣ
３と追跡すると、この認識点ＰＣ１，ＰＣ２，ＰＣ３は
等速直線運動とならない（ただし例外もある）。従って
等速直線運動と仮定して、ｔｏ時刻のＰＣ１とｔ１時刻
のＰＣ２から外挿によりｔ２時刻の位置ＰＣ３’を求め
ると、実際に認識したＰＣ３と異なり、しかもＰＣ３
の、左画像上（ＰＡ３）の明るさと右画像上（ＰＢ３）
の明るさとが異なり、これらの明るさの相関値が低い。
位置ずれΔＸは、次の(1)式で表わせる。

【００２２】

【数１】

【００２３】(1)式中の各パラメ-タは次の通りである。

【００２４】

【数２】

【００２５】

【数３】

【００２６】

【数４】

【００２７】

【数５】

【００２８】

【数６】

【００２９】

【数７】

【００３０】この実施例の「前方物体の速度監視」は、
等速直線運動と明るさの相関値を積極的に利用して、迅
速かつ正確に対応点を求めようとするものである。図５
に、この実施例において、ホストコンピュ−タ又はキ−
ボ−ドタ−ミナル８より与えられた指示に応答してその
指示が解除されるまで、コンピュ−タ１が実質上所定周
期で繰返えす「前方物体の速度監視」ル−チンの概略を
示し、図６〜図１１に、その中の主たる処理項目の処理
内容を示。

【００３１】まず図５を参照すると、コンピュ−タ１
は、１サイクルの「前方物体の速度監視」処理の先頭に
おいて、左右カメラ２ａ，２ｂの左画像，右画像の画像
デ−タを画像メモリ４に書き込む（サブル−チン１）。
なお、以下カッコ内ではサブル−チンとかステップとい
う語を省略し、それに付した番号数字のみを示す。次に
画像デ−タの微分処理を行なう（２）。この内容を図６
に示す。

【００３２】「微分処理」（２）では、まず左画像に対
して順方向ラスタスキャンを設定する。なお、ラスタス
キャンの方向は、撮映シ−ンの水平方向（車上から前方
を見て左右方向）である。順方向ラスタスキャンは、図
３に示す撮像領域ＦＬａ（右画面ではＦＬｂ）内をＸａ
（Ｘｂ）に平行なｕａ（ｕｂ）軸を主走査軸とし、Ｙａ
（Ｙｂ）に平行なｖａ（ｖｂ）軸を副走査軸として左上
端画素から右下画素に至る経路で各画素に注目する走査
を行なう。すなわちｕ方向（主走査方向）およびｖ（副
走査方向）の走査を、左上の画素（画像原点０，０）か
ら右下画素（５１２，５１２）まで行なう。順方向ラス
タスキャンを行いながら微分デ−タを生成する。

【００３３】微分デ−タは、注目画素およびその近傍画
素８個の原画像デ−タ（注目画素を中心とする３×３の
画像デ−タマトリックス）の原画像デ−タを、注目画素
の画像濃度をｐ０とし、その右隣りの画素の画像濃度を
ｐ１とし、ｐ１の上の画素の画像濃度をｐ２とし、注目
画素の上の画素の画像濃度をｐ３とし、ｐ３の左隣りの
画素の画像濃度をｐ４とし、注目画素の左隣りの画素の
画像濃度をｐ５とし、ｐ５の下の画素の画像濃度をｐ６
とし、注目画素の下の画素の画像濃度をｐ７とし、ｐ７
の右隣りの画素の画像濃度をｐ８とすると、（ｐ１＋ｐ
２＋ｐ８）−（ｐ４＋ｐ５＋ｐ６）で与えられる主走査
方向微分デ−タと、（ｐ２＋ｐ３＋ｐ４）−（ｐ６＋ｐ
７＋ｐ８）で与えられる副走査方向微分デ−タとの和で
あり、原画像デ−タの空間的な変化量を示す。コンピュ
−タ１は、これらのデ−タを各画素に対応付けして画像
メモリ４に書き込む。

【００３４】コンピュ−タ１は次に、図７に示す「しき
い値処理」（３）により、微分デ−タをしきい値ＴＨ１
と比較して、ＴＨ１より大きい微分デ−タをそのまま画
素対応で残し、ＴＨ１より小さい微分デ−タは画素対応
で０に置換する。このようにして２値化した結果、原画
像デ−タの値の変化が大きい領域「エッジ領域」が検出
され該領域のみ微分デ−タがそのまま大きい値で残り、
他の領域では微分デ−タは０（明るさの変化なし：連続
領域）となる。

【００３５】コンピュ−タ１は次に、図８に示す「細線
化」（４）により、垂直方向の、微分デ−タの大から小
への切換わり点を「１」とし、他の点を「０」として、
「１」が境界（境界線の画素）を表わす２値画像に微分
デ−タを変換する。これにより画像中の物の境界が細線
で表わされる細線画像が得られる。

【００３６】図１２〜１４に、ｔｏ時刻，ｔ１時刻およ
びｔ２時刻の左，右カメラ２ａ，２ｂの撮映画像（原画
像：画像入力１で得たもの）の一例を示す。これらの図
中の（ａ）の画像が左カメラ２ａで撮映したもの、
（ｂ）が右カメラ２ｂで撮映したものである。上述の微
分処理（２）〜細線化（４）の処理により、原画像（図
１２〜１４）の中の、明るさの変化が急激な位置、例え
ば路面とその上の白線との境界，路面と前景との境界，
路面と車両の境界，前景と車両との境界，車両の影と露
出路面との境界、一車両でもボディと窓との境界等々、
実質上物体の縁が細線となった細線画像が得られ、これ
がメモリに記憶される。

【００３７】コンピュ−タ１は、以上に説明した画像入
力（１），微分処理（２），しきい値処理（３）および
細線化（４）を、Δｔ周期で左，右カメラ２ａ，２ｂの
撮映画像のそれぞれについて実行する。この画像読取処
理を実行するときには、ｔ１時刻の細線化画像を記憶す
るためのメモリ領域のデ−タをｔｏ時刻の細線化画像を
記憶するためのメモリ領域に移し、ｔ２時刻の細線化画
像を記憶するためのメモリ領域のデ−タをｔ１時刻の細
線化画像を記憶するためのメモリ領域に移し、そして上
述の画像入力（１）〜細線化（４）を実行して、得た細
線画像を左，右画像別に、ｔ２時刻の細線画像を記憶す
るためのメモリ領域に書込む。これにより、第１回の画
像入力（１）を実行してから２Δｔが経過した時点か
ら、上述のメモリ領域には、最新に読取った細線画像
（ｔ２時刻の細線画像），それよりΔｔ前に読取った細
線画像（ｔ１時刻の細線画像）および２Δｔ前に読取っ
た細線画像（ｔｏ時刻の細線画像）が、常時存在する。
なお、最新（ｔ２時刻の）の原画像デ-タは、次に画像
入力（１）を実行するまで、原画像デ−タメモリ領域に
保持する。

【００３８】コンピュ−タ１は、３時刻ｔｏ，ｔ１，ｔ
３の細線画像が整った時点から、細線化（４）を終了す
る毎に、「時系列両眼立体視」（６）を実行する。この
内容を図９に示し、その中の「処理１」（６８）の内容
を図１０に、また図１０の処理（１）の中の「処理２」
の内容を図１１に示す。また、図１には、「時系列両眼
立体視」（６）の処理対象の細線画像を、理解を容易に
するために単純化して示す。「時系列両眼立体視」
（６）でコンピュ−タ１はまず、ｔｏ時刻の左画像（細
線画像：以下、時系列両眼立体視６の説明中では、細線
画像を単に画像と表現する）。を読取走査して細線部の
黒（「１」）情報を探索する（６１〜６４）。１つの黒
情報Ｐoa1が座標(j,i)にあるとこれを注目点Ｐoa1とす
る。ｔｏ時刻の右画像の、該水平走査線Ｙｉと同一の走
査線上の、左画像の黒情報Ｐoa1の水平位置ｉよりも左
側（ｉが小さい領域）の黒情報Ｐob1,Ｐob2,Ｐob3が、
左画像の注目点Ｐoa1の対応候補点Ｐob1,Ｐob2,Ｐob3で
ある。

【００３９】−(1) ｔｏ時刻の右画像上で第１の対応
候補点Ｐob1を検索すると（６７）、「処理１」（６
８）を実行する。まず、ｔ１時刻の左画像中に、注目点
Ｐoa1の座標(j,i)を中心として(j±20,i±20)のウィン
ドウ領域Ｗinを設定し、その内部の黒情報Ｐ1a−ｅ〜Ｐ
1a-dをｔ１時刻の対応候補点群と仮に定める(681〜68
5)。

【００４０】−(2) ｔ１時刻の第１の対応候補点群の
第1の点Ｐ1a−ｅに関して、Ｐoa1(to時刻の左画像)，Ｐ
ob1(to時刻の右画像)およびＰ1a−ｅ(t1時刻の左画像)
を各対応点と仮定して、これのｔ１時刻の右画像上の対
応点を求める(686)。これにおいては、次の(8)式で、求
めようとする対応点の水平方向の位置(X座標)Ｘ1b＊を
算出する。垂直方向の位置(Y座標)は、Ｐ1a−ｅのもの
と同一とする。

【００４１】

【数８】

【００４２】なお、数式および図面の中の各種記号の意
味は次の通りである。 Ｘ１ｂ＊：ｔ１時刻の右画像における予測対応点(P1a-d
〜P1a-eの対応点)のＸ座標， （Ｘｃａ，Ｙｃａ）：左画像中心， （Ｘｃｂ，Ｙｃｂ）：右左画像中心， Ｓｘａ，Ｓｙａ：左画像のスケ−ルファクタ， Ｓｘｂ，Ｓｙｂ：右画像のスケ−ルファクタ， θ：カメラの下向き角， Ｙ１：ｔ１時刻の右画像における対応点Ｐ１ｂのＹ座
標， （Ｘ２ａ，Ｙ２ａ）：ｔ２時刻の左画像上の対応点， （Ｘ２ｂ，Ｙ２ｂ）：ｔ２時刻の右画像上の対応点， Ｆ（Ｙ，Ｘ）：原画像デ−タ， Ｇ（Ｙ，Ｘ）：微分デ−タ， Ｈ（Ｙ，Ｘ）：しきい値処理後の微分デ−タ， Ｐ（Ｙ，Ｘ）：細線デ−タ（「１」：細線部／「０」：
細線部でない）。

【００４３】次に、求めた対応点（Ｘ１ｂ＊）に、ｔ１
時刻の右画像に黒情報があるかをチェックする(689)。
第１の対応点Ｐ1a-eに対応する位置に、ｔ１時刻の右画
像に黒情報がないと、ウインドウ領域Ｗinのｔ１時刻の
対応候補点群Ｐ1a−ｅ〜Ｐ1a-dの第2のものについて、
同様に、ｔ１時刻の右画像上の対応点を求め(686)、そ
こに黒情報があるかをチェックする。このように、対応
候補点群Ｐ1a−ｅ〜Ｐ1a-dのｔ１時刻の右画像上の対応
点を順次算出してそこに黒情報があるかをチェックし、
これを黒情報があるまで行なう。すなわち、対応候補点
群Ｐ1a−ｅ〜Ｐ1a-dのｔ１時刻の右画像上の対応点の並
びで現わされる細線(図1に点線で示す)と、ｔ１時刻の
右画像上に実際に存在する細線(図1に実線で示す)との
交点Ｐ1bを検索し、これを対応点と定める(685〜689)。
この交点Ｐ1bを算出した根拠となる、ｔ１時刻の左画像
上の対応候補点群Ｐ1a−ｅ〜Ｐ1a-dの１点（これをＰ1a
−ｐと呼ぶ）を把握しておく。

【００４４】−(3) 以上で、ｔｏ時刻の、左画像上の
注目点Ｐoa1とそれの右画像上の対応点Ｐob1、ならび
に、ｔ１時刻の、左画像上の注目点Ｐ1a−pとそれの右
画像上の対応点Ｐ1bが定まった。そこで、この点（ｔｏ
時刻のＰoa1＝Ｐob1，ｔ１時刻のＰ1a−p＝Ｐ1b）の、
ｔｏ時刻の３次元位置と、ｔ１時刻の３次元位置より、
それらを結ぶ直線上でｔ１時刻の３次元位置から、ｔ
ｏ，ｔ１時刻の３次元位置間距離分だけ離れた位置にｔ
２時刻の３次元位置があるとして該ｔ２時刻の３次元位
置を外挿法で求め、ｔ２時刻の３次元位置の、ｔ２時刻
の左画像上の位置（Ｘ２ａ，Ｙ２ａ）および右上画像上
の位置（Ｘ２ｂ，Ｙ２ｂ）を算出する(6901,6902)。算
出式の主要なものを次に示す。以上により、ｔｏ時刻の
左，右画像の対応点Ｐoa1，Ｐob1の、ｔ１時刻の左，右
画像上の対応点Ｐ1a−p，Ｐ1bと、ｔ２時刻の左，右画
像上の対応点（Ｘ２ａ，Ｙ２ａ），（Ｘ２ｂ，Ｙ２ｂ）
を推定したことになる。

【００４５】

【数９】

【００４６】

【数１０】

【００４７】−(4) この推定の正確さを更に確保する
ため、コンピュ−タ１は、ｔ２時刻の左，右原画像デ−
タより、それぞれ対応点（Ｘ２ａ，Ｙ２ａ），（Ｘ２
ｂ，Ｙ２ｂ）を中心とする３×３画素の画像デ−タを読
出して、次の(11)式で、３×３画素の画像濃度の和を算
出し、左画像の和と右画像の和の差を算出し、得た差の
逆数を算出し、これを相関値Ｃとする(6903)。すなわ
ち、対応点（Ｘ２ａ，Ｙ２ａ），（Ｘ２ｂ，Ｙ２ｂ）の
明るさの相関値Ｃを算出する。

【００４８】

【数１１】

【００４９】以上により、ｔｏ時刻の右画像上の第１の
対応候補点Ｐob1について、それが対応点である可能性
の度合いを示す相関値Ｃが求まったことになる。

【００５０】 コンピュ−タ１は、ｔｏ時刻の右画像
の、注目点Ｐoa1の水平走査線Ｙｉと同一の走査線上
の、注目点Ｐoa1の水平位置ｉよりも左側（ｉが小さい
領域）の、上記相関値Ｃの算出処理を終了した黒情報Ｐ
ob1の次の黒情報Ｐob2についても、上述の−(1)〜
−(4)の相関値Ｃ算出処理を同様に実行し、黒情報Ｐob2
の相関値Ｃを、先に算出した黒情報Ｐob1の相関値と比
較し、大きい方の相関値を記憶保持し、大きい方の相関
値を得た候補点（Ｐob1とＰob2の一方）をｔｏ時刻の対
応点として記憶し、大きい方の相関値を得た対応点(X2
a,Y2a),(X2b,Y2b)をｔ２時刻の対応点として記憶する(6
903〜6906)。

【００５１】 以下同様にコンピュ−タ１は、ｔｏ時
刻の右画像の、注目点Ｐoa1の水平走査線Ｙｉと同一の
走査線上の、注目点Ｐoa1の水平位置ｉよりも左側（ｉ
が小さい領域）の、残りの黒情報Ｐob3についても、上
述のの処理を同様に実行する(6903〜6906)。

【００５２】ｔｏ時刻の右画像の、注目点Ｐoa1の水平
走査線Ｙｉと同一の走査線上の、注目点Ｐoa1の水平位
置ｉよりも左側（ｉが小さい領域）の、すべての対応候
補点すなわち黒情報Ｐob1,Ｐob2,Ｐob3について上述の
相関値Ｃ算出等の処理を終了すると、終了時点には、算
出した相関値Ｃの最大値と、これをもたらしたｔｏ時刻
の右画像上の対応候補点、ならびに、ｔ２時刻の対応候
補点がコンピュ−タ１に記憶されている。以上により、
ｔｏ時刻の左画像上の細線上の１点Ｐoa1の、ｔｏ時刻
の右画像上の対応点、ならびに、ｔ２時刻の左，右画像
上の対応点が決定された。

【００５３】コンピユ−タ１は、このようなｔｏ時刻の
左，右細線画像の対応点検索を、画像中の細線を構成す
る各点について同様に実行する（６１〜７１）。ｔｏ時
刻の左，右細線画像の対応点検索を終了すると、対応点
それぞれの３次元位置を算出することができ、３次元位
置デ−タに基づいて色々な方向から見た線図を描くこと
ができる。例えば３次元位置デ−タに基づいて各点を
Ｘ，Ｚ平面上に描くと例えば図１５の（ａ）に示す線図
が得られ、これはカメラ２ａ，２ｂを搭載した車両の前
方の、道路の平面図であり、路上の物体（車両）の存在
を示す。Ｘ，Ｙ平面上に描くと例えば図１５の（ｂ）に
示す線図が得られ、これはカメラ２ａ，２ｂを搭載した
車両の前方の左，右，上下方向の物体の存在を示す。
Ｘ，Ｙ，Ｚ軸に斜交する平面上に描くと、例えば図１５
の（ｃ）に示す線図が得られ、これは道路の斜視図であ
る。更には、Ｙ，Ｚ平面上に描くと、例えば図１５の
（ｄ）に示す線図が得られ、これは道路の側面図であ
る。このように、道路およびその上の物体を立体的に認
識することができ、かつ立体的に表わすことができる。

【００５４】一画面の対応点検索を終了するとコンピュ
−タ１はこの実施例では、「距離計算」（７２）を実行
する。これにおいては、対応点検索を行なった各点につ
いて、ｔｏ時刻の左，右対応点に基づいて、３次元位置
Ｘｏ，Ｙｏ，Ｚｏを、次の(12)式で算出する。

【００５５】

【数１２】

【００５６】Ｘｏはカメラから見て左，右方向の位置、
Ｙｏは上下方向の位置、Ｚｏが前方距離である。「距離
計算」（７２）を終えるとコンピュ−タ１は、「速度ベ
クトル計算」（７３）を実行する。これにおいては、次
の(13)式に示すように、対応点を検索した各点につい
て、ｔｏ時刻の位置とｔ２時刻の位置の差を算出して２
（これは２Δｔに対応）で割って、横方向の速度（カメ
ラに対する相対速度）ＶｘおよびＶｙを算出する。

【００５７】

【数１３】

【００５８】なお、ｔｏ時刻の３次元位置とｔ２時刻の
３次元位置の差のＺ成分を算出することにより、Ｚ（前
方方向）の相対速度を算出することができる。Ｚ方向の
速度を横軸とし、同一速度を有する点の数を縦軸にとる
と、例えば図１６に示す如き、速度分布が得られる。図
１６は、カメラ２ａ，２ｂを搭載した車両（自車）と同
程度の速度の車両（図１６の横軸の中央位置：速度０）
と、自車より速い速度で遠ざかって行く車両（横軸の−
は遠ざかる方向）が存在することを意味する。同一Ｘ，
Ｙ平面上に、ｔｏ時刻とｔ２時刻の対応点を結ぶ直線を
描くと、図１７に示す線図が得られる。これらの線は速
度ベクトルを示し、視認上は、直線の方向が自車に対す
る相対移動方向を、直線の長さが自車に対する相対移動
速度を示す。

【００５９】コンピュ−タ１は、以上に説明した一画面
上の処理（時系列両眼立体視６）を、「画像入力」
（１）を実行する毎に、すなわちΔｔ周期で、実行す
る。

【００６０】

【発明の効果】短い時間区間Δｔでは、物体の移動は等
速直線運動に見なせる。本発明では、ｔｏ時刻の注目点
Poaの３次元位置と、ｔ１時刻の対応点P1b（Pob1,Pob2,
Po3bそれぞれに１個）の３次元位置より、外挿によりｔ
２時刻の対応点（Pob1,Pob2,Po3bそれぞれに１個）の３
次元位置を求めるので、ｔ２時刻の対応点の推定精度が
高い。加えて、物体の同一点の左，右画像上の濃度は実
質上同一であり、これに着目して、ｔ２時刻の各対応点
（Pob1,Pob2,Po3bそれぞれに１個）に関して、ｔ２時刻
の左，右画像上の画像濃度の相関値Ｃを算出し、相関値
の最大値を得た対応点補点(Pob1,Pob2,Po3bの1つ)を、
ｔｏ時刻の左（右）画像の注目点Poa1に対応する、ｔｏ
時刻の右(左)画像上の対応点と決定するので対応点の推
定が正確である。このように、物体の運動による対応点
の位置変化を利用した外挿による対応点(X2a,Y2a),(X2
b,Y2b)の推定と、同一物体の同一部は同一の明るさであ
るとの自明の事項を利用した左右画像濃度の相関値の演
算および比較により、複数の候補点Pob1,Pob2,Po3bから
一点を対応点と決定するので、相対的に高速に移動する
物体の認識の信頼度が高い。

【図面の簡単な説明】

【図１】 本発明の対応点検索を説明するために、撮
影画面を細線化した細線画像を単純化して示す平面図で
ある。

【図２】 本発明を一態様で実施する画像処理装置の
構成概要を示すブロック図である。

【図３】 図２に示す左，右カメラ２ａ，２ｂが撮映
した画像ＦＬａ，ＦＬｂとカメラ前方の平面上の点Ｐと
の光学的な距離関係を示す斜視図である。

【図４】 図３に示す光学的な距離関係を、図３に示
すＸ，Ｚ平面に投影した平面図である。

【図５】 図２に示すコンピュ−タ１の、「前方物体
の速度監視」を行なう処理内容を示すフロ−チャ−トで
ある。

【図６】 図５に示す「画像入力」（１）の処理内容
を示すフロ−チャ−トである。

【図７】 図５に示す「しきい値処理」（３）の処理
内容を示すフロ−チャ−トである。

【図８】 図５に示す「細線化」（４）の処理内容を
示すフロ−チャ−トである。

【図９】 図５に示す「時系列両眼立体視」（６）の
処理内容を示すフロ−チャ−トである。

【図１０】 図９に示す「処理１」（６８）の処理内容
を示すフロ−チャ−トである。

【図１１】 図１０に示す「処理２」（６９０）の処理
内容を示すフロ−チャ−トである。

【図１２】 図２に示す左，右カメラ２ａ，２ｂで撮映
した画像の一例を示す平面図であり、（ａ）が左カメラ
２ａの撮映画像を、（ｂ）が右カメラ２ｂの撮映画像を
示す。

【図１３】 図２に示す左，右カメラ２ａ，２ｂで撮映
した画像の一例を示す平面図であり、図１２に示す画像
よりΔｔ後の画像であり、（ａ）が左カメラ２ａの撮映
画像を、（ｂ）が右カメラ２ｂの撮映画像を示す。

【図１４】 図２に示す左，右カメラ２ａ，２ｂで撮映
した画像の一例を示す平面図であり、図１３に示す画像
よりΔｔ後の画像であり、（ａ）が左カメラ２ａの撮映
画像を、（ｂ）が右カメラ２ｂの撮映画像を示す。

【図１５】 （ａ）は図１２〜図１４の画像の、細線化
および対応点検索により対応点を決定して得られる、画
面中物体の平面投影細線図、（ｂ）は垂直面投影細線
図、（ｃ）は斜視細線図、および（ｄ）は側面細線図で
ある。

【図１６】 図１２〜図１４の画像の、細線化および対
応点検索により対応点を決定して得られる、前方物体の
速度分布を示すグラフであり、横軸が速度を、縦軸が同
一速度の点の累算値を示す。

【図１７】 図１２〜図１４の画像の、細線化および対
応点検索により対応点を決定して得られる、前方物体の
２Δｔ時間の移動方向と移動量を示す線図である。

【符号の説明】

Ｐoa1：対応点検索対象の注目点／ｔｏ時刻の左画像上
の細線上の一点 Ｐob1,Ｐob2，Ｐob3：ｔｏ時刻の右画像上の対応候補点 Ｐ1a-d〜Ｐ1a-e：ｔ１時刻の左画像上の対応候補点群 Ｐ１ｂ：ｔ１時刻の、算出した対応点 (X2a,Y2a)：ｔ２時刻の左画像上の、算出した対応点 (X2b,Y2b)：ｔ２時刻の右画像上の、算出した対応点

───────────────────────────────────────────────────── フロントページの続き 審査官 柴田 和雄 (56)参考文献 特開 平３−122510（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 - 11/30

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】左，右の撮像カメラによりそれらの前方の
   シ−ンを撮映してそれぞれビデオ信号を得て、これらの
   ビデオ信号をデジタル処理して、左，右画像にある同一
   物体の同一点を検索するにおいて、 ｔｏ時刻，これよりΔｔ後のｔ１時刻および更にΔｔ後
   のｔ２時刻の左，右画像の内、少くともｔｏ時刻および
   ｔ１時刻の左，右画像は、画像中の物体のエッジを細線
   で表わす細線化処理を施して、これらｔｏ，ｔ１および
   ｔ２時刻の左，右画像に基づいて、 時刻ｔｏの左（右）画像にある細線のある点を注目点Po
   a1と定め、時刻ｔｏの右（左）画像上の細線の、注目点
   Poa1の垂直座標iの対応垂直座標i上にある点Pob1,Pob2,
   Po3bを摘出してｔｏ時刻の右（左）画像上の対応候補点
   Pob1,Pob2,Po3bとし、 −(1) 時刻ｔ１の左（右）画像上で注目点Poa1の座標
   (j,i)を中心とする所定領域の細線上の各点をｔ１時刻
   の左（右）画像上の対応候補点P1a-d〜P1a-eとして、 −(2) 注目点Poa1がｔ１時刻の左（右）画像上の対応
   候補点P1a-d〜P1a-eのそれぞれに移動したと仮定した場
   合の、これらに対応するｔｏ時刻の右（左）画像上の対
   応候補点Pob1,Pob2,Po3bの１つ Pob1 のｔ１時刻の右
   （左）画像上の各移動位置を演算し、これらの移動位置
   の連なりと重複する、ｔ１時刻の右（左）画像上の細線
   上の点P1bの座標(L,n)を摘出し、 −(3) ｔｏ時刻の注目点Poa1と前記１つの対応候補点
   Pob1が同一点であるとした場合のｔｏ時刻の注目点Poa1
   の３次元位置と、ｔ１時刻の右（左）画像上の上記重複
   点P1bが注目点Poa1のｔ１時刻の対応点とした場合のｔ
   １時刻の注目点Poa1の３次元位置とより、外挿によりｔ
   ２時刻の注目点Poa1の３次元位置を算出し、 −(4) 上記ｔ２時刻の注目点Poa1の３次元位置に対応
   するｔ２時刻の左画像上の位置(X2a,Y2a)を中心とし
   た、ｔ２時刻の左画像上の所定領域の画像濃度と、上記
   ｔ２時刻の注目点Poa1の３次元位置に対応するｔ２時刻
   の右画像上の位置(X2b,Y2b)を中心とした、ｔ２時刻の
   右画像上の所定領域の画像濃度との相関値Cを算出し、 ｔｏ時刻の右（左）画像上の対応候補点Pob1,Pob2,Po3b
   の残りのものPob2,Po3bそれぞれにつき、上記−(1)〜
   −(4)と同様にして相関値Cを算出して、相関値Cが最
   大となった、ｔｏ時刻の右（左）画像上の対応候補点Po
   b1,Pob2,Po3bの1つ、をｔｏ時刻の右（左）画像上の、
   注目点Poa1の対応点と定める、ことを特徴とする、左，
   右カメラの撮像画像の対応点検索方法。
2. 【請求項２】左，右の撮像カメラによりそれらの前方の
   シ−ンを撮映してそれぞれビデオ信号を得て、これらの
   ビデオ信号をデジタル処理して、左，右画像にある同一
   物体の同一点を検索するにおいて、 ｔｏ時刻，これよりΔｔ後のｔ１時刻および更にΔｔ後
   のｔ２時刻の左，右画像の内、少くともｔｏ時刻および
   ｔ１時刻の左，右画像は、画像中の物体のエッジを細線
   で表わす細線化処理を施して、これらｔｏ，ｔ１および
   ｔ２時刻の左，右画像に基づいて、時刻ｔｏの左（右）
   画像にある細線のある点を注目点Poa1と定め、時刻ｔｏ
   の右（左）画像上の細線の、注目点Poa1の垂直座標iの
   対応垂直座標i上にある点Pob1,Pob2,Po3bを摘出してｔ
   ｏ時刻の右（左）画像上の対応候補点Pob1,Pob2,Po3bと
   し、時刻ｔ１の左（右）画像上で注目点Poa1の座標(j,
   i)を中心とする所定領域の細線上の各点をｔ１時刻の左
   （右）画像上の対応候補点P1a-d〜P1a-eとして、 対応候補点Pob1,Pob2,Po3bの１つ毎に、それと注目点Po
   a1の座標で定まるｔｏ時刻の注目点Poa1の３次元位置、
   ならびに、注目点Poa1が対応候補点P1a-d〜P1a-eのそれ
   ぞれに移動した場合のそれぞれのｔ１時刻の右（左）画
   像上の位置の連なりとｔ１時刻の右（左）画像上の細線
   の交点P1bの座標で定まる、ｔ１時刻の注目点Poa1の３
   次元位置を算出して、両３次元位置の外挿によりｔ２時
   刻の注目点Poa1の３次元位置を算出し、これを左，右画
   像上の座標に変換して、これらの座標位置の、ｔ２時刻
   の左，右画像上の画像濃度の相関値Cを算出し、 対応候補点Pob1,Pob2,Po3bの内、相関値Cが最大の候補
   点を、時刻の左（右）画像上の注目点Poa1の、ｔｏ時刻
   の右（左）画像上の対応点と定める、ことを特徴とす
   る、左，右カメラの撮像画像の対応点検索方法。