JP2829537B2

JP2829537B2 - 移動車の環境認識装置

Info

Publication number: JP2829537B2
Application number: JP2069282A
Authority: JP
Inventors: 弘行高橋; 知史守田; 祥一丸屋
Original assignee: Matsuda KK
Current assignee: Matsuda KK
Priority date: 1990-03-19
Filing date: 1990-03-19
Publication date: 1998-11-25
Anticipated expiration: 2013-11-25
Also published as: JPH03268112A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、外部環境を認識するための画像入力手段を
備えた自動車やロボット等の移動車の環境認識装置に関
し、特に詳細には、時間をおいて順次入力される２つの
画像間の位置ずれを検出する機能を備えた移動車の環境
認識装置に関するものである。

（従来の技術）従来より、例えば特開昭64−26913号公報に示される
ように、移動車にテレビカメラ等からなる画像入力手段
を搭載し、この画像入力手段から入力される画像に基づ
いて外部環境を認識し、その認識結果に応じて移動車の
走行を自動制御する技術が提案されている。

上述のようにして外部環境を認識する際、時間を追っ
て順次入力される２つの画像間でマッチング（整合）を
行なうことも多い。すなわち例えば、これら２つの画像
のミスマッチ測度を求めることにより、画像中の移動物
体（例えば他の車両等）の移動量を検出するようなこと
も可能となる。

（発明が解決しようとする課題）このようなマッチングの手法により外部環境を正しく
認識するためには、当然、２つの画像間に位置ずれが存
在しないことが前提となる。ところが自動車等の移動車
にあっては、障害物への乗上げ等による上下方向の揺れ
（ピッチング）や、あるいは旋回時のローリング等によ
り、上記の位置ずれが発生しやすくなっている。

以上、２つの画像間でマッチングを行なう場合につい
て述べたが、このようなマッチングの手法を採らない
で、１つ１つの画像によって環境認識を行なう場合で
も、位置ずれを起こした画像から感光認識を行なうと、
環境を誤まって認識する恐れが多分にある。

このような問題を解決するためには、位置ずれを正し
く検出し、その検出結果に基づいて位置ずれを補正すれ
ばよい。そのために従来は、前述したピッチングやロー
リング等の移動車の挙動を検出するセンサ類を設け、検
出された移動車の挙動に基づいて画像の位置ずれを推定
するようにしていた。

しかしそうする場合は、移動車の挙動と画像位置ずれ
との対応を正しく取ることが必要となる。多くの場合上
記のセンサ類には、特性バラツキや経時変化の問題が有
るので、いかなる場合でも上記の対応が正しく取られる
ようにすることは、現実上はかなり困難であり、この対
応が外れれば当然画像位置ずれは不正に検出されてしま
う。

本発明は上記のような事情に鑑みてなされたものであ
り、入力された画像信号から直接的かつ正確に画像位置
ずれを検出することができる移動車の環境認識装置を提
供することを目的とするものである。

（課題を解決するための手段及び作用）本発明による第１の移動車の環境認識装置は、先に述
べたように外界認識のための画像入力手段を有する移動
車の環境認識装置において、上記画像入力手段によって順次入力される画像のう
ち、特定時刻における第１画像と、それから所定時間後
の第２画像との差分画像を得る手段と、上記第１画像、第２画像および差分画像それぞれの、
略水平なｘ軸への投影と、ｘ軸に直角なｙ軸への投影と
を求める手段と、第１画像または第２画像に関する上記投影と上記差分
画像に関する投影との相関に基づいて、第１画像と第２
画像間の位置ずれの有無および量を検出する手段とを備
えたことを特徴とするものである。

環境認識のために取り込まれる画像は一般に、走行路
前方側の状況を撮影したもの、すなわち、通常運転席の
乗員の目に入るような像である（第２図の（１）参
照）。したがって、移動車のピッチングやローリング等
が無い限り、上記第１画像と第２画像とは第２図の
（２）、（３）に示すように、大略同じようなものとな
る。よってその場合、それらの差分画像は同図（４）に
示すように、基本的に何も撮影されていないような画像
となり、そのｘ軸への投影（以下、ｘ−投影と称する）
もまたｙ軸への投影（以下、ｙ−投影と称する）も、０
（ゼロ）に近い濃度値の集合となる。

それに対して、例えば移動車にピッチングが生じた場
合、第１画像、第２画像、およびそれらの差分画像は、
各々第２図の（５）、（６）、（７）に示すようなもの
となる。つまり、このピッチングが生じた場合は、第２
画像は第１画像に対してｙ軸方向に位置ずれを起こす。
そして差分画像のｘ−投影は、位置ずれが無い場合の差
分画像のそれとは大きく異なり、第１画像あるいは第２
画像のｘ−投影と比べて、各位置毎に大略２倍の値を取
るようになる。したがって、この差分画像のｘ−投影
と、第１画像または第２画像のｘ−投影との相関を調べ
ることにより、第１画像と第２画像との間にｙ軸方向の
位置ずれが有るか否かを検出可能となる。

またその際は、差分画像のｙ−投影と、第１画像また
は第２画像のｙ−投影との間には、第１画像と第２画像
との位置ずれに応じた有意な差が生じるので、これら２
つの投影の相関を調べることにより、上記位置ずれの量
を検出可能となる。

ここで第２図の（５）、（６）から分かるように、第
１画像と第２画像との間に位置ずれが有る場合、第１画
像のｙ−投影と第２画像のｙ−投影との間にも、位置ず
れに対応した有意な差が生じることになる。本発明は、
このことを利用して位置ずれ量を検出可能とした、さら
に別の装置を提供するものである。

すなわち、本発明による第２の移動車の環境認識装置
は、上記第１の装置において位置ずれの有無および量を
検出する手段に代えて、第１画像または第２画像に関す
る上記投影と差分画像に関する上記投影との相関に基づ
いて、第１画像と第２画像間の位置ずれの有無を検出す
る一方、第１画像に関する上記投影と第２画像に関する
上記投影との相関に基づいて、位置ずれの量を検出する
手段が設けられたことを特徴とするものである。

なお以上、第１画像と第２画像との間でｙ軸方向の位
置ずれが生じた場合を例に挙げて説明したが、ｘ軸方向
の位置ずれの有無は、差分画像のｙ−投影と、第１画像
または第２画像のｙ−投影との相関を調べることにより
検出可能である。そしてその場合の位置ずれ量は、第１
の装置においては差分画像のｘ−投影と、第１画像また
は第２画像のｘ−投影との相関を調べることにより検出
可能であるし、第２の装置においては、第１画像と第２
画像との各ｘ−投影の相関を調べることにより検出可能
である。

また、上述のようなｘ軸方向への位置ずれの有無およ
び量の検出と、ｙ軸方向への位置ずれの有無および量の
検出とを併せて実行すれば、どのような向きの位置ずれ
が生じても、その方向および量を検出可能となる。

（実施例）以下、図面に示す実施例に基づいて本発明を詳細に説
明する。

第１図は、本発明の第１実施例による移動車の環境認
識装置の基本構成を示すものである。この実施例の装置
は一例として、自動車の自動操縦のために適用されるも
のである。図示されるように、自動車の外部環境を撮影
するテレビカメラ10が出力するテレビ信号Ｖは、このテ
レビカメラ10とともに画像入力手段を構成する画像入力
装置11に入力される。なお上記テレビカメラ10は、自動
車の走行方向前方側の環境を撮影可能に、例えば第３図
図示のように自動車の５のフロントガラス近傍位置にお
いてルーフ６に取付けたり、あるいはその他、フロント
グリル７の一部にガラスを嵌め込んでその後側に取り付
ければよい。またテレビカメラ10としては、例えばCCD
等の撮像素子を備えたものが好適に用いられる。

画像入力装置11は、テレビカメラ10から送られたテレ
ビ信号Ｖを例えば平滑化、２値化等の前処理を施した上
でA/Dへ変換し、外部環境認識のためのデジタル画像信
号Ｓを出力する。この画像信号Ｓは、例えば画素数256
×256程度以上、階調数が8bit程度のものとされる。な
おテレビカメラ10による撮影は、一例として1/30秒おき
になされ、したがって画像信号Ｓも1/30秒間隔で順次１
画像を示すものとして出力される。

上記画像信号Ｓは、環境認識手段12に送られる。この
環境認識手段12は例えば公知のコンピュータシステムか
ら構成され、画像信号Ｓを所定のアルゴリズムに従って
処理することにより、走行路を示すエッジ、領域等を抽
出する。こうして抽出されたエッジ、領域等の情報Ｊは
ローカルマップ生成手段13に入力され、そこで該情報Ｊ
に基づいてローカルマップ、すなわち自動車５の近傍の
外界の状態がどうなっているかを示すマップが作成され
る。

このローカルマップを示す情報Ｋは最適経路判定手段
14に入力され、そこで情報Ｋおよび予め入力されている
目的地等の情報を基に、目的地に向かう最適経路が決定
され、さらにその最適経路を走行するための走行方向お
よび走行速度が決定される。これらの走行方向および走
行速度に関する情報Ｌはコントローラ15に入力され、こ
のコントローラ15により自動車５のステアリングおよび
速度が該情報Ｌに基づいて制御される。

一方上記画像信号Ｓは、自動車５に対する他の移動体
の相対移動を検出するために、ビデオ切替回路16に入力
される。このビデオ切替回路16は、ある時刻ｔにおける
外部環境を示す画像信号Ｓを第１画像信号S1としてメモ
リ17aに、それから所定時間Δｔ後の時刻ｔ＋Δｔにお
ける外部環境を示す画像信号Ｓを第２画像信号２として
メモリ17bにそれぞれ入力し、一時的に記憶させる。時
刻ｔ＋２Δｔにおいては、時刻ｔ＋Δｔのとき第２画像
信号S2とされた画像信号Ｓが、第１画像信号S1としてメ
モリ17aに入力されることになる。また前述した通り、
本実施例ではΔｔ＝1/30秒である。

なお、テレビカメラ10が撮影した画像が例えば第２図
の（１）に示すようなものである場合、上記画像信号S
1、S2が各々担持する第１画像、第２画像は、それぞれ
同図の（２）、（３）に示すようなものとなる。

上記メモリ17a、17bにそれれ記憶された第１画像信号
S1、第２画像信号S2は、ともにΔｔ時間毎に読み出され
て、相対移動検出手段18に入力される。この相対移動検
出手段18は、画像信号S1、S2がそれぞれ示す第１画像と
第２画像とをマッチングさせ、あるいはそれらの中でラ
ベリングされた相対応する領域どうしをマッチングさ
せ、両者のミスマッチ測度を求める等により、自動車５
に対して相対移動している物体（例えば第２図（１）に
示す他の自動車９等）の相対移動量や移動速度等を求め
る。なお第２画像信号S2は、補正手段19を通して相対移
動検出手段18に入力されるが、この補正手段19について
は後述する。

こうして求められた移動物体の相対移動量や移動速度
等を示す情報Ｍは、前述の最適経路判定手段14に入力さ
れる。最適経路判定手段14は、前述した情報Ｋが示すロ
ーカルマップに加えて、上記情報Ｍが示す移動物体の挙
動も判定要素として、最適走行方向および速度を決定す
る。

ここで、もし上記第１画像と第２画像との間に、前述
したピッチング等による位置ずれが生じていると、相対
移動検出手段18において求められるミスマッチ測度は、
移動物体の実際の移動と対応しないものとなってしま
う。つまり、この位置ずれが生じていると、それ自体に
よりミスマッチ測度が変化してしまう。

以下、上述の問題を防止する点について説明する。メ
モリ17a、17bから読み出された第１画像信号S1、第２画
像信号S2は、それぞれ符号スイッチ29a、20bを通して、
差分検出器21にも入力される。差分検出器21は、これら
第１画像信号S1と第２画像信号S2との差分を、相対応す
る画素についての信号毎に求める。こうして求められた
差分画像信号S3は、位置ずれ演算器22に入力される。本
実施例では、特に自動車５のピッチングによる垂直方向
の画像位置ずれのみを求めるようにしており、上記位置
ずれ演算器22はこの方向の位置ずれを求める。なお上記
符号スイッチ20a、20bは、差分演算のために各画像信号
S1、S2に所定の符号を与えて、単一の演算で差分を検出
可能とするものである。

一般道において自動車５が走行している際は、前記所
定時間Δｔが1/10〜1/30秒程度のとき、信号S1、S2が各
々担持する第１画像、第２画像は、自動車５がピッチン
グを起こしてしなければ第２図の（２）、（３）に示す
ようにほぼ同じものとなり、それに対して、ピッチング
が生じたときは、同図の（５）、（６）に示すように互
いに垂直方向にずれたものとなる。そこで、上記差分画
像信号S3が担持する差分画像は、上記ピッチングが生じ
ていない通常の場合は第２図（４）に示すようなものと
なり、ピッチングが生じた場合は、同図（７）に示すよ
うなものとなる。

位置ずれ演算器22は上記第１画像と第２画像との位置
ずれを検出するため、まず第１画像信号S1、第２画像信
号S2および差分画像信号S3についてそれぞれ、画像上で
水平となるｘ軸への投影（ｘ−投影）と、垂直となるｙ
軸への投影（ｙ−投影）とを求める。次に位置ずれ演算
器22は、差分画像信号S3のｘ−投影Px（Δｔ）と第１画
像信号S1のｘ−投影Px（ｔ）とを比較し、ｘ軸方向各位
置毎に前者が後者のほぼ２倍程度の値を取っている場合
は位置ずれありとみなし、一方、前者が後者よりもかな
り小さい値を取っている場合は、位置ずれ無しとみな
す。こうして位置ずれの有無を検出できる理由は、先に
詳しく述べた通りである。

なお、上記のようにして位置ずれの有無を検出する
際、差分画像信号Ｓのｘ−投影Px（Δｔ）との比較対象
として、第１画像信号S1のｘ−投影Px（ｔ）の代わり
に、第２画像信号S2のｘ−投影Px（ｔ＋Δｔ）を用いて
もよい。

位置ずれ演算器22は、上記のようにして位置ずれ無し
と判断した場合は、位置ずれ無しを示す位置ずれ信号Ｎ
を前記補正手段19に送る。補正手段19は、このような位
置ずれ信号Ｎを受けたときは、第２画像信号S2に対して
何らの補正処理も施さないで、そのまま相対移動検出手
段18に入力させる。

一方、上述のようにして位置ずれ有りと判断した場合
位置ずれ演算器22は、差分画像信号S3のｙ−投影Py（Δ
ｔ）と、第１画像信号S1のｙ−投影Py（ｔ）との相関に
基づいて、この位置ずれの量を求める。すなわち例えば
第２図の（５）に示すように、第１画像信号S1のｙ−投
影Py（ｔ）において幅y₁に亘り特異的に大きな値を取る
領域R₁が存在したとき、差分画像信号S3のｙ−投影Py
（Δｔ）においては、同図（７）に示すように、領域R₁
に対応して特異的に大きな値を取っている領域R₃が幅y₃
に亘っているとすると、 Δｙ＝2y₁−y₃ が位置ずれ量となる。

また、上記２つの領域R₁、R₃の一端どうしは整合し、
他端どうしは整合しないことになるが、この整合する端
部がどちら側にあるかを調べることにより、位置ずれの
方向も知ることができる。例えば第２図（５）、（７）
の例において、領域R₁とR₃の図中上側の端部が整合して
いる場合、第２画像は第１画像に対して下方にずれてい
ることになる。

位置ずれ演算器22は、このようにして検出した位置ず
れ方向および量を示す位置ずれ信号Ｎを補正手段19に送
る。補正手段19は、この位置ずれ信号Ｎが示す位置ずれ
を解消するように第２画像信号S2を補正する。この補正
は、第２画像信号S2が担持する画像を、ｙ軸方向に平行
移動する形でなされる。なお補正手段19は、第２画像信
号S2を一時的に記憶するバッファメモリを内蔵し、位置
ずれ信号Ｎが入力されると該バッファメモリから第２画
像信号S2を読み出して、その信号S2に対して上記の補正
を行なう。

上記のように第２画像信号S2を補正しておけば、相対
移動検出手段18において第２画像と第２画像のミスマッ
チ測度を求めるに当たって、位置ずれの影響は及ばず、
基本的に両画像中の各要素の相対位置によるミスマッチ
測度が求められることになる。

なお、上記のようにして位置ずれの方向および量を検
出する際も、差分画像信号S3のｙ−投影Py（Δｔ）との
相関を調べる対象として、第１画像信号S1のｙ−投影Py
（ｔ）の代わりに、第２画像信号S2のｙ−投影Py（ｔ＋
Δｔ）を用いてもよい。

次に第４図を参照して、本発明の第２実施例について
説明する。なおこの第４図において、前記第１図中の要
素と同様の要素には同番号を付し、それらについての説
明は省略する。

この第４図の装置における位置ずれ演算器32は、第１
図の装置の位置ずれ演算器22と同様にして位置ずれの有
無を検出するが、位置ずれ量の検出は別の処理によって
求めるように構成されている。すなわちこの位置ずれ演
算器32には、差分画像信号S3と第１画像信号S1とに加え
て、第２画像信号S2も入力される。そして位置ずれ演算
器32は、例えば第１画像信号S1のｙ−投影Py（ｔ）にお
ける前述のような領域R₁と、それに対応する第２画像信
号S2のｙ−投影Py（ｔ＋Δｔ）における領域R₂（第２図
（６）参照）とを比較し、その一端どうしのずれ方向お
よび量に基づいて、第１、第２画像間の位置ずれ方向お
よび量を求める。

以上説明した２つの実施例においては、第１画像と第
２画像のｙ軸方向すなわち垂直方向の位置ずれを検出す
るようにしているが、前述した通り、ｘ軸方向やさらに
は斜め方向の位置ずれも検出可能である。

また上記実施例では、検出した位置ずれ量（方向も含
む）に基づいて、２つの画像のマッチングを図る際に位
置ずれ補正を行なうようにしているが、検出した位置ず
れ量はその他例えば、前記環境認識手段12において各一
の入力画像から環境を認識する際に、各画像の位置ずれ
を補正するために利用することも可能である。

（発明の効果）以上詳細に説明した通り本発明による移動車の環境認
識装置は、２つの画像間の位置ずれを、入力された画像
信号から直接的に検出するように構成されているので、
移動車の揺れ等の挙動を検出するセンサ類を用いる必要
が無いものとなっている。したがって本装置によれば、
上記センサ類の特性バラツキや経時変化等の問題とは無
縁にして、常に精度良く画像位置ずれを検出することが
できる。

【図面の簡単な説明】

第１は、本発明の第１実施例装置の基本構成を示すブロ
ック図、第２図は、本発明に関連する第１画像、第２画像および
それらの差分画像と、各画像のｘ軸、ｙ軸への投影の例
を示す概略図、第３図は、本発明における画像入力手段を構成するテレ
ビカメラの移動車への取付状態例を示す斜視図、第４図は、本発明の第２実施例装置の基本構成を示すブ
ロック図である。５……自動車、９……他の自動車 10……テレビカメラ、11……画像入力装置 12……環境認識手段、16……ビデオ切替回路 17a、17b……メモリ、18……相対移動検出手段 19……補正手段、20a、20b……符号スイッチ 21……差分検出器、22、32……位置ずれ演算器

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭63−186308（ＪＰ，Ａ) 特開平３−179598（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G05D 1/02 G06T 1/00 G08G 1/16

Claims

(57)【特許請求の範囲】

【請求項１】外界認識のための画像入力手段を有する移
動車の環境認識装置において、前記画像入力手段によって順次入力される画像のうち、
特定時刻における第１画像と、それから所定時間後の第
２画像との差分画像を得る手段と、前記第１画像、第２画像および差分画像それぞれの、略
水平なｘ軸への投影と、ｘ軸に直角なｙ軸への投影とを
求める手段と、第１画像または第２画像に関する前記投影と差分画像に
関する前記投影との相関に基づいて、第１画像と第２画
像間の位置ずれの有無および量を検出する手段とを備え
たことを特徴とする移動車の環境認識装置。
【請求項２】外界認識のための画像入力手段を有する移
動車の環境認識装置において、前記画像入力手段によって順次入力される画像のうち、
特定時刻における第１画像と、それから所定時間後の第
２画像との差分画像を得る手段と、前記第１画像、第２画像および差分画像それぞれの、略
水平なｘ軸への投影と、ｘ軸に直角なｙ軸への投影とを
求める手段と、第１画像または第２画像に関する前記投影と差分画像に
関する前記投影との相関に基づいて、第１画像と第２画
像間の位置ずれの有無を検出するとともに、第１画像に
関する前記投影と第２画像に関する前記投影との相関に
基づいて、前記位置ずれの量を検出する手段とを備えた
ことを特徴とする移動車の環境認識装置。