JP2829537B2 - 移動車の環境認識装置 - Google Patents
移動車の環境認識装置Info
- Publication number
- JP2829537B2 JP2829537B2 JP2069282A JP6928290A JP2829537B2 JP 2829537 B2 JP2829537 B2 JP 2829537B2 JP 2069282 A JP2069282 A JP 2069282A JP 6928290 A JP6928290 A JP 6928290A JP 2829537 B2 JP2829537 B2 JP 2829537B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- displacement
- difference
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006073 displacement reaction Methods 0.000 claims description 47
- 230000015654 memory Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Landscapes
- Navigation (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
【発明の詳細な説明】 (産業上の利用分野) 本発明は、外部環境を認識するための画像入力手段を
備えた自動車やロボット等の移動車の環境認識装置に関
し、特に詳細には、時間をおいて順次入力される2つの
画像間の位置ずれを検出する機能を備えた移動車の環境
認識装置に関するものである。
備えた自動車やロボット等の移動車の環境認識装置に関
し、特に詳細には、時間をおいて順次入力される2つの
画像間の位置ずれを検出する機能を備えた移動車の環境
認識装置に関するものである。
(従来の技術) 従来より、例えば特開昭64−26913号公報に示される
ように、移動車にテレビカメラ等からなる画像入力手段
を搭載し、この画像入力手段から入力される画像に基づ
いて外部環境を認識し、その認識結果に応じて移動車の
走行を自動制御する技術が提案されている。
ように、移動車にテレビカメラ等からなる画像入力手段
を搭載し、この画像入力手段から入力される画像に基づ
いて外部環境を認識し、その認識結果に応じて移動車の
走行を自動制御する技術が提案されている。
上述のようにして外部環境を認識する際、時間を追っ
て順次入力される2つの画像間でマッチング(整合)を
行なうことも多い。すなわち例えば、これら2つの画像
のミスマッチ測度を求めることにより、画像中の移動物
体(例えば他の車両等)の移動量を検出するようなこと
も可能となる。
て順次入力される2つの画像間でマッチング(整合)を
行なうことも多い。すなわち例えば、これら2つの画像
のミスマッチ測度を求めることにより、画像中の移動物
体(例えば他の車両等)の移動量を検出するようなこと
も可能となる。
(発明が解決しようとする課題) このようなマッチングの手法により外部環境を正しく
認識するためには、当然、2つの画像間に位置ずれが存
在しないことが前提となる。ところが自動車等の移動車
にあっては、障害物への乗上げ等による上下方向の揺れ
(ピッチング)や、あるいは旋回時のローリング等によ
り、上記の位置ずれが発生しやすくなっている。
認識するためには、当然、2つの画像間に位置ずれが存
在しないことが前提となる。ところが自動車等の移動車
にあっては、障害物への乗上げ等による上下方向の揺れ
(ピッチング)や、あるいは旋回時のローリング等によ
り、上記の位置ずれが発生しやすくなっている。
以上、2つの画像間でマッチングを行なう場合につい
て述べたが、このようなマッチングの手法を採らない
で、1つ1つの画像によって環境認識を行なう場合で
も、位置ずれを起こした画像から感光認識を行なうと、
環境を誤まって認識する恐れが多分にある。
て述べたが、このようなマッチングの手法を採らない
で、1つ1つの画像によって環境認識を行なう場合で
も、位置ずれを起こした画像から感光認識を行なうと、
環境を誤まって認識する恐れが多分にある。
このような問題を解決するためには、位置ずれを正し
く検出し、その検出結果に基づいて位置ずれを補正すれ
ばよい。そのために従来は、前述したピッチングやロー
リング等の移動車の挙動を検出するセンサ類を設け、検
出された移動車の挙動に基づいて画像の位置ずれを推定
するようにしていた。
く検出し、その検出結果に基づいて位置ずれを補正すれ
ばよい。そのために従来は、前述したピッチングやロー
リング等の移動車の挙動を検出するセンサ類を設け、検
出された移動車の挙動に基づいて画像の位置ずれを推定
するようにしていた。
しかしそうする場合は、移動車の挙動と画像位置ずれ
との対応を正しく取ることが必要となる。多くの場合上
記のセンサ類には、特性バラツキや経時変化の問題が有
るので、いかなる場合でも上記の対応が正しく取られる
ようにすることは、現実上はかなり困難であり、この対
応が外れれば当然画像位置ずれは不正に検出されてしま
う。
との対応を正しく取ることが必要となる。多くの場合上
記のセンサ類には、特性バラツキや経時変化の問題が有
るので、いかなる場合でも上記の対応が正しく取られる
ようにすることは、現実上はかなり困難であり、この対
応が外れれば当然画像位置ずれは不正に検出されてしま
う。
本発明は上記のような事情に鑑みてなされたものであ
り、入力された画像信号から直接的かつ正確に画像位置
ずれを検出することができる移動車の環境認識装置を提
供することを目的とするものである。
り、入力された画像信号から直接的かつ正確に画像位置
ずれを検出することができる移動車の環境認識装置を提
供することを目的とするものである。
(課題を解決するための手段及び作用) 本発明による第1の移動車の環境認識装置は、先に述
べたように外界認識のための画像入力手段を有する移動
車の環境認識装置において、 上記画像入力手段によって順次入力される画像のう
ち、特定時刻における第1画像と、それから所定時間後
の第2画像との差分画像を得る手段と、 上記第1画像、第2画像および差分画像それぞれの、
略水平なx軸への投影と、x軸に直角なy軸への投影と
を求める手段と、 第1画像または第2画像に関する上記投影と上記差分
画像に関する投影との相関に基づいて、第1画像と第2
画像間の位置ずれの有無および量を検出する手段とを備
えたことを特徴とするものである。
べたように外界認識のための画像入力手段を有する移動
車の環境認識装置において、 上記画像入力手段によって順次入力される画像のう
ち、特定時刻における第1画像と、それから所定時間後
の第2画像との差分画像を得る手段と、 上記第1画像、第2画像および差分画像それぞれの、
略水平なx軸への投影と、x軸に直角なy軸への投影と
を求める手段と、 第1画像または第2画像に関する上記投影と上記差分
画像に関する投影との相関に基づいて、第1画像と第2
画像間の位置ずれの有無および量を検出する手段とを備
えたことを特徴とするものである。
環境認識のために取り込まれる画像は一般に、走行路
前方側の状況を撮影したもの、すなわち、通常運転席の
乗員の目に入るような像である(第2図の(1)参
照)。したがって、移動車のピッチングやローリング等
が無い限り、上記第1画像と第2画像とは第2図の
(2)、(3)に示すように、大略同じようなものとな
る。よってその場合、それらの差分画像は同図(4)に
示すように、基本的に何も撮影されていないような画像
となり、そのx軸への投影(以下、x−投影と称する)
もまたy軸への投影(以下、y−投影と称する)も、0
(ゼロ)に近い濃度値の集合となる。
前方側の状況を撮影したもの、すなわち、通常運転席の
乗員の目に入るような像である(第2図の(1)参
照)。したがって、移動車のピッチングやローリング等
が無い限り、上記第1画像と第2画像とは第2図の
(2)、(3)に示すように、大略同じようなものとな
る。よってその場合、それらの差分画像は同図(4)に
示すように、基本的に何も撮影されていないような画像
となり、そのx軸への投影(以下、x−投影と称する)
もまたy軸への投影(以下、y−投影と称する)も、0
(ゼロ)に近い濃度値の集合となる。
それに対して、例えば移動車にピッチングが生じた場
合、第1画像、第2画像、およびそれらの差分画像は、
各々第2図の(5)、(6)、(7)に示すようなもの
となる。つまり、このピッチングが生じた場合は、第2
画像は第1画像に対してy軸方向に位置ずれを起こす。
そして差分画像のx−投影は、位置ずれが無い場合の差
分画像のそれとは大きく異なり、第1画像あるいは第2
画像のx−投影と比べて、各位置毎に大略2倍の値を取
るようになる。したがって、この差分画像のx−投影
と、第1画像または第2画像のx−投影との相関を調べ
ることにより、第1画像と第2画像との間にy軸方向の
位置ずれが有るか否かを検出可能となる。
合、第1画像、第2画像、およびそれらの差分画像は、
各々第2図の(5)、(6)、(7)に示すようなもの
となる。つまり、このピッチングが生じた場合は、第2
画像は第1画像に対してy軸方向に位置ずれを起こす。
そして差分画像のx−投影は、位置ずれが無い場合の差
分画像のそれとは大きく異なり、第1画像あるいは第2
画像のx−投影と比べて、各位置毎に大略2倍の値を取
るようになる。したがって、この差分画像のx−投影
と、第1画像または第2画像のx−投影との相関を調べ
ることにより、第1画像と第2画像との間にy軸方向の
位置ずれが有るか否かを検出可能となる。
またその際は、差分画像のy−投影と、第1画像また
は第2画像のy−投影との間には、第1画像と第2画像
との位置ずれに応じた有意な差が生じるので、これら2
つの投影の相関を調べることにより、上記位置ずれの量
を検出可能となる。
は第2画像のy−投影との間には、第1画像と第2画像
との位置ずれに応じた有意な差が生じるので、これら2
つの投影の相関を調べることにより、上記位置ずれの量
を検出可能となる。
ここで第2図の(5)、(6)から分かるように、第
1画像と第2画像との間に位置ずれが有る場合、第1画
像のy−投影と第2画像のy−投影との間にも、位置ず
れに対応した有意な差が生じることになる。本発明は、
このことを利用して位置ずれ量を検出可能とした、さら
に別の装置を提供するものである。
1画像と第2画像との間に位置ずれが有る場合、第1画
像のy−投影と第2画像のy−投影との間にも、位置ず
れに対応した有意な差が生じることになる。本発明は、
このことを利用して位置ずれ量を検出可能とした、さら
に別の装置を提供するものである。
すなわち、本発明による第2の移動車の環境認識装置
は、上記第1の装置において位置ずれの有無および量を
検出する手段に代えて、第1画像または第2画像に関す
る上記投影と差分画像に関する上記投影との相関に基づ
いて、第1画像と第2画像間の位置ずれの有無を検出す
る一方、第1画像に関する上記投影と第2画像に関する
上記投影との相関に基づいて、位置ずれの量を検出する
手段が設けられたことを特徴とするものである。
は、上記第1の装置において位置ずれの有無および量を
検出する手段に代えて、第1画像または第2画像に関す
る上記投影と差分画像に関する上記投影との相関に基づ
いて、第1画像と第2画像間の位置ずれの有無を検出す
る一方、第1画像に関する上記投影と第2画像に関する
上記投影との相関に基づいて、位置ずれの量を検出する
手段が設けられたことを特徴とするものである。
なお以上、第1画像と第2画像との間でy軸方向の位
置ずれが生じた場合を例に挙げて説明したが、x軸方向
の位置ずれの有無は、差分画像のy−投影と、第1画像
または第2画像のy−投影との相関を調べることにより
検出可能である。そしてその場合の位置ずれ量は、第1
の装置においては差分画像のx−投影と、第1画像また
は第2画像のx−投影との相関を調べることにより検出
可能であるし、第2の装置においては、第1画像と第2
画像との各x−投影の相関を調べることにより検出可能
である。
置ずれが生じた場合を例に挙げて説明したが、x軸方向
の位置ずれの有無は、差分画像のy−投影と、第1画像
または第2画像のy−投影との相関を調べることにより
検出可能である。そしてその場合の位置ずれ量は、第1
の装置においては差分画像のx−投影と、第1画像また
は第2画像のx−投影との相関を調べることにより検出
可能であるし、第2の装置においては、第1画像と第2
画像との各x−投影の相関を調べることにより検出可能
である。
また、上述のようなx軸方向への位置ずれの有無およ
び量の検出と、y軸方向への位置ずれの有無および量の
検出とを併せて実行すれば、どのような向きの位置ずれ
が生じても、その方向および量を検出可能となる。
び量の検出と、y軸方向への位置ずれの有無および量の
検出とを併せて実行すれば、どのような向きの位置ずれ
が生じても、その方向および量を検出可能となる。
(実 施 例) 以下、図面に示す実施例に基づいて本発明を詳細に説
明する。
明する。
第1図は、本発明の第1実施例による移動車の環境認
識装置の基本構成を示すものである。この実施例の装置
は一例として、自動車の自動操縦のために適用されるも
のである。図示されるように、自動車の外部環境を撮影
するテレビカメラ10が出力するテレビ信号Vは、このテ
レビカメラ10とともに画像入力手段を構成する画像入力
装置11に入力される。なお上記テレビカメラ10は、自動
車の走行方向前方側の環境を撮影可能に、例えば第3図
図示のように自動車の5のフロントガラス近傍位置にお
いてルーフ6に取付けたり、あるいはその他、フロント
グリル7の一部にガラスを嵌め込んでその後側に取り付
ければよい。またテレビカメラ10としては、例えばCCD
等の撮像素子を備えたものが好適に用いられる。
識装置の基本構成を示すものである。この実施例の装置
は一例として、自動車の自動操縦のために適用されるも
のである。図示されるように、自動車の外部環境を撮影
するテレビカメラ10が出力するテレビ信号Vは、このテ
レビカメラ10とともに画像入力手段を構成する画像入力
装置11に入力される。なお上記テレビカメラ10は、自動
車の走行方向前方側の環境を撮影可能に、例えば第3図
図示のように自動車の5のフロントガラス近傍位置にお
いてルーフ6に取付けたり、あるいはその他、フロント
グリル7の一部にガラスを嵌め込んでその後側に取り付
ければよい。またテレビカメラ10としては、例えばCCD
等の撮像素子を備えたものが好適に用いられる。
画像入力装置11は、テレビカメラ10から送られたテレ
ビ信号Vを例えば平滑化、2値化等の前処理を施した上
でA/Dへ変換し、外部環境認識のためのデジタル画像信
号Sを出力する。この画像信号Sは、例えば画素数256
×256程度以上、階調数が8bit程度のものとされる。な
おテレビカメラ10による撮影は、一例として1/30秒おき
になされ、したがって画像信号Sも1/30秒間隔で順次1
画像を示すものとして出力される。
ビ信号Vを例えば平滑化、2値化等の前処理を施した上
でA/Dへ変換し、外部環境認識のためのデジタル画像信
号Sを出力する。この画像信号Sは、例えば画素数256
×256程度以上、階調数が8bit程度のものとされる。な
おテレビカメラ10による撮影は、一例として1/30秒おき
になされ、したがって画像信号Sも1/30秒間隔で順次1
画像を示すものとして出力される。
上記画像信号Sは、環境認識手段12に送られる。この
環境認識手段12は例えば公知のコンピュータシステムか
ら構成され、画像信号Sを所定のアルゴリズムに従って
処理することにより、走行路を示すエッジ、領域等を抽
出する。こうして抽出されたエッジ、領域等の情報Jは
ローカルマップ生成手段13に入力され、そこで該情報J
に基づいてローカルマップ、すなわち自動車5の近傍の
外界の状態がどうなっているかを示すマップが作成され
る。
環境認識手段12は例えば公知のコンピュータシステムか
ら構成され、画像信号Sを所定のアルゴリズムに従って
処理することにより、走行路を示すエッジ、領域等を抽
出する。こうして抽出されたエッジ、領域等の情報Jは
ローカルマップ生成手段13に入力され、そこで該情報J
に基づいてローカルマップ、すなわち自動車5の近傍の
外界の状態がどうなっているかを示すマップが作成され
る。
このローカルマップを示す情報Kは最適経路判定手段
14に入力され、そこで情報Kおよび予め入力されている
目的地等の情報を基に、目的地に向かう最適経路が決定
され、さらにその最適経路を走行するための走行方向お
よび走行速度が決定される。これらの走行方向および走
行速度に関する情報Lはコントローラ15に入力され、こ
のコントローラ15により自動車5のステアリングおよび
速度が該情報Lに基づいて制御される。
14に入力され、そこで情報Kおよび予め入力されている
目的地等の情報を基に、目的地に向かう最適経路が決定
され、さらにその最適経路を走行するための走行方向お
よび走行速度が決定される。これらの走行方向および走
行速度に関する情報Lはコントローラ15に入力され、こ
のコントローラ15により自動車5のステアリングおよび
速度が該情報Lに基づいて制御される。
一方上記画像信号Sは、自動車5に対する他の移動体
の相対移動を検出するために、ビデオ切替回路16に入力
される。このビデオ切替回路16は、ある時刻tにおける
外部環境を示す画像信号Sを第1画像信号S1としてメモ
リ17aに、それから所定時間Δt後の時刻t+Δtにお
ける外部環境を示す画像信号Sを第2画像信号2として
メモリ17bにそれぞれ入力し、一時的に記憶させる。時
刻t+2Δtにおいては、時刻t+Δtのとき第2画像
信号S2とされた画像信号Sが、第1画像信号S1としてメ
モリ17aに入力されることになる。また前述した通り、
本実施例ではΔt=1/30秒である。
の相対移動を検出するために、ビデオ切替回路16に入力
される。このビデオ切替回路16は、ある時刻tにおける
外部環境を示す画像信号Sを第1画像信号S1としてメモ
リ17aに、それから所定時間Δt後の時刻t+Δtにお
ける外部環境を示す画像信号Sを第2画像信号2として
メモリ17bにそれぞれ入力し、一時的に記憶させる。時
刻t+2Δtにおいては、時刻t+Δtのとき第2画像
信号S2とされた画像信号Sが、第1画像信号S1としてメ
モリ17aに入力されることになる。また前述した通り、
本実施例ではΔt=1/30秒である。
なお、テレビカメラ10が撮影した画像が例えば第2図
の(1)に示すようなものである場合、上記画像信号S
1、S2が各々担持する第1画像、第2画像は、それぞれ
同図の(2)、(3)に示すようなものとなる。
の(1)に示すようなものである場合、上記画像信号S
1、S2が各々担持する第1画像、第2画像は、それぞれ
同図の(2)、(3)に示すようなものとなる。
上記メモリ17a、17bにそれれ記憶された第1画像信号
S1、第2画像信号S2は、ともにΔt時間毎に読み出され
て、相対移動検出手段18に入力される。この相対移動検
出手段18は、画像信号S1、S2がそれぞれ示す第1画像と
第2画像とをマッチングさせ、あるいはそれらの中でラ
ベリングされた相対応する領域どうしをマッチングさ
せ、両者のミスマッチ測度を求める等により、自動車5
に対して相対移動している物体(例えば第2図(1)に
示す他の自動車9等)の相対移動量や移動速度等を求め
る。なお第2画像信号S2は、補正手段19を通して相対移
動検出手段18に入力されるが、この補正手段19について
は後述する。
S1、第2画像信号S2は、ともにΔt時間毎に読み出され
て、相対移動検出手段18に入力される。この相対移動検
出手段18は、画像信号S1、S2がそれぞれ示す第1画像と
第2画像とをマッチングさせ、あるいはそれらの中でラ
ベリングされた相対応する領域どうしをマッチングさ
せ、両者のミスマッチ測度を求める等により、自動車5
に対して相対移動している物体(例えば第2図(1)に
示す他の自動車9等)の相対移動量や移動速度等を求め
る。なお第2画像信号S2は、補正手段19を通して相対移
動検出手段18に入力されるが、この補正手段19について
は後述する。
こうして求められた移動物体の相対移動量や移動速度
等を示す情報Mは、前述の最適経路判定手段14に入力さ
れる。最適経路判定手段14は、前述した情報Kが示すロ
ーカルマップに加えて、上記情報Mが示す移動物体の挙
動も判定要素として、最適走行方向および速度を決定す
る。
等を示す情報Mは、前述の最適経路判定手段14に入力さ
れる。最適経路判定手段14は、前述した情報Kが示すロ
ーカルマップに加えて、上記情報Mが示す移動物体の挙
動も判定要素として、最適走行方向および速度を決定す
る。
ここで、もし上記第1画像と第2画像との間に、前述
したピッチング等による位置ずれが生じていると、相対
移動検出手段18において求められるミスマッチ測度は、
移動物体の実際の移動と対応しないものとなってしま
う。つまり、この位置ずれが生じていると、それ自体に
よりミスマッチ測度が変化してしまう。
したピッチング等による位置ずれが生じていると、相対
移動検出手段18において求められるミスマッチ測度は、
移動物体の実際の移動と対応しないものとなってしま
う。つまり、この位置ずれが生じていると、それ自体に
よりミスマッチ測度が変化してしまう。
以下、上述の問題を防止する点について説明する。メ
モリ17a、17bから読み出された第1画像信号S1、第2画
像信号S2は、それぞれ符号スイッチ29a、20bを通して、
差分検出器21にも入力される。差分検出器21は、これら
第1画像信号S1と第2画像信号S2との差分を、相対応す
る画素についての信号毎に求める。こうして求められた
差分画像信号S3は、位置ずれ演算器22に入力される。本
実施例では、特に自動車5のピッチングによる垂直方向
の画像位置ずれのみを求めるようにしており、上記位置
ずれ演算器22はこの方向の位置ずれを求める。なお上記
符号スイッチ20a、20bは、差分演算のために各画像信号
S1、S2に所定の符号を与えて、単一の演算で差分を検出
可能とするものである。
モリ17a、17bから読み出された第1画像信号S1、第2画
像信号S2は、それぞれ符号スイッチ29a、20bを通して、
差分検出器21にも入力される。差分検出器21は、これら
第1画像信号S1と第2画像信号S2との差分を、相対応す
る画素についての信号毎に求める。こうして求められた
差分画像信号S3は、位置ずれ演算器22に入力される。本
実施例では、特に自動車5のピッチングによる垂直方向
の画像位置ずれのみを求めるようにしており、上記位置
ずれ演算器22はこの方向の位置ずれを求める。なお上記
符号スイッチ20a、20bは、差分演算のために各画像信号
S1、S2に所定の符号を与えて、単一の演算で差分を検出
可能とするものである。
一般道において自動車5が走行している際は、前記所
定時間Δtが1/10〜1/30秒程度のとき、信号S1、S2が各
々担持する第1画像、第2画像は、自動車5がピッチン
グを起こしてしなければ第2図の(2)、(3)に示す
ようにほぼ同じものとなり、それに対して、ピッチング
が生じたときは、同図の(5)、(6)に示すように互
いに垂直方向にずれたものとなる。そこで、上記差分画
像信号S3が担持する差分画像は、上記ピッチングが生じ
ていない通常の場合は第2図(4)に示すようなものと
なり、ピッチングが生じた場合は、同図(7)に示すよ
うなものとなる。
定時間Δtが1/10〜1/30秒程度のとき、信号S1、S2が各
々担持する第1画像、第2画像は、自動車5がピッチン
グを起こしてしなければ第2図の(2)、(3)に示す
ようにほぼ同じものとなり、それに対して、ピッチング
が生じたときは、同図の(5)、(6)に示すように互
いに垂直方向にずれたものとなる。そこで、上記差分画
像信号S3が担持する差分画像は、上記ピッチングが生じ
ていない通常の場合は第2図(4)に示すようなものと
なり、ピッチングが生じた場合は、同図(7)に示すよ
うなものとなる。
位置ずれ演算器22は上記第1画像と第2画像との位置
ずれを検出するため、まず第1画像信号S1、第2画像信
号S2および差分画像信号S3についてそれぞれ、画像上で
水平となるx軸への投影(x−投影)と、垂直となるy
軸への投影(y−投影)とを求める。次に位置ずれ演算
器22は、差分画像信号S3のx−投影Px(Δt)と第1画
像信号S1のx−投影Px(t)とを比較し、x軸方向各位
置毎に前者が後者のほぼ2倍程度の値を取っている場合
は位置ずれありとみなし、一方、前者が後者よりもかな
り小さい値を取っている場合は、位置ずれ無しとみな
す。こうして位置ずれの有無を検出できる理由は、先に
詳しく述べた通りである。
ずれを検出するため、まず第1画像信号S1、第2画像信
号S2および差分画像信号S3についてそれぞれ、画像上で
水平となるx軸への投影(x−投影)と、垂直となるy
軸への投影(y−投影)とを求める。次に位置ずれ演算
器22は、差分画像信号S3のx−投影Px(Δt)と第1画
像信号S1のx−投影Px(t)とを比較し、x軸方向各位
置毎に前者が後者のほぼ2倍程度の値を取っている場合
は位置ずれありとみなし、一方、前者が後者よりもかな
り小さい値を取っている場合は、位置ずれ無しとみな
す。こうして位置ずれの有無を検出できる理由は、先に
詳しく述べた通りである。
なお、上記のようにして位置ずれの有無を検出する
際、差分画像信号Sのx−投影Px(Δt)との比較対象
として、第1画像信号S1のx−投影Px(t)の代わり
に、第2画像信号S2のx−投影Px(t+Δt)を用いて
もよい。
際、差分画像信号Sのx−投影Px(Δt)との比較対象
として、第1画像信号S1のx−投影Px(t)の代わり
に、第2画像信号S2のx−投影Px(t+Δt)を用いて
もよい。
位置ずれ演算器22は、上記のようにして位置ずれ無し
と判断した場合は、位置ずれ無しを示す位置ずれ信号N
を前記補正手段19に送る。補正手段19は、このような位
置ずれ信号Nを受けたときは、第2画像信号S2に対して
何らの補正処理も施さないで、そのまま相対移動検出手
段18に入力させる。
と判断した場合は、位置ずれ無しを示す位置ずれ信号N
を前記補正手段19に送る。補正手段19は、このような位
置ずれ信号Nを受けたときは、第2画像信号S2に対して
何らの補正処理も施さないで、そのまま相対移動検出手
段18に入力させる。
一方、上述のようにして位置ずれ有りと判断した場合
位置ずれ演算器22は、差分画像信号S3のy−投影Py(Δ
t)と、第1画像信号S1のy−投影Py(t)との相関に
基づいて、この位置ずれの量を求める。すなわち例えば
第2図の(5)に示すように、第1画像信号S1のy−投
影Py(t)において幅y1に亘り特異的に大きな値を取る
領域R1が存在したとき、差分画像信号S3のy−投影Py
(Δt)においては、同図(7)に示すように、領域R1
に対応して特異的に大きな値を取っている領域R3が幅y3
に亘っているとすると、 Δy=2y1−y3 が位置ずれ量となる。
位置ずれ演算器22は、差分画像信号S3のy−投影Py(Δ
t)と、第1画像信号S1のy−投影Py(t)との相関に
基づいて、この位置ずれの量を求める。すなわち例えば
第2図の(5)に示すように、第1画像信号S1のy−投
影Py(t)において幅y1に亘り特異的に大きな値を取る
領域R1が存在したとき、差分画像信号S3のy−投影Py
(Δt)においては、同図(7)に示すように、領域R1
に対応して特異的に大きな値を取っている領域R3が幅y3
に亘っているとすると、 Δy=2y1−y3 が位置ずれ量となる。
また、上記2つの領域R1、R3の一端どうしは整合し、
他端どうしは整合しないことになるが、この整合する端
部がどちら側にあるかを調べることにより、位置ずれの
方向も知ることができる。例えば第2図(5)、(7)
の例において、領域R1とR3の図中上側の端部が整合して
いる場合、第2画像は第1画像に対して下方にずれてい
ることになる。
他端どうしは整合しないことになるが、この整合する端
部がどちら側にあるかを調べることにより、位置ずれの
方向も知ることができる。例えば第2図(5)、(7)
の例において、領域R1とR3の図中上側の端部が整合して
いる場合、第2画像は第1画像に対して下方にずれてい
ることになる。
位置ずれ演算器22は、このようにして検出した位置ず
れ方向および量を示す位置ずれ信号Nを補正手段19に送
る。補正手段19は、この位置ずれ信号Nが示す位置ずれ
を解消するように第2画像信号S2を補正する。この補正
は、第2画像信号S2が担持する画像を、y軸方向に平行
移動する形でなされる。なお補正手段19は、第2画像信
号S2を一時的に記憶するバッファメモリを内蔵し、位置
ずれ信号Nが入力されると該バッファメモリから第2画
像信号S2を読み出して、その信号S2に対して上記の補正
を行なう。
れ方向および量を示す位置ずれ信号Nを補正手段19に送
る。補正手段19は、この位置ずれ信号Nが示す位置ずれ
を解消するように第2画像信号S2を補正する。この補正
は、第2画像信号S2が担持する画像を、y軸方向に平行
移動する形でなされる。なお補正手段19は、第2画像信
号S2を一時的に記憶するバッファメモリを内蔵し、位置
ずれ信号Nが入力されると該バッファメモリから第2画
像信号S2を読み出して、その信号S2に対して上記の補正
を行なう。
上記のように第2画像信号S2を補正しておけば、相対
移動検出手段18において第2画像と第2画像のミスマッ
チ測度を求めるに当たって、位置ずれの影響は及ばず、
基本的に両画像中の各要素の相対位置によるミスマッチ
測度が求められることになる。
移動検出手段18において第2画像と第2画像のミスマッ
チ測度を求めるに当たって、位置ずれの影響は及ばず、
基本的に両画像中の各要素の相対位置によるミスマッチ
測度が求められることになる。
なお、上記のようにして位置ずれの方向および量を検
出する際も、差分画像信号S3のy−投影Py(Δt)との
相関を調べる対象として、第1画像信号S1のy−投影Py
(t)の代わりに、第2画像信号S2のy−投影Py(t+
Δt)を用いてもよい。
出する際も、差分画像信号S3のy−投影Py(Δt)との
相関を調べる対象として、第1画像信号S1のy−投影Py
(t)の代わりに、第2画像信号S2のy−投影Py(t+
Δt)を用いてもよい。
次に第4図を参照して、本発明の第2実施例について
説明する。なおこの第4図において、前記第1図中の要
素と同様の要素には同番号を付し、それらについての説
明は省略する。
説明する。なおこの第4図において、前記第1図中の要
素と同様の要素には同番号を付し、それらについての説
明は省略する。
この第4図の装置における位置ずれ演算器32は、第1
図の装置の位置ずれ演算器22と同様にして位置ずれの有
無を検出するが、位置ずれ量の検出は別の処理によって
求めるように構成されている。すなわちこの位置ずれ演
算器32には、差分画像信号S3と第1画像信号S1とに加え
て、第2画像信号S2も入力される。そして位置ずれ演算
器32は、例えば第1画像信号S1のy−投影Py(t)にお
ける前述のような領域R1と、それに対応する第2画像信
号S2のy−投影Py(t+Δt)における領域R2(第2図
(6)参照)とを比較し、その一端どうしのずれ方向お
よび量に基づいて、第1、第2画像間の位置ずれ方向お
よび量を求める。
図の装置の位置ずれ演算器22と同様にして位置ずれの有
無を検出するが、位置ずれ量の検出は別の処理によって
求めるように構成されている。すなわちこの位置ずれ演
算器32には、差分画像信号S3と第1画像信号S1とに加え
て、第2画像信号S2も入力される。そして位置ずれ演算
器32は、例えば第1画像信号S1のy−投影Py(t)にお
ける前述のような領域R1と、それに対応する第2画像信
号S2のy−投影Py(t+Δt)における領域R2(第2図
(6)参照)とを比較し、その一端どうしのずれ方向お
よび量に基づいて、第1、第2画像間の位置ずれ方向お
よび量を求める。
以上説明した2つの実施例においては、第1画像と第
2画像のy軸方向すなわち垂直方向の位置ずれを検出す
るようにしているが、前述した通り、x軸方向やさらに
は斜め方向の位置ずれも検出可能である。
2画像のy軸方向すなわち垂直方向の位置ずれを検出す
るようにしているが、前述した通り、x軸方向やさらに
は斜め方向の位置ずれも検出可能である。
また上記実施例では、検出した位置ずれ量(方向も含
む)に基づいて、2つの画像のマッチングを図る際に位
置ずれ補正を行なうようにしているが、検出した位置ず
れ量はその他例えば、前記環境認識手段12において各一
の入力画像から環境を認識する際に、各画像の位置ずれ
を補正するために利用することも可能である。
む)に基づいて、2つの画像のマッチングを図る際に位
置ずれ補正を行なうようにしているが、検出した位置ず
れ量はその他例えば、前記環境認識手段12において各一
の入力画像から環境を認識する際に、各画像の位置ずれ
を補正するために利用することも可能である。
(発明の効果) 以上詳細に説明した通り本発明による移動車の環境認
識装置は、2つの画像間の位置ずれを、入力された画像
信号から直接的に検出するように構成されているので、
移動車の揺れ等の挙動を検出するセンサ類を用いる必要
が無いものとなっている。したがって本装置によれば、
上記センサ類の特性バラツキや経時変化等の問題とは無
縁にして、常に精度良く画像位置ずれを検出することが
できる。
識装置は、2つの画像間の位置ずれを、入力された画像
信号から直接的に検出するように構成されているので、
移動車の揺れ等の挙動を検出するセンサ類を用いる必要
が無いものとなっている。したがって本装置によれば、
上記センサ類の特性バラツキや経時変化等の問題とは無
縁にして、常に精度良く画像位置ずれを検出することが
できる。
第1は、本発明の第1実施例装置の基本構成を示すブロ
ック図、 第2図は、本発明に関連する第1画像、第2画像および
それらの差分画像と、各画像のx軸、y軸への投影の例
を示す概略図、 第3図は、本発明における画像入力手段を構成するテレ
ビカメラの移動車への取付状態例を示す斜視図、 第4図は、本発明の第2実施例装置の基本構成を示すブ
ロック図である。 5……自動車、9……他の自動車 10……テレビカメラ、11……画像入力装置 12……環境認識手段、16……ビデオ切替回路 17a、17b……メモリ、18……相対移動検出手段 19……補正手段、20a、20b……符号スイッチ 21……差分検出器、22、32……位置ずれ演算器
ック図、 第2図は、本発明に関連する第1画像、第2画像および
それらの差分画像と、各画像のx軸、y軸への投影の例
を示す概略図、 第3図は、本発明における画像入力手段を構成するテレ
ビカメラの移動車への取付状態例を示す斜視図、 第4図は、本発明の第2実施例装置の基本構成を示すブ
ロック図である。 5……自動車、9……他の自動車 10……テレビカメラ、11……画像入力装置 12……環境認識手段、16……ビデオ切替回路 17a、17b……メモリ、18……相対移動検出手段 19……補正手段、20a、20b……符号スイッチ 21……差分検出器、22、32……位置ずれ演算器
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−186308(JP,A) 特開 平3−179598(JP,A) (58)調査した分野(Int.Cl.6,DB名) G05D 1/02 G06T 1/00 G08G 1/16
Claims (2)
- 【請求項1】外界認識のための画像入力手段を有する移
動車の環境認識装置において、 前記画像入力手段によって順次入力される画像のうち、
特定時刻における第1画像と、それから所定時間後の第
2画像との差分画像を得る手段と、 前記第1画像、第2画像および差分画像それぞれの、略
水平なx軸への投影と、x軸に直角なy軸への投影とを
求める手段と、 第1画像または第2画像に関する前記投影と差分画像に
関する前記投影との相関に基づいて、第1画像と第2画
像間の位置ずれの有無および量を検出する手段とを備え
たことを特徴とする移動車の環境認識装置。 - 【請求項2】外界認識のための画像入力手段を有する移
動車の環境認識装置において、 前記画像入力手段によって順次入力される画像のうち、
特定時刻における第1画像と、それから所定時間後の第
2画像との差分画像を得る手段と、 前記第1画像、第2画像および差分画像それぞれの、略
水平なx軸への投影と、x軸に直角なy軸への投影とを
求める手段と、 第1画像または第2画像に関する前記投影と差分画像に
関する前記投影との相関に基づいて、第1画像と第2画
像間の位置ずれの有無を検出するとともに、第1画像に
関する前記投影と第2画像に関する前記投影との相関に
基づいて、前記位置ずれの量を検出する手段とを備えた
ことを特徴とする移動車の環境認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2069282A JP2829537B2 (ja) | 1990-03-19 | 1990-03-19 | 移動車の環境認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2069282A JP2829537B2 (ja) | 1990-03-19 | 1990-03-19 | 移動車の環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH03268112A JPH03268112A (ja) | 1991-11-28 |
JP2829537B2 true JP2829537B2 (ja) | 1998-11-25 |
Family
ID=13398117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2069282A Expired - Fee Related JP2829537B2 (ja) | 1990-03-19 | 1990-03-19 | 移動車の環境認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2829537B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130169800A1 (en) * | 2010-11-16 | 2013-07-04 | Honda Motor Co., Ltd. | Displacement magnitude detection device for vehicle-mounted camera |
-
1990
- 1990-03-19 JP JP2069282A patent/JP2829537B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH03268112A (ja) | 1991-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5535144A (en) | Distance detection method and system using a stereoscopical imaging apparatus | |
US8526681B2 (en) | On-vehicle image processing device for vehicular control | |
JPH1040499A (ja) | 車両の外界認識装置 | |
US20200193633A1 (en) | Image processing device and image processing method | |
JPH0827188B2 (ja) | 車間距離検出装置 | |
JP2635246B2 (ja) | 先行車追尾用車間距離検出装置 | |
JPH0981757A (ja) | 車両位置検出装置 | |
JP2829537B2 (ja) | 移動車の環境認識装置 | |
JPH04243491A (ja) | 自動車用画像追尾装置 | |
EP0498416B1 (en) | Inter-car distance detecting device | |
CN114103812A (zh) | 倒车入库引导***及方法 | |
JPH0757200A (ja) | 走路認識装置および走路認識方法 | |
JP3296208B2 (ja) | カーブ曲率推定装置 | |
JP3365168B2 (ja) | 後方白線認識装置 | |
JP2635232B2 (ja) | 車間距離検出装置 | |
JP3452076B2 (ja) | 車輌用距離検出装置 | |
JP2002163641A (ja) | 車両用画像処理装置 | |
JP4316710B2 (ja) | 車外監視装置 | |
JPH05297941A (ja) | 道路形状検出方法 | |
CN111326012A (zh) | 图像处理设备和图像处理方法 | |
JP2966683B2 (ja) | 車両用障害物検出装置 | |
JPH07271952A (ja) | 走行路認識装置 | |
JP3220578B2 (ja) | 道路画像の白線認識装置 | |
JP3053723B2 (ja) | ナンバープレート文字認識方法およびその装置 | |
JP2560147B2 (ja) | 車間距離検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |