JP2008052591A - 画像処理装置及びその方法 - Google Patents

Abstract

【目的】移動体の運動によるピッチングの影響を受けにくく、進行方向の前方に飛び出してくる障害物を検出する画像処理装置を提供する。
【構成】画像入力部１０、対応位置算出部２０、動的１次元画像生成部３０、動的抽出画像生成部４０、動的特徴抽出部５０、動的軌跡情報生成部６０、障害物検出部７０、障害物情報出力部８０から構成され、移動体が移動する実空間上の注目領域に対応する画像上の対応領域を算出し、対応領域を含む水平方向抽出画像を生成し、水平方向抽出画像を時系列に垂直方向に並べて２次元の動的ｘｔ画像を生成し、動的ｘｔ画像上の時刻Ｔの特徴点を抽出し、動的ｘｔ画像において、時刻Ｔの特徴点と、時刻Ｔと異なり、かつ、前記特徴点と近傍位置にある特徴点とを連結することによって動的軌跡情報を生成し、動的軌跡情報が、障害物であるか否かの判定基準を満たす場合に特徴点を障害物に属すると判定する。
【選択図】 図１

Description

本発明は、自動車などの車両に代表される移動体に取り付けられたカメラの画像を用いて、前方に飛び出してくる障害物を検出する画像処理装置及びその方法に関する。

車両などの移動体の前方に飛び出してくる障害物を検出する方式として、車両に単一のＴＶカメラを取り付けて、このＴＶカメラによって撮影した画像から障害物を検出する方式がある。

例えば、特許文献１においては、道路面のエッジ点数の変化に注目して障害物を検出している。この方式は、予め設定したある領域内部のエッジ点数の最大値が、ある閾値以上になったときに、障害物が存在したとする。
特開平８−２４９５９７号公報

しかし、特許文献１の方式では、エッジ点数から検出しているため、道路面に模様があると障害物が存在しなくてもエッジ点数が増大することから誤検出する可能性がある。

そこで本発明は、移動体の運動によるピッチングの影響を受けにくく、進行方向の前方に飛び出してくる障害物を検出する画像処理装置及びその方法を提供する。

本発明は、移動体の前方にある障害物を検出する画像処理装置において、前記移動体の前方を撮影して画像を入力する画像入力手段と、前記移動体が移動する実空間上の注目領域に対応する前記画像上の対応領域を算出する対応領域算出部と、前記対応領域を含む第１画像を生成し、前記第１画像を時系列に垂直方向に並べて２次元の第２画像を生成する画像生成手段と、前記第２画像上の任意の時刻の特徴点を抽出する特徴抽出手段と、前記第２画像において、前記任意の時刻の特徴点と、前記任意の時刻と異なり、かつ、前記任意の時刻の特徴点と近傍位置にある特徴点とを連結することによって軌跡情報を生成する軌跡情報生成手段と、前記軌跡情報が、前記障害物であるか否かの判定基準を満たす場合に前記特徴点を前記障害物に属すると判定する障害物検出手段と、を具備したことを特徴とする画像処理装置である。

本発明によれば、進行方向の前方に飛び出してくる障害物を確実に検出できる。

本発明の一実施形態の画像処理装置を図１〜図１１に基づいて説明する。

（１）画像処理装置の構成
図１は、本実施形態の画像処理装置の構成例を示す。

画像処理装置は、画像入力部１０、対応位置算出部２０、動的１次元画像生成部３０、動的抽出画像生成部４０、動的特徴抽出部５０、動的軌跡情報生成部６０、障害物検出部７０、障害物情報出力部８０から構成される。これら各部１０〜８０は、コンピュータに格納されたプログラムによっても実現できる。

画像入力部１０は、自動車などの車両の移動体に取り付けられた１台のＴＶカメラから時系列画像（ｘｙ画像）を取得する。

対応位置算出部２０は、実空間上のある注目領域とｘｙ画像上の対応する位置を算出する。

動的１次元画像生成部３０では、ｘｙ画像から動的軌跡情報を抽出するための１次元（１・Ｎ）の抽出画像を生成する。

動的抽出画像生成部４０では、動的１次元画像生成部３０で生成された１次元の抽出画像を時系列に並べ、２次元の抽出画像（以下、「動的ｘｔ画像」という）を生成する。

動的特徴抽出部５０では、安定した動的軌跡情報を抽出するために、動的抽出画像生成部４０で生成された動的ｘｔ画像から特徴点を抽出する。

動的軌跡情報生成部６０では、動的特徴抽出部５０で抽出された特徴点から動的軌跡情報を生成する。

障害物検出部７０では、動的軌跡情報抽出部２０で動的軌跡情報が抽出されたｘｙ画像に属する点または領域に関して、その領域が障害物に属しているかどうかを判定し障害物を検出する。

障害物情報出力部８０では、検出された障害物までの距離や、衝突までの時間など、障害物に関する情報を算出し、この画像処理装置が搭載されている車両の制御装置や車両の運転者に対して出力する。

以下では、対応位置算出部２０、動的１次元画像生成部３０、動的抽出画像生成部４０、動的特徴抽出部５０、動的軌跡情報生成部６０、障害物検出部７０、障害物情報出力部８０について説明する。

説明を簡単にするため、ＴＶカメラは路面が画像上で下になり、光軸が路面と平行かつ進行方向に平行に取り付けられているものとする。このＴＶカメラ配置では、画像上で地平線が水平で画像の中心を通る直線となる。これ以外の設置方法についても同様の方法が適用できる。

（２）対応位置算出部２０
対応位置算出部２０について図１に基づいて説明する。

対応位置算出部２０では、実空間上のある注目領域とｘｙ画像上の対応する位置を算出する。

例えば、実空間上の位置（Ｘｏ，Ｙｏ，Ｚｏ）に対応するｘｙ画像上の位置（ｘｏ，ｙｏ）は、ＴＶカメラと路面の既知の幾何的位置関係から容易に計算することができる。今仮定しているＴＶカメラ配置で、ＴＶカメラが路面からｈの高さにあるとすると、

（ｘｏ，ｙｏ）＝（ｆ＊Ｘｏ）／Ｚｏ，−ｆ＊（ｈ−Ｙｏ）／Ｚｏ）

で求めることができる。但し、ｆはＴＶカメラの焦点距離である。

逆に、画像上の位置（ｘｏ，ｙｏ）から実空間上での座標も求めることができるが、Ｘ，Ｙ，Ｚのどれか１つは仮定することになる。

例えば、画像上の位置（ｘｏ，ｙｏ）は実空間上で路面上であるＹｏ＝０と仮定すれば、

（Ｘｏ，０，Ｚｏ）＝（−ｈ＊ｘｏ／ｙｏ，０，−ｆ＊ｈ／ｙｏ）

で求めることができる。

（２−１）ピッチング運動補正部２１
ピッチング運動補正部２１では、路面の凹凸等によって生じる車両のピッチング運動が画像上の各点の運動に与える影響を除去する。

車両のピッチング運動は、ほぼカメラの水平軸周りの回転運動であるので、ｘｙ画像からこの回転量を推定して、回転量が０となるように画像を変換すればよい。ｘｙ画像からカメラの水平軸周りの回転運動を推定する方法は、既存の方法を用いる。

例えば、特開２０００−２９６８３６公報（以下、特許文献２という）では、地平線の周辺に現れる縦方向の運動は、カメラの水平軸周りの回転運動によって生じることを利用して、地平線の周辺に現れる縦方向の運動から水平軸周りの回転運動を推定している。画像入力部１０で、焦点距離の小さい広角レンズを用いる場合には、ピッチング運動が画像に与える影響が小さくなり無視しても問題ない。このような場合にはピッチング運動補正部２１なしでシステムを構成しても良い。

（２−２）ヨーイング運動補正部２２
ヨーイング運動補正部２２では、車両のカーブ走行等によって生じる車両のヨーイング運動が画像上の各点の運動に与える影響を除去する。

車両のヨーイング運動は、ほぼカメラの垂直軸周りの回転運動であるので、ｘｙ画像からこの回転量を推定して、回転量が０となるように画像を変換すればよい。ｘｙ画像からカメラの垂直軸周りの回転運動を推定する方法は様々な方法が考えられる。

例えば、上記特許文献２では、消失点の周辺に現れる横方向の運動は、カメラの垂直軸周りの回転運動によって生じることを利用して、消失点の周辺に現れる横方向の運動から垂直軸周りの回転運動を推定することによってヨーイング運動が画像変化に与える影響を除去することができる。

（３）動的１次元画像生成部３０
動的１次元画像生成部３０について図３と図４に基づいて説明する、
動的１次元画像生成部３０では、ｘｙ画像から動的軌跡情報を抽出するための１次元（１・Ｎ）の水平方向抽出画像を生成する。なお、水平方向とは画面上の横方向をいい、垂直方向とは画面上の縦方向をいう。生成された水平方向抽出画像で以下に述べるように動的軌跡情報を抽出する。動的軌跡情報は路面上のある特定の場所をｘｙ画像を通して注目し続けることにより抽出する（図３参照）。１次元の水平方向抽出画像は以下のような方法で生成する。

まず、路面上のある特定の場所（以下、「注目領域」という）を決定する。この注目領域には、ある時刻ｔ＝Ｔでｘｙ画像のｙ座標がｙ＝Ｙ（Ｙは定数）の１・Ｎの画像の実空間上で対応する対応領域Ｐを与える。対応領域Ｐは対応位置算出部２０と同じ方法で算出する。

次に、時刻Ｔ以降では、自車両と対応領域Ｐの相対位置の変化を進行情報算出部７１によって求め、対応位置算出部２０と同じ方法により対応領域Ｐのｘｙ画像上での位置Ｙ・を算出し、ｙ座標がｙ＝Ｙ・の１・Ｎの画像をｘｙ画像から切り出し１次元の水平方向抽出画像とする（図４参照）。

ここに示した方法で１次元の水平方向抽出画像を生成する。このとき、注目領域である路面上のある特定の場所を複数個（例えば、Ｓ個）用意する（すなわち、ＹをＳ個用意する）ことによってｘｙ画像全体を網羅することができる。

（４）動的抽出画像生成部４０
動的抽出画像生成部４０では、図４に示すように、動的１次元画像生成部３０で生成された１次元の水平方向抽出画像を垂直方向に時系列に並べ、２次元の抽出画像である動的ｘｔ画像を生成する。

このとき、動的ｘｔ画像は動的１次元画像生成部３０で用意した注目する路面上の場所の数（上記の例では、Ｓ個である）だけ生成される。こうして生成されたＳ個の動的ｘｔ画像に対してそれぞれ、動的特徴抽出部５０、動的軌跡情報生成部６０の手順を経て動的軌跡情報を抽出する。

（５）動的特徴抽出部５０
動的特徴抽出部５０では、安定した動的軌跡情報を抽出するために、動的抽出画像生成部４０で生成された動的ｘｔ画像から特徴点を抽出し、動的軌跡情報生成部６０で抽出された特徴点または特徴領域について動的軌跡情報を求める。特徴点とは、その点の近傍の輝度分布が、周辺の輝度分布とは異なる点のことである。特徴点抽出には様々な設定方法がある。

例えば、以下のような方法がある。

第１の方法は、動的ｘｔ画像に対して横方向に微分などを適用し縦方向のエッジを検出する。そして、縦方向のエッジの検出された座標を特徴点とする。

第２の方法は、動的ｘｔ画像に対してソーベルフィルタなどを適用しコーナー点を検出する。そして、コーナー点の検出された座標を特徴点とする。

第３の方法は、１次元の水平方向抽出画像に対して横方向に微分などを適用し縦方向のエッジを検出する。そして、縦方向のエッジの検出された座標を特徴点とする。

（６）動的軌跡情報生成部６０
動的軌跡情報生成部６０では、動的特徴抽出部５０で抽出された特徴点から動的軌跡情報を生成する。

ある特徴点の追跡について、図５に基づいて説明する。

まず、追跡したい特徴点（ｘ０，ｔ０）の近傍に存在する特徴点の中から最も近いものを、追跡したい特徴点の移動したものであるとする。

次に、移動した点に関しても同様にして移動先を追跡する。

次に、これを設定された条件（一定時間の経過、特徴点の消失等）が満たされるまで繰り返すことにより、動的軌跡情報を追跡することができる。

図５の場合、特徴点０は特頂点１，特徴点２，・・・・と移動していくことがわかる。ここで近傍に存在する点とは、注目している点よりも設定された時間（Δｔ）内の後の時刻で、かつ、ｘ座標のずれが設定された範囲内（Δｘ）にある点のことをいう。すなわち、点（ｘ０，ｔ０）の近傍の点とは、

ｘ０−Δｘ＜ｘ＜ｘ０＋Δｘ

ｔ０＜ｔ＜ｔ０＋Δｔ

の範囲に存在する点のことである。

（７）障害物検出部７０
（７−１）第１の方法
図２に障害物検出部７０の詳細な構成例を示す。

障害物検出部７０では、動的軌跡情報生成部６０で動的軌跡情報が生成されたｘｙ画像に属する点または領域に関して、その領域が障害物に属しているかどうかを判定し障害物を検出する。その判定は、動的ｘｔ画像の横方向（ｘ軸方向）の中心方向に向かって伸びるか、または、動的ｘｔ画像の縦方向（ｔ軸方向）に平行である場合に障害物に属しているとするものである。

例えば、動的軌跡速度算出部７３で算出される動的移動速度が判定基準算出部７２によって算出される判定基準を満たす場合に、障害物に属しているとするものとする。

判定基準算出部７２によって算出される判定基準が、図６の斜線部分が示すような範囲である場合に、図７に示す軌跡情報を持つ特徴点Ａ、Ｂ、Ｃがあるとする。この例の場合、特徴点ＢとＣが前述の条件を満たす。したがって、ＢとＣが障害物に属する特徴点であることがわかる。

以下、順番に説明する。

（７−１）進行情報算出部７１
進行情報算出部７１では、自車両に搭載されたハンドル舵角センサー、車速センサー、画像等の各種センサーを用いて、自車両の予測進路を計算する。

図８に示すようなＸＺＴ座標系をとると、予測進路はＸ−Ｚ−Ｔの三次元空間内の曲線となる。車輪の回転角速度、ハンドル舵角センサー、車速センサー等の各種センサーの情報を用いると、車両の運動モデルを用いて車両の予測進路を求めることができる（阿部正人、「自動車の運動と制御」、山海堂参照）。また、Ｘ，Ｚ，Ｔの三次元空間内の予測進路を画像に投影した画像上の予測進路を算出し、それをもとにして動的ｘｔ画像上での自車両の位置を求めておく。

（７−２）判定基準算出部７２
判定基準算出部７２では、動的軌跡速度算出部７３で抽出された動的軌跡情報が障害物に属しているかどうかを判定するための判定基準を、進行情報算出部７１によって算出される移動体の進行情報から算出する。

図９に示すように障害物の候補となる物体のｘｙ画像上でのｘ軸方向の運動は、静止しているか、進行情報算出部７１で算出される自車両の予想軌跡またはその延長線のある方向に向かうものになる。このことは動的ｘｔ画像中では次の様に表現される。

自車両の予想軌跡またはその延長線は動的ｘｔ画像中では、ｘ＝ｇ（ｔ）という関数で表現される。衝突する物体の動きはｇ（ｔ）の表す曲線を境にして、次のようになる。

動的軌跡情報がｘ＜＝ｇ（ｔ）にある場合には、軌跡速度Ｖａが０以上となる。

動的軌跡情報がｘ＞ｇ（ｔ）にある場合には、軌跡速度Ｖａが０以下と表すことができ、これが判定基準となる。これを図に表すと図６の斜線部分のようになる。

（７−３）動的軌跡速度算出部７３
動的軌跡速度算出部７３では、動的軌跡情報生成部６０で求めた特徴点の動的軌跡情報から、特徴点のｘｙ画像上での動的軌跡速度を算出する。動的軌跡速度を求めるために、動的軌跡情報（特徴点群）に関する近似直線を算出する。近似直線の算出方法は、最小二乗法などの既存の方法を用いる。こうして求めた直線の傾きが動的軌跡速度となる。ここで定義する傾きとは以下に述べるものである。近似直線が動的ｘｔ画像を時刻ｔ＝０、ｘ＝０を原点とした２次元平面（横軸ｘ、縦軸ｔ）上にあると捉えた場合に、

ｘ＝ｃ＊ｔ＋ｄ （ｃ，ｄは定数）

と表現できる。このときｔの係数ｃを傾きと定義する。図１０の例の場合、点線の示す直線（ベクトルの終点の時刻から未来の時刻方向に伸びる）の傾きが動的軌跡速度となる。

（８）障害物情報出力部８０
障害物情報出力部８０は、障害物検出部７０で検出された障害物の位置情報、速度情報、自車両と衝突するまでの時間を算出し出力する。まず、障害物検出部７０で検出された障害物に属する点または領域に関して、同じ障害物に属すると思われる点または領域をグループ化する。グループ化には様々な方法が考えられるが、本実施形態ではｘｙ画像を用いた方法について例を挙げる。

まず、ｘｙ画像のエッジを示す曲線（エッジ曲線）を抽出する。エッジ曲線は次のように抽出する。

あるエッジ（画素Ａ）に関して、その周囲の画素（自身の周囲８方向に存在する画素）にもエッジ（画素Ｂ）が存在する場合に、これらの画素は同じエッジ曲線に属すると判断する。

新しく加わったエッジ情報を持つ画素（画素Ｂ）に関しても同様にして周囲にエッジが存在するかどうかを調べていく。

こうした手順を繰り返し行って生成されたものをエッジ曲線と呼ぶ。

次に、障害物検出部７０で検出された障害物に属する点または領域が存在するエッジ曲線を抽出する。このとき、図１１に示すように、同じエッジ曲線上に存在する障害物検出部７０で検出された障害物に属する点または領域は、同じ障害物に属すると決定しグループ化する。

同じグループに属している点または領域のうち、最も画像の下端に近い点または領域の画像上の位置を、障害物が路面と接する位置とする。

画像上の障害物の接地位置（ｘｏ，ｙｏ）が分かれば、障害物の路面上の位置（Ｘｏ，Ｚｏ）は、カメラと路面の既知の幾何的位置関係から容易に計算することができる。今仮定しているカメラ配置で、カメラが路面からｈの高さにあるとすると、路面は画像平面に垂直な平面（ｙ＝−ｈ）であるので、次式のようになる。

（Ｘｏ，Ｚｏ）＝（−ｈ＊ｘｏ／ｙｏ，０，−ｆ＊ｈ／ｙｏ）

障害物の画像上での速度は、前記の各グループに属する軌跡情報の水平、垂直成分の各平均値、最頻値、中央値等を用いて計算する。この画像上の速度ｖｏ＝（ｖｏｘ，ｖｏｙ）と、障害物の位置（Ｘｏ，Ｚｏ）から、各障害物の路面上の速度Ｖｏ＝（Ｖｏｘ，０，Ｖｏｚ）は、カメラと路面の既知の幾何的位置関係を用いて容易に計算することができる。

Ｖｏｘ＝（Ｚｏ＾２／ｆ）（ｖｏｘ−ｖｏｙ＊Ｘｏ／ｈ）

Ｖｏｚ＝−（ｖｏｙ＊Ｚｏ＾２）／（ｆ＊ｈ）

障害物の路面上の速度Ｖｏを用いると、障害物のＸ−Ｚ−Ｔ空間内での予測進路を求めることができる。予測進路は、障害物の等速運動、または等加速度運動を仮定して求める。この予測進路と、図８の自車両の予測進路が交わる座標値（Ｘｃ，Ｙｃ，Ｔｃ）を求めることにより、自車両から見て、位置（Ｘｃ，Ｙｃ）、時刻Ｔｃで衝突するという結果を出力する。

実際には、障害物の予測進路と自車両の予測進路は完全に交わることはまれであるので、障害物の予測進路が自車両の予測進路上の（Ｘｃ，Ｚｃ，Ｔｃ）の近傍を通るとき、（Ｘｃ，Ｚｃ，Ｔｃ）で衝突するとする。

なお、本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

本発明の一実施形態の画像処理装置を示すブロック図である。 障害物検出部のブロック図である。 動的抽出画像生成についての説明図である。 １次元の動的抽出画像生成及び２次元の動的抽出画像生成についての説明図である。 特徴点の軌跡情報を追跡する方法についての説明図である。 判定基準を算出する方法についての説明図である。 障害物に属する軌跡情報を判定する方法についての説明図である。 自車両の進行情報についての説明図である。 判定基準を算出する方法についての説明図である。 特徴点の移動する速度を算出する方法についての説明図である。 障害物情報の計算方法についての説明図である。

符号の説明

１０ 画像入力部
２０ 対応位置算出部
３０ 動的１次元画像生成部
４０ 動的抽出画像生成部
５０ 動的特徴抽出部
６０ 動的軌跡情報生成部
７０ 障害物検出部
８０ 障害物情報出力部

Claims (8)

1. 移動体の前方にある障害物を検出する画像処理装置において、
   前記移動体の前方を撮影して画像を入力する画像入力手段と、
   前記移動体が移動する実空間上の注目領域に対応する前記画像上の対応領域を算出する対応領域算出部と、
   前記対応領域を含む水平方向の画像である第１画像を生成し、前記第１画像を時系列に垂直方向に並べて２次元の第２画像を生成する画像生成手段と、
   前記第２画像上の任意の時刻の特徴点を抽出する特徴抽出手段と、
   前記第２画像において、前記任意の時刻の特徴点と、前記任意の時刻と異なり、かつ、前記任意の時刻の特徴点と近傍位置にある特徴点とを連結することによって軌跡情報を生成する軌跡情報生成手段と、
   前記軌跡情報が、前記障害物であるか否かの判定基準を満たす場合に前記特徴点を前記障害物に属すると判定する障害物検出手段と、
   を具備した
   ことを特徴とする画像処理装置。
2. 前記判定基準は、前記軌跡情報が前記第２画像における横方向の中心に向かって伸びるか、または、縦方向に平行であるとする
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記障害物検出手段は、
   前記移動体に取り付けられたセンサーのデータから前記移動体の位置と進行方向を算出する進行情報算出手段と、
   前記軌跡情報が、前記進行方向から前記障害物に属しているかどうかの判定基準を算出する判定基準算出手段と、
   前記軌跡情報から前記特徴点の前記画面上における動的軌跡速度を算出する動的軌跡速度算出手段と、
   前記動的軌跡速度が前記判定基準を満たす場合に、前記特徴点が前記障害物に属すると判定する障害物判定手段と、
   を具備した
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記判定基準は、前記特徴点の前記画像上における水平方向の運動が、静止状態、前記進行方向に向かう運動、または、前記進行方向の延長線の方向に向かう運動のときに前記障害物に属しているとする
   ことを特徴とする請求項３記載の画像処理装置。
5. 移動体の前方にある障害物を検出する画像処理方法において、
   前記移動体の前方を撮影して画像を入力し、
   前記移動体が移動する実空間上の注目領域に対応する前記画像上の対応領域を算出し、
   前記対応領域を含む水平方向の画像である第１画像を生成し、前記第１画像を時系列に垂直方向に並べて２次元の第２画像を生成し、
   前記第２画像上の任意の時刻の特徴点を抽出し、
   前記第２画像において、前記任意の時刻の特徴点と、前記任意の時刻と異なり、かつ、前記任意の時刻の特徴点と近傍位置にある特徴点とを連結することによって軌跡情報を生成し、
   前記軌跡情報が、前記障害物であるか否かの判定基準を満たす場合に前記特徴点を前記障害物に属すると判定する
   ことを特徴とする画像処理方法。
6. 前記判定基準は、前記軌跡情報が前記第２画像における横方向の中心方向に向かって伸びるか、または、縦方向に平行であるとする
   ことを特徴とする請求項４記載の画像処理方法。
7. 前記障害物を検出するときは、
   前記移動体に取り付けられたセンサーのデータから前記移動体の位置と進行方向を算出し、
   前記軌跡情報が、前記進行方向から前記障害物に属しているかどうかの判定基準を算出し、
   前記軌跡情報から前記特徴点の前記画面上における動的軌跡速度を算出し、
   前記動的軌跡速度が前記判定基準を満たす場合に、前記特徴点が前記障害物に属すると判定する
   ことを特徴とする請求項４記載の画像処理方法。
8. 前記判定基準は、前記特徴点の前記画像上における水平方向の運動が、静止状態、前記進行方向に向かう運動、または、前記進行方向の延長線の方向に向かう運動のときに前記障害物に属しているとする
   ことを特徴とする請求項７記載の画像処理方法。
   

Images