JPWO2008114769A1 - 移動体検知装置および移動体検知プログラムと移動体検知方法 - Google Patents

Abstract

【課題】移動体に設置された撮像手段を用いて移動体を検知する場合、検知対象の移動体までの距離の変動に応じて部分領域画像を拡大縮小して一定のスケールの下で比較処理を行う必要があり、計算コストの増大を招いていた。【解決手段】照合を行うたびに拡大縮小処理や形状変形補正処理を行わなくてもよいようにするために、移動体間の距離に応じて検出対象の移動体の画像上でのサイズや形状が変わらないような画像すなわち仮想面画像に入力画像を変換し、異なる２つの時刻に得られた仮想面画像対を用いて点を対応付けし、対応する点のズレに基いて移動体を検出するようにした。【選択図】図１

Description

本発明は移動体に搭載した単一の撮像手段を用いて、該移動体と平行に移動する他の移動体を検知する移動体検知装置に関し、特に、撮像手段を搭載した移動体よりも高速に移動する他の移動体の検知に好適な移動体検知装置に関する。

撮像手段として機能するカメラを搭載した移動体を移動体Ａ，検知対象となる他の移動体を移動体Ｂと呼ぶこととする。移動体Ａに搭載されたカメラ映像を解析して移動体Ｂを検知する１つの方法として特許文献１に開示されているオプティカルフローに基づく方法が知られている。また、静止する物体の検知も可能な特許文献２に開示された画像処理装置を用いても移動体Ｂを検知可能である。特許文献２に開示された発明では、撮像された画像内において物体が写っているか否かを判定するための候補領域を設定し、実空間内に仮想的な平面とその運動パラメータを様々に仮定して、候補領域の一定時刻後の画像を推定・生成し、実際に観測された画像と比較することによって、もっとも類似する推定画像を与えた仮想的な平面の向きに基づいて、該候補領域における物体の有無を判定する。

特開２００４−３５５０８２号公報（図１） 特許第３７４２７５９号公報（図１）

しかしながら、上記技術には計算量に関しての課題がある。特許文献１に開示された発明では、入力画像中の様々な場所において部分領域画像同士を比較する必要があり、計算コストが大きい。特に、移動体Ａと移動体Ｂとの距離が変化する場合、図１７に示すように、移動体Ｂの画像上でのサイズが時刻２０１と時刻２０２とで変わることを考慮して部分領域画像同士を対応づけるためには、対応付けを行う毎に一方の部分領域画像の拡大縮小処理を行う必要があり、一層計算コストが増大するという問題がある。更に、広角レンズなどを用いて撮像している場合はレンズの歪みによる形状変化も補正する必要がある。

また、特許文献２に開示された画像処理装置においても、移動体Ａと移動体Ｂとの相対運動を表すパラメータを様々に仮定して拡大・縮小、平行移動、歪み補正などの画像処理を施して画像同士を比較する必要があるため、照合のための計算コストが大きいという問題がある。さらに、移動体Ｂのみが内包されるような候補領域を設定しないと良好な照合ができないため、様々な候補領域を設定する必要がある。

上記のように、上述した技術に共通する問題点として、検知対象の移動体Ｂまでの距離が変化する場合、部分領域画像を比較する度毎に拡大・縮小処理、さらには歪み補正処理を行う必要があり、計算コストの増大を招いていた。

本発明は、上記の課題を解決するための発明であって、撮像手段を設置した移動体Ａと検知対象となる移動体Ｂとが同一の方向に移動している状況において、少ない計算量で検知対象の移動体Ｂを検知可能とする移動体検知装置および移動体検知プログラムと移動体検知方法を提供することを目的とする。

以上のような課題を解決するため、本発明は、移動体上の撮像手段で取得した入力画像の画素が、前記移動体の移動方向に平行な実世界上の仮想面上の点に対応するものと仮定して、入力画像を前記仮想面に垂直な方向からみた画像に変換して仮想面画像を生成し、異なる２つの時刻に生成された仮想面画像上の点を対応づけ、これら対応する点間の移動量を求め、移動量の等しい点の配置に基づいて検知対象の移動体を検知することを特徴とする構成を有する。
２つの移動体が平行に移動している場合、前記仮想面画像上では検知対象の移動体のサイズや形状が変わらないため、対応する点の探索時に部分画像の照合を行うたびに拡大縮小処理を行わずに済み、処理を高速化することができる。

本発明は、撮像手段を設置した移動体と検知対象となる他の移動体との間の距離が変動しても検知対象である移動体のサイズが画像上で変化しないように撮像手段の入力画像を変換し、この変換後の画像を用いて移動量の抽出を行うようにしているので、部分領域画像の照合に際して必須とされていた拡大縮小の処理が不要となり、移動体の検知に要する計算量や時間を削減できる。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。

図１は本発明を適用した一実施形態の移動体検知装置１の構成を簡略化して示した機能ブロック図、また、図２は移動体検知装置１の主要部を構成するコンピュータ２と撮像手段として機能するカメラ３との接続状態を示したブロック図である。

この移動体検知装置１は、図１に示されるように、カメラ３を設置した車両等の移動体の移動方向と平行な実世界上の仮想的な平面（以下、仮想面と呼ぶ）にカメラ３で取得した画像中の画素を写像して仮想面画像を生成する仮想面画像生成手段１０１と、異なる２つの時刻に生成された仮想面画像上の点を対応づけて、対応する点間の移動量を求め、移動量の等しい点の配置に基づいて検知対象の移動体を検知する移動体検知手段１０２とを備える。

図１に示される仮想面画像生成手段１０１と移動体検知手段１０２は、具体的には、図２に示されるようなコンピュータ２によって構成される。コンピュータ２は、演算処理用のＣＰＵ４と、ＣＰＵ４の制御プログラムを格納したＲＯＭ５、および、演算データの一時記憶等に利用されるＲＡＭ６と、各種のパラメータ等を記憶した不揮発性メモリ７、ならびに、同等の機能を有するフレームメモリ８，９と、経過時間計測用のタイマ１０を備え、ＣＰＵ４の入出力回路１１には、撮像手段として機能するカメラ３とＬＣＤ等の表示器１２およびキーボード等の手動データ入力装置１３が接続されている。

フレームメモリ８，９はＲＡＭ６の記憶領域の一部を利用して構成してもよいし、タイマ１０は、ＣＰＵ４のマシンクロックを計数するカウンタ等によって構成しても構わない。ＲＯＭ５にはＣＰＵ４を仮想面画像生成手段１０１（仮想面画像生成機能実現手段）や移動体検知手段１０２（移動体検知機能実現手段）、更には、領域設定機能実現手段として機能させるための制御プログラムすなわち移動体検知プログラムが格納されている。

仮想面画像生成手段１０１は、車両等の移動体上に設置されたカメラ３によって取得された入力画像の画素が該移動体の移動方向に平行な実世界上の仮想面上の点に対応するものと仮定して、入力画像を前記仮想面に垂直な方向からみた画像に変換して仮想面画像を生成する。

仮想面の設定方法および仮想面画像の生成方法に関して、図面を参照して詳細に説明する。

図３は移動体としての車両に後ろ向きに設置されたカメラ３が３車線道路の中央車線を走行中に捉えた画像の例を示した概念図である。

隣接する車線を走行中の車両３０１が検知対象の移動体である。仮想面としては、例えば図４に示すように、実世界上において道路面に垂直で、かつ、走行する車両３０１の進行経路を含む仮想面４０１を設定する。進行経路４０２は、実世界の車両３０１に含まれる１点が移動する移動軌跡である。

次に、具体的な仮想面画像の生成方法を以下に示す。光学系としては射影変換モデルを仮定する。実世界座標系（ｘｗ，ｙｗ，ｚｗ）とカメラ３の中心座標系（ｘ，ｙ，ｚ）との対応を（式１）で定義する。

ここで、Ｒは3×3の回転行列

を、Ｔは3×1の移動ベクトル

を表している。

座標系の取り方は任意であるが、簡単のため実世界座標系（ｘｗ，ｙｗ，ｚｗ）については、道路面に鉛直な方向をｙｗ軸、移動体の進行方向をｚｗ軸、ｙｗおよびｚｗに直交する方向をｘｗ軸とし、カメラ３の中心座標系については、ＣＣＤ素子などの撮像面における横方向つまり検知対象の車両３０１の画像の移動方向に沿った向きをｘ軸、縦方向をｙ軸、光軸方向をｚ軸とする。さらに、入力画像の横方向をＸｕ軸、縦方向をＹｕ軸とすると、画像座標系（Ｘｕ，Ｙｕ）とカメラ３の中心座標系との関係は、レンズの焦点距離をｆとして（式２）で表される。

仮想面４０１は式を用いてｘｗ＝ｘｗ_０（ｘｗ_０は定数）で表現できるので、入力画像中の画素が実世界上において平面４０１上の点に対応するものと仮定することは、ｘｗ＝ｘｗ_０と固定することにほかならない。この時、実世界上における点（ｘｗ_０，ｙｗ，ｚｗ）に対応する画像座標系の点（Ｘｕ，Ｙｕ）は、

で表され、一意に定めることができる。そこで、この関係に基づいて（ｙｗ，ｚｗ）を２軸とする仮想面に入力画像中の画素を写像し仮想面画像を生成する。図３のような入力画像に対する仮想面画像は図５のようになる。仮想面画像生成手段１０１は、カメラ３から新たな入力画像が入力される毎に時々刻々、仮想面画像を生成する。

一方、移動体検知手段１０２は、異なる２つの時刻に仮想面画像生成手段１０１が生成した２つの仮想面画像の組に対して、対応点を求めてその移動量を抽出し、移動量の等しい点の配置に基づいて移動体の有無を判定する。

まず、対応点の求め方と移動量の抽出方法について図面を用いて詳細に説明する。対応点は画像中の全画素を対象として探索してもよいが、対応付けが容易な特徴的な点についてのみ対応点を抽出しても良い。図６は異なる２つの時刻に得られた２枚の仮想面画像から特徴点としての角点を抽出した結果を示した図である。角点は、Ｈａｒｒｉｓのコーナー検出法などの公知の手法を用いて容易に抽出することができる。

次に、２つの仮想面画像から抽出された特徴点の対応付けを行う。対応点の探索は、一方の仮想面画像６０１から抽出された各特徴点を中心とする局所領域パターンに着目して、これともっとも合致する局所領域をもう一方の仮想面画像６０２から抽出することによって行う。局所領域パターン中に含まれる各画素を対応付け、対応する画素対の値の差の２乗和などを局所領域パターン間の距離として定義し、距離が最小かつ閾値以下となる点を対応点とする。距離の最小値が閾値以下でない場合は対応点が検出できなかったものとして、仮想面画像６０１から抽出したその特徴点を破棄する。特徴点の対応付けが済んだら、特徴点の画素のズレ量（方向も考慮）を求め、これを移動量とする。ここで、仮想面画像を用いる利点として、対応する局所領域パターンの探索は同一ｙｗ軸上の局所領域に限定して良く、ズレ量は画素の横方向の距離に着目しさえすればよい。なぜならば、カメラ３を設置した車両と検知対象の車両３０１と仮想面との位置関係の条件から、検知対象の車両３０１は仮想面画像上では左右にしか移動しないためである。また、両車両間の相対速度を一定の範囲に限定することによって、仮想面画像における特徴点の横方向の探索範囲を限定することができる。例えば、両車両間の相対速度を−Ｓ(ｍ／ｆｒａｍｅ)〜＋Ｓ（ｍ／ｆｒａｍｅ)、仮想面画像の横方向に隣接する画素に対応する仮想面上における距離をＴ(ｍ)とすると、時刻ｔ−１における特徴点(ａ,ｂ)に対応する点の探索範囲は(ａ−ｓ/Ｔ,ｂ)から(ａ＋Ｓ／Ｔ,ｂ)の範囲に限定可能である。

次に、特徴点の移動量の配置に基づく車両３０１の有無の判定方法について図面を用いて詳細に説明する。例えば、図６のような仮想面画像６０１，６０２が異なる２つの時刻で得られ、特徴点の対応付けの結果、図７のような特徴点の移動量が検出されたとする。ここで、図７中の矢印の長さが移動量の大きさを示し、矢印の向きが移動方向を示しているものとする。検知対象である車両３０１の全長が実世界にて最低Ｌ(m)であるとすると、仮想面画像上では横幅Ｌ／Ｔ（画素）以上の領域を占めるはずである。従って、横幅Ｌ／Ｔ（画素）の範囲内に移動量の等しい特徴点が複数検知される可能性が高い。そこで、移動量の情報を縦方向に集約し、図８に示すように、横軸に特徴点のｚｗ軸座標位置を、縦軸に特徴点の移動量をとって移動量のヒストグラムを生成し、移動量の等しいヒストグラム値をさまざまな幅Ｌ／Ｔの部分区間内で累積し、その最大値が予め定めた閾値を超えていたら当該部分区間に車両３０１が存在するものと判断する。図９は、図８のヒストグラムをベースに、Ｌ／Ｔ＝５と仮定し、累積値を部分区間の中央の位置に記憶した場合のヒストグラムの累積値を示す図である。図９を参照すると、ｚｗ軸の座標値が４、左方向への移動量が２に相当するスポットにおける累積値が２＋３＋０＋４＋２＝１１（図８参照）となって最大値を示している。この値と閾値を比較し車両３０１の有無を判断する。この値が閾値以上であればｚｗ＝４を中心とする位置にズレ量（画素数）×Ｔ（画素間隔）の速度すなわち２・Ｔ（ｍ／ｆｒａｍｅ）の速度の追い越し車両３０１が存在するものと判定する。

なお、ここでは、仮想面画像を２次元的な画像として作成する場合について説明したが、計算量やメモリ使用量を削減したい場合は、前述の仮想面に代えて、車両３０１が含まれるように水平方向に延びた画素１幅分の仮想線つまり線分領域として確保してもよい。この場合は縦方向に情報を集約するステップも不要であり、処理速度が更に高速化される。

また、上記では特徴点のヒストグラム値を累積する際、同一移動量に対応するヒストグラム値だけを累積する例について説明したが、移動量の検出誤差を考慮して移動量の差が一定値以下（例えば±１画素以下）の特徴点のヒストグラム値を加えて累積してもよい。

また、上記では車両３０１の全長がＬ（ｍ）と一通りである場合について説明したが、長さが大きく異なる車両が検知対象として数種類存在する場合は、複数の全長を仮定して各部分区間でのヒストグラムを累積し、各々の場合について車両の存在の有無を判断してもよい。このようにすることにより、大型トラックとオートバイなど全長の異なる車両を共に抽出することが可能となる。

図１０はＲＯＭ５に格納された移動体検知プログラムによる処理の流れを簡略化して示したフローチャートである。

次に、図１０を参照して仮想面画像生成手段１０１，移動体検知手段１０２，領域設定機能実現手段として機能するコンピュータ２のＣＰＵ４の処理動作と本実施形態における移動体検知方法について具体的に説明する。

手動データ入力装置１３からの起動指令によって移動体検知プログラムが開始されると、ＲＡＭ６およびフレームメモリ８，９のデータの初期化処理がＣＰＵ４によって実行される（ステップａ１）。

そして、領域設定機能実現手段として機能するＣＰＵ４が、検知対象とする車両３０１に応じた全長Ｌの入力操作を手動データ入力装置１３を介してユーザから受け付け、その値を不揮発性メモリ７にパラメータとして記憶する（ステップａ２）。

次いで、ＣＰＵ４は、１フレーム分の特徴点の位置を記憶するフレームメモリ９のデータを一括してフレームメモリ８に転送した後（ステップａ３）、入出力回路１１を介してカメラ３に画像取込指令を出力し、カメラ３を作動させて得られた画像をＲＡＭ６に一時記憶すると共に（ステップａ４）、画像の取込周期をコントロールするタイマ１０をリスタートさせることによって、画像取り込み後の経過時間の計測を開始する（ステップａ５）。

次いで、仮想面画像生成手段１０１として機能するＣＰＵ４が、カメラ３によって取得された入力画像すなわち現時点でＲＡＭ６に一時記憶されている画像データに基いて仮想面画像を生成し（ステップａ６，図５参照）、この仮想画面から全ての特徴点（ｚｗ，ｙｗ）を抽出して其の内容をフレームメモリ９に更新記憶させる（ステップａ７，図６の６０２参照）。

仮想面画像の生成および特徴点の抽出に関わる具体的な手法については既に述べた通りである。

次いで、移動体検知手段１０２として機能するＣＰＵ４が、現時点でフレームメモリ９に記憶されている特徴点つまり当該処理周期で撮像された画像から抽出された特徴点（図６の６０２参照）と現時点でフレームメモリ８に記憶されている特徴点つまり１処理周期前に撮像された画像から抽出された特徴点（図６の６０１参照）とを比較して対をなす特徴点の組（ｚｗ，ｙｗ），（ｚｗ’，ｙｗ’）を全て求め（ステップａ８）、更に、対応する特徴点間のズレ量すなわち１処理周期間の移動量Δｓを全ての特徴点の組について求める（ステップａ９，図７参照）。

対をなす特徴点の特定に関わる具体的な手法については既に述べた通りである。

前述した通り、特徴点間のズレ量は画素の横方向の距離にだけ着目すればよいので、実質的な移動量Δｓはｚｗ−ｚｗ’によって求めることが可能である。なお、移動量Δｓの値は絶対値ではなく、図７中の矢印の向きに相当する正負の符号つまり検知対象となる車両３０１の移動方向を含んだ値である。

次いで、移動体検知手段１０２として機能するＣＰＵ４が、特徴点（ｚｗ，ｙｗ）におけるｚｗの値と移動量Δｓの値が相互に等しくｙｗの値のみが異なる特徴点の個数を移動量Δｓ別に積算し、横軸をＺｗとし縦軸を画素の移動量Δｓとしたテーブルに、これらの積算値を、（ｚｗ，ｙｗ）におけるｚｗの値とΔｓの値の各々をテーブルの横軸Ｚｗと縦軸Δｓの各々に対応させるかたちで記憶させることによって、移動量のヒストグラムに相当するテーブルを生成する（ステップａ１０，図８参照）。

次いで、領域設定機能実現手段として機能するＣＰＵ４は、不揮発性メモリ７にパラメータとして記憶された全長Ｌの値と画素間距離に相当する仮想面上の距離Ｔとに基いて検知対象となる車両３０１の画像が仮想面画像上で占める部分領域の横方向の長さＬ／Ｔ（画素）を求め、更に、移動体検知手段１０２として機能するＣＰＵ４が、図８に示したヒストグラムのテーブルにおけるΔｓの行別に、連続するＬ／Ｔの区間で前述の積算値を累積し、この累積値を部分区間の中央に相当するＺｗのアブソリュート位置に対応させて記憶させることで、ヒストグラムの累積値を記憶したテーブルを新たに生成する（ステップａ１１，図９参照）。

そして、移動体検知手段１０２として機能するＣＰＵ４が、図９に示されるようなテーブルの（Ｚｗ，Δｓ）スポットに記憶された累積値を順に読み出し（ステップａ１２）、その累積値が予め不揮発性メモリ７にパラメータとして記憶されている閾値（設定値）に達しているか否かを判定し（ステップａ１３）、累積値が閾値に達している場合に限って、検知対象の車両３０１の存在を認識する。
より具体的には、現時点で図９のテーブルから読み出されている累積値のスポットに対応する（Ｚｗ，Δｓ）の値に基いて、Ｚｗの位置に全長Ｌ以上の車両３０１が存在し、その移動速度がΔｓ・Ｔ（ｍ／ｆｒａｍｅ）である旨のテキストデータをＣＰＵ４が入出力回路１１を介して表示器１２に出力し、この内容をカメラ３およびコンピュータ２を設置した車両のドライバーに知らせるようにしている（ステップａ１４）。なお、可視表示に代えて音声出力を利用するようにしてもよい。また、画像の取込周期は既知の値であるから、ｍ／ｆｒａｍｅの単位を時速等に換算して表示することも容易である。
課題を解決するための手段の欄に記載した「存在範囲と移動速度を同時に抽出することができる」の意味合いは、具体的には、ステップａ１４の処理で累積値のスポットに対応する（Ｚｗ，Δｓ）の値に基いて、Ｚｗの位置に全長（存在範囲）Ｌ以上の車両３０１が存在し、その移動速度がΔｓ・Ｔ（ｍ／ｆｒａｍｅ）であることが直ちに分るというものである。

次いで、ＣＰＵ４は、図９に示されるようなテーブルの全ての（Ｚｗ，Δｓ）スポットの累積値に対してデータの読み出しと比較処理が完了しているか否かを判定し（ステップａ１５）、データの読み出しや比較処理が完了していないスポットがあれば、移動体検知手段１０２として機能するＣＰＵ４が、図９に示されるようなテーブルの（Ｚｗ，Δｓ）スポットに記憶された他の累積値を順に読み出して前記と同様にしてステップａ１２〜ステップａ１５の処理を繰り返し実行し、最終的に、全ての（Ｚｗ，Δｓ）スポットの累積値に対しての比較処理が終った時点で当該ループ処理を終了する。

次いで、ＣＰＵ４は、タイマ１０によって計測される経過時間が不揮発性メモリ７にパラメータとして記憶された画像取込周期に達しているか否かを判定し、達していなければそのまま待機する（ステップａ１６）。

そして、経過時間が画像取込周期に達したならば、ＣＰＵ４は、更に、手動データ入力装置１３からユーザ操作によって動作終了指令が入力されているか否かを判定する（ステップａ１７）。

動作終了指令の入力が検知されなければ、車両３０１の検知に関わる処理を継続して行なう必要があることを意味するので、ＣＰＵ４は、再びステップａ３の処理へと移行し、現時点でフレームメモリ９に記憶されている１フレーム分の特徴点の位置データを一括してフレームメモリ８に転送し、フレームメモリ８に更新記憶させてから、カメラ３による画像の取得と当該画像に基いた仮想面画像の生成および当該仮想面画像のフレームメモリ９への更新記憶処理を実行する（以上、ステップａ３〜ステップａ７）。そして、更新されたフレームメモリ８，９の特徴点のデータを対象として、前記と同様にしてステップａ８以降の処理を繰り返し実行する。

この結果、パラメータ設定された画像取込周期で決まる所定周期毎にカメラ３による画像の取り込みが実行され、その度に仮想面画像が新たに生成され、直前の画像取込周期で生成された仮想面画像上の特徴点（フレームメモリ８のデータ，図６の６０１参照）と今回の画像取込周期で生成された仮想面画像上の特徴点（フレームメモリ９のデータ，図６の６０２参照）との対応づけや移動量の算出および其の結果に基く車両３０１の検知処理が連続的に繰り返し実行されることになる。

なお、上記実施例では、カメラ３から見て左側の車線のみに対して車両検知処理を行う装置の例を示したが、同様の構成によって右側車線に対しても車両検知を行うことが可能であるし、左右の処理を独立に行い左右両車線に対し車両検知を行ってもよい。また、仮想面を実世界上において道路面に垂直で、かつ移動する車両３０１の進行経路を含む面としたが、車両３０１の進行方向に水平な面であれば、カメラ３を設置した車両と検知対象の車両３０１との間の距離に因らず、仮想面画像上では検知対象である車両３０１のサイズや形状が一定な画像を得ることができる。入力画像がレンズ歪みにより歪んで観測される場合には、Ｔｓａｉの方法などに基づいて、歪み無しカメラ中心座標系と歪みありカメラ中心座標系の関係式をさらに追加することによって、上記と同様の方法によって仮想面画像上の点と入力画像の画素とを対応づけることができ、仮想面画像上ではレンズ歪みがなくなり、検知対象である車両３０１までの距離に因らずに一定の形状で検知対象の車両３０１が観察されるようになる。更に、上記実施例では対応点の探索範囲を同一Ｙｗ座標に限定したが、車両３０１が多少上下動することを考慮して縦方向に隣接する画素についても探索を行ってもよい。また、対応点の探索処理において、２つの仮想面画像６０１，６０２からそれぞれ抽出された特徴点を中心とする局所領域パターン同士のみを照合して対応点を求めてもよいし、一方の仮想面画像から抽出された特徴点を中心とする局所領域パターンに類似する点を、もう一方の仮想面画像の同一ｙｗ座標上のさまざま画素を中心とする位置に対して探索してもよい。前者の方法によれば照合する回数が少ないので処理時間が短いという長所があり、後者の方法によれば一方の仮想面画像から特徴点が抽出されなかった場合でも対応点が求められるという長所がある。

また、図１１のようにガードレールなどの繰り返しパターンが存在する場合、探索範囲内に複数の類似する部分領域１５０１，１５０２があり、距離値の最小値を与える点を一意に選出してしまうと誤った対応付けをする可能性がある。このような場合に対応するため、一方の仮想面画像中における局所領域パターンとの距離が一定値以下となる部分領域パターンがもう一方の仮想面画像から複数検出された場合は、もともとの点を破棄して、他の特徴点の対応関係から移動する車両３０１の検知を行うようにしてもよい。こうすることにより、ガードレールなどの繰り返しパターンが存在する状況においても検知対象の車両３０１を正しく検知することが可能となる。

次に、前述の仮想面画像生成手段および移動体検知手段に加えて検知対象の車両３０１が通過する平面中の領域に対応する仮想面画像中の領域を移動体通過領域として検出する移動体通過領域抽出手段を併設した他の実施形態について説明する。

図１２は本発明を適用した他の一実施形態の移動体検知装置１４の構成を簡略化して示した機能ブロック図である。移動体検知装置１４の主要部を構成するコンピュータ２や撮像手段として機能するカメラ３のハードウェア上の構成に関しては図２に示したものと同様であるので、実質的な構成の説明に関しては図２のブロック図を援用するものとする。

この移動体検知装置１４は、図１２に示されるように、カメラ３を設置した車両等の移動体の移動方向と平行な実世界上の仮想面にカメラ３で取得した画像中の画素を写像して仮想面画像を生成する仮想面画像生成手段１０１と、検知対象の車両３０１が通過する平面中の領域に対応する仮想面画像中の領域を移動体通過領域として検出する移動体通過領域抽出手段１０３、および、仮想面画像の部分領域内における移動量の等しい点の個数が予め定めた閾値以上であり、かつ、移動量の等しい点のうち１点以上が移動体通過領域中から検出された場合に検知対象の移動体が存在するものと判断する移動体検知手段１０２’を備える。

図１２に示される仮想面画像生成手段１０１と移動体通過領域抽出手段１０３および移動体検知手段１０２’は、具体的には、図２に示されるようなコンピュータ２によって構成される。コンピュータ２は、演算処理用のＣＰＵ４と、ＣＰＵ４の制御プログラムを格納したＲＯＭ５、および、演算データの一時記憶等に利用されるＲＡＭ６と、各種のパラメータ等を記憶した不揮発性メモリ７、ならびに、同等の機能を有するフレームメモリ８，９と、経過時間計測用のタイマ１０を備え、ＣＰＵ４の入出力回路１１には、撮像手段として機能するカメラ３とＬＣＤ等の表示器１２およびキーボード等の手動データ入力装置１３が接続されている。

そして、ＲＯＭ５には、ＣＰＵ４を仮想面画像生成手段１０１（仮想面画像生成機能実現手段），移動体通過領域抽出手段１０３（移動体通過領域抽出機能実現手段），移動体検知手段１０２’（移動体検知機能実現手段）、更には、領域設定機能実現手段として機能させるための制御プログラムすなわち移動体検知プログラムが格納されている。

このうち仮想面画像生成手段１０１の構成や機能に関しては図１に示した実施形態と完全に同一である。

また、移動体通過領域抽出手段１０３は、仮想面画像中から隣接車線の存在範囲を特定して出力する機能を備える。隣接車線の範囲は隣接車線の両側の白線を検知し、それらに挟まれる区間を隣接車線と判定すればよく、白線の検知方法としては、例えば文献（「モデルベースの認識手法による道路白線認識」、電子情報通信学会、信学技法ＰＲＭＵ９９−２１１）に開示されているような手法を用いればよい。

本実施形態における移動体検知手段１０２’は、前述の実施形態で説明したような部分区間における特徴点のヒストグラム累積値に基づく判定のみでなく、ヒストグラム累積値が閾値に達し、かつ、最大のヒストグラム累積値を与えた特徴点のうち１つ以上の特徴点が隣接車線内から検知された場合に限って検知対象である車両３０１が存在するものと判定するようになっている。

図１３はＲＯＭ５に格納された移動体検知プログラムによる処理の流れを簡略化して示したフローチャートである。

次に、図１３を参照して仮想面画像生成手段１０１，移動体通過領域抽出手段１０３，移動体検知手段１０２’，領域設定機能実現手段として機能するコンピュータ２のＣＰＵ４の処理動作と本実施形態における移動体検知方法について説明する。

前述した通り、仮想面画像生成手段１０１の構成や機能に関しては図１に示した実施形態と完全に同一であり、図１３中のステップｂ１〜ステップｂ６の処理が図１０に示したステップａ１〜ステップａ６の処理に相当する。

本実施形態では、ステップｂ６の処理で仮想面画像生成手段１０１による仮想面画像の生成処理が完了した段階で、更に、移動体通過領域抽出手段１０３として機能するＣＰＵ４が、この仮想面画像中から隣接車線の存在範囲を特定し、その位置情報をＲＡＭ６に出力して一時記憶させるようにしている（ステップｂ７）。

図１３中のステップｂ８〜ステップｂ１３の処理は図１０に示したステップａ７〜ステップａ１２の処理に相当するもので、これらの処理により、前述した実施形態の場合と同様にして、移動体検知手段１０２’として機能するＣＰＵ４が、図９のようなヒストグラムの累積値のテーブルを生成し、該テーブルの各スポットに記憶された累積値を順に読み出し、その累積値が予め不揮発性メモリ７にパラメータとして記憶されている閾値（設定値）に達しているか否かを判定する（ステップｂ１４）。

但し、この実施形態では、累積値が閾値に達している場合であっても直ちに検知対象の車両３０１の存在を肯定するのではなく、その後、更に、このスポットの累積値の算出に際して用いられた幾つかの特徴点のデータ（ｚｗ，ｙｗ）のうち少なくなくとも１つのものが、ステップｂ７の処理で求められた隣接車線の存在範囲内つまり移動体通過領域内から検出されているか否かを移動体検知手段１０２’として機能するＣＰＵ４が判定し（ステップｂ１５）、その判定結果が真となった場合に限り、検知対象の車両３０１の存在を認識するようにしている（ステップｂ１６）。
例えば、前述の実施形態で示した図９のヒストグラムの累積値のテーブルの例でｚｗ軸の座標値が４、左方向への移動量Δｓの値が２に相当するスポットにおける累積値が２＋３＋０＋４＋２＝１１（図８参照）となって閾値を超えたとすると、これら１１個の特徴点のデータ（ｚｗ，ｙｗ）のうちの少なくとも１つが移動体通過領域内から検出されていれば、検知対象の車両３０１の存在が認識されることになる。
なお、仮想面画像中の特徴点のデータは既にＸｗ軸方向のデータを消去されているので、ステップｂ７の処理では隣接車線の存在範囲としてＹｗ軸方向の位置情報、例えば、図１４に示されるような２本の白線で上下を挟まれる領域を隣接車線の存在範囲として特定するようにしている。

図１３中のステップｂ１７〜ステップｂ１９の処理は図１０に示したステップａ１５〜ステップａ１７の処理と同等である。

この効果について図を参照しつつ詳細に説明する。図１４は隣接車線ではなく、２車線離れた車線上に移動する車両が存在する場合の仮想面画像および特徴点とその移動量の一例を示した図である。この場合、図１に記載の車両検知装置１では仮想面画像上で左方向に移動する点が抽出されているので、２車線離れた車線上を移動する車両を含めて移動中の車両として検知するが、隣接車線上の車両のみを検知したい場合も考えられる。そこで、移動体通過領域抽出手段１０３から出力される隣接車線位置情報に基づいて移動する車両の位置を区別する。具体的には、移動する車両に対応すると考えられる特徴点のうち、図１５に示されるように、少なくとも１点以上の点が移動体通過領域中から抽出されている場合に限り、隣接車線上に移動する車両３０１が存在するものと判定する。
図１４から明らかなように、２車線あるいは其れ以上に離れた車線上を移動する車両のタイヤはカメラ３を設置した車両が走行する車線と其の隣接車線とを区切る白線よりも遠い位置すなわち図１４中で上方に位置することになり、当然、その車両のシャーシやボディ等もタイヤよりは上方に位置するので、車両が隣接車線を走行しているのか２車線あるいは其れ以上に離れた車線を走行しているかの判定は、特徴点のデータのうち少なくなくとも１つのものが移動体通過領域内から検出されているか否かといった単純な判定処理によって確実に実現できる。

この実施形態によれば、自車に接近中の車両だけでなく、自車に対し相対的に遅い車両も検知することができる。自車に対し相対的に遅い車両に対応する特徴点と、背景に存在する電柱３０２などの物体に対応する特徴点は、仮想面画像上ではいずれも自車両から遠ざかる方向、すなわち、図７の例では右方向へ移動する性質を持っており、点の移動量情報のみでの区別は難しいが、最大ヒストグラム値を与える特徴点のうちいくつかが移動体通過領域から抽出されていれば隣接車線上に何かが存在することがわかり、背景物体による動きか否かを区別することができる。また、仮に図１６のように、隣接車線上の路面ペイント１４０１から特徴点が抽出された場合であっても、実世界においてカメラ３からの水平距離が異なる物体に対応する特徴点は、仮想面画像上での移動速度が異なるのでこれらは累積されにくく車両と区別が可能である。

また、移動体上の撮像手段で取得した入力画像の画素が、前記移動体の移動方向に平行な実世界上の仮想面上の点に対応するものと仮定して、入力画像を前記仮想面に垂直な方向からみた画像に変換して仮想面画像を生成し、異なる２つの時刻に生成された仮想面画像上の点を対応づけ、これら対応する点間の移動量を求め、移動量の等しい点の配置に基づいて検知対象の移動体を検知する構成としてもよいものである。
２つの移動体が平行に移動している場合、前記仮想面画像上では検知対象の移動体のサイズや形状が変わらないため、対応する点の探索時に部分画像の照合を行うたびに拡大縮小処理を行わずに済み、処理を高速化することができる。

更に、前記仮想面が道路面に垂直であることが望ましい。また、前記仮想面画像の部分領域内における移動量の等しい点の個数が予め定めた閾値以上である場合に検知対象の移動体が存在するものと判断することが望ましい。これにより、検知対象とする移動体の大きさに関する知識を移動体の検知に関わる処理に利用することが可能となり、より安定した検知が可能となる。また、存在範囲と移動速度を同時に抽出することができる。

また、前記部分領域が、検知対象の移動物体の画像の一部を含むように該検知対象の移動体の画像の移動方向に沿って設定された線分領域であることが望ましい。これにより、処理時間を削減することができる。

更に、検知対象の移動体が通過する平面中の領域に対応する仮想面画像中の領域を移動体通過領域として検出し、前記仮想面画像の部分領域内における移動量の等しい点の個数が予め定めた閾値以上であり、かつ前記移動量の等しい点のうち１点以上が前記移動体通過領域中から検出された場合に検知対象の移動体が存在するものと判断することが望ましいものである。これにより、検知対象が通過する平面中の領域すなわち特定の道路面上を走行中の移動体のみを検知することが可能となる。

前記撮像手段を搭載した移動体が車両であり、前記検知対象の移動体は前記撮像手段を搭載した車両が走行している車線に隣接する車線上を移動中の他の車両であることが望ましい。

前記検知対象の移動体の長さに応じて前記仮想面画像中における前記部分領域の大きさを設定することが望ましい。これにより、全長の大きく異なる移動体を共に検知することができるようになる。

また、移動体上の撮像手段で取得した入力画像の画素が、前記移動体の移動方向に平行な実世界上の仮想線上の点に対応するものと仮定して、入力画像を前記仮想線に垂直な方向からみた画像に変換して仮想線画像を生成し、異なる２つの時刻に生成された仮想線画像上の点を対応づけ、これら対応する点間の移動量を求め、移動量の等しい点の配置に基づいて検知対象の移動体を検知することが望ましい。
２つの移動体が平行に移動している場合、前記仮想線画像上では検知対象の移動体の全長が変わらないため、対応する点の探索時に部分画像の照合を行うたびに拡大縮小処理を行わずに済む。特に、処理を一次元化した構成とすることで、処理を著しく高速化することができる。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は２００７年３月２２日に出願された日本出願特願２００７−０７４４３５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明を適用した一実施形態の移動体検知装置の構成を簡略化して示した機能ブロック図である。 同実施形態の移動体検知装置の主要部を構成するコンピュータと撮像手段として機能するカメラとの接続状態を示したブロック図である。 車両に後ろ向きに設置されたカメラが３車線道路の中央車線を走行中に捉えた画像の例を示した概念図である。 仮想面の設定例を示した概念図である。 図３の入力画像に対する仮想面画像の一例を示した概念図である。 異なる２つの時刻ｔ−１，ｔにおける仮想面画像の一例を示した概念図である。 特徴点の移動量情報の一例を示した概念図である。 特徴点の移動量を縦方向に集約した移動量のヒストグラムの一例を示した概念図である。 図８のヒストグラムを部分区間において累積した累積ヒストグラムの一例を示した概念図である。 移動体検知プログラムによる処理の流れを簡略化して示したフローチャートである。 複数の点が類似する点として抽出される場合の一例を示した図である。 移動体通過領域抽出手段を併設した他の実施形態の移動体検知装置の構成を簡略化して示した機能ブロック図である。 移動体検知プログラムによる処理の流れを簡略化して示したフローチャートである。 隣接車線の隣の車線を移動体が移動している場合の仮想面画像上における特徴点の移動量を示した概念図である。 隣接車線を移動体が移動している場合の仮想面画像上における特徴点の移動量を示した概念図である。 背景と路面パターンに対する特徴点の移動量を示した概念図である。 車両が接近中の異なる２つの時刻ｔ−１，ｔにおける入力画像の一例を示した概念図である。

符号の説明

１ 移動体検知装置
２ コンピュータ
３ カメラ（撮像手段）
４ ＣＰＵ
５ ＲＯＭ
６ ＲＡＭ
７ 不揮発性メモリ
８，９ フレームメモリ
１０ タイマ
１１ 入出力回路
１２ 表示器
１３ 手動データ入力装置
１４ 移動体検知装置
１０１ 仮想面画像生成手段
１０２ 移動体検知手段
１０２’ 移動体検知手段
１０３ 移動体通過領域抽出手段
２０１ 時刻ｔ−１における検知対象の車両
２０２ 時刻ｔにおける検知対象の車両
３０１ 車両（検知対象の移動体）
３０２ 背景に存在する電柱
４０１ 仮想面
４０２ 進行経路
６０１ 時刻ｔ−１における仮想面画像
６０２ 時刻ｔにおける仮想面画像
１４０１ 路面ペイントに対応する特徴点
１４０２ 背景の家に対応する特徴点

Claims (22)

1. 移動体上の撮像手段で取得した入力画像の画素が、前記移動体の移動方向に平行な実世界上の仮想面上の点に対応するものと仮定して、前記入力画像を前記仮想面に垂直な方向からみた画像に変換して仮想面画像を生成する仮想面画像生成手段と、
   異なる２つの時刻に生成された前記仮想面画像上の点を対応づけて該対応する点間の移動量を求め、移動量の等しい点の配置に基づいて検知対象の移動体を検知する移動体検知手段とを備えたことを特徴とする移動体検知装置。
2. 前記仮想面は、道路面に垂直であることを特徴とする請求項１記載の移動体検知装置。
3. 前記移動体検知手段は、前記仮想面画像の部分領域内における移動量の等しい点の個数が予め定めた閾値以上である場合に検知対象の移動体が存在するものと判断することを特徴とする請求項１または請求項２記載の移動体検知装置。
4. 前記部分領域は、検知対象の移動体の画像の一部を含むように該検知対象の移動体の画像の移動方向に沿って設定された線分領域であることを特徴とする請求項３記載の移動体検知装置。
5. 検知対象の移動体が通過する平面中の領域に対応する前記仮想面画像中の領域を移動体通過領域として検出する移動体通過領域抽出手段を更に備え、
   前記移動体検知手段は前記仮想面画像の部分領域内における移動量の等しい点の個数が予め定めた閾値以上であり、かつ、前記移動量の等しい点のうち１点以上が前記移動体通過領域中から検出された場合に検知対象の移動体が存在するものと判断することを特徴とする請求項３記載の移動体検知装置。
6. 前記撮像手段を搭載した移動体は車両であり、前記検知対象の移動体は前記撮像手段を搭載した車両が走行している車線に隣接する車線上を移動中の他の車両であることを特徴とする請求項１，請求項２，請求項３，請求項４または請求項５の何れか一項に記載の移動体検知装置。
7. 前記検知対象の移動体の長さに応じて前記仮想面画像中における前記部分領域の大きさを設定可能としたことを特徴とする請求項３記載の移動体検知装置。
8. 移動体上の撮像手段で取得した入力画像の画素が、前記移動体の移動方向に平行な実世界上の仮想線上の点に対応するものと仮定して、前記入力画像を前記仮想線に垂直な方向からみた画像に変換して仮想線画像を生成する仮想線画像生成手段と、
   異なる２つの時刻に生成された前記仮想線画像上の点を対応づけて該対応する点間の移動量を求め、移動量の等しい点の配置に基づいて検知対象の移動体を検知する移動体検知手段とを備えたことを特徴とする移動体検知装置。
9. 移動体上に設置された撮像手段に接続されたコンピュータに、
   前記撮像手段で取得した入力画像の画素が、前記移動体の移動方向に平行な実世界上の仮想面上の点に対応するものと仮定して、前記入力画像を前記仮想面に垂直な方向からみた画像に変換して仮想面画像を生成する仮想面画像生成機能、および、
   異なる２つの時刻に生成された前記仮想面画像上の点を対応づけて該対応する点間の移動量を求め、移動量の等しい点の配置に基づいて検知対象の移動体を検知する移動体検知機能を実現させることを特徴とした移動体検知プログラム。
10. 前記仮想面画像生成機能により、前記入力画像を道路面に垂直な実世界上の仮想面に垂直な方向からみた画像に変換することを特徴とした請求項９記載の移動体検知プログラム。
11. 前記移動体検知機能により、前記仮想面画像の部分領域内における移動量の等しい点の個数が予め定めた閾値以上である場合に検知対象の移動体が存在するものと判断することを特徴とした請求項９または請求項１０記載の移動体検知プログラム。
12. 前記移動体検知機能により、前記部分領域が検知対象の移動体の画像の一部を含むように該部分領域を前記検知対象の移動体の画像の移動方向に沿って線分状に設定することを特徴とした請求項１１記載の移動体検知プログラム。
13. 移動体上に設置された撮像手段に接続されたコンピュータに、
    前記撮像手段で取得した入力画像の画素が、前記移動体の移動方向に平行な実世界上の仮想面上の点に対応するものと仮定して、前記入力画像を前記仮想面に垂直な方向からみた画像に変換して仮想面画像を生成する仮想面画像生成機能、および、
    検知対象の移動体が通過する平面中の領域に対応する前記仮想面画像中の領域を移動体通過領域として検出する移動体通過領域抽出機能、ならびに、
    異なる２つの時刻に生成された前記仮想面画像上の点を対応づけて該対応する点間の移動量を求め、前記仮想面画像の部分領域内における移動量の等しい点の個数が予め定めた閾値以上であり、かつ、前記移動量の等しい点のうち１点以上が前記移動体通過領域中から検出された場合に検知対象の移動体が存在するものと判断する移動体検知機能を実現させることを特徴とした移動体検知プログラム。
14. 前記検知対象の移動体の長さに応じて前記仮想面画像中における前記部分領域の大きさを設定する領域設定機能を前記コンピュータに実現させることを特徴とした請求項１１記載の移動体検知プログラム。
15. 移動体上に設置された撮像手段に接続されたコンピュータに、
    前記撮像手段で取得した入力画像の画素が、前記移動体の移動方向に平行な実世界上の仮想線上の点に対応するものと仮定して、前記入力画像を前記仮想線に垂直な方向からみた画像に変換して仮想線画像を生成する仮想線画像生成機能、および、
    異なる２つの時刻に生成された前記仮想線画像上の点を対応づけて該対応する点間の移動量を求め、移動量の等しい点の配置に基づいて検知対象の移動体を検知する移動体検知機能を実現させることを特徴とした移動体検知プログラム。
16. 移動体上に設置された撮像手段により所定周期毎に画像の取り込みを実行し、移動体上の撮像手段で取得した入力画像の画素が、前記移動体の移動方向に平行な実世界上の仮想面上の点に対応するものと仮定して、前記入力画像を前記仮想面に垂直な方向からみた画像に変換して仮想面画像を生成し、
    直前に生成された仮想面画像上の点と今回生成された仮想面画像上の点とを対応づけて該対応する点間の移動量を求め、
    移動量の等しい点の配置に基づいて検知対象の移動体を検知することを特徴とした移動体検知方法。
17. 仮想面画像の生成に際し、前記入力画像を道路面に垂直な実世界上の仮想面に垂直な方向からみた画像に変換することを特徴とした請求項１６記載の移動体検知方法。
18. 検知対象の移動体の検知に際し、前記仮想面画像の部分領域内における移動量の等しい点の個数が予め定めた閾値以上である場合に検知対象の移動体が存在するものと判断することを特徴とした請求項１６または請求項１７記載の移動体検知方法。
19. 前記部分領域が検知対象の移動体の画像の一部を含むように該部分領域を前記検知対象の移動体の画像の移動方向に沿って線分状に設定することを特徴とした請求項１８記載の移動体検知方法。
20. 移動体上に設置された撮像手段により所定周期毎に画像の取り込みを実行し、移動体上の撮像手段で取得した入力画像の画素が、前記移動体の移動方向に平行な実世界上の仮想面上の点に対応するものと仮定して、前記入力画像を前記仮想面に垂直な方向からみた画像に変換して仮想面画像を生成すると共に、検知対象の移動体が通過する平面中の領域に対応する前記仮想面画像中の領域を移動体通過領域として検出し、
    直前に生成された仮想面画像上の点と今回生成された仮想面画像上の点とを対応づけて該対応する点間の移動量を求め、前記仮想面画像の部分領域内における移動量の等しい点の個数が予め定めた閾値以上であり、かつ、前記移動量の等しい点のうち１点以上が前記移動体通過領域中から検出された場合に検知対象の移動体が存在するものと判断することを特徴とした移動体検知方法。
21. 前記検知対象の移動体の長さに応じて前記仮想面画像中における前記部分領域の大きさを設定することを特徴とした請求項１８記載の移動体検知方法。
22. 移動体上に設置された撮像手段により所定周期毎に画像の取り込みを実行し、移動体上の撮像手段で取得した入力画像の画素が、前記移動体の移動方向に平行な実世界上の仮想線上の点に対応するものと仮定して、前記入力画像を前記仮想線に垂直な方向からみた画像に変換して仮想線画像を生成し、
    直前に生成された仮想線画像上の点と今回生成された仮想線画像上の点とを対応づけて該対応する点間の移動量を求め、
    移動量の等しい点の配置に基づいて検知対象の移動体を検知することを特徴とした移動体検知方法。

Images