JP2010061375A - 物体認識装置及びプログラム - Google Patents

Abstract

【課題】特別な装備を設けることなく映り込み画像による物体の誤認識を防止して、物体認識の精度を向上させることができる物体認識装置及びプログラムを提供する。
【解決手段】撮像装置１２で撮像された画像からエッジ検出により複数の特徴点を抽出し、車両が走行している場合に、最新の画像の特徴点と１フレーム前に撮像された画像の特徴点との対応付けを行い、対応付けられた特徴点の座標が同一の場合には、固定特徴点の候補点として候補数カウントと共に記憶しておく。所定フレーム分の各画像に対して処理を繰り返して候補点を判定し、記憶した候補点と座標が同一であれば候補数カウントに１を加算し、候補数カウントが所定値以上となった候補点を固定特徴点として決定し、最新の画像から抽出された特徴点から固定特徴点を除去する。
【選択図】図４

Description

本発明は、物体認識装置及びプログラムに係り、特にカメラ等により撮像された画像から車両周辺の物体を認識するための物体認識装置及びプログラムに関する。

従来、撮像された画像から物体を認識し、認識結果を例えばディスプレイに表示するなどして、車両を運転するドライバの運転を支援することが行われている。このように撮像された画像を用いる場合の多くは、カメラ等の撮像装置を車両内に取り付け、例えばフロントガラス越しに車両前方を撮像することにより得られた画像を利用している。この場合、車両内の物体からの光がフロントガラスで反射されて車載カメラに入射され、撮像される画像に車両内の物体が映り込む、いわゆる映り込み画像により、物体認識に誤認識が生じる、という問題があった。

そこで、フロントガラス内側で、かつ前方に向けたカメラの近傍にダッシュボードを照明する照明装置を設け、照明装置の点灯時及び消灯時に撮影された画像より得られる２つのエッジ画像の差分画像を作成し、複数枚の差分画像について各画素値の平均値と分散値とを演算し、所定の閾値以上の平均値、かつ所定の閾値以下の分散値の画素を映り込み画像のエッジが占める画素として検出し、この画素値をゼロに設定することで走行路画像から映り込み画像のエッジを除去する映り込み検出方法が提案されている（例えば、特許文献１）。

また、カメラの前面に偏光フィルタを設け、フロントガラスで反射してカメラに入射される光を遮り、撮像画像への映り込みを防止する映り込み防止方法が提案されている（例えば、特許文献２）。

また、実空間に存在する対象物の上にプロジェクタにより投影画像を投影し、投影した状態の実空間を撮像した画像と、投影元画像に補正を加えて作成した推定映り込み画像との差分画像を抽出することにより映り込み画像（投影画像）を除去する画像処理装置が提案されている（例えば、特許文献３）。
特開２００２−２３０５６３号公報 特開２００１−９４８４２号公報 特開２００６−２５９６２７号公報

しかしながら、特許文献１の映り込み検出方法では、差分画像を得るために特別な装備として照明装置を設けているため、コストが高くなり、また搭載条件も制限される、という問題がある。また、特許文献２の映り込み防止方法でも、偏光フィルタを設ける必要があるため、コストが高くなり、また撮像画像の光量が低下する、という問題がある。また、特許文献３の画像処理装置では、映り込み画像のパターンが既知であることが前提となっているため、どのようなパターンのものが映り込み画像として検出されるか不明の場合には対応できない、という問題がある。

本発明は、上述した問題を解決するために提案されたものであり、特別な装備を設けることなく映り込み画像による物体の誤認識を防止して、物体認識の精度を向上させることができる物体認識装置及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の物体認識装置は、車両周辺の所定方向の対象領域を連続的に撮像して複数の画像を出力する撮像手段と、前記撮像手段により撮像された各画像から複数の特徴点を抽出する特徴点抽出手段と、所定時間内に撮像された各画像から抽出され、かつ前記所定時間内に撮像された各画像において座標が同一の固定特徴点を、前記所定時間内に撮像された最新の画像から抽出された複数の特徴点より除去する固定特徴点除去手段と、前記固定特徴点除去手段により固定特徴点が除去された前記最新の画像の特徴点に基づいて、物体認識を行う物体認識手段と、を含んで構成されている。

また、本発明の物体認識プログラムは、コンピュータを、車両周辺の所定方向の対象領域を連続的に撮像して複数の画像を出力する撮像手段により撮像された各画像から複数の特徴点を抽出する特徴点抽出手段と、所定時間内に撮像された各画像から抽出され、かつ前記所定時間内に撮像された各画像において座標が同一の固定特徴点を、前記所定時間内に撮像された最新の画像から抽出された複数の特徴点より除去する固定特徴点除去手段と、前記固定特徴点除去手段により固定特徴点が除去された前記最新の画像の特徴点に基づいて、物体認識を行う物体認識手段として機能させるためのものである。

本発明の物体認識装置及びプログラムによれば、撮像手段が、車両周辺の所定方向の対象領域を連続的に撮像して複数の画像を出力し、特徴点抽出手段が、撮像手段により撮像された各画像から複数の特徴点を抽出する。ここで抽出される特徴点には、映り込み画像に基づいて抽出された特徴点が含まれる場合もある。映り込み画像は、長時間にわたって画像中の同一箇所に撮像されるため、固定特徴点除去手段が、所定時間内に撮像された各画像から抽出され、かつ所定時間内に撮像された各画像において座標が同一の固定特徴点を、所定時間内に撮像された最新の画像から抽出された複数の特徴点より除去し、物体認識手段が、固定特徴点除去手段により固定特徴点が除去された最新の画像の特徴点に基づいて、物体認識を行う。

このように、所定時間内に撮像された各画像において座標が同一の固定特徴点を映り込み画像に基づいて抽出された特徴点として除去し、固定特徴点が除去された最新の画像の特徴点に基づいて物体認識を行うため、特別な装備を設けることなく映り込み画像による物体の誤認識を防止して、物体認識の精度を向上させることができる。

また、前記所定時間内に撮像された画像を少なくとも３フレーム以上とすることができる。このように、３フレーム以上の画像に基づいて固定特徴点を判断することにより、映り込み画像によるものではないが偶然座標が同一となる特徴点を固定特徴点として判断する確率が低下し、適切に映り込み画像による固定特徴点を除去することができる。

また、本発明の物体認識装置は、前記車両が走行しているか否かを検出する車両走行検出手段を更に備え、前記固定特徴点除去手段は、前記車両走行検出手段により前記車両が走行していることが検出された場合に、前記固定特徴点を除去するようにすることができる。

このように、車両が走行している場合に、固定特徴点を除去するようにすることにより、所定時間内に撮像された各画像から抽出される特徴点は、車両の走行状態に応じて座標が変化する特徴点と固定特徴点とがより明確に区別されるため、より適切に固定特徴点を除去することができ、物体認識の精度が向上する。

以上説明したように、本発明の物体認識装置及びプログラムによれば、特別な装備を設けることなく映り込み画像による物体の誤認識を防止して、物体認識の精度を向上させることができる、という効果が得られる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

図１に示すように、本実施の形態に係る物体認識装置１０は、車両１前方の対象領域を含む範囲を撮像するように車室内に取り付けられた撮像装置１２、車両１の車速を検出する車速センサ１４、撮像装置１２から出力される撮像画像に基づいて物体を認識する物体認識プログラムの処理ルーチンを実行する制御装置１６、及び制御装置１６での処理結果を表示するための表示装置１８を備えている。

撮像装置１２は、車両１前方の対象領域を含む範囲を制御装置１６からの撮像指示に応じて１フレームずつ撮像し、１フレーム毎の画像信号を生成する撮像部、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリを備えている。

車速センサ１４は、車両１のエンジンの出力軸の回転数を検出可能な位置に設けられ、車両１の車速に応じた信号を発生して制御装置１６へ入力する。

制御装置１６は、物体認識装置１０全体の制御を司るＣＰＵ、後述する物体認識処理及び固定特徴点判定除去処理等のプログラムを記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、Ｉ／Ｏ（入出力）ポート、及びこれらを接続するバスを含むマイクロコンピュータで構成されている。Ｉ／Ｏポートには、撮像装置１２、車速センサ１４及び表示装置１８が接続されている。

次に、図２を参照して、本実施の形態における物体認識プログラムの処理ルーチンについて説明する。ここでは、認識対象物が車線（白線）の場合について説明する。本プログラムは、例えば、物体認識装置１０が搭載された車両１のイグニッションスイッチがオンされるなどによって図示しない車両制御装置からの処理開始の指示信号が受信されるとＣＰＵにより実行される。

ステップ１００で、車速センサ１４による車速ｖの検出を開始させるための車速検出開始信号を車速センサ１４へ送信する。次に、ステップ１０２で、カウンタ値ｋに１をセットして、次に、ステップ１０４で、撮像装置１２に１フレーム分の画像を撮像するための撮像指示信号を送信し、次に、ステップ１０６で、撮像装置１２で撮像された画像Ｉ（ｋ）を取り込む。ここで取り込んだ画像には、図３（Ａ）に示すように、フロントガラス３４に反射した車両室内の物体３６が映り込んだ画像（映り込み画像３２）が存在する場合には、車両前方の対象領域を撮像した画像と映り込み画像３２とが含まれている。

次に、ステップ１０８で、撮像装置１２から入力された画像に対して微分フィルタなどを用いてエッジ検出を行い、画像Ｉ（ｋ）に含まれる物体のエッジ点を特徴点Ｐｉ（ｋ）（ｉ＝１、２、３・・・ｎ：ｎは画像Ｉ（ｋ）から抽出される特徴点の総数）として抽出する。図３（Ａ）で示す画像から特徴点を抽出した例を同図（Ｂ）に示す。エッジ検出により車線部分のエッジ点が特徴点として抽出されると共に、映り込み画像３２のエッジ点も特徴点として抽出されている。

次に、ステップ１１０で、カウンタ値ｋが１より大きいか否かを判断することにより、２フレーム以上の画像から特徴点が抽出されたか否かを判断する。１より大きい場合には、ステップ１１４へ進み、１以下の場合には、ステップ１１２へ進む。ここではｋ＝１であるので、ステップ１１２へ進み、カウンタ値ｋをインクリメントしてステップ１０４へ戻る。

ステップ１０４へ戻ると、撮像装置１２へ撮像指示信号を送信し、ステップ１０６で、例えば図３（Ｃ）に示すような次の画像Ｉ（ｋ）が取り込まれ、ステップ１０８で、例えば、図３（Ｄ）に示すように画像Ｉ（ｋ）の特徴点が抽出される。

次のステップ１１０では、カウンタ値ｋが１より大きくなっており、２つのフレーム画像から特徴点が抽出されているので、ステップ１１４へ進み、車速センサ１４により検出された、画像Ｉ（ｋ）を撮像した時点での車両の車速ｖ（ｋ）信号を取り込む。

次に、ステップ１１６で、取り込んだ車速ｖ（ｋ）が０より大きいか否かを判断することにより、車両が走行しているか否かを検出する。車両が走行していることが検出された場合には、ステップ１１８へ進んで、固定特徴点判定除去の処理を実行する。車両が走行していない場合には、固定特徴点判定除去の処理を実行することなく、ステップ１２０へ進む。

ここで、図４を参照して、固定特徴点判定除去プログラムの処理ルーチンについて説明する。

ステップ２００で、カウンタ値ｉに１をセットし、次に、ステップ２０２で、最新の画像である画像Ｉ（ｋ）の特徴点Ｐ_ｉ（ｋ）と、１フレーム前に撮像された画像Ｉ（ｋ−１）の特徴点Ｐ_ｊ（ｋ−１）（ｊ＝１、２、３・・・ｌ：ｌは画像Ｉ（ｋ−１）から抽出される特徴点の総数）との対応付けを行い、特徴点Ｐ_ｉ（ｋ）に対応付けられる特徴点Ｐ_ｊ（ｋ−１）が存在するか否かを判断する。特徴点の対応付けは、例えば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）などの値を用いて、特徴点周辺に設定した小領域での輝度分布が似ている点の組を対応付けるようにすることができる。また、特徴点の座標のみから対応付けを行ったり、特徴点の座標とエッジ方向などの特徴量の属性とに基づいて対応付けを行ったりしてもよい。対応付けられる特徴点が存在する場合には、ステップ２０４へ進み、存在しない場合には、ステップ２１４へ進む。

ステップ２０４で、対応付けられた特徴点Ｐ_ｉ（ｋ）及び特徴点Ｐ_ｊ（ｋ−１）のそれぞれの座標を算出し、座標が同一か否かを判断する。座標が同一の場合には、特徴点Ｐ_ｉ（ｋ）を固定特徴点の候補点Ｌであると判定して、ステップ２０６へ進み、同一でない場合には、ステップ２１４へ進む。

ステップ２０６で、固定特徴点の候補点Ｌが記憶される所定の記憶領域を参照して、これから記憶しようとしている候補点Ｌの座標と同一の座標の候補点Ｌ_ｍが既に記憶されているか否かを判断する。所定の記憶領域には、候補点Ｌ_ｍの座標及び候補点として判定された回数を示す候補数カウントが記憶されている。候補点Ｌが既に記憶されている場合には、ステップ２０８へ進み、該当する候補点Ｌ_ｍの候補数カウントに１を加算する。候補点Ｌがまだ記憶されていない場合には、ステップ２１０へ進み、新たな候補点Ｌ_ｍとして、その座標及び候補数カウント「１」を記憶する。なお、ｍは、所定領域に記憶される候補点に付される通し番号である。

次に、ステップ２１２で、カウンタ値ｉが、画像Ｉ（ｋ）の特徴点Ｐ（ｋ）の総数であるｎと等しくなったか否かを判断することにより、画像Ｉ（ｋ）のすべての特徴点Ｐ（ｋ）について候補点Ｌとなるか否かの判定を行ったかを判断する。ｉ＝ｎの場合には、ステップ２１６へ進み、ｉ＝ｎとなっていない場合には、ステップ２１４で、カウンタ値ｉをインクリメントして、ステップ２０２へ戻り、ステップ２０２〜ステップ２１２の処理を繰り返す。

次に、ステップ２１６で、所定領域に記憶された固定特徴点の候補点Ｌ_ｍのうち、ステップ２０８で候補数カウントに１が加算されなかった候補点Ｌを削除する。候補数カウントに１が加算されなかったということは、最新の画像Ｉ（ｋ）では同一の座標の特徴点が抽出されなかったということであり、固定特徴点ではないからである。なお、ステップ２１０で新たに記憶された候補点Ｌ_ｍは、候補数カウント０に１が加算されたのと同様であるため、本ステップにおいて削除されない。

次に、ステップ２１８で、カウンタ値ｍに１をセットし、次に、ステップ２２０で、候補点Ｌ_ｍが記憶されている所定領域を参照して、候補点Ｌ_ｍの候補数カウントが所定値以上か否かを判断することにより、所定フレーム以上の各画像において同一の座標の特徴点であるか否かを判断する。なお、ここでは、所定値を予め定めた画像のフレーム数で設定しているが、所定時間内に送信された撮像指示の回数を算出して所定値として設定してもよい。所定値以上の場合には、ステップ２２２へ進んで、候補点Ｌ_ｍを固定特徴点として決定する。所定値より小さい場合には、ステップ２２４へ進む。

ステップ２２４で、カウンタ値ｍが、記憶されている固定特徴点の候補点の通し番号の最大値ｍ_ｍａｘと等しくなったか否かを判断することにより、記憶されているすべての候補点Ｌ_ｍについて、候補数カウントの判定を行ったか否かを判断する。ｍ＝ｍ_ｍａｘの場合には、ステップ２２８へ進み、ｍ＝ｍ_ｍａｘになっていない場合には、ステップ２２６で、カウンタ値ｍをインクリメントして、ステップ２２０へ戻り、ステップ２２０〜ステップ２２４の処理を繰り返す。

ステップ２２８で、ステップ２２２で決定された固定特徴点と同一の座標の特徴点を画像Ｉ（ｋ）の固定特徴点として除去して、処理を終了してリターンする。例えば、最新の画像Ｉ（ｋ）から抽出した特徴点が図３（Ｄ）、画像Ｉ（ｋ−１）から抽出した特徴点が同図（Ｂ）で示されるような場合で、前述の各ステップを経て、図５に示されるような固定特徴点が決定された場合には、図３（Ｄ）に示される複数の特徴点から、図５に示される固定特徴点が除去されて、図６に示される特徴点が残る。なお、ステップ２２０で候補数カウントが所定値以上の候補点Ｌ_ｍがなかった場合には、固定特徴点が決定されないため、固定特徴点の除去は行われない。

次に、図２のステップ１２０で、固定特徴点が除去された特徴点に基づいて物体を認識する。抽出した画像Ｉ（ｋ）の特徴点Ｐ（ｋ）に基づいて物体認識の処理を実行する。ここで、ステップ１１２で肯定されて固定特徴点判定除去処理を行った場合には、ステップ１０６で抽出された複数の特徴点から固定特徴点が除去された残りの特徴点に基づいて物体認識を行う。物体認識の処理には、パターンマッチングや予め作成しておいた学習モデルとの比較等の周知の技術を用いることができるため、詳細については説明を省略する。

次に、ステップ１２２で、撮像装置１２から取り込んだ画像に対して、ステップ１１６の認識結果に基づいて、例えば、認識された車線部分の色を変更したり強調したりする処理を施して、表示装置１８上に表示する。

次に、ステップ１２４で、例えば、車両のイグニッションスイッチがオフされるなどによって図示しない車両制御装置から処理終了の指示信号が入力されたか否かを判断し、入力されない場合には、ステップ１１２でカウンタ値ｋをインクリメントしてステップ１０４へ戻り処理を繰り返す。処理終了の指示信号が入力された場合には、本ルーチンを終了する。

なお、この処理を実行する制御装置１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図７に示すように、撮像装置１２によって撮像された画像から特徴点を抽出する特徴点抽出部２０、車速センサ１４から入力された車速に応じた信号に基づいて車両が走行しているか否かを検出する車両走行検出部２２、特徴点抽出部２０で抽出された特徴点から固定特徴点を判定する固定特徴点判定部２４、固定特徴点判定部２４で固定特徴点と判定された特徴点を除去する固定特徴点除去部２６、車両が走行している場合には、特徴点抽出部２０で抽出された特徴点より固定特徴点が除去された特徴点に基づいて、車両が走行していない場合には、特徴点抽出部２０で抽出された特徴点に基づいて物体を認識する物体認識部２８、及び撮像装置１２によって撮像された撮像画像に、物体認識部２８による認識結果を重畳させて表示装置１８に表示するよう制御する表示制御部３０を含んだ構成で表すことができる。

以上説明したように、本実施の形態に係る物体認識装置１０によれば、車両が走行している場合に、所定時間内に撮像された所定フレーム以上の各画像から抽出される特徴点のうち、各画像において座標が同一の特徴点を映り込み画像に基づく固定特徴点であると判定して、抽出された特徴点から除去しているため、特別な装備を設けることなく映り込み画像による物体の誤認識を防止して、物体認識の精度を向上させることができる。

なお、本実施の形態では、入力画像からエッジ検出により抽出されるエッジ点を特徴点とする場合について説明したが、物体を認識するための特徴点として物体の形状、輪郭、色、模様等を表わすものが抽出されればよく、例えば、入力された画像に対して予め定めたパターン画像とのマッチングを行って抽出される輪郭に対応する複数の画素を特徴点として抽出したり、所定の色を示す画素値の画素を特徴点として抽出したりしてもよい。

また、本実施の形態では、車両が走行しているか否かを、車速のみで検出する場合について説明したが、操舵角センサで検出される操舵角等もあわせて検出に利用してもよい。また、本実施の形態では、車速が０より大きい場合に車両の走行を検出することとしたが、車速が所定値以上の場合に車両の走行を検出するようにしてもよい。

また、本実施の形態では、認識対象物が車線の場合について説明したが、路面、植物、空、建物等を認識対象物としてもよいし、これらの中から選択した複数個を認識対象物としてもよい。

また、本実施の形態では、認識結果を表示装置に表示する場合について説明したが、認識結果を歩行者検出装置や車両制御装置などの他の装置の入力情報として利用するようにしてもよい。例えば、歩行者検出装置に上記認識結果を入力して、歩行者の探索範囲を限定することにより、歩行者検出装置における計算コストの削減や誤検出率の低減が図れる。また、車両制御装置に上記認識結果を入力して、自動追従等の制御に利用してもよい。

また、本実施の形態の物体認識装置１０の構成、及び固定特徴点判定除去処理を含む物体認識処理のプログラムの処理の流れは一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能である。

本実施の形態に係る物体認識装置の構成を示す概略図である。 本実施の形態に係る物体認識プログラムの処理ルーチンを示すフローチャートである。 撮像装置で撮像された画像、及び撮像された画像から抽出された特徴点の一例を示す図である。 本実施の形態における固定特徴点判定除去プログラムの処理ルーチンを示すフローチャートである。 固定特徴点の一例を示す図である。 抽出された特徴点から固定特徴点が除去された結果の一例を示す図である。 本実施の形態に係る物体認識装置の機能的構成を示す機能ブロック図である。

符号の説明

１０ 物体認識装置
１２ 撮像装置
１４ 車速センサ
１６ 制御装置
１８ 表示装置
２０ 特徴点抽出部
２２ 車両走行検出部
２４ 固定特徴点判定部
２６ 固定特徴点除去部
２８ 物体認識部
３０ 表示制御部

Claims (4)

1. 車両周辺の所定方向の対象領域を連続的に撮像して複数の画像を出力する撮像手段と、
   前記撮像手段により撮像された各画像から複数の特徴点を抽出する特徴点抽出手段と、
   所定時間内に撮像された各画像から抽出され、かつ前記所定時間内に撮像された各画像において座標が同一の固定特徴点を、前記所定時間内に撮像された最新の画像から抽出された複数の特徴点より除去する固定特徴点除去手段と、
   前記固定特徴点除去手段により固定特徴点が除去された前記最新の画像の特徴点に基づいて、物体認識を行う物体認識手段と、
   を含む物体認識装置。
2. 前記所定時間内に撮像された画像を少なくとも３フレーム以上とした請求項１記載の物体認識装置。
3. 前記車両が走行しているか否かを検出する車両走行検出手段を更に備え、
   前記固定特徴点除去手段は、前記車両走行検出手段により前記車両が走行していることが検出された場合に、前記固定特徴点を除去する請求項１または請求項２記載の物体認識装置。
4. コンピュータを、
   車両周辺の所定方向の対象領域を連続的に撮像して複数の画像を出力する撮像手段により撮像された各画像から複数の特徴点を抽出する特徴点抽出手段と、
   所定時間内に撮像された各画像から抽出され、かつ前記所定時間内に撮像された各画像において座標が同一の固定特徴点を、前記所定時間内に撮像された最新の画像から抽出された複数の特徴点より除去する固定特徴点除去手段と、
   前記固定特徴点除去手段により固定特徴点が除去された前記最新の画像の特徴点に基づいて、物体認識を行う物体認識手段と、
   して機能させるための物体認識プログラム。