JP4775034B2 - 画像認識システムおよび画像認識方法 - Google Patents

Description

本発明は、画像認識システムおよび画像認識方法に関し、より詳細には、走行する車両が取得した画像内において、物体を探索する範囲を限定し、探索する範囲から抽出される被照合画像の数を低減させることにより画像認識に掛かる負荷を低減させる画像認識システムおよび画像認識方法に関する。

従来、カメラ等から取り込んだ画像の中から特定の物体を認識するための画像認識システムが存在する。

係る画像認識システムは、取り込んだ画像から所定サイズの被照合画像を抽出し、画像の二値化処理、エッジ検出、フィルタ処理等の画像処理を用いて、抽出した被照合画像と予め登録された特定の物体に関する登録画像とが一致するか否かを判定し、一致すると判定した場合に、取り込んだ画像に特定の物体が存在すると認識する。

係る画像認識システムは、車両に搭載された場合、車両周辺の歩行者等の存在を運転者に知らせる上で有用となる。

しかし、取り込んだ画像全体から被照合画像を抽出しようとすると、被照合画像の数が増大し、抽出処理に掛かる負荷も増大してしまう。また、被照合画像や登録画像の数が増大すると、照合処理に掛かる負荷および時間も増大する。このように、抽出処理や照合処理といった画像処理に掛かる時間が増大すると、係る画像認識システムは、走行中の車両のように迅速な情報の取得を必要とする場合に適用できなくなる。

そこで、画像処理に掛かる時間を短縮すべく、抽出する被照合画像の数を低減させるために、路面上の白線を認識して白線間の領域にある画像のみから被照合画像を抽出する車間距離測定装置が知られている（例えば、特許文献１参照。）。

また、探索すべき登録画像の数を低減させるために、赤外線センサにより測定されたカメラと特定の物体との間の距離、および、撮影に使用されたズームレンズの倍率から、特定の物体の外形寸法を算出し、外形寸法が特定の物体の外形寸法と異なる物体に関する登録画像を照合対象から除外する画像探索方法が知られている（例えば、特許文献２参照。）。
特開２００１−１１６５１２号公報 特開平１０−２５４９０３号公報

しかしながら、特許文献１に記載の車間距離測定装置は、白線のない道路では探索範囲を限定することができず照合処理に掛かる負担を低減することができない。また、特許文献２に記載の画像探索方法は、取得した画像中に存在する物体の外形寸法を算出するために予め物体を特定する必要があり、走行中の車両周辺の画像のようにカメラが取り込んだ画像に特定の物体が存在するか否かが不明な場合には適用することができず、照合処理に掛かる負担を低減することができない。

上述の問題に鑑み、本発明は、移動体が撮影した画像内において、物体を探索する範囲を限定し、画像認識処理に掛かる負荷を低減させる画像認識システムおよび画像認識方法を提供することを目的とする。

上述の目的を達成するために、第１の発明に係る画像認識システムは、移動体の周辺を撮影した基本画像から被照合画像を抽出して、探索しようとする物体の登録画像と照合することにより該物体が前記基本画像に存在するか否かを判定する画像認識システムであって、移動状態に基づいて前記基本画像のうち前記移動体が所定時間後に到達可能な範囲を算出する到達可能範囲算出手段と、前記到達可能な範囲を超える範囲からの前記被照合画像の抽出を制限する抽出範囲制限手段と、を備えることを特徴とする。

また、第２の発明は、第１の発明に係る画像認識システムであって、前記登録画像および前記被照合画像の画像サイズを前記移動体からの距離に応じて変化させる画像サイズ変更手段、を備えることを特徴とする。

また、第３の発明は、第１または第２の発明に係る画像認識システムであって、前記基本画像は、前記移動体からの距離が異なる複数の平面をそれぞれ映し出す画像レイヤを有し、前記到達可能範囲算出手段は、前記画像レイヤ毎に、前記到達可能な範囲を算出し、前記抽出範囲制限手段は、前記画像レイヤ毎に、前記到達可能な範囲を超える範囲からの前記被照合画像の抽出を制限する、ことを特徴とする。

また、第４の発明に係る画像認識方法は、移動体の周辺を撮影した基本画像から被照合画像を抽出して、探索しようとする物体の登録画像と照合することにより該物体が前記基本画像に存在するか否かを判定する画像認識方法であって、移動状態に基づいて前記基本画像のうち前記移動体が所定時間後に到達可能な範囲を算出する到達可能範囲算出ステップと、前記到達可能な範囲を超える範囲からの前記被照合画像の抽出を制限する抽出範囲制限ステップと、を備えることを特徴とする。

上述の手段により、本発明は、移動体が撮影した画像内において、物体を探索する範囲を限定し、画像認識処理に掛かる負荷を低減させる画像認識システムおよび画像認識方法を提供することができる。

以下、図面を参照しつつ、いくつかの実施例に分けて、本発明を実施するための最良の形態の説明を行う。

図１は、本発明に従った画像認識システム１００の構成例を示す図である。画像認識システム１００は、制御部１、ＮＶＲＡＭ（Ｎｏｎ−Ｖｏｌａｔｉｌｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３、出力手段４、カメラ５、車速センサ６、加速度センサ７および操舵角センサ８から構成される。

制御部１は、到達可能範囲算出手段１０、抽出範囲制限手段１１、画像サイズ変更手段１２および画像抽出照合手段１３を有し、カメラ５、車速センサ６、加速度センサ７および操舵角センサ８からの信号とＮＶＲＡＭ２およびＲＡＭ３に格納された情報とに基づいて所定の演算を行い出力手段４に出力を行う。

ＮＶＲＡＭ２は、書き換え可能な不揮発性の記憶媒体であり、例えば、車両に搭載されたカメラ５により取得された車両周辺の画像（以下、「基本画像」という。）から検出しようとする特定の物体（例えば、歩行者、自転車、動物等である。）の画像（以下、「登録画像」という。）を格納する。また、ＮＶＲＡＭ２は、上述の手段を実行するためのプログラムを格納し、制御部１はこれらのプログラムをＲＡＭ３に展開して上述の各手段を画像認識システム１００に実行させる。

ＲＡＭ３は、書き換え可能な揮発性の記憶媒体であり、制御部１の作業領域として使用される。また、ＲＡＭ３は、カメラ５、車速センサ６、加速度センサ７および操舵角センサ８等から受信するデータを一時的に格納する。

出力手段４は、制御部１の行った演算の結果等を出力するための装置であり、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）または有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の映像出力装置であり、スピーカ、ブザー等の音声出力装置である。また、ステアリングホイールや運転席を振動させることにより運転者に情報を伝える装置であってもよい。

カメラ５は、車両に搭載される撮影手段であり、例えば、フロントグリルや車室内のルームミラー付近等、車両の進行方向や周辺環境の基本画像を撮影するために適した場所に設置されるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラであり、動画を撮影するためのビデオカメラであってもよく、静止画を撮影するためのスチルカメラであってもよい。また、夜間の撮影が可能な赤外線カメラや、物体の表面温度を感知するサーモグラフィカメラであってもよい。

撮影可能な範囲を示す視野角、設置角度、シャッタースピード、総画素数、絞り値、撮影距離、撮影してから次の撮影や画像処理が可能になるまでの時間である撮影遅延時間等のカメラ５に関する情報（以下、「カメラ特性」という。）は、ＮＶＲＡＭ２に格納される。

車速センサ６は、車両の速度を測定するためのセンサであり、例えば、各車輪に取り付けられ各車輪とともに回転する磁石による磁界の変化をMR（Ｍａｇｎｅｔｉｃ Ｒｅｓｉｓｔａｎｃｅ）素子が磁気抵抗として読み取り、これを回転速度に比例したパルス信号として取り出すことで車輪の回転速度および車両の速度を検出する。車速センサ６により検出された情報は、ＲＡＭ３に格納される。

加速度センサ７は、車両の前後方向、上下方向、左右方向の３軸方向の加速度を測定するセンサであり、例えば、半導体ひずみゲージを用いたセンサである。加速センサ７は、車両の加速中であるか、減速中であるか、カーブを走行中であるか、登り勾配を走行中であるかといった車両の走行状態を検出する。加速度センサ７により検出された情報は、ＲＡＭ３に格納される。

操舵角センサ８は、車輪の操舵角に関連するステアリングシャフトの回転角を測定するためのセンサであり、例えば、車速センサ６と同様、ステアリングシャフトに埋め込まれた磁石による磁気抵抗をＭＲ素子により読み取りステアリングシャフトの回転を検出する。操舵角センサ８により検出された情報は、ＲＡＭ３に格納される。

次に、図２、図３および図４を参照しながら、画像認識システム１００における撮影可能範囲、到達可能範囲、基本画像および画像レイヤの関係を説明する。

図２は、車両Ｖの前方に３人の歩行者Ｔ１、Ｔ２およびＴ３が存在する状況を示す。また、破線で表される逆三角形は、カメラ５の撮影可能範囲を示し、この撮影可能範囲は、所定時間後に車両が到達可能な範囲Ｒ（三角形内の斜線領域）と到達不可能な範囲Ｇ（三角形内の白色領域）を有する。到達可能範囲Ｒおよび到達不可能範囲Ｇは、車両の速度、加速度、操舵角等の車両走行状態に基づいて算出される。

３人の歩行者Ｔ１、Ｔ２およびＴ３は、それぞれ車両Ｖ（カメラ５）からＡ１、Ａ３、Ａ４の距離に位置し、歩行者Ｔ１およびＴ２は、到達可能範囲Ｒに位置し、歩行者Ｔ３は、到達不可能範囲Ｇにそれぞれ位置する。

基本画像は、複数の画像レイヤを積み重ねたものとされる。「画像レイヤ」とは、基本画像を構成する画像の層であり、例えば、画像レイヤＬ１乃至Ｌ４は、それぞれ、車両Ｖ（カメラ５）から距離Ａ１、Ａ２、Ａ３、Ａ４の位置にある平面を映し出したものとされ、各画像レイヤの画像サイズ（例えば、縦１２ピクセル、横２０ピクセル）および実際に映し出された画像内容（３人の歩行者が写っている。）は基本画像と同じである。ただし、例えば、距離Ａ１の画像レイヤに表示された歩行者Ｔ１、Ｔ２およびＴ３のうち、Ｔ２およびＴ３は、距離Ａ１における歩行者の大きさとしては不適切となるため（実際にはより遠くに位置するため小さく写っている。）、距離Ａ１における歩行者と認識されることはない。

また、画像レイヤＬ１乃至Ｌ４は、好適には等間隔（例えば、５ｍ間隔）に位置するものとされ、この間隔が大きい程、基本画像を構成する画像レイヤの数が少なくなるので、画像処理の負荷は小さくなるが、物体の認識確率は低下する。なお、画像レイヤＬ３およびＬ４の白色領域Ｇ１およびＧ２は、これら画像レイヤにおける到達不可能範囲を示す。

被照合画像Ｆ１乃至Ｆ４は、車両Ｖ（カメラ５）からの距離がそれぞれＡ１、Ａ２、Ａ３、Ａ４の位置における歩行者の標準的な大きさ（身長等）に対応した画像サイズを有し、画像レイヤ毎に画像サイズが異なる。なお、被照合画像Ｆ１乃至Ｆ４の画像サイズは、車両Ｖ（カメラ５）との距離が小さいほど大きくなり、車両Ｖ（カメラ５）との距離が大きくなるにつれて小さくなる。

図３は、車両Ｖに搭載されたカメラ５により所定の時点において撮影された基本画像の例であり、図２に対応する。ここで、基本画像は、例えば、縦１２ピクセル、横２０ピクセルの画像サイズを有する。

図３に示すように、歩行者Ｔ１、Ｔ２およびＴ３のそれぞれは、車両Ｖ（カメラ５）との距離Ａ１、Ａ３、Ａ４に応じて大きさが異なって表示され、車両Ｖ（カメラ５）との距離が小さいほど大きく表示され、車両Ｖ（カメラ５）との距離が大きくなるにつれて小さく表示される。

図４は、図２および図３に対応させて、登録画像に関する物体が基本画像に存在するか否かを判定する処理を説明するための図である。画像Ｑ１、Ｑ２およびＱ３等は、ＮＶＲＡＭ２に格納された登録画像であり、画像レイヤＬ１における歩行者の標準的な大きさに対応する画像サイズ（例えば、縦４ピクセル、横３ピクセル）を有する。また、画像Ｑ１１、Ｑ１２およびＱ１３等は、ＮＶＲＡＭ２に格納された登録画像であり、画像レイヤＬ２における歩行者の標準的な大きさに対応する画像サイズ（例えば、縦３ピクセル、横２ピクセル）を有する。なお、Ｑ１およびＱ１１、Ｑ２およびＱ１２、Ｑ３およびＱ１３は、それぞれ同じ内容であるが、縮尺が異なる画像である。

このように、登録画像は、内容（歩行者の姿勢等の態様）を同じとしながら、画像レイヤ毎に画像サイズが異なる画像群で構成されてもよく、或いは、１の画像レイヤに対応する代表的な登録画像のみがＮＶＲＡＭ２に格納され、その他の画像レイヤに対応する登録画像は、その都度計算により代表画像を拡大または縮小させて取得されるようにしてもよい。

また、被照合画像Ｆ１およびＦ２も、それぞれの画像レイヤにおける歩行者の標準的な大きさに対応する画像サイズ（例えば、縦４ピクセル×横３ピクセル、および、縦３ピクセル×横２ピクセル）を有する。

登録画像が画像レイヤに存在するか否かは、被照合画像を画像レイヤから抽出し、画像の二値化処理、エッジ検出、フィルタ処理等の画像処理を行い、かつ、登録画像と抽出された被照合画像とを照合し、その照合度合いに基づいて判定される。なお、登録画像は、既に画像処理が施された状態でＮＶＲＡＭ２に格納される。その都度画像処理を行うのを省略するためである。

また、画像認識システム１００は、１の画像レイヤにおいて、被照合画像が抽出された位置から１または複数ピクセルだけ位置を移動させて新しい被照合画像を抽出し、１の画像レイヤ上の全ての範囲において被照合画像の抽出および登録画像との照合（以下、「探索」という。）が行われるまで探索を繰り返す。１の画像レイヤの全ての範囲が探索されると、画像認識システム１００は、次の画像レイヤにおける探索を実行し、全ての画像レイヤの探索が終了するまでこの処理を繰り返す。

また、登録画像の探索は、好適には、車両Ｖに近い位置にある画像レイヤからより遠い位置にある画像レイヤの順で行われる。車両Ｖにより近い位置にある物体をより早く認識するためである。

なお、画像認識システム１００は、図２、図３および図４に示すケースの場合、登録画像Ｑ１と画像レイヤＬ１の歩行者Ｔ２を含む被照合画像Ｆ２とを照合し、また、登録画像Ｑ１１と画像レイヤＬ２の歩行者Ｔ１を含む被照合画像Ｆ１とを照合してそれぞれの存在を認識するが、画像レイヤＬ４の到達不可能範囲に含まれる歩行者Ｔ３を認識することはない。到達不可能範囲における探索が行われないからである。

次に、制御部１が備える各種手段について説明する。

到達可能範囲算出手段１０は、車両Ｖの速度、加速度、操舵角等のＲＡＭ３に格納された車両走行状態に関する情報に基づいて、所定時間後に車両Ｖが到達可能な範囲Ｒを算出するための手段であり、例えば、時速６０ｋｍ／ｈの一定速度で直進する車両が６秒後に到達可能な範囲は、現在の地点から最大１００ｍの範囲であるというように算出する。

抽出範囲制限手段１１は、到達可能範囲算出手段１０により算出された到達可能範囲に基づいて、カメラ５により撮影された基本画像における登録画像の探索範囲を制限するための手段である。抽出範囲制限手段１１は、例えば、図２に示すように、画像レイヤＬ４より車両Ｖ（カメラ５）からの距離が大きい位置に対応する画像レイヤを登録画像の探索範囲から除外する。車両が到達できない範囲まで登録画像の探索を行う無駄を省き、被照合画像の抽出処理および照合処理に掛かる負荷を省略するためである。

その上で、抽出範囲制限手段１１は、基本画像を車両（カメラ５）から距離Ａ１、Ａ２、Ａ３、Ａ４に位置する４つの画像レイヤＬ１乃至Ｌ４に分解し、それぞれの画像レイヤにおいて車両Ｖが所定時間後に到達できない範囲Ｇが存在するか否かを画像レイヤ別に判定し、到達不可能範囲Ｇが存在する場合には、その到達不可能範囲Ｇからは、被照合画像の抽出を行わないようにする。抽出処理および照合処理に掛かる負荷を省略するためである。

到達できない範囲Ｇが存在するか否かの判定は、例えば、到達可能範囲算出手段１０により算出された到達可能範囲（例えば、６２ｍ）と、画像レイヤＬ４上の各ピクセルの車両Ｖ（カメラ５）からの距離とを比較することにより行われる。なお、画像レイヤ中の各ピクセルにおける車両Ｖ（カメラ５）との距離は、画像レイヤの中心と車両Ｖ（カメラ５）との距離を最短距離（例えば、６０ｍ）として、画像レイヤの中心から遠ざかるにつれて大きくなり、これら距離は画像レイヤ毎に予め決定されている。

図２の場合、画像レイヤＬ３およびＬ４において、到達不可能範囲Ｇ１およびＧ２がそれぞれ存在する。従って、抽出範囲制限手段１１は、到達不可能範囲Ｇ１およびＧ２の範囲では被照合画像の抽出を行わないようにし、抽出処理および照合処理に掛かる負荷を軽減する。

画像サイズ変更手段１２は、各画像レイヤにおける抽出処理および照合処理で用いられる被照合画像および登録画像の画像サイズを車両Ｖ（カメラ５）からの距離に対応させて変更する手段である。車両Ｖ（カメラ５）からの距離に対して不適当な画像サイズの被照合画像および登録画像（例えば、標準的な身長と著しく異なる身長を有する歩行者の画像といった画像）を用いても、適切な照合は期待できず、いたずらに抽出処理および照合処理に掛かる負荷を増大させてしまうからである。

画像サイズ変更手段１２は、車両Ｖ（カメラ５）からの距離毎に区分してＮＶＲＡＭ２に格納された登録画像から適切な画像サイズの登録画像を取得するようにしてもよく、或いは、１の距離に対応する代表的な登録画像をＮＶＲＡＭ２から取得し、その代表画像を拡大または縮小させて所望とする画像サイズの登録画像を取得するようにしてもよい。

また、画像サイズ変更手段１２は、車両Ｖ（カメラ５）と画像レイヤとの間の距離に基づいて被照合画像の画像サイズを算出する。

画像抽出照合手段１３は、画像サイズ変更手段１２により画像サイズが適切に変更された被照合画像を基本画像（画像レイヤ）から抽出して、画像サイズ変更手段１２により画像サイズが適切に変更された登録画像群と、抽出された被照合画像とを逐一照合して両画像が一致するか否かを判定する手段である。

照合は、例えば、被照合画像を構成するピクセルの値（濃度、輝度、彩度等）と、登録画像の対応するピクセルの値とをピクセル毎に比較して行われ、画像抽出照合手段１３は、値が一致するピクセルの数が所定値以上の場合に両画像が一致すると判定する。

また、照合は、好適には、抽出された被照合画像を固定して登録画像を切り替えながら順番に行われるが、登録画像を固定して被照合画像を切り替えながら行われてもよい。

次に、図５および図６を参照しながら、画像認識システム１００による画像処理の負荷低減効果について説明する。

図５は、走行する車両が所定時間経過後に到達できる範囲を示す図であり、時速４０ｋｍ／ｈの一定速度で走行する車両Ｖの６秒後の到達可能範囲Ｒ１、および、時速６０ｋｍ／ｈの一定速度で走行する車両Ｖの６秒後の到達可能範囲Ｒ２を示す。なお、到達可能範囲Ｒ１は、到達可能範囲Ｒ２に含まれる。

また、破線で表される逆三角形は、図２と同様、車両Ｖに搭載されたカメラ５の撮影可能範囲であり、カメラ５により撮影された基本画像は、画像レイヤＬ１乃至Ｌ１０等に分解される。

画像レイヤＬ１乃至Ｌ１０のそれぞれは、車両Ｖ（カメラ５）からの距離が１０ｍから１００ｍの間で１０ｍ間隔に位置する平面を映し出した画像として扱われ、各画像レイヤの画像サイズおよび画像内容は基本画像の画像サイズおよび画像内容と同じである。

車両Ｖが時速４０ｋｍ／ｈで走行する場合、６秒後に到達する距離は約６６．６ｍとなり、到達可能範囲Ｒ１は、画像レイヤＬ１乃至Ｌ５までの全ての範囲と、画像レイヤＬ６の８０％程度の範囲を占めることとなる。なお、画像レイヤＬ６の左右端それぞれ約１０％は、到達不可能範囲として被照合画像の抽出が省略される。

また、車両Ｖが時速６０ｋｍ／ｈで走行する場合、６秒後に到達する距離は約１００ｍとなり、到達可能範囲Ｒ２は、画像レイヤＬ１乃至Ｌ８までの全ての範囲と、画像レイヤＬ９の７０％程度の範囲と、画像レイヤＬ１０の１％程度の範囲とを占めることになる。なお、画像レイヤＬ９の左右端それぞれ１５％および画像レイヤＬ１０の９９％は、到達不可能範囲として登録画像の探索が省略される。

ここでは、説明を簡略化するために、各画像レイヤの上下方向の到達不可能範囲を考慮しないが、実際には、地面や道路の位置または車高等を考慮して、画像レイヤの一部が到達不可能範囲とされ、この到達不可能範囲は車両Ｖからの距離が大きくなるほど、増大する。なお、地面の位置は、カメラ５の設置角度等に基づいて特定される。また、カーナビゲーション等を用いて、前方の道路が、カーブになっているか、登り勾配であるか、或いは、下り勾配であるか等を考慮して地面の位置ひいては到達不可能範囲を特定してもよい。

また、説明を簡略化するために、車両Ｖからの距離が１０ｍの位置における被照合画像の画像サイズを１とした場合、２０ｍの位置における被照合画像の大きさが２分の１、３０ｍの位置における被照合画像の大きさが３分の１、１００ｍの位置における被照合画像の大きさが１０分の１になるものとする。

従って、各画像レイヤの画像サイズが同じであることから、車両Ｖからの距離が１０ｍの位置で抽出される被照合画像の数を１０とした場合、２０ｍの位置で抽出される被照合画像の数が２０、１００ｍの位置で抽出される被照合画像の数が１００となる。

図６は、画像レイヤと被照合画像の数との関係を示す図であり、上述の条件に基づいて、時速６０ｋｍ／ｈで走行する場合に抽出される被照合画像の数を図６（Ａ）に示し、時速４０ｋｍ／ｈで走行する場合に抽出される被照合画像の数を図６（Ｂ）に示す。なお、図６（Ａ）および（Ｂ）は、１の登録画像との照合のために抽出される被照合画像の数を示し、登録画像が２つの場合は、この２倍の数の照合処理が行われることとなる。

図６（Ａ）において、画像レイヤＬ１乃至Ｌ５では、到達不可能範囲が存在しないため、それぞれ、１０、２０、３０、４０および５０個の被照合画像が抽出され、画像レイヤＬ６では、２０％程度の到達不可能範囲が存在するために６０個のうちの８０％である４８個の被照合画像が抽出される。このように、画像レイヤＬ６における到達不可能範囲が考慮されることにより、到達不可能範囲が考慮されなかった場合に抽出される被照合画像数２１０個のうち、１２個の抽出が省略され、抽出処理および照合処理のそれぞれにおいて約５．７％（１２／２１０）の負荷軽減が達成される。特に、登録画像の数が増大した場合、照合処理における負荷軽減の効果は大きいものとなる。

また、図６（Ｂ）において、画像レイヤＬ１乃至Ｌ８では、到達不可能範囲が存在しないため、それぞれ、１０、２０、３０、４０、５０、６０、７０および８０個の被照合画像が抽出され、画像レイヤＬ９では、３０％程度の到達不可能範囲が存在するために９０個のうちの７０％である６３個の被照合画像が抽出され、画像レイヤＬ１０では、９９％程度の到達不可能範囲が存在するために１００個のうちの１％である１個の被照合画像が抽出される。このように、画像レイヤＬ９およびＬ１０における到達不可能範囲が考慮されることにより、到達不可能範囲が考慮されなかった場合に抽出される被照合画像数５５０個のうち、１２６個の抽出が省略され、抽出処理および照合処理のそれぞれにおいて約２２．９％（１２６／５５０）の負荷軽減が達成される。

さらに、現在の車速に対応する到達可能範囲を考慮せず、時速４０ｋｍ／ｈの場合であっても、時速６０ｋｍ／ｈの場合と同じ１００ｍ先までの画像レイヤＬ１乃至Ｌ１０における被照合画像の抽出を行ったときと比較すると、到達可能範囲を考慮しない場合の被照合画像の抽出数５５０個に比べ、到達可能範囲を考慮した場合の被照合画像の抽出数は１９８個となり、抽出処理および照合処理のそれぞれにおいて約５８．２％（（５５０―２１０）／５５０）の負荷軽減となる。

次に、図７を参照しながら、画像認識システム１００における処理の流れと入出力データとの関係を説明する。

図７は、画像認識システム１００における各処理と入出力データとの関係を示す図であり、探索範囲算出処理Ｐ１、被照合画像抽出処理Ｐ２および画像照合処理Ｐ３のそれぞれが入出力するデータを示す。

探索範囲算出処理Ｐ１は、ＲＡＭ３に格納された車両走行状態データＤと、ＮＶＲＡＭ２に格納されたカメラ特性データＫとに基づいて、撮影可能範囲内における登録画像の探索範囲を算出する。

車両走行状態データＤは、車両の走行状態に関する情報であり、例えば、車速センサ６、加速度センサ７および操舵角センサ８から周期的に受信するデータであって、所定時間後に車両がどの位置まで移動できるかを示す到達可能範囲を算出するために用いられる。

車両走行状態データＤは、車両Ｖが直進しているか、カーブを走行しているか、加速しているか、或いは、減速しているかによって変化し、随時更新される。

カメラ特性データＫは、カメラ５の特性に関する情報であり、例えば、撮影可能な範囲を示す視野角、設置角度、シャッタースピード、総画素数、絞り値、撮影距離、撮影してから次の撮影や画像処理が可能になるまでの時間である撮影遅延時間等のカメラ５に関する情報を含み、カーナビゲーションシステムのエスカッションスイッチやタッチパネル等を介してカメラ特性が変更された場合に更新される。

探索範囲算出処理Ｐ１は、上記情報に基づいて撮影可能範囲および到達可能範囲を算出し、基本画像Ｎにおいて登録画像Ｑを探索すべき範囲を算出する。

探索範囲算出処理Ｐ１は、車両走行状態データＤに基づいて、例えば、車両Ｖが高い速度で走行中であると判断した場合、到達可能範囲内にあっても、車両Ｖから比較的近い位置（例えば、１０ｍ以内）にある画像レイヤを探索範囲から除外するようにしてもよい。探索できたとしても車両Ｖに近すぎて接触等が回避できないようなものは、探索する意味が無く、却って処理負荷を増大させるだけだからである。

被照合画像抽出処理Ｐ２は、ＲＡＭ３に格納された基本画像Ｎを取得し、複数の画像レイヤに分解して、各画像レイヤに対応する画像サイズの登録画像と照合するために各画像レイヤに対応する画像サイズの被照合画像Ｆを抽出してＲＡＭ３に格納する。

基本画像Ｎは、カメラ５を介して所定の周期で取得される画像であり、登録画像Ｑの探索が終了すると、後続の基本画像により順次更新される。

被照合画像Ｆは、登録画像Ｑとの照合が行われる間、ＲＡＭ３に格納され、照合が終了すると、後続の被照合画像により順次更新される。なお、被照合画像Ｆは、好適には、画像の二値化処理、エッジ検出、フィルタ処理等の画像処理が行われた後の状態である。登録画像との照合を迅速に行うためであり、画像処理が行われる前の状態に比べて情報量を低減することができるからである。

画像照合処理Ｐ３は、被照合画像抽出処理Ｐ２においてＲＡＭ３に格納された被照合画像Ｆと、この被照合画像Ｆに対応する画像サイズを有する、ＮＶＲＡＭ２に格納された登録画像Ｑとを照合する。その後、画像照合処理Ｐ３は、被照合画像Ｆと登録画像Ｑとの照合結果ＯＵＴをＲＡＭ３に格納する。

登録画像Ｑは、ＮＶＲＡＭ２に予め格納されており、画像照合処理Ｐ３の実行中に更新されることはない。ただし、登録画像Ｑは、所定の入力手段を介して追加、削除、変更されてもよい。また、登録画像Ｑは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ − Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に記録されて配布されるようにしてもよい。

照合結果ＯＵＴは、画像認識システム１００が認識した歩行者等の位置を運転者が把握できるようにするために用いられる。

画像認識システム１００は、例えば、基本画像のうち、認識した歩行者の部分の色を周囲と区別できる色（例えば、半透明の赤色）に変更して、運転者が容易に歩行者を認識できるように基本画像を加工するために照合結果ＯＵＴを利用する。

照合結果ＯＵＴは、例えば、登録画像Ｑに一致すると判定された被照合画像Ｆの基本画像Ｎにおける座標情報を包含する。

次に、図８および図９を参照しながら、画像認識システム１００が基本画像における特定の物体の存在の有無を判定する処理の流れについて説明する。

図８は、画像認識システム１００が特定の物体の存在の有無を判定する処理の流れを示すフローチャートである。

最初に、画像認識システム１００は、ＮＶＲＡＭ２からカメラ特性データＫを取得し、かつ、ＲＡＭ３から車両走行状態データＤを取得する（ステップＳ８０１：車両走行状態取得ステップ）。

その後、到達可能範囲算出手段１０は、車両Ｖが所定時間（例えば、６秒）後に到達できる到達可能範囲をその車速等から算出し（ステップＳ８０２：到達可能範囲算出ステップ）、車両Ｖから所定間隔（例えば５ｍ）毎に位置する平面を映し出す画像レイヤの中から最も車両Ｖに近い画像レイヤを選択して、その画像レイヤにおける被照合画像の画像サイズを決定する（ステップＳ８０３：被照合画像サイズ決定ステップ）。

その後、抽出範囲制限手段１１は、その画像レイヤ全体が到達可能範囲に含まれるか否かを判断し（ステップＳ８０４：抽出範囲制限ステップ１）、到達可能範囲に含まれる場合には、ステップＳ８０５乃至ステップＳ８０８を繰り返し実行する。

ステップＳ８０５において、抽出範囲制限手段１１は、選択された画像レイヤの一部に到達不可能範囲が含まれるか否かを判定し、到達不可能範囲が含まれる場合には、その範囲のピクセルを探索範囲から除外する（抽出範囲制限ステップ２）。

探索範囲が算出されると、画像抽出照合手段１３は、その画像レイヤにおける探索範囲上の任意の一点（例えば、左上隅）を被照合画像の左上隅の座標として決定し（ステップＳ８０６：被照合画像位置決定ステップ）、後述する画像抽出照合処理を実行する（ステップＳ８０７：画像抽出照合ステップ）。なお、被照合画像の一部又は全部が画像レイヤ（基本画像）からはみ出る場合には、画像抽出照合処理は実行されない。

１の画像レイヤに対する画像抽出照合処理が終了すると、画像サイズ変更手段１２は、後続の他の画像レイヤを選択して、その画像レイヤにおける被照合画像の画像サイズを決定する（ステップＳ８０８：画像サイズ変更ステップ）。

選択された他の画像レイヤ全体が到達可能範囲に含まれない場合、画像認識システム１００は、ステップＳ８０５乃至ステップＳ８０８の繰り返しループを抜け、それまでに格納された照合結果を利用して、認識された歩行者の存在が分かるよう出力手段４に画像を表示して（ステップＳ８０９：照合結果出力ステップ）、処理を終了する。なお、照合結果の出力は、例えば、歩行者が認識された場合に、アラーム音や振動を出力して、運転者の注意を喚起するものであってもよい。

図９は、画像抽出照合処理の流れを示すフローチャートである。

最初に、画像認識システム１００は、ステップＳ８０６において決定された被照合画像の左上隅の座標が、ステップＳ８０５において算出された探索範囲に包含されるか否かを判断し（ステップＳ９０１）、探索範囲に含まれる場合には、ステップＳ９０２乃至ステップＳ９０５を繰り返し実行する。

画像抽出照合手段１３は、決定された座標に位置する被照合画像を基本画像から抽出し（ステップＳ９０２）、画像レイヤに対応する画像サイズの登録画像を取得して（ステップＳ９０３）、被照合画像と登録画像とを照合する（ステップＳ９０４）。被照合画像と登録画像とが一致すると判断された場合、画像認識システム１００は、その照合結果をＲＡＭ３に格納する（ステップＳ９０５）。

被照合画像が探索範囲に含まれなくなった場合、画像認識システム１００は、ステップＳ９０２乃至ステップＳ９０５の繰り返しループを抜け、処理を終了する。

このように、画像認識システム１００は、車両Ｖの到達可能範囲に基づいて、登録画像を探索する範囲を制限することにより、基本画像から抽出される被照合画像の数を低減させ、被照合画像の抽出処理および被照合画像と登録画像との照合処理に掛かる負荷を軽減させることができる。

また、画像認識システム１００は、画像レイヤ毎に、登録画像を探索する範囲を制限することにより、基本画像から抽出される被照合画像の数をさらに低減させ、被照合画像の抽出処理および被照合画像と登録画像との照合処理に掛かる負荷をさらに軽減させることができる。

また、画像認識システム１００は、被照合画像および登録画像の画像サイズを車両Ｖからの距離に応じて変化させることにより、不適切な画像サイズを有する被照合画像の抽出処理や一致する確率が低い照合処理を省略し、被照合画像の抽出処理および被照合画像と登録画像との照合処理に掛かる負荷をさらに軽減させることができる。

図１０は、画像認識システム１００における各処理と入出力データとの関係を示す図であり、探索範囲算出処理Ｐ１が、追加的に車両周辺情報データＥを利用する点で、図７に示す構成と異なる。

探索範囲算出処理Ｐ１は、ＲＡＭ３に格納された車両走行状態データＤおよびＮＶＲＡＭ２に格納されたカメラ特性データＫに加え、ＲＡＭ３に格納された車両周辺情報データＥに基づいて、撮影可能範囲内において登録画像を探索すべき範囲を算出する。

車両周辺情報データＥは、ＤＶＤ−ＲＯＭやハードディスク等に格納された車両周辺の地図情報や、カメラ５により取得された画像から抽出される走行路の白線位置に関する情報等であり、探索範囲をさらに制限するために使用される。

探索範囲算出処理Ｐ１は、車両周辺情報データＥに基づいて、例えば、走行中の道路の勾配がこの先登り勾配になるか下り勾配になるかを判断し、車両Ｖから比較的遠い位置にある画像レイヤの下部または上部等、歩行者が存在し得ない範囲または車両Ｖが到達できない範囲を探索範囲から適切に除外する。

また、探索範囲算出処理Ｐ１は、車両周辺情報データＥに基づいて、例えば、走行中の道路が自動車専用道路であるか否か、直進が続くか否かを判断し、歩行者が存在し得ない範囲または車両Ｖが到達できない範囲を探索範囲から適切に除外する。

さらに、探索範囲算出処理Ｐ１は、車両周辺情報データＥに基づいて、例えば、走行中の道路における路側帯、中央分離帯、走行車線、追い越し車線、横断歩道、歩道等を認識し、歩行者が存在し得ない範囲または車両Ｖが到達できない範囲を探索範囲から適切に除外する。

この構成により、画像認識システム１００は、基本画像における登録画像を探索する範囲をさらに制限することにより、基本画像から抽出される被照合画像の数を低減させ、被照合画像の抽出処理および被照合画像と登録画像との照合処理に掛かる負荷をさらに軽減させることができる。

図１１は、本発明に従った画像認識システムの別の構成例を示す図である。画像認識システム２００は、図１の画像抽出照合手段１３を画像抽出手段１３Ａと第１画像照合手段１３Ｂおよび第２画像照合手段１３Ｃの２つの画像照合手段とに分割した点で、図１に示す画像認識システム１００と異なる。

画像認識システム２００は、２つの画像照合手段１３Ｂおよび１３Ｃを有することにより、登録画像と被照合画像との照合処理を並列して行うことができる。

画像認識システム２００による並列処理は、例えば、第１画像照合手段１３Ｂにより１の被照合画像と登録画像群との照合処理を行い、第２画像照合手段１３Ｃにより他の被照合画像と登録画像群との照合処理を行うといった被照合画像毎の並列的な照合処理であってもよく、第１画像照合手段１３Ｂにより１の登録画像と被照合画像群との照合処理を行い、第２画像照合手段１３Ｃにより他の登録画像と被照合画像群との照合処理を行うといった登録画像毎の並列的な照合処理であってもよい。なお、画像認識システム２００は、並列度を２とするが、３以上の並列度を用いるようにしてもよい。

この構成により、画像認識システム２００は、登録画像と被照合画像との照合処理に要する時間を短縮することが可能となる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例において、画像認識システム１００は、ＮＶＲＡＭ２に格納されたプログラムに到達可能範囲算出手段１０、抽出範囲制限手段１１、画像サイズ変更手段１２および画像抽出照合手段１３等を実行させるが、これら手段は、システムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で実現されてもよい。

また、上述の実施例において、画像認識システム１００は、歩行者を認識することを目的としているが、道路付近にいる動物や前方を走行する車両、路上の障害物等を認識するものであってもよい。

また、画像認識システムは、認識した物体に関する情報を操作者に伝えるだけでなく、障害物を自動的に回避する等、その情報を自律的に利用するものであってもよい。

また、上述の実施例においては、「車両」が特許請求の範囲に記載した「移動体」に相当し、「車両走行状態」が特許請求の範囲に記載した「移動状態」に相当する。なお、「移動体」は、船舶、航空機、鉄道車両、ロボット等であってもよい。

本発明に従った画像認識システムの構成例を示す図（その１）である。 画像認識システムにおける撮影可能範囲、到達可能範囲および画像レイヤの関係を示す図である。 車両に搭載されたカメラにより所定の時点において撮影された基本画像の例である。 基本画像において登録画像に関する物体が存在するか否かを判定する処理を説明するための図である。 走行する車両が所定時間経過後に到達できる範囲を示す図である。 画像レイヤと被照合画像の数との関係を示す表図である。 画像認識システムにおける各処理と入出力データとの関係を示す図（その１）である。 画像認識システムが特定の物体の存在の有無を判定する処理の流れを示すフローチャートである。 画像抽出照合処理の流れを示すフローチャートである。 画像認識システムにおける各処理と入出力データとの関係を示す図（その２）である。 本発明に従った画像認識システムの構成例を示す図（その２）である。

符号の説明

１ 制御部
２ ＮＶＲＡＭ
３ ＲＡＭ
４ 出力手段
５ カメラ
６ 車速センサ
７ 加速度センサ
８ 操舵角センサ
１０ 到達可能範囲算出手段
１１ 抽出範囲制限手段
１２ 画像サイズ変更手段
１３ 画像抽出照合手段
１３Ａ 画像抽出手段
１３Ｂ 第１画像照合手段
１３Ｃ 第２画像照合手段
１００、２００ 画像認識システム
Ａ１乃至Ａ４ 距離
Ｄ 車両走行状態データ
Ｅ 車両周辺情報データ
Ｆ、Ｆ１乃至Ｆ４ 被照合画像
Ｇ、Ｇ１、Ｇ２ 到達不可能範囲
Ｋ カメラ特性データ
Ｌ１乃至Ｌ１０ 画像レイヤ
Ｎ 基本画像
ＯＵＴ 照合結果
Ｐ１ 探索範囲算出処理
Ｐ２ 被照合画像抽出処理
Ｐ３ 画像照合処理
Ｑ、Ｑ１、Ｑ２、Ｑ３、Ｑ１１、Ｑ１２、Ｑ１３ 登録画像
Ｒ、Ｒ１、Ｒ２ 到達可能範囲
Ｔ１、Ｔ２、Ｔ３ 歩行者
Ｖ 車両

Claims (4)

1. 移動体の周辺を撮影した基本画像から被照合画像を抽出して、探索しようとする物体の登録画像と照合することにより該物体が前記基本画像に存在するか否かを判定する画像認識システムであって、
   移動状態に基づいて前記基本画像のうち前記移動体が所定時間後に到達可能な範囲を算出する到達可能範囲算出手段と、
   前記到達可能な範囲を超える範囲からの前記被照合画像の抽出を制限する抽出範囲制限手段と、を備え、
   前記基本画像は、前記移動体からの距離が異なる複数の平面をそれぞれ映し出す複数の画像レイヤを有し、
   前記複数の画像レイヤのそれぞれにおける探索範囲は、一部が重複し、
   前記到達可能範囲算出手段は、前記画像レイヤ毎に、前記到達可能な範囲を算出し、
   前記抽出範囲制限手段は、前記画像レイヤ毎に、前記到達可能な範囲を超える範囲からの前記被照合画像の抽出を制限する、
   ことを特徴とする画像認識システム。
2. 移動体の周辺を撮影した基本画像から被照合画像を抽出して、探索しようとする物体の登録画像と照合することにより該物体が前記基本画像に存在するか否かを判定する画像認識システムであって、
   移動状態に基づいて前記基本画像のうち前記移動体が所定時間後に到達可能な範囲を算出する到達可能範囲算出手段と、
   前記到達可能な範囲を超える範囲からの前記被照合画像の抽出を制限する抽出範囲制限手段と、を備え、
   前記基本画像は、前記移動体からの距離が異なる複数の平面をそれぞれ映し出す画像レイヤを有し、
   前記到達可能範囲算出手段は、前記画像レイヤ毎に、前記到達可能な範囲を算出し、
   前記抽出範囲制限手段は、前記画像レイヤ毎に、前記到達可能な範囲を超える範囲からの前記被照合画像の抽出を制限する、
   ことを特徴とする画像認識システム。
3. 前記登録画像および前記被照合画像の画像サイズを前記移動体からの距離に応じて変化させる画像サイズ変更手段、
   を備えることを特徴とする請求項１又は２に記載の画像認識システム。
4. 移動体の周辺を撮影した基本画像から被照合画像を抽出して、探索しようとする物体の登録画像と照合することにより該物体が前記基本画像に存在するか否かを判定する画像認識方法であって、
   移動状態に基づいて前記基本画像のうち前記移動体が所定時間後に到達可能な範囲を算出する到達可能範囲算出ステップと、
   前記到達可能な範囲を超える範囲からの前記被照合画像の抽出を制限する抽出範囲制限ステップと、を備え、
   前記基本画像は、前記移動体からの距離が異なる複数の平面をそれぞれ映し出す複数の画像レイヤを有し、
   前記複数の画像レイヤのそれぞれにおける探索範囲は、一部が重複し、
   前記到達可能範囲算出ステップにおいて、前記画像レイヤ毎に、前記到達可能な範囲が算出され、
   前記抽出範囲制限ステップにおいて、前記画像レイヤ毎に、前記到達可能な範囲を超える範囲からの前記被照合画像の抽出が制限される、
   ことを特徴とする画像認識方法。

Images