JP2007188417A - 画像認識装置、画像認識方法および画像認識プログラム - Google Patents

Abstract

【課題】単眼カメラによって歩行者と路面との接地部分が明瞭に撮像されていなくても、画像内の歩行者の接地位置を推定することを課題とする。
【解決手段】この車両制御装置は、検出された候補領域に所持する複数のパターンのあてはめを行い、所定の相関の得られた相関パターンの抽出を行う（図１の（２）参照）。かかる相関パターン抽出の後、この車両制御装置は足元位置の推定を行う（図１の（３）参照）。具体的には、この車両制御装置は、抽出した歩行者の一部のパターンから全身の大きさを把握し、候補領域内の歩行者の画像上の足元位置をその全身の大きさから推定する。
【選択図】 図１

Description

この発明は、単眼カメラで撮像された画像内の候補物体の接地位置を推定する画像認識装置、画像認識方法および画像認識プログラムに関する。

従来より、車載カメラ（例えば、単眼カメラ）で撮像された画像内の候補物体までの距離を測定し、その測定した距離に基づいて報知制御（例えば、注意報知や警告報知）や車両走行制御（例えば、ブレーキ・アクセル制御やハンドル制御など）を行う従来技術がある（例えば、特許文献１参照）。かかる候補物体までの距離の測定には、候補物体の接地位置を推定する必要があり、例えば、候補物体と所定の相関関係が得られた全体パターン（例えば、歩行者判別用の全身のパターン）の大きさから、その候補物体の接地位置（例えば、歩行者判別用の全身のパターンの足元）を推定する手法が一般的である。

また、車載のカメラとして複眼カメラを採用した場合には、二つのカメラから得られた視差を利用することにより、撮像された画像内の候補物体までの距離を算出することができるが、コストがかかるため単眼カメラで距離を測定することが望ましい。しかし、単眼カメラでは、測定距離にばらつきが生じるため、候補物体である歩行者であれば足元を検出し、路面との接地位置から距離を測定するようにすれば、ばらつきが生じることを防止できる。

特開２００３−６６２０号公報

ところで、上記した従来の技術は、候補物体の接地位置を推定できない場合があるという問題点があった。すなわち、単眼カメラによって候補物体と路面との接地部分が明瞭に撮像されていない（例えば、候補物体である歩行者の足元と背景の路面との輝度差がない）場合には、いずれの全体パターンを用いても候補物体と所定の相関関係が得られことはなく、その全体パターン（例えば、歩行者判別用の全身パターン）の大きさから候補物体の接地位置（例えば、歩行者判別用の全身パターンの足元位置）を推定することができないという問題点があった。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、単眼カメラによって候補物体と路面との接地部分が明瞭に撮像されていなくても、画像内の候補物体の接地位置を推定することが可能な画像認識装置、画像認識方法および画像認識プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１に係る発明は、単眼カメラで撮像された画像内の候補物体の路面との接地位置を推定する画像認識装置において、路面との接地部分を除いた前記候補物体の一部について複数のパターンを記憶するパターン記憶手段と、前記パターン記憶手段に記憶されている複数のパターンの中から、前記候補物体と所定の相関関係が得られる相関パターンを抽出する相関パターン抽出手段と、前記パターン抽出手段により抽出された前記相関パターンに基づいて前記候補物体の接地位置を推定する接地位置推定手段と、を備えたことを特徴とする。

また、請求項２に係る発明は、上記の発明において、前記接地位置推定手段により推定された前記候補物体の接地位置から、当該候補物体までの距離を測定するとともに測定した距離を出力する距離測定手段をさらに備えたことを特徴とする。

また、請求項３に係る発明は、上記の発明において、前記候補物体を判別するとともに判別した結果を出力する物体判別手段をさらに備えたことを特徴とする。

また、請求項４に係る発明は、上記の発明において、単眼カメラで撮像された画像内の候補物体の路面との接地位置を推定する画像認識方法において、路面との接地部分を除いた前記候補物体の一部について複数のパターンを記憶するパターン記憶工程と、前記パターン記憶工程に記憶されている複数のパターンの中から、前記候補物体と所定の相関関係が得られる相関パターンを抽出する相関パターン抽出工程と、前記パターン抽出工程により抽出された前記相関パターンに基づいて前記候補物体の接地位置を推定する接地位置推定工程と、を含んだことを特徴とする。

また、請求項５に係る発明は、上記の発明において、単眼カメラで撮像された画像内の候補物体の路面との接地位置を推定する方法をコンピュータに実行させる画像認識プログラムにおいて、路面との接地部分を除いた前記候補物体の一部について複数のパターンを記憶するパターン記憶手順と、前記パターン記憶手順に記憶されている複数のパターンの中から、前記候補物体と所定の相関関係が得られる相関パターンを抽出する相関パターン抽出手順と、前記パターン抽出手順により抽出された前記相関パターンに基づいて前記候補物体の接地位置を推定する接地位置推定手順と、をコンピュータに実行させることを特徴とする。

また、請求項６に係る発明は、単眼カメラで撮像された画像内の候補物体の路面との接地位置を推定する車両制御装置において、路面との接地部分を除いた前記候補物体の一部について複数のパターンを記憶するパターン記憶手段と、前記パターン記憶手段に記憶されている複数のパターンの中から、前記候補物体と所定の相関関係が得られる相関パターンを抽出する相関パターン抽出手段と、前記パターン抽出手段により抽出された前記相関パターンに基づいて前記候補物体の接地位置を推定する接地位置推定手段と、前記接地位置推定手段により推定された前記候補物体の接地位置から、当該候補物体までの距離を測定するとともに測定した距離を出力する距離測定手段と、前記距離測定手段により出力された候補物体までの距離に応じて、報知制御および車両制御を行う制御手段と、を備えたことを特徴とする。

また、請求項７に係る発明は、上記の発明において、前記候補物体を判別するとともに判別した結果を出力する物体判別手段をさらに備え、前記制御手段は、前記物体判別手段により出力された候補物体の判別結果に応じて、報知制御および車両制御を行うことを特徴とする。

請求項１、４または５の発明によれば、この画像認識装置は、路面との接地部分を除いた候補物体の一部（例えば、歩行者の頭、肩、腕や胴体など）について複数のパターンを記憶し、これら複数のパターンの中から候補物体と所定の相関関係が得られる相関パターン（例えば、最も相関が高いパターン）を抽出して、その相関パターンに基づいて候補物体の接地位置（例えば、歩行者の足元位置）を推定するので、単眼カメラによって候補物体と路面との接地部分が明瞭に撮像されていなくても、画像内の候補物体の接地位置を推定することが可能となる。

また、請求項２の発明によれば、この画像認識装置は、候補物体の推定接地位置から候補物体までの距離を測定するとともに測定した距離を出力するので、候補物体までの距離をばらつきなく測定することができ、候補物体までの適切な距離を得ることが可能となる。

また、請求項３の発明によれば、この画像認識装置は、候補物体を判別するとともに判別した結果を出力するので、撮像された画像内の候補物体を判別する（例えば、歩行者であるかどうかを判別する）ことが可能となる。

また、請求項６の発明によれば、この車両制御装置は、候補物体の推定接地位置から候補物体までの距離を測定し、その距離に応じて報知制御（例えば、注意報知や警告の報知など）や車両制御（例えば、ブレーキ・アクセル制御やハンドル制御など）を行うので、候補物体までの距離に応じて報知制御や車両制御を行うことができ、適切な報知制御や車両制御を行うことが可能となる。

また、請求項７の発明によれば、この車両制御装置は、候補物体を判別し、この候補物体までの距離の他に、候補物体の判別結果（例えば、歩行者であるかどうか）に応じて報知制御や車両制御を行うので、候補物体までの距離のみに応じて報知制御や車両制御を行うのに比較して、より適切な報知制御や車両制御を行うことが可能となる。

以下に添付図面を参照して、この発明に係る画像認識装置、画像認識方法および画像認識プログラムの実施例を詳細に説明する。なお、以下では、本発明に係る画像認識装置を車両制御装置に適用した場合であって、候補物体である歩行者までの距離を測定して車両を制御する場合の実施例を説明する。

以下の実施例１では、実施例１に係る車両制御装置の概要及び特徴、車両制御装置の構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。

［車両制御装置の概要および特徴（実施例１）］
まず最初に、図１を用いて、実施例１に係る車両制御装置の概要および特徴を説明する。図１は、実施例１に係る車両制御装置の概要および特徴を説明するための図である。

実施例１に係る車両制御装置は、単眼カメラで撮像された判別の対象となる候補物体の接地位置を推定することを概要とするものであるが、単眼カメラによって候補物体と路面との接地部分が明瞭に撮像されていなくても、画像内の候補物体の接地位置を推定する点に主たる特徴がある。

この概要および特徴を具体的に説明すると、この車両制御装置では、路面との接地部分を除いた歩行者の一部についての大きさの異なる複数のパターン（例えば、歩行者の頭、肩、腕や胴体など）を記憶して所持している。そして、図１に示すように、この車両制御装置は、単眼カメラで進行方向の画像が撮像されると、この画像内から候補物体である歩行者を含む候補領域の検出を行う（図１の（１）参照）。

次に、この車両制御装置は、検出された候補領域に所持する複数のパターンのあてはめを行い、所定の相関の得られた相関パターンの抽出を行う（図１の（２）参照）。かかる相関パターン抽出の後、この車両制御装置は足元位置の推定を行う（図１の（３）参照）。具体的には、この車両制御装置は、抽出した歩行者の一部のパターンから全身の大きさを把握し、候補物体である歩行者の画像上の足元位置をその全身の大きさから推定する。

続いて、この車両制御装置は、かかる推定足元位置に基づいて、歩行者までの距離を測定する（図１（４）参照）。そして、測定した歩行者までの距離に応じて、この車両制御装置は、報知制御や車両走行制御を行う（図１の（５）参照）。例えば、測定した歩行者までの距離が３０ｍ以上であれば、カーナビのモニタに画像を出力したり、スピーカから警告音を出力したりすることで警告報知を行い、１０〜３０ｍであればブレーキ制御による速度減速を行い、１０ｍ未満であればハンドル制御による衝突回避を行う。

このようなことから、実施例１に係る接地位置測定装置では、上記した主たる特徴の如く、単眼カメラによって候補物体と路面との接地部分が明瞭に撮像されていなくても、画像内の候補物体の接地位置を推定することが可能となる。

［車両制御装置の構成（実施例１）］
次に、図２を用いて、実施例１に係る車両制御装置の構成を説明する。図２は、実施例１に係る車両制御装置の構成を示すブロック図である。同図に示すように、この車両制御装置は、ナビ部１１、車内通知部１３、報知制御部１４、車両制御部１５および画像認識装置２０により構成される。また、車両制御装置に適用する画像認識装置２０は、撮像装置（単眼カメラ）１０、前処理部１２、記憶部２１および認識部２２から構成される。

このうち、ナビ部１１は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１１は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を、後述する車内通知部１３を介して運転者に供給する。

前処理部１２は、撮像装置１０（単眼カメラ）から送信されてくる画像に前処理を行う処理部であり、フィルタ部１２ａと輪郭抽出部１２ｂとから構成される。このうち、フィルタ部１２ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部１２ｂは、フィルタ部１２ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。

車内通知部１３は、ナビ部１１や後述する報知制御部１４からの情報を通知する手段であり、モニタやスピーカなどで構成される。例えば、報知制御部１４からの指令を受け付けて、歩行者の存在を示す画像をモニタに出力して運転者の注意を促したり、メッセージやアラーム音をスピーカから流すことにより運転者に対して警告を行ったりする。

報知制御部１４は、後述する距離測定部２２ｄから受け付けたデータ（候補物体までの距離データ）を元に報知制御を行う処理部である。具体的には、この実施例１では、距離測定部２２ｄから候補物体である歩行者までの距離を受け付けて、報知制御部１４は、車内通知部１３に対し、例えば、歩行者の存在を示す画像や音声による警告の指令を出力する。

車両制御部１５は、後述する距離測定部２２ｄから受け付けたデータ（候補物体までの距離データ）を元に車両走行制御を行う処理部である。具体的には、この実施例１では、距離測定部２２ｄから候補物体である歩行者までの距離を受け付けて、車両制御部１５は、例えば、ブレーキ制御による速度減速指令、ハンドル制御による衝突回避指令や車両制動制御によるプリクラッシュ指令を各処理部に対して出力する。

画像認識装置２０の記憶部２１は、制御部２２による各種処理に必要なデータおよびプログラムを格納する格納手段（記憶手段）である。そして、特に本発明に密接に関連するものとしては、パターン記憶部２１ａを備える。なお、このパターン記憶部２１ａは、特許請求の範囲に記載の「パターン記憶手段」に対応する。

パターン記憶部２１ａは、後述するパターン抽出部２２ｂのパターン抽出処理に関する各種の情報を記憶する手段である。具体的には、路面との接地部分を除いた歩行者の一部についての大きさの異なる複数のパターン（例えば、歩行者の頭、肩、腕や胴体など）を記憶して構成される。なお、実施例１では、歩行者の一部について形や大きさの異なる複数のパターンを記憶する場合を例に挙げて説明するが、本発明はこれに限定されるものでなく、代表的なパターンを１つ（例えば、頭のパターンを１つ）だけ記憶するようにしてもよい。

画像認識装置２０の認識部２２は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部である。そして、特に本発明に密接に関連するものとしては、物体検出部２２ａと、パターン抽出部２２ｂと、足元位置推定部２２ｃと、距離測定部２２ｄとを備える。なお、パターン抽出部２２ｂは、特許請求の範囲に記載の「パターン抽出手段」に対応し、接地位置推定部２２ｃは、同じく「接地位置推定手段」に対応する。

このうち、物体検出部２２ａは、撮像装置１０（単眼カメラ）で撮像された画像の入力を受け付けて、候補物体である歩行者が含まれる画像内の領域（候補領域）を背景差分法や学習算出法によって検出する処理部である。

ここで、背景差分法とは、あらかじめ物体の存在しない背景画像を取得しておき、入力画像と背景画像との明度あるいは輝度を比較して差分を抽出する処理を行い、その差分処理結果に応じた２値化を行うことによって、物体が位置する画像内の領域を検出する方法をいう。

また、学習算出法とは、予め学習して記憶している学習基底と入力画像とを比較して、画像内に学習基底には見られない特異な特徴（例えば、特異なベクトル）が現れている場合には、候補物体が存在するものとしてその領域を画像内から検出する方法をいう。

パターン抽出部２２ｂは、パターン記憶部２１ａに記憶されている複数のパターンの中から物体検出部２２ａによって検出された候補領域と所定の相関関係が得られる相関パターンを抽出する処理部である。具体的には、パターン抽出部２２ｂは、物体検出部２２ａによって検出された候補物体（例えば、歩行者）が含まれている領域（候補領域）に、パターン記憶部２１ａに記憶されている路面との接地部分を除いた歩行者の一部についての大きさの異なる複数のパターン（例えば、歩行者の頭、肩、腕や胴体など）をあてはめて、所定の相関関係が得られる相関パターン（例えば、最も相関の高いパターン）を抽出する。より詳細には、例えば、パターン記憶部２１ａに記憶されている歩行者の頭のパターンを候補領域にあてはめていき、最も形および大きさのマッチする頭のパターンを相関パターンとして抽出する。

接地位置推定部２２ｃは、パターン抽出部２２ｂによって抽出された相関パターンから候補領域内の候補物体（例えば、歩行者）の画像上の接地位置（例えば、足元位置）を推定する処理部である。具体的には、接地位置推定部２２ｃは、パターン抽出部２２ｂによって抽出された歩行者の一部の相関パターンから全身の大きさを把握し、候補領域内に候補物体である歩行者の画像上の足元位置をその全身の大きさから推定する。つまり、例えば、頭の形および大きさを把握することができれば、大まかな全身の大きさを推測することができる（頭が大きいほど全身も大きい）ので、推測した全身の大きさから足元の位置を推定する。なお、接地位置推定部２２ｃは、例えば、頭のパターンの形および大きさにごとに対応した全身の大きさを記憶しており、それに基づいて全身の大きさを推測する。

距離測定部２２ｄは、接地位置推定部２２ｃによって推定された接地位置（例えば、足元位置）から候補領域内の候補物体（例えば、歩行者）までの距離を測定する処理部である。具体的には、この実施例１においては、距離測定部２２ｄは、接地位置推定部２２ｃによって推定された画像上の接地位置（例えば、足元位置）までの画素数からおおよその距離を算出することで、候補物体（例えば、歩行者）までの距離を測定する。つまり、例えば、足元位置から仮想的に水平線を引くと、その水平線が接地面となり、水平線と画面下端との差から距離を算出することで距離を測定する。そして、距離測定部２２ｄは、報知制御部１４および車両制御部１５に候補物体までの距離データをそれぞれ出力する。

［車両制御装置の処理（実施例１）］
続いて、図３を用いて、実施例１に係る車両制御装置の処理の流れを説明する。図３は、実施例１に係る車両制御装置に適用した画像認識装置における認識部（マイコン）の処理の流れを示すフローチャートである。なお、以下に説明する処理は、所定の画像フレーム入力ごとに繰り返し実行される。

同図に示すように、撮像装置１０（単眼カメラ）によって撮像された画像の入力を受け付けると（ステップＳ３０１）、物体検出部２２ａは、候補物体である歩行者の含まれる候補領域を背景差分法や学習算出法によって検出する（ステップＳ３０２）。

かかる候補領域の検出に続いて、パターン抽出部２２ｂは、物体検出部２２ａによって検出された候補領域と所定の相関関係が得られる相関パターンを抽出する（ステップＳ３０３）。具体的には、パターン抽出部２２ｂは、物体検出部２２ａによって検出された候補物体である歩行者の含まれる領域（候補領域）に、パターン記憶部２１ａに記憶されている路面との接地部分を除いた歩行者の一部についての大きさの異なる複数のパターン（例えば、歩行者の頭、肩、腕や胴体など）をあてはめて、所定の相関関係が得られる相関パターン（例えば、最も相関が高いパターン）を抽出する。

かかる相関パターンの抽出後、接地位置推定部２２ｃは、パターン抽出部２２ｂによって抽出された相関パターンから候補領域内の歩行者の画像上の接地位置（足元位置）を推定する（ステップＳ３０４）。具体的には、接地位置推定部２２ｃは、パターン抽出部２２ｂによって抽出された歩行者の一部の相関パターンから全身の大きさを把握し、候補領域内の歩行者の画像上の足元位置をその全身の大きさから推定する。

接地位置（足元位置）の推定を終えると、次に、距離測定部２２ｄは、接地位置推定部２２ｃによって推定された接地位置（足元位置）から候補物体である歩行者までの距離を測定し（ステップＳ３０５）、さらに、その距離を示すデータを報知制御部１４や車両制御部１５に対して出力する（ステップＳ３０６）。

そして、図には示していないが、距離測定部２２ｄからデータを受け付けた報知制御部１４または車両制御部１５は、距離測定部２２ｄから受け付けた歩行者までの距離データに応じて、報知制御または車両走行制御を行う。具体的には、例えば、報知制御部１４は、車内通知部１４に対し、歩行者の存在を示す画像や音声による警告指令を出力し、また、車両制御部１５は、ブレーキ制御による速度減速指令、ハンドル制御による衝突回避指令を所定の各処理部に出力する。

［実施例１による効果］
上述してきたように、実施例１によれば、この車両制御装置は、路面との接地部分を除いた歩行者の一部（例えば、歩行者の頭、肩、腕や胴体など）について複数のパターンを記憶し、これら複数のパターンの中から歩行者（つまり、歩行者の現れている蓋然性が高い候補領域）と所定の相関関係が得られる相関パターンを抽出して、その相関パターンに基づいて歩行者の接地位置（例えば、歩行者の足元位置）を推定するので、単眼カメラによって歩行者と路面との接地部分が明瞭に撮像されていなくても、画像内の歩行者の接地位置（足元位置）を推定することが可能となる。

また、実施例１によれば、この車両制御装置は、候補物体の推定接地位置から候補物体までの距離を測定するとともに測定した距離を出力するので、候補物体までの距離をばらつきなく測定することができ、候補物体までの適切な距離を得ることが可能となる。

また、実施例１によれば、この車両制御装置は、候補物体の推定接地位置から候補物体までの距離を測定し、その距離に応じて報知制御（例えば、注意報知や警告の報知など）や車両制御（例えば、ブレーキ・アクセル制御やハンドル制御など）を行うので、候補物体までの距離に応じて報知制御や車両制御を行うことができ、適切な報知制御や車両制御を行うことが可能となる。

ところで、上記の実施例１では、路面との接地部分を除いた歩行者の一部についての大きさの異なる複数のパターンに基づいて、歩行者が現れている蓋然性が高い候補領域と所定の相関関係が得られる相関パターンを抽出し、その相関パターンから歩行者の足元位置を推定して、その足元位置から測定した歩行者までの距離に応じて報知制御や車両走行制御を行う場合を説明したが、本発明はこれに限定されるものではなく、上記のパターンに基づいて候補領域内の候補物体が歩行者であるかどうかを判別し、上記の候補物体までの距離の他に、候補物体の判別結果に応じて報知制御や車両走行制御を行うようにしてもよい。そこで、以下の実施例２では、候補物体である歩行者までの距離の他に、候補物体の判別結果に応じて報知制御や車両走行制御を行う場合を説明する。

なお、実施例２に係る車両制御装置の構成は上記の実施例１で説明した車両制御装置（図２参照）と基本的に同様であるので、以下の実施例２では、上記の実施例１で説明したのとは車両制御装置の構成、車両制御装置の処理の流れを順に説明し、最後に実施例２による効果を説明する。

［車両制御装置の構成（実施例２）］
まず、図４を用いて、実施例２に係る車両制御装置の構成を説明する。図４は、実施例２に係る車両制御装置の構成を示すブロック図である。なお、実施例２に係る車両制御装置３０は、図２に示した車両制御装置と基本的には同様の構成であるが、以下に説明する物体判別部３２ｂ、報知制御部１４および車両制御部１５が異なる。

画像認識装置３０の物体判別部３２ｂは、物体検出部３２ａによって検出された候補領域内の候補物体が歩行者であるかどうかパターンマッチング手法によって判別する処理部である。ここで、パターンマッチング手法とは、予めテンプレートを記憶して所持し、画像内の領域の特徴とその領域にあてはめたテンプレートの特徴とを比較して、その照合度が所定の閾値を超えていれば画像内の領域がテンプレートの示す物体であると判別する手法である。

ここで、実施例２における物体判別部３２ｂの処理について具体的に説明すると、物体判別部３２ｂは、物体検出部３２ａによって検出された候補物体（例えば、歩行者）の含まれる領域（候補領域）に、パターン記憶部３１ａに記憶されている路面との接地部分を除いた歩行者の一部についての大きさの異なる複数のパターン（例えば、歩行者の頭、肩、腕や胴体など）をあてはめて、所定の照合度（例えば、所定の閾値を超える）が得られる場合には、候補物体を歩行者とする判別結果データを報知制御部１４や車両制御部１５に対して出力する。

報知制御部１４は、距離測定部３２ｅから受け付けたデータ（候補物体までの距離データ）を元に報知制御を行うだけでなく、このデータのほかに物体判別部３２ｂから受け付けた判別結果データに応じて報知制御を行う。具体的には、図５に例示するように、報知制御部１４は、候補物体の判別結果と候補物体までの距離とに対応づけて実行する車両走行制御や報知制御の態様を規定して構成されたテーブルを所持し、このテーブルに基づいて報知制御を行う。例えば、報知制御部１４は、歩行者ではないという判別結果を受け付けた場合には、受け付けた候補物体までの距離データに関わらず、車内通知部１３に対して画像や音声による注意報知の指令を出力する。

車両制御部１５は、距離測定部３２ｅから受け付けたデータ（候補物体までの距離データ）を元に車両走行制御を行うだけでなく、この距離データの他に、物体判別部３２ｂから受け付けた判別結果データに応じて車両走行制御を行う。具体的には、図５に例示するように、車両制御部１５は、候補物体の判別結果と候補物体までの距離とに対応づけて実行する車両走行制御や報知制御の態様を規定して構成されたテーブルを所持し、このテーブルに基づいて車両走行制御を行う。例えば、車両制御部１５は、歩行者であるという判別結果と候補物体までの距離が１０ｍ未満であるというデータとを受け付けた場合には、ハンドル制御による衝突回避を行うように、ハンドル制御による衝突回避指令を所定の各処理部に対して出力する。

［車両制御装置の処理（実施例２）］
次に、図６を用いて、実施例２に係る車両制御装置の処理の流れを説明する。図６は、実施例２に係る車両制御装置に適用した画像認識装置における認識部（マイコン）の処理の流れを示すフローチャートである。なお、以下に説明する処理は、所定の画像フレーム入力ごとに繰り返し実行される。

同図に示すように、撮像装置１０（単眼カメラ）によって撮像された画像の入力を受け付けると（ステップＳ６０１）、物体検出部３２ａは、候補物体である歩行者の含まれる候補領域を背景差分法や学習算出法によって検出する（ステップＳ６０２）。

かかる候補領域の検出に続いて、物体判別部３２ｂは、物体検出部３２ａによって検出された候補領域内の候補物体が歩行者であるかどうか判別を行い、パターン抽出部３２ｃは、候補領域と所定の相関関係が得られる相関パターンの抽出を行う（ステップＳ６０３）。

具体的には、物体判別部３２ｂは、物体検出部３２ａによって検出された候補物体である歩行者の含まれる領域（候補領域）に、パターン記憶部３１ａに記憶されている路面との接地部分を除いた歩行者の一部についての大きさの異なる複数のパターン（例えば、歩行者の頭、肩、腕や胴体など）をあてはめて、所定の照合度（例えば、所定の閾値を超える）が得られる場合には、候補物体を歩行者と判別する。また、パターン抽出部３２ｃは、物体検出部３２ａによって検出された候補物体である歩行者の含まれる領域（候補領域）に、パターン記憶部３１ａに記憶されている路面との接地部分を除いた歩行者の一部についての大きさの異なる複数のパターン（例えば、歩行者の頭、肩、腕や胴体など）をあてはめて、所定の相関関係（例えば、最も相関の高いパターン）が得られる相関パターンを抽出する。

ステップＳ６０３において説明した相関パターンの抽出後、接地位置推定部３２ｄは、パターン抽出部３２ｃによって抽出された相関パターンから候補領域内の歩行者の画像上の接地位置（足元位置）を推定する（ステップＳ６０４）。具体的には、接地位置推定部３２ｄは、パターン抽出部３２ｃによって抽出された歩行者の一部の相関パターンから全身の大きさを把握し、候補領域内の歩行者の画像上の足元位置をその全身の大きさから推定する。

接地位置（足元位置）の推定を終えると、次に、距離測定部３２ｅは、接地位置推定部３２ｄによって推定された接地位置（足元位置）から候補物体である歩行者までの距離を測定する（ステップＳ６０５）。そして、物体判別部３２ｂは、物体判別結果を示すデータを報知制御部１４や車両制御部１５に対して出力し、距離測定部３２ｅは、測定した距離を示すデータを報知制御部１４や車両制御部１５に対して出力する（ステップＳ６０６）。

そして、図には示していないが、物体判別部３２ｂおよび距離測定部３２ｅからデータを受け付けた報知制御部１４または車両制御部１５は、距離測定部３２ｅから受け付けた歩行者までの距離および物体判別部３２ｂから受け付けた判別結果に応じて、報知制御または車両走行制御を行う。具体的には、例えば、歩行者ではないという判別結果を受け付けた場合には、受け付けた候補物体までの距離データに関わらず、車内通知部１３に対して画像や音声による注意報知の指令を出力し、また、車両制御部１５は、歩行者であるという判別結果と候補物体までの距離が１０ｍ未満であるというデータとを受け付けた場合には、ハンドル制御による衝突回避を行うように、ハンドル制御による衝突回避指令を所定の各処理部に対して出力する。

なお、ステップＳ６０３において、物体判別処理およびパターン抽出処理を並列に行う場合を説明したが、本発明はこれに限定されるものではなく、物体判別処理またはパターン抽出のいずれかを先に行うようにしてもよい。

［実施例２による効果］
上述してきたように、実施例２によれば、この車両制御装置は、候補物体を判別するとともに判別した結果を出力するので、撮像された画像内の候補物体を判別する（例えば、歩行者であるかどうかを判別する）ことが可能となる。

また、実施例２によれば、この車両制御装置は、この車両制御装置は、候補物体を判別し、この候補物体までの距離の他に、候補物体の判別結果（例えば、歩行者であるかどうか）に応じて報知制御や車両制御を行うので、候補物体までの距離のみに応じて報知制御や車両制御を行うのに比較して、より適切な報知制御や車両制御を行うことが可能となる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下にでは本発明に含まれる他の実施例を説明する。

（１）ニューラルネットワークの適用
上記の実施例２では、物体判別部で行われる物体判別処理に用いる手法としてパターンマッチング手法を用いる場合を説明したが、本発明はこれに限定されるものではなく、パターンマッチング手法の代わりにニューラルネットワークを適用するようにしてもよい。これにより、予め記憶して所持するテンプレートに基づいて物体の判別を行うパターンマッチング手法に比較して、ニューラルネットワークでは、歩行者等の形状を学習させているので、多少歩行者等の形状が異なったとしても判別することができ、判別漏れを低減させることが可能となる。また、ニューラルネットワークによれば、判別漏れを低減させることができるので、より適切な報知制御や車両制御を行うことも可能となる。さらに、ニューラルネットワークによれば、テンプレートを記憶させておく必要がないため、記憶容量を確保することが可能となる。

（２）パターン抽出部による物体判別
また、上記の実施例２では、パターン抽出部による相関パターンの抽出処理とは別に、物体判別部によって画像内から検出された候補物体の判別処理を行う場合を説明したが、本発明はこれに限定されるものではなく、パターン抽出部において行われる相関パターンの抽出処理結果を利用して、物体判別処理も同時に行うようにしてもよい。具体的には、例えば、パターン抽出部は、抽出した所定の相関関係が得られるパターン（例えば、最も相関の高いパターン）を候補物体にあてはめて物体判別を行い、所定の照合度が得られる場合（例えば、所定の閾値を超える場合）には、候補物体を歩行者と判別する。これにより、パターン抽出部で行われる処理結果に基づいて、相関パターン抽出処理と物体判別処理を同時に行うことができ、処理の効率化が可能となる。

（３）装置構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図２に示した画像認識装置２０および図４に示した画像認識装置３０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、図２に示す接地位置推定部２２ｃと距離測定部２２ｄとを統合し、図４に示す物体判別部３２ｂとパターン抽出部３２ｃとを統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、車両制御装置２０または車両制御装置４０にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

なお、本実施例で説明した接地位置推定方法（図３および図６参照）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上のように、本発明に係る画像認識装置、画像認識方法および画像認識プログラムは、単眼カメラで撮像された判別の対象となる候補物体の接地位置を推定する場合に有用であり、特に、単眼カメラによって歩行者と路面との接地部分が明瞭に撮像されていなくても、画像内の歩行者の接地位置を推定することに適する。

実施例１に係る車両制御装置の概要および特徴を説明するための図である。 実施例１に係る車両制御装置の構成を示すブロック図である。 実施例１に係る車両制御装置に適用した画像認識装置における認識部（マイコン）の処理の流れを示すフローチャートである。 実施例２に係る車両制御装置の構成を示すブロック図である。 実施例２に係る報知制御および車両走行制御に関するテーブルの構成例を示す図である。 実施例２に係る車両制御装置に適用した画像認識装置における認識部（マイコン）の処理の流れを示すフローチャートである。

符号の説明

１０ 撮像装置
１１ ナビ部
１２ 前処理部
１２ａ フィルタ部
１２ｂ 輪郭抽出部
１３ 車内通知部
１４ 報知制御部
１５ 車両制御部
２０ 画像認識装置
２１ 記憶部
２１ａ パターン記憶部
２２ 認識部
２２ａ 物体検出部
２２ｂ パターン抽出部
２２ｃ 接地位置推定部
２２ｄ 距離測定部
３０ 画像認識装置
３１ 記憶部
３１ａ パターン記憶部
３２ 認識部
３２ａ 物体検出部
３２ｂ 物体判別部
３２ｃ パターン抽出部
３２ｄ 接地位置推定部
３２ｅ 距離測定部

Claims (7)

1. 単眼カメラで撮像された画像内の候補物体の路面との接地位置を推定する画像認識装置において、
   路面との接地部分を除いた前記候補物体の一部について複数のパターンを記憶するパターン記憶手段と、
   前記パターン記憶手段に記憶されている複数のパターンの中から、前記候補物体と所定の相関関係が得られる相関パターンを抽出する相関パターン抽出手段と、
   前記パターン抽出手段により抽出された前記相関パターンに基づいて前記候補物体の接地位置を推定する接地位置推定手段と、
   を備えたことを特徴とする画像認識装置。
2. 前記接地位置推定手段により推定された前記候補物体の接地位置から、当該候補物体までの距離を測定するとともに測定した距離を出力する距離測定手段をさらに備えたことを特徴とする請求項１に記載の画像認識装置。
3. 前記候補物体を判別するとともに判別した結果を出力する物体判別手段をさらに備えたことを特徴とする請求項２に記載の画像認識装置。
4. 単眼カメラで撮像された画像内の候補物体の路面との接地位置を推定する画像認識方法において、
   路面との接地部分を除いた前記候補物体の一部について複数のパターンを記憶するパターン記憶工程と、
   前記パターン記憶工程に記憶されている複数のパターンの中から、前記候補物体と所定の相関関係が得られる相関パターンを抽出する相関パターン抽出工程と、
   前記パターン抽出工程により抽出された前記相関パターンに基づいて前記候補物体の接地位置を推定する接地位置推定工程と、
   を含んだことを特徴とする画像認識方法。
5. 単眼カメラで撮像された画像内の候補物体の路面との接地位置を推定する方法をコンピュータに実行させる画像認識プログラムにおいて、
   路面との接地部分を除いた前記候補物体の一部について複数のパターンを記憶するパターン記憶手順と、
   前記パターン記憶手順に記憶されている複数のパターンの中から、前記候補物体と所定の相関関係が得られる相関パターンを抽出する相関パターン抽出手順と、
   前記パターン抽出手順により抽出された前記相関パターンに基づいて前記候補物体の接地位置を推定する接地位置推定手順と、
   をコンピュータに実行させることを特徴とする画像認識プログラム。
6. 単眼カメラで撮像された画像内の候補物体の路面との接地位置を推定する車両制御装置において、
   路面との接地部分を除いた前記候補物体の一部について複数のパターンを記憶するパターン記憶手段と、
   前記パターン記憶手段に記憶されている複数のパターンの中から、前記候補物体と所定の相関関係が得られる相関パターンを抽出する相関パターン抽出手段と、
   前記パターン抽出手段により抽出された前記相関パターンに基づいて前記候補物体の接地位置を推定する接地位置推定手段と、
   前記接地位置推定手段により推定された前記候補物体の接地位置から、当該候補物体までの距離を測定するとともに測定した距離を出力する距離測定手段と、
   前記距離測定手段により出力された候補物体までの距離に応じて、報知制御および車両制御を行う制御手段と、
   を備えたことを特徴とする車両制御装置。
7. 前記候補物体を判別するとともに判別した結果を出力する物体判別手段をさらに備え、
   前記制御手段は、前記距離測定手段により出力された候補物体までの距離のほかに、前記物体判別手段により出力された候補物体の判別結果に応じて、報知制御および車両制御を行うことを特徴とする請求項６に記載の車両制御装置。

Images