JP7225074B2

JP7225074B2 - 物体認識装置

Info

Publication number: JP7225074B2
Application number: JP2019185036A
Authority: JP
Inventors: 健遠藤; 春樹的野; 健永崎
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-10-08
Filing date: 2019-10-08
Publication date: 2023-02-20
Anticipated expiration: 2039-10-08
Also published as: US20220366700A1; DE112020004301T5; WO2021070537A1; JP2021060844A

Description

本発明は、物体認識装置に関する。

自動運転の実現や交通事故防止のために、歩行者を検出してブレーキ制御をおこなう自動ブレーキ機能に大きな関心が寄せられている。自動ブレーキ機能においては自車両から歩行者までの距離を精度高く算出する必要がある。歩行者までの距離を算出する方法として、特許文献１では、画像上における歩行者の接地位置と撮像手段の車両の取付位置情報から距離を算出する方法が開示されている。

特開２０１１－６５３３８号公報

特許文献１に記載の方法では、路面と足元の接地位置を推定する必要がある。しかしながら、路面と歩行者のズボンなどの色合いが類似していた場合に、足元と路面の境界を精度高く推定することは困難になり、距離精度が低下することが課題となる。

本発明は、このような課題に鑑み、自車両から歩行者などの物体までの距離を精度高く推定することができる物体認識装置を提供することを目的とする。

上記課題を解決するため、本発明に係る物体認識装置は、周辺をセンシングしたセンサ情報を取得するセンサ情報取得部と、周辺を撮像した画像を取得する画像取得部と、前記センサ情報取得部と前記画像取得部のセンシング領域が重なった重複領域に対して距離情報を取得する距離情報取得部と、前記距離情報取得部で取得した距離情報に基づいて前記重複領域から物体を検出する重複領域物体検出部と、前記重複領域物体検出部で検出した前記物体に該当する領域の画像を解析することで前記物体における特定の部位領域を決定する部位特定部と、前記部位特定部で決定した部位領域に関する画像情報を保存する画像情報保存部と、前記距離情報取得部で取得した前記距離情報に基づき前記部位特定部で特定した部位領域の３次元情報を取得する３次元情報取得部と、前記センサ情報取得部と前記画像取得部のセンシング領域が重複しない非重複領域に対して前記画像情報保存部に保存された画像情報を参照し、前記部位特定部で特定した部位領域又は前記部位特定部で特定した部位領域の一部を有する類似部位領域を検出する非重複領域物体検出部と、前記非重複領域物体検出部で検出した前記部位領域又は前記類似部位領域の画像上での検出領域情報、及び前記３次元情報取得部で取得した３次元情報に基づき、前記部位領域又は前記類似部位領域を含む物体までの距離を算出する距離算出部と、を備える。

本発明によれば、自車両から歩行者などの物体までの距離を精度高く推定することができる。

上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

本発明に係る第１実施形態の物体認識装置の構成を示す機能ブロック図である。図１に開示した第１実施形態における物体認識装置の動作例１を説明するための、交差点における車両と歩行者の位置関係（歩行者は重複領域内）を示す俯瞰図である。図１に開示した第１実施形態における物体認識装置の動作例１を説明するための、交差点における車両と歩行者の位置関係（歩行者は非重複領域内）を示す俯瞰図である。図１に開示した第１実施形態における物体認識装置の動作例１を説明するための、車両に取り付けられたカメラ視点における歩行者の位置（重複領域内）を表す図である。図１に開示した第１実施形態における物体認識装置の動作例１を説明するための、車両に取り付けられたカメラ視点における歩行者の位置（非重複領域内）を表す図である。図１に開示した第１実施形態における物体認識装置の動作例１を示すフローチャートである。図１に開示した第１実施形態における物体認識装置において画像の輝度値を解析し、明暗のコントラスト変化の大きい変化点を検出する方法を示す図である。図１に開示した第１実施形態における物体認識装置において歩行者までの距離を推定する方法を示す図である。図１に開示した第１実施形態における物体認識装置の動作例２を示す、部位領域の高さ、若しくは幅に基づき歩行者までの距離を推定するフローチャートである。本発明に係る第２実施形態の物体認識装置の構成を示す機能ブロック図である。図８に開示した第２実施形態における物体認識装置の動作例を示すフローチャートである。図８に開示した第２実施形態における物体認識装置の動作例を説明するための、車両に取り付けられたカメラ視点における図である。図８に開示した第２実施形態における物体認識装置において路面の傾きを算出する方法を示す図である。図８に開示した第２実施形態における物体認識装置において歩行者までの距離を推定する方法を示す図である。本発明に係る第３実施形態の物体認識装置の構成を示す機能ブロック図である。図１２に開示した第３実施形態における物体認識装置の動作例を説明するための、車両に取り付けられたカメラ視点における歩行者の位置（重複領域内）を表す図である。図１２に開示した第３実施形態における物体認識装置の動作例を説明するための、車両に取り付けられたカメラ視点における歩行者の位置（非重複領域内）を表す図である。図１２に開示した第３実施形態における物体認識装置の動作例を示すフローチャートである。図１２に開示した第３実施形態における物体認識装置において歩行者の各部位領域に対して路面からの高さを算出する方法を示す図である。図１２に開示した第３実施形態における物体認識装置において歩行者部位領域を分割する方法を示す図である。

以下に、本発明の実施形態について詳細に説明する。なお、以下の実施形態の説明において、同一の機能を有する部分には同一の又は関連する符号を付し、その繰り返し説明は省略する場合がある。

［第１実施形態］
本実施形態の物体認識装置１は、例えば、図示しないセンサから周辺をセンシング（監視又は認識）したセンサ情報を取得し、図示しないカメラから周辺を撮像した画像を取得し、それらの取得した情報に基づいて、周辺に存在する物体（歩行者など）を認識し、その物体までの距離を算出する。

（機能ブロック構成例）
図１は、第１実施形態の物体認識装置１の構成を示す機能ブロック図である。

本実施形態の物体認識装置１は、カメラ、コンピュータ、メモリ及び記憶装置などで構成されており、コンピュータが、メモリなどに格納された制御プログラムを実行することにより各種機能部として動作する。

図１に示すように、物体認識装置１は、カメラやコンピュータの動作により実現される機能部としてのセンサ情報取得部１００、画像取得部１０１、距離情報取得部１０２、重複領域物体検出部１０３、部位特定部１０４、画像情報保存部１０５、３次元情報取得部１０６、非重複領域物体検出部１０７、距離算出部１０８を有している。

センサ情報取得部１００は、対象とするセンサのセンサ情報を取得・収集する。ここで対象のセンサとは、カメラ、ミリ波、レーザーレーダ、遠赤外カメラなどである。以降では、センサ情報取得部１００で対象とするセンサはカメラであるとして説明する。

画像取得部１０１は、カメラにより撮像された画像データを取得する。

本実施形態において、センサ情報取得部１００（の対象となるカメラ）及び画像取得部１０１（の対象となるカメラ）のセンシング領域（以下、視野ということがある）は、一部が重なるように設定されている。

ここでは、センサ情報取得部１００及び画像取得部１０１は、光学レンズ、光学センサなどを含むカメラと別体として説明しているが、カメラと一体としてもよい（言い換えれば、センサ情報取得部１００や画像取得部１０１がカメラ自体を構成してもよい）ことは勿論である。

距離情報取得部１０２では、センサ情報取得部１００と画像取得部１０１のセンシング領域が重なった重複領域に対して距離情報を算出する。距離情報の算出では、センサ情報取得部１００と画像取得部１０１のいずれか、若しくは両方の情報を利用することができる。センサ情報取得部１００でカメラを利用する場合、画像取得部１０１と視野を共有する領域（重複領域）に対して、ステレオマッチングを実施することで距離を求めることができる。具体的には、センサ情報取得部１００のセンサ情報である画像データのある画素に対して、画像取得部１０１の画像データで対応する画素を求めることで視差を算出する。求めた視差に対してセンサ情報取得部１００と画像取得部１０１の対象となるカメラの位置関係と焦点距離と画素サイズ情報から距離を算出することができる。ここで、ステレオマッチング以外に別の任意の距離推定手段を利用することができる。視野の重複する領域は一体のセンサデバイスからなる領域だけでなく、別体のセンサデバイス同士からなる視野の領域も対象とする。

重複領域物体検出部１０３では、センサ情報取得部１００と画像取得部１０１の視野を共有する領域（重複領域）から、距離情報取得部１０２で取得した距離情報に基づき物体を検出する。具体的には、類似視差値を持つ画素同士を連結させることで重複領域から物体を検出することができる。その他の方式としては、視差値情報の統計的傾向を学習させた識別器により検出してもよい。それ以外に任意の物体検出手段を利用することができる。以降では、重複領域物体検出部１０３で検出する物体は歩行者だとして説明する。ただし、検出する物体が歩行者以外の物体でも本発明の一般性は失わない。

部位特定部１０４では、重複領域物体検出部１０３で検出した歩行者の画像情報に基づき、換言すれば、重複領域物体検出部１０３で検出した歩行者に該当する領域の画像を解析することで、歩行者における特定の部位領域を決定する。ここで利用する画像情報は、センサ情報取得部１００でカメラを利用する場合には、センサ情報取得部１００、若しくは画像取得部１０１のいずれかの情報を利用する。特定の部位領域の決定では、重複領域物体検出部１０３で検出した物体の明暗に関するコントラスト変化点を検出し、明るく撮像された領域を歩行者部位領域として検出する。コントラスト変化点の検出は、重複領域物体検出部１０３で検出した物体領域（物体に該当する領域）の画像に対して、行毎のヒストグラムを計算し、隣接するヒストグラムの変化量が所定値以上の地点を求めることで決定できる。

画像情報保存部１０５では、部位特定部１０４で検出・決定した歩行者部位領域に関する画像情報を保存する。

３次元情報取得部１０６では、距離情報取得部１０２で取得した距離情報に基づき、部位特定部１０４で特定した部位領域の３次元情報を取得する。ここで、３次元情報とは、特定した部位領域の路面からの高さ、若しくは部位領域の高さや幅の実サイズ（実寸）である。

非重複領域物体検出部１０７では、画像情報保存部１０５に保存された画像情報を参照し、センサ情報取得部１００と画像取得部１０１の視野を共有しない領域（非重複領域）から部位特定部１０４で特定した部位領域を検出する。部位領域を検出する方法としては、例えば、画像情報保存部１０５に保存された画像情報をテンプレートとしたテンプレートマッチングがある。なお、センサ情報取得部１００でカメラを利用しない場合には、画像取得部１０１の視野（センシング領域）においてセンサ情報取得部１００のセンシング領域と重複しない画像情報を含む非重複領域に対して画像情報保存部１０５に保存された画像情報を参照し、部位特定部１０４で特定した部位領域を検出する。

距離算出部１０８では、前記非重複領域物体検出部１０７で検出した部位領域の画像上での検出領域情報（詳しくは、位置情報やサイズ情報）、及び前記３次元情報取得部１０６で取得した３次元情報に基づき、前記非重複領域物体検出部１０７で検出した部位領域を含む歩行者までの距離を算出する。

（動作例１）
次に、図２Ａ、Ｂ、及び図３Ａ、Ｂに示すシーンにおける本実施形態の物体認識装置１の動作例を、図４のフローチャートを参照して説明する。以降の動作例では、物体認識装置１は車両に搭載されており、センサ情報取得部１００と画像取得部１０１の対象となる２台のカメラ（例えば、右カメラと左カメラからなるステレオカメラ）から構成されているものとする。従って、本動作例では、センサ情報取得部１００と画像取得部１０１は、車両の周辺を撮像した画像を取得する。

図２Ａ、Ｂ、及び図３Ａ、Ｂは、交差点を左折する車両の前方を歩行者が横断するシーンを示している。図２Ａ、Ｂは俯瞰図を示しており、図３Ａ、Ｂは車両に取り付けられたカメラから見た視点における図である。図２Ａ、Ｂ、及び図３Ａ、Ｂ中のF１０１は横断歩行者、F１０２は車両を示している。V１００、V１０１、V１０２はセンシング領域（視野）を示しており、V１０１、及びV１０２は視野の非重複領域を示しており、V１００は視野の重複領域を示している。図２ＡのS１００は交差点左折前のシーンであり、図２ＢのS１０１は交差点左折中のシーンを示している。図３ＡのG１００は図２ＡにおけるS１００のカメラ視点であり、図３ＢのG１０１は図２ＢにおけるS１０１のカメラ視点を示している。

本動作例において、物体認識装置１は、図４に示すように、画像取得処理（R１０１）、距離画像生成処理（R１０２）、重複領域歩行者検出処理（R１０３）、輝度解析処理（R１０４）、テクスチャ保存処理（R１０５）、路面からの高さ算出処理（R１０６）、パーツ検出処理（R１０７）、距離推定処理（R１０８）を順に実施し、交差点の歩行者を認識して、車両から歩行者までの距離を算出する。上述した画像取得処理（R１０１）はセンサ情報取得部１００及び画像取得部１０１、距離画像生成処理（R１０２）は距離情報取得部１０２、重複領域歩行者検出処理（R１０３）は重複領域物体検出部１０３、輝度解析処理（R１０４）は部位特定部１０４、テクスチャ保存処理（R１０５）は画像情報保存部１０５、路面からの高さ算出処理（R１０６）は３次元情報取得部１０６、パーツ検出処理（R１０７）は非重複領域物体検出部１０７、距離推定処理（R１０８）は距離算出部１０８で実行される。以降では、各処理内容に関して説明する。

物体認識装置１は、２台のカメラそれぞれから画像を取得する（R１０１）。取得した２枚の画像において視野が重複する重複領域V１００に対して、ステレオマッチング処理を実施することで距離情報としての距離画像を生成する（R１０２）。生成した距離画像を参照し、距離が類似した画素同士を結合することで重複領域V１００中から物体としての歩行者F１０１を検出する（R１０３）。

次に、検出した歩行者領域（歩行者に該当する領域）の画像の輝度値を解析することで、歩行者領域から明るくはっきり撮像されている部位領域を抽出する（R１０４）。部位領域の抽出に関して図５を用いて説明する。図５において、F１１０は重複領域歩行者検出処理（R１０３）により検出された歩行者領域を示している。F１１１は歩行者領域の縦方向の画素位置に関する軸であり、F１１２は、F１１３に示す矩形ウィンドウ中の輝度値の総和値に関する軸である。F１１４は、F１１３に示す矩形ウィンドウを画像の下方向に探索を行うことで取得されるヒストグラムを示している。F１１０で検出された歩行者は、上半身が明るく撮像されているのに対し、下半身が暗く撮像されている。そのため、F１１４に示すヒストグラムは、上半身で高い値をとり、下半身では低い値となる。輝度解析処理（R１０４）では、上記手続きに従いヒストグラムを計算し、ヒストグラムの縦方向の隣接差分を取得し、差分値が所定値以上のコントラストに関する変化点を検出する。F１１５は検出された変化点を示している。輝度解析処理（R１０４）では、明暗のコントラスト変化の大きい変化点を検出し、ヒストグラム値の高い領域を特定の部位領域として検出し、その部位領域の画像情報を保存する（R１０５）。

路面からの高さ算出処理（R１０６）では、距離画像生成処理（R１０２）で生成した距離画像を参照し、輝度解析処理（R１０４）で特定した部位領域の路面からの高さを算出する。路面からの高さHは、路面の傾きが無いとして、距離画像から計算される奥行距離Z、輝度解析処理（R１０４）で特定した部位領域の画像での下端位置ｙ、カメラの焦点距離ｆ、画素サイズｗとした場合、H＝（ｗ＊Z＊ｙ）／ｆの計算式に従い計算する。

以上の処理により、図３ＡのG１００に示すように歩行者F１０１が視野の重複領域V１００に撮像されている場合に、歩行者領域の明るく撮像されている部位領域を特定することができる。以降の処理では、図３ＡのG１００に示すシーンにおいて特定した部位領域に基づき、図３ＢのG１０１に示す歩行者F１０１の距離情報の推定を行う。ここで、図３ＢのG１０１に示す歩行者F１０１は、交差点で歩行者F１０１と車両F１０２の一方又は双方が移動したことにより、図３ＡのG１００に示す視野の重複領域V１００から視野の非重複領域V１０１に（相対的に）遷移している（図２Ａ、Ｂを併せて参照）。

パーツ検出処理（R１０７）では、テクスチャ保存処理（R１０５）で格納された画像情報を参照し、非重複領域V１０１に撮像された歩行者F１０１において、輝度解析処理（R１０４）で特定した歩行者部位領域と同一箇所の検出を行う。検出は、テクスチャ保存処理（R１０５）で格納された画像情報をテンプレートとして扱い、テンプレートマッチングにより行う。テンプレートマッチング処理では、画像の横、及び縦方向にテンプレートを走査し、各座標位置に対してテンプレートとの相関値を計算する。相関値のピーク値を検出することで、重複領域V１００で特定した部位領域を非重複領域V１０１から検出する。また、テンプレートマッチング処理を実施する際には、異なるサイズのテンプレートを用いる。これにより、車両の移動とともに歩行者と車両間の距離が変わり、撮像される歩行者のサイズが変化した場合にも、精度高く部位領域を検出することができる。

距離推定処理（R１０８）では、路面からの高さ算出処理（R１０６）で取得した部位領域の路面からの高さ、及びパーツ検出処理（R１０７）で検出した部位領域の画像上での位置情報から、非重複領域V１０１に撮像された歩行者F１０１までの奥行距離を推定する。奥行距離を推定する方法に関して、図６を参照して説明する。図６において、F１２１は歩行者、F１２２は車両、F１２３は車両に取り付けられたカメラを図示している。推定する奥行距離ZはF１２０である。カメラの取り付け角度、及びパーツ検出処理（R１０７）で検出した部位領域の画像上での位置情報から、F１２４で図示するカメラに対する歩行者部位領域の角度αを計算することができる。また、カメラの取り付け位置から、F１２５で示すカメラ高さHを取得できる。F１２６で図示する部位領域高さPは、路面からの高さ算出処理（R１０６）により取得される。以上の情報に対し、奥行距離ZはZ＝（H－P）＊Atan（α）を満たす。距離推定処理（R１０８）では、H、P、及びαに基づき歩行者までの距離を計算する。

（作用効果）
以上より、本実施形態の物体認識装置１は、例えば、視野の重複領域で明るくはっきり撮像された歩行者部位領域を特定、及び特定した部位領域の３次元情報である路面からの高さ情報を計算しておき、視野の非重複領域（単眼領域ともいう）では視野の重複領域で特定した部位領域を検出することで、歩行者までの距離推定を実施する。これにより、視野の非重複領域において足元以外の任意の歩行者部位領域を検出することで、歩行者までの距離推定を行うことができる。その結果、歩行者のズボンなどと路面の色合いが類似しており、足元位置を精度高く検出できないようなシーンにおいても、自車両から歩行者などの物体までの距離を精度高く推定することができる。

（動作例２）
また、図１に示す機能ブロックを有する物体認識装置１は、図７に示す処理フローに従い処理を実施することができる。

図７に示す処理フローと上述した図４の処理フローの違いは、３次元情報取得部１０６による路面からの高さ算出処理（R１０６）が部位サイズ算出処理（R１１６）に置き換わっており、それに伴い距離算出部１０８による距離推定処理（R１１８）の距離の算出方法が異なることである。以降では、相違点である図７における部位サイズ算出処理（R１１６）、及び距離推定処理（R１１８）に関して説明する。

部位サイズ算出処理（R１１６）では、距離画像生成処理（R１１２）で生成した距離画像を参照し、輝度解析処理（R１１４）で検出した部位領域の実サイズ（実寸）を測定する。ここで実サイズとは、部位領域の高さ（縦方向寸法）、若しくは幅（横方向寸法）である。

距離推定処理（R１１８）では、部位サイズ算出処理（R１１６）で取得した部位領域の実サイズ、及びパーツ検出処理（R１１７）で検出した部位領域の画像上でのサイズに基づき、物体としての歩行者F１０１までの距離を推定する。距離を推定する方法を説明する。部位サイズ算出処理（R１１６）で取得した部位領域の実サイズをS、パーツ検出処理（R１１７）で検出した部位領域の画像上でのサイズをｓとし、カメラの焦点距離ｆ、画像の画素サイズｗ、推定する奥行距離Zとした場合、Z＝（ｆ＊S）／（ｓ＊ｗ）が成立する。距離推定処理（R１１８）では、S、ｓ、ｆ、ｗに基づき奥行距離Zを推定する。

（作用効果）
以上より、本実施形態の物体認識装置１は、図７に示す処理フローに従い距離推定を実施することで、物体の路面からの高さを算出することなく、部位領域の実サイズ、及び画像上でのサイズに基づき、物体までの距離を推定することができる。これにより、路面が傾きを持つようなシーンにおいても、路面の情報を使うことなく距離推定することができ、処理時間を低減することができる。

［第２実施形態］
上述した第１実施形態の物体認識装置１では、路面の傾きが無いものとしたが、本実施形態の物体認識装置２は、路面の傾きを考慮して、周辺に存在する物体（歩行者など）までの距離を算出する。

（機能ブロック構成例）
図８は、第２実施形態の物体認識装置２の構成を示す機能ブロック図である。

本実施形態の物体認識装置２は、センサ情報取得部２００、画像取得部２０１、距離情報取得部２０２、重複領域物体検出部２０３、部位特定部２０４、画像情報保存部２０５、３次元情報取得部２０６、非重複領域物体検出部２０７、距離算出部２０８、路面推定部２０９を有している。つまり、本第２実施形態の物体認識装置２と上述した第１実施形態の物体認識装置１の違いは、路面推定部２０９を追加していることである。

センサ情報取得部２００は、対象とするセンサのセンサ情報を取得・収集する。画像取得部２０１は、カメラにより撮像された画像データを取得する。距離情報取得部２０２では、センサ情報取得部２００と画像取得部２０１のセンシング領域が重なった重複領域に対して距離情報を算出する。重複領域物体検出部２０３では、センサ情報取得部２００と画像取得部２０１の視野を共有する領域（重複領域）から、距離情報取得部２０２で取得した距離情報に基づき物体を検出する。部位特定部２０４では、重複領域物体検出部２０３で検出した歩行者の画像情報に基づき、換言すれば、重複領域物体検出部２０３で検出した歩行者に該当する領域の画像を解析することで、歩行者における特定の部位領域を決定する。画像情報保存部２０５では、部位特定部２０４で検出・決定した歩行者部位領域に関する画像情報を保存する。３次元情報取得部２０６では、距離情報取得部２０２で取得した距離情報に基づき、部位特定部２０４で特定した部位領域の３次元情報を取得する。ここで、３次元情報とは、特定した部位領域の路面からの高さ、若しくは部位領域の高さや幅の実サイズ（実寸）である。

路面推定部２０９では、距離情報取得部２０２で取得した距離情報に基づき路面の形状、即ち傾きを推定する。路面の傾きを推定する方法として、画像中から路面領域を特定し、特定した路面領域における距離画像を参照し、路面の形状を推定する。路面領域の特定は、白線を検出し、検出した白線内の領域を路面領域として設定してもよい。若しくは、画像領域において事前に設定した所定の領域を路面領域として設定してもよい。設定した路面領域から路面の形状を推定する方法に関して述べる。距離画像を参照し、縦方向画素毎の平均距離を取得する。対象の縦方向画素位置をｙ、計算した平均距離をｚ、焦点距離をｆ、画素サイズをｗとしたときに、路面の高さHは、次の等式H＝（ｙ＊ｗ＊ｚ）／ｆを満たす。路面推定部２０９では、上述した計算方法に従い、各縦方向画素毎の路面高さを計算する。また、各縦方向画素毎の路面高さは、距離画像におけるノイズの影響により、隣接する縦方向画素毎で大きく異なる場合がある。その場合、各縦方向画素毎の路面高さに対して直線をあてはめてノイズの影響を抑制してもよい。以上、路面推定部２０９での路面の傾き推定の方法に関して述べたが、路面推定部２０９ではいかなる路面形状の推定方法も適用することができる。

非重複領域物体検知出部２０７では、画像情報保存部２０５に保存された画像情報を参照し、センサ情報取得部２００と画像取得部２０１の視野を共有しない領域（非重複領域）から部位特定部２０４で特定した部位領域を検出する。

距離算出部２０８では、非重複領域物体検出部２０７で検出した部位領域の画像上での検出領域情報（詳しくは、位置情報やサイズ情報）、３次元情報取得部２０６で取得した３次元情報、及び路面推定部２０９で推定した路面の傾き情報に基づき、非重複領域物体検出部２０７で検出した部位領域を含む歩行者までの距離を算出する。具体的には、非重複領域物体検出部２０７で検出した部位領域の画像上での検出領域情報と路面推定部２０９で推定した路面の傾き情報から、カメラと歩行者部位領域の角度情報、及び歩行者と接地する路面の高さを計算する。そして、計算したカメラと歩行者部位領域の角度情報、歩行者と接地する路面の高さ、及び３次元情報取得部２０６で取得した３次元情報から、車両から歩行者までの距離を推定する。

（動作例）
本実施形態の物体認識装置２の動作例を、図９のフローチャートを参照して説明する。対象とするシーンは、図２Ａ、Ｂに示す交差点におけるシーンであり、交差点の路面が傾いているものとする。本動作例において、上述した第１実施形態における図４のフローチャートにより実施される処理との差異は、図９の路面推定部２０９による路面傾き推定処理（R２０９）、及び距離算出部２０８による距離推定処理（R２０８）である。そのため、以降では、相違点である図９における路面傾き推定処理（R２０９）、及び距離推定処理（R２０８）に関して詳細に述べる。

路面傾き推定処理（R２０９）では、車両前方の路面の高さを推定する。路面傾き推定処理（R２０９）に関し、図１０Ａ、Ｂを用いて説明する。図１０ＡのG１０１は図２ＢのS１０１に示す交差点左折時のカメラ視点を示している。V１００は視野の重複領域、V１０１、及びV１０２は視野の非重複領域を示している。F１０１は歩行者を示している。路面傾き推定処理（R２０９）では、路面領域を設定し、画像の各縦方向画素に対する路面の高さを算出する。図１０ＡのF２００は路面領域を示している。路面領域は、視野の重複領域V１００における事前に設定した領域を設定する。図１０Ｂは、路面領域F２００における路面高さの推定結果を示している。F２０１は画像の各縦方向画素位置を示しており、F２０２は路面からの高さを示している。路面傾き推定処理（R２０９）では、F２０１の各縦方向画素に対して、距離画像を参照し、路面からの高さを算出する。高さ算出では、距離画像の各縦方向画素の平均距離を計算し、計算した平均距離、縦方向画素位置、及び焦点距離、画素サイズから路面からの高さを算出する。上記処理をF２０１の各画像縦方向位置のそれぞれに対して実施し、F２０３に示す各画像縦方向位置に対する路面高さ情報を算出する。次に、路面からの高さ算出処理（R２０６）で計算した歩行者部位領域の高さ情報を利用し、F２０３に示す各画像縦方向位置に対する路面高さ情報に対して、歩行者部位領域の画像上での高さ分だけオフセットF２０４を加え、F２０５に示す歩行者部位領域における路面高さ情報に変換する。オフセットF２０４の算出方法について述べる。オフセットF２０４は歩行者部位領域の画像上でのサイズｈである。路面からの高さ算出処理（R２０６）で計算した歩行者部位領域の高さをH、距離画像の各縦方向画素の平均距離をｚ、カメラ焦点距離をｆ、画素サイズをｗとした際に、画像上での部位サイズｈは、次の式ｈ＝（ｆ＊H）／（ｗ＊ｚ）を満たす。そのため、F２０４に対して、上述した計算方法に対してオフセット量を計算し、F２０５に示す各歩行者部位領域の高さにおける路面高さ情報を算出する。オフセットF２０４を加えることで、F２０６に示すように、視野の非重複領域V１０１における歩行者部位領域の画像縦方向位置から路面高さ情報を取得することができる。

距離推定処理（R２０８）では、路面からの高さ算出処理（R２０６）で算出した歩行者部位領域の路面からの高さ、パーツ検出処理（R２０７）で検出した歩行者部位領域の画像上での検出領域情報、及び路面傾き推定処理（R２０９）で推定した路面の傾き情報から、車両から歩行者までの距離を算出する。図１１を用いて、距離算出の方法に関して述べる。図１１において、F２１１は歩行者、F２１２は車両、F２１３は車両に取り付けられたカメラ、F２１４はパーツ検出処理（R２０７）で検出した歩行者部位領域の画像上での検出領域情報（位置情報）、及びカメラの取り付け角度情報から計算できるカメラに対する歩行者部位領域への角度α、F２１５はカメラの設置高さH、F２１６は路面からの高さ算出処理（R２０６）で計算した歩行者部位領域の高さP、F２１７は路面傾き推定処理（R２０９）で取得した路面の高さ情報Rを示している。ここで、推定する歩行者までの距離ZはF２１８であり、次の式Z＝（H－P－R）＊Atan（α）を満たす。距離推定処理（R２０８）では、以上の計算方法に従い歩行者までの距離を算出する。

（作用効果）
以上より、本実施形態の物体認識装置２は、路面の形状（傾き）情報を算出し、算出した路面の形状（傾き）情報を参照し、歩行者までの距離を算出する。これにより、路面が傾いている場合に対しても、自車両から歩行者などの物体までの距離を正確に推定することができる。

［第３実施形態］
上述した第１実施形態の物体認識装置１では、同一部位の見え方がフレーム毎で変化しない、若しくはほとんど変化しないシーンについて説明したが、例えば夜間にヘッドライトに照らされた場合などにおいては、同一部位の見え方がフレーム毎に変化する場合がある。本実施形態の物体認識装置３は、そのようなシーンにおいても、周辺に存在する物体（歩行者など）までの距離を算出する。

（機能ブロック構成例）
図１２は、第３実施形態の物体認識装置３の構成を示す機能ブロック図である。

本実施形態の物体認識装置３は、センサ情報取得部３００、画像取得部３０１、距離情報取得部３０２、重複領域物体検出部３０３、部位特定部３０４、画像情報保存部３０５、３次元情報取得部３０６、非重複領域物体検出部３０７、及び距離算出部３０８を有し、非重複領域物体検出部３０７が、時系列類似部位特定部３０９を有している。つまり、本第３実施形態の物体認識装置３と上述した第１実施形態の物体認識装置１との違いは、非重複領域物体検出部３０７における処理内容である。

センサ情報取得部３００は、対象とするセンサのセンサ情報を取得・収集する。画像取得部３０１は、カメラにより撮像された画像データを取得する。距離情報取得部３０２では、センサ情報取得部３００と画像取得部３０１のセンシング領域が重なった重複領域に対して距離情報を算出する。重複領域物体検出部３０３では、センサ情報取得部３００と画像取得部３０１の視野を共有する領域（重複領域）から、距離情報取得部３０２で取得した距離情報に基づき物体を検出する。部位特定部３０４では、重複領域物体検出部３０３で検出した歩行者の画像情報に基づき、換言すれば、重複領域物体検出部３０３で検出した歩行者に該当する領域の画像を解析することで、歩行者における特定の部位領域を決定する。本例では、部位特定部３０４では、歩行者領域全体を特定するものとするが、歩行者領域の一部（図５参照）を特定してもよい。画像情報保存部３０５では、部位特定部３０４で検出・決定した歩行者部位領域に関する画像情報を保存する。

３次元情報取得部３０６では、距離情報取得部３０２で取得した距離情報、及び重複領域物体検出部３０３で検出した歩行者の画像情報に基づき、部位特定部３０４で特定した歩行者領域全体における各部位領域の３次元情報である路面からの高さ情報を算出する。

非重複領域物体検出部３０７では、画像情報保存部３０５に保存された歩行者部位領域の画像情報に基づき、視野の非重複領域における歩行者の部位領域を検出する。詳しくは、非重複領域物体検出部３０７の時系列類似部位特定部３０９では、画像情報保存部３０５に保存された過去の歩行者部位領域の画像情報を参照し、センサ情報取得部３００と画像取得部３０１の視野を共有しない領域（非重複領域）から現在のフレームにおいて見え方の類似する部位領域（類似部位領域）を決定し、時系列で類似する部位領域（類似部位領域）の画像情報を画像情報保存部３０５に保存する。

距離算出部３０８では、非重複領域物体検出部３０７で検出した歩行者部位領域の画像上での検出領域情報（詳しくは、位置情報やサイズ情報）、及び３次元情報取得部３０６で算出した歩行者領域全体の距離情報を参照し、非重複領域物体検出部３０７で検出した歩行者部位領域（詳しくは、類似部位領域）を含む歩行者までの距離情報を算出する。

（動作例）
本実施形態の物体認識装置３の動作例を、図１４のフローチャートを参照して説明する。対象とするシーンは、図１３Ａ、Ｂに示す交差点におけるシーンであり、走行環境は夜間であるものとする。図１３ＡのG１１０は交差点通過前のカメラ視点であり、図１３ＢのG１１１は交差点左折時のカメラ視点を示している。図１３Ａ、Ｂ中のF１０１は歩行者を示しており、V１０１、及びV１０２は視野の非重複領域を示しており、V１００は視野の重複領域を示している。J１０１、及びJ１０２は、歩行者F１０１において、車両のヘッドライトにより照らされている部位を示している。J１０１、及びJ１０２でヘッドライトが照射されている部位が異なるのは、歩行者と車両の距離が変化することでヘッドライトの照射範囲が異なるためである。

本動作例における図１４のフローチャートにより実施される処理と上述した第１実施形態における図４のフローチャートにより実施される処理との差異は、図１４の３次元情報取得部３０６による歩行者高さ算出処理（R３０６）、非重複領域物体検出部３０７（の時系列類似部位特定部３０９）による複数パーツスキャン処理（R３０７A）、画像情報保存部３０５による部位情報更新処理（R３０７B）、距離算出部３０８による距離推定処理（R３０８）である。そのため、以降では、相違点である図１４における歩行者高さ算出処理（R３０６）、複数パーツスキャン処理（R３０７A）、部位情報更新処理（R３０７B）、距離推定処理（R３０８）に関して詳細に述べる。

歩行者高さ算出処理（R３０６）では、距離画像生成処理（R３０２）で生成した距離画像、及び重複領域歩行者検出処理（R３０３）で検出した歩行者領域情報から、輝度解析処理（R３０４）で特定した歩行者領域全体における各部位領域の路面からの高さ情報を算出する。図１５に、歩行者高さ算出処理（R３０６）で算出する路面からの高さ情報の概念図を示す。図１５において、歩行者F１０１に対して、重複領域歩行者検出処理（R３０３）で検出した歩行者領域をF３０１に示す。歩行者高さ算出処理（R３０６）では、図１５に示すように歩行者領域F３０１における各部位領域に対する路面からの高さ情報を算出しておき、各部位領域と路面からの高さ情報を記憶する。図１５では部位領域と路面からの高さ情報が等間隔に図示されているが、等間隔でなくてもよく、部位領域と路面からの高さのいかなる関係性の算出、及び情報の記録もできる。

複数パーツスキャン処理（R３０７A）では、テクスチャ保存処理（R３０５）で保存された過去の部位情報を利用し、非重複領域V１０１から現在フレームにおける歩行者部位領域を特定する。その際、過去の部位情報を複数の部位領域に分け、現在フレームに対してラスタースキャンを実施し、過去フレームと現在フレームにおいて類似した部位領域（類似部位領域）の検出を行う。すなわち、現在フレームにおいてテクスチャ保存処理（R３０５）で保存された過去フレームの歩行者部位領域の一部を有する類似部位領域の検出を非重複領域V１０１から行う。図１６に、過去の部位情報（歩行者部位領域）の分割の概念図を示す。F１０１は歩行者を示しており、J１０１は輝度解析処理（R３０４）により検出され、テクスチャ保存処理（R３０５）で保存された明るく撮像された歩行者部位領域を示している。複数パーツスキャン処理（R３０７A）では、J１０１の歩行者部位領域をT３０１に示すように複数の歩行者部位領域に分割する。分割方法は、画像上での部位領域をサイズに応じて分割してもよいし、１画素ずつ上下方向に小さく切りだしてもよい。複数パーツスキャン処理（R３０７A）では、T３０１に示す複数の歩行者部位領域（分割した歩行者部位領域）をテンプレートとし、現在フレームに対してラスタースキャンを実施する。複数テンプレートの相関値に対するピーク値を求めることで、現在フレームと過去フレームにおける類似部位領域を特定、及び現在フレームにおける類似部位領域を検出する。また、テンプレートを走査する際に、テンプレートのサイズを変更してラスタースキャンする。

部位情報更新処理（R３０７B）では、複数パーツスキャン処理（R３０７A）で特定した過去フレームと現在フレームにおける類似部位領域の画像情報を保存・更新する。

距離推定処理（R３０８）では、歩行者高さ算出処理（R３０６）で算出した歩行者領域全体における部位領域と路面からの高さの関係性、複数パーツスキャン処理（R３０７A）で検出した部位領域情報に基づき、歩行者までの距離を算出する。初めに、複数パーツスキャン処理（R３０７A）で特定した現在フレームにおける歩行者部位領域の路面からの高さ情報を取得する。具体的には、現在フレームで検出した部位領域が歩行者領域全体においてどこに対応するかを求め、歩行者高さ算出処理（R３０６）で計算した部位領域と路面からの高さの関係性を参照することで、現在フレームで特定した部位領域の路面からの高さ情報を取得する。次に、現在フレームで検出した部位領域の路面からの高さ、複数パーツスキャン処理（R３０７A）で推定した部位領域の画像上での位置、及びカメラの設置位置と角度情報から、歩行者までの距離を推定する。

（作用効果）
以上より、本実施形態の物体認識装置３は、非重複領域においてフレーム毎に過去フレームと現在フレームで共通する部位領域を利用し、歩行者までの距離を推定する。夜間のヘッドライトに照らされた歩行者などは車両の移動に伴い異なる部位に光が照射されるため、同一部位の見え方はフレーム毎に変化する。そのため、常時同一箇所の検出は困難となる可能性があるが、過去フレームと現在フレームで見え方の類似する部位情報（類似部位領域）を利用して検出を実施することで、部位の見え方が時間的に変化する場合にも安定的に検出することができ、自車両から歩行者などの物体までの距離を精度高く推定することができる。

なお、上に記載した実施形態では、センサ情報取得部で対象とするセンサとして単眼カメラを想定して記載したが、ステレオカメラ、ミリ波、レーザーレーダなどにも適用可能である。また、センサ情報取得部や画像取得部で車両の前方をセンシングする想定で上に記載した実施形態を説明したが、前方に限定するものではなく、後方や側方にも本発明は適用することができる。

以上、第１実施形態、第２実施形態、及び第３実施形態を参照して本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明のスコープ内で当事者が理解し得る様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１物体認識装置（第１実施形態）
２物体認識装置（第２実施形態）
３物体認識装置（第３実施形態）
１００、２００、３００センサ情報取得部
１０１、２０１、３０１画像取得部
１０２、２０２、３０２距離情報取得部
１０３、２０３、３０３重複領域物体検出部
１０４、２０４、３０４部位特定部
１０５、２０５、３０５画像情報保存部
１０６、２０６、３０６３次元情報取得部
１０７、２０７、３０７非重複領域物体検出部
１０８、２０８、３０８距離算出部
２０９路面推定部
３０９時系列類似部位特定部

Claims

周辺をセンシングしたセンサ情報を取得するセンサ情報取得部と、
周辺を撮像した画像を取得する画像取得部と、
前記センサ情報取得部と前記画像取得部のセンシング領域が重なった重複領域に対して距離情報を取得する距離情報取得部と、
前記距離情報取得部で取得した距離情報に基づいて前記重複領域から物体を検出する重複領域物体検出部と、
前記重複領域物体検出部で検出した前記物体に該当する領域の画像を解析することで前記物体における特定の部位領域を決定する部位特定部と、
前記部位特定部で決定した部位領域に関する画像情報を保存する画像情報保存部と、
前記距離情報取得部で取得した前記距離情報に基づき前記部位特定部で特定した部位領域の３次元情報を取得する３次元情報取得部と、
前記センサ情報取得部と前記画像取得部のセンシング領域が重複しない非重複領域に対して前記画像情報保存部に保存された画像情報を参照し、前記部位特定部で特定した部位領域又は前記部位特定部で特定した部位領域の一部を有する類似部位領域を検出する非重複領域物体検出部と、
前記非重複領域物体検出部で検出した前記部位領域又は前記類似部位領域の画像上での検出領域情報、及び前記３次元情報取得部で取得した３次元情報に基づき、前記部位領域又は前記類似部位領域を含む物体までの距離を算出する距離算出部と、を備えることを特徴とする物体認識装置。
前記３次元情報取得部で取得する３次元情報は、前記部位特定部で決定した部位領域の路面からの高さであることを特徴とする、請求項１に記載の物体認識装置。
前記距離情報取得部で取得した距離情報に基づいて路面の形状を推定する路面推定部をさらに有し、
前記距離算出部は、前記非重複領域物体検出部で検出した前記部位領域又は前記類似部位領域の画像上での検出領域情報、前記３次元情報取得部で取得した３次元情報、及び前記路面推定部で推定した路面形状情報に基づき、前記部位領域又は前記類似部位領域を含む物体までの距離を算出することを特徴とする、請求項２に記載の物体認識装置。
前記３次元情報取得部で取得する３次元情報は、前記部位特定部で決定した部位領域の高さ、若しくは幅の実寸であることを特徴とする、請求項１に記載の物体認識装置。
前記部位特定部は、画像の輝度値を解析し、明暗のコントラスト変化に基づき、前記部位領域を決定することを特徴とする、請求項１に記載の物体認識装置。
前記画像情報保存部に格納された過去フレームの部位領域と現在フレームにおいて見え方の類似する前記類似部位領域を決定する時系列類似部位特定部をさらに有し、
前記画像情報保存部は、前記時系列類似部位特定部で決定した前記類似部位領域の画像情報を保存することを特徴とする、請求項１に記載の物体認識装置。
前記時系列類似部位特定部は、前記画像情報保存部に格納された過去フレームの部位領域を複数の部位領域に分割し、現在フレームにおいて前記分割した部位領域に対応した前記類似部位領域を決定することを特徴とする、請求項６に記載の物体認識装置。