JP7225074B2 - 物体認識装置 - Google Patents
物体認識装置 Download PDFInfo
- Publication number
- JP7225074B2 JP7225074B2 JP2019185036A JP2019185036A JP7225074B2 JP 7225074 B2 JP7225074 B2 JP 7225074B2 JP 2019185036 A JP2019185036 A JP 2019185036A JP 2019185036 A JP2019185036 A JP 2019185036A JP 7225074 B2 JP7225074 B2 JP 7225074B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- unit
- distance
- acquisition unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、物体認識装置に関する。
自動運転の実現や交通事故防止のために、歩行者を検出してブレーキ制御をおこなう自動ブレーキ機能に大きな関心が寄せられている。自動ブレーキ機能においては自車両から歩行者までの距離を精度高く算出する必要がある。歩行者までの距離を算出する方法として、特許文献1では、画像上における歩行者の接地位置と撮像手段の車両の取付位置情報から距離を算出する方法が開示されている。
特許文献1に記載の方法では、路面と足元の接地位置を推定する必要がある。しかしながら、路面と歩行者のズボンなどの色合いが類似していた場合に、足元と路面の境界を精度高く推定することは困難になり、距離精度が低下することが課題となる。
本発明は、このような課題に鑑み、自車両から歩行者などの物体までの距離を精度高く推定することができる物体認識装置を提供することを目的とする。
上記課題を解決するため、本発明に係る物体認識装置は、周辺をセンシングしたセンサ情報を取得するセンサ情報取得部と、周辺を撮像した画像を取得する画像取得部と、前記センサ情報取得部と前記画像取得部のセンシング領域が重なった重複領域に対して距離情報を取得する距離情報取得部と、前記距離情報取得部で取得した距離情報に基づいて前記重複領域から物体を検出する重複領域物体検出部と、前記重複領域物体検出部で検出した前記物体に該当する領域の画像を解析することで前記物体における特定の部位領域を決定する部位特定部と、前記部位特定部で決定した部位領域に関する画像情報を保存する画像情報保存部と、前記距離情報取得部で取得した前記距離情報に基づき前記部位特定部で特定した部位領域の3次元情報を取得する3次元情報取得部と、前記センサ情報取得部と前記画像取得部のセンシング領域が重複しない非重複領域に対して前記画像情報保存部に保存された画像情報を参照し、前記部位特定部で特定した部位領域又は前記部位特定部で特定した部位領域の一部を有する類似部位領域を検出する非重複領域物体検出部と、前記非重複領域物体検出部で検出した前記部位領域又は前記類似部位領域の画像上での検出領域情報、及び前記3次元情報取得部で取得した3次元情報に基づき、前記部位領域又は前記類似部位領域を含む物体までの距離を算出する距離算出部と、を備える。
本発明によれば、自車両から歩行者などの物体までの距離を精度高く推定することができる。
上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。
以下に、本発明の実施形態について詳細に説明する。なお、以下の実施形態の説明において、同一の機能を有する部分には同一の又は関連する符号を付し、その繰り返し説明は省略する場合がある。
[第1実施形態]
本実施形態の物体認識装置1は、例えば、図示しないセンサから周辺をセンシング(監視又は認識)したセンサ情報を取得し、図示しないカメラから周辺を撮像した画像を取得し、それらの取得した情報に基づいて、周辺に存在する物体(歩行者など)を認識し、その物体までの距離を算出する。
本実施形態の物体認識装置1は、例えば、図示しないセンサから周辺をセンシング(監視又は認識)したセンサ情報を取得し、図示しないカメラから周辺を撮像した画像を取得し、それらの取得した情報に基づいて、周辺に存在する物体(歩行者など)を認識し、その物体までの距離を算出する。
(機能ブロック構成例)
図1は、第1実施形態の物体認識装置1の構成を示す機能ブロック図である。
図1は、第1実施形態の物体認識装置1の構成を示す機能ブロック図である。
本実施形態の物体認識装置1は、カメラ、コンピュータ、メモリ及び記憶装置などで構成されており、コンピュータが、メモリなどに格納された制御プログラムを実行することにより各種機能部として動作する。
図1に示すように、物体認識装置1は、カメラやコンピュータの動作により実現される機能部としてのセンサ情報取得部100、画像取得部101、距離情報取得部102、重複領域物体検出部103、部位特定部104、画像情報保存部105、3次元情報取得部106、非重複領域物体検出部107、距離算出部108を有している。
センサ情報取得部100は、対象とするセンサのセンサ情報を取得・収集する。ここで対象のセンサとは、カメラ、ミリ波、レーザーレーダ、遠赤外カメラなどである。以降では、センサ情報取得部100で対象とするセンサはカメラであるとして説明する。
画像取得部101は、カメラにより撮像された画像データを取得する。
本実施形態において、センサ情報取得部100(の対象となるカメラ)及び画像取得部101(の対象となるカメラ)のセンシング領域(以下、視野ということがある)は、一部が重なるように設定されている。
ここでは、センサ情報取得部100及び画像取得部101は、光学レンズ、光学センサなどを含むカメラと別体として説明しているが、カメラと一体としてもよい(言い換えれば、センサ情報取得部100や画像取得部101がカメラ自体を構成してもよい)ことは勿論である。
距離情報取得部102では、センサ情報取得部100と画像取得部101のセンシング領域が重なった重複領域に対して距離情報を算出する。距離情報の算出では、センサ情報取得部100と画像取得部101のいずれか、若しくは両方の情報を利用することができる。センサ情報取得部100でカメラを利用する場合、画像取得部101と視野を共有する領域(重複領域)に対して、ステレオマッチングを実施することで距離を求めることができる。具体的には、センサ情報取得部100のセンサ情報である画像データのある画素に対して、画像取得部101の画像データで対応する画素を求めることで視差を算出する。求めた視差に対してセンサ情報取得部100と画像取得部101の対象となるカメラの位置関係と焦点距離と画素サイズ情報から距離を算出することができる。ここで、ステレオマッチング以外に別の任意の距離推定手段を利用することができる。視野の重複する領域は一体のセンサデバイスからなる領域だけでなく、別体のセンサデバイス同士からなる視野の領域も対象とする。
重複領域物体検出部103では、センサ情報取得部100と画像取得部101の視野を共有する領域(重複領域)から、距離情報取得部102で取得した距離情報に基づき物体を検出する。具体的には、類似視差値を持つ画素同士を連結させることで重複領域から物体を検出することができる。その他の方式としては、視差値情報の統計的傾向を学習させた識別器により検出してもよい。それ以外に任意の物体検出手段を利用することができる。以降では、重複領域物体検出部103で検出する物体は歩行者だとして説明する。ただし、検出する物体が歩行者以外の物体でも本発明の一般性は失わない。
部位特定部104では、重複領域物体検出部103で検出した歩行者の画像情報に基づき、換言すれば、重複領域物体検出部103で検出した歩行者に該当する領域の画像を解析することで、歩行者における特定の部位領域を決定する。ここで利用する画像情報は、センサ情報取得部100でカメラを利用する場合には、センサ情報取得部100、若しくは画像取得部101のいずれかの情報を利用する。特定の部位領域の決定では、重複領域物体検出部103で検出した物体の明暗に関するコントラスト変化点を検出し、明るく撮像された領域を歩行者部位領域として検出する。コントラスト変化点の検出は、重複領域物体検出部103で検出した物体領域(物体に該当する領域)の画像に対して、行毎のヒストグラムを計算し、隣接するヒストグラムの変化量が所定値以上の地点を求めることで決定できる。
画像情報保存部105では、部位特定部104で検出・決定した歩行者部位領域に関する画像情報を保存する。
3次元情報取得部106では、距離情報取得部102で取得した距離情報に基づき、部位特定部104で特定した部位領域の3次元情報を取得する。ここで、3次元情報とは、特定した部位領域の路面からの高さ、若しくは部位領域の高さや幅の実サイズ(実寸)である。
非重複領域物体検出部107では、画像情報保存部105に保存された画像情報を参照し、センサ情報取得部100と画像取得部101の視野を共有しない領域(非重複領域)から部位特定部104で特定した部位領域を検出する。部位領域を検出する方法としては、例えば、画像情報保存部105に保存された画像情報をテンプレートとしたテンプレートマッチングがある。なお、センサ情報取得部100でカメラを利用しない場合には、画像取得部101の視野(センシング領域)においてセンサ情報取得部100のセンシング領域と重複しない画像情報を含む非重複領域に対して画像情報保存部105に保存された画像情報を参照し、部位特定部104で特定した部位領域を検出する。
距離算出部108では、前記非重複領域物体検出部107で検出した部位領域の画像上での検出領域情報(詳しくは、位置情報やサイズ情報)、及び前記3次元情報取得部106で取得した3次元情報に基づき、前記非重複領域物体検出部107で検出した部位領域を含む歩行者までの距離を算出する。
(動作例1)
次に、図2A、B、及び図3A、Bに示すシーンにおける本実施形態の物体認識装置1の動作例を、図4のフローチャートを参照して説明する。以降の動作例では、物体認識装置1は車両に搭載されており、センサ情報取得部100と画像取得部101の対象となる2台のカメラ(例えば、右カメラと左カメラからなるステレオカメラ)から構成されているものとする。従って、本動作例では、センサ情報取得部100と画像取得部101は、車両の周辺を撮像した画像を取得する。
次に、図2A、B、及び図3A、Bに示すシーンにおける本実施形態の物体認識装置1の動作例を、図4のフローチャートを参照して説明する。以降の動作例では、物体認識装置1は車両に搭載されており、センサ情報取得部100と画像取得部101の対象となる2台のカメラ(例えば、右カメラと左カメラからなるステレオカメラ)から構成されているものとする。従って、本動作例では、センサ情報取得部100と画像取得部101は、車両の周辺を撮像した画像を取得する。
図2A、B、及び図3A、Bは、交差点を左折する車両の前方を歩行者が横断するシーンを示している。図2A、Bは俯瞰図を示しており、図3A、Bは車両に取り付けられたカメラから見た視点における図である。図2A、B、及び図3A、B中のF101は横断歩行者、F102は車両を示している。V100、V101、V102はセンシング領域(視野)を示しており、V101、及びV102は視野の非重複領域を示しており、V100は視野の重複領域を示している。図2AのS100は交差点左折前のシーンであり、図2BのS101は交差点左折中のシーンを示している。図3AのG100は図2AにおけるS100のカメラ視点であり、図3BのG101は図2BにおけるS101のカメラ視点を示している。
本動作例において、物体認識装置1は、図4に示すように、画像取得処理(R101)、距離画像生成処理(R102)、重複領域歩行者検出処理(R103)、輝度解析処理(R104)、テクスチャ保存処理(R105)、路面からの高さ算出処理(R106)、パーツ検出処理(R107)、距離推定処理(R108)を順に実施し、交差点の歩行者を認識して、車両から歩行者までの距離を算出する。上述した画像取得処理(R101)はセンサ情報取得部100及び画像取得部101、距離画像生成処理(R102)は距離情報取得部102、重複領域歩行者検出処理(R103)は重複領域物体検出部103、輝度解析処理(R104)は部位特定部104、テクスチャ保存処理(R105)は画像情報保存部105、路面からの高さ算出処理(R106)は3次元情報取得部106、パーツ検出処理(R107)は非重複領域物体検出部107、距離推定処理(R108)は距離算出部108で実行される。以降では、各処理内容に関して説明する。
物体認識装置1は、2台のカメラそれぞれから画像を取得する(R101)。取得した2枚の画像において視野が重複する重複領域V100に対して、ステレオマッチング処理を実施することで距離情報としての距離画像を生成する(R102)。生成した距離画像を参照し、距離が類似した画素同士を結合することで重複領域V100中から物体としての歩行者F101を検出する(R103)。
次に、検出した歩行者領域(歩行者に該当する領域)の画像の輝度値を解析することで、歩行者領域から明るくはっきり撮像されている部位領域を抽出する(R104)。部位領域の抽出に関して図5を用いて説明する。図5において、F110は重複領域歩行者検出処理(R103)により検出された歩行者領域を示している。F111は歩行者領域の縦方向の画素位置に関する軸であり、F112は、F113に示す矩形ウィンドウ中の輝度値の総和値に関する軸である。F114は、F113に示す矩形ウィンドウを画像の下方向に探索を行うことで取得されるヒストグラムを示している。F110で検出された歩行者は、上半身が明るく撮像されているのに対し、下半身が暗く撮像されている。そのため、F114に示すヒストグラムは、上半身で高い値をとり、下半身では低い値となる。輝度解析処理(R104)では、上記手続きに従いヒストグラムを計算し、ヒストグラムの縦方向の隣接差分を取得し、差分値が所定値以上のコントラストに関する変化点を検出する。F115は検出された変化点を示している。輝度解析処理(R104)では、明暗のコントラスト変化の大きい変化点を検出し、ヒストグラム値の高い領域を特定の部位領域として検出し、その部位領域の画像情報を保存する(R105)。
路面からの高さ算出処理(R106)では、距離画像生成処理(R102)で生成した距離画像を参照し、輝度解析処理(R104)で特定した部位領域の路面からの高さを算出する。路面からの高さHは、路面の傾きが無いとして、距離画像から計算される奥行距離Z、輝度解析処理(R104)で特定した部位領域の画像での下端位置y、カメラの焦点距離f、画素サイズwとした場合、H=(w*Z*y)/fの計算式に従い計算する。
以上の処理により、図3AのG100に示すように歩行者F101が視野の重複領域V100に撮像されている場合に、歩行者領域の明るく撮像されている部位領域を特定することができる。以降の処理では、図3AのG100に示すシーンにおいて特定した部位領域に基づき、図3BのG101に示す歩行者F101の距離情報の推定を行う。ここで、図3BのG101に示す歩行者F101は、交差点で歩行者F101と車両F102の一方又は双方が移動したことにより、図3AのG100に示す視野の重複領域V100から視野の非重複領域V101に(相対的に)遷移している(図2A、Bを併せて参照)。
パーツ検出処理(R107)では、テクスチャ保存処理(R105)で格納された画像情報を参照し、非重複領域V101に撮像された歩行者F101において、輝度解析処理(R104)で特定した歩行者部位領域と同一箇所の検出を行う。検出は、テクスチャ保存処理(R105)で格納された画像情報をテンプレートとして扱い、テンプレートマッチングにより行う。テンプレートマッチング処理では、画像の横、及び縦方向にテンプレートを走査し、各座標位置に対してテンプレートとの相関値を計算する。相関値のピーク値を検出することで、重複領域V100で特定した部位領域を非重複領域V101から検出する。また、テンプレートマッチング処理を実施する際には、異なるサイズのテンプレートを用いる。これにより、車両の移動とともに歩行者と車両間の距離が変わり、撮像される歩行者のサイズが変化した場合にも、精度高く部位領域を検出することができる。
距離推定処理(R108)では、路面からの高さ算出処理(R106)で取得した部位領域の路面からの高さ、及びパーツ検出処理(R107)で検出した部位領域の画像上での位置情報から、非重複領域V101に撮像された歩行者F101までの奥行距離を推定する。奥行距離を推定する方法に関して、図6を参照して説明する。図6において、F121は歩行者、F122は車両、F123は車両に取り付けられたカメラを図示している。推定する奥行距離ZはF120である。カメラの取り付け角度、及びパーツ検出処理(R107)で検出した部位領域の画像上での位置情報から、F124で図示するカメラに対する歩行者部位領域の角度αを計算することができる。また、カメラの取り付け位置から、F125で示すカメラ高さHを取得できる。F126で図示する部位領域高さPは、路面からの高さ算出処理(R106)により取得される。以上の情報に対し、奥行距離ZはZ=(H-P)*Atan(α)を満たす。距離推定処理(R108)では、H、P、及びαに基づき歩行者までの距離を計算する。
(作用効果)
以上より、本実施形態の物体認識装置1は、例えば、視野の重複領域で明るくはっきり撮像された歩行者部位領域を特定、及び特定した部位領域の3次元情報である路面からの高さ情報を計算しておき、視野の非重複領域(単眼領域ともいう)では視野の重複領域で特定した部位領域を検出することで、歩行者までの距離推定を実施する。これにより、視野の非重複領域において足元以外の任意の歩行者部位領域を検出することで、歩行者までの距離推定を行うことができる。その結果、歩行者のズボンなどと路面の色合いが類似しており、足元位置を精度高く検出できないようなシーンにおいても、自車両から歩行者などの物体までの距離を精度高く推定することができる。
以上より、本実施形態の物体認識装置1は、例えば、視野の重複領域で明るくはっきり撮像された歩行者部位領域を特定、及び特定した部位領域の3次元情報である路面からの高さ情報を計算しておき、視野の非重複領域(単眼領域ともいう)では視野の重複領域で特定した部位領域を検出することで、歩行者までの距離推定を実施する。これにより、視野の非重複領域において足元以外の任意の歩行者部位領域を検出することで、歩行者までの距離推定を行うことができる。その結果、歩行者のズボンなどと路面の色合いが類似しており、足元位置を精度高く検出できないようなシーンにおいても、自車両から歩行者などの物体までの距離を精度高く推定することができる。
(動作例2)
また、図1に示す機能ブロックを有する物体認識装置1は、図7に示す処理フローに従い処理を実施することができる。
また、図1に示す機能ブロックを有する物体認識装置1は、図7に示す処理フローに従い処理を実施することができる。
図7に示す処理フローと上述した図4の処理フローの違いは、3次元情報取得部106による路面からの高さ算出処理(R106)が部位サイズ算出処理(R116)に置き換わっており、それに伴い距離算出部108による距離推定処理(R118)の距離の算出方法が異なることである。以降では、相違点である図7における部位サイズ算出処理(R116)、及び距離推定処理(R118)に関して説明する。
部位サイズ算出処理(R116)では、距離画像生成処理(R112)で生成した距離画像を参照し、輝度解析処理(R114)で検出した部位領域の実サイズ(実寸)を測定する。ここで実サイズとは、部位領域の高さ(縦方向寸法)、若しくは幅(横方向寸法)である。
距離推定処理(R118)では、部位サイズ算出処理(R116)で取得した部位領域の実サイズ、及びパーツ検出処理(R117)で検出した部位領域の画像上でのサイズに基づき、物体としての歩行者F101までの距離を推定する。距離を推定する方法を説明する。部位サイズ算出処理(R116)で取得した部位領域の実サイズをS、パーツ検出処理(R117)で検出した部位領域の画像上でのサイズをsとし、カメラの焦点距離f、画像の画素サイズw、推定する奥行距離Zとした場合、Z=(f*S)/(s*w)が成立する。距離推定処理(R118)では、S、s、f、wに基づき奥行距離Zを推定する。
(作用効果)
以上より、本実施形態の物体認識装置1は、図7に示す処理フローに従い距離推定を実施することで、物体の路面からの高さを算出することなく、部位領域の実サイズ、及び画像上でのサイズに基づき、物体までの距離を推定することができる。これにより、路面が傾きを持つようなシーンにおいても、路面の情報を使うことなく距離推定することができ、処理時間を低減することができる。
以上より、本実施形態の物体認識装置1は、図7に示す処理フローに従い距離推定を実施することで、物体の路面からの高さを算出することなく、部位領域の実サイズ、及び画像上でのサイズに基づき、物体までの距離を推定することができる。これにより、路面が傾きを持つようなシーンにおいても、路面の情報を使うことなく距離推定することができ、処理時間を低減することができる。
[第2実施形態]
上述した第1実施形態の物体認識装置1では、路面の傾きが無いものとしたが、本実施形態の物体認識装置2は、路面の傾きを考慮して、周辺に存在する物体(歩行者など)までの距離を算出する。
上述した第1実施形態の物体認識装置1では、路面の傾きが無いものとしたが、本実施形態の物体認識装置2は、路面の傾きを考慮して、周辺に存在する物体(歩行者など)までの距離を算出する。
(機能ブロック構成例)
図8は、第2実施形態の物体認識装置2の構成を示す機能ブロック図である。
図8は、第2実施形態の物体認識装置2の構成を示す機能ブロック図である。
本実施形態の物体認識装置2は、センサ情報取得部200、画像取得部201、距離情報取得部202、重複領域物体検出部203、部位特定部204、画像情報保存部205、3次元情報取得部206、非重複領域物体検出部207、距離算出部208、路面推定部209を有している。つまり、本第2実施形態の物体認識装置2と上述した第1実施形態の物体認識装置1の違いは、路面推定部209を追加していることである。
センサ情報取得部200は、対象とするセンサのセンサ情報を取得・収集する。画像取得部201は、カメラにより撮像された画像データを取得する。距離情報取得部202では、センサ情報取得部200と画像取得部201のセンシング領域が重なった重複領域に対して距離情報を算出する。重複領域物体検出部203では、センサ情報取得部200と画像取得部201の視野を共有する領域(重複領域)から、距離情報取得部202で取得した距離情報に基づき物体を検出する。部位特定部204では、重複領域物体検出部203で検出した歩行者の画像情報に基づき、換言すれば、重複領域物体検出部203で検出した歩行者に該当する領域の画像を解析することで、歩行者における特定の部位領域を決定する。画像情報保存部205では、部位特定部204で検出・決定した歩行者部位領域に関する画像情報を保存する。3次元情報取得部206では、距離情報取得部202で取得した距離情報に基づき、部位特定部204で特定した部位領域の3次元情報を取得する。ここで、3次元情報とは、特定した部位領域の路面からの高さ、若しくは部位領域の高さや幅の実サイズ(実寸)である。
路面推定部209では、距離情報取得部202で取得した距離情報に基づき路面の形状、即ち傾きを推定する。路面の傾きを推定する方法として、画像中から路面領域を特定し、特定した路面領域における距離画像を参照し、路面の形状を推定する。路面領域の特定は、白線を検出し、検出した白線内の領域を路面領域として設定してもよい。若しくは、画像領域において事前に設定した所定の領域を路面領域として設定してもよい。設定した路面領域から路面の形状を推定する方法に関して述べる。距離画像を参照し、縦方向画素毎の平均距離を取得する。対象の縦方向画素位置をy、計算した平均距離をz、焦点距離をf、画素サイズをwとしたときに、路面の高さHは、次の等式H=(y*w*z)/fを満たす。路面推定部209では、上述した計算方法に従い、各縦方向画素毎の路面高さを計算する。また、各縦方向画素毎の路面高さは、距離画像におけるノイズの影響により、隣接する縦方向画素毎で大きく異なる場合がある。その場合、各縦方向画素毎の路面高さに対して直線をあてはめてノイズの影響を抑制してもよい。以上、路面推定部209での路面の傾き推定の方法に関して述べたが、路面推定部209ではいかなる路面形状の推定方法も適用することができる。
非重複領域物体検知出部207では、画像情報保存部205に保存された画像情報を参照し、センサ情報取得部200と画像取得部201の視野を共有しない領域(非重複領域)から部位特定部204で特定した部位領域を検出する。
距離算出部208では、非重複領域物体検出部207で検出した部位領域の画像上での検出領域情報(詳しくは、位置情報やサイズ情報)、3次元情報取得部206で取得した3次元情報、及び路面推定部209で推定した路面の傾き情報に基づき、非重複領域物体検出部207で検出した部位領域を含む歩行者までの距離を算出する。具体的には、非重複領域物体検出部207で検出した部位領域の画像上での検出領域情報と路面推定部209で推定した路面の傾き情報から、カメラと歩行者部位領域の角度情報、及び歩行者と接地する路面の高さを計算する。そして、計算したカメラと歩行者部位領域の角度情報、歩行者と接地する路面の高さ、及び3次元情報取得部206で取得した3次元情報から、車両から歩行者までの距離を推定する。
(動作例)
本実施形態の物体認識装置2の動作例を、図9のフローチャートを参照して説明する。対象とするシーンは、図2A、Bに示す交差点におけるシーンであり、交差点の路面が傾いているものとする。本動作例において、上述した第1実施形態における図4のフローチャートにより実施される処理との差異は、図9の路面推定部209による路面傾き推定処理(R209)、及び距離算出部208による距離推定処理(R208)である。そのため、以降では、相違点である図9における路面傾き推定処理(R209)、及び距離推定処理(R208)に関して詳細に述べる。
本実施形態の物体認識装置2の動作例を、図9のフローチャートを参照して説明する。対象とするシーンは、図2A、Bに示す交差点におけるシーンであり、交差点の路面が傾いているものとする。本動作例において、上述した第1実施形態における図4のフローチャートにより実施される処理との差異は、図9の路面推定部209による路面傾き推定処理(R209)、及び距離算出部208による距離推定処理(R208)である。そのため、以降では、相違点である図9における路面傾き推定処理(R209)、及び距離推定処理(R208)に関して詳細に述べる。
路面傾き推定処理(R209)では、車両前方の路面の高さを推定する。路面傾き推定処理(R209)に関し、図10A、Bを用いて説明する。図10AのG101は図2BのS101に示す交差点左折時のカメラ視点を示している。V100は視野の重複領域、V101、及びV102は視野の非重複領域を示している。F101は歩行者を示している。路面傾き推定処理(R209)では、路面領域を設定し、画像の各縦方向画素に対する路面の高さを算出する。図10AのF200は路面領域を示している。路面領域は、視野の重複領域V100における事前に設定した領域を設定する。図10Bは、路面領域F200における路面高さの推定結果を示している。F201は画像の各縦方向画素位置を示しており、F202は路面からの高さを示している。路面傾き推定処理(R209)では、F201の各縦方向画素に対して、距離画像を参照し、路面からの高さを算出する。高さ算出では、距離画像の各縦方向画素の平均距離を計算し、計算した平均距離、縦方向画素位置、及び焦点距離、画素サイズから路面からの高さを算出する。上記処理をF201の各画像縦方向位置のそれぞれに対して実施し、F203に示す各画像縦方向位置に対する路面高さ情報を算出する。次に、路面からの高さ算出処理(R206)で計算した歩行者部位領域の高さ情報を利用し、F203に示す各画像縦方向位置に対する路面高さ情報に対して、歩行者部位領域の画像上での高さ分だけオフセットF204を加え、F205に示す歩行者部位領域における路面高さ情報に変換する。オフセットF204の算出方法について述べる。オフセットF204は歩行者部位領域の画像上でのサイズhである。路面からの高さ算出処理(R206)で計算した歩行者部位領域の高さをH、距離画像の各縦方向画素の平均距離をz、カメラ焦点距離をf、画素サイズをwとした際に、画像上での部位サイズhは、次の式h=(f*H)/(w*z)を満たす。そのため、F204に対して、上述した計算方法に対してオフセット量を計算し、F205に示す各歩行者部位領域の高さにおける路面高さ情報を算出する。オフセットF204を加えることで、F206に示すように、視野の非重複領域V101における歩行者部位領域の画像縦方向位置から路面高さ情報を取得することができる。
距離推定処理(R208)では、路面からの高さ算出処理(R206)で算出した歩行者部位領域の路面からの高さ、パーツ検出処理(R207)で検出した歩行者部位領域の画像上での検出領域情報、及び路面傾き推定処理(R209)で推定した路面の傾き情報から、車両から歩行者までの距離を算出する。図11を用いて、距離算出の方法に関して述べる。図11において、F211は歩行者、F212は車両、F213は車両に取り付けられたカメラ、F214はパーツ検出処理(R207)で検出した歩行者部位領域の画像上での検出領域情報(位置情報)、及びカメラの取り付け角度情報から計算できるカメラに対する歩行者部位領域への角度α、F215はカメラの設置高さH、F216は路面からの高さ算出処理(R206)で計算した歩行者部位領域の高さP、F217は路面傾き推定処理(R209)で取得した路面の高さ情報Rを示している。ここで、推定する歩行者までの距離ZはF218であり、次の式Z=(H-P-R)*Atan(α)を満たす。距離推定処理(R208)では、以上の計算方法に従い歩行者までの距離を算出する。
(作用効果)
以上より、本実施形態の物体認識装置2は、路面の形状(傾き)情報を算出し、算出した路面の形状(傾き)情報を参照し、歩行者までの距離を算出する。これにより、路面が傾いている場合に対しても、自車両から歩行者などの物体までの距離を正確に推定することができる。
以上より、本実施形態の物体認識装置2は、路面の形状(傾き)情報を算出し、算出した路面の形状(傾き)情報を参照し、歩行者までの距離を算出する。これにより、路面が傾いている場合に対しても、自車両から歩行者などの物体までの距離を正確に推定することができる。
[第3実施形態]
上述した第1実施形態の物体認識装置1では、同一部位の見え方がフレーム毎で変化しない、若しくはほとんど変化しないシーンについて説明したが、例えば夜間にヘッドライトに照らされた場合などにおいては、同一部位の見え方がフレーム毎に変化する場合がある。本実施形態の物体認識装置3は、そのようなシーンにおいても、周辺に存在する物体(歩行者など)までの距離を算出する。
上述した第1実施形態の物体認識装置1では、同一部位の見え方がフレーム毎で変化しない、若しくはほとんど変化しないシーンについて説明したが、例えば夜間にヘッドライトに照らされた場合などにおいては、同一部位の見え方がフレーム毎に変化する場合がある。本実施形態の物体認識装置3は、そのようなシーンにおいても、周辺に存在する物体(歩行者など)までの距離を算出する。
(機能ブロック構成例)
図12は、第3実施形態の物体認識装置3の構成を示す機能ブロック図である。
図12は、第3実施形態の物体認識装置3の構成を示す機能ブロック図である。
本実施形態の物体認識装置3は、センサ情報取得部300、画像取得部301、距離情報取得部302、重複領域物体検出部303、部位特定部304、画像情報保存部305、3次元情報取得部306、非重複領域物体検出部307、及び距離算出部308を有し、非重複領域物体検出部307が、時系列類似部位特定部309を有している。つまり、本第3実施形態の物体認識装置3と上述した第1実施形態の物体認識装置1との違いは、非重複領域物体検出部307における処理内容である。
センサ情報取得部300は、対象とするセンサのセンサ情報を取得・収集する。画像取得部301は、カメラにより撮像された画像データを取得する。距離情報取得部302では、センサ情報取得部300と画像取得部301のセンシング領域が重なった重複領域に対して距離情報を算出する。重複領域物体検出部303では、センサ情報取得部300と画像取得部301の視野を共有する領域(重複領域)から、距離情報取得部302で取得した距離情報に基づき物体を検出する。部位特定部304では、重複領域物体検出部303で検出した歩行者の画像情報に基づき、換言すれば、重複領域物体検出部303で検出した歩行者に該当する領域の画像を解析することで、歩行者における特定の部位領域を決定する。本例では、部位特定部304では、歩行者領域全体を特定するものとするが、歩行者領域の一部(図5参照)を特定してもよい。画像情報保存部305では、部位特定部304で検出・決定した歩行者部位領域に関する画像情報を保存する。
3次元情報取得部306では、距離情報取得部302で取得した距離情報、及び重複領域物体検出部303で検出した歩行者の画像情報に基づき、部位特定部304で特定した歩行者領域全体における各部位領域の3次元情報である路面からの高さ情報を算出する。
非重複領域物体検出部307では、画像情報保存部305に保存された歩行者部位領域の画像情報に基づき、視野の非重複領域における歩行者の部位領域を検出する。詳しくは、非重複領域物体検出部307の時系列類似部位特定部309では、画像情報保存部305に保存された過去の歩行者部位領域の画像情報を参照し、センサ情報取得部300と画像取得部301の視野を共有しない領域(非重複領域)から現在のフレームにおいて見え方の類似する部位領域(類似部位領域)を決定し、時系列で類似する部位領域(類似部位領域)の画像情報を画像情報保存部305に保存する。
距離算出部308では、非重複領域物体検出部307で検出した歩行者部位領域の画像上での検出領域情報(詳しくは、位置情報やサイズ情報)、及び3次元情報取得部306で算出した歩行者領域全体の距離情報を参照し、非重複領域物体検出部307で検出した歩行者部位領域(詳しくは、類似部位領域)を含む歩行者までの距離情報を算出する。
(動作例)
本実施形態の物体認識装置3の動作例を、図14のフローチャートを参照して説明する。対象とするシーンは、図13A、Bに示す交差点におけるシーンであり、走行環境は夜間であるものとする。図13AのG110は交差点通過前のカメラ視点であり、図13BのG111は交差点左折時のカメラ視点を示している。図13A、B中のF101は歩行者を示しており、V101、及びV102は視野の非重複領域を示しており、V100は視野の重複領域を示している。J101、及びJ102は、歩行者F101において、車両のヘッドライトにより照らされている部位を示している。J101、及びJ102でヘッドライトが照射されている部位が異なるのは、歩行者と車両の距離が変化することでヘッドライトの照射範囲が異なるためである。
本実施形態の物体認識装置3の動作例を、図14のフローチャートを参照して説明する。対象とするシーンは、図13A、Bに示す交差点におけるシーンであり、走行環境は夜間であるものとする。図13AのG110は交差点通過前のカメラ視点であり、図13BのG111は交差点左折時のカメラ視点を示している。図13A、B中のF101は歩行者を示しており、V101、及びV102は視野の非重複領域を示しており、V100は視野の重複領域を示している。J101、及びJ102は、歩行者F101において、車両のヘッドライトにより照らされている部位を示している。J101、及びJ102でヘッドライトが照射されている部位が異なるのは、歩行者と車両の距離が変化することでヘッドライトの照射範囲が異なるためである。
本動作例における図14のフローチャートにより実施される処理と上述した第1実施形態における図4のフローチャートにより実施される処理との差異は、図14の3次元情報取得部306による歩行者高さ算出処理(R306)、非重複領域物体検出部307(の時系列類似部位特定部309)による複数パーツスキャン処理(R307A)、画像情報保存部305による部位情報更新処理(R307B)、距離算出部308による距離推定処理(R308)である。そのため、以降では、相違点である図14における歩行者高さ算出処理(R306)、複数パーツスキャン処理(R307A)、部位情報更新処理(R307B)、距離推定処理(R308)に関して詳細に述べる。
歩行者高さ算出処理(R306)では、距離画像生成処理(R302)で生成した距離画像、及び重複領域歩行者検出処理(R303)で検出した歩行者領域情報から、輝度解析処理(R304)で特定した歩行者領域全体における各部位領域の路面からの高さ情報を算出する。図15に、歩行者高さ算出処理(R306)で算出する路面からの高さ情報の概念図を示す。図15において、歩行者F101に対して、重複領域歩行者検出処理(R303)で検出した歩行者領域をF301に示す。歩行者高さ算出処理(R306)では、図15に示すように歩行者領域F301における各部位領域に対する路面からの高さ情報を算出しておき、各部位領域と路面からの高さ情報を記憶する。図15では部位領域と路面からの高さ情報が等間隔に図示されているが、等間隔でなくてもよく、部位領域と路面からの高さのいかなる関係性の算出、及び情報の記録もできる。
複数パーツスキャン処理(R307A)では、テクスチャ保存処理(R305)で保存された過去の部位情報を利用し、非重複領域V101から現在フレームにおける歩行者部位領域を特定する。その際、過去の部位情報を複数の部位領域に分け、現在フレームに対してラスタースキャンを実施し、過去フレームと現在フレームにおいて類似した部位領域(類似部位領域)の検出を行う。すなわち、現在フレームにおいてテクスチャ保存処理(R305)で保存された過去フレームの歩行者部位領域の一部を有する類似部位領域の検出を非重複領域V101から行う。図16に、過去の部位情報(歩行者部位領域)の分割の概念図を示す。F101は歩行者を示しており、J101は輝度解析処理(R304)により検出され、テクスチャ保存処理(R305)で保存された明るく撮像された歩行者部位領域を示している。複数パーツスキャン処理(R307A)では、J101の歩行者部位領域をT301に示すように複数の歩行者部位領域に分割する。分割方法は、画像上での部位領域をサイズに応じて分割してもよいし、1画素ずつ上下方向に小さく切りだしてもよい。複数パーツスキャン処理(R307A)では、T301に示す複数の歩行者部位領域(分割した歩行者部位領域)をテンプレートとし、現在フレームに対してラスタースキャンを実施する。複数テンプレートの相関値に対するピーク値を求めることで、現在フレームと過去フレームにおける類似部位領域を特定、及び現在フレームにおける類似部位領域を検出する。また、テンプレートを走査する際に、テンプレートのサイズを変更してラスタースキャンする。
部位情報更新処理(R307B)では、複数パーツスキャン処理(R307A)で特定した過去フレームと現在フレームにおける類似部位領域の画像情報を保存・更新する。
距離推定処理(R308)では、歩行者高さ算出処理(R306)で算出した歩行者領域全体における部位領域と路面からの高さの関係性、複数パーツスキャン処理(R307A)で検出した部位領域情報に基づき、歩行者までの距離を算出する。初めに、複数パーツスキャン処理(R307A)で特定した現在フレームにおける歩行者部位領域の路面からの高さ情報を取得する。具体的には、現在フレームで検出した部位領域が歩行者領域全体においてどこに対応するかを求め、歩行者高さ算出処理(R306)で計算した部位領域と路面からの高さの関係性を参照することで、現在フレームで特定した部位領域の路面からの高さ情報を取得する。次に、現在フレームで検出した部位領域の路面からの高さ、複数パーツスキャン処理(R307A)で推定した部位領域の画像上での位置、及びカメラの設置位置と角度情報から、歩行者までの距離を推定する。
(作用効果)
以上より、本実施形態の物体認識装置3は、非重複領域においてフレーム毎に過去フレームと現在フレームで共通する部位領域を利用し、歩行者までの距離を推定する。夜間のヘッドライトに照らされた歩行者などは車両の移動に伴い異なる部位に光が照射されるため、同一部位の見え方はフレーム毎に変化する。そのため、常時同一箇所の検出は困難となる可能性があるが、過去フレームと現在フレームで見え方の類似する部位情報(類似部位領域)を利用して検出を実施することで、部位の見え方が時間的に変化する場合にも安定的に検出することができ、自車両から歩行者などの物体までの距離を精度高く推定することができる。
以上より、本実施形態の物体認識装置3は、非重複領域においてフレーム毎に過去フレームと現在フレームで共通する部位領域を利用し、歩行者までの距離を推定する。夜間のヘッドライトに照らされた歩行者などは車両の移動に伴い異なる部位に光が照射されるため、同一部位の見え方はフレーム毎に変化する。そのため、常時同一箇所の検出は困難となる可能性があるが、過去フレームと現在フレームで見え方の類似する部位情報(類似部位領域)を利用して検出を実施することで、部位の見え方が時間的に変化する場合にも安定的に検出することができ、自車両から歩行者などの物体までの距離を精度高く推定することができる。
なお、上に記載した実施形態では、センサ情報取得部で対象とするセンサとして単眼カメラを想定して記載したが、ステレオカメラ、ミリ波、レーザーレーダなどにも適用可能である。また、センサ情報取得部や画像取得部で車両の前方をセンシングする想定で上に記載した実施形態を説明したが、前方に限定するものではなく、後方や側方にも本発明は適用することができる。
以上、第1実施形態、第2実施形態、及び第3実施形態を参照して本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明のスコープ内で当事者が理解し得る様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1 物体認識装置(第1実施形態)
2 物体認識装置(第2実施形態)
3 物体認識装置(第3実施形態)
100、200、300 センサ情報取得部
101、201、301 画像取得部
102、202、302 距離情報取得部
103、203、303 重複領域物体検出部
104、204、304 部位特定部
105、205、305 画像情報保存部
106、206、306 3次元情報取得部
107、207、307 非重複領域物体検出部
108、208、308 距離算出部
209 路面推定部
309 時系列類似部位特定部
2 物体認識装置(第2実施形態)
3 物体認識装置(第3実施形態)
100、200、300 センサ情報取得部
101、201、301 画像取得部
102、202、302 距離情報取得部
103、203、303 重複領域物体検出部
104、204、304 部位特定部
105、205、305 画像情報保存部
106、206、306 3次元情報取得部
107、207、307 非重複領域物体検出部
108、208、308 距離算出部
209 路面推定部
309 時系列類似部位特定部
Claims (7)
- 周辺をセンシングしたセンサ情報を取得するセンサ情報取得部と、
周辺を撮像した画像を取得する画像取得部と、
前記センサ情報取得部と前記画像取得部のセンシング領域が重なった重複領域に対して距離情報を取得する距離情報取得部と、
前記距離情報取得部で取得した距離情報に基づいて前記重複領域から物体を検出する重複領域物体検出部と、
前記重複領域物体検出部で検出した前記物体に該当する領域の画像を解析することで前記物体における特定の部位領域を決定する部位特定部と、
前記部位特定部で決定した部位領域に関する画像情報を保存する画像情報保存部と、
前記距離情報取得部で取得した前記距離情報に基づき前記部位特定部で特定した部位領域の3次元情報を取得する3次元情報取得部と、
前記センサ情報取得部と前記画像取得部のセンシング領域が重複しない非重複領域に対して前記画像情報保存部に保存された画像情報を参照し、前記部位特定部で特定した部位領域又は前記部位特定部で特定した部位領域の一部を有する類似部位領域を検出する非重複領域物体検出部と、
前記非重複領域物体検出部で検出した前記部位領域又は前記類似部位領域の画像上での検出領域情報、及び前記3次元情報取得部で取得した3次元情報に基づき、前記部位領域又は前記類似部位領域を含む物体までの距離を算出する距離算出部と、を備えることを特徴とする物体認識装置。 - 前記3次元情報取得部で取得する3次元情報は、前記部位特定部で決定した部位領域の路面からの高さであることを特徴とする、請求項1に記載の物体認識装置。
- 前記距離情報取得部で取得した距離情報に基づいて路面の形状を推定する路面推定部をさらに有し、
前記距離算出部は、前記非重複領域物体検出部で検出した前記部位領域又は前記類似部位領域の画像上での検出領域情報、前記3次元情報取得部で取得した3次元情報、及び前記路面推定部で推定した路面形状情報に基づき、前記部位領域又は前記類似部位領域を含む物体までの距離を算出することを特徴とする、請求項2に記載の物体認識装置。 - 前記3次元情報取得部で取得する3次元情報は、前記部位特定部で決定した部位領域の高さ、若しくは幅の実寸であることを特徴とする、請求項1に記載の物体認識装置。
- 前記部位特定部は、画像の輝度値を解析し、明暗のコントラスト変化に基づき、前記部位領域を決定することを特徴とする、請求項1に記載の物体認識装置。
- 前記画像情報保存部に格納された過去フレームの部位領域と現在フレームにおいて見え方の類似する前記類似部位領域を決定する時系列類似部位特定部をさらに有し、
前記画像情報保存部は、前記時系列類似部位特定部で決定した前記類似部位領域の画像情報を保存することを特徴とする、請求項1に記載の物体認識装置。 - 前記時系列類似部位特定部は、前記画像情報保存部に格納された過去フレームの部位領域を複数の部位領域に分割し、現在フレームにおいて前記分割した部位領域に対応した前記類似部位領域を決定することを特徴とする、請求項6に記載の物体認識装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019185036A JP7225074B2 (ja) | 2019-10-08 | 2019-10-08 | 物体認識装置 |
DE112020004301.0T DE112020004301T5 (de) | 2019-10-08 | 2020-09-08 | Objekterkennungsvorrichtung |
US17/767,043 US20220366700A1 (en) | 2019-10-08 | 2020-09-08 | Object recognition device |
PCT/JP2020/033885 WO2021070537A1 (ja) | 2019-10-08 | 2020-09-08 | 物体認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019185036A JP7225074B2 (ja) | 2019-10-08 | 2019-10-08 | 物体認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021060844A JP2021060844A (ja) | 2021-04-15 |
JP7225074B2 true JP7225074B2 (ja) | 2023-02-20 |
Family
ID=75380495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019185036A Active JP7225074B2 (ja) | 2019-10-08 | 2019-10-08 | 物体認識装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220366700A1 (ja) |
JP (1) | JP7225074B2 (ja) |
DE (1) | DE112020004301T5 (ja) |
WO (1) | WO2021070537A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022037448A (ja) * | 2020-08-25 | 2022-03-09 | スズキ株式会社 | 運転支援装置 |
JP7371659B2 (ja) | 2021-03-31 | 2023-10-31 | トヨタ自動車株式会社 | 蓄電装置 |
JP2023076169A (ja) * | 2021-11-22 | 2023-06-01 | 日立Astemo株式会社 | 画像処理装置 |
JP2023078934A (ja) * | 2021-11-26 | 2023-06-07 | 日立Astemo株式会社 | 外界認識装置 |
CN113978468A (zh) * | 2021-12-16 | 2022-01-28 | 诺博汽车***有限公司 | 基于积水环境的车速控制方法、装置、设备以及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015195018A (ja) | 2014-03-18 | 2015-11-05 | 株式会社リコー | 画像処理装置、画像処理方法、運転支援システム、プログラム |
JP2015231179A (ja) | 2014-06-06 | 2015-12-21 | 富士重工業株式会社 | 車外環境認識装置 |
WO2017090410A1 (ja) | 2015-11-25 | 2017-06-01 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5011049B2 (ja) * | 2007-09-28 | 2012-08-29 | 日立オートモティブシステムズ株式会社 | 画像処理システム |
JP5251800B2 (ja) | 2009-09-16 | 2013-07-31 | 株式会社豊田中央研究所 | 対象物追跡装置及びプログラム |
-
2019
- 2019-10-08 JP JP2019185036A patent/JP7225074B2/ja active Active
-
2020
- 2020-09-08 WO PCT/JP2020/033885 patent/WO2021070537A1/ja active Application Filing
- 2020-09-08 US US17/767,043 patent/US20220366700A1/en active Pending
- 2020-09-08 DE DE112020004301.0T patent/DE112020004301T5/de active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015195018A (ja) | 2014-03-18 | 2015-11-05 | 株式会社リコー | 画像処理装置、画像処理方法、運転支援システム、プログラム |
JP2015231179A (ja) | 2014-06-06 | 2015-12-21 | 富士重工業株式会社 | 車外環境認識装置 |
WO2017090410A1 (ja) | 2015-11-25 | 2017-06-01 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220366700A1 (en) | 2022-11-17 |
DE112020004301T5 (de) | 2022-08-25 |
WO2021070537A1 (ja) | 2021-04-15 |
JP2021060844A (ja) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7225074B2 (ja) | 物体認識装置 | |
US11170466B2 (en) | Dense structure from motion | |
US9536155B2 (en) | Marking line detection system and marking line detection method of a distant road surface area | |
US11138750B2 (en) | Distance estimating method and apparatus | |
EP2463843A2 (en) | Method and system for forward collision warning | |
JP2007156626A (ja) | 物体種別判定装置及び物体種別判定方法 | |
JP4875681B2 (ja) | 障害物を認識する方法 | |
JP4893212B2 (ja) | 周辺監視装置 | |
JP2003296736A (ja) | 障害物検知装置及びその方法 | |
JP2004117078A (ja) | 障害物検出装置及び方法 | |
CN110555407B (zh) | 路面车辆空间识别方法及电子设备 | |
JP2007234019A (ja) | 車両画像領域特定装置およびその方法 | |
JP6237874B2 (ja) | 自己位置算出装置及び自己位置算出方法 | |
JP2009053818A (ja) | 画像処理装置及びその方法 | |
Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
CN109886064A (zh) | 确定可驾驶空间的边界的方法 | |
JP5521217B2 (ja) | 障害物検出装置、及び障害物検出方法 | |
JPH1144533A (ja) | 先行車両検出装置 | |
US20180105173A1 (en) | Vehicle display device and vehicle display method for displaying images | |
JP2016162130A (ja) | 横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラム | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
JP7134780B2 (ja) | ステレオカメラ装置 | |
JPH11205663A (ja) | 車両用撮像装置の露光量制御装置 | |
JP2007233487A (ja) | 歩行者検出方法、装置、およびプログラム | |
CN110161523A (zh) | 估计墙壁位置及激活机动车的矩阵式大灯***的主动三角测量的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7225074 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |