JP2011048485A - 物標検出装置および物標検出方法 - Google Patents
物標検出装置および物標検出方法 Download PDFInfo
- Publication number
- JP2011048485A JP2011048485A JP2009194659A JP2009194659A JP2011048485A JP 2011048485 A JP2011048485 A JP 2011048485A JP 2009194659 A JP2009194659 A JP 2009194659A JP 2009194659 A JP2009194659 A JP 2009194659A JP 2011048485 A JP2011048485 A JP 2011048485A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- feature
- distance
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】記憶部4には、対象物の認識に用いるトレーニング用および参照用の特徴量(ポジティプデータ、ネガティブデータ)として、画像中のROIの大きさを考慮して、複数の画像サイズのものが記憶されている。制御部4では、複数の参照用の特徴量のうち、特徴量の距離(サイズ)に対応した特徴量が選択された上で、マッチングが行われる。これにより、ステレオカメラ2から得られたROIの2次元画像の距離(サイズ)が、あらかじめ用意された参照用の特徴量の距離(サイズ)と大きく異なることをなくすることができる。
【選択図】図1
Description
(A)複数の第1の特徴量と、複数の第2の特徴量と、各第1の特徴量と対応付けられた第1の距離情報と、各第2の特徴量と対応付けられた第2の距離情報とを用意する用意ステップ
なお、上記の複数の第1の特徴量は、上記の第1の物標検出装置における複数の第1の特徴量と同一である。上記の複数の第2の特徴量は、上記の第1の物標検出装置における複数の第2の特徴量と同一である。
(B)距離取得手段から得られた第3の距離情報と、第3の撮像手段から得られた第3の前方画像とから、第3の前方画像に含まれる物標候補領域の第3の2次元画像を切り出したのち、第3の2次元画像から第3の特徴量を抽出すると共に、第3の特徴量に対応する距離情報を第3の距離情報から抽出する特徴量抽出ステップ
(C)複数の第1の特徴量のうち第3の特徴量に対応する距離情報と同一もしくは近い第1の距離情報と対応付けられた第1の特徴量と、複数の第2の特徴量のうち第3の特徴量に対応する距離情報と同一もしくは近い第2の距離情報と対応付けられた第2の特徴量と、第3の特徴量とに基づいて、物標候補領域に含まれる物標候補の識別を行う識別処理ステップ
(A)複数の第1の特徴量と、複数の第2の特徴量と、各第1の特徴量と対応付けられた第1のサイズ情報と、各第2の特徴量と対応付けられた第2のサイズ情報とを用意する用意ステップ
なお、上記の複数の第1の特徴量は、上記の第2の物標検出装置における複数の第1の特徴量と同一である。上記の複数の第2の特徴量は、上記の第2の物標検出装置における複数の第2の特徴量と同一である。
(B)距離取得手段から得られた第3の距離情報と、第3の撮像手段から得られた第3の前方画像とから、第3の前方画像に含まれる物標候補領域の第3の2次元画像を切り出したのち、第3の2次元画像から第3の特徴量を抽出すると共に、第3の特徴量に対応する距離情報を第3の距離情報から抽出し、抽出した距離情報を第3のサイズ情報に変換する特徴量抽出ステップ
(C)複数の第1の特徴量のうち第3のサイズ情報と同一もしくは近い第1のサイズ情報と対応付けられた第1の特徴量と、複数の第2の特徴量のうち第3のサイズ情報と同一もしくは近い第2のサイズ情報と対応付けられた第2の特徴量と、第3の特徴量とに基づいて、物標候補領域に含まれる物標候補の識別を行う識別処理ステップ
制御部3は、まず、2次元画像上におけるROIを検出する(ステップS1)。
制御部3は、次に、距離(またはサイズ)の補正がなされた後のROIの2次元画像(以下、単に「補正後のROIの2次元画像」と称する)から、物標の特徴量を抽出する(ステップS2)。ここで、物標の特徴量とは、物標の形状に関する情報を指す。
制御部3は、次に、ROIの2次元画像から抽出した物標の特徴量を用いて、ROIの2次元画像に含まれる物標候補の識別を行う。具体的には、制御部3は、ROIの2次元画像から抽出した物標の特徴量を用いて、対象物(例えば歩行者)の検出(識別処理)を行う(ステップS3)。
制御部3は、引き続き、上記の各ステップ(ROIの検出、特徴量の抽出、対象物の検出)を繰り返し実行し、相関スコアを更新する(ステップS4)。その結果、制御部3は、ある物標候補において、第1相関スコアの方が第2相関スコアよりも、特徴量の相関が更新の度に大きくなっている場合には、例えば、その物標候補は対象物であると判定する。また、制御部3は、ある物標候補において、相関スコアが変動しない、もしくは、第2相関スコアの方が第1相関スコアよりも、特徴量の相関が更新の度に大きくなっている場合には、例えば、その物標候補は非対象物であると判定する。
まず、トレーナが、トレーニング用の特徴ベクトルとして、図3に示したようなデータセットを用意する。このデータセットには、物標として歩行者を含んだ複数の2次元画像から得られた特徴量と、物標として歩行者以外のもの(例えば自動車、バイク、障害物)を含んだ複数の2次元画像から得られた特徴量とが含まれている。なお、図中の「歩行者」とは物標として歩行者を含んだ複数の2次元画像から得られた特徴量を指している。また、図中の「非歩行者」とは物標として歩行者以外のものを含んだ複数の2次元画像から得られた特徴量を指している。本実施の形態では、トレーニング用の特徴量のサイズとして複数種類が設けられており、例えば、図3に示したように、24×38、40×80、56×112の3種類が設けられている。なお、図中の数字(例えば2939や1261)は、トレーニング用の特徴量の数を示している。
Claims (6)
- 第1の撮像手段から得られた複数の第1の前方画像から、距離の互いに異なる対象物を1つずつ含む複数の第1の2次元画像が切り出され、切り出された複数の第1の2次元画像から得られた複数の第1の特徴量と、第2の撮像手段から得られた複数の第2の前方画像から、距離の互いに異なる非対象物を1つずつ含む複数の第2の2次元画像が切り出され、切り出された複数の第2の2次元画像から得られた複数の第2の特徴量と、前記各第1の特徴量と対応付けられた第1の距離情報と、前記各第2の特徴量と対応付けられた第2の距離情報とを記憶する記憶手段と、
距離取得手段から得られた第3の距離情報と、第3の撮像手段から得られた第3の前方画像とから、前記第3の前方画像に含まれる物標候補領域の第3の2次元画像を切り出したのち、前記第3の2次元画像から第3の特徴量を抽出すると共に、前記第3の特徴量に対応する距離情報を前記第3の距離情報から抽出する特徴量抽出手段と、
前記複数の第1の特徴量のうち前記第3の特徴量に対応する距離情報と同一もしくは近い第1の距離情報と対応付けられた第1の特徴量と、前記複数の第2の特徴量のうち前記第3の特徴量に対応する距離情報と同一もしくは近い第2の距離情報と対応付けられた第2の特徴量と、前記第3の特徴量とに基づいて、前記物標候補領域に含まれる物標候補の識別を行う識別処理手段と
を備えた物標検出装置。 - 前記識別処理手段は、前記第1の特徴量と前記第3の特徴量とのマッチングを行い、その結果から第1相関スコアを導出すると共に、前記第2の特徴量と前記第3の特徴量とのマッチングを行い、その結果から第2相関スコアを導出し、その後、前記第1相関スコアおよび前記第2相関スコアに基づいて前記物標候補領域に含まれる物標候補の識別を行う
請求項1に記載の物標検出装置。 - 第1の撮像手段から得られた複数の第1の前方画像から、サイズの互いに異なる対象物を1つずつ含む複数の第1の2次元画像が切り出され、切り出された複数の第1の2次元画像から得られた複数の第1の特徴量と、第2の撮像手段から得られた複数の第2の前方画像から、サイズの互いに異なる非対象物を1つずつ含む複数の第2の2次元画像が切り出され、切り出された複数の第2の2次元画像から得られた複数の第2の特徴量と、前記各第1の特徴量と対応付けられた第1のサイズ情報と、前記各第2の特徴量と対応付けられた第2のサイズ情報とを記憶する記憶手段と、
距離取得手段から得られた第3の距離情報と、第3の撮像手段から得られた第3の前方画像とから、前記第3の前方画像に含まれる物標候補領域の第3の2次元画像を切り出したのち、前記第3の2次元画像から第3の特徴量を抽出すると共に、前記第3の特徴量に対応する距離情報を前記第3の距離情報から抽出し、抽出した距離情報を第3のサイズ情報に変換する特徴量抽出手段と、
前記複数の第1の特徴量のうち前記第3のサイズ情報と同一もしくは近い第1のサイズ情報と対応付けられた第1の特徴量と、前記複数の第2の特徴量のうち前記第3のサイズ情報と同一もしくは近い第2のサイズ情報と対応付けられた第2の特徴量と、前記第3の特徴量とに基づいて、前記物標候補領域に含まれる物標候補の識別を行う識別処理手段と
を備えた物標検出装置。 - 第1の撮像手段から得られた複数の第1の前方画像から、距離の互いに異なる対象物を1つずつ含む複数の第1の2次元画像が切り出され、切り出された複数の第1の2次元画像から得られた複数の第1の特徴量と、第2の撮像手段から得られた複数の第2の前方画像から、距離の互いに異なる非対象物を1つずつ含む複数の第2の2次元画像が切り出され、切り出された複数の第2の2次元画像から得られた複数の第2の特徴量と、前記各第1の特徴量と対応付けられた第1の距離情報と、前記各第2の特徴量と対応付けられた第2の距離情報とを用意する用意ステップと、
距離取得手段から得られた第3の距離情報と、第3の撮像手段から得られた第3の前方画像とから、前記第3の前方画像に含まれる物標候補領域の第3の2次元画像を切り出したのち、前記第3の2次元画像から第3の特徴量を抽出すると共に、前記第3の特徴量に対応する距離情報を前記第3の距離情報から抽出する特徴量抽出ステップと、
前記複数の第1の特徴量のうち前記第3の特徴量に対応する距離情報と同一もしくは近い第1の距離情報と対応付けられた第1の特徴量と、前記複数の第2の特徴量のうち前記第3の特徴量に対応する距離情報と同一もしくは近い第2の距離情報と対応付けられた第2の特徴量と、前記第3の特徴量とに基づいて、前記物標候補領域に含まれる物標候補の識別を行う識別処理ステップと
を含む物標検出方法。 - 前記識別処理ステップにおいて、前記第1の特徴量と前記第3の特徴量とのマッチングを行い、その結果から第1相関スコアを導出すると共に、前記第2の特徴量と前記第3の特徴量とのマッチングを行い、その結果から第2相関スコアを導出し、その後、前記第1相関スコアおよび前記第2相関スコアに基づいて前記物標候補領域に含まれる物標候補の識別を行う
請求項4に記載の物標検出方法。 - 第1の撮像手段から得られた複数の第1の前方画像から、サイズの互いに異なる対象物を1つずつ含む複数の第1の2次元画像が切り出され、切り出された複数の第1の2次元画像から得られた複数の第1の特徴量と、第2の撮像手段から得られた複数の第2の前方画像から、サイズの互いに異なる非対象物を1つずつ含む複数の第2の2次元画像が切り出され、切り出された複数の第2の2次元画像から得られた複数の第2の特徴量と、前記各第1の特徴量と対応付けられた第1のサイズ情報と、前記各第2の特徴量と対応付けられた第2のサイズ情報とを用意する用意ステップと、
距離取得手段から得られた第3の距離情報と、第3の撮像手段から得られた第3の前方画像とから、前記第3の前方画像に含まれる物標候補領域の第3の2次元画像を切り出したのち、前記第3の2次元画像から第3の特徴量を抽出すると共に、前記第3の特徴量に対応する距離情報を前記第3の距離情報から抽出し、抽出した距離情報を第3のサイズ情報に変換する特徴量抽出ステップと、
前記複数の第1の特徴量のうち前記第3のサイズ情報と同一もしくは近い第1のサイズ情報と対応付けられた第1の特徴量と、前記複数の第2の特徴量のうち前記第3のサイズ情報と同一もしくは近い第2のサイズ情報と対応付けられた第2の特徴量と、前記第3の特徴量とに基づいて、前記物標候補領域に含まれる物標候補の識別を行う識別処理ステップと
を含む物標検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009194659A JP5598694B2 (ja) | 2009-08-25 | 2009-08-25 | 物標検出装置および物標検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009194659A JP5598694B2 (ja) | 2009-08-25 | 2009-08-25 | 物標検出装置および物標検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011048485A true JP2011048485A (ja) | 2011-03-10 |
JP5598694B2 JP5598694B2 (ja) | 2014-10-01 |
Family
ID=43834761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009194659A Expired - Fee Related JP5598694B2 (ja) | 2009-08-25 | 2009-08-25 | 物標検出装置および物標検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5598694B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012002720A (ja) * | 2010-06-18 | 2012-01-05 | Oki Electric Ind Co Ltd | 情報処理装置、認識システム、認識方法、及びプログラム |
KR20150106629A (ko) * | 2014-03-12 | 2015-09-22 | 에스케이플래닛 주식회사 | 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
JP2015187855A (ja) * | 2014-03-07 | 2015-10-29 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 多範囲オブジェクト検出装置および方法 |
JP2016001462A (ja) * | 2014-04-07 | 2016-01-07 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | オブジェクトと車両との間の距離を算出するためのシステムおよび方法 |
JP2016009474A (ja) * | 2014-06-26 | 2016-01-18 | 株式会社リコー | 物体識別システム、情報処理装置、情報処理方法及びプログラム |
JP2017054304A (ja) * | 2015-09-09 | 2017-03-16 | 株式会社東芝 | 識別装置及び認証システム |
CN110969058A (zh) * | 2018-09-30 | 2020-04-07 | 长城汽车股份有限公司 | 用于环境目标的融合方法及装置 |
JP2021060368A (ja) * | 2019-10-09 | 2021-04-15 | 株式会社デンソー | 物体認識装置 |
CN113673585A (zh) * | 2021-08-02 | 2021-11-19 | 大连海事大学 | 一种路面破损检测方法及*** |
CN115248447A (zh) * | 2021-09-29 | 2022-10-28 | 上海仙途智能科技有限公司 | 一种基于激光点云的路沿识别方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006031388A (ja) * | 2004-07-15 | 2006-02-02 | Yamaha Motor Co Ltd | 画像類似度演算装置およびそれを利用した画像認識装置、画像類似度演算方法およびそれを利用した画像認識方法、ならびに画像照合用コンピュータプログラムおよびそれを記録した記録媒体 |
JP2006153777A (ja) * | 2004-11-30 | 2006-06-15 | Honda Motor Co Ltd | 車両周辺監視装置 |
JP2007235414A (ja) * | 2006-02-28 | 2007-09-13 | Toyota Motor Corp | 画像認識システムおよび画像認識方法 |
JP2007310805A (ja) * | 2006-05-22 | 2007-11-29 | Matsushita Electric Ind Co Ltd | 物体認識装置 |
-
2009
- 2009-08-25 JP JP2009194659A patent/JP5598694B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006031388A (ja) * | 2004-07-15 | 2006-02-02 | Yamaha Motor Co Ltd | 画像類似度演算装置およびそれを利用した画像認識装置、画像類似度演算方法およびそれを利用した画像認識方法、ならびに画像照合用コンピュータプログラムおよびそれを記録した記録媒体 |
JP2006153777A (ja) * | 2004-11-30 | 2006-06-15 | Honda Motor Co Ltd | 車両周辺監視装置 |
JP2007235414A (ja) * | 2006-02-28 | 2007-09-13 | Toyota Motor Corp | 画像認識システムおよび画像認識方法 |
JP2007310805A (ja) * | 2006-05-22 | 2007-11-29 | Matsushita Electric Ind Co Ltd | 物体認識装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012002720A (ja) * | 2010-06-18 | 2012-01-05 | Oki Electric Ind Co Ltd | 情報処理装置、認識システム、認識方法、及びプログラム |
JP2015187855A (ja) * | 2014-03-07 | 2015-10-29 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 多範囲オブジェクト検出装置および方法 |
KR20150106629A (ko) * | 2014-03-12 | 2015-09-22 | 에스케이플래닛 주식회사 | 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
KR102213867B1 (ko) * | 2014-03-12 | 2021-02-08 | 에스케이플래닛 주식회사 | 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
JP2016001462A (ja) * | 2014-04-07 | 2016-01-07 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | オブジェクトと車両との間の距離を算出するためのシステムおよび方法 |
JP2016009474A (ja) * | 2014-06-26 | 2016-01-18 | 株式会社リコー | 物体識別システム、情報処理装置、情報処理方法及びプログラム |
JP2017054304A (ja) * | 2015-09-09 | 2017-03-16 | 株式会社東芝 | 識別装置及び認証システム |
CN110969058B (zh) * | 2018-09-30 | 2023-05-05 | 毫末智行科技有限公司 | 用于环境目标的融合方法及装置 |
CN110969058A (zh) * | 2018-09-30 | 2020-04-07 | 长城汽车股份有限公司 | 用于环境目标的融合方法及装置 |
JP2021060368A (ja) * | 2019-10-09 | 2021-04-15 | 株式会社デンソー | 物体認識装置 |
JP7099426B2 (ja) | 2019-10-09 | 2022-07-12 | 株式会社デンソー | 物体認識装置 |
WO2021070713A1 (ja) * | 2019-10-09 | 2021-04-15 | 株式会社デンソー | 物体認識装置 |
CN113673585A (zh) * | 2021-08-02 | 2021-11-19 | 大连海事大学 | 一种路面破损检测方法及*** |
CN113673585B (zh) * | 2021-08-02 | 2023-06-20 | 大连海事大学 | 一种路面破损检测方法及*** |
CN115248447A (zh) * | 2021-09-29 | 2022-10-28 | 上海仙途智能科技有限公司 | 一种基于激光点云的路沿识别方法及*** |
CN115248447B (zh) * | 2021-09-29 | 2023-06-02 | 上海仙途智能科技有限公司 | 一种基于激光点云的路沿识别方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP5598694B2 (ja) | 2014-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5598694B2 (ja) | 物標検出装置および物標検出方法 | |
CN112560972B (zh) | 基于毫米波雷达先验定位和视觉特征融合的目标检测方法 | |
US11003921B2 (en) | Apparatus and method for distinguishing false target in vehicle and vehicle including the same | |
KR102109941B1 (ko) | 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치 | |
EP3229041B1 (en) | Object detection using radar and vision defined image detection zone | |
EP2889641B1 (en) | Image processing apparatus, image processing method, program and image processing system | |
JP5407898B2 (ja) | 対象物検出装置及びプログラム | |
US11747444B2 (en) | LiDAR-based object detection and classification | |
US9429650B2 (en) | Fusion of obstacle detection using radar and camera | |
JP5145585B2 (ja) | 物標検出装置 | |
JP6819996B2 (ja) | 交通信号認識方法および交通信号認識装置 | |
US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
US20100191391A1 (en) | multiobject fusion module for collision preparation system | |
CN111045000A (zh) | 监测***和方法 | |
KR102374211B1 (ko) | 객체 인식 방법 및 이를 수행하는 객체 인식 장치 | |
JP2003084064A (ja) | 前方車両の認識装置及び認識方法 | |
WO2018215861A1 (en) | System and method for pedestrian detection | |
JP2009237898A (ja) | 画像認識装置 | |
CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
JP2017009572A (ja) | 車載レーダ装置及び領域検出方法 | |
Ponsa et al. | On-board image-based vehicle detection and tracking | |
JP6411933B2 (ja) | 車両状態判定装置 | |
CN108629225B (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 | |
US10839522B2 (en) | Adaptive data collecting and processing system and methods | |
JP7418476B2 (ja) | 運転可能な領域情報を決定するための方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120822 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140717 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140722 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140730 |
|
LAPS | Cancellation because of no payment of annual fees |