JP6983334B2 - 画像認識装置 - Google Patents
画像認識装置 Download PDFInfo
- Publication number
- JP6983334B2 JP6983334B2 JP2020546756A JP2020546756A JP6983334B2 JP 6983334 B2 JP6983334 B2 JP 6983334B2 JP 2020546756 A JP2020546756 A JP 2020546756A JP 2020546756 A JP2020546756 A JP 2020546756A JP 6983334 B2 JP6983334 B2 JP 6983334B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- recognition
- image
- area
- recognition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明の第2の態様による画像認識装置は、撮像部によって撮像された画像上に設定された立体物の検知領域を、前記立体物の第1の特性情報に基づいて前記画像上で拡大もしくは縮小することで、前記画像上に立体物領域を設定する立体物領域設定部と、前記立体物領域設定部によって求めた前記立体物領域を基準サイズとして、前記立体物の第2の特性情報に基づいて、複数のサイズの認識領域を定める認識倍率設定部と、前記認識倍率設定部で定めた複数の前記認識領域に対して、前記立体物の第3の特性情報に基づいて前記認識領域よりも広い複数の走査領域を設定する走査領域設定部と、前記走査領域設定部で設定された前記走査領域を用いて、前記立体物の種別を特定する認識処理を行う認識処理部と、を備える。
本発明の第3の態様による画像認識装置は、撮像部によって撮像された画像上に設定された立体物の検知領域に対して、前記立体物の検知特性情報に基づいて前記立体物の検知領域を拡大もしくは縮小して立体物領域を設定する立体物領域設定部と、前記立体物領域設定部により設定された前記立体物領域に対して前記立体物の種別を特定する認識処理を行う認識処理部と、前記立体物領域設定部によって求めた前記立体物領域を基準サイズとして、前記立体物の認識特性情報に基づいて、複数のサイズの認識領域を定める認識倍率設定部と、を備え、前記認識処理部は、前記認識倍率設定部で定められた複数のサイズの前記認識領域に対して、それぞれに前記認識処理を行う。
画像認識装置100に備えられた左カメラ101と右カメラ102とにより画像が撮像され、撮像された画像情報203、204のそれぞれについて、撮像素子が持つ固有の癖を吸収するための補正などの画像処理205を行う。画像処理205の処理結果は画像バッファ206に蓄えられる。画像バッファ206は、図1の記憶部106に設けられる。
立体物領域設定処理401では、検知処理208によって得られた立体物の検知領域301を、立体物の検知特性情報に基づいて拡大もしくは縮小して立体物領域501を設定する。
また、この拡大縮小による立体物領域501のサイズは、3次元空間上の距離と画素の関係から、検知領域301と同一になる場合もある。
次に、図4に示す認識倍率設定処理402について説明する。
立体物領域設定処理401で設定された立体物領域501を認識処理209の基準サイズとすると、この基準サイズが認識のための最適な認識領域とは限らない。そこで、認識倍率設定処理402では、立体物の認識特性情報を用いて複数のサイズの認識領域を定める。この時、最適な認識領域は不明であることから、基準サイズを元に認識領域を拡大もしくは縮小して、複数のサイズの認識領域を定める。認識特性情報は、例えば、(1)立体物との距離、(2)立体物の大きさ、(3)立体物の限界サイズ、(4)センサ分解能などである。以下に、これらの認識特性情報について説明する。
図7に示すように、認識領域(501、601、602)を後段の認識処理を実施する場合において正規化する領域を定めている。認識領域は、後述の認識処理において、認識処理を行う範囲を示すものである。認識領域501は基準サイズ、認識領域601は、基準サイズを縮小した認識倍率の小さい認識領域、認識領域602は、基準サイズを拡大した認識倍率の大きい認識領域である。
次に、図4の走査領域設定処理403について説明する。走査領域設定処理403は、各認識領域に対して、立体物の配置特性情報に基づいて、認識領域よりも大きな走査領域を設定する。走査領域は画像上の領域として設定され、認識処理においては、設定された走査領域内を認識領域により走査する。すなわち、認識領域は、後述の認識処理において、認識処理を行う範囲を示すものであり、走査領域は、この認識領域を走査領域の範囲内において移動させる範囲である。これにより、認識領域を走査領域の範囲内において移動させながら認識処理を行う。走査領域の大きさを決定する配置特性情報は、例えば、(1)立体物の遠近位置、(2)立体物が存在する路面高さなどである。以下に、これらの配置特性情報について説明する。
次に、図4に示す倍率毎走査認識処理404について説明する。倍率毎走査認識処理404では、走査領域801、802、803に対応する画像および視差領域(距離領域)を認識領域501、601、602で走査し、各サイズの走査位置毎に認識処理を実施して、対象の走査位置が立体物であるかを判別する。
図4に示す最適倍率設定処理406は、認識倍率設定処理402で作成した複数のサイズの認識領域から、詳細認識処理に最適な認識領域を選択する。選択方法は、例えば走査によって得られた認識処理結果における認識対象と判定された個数やその信頼度や、非認識対象と判定された個数やその信頼度、認識結果の分布などを用い、応答数の量や信頼度を複数のサイズの認識領域間で比較し、最適な認識領域を用いる。最適倍率設定処理406は、処理時間に十分な猶予がないならば省略してもよい。
図4に示す詳細認識位置決定処理407は、最適倍率設定処理406で得られた最適倍率について、詳細認識を実施する代表位置を決定する。詳細認識は、例えば、倍率毎走査認識処理404で得られた認識処理の信頼度が最大の位置を選ぶ。または、平均変位法(Mean Shift法)のようなクラスタリング手段を用いて位置を決定しても良い。最適倍率設定処理406を行わない場合、各倍率に対して詳細認識位置決定処理407を実施してよい。
図4に示す詳細認識処理408は、詳細認識位置決定処理407で決定した代表位置111に対して詳細認識を実施し、対象の種別や信頼度を算出する。もしくは、倍率毎走査認識処理404による応答位置に基づいて選択された最適のサイズの認識領域を用いて詳細認識を実施し、対象の種別や信頼度を算出する。詳細認識処理408は倍率毎走査認識処理404で用いた認識処理と同等性能以上の種別分類性能を有する識別器120を用いる。
本実施形態では、ステレオカメラを用いた画像認識装置100で説明した。しかし、ステレオカメラを用いない画像認識装置100’を用いて実現してもよい。
図13は、画像認識装置100’における処理動作を示す図である。図2に示した画像認識装置100と同一の個所には同一の符号を付してその説明を省略する。
(1)画像認識装置100、100’は、カメラ101、102によって撮像された画像上に設定された立体物の検知領域301に対して、立体物の検知特性情報に基づいて立体物の検知領域301を拡大もしくは縮小して立体物領域501を設定する立体物領域設定処理401と、立体物領域設定処理401により設定された立体物領域501に対して立体物の種別を特定する認識処理を行う認識処理209と、を備える。検知特性情報は、例えば、立体物の識別性、立体物との距離、立体物の大きさ、立体物の想定サイズ、外環境の明るさ、ヘッドライトの向き、立体物が存在する路面の高さ、撮像部のセンサ分解能の少なくとも一つである。これにより、立体物を的確に検知し、認識性能を向上させた画像認識装置を提供できる。
Claims (21)
- 撮像部によって撮像された画像上に設定された立体物の検知領域を、前記立体物の検知特性情報に基づいて前記画像上で拡大もしくは縮小することで、前記画像上に立体物領域を設定する立体物領域設定部と、
前記立体物領域設定部により設定された前記立体物領域に対して前記立体物の種別を特定する認識処理を行う認識処理部と、
を備える画像認識装置。 - 請求項1に記載の画像認識装置において、
前記検知特性情報は、前記立体物の識別性、前記立体物との距離、前記立体物の大きさ、前記立体物の想定サイズ、外環境の明るさ、ヘッドライトの向き、前記立体物が存在する路面の高さ、前記撮像部のセンサ分解能の少なくとも一つである画像認識装置。 - 請求項1または請求項2に記載の画像認識装置において、
前記立体物領域設定部によって求めた前記立体物領域を基準サイズとして、前記立体物の認識特性情報に基づいて、複数のサイズの認識領域を定める認識倍率設定部を備え、
前記認識処理部は、前記認識倍率設定部で定められた複数のサイズの前記認識領域に対して、それぞれに前記認識処理を行う画像認識装置。 - 請求項3に記載の画像認識装置において、
前記認識特性情報は、前記立体物との距離、前記立体物の大きさ、前記立体物の限界サイズ、前記撮像部のセンサ分解能の少なくとも一つである画像認識装置。 - 請求項3に記載の画像認識装置において、
前記認識倍率設定部で定めた複数の前記認識領域に対して、前記立体物の配置特性情報に基づいて前記認識領域よりも広い複数の走査領域を設定する走査領域設定部を備え、
前記認識処理部は、前記走査領域設定部で設定された前記走査領域を用いて、前記認識処理を行う画像認識装置。 - 請求項5に記載の画像認識装置において、
前記配置特性情報は、前記立体物の遠近位置、前記立体物が存在する路面高さの少なくとも一つである画像認識装置。 - 請求項5に記載の画像認識装置において、
複数の前記走査領域を複数の前記認識領域により走査して認識結果の応答位置を求める倍率毎走査認識処理部を備える画像認識装置。 - 請求項7に記載の画像認識装置において、
前記倍率毎走査認識処理部による前記応答位置に基づいて最適のサイズの前記認識領域を選択する最適倍率設定部を備える画像認識装置。 - 請求項8に記載の画像認識装置において、
前記最適倍率設定部で選択された前記認識領域に対応する前記走査領域の前記応答位置に基づいて前記認識処理を行う代表位置を決定する詳細認識位置決定処理部を備える画像認識装置。 - 請求項9に記載の画像認識装置において、
前記最適のサイズの前記認識領域もしくは前記代表位置を用いて前記認識処理を行い、認識対象の前記立体物の種別を特定する詳細認識処理部を備える画像認識装置。 - 撮像部によって撮像された画像上に設定された立体物の検知領域を、前記立体物の第1の特性情報に基づいて前記画像上で拡大もしくは縮小することで、前記画像上に立体物領域を設定する立体物領域設定部と、
前記立体物領域設定部によって求めた前記立体物領域を基準サイズとして、前記立体物の第2の特性情報に基づいて、複数のサイズの認識領域を定める認識倍率設定部と、
前記認識倍率設定部で定めた複数の前記認識領域に対して、前記立体物の第3の特性情報に基づいて前記認識領域よりも広い複数の走査領域を設定する走査領域設定部と、
前記走査領域設定部で設定された前記走査領域を用いて、前記立体物の種別を特定する認識処理を行う認識処理部と、
を備える画像認識装置。 - 請求項11に記載の画像認識装置において、
前記第1の特性情報、前記第2の特性情報、および前記第3の特性情報は、それぞれ、前記立体物の識別性、前記立体物との距離、前記立体物の大きさ、前記立体物の想定サイズ、外環境の明るさ、ヘッドライトの向き、前記立体物が存在する路面の高さ、前記撮像部のセンサ分解能、前記立体物の限界サイズ、前記立体物の遠近位置、前記立体物が存在する路面高さの少なくとも一つである画像認識装置。 - 撮像部によって撮像された画像上に設定された立体物の検知領域に対して、前記立体物の検知特性情報に基づいて前記立体物の検知領域を拡大もしくは縮小して立体物領域を設定する立体物領域設定部と、
前記立体物領域設定部により設定された前記立体物領域に対して前記立体物の種別を特定する認識処理を行う認識処理部と、
前記立体物領域設定部によって求めた前記立体物領域を基準サイズとして、前記立体物の認識特性情報に基づいて、複数のサイズの認識領域を定める認識倍率設定部と、を備え、
前記認識処理部は、前記認識倍率設定部で定められた複数のサイズの前記認識領域に対して、それぞれに前記認識処理を行う画像認識装置。 - 請求項13に記載の画像認識装置において、
前記検知特性情報は、前記立体物の識別性、前記立体物との距離、前記立体物の大きさ、前記立体物の想定サイズ、外環境の明るさ、ヘッドライトの向き、前記立体物が存在する路面の高さ、前記撮像部のセンサ分解能の少なくとも一つである画像認識装置。 - 請求項13に記載の画像認識装置において、
前記認識特性情報は、前記立体物との距離、前記立体物の大きさ、前記立体物の限界サイズ、前記撮像部のセンサ分解能の少なくとも一つである画像認識装置。 - 請求項13に記載の画像認識装置において、
前記認識倍率設定部で定めた複数の前記認識領域に対して、前記立体物の配置特性情報に基づいて前記認識領域よりも広い複数の走査領域を設定する走査領域設定部を備え、
前記認識処理部は、前記走査領域設定部で設定された前記走査領域を用いて、前記認識処理を行う画像認識装置。 - 請求項16に記載の画像認識装置において、
前記配置特性情報は、前記立体物の遠近位置、前記立体物が存在する路面高さの少なくとも一つである画像認識装置。 - 請求項16に記載の画像認識装置において、
複数の前記走査領域を複数の前記認識領域により走査して認識結果の応答位置を求める倍率毎走査認識処理部を備える画像認識装置。 - 請求項18に記載の画像認識装置において、
前記倍率毎走査認識処理部による前記応答位置に基づいて最適のサイズの前記認識領域を選択する最適倍率設定部を備える画像認識装置。 - 請求項19に記載の画像認識装置において、
前記最適倍率設定部で選択された前記認識領域に対応する前記走査領域の前記応答位置に基づいて前記認識処理を行う代表位置を決定する詳細認識位置決定処理部を備える画像認識装置。 - 請求項20に記載の画像認識装置において、
前記最適のサイズの前記認識領域もしくは前記代表位置を用いて前記認識処理を行い、認識対象の前記立体物の種別を特定する詳細認識処理部を備える画像認識装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018170737 | 2018-09-12 | ||
JP2018170737 | 2018-09-12 | ||
PCT/JP2019/030823 WO2020054260A1 (ja) | 2018-09-12 | 2019-08-06 | 画像認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020054260A1 JPWO2020054260A1 (ja) | 2021-08-30 |
JP6983334B2 true JP6983334B2 (ja) | 2021-12-17 |
Family
ID=69777082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020546756A Active JP6983334B2 (ja) | 2018-09-12 | 2019-08-06 | 画像認識装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6983334B2 (ja) |
CN (1) | CN112639877A (ja) |
WO (1) | WO2020054260A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022113470A1 (ja) * | 2020-11-30 | 2022-06-02 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005316607A (ja) * | 2004-04-27 | 2005-11-10 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
JP5090321B2 (ja) * | 2008-11-28 | 2012-12-05 | 日立オートモティブシステムズ株式会社 | 物体検知装置 |
JP5210233B2 (ja) * | 2009-04-14 | 2013-06-12 | 日立オートモティブシステムズ株式会社 | 車両用外界認識装置及びそれを用いた車両システム |
JP2013161241A (ja) * | 2012-02-03 | 2013-08-19 | Toyota Motor Corp | 物体認識装置、物体認識方法 |
US9832444B2 (en) * | 2012-03-01 | 2017-11-28 | Nissan Motor Co., Ltd. | Three-dimensional object detection device |
CN104885122B (zh) * | 2012-12-25 | 2017-06-23 | 本田技研工业株式会社 | 车辆周围监测装置 |
JP6163453B2 (ja) * | 2014-05-19 | 2017-07-12 | 本田技研工業株式会社 | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム |
JP6397801B2 (ja) * | 2015-06-30 | 2018-09-26 | 日立オートモティブシステムズ株式会社 | 物体検知装置 |
CN107993256A (zh) * | 2017-11-27 | 2018-05-04 | 广东工业大学 | 动态目标跟踪方法、装置及存储介质 |
-
2019
- 2019-08-06 JP JP2020546756A patent/JP6983334B2/ja active Active
- 2019-08-06 WO PCT/JP2019/030823 patent/WO2020054260A1/ja active Application Filing
- 2019-08-06 CN CN201980054785.1A patent/CN112639877A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN112639877A (zh) | 2021-04-09 |
WO2020054260A1 (ja) | 2020-03-19 |
JPWO2020054260A1 (ja) | 2021-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8908924B2 (en) | Exterior environment recognition device and exterior environment recognition method | |
US7957559B2 (en) | Apparatus and system for recognizing environment surrounding vehicle | |
JP4708124B2 (ja) | 画像処理装置 | |
JP5690688B2 (ja) | 外界認識方法,装置,および車両システム | |
KR101848019B1 (ko) | 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치 | |
US8848980B2 (en) | Front vehicle detecting method and front vehicle detecting apparatus | |
JP5223675B2 (ja) | 車両検知装置,車両検知方法並びに車両検知プログラム | |
JP5886809B2 (ja) | 車外環境認識装置 | |
JP2015143979A (ja) | 画像処理装置、画像処理方法、プログラム、画像処理システム | |
JP6687039B2 (ja) | 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム | |
US20200074212A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
JP7032280B2 (ja) | 横断歩道標示推定装置 | |
JP6983334B2 (ja) | 画像認識装置 | |
US11054245B2 (en) | Image processing apparatus, device control system, imaging apparatus, image processing method, and recording medium | |
JP4969359B2 (ja) | 移動物認識装置 | |
JP7229032B2 (ja) | 車外物体検出装置 | |
JP7261006B2 (ja) | 車外環境認識装置 | |
JP7201706B2 (ja) | 画像処理装置 | |
JP5170058B2 (ja) | 物体検出装置 | |
JP7460282B2 (ja) | 障害物検出装置、障害物検出方法および障害物検出プログラム | |
JP6378547B2 (ja) | 車外環境認識装置 | |
JP6273156B2 (ja) | 歩行者認識装置 | |
CN112611360A (zh) | 物体检测装置、车辆及物体检测处理方法 | |
JP6582891B2 (ja) | 空車枠特定システム、方法およびプログラム | |
WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6983334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |