JP7139300B2 - 認識装置、認識方法、およびプログラム - Google Patents
認識装置、認識方法、およびプログラム Download PDFInfo
- Publication number
- JP7139300B2 JP7139300B2 JP2019182949A JP2019182949A JP7139300B2 JP 7139300 B2 JP7139300 B2 JP 7139300B2 JP 2019182949 A JP2019182949 A JP 2019182949A JP 2019182949 A JP2019182949 A JP 2019182949A JP 7139300 B2 JP7139300 B2 JP 7139300B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- vehicle
- dimensional image
- target
- setting unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
(1):この発明の一態様に係る認識装置は、車両の周囲を撮像する撮像装置により撮像された二次元画像に写された物標を認識し、前記二次元画像内に前記認識した前記物標を含む第1領域を設定する第1領域設定部と、前記物標を構成する面のうち基準面に合致する第2領域を設定する第2領域設定部と、前記第1領域および前記第2領域に基づいて、前記物標の領域を所定形状で表した第3領域を設定する第3領域設定部と、を備える認識装置である。
[認識システム1の全体構成]
図1は、第1実施形態に係る認識装置100を備える認識システム1の概略構成図である。認識システム1が搭載される車両は、例えば、四輪の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
図4は、認識装置100により実行される処理の流れの一例を示すフローチャートである。また、図5は、認識装置100におけるそれぞれの処理を模式的に示した図である。図5には、図4に示したフローチャートにおいて対応するステップ番号を示している。以下に説明する認識装置100の処理の流れにおいては、図4に示したフローチャートを説明し、図5に示した処理を適宜参照する。
図6は、認識装置100において設定した他車両の物標領域を重畳して表示させる画像の一例を示す図である。図6には、認識装置100が、自車両Mの前方に存在する3台の他車両を認識して設定したそれぞれの物標領域ROを重畳した画像IMの一例を示している。より具体的には、図6には、認識装置100が、自車両Mが走行している走行車線に隣接する左側の走行車線を走行している他車両(以下、他車両V1)に対して設定した物標領域RO1と、同じ走行車線で前方を走行している他車両(以下、他車両V2)に対して設定した物標領域RO2と、隣接する反対側(右側)の走行車線を走行している他車両(以下、他車両V3)に対して設定した物標領域RO3とを重畳した画像IMの一例を示している。
図7は、認識装置100において設定した他車両の物標領域に基づいて、他車両の状態を推定した状態の一例を模式的に示す図である。図7には、認識装置100が、自車両Mの前方に存在する4台の他車両を認識して設定したそれぞれの物標領域ROに基づいて、それぞれの他車両の状態を推定した状態の一例を示している。なお、図7では、説明を容易にするため、自車両Mおよび他車両の状態や、他車両に対してそれぞれ設定した物標領域ROを、二次元の平面上に示している。そして、図7では、認識装置100(より具体的には、推定部151)が推定する自車両Mと他車両との間の距離の図示は省略している。
以下、第2実施形態について説明する。第2実施形態は、第1実施形態の認識装置100の機能を、自動運転を行う車両システムに搭載した場合の一例である。
図8は、第2実施形態に係る認識装置の機能を搭載した車両システム1Aの構成図である。車両システム1Aが搭載される車両も、第1実施形態の認識装置100を備える認識システム1が搭載される車両と同様に、例えば、二輪や三輪、四輪等の車両である。
図10は、第1実施形態の認識装置100のハードウェア構成の一例を示す図である。図示するように、認識装置100は、通信コントローラ100-1、CPU100-2、ワーキングメモリとして使用されるRAM(Random Access Memory)100-3、ブートプログラムなどを格納するROM(Read Only Memory)100-4、フラッシュメモリやHDDなどの記憶装置100-5、ドライブ装置100-6などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100-1は、認識装置100以外の構成要素との通信を行う。記憶装置100-5には、CPU100-2が実行するプログラム100-5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)などによってRAM100-3に展開されて、CPU100-2によって実行される。これによって、認識装置100、より具体的には、全体領域設定部110や、基準領域設定部130、物標領域設定部150のうち一部または全部が実現される。
ハードウェアプロセッサと、
プログラムを記憶した記憶装置と、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを読み出して実行することにより、
車両の周囲を撮像する撮像装置により撮像された二次元画像に写された物標を認識し、前記二次元画像内に前記認識した前記物標を含む第1領域を設定し、
前記物標を構成する面のうち基準面に合致する第2領域を設定し、
前記第1領域および前記第2領域に基づいて、前記物標の領域を所定形状で表した第3領域を設定する、
ように構成されている、認識装置。
10・・・カメラ
20・・・表示装置
100・・・認識装置
110・・・全体領域設定部
130・・・基準領域設定部
150・・・物標領域設定部
151・・・推定部
RA・・・全体領域
RB・・・基準領域
RC・・・複製領域
RO,RO1,RO2,RO3,RO4,RO5,RO6,RO7・・・物標領域
SL1,SL2,SL3・・・対角直線
M・・・自車両
V1,V2,V3,V4,V5,V6,V7・・・他車両(物標)
IM・・・画像
DM・・・進行方向
D1,D2,D3,D4,D5,D6,D7・・・移動方向
L5,L6,L7・・・車長
1A・・・車両システム
32・・・レーダ装置
34・・・ファインダ
36・・・物標認識装置
40・・・通信装置
50・・・HMI
60・・・車両センサ
70・・・ナビゲーション装置
71・・・GNSS受信機
72・・・ナビHMI
73・・・経路決定部
74・・・第1地図情報
80・・・MPU
81・・・推奨車線決定部
82・・・第2地図情報
90・・・運転操作子
200・・・自動運転制御装置
220・・・第1制御部
230・・・認識部
240・・・行動計画生成部
260・・・第2制御部
262・・・取得部
264・・・速度制御部
266・・・操舵制御部
300・・・走行駆動力出力装置
310・・・ブレーキ装置
320・・・ステアリング装置
Claims (6)
- 車両の周囲を撮像する撮像装置により撮像された二次元画像に写された他車両を認識し、前記二次元画像内に前記認識した前記他車両を含む矩形の第1領域を設定する第1領域設定部と、
前記他車両を構成する面のうち前面または後面に合致する第2領域を設定する第2領域設定部と、
前記第1領域内における前記第2領域と対角の位置に前記第2領域と同じまたは縮小したサイズの第4領域を設定し、前記第2領域と前記第4領域とのそれぞれの対応する角部を直線で結ぶことで、前記他車両の領域を所定形状で表した第3領域を設定する第3領域設定部と、
を備える認識装置。 - 前記第1領域設定部は、前記二次元画像を入力すると前記第1領域を出力するように学習された第1学習済みモデルに対して、前記二次元画像を入力することで、前記第1領域を得て設定し、
前記第2領域設定部は、前記第1領域の画像を入力すると前記第2領域を出力するように学習された第2学習済みモデルに対して、前記第1領域の画像を入力することで、前記第2領域を得て設定する、
請求項1に記載の認識装置。 - 前記他車両は、前記車両の周囲に存在する他車両であり、
前記第3領域における前記第2領域と前記第4領域とのそれぞれの対応する角部の点を結んだ直線に基づいて、前記他車両の移動方向を推定する第1推定部を更に備える、
請求項1に記載の認識装置。 - 前記他車両は、前記車両の周囲に存在する他車両であり、
前記第3領域における前記第2領域と前記第4領域とのそれぞれの対応する角部の点を結んだ直線に基づいて、前記他車両の長手方向の長さを推定する第2推定部を更に備える、
請求項1に記載の認識装置。 - コンピュータが、
車両の周囲を撮像する撮像装置により撮像された二次元画像に写された他車両を認識し、前記二次元画像内に前記認識した前記他車両を含む矩形の第1領域を設定し、
前記他車両を構成する面のうち前面または後面に合致する第2領域を設定し、
前記第1領域内における前記第2領域と対角の位置に前記第2領域と同じまたは縮小したサイズの第4領域を設定し、前記第2領域と前記第4領域とのそれぞれの対応する角部を直線で結ぶことで、前記他車両の領域を所定形状で表した第3領域を設定する、
認識方法。 - コンピュータに、
車両の周囲を撮像する撮像装置により撮像された二次元画像に写された他車両を認識させ、前記二次元画像内に前記認識した前記他車両を含む矩形の第1領域を設定させ、
前記他車両を構成する面のうち前面または後面に合致する第2領域を設定させ、
前記第1領域内における前記第2領域と対角の位置に前記第2領域と同じまたは縮小したサイズの第4領域を設定させ、前記第2領域と前記第4領域とのそれぞれの対応する角部を直線で結ぶことで、前記他車両の領域を所定形状で表した第3領域を設定させる、
プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019182949A JP7139300B2 (ja) | 2019-10-03 | 2019-10-03 | 認識装置、認識方法、およびプログラム |
CN202010950347.8A CN112613335A (zh) | 2019-10-03 | 2020-09-10 | 识别装置、识别方法及存储介质 |
US17/033,979 US20210103752A1 (en) | 2019-10-03 | 2020-09-28 | Recognition device, recognition method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019182949A JP7139300B2 (ja) | 2019-10-03 | 2019-10-03 | 認識装置、認識方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021060661A JP2021060661A (ja) | 2021-04-15 |
JP7139300B2 true JP7139300B2 (ja) | 2022-09-20 |
Family
ID=75224283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019182949A Active JP7139300B2 (ja) | 2019-10-03 | 2019-10-03 | 認識装置、認識方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210103752A1 (ja) |
JP (1) | JP7139300B2 (ja) |
CN (1) | CN112613335A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024004005A1 (ja) * | 2022-06-28 | 2024-01-04 | 日立Astemo株式会社 | 外界認識装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018184963A2 (en) | 2017-04-04 | 2018-10-11 | Robert Bosch Gmbh | Direct vehicle detection as 3d bounding boxes using neural network image processing |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11250250A (ja) * | 1998-02-27 | 1999-09-17 | Fujitsu Ltd | 三次元形状抽出装置及び記録媒体 |
CN109791738B (zh) * | 2016-10-07 | 2021-12-21 | 爱信艾达株式会社 | 行驶辅助装置以及计算机程序 |
US10402724B2 (en) * | 2017-10-03 | 2019-09-03 | StradVision, Inc. | Method for acquiring a pseudo-3D box from a 2D bounding box by regression analysis and learning device and testing device using the same |
US11062461B2 (en) * | 2017-11-16 | 2021-07-13 | Zoox, Inc. | Pose determination from contact points |
JP2019096072A (ja) * | 2017-11-22 | 2019-06-20 | 株式会社東芝 | 物体検出装置、物体検出方法およびプログラム |
US10586456B2 (en) * | 2018-04-27 | 2020-03-10 | TuSimple | System and method for determining car to lane distance |
US10937178B1 (en) * | 2019-05-09 | 2021-03-02 | Zoox, Inc. | Image-based depth data and bounding boxes |
-
2019
- 2019-10-03 JP JP2019182949A patent/JP7139300B2/ja active Active
-
2020
- 2020-09-10 CN CN202010950347.8A patent/CN112613335A/zh active Pending
- 2020-09-28 US US17/033,979 patent/US20210103752A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018184963A2 (en) | 2017-04-04 | 2018-10-11 | Robert Bosch Gmbh | Direct vehicle detection as 3d bounding boxes using neural network image processing |
Non-Patent Citations (2)
Title |
---|
Shicaho Yang, 外1名,"CubeSLAM: Monocular 3-D Object SLAM",IEEE Transactions on Robotics,第35巻, 第4号,米国,IEEE,2019年05月07日,p.925-938 |
森本祐介, 外2名,"動領域抽出を用いた車両検出・追跡の研究",情報処理学会研究報告,日本,一般社団法人情報処理学会,2010年12月15日 |
Also Published As
Publication number | Publication date |
---|---|
JP2021060661A (ja) | 2021-04-15 |
US20210103752A1 (en) | 2021-04-08 |
CN112613335A (zh) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6601696B2 (ja) | 予測装置、予測方法、およびプログラム | |
WO2018138769A1 (ja) | 車両制御装置、車両制御方法、および車両制御プログラム | |
JP6859239B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
CN111201170A (zh) | 车辆控制装置、车辆控制方法及程序 | |
JP6586685B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP2019131077A (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP2019137189A (ja) | 車両制御システム、車両制御方法、およびプログラム | |
JP2019137185A (ja) | 車両制御システム、車両制御方法、およびプログラム | |
JP2020147139A (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7406432B2 (ja) | 移動体制御装置、移動体制御方法、およびプログラム | |
JP6965152B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
CN115140086A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
JP7225185B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7139300B2 (ja) | 認識装置、認識方法、およびプログラム | |
JP7449751B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP2021124957A (ja) | 車両用制御装置 | |
JP7159267B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7125969B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7028838B2 (ja) | 周辺認識装置、周辺認識方法、およびプログラム | |
JP2019185113A (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7503921B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7141421B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7166988B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7236979B2 (ja) | 車両制御装置、および車両制御方法 | |
JP2022142863A (ja) | 移動体制御装置、移動体制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220907 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7139300 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |