JP7216526B2 - 車外環境認識装置および車外環境認識方法 - Google Patents
車外環境認識装置および車外環境認識方法 Download PDFInfo
- Publication number
- JP7216526B2 JP7216526B2 JP2018218614A JP2018218614A JP7216526B2 JP 7216526 B2 JP7216526 B2 JP 7216526B2 JP 2018218614 A JP2018218614 A JP 2018218614A JP 2018218614 A JP2018218614 A JP 2018218614A JP 7216526 B2 JP7216526 B2 JP 7216526B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- vehicle
- speed
- depth direction
- environment recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
図1は、車外環境認識システム100の接続関係を示したブロック図である。車外環境認識システム100は、自車両1において、撮像装置110と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図2に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含んで構成される。
図3は、車外環境認識方法の流れを示すフローチャートである。車外環境認識方法では、位置導出部170が、撮像装置110から取得した輝度画像における各ブロックの3次元位置を導出し(位置導出処理S200)、ヒストグラム生成部172が、距離画像214を複数の分割領域に分割し、分割領域毎にヒストグラムを生成し(ヒストグラム生成処理S202)、グループ化部174が、ブロック同士をグループ化して立体物を特定し(グループ化処理S204)、速度導出部176が、グループ化された立体物の速度を導出し(速度導出処理S206)、位置推定部178が、立体物の側面の奥行き方向の端部の現在の位置を推定し(位置推定処理S208)、立体物特定部180が、立体物がいずれの特定物に対応するか特定する(立体物特定処理S210)。
位置導出部170は、2つの撮像装置110それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック(例えば、水平4画素×垂直4画素の配列)に対応するブロックを他方の輝度画像から検索し(パターンマッチング)、視差を示す視差情報(後述する相対距離zに相当)を導出する。位置導出部170は、導出された視差情報を各ブロックに配して距離画像を生成する。ここでは、ブロックを水平4画素×垂直4画素としているが、ブロック内の画素数は任意に設定することができる。また、ブロックの代わりに1画素を用いてもよい。また、「水平」は画面横方向を示し、「垂直」は画面縦方向を示し、「奥行き」は画面奥行き方向を示す。
ヒストグラム生成部172は、距離画像214を複数の分割領域に分割し、分割領域毎に、分割領域内の複数のブロックの相対距離を複数の階級(等距離で区分した相対距離の距離区分を短い順に並べたもの)に振り分けたヒストグラム(度数分布)を生成する。以下に、ヒストグラム生成部172の具体的な処理を説明する。
グループ化部174は、距離画像214において、三次元の位置情報が所定の距離範囲内にあるブロック同士をグループ化し、立体物を特定する。
速度導出部176は、グループ化された立体物224の速度を導出する。例えば、速度導出部176は、図7(b)における立体物224a、立体物224cについては、立体物224の側面として速度を導出し、立体物224b、立体物224dについては、立体物224の背面として速度を導出する。なお、立体物224cと立体物224dとは、同一の立体物224の側面と背面の関係にあるので、一体的な立体物224として速度を導出することができる。
位置推定部178は、立体物224の側面の奥行き方向の端部232の過去の位置から、移動平均算出、カルマンフィルタ等を通じて、現在の位置(推定位置)を推定(トレース)する。このように推定された推定位置は、特定条件(3)の判定に用いられるとともに、次回フレームにおける立体物224の奥行き方向の端部232の推定に用いられる。
立体物特定部180は、グループ化された立体物224がいずれの特定物に対応するか特定する。例えば、立体物特定部180は、立体物224が、車両らしい大きさ、形状、速度であり、かつ、後方の所定の位置にブレーキランプやハイマウントストップランプ等の発光源が確認された場合、その立体物224を先行車両と特定する。
120 車外環境認識装置
170 位置導出部
174 グループ化部
176 速度導出部
178 位置推定部
180 立体物特定部
224 立体物
230 端部領域
232 端部
Claims (6)
- コンピュータが、
撮像装置から取得した画像における各ブロックの3次元位置を導出する位置導出部と、
前記ブロック同士をグループ化して立体物を特定するグループ化部と、
前記立体物の側面が、前記画像の水平方向端部側に位置する端部領域に含まれるという特定条件を満たせば、前記立体物の側面の奥行き方向の端部を基準に前記立体物の速度を導出する速度導出部と、
して機能する車外環境認識装置。 - 前記特定条件には、前記立体物の側面の水平面上の長さが時間の経過に応じて漸増していることを含む請求項1に記載の車外環境認識装置。
- コンピュータが、前記立体物の側面の奥行き方向の端部の過去の位置から、前記端部の現在の位置を推定する位置推定部として機能し、
前記特定条件には、前記位置推定部に推定された推定位置と、前記立体物の奥行き方向の端部を実測した実測位置とが所定距離未満であることを含む請求項1または2に記載の車外環境認識装置。 - 前記速度導出部は、前記特定条件を満たさなければ、前記立体物の側面の奥行き方向の中央位置を基準に前記立体物の速度を導出する請求項1から3のいずれか1項に記載の車外環境認識装置。
- 前記速度導出部は、前記立体物が、自車両が走行しているレーンに割り込む可能性がある場合にのみ速度を導出する請求項1から4のいずれか1項に記載の車外環境認識装置。
- コンピュータが、
撮像装置から取得した画像における各ブロックの3次元位置を導出し、
前記ブロック同士をグループ化して立体物を特定し、
前記立体物の側面が、前記画像の水平方向端部側に位置する端部領域に含まれるという特定条件を満たせば、前記立体物の側面の奥行き方向の端部を基準に前記立体物の速度を導出する車外環境認識方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018218614A JP7216526B2 (ja) | 2018-11-21 | 2018-11-21 | 車外環境認識装置および車外環境認識方法 |
US16/667,274 US11216678B2 (en) | 2018-11-21 | 2019-10-29 | Vehicle exterior environment recognition apparatus and vehicle exterior environment recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018218614A JP7216526B2 (ja) | 2018-11-21 | 2018-11-21 | 車外環境認識装置および車外環境認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020086791A JP2020086791A (ja) | 2020-06-04 |
JP7216526B2 true JP7216526B2 (ja) | 2023-02-01 |
Family
ID=70726425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018218614A Active JP7216526B2 (ja) | 2018-11-21 | 2018-11-21 | 車外環境認識装置および車外環境認識方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11216678B2 (ja) |
JP (1) | JP7216526B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080181461A1 (en) | 2007-01-31 | 2008-07-31 | Toru Saito | Monitoring System |
KR101526743B1 (ko) | 2013-12-17 | 2015-06-05 | 현대자동차주식회사 | 차량의 후측방 경고 장치 및 방법 |
JP2015231179A (ja) | 2014-06-06 | 2015-12-21 | 富士重工業株式会社 | 車外環境認識装置 |
WO2018198758A1 (ja) | 2017-04-25 | 2018-11-01 | 株式会社デンソー | 車両の制動支援装置および制動支援方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3522317B2 (ja) * | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | 車輌用走行案内装置 |
JP3349060B2 (ja) | 1997-04-04 | 2002-11-20 | 富士重工業株式会社 | 車外監視装置 |
IN2015KN00314A (ja) * | 2012-07-27 | 2015-07-10 | Nissan Motor |
-
2018
- 2018-11-21 JP JP2018218614A patent/JP7216526B2/ja active Active
-
2019
- 2019-10-29 US US16/667,274 patent/US11216678B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080181461A1 (en) | 2007-01-31 | 2008-07-31 | Toru Saito | Monitoring System |
JP2008186342A (ja) | 2007-01-31 | 2008-08-14 | Fuji Heavy Ind Ltd | 車外監視装置 |
KR101526743B1 (ko) | 2013-12-17 | 2015-06-05 | 현대자동차주식회사 | 차량의 후측방 경고 장치 및 방법 |
JP2015231179A (ja) | 2014-06-06 | 2015-12-21 | 富士重工業株式会社 | 車外環境認識装置 |
WO2018198758A1 (ja) | 2017-04-25 | 2018-11-01 | 株式会社デンソー | 車両の制動支援装置および制動支援方法 |
US20200055495A1 (en) | 2017-04-25 | 2020-02-20 | Denso Corporation | Braking assistance method and apparatus for vehicle |
Also Published As
Publication number | Publication date |
---|---|
US11216678B2 (en) | 2022-01-04 |
US20200160074A1 (en) | 2020-05-21 |
JP2020086791A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5944781B2 (ja) | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 | |
JP6657789B2 (ja) | 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム | |
JP5906224B2 (ja) | 車外環境認識装置 | |
JP7206583B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP2010198552A (ja) | 運転状況監視装置 | |
JP2000074645A (ja) | 周辺監視装置及び方法 | |
JP5482672B2 (ja) | 移動物体検出装置 | |
CN111052201B (zh) | 碰撞预测装置、碰撞预测方法以及存储介质 | |
CN109791607B (zh) | 借助单应矩阵从摄像机的一系列图像中探测和验证对象 | |
JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6132411B2 (ja) | 車外環境認識装置 | |
JP6591188B2 (ja) | 車外環境認識装置 | |
JP7454685B2 (ja) | 車両走行路内のデブリの検出 | |
JP6564218B2 (ja) | 車外環境認識装置 | |
JP7229032B2 (ja) | 車外物体検出装置 | |
JP7356319B2 (ja) | 車外環境認識装置 | |
JP7216526B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
JP7261006B2 (ja) | 車外環境認識装置 | |
JP7344032B2 (ja) | 画像処理装置 | |
JP6378594B2 (ja) | 車外環境認識装置 | |
KR20150092505A (ko) | 차간 거리 경고 방법 및 전방 충돌 감지 장치 | |
JP7352432B2 (ja) | 車外環境認識装置 | |
JP7344031B2 (ja) | 画像処理装置 | |
JP2018194538A (ja) | 情報処理装置およびプログラム | |
JP2018088237A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7216526 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |