JP2015231179A - 車外環境認識装置 - Google Patents
車外環境認識装置 Download PDFInfo
- Publication number
- JP2015231179A JP2015231179A JP2014117303A JP2014117303A JP2015231179A JP 2015231179 A JP2015231179 A JP 2015231179A JP 2014117303 A JP2014117303 A JP 2014117303A JP 2014117303 A JP2014117303 A JP 2014117303A JP 2015231179 A JP2015231179 A JP 2015231179A
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic image
- image
- unit
- boundary
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 238000009795 derivation Methods 0.000 abstract description 5
- 235000019557 luminance Nutrition 0.000 description 62
- 238000000034 method Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、環境認識システム100の接続関係を示したブロック図である。環境認識システム100は、自車両1内に設けられた、撮像装置110と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。
図3は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図3に示すように、車外環境認識装置120は、I/F部160と、データ保持部162と、中央制御部164とを含んで構成される。
図4は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、画像処理部170が、撮像装置110から取得した画像を処理し(S200)、3次元位置導出部172が、画像から3次元位置を導出し(S202)、グループ化部174が、3次元位置に基づいてグループ化された立体像を生成する(S204)。また、立体像追跡部176が立体像を追跡し(S206)、明暗判定部178が、車外環境が明状態か暗状態か判定し(S208)、境界導出部180が、立体像を垂直方向上下に分断する境界を導出し(S210)、エッジ計数部182が、立体像の判定対象の領域を絞り、その絞った領域中の垂直エッジの数を計数する(S212)。そして、特定物特定部184がその結果に応じて特定物を特定する(S214)。ここで、「垂直」は画面縦方向を示し、後述する「水平」は画面横方向を示す。以下、個々の処理を詳述する。
画像処理部170は、2つの撮像装置110それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック(例えば水平4画素×垂直4画素の配列)に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて視差を導き出す。
図3に戻って説明すると、3次元位置導出部172は、画像処理部170で生成された距離画像214に基づいて検出領域216内の視差ブロック毎の視差情報(視差ブロック中の画素は全て視差ブロックと等しい視差情報を有する。)を、所謂ステレオ法を用いて、水平距離x、高さyおよび相対距離zを含む実空間における3次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、画素の距離画像214における視差からその画素の撮像装置110に対する相対距離zを導出する方法である。このような処理の最小単位である画像部位としては、かかる画素の他、複数の画素からなるブロックを用いることもできる。このとき、3次元位置導出部172は、画素の相対距離zと、画素と同相対距離zにある道路表面上の点と画素との距離画像214上の検出距離とに基づいて、画素の道路表面からの高さyを導出する。そして、導出された3次元位置を改めて距離画像214に対応付ける。かかる相対距離zの導出処理や3次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。
グループ化部174は、3次元位置の差分が所定範囲内にある画素同士をグループ化して立体像とする。具体的に、グループ化部174は、距離画像214における、水平距離xの差分、高さyの差分および相対距離zの差分が予め定められた範囲(例えば0.1m)内にある画素同士を、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的な画素群である立体像が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、グループ化部174は、グループ化により新たに追加された画素に関しても、その画素を基点として、水平距離xの差分、高さyの差分および相対距離zの差分が所定範囲内にある画素をさらにグループ化する。結果的に、同一の特定物と仮定可能な画素全てがグループ化されることとなる。
立体像追跡部176は、グループ化部174がグループ化した立体像(ウィンドウ222)を追跡する。かかる立体像を追跡する手順は既存の様々な技術を適用できるので、ここではその詳細な説明を省略する。
明暗判定部178は、輝度画像212の輝度に応じて明状態か暗状態か判定する。かかる明状態は主として車外環境の輝度が高い昼間を、暗状態は主として車外環境の輝度が低い夜間を示すが、かかる場合に限らず、例えば、昼間であってもトンネル内を走行する場合に暗状態としてもよい。
境界導出部180は、グループ化部174によって生成された立体像を含むウィンドウ222の垂直方向の輝度の分布に基づいて、ウィンドウ222を垂直方向上下に分断する境界を導出する。以下、境界導出部180の具体的な動作を説明する。
続いて、エッジ計数部182と特定物特定部184とは、境界導出部180が導出した境界252の垂直方向上下のいずれか輝度の高い方の画像を用い、エッジ成分に基づいて立体像が所定の特定物か否か判定する。具体的に、まず、エッジ計数部182は、境界導出部180が導出した境界252に基づいて、先行車両の背面におけるエッジ成分の出現態様を特定する。
特定物特定部184は、中央に位置する第2分割領域内の垂直エッジの数と左右に位置する第2分割領域内の垂直エッジの数とに基づいて立体像が所定の特定物か否か判定する。
100 環境認識システム
110 撮像装置
120 車外環境認識装置
170 画像処理部
172 3次元位置導出部
174 グループ化部
176 立体像追跡部
178 明暗判定部
180 境界導出部
182 エッジ計数部
184 特定物特定部
250 第1分割領域
260 第2分割領域
Claims (7)
- 撮像装置により撮像された画像内における立体像の垂直方向の輝度の分布に基づいて、該立体像を垂直方向上下に分断する境界を導出する境界導出部と、
前記境界の垂直方向上下のいずれか輝度の高い方の画像を用い、エッジ成分に基づいて前記立体像が所定の特定物か否か判定する特定物特定部と、
を備えることを特徴とする車外環境認識装置。 - 前記境界導出部は、前記立体像を垂直方向に分割した、水平方向に延伸する複数の第1分割領域を生成し、該複数の第1分割領域同士の輝度の差分に基づいて前記境界を導出することを特徴とする請求項1に記載の車外環境認識装置。
- 前記画像が明状態か暗状態か判定する明暗判定部と、
明状態であれば前記立体像の前記境界の上方を残し、暗状態であれば前記立体像の該境界の下方を残し、該残した立体像を水平方向に分割した、垂直方向に延伸する複数の第2分割領域を生成し、該複数の第2分割領域のうち、中央に位置する第2分割領域内の、垂直方向に延伸する垂直エッジの数と、左右に位置する第2分割領域内の該垂直エッジの数を計数するエッジ計数部と、
をさらに備え、
前記特定物特定部は、前記中央に位置する第2分割領域内の垂直エッジの数と、前記左右に位置する第2分割領域内の垂直エッジの数とに基づいて前記立体像が所定の特定物か否か判定することを特徴とする請求項1または2に記載の車外環境認識装置。 - 前記特定物特定部は、前記中央に位置する第2分割領域内の垂直エッジの数が所定の閾値未満であり、かつ、前記左右に位置する第2分割領域内の垂直エッジが所定の閾値以上であれば、前記立体像を車両であると判定することを特徴とする請求項3に記載の車外環境認識装置。
- 前記グループ化部は、前記立体像の左右一方の近傍領域において相対距離が傾斜していれば、該立体像において該近傍領域から連続して相対距離が傾斜している領域を該立体像から除外することを特徴とする請求項1から4のいずれか1項に記載の車外環境認識装置。
- 前記グループ化部は、前記立体像の左右両方の近傍領域において相対距離の変化態様が連続していない場合に該立体像を導出することを特徴とする請求項1から5のいずれか1項に記載の車外環境認識装置。
- 前記グループ化部がグループ化した立体像を追跡する立体像追跡部をさらに備え、
前記境界導出部は、進行路との水平距離の差が最短の立体像、または、進行路との水平距離の差が所定範囲内に維持された立体像を対象として境界を導出することを特徴とする請求項1から6のいずれか1項に記載の車外環境認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014117303A JP6378547B2 (ja) | 2014-06-06 | 2014-06-06 | 車外環境認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014117303A JP6378547B2 (ja) | 2014-06-06 | 2014-06-06 | 車外環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015231179A true JP2015231179A (ja) | 2015-12-21 |
JP6378547B2 JP6378547B2 (ja) | 2018-08-22 |
Family
ID=54887754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014117303A Active JP6378547B2 (ja) | 2014-06-06 | 2014-06-06 | 車外環境認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6378547B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020086791A (ja) * | 2018-11-21 | 2020-06-04 | 株式会社Subaru | 車外環境認識装置および車外環境認識方法 |
WO2021070537A1 (ja) * | 2019-10-08 | 2021-04-15 | 日立Astemo株式会社 | 物体認識装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07160846A (ja) * | 1993-12-06 | 1995-06-23 | Toyota Motor Corp | 前方物体認識装置 |
JP2008065634A (ja) * | 2006-09-07 | 2008-03-21 | Fuji Heavy Ind Ltd | 物体検出装置および物体検出方法 |
JP2012243048A (ja) * | 2011-05-19 | 2012-12-10 | Fuji Heavy Ind Ltd | 環境認識装置および環境認識方法 |
JP2013020417A (ja) * | 2011-07-11 | 2013-01-31 | Clarion Co Ltd | 車両用外界認識装置及びそれを用いた車両制御システム |
-
2014
- 2014-06-06 JP JP2014117303A patent/JP6378547B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07160846A (ja) * | 1993-12-06 | 1995-06-23 | Toyota Motor Corp | 前方物体認識装置 |
JP2008065634A (ja) * | 2006-09-07 | 2008-03-21 | Fuji Heavy Ind Ltd | 物体検出装置および物体検出方法 |
JP2012243048A (ja) * | 2011-05-19 | 2012-12-10 | Fuji Heavy Ind Ltd | 環境認識装置および環境認識方法 |
JP2013020417A (ja) * | 2011-07-11 | 2013-01-31 | Clarion Co Ltd | 車両用外界認識装置及びそれを用いた車両制御システム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020086791A (ja) * | 2018-11-21 | 2020-06-04 | 株式会社Subaru | 車外環境認識装置および車外環境認識方法 |
JP7216526B2 (ja) | 2018-11-21 | 2023-02-01 | 株式会社Subaru | 車外環境認識装置および車外環境認識方法 |
WO2021070537A1 (ja) * | 2019-10-08 | 2021-04-15 | 日立Astemo株式会社 | 物体認識装置 |
JP2021060844A (ja) * | 2019-10-08 | 2021-04-15 | 日立Astemo株式会社 | 物体認識装置 |
JP7225074B2 (ja) | 2019-10-08 | 2023-02-20 | 日立Astemo株式会社 | 物体認識装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6378547B2 (ja) | 2018-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5906224B2 (ja) | 車外環境認識装置 | |
JP5886809B2 (ja) | 車外環境認識装置 | |
US8908924B2 (en) | Exterior environment recognition device and exterior environment recognition method | |
JP6132412B2 (ja) | 車外環境認識装置 | |
JP6034923B1 (ja) | 車外環境認識装置 | |
JP6420650B2 (ja) | 車外環境認識装置 | |
JP6236039B2 (ja) | 車外環境認識装置 | |
JP5955291B2 (ja) | フィルタリング装置および環境認識システム | |
JP6378547B2 (ja) | 車外環境認識装置 | |
JP6240475B2 (ja) | 車外環境認識装置 | |
KR101511586B1 (ko) | 터널 인식에 의한 차량 제어장치 및 제어방법 | |
JP7229032B2 (ja) | 車外物体検出装置 | |
JP7261006B2 (ja) | 車外環境認識装置 | |
JP6174960B2 (ja) | 車外環境認識装置 | |
JP6329438B2 (ja) | 車外環境認識装置 | |
KR20140054922A (ko) | 전방 차량 인식 방법 및 장치 | |
JP6335065B2 (ja) | 車外環境認識装置 | |
JP6378594B2 (ja) | 車外環境認識装置 | |
JP6329442B2 (ja) | 車外環境認識装置 | |
JP3532896B2 (ja) | スミア検出方法及びこのスミア検出方法を用いた画像処理装置 | |
JP6273156B2 (ja) | 歩行者認識装置 | |
JP6523694B2 (ja) | 車外環境認識装置 | |
Parate et al. | Night time rear end collision avoidance system using SMPTE-C standard and VWVF | |
JP6254870B2 (ja) | 車外環境認識装置 | |
JP6313667B2 (ja) | 車外環境認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6378547 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |