JP6920159B2 - 車両の周辺監視装置と周辺監視方法 - Google Patents
車両の周辺監視装置と周辺監視方法 Download PDFInfo
- Publication number
- JP6920159B2 JP6920159B2 JP2017192064A JP2017192064A JP6920159B2 JP 6920159 B2 JP6920159 B2 JP 6920159B2 JP 2017192064 A JP2017192064 A JP 2017192064A JP 2017192064 A JP2017192064 A JP 2017192064A JP 6920159 B2 JP6920159 B2 JP 6920159B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- offset value
- distance
- vehicle
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002093 peripheral effect Effects 0.000 title claims description 36
- 238000012806 monitoring device Methods 0.000 title claims description 28
- 238000000034 method Methods 0.000 title description 15
- 238000012544 monitoring process Methods 0.000 title description 9
- 238000004364 calculation method Methods 0.000 claims description 57
- 238000012937 correction Methods 0.000 claims description 24
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 230000007257 malfunction Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
d2=(B×F)/(Z+Oc) … (2)
D1=d1−d2 … (3)
Z0=(B×F)/(p0−qk) … (4)
Z1=(B×F)/(p1−qk) … (5)
Dd=|D1−D2| … (8)
Claims (4)
- 対象物を異なる位置から撮影した複数の画像を取得する画像取得部(100)と、
前記対象物に対する探査波の送受信の結果により検出された前記対象物までの距離を取得する距離取得部(110)と、
前記複数の画像と前記対象物までの距離とに基づいて第1視差オフセット値を算出する第1オフセット算出部(130)と、
前記画像取得部で得られた前記画像の同一点における所定期間内の視差の変化と車両の移動距離とに基づいて第2視差オフセット値を算出する第2オフセット算出部(140)と、
前記第1視差オフセット値と前記第2視差オフセット値との差が閾値以下であることを条件として、前記第1視差オフセット値を用いて視差を補正する視差補正部(150)と、を備える車両の周辺監視装置(10)。 - 前記第1オフセット算出部は、前記複数の画像に撮影された対象物と、前記距離を取得した対象物が同一であると判定されることを条件として(S102)、前記第1視差オフセット値を算出する請求項1に記載の車両の周辺監視装置。
- 前記視差補正部は、前記第1視差オフセット値と前記第2視差オフセット値との差が閾値以下ではないことを条件として、異常を通知する信号を出力する(S311)請求項1または2に記載の車両の周辺監視装置。
- 対象物を異なる位置から撮影した複数の撮像画像を取得する画像取得ステップ(S101、S201)と、
前記対象物に対する探査波の送受信の結果により検出された前記対象物までの距離を取得する距離取得ステップ(S101)と、
前記複数の画像と前記対象物までの距離に基づいて第1視差オフセット値を算出する第1オフセット算出ステップ(S104)と、
前記画像取得ステップで得られた前記画像の同一点における所定期間内の視差の変化と車両の移動距離に基づいて第2視差オフセット値を算出する第2オフセット算出ステップ(S203〜S206)と、
前記第1視差オフセット値と前記第2視差オフセット値との差が閾値以下であることを条件として、前記第1視差オフセット値を用いて視差を補正する視差補正ステップ(S303,S304)と、を含む車両の周辺監視方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017192064A JP6920159B2 (ja) | 2017-09-29 | 2017-09-29 | 車両の周辺監視装置と周辺監視方法 |
US16/145,872 US10713807B2 (en) | 2017-09-29 | 2018-09-28 | Vicinity supervising device and vicinity supervising method of vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017192064A JP6920159B2 (ja) | 2017-09-29 | 2017-09-29 | 車両の周辺監視装置と周辺監視方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019066326A JP2019066326A (ja) | 2019-04-25 |
JP6920159B2 true JP6920159B2 (ja) | 2021-08-18 |
Family
ID=65897840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017192064A Active JP6920159B2 (ja) | 2017-09-29 | 2017-09-29 | 車両の周辺監視装置と周辺監視方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10713807B2 (ja) |
JP (1) | JP6920159B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7018285B2 (ja) * | 2017-09-29 | 2022-02-10 | 株式会社デンソー | 車両の周辺監視装置および周辺監視方法 |
US11004224B2 (en) | 2019-01-22 | 2021-05-11 | Velodyne Lidar Usa, Inc. | Generation of structured map data from vehicle sensors and camera arrays |
DE102019212021B4 (de) * | 2019-08-09 | 2024-02-08 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3384278B2 (ja) * | 1997-03-24 | 2003-03-10 | 日産自動車株式会社 | 距離計測装置 |
JP3760068B2 (ja) * | 1999-12-02 | 2006-03-29 | 本田技研工業株式会社 | 画像認識装置 |
JP2001169310A (ja) * | 1999-12-06 | 2001-06-22 | Honda Motor Co Ltd | 距離検出装置 |
JP3983573B2 (ja) * | 2002-03-06 | 2007-09-26 | 富士重工業株式会社 | ステレオ画像特性検査システム |
JP4461091B2 (ja) * | 2004-11-30 | 2010-05-12 | 本田技研工業株式会社 | 位置検出装置及びその補正方法 |
JP2007024590A (ja) * | 2005-07-13 | 2007-02-01 | Toyota Motor Corp | 物体検出装置 |
JP4426535B2 (ja) * | 2006-01-17 | 2010-03-03 | 本田技研工業株式会社 | 車両の周辺監視装置 |
JP5234894B2 (ja) * | 2007-06-28 | 2013-07-10 | 富士重工業株式会社 | ステレオ画像処理装置 |
JP4521642B2 (ja) * | 2008-02-13 | 2010-08-11 | 本田技研工業株式会社 | 車両周辺監視装置、車両、車両周辺監視プログラム |
JP5280768B2 (ja) * | 2008-08-18 | 2013-09-04 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4631096B2 (ja) * | 2008-10-20 | 2011-02-16 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4815488B2 (ja) * | 2008-12-22 | 2011-11-16 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4733756B2 (ja) * | 2009-04-28 | 2011-07-27 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP5292364B2 (ja) * | 2010-07-07 | 2013-09-18 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
JP5440461B2 (ja) * | 2010-09-13 | 2014-03-12 | 株式会社リコー | 校正装置、距離計測システム、校正方法および校正プログラム |
JP5870510B2 (ja) * | 2010-09-14 | 2016-03-01 | 株式会社リコー | ステレオカメラ装置、校正方法およびプログラム |
JP2012103109A (ja) * | 2010-11-10 | 2012-05-31 | Panasonic Corp | ステレオ画像処理装置、ステレオ画像処理方法及びプログラム |
JP5612621B2 (ja) * | 2012-02-28 | 2014-10-22 | 富士重工業株式会社 | 車外環境認識装置 |
JP6167525B2 (ja) * | 2012-03-21 | 2017-07-26 | 株式会社リコー | 距離計測装置及び車両 |
JP6182866B2 (ja) * | 2012-03-21 | 2017-08-23 | 株式会社リコー | 校正装置、距離計測装置及び車両 |
US9066085B2 (en) * | 2012-12-13 | 2015-06-23 | Delphi Technologies, Inc. | Stereoscopic camera object detection system and method of aligning the same |
US9384551B2 (en) * | 2013-04-08 | 2016-07-05 | Amazon Technologies, Inc. | Automatic rectification of stereo imaging cameras |
JP6151150B2 (ja) * | 2013-10-07 | 2017-06-21 | 日立オートモティブシステムズ株式会社 | 物体検出装置及びそれを用いた車両 |
WO2015143037A1 (en) * | 2014-03-21 | 2015-09-24 | Omron Corporation | Method and apparatus for detecting and mitigating optical impairments in an optical system |
US10247551B2 (en) * | 2014-09-11 | 2019-04-02 | Hitachi Automotive Systems, Ltd. | Vehicle image processing device for environment recognition |
US10186034B2 (en) * | 2015-01-20 | 2019-01-22 | Ricoh Company, Ltd. | Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium |
US10007998B2 (en) * | 2015-03-20 | 2018-06-26 | Ricoh Company, Ltd. | Image processor, apparatus, and control system for correction of stereo images |
JPWO2017042995A1 (ja) * | 2015-09-07 | 2018-06-28 | パナソニックIpマネジメント株式会社 | 車載用ステレオカメラ装置、およびその補正方法 |
JP6673160B2 (ja) * | 2016-11-24 | 2020-03-25 | 株式会社デンソー | 距離測定装置 |
JP6970568B2 (ja) * | 2017-09-22 | 2021-11-24 | 株式会社デンソー | 車両の周辺監視装置と周辺監視方法 |
JP6985872B2 (ja) * | 2017-09-22 | 2021-12-22 | 株式会社デンソー | 車両の周辺監視装置と周辺監視方法 |
JP6975003B2 (ja) * | 2017-09-29 | 2021-12-01 | 株式会社デンソー | 周辺監視装置およびその校正方法 |
JP6944328B2 (ja) * | 2017-09-29 | 2021-10-06 | 株式会社デンソー | 車両の周辺監視装置と周辺監視方法 |
JP6810009B2 (ja) * | 2017-09-29 | 2021-01-06 | トヨタ自動車株式会社 | 視差算出装置 |
JP6970577B2 (ja) * | 2017-09-29 | 2021-11-24 | 株式会社デンソー | 周辺監視装置および周辺監視方法 |
JP7018285B2 (ja) * | 2017-09-29 | 2022-02-10 | 株式会社デンソー | 車両の周辺監視装置および周辺監視方法 |
-
2017
- 2017-09-29 JP JP2017192064A patent/JP6920159B2/ja active Active
-
2018
- 2018-09-28 US US16/145,872 patent/US10713807B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019066326A (ja) | 2019-04-25 |
US10713807B2 (en) | 2020-07-14 |
US20190102901A1 (en) | 2019-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5503578B2 (ja) | 物体検出装置及び物体検出方法 | |
CN108692719B (zh) | 物体检测装置 | |
JP6209833B2 (ja) | 検査用具、検査方法、ステレオカメラの生産方法及びシステム | |
JP6970577B2 (ja) | 周辺監視装置および周辺監視方法 | |
JP6920159B2 (ja) | 車両の周辺監視装置と周辺監視方法 | |
US20190266425A1 (en) | Identification apparatus, identification method, and non-transitory tangible recording medium storing identification program | |
JP2010044009A (ja) | 車両周辺監視装置 | |
JP2006322853A (ja) | 距離計測装置、距離計測方法および距離計測プログラム | |
JP6881917B2 (ja) | 距離計測装置、撮像制御装置 | |
JP2015049200A (ja) | 計測装置、方法及びプログラム | |
JPWO2018042954A1 (ja) | 車載カメラ、車載カメラの調整方法、車載カメラシステム | |
JP2006322795A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6970568B2 (ja) | 車両の周辺監視装置と周辺監視方法 | |
US10338211B2 (en) | Apparatus for measuring distance | |
CN111105465B (zh) | 一种摄像装置校准方法、装置、***电子设备及存储介质 | |
EP2913999A1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium | |
US20180286076A1 (en) | Vision system for a motor vehicle and method of controlling a vision system | |
US11914028B2 (en) | Object detection device for vehicle | |
JP2006323693A (ja) | 処理装置、画像処理方法および画像処理プログラム | |
US10733749B2 (en) | Vehicle vicinity supervising device and vicinity supervising method | |
JP6241083B2 (ja) | 撮像装置及び視差検出方法 | |
JP6404985B1 (ja) | 距離画像の異常を検出する撮像装置 | |
US10726528B2 (en) | Image processing apparatus and image processing method for image picked up by two cameras | |
JP6379646B2 (ja) | 情報処理装置、測定方法及びプログラム | |
JP6718295B2 (ja) | 周辺監視装置及び周辺監視方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200818 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210726 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6920159 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |