JP6763080B2 - 自動車用ビジョンシステム及び方法 - Google Patents
自動車用ビジョンシステム及び方法 Download PDFInfo
- Publication number
- JP6763080B2 JP6763080B2 JP2019502733A JP2019502733A JP6763080B2 JP 6763080 B2 JP6763080 B2 JP 6763080B2 JP 2019502733 A JP2019502733 A JP 2019502733A JP 2019502733 A JP2019502733 A JP 2019502733A JP 6763080 B2 JP6763080 B2 JP 6763080B2
- Authority
- JP
- Japan
- Prior art keywords
- vision system
- code
- gatekeeper
- depth
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
Claims (15)
- 自動車用ビジョンシステムであって、
前記自動車の周囲の画像を取り込む撮像装置(11)と、
前記撮像装置(11)によって取り込まれた画像を処理し、前記自動車の周囲に存在する物体を検出し、検出された被検出物体(32)までの距離を含む座標を算出するために、物体検出コード(15)を実行する処理デバイス(14)と、
前記物体検出コード(15)から供給される前記被検出物体(32)を評価するゲートキーパーコードモジュール(33)と、を備え、
前記ゲートキーパーコードモジュール(33)は、機能安全の国際規格による機能安全レベル(ASIL)として、前記物体検出コード(15)よりも高い機能安全レベルを有し、前記被検出物体(32)を覆うエリアの少なくとも一部において、奥行き又はディスパリティ画像(35)が、前記被検出物体(32)の前記距離と所定の許容誤差内で一致するかどうかを評価することを特徴とするビジョンシステム。 - 前記ゲートキーパーコードモジュール(33)が、前記物体検出コード(15)内のバグ、前記処理デバイス(14)内の電子的誤差を排除するように構成されていることを特徴とする、請求項1に記載のビジョンシステム。
- 前記ゲートキーパーコードモジュール(33)が、前記物体検出コード(15)より高い機能安全レベルの検証コード(36)によって検証されている、検証済み奥行き又はディスパリティ画像(35)を使用することを特徴とする、請求項1又は2に記載のビジョンシステム。
- 前記検証済み奥行き又はディスパリティ画像(35)が、前記ゲートキーパーコードモジュール(33)より低い機能安全レベルを有し、前記検証コード(36)によって提供される「安全」又は「安全でない」を示す安全フラグと、を有する、奥行き又はディスパリティ画像計算コード(37)によって計算された奥行き又はディスパリティ画像(31)であることを特徴とする、請求項3に記載のビジョンシステム。
- 前記検証済み奥行き又はディスパリティ画像(35)が、画像全体のサブセットに対する前記奥行き又はディスパリティ画像計算機(37)からの奥行き又はディスパリティデータ(31)を再計算することによって、前記再計算された奥行き又はディスパリティデータを検証前の奥行き又はディスパリティデータ(31)と比較するために得られることを特徴とする、請求項3又は4に記載のビジョンシステム。
- 前記撮像装置(11)のヨー角較正が、前記ゲートキーパーコードモジュール(33)及び/又は前記検証コード(36)と少なくとも同じ機能安全レベルを有することを特徴とする、請求項3〜5のいずれか一項に記載のビジョンシステム。
- 前記ゲートキーパーコードモジュール(33)が、被検出物体(40)を覆うエリアをサブエリア(43)に分割し、前記サブエリア(43)の少なくとも一部で前記評価を行うことを特徴とする、請求項1〜6のいずれか一項に記載のビジョンシステム。
- 一致するという前記評価が、所定数の前記サブエリア(43)に対して満たされていない場合、当該被検出物体が破棄されることを特徴とする、請求項7に記載のビジョンシステム。
- 前記サブエリア(43)がグリッドの列であることを特徴とする、請求項7又は8に記載のビジョンシステム。
- 前記ゲートキーパーコードモジュール(33)が、前記サブエリア(43)をボックス(44)に分割し、かつ、前記ボックス(44)の少なくとも一部で前記評価を行うことを特徴とする、請求項7〜9のいずれか一項に記載のビジョンシステム。
- 前記ボックス(44)が、グリッドの行(43)及び列によって画定されることを特徴とする、請求項10に記載のビジョンシステム。
- それぞれのボックス(44)が、前記被検出物体(40)を安全と見なすための最大許容位置誤差に対応する寸法を有することを特徴とする、請求項10又は11に記載のビジョンシステム。
- 特定のサブエリア(43)内のボックス(44)の前記評価が一致する場合に、その特定のサブエリア(43)全体に対して前記評価が一致すると見なすことを特徴とする、請求項10〜12のいずれか一項に記載のビジョンシステム。
- 前記ゲートキーパーコードモジュール(33)が、前記物体検出コード(15)より高い機能安全レベルの検証コード(36)によって検証されている、検証済み奥行き又はディスパリティ画像(35)を使用し、
前記検証済み奥行き又はディスパリティ画像(35)の考慮時に、前記ボックス(44)内の所定数のディスパリティピクセルが、前記被検出物体(32)が前記ボックス(44)に対応する前記被検出物体の前記一部において有する距離と類似する長手方向距離を有する場合に、一致条件は満たされていると見なされることを特徴とする、請求項10〜13のいずれか一項に記載のビジョンシステム。 - 前記ゲートキーパーコードモジュール(33)と、前記検証コード(36)と、が、専用の電子処理デバイス(19)上で実行されることを特徴とする、請求項3〜6、14のいずれか一項に記載のビジョンシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16182309.1 | 2016-08-02 | ||
EP16182309.1A EP3279830B1 (en) | 2016-08-02 | 2016-08-02 | A vision system and method for a motor vehicle |
PCT/EP2017/068965 WO2018024590A1 (en) | 2016-08-02 | 2017-07-27 | A vision system and method for a motor vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020504847A JP2020504847A (ja) | 2020-02-13 |
JP6763080B2 true JP6763080B2 (ja) | 2020-09-30 |
Family
ID=56684465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019502733A Active JP6763080B2 (ja) | 2016-08-02 | 2017-07-27 | 自動車用ビジョンシステム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190180462A1 (ja) |
EP (1) | EP3279830B1 (ja) |
JP (1) | JP6763080B2 (ja) |
WO (1) | WO2018024590A1 (ja) |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5850475A (en) * | 1994-05-10 | 1998-12-15 | Fuji Xerox Co., Ltd. | Method and apparatus for dividing image area |
JPH0830787A (ja) * | 1994-05-10 | 1996-02-02 | Fuji Xerox Co Ltd | 画像領域分割方法及び画像領域統合方法 |
US6825760B2 (en) * | 2003-03-31 | 2004-11-30 | Bellsouth Intellectual Property Corporation | Vehicle safety flag assembly with ignition override switch and method of operating the same |
US7486803B2 (en) * | 2003-12-15 | 2009-02-03 | Sarnoff Corporation | Method and apparatus for object tracking prior to imminent collision detection |
JP4380561B2 (ja) * | 2004-04-16 | 2009-12-09 | 株式会社デンソー | 運転支援装置 |
DE102004035004A1 (de) * | 2004-07-20 | 2006-02-16 | Bayerische Motoren Werke Ag | Verfahren zur Erhöhung der Fahrstabilität eines Kraftfahrzeugs |
TWI327536B (en) * | 2007-05-16 | 2010-07-21 | Univ Nat Defense | Device and method for detecting obstacle by stereo computer vision |
US8583341B2 (en) * | 2008-02-11 | 2013-11-12 | Continental Teves Ag & Co. Ohg | Method for the open-loop and closed-loop control of traffic flow |
EP2219133B1 (en) | 2009-02-17 | 2011-10-05 | Autoliv Development AB | A method and system of automatically detecting objects in front of a motor vehicle |
DE102011086530A1 (de) * | 2010-11-19 | 2012-05-24 | Continental Teves Ag & Co. Ohg | Mikroprozessorsystem mit fehlertoleranter Architektur |
US9014915B2 (en) * | 2011-07-25 | 2015-04-21 | GM Global Technology Operations LLC | Active safety control for vehicles |
WO2013109656A1 (en) * | 2012-01-16 | 2013-07-25 | Maxim Integrated Products, Inc. | Method and apparatus for differential communications |
JP5724955B2 (ja) * | 2012-06-22 | 2015-05-27 | トヨタ自動車株式会社 | 物体検出装置、情報処理装置、物体検出方法 |
US20130342365A1 (en) * | 2012-06-22 | 2013-12-26 | GM Global Technology Operations LLC | Alert systems and methods for a vehicle |
DE102012215093A1 (de) * | 2012-08-24 | 2014-02-27 | Robert Bosch Gmbh | Fahrerassistenzsystem und Verfahren zum Betreiben des Fahrerassistenzsystems |
DE102012215343A1 (de) * | 2012-08-29 | 2014-05-28 | Continental Automotive Gmbh | Verfahren zum Durchführen einer Sicherheitsfunktion eines Fahrzeugs und System zum Durchführen des Verfahrens |
US9214013B2 (en) * | 2012-09-14 | 2015-12-15 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
US20160004535A1 (en) * | 2013-02-15 | 2016-01-07 | Alistair Robertson | Method of operating a multi-thread capable processor system, an automotive system comprising such multi-thread capable processor system, and a computer program product |
DE102014201271A1 (de) * | 2014-01-24 | 2015-07-30 | Robert Bosch Gmbh | Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug |
FR3026515B1 (fr) * | 2014-09-26 | 2017-12-01 | Valeo Systemes Thermiques | Transmission de donnees synchrones par l'intermediaire d'un bus de donnees serie, notamment un bus spi |
JP6864992B2 (ja) * | 2016-04-28 | 2021-04-28 | 日立Astemo株式会社 | 車両制御システム検証装置及び車両制御システム |
-
2016
- 2016-08-02 EP EP16182309.1A patent/EP3279830B1/en active Active
-
2017
- 2017-07-27 WO PCT/EP2017/068965 patent/WO2018024590A1/en active Application Filing
- 2017-07-27 JP JP2019502733A patent/JP6763080B2/ja active Active
- 2017-07-27 US US16/322,349 patent/US20190180462A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3279830B1 (en) | 2020-10-28 |
JP2020504847A (ja) | 2020-02-13 |
WO2018024590A1 (en) | 2018-02-08 |
US20190180462A1 (en) | 2019-06-13 |
EP3279830A1 (en) | 2018-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109478324B (zh) | 图像处理装置、外界识别装置 | |
US11461595B2 (en) | Image processing apparatus and external environment recognition apparatus | |
US9592764B2 (en) | Redundant object detection for driver assistance systems | |
US10131309B2 (en) | Apparatus and method for controlling airbag | |
US20170297488A1 (en) | Surround view camera system for object detection and tracking | |
US20090060273A1 (en) | System for evaluating an image | |
US11373415B2 (en) | Vehicle and method for avoiding a collision of a vehicle with one or more obstacles | |
EP2219133B1 (en) | A method and system of automatically detecting objects in front of a motor vehicle | |
WO2012121107A1 (ja) | 車戴カメラ及び車載カメラシステム | |
EP3140777B1 (en) | Method for performing diagnosis of a camera system of a motor vehicle, camera system and motor vehicle | |
US10521678B2 (en) | Vision system and method for a motor vehicle | |
JP6571658B2 (ja) | 奥行分解された画像データからのオブジェクトを認識するための方法ならびに装置 | |
JP2015153295A (ja) | 外界認識システム、車両、及びカメラの汚れ検出方法 | |
WO2010124801A1 (en) | Vision method and system for automatically detecting objects in front of a motor vehicle | |
US20210046940A1 (en) | Identifying the Contour of a Vehicle on the Basis of Measurement Data from an Environment Sensor System | |
JP6763080B2 (ja) | 自動車用ビジョンシステム及び方法 | |
EP3176725A1 (en) | Method and device for detecting a braking application of a vehicle | |
WO2018068919A1 (en) | Method for detecting objects in an environmental region of a motor vehicle considering sensor data in the infrared wavelength range, object detection apparatus, driver assistance system as well as motor vehicle | |
JP6969245B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム | |
EP3683718A1 (en) | Driver assistance system and method for a motor vehicle | |
EP3779770A1 (en) | A stereo vision system and method for a motor vehicle | |
EP3282394A1 (en) | A vision system and method for a motor vehicle | |
JP6820403B2 (ja) | 自動車用視覚システム及び方法 | |
EP2306366A1 (en) | Vision system and method for a motor vehicle | |
WO2016050377A1 (en) | Perspective transform of mono-vision image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190125 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200306 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6763080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |