JP7183729B2 - 撮影異常診断装置 - Google Patents
撮影異常診断装置 Download PDFInfo
- Publication number
- JP7183729B2 JP7183729B2 JP2018220646A JP2018220646A JP7183729B2 JP 7183729 B2 JP7183729 B2 JP 7183729B2 JP 2018220646 A JP2018220646 A JP 2018220646A JP 2018220646 A JP2018220646 A JP 2018220646A JP 7183729 B2 JP7183729 B2 JP 7183729B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- vehicle
- road
- image
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005856 abnormality Effects 0.000 title description 22
- 238000003384 imaging method Methods 0.000 title description 15
- 238000003745 diagnosis Methods 0.000 title description 14
- 238000001514 detection method Methods 0.000 claims description 77
- 230000001133 acceleration Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
図1は、本実施形態に係る撮影異常診断装置が実装される車両の構成を概略的に示す図である。図1に示したように、車両1は、車載カメラ2、加速度センサ3、ヨーレートセンサ4、ステアリングホイール5、操舵角センサ6、GPS受信機7及び電子制御ユニット(ECU)8を備える。車載カメラ2、加速度センサ3、ヨーレートセンサ4、ステアリングホイール5、操舵角センサ6、GPS受信機7及びECU8は、CAN(Controller Area Network)等の規格に準拠した車内ネットワーク9を介して互いに通信可能に接続される。
図3は、撮影異常検出処理に関するECU8の機能ブロック図である。ECU8は、区画線形状検出部31、道路形状推定部32及び歪み領域検出部33を有する。ECU6のこれら機能ブロックは、例えば、プロセッサ23上で動作するコンピュータプログラムにより実現される機能モジュールである。なお、これら機能ブロックは、プロセッサ23に設けられた専用の演算回路であってもよい。
次に、図6~図8を参照して、撮影異常診断処理について説明する。図6は、撮影異常診断処理を示すフローチャートである。図6に示した撮影異常診断処理は、ECU8のプロセッサ23によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、車載カメラ2からECU8に画像情報が送信される間隔である。
上記実施形態によれば、車載カメラ2によって撮影された画像に表された区画線のみならず、車載カメラ2以外の検出器の出力に基づいて推定された車両1が走行している道路の形状に基づいて、歪み領域が検出される。したがって、車載カメラによって撮影された画像内の歪み領域等の異常を適切に診断することができる。
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。
2 車載カメラ
3 加速度センサ
4 ヨーレートセンサ
6 操舵角センサ
7 GPS受信機
8 電子制御ユニット(ECU)
31 区画線形状検出部
32 道路形状推定部
33 歪み領域検出部
Claims (1)
- 車載カメラによって撮影された車両の前方又は後方の路面の画像内の区画線の形状を検出する区画線形状検出部と、
加速度センサによって検出された前記車両の横方向の加速度、ヨーレートセンサによって検出された前記車両のヨーレート及び操舵角センサによって検出されたステアリングホイールの操舵角のうちの少なくとも何れか一つのみに基づいて車両が走行している道路の形状を推定する道路形状推定部と、
前記道路の形状と前記区画線の形状とが一致しない前記画像内の領域を該画像中に局所的な歪みが生じている歪み領域であるとして検出する歪み領域検出部と、を備える、撮影異常診断装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220646A JP7183729B2 (ja) | 2018-11-26 | 2018-11-26 | 撮影異常診断装置 |
US16/690,250 US11295429B2 (en) | 2018-11-26 | 2019-11-21 | Imaging abnormality diagnosis device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220646A JP7183729B2 (ja) | 2018-11-26 | 2018-11-26 | 撮影異常診断装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020086956A JP2020086956A (ja) | 2020-06-04 |
JP7183729B2 true JP7183729B2 (ja) | 2022-12-06 |
Family
ID=70769959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018220646A Active JP7183729B2 (ja) | 2018-11-26 | 2018-11-26 | 撮影異常診断装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11295429B2 (ja) |
JP (1) | JP7183729B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7440237B2 (ja) | 2019-10-16 | 2024-02-28 | トヨタ自動車株式会社 | 表示装置 |
JP6968475B1 (ja) * | 2021-06-03 | 2021-11-17 | 望 窪田 | 情報処理方法、プログラム及び情報処理装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004310525A (ja) | 2003-04-08 | 2004-11-04 | Toyota Motor Corp | 車両用画像処理装置 |
JP2007004669A (ja) | 2005-06-27 | 2007-01-11 | Honda Motor Co Ltd | 車両及び車線認識装置 |
JP2014104853A (ja) | 2012-11-27 | 2014-06-09 | Clarion Co Ltd | 車載用制御装置 |
US20170261327A1 (en) | 2016-03-10 | 2017-09-14 | Volvo Car Corporation | Method and system for estimating a boundary of a road |
JP2018022206A (ja) | 2016-08-01 | 2018-02-08 | 三菱電機株式会社 | 車線区画線検知補正装置、車線区画線検知補正方法、及び自動運転システム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5926080B2 (ja) * | 2012-03-19 | 2016-05-25 | 株式会社日本自動車部品総合研究所 | 走行区画線認識装置およびプログラム |
CN104508726B (zh) * | 2012-07-27 | 2017-05-03 | 日产自动车株式会社 | 三维物体检测装置和三维物体检测方法 |
US9751534B2 (en) * | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
US9892328B2 (en) * | 2014-06-18 | 2018-02-13 | Mobileye Vision Technologies Ltd. | Hazard detection from a camera in a scene with moving shadows |
US10078133B2 (en) * | 2014-08-15 | 2018-09-18 | Aeye, Inc. | Method and system for ladar transmission with closed loop feedback control of dynamic scan patterns |
US9892296B2 (en) * | 2014-11-12 | 2018-02-13 | Joseph E. Kovarik | Method and system for autonomous vehicles |
US10077050B2 (en) * | 2016-05-24 | 2018-09-18 | GM Global Technology Operations LLC | Automated driving system for evaluating lane cut-out and method of using the same |
US10369994B2 (en) * | 2016-07-20 | 2019-08-06 | Ford Global Technologies, Llc | Rear camera stub detection |
CN110325823B (zh) * | 2017-01-12 | 2023-08-29 | 御眼视觉技术有限公司 | 基于规则的导航 |
US10549762B2 (en) * | 2017-07-31 | 2020-02-04 | GM Global Technology Operations LLC | Distinguish between vehicle turn and lane change |
US10628671B2 (en) * | 2017-11-01 | 2020-04-21 | Here Global B.V. | Road modeling from overhead imagery |
JP6643297B2 (ja) * | 2017-11-16 | 2020-02-12 | 株式会社Subaru | 運転支援装置 |
JP6760251B2 (ja) * | 2017-12-15 | 2020-09-23 | 株式会社デンソー | 道路地図生成システム及び道路地図生成方法 |
CN108470159B (zh) * | 2018-03-09 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 车道线数据处理方法、装置、计算机设备和存储介质 |
KR102595897B1 (ko) * | 2018-08-27 | 2023-10-30 | 삼성전자 주식회사 | 차선 결정 방법 및 장치 |
US10762360B2 (en) * | 2018-11-19 | 2020-09-01 | Waymo Llc | Automatically detecting unmapped drivable road surfaces for autonomous vehicles |
-
2018
- 2018-11-26 JP JP2018220646A patent/JP7183729B2/ja active Active
-
2019
- 2019-11-21 US US16/690,250 patent/US11295429B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004310525A (ja) | 2003-04-08 | 2004-11-04 | Toyota Motor Corp | 車両用画像処理装置 |
JP2007004669A (ja) | 2005-06-27 | 2007-01-11 | Honda Motor Co Ltd | 車両及び車線認識装置 |
JP2014104853A (ja) | 2012-11-27 | 2014-06-09 | Clarion Co Ltd | 車載用制御装置 |
US20170261327A1 (en) | 2016-03-10 | 2017-09-14 | Volvo Car Corporation | Method and system for estimating a boundary of a road |
JP2018022206A (ja) | 2016-08-01 | 2018-02-08 | 三菱電機株式会社 | 車線区画線検知補正装置、車線区画線検知補正方法、及び自動運転システム |
Also Published As
Publication number | Publication date |
---|---|
JP2020086956A (ja) | 2020-06-04 |
US11295429B2 (en) | 2022-04-05 |
US20200167906A1 (en) | 2020-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11657604B2 (en) | Systems and methods for estimating future paths | |
US11745659B2 (en) | Vehicular system for controlling vehicle | |
EP3608635A1 (en) | Positioning system | |
US10325171B2 (en) | Object detection device, driving assistance device, object detection method, and object detection program | |
JP6137081B2 (ja) | 車載機器 | |
WO2015125590A1 (ja) | 外界認識システム、車両、及びカメラの汚れ検出方法 | |
US9953227B2 (en) | In-vehicle image processing device | |
WO2015118806A1 (ja) | 画像解析装置、および画像解析方法 | |
CN113160594B (zh) | 变化点检测装置以及地图信息发布*** | |
EP3140777A1 (en) | Method for performing diagnosis of a camera system of a motor vehicle, camera system and motor vehicle | |
EP3935560A1 (en) | Method for training and using a neural network to detect ego part position | |
US20200090347A1 (en) | Apparatus for estimating movement information | |
JP2012166705A (ja) | 車載カメラレンズ用異物付着判定装置 | |
JP7426174B2 (ja) | 車両周囲画像表示システム及び車両周囲画像表示方法 | |
JP7183729B2 (ja) | 撮影異常診断装置 | |
WO2018149539A1 (en) | A method and apparatus for estimating a range of a moving object | |
JP2020060899A (ja) | 車載カメラのキャリブレーション装置 | |
CN109345591A (zh) | 一种车辆自身姿态检测方法和装置 | |
WO2015182148A1 (ja) | 物体検出装置および物体検出装置を設置した車両 | |
JP6288204B1 (ja) | 車両用制限速度検出装置 | |
CN113170057B (zh) | 摄像部控制装置 | |
WO2017122688A1 (ja) | 車載カメラのレンズ異常検出装置 | |
JP5040831B2 (ja) | 車両用撮影装置および撮影方法 | |
US20190279385A1 (en) | Vision system and method for a motor vehicle | |
US20190185016A1 (en) | Vehicle position attitude calculation apparatus and vehicle position attitude calculation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210521 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210521 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221107 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7183729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |