JP6246014B2 - 外界認識システム、車両、及びカメラの汚れ検出方法 - Google Patents
外界認識システム、車両、及びカメラの汚れ検出方法 Download PDFInfo
- Publication number
- JP6246014B2 JP6246014B2 JP2014028414A JP2014028414A JP6246014B2 JP 6246014 B2 JP6246014 B2 JP 6246014B2 JP 2014028414 A JP2014028414 A JP 2014028414A JP 2014028414 A JP2014028414 A JP 2014028414A JP 6246014 B2 JP6246014 B2 JP 6246014B2
- Authority
- JP
- Japan
- Prior art keywords
- observation
- line
- camera
- reference line
- dirt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
101 汚れ検出部
102 観測点設定部
103 エッジ変移観測部
104 汚れスコア計算部
105 汚れ判定部
106 周辺状態認識部
107 周辺認識部
108 汚れ診断部
109 ドライバー通知部
110 警報処理部
111 車載カメラ
112 制御部
113 メモリ
114 自車両制御部
Claims (12)
- 車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムであって、
前記カメラに汚れが付着しているか否かを検出する汚れ検出部を備え、
前記汚れ検出部は、
前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
前記カメラの画像から前記基準線に対応する観測線を算出し、
前記観測線の前記基準線からの変位量を算出し、
前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出し、
前記観測線と前記基準線との間の領域の面積を算出することによって、前記観測線の前記基準線からの変位量を算出することを特徴とする外界認識システム。 - 請求項1に記載の外界認識システムであって、
前記基準線は、前記車両のボディの一部の第1基準線及び前記車両のバンパーの一部の第2基準線を含み、
前記汚れ検出部は、
前記カメラの画像から前記第1基準線に対応する第1観測線を算出し、
前記カメラの画像から前記第2基準線に対応する第2観測線を算出し、
前記第1観測線と前記第1基準線との間の領域の第1面積を算出し、
前記第2観測線と前記第2観測線との間の領域の第2面積を算出し、
前記第1面積と所定の第1閾値との大小関係、及び前記第2面積と所定の第2閾値との大小関係、又は前記第1面積と前記第2面積との合計面積と所定の第3閾値との大小関係に基づいて、前記カメラに汚れが付着しているか否かを検出することを特徴とする外界認識システム。 - 車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムであって、
前記カメラに汚れが付着しているか否かを検出する汚れ検出部を備え、
前記汚れ検出部は、
前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
前記カメラの画像から前記基準線に対応する観測線を算出し、
前記観測線の前記基準線からの変位量を算出し、
前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出し、
第1基準線及び第2基準線を前記基準線として設定し、
前記カメラの画像から前記第1基準線に対応する第1観測線を算出し、
前記カメラの画像から前記第2基準線に対応する第2観測線を算出し、
前記第1観測線と前記第2観測線との間の領域の面積を算出することによって、前記第1観測線の前記第1基準線からの変位量及び前記第2観測線の前記第2基準線からの変位量を算出することを特徴とする外界認識システム。 - 請求項3に記載の外界認識システムであって、
前記汚れ検出部は、
前記第1基準線及び前記第2基準線上にそれぞれ複数の観測点を設定する観測点設定部と、
前記カメラの画像上における前記複数の観測点に対応する複数の変位点を観測する変位観測部と、を有し、
前記変位観測部は、前記第1基準線上に設定された複数の観測点に対応する変位点の変位方向が異なり、前記第2基準線上に設定された複数の観測点に対応する変位点の変位方向が異なる場合、前記第1観測線と前記第2観測線との間の領域の面積が大きくなる方向及び小さくなる方向のいずれか一方向に統一して、前記第1基準線上に設定された複数の観測点に対応する変位点及び前記第2基準線上に設定された複数の観測点に対応する変位点を補正することを特徴とする外界認識システム。 - 請求項3に記載の外界認識システムであって、
前記第1基準線は、前記車両のボディの一部の基準線であり、
前記第2基準線は、前記車両のバンパーの一部の基準線であり、
前記第1観測線と前記第2観測線との間の領域の面積と所定の第4閾値との大小関係に基づいて、前記カメラに汚れが付着しているか否かを検出することを特徴とする外界認識システム。 - 請求項1又は3に記載の外界認識システムであって、
前記汚れ検出部は、
前記基準線上に複数の観測点を設定する観測点設定部と、
前記カメラの画像上における前記複数の観測点に対応する複数の変位点を観測する変位観測部と、を有し、
前記変位観測部は、前記観測した複数の変位点を補間することによって、前記観測線を算出することを特徴とする外界認識システム。 - 請求項6に記載の外界認識システムであって、
前記変位観測部は、
前記観測点の前記基準線に対して直交する方向の複数の画素の輝度値を取得し、
隣接する画素の輝度値の大きさの勾配が最大となる画素を前記観測点に対応する変位点として算出することを特徴とする外界認識システム。 - 請求項1又は3に記載の外界認識システムであって、
前記汚れ検出部は、前記車両の設計情報、前記カメラの搭載位置情報、及び前記カメラのパラメータ情報に基づいて、前記基準線を設定することを特徴とする外界認識システム。 - 請求項1又は3に記載の外界認識システムであって、
前記汚れ検出部は、
前記カメラに汚れが付着していることを検出した場合、前記カメラの画面の解析結果に基づいて前記車両の周辺の状態を認識することを停止し、
前記カメラに汚れが付着していることを検出した旨を前記車両の運転者に報知することを特徴とする外界認識システム。 - 請求項1から請求項9のいずれか一つに記載の前記外界認識システムを搭載することを特徴とする車両。
- 車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムにおける前記カメラの汚れ検出方法であって、
前記方法は、
前記外界認識システムが、前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
前記外界認識システムが、前記カメラの画像から前記基準線に対応する観測線を算出し、
前記外界認識システムが、前記観測線の前記基準線からの変位量を算出し、
前記外界認識システムが、前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出し、
前記外界認識システムが、前記観測線と前記基準線との間の領域の面積を算出することによって、前記観測線の前記基準線からの変位量を算出することを特徴とする汚れ検出方法。 - 車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムにおける前記カメラの汚れ検出方法であって、
前記方法は、
前記外界認識システムが、前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
前記外界認識システムが、前記カメラの画像から前記基準線に対応する観測線を算出し、
前記外界認識システムが、前記観測線の前記基準線からの変位量を算出し、
前記外界認識システムが、前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出し、
前記外界認識システムが、第1基準線及び第2基準線を前記基準線として設定し、
前記外界認識システムが、前記カメラの画像から前記第1基準線に対応する第1観測線を算出し、
前記外界認識システムが、前記カメラの画像から前記第2基準線に対応する第2観測線を算出し、
前記外界認識システムが、前記第1観測線と前記第2観測線との間の領域の面積を算出することによって、前記第1観測線の前記第1基準線からの変位量及び前記第2観測線の前記第2基準線からの変位量を算出することを特徴とする汚れ検出方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014028414A JP6246014B2 (ja) | 2014-02-18 | 2014-02-18 | 外界認識システム、車両、及びカメラの汚れ検出方法 |
US15/117,777 US10268902B2 (en) | 2014-02-18 | 2015-01-30 | Outside recognition system, vehicle and camera dirtiness detection method |
EP15752457.0A EP3110145B1 (en) | 2014-02-18 | 2015-01-30 | External-environment recognition system, vehicle, and camera-dirtiness detection method |
PCT/JP2015/052778 WO2015125590A1 (ja) | 2014-02-18 | 2015-01-30 | 外界認識システム、車両、及びカメラの汚れ検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014028414A JP6246014B2 (ja) | 2014-02-18 | 2014-02-18 | 外界認識システム、車両、及びカメラの汚れ検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015153295A JP2015153295A (ja) | 2015-08-24 |
JP6246014B2 true JP6246014B2 (ja) | 2017-12-13 |
Family
ID=53878102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014028414A Active JP6246014B2 (ja) | 2014-02-18 | 2014-02-18 | 外界認識システム、車両、及びカメラの汚れ検出方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10268902B2 (ja) |
EP (1) | EP3110145B1 (ja) |
JP (1) | JP6246014B2 (ja) |
WO (1) | WO2015125590A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10126928B2 (en) * | 2014-03-31 | 2018-11-13 | Magna Electronics Inc. | Vehicle human machine interface with auto-customization |
TWI607901B (zh) * | 2015-11-06 | 2017-12-11 | 財團法人工業技術研究院 | 影像修補系統及其方法 |
KR102386846B1 (ko) * | 2016-07-05 | 2022-04-13 | 스미토모 겐키 가부시키가이샤 | 쇼벨 |
US10339812B2 (en) | 2017-03-02 | 2019-07-02 | Denso International America, Inc. | Surrounding view camera blockage detection |
JP6832224B2 (ja) * | 2017-04-28 | 2021-02-24 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
JP6772113B2 (ja) * | 2017-08-02 | 2020-10-21 | クラリオン株式会社 | 付着物検出装置、および、それを備えた車両システム |
JP6970911B2 (ja) * | 2017-08-04 | 2021-11-24 | パナソニックIpマネジメント株式会社 | 汚れ検出装置の制御方法、および汚れ検出装置 |
US10710585B2 (en) * | 2017-09-01 | 2020-07-14 | Ford Global Technologies, Llc | Trailer backup assist system with predictive hitch angle functionality |
DE102017121376B4 (de) * | 2017-09-14 | 2021-01-14 | Motherson Innovations Company Limited | Verfahren zum Betreiben eines Kraftfahrzeugs mit zumindest einer Außenkamera sowie Kraftfahrzeug mit zumindest einer Außenkamera |
US10900857B2 (en) * | 2018-06-06 | 2021-01-26 | Ford Global Technologies, Llc | Methods and systems for fluid leak determination |
KR102634349B1 (ko) * | 2018-10-11 | 2024-02-07 | 현대자동차주식회사 | 차량의 제어 장치 및 방법 |
JP7271908B2 (ja) * | 2018-11-08 | 2023-05-12 | 株式会社アイシン | 周辺監視装置 |
JP7230507B2 (ja) * | 2018-12-28 | 2023-03-01 | 株式会社デンソーテン | 付着物検出装置 |
US10706293B1 (en) * | 2019-04-11 | 2020-07-07 | Ford Global Technologies, Llc | Vehicle camera clearness detection and alert |
US11829128B2 (en) * | 2019-10-23 | 2023-11-28 | GM Global Technology Operations LLC | Perception system diagnosis using predicted sensor data and perception results |
JP7077356B2 (ja) | 2020-04-21 | 2022-05-30 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
DE102020209796A1 (de) | 2020-08-04 | 2022-02-10 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Anordnung zum Betreiben einer kamerabasierten Sensoreinrichtung, Computerprogrammprodukt und landwirtschaftliche Vorrichtung |
US11333112B2 (en) | 2020-10-21 | 2022-05-17 | Ford Global Technologies, Llc | Method and system for a vehicle evaporative emissions control system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005162168A (ja) * | 2003-12-05 | 2005-06-23 | Calsonic Kansei Corp | リアワイパ装置 |
JP5022609B2 (ja) * | 2006-02-27 | 2012-09-12 | 日立オートモティブシステムズ株式会社 | 撮像環境認識装置 |
JP2007318355A (ja) * | 2006-05-24 | 2007-12-06 | Matsushita Electric Ind Co Ltd | 撮像装置およびレンズ汚れ検出方法 |
JP2010273014A (ja) * | 2009-05-20 | 2010-12-02 | Toshiba Alpine Automotive Technology Corp | 移動体用カメラ装置及び付着物検出方法 |
MX336104B (es) * | 2011-04-13 | 2016-01-08 | Nissan Motor | Dispositivo de asistencia de conduccion y metodo de deteccion de gotas de lluvia para el mismo. |
JP2013191072A (ja) * | 2012-03-14 | 2013-09-26 | Hitachi Automotive Systems Ltd | 物体検出装置 |
US9726883B2 (en) * | 2012-07-27 | 2017-08-08 | Nissan Motor Co., Ltd | Three-dimensional object detection device and foreign matter detection device |
-
2014
- 2014-02-18 JP JP2014028414A patent/JP6246014B2/ja active Active
-
2015
- 2015-01-30 US US15/117,777 patent/US10268902B2/en active Active
- 2015-01-30 EP EP15752457.0A patent/EP3110145B1/en active Active
- 2015-01-30 WO PCT/JP2015/052778 patent/WO2015125590A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP3110145A1 (en) | 2016-12-28 |
US20160364620A1 (en) | 2016-12-15 |
JP2015153295A (ja) | 2015-08-24 |
EP3110145A4 (en) | 2017-09-13 |
WO2015125590A1 (ja) | 2015-08-27 |
US10268902B2 (en) | 2019-04-23 |
EP3110145B1 (en) | 2023-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6246014B2 (ja) | 外界認識システム、車両、及びカメラの汚れ検出方法 | |
US10274598B2 (en) | Navigation based on radar-cued visual imaging | |
JP5867273B2 (ja) | 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム | |
JP6174975B2 (ja) | 周囲環境認識装置 | |
US11620837B2 (en) | Systems and methods for augmenting upright object detection | |
JP4420011B2 (ja) | 物体検知装置 | |
JP5022609B2 (ja) | 撮像環境認識装置 | |
JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
JP5981322B2 (ja) | 車載画像処理装置 | |
EP2928178B1 (en) | On-board control device | |
JP4656456B2 (ja) | 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム | |
JP2016033729A (ja) | 周囲環境認識装置 | |
WO2016129301A1 (ja) | 車両用進入可否判定装置 | |
TWI531499B (zh) | Anti-collision warning method and device for tracking moving object | |
JP6465919B2 (ja) | 障害物検知システム | |
JP6429101B2 (ja) | 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体 | |
JP6362945B2 (ja) | 車載画像処理装置 | |
US11417115B2 (en) | Obstacle recognition device | |
JP2011090490A (ja) | 障害物認識装置 | |
JP7193942B2 (ja) | 車両検知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6246014 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |