JP6257792B2 - カメラの被覆状態の認識方法、カメラシステム、及び自動車 - Google Patents
カメラの被覆状態の認識方法、カメラシステム、及び自動車 Download PDFInfo
- Publication number
- JP6257792B2 JP6257792B2 JP2016552682A JP2016552682A JP6257792B2 JP 6257792 B2 JP6257792 B2 JP 6257792B2 JP 2016552682 A JP2016552682 A JP 2016552682A JP 2016552682 A JP2016552682 A JP 2016552682A JP 6257792 B2 JP6257792 B2 JP 6257792B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- pixels
- covered
- luminance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000001514 detection method Methods 0.000 claims description 12
- 229920006395 saturated elastomer Polymers 0.000 description 20
- 238000001914 filtration Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000009499 grossing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000011109 contamination Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
if M ≧ CF, then:
CF = M;
else: if M < C, then:
CF = αM + (1-α)CF
Claims (11)
- 自動車(1)のカメラ(4)の被覆状態を認識する方法であって、
自動車(1)の周囲領域の画像(5)をカメラ(4)によって提供するステップと、
画像(5)の少なくとも1つの画像領域(60)内の画素(6)のそれぞれの輝度値(B)を測定するステップと、
少なくとも1つの画像領域(60)の中で、輝度値(B)に関する所定の基準を満たす画素(6)の数(N1、N2)を測定するステップと、
数(N1、N2)に応じてカメラ(4)が被覆されているか、被覆されていないかをチェックするステップと、
を含み、
画像領域(60)内の輝度平均値(BE)が画素(6)の輝度値(B)から判断され、第1の基準に応じて、画像領域(60)の中の、輝度平均値(BE)より少なくとも所定の限界値(BV)だけ大きい輝度値(B)を有する画素(6)の第1の数(N1)が測定され、第1の数(N1)に応じてカメラ(4)が被覆されているか、被覆されていないかがチェックされる、
ことを特徴とする方法。 - 輝度値(B)について少なくとも2つの基準が使用され、各基準について、それぞれの基準を満たす輝度(B)を有する画素(6)の数(N1、N2)が測定され、各基準には被覆状態の異なる理由が関連付けられる、
ことを特徴とする、請求項1に記載の方法。 - カメラ(4)が不透明な物体によって少なくとも部分的に被覆される第1の状態が第1の基準に関連付けられ、及び/又は
カメラ(4)が透明な物体によって少なくとも部分的に被覆されていると仮定される第2の状態が第2の基準に関連付けられる、
ことを特徴とする、請求項2に記載の方法。 - カメラ(4)の被覆状態は、第1の数(N1)が所定の閾値(A1)より小さい場合に仮定される、
ことを特徴とする、請求項3に記載の方法。 - 画像(5)は複数の画像領域(60)に分割され、各画像領域(60)について、それぞれの画像領域(60)の中の、輝度平均値(BE)より少なくとも所定の限界値(BV)だけ大きい輝度値(B)を有する画素(6)の第1の数(N1)がそれぞれ測定され、第1の数(N1)が所定の閾値(A1)より小さい画像領域(61)が全体領域(62)へと合体され、全体領域(62)が所定の閾値より大きい場合のみ、カメラ(4)の被覆状態が仮定される、
ことを特徴とする、請求項4に記載の方法。 - 第2の基準により、画像領域(60)の中の、飽和により最大可能輝度に対応する輝度値(B)を有する画素(6)の第2の数(N2)が測定され、第2の数(N2)に応じて、カメラ(4)が被覆されているか、被覆されていないかがチェックされる、
ことを特徴とする、請求項1〜5のいずれか1項に記載の方法。 - カメラ(4)の被覆状態は、第2の数(N2)が所定の閾値(A2)より大きい場合に仮定される、
ことを特徴とする、請求項6に記載の方法。 - 検出後、カメラ(4)の状態が再び被覆されていないと仮定されるのは、画像(5)の所定のシーケンス(V)にわたり、第2の数(N2)が閾値(A2)より小さいままである場合のみである、
ことを特徴とする、請求項7に記載の方法。 - 画素(6)の数(N1、N2)に基づいて被覆状態が検出されない場合、画像(5)はハイパスフィルタ(HPF)によってフィルタ処理され、フィルタ処理後の画像(5)に基づいて、カメラ(4)が被覆されているか、被覆されていないかがチェックされる、
ことを特徴とする、請求項1〜8のいずれか1項に記載の方法。 - 自動車(1)用のカメラシステム(2)であって、
自動車(1)の周囲領域の画像(5)を提供するための少なくとも1つのカメラ(4)と、
請求項1〜9のいずれか1項に記載の方法を実行するようになされているコンピューティングデバイス(3)と、
を備えることを特徴とするカメラシステム(2)。 - 請求項10に記載のカメラシステム(2)を備える自動車(1)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE201310019138 DE102013019138A1 (de) | 2013-11-12 | 2013-11-12 | Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug |
DE102013019138.6 | 2013-11-12 | ||
PCT/EP2014/073898 WO2015071162A1 (en) | 2013-11-12 | 2014-11-06 | Method for recognizing a covered state of a camera, camera system and motor vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016537934A JP2016537934A (ja) | 2016-12-01 |
JP6257792B2 true JP6257792B2 (ja) | 2018-01-10 |
Family
ID=51868229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016552682A Active JP6257792B2 (ja) | 2013-11-12 | 2014-11-06 | カメラの被覆状態の認識方法、カメラシステム、及び自動車 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20160284076A1 (ja) |
EP (1) | EP3069317B1 (ja) |
JP (1) | JP6257792B2 (ja) |
DE (2) | DE102013019138A1 (ja) |
WO (1) | WO2015071162A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6176191B2 (ja) * | 2014-06-19 | 2017-08-09 | 株式会社Jvcケンウッド | 撮像装置及び赤外線画像生成方法 |
EP3113477B1 (en) * | 2015-06-30 | 2017-08-02 | Axis AB | Monitoring camera |
DE102015112682A1 (de) * | 2015-08-03 | 2017-02-09 | Connaught Electronics Ltd. | Verfahren zum Betreiben eines Kamerasystems mit einer plenoptischen Kamera, Kamerasystem und Kraftfahrzeug |
DE102016104044A1 (de) * | 2016-03-07 | 2017-09-07 | Connaught Electronics Ltd. | Verfahren zum Erkennen einer Ablagerung auf einem optischen Element einer Kamera durch einen Merkmalsraum und eine Hyperebene, sowie Kamerasystem und Kraftfahrzeug |
US10904409B2 (en) * | 2016-07-27 | 2021-01-26 | Kyocera Corporation | Detection apparatus, imaging apparatus, moveable body, and detection method |
DE102016118335A1 (de) | 2016-09-28 | 2018-03-29 | Connaught Electronics Ltd. | Verfahren zum Erkennen einer Verschmutzung auf einer Linse einer Kamera eines Kraftfahrzeugs anhand von Helligkeitswerten in Bildern, Kamera sowie Kraftfahrzeug |
US10936884B2 (en) * | 2017-01-23 | 2021-03-02 | Magna Electronics Inc. | Vehicle vision system with object detection failsafe |
DE102017203276B4 (de) * | 2017-03-01 | 2022-10-06 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien |
JP6832224B2 (ja) * | 2017-04-28 | 2021-02-24 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
JP6772113B2 (ja) * | 2017-08-02 | 2020-10-21 | クラリオン株式会社 | 付着物検出装置、および、それを備えた車両システム |
JP7205386B2 (ja) * | 2019-05-31 | 2023-01-17 | 株式会社リコー | 撮像装置、画像処理方法、プログラム |
CN110991222B (zh) * | 2019-10-16 | 2023-12-08 | 京东科技信息技术有限公司 | 一种物体状态监测、母猪发情监测方法、装置及*** |
US11328428B2 (en) | 2019-12-18 | 2022-05-10 | Clarion Co., Ltd. | Technologies for detection of occlusions on a camera |
US11423639B2 (en) | 2020-07-31 | 2022-08-23 | Ford Global Technologies, Llc | Hidden camera detection systems and methods |
CN114079766B (zh) * | 2020-08-10 | 2023-08-11 | 珠海格力电器股份有限公司 | 屏下摄像头遮挡提示方法、存储介质以及终端设备 |
DE102021112236A1 (de) | 2021-05-11 | 2022-11-17 | Zf Cv Systems Global Gmbh | Bewegungserkennungs-Verfahren zur Erkennung einer Bewegung bei einem Fahrzeug, Monitorverfahren mittels dem ein Zustand eines Monitorsensors überprüfbar ist und Fahrzeug |
WO2024099562A1 (de) | 2022-11-10 | 2024-05-16 | Zf Cv Systems Global Gmbh | Bewegungserkennungs-verfahren zur erkennung einer bewegung bei einem fahrzeug, monitorverfahren mittels dem ein zustand eines monitorsensors überprüfbar ist und fahrzeug |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10148618A (ja) * | 1996-11-15 | 1998-06-02 | Mitsuba Corp | 雨滴検出装置における異物検出方法 |
US6990255B2 (en) * | 2001-09-19 | 2006-01-24 | Romanik Philip B | Image defect display system |
DE10201520A1 (de) * | 2002-01-17 | 2003-07-31 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Bildfehlererkennung b zw. -anzeige bei Bildaufnahmesystemen |
US7505604B2 (en) * | 2002-05-20 | 2009-03-17 | Simmonds Precision Prodcuts, Inc. | Method for detection and recognition of fog presence within an aircraft compartment using video images |
EP1498721A1 (de) * | 2003-07-15 | 2005-01-19 | ELMOS Semiconductor AG | Vorrichtung zur Erkennung von Nebel, insbesondere für ein Fahrzeug |
DE102004020998A1 (de) * | 2004-04-19 | 2005-11-03 | Pilz Gmbh & Co. Kg | Vorrichtung zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage |
US7535501B1 (en) * | 2004-10-12 | 2009-05-19 | Lifetouch, Inc. | Testing of digital cameras |
JP4657869B2 (ja) * | 2005-09-27 | 2011-03-23 | シャープ株式会社 | 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体 |
US8553088B2 (en) * | 2005-11-23 | 2013-10-08 | Mobileye Technologies Limited | Systems and methods for detecting obstructions in a camera field of view |
JP2007215151A (ja) * | 2006-01-12 | 2007-08-23 | Canon Inc | 撮像装置及びその制御方法及びプログラム |
JP2007208865A (ja) * | 2006-02-06 | 2007-08-16 | Clarion Co Ltd | カメラ状態検知システム |
JP5022609B2 (ja) | 2006-02-27 | 2012-09-12 | 日立オートモティブシステムズ株式会社 | 撮像環境認識装置 |
JP4626632B2 (ja) * | 2007-06-25 | 2011-02-09 | 株式会社日立製作所 | 映像監視システム |
US8208043B2 (en) * | 2008-05-09 | 2012-06-26 | Aptina Imaging Corporation | Lens cleaning warning system and method |
US8208022B2 (en) * | 2008-06-05 | 2012-06-26 | Lg Electronics Inc. | Apparatus and method for removing blooming of camera image |
EP2351351B1 (en) | 2008-10-01 | 2015-09-16 | Connaught Electronics Limited | A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device |
JP2011232193A (ja) * | 2010-04-28 | 2011-11-17 | Denso Corp | 雨滴検出方法およびそれを用いた雨滴検出装置 |
DE102010030616A1 (de) * | 2010-06-28 | 2011-12-29 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen eines Störobjekts in einem Kamerabild |
EP2721554A2 (de) * | 2011-06-17 | 2014-04-23 | Robert Bosch GmbH | Verfahren und steuergerät zur erkennung einer wetterbedingung in einem umfeld eines fahrzeugs |
JP5883732B2 (ja) * | 2012-07-03 | 2016-03-15 | クラリオン株式会社 | 環境認識装置 |
JP6117634B2 (ja) * | 2012-07-03 | 2017-04-19 | クラリオン株式会社 | レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム |
-
2013
- 2013-11-12 DE DE201310019138 patent/DE102013019138A1/de not_active Withdrawn
-
2014
- 2014-11-06 US US15/035,988 patent/US20160284076A1/en not_active Abandoned
- 2014-11-06 WO PCT/EP2014/073898 patent/WO2015071162A1/en active Application Filing
- 2014-11-06 EP EP14795621.3A patent/EP3069317B1/en active Active
- 2014-11-06 DE DE112014005160.8T patent/DE112014005160T5/de not_active Withdrawn
- 2014-11-06 JP JP2016552682A patent/JP6257792B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2015071162A1 (en) | 2015-05-21 |
DE102013019138A1 (de) | 2015-05-13 |
EP3069317A1 (en) | 2016-09-21 |
JP2016537934A (ja) | 2016-12-01 |
EP3069317B1 (en) | 2018-07-04 |
US20160284076A1 (en) | 2016-09-29 |
DE112014005160T5 (de) | 2016-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6257792B2 (ja) | カメラの被覆状態の認識方法、カメラシステム、及び自動車 | |
US7646889B2 (en) | Rain sensor | |
JP5437855B2 (ja) | 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法 | |
US11836989B2 (en) | Vehicular vision system that determines distance to an object | |
US20160162743A1 (en) | Vehicle vision system with situational fusion of sensor data | |
US11295145B2 (en) | Object detection using vehicular vision system | |
JP5759950B2 (ja) | 車載カメラ装置 | |
JP6571424B2 (ja) | 故障診断装置 | |
WO2007111220A1 (ja) | 道路区画線検出装置 | |
US20160180158A1 (en) | Vehicle vision system with pedestrian detection | |
US20200084356A1 (en) | Image monitoring device, image monitoring method, and recording medium | |
WO2013008304A1 (ja) | 瞼検出装置 | |
JPH09113221A (ja) | 車載用画像処理装置及びその画像処理方法 | |
JP2006314061A (ja) | 画像処理装置及びノイズ判定方法 | |
JP4087600B2 (ja) | 画像監視装置 | |
US20090322879A1 (en) | Method and device for the detection of defective pixels of an image recording sensor, preferably in a driver assistance system | |
KR20180061695A (ko) | 휠 검출을 통한 차량 옆면 인식 방법 및 장치 | |
US20230106188A1 (en) | Vehicular vision system with object classification based on change in orientation of object | |
JP6362945B2 (ja) | 車載画像処理装置 | |
JP7525936B2 (ja) | 確信度推定値を有する深度マップを提供するための方法およびシステム | |
US11182626B2 (en) | Attached object detection apparatus | |
EP4304191A2 (en) | Camera system, method for controlling the same, and computer program | |
CN110557558B (zh) | 物体监视装置 | |
KR20220167794A (ko) | 깊이 맵에 신뢰도 추정치를 제공하는 방법 및 시스템 | |
WO2014203658A1 (ja) | 測距装置および測距方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6257792 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |