JP6970911B2 - 汚れ検出装置の制御方法、および汚れ検出装置 - Google Patents
汚れ検出装置の制御方法、および汚れ検出装置 Download PDFInfo
- Publication number
- JP6970911B2 JP6970911B2 JP2017152001A JP2017152001A JP6970911B2 JP 6970911 B2 JP6970911 B2 JP 6970911B2 JP 2017152001 A JP2017152001 A JP 2017152001A JP 2017152001 A JP2017152001 A JP 2017152001A JP 6970911 B2 JP6970911 B2 JP 6970911B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- dirt
- unit
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 156
- 238000000034 method Methods 0.000 title claims description 30
- 230000008859 change Effects 0.000 claims description 66
- 238000011109 contamination Methods 0.000 claims 3
- 238000004891 communication Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 230000010354 integration Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
車両の後部に、当該車両の後方空間の様子を撮像するテレビジョンカメラ(以下「リアカメラ」と呼ぶ。)が搭載されることがある。車両には、リアカメラにより撮像された後方空間の画像(動画および静止画を含み、以下「後方画像」とも呼ぶ。)に基づいて、後方空間に存在する人や障害物を検知すると、運転者へアラートを通知するアプリケーションが導入されることもある。また、車両には、後方画像に基づいて後方空間の人や障害物を検知すると、その人や障害物を回避するように自動運転の挙動を決定するアプリケーションが導入されることもある。
図8は、汚れ検出装置14の動作を示すフローチャートである。リアカメラ12は、車両10の後方空間の様子を継続的に撮像し、複数の後方画像を順次汚れ検出装置14へ出力する。汚れ検出装置14の画像取得部34は、通信部30を介して、リアカメラ12により複数の時点で生成された複数の後方画像を取得する(S10)。
[項目1]
1つのカメラにより複数の時点で撮像された複数の画像を取得する取得部と、
前記取得部により取得された複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出する第1検出部と、
前記取得部により取得された複数の画像の中の少なくとも1つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出する第2検出部と、
前記第1検出部により検出された前記不変領域と、前記第2検出部により検出された前記複数の領域のボケ度合いとに基づいて、前記カメラに付着した汚れの有無を推定する推定部と、
を備える汚れ検出装置。
この構成によると、第1検出部により検出された画像内の不変領域と、第2検出部により検出された画像内の複数領域のボケ度合いとを組み合わせることにより、カメラに付着した汚れの有無を推定する精度(言い換えれば正確度)を高めることができる。例えば、この構成によると、実際には汚れが付着していないにもかかわらず汚れが付着していると誤検出してしまうことを抑制できる。
[項目2]
前記推定部は、前記第1検出部により検出された不変領域の少なくとも一部と、前記第2検出部により検出されたボケ度合いが所定値より高い領域の少なくとも一部とが一致する場合に、前記カメラに汚れが付着したと推定する、
項目1に記載の汚れ検出装置。
この構成によると、輝度の変化が低く、かつ、ボケ度合いが高い領域が存在する場合に汚れが有りと推定することにより、汚れの有無の推定精度を高めることができる。
[項目3]
前記カメラは、車両に搭載されたカメラであって、当該車両の周囲を撮像するものであり、
前記車両の走行状態が、前記カメラの画像に変化を生じさせる所定の条件を満たすか否かを判定する判定部をさらに備え、
前記推定部は、前記判定部により前記車両の走行状態が前記条件を満たすと判定された場合に、前記カメラに付着した汚れの有無を推定する処理を実行する、
項目1または2に記載の汚れ検出装置。
この構成によると、変化が生じた画像に基づいて汚れの有無を推定するため、その推定精度を一層高めることができる。例えば、この構成によると、車両に動きがないことに起因する汚れの誤検出を抑制できる。
[項目4]
外界を撮像する撮像部と、
前記撮像部により複数の時点で撮像された複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出する第1検出部と、
前記撮像部により撮像された複数の画像の中の少なくとも1つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出する第2検出部と、
前記第1検出部により検出された前記不変領域と、前記第2検出部により検出された前記複数の領域のボケ度合いとに基づいて、本カメラに付着した汚れの有無を推定する推定部と、
を備えるカメラ。
この構成によると、画像内の不変領域と、画像内の複数領域のボケ度合いとを組み合わせることにより、カメラに付着した汚れの有無を推定する精度を高めることができる。
[項目5]
1つのカメラにより複数の時点で撮像された複数の画像を取得し、
前記複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出し、
前記複数の画像の中の少なくとも1つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出し、
前記不変領域と、前記複数の領域のボケ度合いとに基づいて、前記カメラに付着した汚れの有無を推定する、
ことをコンピュータに実行させるためのコンピュータプログラム。
この構成によると、画像内の不変領域と、画像内の複数領域のボケ度合いとを組み合わせることにより、カメラに付着した汚れの有無を推定する精度を高めることができる。
[項目6]
1つのカメラにより複数の時点で撮像された複数の画像を取得し、
前記複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出し、
前記複数の画像の中の少なくとも1つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出し、
前記不変領域と、前記複数の領域のボケ度合いとに基づいて、前記カメラに付着した汚れの有無を推定する、
ことをコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
この構成によると、画像内の不変領域と、画像内の複数領域のボケ度合いとを組み合わせることにより、カメラに付着した汚れの有無を推定する精度を高めることができる。
Claims (6)
- 車両に搭載されたカメラに付着する汚れを検出する汚れ検出装置の制御方法であって、
第1時点で前記カメラによって撮影された第1画像を取得する第1ステップと、
前記第1時点より後の第2時点で前記カメラによって撮影された第2画像を取得する第2ステップと、
前記第1画像について輝度勾配を抽出して第1輝度勾配画像を生成する第3ステップと、
前記第2画像について輝度勾配を抽出して第2輝度勾配画像を生成する第4ステップと、
前記第2画像における所定の画素に対応する、前記第1輝度勾配画像の第1輝度値と、前記第2画像における前記所定の画素に対応する、前記第2輝度勾配画像の第2輝度値と、を比較し、前記第1輝度値から前記第2輝度値への変化が所定の閾値以下である前記所定の画素を輪郭とする前記第2画像内の領域を不変領域とする第5ステップと、
前記第1画像又は前記第2画像の対象画像について空間周波数領域のデータを求め、前記空間周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出する第6ステップと、
前記不変領域と前記ボケ度合いとに基づいて、前記カメラに付着した汚れの有無を判断する第7ステップと、を有する
汚れ検出装置の制御方法。 - 請求項1に記載の汚れ検出装置の制御方法であって、
前記第7ステップは、前記不変領域内に前記ボケ度合いが所定値より高い領域がある場合、前記カメラに汚れが付着したとする、
汚れ検出装置の制御方法。 - 請求項1又は請求項2に記載の汚れ検出装置の制御方法であって、
前記車両の走行状態が所定の条件を満たす場合、少なくとも前記第7ステップを実行する、
汚れ検出装置の制御方法。 - 車両に搭載されたカメラに結合するように設定された取得部と、
出力部と、
を備える汚れ検出装置であって、
第1時点で前記カメラによって撮影された第1画像を、前記取得部を介して取得し、前記第1時点より後の第2時点で前記カメラによって撮影された第2画像を、前記取得部を介して取得し、
前記第1画像について輝度勾配を抽出して第1輝度勾配画像を生成し、
前記第2画像について輝度勾配を抽出して第2輝度勾配画像を生成し、
前記第2画像における所定の画素に対応する、前記第1輝度勾配画像の第1輝度値と、前記第2画像における前記所定の画素に対応する、前記第2輝度勾配画像の第2輝度値と、を比較し、
前記第1輝度値から前記第2輝度値への変化が所定の閾値以下である前記所定の画素を輪郭とする前記第2画像内の領域を不変領域とし、
前記第1画像又は前記第2画像の対象画像について空間周波数領域のデータを求め、前記空間周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出し、
前記不変領域と前記ボケ度合いとに基づいて、前記カメラに付着した汚れの有無を判断し、
前記カメラに付着した汚れの有無の判断結果を、前記出力部を介して出力する、
汚れ検出装置。 - 請求項4に記載の汚れ検出装置であって、
前記不変領域内に前記ボケ度合いが所定値より高い領域がある場合、前記カメラに汚れが付着したとする、
汚れ検出装置。 - 請求項4又は請求項5に記載の汚れ検出装置であって、
前記車両の走行状態が所定の条件を満たす場合に、前記不変領域と前記ボケ度合いとに基づいて、前記カメラに付着した汚れの有無を判断する、
汚れ検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017152001A JP6970911B2 (ja) | 2017-08-04 | 2017-08-04 | 汚れ検出装置の制御方法、および汚れ検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017152001A JP6970911B2 (ja) | 2017-08-04 | 2017-08-04 | 汚れ検出装置の制御方法、および汚れ検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019032619A JP2019032619A (ja) | 2019-02-28 |
JP6970911B2 true JP6970911B2 (ja) | 2021-11-24 |
Family
ID=65523518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017152001A Active JP6970911B2 (ja) | 2017-08-04 | 2017-08-04 | 汚れ検出装置の制御方法、および汚れ検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6970911B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7243546B2 (ja) * | 2019-09-20 | 2023-03-22 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
US11328428B2 (en) | 2019-12-18 | 2022-05-10 | Clarion Co., Ltd. | Technologies for detection of occlusions on a camera |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004153422A (ja) * | 2002-10-29 | 2004-05-27 | Toshiba Corp | 撮影装置、顔照合装置、撮影装置の汚れ検知方法、及び顔照合方法 |
JP4542929B2 (ja) * | 2005-03-18 | 2010-09-15 | セコム株式会社 | 画像信号処理装置 |
JP6117634B2 (ja) * | 2012-07-03 | 2017-04-19 | クラリオン株式会社 | レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム |
JP6055224B2 (ja) * | 2012-07-27 | 2016-12-27 | クラリオン株式会社 | レンズ洗浄装置 |
JP2015070566A (ja) * | 2013-09-30 | 2015-04-13 | 本田技研工業株式会社 | カメラのレンズ汚れ検知装置 |
JP6246014B2 (ja) * | 2014-02-18 | 2017-12-13 | クラリオン株式会社 | 外界認識システム、車両、及びカメラの汚れ検出方法 |
JP6374238B2 (ja) * | 2014-07-01 | 2018-08-15 | クラリオン株式会社 | 車載装置 |
JP2016033729A (ja) * | 2014-07-31 | 2016-03-10 | クラリオン株式会社 | 周囲環境認識装置 |
-
2017
- 2017-08-04 JP JP2017152001A patent/JP6970911B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019032619A (ja) | 2019-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8582809B2 (en) | Method and device for detecting an interfering object in a camera image | |
WO2019026785A1 (ja) | 付着物検出装置、および、それを備えた車両システム | |
JP5576937B2 (ja) | 車両の周辺監視装置 | |
JP2010097561A (ja) | 車両周辺監視装置 | |
US10791252B2 (en) | Image monitoring device, image monitoring method, and recording medium | |
JP5421999B2 (ja) | 車両用周囲監視装置 | |
JP2009187135A (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
JP6188592B2 (ja) | 物体検出装置、物体検出方法、および物体検出プログラム | |
JP2013058199A (ja) | 偏光画像による車両位置検知方法及びシステム | |
EP2609567A1 (en) | Sensor data processing | |
CN103164685B (zh) | 车灯检测方法和车灯检测设备 | |
JP4826355B2 (ja) | 車両周囲表示装置 | |
JP6970911B2 (ja) | 汚れ検出装置の制御方法、および汚れ検出装置 | |
CN112435278B (zh) | 一种基于动态目标检测的视觉slam方法及装置 | |
JPH06247246A (ja) | 接近車監視装置 | |
JP2019176300A (ja) | 汚れ検出装置、カメラ、コンピュータプログラムおよび記録媒体 | |
JP5004923B2 (ja) | 車両の運転支援装置 | |
JP4887540B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
JPH11211845A (ja) | 降雨雪検出方法およびその装置 | |
JP2011134119A (ja) | 車両周辺監視装置 | |
JP2008028478A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP2008108118A (ja) | 画像処理装置 | |
JP4661578B2 (ja) | 移動体認識装置 | |
US10688929B2 (en) | Driving assistance system and method of enhancing a driver's vision | |
JP2008040724A (ja) | 画像処理装置、及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180417 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211014 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6970911 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |