JP7463159B2 - 液滴検出装置 - Google Patents
液滴検出装置 Download PDFInfo
- Publication number
- JP7463159B2 JP7463159B2 JP2020056804A JP2020056804A JP7463159B2 JP 7463159 B2 JP7463159 B2 JP 7463159B2 JP 2020056804 A JP2020056804 A JP 2020056804A JP 2020056804 A JP2020056804 A JP 2020056804A JP 7463159 B2 JP7463159 B2 JP 7463159B2
- Authority
- JP
- Japan
- Prior art keywords
- droplet
- unit
- pixel
- pixel line
- candidate region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002131 composite material Substances 0.000 claims description 71
- 238000004364 calculation method Methods 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 14
- 239000007788 liquid Substances 0.000 description 12
- 230000007717 exclusion Effects 0.000 description 8
- 238000004140 cleaning Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000004148 unit process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
領域特定部と、液滴判断部とを備える。画像取得部は、カメラにより互いに異なる時刻に生成された複数の撮影画像を取得する。候補領域特定部は、画像取得部により取得された撮影画像における所定方向の映像信号のレベルの時間変化を所定の単位領域ごとに特定し、特定したレベルの時間変化と予め設定された液滴候補閾値との比較により液滴候補領域を特定する。液滴判断部は、候補領域特定部により特定された液滴候補領域の形状に基づいて、液滴がカメラのレンズに付着しているか否かを判断する。
図1は、本発明の実施の形態に係る液滴除去システム100の構成を示す機能ブロック図である。液滴除去システム100は、カメラCと、液滴検出装置2と、液滴除去装置3とを備える。液滴除去システム100は、カメラCのレンズ上に付着する水滴等の液滴を除去する。
図2は、図1に示す液滴検出装置2の構成を示す機能ブロック図である。図2を参照して、液滴検出装置2は、画像取得部4と、候補領域特定部5と、液滴判断部6とを備える。
図3を参照して、画像取得部4は、画素ライン取得部7と、画素ライン決定部8と、合成部9とを含む。以下の説明において、水平走査方向に一列に並ぶ画素のラインを「画素ライン」と記載する。
図4を参照して、候補領域特定部5は、統計値特定部10と、差分計算部11と、領域判断部12とを含む。
図5を参照して、液滴判断部6は、輪郭特定部13と、距離計算部14と、距離判断部15とを含む。
[3.1.液滴検出装置2の動作]
図6は、図1に示す液滴検出装置2の動作を示すフローチャートである。液滴検出装置2は、カメラCが撮影画像1の生成を開始した場合、図6に示す処理を開始する。
図7は、図6に示す合成画像生成処理(ステップS1)を説明する図である。図7に示す例では、合成画像4Aは、撮影画像1A及び撮影画像1Bから生成される。合成画像4Aのサイズは、撮影画像1A及び1Bのサイズと同じである。撮影画像1Aは、時刻t1において、カメラCにより生成される。撮影画像1Bは、時刻t1より後の時刻t2において、カメラCにより生成される。撮影画像1Bは、撮影画像1Aの次のフレームである。
候補領域特定部5は、合成画像4Aに含まれる各画素が液滴候補領域に含まれるか否かを判断する。これにより、合成画像4Aに含まれる各画素が液滴候補領域に含まれるか否かが判断される。
統計値特定部10が、合成部9から合成画像4Aを取得し、取得した合成画像4Aに含まれる各画素の統計値を取得する。統計値は、具体的には、最大値及び最小値である。
統計値特定部10は、合成画像4Aに含まれる画素から一の画素を選択し、選択した画素の信号のレベルの最大値及び最小値を取得する。以下、液滴検出装置2の動作の説明において、図8を参照しながら、統計値特定部10の動作を説明する。
差分計算部11は、統計値特定部10から受けた画素P1の統計値情報101に基づいて、画素P1のレベル最大変化量を計算する。以下、画素P1及びP2を例として差分計算部11の動作を説明する。
領域判断部12は、レベル変化情報111に記録されたレベル最大変化量に基づいて、合成画像4Aに含まれる各画素が液滴候補領域に含まれるか否かを判断する。以下、画素P1を例として領域判断部12の動作を説明する。
領域判断部12は、合成画像4Aに含まれる各画素が液滴候補領域に含まれるか否かを判断した結果に基づいて、合成画像4Aにおける液滴候補領域を特定する。以下の説明において、液滴候補領域に含まれると判断された画素を「候補画素」と記載する。
図10は、図2に示す候補領域特定部5の動作を示すフローチャートである。候補領域特定部5は、合成画像4Aを画像取得部4から受けた場合、図10に示す処理を開始する。
液滴判断部6は、候補領域特定部5により特定された液滴候補領域50の形状に基づいて、液滴がカメラCのレンズに付着しているか否かを判断する。液滴判断部6は、液滴がカメラCのレンズに付着していると判断した場合、液滴除去装置3を駆動させる。
輪郭特定部13は、液滴候補領域50を領域判断部12から受け、受けた液滴候補領域50から一の液滴候補領域を選択し、選択した液滴候補領域の輪郭を形成する輪郭画素を特定する。
輪郭特定部13は、特定した輪郭画素Pa1~Pa18の画素数を予め設定された除外閾値と比較する。除外閾値は、例えば、8である。比較の結果、輪郭画素Pa1~Pa18の画素数が除外閾値以上であるため、輪郭特定部13は、輪郭画素Pa1~Pa18を含む液滴候補領域50aの判断を継続する。選択した液滴候補領域50に含まれる輪郭画素の数が除外閾値より小さい場合、輪郭特定部13は、選択した液滴候補領域50の判断を終了する。これにより、カメラCのレンズに付着する液滴が、ユーザの視認に影響を及ぼさない程度の大きさであるものを除外することができる。また、液滴候補領域が略円形であるか否かを判断する精度を向上することができる。
図11を参照して、輪郭特定部13は、輪郭画素Pa1を配列の先頭画素として選択し、輪郭画素の配列の要素番号を「1」に決定する。輪郭特定部13は、選択した輪郭画素Pa1から反時計回りの順に輪郭画素を特定し、特定した輪郭画素に配列の要素番号を付与する。配列の要素番号は、輪郭画素の各々に付与される。輪郭特定部13は、輪郭画素の各々に付与した要素番号にしたがって配列131を生成する。配列131の要素数は、輪郭画素の数に位置する。
カメラCのレンズに付着した液滴は、液滴の表面張力によって略円形となる。従って、液滴候補領域50aが液滴である場合、液滴の輪郭上に位置する画素のうち下記の対向条件を満たす2つの画素を結ぶ線分は、円の直径に相当する。対向条件は、液滴の輪郭上に位置する画素のうち液滴候補領域50aの重心を挟んで対向することである。対向条件を満たす画素のペアを変更した場合であっても、変更されたペアに含まれる2つの画素を結ぶ線分が、円の直径に相当することに変わりはない。液滴候補領域50aが液滴である場合、対向する2つの画素の距離の分散は、小さくなると考えられる。
図14は、図6に示す液滴判断部処理(ステップS3)を示すフローチャートである。液滴判断部6は、合成画像4Aに含まれる液滴候補領域を候補領域特定部5から受けた場合、図14に示す処理を開始する。
上記実施の形態では、液滴検出装置2が、撮影画像1から合成画像4Aを生成した後に、合成画像4Aに含まれる画素のレベル最大変化量を取得する例を説明した。しかし、液滴検出装置2は、画素ラインの取得と並行して、画素ラインに含まれる各画素のレベル最大変化量を取得してもよい。
上記実施の形態では、単位領域が1つの画素である例を説明したが、これに限られない。単位領域は、水平方向に並ぶ複数の画素であってもよいし、垂直方向に並ぶ複数の画素であってもよい。あるいは、単位領域は、水平方向に並ぶ複数の画素と、垂直方向に並ぶ複数の画素とを含む矩形であってもよい。
3 液滴除去装置
4 画像取得部
5 候補領域特定部
6 液滴判断部
7 画素ライン取得部
8 画素ライン決定部
9 合成部
10 統計値特定部
11 差分計算部
12 領域判断部
13 輪郭特定部
14 距離計算部
15 距離判断部
Claims (5)
- カメラにより互いに異なる時刻に生成された複数の撮影画像を取得する画像取得部と、
前記画像取得部により取得された複数の撮影画像における所定方向の映像信号のレベルの時間変化を所定の単位領域ごとに特定し、特定したレベルの時間変化と予め設定された液滴候補閾値との比較により液滴候補領域を特定する候補領域特定部と、
前記候補領域特定部により特定された液滴候補領域の形状に基づいて、液滴が前記カメラのレンズに付着しているか否かを判断する液滴判断部と、を備える液滴検出装置。 - 請求項1に記載の液滴検出装置であって、
前記候補領域特定部は、
前記所定方向の映像信号のレベルの最大値及び最小値を一の単位領域において特定する統計値特定部と、
前記統計値特定部により特定された最大値と最小値との差分絶対値を前記一の単位領域におけるレベルの時間変化として計算する差分計算部と、
前記差分計算部により計算された差分絶対値を前記液滴候補閾値と比較した結果に基づいて、前記一の単位領域が前記液滴候補領域に含まれるか否かを判断する領域判断部と、を含む液滴検出装置。 - 請求項1又は請求項2に記載の液滴検出装置であって、
前記液滴判断部は、
前記液滴候補領域の輪郭を形成する輪郭画素の配列を作成する輪郭特定部と、
前記輪郭画素の数がNである場合、前記輪郭特定部により作成された輪郭画素の配列において、k(kは1以上N/2以下の自然数)番目の画素と、k+N/2番目の画素との距離を計算する距離計算部と、
前記距離計算部により計算された距離のばらつきに基づいて、液滴が前記カメラのレンズに付着しているか否かを判断する距離判断部と、を含む液滴検出装置。 - 請求項1~3のいずれか1項に記載の液滴検出装置であって、
前記画像取得部は、
前記カメラにより第1時刻に生成された第1撮影画像から、水平方向の第1画素ラインを取得し、前記カメラにより第2時刻に生成された第2撮影画像から、水平方向の第2画素ラインを取得する画素ライン取得部と、
前記画素ライン取得部が前記第1画素ラインを前記第1撮影画像から取得した場合、前記第1画素ラインの位置に基づいて前記第2画素ラインを決定し、決定した前記第2画素ラインを前記画素ライン取得部に通知する画素ライン決定部と、
前記画素ライン取得部により取得された第1画素ラインと第2画素ラインとを含む合成撮影画像を生成する合成部と、を含み、
前記候補領域特定部は、前記合成部により生成された合成撮影画像から前記液滴候補領域を特定する、液滴検出装置。 - レンズに付着した液滴を検出する液滴検出方法であって、
カメラにより互いに異なる時刻に生成された複数の撮影画像を取得するステップと、
前記取得された複数の撮影画像における所定方向の映像信号のレベルの時間変化を所定の単位領域ごとに特定し、特定したレベルの時間変化と予め設定された液滴候補閾値との比較により液滴候補領域を特定するステップと、
前記特定された液滴候補領域の形状に基づいて、液滴が前記カメラのレンズに付着して
いるか否かを判断するステップと、を備える液滴検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020056804A JP7463159B2 (ja) | 2020-03-26 | 2020-03-26 | 液滴検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020056804A JP7463159B2 (ja) | 2020-03-26 | 2020-03-26 | 液滴検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021158524A JP2021158524A (ja) | 2021-10-07 |
JP7463159B2 true JP7463159B2 (ja) | 2024-04-08 |
Family
ID=77918828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020056804A Active JP7463159B2 (ja) | 2020-03-26 | 2020-03-26 | 液滴検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7463159B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002207162A (ja) | 2001-01-12 | 2002-07-26 | Minolta Co Ltd | デジタルカメラ |
JP2009130700A (ja) | 2007-11-26 | 2009-06-11 | Panasonic Corp | 撮像装置 |
JP2010273014A (ja) | 2009-05-20 | 2010-12-02 | Toshiba Alpine Automotive Technology Corp | 移動体用カメラ装置及び付着物検出方法 |
JP2018049568A (ja) | 2016-09-23 | 2018-03-29 | 株式会社デンソーテン | 水滴検出装置、水滴検出方法および水滴検出プログラム |
JP2019029940A (ja) | 2017-08-02 | 2019-02-21 | クラリオン株式会社 | 付着物検出装置、および、それを備えた車両システム |
JP2019140605A (ja) | 2018-02-14 | 2019-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2020
- 2020-03-26 JP JP2020056804A patent/JP7463159B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002207162A (ja) | 2001-01-12 | 2002-07-26 | Minolta Co Ltd | デジタルカメラ |
JP2009130700A (ja) | 2007-11-26 | 2009-06-11 | Panasonic Corp | 撮像装置 |
JP2010273014A (ja) | 2009-05-20 | 2010-12-02 | Toshiba Alpine Automotive Technology Corp | 移動体用カメラ装置及び付着物検出方法 |
JP2018049568A (ja) | 2016-09-23 | 2018-03-29 | 株式会社デンソーテン | 水滴検出装置、水滴検出方法および水滴検出プログラム |
JP2019029940A (ja) | 2017-08-02 | 2019-02-21 | クラリオン株式会社 | 付着物検出装置、および、それを備えた車両システム |
JP2019140605A (ja) | 2018-02-14 | 2019-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021158524A (ja) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104508725B (zh) | 三维物体检测装置和三维物体检测方法 | |
CN105393293B (zh) | 车载装置 | |
CN104823214B (zh) | 车载图像处理装置 | |
CN101633356B (zh) | 检测行人的***及方法 | |
JP2019096320A5 (ja) | ||
US20150329083A1 (en) | On-Board Device | |
CN109565536A (zh) | 车载装置 | |
KR102606931B1 (ko) | 정적 오염 감지 및 보정 | |
JP6817104B2 (ja) | 付着物検出装置、付着物検出方法 | |
CN105069801A (zh) | 基于图像质量诊断的视频图像预处理方法 | |
Cord et al. | Detecting unfocused raindrops: In-vehicle multipurpose cameras | |
US20030165193A1 (en) | Method for abstracting multiple moving objects | |
JP2018191087A (ja) | 付着物検出装置および付着物検出方法 | |
JP5785565B2 (ja) | デジタル画像における滴を検出する方法および装置ならびにこの方法を実行するためのコンピュータプログラム | |
CN103873880A (zh) | 用于检测视频序列中的结构化伪像的*** | |
KR101525516B1 (ko) | 카메라 영상 처리 시스템 및 이의 오염 처리 방법 | |
JP7463159B2 (ja) | 液滴検出装置 | |
JP3934113B2 (ja) | 移動体検出システム、移動体検出装置、移動体検出方法及び移動体検出プログラム | |
WO2013152625A1 (zh) | 用于去除附着噪声的方法和*** | |
JP2021050932A (ja) | 付着物検出装置、および付着物検出方法 | |
US20170297505A1 (en) | Imaging apparatus, car, and variation detection method | |
CN102110297B (zh) | 一种基于累积光流和双背景滤波的移动物体的探测方法 | |
RU2466456C2 (ru) | Способ выделения контуров движущихся объектов | |
JP6719328B2 (ja) | 車外監視装置 | |
JP4236154B2 (ja) | 電力線の揺れ解析用画像における気象性ノイズの除去方法および装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7463159 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |