JP2018132861A - 車載用撮像装置 - Google Patents
車載用撮像装置 Download PDFInfo
- Publication number
- JP2018132861A JP2018132861A JP2017024810A JP2017024810A JP2018132861A JP 2018132861 A JP2018132861 A JP 2018132861A JP 2017024810 A JP2017024810 A JP 2017024810A JP 2017024810 A JP2017024810 A JP 2017024810A JP 2018132861 A JP2018132861 A JP 2018132861A
- Authority
- JP
- Japan
- Prior art keywords
- dirt
- area
- wiping
- vehicle
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 92
- 238000000605 extraction Methods 0.000 claims abstract description 74
- 230000008859 change Effects 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 239000000284 extract Substances 0.000 claims abstract description 22
- 230000002123 temporal effect Effects 0.000 claims abstract description 9
- 238000004140 cleaning Methods 0.000 claims description 82
- 238000003860 storage Methods 0.000 claims description 41
- 238000000034 method Methods 0.000 description 49
- 230000008569 process Effects 0.000 description 34
- 238000012545 processing Methods 0.000 description 26
- 238000003745 diagnosis Methods 0.000 description 24
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 239000004744 fabric Substances 0.000 description 8
- 230000007423 decrease Effects 0.000 description 5
- 238000011109 contamination Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】レンズを介して画像を撮像する車載カメラと、前記車載カメラで逐次撮像された撮像画像に基づき、前記レンズの汚れの有無又は汚れ付着領域を検出する汚れ検知部と、前記車載カメラで逐次撮像された撮像画像の時間変化に基づき、安定状態であるか否かを判定する安定状態判定部と、前記車載カメラで逐次撮像された撮像画像のうち前記安定状態判定部による判定結果が安定状態であるときの撮像画像の時間変化に基づいて汚れの払拭領域を抽出する払拭領域抽出部と、前記汚れ検知部が検出した汚れの有無又は汚れ付着領域を記憶し、前記払拭領域抽出部が抽出した汚れの払拭領域を、既に記憶してある汚れの有無又は汚れ付着領域に反映し、前記レンズの汚れの管理を行う汚れ状態管理部と、を備えたことを特徴とする。
【選択図】図1
Description
図1に示すように、本実施例の車載用撮像装置100は、車載カメラ1と、汚れ払拭診断部2と、汚れ検知部3と、汚れ状態管理部4と、を備える。また、汚れ払拭診断部2は、安定状態判定部21と、払拭領域抽出部22と、を備える。また、汚れ払拭診断部2と、汚れ検知部3と、汚れ状態管理部4と、をレンズ汚れ払拭診断装置とも呼ぶ(以下の他の実施例においても同様である。)。
図2(a)は、車載カメラ1のレンズ表面に水滴が付着した場合に、当該車載カメラ1で撮像される撮像画像の一例である。当該撮像画像の領域31、32にそれぞれ水滴が映り込み、その先の景色が遮られている。また、領域31に映る水滴が取り除かれた場合の撮像画像を図2(b)に示す。
ところで、前記車載カメラ1から逐次出力される撮像画像ごとに安定状態信号を生成すると、当該撮像画像に映り込む移動体の動きが一時遅くなっただけで撮像画像が安定状態であると判定されてしまい、安定状態信号が安定しなくなる。
ところで、安定状態判定部21は、車載カメラ1の撮像画像をそのまま用いずに、当該撮像画像からエッジ画像やHOG(Histogram of Oriented Gradients)特徴量などの特徴量を抽出して(ここでは抽出結果を特徴量画像と呼ぶ)、この特徴量画像を当該撮像画像の代わりに用いてもよい。適切な特徴量を用いることで、検出性能を向上したり、処理するデータ量を削減したりできる。例えば、HOG特徴量を用いた場合、移動体や環境光のわずかな揺らぎによる不要な画像変化を抽出されにくくすることができる。また、前記撮像画像から輝度やエッジ強度などの平均値を抽出して用いれば、処理するデータ量を大幅に削減することができる。
前述したように、車載カメラ1の撮像画像の時間変化から当該車載カメラ1のレンズ表面に付着する汚れの払拭を検出できるが、当該車載カメラ1に移動体が映り込む場合にも撮像画像に時間変化が生じてしまう。
ところで、車載カメラ1に例えば周辺車両のヘッドライトが照射されると、当該車載カメラ1のレンズ表面に付着した汚れ(水滴等)の明るさが変化し、前記ステップ2203において生成される前記差分画像では明るさの変化した汚れの領域が抽出されてしまう。また、ヘッドライトの照射が止み、当該汚れの明るさが元に戻る際にも、前記ステップ2203において生成される前記差分画像では当該汚れの領域が再び抽出される。
ところで、車載カメラ1のレンズ表面に付着した汚れは少しずつ段階的に取り除かれる場合もある。例えば、手作業によるレンズの清掃が不十分で一部の汚れが残ってしまい、何度も清掃を繰り返す場合や、一部の水滴が自重で流れ落ちた場合などである。これらの場合、前記ステップ2203で抽出される差分画像には、都度払拭される一部の汚れのみが抽出される。
ところで、払拭領域抽出部22においても、車載カメラ1の撮像画像をそのまま用いずに、当該撮像画像からエッジ画像やHOG特徴量などの特徴量を抽出して(ここでは抽出結果を特徴量画像と呼ぶ)、この特徴量画像を当該撮像画像の代わりに用いてもよい。適切な特徴量を用いることで、検出性能を向上したり、処理するデータ量を削減したりできる。例えば、HOG特徴量を用いた場合、移動体や環境光のわずかな揺らぎによる不要な画像変化が抽出されにくくすることができる。また、前記撮像画像から輝度やエッジ強度などの平均値を抽出して用いて、処理するデータ量を大幅に削減することもできるが、この場合、前記汚れの払拭領域が検出できないため、払拭領域の代わりに、払拭の確度情報を出力する。
汚れ状態管理部4は、車載カメラ1のレンズ表面に付着した汚れの有無を汚れ状態として、当該付着領域を汚れ記憶領域として管理する。
なお、払拭領域抽出部22から出力される払拭領域は、車載カメラ1の撮像画像において時間変化のあった領域を抽出したものであり、汚れが新たに現れた領域を含む可能性がある。
ところで、車載カメラ1のレンズ表面に付着した汚れは少しずつ段階的に取り除かれる場合もある。例えば、手作業によるレンズの清掃が不十分で一部の汚れが残ってしまい、何度も清掃を繰り返す場合や、一部の水滴が自重で流れ落ちた場合などである。これらの場合、払拭領域抽出部22から出力される払拭領域として、都度払拭される一部の汚れのみが出力される。
図8に示すように、本実施例の車載用撮像装置200は、車載カメラ1と、汚れ払拭診断部2と、汚れ検知部3と、汚れ状態管理部4と、を備える。また、汚れ払拭診断部2は、安定状態判定部21と、払拭領域抽出部22と、を備える。また、汚れ払拭診断部2と、汚れ検知部3と、汚れ状態管理部4と、をレンズ汚れ払拭診断装置とも呼ぶ。
図9は、実施例2における払拭領域抽出部22の処理のフローチャートの一例である。
図10に示すように、本実施例の車載用撮像装置300は、車載カメラ1と、汚れ払拭診断部2と、汚れ検知部3と、汚れ状態管理部4と、を備える。また、汚れ払拭診断部2は、安定状態判定部21と、払拭領域抽出部22と、清掃状態判定部23と、を備える。また、汚れ払拭診断部2と、汚れ検知部3と、汚れ状態管理部4と、をレンズ汚れ払拭診断装置とも呼ぶ。
車載カメラ1のレンズを手作業で清掃する場合、当該車載カメラ1のレンズに布や指を押し当てることとなる。布や指を押し当てた領域では外界からの光が遮られるため、当該車載カメラ1の照度の低下や、焦点のずれが生じる。また、当該車載カメラ1の撮像画像において、布や指を押し当てた領域が暗くなる。
また、清掃状態判定部23は、車載カメラ1がオートフォーカス機能をもつ場合、図示しない当該車載カメラ1の焦点距離を参照し、焦点距離の変化量が所定値以上の場合に、当該車載カメラ1のレンズが清掃されていると判定し、当該判定の結果を清掃信号として出力してもよい。
他に、清掃状態判定部23は、車載カメラ1の撮像画像から平均輝度を算出し、当該平均輝度が所定値以上大きく低下した場合に、当該車載カメラ1のレンズが清掃されていると判定し、当該判定の結果を清掃信号として出力してもよい。
また、清掃状態判定部23は、車載カメラ1の撮像画像から所定値以下の輝度の領域(暗領域)を抽出し、当該暗領域の面積が所定値以上となった場合に、当該車載カメラ1のレンズが清掃されていると判定し、当該判定の結果を清掃信号として出力してもよい。
ところで、図11の撮像画像に示すように、布を押し当てた領域である領域34が画面全体に及ばない場合、当該領域34の端には大きな輝度変化が生じる。
また、前記暗領域は輝度が低いだけでなく、エッジがないという特徴もある。そこで、清掃状態判定部23は、車載カメラ1の撮像画像からエッジ強度が所定値以下の領域(非エッジ領域)を抽出し、当該非エッジ領域の面積が所定値以上となった場合に、当該車載カメラ1のレンズが清掃されていると判定し、当該判定の結果を清掃信号として出力してもよい。
ところで、幾度かに分けて車載カメラ1のレンズを清掃した場合、1度の清掃では、当該車載カメラ1の照度の低下量や焦点距離の変化量、撮像画像の平均輝度の低下量、暗領域の面積、非エッジ領域の面積が十分大きくならず、当該車載カメラ1のレンズが清掃されていると判定されないことが懸念される。
車載カメラ1のレンズを清掃している間(清掃期間)は、当該車載カメラ1のレンズに押し当てた布や指などが当該車載カメラの撮像画像に大きく表示されるため、払拭領域抽出部22は、当該車載カメラ1の撮像画像から、当該車載カメラ1のレンズ表面に付着した汚れを観測できない。また、当該清掃期間の直前と直後の撮像画像を比較すれば、当該車載カメラ1のレンズの清掃によって払拭された汚れの領域を検出することができる。
また、幾度かに分けて車載カメラ1のレンズを清掃した場合、何度か清掃期間が断続して続くことが想定される。
さらに、払拭領域抽出部22は、車載カメラ1の撮像画像をそのまま用いずに、当該撮像画像からエッジ画像やHOG特徴量などの特徴量を抽出して(ここでは抽出結果を特徴量画像と呼ぶ)、この特徴量画像を当該撮像画像の代わりに用いてもよい。適切な特徴量を用いることで、検出性能を向上したり、処理するデータ量を削減したりできる。例えば、HOG特徴量を用いた場合、移動体や環境光のわずかな揺らぎによる不要な画像変化を抽出されにくくすることができる。また、当該撮像画像から輝度やエッジ強度などの平均値を抽出して用いて、処理するデータ量を大幅に削減することもできるが、この場合、前記汚れの払拭領域が検出できないため、前記払拭領域の代わりに、払拭の確度情報を出力する。
本実施例では、エンジン停止前、又はエンジン停止直後からレンズ汚れ払拭診断装置を停止させるまでの間に、レンズ汚れ払拭診断装置の払拭領域抽出部22が、安定状態における撮像画像を不揮発な記憶部(不図示)に記憶する。当該記憶部(例えば、不揮発メモリ)は、電源の供給が途絶えても記憶を保持することができる。そして、エンジン再開時に、払拭領域抽出部22は、当該記憶部に記憶しておいた撮像画像と、エンジン再開後に取得される最新の安定状態における撮像画像との差分画像を抽出し、汚れの払拭領域を検出する。なお、この場合、清掃状態判定部23は不要となる。
ただし、エンジンを停止した場合、エンジンを再開するまでの時間が長くなることが懸念される。そこで、車載カメラ1の撮像画像をそのまま用いずに、時間変化に強いエッジ画像やHOG特徴量を抽出して(ここでは抽出結果を特徴量画像と呼ぶ)、この特徴量画像を用いることが好ましい。
エンジン停止時間が極端に長くなると、周囲の明るさが変わるだけでなく、移動可能な周囲の物体(車両等)の配置が変わることが懸念される。
図13に示すように、本実施例の車載用撮像装置400は、車載カメラ1と、汚れ払拭診断部2と、汚れ検知部3と、汚れ状態管理部4と、を備え、さらに、車速センサ5を備える。ここで、車速センサ5は、自車両の車速を検出し、出力する。また、汚れ払拭診断部2は、実施例3と同様、安定状態判定部21、及び払拭領域抽出部22の他に、清掃状態判定部23を備える。ただし、本実施例では、安定状態判定部21、及び払拭領域抽出部22を省略することもできる。また、汚れ払拭診断部2と、汚れ検知部3と、汚れ状態管理部4と、をレンズ汚れ払拭診断装置としてもよいし、これに車速センサ5を含めてレンズ汚れ払拭診断装置としてもよい。
汚れ払拭診断部2は、車速センサ5から出力される自車両の車速を取得し、当該車速が所定値以上となった場合、安定状態判定部21及び払拭領域抽出部22の処理を停止し、清掃状態判定部23の出力する清掃信号を汚れ状態管理部4に出力する。
汚れ状態管理部4は、清掃状態判定部23から出力される清掃信号が、「非清掃中」から「清掃中」に、さらに「清掃中」から「非清掃中」に変化した場合、車載カメラ1のレンズが清掃されたものとして、記憶している汚れ状態を「汚れ有り」から「汚れ無し」に変更する。また、汚れ記憶領域を削除(初期化)する。
ただし、清掃状態判定部23から出力される清掃信号は清掃の有無を示すだけで、実際に汚れが払拭されたかを当該清掃信号から判別することはできない。そのため、本実施例は不必要に実施しないようにすることが好ましい。
なお、以上説明した本発明は、
1.
レンズを介して画像を撮像する車載カメラと、
前記車載カメラで逐次撮像された撮像画像の時間変化に基づき、前記レンズの汚れの有無又は汚れ付着領域を検出する汚れ検知部と、
前記レンズの汚れの払拭を診断する汚れ払拭診断部と、
前記レンズの汚れの管理を行う汚れ状態管理部と、
を備え、
前記汚れ払拭診断部は、
前記車載カメラで逐次撮像された撮像画像に基づき、安定状態であるか否かを判定する安定状態判定部と、
前記車載カメラで逐次撮像された撮像画像のうち前記安定状態判定部による判定結果が安定状態であるときの撮像画像の時間変化に基づいて汚れの払拭領域を抽出する払拭領域抽出部と、
を有し、
前記汚れ状態管理部は、前記汚れ検知部が検出した汚れの有無又は汚れ付着領域を記憶し、前記払拭領域抽出部が抽出した汚れの払拭領域を、既に記憶してある汚れの有無又は汚れ付着領域に反映し、前記レンズの汚れの管理を行う、
ことを特徴とする車載用撮像装置、としたので、
・車載カメラのレンズ表面に付着した汚れを除去する作業の実施タイミングが不明であっても、レンズ表面の汚れが払拭されたことを診断するに際して、誤判定が生じる虞を低減できるレンズ汚れ払拭診断装置を有する車載用撮像装置を提供することができる。
2.
1.に記載の車載用撮像装置において、
前記安定状態判定部は、前記車載カメラから出力される撮像画像を逐次取得し、都度、該取得した撮像画像と該取得した撮像画像の直前に取得した撮像画像との差分画像を生成し、該生成した差分画像に基づいて差分の大きな領域を抽出し、該差分の大きな領域の面積が所定値以下であれば、該取得した撮像画像の時間変化が小さく安定状態であると判定し、前記差分の大きな領域の面積が所定値を超えれば、該取得した撮像画像の時間変化が大きく安定状態でないと判定する、
ことを特徴とする車載用撮像装置、としたので、
・差分の大きな領域の面積が所定値以下であるときに安定状態であると判定することで、安定状態を適切に判定することができる。
3.
1.に記載の車載用撮像装置において、
前記安定状態判定部は、前記車載カメラから出力される撮像画像を逐次取得し、該逐次取得した撮像画像から特徴量を抽出した特徴量画像を逐次生成し、都度、該生成した特徴量画像と該生成した特徴量画像の直前に生成した特徴量画像との差分画像を生成し、該生成した差分画像に基づいて差分の大きな領域を抽出し、該抽出した差分の大きな領域の面積が所定値以下であれば、該取得した撮像画像の時間変化が小さく安定状態であると判定し、前記差分の大きな領域の面積が所定値を超えれば、該取得した撮像画像の時間変化が大きく安定状態でないと判定する、
ことを特徴とする車載用撮像装置、としたので、
・特徴量画像を用いることで、検出性能を向上したり、処理するデータ量を削減したりできる。
4.
1.に記載の車載用撮像装置において、
前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該取得した安定状態での撮像画像と、以前に取得した安定状態での撮像画像との差分画像を生成し、該生成した差分画像から差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
ことを特徴とする車載用撮像装置、としたので、
・安定状態での撮像画像を用いることで誤判定が生じる虞を低減することができる。
5.
1.に記載の車載用撮像装置において、
前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該取得した安定状態での撮像画像と、以前に取得した安定状態での撮像画像との差分画像を生成し、該生成した差分画像を一定期間累積し、該累積された差分画像から差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
ことを特徴とする車載用撮像装置、としたので、
・差分画像を累積することで、他の車両のヘッドライトの一時的な照射などによって汚れの明るさが変化した場合にも対応可能である。
6.
1.に記載の車載用撮像装置において、
前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該取得した安定状態での撮像画像と、以前に取得した安定状態での撮像画像との差分画像を生成し、前記汚れ状態管理部が記憶している汚れの有無又は汚れ付着領域を取得し、該取得した汚れが無くなる、又は該取得した汚れ付着領域の面積が所定値以下になるまで、該生成した差分画像を累積し、該累積された差分画像から差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
ことを特徴とする車載用撮像装置、としたので、
・差分画像を累積することで、汚れの払拭領域の取りこぼしを抑えることができる。
7.
1.に記載の車載用撮像装置において、
前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該逐次取得した安定状態での撮像画像から特徴量を抽出した特徴量画像を逐次生成し、該生成した特徴量画像と、以前に取得し生成した特徴量画像との差分画像を生成し、該生成した差分画像に基づいて差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
ことを特徴とする車載用撮像装置、としたので、
・特徴量画像を用いることで、検出性能を向上したり、処理するデータ量を削減したりできる。
8.
1.に記載の車載用撮像装置において、
前記汚れ状態管理部は、前記汚れ検知部が検出する汚れの有無又は汚れ付着領域を取得し、該取得した汚れ付着領域を汚れ記憶領域として記憶し、前記取得した汚れの有無又は該記憶した汚れ記憶領域の面積の大小を汚れ状態として記憶し、前記払拭領域抽出部が検出する汚れの払拭領域を取得し、記憶している汚れ付着領域から該取得した払拭領域を削除し、更新された汚れ付着領域又は該削除した払拭領域の面積に基づいて汚れ状態を更新する、
ことを特徴とする車載用撮像装置、としたので、
・レンズの汚れ状態の適切な管理を行うことができる。
9.
1.に記載の車載用撮像装置において、
前記汚れ状態管理部は、前記汚れ検知部が検出する汚れの有無又は汚れ付着領域を取得し、該取得した汚れ付着領域を汚れ記憶領域として記憶し、前記取得した汚れの有無又は該記憶した汚れ記憶領域の面積の大小を汚れ状態として記憶し、前記払拭領域抽出部が検出する汚れの払拭領域を取得して一定期間累積し、該累積された払拭領域の面積が所定値以上の場合、記憶している汚れ状態を汚れ無しにする、
ことを特徴とする車載用撮像装置、としたので、
・汚れの払拭領域を累積することで、レンズ表面に付着した汚れが少しずつ段階的に取り除かれる場合などにも対応することができる。
10.
1.に記載の車載用撮像装置において、
前記汚れ状態管理部は、記憶している汚れの有無又は汚れ付着領域に基づいて、前記レンズの汚れの管理状況をユーザーに通知する、
ことを特徴とする車載用撮像装置、としたので、
・ユーザーが、レンズの汚れの管理状況を知ることができ、適切な対応を取ることができる。
11.
1.に記載の車載用撮像装置において、
前記汚れ状態管理部は、記憶している汚れの有無又は汚れ付着領域に基づいて、前記レンズの汚れの管理状況を、車両を自律制御するシステムに通知する、
ことを特徴とする車載用撮像装置、としたので、
・自動運転などの自律制御するシステムにおいて、レンズの汚れの管理状況を知ることができ、適切な制御を行うことができる。
12.
レンズを介して画像を撮像する車載カメラと、
前記車載カメラで逐次撮像された撮像画像に基づき、前記レンズの汚れの有無又は汚れ付着領域を検出する汚れ検知部と、
前記レンズの汚れの払拭を診断する汚れ払拭診断部と、
前記レンズの汚れの管理を行う汚れ状態管理部と、
を備え、
前記汚れ払拭診断部は、
前記車載カメラで逐次撮像された撮像画像に基づき、安定状態であるか否かを判定する安定状態判定部と、
前記レンズが清掃されたことを判定する清掃状態判定部と、
前記安定状態判定部及び前記清掃状態判定部の判定に基づいて、前記レンズが清掃されている期間の前後それぞれにおける時間変化の小さい撮像画像を抽出し、該レンズが清掃されている期間の前後の2つの撮像画像の差分から汚れの払拭領域を抽出する払拭領域抽出部と、
を有し、
前記汚れ状態管理部は、前記汚れ検知部が検出した汚れの有無又は汚れ付着領域を記憶し、前記払拭領域抽出部が抽出した汚れの払拭領域を、既に記憶してある汚れの有無又は汚れ付着領域に反映し、前記レンズの汚れの管理を行う、
ことを特徴とする車載用撮像装置、としたので、
・レンズの清掃状態を反映し、車載カメラのレンズ表面に付着した汚れを除去する作業の実施タイミングが不明であっても、レンズ表面の汚れが払拭されたことを診断するに際して、誤判定が生じる虞を低減できるレンズ汚れ払拭診断装置を有する車載用撮像装置を提供することができる。
13.
12.に記載の車載用撮像装置において、
前記清掃状態判定部は、前記車載カメラの撮像画像から所定値以下の輝度の領域を暗領域として抽出し、該抽出した暗領域の面積が所定値以上となった場合に、前記レンズが清掃されていると判定する、
ことを特徴とする車載用撮像装置、としたので、
・輝度の低い暗領域を抽出することで、清掃状態を判定することができる。
14.
13.に記載の車載用撮像装置において、
前記清掃状態判定部は、前記抽出した暗領域が撮像画像の全体に及ばない場合に、該抽出した暗領域の端に大きな輝度変化があるかを判定し、端に大きな輝度変化のある暗領域のみをさらに抽出し、該抽出した端に大きな輝度変化のある暗領域の面積が所定値以上となった場合に、前記レンズが清掃されていると判定する、
ことを特徴とする車載用撮像装置、としたので、
・暗領域の端の輝度変化を判定することで、清掃状態をより正確に判定することができる。
15.
12.に記載の車載用撮像装置において、
前記清掃状態判定部は、前記車載カメラの撮像画像から所定値以下の輝度の領域を暗領域として抽出し、該抽出した暗領域を累積し、該累積された暗領域の面積が所定値以上となった場合に、前記レンズが清掃されていると判定する、
ことを特徴とする車載用撮像装置、としたので、
・暗領域を累積することで、幾度かに分けてレンズを清掃した場合でも、レンズが清掃されたことを検知することができる。
16.
1.乃至15.のいずれか一項に記載の車載用撮像装置において、
前記汚れ払拭診断部は、自車両の車速及び/又は自車両の乗降情報に類する情報を参照し、自車両の乗員が前記レンズを清掃可能な場合にのみ動作する、
ことを特徴とする車載用撮像装置、としたので、
・レンズの清掃が不可能な場合に動作を停止することで、処理負荷を低減することができる。
17.
1.乃至16.のいずれか一項に記載の車載用撮像装置において、
前記汚れ検知部、前記汚れ払拭診断部及び前記汚れ状態管理部は、レンズ汚れ払拭診断装置を成すものであって、
前記レンズ汚れ払拭診断装置は、エンジン停止直後から該レンズ汚れ払拭診断装置が停止するまでの間である停止時に前記車載カメラの撮像画像を記憶し、エンジンの再開時に、前記停止時に記憶した撮像画像を、前記レンズを清掃する前の過去の撮像画像として利用する、
ことを特徴とする車載用撮像装置、としたので、
・エンジン停止時にレンズ汚れ払拭診断装置を停止させる構成であってもレンズの汚れ状態の適切な管理を行うことができる。
18.
1.乃至17.のいずれか一項に記載の車載用撮像装置において、
前記車載カメラの撮像画像から物体を検出する物体認識部を備え、
前記汚れ状態管理部は、前記物体認識部が物体を検出した領域を汚れの払拭領域として抽出し、記憶している汚れ付着領域から該抽出した払拭領域を削除する、
ことを特徴とする車載用撮像装置、としたので、
・物体が検出された領域にはレンズの汚れがないと考えられることから、物体認識部による検出結果を反映することで、レンズの汚れ状態のより適切な管理を行うことができる。
19.
1.乃至18.のいずれか一項に記載の車載用撮像装置を備え、前記汚れ状態管理部が記憶する汚れ付着領域の面積が所定値以下に減少した場合に、車両の自律制御システムに、車両の自律制御を許可する、
ことを特徴とする車両制御システム、としたので、
・レンズの汚れの影響を受けずに車両の自律制御を行うことができる。
Claims (15)
- レンズを介して画像を撮像する車載カメラと、
前記車載カメラで逐次撮像された撮像画像に基づき、前記レンズの汚れの有無又は汚れ付着領域を検出する汚れ検知部と、
前記レンズの汚れの払拭を診断する汚れ払拭診断部と、
前記レンズの汚れの管理を行う汚れ状態管理部と、
を備え、
前記汚れ払拭診断部は、
前記車載カメラで逐次撮像された撮像画像の時間変化に基づき、安定状態であるか否かを判定する安定状態判定部と、
前記車載カメラで逐次撮像された撮像画像のうち前記安定状態判定部による判定結果が安定状態であるときの撮像画像の時間変化に基づいて汚れの払拭領域を抽出する払拭領域抽出部と、
を有し、
前記汚れ状態管理部は、前記汚れ検知部が検出した汚れの有無又は汚れ付着領域を記憶し、前記払拭領域抽出部が抽出した汚れの払拭領域を、既に記憶してある汚れの有無又は汚れ付着領域に反映し、前記レンズの汚れの管理を行う、
ことを特徴とする車載用撮像装置。 - 請求項1に記載の車載用撮像装置において、
前記安定状態判定部は、前記車載カメラから出力される撮像画像を逐次取得し、都度、該取得した撮像画像と該取得した撮像画像の直前に取得した撮像画像との差分画像を生成し、該生成した差分画像に基づいて差分の大きな領域を抽出し、該差分の大きな領域の面積が所定値以下であれば、該取得した撮像画像の時間変化が小さく安定状態であると判定し、前記差分の大きな領域の面積が所定値を超えれば、該取得した撮像画像の時間変化が大きく安定状態でないと判定する、
ことを特徴とする車載用撮像装置。 - 請求項1に記載の車載用撮像装置において、
前記安定状態判定部は、前記車載カメラから出力される撮像画像を逐次取得し、該逐次取得した撮像画像から特徴量を抽出した特徴量画像を逐次生成し、都度、該生成した特徴量画像と該生成した特徴量画像の直前に生成した特徴量画像との差分画像を生成し、該生成した差分画像に基づいて差分の大きな領域を抽出し、該抽出した差分の大きな領域の面積が所定値以下であれば、該取得した撮像画像の時間変化が小さく安定状態であると判定し、前記差分の大きな領域の面積が所定値を超えれば、該取得した撮像画像の時間変化が大きく安定状態でないと判定する、
ことを特徴とする車載用撮像装置。 - 請求項1に記載の車載用撮像装置において、
前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該取得した安定状態での撮像画像と、以前に取得した安定状態での撮像画像との差分画像を生成し、該生成した差分画像から差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
ことを特徴とする車載用撮像装置。 - 請求項1に記載の車載用撮像装置において、
前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該取得した安定状態での撮像画像と、以前に取得した安定状態での撮像画像との差分画像を生成し、該生成した差分画像を一定期間累積し、該累積された差分画像から差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
ことを特徴とする車載用撮像装置。 - 請求項1に記載の車載用撮像装置において、
前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該取得した安定状態での撮像画像と、以前に取得した安定状態での撮像画像との差分画像を生成し、前記汚れ状態管理部が記憶している汚れの有無又は汚れ付着領域を取得し、該取得した汚れが無くなる、又は該取得した汚れ付着領域の面積が所定値以下になるまで、該生成した差分画像を累積し、該累積された差分画像から差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
ことを特徴とする車載用撮像装置。 - 請求項1に記載の車載用撮像装置において、
前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該逐次取得した安定状態での撮像画像から特徴量を抽出した特徴量画像を逐次生成し、該生成した特徴量画像と、以前に取得し生成した特徴量画像との差分画像を生成し、該生成した差分画像に基づいて差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
ことを特徴とする車載用撮像装置。 - 請求項1に記載の車載用撮像装置において、
前記汚れ状態管理部は、前記汚れ検知部が検出する汚れの有無又は汚れ付着領域を取得し、該取得した汚れ付着領域を汚れ記憶領域として記憶し、前記取得した汚れの有無又は該記憶した汚れ記憶領域の面積の大小を汚れ状態として記憶し、前記払拭領域抽出部が検出する汚れの払拭領域を取得し、記憶している汚れ付着領域から該取得した払拭領域を削除し、更新された汚れ付着領域又は該削除した払拭領域の面積に基づいて汚れ状態を更新する、
ことを特徴とする車載用撮像装置。 - 請求項1に記載の車載用撮像装置において、
前記汚れ状態管理部は、前記汚れ検知部が検出する汚れの有無又は汚れ付着領域を取得し、該取得した汚れ付着領域を汚れ記憶領域として記憶し、前記取得した汚れの有無又は該記憶した汚れ記憶領域の面積の大小を汚れ状態として記憶し、前記払拭領域抽出部が検出する汚れの払拭領域を取得して一定期間累積し、該累積された払拭領域の面積が所定値以上の場合、記憶している汚れ状態を汚れ無しにする、
ことを特徴とする車載用撮像装置。 - 請求項1に記載の車載用撮像装置において、
前記汚れ状態管理部は、記憶している汚れの有無又は汚れ付着領域に基づいて、前記レンズの汚れの管理状況をユーザーに通知する、
ことを特徴とする車載用撮像装置。 - 請求項1に記載の車載用撮像装置において、
前記汚れ状態管理部は、記憶している汚れの有無又は汚れ付着領域に基づいて、前記レンズの汚れの管理状況を、車両を自律制御するシステムに通知する、
ことを特徴とする車載用撮像装置。 - レンズを介して画像を撮像する車載カメラと、
前記車載カメラで逐次撮像された撮像画像に基づき、前記レンズの汚れの有無又は汚れ付着領域を検出する汚れ検知部と、
前記レンズの汚れの払拭を診断する汚れ払拭診断部と、
前記レンズの汚れの管理を行う汚れ状態管理部と、
を備え、
前記汚れ払拭診断部は、
前記車載カメラで逐次撮像された撮像画像に基づき、安定状態であるか否かを判定する安定状態判定部と、
前記レンズが清掃されたことを判定する清掃状態判定部と、
前記安定状態判定部及び前記清掃状態判定部の判定に基づいて、前記レンズが清掃されている期間の前後それぞれにおける時間変化の小さい撮像画像を抽出し、該レンズが清掃されている期間の前後の2つの撮像画像の差分から汚れの払拭領域を抽出する払拭領域抽出部と、
を有し、
前記汚れ状態管理部は、前記汚れ検知部が検出した汚れの有無又は汚れ付着領域を記憶し、前記払拭領域抽出部が抽出した汚れの払拭領域を、既に記憶してある汚れの有無又は汚れ付着領域に反映し、前記レンズの汚れの管理を行う、
ことを特徴とする車載用撮像装置。 - 請求項12に記載の車載用撮像装置において、
前記清掃状態判定部は、前記車載カメラの撮像画像から所定値以下の輝度の領域を暗領域として抽出し、該抽出した暗領域の面積が所定値以上となった場合に、前記レンズが清掃されていると判定する、
ことを特徴とする車載用撮像装置。 - 請求項13に記載の車載用撮像装置において、
前記清掃状態判定部は、前記抽出した暗領域が撮像画像の全体に及ばない場合に、該抽出した暗領域の端に大きな輝度変化があるかを判定し、端に大きな輝度変化のある暗領域のみをさらに抽出し、該抽出した端に大きな輝度変化のある暗領域の面積が所定値以上となった場合に、前記レンズが清掃されていると判定する、
ことを特徴とする車載用撮像装置。 - 請求項12に記載の車載用撮像装置において、
前記清掃状態判定部は、前記車載カメラの撮像画像から所定値以下の輝度の領域を暗領域として抽出し、該抽出した暗領域を累積し、該累積された暗領域の面積が所定値以上となった場合に、前記レンズが清掃されていると判定する、
ことを特徴とする車載用撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017024810A JP6757271B2 (ja) | 2017-02-14 | 2017-02-14 | 車載用撮像装置 |
PCT/JP2017/040721 WO2018150661A1 (ja) | 2017-02-14 | 2017-11-13 | 車載用撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017024810A JP6757271B2 (ja) | 2017-02-14 | 2017-02-14 | 車載用撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018132861A true JP2018132861A (ja) | 2018-08-23 |
JP6757271B2 JP6757271B2 (ja) | 2020-09-16 |
Family
ID=63169194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017024810A Active JP6757271B2 (ja) | 2017-02-14 | 2017-02-14 | 車載用撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6757271B2 (ja) |
WO (1) | WO2018150661A1 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020190181A (ja) * | 2019-05-17 | 2020-11-26 | 株式会社Lixil | 判定装置、判定方法、及びプログラム |
WO2021060208A1 (ja) * | 2019-09-24 | 2021-04-01 | 株式会社Lixil | 便座装置 |
JP2021052236A (ja) * | 2019-09-20 | 2021-04-01 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
JP2021052237A (ja) * | 2019-09-20 | 2021-04-01 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
WO2021060212A1 (ja) * | 2019-09-24 | 2021-04-01 | 株式会社Lixil | 便座装置 |
JP2021055522A (ja) * | 2019-09-24 | 2021-04-08 | 株式会社Lixil | 便座装置 |
WO2022088620A1 (zh) * | 2020-10-28 | 2022-05-05 | 北京市商汤科技开发有限公司 | 相机镜头的状态检测方法、装置、设备及存储介质 |
JP2023146713A (ja) * | 2022-03-29 | 2023-10-12 | パナソニックIpマネジメント株式会社 | 画像監視装置 |
JP2023146714A (ja) * | 2022-03-29 | 2023-10-12 | パナソニックIpマネジメント株式会社 | 画像監視装置 |
JP7442384B2 (ja) | 2019-09-24 | 2024-03-04 | 株式会社Lixil | 便座装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532876A (zh) * | 2019-07-26 | 2019-12-03 | 纵目科技(上海)股份有限公司 | 夜晚模式镜头付着物的检测方法、***、终端和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014007294A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車載装置 |
JP2016015583A (ja) * | 2014-07-01 | 2016-01-28 | クラリオン株式会社 | 車載用撮像装置 |
-
2017
- 2017-02-14 JP JP2017024810A patent/JP6757271B2/ja active Active
- 2017-11-13 WO PCT/JP2017/040721 patent/WO2018150661A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014007294A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車載装置 |
JP2016015583A (ja) * | 2014-07-01 | 2016-01-28 | クラリオン株式会社 | 車載用撮像装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020190181A (ja) * | 2019-05-17 | 2020-11-26 | 株式会社Lixil | 判定装置、判定方法、及びプログラム |
JP7394602B2 (ja) | 2019-05-17 | 2023-12-08 | 株式会社Lixil | 判定装置 |
JP7151675B2 (ja) | 2019-09-20 | 2022-10-12 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
JP2021052236A (ja) * | 2019-09-20 | 2021-04-01 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
JP2021052237A (ja) * | 2019-09-20 | 2021-04-01 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
JP7251425B2 (ja) | 2019-09-20 | 2023-04-04 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
WO2021060208A1 (ja) * | 2019-09-24 | 2021-04-01 | 株式会社Lixil | 便座装置 |
CN114466612A (zh) * | 2019-09-24 | 2022-05-10 | 骊住株式会社 | 座便装置 |
JP2021055522A (ja) * | 2019-09-24 | 2021-04-08 | 株式会社Lixil | 便座装置 |
WO2021060212A1 (ja) * | 2019-09-24 | 2021-04-01 | 株式会社Lixil | 便座装置 |
JP7442384B2 (ja) | 2019-09-24 | 2024-03-04 | 株式会社Lixil | 便座装置 |
WO2022088620A1 (zh) * | 2020-10-28 | 2022-05-05 | 北京市商汤科技开发有限公司 | 相机镜头的状态检测方法、装置、设备及存储介质 |
JP2023146713A (ja) * | 2022-03-29 | 2023-10-12 | パナソニックIpマネジメント株式会社 | 画像監視装置 |
JP2023146714A (ja) * | 2022-03-29 | 2023-10-12 | パナソニックIpマネジメント株式会社 | 画像監視装置 |
JP7398643B2 (ja) | 2022-03-29 | 2023-12-15 | パナソニックIpマネジメント株式会社 | 画像監視装置 |
JP7398644B2 (ja) | 2022-03-29 | 2023-12-15 | パナソニックIpマネジメント株式会社 | 画像監視装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6757271B2 (ja) | 2020-09-16 |
WO2018150661A1 (ja) | 2018-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018150661A1 (ja) | 車載用撮像装置 | |
US9956941B2 (en) | On-board device controlling accumulation removing units | |
JP5925314B2 (ja) | 車両周囲監視装置 | |
US11237388B2 (en) | Processing apparatus, image capturing apparatus, and image processing method | |
KR100659227B1 (ko) | 차량 앞유리 와이퍼를 제어하기 위한 와이퍼 제어장치 | |
US20210101564A1 (en) | Raindrop recognition device, vehicular control apparatus, method of training model, and trained model | |
JP6755161B2 (ja) | 付着物検出装置および付着物検出方法 | |
WO2018029925A1 (ja) | 車載装置 | |
JP2014011785A (ja) | 車載カメラ汚れ除去装置の診断装置、診断方法及び車両システム | |
KR20170055907A (ko) | 촬상 시스템 | |
US20140241589A1 (en) | Method and apparatus for the detection of visibility impairment of a pane | |
US20120200708A1 (en) | Vehicle peripheral monitoring device | |
JP2013211653A (ja) | 撮像装置 | |
GB2570156A (en) | A Controller For Controlling Cleaning of a Vehicle Camera | |
JP2006265865A (ja) | 車窓管理装置 | |
KR20220152823A (ko) | 차량의 주행영상 기록 장치 및 그 방법 | |
JPH0872641A (ja) | 車両用画像認識装置 | |
CN111612701A (zh) | 周边监视装置 | |
US20200207313A1 (en) | Method for controlling at least one washing device of at least one sensor situated on an outer contour of a vehicle | |
JP4739144B2 (ja) | 洗車機 | |
JP2005162168A (ja) | リアワイパ装置 | |
JP2022054816A (ja) | 付着物除去装置および付着物除去方法 | |
JPH11185023A (ja) | ウィンドガラスの汚損度検出装置 | |
KR100693614B1 (ko) | 차량의 윈도우 와이퍼 제어 방법 | |
JP2022085713A (ja) | ドライブレコーダ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190801 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6757271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |