JP6055224B2 - レンズ洗浄装置 - Google Patents

レンズ洗浄装置 Download PDF

Info

Publication number
JP6055224B2
JP6055224B2 JP2012167302A JP2012167302A JP6055224B2 JP 6055224 B2 JP6055224 B2 JP 6055224B2 JP 2012167302 A JP2012167302 A JP 2012167302A JP 2012167302 A JP2012167302 A JP 2012167302A JP 6055224 B2 JP6055224 B2 JP 6055224B2
Authority
JP
Japan
Prior art keywords
lens
cleaning
degree
white turbidity
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012167302A
Other languages
English (en)
Other versions
JP2014027539A (ja
JP2014027539A5 (ja
Inventor
耕太 入江
耕太 入江
彰二 村松
彰二 村松
雅幸 竹村
雅幸 竹村
早川 泰久
泰久 早川
修 深田
修 深田
玲 宇田川
玲 宇田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Nissan Motor Co Ltd filed Critical Clarion Co Ltd
Priority to JP2012167302A priority Critical patent/JP6055224B2/ja
Priority to US14/417,772 priority patent/US9616856B2/en
Priority to PCT/JP2013/069668 priority patent/WO2014017404A1/ja
Priority to EP13822653.5A priority patent/EP2879368B1/en
Publication of JP2014027539A publication Critical patent/JP2014027539A/ja
Publication of JP2014027539A5 publication Critical patent/JP2014027539A5/ja
Application granted granted Critical
Publication of JP6055224B2 publication Critical patent/JP6055224B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/56Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833Optical rain sensor
    • B60S1/0844Optical rain sensor including a camera
    • B60S1/0848Cleaning devices for cameras on vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/46Cleaning windscreens, windows or optical devices using liquid; Windscreen washers
    • B60S1/48Liquid supply therefor
    • B60S1/481Liquid supply therefor the operation of at least part of the liquid supply being controlled by electric means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/46Cleaning windscreens, windows or optical devices using liquid; Windscreen washers
    • B60S1/48Liquid supply therefor
    • B60S1/52Arrangement of nozzles; Liquid spreading means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/54Cleaning windscreens, windows or optical devices using gas, e.g. hot air

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Water Supply & Treatment (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Description

本発明は、カメラのレンズ表面に付着した水分に含まれる不純物が、水分の乾燥によって析出することによって生じた、レンズ表面の汚れを洗浄するレンズ洗浄装置に関するものである。
近年、車両にカメラを搭載して、そのカメラで車両の周辺を観測し、観測された画像の中から、他車両の位置やレーンマーカの位置などを検出して、検出された他車両の位置やレーンマーカの位置に基づいて、他車両との接触の可能性や車線逸脱の可能性を判断して注意喚起する車両の周囲環境認識システムが実用化されている。
このようなシステムでは、雨天時の走行場面にあっては、自車両が巻き上げた水分がカメラのレンズ表面に付着する場合がある。また、未舗装路の走行場面にあっては、自車両が巻き上げた埃がカメラのレンズ表面に付着する場合がある。さらに、融雪剤が散布された道路を走行する場面にあっては、自車両が巻き上げた融雪剤がカメラのレンズ表面に付着する場合がある。そして、これらの付着物が乾燥することによって、水分や埃や融雪剤の中に含まれていた不純物が析出してレンズ表面に堆積し、レンズ表面に白い汚れ(以下、白濁と呼ぶ)が生じる。
レンズ表面に白濁した部位(白濁部)が生じると、レンズに入射した光は白濁部において散乱するため、観測される画像の中に、ぼけや滲みが生じる。そして、このぼけや滲みによって、検出対象である他車両やレーンマーカの像のコントラストが減少するため、他車両やレーンマーカの未検出や誤検出が発生する可能性がある。そして、こうした未検出や誤検出の発生によって、他車両の位置やレーンマーカの位置に関する、的確な注意喚起を実行できなくなる恐れがある。
特に、カメラで撮像した画像を、車両の乗員が目視確認できないシステムにあっては、乗員はレンズが白濁していることを確認することができないため、前記した未検出や誤検出は、乗員に、システムに対する不信感を与えることになる。
このような未検出や誤検出を防止するためには、レンズを洗浄して白濁を除去する必要がある。そして、このようにレンズの洗浄を行う技術として、例えば、レンズ表面に向けて洗浄液を噴射してレンズ表面の洗浄を行う車載光学センサ装置が開示されている(例えば、特許文献1)。
特開2011−244417号公報
しかしながら、特許文献1に記載された車載光学センサ装置では、洗浄液の噴射形態は、最初に設定した1つの状態に固定されるものであった。したがって、レンズの白濁度合によらずに、常に一定の量の洗浄液が、一定のパターンで噴射されていた。
したがって、レンズの白濁度合が低い、すなわち汚れが少ないときには確実に洗浄できたとしても、レンズの白濁度合が高い、すなわち汚れが多いときには十分に洗浄することができずに、白濁が残ってしまうという問題があった。
一方、レンズの白濁度合が高い、すなわち汚れが多いときに十分に洗浄できるように、洗浄液の噴射量や噴射パターンを設定しておくと、レンズの白濁度合が低い、すなわち汚れが少ないときには、洗浄液が必要以上に多く噴射されてしまうため、洗浄液を無駄に消費してしまうという問題があった。
本発明は、上記課題に鑑みてなされたもので、レンズの白濁度合に応じて洗浄方法を切り替えることによって、レンズの白濁度合に応じて適切な洗浄を行うことができるレンズ洗浄装置を提供することを目的とする。
本発明に係るレンズ洗浄装置は、カメラのレンズ表面に付着した、水分や埃や融雪剤等が乾燥することによって析出した不純物による白濁を洗浄することができる、レンズ洗浄装置に関するものである。
すなわち、本発明の請求項1に係るレンズ洗浄装置は、車両に設置されて、レンズを通して前記車両の周囲を観測して、観測された前記車両の周囲の光信号を画像信号に変換する撮像部と、前記画像信号の中から、輝度特徴に基づいて前記レンズの白濁度合を算出する白濁度合算出部と、少なくとも洗浄液および圧縮空気のいずれかを所定の形態で噴射する洗浄モードによって、前記レンズの表面を洗浄するレンズ洗浄部と、前記白濁度合算出部によって算出された前記レンズの白濁度合と、白濁度合を表す所定値a1と前記所定値a1よりも大きい所定値a2と、に基づいて、少なくとも前記白濁度合が、前記所定値a1と前記所定値a2の間であるときには、前記洗浄モードを、水滴状にした洗浄液を前記レンズの表面に滴下して、前記レンズの表面に洗浄液の膜を形成する形態に設定するレンズ洗浄制御部と、を有することを特徴とする。
このように構成された本発明の請求項1に係るレンズ洗浄装置によれば、車両に設置されて車両の周囲を撮像する撮像部において、レンズを透過した光信号が画像信号に変換されて、白濁度合算出部が、画像信号の中のエッジ強度分布や輝度勾配等の輝度特徴に基づいてレンズの表面の白濁度合を算出して、レンズ洗浄制御部が、こうして算出された白濁度合が、白濁度合を表す所定値a1と所定値a1よりも大きい所定値a2の間であるとき、洗浄モードを、水滴状にした洗浄液をレンズの表面に滴下して、レンズの表面に洗浄液の膜を形成する形態に設定するため、レンズの白濁度合に応じた洗浄方法によってレンズの表面を洗浄することができ、これによって、レンズの白濁を確実に洗浄することができる。
本発明に係るレンズ洗浄装置によれば、レンズの白濁度合に応じた洗浄方法(以下、洗浄モードと呼ぶ。)を用いてレンズを洗浄することによって、レンズの表面の白濁を確実に洗浄することができる。
本発明の実施例1に係るレンズ洗浄装置が実装された車載システムの一例であるBSW(Blind Spot Warning)システムについて説明する図である。 本発明の実施例1に係るレンズ洗浄装置の概略構成を示すブロック図である。 レンズの白濁の発生状況について説明する図であり、(a)は白濁のない状態で撮像された画像の例と、その画像の中の輝度分布の例を示す。(b)は白濁のある状態で撮像された画像の例と、その画像の中の輝度分布の例を示す。 本発明の実施例1に係るレンズ洗浄装置において実行されるメインルーチンのフローチャートである。 本発明の実施例1に係るレンズ洗浄装置で行われる白濁度合を算出するための光源領域検出処理のフローチャートである。 本発明の実施例1に係るレンズ洗浄装置において、白濁度合を算出するための光源領域検出処理を行う範囲について説明する図である。 本発明の実施例1に係るレンズ洗浄装置における光源領域検出処理の一例を示す図であり、(a)は撮像された画像を示す。(b)は撮像された画像を縮小した画像を示す。(c)は画像(b)を2値化した画像を示す。(d)は画像(c)の中から条件を満たす光源領域を抽出した結果を示す。 本発明の実施例1に係るレンズ洗浄装置において、白濁度合を算出するための光源領域検出処理によって検出する領域の形状について説明する図であり、(a)は検出対象となる光源領域の形状特徴を示す。(b)は検出対象とならない領域の例を示す。 本発明の実施例1に係るレンズ洗浄装置において、白濁度合を算出するために行う輝度勾配算出処理のフローチャートである。 本発明の実施例1に係るレンズ洗浄装置において、白濁度合を算出するために輝度勾配を算出する所定ラインの一例と、輝度勾配の一例について説明する図である。 本発明の実施例1に係るレンズ洗浄装置において、白濁度合を算出する処理のフローチャートである。 本発明の実施例1に係るレンズ洗浄装置において、白濁度合の確信度の推移を表す状態遷移について説明する図である。 (a)は本発明の実施例1に係るレンズ洗浄装置における、レンズ洗浄部の詳細構成を示す模式図である。(b)は、(a)を紙面右側の方向から見た図である。 本発明の実施例1に係るレンズ洗浄装置におけるレンズの洗浄モードを示す図であり、(a)はレンズ表面に洗浄液を滴下して、レンズの表面に洗浄液の膜を形成する洗浄モードを示す。(b)はレンズ表面に洗浄液と圧縮空気を噴射する洗浄モードを示す。(c)はレンズ表面に圧縮空気を噴射する洗浄モードを示す。 本発明の実施例1に係るレンズ洗浄装置における、レンズ洗浄制御部の動作仕様について示す図である。 本発明の実施例1に係るレンズ洗浄装置において、レンズ洗浄制御部で行われる、レンズ洗浄制御処理のフローチャートである。 本発明の実施例1に係るレンズ洗浄装置において、エアー洗浄を行う際に、レンズ洗浄制御部で行われる処理のフローチャートである。 本発明の実施例1に係るレンズ洗浄装置において、洗浄液の滴下を行う際に、レンズ洗浄制御部で行われる処理のフローチャートである。 本発明の実施例1に係るレンズ洗浄装置において、高圧洗浄を行う際に、レンズ洗浄制御部で行われる処理のフローチャートである。 本発明の実施例1に係るレンズ洗浄装置において、システムフェール判断部で行われるフェール処理のフローチャートである。 本発明の実施例1の変形例を示すブロック図である。 本発明の実施例1の変形例において実行されるメインルーチンのフローチャートである。 本発明の実施例2に係るレンズ洗浄装置における、レンズ洗浄制御の動作について説明する図であり、(a)は撥水加工が施されたレンズに対する動作例を示す。(b)は撥水加工が施されていないレンズに対する動作例を示す。 本発明の実施例2に係るレンズ洗浄装置において、輝度勾配を算出する所定ラインの別の例について説明する図であり、(a)は斜め上方に延びる左右対称の2本のラインを設定した例である。(b)は左方に延びる1本の水平ラインを設定した例である。(c)は上方に延びる1本の垂直ラインを設定した例である。(d)は斜め上方に延びる左右対称の2本のラインと、左右に延びる2本の水平ラインを設定した例である。(e)は左右に延びる2つの矩形領域を設定した例である。
以下、本発明に係るレンズ洗浄装置の実施形態について、図面を参照して説明する。なお、以下の説明において、画像に格納された濃淡値を輝度値と呼ぶ。
本実施例は、本発明のレンズ洗浄装置を、走行中の自車両の後方を監視して、自車両後方の隣接車線内に接近車両があるときに注意喚起や警報を行う、BSWシステムが実装された車両に適用した例である。
まず、図1を用いてBSWシステムの動作を説明する。車両5の後方を監視する撮像部10は、車両5の後部に後ろ向きに取り付けられて、車両5の後方の左右隣接車線を含む範囲ω(道路2の車線L,L,Lを含む範囲)を撮像する。そして、画像処理によって、撮像された画像の中から、隣接車線L,Lに存在する接近車両を検出する。
BSWシステム9は、車両5が所定車速以上で走行しているときに起動されて、撮像部10から距離dの範囲内において、車線Lの隣接車線L,Lに車両6が検出されて、検出された車両6が車両5に接近していることが確認されたときに、車両6を接近車両として認識する。
車両6が接近していることは、車両6の位置の時間的な変化を時系列で分析して、車両5に近づいていることを認識することによって判定される。
そして、車両6が接近していると認識されたときには、接近車両が存在することが、車両5に備えられた、例えばインジケータの点灯等によって、視覚情報として運転者に伝達される(1次警報)。
さらに、運転者がこの視覚情報に気づかずに、車両6が存在する車線L側に方向指示器を出して車線変更を行おうとすると、インジケータの点滅と警報音の吹鳴を行って、運転者に対して、車両6の存在をより明確に伝達して(2次警報)、車線変更動作の中断を促す。
次に、図2を用いて、実施例1に係るレンズ洗浄装置の構成を説明する。図2は、本実施例に係るレンズ洗浄装置を、前記したBSWシステム9が実装された車両5に適用したときの構成図を示す。
実施例1に係るレンズ洗浄装置8は、図2に示すように、車両5(図1に図示)の後部ライセンスプレート付近に設置されて、図1に示した範囲ωを観測する撮像部10と、撮像部10で撮像された画像の中から、撮像部10の前方に装着されたレンズ12の白濁度合を算出する白濁度合算出部40と、レンズ12の洗浄モードを決定するレンズ洗浄制御部60と、レンズ12の洗浄を行うレンズ洗浄部70と、前記したBSWシステム9と、白濁度合算出部40で算出された白濁度合を、レンズ洗浄制御部60とBSWシステム9に通知する白濁度合通知部50と、車両5の車速と、ワイパーの動作信号を取得する車両情報取得部80と、レンズ洗浄制御部60が出力した情報を表示する情報出力部85を備えている。
前記撮像部10は、さらに、レンズ12と、光信号を電気信号に光電変換する、例えばCMOS素子で構成された光電変換部14と、光電変換された電気信号のゲインを調整するゲイン調整部16を備えている。
前記白濁度合算出部40は、さらに、後続車両の前照灯の像を検出する領域検出部20と、領域検出部20で検出された領域の中の所定ライン上の輝度勾配を算出する輝度勾配算出部30と、複数の所定ライン上の輝度勾配の平均値を算出する輝度勾配平均値算出部42と、異なる時間に領域検出部20で検出された領域が、同一光源による像であるか否かを判定する類似性算出部44と、算出された白濁度合の確信度を決定する確信度決定部46を備えている。
前記レンズ洗浄制御部60は、さらに、レンズ洗浄部70においてレンズ12を洗浄する際の洗浄モードを決定する自動洗浄判断部62と、レンズ12を洗浄しても白濁を解消できないことを判断するシステムフェール判断部64を備えている。
なお、前記レンズ洗浄部70の構成については後述する。
また、前記BSWシステム9は、撮像部10で撮像された画像の中から接近車両を検出する接近車両検出部100と、接近車両検出部100で接近車両が検出されたときに、インジケータやブザーによって注意喚起する警報出力部90を備えている。
次に、実施例1に係るレンズ洗浄装置8におけるレンズ白濁度合の算出方法について、図3を用いて説明する。
実施例1に係るレンズ洗浄装置8では、撮像部10が撮像した車両5と同一の車線Lを走行している後続車両の前照灯の像を検出して、その前照灯の像の中の所定ライン上の輝度勾配を算出し、こうして算出された輝度勾配に基づいて、レンズの白濁度合を算出する。
これは、前照灯のような強い光源の像は、レンズの白濁によって散乱し、なおかつ、レンズの白濁度合に応じて散乱の度合が変化して、白濁度合が高いほど、明るい領域がより広がった像として観測されることを利用して白濁度合を算出するためである。さらに、前照灯の光は強いため、SNの高い画像信号が得られ、これによって、白濁度合に応じて生じる輝度勾配の変化量も大きくなるため、算出される白濁度合の確実性が向上する。
なお、前照灯の像を用いて白濁度合を算出する方法によると、レンズ12の白濁度合の算出は、前照灯の像が観測される夜間にしか実行できない。しかし、昼間は、前照灯のように強い光源が撮像部10に直接入射することは少なく、また、観測される背景輝度も比較的高いため、レンズ12に多少の白濁があっても、画像のコントラストの低下は比較的小さく、そのため、BSWシステム9の動作に問題は生じない。
図3(a),(b)は、レンズ洗浄装置8の撮像部10で実際に観測された、車両5と同一車線を走行している後続車両の前照灯を含む画像I(x,y)である。そして、図3(a)はレンズ12の表面が白濁していない場合の画像I(x,y)を示し、図3(b)は、レンズ12の表面が白濁している場合の画像I(x,y)を示している。
図3(a),(b)の画像I(x,y)の下に示したグラフは、前照灯の像の中の探索開始点Oを始点として、左方向に延びる探索方向(ライン)OP上の輝度値の分布(以後、輝度分布と呼ぶ)と、前照灯の像の中の探索開始点Oを始点として、右方向に延びるラインOQ上の輝度分布を1枚のグラフに示したものである。
図3(a)において、ラインOP上の輝度分布が、しきい値A(第1のしきい値)を下回ってから、しきい値Aよりも小さいしきい値B(第2のしきい値)を下回るまでの左右方向画素数をL、また、ラインOQ上の輝度分布が、しきい値Aを下回ってから、しきい値Aよりも小さいしきい値Bを下回るまでの左右方向画素数をRとしたときに、輝度勾配gを、輝度差D(=A−B)を用いて、D/L(ラインOP上の輝度勾配)、および−D/R(ラインOQ上の輝度勾配)として算出すると、白濁していない図3(a)の場合は、輝度勾配gの絶対値は大きな値となり、輝度分布の広がりは狭く急峻になる。
一方、白濁している図3(b)の場合は、輝度勾配gの絶対値は小さな値となり、輝度分布の広がりは広くなる。
実施例1に係るレンズ洗浄装置8は、まず、この輝度勾配gの大きさを利用して、レンズ12の白濁度合を算出する。すなわち、輝度勾配gの絶対値が小さいほど、白濁度合が高いと算出される。なお、詳しくは後述するが、白濁度合算出の確実性を高めるために、輝度勾配gが小さい状態が一定期間継続した場合に、白濁が発生していると判断している。
次に、実施例1に係るレンズ洗浄装置8におけるレンズ洗浄処理の流れについて、図4を用いて説明する。
図4は、実施例1に係るレンズ洗浄装置8において、レンズ洗浄を行うメインルーチンのフローチャートである。
まず、ステップS5において、車両情報取得部80によって、車両5の車速信号とワイパーの動作信号を取得する。
次に、ステップS10において、車両情報取得部80によって取得した車速信号の値が、接近車両検出部100において分析される。そして、車速が所定値(例えば1km/h以上)であるときは、ステップS11に進んで、BSWシステム9が起動される。一方、車速が所定値に満たないときは、ステップS5に戻る。
次に、ステップS12において、撮像部10で車両5の後方の画像を撮像する。そして、レンズ12を透過した光信号が、光電変換部14において電気信号に変換されて、さらに、ゲイン調整部16で増幅されて、画像信号I(x,y)が生成される。以後、画像信号I(x,y)を単に画像I(x,y)と呼ぶ。
前記ゲイン調整部16は、光電変換部14において変換された電気信号のレベルが所定のレベルになるように、適切なゲインを与えてこれを増幅し、画像I(x,y)としている。これによって、暗い環境であっても、適切なゲインを与えることによってSN比が高い画像I(x,y)が得られる。なお、このゲイン調整は、撮像とともに随時実行されて、ゲイン調整部16では、最新のゲインの値がモニタできる構成になっている。
次に、ステップS14において、前記ゲインの値が所定値以上であるときのみ、すなわち、画像I(x,y)を撮像した環境が夜間であると判定されたときのみ、領域検出部20において、撮像された画像I(x,y)の中から、車両5と同じ車線Lを走行している後続車両の前照灯の像の領域を検出する。この処理の手順は図5に示すが、その詳細については後述する。
なお、ステップS14において、前記ゲインの値が所定値よりも小さいときは、画像I(x,y)を撮像した環境は昼間であると判定して、レンズ白濁度合の算出とレンズの洗浄を行わずに、BSWシステム9を動作させる。
そして、ステップS15では、輝度勾配算出部30において、ステップS14で検出した前照灯の像の領域の中の輝度勾配を算出する。この処理の手順は図9に示すが、その詳細については後述する。
次に、ステップS16では、白濁度合算出部40において、ステップS15で算出された輝度勾配に基づいて、レンズ12の白濁度合が算出される。この処理の手順は図11に示すが、その詳細については後述する。
そして、ステップS17では、ステップS16で算出されたレンズ12の白濁度合が、白濁度合通知部50を通して、自動洗浄判断部62、および接近車両検出部100に通知される。
次に、ステップS18では、レンズ洗浄部70が、レンズ洗浄制御部60の指示に基づいてレンズ12の洗浄を行う。この処理の手順は図16に示すが、その詳細については後述する。
そして、ステップS19では、接近車両検出部100が、レンズ洗浄が終了した後に白濁度合通知部50から通知されたレンズ12の白濁度合等に応じて、BSWシステム9の挙動を適切に切り替える。すなわち、レンズ12の白濁が解消されているときは、BSWシステム9を通常通りに動作させる。一方、レンズ12の白濁が解消されないときは、BSWシステム9の動作を停止して(システムフェール)、情報出力部85において、システムフェールが発生した旨を車両5に設置されたディスプレイに表示することによって、車両5の乗員に報知する。
以下、図4の各ステップにおける詳細な処理の内容について、順に説明する。
まず、図4のステップS14の光源領域検出処理について、図5のフローチャート、および図7の画像を用いて詳細に説明する。
図5のステップS20において、撮像部10で撮像された画像I(x,y)を縮小して、例えば、縦方向1/2、横方向1/2のサイズに変更して、縮小画像I’ (x,y)を生成する。
このように画像を縮小するのは、画像のサイズを小さくして画像処理を行う際に要するメモリ量を削減し、なおかつ、処理速度を向上させるためである。なお、具体的な縮小率は、使用する計算機環境、および、画像の分解能等を勘案して決定されるものであり、前記した値に限定されるものではない。
また、前記した画像の縮小は、画素の間引きによって行うが、これは近傍画素の輝度値の平均化を行って縮小してもよい。この処理によって、図7(a)に示す画像が、図7(b)に示す画像のように縮小される。
次に、ステップS21において、ステップS20で縮小した縮小画像I’(x,y)の中に、車両5と同じ車線Lを走行する後続車の、前照灯の像が写る領域を設定する。これは、後続車の前照灯が写る位置は予め予想できるため、処理範囲を限定することによって、以後の処理を効率的に行うためである。
こうして設定される処理エリアの例を図6に示す。図6に示すように、横方向画素数n、縦方向画素数mの画像に対して、左上を(x1,y1)として、右下を(x2,y2)とする処理エリアEが設定される。
この処理エリアEの上下方向位置は、車両5に対する、撮像部10の高さ方向の取り付け位置と上下方向の取り付け角度によって定まる、消失点の上下方向座標V(図6参照)の位置を基準にして設定される。
また、この処理エリアEの左右方向位置は、車両5に対する、撮像部10の左右方向の取り付け位置に応じて設定される。すなわち、撮像部10が車両5の中央に設置されていれば、処理エリアEは、縮小画像I’(x,y)の中に左右対称に設定される。図6は、撮像部10の車両5への取り付け位置が左右にオフセットしている場合の例であり、左右非対称な位置に処理エリアEが設定される。このように処理エリアEを設定することによって、縮小画像I’(x,y)全体を処理する必要がなくなるため、処理の効率が向上する。
次に、図5のステップS22において、ステップS21で設定した処理エリアEの内部について、縮小画像I’(x,y)を所定のしきい値で2値化する。所定のしきい値は、車両5と同じ車線Lを走行する後続車の前照灯の像が検出できる値が、予め実験等によって求められて、領域検出部20に記憶されている。この2値化処理によって、図7(c)に示す2値画像が得られる。
次に、図5のステップS23において、ステップS22で生成した2値画像に対して、ラベリング処理が行われる。ラベリング処理とは、2値画像に対して施される処理であって、2値画像を形成する領域(例えば、図7(c)の白色領域)の各々に番号を付ける処理である。
次に、図5のステップS24において、ステップS23でラベリング処理された画像の中に前照灯の像があるか否かが判定される。ここで行われる処理について、図8(a),(b)を用いて説明する。
撮像部10で撮像される、車両5と同じ車線Lを走行する後続車の前照灯の像は、図8(a)に示す領域Rのように略円形状になるため、ラベリング処理された各々の領域に対して、領域の面積が、その領域に外接する矩形領域(縦方向画素数H、横方向画素数W)の面積HWに対し、所定の割合以上を占めていること、および、領域に外接する四角形の幅と高さが所定割合以上異ならないこと、が判定される。
このうち、面積の判定基準は(式1)で表され、外接する四角形の幅と高さの判定基準は(式2)で表される。
S>HW×Th (式1)
W<H×Th かつ H<W×Th (式2)
ここで、Sは領域の面積であり、Thは矩形領域に対する面積占有率のしきい値(Th<1)であり、Thは矩形領域の横方向の長さを制限するしきい値(Th>1)であり、Thは矩形領域の縦方向の長さを制限するしきい値(Th>1)である。
この判定によって、例えば、図8(b)に示す領域R,R,Rのような形状の領域は、前照灯の像ではないと判断されて棄却される。
この判定によって、図7(d)に示すように、条件を満足する領域が1つ選択される。なお、条件を満足する領域が複数見つかったときには、最も面積の大きい領域を1つ選択する。そして、条件を満たす領域が見つからなかったとき(ステップS24がNOのとき)は、メインルーチン(図4)へ戻る。
次に、ステップS25において、ステップS24で選択された領域の重心位置Gが算出される。領域の重心位置Gの座標をG(Gx、Gy)とすると、重心位置Gの左右方向位置Gxは、領域を構成する全ての画素の左右方向座標の総和を領域の面積で除して算出され、重心位置Gの上下方向位置Gyは、領域を構成する全ての画素の上下方向座標の総和を領域の面積で除して算出される。そして、図5の処理を終了してメインルーチン(図4)へ戻る。
次に、図4のステップS15の輝度勾配算出処理について、図9,図10を用いて詳細に説明する。図9は、輝度勾配算出部30で行われる輝度勾配算出処理の流れを示すフローチャートである。そして、図10は、輝度勾配を算出する所定ラインの一例と、その所定ラインにおいて算出される輝度勾配の一例について説明する図である。
まず、図9のステップS30において、縮小画像I’(x,y)の中に、輝度勾配gを算出するための探索開始点Oを設定する。そして、ステップS31において、輝度勾配を算出するための探索方向(ライン)を設定する。この探索開始点O、およびラインは、車両5が巻き上げるスプラッシュや、後続車両の前照灯の路面反射や、隣接車線を走行している車両の前照灯などの影響を受けにくい位置、方向を、実験等によって決定して、設定すればよい。
本実施例では、図10に示すように、領域Rの重心位置Gと、領域Rの最上部の点Jの間に、輝度勾配gを算出するための探索開始点Oを設定する。
すなわち、探索開始点Oの上下方向座標をOy、領域Rの最上部の点Jの上下方向座標をJyとして、(式3)によってOyを求める。
Oy=Jy+(Gy−Jy)/Th (式3)
ここで、しきい値Thには0より大きい値が設定される。なお、しきい値Thの値は、実験等に基づいて設定される。
そして、図10に示すように、探索開始点Oを通り、領域Rの重心位置Gを通過する水平ラインと平行になるラインが、ラインOP,ラインOQとして設定される。
次に、ステップS32において、ラインOP上で、探索開始点Oから点Pに向かって、縮小画像I’(x,y)に格納された輝度値を読み取って、輝度分布を算出する。
さらに、ステップS33において、ラインOQ上で、縮小画像I’(x,y)に格納された輝度値を読み取って、輝度分布を算出する。
こうして算出された輝度分布は、図10に示すグラフのようになる。なお、このグラフは、説明をわかりやすくするために、ラインOP上の輝度分布とラインOQ上の輝度分布を1つのグラフに表している。
次に、ステップS34において、輝度分布の左右の裾野の大きさを求める。ここでは、予め、輝度値のしきい値Aと、Aよりも小さい輝度値のしきい値Bを準備しておき、先に作成した輝度分布を、探索開始点Oから点Pに向かって左方向に探索して、図10に示すように、輝度値がしきい値Aを下回る位置と、輝度値がしきい値Bを下回る位置との間隔を、左右方向画素数Lwとして算出する。そして、探索開始点Oから点Qに向かって右方向に探索して、輝度値がしきい値Aを下回る位置と、輝度値がしきい値Bを下回る位置との間隔を、左右方向画素数Rwとして算出する。
なお、図9には記載を省略したが、設定したラインに沿って輝度値を読み取った際に、読み取った輝度値がしきい値Aを下回った後で、再度しきい値Aを越える輝度値が出現したとき、もしくは、隣接画素の輝度値に対して、所定のしきい値Cを越える輝度値の上昇があったときには、別の光源等の像が混入しているものと判断して、輝度値の読み取りを打ち切る。そして、輝度値の読み取りが打ち切られたときは、メインルーチン(図4)に戻って、次の画像入力を行う。
次に、ステップS35において輝度勾配gを算出する。具体的には、前記したしきい値Aとしきい値Bの差分値である輝度差D(=A−B)を用いて、ラインOP上の輝度勾配gをD/Lwとして算出し、ラインOQ上の輝度勾配gを−D/Rwとして算出する。そして、図9の処理を終了してメインルーチン(図4)へ戻る。
次に、図4のステップS16の白濁度合算出処理について、図11,図12を用いて詳細に説明する。図11は、白濁度合算出部40で行われる白濁度合算出処理の流れを示すフローチャートである。そして、図12は、白濁度合の確信度の推移を表す状態遷移について説明する図である。
まず、ステップS40において、領域Rの左右の輝度勾配gであるD/Lwと−D/Rwに対称性があるか否かが判定される。この対称性は、(式4)によって算出される輝度勾配gのギャップGが、所定のしきい値Th以下であるか否かを確認することによって行われる。
=(|Lw|−|Rw|)/(|Lw|+|Rw|) (式4)
複数の領域が左右方向に連接して出現した場合には、先に算出した輝度勾配gの大きさが左右で異なるため、(式4)で算出されたギャップGがしきい値Thよりも大きくなる。そして、その場合には白濁度合の算出は行わずに、ステップS48に移行する。
次に、ステップS41において、レンズ12の白濁度合Uが算出される。白濁度合Uは、(式5)に示すように、先に算出した左右の輝度勾配gであるD/Lwと−D/Rwのそれぞれの逆数の平均値として算出される。
U={(Lw/D)+(Rw/D)}/2 (式5)
(式5)において、輝度勾配gの逆数を平均化しているが、これは、レンズ12の白濁度合が高いほど(汚れているほど)、Uの値が大きくなるようにするためである。なお、この処理は、図2に示す輝度勾配平均値算出部42において行われる。
次に、ステップS42において、先に検出した領域Rが、その1回前の処理で検出した領域Rと同一であるか否か、すなわち、同一の光源による像と考えられるか否かが判定される。
この判定は、過去の処理によって算出された白濁度合Uの平均値Ave(U)と、(式5)で算出された最新の白濁度合Uを比較することによって行われ、過去の白濁度合Uの平均値Ave(U)と、最新の白濁度合Uとの差が小さいときに、同一光源によって生じた像による領域であると判定される。
この処理は、図2に示す類似性算出部44において行われ、具体的には、(式6)を満足するときに、同一の光源による像であると判定される。
ThLOW < U/Ave(U) < ThHIGH (式6)
ここで、ThLOWは、同一光源による像と判定する最低しきい値であり、ThHIGHは、同一光源による像と判定する最大しきい値である。
ステップS42において、同一光源による像であると判定されると、次に、ステップS43において、同一光源によるとみなせる像が連続して検出されたことを示す通算回数Tがインクリメントされて、ステップS44に進む。なお、ステップS43以降の処理は、図2に示す確信度決定部46において行われ、ステップS43でインクリメントされた通算回数Tの値は、随時、確信度決定部46に記憶される。
一方、ステップS42において、同一光源による像でないと判定されると、次に、ステップS47において、通算回数Tがデクリメントされて、ステップS48に進む。なお、ステップS47の処理は、図2に示す確信度決定部46において行われ、ステップS47でデクリメントされた通算回数Tの値は、随時、確信度決定部46に記憶される。
次に、ステップS44において、先にステップS41で算出された白濁度合Uが、確信度決定部46に記憶される。
そして、ステップS45において、先にステップS41で算出された白濁度合Uを用いて、過去の処理によって算出された白濁度合Uの平均値Ave(U)が再計算されて更新される。更新された白濁度合Uの平均値Ave(U)の値は、確信度決定部46に記憶される。
次に、ステップS48において、算出された白濁度合Uの確信度Fが判定される。確信度Fは、前記した通算回数Tの値によって表される。そして、Tの値が大きいほど、すなわち、連続して検出された、同一光源によると考えられる像の輝度勾配に基づいて算出された白濁度合Uほど、確信度Fが高いと判定される。
本実施例では、図12に示すように、確信度Fを4つのレベル(Ph0,Ph1,Ph2,Ph3)に分けて管理する。そして、それぞれの確信度Fのレベルは、Tの値に応じて遷移する。
すなわち、図12において、初期状態では、確信度FのレベルはPh0であり、同一光源によるものとみなせる像が連続して検出されたことを示す通算回数Tの値が所定値T1を越えると、確信度FのレベルはPh1に移行する。その後、通算回数Tの値が所定値T2を越えると確信度FのレベルはPh2に移行し、さらに、通算回数Tの値が所定値T3を越えると確信度FのレベルはPh3に移行する。
一方、確信度FのレベルはPh3にあったとき、通算回数Tの値がデクリメントされて所定値T4を下回ると確信度FのレベルはPh2に移行し、その後、通算回数Tの値が所定値T5を下回ると確信度FのレベルはPh1に移行し、さらに、通算回数Tの値が所定値T6を下回ると確信度FのレベルはPh0に移行する。
確信度Fが別のレベルに遷移した際には、すぐに元のレベルに戻ってしまうハンチングを防止するため、確信度Fが高いレベルに遷移したときには通算回数Tに所定値Tcを加算し、また、確信度Fが低いレベルに遷移したときには通算回数Tから所定値Tcを減算する措置を講じるようにしてもよい。そして、確信度Fの更新が実行されると、図11の処理を終了してメインルーチン(図4)へ戻る。
なお、前記したステップS40において、図11には記載していないが、領域Rの左右の輝度勾配gに対称性がないと判定された場合には、ステップS48において、通算回数Tの値をデクリメントしてもよい。
メインルーチン(図4)に戻った後、図4のステップS17において、ステップS16で算出されたレンズ12の白濁度合U、および確信度Fが、白濁度合通知部50によって、自動洗浄判断部62と接近車両検出部100に通知される。
次に、図4のステップS18に示すレンズ洗浄制御について、図13から図20を用いて詳細に説明する。
まず、図13(a),(b)を用いて、レンズ洗浄部70の構成について説明する。
レンズ洗浄部70は、図13(a)に示すように、撮像部10の筐体に設置された洗浄ノズル79から、レンズ12の表面に向かって、洗浄液114と圧縮空気120を噴射する構成になっている。
洗浄液114は、車両5のウインドウォッシャ液と兼用され、メインウォッシャタンク71に貯えられている。そして、レンズ12の洗浄に必要な量の洗浄液114が、第1洗浄液流路74を経て、ウォッシャポンプ72によってサブウォッシャタンク73に送出される。
また、エアーポンプ76で圧縮された圧縮空気120が、エアーポンプ76の駆動力に応じた圧力で、エアー流路77を通して送出されて、洗浄ノズル79から噴射される。
そして、圧縮空気120が洗浄ノズル79から噴射されるとき、第2洗浄液流路75にある洗浄液114が、洗浄ノズル79から噴射された圧縮空気120によって吸い出されて、圧縮空気120とともに洗浄ノズル79から噴射される。
図13(b)は、図13(a)を紙面右側、すなわちレンズ12の前面側から見た図である。図13(b)に示すように、洗浄液114と圧縮空気120は、レンズ12の前面をカバーする範囲に向けて噴射されるようになっている。
次に、図14を用いて、レンズ洗浄部70においてレンズ12を洗浄する際の洗浄モードについて説明する。
図14(a)は、洗浄ノズル79からレンズ12の表面に、水滴状の洗浄液110を滴下して、レンズ12の表面に洗浄液114の膜112を形成する動作(滴下)を示す。この洗浄モードは、白濁度合Uが、所定値a1から、a1よりも大きい所定値a2の間の値であるときに適用される。そして、洗浄液114の滴下を実行することによって、レンズ12の表面に形成された洗浄液114の膜112によって、撮像部10の視界がクリアになり、接近車両の検出が可能な画像I(x,y)を取得することができる。
なお、この洗浄液114の滴下は、図13において、ウォッシャポンプ72を稼動させて、洗浄液114をメインウォッシャタンク71からサブウォッシャタンク73に移送した後で行われる。そのとき、エアーポンプ76を所定の短時間だけ小さい駆動力で稼動させて、小さい圧力で圧縮空気120を洗浄ノズル79から噴射し、第2洗浄液流路75にある洗浄液114を水滴状にして吸い出し、吸い出された水滴状の洗浄液110をレンズ12の表面に滴下する。
図14(b)は、洗浄ノズル79からレンズ12の表面に、洗浄液114と圧縮空気120を噴射する動作(高圧洗浄)を示す。この洗浄モードは、白濁度合Uが、所定値a2よりも大きいときに適用される。そして、この洗浄モード(高圧洗浄)を実行することによって、レンズ12の表面の白濁が洗浄されて洗い流されることによって、撮像部10の視界がクリアになり、接近車両の検出が可能な画像I(x,y)を取得することができる。
なお、この高圧洗浄状態は、図13において、ウォッシャポンプ72を稼動させて、洗浄液をメインウォッシャタンク71からサブウォッシャタンク73に移送した後で、エアーポンプ76を所定時間だけ稼動することによって実現される。
図14(c)は、洗浄ノズル79からレンズ12の表面に、圧縮空気120を噴射する動作(エアー洗浄)を示す。この洗浄モードは、白濁度合Uが所定値a1以下のとき(白濁度合が小さいとき)に適用されて、レンズ12の表面に付着した水滴に対して、圧縮空気120を噴射することによって、水滴を吹き飛ばす洗浄方法である。そして、この洗浄モード(エアー洗浄)を実行することによって、レンズ12の表面に付着した水滴が吹き飛ばされることによって、撮像部10の視界がクリアになり、接近車両の検出が可能な画像I(x,y)を取得することができる。
なお、このエアー洗浄状態は、図13において、サブウォッシャタンク73を空にした後、エアーポンプ76を所定時間だけ稼動することによって実現される。
次に、図15を用いて、洗浄モードの決定方法、および、各洗浄モード時のエアーポンプ76、ウォッシャポンプ72の動作について説明する。図15は、洗浄モードの決定、および、白濁度合Uが高いことによるBSWシステム9の動作停止(システムフェール)の決定に必要なパラメータの一覧と、各パラメータの値の範囲を示すものである。
図15に示すように、洗浄モード、およびシステムフェールは、白濁度合U、白濁度合の確信度F、継続時間を示すカウンタ値(C1,C2,C3,Cf)、および、洗浄回数を示すカウンタ値(n1,n2,n3)に基づいて決定される。そして、各洗浄モードを切り替える、図15に記載したしきい値は、それぞれ、実験等によって予め決められた所定値が用いられる。
そして、各洗浄モードを実現するための、エアーポンプ76の駆動時間Tap1,Tap2,Tap3、およびウォッシャポンプ72の駆動時間Twp1,Twp2がそれぞれ規定されている。
次に、図4のステップS18のレンズ洗浄制御の流れについて、図16から図20を用いて説明する。図16は、レンズ洗浄制御部60で行われるレンズ洗浄制御の流れを示すフローチャートである。そして、図17から図20は、図16のサブルーチンであり、各洗浄モードに対応するレンズ洗浄制御の流れを示している。
まず、図16を用いて、全体の流れを説明する。ステップS50において、自動洗浄判断部62が、車両情報取得部80によって取得した、車両5のワイパーの動作信号に基づいて、車両5がワイパーを使用しているか否かを判定する。もし、ワイパーを使用しているときは、車両5がウェット路面を走行しているものと判断してステップS51に進み、ワイパーを使用していないときは、車両5がドライ路面を走行していると判断してステップS53に進む。
次に、ステップS51において、自動洗浄判断部62が、エアー洗浄を行うか否かを判断する。そして、エアー洗浄を行う条件であるときにはエアー洗浄を行う。この部分の処理の流れは図17に示すが、その詳細については後述する。
次に、ステップS52において、自動洗浄判断部62が、滴下を行うか否かを判断する。そして、滴下を行う条件であるときには洗浄液の滴下を行う。この部分の処理の流れは図18に示すが、その詳細については後述する。
次に、ステップS53において、自動洗浄判断部62が、高圧洗浄を行うか否かを判断する。そして、高圧洗浄を行う条件であるときには高圧洗浄を行う。この部分の処理の流れは図19に示すが、その詳細については後述する。
なお、ステップS50において、車両5がドライ路面を走行していると判定されたときには、エアー洗浄と滴下を行わずに高圧洗浄を行う。
これは、ドライ路面を走行中に洗浄液114の滴下を行うと、滴下した水滴状の洗浄液110がレンズ12の表面のみならず、車両5のバンパ等にも付着して車両が濡れてしまい、なおかつ、洗浄液114を滴下したため、付着した洗浄液114が乾きにくいためである、そのため、レンズ12以外に付着しても圧縮空気によって吹き飛ばされるため、濡れたことが目立ちにくい高圧洗浄を行うようにする。
次に、ステップS54において、システムフェール判断部64が、システム(本実施例の場合はBSWシステム9)の動作を停止すべきか否かを判断する。そして、白濁度合Uが非常に高く、レンズ12を洗浄しても白濁が除去できないと判断されたとき、もしくは、所定回数洗浄を行っても白濁度合Uが改善されないときには、システムの動作を停止する。この部分の詳細な処理の流れは図20に示すが、その詳細については後述する。
そして、ステップS54が終了すると、メインルーチン(図4)へ戻る。
次に、図16に示した各洗浄モードにおける処理の詳細な手順について、図17から図20を用いて説明する。
まず、図17を用いて、エアー洗浄の流れを説明する。
ステップS60において、白濁度合Uが、所定値a1よりも低く、かつ、確信度Fが所定値F3以上であるか否かが判定される。そして、条件を満足すると、ステップS61に進み、条件を満足しないときは、ステップS62に進む。
ステップS61では、継続時間のカウンタ値C3がインクリメントされる。
また、ステップS62では、継続時間のカウンタ値C3がリセットされる。
次に、ステップS63において、継続時間のカウンタ値C3が所定値t3よりも大きいか否かが判定される。
もし、c3>t3であるときは、ステップS64においてエアー洗浄を実行する。一方、c3>t3でないときは、図16のメインルーチンへ戻る。
次に、ステップS65において、エアー洗浄による洗浄回数のカウンタ値n3をインクリメントする。
そして、ステップS66において、エアー洗浄による洗浄回数のカウンタ値n3が、所定値N3よりも大きいか否かを判断する。そして、エアー洗浄による洗浄回数のカウンタ値n3が所定値N3よりも大きいときはステップS67に進み、それ以外のときは図16のメインルーチンへ戻る。
そして、ステップS67において、エアー洗浄による洗浄回数のカウンタ値n3が所定値N3よりも大きいときは、所定回数以上エアー洗浄を行っても、白濁が除去できないと判断して、第3フェールフラグFF3がセットされる。そして、その後、図16のメインルーチンへ戻る。
次に、図18を用いて、洗浄液の滴下の流れを説明する。
まず、ステップS70において、白濁度合Uが、所定値a1と所定値a2の間であり、かつ、確信度Fが所定値F1以上であるか否かが判定される。そして、条件を満足すると、ステップS71に進み、条件を満足しないときは、ステップS72に進む。
ステップS71では、継続時間のカウンタ値C1がインクリメントされる。
また、ステップS72では、継続時間のカウンタ値C1がリセットされる。
次に、ステップS73において、継続時間のカウンタ値C1が所定値t1よりも大きいか否かが判定される。
もし、c1>t1であるときは、ステップS74において洗浄液の滴下を実行する。一方、c1>t1でないときは、図16のメインルーチンへ戻る。
次に、ステップS75において、滴下による洗浄回数のカウンタ値n1をインクリメントする。
そして、ステップS6において、滴下による洗浄回数のカウンタ値n1が、所定値N1よりも大きいか否かを判断する。そして、滴下による洗浄回数のカウンタ値n1が所定値Nよりも大きいときはステップS77に進み、それ以外のときは図16のメインルーチンへ戻る。
そして、ステップS77において、滴下による洗浄回数のカウンタ値n1が所定値N1よりも大きいときは、所定回数以上滴下を行っても、白濁が除去できないと判断して、第1フェールフラグFF1がセットされる。そして、その後、図16のメインルーチンへ戻る。
次に、図19を用いて、高圧洗浄の流れを説明する。
まず、ステップS80において、白濁度合Uが、所定値a2よりも高く、かつ、確信度Fが所定値F2以上であるか否かが判定される。そして、条件を満足すると、ステップS81に進み、条件を満足しないときは、ステップS82に進む。
ステップS81では、継続時間のカウンタ値C2がインクリメントされる。
また、ステップS82では、継続時間のカウンタ値C2がリセットされる。
次に、ステップS83において、継続時間のカウンタ値C2が所定値t2よりも大きいか否かが判定される。
もし、c2>t2であるときは、ステップS84において高圧洗浄を実行する。一方、c2>t2でないときは、図16のメインルーチンへ戻る。
次に、ステップS85において、高圧洗浄による洗浄回数のカウンタ値n2をインクリメントする。
そして、ステップS86において、高圧洗浄による洗浄回数のカウンタ値n2が、所定値N2よりも大きいか否かを判断する。そして、高圧洗浄による洗浄回数のカウンタ値n2が所定値N2よりも大きいときはステップS87に進み、それ以外のときは図16のメインルーチンへ戻る。
そして、ステップS87において、高圧洗浄による洗浄回数のカウンタ値nが所定値Nよりも大きいときは、所定回数以上高圧洗浄を行っても、白濁が除去できないと判断して、第2フェールフラグFF2がセットされる。そして、その後、図16のメインルーチンへ戻る。
次に、図20を用いて、フェール処理の流れを説明する。
まず、ステップS90において、白濁度合Uが、所定値afよりも高く、かつ、確信度Fが所定値Ff以上であるか否かが判定される。そして、条件を満足すると、ステップS91に進み、条件を満足しないときは、ステップS92に進む。
ステップS91では、継続時間のカウンタ値Cfがインクリメントされる。
また、ステップS92では、継続時間のカウンタ値Cfがリセットされる。
次に、ステップS93において、継続時間のカウンタ値Cfが所定値tfよりも大きいか否かが判定される。
もし、cf>tfであるときは、ステップS94においてシステムフェール判断部64から接近車両検出部100に対して、システムフェールを行う旨が通知される。一方、cf>tfでないときは、図16のメインルーチンへ戻る。
次に、ステップS95において、第1フェールフラグFF1,第2フェールフラグFF2,第3フェールフラグFF3の状態が確認される。そして、第1フェールフラグFF1,第2フェールフラグFF2,第3フェールフラグFF3のうち、いずれかのフェールフラグがセットされていたときは、ステップS94に進む。
一方、いずれのフェールフラグもセットされていないときは、図16に示したレンズ洗浄制御のメインルーチンへ戻る。そして、さらに、図4に示した本実施例のメインルーチンへ戻る。
次に、図4のステップS19において、接近車両検出部100、および警報出力部90において、BSWシステム9の挙動制御が行われる。すなわち、レンズ洗浄制御部60において、システムフェールにすべきであると判断されたときは、BSWシステム9をフェール状態に移行させる。そして、接近車両検出部100,および警報出力部90はその機能を停止するとともに、情報出力部85、もしくは警報出力部90において、BSWシステム9がフェール状態に移行した旨が、画面表示やインジケータ等によって車両5の乗員に報知される。
なお、一度フェール状態に移行したときには、予め用意されたタイマーを起動して、所定の時間が経過するまでは、フェール状態を維持するようにする。
一方、レンズ洗浄制御部60において、システムフェールの条件を満足していないと判定されたとき、すなわち、洗浄によってレンズ12の白濁がなくなったと判断されたときには、BSWシステム9は所定の動作を継続する。
なお、BSWシステム9の挙動制御は、前記したようにシステムをフェールすることに限定されるものではない。すなわち、レンズ12の白濁度合Uが高いときには、接近車両検出部100で行う画像処理におけるエッジ検出のしきい値を小さくして、車両6を構成するエッジ構成点が、レンズ12の白濁によるコントラストの低下によって、ぼけや滲みを生じた場合であっても、これを確実に検出できるようにしてもよい。
以上、画像I(x,y)の中の輝度勾配gに基づいてレンズ12の表面の白濁度合Uを算出して、算出された白濁度合Uに基づいて、レンズ洗浄制御部60が、こうして算出された白濁度合Uに基づいて、レンズ洗浄部70からの洗浄液114、もしくは圧縮空気120の噴射形態を設定してレンズ12の表面を洗浄する例を説明したが、レンズ12の表面の白濁度合Uの算出方法は、輝度勾配gに基づく方法に限定されるものではない。
すなわち、例えば、画像I(x,y)の中のエッジ強度の分布状態に基づいてレンズ12の表面の白濁度合Uを算出してもよい。
レンズ12の表面に白濁が生じると、画像I(x,y)が不鮮明になる。その不鮮明さの度合は、白濁度合が高くなるにつれて大きくなる。この不鮮明さの度合を、画像I(x,y)の中のエッジ強度の分布に基づいて算出することができる。
以下、エッジ強度の分布に基づいて白濁度合Uを算出する手順について、図面を用いて説明する。
図21は、実施例1の変形例であり、エッジ強度の分布に基づいて算出した白濁度合Uに基づいて、レンズ12の洗浄モードを制御するレンズ洗浄装置8の構成を示す図である。その構成は図2とほぼ同様であり、前記白濁度合算出部40の代わりに、白濁度合算出部130が備えられている。
そして、白濁度合算出部130は、撮像部10で撮像された画像の中のエッジ強度を算出するエッジ強度算出部132と、エッジ強度算出部132で算出されたエッジ強度から、画像の中のエッジ強度の分布を求めて、画面の中のエッジ強度の分布に基づいてレンズ12の白濁度合Uを算出するエッジ強度分析部134とから構成されている。
次に、図22を用いて、エッジ強度の分布に基づいてレンズ12の白濁度合Uを算出する方法について説明する。
図22のフローチャートの流れは、前記した図4のフローチャートの流れとほぼ同様であり、白濁度合Uを算出する部分(ステップS104,S105,S106)のみが異なるため、異なる部分について説明する。
ステップS104では、エッジ強度算出部132において、撮像部10で撮像された画像I(x,y)の中に、エッジ検出を行う領域を設定する。エッジ検出を行う領域は、画像I(x,y)全体としてもよいし、エッジが出現しやすい位置に限定してもよい。
すなわち、昼間であれば、自車両5の後方の地平線を含む領域を設定して、この領域の内部についてエッジ検出を行い、地平線によって形成されるエッジに基づいてエッジ強度を算出し、夜間であれば、隣接車線L,Lを含む領域を設定して、この領域の内部についてエッジ検出を行い、隣接車線に存在する車両のエッジに基づいてエッジ強度を算出すればよい。ここで、昼間と夜間の識別は、ゲイン調整部16において調整されたゲインの値に基づいて行うことができる。
続いて、ステップS104で設定した領域の中にエッジ検出オペレータを作用させて、画像I(x,y)の中の各画素に対してエッジ強度を求める。このとき用いられるエッジ検出フィルタの係数は特に制限されるものではない。
次に、ステップS105では、エッジ強度分析部134において、画像I(x,y)の画素毎に算出されたエッジ強度の値を平均して平均エッジ強度を算出する。なお、平均エッジ強度は、エッジ検出を行った領域の面積で正規化しておく。こうして算出された平均エッジ強度が小さいほど、画像I(x,y)の鮮明度が低い、すなわち白濁度合が高いと判断される。また、平均エッジ強度が大きいほど、画像I(x,y)の鮮明度が高い、すなわち白濁度合が低いと判断される。
そして、ステップS106では、こうして算出された平均エッジ強度に基づいて、白濁度合Uが算出される。
なお、平均エッジ強度は、1枚の画像から算出するだけでなく、異なる時間に撮像された複数の画像の平均エッジ強度を平均化することによって算出してもよい。これによって、突発的なノイズの混入があった場合でも、安定して画像の鮮明度を評価することができる。そして、このとき、所定時間に亘って平均エッジ強度の変化を求めて、平均エッジ強度の変化量が小さいときには、算出された平均エッジ強度、すなわち白濁度合の信頼性が高いものとして、先に説明した確信度Fを算出して、レンズ洗浄制御に活用することができる。
以上説明したように、このように構成された本発明の実施例1に係るレンズ洗浄装置8によれば、車両5に設置されて車両5の周囲を撮像する撮像部10において、レンズ12を透過した光信号が画像I(x,y)に変換されて、白濁度合算出部40が、画像I(x,y)の中の輝度特徴である輝度勾配gやエッジ強度分布に基づいてレンズ12の表面の白濁度合Uを算出して、レンズ洗浄制御部60が、こうして算出された白濁度合Uに基づいて、レンズ洗浄部70からの少なくとも洗浄液114および圧縮空気120のいずれかの噴射形態を設定してレンズ12の表面を洗浄するため、レンズ12の白濁度合Uに応じた洗浄方法によってレンズ12の表面を洗浄することができ、これによって、レンズ12の白濁を確実に洗浄することができる。
特に、ゲイン調整部16で調整されたゲインの値をモニタして、ゲインの大きさが所定値以上であるとき、すなわち夜間であるときは、車両5の後続車両の前照灯が鮮明に画像化されるため、前照灯の輝度勾配gに基づいて白濁度合Uを算出することによって、より信頼性の高い白濁度合Uを得ることができる。
また、本発明の実施例1の変形例に係るレンズ洗浄装置8によれば、画像I(x,y)の中に前照灯のような光源が映っていないときには、画像I(x,y)のエッジ強度に基づいて白濁度合Uを算出することによって、より信頼性の高い白濁度合Uを得ることができる。
さらに、本発明の実施例1に係るレンズ洗浄装置8によれば、レンズ洗浄部70における、少なくとも洗浄液114および圧縮空気120のいずれかの噴射形態を、少なくとも、水滴状にした洗浄液114をレンズ12の表面に滴下して、レンズ12の表面に洗浄液114の膜112を形成する形態としたため、レンズ12の表面に形成された洗浄液114の膜112によって、撮像部10の視界がクリアになり、接近車両の検出が可能な画像I(x,y)を取得することができる。
そして、本発明の実施例1に係るレンズ洗浄装置8によれば、レンズ洗浄部70における、少なくとも洗浄液114および圧縮空気120のいずれかの噴射形態を、少なくとも、洗浄液114を圧縮空気120とともにレンズ12の表面に向かって噴射する形態としたため、レンズ12の表面の白濁が洗浄されて洗い流されることによって、撮像部10の視界がクリアになり、接近車両の検出が可能な画像I(x,y)を取得することができる。
さらに、本発明の実施例1に係るレンズ洗浄装置8によれば、レンズ洗浄制御部60における、少なくとも洗浄液114および圧縮空気120のいずれかの噴射形態を、少なくとも、圧縮空気120のみをレンズ12の表面に向かって噴射する形態としたため、レンズ12の表面に付着した水滴が吹き飛ばされることによって、撮像部10の視界がクリアになり、接近車両の検出が可能な画像I(x,y)を取得することができる。
また、本発明の実施例1に係るレンズ洗浄装置8によれば、レンズ洗浄制御部60は、レンズ12の白濁度合Uが所定値af以上の状態が、継続時間のカウンタ値Cfが所定値tf以上継続したときに、その旨を報知する機能を有するため、レンズ12の白濁度合Uが高いときには、その旨を報知することによって、撮像部10で撮像した画像I(x,y)を利用して動作するシステム(例えば、BSWシステム9)の動きを停止することができ、これによって、白濁したレンズ12で撮像した画像I(x,y)を処理することによって発生する可能性がある、接近車両の未検出や誤検出を防止することができる。また、車両5の乗員に対して、レンズ12が汚れていることを報知することによって、汚れを除去するタイミングを示唆することができる。
そして、本発明の実施例1に係るレンズ洗浄装置8によれば、白濁度合算出部40は、画像I(x,y)の中から、類似した輝度特徴が継続して算出される時間として、例えば、同一の領域と見なせる領域Rの輝度勾配gが継続して算出される通算回数T(時間)に基づいて、白濁度合Uの確信度Fと、白濁度合Uの継続時間のカウンタ値C1,C2,C3(継続時間)と、を算出し、レンズ洗浄制御部60は、レンズ洗浄部70における、少なくとも洗浄液114および圧縮空気120のいずれかの噴射形態を、少なくとも白濁度合算出部40が算出した白濁度合Uと、白濁度合Uの確信度Fと、白濁度合Uの継続時間のカウンタ値C1,C2,C3(継続時間)と、に基づいて決定するため、白濁度合Uに応じた適切な洗浄モードを選択して、レンズ12の表面の白濁を確実に洗浄することができる。
さらに、本発明の実施例1に係るレンズ洗浄装置8によれば、車両5がウェット路面を走行していることを検知する車両情報取得部80を有し、車両5がウェット路面を走行中でないと判断されたときには、レンズ洗浄部70における、少なくとも洗浄液114および圧縮空気120のいずれかの噴射形態を、洗浄液114を圧縮空気120によってレンズ12の表面に向かって噴射するようにしたため、車両5がドライ路面を走行しているときに滴下を行って、滴下した洗浄液114によって車両5が濡れてしまうのを防止することができる。
なお、実施例1において、レンズ洗浄部70は、レンズ洗浄制御部60の判断に基づいて、設定された洗浄モードで自動的にレンズ12の洗浄を行うが、これは、車両5の乗員の指示によって、任意のタイミングで、任意の洗浄モードを選択してレンズ12を洗浄するようにしてもよい。
これによって、撮像部10を、BSWシステム9の用途だけではなく、車両5の後退時に、車両5の後方の様子を映して運転者に提示する、いわゆるバックモニタのための撮像部10としても利用したときに、撮像部10で撮像されて映し出された映像が、レンズ12の白濁によって視認しにくい状態であったときに、車両5の乗員の判断でレンズ12を洗浄することによって、クリアな映像を得ることができる。
なお、前記した構成は、図2の構成に、洗浄モードを選択する手段と、洗浄を指示する手段を、それぞれスイッチ機構として付加することによって実現することができる。
なお、実施例1において、撮像部10の光電変換部14はCMOSタイプの素子を用いる構成で説明したが、これはCMOSタイプの素子に限定されるものではない。すなわち、CCDタイプの素子を用いても構わない。ただし、CCDタイプの素子を用いた場合、前照灯のような高輝度光源を撮像すると、光電変換部14に蓄積された電荷がオーバーフローする現象(スミア)が生じて、前照灯の像の上下に、像と同じ幅の明るい帯が発生するため、細長い縦長の矩形領域を除去するフィルタリング処理を行って、スミアによって生じる帯を除去した後で、前記した処理を実行すればよい。
また、実施例1において、レンズ洗浄装置8と同時に作動する車載画像処理システムは、BSWシステム9に限定されるものではない。すなわち、車線のはみ出しを検出して報知するLDW(Lane Departure Warning)システムや、その他のシステムに適用することも可能である。
次に、本発明に係るレンズ洗浄装置の第2の実施例について説明する。
本実施例は、実施例1と同様に、本発明に係るレンズ洗浄装置を、BSWシステムが実装された車両に適用した例である。実施例1との違いは、レンズ12の表面に施された撥水加工の有無、撥水加工の程度、親水加工の有無、親水加工の程度に応じて、洗浄モードを切り替える白濁度合Uのしきい値を変更するようにした例である。
以下、本発明に係るレンズ洗浄装置の第2の実施形態について説明する。
実施例2に係るレンズ洗浄装置8の構成は、図2に図示して、実施例1で説明した構成と同様であるため、実施例1との作用の相違点について、図23を用いて説明する。
図23(a)は撥水加工が施されたレンズ12における、白濁度合Uに対するレンズ12の撥水性能の変化を示し、図23(b)は撥水加工が施されていないレンズ12における、白濁度合Uに対するレンズ12の撥水性能の変化を示している。
図23(a),(b)を比較するとわかるように、撥水加工が施されたレンズ12では、白濁度合Uがある程度高いところ(しきい値a01)までレンズ12の撥水状態が維持される。そして、撥水性能が失われた後は、白濁度合Uの進行に伴って、レンズ12の表面は、緩やかに親水状態に移行する。
一方、撥水加工が施されていないレンズ12では、低い白濁度合U(しきい値a11)においてレンズ12の撥水性能が損なわれてしまう。そして、撥水性能が失われた後は、白濁度合Uの進行に伴って、レンズ12の表面は、急激に親水状態に移行する。
レンズ12が撥水状態にあるときには、本発明に係るレンズ洗浄装置8における、前述したエアー洗浄によって、レンズ12の表面に付着した水滴を吹き飛ばすことができ、これによってクリアな視界を得ることができる。
本実施例は、使用するレンズ12の撥水加工の有無、撥水加工の程度に応じて、洗浄モードを切り替える白濁度合Uのしきい値を変更するようにしたものである。
具体的には、使用するレンズの撥水加工の有無、撥水加工の程度に応じて、エアー洗浄と滴下を切り替える白濁度合Uのしきい値a01,a11、滴下と高圧洗浄を切り替える白濁度合Uのしきい値a02,a12、および、システムフェールを行うと判断する白濁度合Uの上限のしきい値a0f,a1fを、それぞれ設定するものである。
こうして設定された白濁度合Uのしきい値は、予めレンズ洗浄制御部60に記憶しておくことによって、使用するレンズ12に応じた所望のタイミングで、洗浄モードを切り替えることができる。
また、この白濁度合Uのしきい値の設定は、レンズ洗浄制御部60に複数の白濁度合Uのしきい値を記憶しておき、その中から、使用するレンズ12に対応する白濁度合Uのしきい値を選択する構成にしてもよい。
以上、撥水加工されたレンズを例に上げて説明したが、親水加工されたレンズについても、同様にして、洗浄モードを切り替える白濁度合Uのしきい値を変更することができる。これによって、親水加工されたレンズにおいても、白濁度合Uに応じた洗浄モードでレンズ12を洗浄することができる。
なお、親水加工されたレンズにあっては、レンズに水滴が付着するとその水滴は膜状になってレンズの表面を覆うため、撥水加工されたレンズのように、水滴が、水滴の状態でレンズの表面に付着することはない。したがって、親水加工されたレンズでは、洗浄モードのうち、エアー洗浄を外してもよい。
以上説明したように、このように構成された本発明の実施例2に係るレンズ洗浄装置8によれば、レンズ洗浄制御部60は、レンズ12の撥水加工の有無、撥水加工の程度、親水加工の有無、親水加工の程度に応じて、洗浄液114、もしくは圧縮空気120の噴射形態を設定する白濁度合Uのしきい値を変更するようにしたため、使用するレンズ12の状態によらずに、確実に白濁の洗浄を行うことができる。
なお、実施例1、2において、輝度勾配gに基づいてレンズ12の白濁度合Uを算出する際に、1方向に延びるライン上で輝度勾配gを算出したが、輝度勾配gを算出するためのラインは、前記した方向に限定されるものではなく、図24(a)〜図24(e)に示すように設定してもよい。
すなわち、図24(b)に示すように、領域Rの内部において、領域Rの重心位置Gを通る上下方向に延びる直線上の、重心位置Gよりも上部に探索開始点Oを設定して、そこから左方向に延びる水平線分をラインOとしてもよい。また、図24(c)に示すように、領域Rの内部において、領域Rの重心位置Gを通る上下方向の直線上の、重心位置Gよりも上部に探索開始点Oを設定して、そこから上方向に延びる垂直線分をラインOとしてもよい。
また、実施例1で説明したように、ラインを複数設定してもよい。その際、実施例1で説明した左右方向に延びるラインのみならず、図24(a)に示すように、領域Rの内部に、領域Rの重心位置Gから、上下方向に延びる直線に対して、それぞれ角度θをもって左右上方に延びるラインO,Oを設定してもよい。なお、この場合も、探索開始点O,Oは、領域Rの重心位置Gより上方に設定する。
そして、このように複数のラインを設定した場合は、実施例1で説明したように、複数のラインでそれぞれ算出された輝度勾配gを平均化して白濁度合Uとすればよい。さらに、複数のラインを設定した場合は、実施例1で説明した輝度勾配のギャップGを算出して、この輝度勾配のギャップGに基づいて、検出された領域Rの妥当性を判定するようにしてもよい。
さらに、ラインは、図24(d)に示すように、さらに多くの方向を設定することも可能である。図24(d)は、図24(a)に従って設定したラインO,Oの他に、左方向に延びるラインO,および、右方向に延びるラインOを設定した例である。
そして、このようにして設定された複数のラインでそれぞれ算出された輝度勾配gは、平均化されて白濁度合Uとされるとともに、各々の輝度勾配gのギャップGが算出されて、検出された領域Rの妥当性が判定される。
なお、図24(a),(d)は、いずれも、領域Rの重心位置Gを通る上下方向の直線に関して左右対称になるように複数のラインを設定したが、左右対称な設定に限定されるものではない。すなわち、領域Rの重心位置Gを通る上下方向の直線に関して左右対称でない複数のラインを設定してもよい。
特に、レンズ12の表面の白濁が略円形状である場合、すなわち、領域Rの重心位置Gから見て、白濁に等方性がある場合には、領域Rの重心位置Gから領域Rの周縁に向かうラインに沿う輝度勾配gは、ラインの方向によらずにほぼ同じ形状になるため、ラインの左右対称性を考慮せずに複数のラインを設定することができる。
そして、このようにして設定された複数のラインでそれぞれ算出された輝度勾配gは、平均化されて白濁度合Uとされるとともに、各々の輝度勾配gのギャップGが算出されて、検出された領域Rの妥当性が判定される。
なお、こうしてより多くの方向にラインを設定したときに、各々のラインで輝度勾配gを算出した後で、異常値を示した輝度勾配gが算出されたラインを棄却して、それ以外のラインの輝度勾配gを平均化して白濁度合Uを算出してもよい。このようにすることによって、特定のラインに突発的にノイズが混入した場合には、そのライン以外のラインで輝度分布を読み取って輝度勾配gを算出することができるため、ノイズの影響が緩和されることによって、信頼性の高い輝度勾配gを算出することができ、これによって、信頼性の高い白濁度合Uを算出することができる。
また、輝度分布の探索は、ラインではなく、図24(e)に示すように、細長い領域に対して行ってもよい。
図24(e)は、領域Rの内部に、領域Rの重心位置Gを通る上下方向の直線上に探索開始点Oを設定し、探索開始点Oから左方向に延びるラインOと、右方向に延びるラインOを設定した後、ラインOとラインOにそれぞれ直交する方向に厚さtを有する領域を設定したものである。
そして、輝度勾配算出部30において、ラインOに亘って、設定した領域内部において、ラインOに直交する方向(厚さt方向)の輝度値の総和値を求めて、ラインOに沿って、その総和値の分布を算出する。
さらに、その総和値の分布から、先の説明と同様にして、輝度勾配gを算出する。なお、輝度勾配gを算出するときに設定した第1のしきい値Aと第2のしきい値Bは、それぞれ、設定した領域の厚さtに応じた別のしきい値として設定される。
ラインOについても、同様にして、輝度値の総和値の分布を算出し、その後、輝度勾配gを算出する。
その後、先の説明と同様にして白濁度合Uが算出されて、白濁度合Uの診断が行われる。
このように、設定したラインに沿って延びる領域を設定することによって、単にライン上の輝度値を探索した場合と比べて、突発的なノイズが混入しても、そのノイズの影響が緩和されるため、安定した輝度勾配gを算出することができ、これによって、信頼性の高い白濁度合Uの診断を行うことができる。
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
,18 レンズ洗浄装置
9 BSWシステム
10 撮像部
12 レンズ
14 光電変換部
16 ゲイン調整部
20 領域検出部
30 輝度勾配算出部
40 白濁度合算出部
42 輝度勾配平均値算出部
44 類似性算出部
46 確信度決定部
50 白濁度合通知部
60 レンズ洗浄制御部
62 自動洗浄判断部
64 システムフェール判断部
70 レンズ洗浄部
80 車両情報取得部
85 情報出力部
90 警報出力部
100 接近車両検出部

Claims (9)

  1. 車両に設置されて、レンズを通して前記車両の周囲を観測して、観測された前記車両の周囲の光信号を画像信号に変換する撮像部と、
    前記画像信号の中から、輝度特徴に基づいて前記レンズの白濁度合を算出する白濁度合算出部と、
    少なくとも洗浄液および圧縮空気のいずれかを所定の形態で噴射する洗浄モードによって、前記レンズの表面を洗浄するレンズ洗浄部と、
    前記白濁度合算出部によって算出された前記レンズの白濁度合と、白濁度合を表す所定値a1と前記所定値a1よりも大きい所定値a2と、に基づいて、少なくとも前記白濁度合が、前記所定値a1と前記所定値a2の間であるときには、前記洗浄モードを、水滴状にした洗浄液を前記レンズの表面に滴下して、前記レンズの表面に洗浄液の膜を形成する形態に設定するレンズ洗浄制御部と、を有することを特徴とするレンズ洗浄装置。
  2. 前記輝度特徴が輝度勾配であることを特徴とする請求項1に記載のレンズ洗浄装置。
  3. 前記輝度特徴がエッジ強度であることを特徴とする請求項1に記載のレンズ洗浄装置。
  4. 前記レンズ洗浄制御部は、前記白濁度合が、前記所定値a2よりも大きいときには、前記洗浄モードを、洗浄液を圧縮空気とともに前記レンズの表面に向かって噴射する形態に設定することを特徴とする請求項1から請求項3のいずれか1項に記載のレンズ洗浄装置。
  5. 前記レンズ洗浄制御部は、前記白濁度合が、前記所定値a1よりも小さいときには、前記洗浄モードを、圧縮空気のみを前記レンズの表面に向かって噴射する形態に設定することを特徴とする請求項1から請求項4のいずれか1項に記載のレンズ洗浄装置。
  6. 前記レンズ洗浄制御部は、前記レンズの白濁度合が前記所定値a1および前記所定値a2のいずれよりも大きい所定値afを超える状態が、所定時間以上継続したときに、その旨を報知する機能を有することを特徴とする請求項1から請求項5のいずれか1項に記載のレンズ洗浄装置。
  7. 前記レンズ洗浄制御部は、前記レンズの撥水加工の有無、撥水加工の程度、親水加工の有無、親水加工の程度に応じて、前記所定値a1と、前記所定値a2と、前記所定値afと、を変更することを特徴とする請求項に記載のレンズ洗浄装置。
  8. 前記白濁度合算出部は、前記画像信号の中から、類似した前記輝度特徴が継続して算出される時間に基づいて、前記白濁度合の確信度と、前記白濁度合の継続時間と、を算出し、
    前記レンズ洗浄制御部は、前記洗浄モードを、少なくとも前記白濁度合算出部が算出した白濁度合と、前記白濁度合の確信度と、前記白濁度合の継続時間と、に基づいて設定することを特徴とする請求項1から請求項のいずれか1項に記載のレンズ洗浄装置。
  9. 前記車両がウェット路面を走行しているか否かを検知する車両情報取得部を有し、ウェット路面を走行中でないと判断されたときには、前記洗浄モードを、洗浄液を圧縮空気とともに前記レンズの表面に向かって噴射する形態に設定することを特徴とする請求項1から請求項8のいずれか1項に記載のレンズ洗浄装置。
JP2012167302A 2012-07-27 2012-07-27 レンズ洗浄装置 Active JP6055224B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012167302A JP6055224B2 (ja) 2012-07-27 2012-07-27 レンズ洗浄装置
US14/417,772 US9616856B2 (en) 2012-07-27 2013-07-19 Lens cleaning apparatus
PCT/JP2013/069668 WO2014017404A1 (ja) 2012-07-27 2013-07-19 レンズ洗浄装置
EP13822653.5A EP2879368B1 (en) 2012-07-27 2013-07-19 Lens cleaning device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012167302A JP6055224B2 (ja) 2012-07-27 2012-07-27 レンズ洗浄装置

Publications (3)

Publication Number Publication Date
JP2014027539A JP2014027539A (ja) 2014-02-06
JP2014027539A5 JP2014027539A5 (ja) 2015-08-27
JP6055224B2 true JP6055224B2 (ja) 2016-12-27

Family

ID=49997217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012167302A Active JP6055224B2 (ja) 2012-07-27 2012-07-27 レンズ洗浄装置

Country Status (4)

Country Link
US (1) US9616856B2 (ja)
EP (1) EP2879368B1 (ja)
JP (1) JP6055224B2 (ja)
WO (1) WO2014017404A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2858755B1 (en) 2011-03-10 2017-09-20 dlhBowles Inc. Integrated automotive system, nozzle assembly and remote control method for cleaning an image sensor's lens
US10350647B2 (en) 2011-03-10 2019-07-16 Dlhbowles, Inc. Integrated automotive system, nozzle assembly and remote control method for cleaning an image sensor's exterior or objective lens surface
JP6678376B2 (ja) * 2014-04-11 2020-04-08 ハンファテクウィン株式会社 動き検出装置および動き検出方法
CN106660525B (zh) 2014-04-11 2020-06-02 Dlh鲍尔斯公司 紧凑低轮廓喷嘴组合件和远程控制的图像传感器清洗***
EP3131785B1 (en) 2014-04-16 2019-02-13 dlhBowles Inc. Integrated multi image sensor and lens washing nozzle assembly and method for simultaneously cleaning multiple image sensors
EP2949520B1 (en) * 2014-05-27 2018-03-21 Fico Transpar, S.A. System for cleaning a vehicle-mounted optic lens
DE102014213282A1 (de) * 2014-07-09 2016-01-14 Continental Teves Ag & Co. Ohg Kamerasystem für ein Fahrzeug und Verfahren zur Reinigung eines solchen
JP6644509B2 (ja) * 2015-10-01 2020-02-12 アルパイン株式会社 車両検知警報装置および車両検知警報方法
FR3056528B1 (fr) * 2016-09-29 2019-06-21 Valeo Systemes D'essuyage Dispositif de nettoyage d'un capteur optique, systeme d'assistance a la conduite et procede de nettoyage associes
JP6835548B2 (ja) 2016-11-22 2021-02-24 株式会社デンソーテン 付着物除去装置
JP6817804B2 (ja) 2016-12-16 2021-01-20 クラリオン株式会社 区画線認識装置
JP2018101855A (ja) * 2016-12-19 2018-06-28 トヨタ自動車株式会社 カメラ洗浄装置
WO2018123474A1 (ja) * 2016-12-28 2018-07-05 株式会社小糸製作所 ランプカメラ一体モジュール
US10189429B2 (en) 2017-06-26 2019-01-29 Ford Global Technologies, Llc Vehicle sensor cleaning based on a vehicle occupancy status
JP6936070B2 (ja) 2017-08-01 2021-09-15 トヨタ自動車株式会社 周辺監視装置
JP6772113B2 (ja) * 2017-08-02 2020-10-21 クラリオン株式会社 付着物検出装置、および、それを備えた車両システム
JP6970911B2 (ja) * 2017-08-04 2021-11-24 パナソニックIpマネジメント株式会社 汚れ検出装置の制御方法、および汚れ検出装置
JP6710190B2 (ja) 2017-09-29 2020-06-17 クラリオン株式会社 区画線認識装置
JP7055619B2 (ja) * 2017-11-14 2022-04-18 株式会社デンソーテン 気体噴出装置および気体噴出方法
JP6988638B2 (ja) * 2018-03-28 2022-01-05 株式会社デンソー 車載センサ洗浄装置
DE102018206520A1 (de) * 2018-04-26 2019-10-31 Volkswagen Aktiengesellschaft Verfahren zur Reinigung von Fahrzeugsensoren und unbemanntes Fluggerät für ein solches Verfahren
US10549723B2 (en) * 2018-05-04 2020-02-04 Ford Global Technologies, Llc Vehicle object-detection sensor assembly
KR102474520B1 (ko) * 2018-06-25 2022-12-05 현대자동차주식회사 외장 카메라 렌즈 클리닝 시스템 및 클리닝 방법
JP2020022010A (ja) * 2018-07-30 2020-02-06 キヤノン株式会社 清掃装置及び清掃方法
US11059458B2 (en) * 2018-08-08 2021-07-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for cleaning obstructions for the sensors of an autonomous vehicle
US10943129B2 (en) * 2019-01-04 2021-03-09 Ford Global Technologies, Llc Low-light sensor cleaning
DE102019105468A1 (de) * 2019-03-04 2020-09-10 Röchling Automotive SE & Co. KG Bordeigene Kfz-Waschvorrichtung und Verfahren zu deren Betrieb
JP7243480B2 (ja) * 2019-06-25 2023-03-22 株式会社デンソー 車載センサ洗浄装置
US11673532B2 (en) * 2019-12-23 2023-06-13 Continental Automotive Systems, Inc. Automatic camera washer deactivation
WO2021131122A1 (ja) * 2019-12-26 2021-07-01 株式会社村田製作所 液滴除去装置および撮像ユニット
JP7343841B2 (ja) * 2020-01-24 2023-09-13 トヨタ自動車株式会社 車載センサ洗浄装置
US11760313B2 (en) * 2020-04-30 2023-09-19 Zoox, Inc. Sensor pod cleaning system
US11953623B2 (en) 2020-04-30 2024-04-09 Zoox, Inc. Sensor pod assembly
US11623585B2 (en) 2020-04-30 2023-04-11 Zoox, Inc. Sensor pod coverage and placement on vehicle
US11588957B2 (en) * 2020-06-24 2023-02-21 Baidu Usa Llc Dirty monocular camera detection methods for autonomous driving vehicle
US20210402962A1 (en) * 2020-06-30 2021-12-30 Tusimple, Inc. Autonomous driving camera cleaning system
JP7283461B2 (ja) * 2020-11-19 2023-05-30 トヨタ自動車株式会社 車両制御装置
FR3119358B1 (fr) * 2021-02-01 2024-03-01 Valeo Systemes Dessuyage Système de nettoyage d’une surface vitrée d’un véhicule
DE102022120061B4 (de) 2022-08-09 2024-06-06 Webasto SE Dachmodul zur Bildung eines Fahrzeugdachs an einem Kraftfahrzeug

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3349077B2 (ja) * 1997-10-22 2002-11-20 富士重工業株式会社 画像処理システム
JP3461482B2 (ja) * 1999-02-24 2003-10-27 オリンパス光学工業株式会社 デジタルカメラ及びデジタルカメラのゴミ位置検出方法
JP2001171491A (ja) * 1999-12-16 2001-06-26 Matsushita Electric Ind Co Ltd 車載カメラ装置及び車載カメラの洗浄方法
JP3641250B2 (ja) * 2002-04-23 2005-04-20 三菱電機株式会社 透光体表面の異物検出装置
JP2007159021A (ja) * 2005-12-08 2007-06-21 Matsushita Electric Ind Co Ltd カメラ装置及びワイパ制御方法
JP2008288720A (ja) * 2007-05-15 2008-11-27 Hitachi Information & Communication Engineering Ltd カメラドームの清掃装置
JP2009130700A (ja) * 2007-11-26 2009-06-11 Panasonic Corp 撮像装置
JP2009220719A (ja) * 2008-03-17 2009-10-01 Toyota Motor Corp 車載カメラ雨滴除去装置
JP4513889B2 (ja) * 2008-04-03 2010-07-28 株式会社日本自動車部品総合研究所 ウォッシャノズル付カメラおよびウォッシャノズル
US8208043B2 (en) * 2008-05-09 2012-06-26 Aptina Imaging Corporation Lens cleaning warning system and method
JP5056919B2 (ja) 2009-09-29 2012-10-24 株式会社デンソー 車載光学センサカバー及び車載光学センサ装置
US20120117745A1 (en) 2009-09-29 2012-05-17 Denso Corporation On-board optical sensor cover and on-board optical sensor apparatus
GB201020530D0 (en) * 2010-12-03 2011-01-19 Optos Plc Method of identifying anomalies in images
JP5494743B2 (ja) * 2011-10-14 2014-05-21 株式会社デンソー カメラ洗浄装置

Also Published As

Publication number Publication date
WO2014017404A1 (ja) 2014-01-30
US20150203076A1 (en) 2015-07-23
EP2879368A4 (en) 2016-03-30
JP2014027539A (ja) 2014-02-06
EP2879368B1 (en) 2019-08-28
US9616856B2 (en) 2017-04-11
EP2879368A1 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
JP6055224B2 (ja) レンズ洗浄装置
US9956941B2 (en) On-board device controlling accumulation removing units
JP6117634B2 (ja) レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
JP6126094B2 (ja) 車載用画像認識装置
JP2014027539A5 (ja)
CN110999273B (zh) 附着物检测装置和具有其的车辆***
JP5902049B2 (ja) レンズ白濁状態診断装置
JP6576887B2 (ja) 車載装置
JP6120395B2 (ja) 車載装置
KR100741942B1 (ko) 레인 센서
CN102883925B (zh) 在风挡玻璃上的雾和雨滴的检测方法以及驾驶辅助装置
WO2014084113A1 (ja) 車載画像処理装置
US10933798B2 (en) Vehicle lighting control system with fog detection
JP2014013969A (ja) 環境認識装置
JP2014013451A (ja) 車載用車線認識装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150708

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150708

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161202

R150 Certificate of patent or registration of utility model

Ref document number: 6055224

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350