JP6576887B2 - 車載装置 - Google Patents

Description

本発明は、車載装置に関する。

車両にカメラを搭載し、そのカメラから得られた画像に画像認識処理などを行い、車両の運転支援に用いる技術が知られている。カメラのレンズに水滴や泥などの異物が付着すると画像認識処理に悪影響を及ぼす。レンズへの付着物を検出する装置がたとえば特許文献１に開示されている。

特開２０１２−３８０４８号公報

特許文献１に記載されている発明では、汚れ検出ができない場合は汚れが除去されたことを検出できない。

本発明の第１の態様による車載装置は、レンズを備えるカメラで撮影された画像を取得する画像取得部と、記憶部と、前記画像取得部が取得した画像に基づき前記レンズの汚れを検出して前記画像における汚れが存在する領域を示す汚れ領域情報を前記記憶部に格納する汚れ検出部と、前記レンズの汚れが除去された領域を示す汚れ除去情報を生成する汚れ除去情報生成部と、前記汚れ除去情報に基づいて前記汚れ領域情報を書き換える書換え部とを備える。

本発明によれば、汚れが除去された領域を示す汚れ除去情報に基づいて汚れ領域情報を書き換えることにより、汚れ検出ができない場合でも汚れの領域を精度良く認識することができる。

第１の実施の形態における車両のハードウエア構成図 第１の実施の形態における車載装置の制御ブロック図 付着物領域情報の一例を示す図 状態切替条件テーブルの一例を示す図 泥領域を示す図 付着物消去記憶部により書き換えられた泥領域を示す図 水滴検出部の処理を表すフローチャート 泥検出部の処理を表すフローチャート 付着物消去管理部の処理を表すフローチャート 第２の実施の形態における車載装置の制御ブロック図 消去関係テーブルの一例を示す図 第３の実施の形態における車載装置の制御ブロック図 付着物消去検出部の動作を表すフローチャート 第３の実施の形態の変形例１における付着物消去検出部の動作を表すフローチャート 第４の実施の形態における車載装置の制御ブロック図 ワイパーが動作する場合の清掃領域の一例を示す図 白濁検出を説明する図 水滴検出を説明する図

（第１の実施の形態）
以下、図１〜図８を参照して、本発明に係る車載装置の第１の実施の形態を説明する。

（ハードウエア構成）
図１は、車両１のハードウエア構成図である。車両１は、カメラ２と、車両監視部３と、車載装置４と、報知部５とを備える。
カメラ２は、外向きに車両１に設置され、車両１の周辺の路面を撮影範囲に含む。カメラ２は所定の時間間隔ごとに撮影し、撮影して得られた画像（以下、撮影画像）を車載装置４に出力する。カメラ２はレンズを備え、レンズが泥や水滴により汚れると撮影画像の汚れに対応する領域が影響を受ける。

車両監視部３は、車両１の走行状態に関する情報を取得する。車両監視部３は、舵角監視部３１と車速監視部３２とを備える。舵角監視部３１は、たとえば角度センサであり、車両１の舵角情報を取得する。車速監視部３２は、たとえばロータリエンコーダであり、車両１の走行速度、すなわち車速を取得する。車両監視部３は、取得した舵角や車速などの車両情報を車載装置４に出力する。

車載装置４は、演算処理部４１と画像取得部４２とを備える。演算処理部４１は、ＣＰＵとＲＡＭとＲＯＭとを備え、ＣＰＵはＲＯＭに格納されたプログラムをＲＡＭに展開して実行することにより、後述する処理を行う。画像取得部４２は、カメラ２から撮影画像を取得して演算処理部４１に出力する。演算処理部４１は入力された撮影画像をＲＡＭに記憶し、記憶した撮影画像に所定の画像処理を行う。たとえば、撮影画像から人物形状を検出する歩行者検出や、車両を検出する車両検出、撮影画像に映り込むレンズの付着物を検出する付着物検出などの処理である。これらの画像処理の出力はＲＡＭに適宜記憶される。そして演算処理部４１はこれらの画像処理の出力に基づいて報知部５を制御する。

報知部５は、車両の乗員へ報知を行う。報知部５は、警報出力部５１と状態表示部５２とを備える。警報出力部５１は、音および光の少なくとも一方を用いて車両の乗員に対して警報を発報する装置であり、たとえば警報ランプや警報ブザーである。警報出力部５１の動作は、車載装置４の演算処理部４１によって制御される。たとえば、演算処理部４１が付着物検出処理によってカメラ２のレンズの付着物を検出した場合に、警報ブザーを発報して車両の乗員にカメラ２のレンズを清掃するように警告することができる。状態表示部５２は、ディスプレイなどの画面表示装置であり、車両の乗員に対して視覚的な情報を出力する。状態表示部５２の動作は、車載装置４の演算処理部４１によって制御される。たとえば状態表示部５２は、ＣＰＵの動作指令に基づき、演算処理部４１が歩行者検出処理によって検出した撮影画像上の歩行者の位置をカメラ２の撮影画像に合成して表示させる。

（制御ブロック）
図２は、第１の実施の形態による演算処理部４１の制御ブロック図である。演算処理部４１は、ＲＯＭに格納されたプログラムをＣＰＵが実行することにより、付着物検出部６と付着物領域記憶部７と付着物消去監視部８と付着物領域統合部９と制御信号出力部１０と付着物検出制御部１１と付着物消去管理部１２として機能する。

付着物検出部６は、カメラ２が出力する撮影画像を用いてカメラ２のレンズへの付着物を検出する。付着物検出部６は、水滴を検出する水滴検出部６１と、泥を検出する泥検出部６２とを備える。水滴検出部６１および泥検出部６２はそれぞれ、付着物検出制御部１１の動作指令に基づき動作する。換言すると、水滴検出部６１および泥検出部６２はそれぞれ、付着物検出制御部１１の動作指令に基づき、稼働状態と停止状態とに切り替えられる。

水滴検出部６１は、レンズに付着した水滴を検出し、撮影画像において水滴が付着している領域（以下、水滴領域）を示す情報（以下、水滴領域情報）を付着物領域記憶部７に出力する。水滴検出部６１の具体的な動作は後述する。
泥検出部６２は、レンズに付着した泥を検出し、撮影画像において泥が付着している領域（以下、泥領域）を示す情報（以下、泥領域情報）を付着物領域記憶部７に出力する。以下では、水滴領域と泥領域とをあわせて「付着物領域」と呼ぶ。また以下では、水滴領域情報と泥領域情報とをあわせて「付着物領域情報」と呼ぶ。泥検出部６２の具体的な動作は後述する。

付着物領域記憶部７は、付着物検出部６から入力される付着物領域情報を記憶する。付着物領域記憶部７は、水滴検出部６１に対応する水滴領域記憶部７１と、泥検出部６２に対応する泥領域記憶部７２とを備える。水滴領域記憶部７１は、水滴検出部６１から入力される付着物の情報、すなわち水滴領域情報を記憶する。泥領域記憶部７２は、泥検出部６２から入力される付着物情報、すなわち泥領域情報を記憶する。

水滴検出部６１と泥検出部６２の動作がそれぞれ停止している場合には、水滴領域記憶部７１と泥領域記憶部７２にはそれぞれ付着物領域情報が入力されず、最後に記憶された付着物情報が保持され続ける。
図３は、付着物領域記憶部７で記憶される付着物領域情報の一例を示す図である。撮影画像を格子状に区切った検出面１３１において、付着物が検出された領域１４が示されている。付着物が検出された領域１４は、付着物領域情報により特定される領域である。

付着物消去監視部８は、付着物領域記憶部７の各記憶部が記憶する付着物領域情報を監視し、カメラ２のレンズの付着物が除去された領域を検出する。付着物消去監視部８は、付着物の除去が検出された領域を示す情報（以下、付着物消去領域情報）を付着物消去管理部１２に出力する。付着物消去監視部８は、付着物領域記憶部７の各記憶部に対応した監視部、すなわち水滴消去監視部８１と泥消去監視部８２とを備える。水滴消去監視部８１は、水滴領域記憶部７１に記憶される水滴領域情報を監視し、水滴領域情報の時間変化から水滴が消失した領域（以下、水滴消失領域）を検出する。そして水滴消去監視部８１は、水滴消失領域を示す情報（以下、水滴消失領域情報）を出力する。
泥消去監視部８２は、泥領域記憶部７２に記憶される泥領域情報を監視し、泥領域情報の時間変化から泥が消失した領域（以下、泥消失領域）を検出する。そして泥消去監視部８２は、泥消失領域を示す情報（以下、泥消失領域情報）を出力する。

付着物検出制御部１１は、水滴検出部６１および泥検出部６２の動作を切り替える条件が記載された状態切替テーブル１７を備える。付着物検出制御部１１は、状態切替テーブル１７に記載された条件に該当すると判断すると次の２つの動作を行う。第１の動作は、付着物検出部６への動作を切り替える指令、すなわち稼働状態への切り替えを示す動作指令、または停止状態への切り替えを示す動作指令の出力である。第２の動作は、付着物消去管理部１２への付着物検出部６の動作状態の情報の出力である。後述するように、状態切替テーブル１７に記載される条件は車両１の車速が含まれる。

図４は、状態切替テーブル１７の一例を示す図である。状態切替テーブル１７は、処理名１７１の列と、状態１７２の列と、状態切替条件１７３の列とから構成される。処理名１７１の列には制御対象の処理が記載され、「水滴検出」は水滴検出部６１が制御対象であり、「泥検出」は泥検出部６２が制御対象であることを示す。状態１７２の列には切り替え後の状態が記載され、「停止」は停止状態に切り替えられ、「稼働」は稼働状態に切り替えられることを示す。状態切替条件１７３の列には切り替え条件が記載される。たとえば図４の２行目は、車両１の車速が時速２ｋｍを超過したら水滴検出部６１を停止させることを示している。なお付着物検出制御部１１は、昼夜の判断において、車両１または車載装置４に備えられる不図示の時計を参照してもよいし、カメラ２が検出した照度や撮影画像の平均輝度を利用してもよい。また昼夜を判断する基準となる時刻は季節ごとに異なってもよい。

図２に戻って車載装置４の制御ブロック図の説明を続ける。
付着物消去管理部１２は、付着物検出制御部１１から入力される付着物検出部６の動作状態に基づき、停止状態にある検出部に対応する付着物領域記憶部７の付着物領域情報を、付着物消失領域情報を用いて書き換える。たとえば、水滴検出部６１が稼働状態にあり泥検出部６２が停止状態にある場合は、停止状態にある泥検出部６２に対応する泥領域記憶部７２に格納される泥領域情報を、付着物消失領域情報を用いて書き換える。すなわちこの場合は、泥領域情報を水滴消失領域情報を用いて書き換える。図３、図５、図６を用いて付着物領域情報の書き換えを具体的に説明する。

図５は、停止状態にある泥検出部６２により従前に検出された泥領域１５１，１５２を示す図である。泥領域１５１，１５２は、撮影画像を格子状に区切った検出面１３２上の領域として表される。

図６は、付着物消去管理部１２により書き換えられた泥領域情報により示される泥領域を示す図である。図６は、以下のような処理を経て生成される。
まず、泥検出部６２が撮影画像から泥領域を検出し、泥領域情報を付着物領域記憶部７に出力する。この泥領域情報を図示したのが図５の領域１５１および領域１５２である。次に付着物検出制御部１１により泥検出部６２が停止状態に切り替えられる。そして、水滴消去監視部８１が図３に示す領域１４を水滴消失領域として検出する。すると付着物消去管理部１２は、図５に示す泥領域１５１および領域１５２から水滴消失領域である領域１４を除外する。これにより、図５に示す泥領域１５１は図６において泥領域１５１Ａに書き換えられ、書き換えられなかった泥領域１５２とともに新たな泥領域情報として付着物領域記憶部７に出力される。

図２に戻って車載装置４の制御ブロック図の説明を続ける。
付着物領域統合部９は、付着物領域記憶部７から水滴領域情報および泥領域情報を取得する。付着物領域統合部９は、取得した情報に含まれる水滴領域および泥領域を統合して統合付着物領域とし、統合付着物領域を示す情報である統合付着物領域情報を制御信号出力部１０に出力する。

制御信号出力部１０は、入力された統合付着物領域情報に基づいて報知部５を駆動する制御信号を生成し、報知部５に出力する。たとえば制御信号出力部１０は、統合付着物領域情報により示される統合付着物領域の面積が、あらかじめ定められた面積よりも広い場合に特定の制御信号を生成する。この特定の制御信号は、報知部５がカメラ２のレンズ付着物を払拭するよう車両の乗員に警報を発報するための制御信号である。

（水滴検出処理）
図７は、水滴検出部６１の処理を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部４１のＣＰＵである。ステップＳ１８１では、ＣＰＵはカメラ２が出力した撮影画像に対してエッジ抽出処理を行い、エッジ画像を生成する。エッジ抽出処理には、画像中の変化量を抽出する様々な手段を用いることができる。たとえば、ＰｒｅｗｉｔｔフィルタやＳｏｂｅｌフィルタを用いることができる。続くステップＳ１８２では、ＣＰＵはステップＳ１８１で生成されたエッジ画像の中からエッジ強度が弱くぼけた画素を抽出する。ＣＰＵは、エッジ画像に含まれるエッジ強度が所定の閾値Ｔｈ１以上閾値Ｔｈ２以下のエッジを抽出する。続くステップＳ１８３では、ＣＰＵは、ステップＳ１８２の抽出結果を所定の回数Ｎだけ画素ごとに累積させる。続くステップＳ１８４では、ＣＰＵは、ステップＳ１８３で累積させたエッジ強度が所定の閾値Ｔｈ３以上となる画素を特定し、その画素を示す情報を水滴領域情報として付着物領域記憶部７に出力する。

（泥検出処理）
図８は、泥検出部６２の処理を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部４１のＣＰＵである。ステップＳ１９１では、ＣＰＵは、カメラ２が出力した撮影画像に対して輝度が所定の閾値Ｔｈ４以下の画素を抽出する。続くステップＳ１９２では、ＣＰＵは、ステップＳ１９１の抽出結果を所定の回数Ｍだけ画素ごとに累積させる。続くステップＳ１９３では、ＣＰＵは、ステップＳ１９２で累積させた輝度値が所定の閾値Ｔｈ５以上の画素を示す情報を、泥領域情報として付着物領域記憶部７に出力する。

（付着物消去管理部の動作）
図９は、付着物消去管理部１２の処理を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部４１のＣＰＵである。
ステップＳ１６１では、ＣＰＵは、付着物消去管理部１２が水滴消去監視部８１から水滴消失領域情報を受信したか否かを判断する。水滴消失領域情報を受信したと判断する場合はステップＳ１６２に進み、水滴消失領域情報を受信していないと判断する場合はステップＳ１６４に進む。ステップＳ１６２では、ＣＰＵは、付着物検出制御部１１の出力に基づき泥検出部６２が停止状態にあるか否かを判断する。この判断は、付着物検出制御部１１が出力する付着物検出部６の動作状態の情報に基づき行われる。泥検出部６２が停止状態にあると判断する場合はステップＳ１６３に進み、泥検出部６２が停止状態にない、すなわち泥検出部６２が稼働状態にあると判断する場合はステップＳ１６４に進む。ステップＳ１６３では、ＣＰＵは、水滴消失領域情報に基づき泥領域情報を書き換えてステップＳ１６４に進む。

ステップＳ１６４では、ＣＰＵは、付着物消去管理部１２が泥消去監視部８２から泥消失領域情報を受信したか否かを判断する。泥消失領域情報を受信したと判断する場合はステップＳ１６５に進み、水滴消失領域情報を受信していないと判断する場合は図９に示す処理を終了する。ステップＳ１６５では、ＣＰＵは、付着物検出制御部１１の出力に基づき水滴検出部６１が停止状態にあるか否かを判断する。水滴検出部６１が停止状態にあると判断する場合はステップＳ１６６に進み、水滴検出部６１が停止状態にない、すなわち水滴検出部６１が稼働状態にあると判断する場合は図９に示す処理を終了する。ステップＳ１６６では、ＣＰＵは、泥消失領域情報に基づき水滴領域情報を書き換えて図９に示す処理を終了する。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）車載装置４は、レンズを備えるカメラ２で撮影された画像を取得する画像取得部４２と、記憶部、すなわち演算処理部４１と、画像取得部４２が取得した画像に基づきレンズの汚れを検出して画像における汚れが存在する領域を示す汚れ領域情報を記憶部に格納する汚れ検出部、すなわち付着物検出部６と、レンズの汚れが除去された領域を示す汚れ除去情報を生成する汚れ除去情報生成部、すなわち付着物消去監視部８と、汚れ除去情報に基づいて汚れ領域情報を書き換える書換え部、すなわち付着物消去管理部１２と、を備える。
車載装置４をこのように構成したので、汚れ検出部により汚れ検出ができない状態であっても、汚れ除去情報に基づいて汚れ領域情報を書き換えることができる。たとえば昼間に車速が時速１ｋｍ未満であるために泥検出部６２が動作できない場合でも、水滴検出部６１の検出結果を利用する水滴消去監視部８１が出力する付着物消去領域情報、すなわち汚れ除去情報に基づき泥領域記憶部７２を書き換えることができる。

（２）水滴検出部６１および泥検出部６２は、ある時は汚れ検出部として動作し、ある時は汚れ除去情報生成部の一部として動作する。すなわち、汚れ検出部、および汚れ除去情報生成部は、それぞれ異なるアルゴリズムが用いられる。たとえば、泥検出部６２の動作が停止しており、水滴検出部６１の検出結果に基づき水滴消去監視部８１が付着物消去領域情報を出力し、これに基づき付着物消去管理部１２が泥領域記憶部７２を書き換える場合は、泥検出部６２が汚れ検出部であり水滴検出部６１が汚れ除去情報生成部の一部である。
このように、汚れ検出部と汚れ除去情報生成部は異なるアルゴリズムにより動作するので、汚れ検出部のアルゴリズムでは汚れの検出が不可能な場合、すなわち汚れ検出部のアルゴリズムでは汚れが除去されたことの検出が不可能な場合であっても、汚れ除去情報生成部により汚れ除去情報を生成することができる。

（３）汚れ除去情報生成部、すなわち付着物消去監視部８は、汚れ検出部により検出可能な汚れとは異なる種類の汚れを検出する異種汚れ検出部の検出結果に基づき汚れ除去情報を生成する。
車載装置４は、２種類の汚れ検出部を備え、一方の汚れ検出部が検出した汚れ検出領域を、他方の汚れ検出部の検出結果を利用した汚れ除去情報により書き換えることができる。

（４）汚れ検出部、たとえば泥検出部６２は泥を検出し、異種汚れ検出部、たとえば水滴検出部６１は水滴を検出する。
そのため、泥検出部６２が検出した泥領域を水滴検出部６１の検出結果を利用した泥消失領域を利用して書き換えることができる。

（５）書換え部、すなわち付着物消去管理部１２は、汚れ検出部、すなわち水滴検出部６１または泥検出部６２が動作していない場合に、動作していない汚れ検出部が出力した汚れ領域情報、すなわち水滴領域情報または泥領域情報を汚れ除去情報に基づいて書き換える。そのため、動作している一方の付着物検出部６の検出結果を用いて、動作していない他方の付着物検出部６が検出した汚れ領域を書き換えることができる。

（６）車載装置４は、カメラ２を搭載する車両１の車速と汚れ検出部の動作の有無との対応を示す状態切替テーブル１７と、車両監視部３から入力される車両１の車速および状態切替テーブル１７に基づき汚れ検出部を動作または停止させる動作切り替え部、すなわち付着物検出制御部１１を備える。書換え部、すなわち付着物消去管理部１２は、車両１の動作状態および状態切替テーブル１７に基づき付着物検出部６の動作の有無を判断する。
そのため付着物消去管理部１２は、水滴領域情報と泥領域情報のいずれを書き換えるかを判断できる。

以上で説明した実施の形態は、以下のように変形してもよい。
（第１の実施の形態の変形例１）
車両１の車両監視部３、および車載装置４の付着物検出制御部１１を省略してもよい。この場合は付着物消去管理部１２は、水滴検出部６１および泥検出部６２の稼働状態に関わらず、付着物消去領域情報に基づき、水滴領域記憶部７１および泥領域記憶部７２の付着物領域情報を書き換える。

（第１の実施の形態の変形例２）
付着物検出制御部１１は、状態切替テーブル１７を参照する代わりに、車両１の乗員が操作可能な手動スイッチの状態を参照して、水滴検出部６１および泥検出部６２の動作を制御してもよい。

（第１の実施の形態の変形例３）
車載装置４は、水滴消去監視部８１および泥消去監視部８２のいずれか一方を備えなくてもよい。すなわち付着物消去監視部８は、水滴検出部６１および泥検出部６２のいずれか一方の検出結果のみを用いて付着物消去領域情報を生成してもよい。
なお付着物消去監視部８は、水滴消去監視部８１を備えることが好ましい。

（第２の実施の形態）
図１０〜図１１を参照して、本発明に係る車載装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、画像認識の結果に基づき付着物消去領域情報が生成される点、およびいずれの生成手法による付着物消去領域情報を用いて付着物領域記憶部７を書き換えるかが条件により変化する点で第１の実施の形態と異なる。
第２の実施の形態における車両１および車載装置４のハードウエア構成は第１の実施の形態と同様である。演算処理部４１のＲＯＭに格納されるプログラムが第１の実施の形態と異なる。

（制御ブロック）
図１０は、本発明の第２の実施の形態における車載装置４の制御ブロック図である。演算処理部４１は、画像認識部２０と、画像認識領域記憶部２１と、付着物検出部６と、付着物領域記憶部７と、付着物消去監視部８と、付着物領域統合部９と、制御信号出力部１０と、付着物消去管理部１２として機能する。
図１０に示す制御ブロック図の第１の実施の形態における制御ブロック図との相違点は、画像認識部２０および画像認識領域記憶部２１が追加されている点と、画像認識領域記憶部２１および車両監視部３の出力が付着物消去管理部１２に入力されている点である。なお図１０では車両監視部３と付着物検出制御部１１とを接続する線が省略されているが、第１の実施の形態と同様に車両監視部３の出力が付着物検出制御部１１に入力される。また付着物検出制御部１１が状態切替テーブル１７を備える点も第１の実施の形態と同様である。以下では、これらの相違点を説明する。

画像認識部２０は、撮影画像から歩行者を検出する歩行者検出部２０１と、撮影画像から車両を検出する車両検出部２０２とを備える。歩行者検出部２０１が検出した歩行者の撮影画像上の領域、および車両検出部２０２が検出した車両の撮影画像上の領域を、以下では「画像認識領域」と呼ぶ。

歩行者検出部２０１および車両検出部２０２は、既知の画像処理手法を用いて撮影画像から歩行者および車両を検出する。この画像処理にはたとえば、画像からＨｏｇ特徴量を抽出して歩行者や車両の特徴量と合致する領域を抽出する手法や、深層学習を用いて歩行者や車両を検出する手法を用いることができる。歩行者検出部２０１および車両検出部２０２は、検出した物体の撮影画像上の位置、形状、サイズなどの画像認識領域の情報を画像認識情報として画像認識領域記憶部２１に出力する。

画像認識領域記憶部２１は、歩行者領域記憶部２１１と車両領域記憶部２１２とを備える。歩行者領域記憶部２１１には、歩行者検出部２０１から入力される最新の画像認識情報が記憶される。車両領域記憶部２１２には、車両検出部２０２から入力される最新の画像認識情報が記憶される。画像認識部２０の動作が停止している場合には、画像認識領域記憶部２１は画像認識情報を消去する。従前に出力された画像認識情報を保持すると、現在は歩行者や車両を認識していないにもかかわらず、現在もそれらを認識しているとの誤った判断を生じさせるからである。

付着物消去管理部１２には、付着物消去監視部８が検出した付着物消去領域情報の他に、画像認識領域記憶部２１に記憶される画像認識情報と、車両監視部３から車速などの車両の動作状況が入力される。
付着物消去管理部１２は、消去関係テーブル２２を備える。付着物消去管理部１２は、消去関係テーブル２２に基づいて、付着物領域記憶部７に格納される水滴領域情報および泥領域情報を書き換える。消去関係テーブル２２は、時間帯、および車両監視部３から入力される車両の動作状況に基づき、付着物検出部６および画像認識部２０のそれぞれの処理結果により書き換えられる対象となる情報を特定するテーブルである。なお消去関係テーブル２２は、付着物消去管理部１２が動作する条件を示しているともいえる。

図１１は、消去関係テーブル２２の一例を示す図である。消去関係テーブル２２は、時間帯２２１の列と、車速２２２の列と、処理名２２３の列と、消去領域反映対象２２４の列とから構成される。時間帯２２１の列には、時刻の区分を表す情報、たとえば昼または夜が記載される。車速２２２の列には、車両１の車速の条件が記載される。処理名２２３の列には、付着物検出部６および画像認識部２０のいずれかの検出部の名称が記載される。消去領域反映対象２２４の列には、書き換え対象となる記憶領域、すなわち水滴領域記憶部７１および泥領域記憶部７２のいずれかが記載される。

たとえば、図１１の消去関係テーブル２２の２行目によれば、昼に車速２０ｋｍ／ｈで走行している場合、泥領域記憶部７２に記憶されている泥領域のうち、水滴消去監視部８１で検出した水滴消去領域に対応する領域の泥は除去されたものと見做し、当該領域に泥が付着されているという泥領域情報を泥領域記憶部７２から消去することを示している。なお、この例では消去領域反映対象の変更条件として時間帯２２１と車速２２２を用いているが、これらに限定されない。他にも付着物検出部６の各検出部の動作状態などを使用することができる。

消去関係テーブル２２を適切に設定することで、図４の状態切替条件に該当して現在は停止している付着物検出部が停止前の稼働中に記憶した付着物領域を、図４の状態切替条件に該当して現在稼働している別の付着物検出部が検出した付着物の消去領域で消去することができる。また、消去関係テーブル２２には、付着物の種類に応じた払拭関係を反映することも可能である。たとえば、水滴は泥をはじめとする多くの付着物を浮かして洗い流すため、水滴検出処理で得られた水滴消去領域を他の汚れ検出処理で得た汚れ領域の消去に使用し易いが、泥は他の付着物と混合しやすい性質をもち、泥検出処理で得られた泥消去領域を他の汚れ検出処理で得た汚れ領域の消去に使用しにくい。

上述した第２の実施の形態によれば、第１の実施の形態の（１）〜（５）の作用効果に加えて次の作用効果が得られる。
（１）車載装置４の汚れ検出部、すなわち付着物検出部６は、検出する汚れの種類が異なる水滴検出部６１と泥検出部６２とを含む。水滴検出部６１は検出した汚れを水滴領域情報として記憶部に格納し、泥検出部６２は検出した汚れを泥領域情報として記憶部に格納する。車載装置４は、水滴領域情報に基づき水滴消失領域情報を生成する水滴消去監視部８１と、泥領域情報に基づき泥消失領域情報を生成する泥消去監視部８２と、水滴領域情報が書き換られる条件および泥領域情報が書き換られる条件が記載された消去関係テーブル２２が格納されるテーブル記憶部、すなわち演算処理部４１とを備える。書換え部、すなわち付着物消去管理部１２は、消去関係テーブル２２に記載された条件および水滴消失領域情報に基づき泥領域情報を書き換え、消去関係テーブル２２に記載された条件および泥消失領域情報に基づき水滴領域情報を書き換える。
そのため、水滴領域情報および泥領域情報のそれぞれを、泥検出部６２および水滴検出部６１のそれぞれの検出結果に基づき書き換えることができる。

（２）消去関係テーブル２２に記載される、水滴領域情報が書き換られる条件および泥領域情報が書き換られる条件には、少なくともカメラ２を搭載する車両１の速度が含まれる。
そのため、車両１の速度に応じて書き換え対象となる付着物領域を変更することができる。

（３）車載装置４は、カメラ２の撮影画像から物体を認識し物体が認識された領域をレンズの汚れが除去された領域とする汚れ除去情報を生成する画像認識部２０を備える。
そのため、画像認識部２０の認識結果を用いて、付着物領域情報を書き換えることができる。

（４）車載装置４は、付着物消去管理部１２が動作する条件を示す消去関係テーブル２２が格納されるテーブル記憶部、すなわち演算処理部４１を備える。消去関係テーブル２２には、カメラ２を搭載する車両１の速度が少なくとも含まれる。付着物消去管理部１２は、車両１の速度、および消去関係テーブル２２に基づき動作する。
そのため車載装置４は、車両１の速度、および消去関係テーブル２２に基づき、画像認識部２０の認識結果や付着物検出部６の検出結果を用いて付着物領域情報を書き換えることができる。

以上で説明した第２の実施の形態は、以下のように変形して実行できる。
（第２の実施の形態の変形例１）
車載装置４は、画像認識部２０、および画像認識領域記憶部２１を備えなくてもよい。この場合、第１の実施の形態との相違点は、付着物消去管理部１２が、付着物検出部６の動作状態ではなく消去関係テーブル２２に基づいて、付着物領域記憶部７に格納される付着物領域情報を書き換える点である。同様に、車載装置４において、付着物消去監視部８を省略することができる。この場合、付着物消去管理部１２は、消去関係テーブル２２に基づいて、付着物領域記憶部７に記載されている付着物領域情報から、画像認識領域記憶部２１から入力された画像認識情報の領域を消去する。

（第２の実施の形態の変形例２）
付着物消去管理部１２は、消去関係テーブル２２の車速２２２の列を参照しなくてもよい。さらに付着物消去管理部１２は、消去関係テーブル２２の時間帯の列も参照しなくてもよい。これらの場合は、消去関係テーブル２２は付着物消去管理部１２から参照されない列を含まなくてもよい。

（第２の実施の形態の変形例３）
付着物検出部６、および画像認識部２０のそれぞれにおいて、検出結果の確からしさ、すなわち確度は異なる。さらにそれぞれの検出結果においても、画素ごとに確度は異なる。そこで、付着物検出部６、付着物消去監視部８、画像認識部２０のそれぞれの出力に検出結果の確度を追加する。そして、付着物消去管理部１２が、付着物領域記憶部７に記憶された付着物情報を消去する際に、確度を考慮してもよい。
付着物検出部６の水滴検出部６１は、図７のステップＳ１８４において累積値がＴｈ３以上である画素を水滴領域としたが、その累積値を用いて確度を決定することができる。水滴検出部６１は、累積値の値が大きいほど確度を高く、すなわちより確からしい検出結果であると設定する。

付着物検出部６の泥検出部６２は、図８のステップＳ１９３において累積値がＴｈ５以上である画素を泥領域としたが、その累積値を用いて確度を決定することができる。泥検出部６２は、累積値が大きいほど確度を高く、すなわちより確からしい検出結果であると設定する。
付着物消去監視部８の水滴消去監視部８１は、ある画素の水滴が消失したと判断した際に、消去前にその画素に設定されていた確度を、その画素において水滴が消失した確度と設定する。泥消去監視部８２も同様に、ある画素の泥が消失したと判断した際に、消去前にその画素に設定されていた確度を、その画素において泥が消失した確度と設定する。

画像認識部２０の各検出部は、検出した画像認識領域に、その検出の確からしさを確度情報として付与し、画像認識領域記憶部２１の各記憶部に記憶させ、これを付着物消去管理部１２に入力する。付着物消去管理部１２は、画像認識領域のそれぞれに確度に応じた正の重みを付与し、付着物消去領域のそれぞれに確度に応じた負の重みを付与する。そして付着物消去管理部１２は、重みの和が所定の値以下となった領域を抽出し、前述のように消去関係テーブル２２に基づき、抽出した領域を付着物領域記憶部７から消去する。

この変形例によれば、次の作用効果が得られる。
（１）汚れ除去情報には汚れが除去された確からしさを示す確度情報が領域ごとに付加されており、付着物消去管理部１２は、確度情報に基づき汚れ領域情報を書き換える。
そのため、確度を考慮して汚れ領域情報を書き換えることができる。

（第２の実施の形態の変形例４）
画像認識部２０はカメラ２の撮影画像から何らかの物体を検出できればよく、検出対象の種類や数は上記の構成に限定されない。たとえば画像認識部２０は歩行者検出部２０１のみを備えてもよいし、歩行者や車両以外に信号機やガードレールを検出する検出部を備えてもよい。

（第３の実施の形態）
図１２〜図１３を参照して、本発明に係る車載装置の第３の実施の形態を説明する。以下の説明では、第２の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第２の実施の形態と同じである。本実施の形態では、主に、特定の汚れの種類に限定せず付着物の消去点を検出する付着物検出部を備える点で、第２の実施の形態と異なる。
第３の実施の形態における車両１および車載装置４のハードウエア構成は第２の実施の形態と同様である。演算処理部４１のＲＯＭに格納されるプログラムが第２の実施の形態と異なる。

（制御ブロック）
図１２は、本発明の第３の実施の形態における車載装置４の制御ブロック図である。演算処理部４１は、付着物消去検出部２３と、付着物検出部６と、付着物領域記憶部７と、付着物消去監視部８と、付着物領域統合部９と、制御信号出力部１０と、付着物消去管理部１２とを備える。
第２の実施の形態における制御ブロック図との相違点は、画像認識部２０および画像認識領域記憶部２１が削除されている点と、付着物消去検出部２３が追加されている点と、付着物消去検出部２３の出力が付着物消去管理部１２に入力されている点である。なお図１２では車両監視部３と付着物検出制御部１１とを接続する線が省略されているが、第２の実施の形態と同様に車両監視部３の出力が付着物検出制御部１１に入力される。また付着物検出制御部１１が状態切替テーブル１７を備える点も第２の実施の形態と同様である。以下では、これらの相違点を説明する。

付着物消去検出部２３は、カメラ２から入力される撮影画像から付着物が除去された領域を検出する。付着物消去検出部２３はたとえば、カメラ２から入力される撮影画像の時間変化を利用して付着物が除去された領域（以下、付着物消去検出領域）を検出し、その領域を示す付着物消去検出領域情報を付着物消去管理部１２に出力する。

付着物消去管理部１２は、車両監視部３から入力される車両１の動作状況と消去関係テーブル２２を参照し、付着物消去監視部８から入力される付着物消去領域情報と付着物消去検出部２３から入力される付着物消去検出領域情報に基づき付着物領域記憶部７の水滴領域および泥領域を書き換える。すなわち、本実施の形態では付着物消去領域情報と付着物消去検出領域情報とが汚れ除去情報である。
付着物消去管理部１２が参照する消去関係テーブル２２において、付着物消去検出部２３の消去領域反映対象２２４は、水滴検出と泥検出の両方に設定される。すなわち、付着物消去検出部２３が出力する付着物消去検出領域情報に基づき、水滴領域情報と泥領域情報の両方が書き換えられる。

（付着物消去検出部２３のフローチャート）
図１３は、付着物消去検出部２３の動作を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部４１のＣＰＵである。ステップ２４１では、ＣＰＵは、カメラ２が出力した撮影画像を長時間蓄積して変化のない領域を付着物が付着していると推定し無変化領域として抽出する。なお、本ステップの処理は、カメラ２のレンズへの付着物を検出することを目的とした処理であり、付着物検出部６の処理結果を用いることもできる。

続くステップ２４２では、ＣＰＵは、カメラ２が出力した連続する２枚の撮影画像の画素ごとの差分、たとえば輝度差を評価する。ＣＰＵは、差分があらかじめ定めた閾値よりも大きな画素の集合を瞬時変化領域として抽出する。本ステップにおける瞬時変化領域の抽出は以下のことを意図している。すなわち、カメラ２の撮影周期が十分短ければ、連続する２枚の撮影画像にはほとんど変化がないため、通常、ステップ２４２の処理で差分領域は抽出されない。しかし、カメラ２のレンズに付着物が付着した瞬間、または付着物が除去された瞬間には、付着物が付着した位置に大きな変化が生じ、その領域が瞬時変化領域として抽出される。
続くステップ２４３では、ＣＰＵは、ステップ２４２において抽出された瞬時変化領域に含まれ、かつステップ２４１において無変化領域として抽出されていた領域を付着物消去検出領域として出力する。

上述した第３の実施の形態によれば、第１の実施の形態の（１）〜（５）の作用効果、および第２の実施の形態の（１）、（２）、（４）の作用効果に加えて次の作用効果が得られる。
（１）車載装置４は、撮影画像から、長時間変化のない無変化領域と、カメラ２が連続して撮影することにより得られた２枚の撮影画像において輝度差が予め定めた値より大きい瞬時変化領域とを検出し、瞬時変化領域のうち無変化領域に含まれる領域を、レンズの汚れが除去された領域とする汚れ除去情報を生成する瞬間変化検出部、すなわち付着物消去検出部２３を備える。
そのため、動作が簡便な付着物消去検出部２３の出力を用いて、付着物領域情報を書き換えることができる。

以上で説明した第３の実施の形態は、以下のように変形して実行できる。
（第３の実施の形態の変形例１）
第３の実施の形態では、付着物消去検出部２３は付着物が除去された領域を検出した。換言すると、最新の撮影画像において付着物が検出されない領域であって、さらに従前の撮影画像においては付着物が検出されていた領域を検出した。しかし、従前の付着物の有無を考慮せず、付着物が検出されない領域（以下、非付着物領域）を検出してもよい。付着物消去検出部２３による非付着物領域の検出は、たとえば、カメラ２から出力される撮影画像が車両の走行に応じて変化することを利用して検出することができる。

図１４は、本変形例における付着物消去検出部２３の動作を表すフローチャートである。以下に説明するフローチャートの各ステップの実行主体は、演算処理部４１のＣＰＵである。ステップ２５１では、ＣＰＵはカメラ２が出力した撮影画像を一定時間蓄積する。続くステップ２５２では、ＣＰＵはステップ２５１で蓄積した連続する複数枚の撮影画像のそれぞれを複数の領域に分割し、その領域ごとに輝度の分散値、すなわち時間的な輝度のばらつきの大きさを出力する。複数の領域とはたとえば、撮影画像を縦方向および横方向にそれぞれ１０等分した合計１００個の領域である。続くステップ２５３では、ＣＰＵはステップ２５２の出力を参照し、輝度の分散値があらかじめ定めた閾値Ｔｈ６以上となる領域を非付着物領域として出力する。付着物のない領域であれば車両１の走行に応じて撮影画像におけるその領域の輝度が変化するからである。

上述した変形例によれば、次の作用効果が得られる。
（１）車載装置４は、撮影画像から付着物のない領域を検出し、検出した領域に基づき汚れ除去情報を生成する非付着物検出部、すなわち付着物消去検出部２３を備える。
車載装置４は従前に付着物が存在していたか否かを判断しないため、より簡便に汚れ除去情報を生成することができる。

（第３の実施の形態の変形例２）
車載装置４は、第２の実施の形態における画像認識部２０と画像認識領域記憶部２１とを付着物消去検出部２３として備えてもよい。この場合は、画像認識部２０が撮影画像から検出した物体の領域、すなわち画像認識領域を非付着物領域として付着物消去管理部１２に出力する。画像認識領域を非付着物領域として出力する理由は、以下のとおりである。すなわち、画像認識領域は画像認識部２０によって物体が検出された領域なので、画像認識領域には付着物がないと推測できるからである。

（第４の実施の形態）
図１５〜図１６を参照して、本発明に係る車載装置の第４の実施の形態を説明する。以下の説明では、第２の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第２の実施の形態と同じである。本実施の形態では、主に、レンズが清掃された領域を付着物が消去された領域として扱う点で、第２の実施の形態と異なる。

第４の実施の形態における車載装置４のハードウエア構成は第２の実施の形態と同様である。演算処理部４１のＲＯＭに格納されるプログラムが第２の実施の形態と異なる。車両１のハードウエア構成は、第２の実施の形態における構成に加えて、カメラ２の撮影画像を利用するプログラム（以下、画像利用プログラム）、たとえば撮影画像から白線を検出し車両１を制御するプログラムを実行する不図示の装置を備える。

（制御ブロック）
図１５は、本発明の第４の実施の形態による車載装置４の制御ブロック図である。演算処理部４１はＲＯＭに格納されたプログラムをＣＰＵが実行することにより、レンズ清掃制御部２６と付着物検出部６と付着物領域記憶部７と付着物消去監視部８と付着物領域統合部９と制御信号出力部１０と付着物消去管理部１２として機能する。車両１は、カメラ２のレンズを清掃するレンズ清掃部２７を備える。レンズ清掃部２７は、レンズの付着物をこすり落とす（払拭する）ワイパー２７１と、レンズに洗浄液を吹きかけてレンズの付着物を洗い流すウォッシャー２７２とを備える。レンズ清掃部２７は、後述するレンズ清掃制御部２６の清掃動作指令に基づき動作する。

図１５に示す制御ブロック図の第２の実施の形態における制御ブロック図との相違点は、以下の５つである。すなわち、車両１がレンズ清掃部２７を備える点、画像認識部２０および画像認識領域記憶部２１が削除されている点、車載装置４がレンズ清掃制御部２６を備える点、レンズ清掃制御部２６の出力が付着物消去管理部１２に入力されている点、および制御信号出力部１０の出力がレンズ清掃制御部２６に入力されている点である。なお図１５では車両監視部３と付着物検出制御部１１とを接続する線が省略されているが、第２の実施の形態と同様に車両監視部３の出力が付着物検出制御部１１に入力される。また付着物検出制御部１１が状態切替テーブル１７を備える点も第２の実施の形態と同様である。以下、これらの相違点について説明する。

制御信号出力部１０は、付着物領域統合部９から入力された統合付着物領域に基づき、カメラ２の撮影画像が前述の画像利用プログラムに適合するか否かを判断する。制御信号出力部１０は、撮影画像が画像利用プログラムに適合しないと判断すると、レンズ清掃制御部２６に制御動作指令を出力する。
制御信号出力部１０による撮影画像が画像利用プログラムに適合するか否かの判断は、たとえば、統合付着物領域が撮影画像に占める面積の割合や、統合付着物領域の撮影画像中の位置に基づいてなされる。制御信号出力部１０がレンズ清掃制御部２６に出力する制御動作指令は、常にワイパー２７１とウォッシャー２７２の両方を動作させる制御動作指令でもよいし、統合付着物領域に基づきワイパー２７１やウォッシャー２７２の一方のみを動作させる制御動作指令でもよい。

また制御信号出力部１０は、カメラ２のレンズの付着物の種類に応じて作動させるレンズ清掃部２７の機能を切り替えてもよい。たとえば制御信号出力部１０は、水滴が付着していると判断する場合にはワイパー２７１を動作させる制御動作指令を出力する。また制御信号出力部１０は、泥が付着していると判断する場合にはワイパー２７１に加えて泥を浮かすためにウォッシャー２７２を作動させる制御動作指令を出力する。

レンズ清掃制御部２６は、制御信号出力部１０から制御動作指令を受信すると、レンズ清掃部２７に清掃動作指令を出力するとともに、付着物消去管理部１２に清掃領域情報を出力する。清掃領域情報とは、レンズ清掃部２７がカメラ２のレンズを清掃することにより付着物が除去される撮影画像上の領域（以下、清掃領域）を示す情報である。たとえばワイパー２７１が動作する場合はワイパー２７１が付着物をこすり落とす領域が清掃領域となり、ウォッシャー２７２が動作する場合は撮影画像の全域が清掃領域となる。

図１６は、ワイパー２７１が動作する場合の清掃領域の一例を示す図である。清掃領域２８は、撮影画像を格子状に区切った検出面１３３において、ワイパー２７１が動作する領域である。図１５に戻りレンズ清掃制御部２６の説明を続ける。
清掃領域情報は、レンズ清掃制御部２６にあらかじめ記憶されている。レンズ清掃制御部２６が出力する清掃動作指令および清掃領域情報は、受信する制御動作指令に対応するものである。たとえば、ワイパー２７１のみを動作させる制御動作指令を受信すると、ワイパー２７１のみを動作させる清掃動作指令およびワイパー２７１のみが作動した場合の清掃領域情報を出力する。

付着物消去管理部１２は、車両監視部３から入力される車両１の動作状況と消去関係テーブル２２を参照し、付着物消去監視部８から入力される付着物消去領域情報とレンズ清掃制御部２６から入力される清掃領域情報に基づき付着物領域記憶部７の水滴領域および泥領域を書き換える。すなわち、本実施の形態では付着物消去領域情報と清掃領域情報とが汚れ除去情報である。

付着物消去管理部１２が参照する消去関係テーブル２２には、レンズ清掃制御部２６が制御するレンズ清掃部２７の機能ごとに消去領域反映対象２２４が記載される。たとえば、ワイパー２７１は、水滴を払い落とすことができるがレンズが濡れていなければ泥を取り除くことは難しいため、消去関係テーブル２２におけるワイパー２７１の消去領域反映対象２２４は原則として水滴検出のみである。また、ウォッシャー２７２は、水滴と泥を洗い流すことができるため、ウォッシャー２７２の消去領域反映対象２２４は水滴検出および泥検出である。

またレンズ清掃制御部２６は、カメラ２のレンズの付着物の種類に応じて、作動させるレンズ清掃部２７の機能を切り替えることが好ましい。たとえば、水滴が付着している場合にはワイパー２７１を作動させ、泥が付着している場合にはウォッシャー２７２およびワイパー２７１を作動させる。この場合、制御信号出力部１０が、付着物領域統合部９から入力される統合付着物領域に基づいて、カメラ２のレンズの付着物の程度と種類をレンズ清掃制御部２６に入力する。

上述した第４の実施の形態によれば、第１の実施の形態の（１）〜（５）の作用効果、および第２の実施の形態の（１）、（２）、（４）の作用効果に加えて次の作用効果が得られる。
（１）車載装置４は、レンズ清掃部２７の清掃動作に基づき、清掃動作の対象範囲が汚れが除去された領域として汚れ除去情報を生成するレンズ清掃制御部２６を備える。
そのため、車載装置４はレンズ清掃部２７へ動作指令を出力するとともに、動作指令により動作するワイパー２７１または／およびウォッシャー２７２により清掃される領域を汚れが除去された領域とする汚れ除去情報を生成できる。

以上で説明した第４の実施の形態は、以下のように変形して実行できる。
（第４の実施の形態の変形例１）
レンズ清掃制御部２６は、付着物が実際に除去されていることを確認できないため、レンズ清掃部２７が稼働しても付着物清掃領域に付着物が残留している可能性がある。そのため、レンズ清掃制御部２６は、付着物清掃領域を付着物消去管理部１２に入力しなくてもよい。その代わりにレンズ清掃制御部２６は、レンズ清掃部２７を作動させる前後で付着物消去監視部８の実行間隔を短くする、すなわち処理を高速化させることで、レンズ清掃部２７の動作による付着物の除去が確実に検出されるようにする。もしくは、レンズ清掃制御部２６は、レンズ清掃部２７を動作させた時のみ付着物消去監視部８を動作させることで、付着物消去監視部８の処理による演算処理部４１の負荷を低減してもよい。ただしレンズ清掃部２７を動作させた時のみ付着物消去監視部８を動作させる場合は、レンズ清掃部２７の動作に起因せず付着物が除去されたことを検出し逃してしまうため、カメラ２のレンズの付着物が自然に除去されない状況下で適用することが好ましい。

（第４の実施の形態の変形例２）
第４の実施の形態の変形例１において、レンズ清掃制御部２６は、動作させるレンズ清掃部２７の機能に応じて付着物消去監視部８の各監視部のいずれかを動作させるか、またはいずれの動作を高速化させるか、が定められたテーブルを備えてもよい。このテーブルでは、ワイパー２７１の動作には水滴消去監視部８１が対応し、ウォッシャー２７２の動作には水滴消去監視部８１および泥消去監視部８２が対応する。たとえば、ワイパー２７１を動作させる場合は水滴が除去されるため、水滴消去監視部８１を動作させる、または水滴消去監視部８１の動作を高速化させる。

（第４の実施の形態の変形例３）
車両１は不図示の手動スイッチをさらに備え、乗員による手動スイッチの操作に基づき制御動作指令がレンズ清掃制御部２６に出力されてもよい。
以上で説明した第１〜第４の実施の形態は、以下のように変形して実行できる。

（変形例１）
付着物検出部６は、水滴検出部６１と泥検出部６２とから構成されたが、他の種類の汚れを検出する検出部、たとえば白濁検出部をさらに備えてもよい。また、第１の実施の形態では少なくともいずれか２つの汚れ検出部、たとえば水滴検出部６１と白濁検出部を備えればよく、第２〜第４の実施の形態では少なくとも１つの汚れ検出部を備えればよい。
白濁検出部は、たとえば以下のように汚れの１つである白濁を検出する。

図１７を用いて白濁検出部の動作について説明する。図１７に示されるように、白濁検出部は、撮影画像中に地平線が写り込む予定の位置に左上検知領域９４１と上検知領域９４２と右上検知領域９４３とを設定する。上検知領域９４２は、路面に互いに平行に設けられた２本のレーンマークの消失点が含まれるような位置に設定される。図１７では、２本のレーンマーク９４６の消失点９４７が上検知領域９４２の内側に含まれている。左上検知領域９４１は上検知領域９４２よりも左側に設定され、右上検知領域９４３は上検知領域９４２よりも右側に設定される。また、白濁検出部は、撮影画像中にレーンマークが写る予定の位置に左下検知領域９４４と右下検知領域９４５とを設定する。

白濁検出部は、左上検知領域９４１と上検知領域９４２と右上検知領域９４３と左下検知領域９４４と右下検知領域９４５のそれぞれの領域内の画素に対して、水平方向のエッジ検出処理を行う。左上検知領域９４１と上検知領域９４２と右上検知領域９４３に対するエッジ検出では、地平線などのエッジが検出される。また、左下検知領域９４４と右下検知領域９４５とに対するエッジ検出では、レーンマーク９４６などのエッジが検出される。白濁検出部は、各検知領域９４１〜９４５に含まれる各画素についてそれぞれエッジ強度を算出する。そして、白濁検出部は、各検知領域９４１〜９４５ごとにエッジ強度の平均値ＡＥ２を算出して、その平均値ＡＥ２が所定の閾値ε未満か否かを判定する。白濁検出部は、エッジ強度の平均値ＡＥ２が閾値ε未満の検知領域は白濁していると判断する。

さらに白濁検出部は、以下のように白濁の確からしさ、すなわち確度を算出できる。
白濁検出部は、各検知領域９４１〜９４５の中でエッジ強度の平均値ＡＥ２が閾値ε未満の検知領域の個数、すなわち白濁していると検知された検知領域の個数Ｎ２を算出する。その後、白濁検出部は、各検知領域９４１〜９４５が白濁していると継続的に判断された時間ｔ２を算出する。そして、白濁検出部は、各検知領域９４１〜９４５の時間ｔ２の総和を検知領域の個数、すなわち、５個で除して平均継続時間ｔ３を算出する。白濁検出部は、この平均継続時間ｔ３を、白濁検出部の検知結果の確度Ｒ２に変換する。たとえば、白濁検出部は、ある所定期間ＴＴＨＲ３をあらかじめ設定して、Ｒ２＝ｔ３／ＴＴＨＲ３を算出する。確度Ｒ２は、白濁の平均継続時間ｔ３が長ければ長いほど、確度が高く白濁していることを表す。また、ｔ３自体が５個の検知領域９４１〜９４５の平均白濁継続時間であるため、５個の検知領域９４１〜９４５の全ての継続時間が長くなるほど、白濁の確度も上がる。確度Ｒ２は、０から１の数値で表現し、ＴＴＨＲ３＜ｔ３の場合には、全て１として表現し、確度が高く白濁している様子を示す数値とする。

（変形例２）
水滴検出部６１は、以下のように水滴を検出してもよい。
図１８（ａ）および（ｂ）を用いて水滴検出部６１の動作について説明する。図１８（ａ）に示されるように、水滴検出部６１は、撮影画像９３０の画像領域を複数のブロックＢ（ｘ，ｙ）に分割する。各ブロックＢ（ｘ，ｙ）には、撮影画像の複数の画素が含まれている。

水滴検出部６１は、各ブロックＢ（ｘ，ｙ）ごとに水滴の付着時間を表すスコアＳ１（ｘ，ｙ）を算出する。スコアＳ１（ｘ，ｙ）は、初期値がゼロであって、以下に説明する判定によりそのブロックＢ（ｘ，ｙ）内に水滴が付着していると判定されるたびに所定値増加される。

水滴検出部６１による各画素ごとのスコア計算は以下のとおりである。図１８（ｂ）は、任意の画素９３１を着目点とした図である。水滴検出部６１は、その着目点９３１から上方向、右上方向、右下方向、左上方向、左下方向にそれぞれ所定距離、たとえば３画素離れた画素を内部参照点９３２に設定して、それらの５方向にさらに所定距離、たとえば３画素離れた画素を外部参照点９３３に設定する。次に、水滴検出部６１は、各内部参照点９３２と各外部参照点９３３のそれぞれについて、輝度を算出する。

水滴の中心部は、縁部よりもレンズ効果で明るい可能性が高い。そこで、水滴検出部６１は、５方向の各々について、内部参照点９３２の輝度が外部参照点９３３の輝度よりも高いか否かを判定する。換言すると、水滴検出部６１は、着目点９３１が水滴の中心部であるか否かを判定する。水滴検出部６１は、各方向の内部参照点９３２の輝度が同方向の外部参照点９３３の輝度よりも高い場合、その着目点９３１が属するＢ（ｘ，ｙ）のスコアＳ１（ｘ，ｙ）を所定値、たとえば、１だけ増加させる。
水滴検出部６１は、スコアＳ１（ｘ，ｙ）が所定値以上のブロックを水滴が検出された領域と判断する。水滴検出部６１はさらに、以下のように水滴検出の確度を算出することができる。

水滴検出部６１は、撮影画像中の全画素について上述の判定を行った後、各ブロックＢ（ｘ，ｙ）のスコアＳ１（ｘ，ｙ）を初期化してからの経過時間ｔ１を算出する。そして、水滴検出部６１は、各ブロックＢ（ｘ，ｙ）のスコアＳ１（ｘ，ｙ）をその経過時間ｔ１で除して、スコアＳ１（ｘ，ｙ）の時間平均Ｓ１（ｘ，ｙ）／ｔ１を算出する。水滴検出部６１は、全ブロックＢ（ｘ，ｙ）の時間平均Ｓ１（ｘ，ｙ）／ｔ１の総和を算出して、それを撮影画像９３０中の全ブロック数で除してスコア平均ＡＳ１を算出する。

レンズに水滴が継続的に付着していると、フレームごとにスコア平均ＡＳ１が増加する。換言すると、スコア平均ＡＳ１が大きい場合、レンズに水滴が長時間付着している確率が高い。水滴検出部６１は、このスコア平均ＡＳ１を利用して、水滴検出部６１の検知結果の確度Ｒ１を生成する。水滴の場合には、雨が付着し易いような走行状況においてもレンズ上の水が流れ落ちる等の影響によりスコアＳ１（ｘ，ｙ）の上下変動が見受けられる。このため、現在のレンズ上の水滴の付着量はスコア平均ＡＳ１を利用する。確度Ｒ１については、雨滴の場合には、泥や白濁の場合と違い、どうしてもレンズ状態の変化が激しく、雨天であったとしても一時的にスコアＳ１（ｘ，ｙ）が低下することがある。そこで、スコア平均ＡＳ１がある一定値ＴＡＳ１を超えていた時間のカウントＣＳ１を利用する。水滴検出部６１は、ある所定期間スコア平均ＡＳ１が一定値ＴＡＳ１を下回ったとしても時間のカウントＣＳ１を保留し、所定期間以上に下回った際には、スコアＳ１（ｘ，ｙ）を減算させる。水滴検出部６１は、閾値ＡＳ１ＴＨＲを決定し、確度Ｒ１＝ＣＳ１／ＡＳ１ＴＨＲを算出する。水滴検出部６１は、時間のカウントＣＳ１がＡＳ１ＴＨＲを超えた場合には確度Ｒ１を１で表現する。確度Ｒ１が１に近いほど、検知された水滴の付着が信頼できる。

（変形例３）
泥検出部６２は、以下のように泥を検出してもよい。
泥検出部６２は、前述の図１８（ａ）に示されるように、撮影画像９３０の画像領域を複数のブロックＢ（ｘ，ｙ）に分割する。泥検出部６２は、以下のように各ブロックＢ（ｘ，ｙ）ごとに初期値がゼロであるスコアＳ４（ｘ，ｙ）の値を算出する。

次に、泥検出部６２は、撮影画像９３０の各画素の輝度を検出する。そして、泥検出部６２は、各ブロックＢ（ｘ，ｙ）ごとにそのブロックＢ（ｘ，ｙ）に含まれる各画素の輝度の総和Ｉ_ｔ（ｘ，ｙ）を算出する。泥検出部６２は、現フレームの撮影画像について算出したＩ_ｔ（ｘ，ｙ）と前フレームの撮影画像について同様に算出したＩ_ｔ−１（ｘ，ｙ）との差ΔＩ（ｘ，ｙ）を各ブロックＢ（ｘ，ｙ）ごとに算出する。

泥検出部６２は、このΔＩ（ｘ，ｙ）が小さく、更にＩ_ｔ（ｘ，ｙ）が周囲のブロックと比較して小さなブロックＢ（ｘ，ｙ）を検出して、そのブロックＢ（ｘ，ｙ）に対応するスコアＳ４（ｘ，ｙ）を所定値、たとえば、１増加させる。
泥検出部６２は、スコアＳ４（ｘ，ｙ）が所定値以上のブロックを泥が検出された領域と判断する。泥検出部６２はさらに、以下のように泥検出の確度を算出することができる。

泥検出部６２は、撮影画像中の全画素について上述の判定を行った後、各ブロックＢ（ｘ，ｙ）のスコアＳ４（ｘ，ｙ）のある所定期間ｔ５の間におけるスコア積算値を取得する。そして、泥検出部６２は、各ブロックＢ（ｘ，ｙ）のスコアＳ４（ｘ，ｙ）を、その所定期間ｔ５で除して、スコアＳ４（ｘ，ｙ）の時間平均Ｓ４（ｘ，ｙ）／ｔ５を算出する。泥検出部６２は、全ブロックＢ（ｘ，ｙ）の時間平均Ｓ４（ｘ，ｙ）／ｔ５の総和を算出して、それを撮影画像９３０中の全ブロック数で除してスコア平均ＡＲ_Ｓ４を算出する。スコア平均ＡＲ_Ｓ４は、ある所定期間中にレンズに付着した泥の量に近い意味合いを持つ。そのため、泥検出部６２は、ΔＩ（ｘ，ｙ）の所定期間ｔ５における平均値と、周囲の光源環境から予測した画面上での輝度変化量の予測値とを求め、Ａ_Ｓ４＝ΔＩ（ｘ，ｙ）の所定期間ｔ５における平均値／輝度変化量の予測値を求め、これを透過率とする。

レンズに泥が継続的に付着していると、順次に撮像されたフレームごとにスコア平均ＡＲ_Ｓ４が増加する。換言すると、スコア平均ＡＲ_Ｓ４が大きい場合、レンズに多くの泥が付着している確率が高い。また、確度としては、スコアＡ_Ｓ４が、閾値ＴＡ_Ｓ４より大きくなった時間を利用する。泥検出部６２は、閾値ＡＳ４ＴＨＲを決定し、確度Ｒ４＝ＴＡ_Ｓ４／ＡＳ４ＴＨＲを算出する。泥検出部６２は、ＴＡ_Ｓ４がＡＳ４ＴＨＲを超えた場合には確度Ｒ４を１で表現する。確度Ｒ４が１に近いほど、検知された泥の付着が信頼できる。

（変形例４）
車両１は、車両の走行を制御する車両制御部をさらに備えてもよい。たとえば、車両操作部は、車両のアクセルやブレーキ、ハンドルの角度を制御する機能などを有する。そして制御信号出力部１０は、付着物領域統合部９から入力された統合付着物領域に基づいて制御信号を生成し、車両操作部に入力する。たとえば、統合付着物領域が撮影画像における所定の割合に相当する面積よりも大きい場合には、カメラ２の撮影画像を用いた周囲環境の認識性能が低いと判断し、車速が一定以下になるように、もしくは停車するようにアクセルやブレーキを制御する。

（変形例５）
車載装置４は、カメラ２の撮影画像を用いてレーンマークや歩行者などの物体を検出する画像処理を行う物体認識部を備え、制御信号出力部１０が以下に示す付加的な処理を行ってもよい。
撮影画像においてカメラ２のレンズの付着物が映る付着物領域は被写体を隠すため、付着物領域では物体検出が正しく行えない。そこで、制御信号出力部１０が付着物領域統合部９から入力された統合付着物領域をマスク画像として生成し、物体認識部に入力する。物体認識部は入力されたマスク画像が示す統合付着物領域をカメラ２の撮影画像から除外し、レーンマークや歩行者などの物体を検出するための画像処理を行う。

もしくは制御信号出力部１０は、付着物領域統合部９から入力された統合付着物領域に基づき、カメラ２の撮影画像が物体認識部の画像処理に対して十分な品質に満たないと判断した場合に、物体認識部にフェール信号を出力する。たとえば、制御信号出力部１０は、統合付着物領域の大きさが閾値を超えた場合にフェール信号を出力する。物体認識部はフェール信号を受けている間、画像処理を停止する。また、制御信号出力部１０は物体認識部の画像処理が停止していることを報知部５に伝達してもよい。

（変形例６）
付着物消去管理部１２は、付着物領域記憶部７に記憶された付着物領域情報から、汚れ除去情報が示す領域を消去する際に、次の条件を満たす場合に付着物領域をすべて削除するように付着物領域情報を書き換えてもよい。すなわち、汚れ除去情報が示す領域が付着物領域の所定の割合以上の面積の場合、たとえば汚れ除去情報が示す領域が付着物領域の８０％以上の場合である。

本変形例によれば次の作用効果が得られる。
（１）書換え部、すなわち付着物消去管理部１２は、汚れ除去情報と汚れ領域情報との関係が所定の条件を満たすと、レンズの汚れがすべて除去されたとして付着物領域をすべて削除するように付着物領域情報を書き換える。そのため、付着物領域が疎らに点在する状況を防止することができる。

（変形例７）
上述したいずれの実施の形態でも、カメラ２のレンズへの付着物を対象としたが、カメラ２が車室内に設置される場合には、カメラ２の前方のウィンドウの付着物を対象としてもよい。この場合、レンズ清掃部２７は前方のウィンドウの付着物を除去する装置とする。

（変形例８）
第２〜第４の実施の形態では付着物検出制御部１１を備えなくてもよい。その場合は、水滴検出部６１および泥検出部６２は常時稼働する。本変形例８によれば、水滴検出部６１および泥検出部６２が稼働中であっても水滴領域情報や泥領域情報を付着物消去管理部１２が書き換えて、統合付着物領域を迅速に更新できる利点を有する。

（変形例９）
車載装置４は、水滴検出部６１または泥検出部６２が付着物を検出しなかった領域の情報を付着物消去領域情報として付着物消去管理部１２に出力してもよい。具体的には、水滴検出部６１が付着物を検出しなかった領域、および泥検出部６２が付着物を検出しなかった領域、すなわち付着物領域記憶部７の各記憶部に記憶されない領域を付着物消去領域として付着物消去管理部１２に入力する。

（変形例１０）
車両監視部３の車速監視部３２は、不図示のＧＰＳ受信機から得られる位置情報、および不図示の地図情報から車両１が駐車場に居ると判断する場合は、車速をおおよそゼロとして出力してもよい。この場合は車両１が駐車場に侵入すると、車速がおおよそゼロとして付着物検出制御部１１に出力され、状態切り替えテーブル１７の記述に従って泥検出部６２の動作が停止される。

以上説明した本発明の実施の形態や変形例はあくまで例示に過ぎず、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。たとえば、第２の実施の形態に含まれる画像認識部２０や画像認識領域記憶部２１の機能を、第１の実施の形態にある車載装置４に組み込むことができる。

プログラムは不図示のＲＯＭに格納されるとしたが、車載装置４が不図示の入出力インタフェースを備え、入出力インタフェースと車載装置４が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、たとえば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。

１ … 車両
２ … カメラ
４ … 車載装置
６ … 付着物検出部
６１ … 水滴検出部
６２ … 泥検出部
７ … 付着物領域記憶部
７１ … 水滴領域記憶部
７２ … 泥領域記憶部
８ … 付着物消去監視部
８１ … 水滴消去監視部
８２ … 泥消去監視部
１１ … 付着物検出制御部
１２ … 付着物消去管理部
１７ … 状態切替テーブル
２０ … 画像認識部
２０１ … 歩行者検出部
２０２ … 車両検出部
２２ … 消去関係テーブル
２３ … 付着物消去検出部
２６ … レンズ清掃制御部
４１ … 演算処理部
４２ … 画像取得部

Claims (15)

1. レンズを備えるカメラで撮影された画像を取得する画像取得部と、
   記憶部と、
   前記画像取得部が取得した画像に基づき前記レンズの汚れを検出して前記画像における汚れが存在する領域を示す汚れ領域情報を前記記憶部に格納する汚れ検出部と、
   前記レンズの汚れが除去された領域を示す汚れ除去情報を生成する汚れ除去情報生成部と、
   前記汚れ除去情報に基づいて前記汚れ領域情報を書き換える書換え部と、を備える車載装置。
2. 請求項１に記載の車載装置において、
   前記汚れ検出部、および前記汚れ除去情報生成部は、それぞれ異なるアルゴリズムを用いる車載装置。
3. 請求項１に記載の車載装置において、
   前記汚れ除去情報生成部は、前記汚れ検出部により検出可能な汚れとは異なる種類の汚れを検出する異種汚れ検出部の検出結果に基づき前記汚れ除去情報を生成する車載装置。
4. 請求項３に記載の車載装置において、
   前記汚れ検出部は泥を検出し、前記異種汚れ検出部は水滴を検出する車載装置。
5. 請求項１に記載の車載装置において、
   前記汚れ検出部は、検出する汚れの種類が異なる第１汚れ検出部と第２汚れ検出部とを含み、
   前記第１汚れ検出部は検出した汚れを第1汚れ領域情報として前記記憶部に格納し、
   前記第２汚れ検出部は検出した汚れを第２汚れ領域情報として前記記憶部に格納し、
   前記第１汚れ領域情報に基づき第1汚れ除去情報を生成する第１監視部と、
   前記第２汚れ領域情報に基づき第２汚れ除去情報を生成する第２監視部と、
   前記第１汚れ領域情報が書き換られる条件および前記第２汚れ領域情報が書き換られる条件が記載された消去関係テーブルが格納されるテーブル記憶部と、をさらに備え、
   前記書換え部は、前記消去関係テーブルに記載された条件および前記第１汚れ除去情報に基づき前記第２汚れ領域情報を書き換え、前記消去関係テーブルに記載された条件および前記第２汚れ除去情報に基づき前記第１汚れ領域情報を書き換える車載装置。
6. 請求項５に記載の車載装置において、
   前記消去関係テーブルに記載される、前記第１汚れ領域情報が書き換られる条件および前記第２汚れ領域情報が書き換られる条件は、少なくとも前記カメラを搭載する車両の速度が含まれる車載装置。
7. 請求項１に記載の車載装置において、
   前記レンズの清掃動作に基づき、前記清掃動作の対象範囲が汚れが除去された領域として前記汚れ除去情報を生成するレンズ清掃制御部をさらに備える車載装置。
8. 請求項１に記載の車載装置において、
   前記画像から付着物のない領域を検出し、前記検出した領域に基づき前記汚れ除去情報を生成する非付着物検出部をさらに備える車載装置。
9. 請求項１に記載の車載装置において、
   前記画像から物体を認識し物体が認識された領域を前記レンズの汚れが除去された領域とする汚れ除去情報を生成する物体認識部をさらに備える車載装置。
10. 請求項１に記載の車載装置において、
    前記画像から、長時間変化のない無変化領域と、連続して得られた前記画像において輝度差が予め定められた値よりも大きい瞬時変化領域とを検出し、前記瞬時変化領域のうち前記無変化領域に含まれる領域を、前記レンズの汚れが除去された領域とする汚れ除去情報を生成する瞬時変化検出部をさらに備える車載装置。
11. 請求項１に記載の車載装置において、
    前記書換え部は、前記汚れ検出部が動作していない場合に前記汚れ除去情報に基づいて前記汚れ領域情報を書き換える車載装置。
12. 請求項１１に記載の車載装置において、
    前記カメラを搭載する車両の動作状態と前記汚れ検出部の動作の有無との対応を示す状態切替テーブルと、
    前記車両の動作状態および前記状態切替テーブルに基づき前記汚れ検出部を動作または停止させる動作切り替え部とをさらに備え、
    前記書換え部は、前記車両の動作状態および前記状態切替テーブルに基づき前記汚れ検出部の動作の有無を判断する車載装置。
13. 請求項１に記載の車載装置において、
    前記書換え部が動作する条件を示す消去関係テーブルが格納されるテーブル記憶部をさらに備え、
    前記消去関係テーブルには、前記カメラを搭載する車両の動作状況が少なくとも含まれ、
    前記書換え部は、前記車両の動作状況、および前記消去関係テーブルに基づき動作する車載装置。
14. 請求項１に記載の車載装置において、
    前記書換え部は、前記汚れ除去情報と前記汚れ領域情報との関係が所定の条件を満たすと、前記レンズの汚れがすべて除去されたとして前記汚れ領域情報を書き換える車載装置。
15. 請求項１に記載の車載装置において、
    前記汚れ除去情報には汚れが除去された確からしさを示す確度情報が領域ごとに付加されており、
    前記書換え部は、前記確度情報に基づき前記汚れ領域情報を書き換える車載装置。
    
    

Images