JP7210882B2 - 付着物検出装置および付着物検出方法 - Google Patents

Description

開示の実施形態は、付着物検出装置および付着物検出方法に関する。

従来、車両に搭載され、かかる車両周辺を撮像する車載カメラが知られている。車載カメラが撮像した映像は、たとえば運転者の視界補助のためにモニタ表示されたり、道路上の白線や車両への接近物などを検出するセンシングのために用いられたりする。

なお、車載カメラのレンズには、たとえば雨滴や雪片、埃、泥などの付着物が付着し、前述の視界補助やセンシングの妨げとなることがある。そこで、車載カメラのレンズへ向けて洗浄水や圧縮空気を噴射することで付着物を除去する技術が提案されている。かかる技術では、たとえば車載カメラの撮像画像を画像解析することによってレンズへの付着物を検出する（たとえば、特許文献１参照）。

特開２００１－１４１８３８号公報

しかしながら、上述した従来技術には、付着物の検出漏れを抑制するという点で、さらなる改善の余地がある。

たとえば、付着物が雨滴のような水滴である場合、水滴の見え方は、車両の移動によって変化する背景や水滴の厚みなどによって都度変化するため、安定的に検出することが難しく、検出漏れが生じるおそれがあった。

実施形態の一態様は、上記に鑑みてなされたものであって、付着物の検出漏れを抑制することができる付着物検出装置および付着物検出方法を提供することを目的とする。

実施形態の一態様に係る付着物検出装置は、検出部と、判定部とを備える。前記検出部は、撮像装置に付着した付着物の撮像画像中における位置を所定の第１条件に基づいて検出する。前記判定部は、時系列に並んだ前記撮像画像について複数回にわたって検出される前記位置に関する情報に基づいて当該位置における前記付着物の存否を判定する。また、前記判定部は、前記検出部によって前記位置が検出された場合に、前記第１条件よりも緩和された第２条件に基づいて前記検出部に前記位置を検出させる。

実施形態の一態様によれば、付着物の検出漏れを抑制することができる。

図１Ａは、従来技術に係る付着物検出方法の概要説明図である。 図１Ｂは、第１の実施形態に係る付着物検出方法の概要説明図である。 図２は、第１の実施形態に係る自動駐車システムのブロック図である。 図３は、ベクトルの算出方法を示す図である。 図４Ａは、代表値の算出方法の説明図（その１）である。 図４Ｂは、代表値の算出方法の説明図（その２）である。 図５Ａは、テンプレートの一例を示す図である。 図５Ｂは、マッチング処理の一例を示す図である。 図６は、検出エリアの抽出処理の一例を示す図である。 図７Ａは、検出部からの通知内容の一例を示す図である。 図７Ｂは、検出情報に含まれる検出エリアに関するデータ内容の一例を示す図である。 図７Ｃは、検出エリアの状態の説明図である。 図８Ａは、判定部の処理説明図（その１）である。 図８Ｂは、判定部の処理説明図（その２）である。 図８Ｃは、判定部の処理説明図（その３）である。 図８Ｄは、判定部の処理説明図（その４）である。 図９は、フィードバック後の検出部の処理説明図である。 図１０は、第１の実施形態に係る付着物検出装置が実行する処理手順を示すフローチャートである。 図１１Ａは、第１の実施形態に係る処理の流れを示す図である。 図１１Ｂは、第１の変形例に係る処理の流れを示す図である。 図１１Ｃは、第２の変形例に係る処理の流れを示す図である。 図１２は、第２の実施形態に係る付着物除去システムのブロック図である。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、自車の周囲を撮像するために車両に搭載された車載カメラに付着した水滴を、付着物として検出する場合を例に挙げて説明する。

また、以下では、第１の実施形態に係る付着物検出方法の概要について図１Ａおよび図１Ｂを用いて説明した後に、第１の実施形態に係る付着物検出方法を適用した付着物検出装置１０について、図２～図１１Ｃを用いて説明する。また、図１２を用いて、第２の実施形態に係る付着物除去システム１Ａについて説明する。

（第１の実施形態）
まず、本実施形態に係る付着物検出方法の概要について図１Ａおよび図１Ｂを用いて説明する。図１Ａは、従来技術に係る付着物検出方法の概要説明図である。また、図１Ｂは、本実施形態に係る付着物検出方法の概要説明図である。

車両には、自車の周辺を撮像するために、たとえばフロントカメラ、バックカメラ、右サイドカメラ、左サイドカメラなどの車載カメラが搭載される。なお、以下では、かかる車載カメラを「カメラ２」と記載する。

カメラ２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子によって車両周辺を撮像する。なお、カメラ２のレンズには魚眼レンズなどの広角レンズが採用され、カメラ２はそれぞれ１８０度以上の画角を有し、これらを利用することで車両の全周囲を撮像することが可能である。

そして、カメラ２によって撮像された画像は、車両に搭載された図示略の付着物検出装置へ出力される。

付着物検出装置は、カメラ２から取得した画像を１フレームごとに画像解析し、たとえばテンプレートマッチングなどの手法を用いることによって、画像中における付着物の存在エリアを検出する。

たとえば図１Ａに示すように、時間的に連続するフレームＦ１～Ｆ５の各画像があり、付着物検出装置は、フレームＦ１～Ｆ５のそれぞれにおいて、付着物が存在するエリアとして検出エリアＤａ－１を検出したものとする。かかる場合、付着物検出装置は、検出エリアＤａ－１が安定的に検出できていることから、容易に、検出エリアＤａ－１に付着物が付着していることを確定（以下、「付着確定」と言う場合がある）することができる。

ただし、付着物が水滴である場合、画像中の水滴の見え方は、車両の移動によって変化する背景や水滴の厚みなどによって都度変化するため、図１Ａに検出エリアＤａ－２として示すように、フレームによって検出されたり検出されなかったりと、検出が不安定になりやすい。すなわち、付着物検出装置は、検出エリアＤａ－２における付着物の「付着確定」を判定できずに、付着物の検出漏れが生じるおそれがある。

そこで、本実施形態に係る付着物検出方法では、あるフレームにおいて所定の条件に基づいて付着物が存在するとして検出された検出エリアを、時間的に後のフレームにおいても継承することとした。また、継承された検出エリアにおいては、付着物が存在する可能性が高いと推定されることから、上記所定の条件よりも緩和された条件で付着物の存否を判定することとした。

具体的には、図１Ｂに示すように、本実施形態に係る付着物検出方法では、たとえばフレームＦ１において所定の第１条件で検出エリアＤａ－２が検出された場合に（ステップＳ１）、直後のフレームＦ２に検出エリアＤａ－２を継承する（ステップＳ２）。

そして、本実施形態に係る付着物検出方法では、継承された検出エリアＤａ－２では、第１条件よりも緩和された第２条件で付着物の存否を判定する（ステップＳ３）。そして、かかるステップＳ３での判定の結果、フレームＦ２でも検出エリアＤａ－２には付着物が存在すると判定されたならば、かかるフレームＦ２の検出エリアＤａ－２はつづいてフレームＦ３でも継承され、以降、フレームＦ４，Ｆ５にも同様に引き継がれることとなる。

これにより、付着物が水滴などである場合の、検出の不安定さを解消することができる。したがって、本実施形態に係る付着物検出方法によれば、付着物の検出漏れを抑制することができる。

また、本実施形態に係る付着物検出方法によれば、一旦検出された検出エリアなどの検出結果を、後段の解析処理などにおいて有効に活用することができるので、システム全体の処理負荷を軽減できるとともに、処理速度の向上ならびに検出精度の向上を見込むことができる。

以下、上述した付着物検出方法を適用した付着物検出装置１０の実施形態について、さらに具体的に説明する。

図２は、本実施形態に係る自動駐車システム１のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

図２に示すように、自動駐車システム１は、カメラ２と、駐車制御装置３と、付着物検出装置１０とを含む。

カメラ２については既に述べたため、ここでの説明を省略する。駐車制御装置３は、カメラ２の撮像画像に基づき、たとえば駐車場内で空いている駐車スペースを認識した場合などに、車両を自動的に駐車制御する。また、駐車制御装置３は、判定部１１ｃが付着物の付着を確定させ、指示部１１ｄから付着物の位置が指示された場合に、安全のために車両の駐車制御を停止する。

付着物検出装置１０は、制御部１１と、記憶部１２とを備える。制御部１１は、取得部１１ａと、検出部１１ｂと、判定部１１ｃと、指示部１１ｄとを備える。検出部１１ｂは、抽出部１１ｂａと、除外部１１ｂｂとを含む。

記憶部１２は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスであって、テンプレート情報１２ａと、条件情報１２ｂと、検出情報１２ｃとを記憶する。

制御部１１は、付着物検出装置１０全体を制御する。取得部１１ａは、カメラ２から１フレーム分ずつカメラ画像を取得するとともに、画像解析に必要となる前処理を実行する。

取得部１１ａは、前処理として、たとえばカメラ画像をグレースケール化する。なお、グレースケール化とは、カメラ画像における各画素を輝度に応じて白から黒までの各階調で表現するように変換する処理である。かかるグレースケール化は、省略されてもよい。また、取得部１１ａは、他の前処理として、たとえばカメラ画像を所定のサイズへ変更する。また、取得部１１ａは、前処理されたカメラ画像を検出部１１ｂへ出力する。

検出部１１ｂは、所定の検出アルゴリズムに基づき、カメラ画像中において付着物の付着する検出エリアＤａを検出し、判定部１１ｃへ通知する。

抽出部１１ｂａは、上述の検出アルゴリズムを用いてカメラ画像の中から付着物が存在すると推定される検出エリアＤａを抽出し、抽出した検出エリアＤａを除外部１１ｂｂへ通知する。

ここで、抽出部１１ｂａが実行する検出アルゴリズムの一例について、具体的に図３～図６を用いて説明する。図３は、ベクトルの算出方法を示す図である。また、図４Ａおよび図４Ｂは、代表値の算出方法の説明図（その１）および（その２）である。

また、図５Ａは、テンプレートの一例を示す図である。また、図５Ｂは、マッチング処理の一例を示す図である。また、図６は、抽出処理の一例を示す図である。

抽出部１１ｂａは、取得部１１ａから入力されるカメラ画像にたとえばソベルフィルタを用いることで、カメラ画像における各画素のエッジ情報を抽出する。ここで、エッジ情報とは、各画素のＸ軸方向およびＹ軸方向におけるエッジ強度を指す。

なお、抽出部１１ｂａは、ソベルフィルタに代えて、たとえばラプラシアンフィルタなどの他のエッジ抽出法を用いることにしてもよい。

また、抽出部１１ｂａは、抽出した各画素のＸ軸方向およびＹ軸方向のエッジ強度に基づいて各画素のエッジのベクトルを算出する。具体的には、抽出部１１ｂａは、図３に示すように、Ｘ軸方向およびＹ軸方向のエッジ強度に基づき、三角関数を用いることで、各画素のベクトルを算出する。

なお、以下では、図３に示す算出したベクトルと、正方向側のＸ軸とのなす角度θを「エッジ向き」と言い、ベクトルの長さＬを各画素の「エッジ強度」と言う。

また、抽出部１１ｂａは、全ての画素についてエッジ向きを算出する必要はなく、優先度の低い領域については、所定間隔の画素ごとにエッジ向きを算出するなど、処理を簡略化することとしてもよい。

また、抽出部１１ｂａは、算出したエッジ向きをそれぞれ符号化する。たとえば、抽出部１１ｂａは、複数の画素におけるエッジの代表値を求め、かかる代表値を符号化する。具体的には、図４Ａに示すように、抽出部１１ｂａは、たとえば８×８ピクセルの画素単位を１つの「セル」として取り扱い、３×３セルの画素単位を１つの「ブロック」として取り扱う。また、１つのブロックの中央のセルを「注目セル」として取り扱う。

抽出部１１ｂａは、ブロックごとに各画素のエッジ向きおよびエッジ強度を示すヒストグラムを作成する。かかるヒストグラムについては、図４Ｂを用いて説明する。ここで、抽出部１１ｂａは、注目セルにおける中央の座標のエッジ向きをブロックにおけるヒストグラムから導出する。

そして、抽出部１１ｂａは、１つのブロックにおいて注目セルの代表値を導出すると、ブロックを１つのセル分ずらしてヒストグラムを作成し、かかるブロックにおける注目セルの代表値を算出していく。

つまり、抽出部１１ｂａでは、複数の画素ごとに代表値を算出することで、データ量を削減することができる。なお、図４Ａに示す例では、セルが８×８ピクセルであるため、データ量は１／６４に削減されることとなる。

なお、図４Ａに示したブロックおよびセルのピクセル数は一例であって、セルおよびブロックのピクセル数は、任意に設定することができる。この際、検出したい水滴の大きさに応じて各セルのピクセル数を変更することもできる。

たとえば、小さい水滴を検出したい場合、セルのピクセル数を少なく設定し、大きい水滴を検出したい場合は、セルのピクセル数を多く設定する。これにより、検出したい大きさの水滴を効率よく検出することができる。

また、抽出部１１ｂａは、単にセルごとにヒストグラムを作成し、かかるヒストグラムに基づいて各セルの代表値を算出することにしてもよい。なお、抽出部１１ｂａは、代表値を算出せず、全ての画素を符号化することにしてもよい。

次に、図４Ｂを用いてヒストグラムについて説明する。なお、図４Ｂでは、縦軸にエッジ強度を示し、横軸にエッジ向きの階級を示す。図４Ｂに示すように、抽出部１１ｂａは、たとえば、エッジ向きを２０°ごとに１８段階の各階級に割り当ててヒストグラムを作成する。

具体的には、抽出部１１ｂａは、ブロック内の各画素のエッジ強度をエッジ向きに対応する階級に加算していくことで、ブロックにおけるヒストグラムを作成する。つづいて、抽出部１１ｂａは、作成したヒストグラムからエッジ強度の和が最大となる階級を求める。

図４Ｂに示す例では、８０～１００°の階級が最大の値をとる場合を示している。このとき、抽出部１１ｂａは、かかる階級においてエッジ強度の和が閾値以上である場合に、かかる階級を代表値とする。

図４Ｂに示す例では、８０～１００°の階級においてエッジ強度の和が閾値を超えているため、上記の条件を満たす。このため、かかるブロックにおける注目セルの階級は、８０～１００°となる。

つづいて、抽出部１１ｂａは、注目セルを階級に応じて割り当てられた符号に変換する。ここで、各階級には、たとえば０～９およびＡ～Ｈの１８種類の符号がそれぞれ割り当てられる。なお、０～９およびＡ～Ｈは、０°から３６０°まで２０度刻みの各階級に割り当てられる符号である。また、代表値が閾値を超えなかった場合、すなわち、エッジ強度が低いセルには、たとえばＺの符号が割り当てられる。

このようにして、抽出部１１ｂａは、全てのセルについて符号化を行う。これにより、符号化されたカメラ画像において、各符号が格子状に配列されることとなる。なお、抽出部１１ｂａは、上記した代表値を算出する以外に、他の統計学的な算出方法を用いて代表値を算出することにしてもよい。

また、図４Ｂでは、エッジ向きを１８段階に分類する場合について説明したが、これに限られず、１８段階より少なくする、あるいは、多くすることにしてもよい。また、図４Ｂでは、符号がＡ～ＨおよびＺである場合を示したが、符号として、平仮名や数字など、他の文字、または図形等を用いることにしてもよい。

つづいて、抽出部１１ｂａは、符号化されたカメラ画像と水滴の特徴を示す符号パターンとの正規表現を用いたマッチング処理を行う。ここで、正規表現とは、符号列の集合を一つの符号で表したものである。

水滴の特徴を示す符号パターンであるテンプレートは、記憶部１２にテンプレート情報１２ａとして記憶される。かかるテンプレートの一例を図５Ａに示す。なお、図５Ａでは、視覚的に分かりやすくするために、テンプレートを上記した符号ではなく、ピン状の記号を用いて実際のエッジ向きを模式的に図示している。

図５Ａに示すように、テンプレート情報１２ａは、テンプレートとして水滴の特徴を示す符号列である符号パターンを有する。具体的には、たとえば、上辺パターン、下辺パターン、左辺パターン、右辺パターンを有する。

ここで、図５Ａに示す各辺のパターンは、水滴を内側に含むまたは水滴の内側に含まれる矩形の各辺に対応する。ここで、「水滴を内側に含む」とは、矩形に水滴が内接する場合を含む。また、「水滴の内側に含まれる」とは、矩形が水滴に内接する場合を含む。なお、本実施形態では、「矩形」は正方形を含む。また、図５Ａでは、各辺のパターンのエッジ向きが、それぞれ中央に向かう場合について示している。この場合、水滴の輝度が端部から中央に向けて大きくなる、すなわち、中央が明るく端部が暗い水滴の特徴を示す。

なお、テンプレート情報１２ａは、これとは逆に、水滴の輝度が中央から端部に向けて大きくなる、すなわち、中央が暗く端部が明るい水滴の特徴を示す各辺のパターンを備えていてもよい。このようにすることで、多様な水滴を検出することが可能となる。

なお、同図では、上下左右の４方のパターンを例示したが、斜め方向を含むパターンを用いることもできる。このようにすることで、水滴の検出精度を向上させることができる。

抽出部１１ｂａは、かかる各辺のパターンを用いたマッチング処理の一例を図５Ｂに示す。なお、ここでは、説明の便宜上、図５Ａに示した上辺パターンをそれぞれＡ～Ｆの符号を用いて示している。また、同図のａおよびｂには、符号化されたカメラ画像の一部を模式的に示している。

図５Ｂのａに示すように、抽出部１１ｂａは、符号パターンがＡ～Ｆの順に順序良く並んでいれば、かかる符号パターンを上辺パターンと一致すると判定する。

具体的には、抽出部１１ｂａは、図５Ｂのａに示すように、たとえば、Ａが３回、Ｂ、Ｃ、ＤおよびＥがそれぞれ２回、そして、Ｆが３回、のように繰り返される配列を上辺パターンの各符号の配列順序を満たせば、上辺パターンとして抽出することにしている。

これは、水滴の大きさに応じて符号の繰り返し回数が異なるためである。すなわち、水滴が大きいほど、各符号列の長さが長くなるためである。このように、かかる符号の繰り返しを許容することで、１回のマッチング処理で、大きさが異なる複数の水滴を示す符号列を抽出することができる。

したがって、処理負荷を軽減しつつ、水滴を検出することができる。なお、抽出部１１ｂａは、水滴の大きさに応じて符号列の長さが異なる複数の各辺のパターンを用意し、全てのかかるパターンを用いて符号列を抽出することにしてもよい。

また、水滴は一般的に球状となるため、各符号の繰り返しの回数は、中心から線対称状となるはずである。このため、抽出部１１ｂａは、抽出した符号列の中で、バランスが悪い符号列を除外することにしている。

具体的には、図５Ｂのｂに示すように、抽出部１１ｂａは、たとえば、両端に位置するＡとＦとのバランスを精査する。ここで、同図では、Ａが３回繰り返され、Ｆが１０回繰り返される場合を示している。

このとき、抽出部１１ｂａは、ＡおよびＦの個数が２倍以上異なる場合に、配列順序を満たす場合であっても、かかる符号列パターンを除外することにしている。このようにすることで、水滴以外の不要な符号パターンの誤抽出を防ぐことができ、水滴の誤検出を抑えることができる。

また、抽出部１１ｂａでは、たとえば、抽出した符号列が閾値より長い場合、かかる符号列をマッチングから除外することもできる。これは、符号列が長い場合、水滴である可能性が低いためである。これにより、水滴の誤検出を抑えることができる。なお、かかる閾値は、統計等によって最適な値を予め導出しておくものとする。

次に、マッチング処理を経ての検出エリアＤａの抽出処理の一例を図６に示す。なお、図６では、図５Ａと同様に、符号に代えて実際のエッジ向きを模式的に図示している。

また、ここでは、マッチング処理によって最初に上辺パターンが抽出された場合について説明する。抽出部１１ｂａは、まず抽出された上辺パターンの幅に基づき、略正方形状の検出エリアＤａ１を設定する。

つづいて、検出エリアＤａ１から逸脱した位置に右辺パターンが抽出されたものとする。このとき、抽出部１１ｂａは、右辺パターンの検出エリアＤａ２の中心座標が検出エリアＤａ１内にあれば、双方の検出エリアＤａ１，Ｄａ２を統合する処理を行う。

その後、抽出部１１ｂａは、たとえば、統合した検出エリアＤａ３において、下辺パターンまたは左辺パターンが抽出された場合、水滴が存在すると推定されるエリアとして、検出エリアＤａ３を抽出する。換言すると、抽出部１１ｂａは、異なる３方向以上の各辺を示すパターンが抽出されることを検出条件（以下、「方向条件」と言う）として、水滴が存在すると推定される検出エリアＤａを抽出する。

なお、抽出部１１ｂａは、かかる方向条件以外に、たとえば、統合した検出エリアＤａ３において、各辺を示すパターンが所定回数（たとえば、上下左右を含めて４回）以上抽出されることを検出条件（以下、「回数条件」と言う）としてもよい。

このように、検出条件として、３方向以上の方向条件や回数条件とすることで、上下左右の全ての辺のパターンが抽出されなくとも、水滴が存在すると推定される検出エリアＤａを抽出することができる。すなわち、カメラ画像から見切れる、たとえば半円状の水滴を検出することが可能となる。なお、これら検出条件は、記憶部１２に条件情報１２ｂとして記憶される。

なお、図６では、上辺パターンの検出エリアＤａ１内に検出エリアＤａ２の中心座標が収まる場合に、検出エリアＤａを統合する場合について示したが、これに限定されるものではない。すなわち、検出エリアＤａ１および検出エリアＤａ２の少なくとも一部が重なっていれば双方を統合することにしてもよい。

また、統合した検出エリアＤａ３を、検出エリアＤａ１および検出エリアＤａ２の論理積とすることにしてもよいし、論理和とすることにしてもよい。また、図６では、検出エリアＤａ１および検出エリアＤａ２が矩形状である場合を示したが、これに限られず、円形状など他の形状とすることにしてもよい。

図２の説明に戻り、つづいて除外部１１ｂｂについて説明する。除外部１１ｂｂは、抽出部１１ｂａから通知される検出エリアＤａのそれぞれについて画像解析を行い、かかる検出エリアＤａに存在すると推定される付着物が本当に付着物であるか否かを判定する。

また、除外部１１ｂｂは、その判定結果により付着物であると判定される検出エリアＤａについては、かかる検出エリアＤａを判定部１１ｃへ通知する。一方、除外部１１ｂｂは、その判定結果により付着物でないと判定される検出エリアＤａについては、判定部１１ｃへの通知を行わず、後段の処理対象から除外する。すなわち、除外部１１ｂｂは、信頼度の低い検出エリアＤａを除外する。このように、無用の画像領域を除外することにより、付着物の検出の精度を高められるとともに、後段の処理負荷を軽減することができる。

たとえば、除外部１１ｂｂは、検出エリアＤａのエッジ強度、輝度および彩度のそれぞれにつき、「弱」、「中」、「強」の３階級で分類されたヒストグラムを生成する。そして、除外部１１ｂｂは、生成した各ヒストグラムにおける階級それぞれの度数の割合に基づいて付着物であるか否かを判定し、付着物でないと判定される検出エリアＤａを除外する。

判定部１１ｃは、検出部１１ｂの除外部１１ｂｂから通知された各検出エリアＤａのフレーム間にわたる状態遷移を管理するとともに、かかる状態遷移に応じて各検出エリアＤａにおける付着物の「付着確定」を判定する。

ここで、判定部１１ｃが実行する判定処理について、図７Ａ～図８Ｄを用いて具体的に説明する。図７Ａは、検出部１１ｂからの通知内容の一例を示す図である。また、図７Ｂは、検出情報１２ｃに含まれる検出エリアＤａに関するデータ内容の一例を示す図である。また、図７Ｃは、検出エリアＤａの状態の説明図である。また、図８Ａ～図８Ｄは、判定部１１ｃの処理説明図（その１）～（その４）である。

判定部１１ｃに通知される検出部１１ｂからの通知内容には、図７Ａに示すように、たとえば矩形で抽出された検出エリアＤａの左上座標（ｘ，ｙ）と、幅ｗと、高さｈとが含まれる。

判定部１１ｃは、現フレームにおいて付着物が存在するとして抽出された検出エリアＤａのすべてに対し、過去フレームで抽出済みである検出エリアＤａとの重なりの存否を判定する。また、判定部１１ｃは、その判定結果を各検出エリアＤａの「得点」および「状態」に反映する。反映結果は、検出情報１２ｃで管理される。

ここで、検出情報１２ｃは、図７Ｂに示すように、たとえば「検出エリアＩＤ」項目と、「エリア情報」項目と、「得点」項目と、「状態」項目と、「緩和」項目とを含む。「検出エリアＩＤ」項目には、検出エリアＤａの識別子が格納され、検出情報１２ｃは、かかる検出エリアＩＤごとに管理される。

「エリア情報」項目には、図７Ａで示した検出エリアＤａの左上座標（ｘ，ｙ）や、幅ｗ、高さｈなどが格納される。「得点」項目には、検出エリアＤａそれぞれの現状の得点が格納される。「状態」項目には、検出エリアＤａそれぞれの現状の状態（ステート）が格納される。

図７Ｃにステートマシン図として示すように、各検出エリアＤａは、「ＩＤＬＥ」、「潜伏」、「観察」、「ペナルティ」という４つの状態に遷移し得る。「ＩＤＬＥ」は、「未検出状態」、すなわち付着物が付着していない状態を指す。「潜伏」は、「付着物付着の可能性あり」の状態を指す。

「観察」は、車両が、たとえば圧縮空気やワイパなどによる付着物の除去が可能な付着物除去装置を備える場合に、かかる付着物除去装置による付着物の除去動作が行われた「除去処理後の観察状態」を指す。付着物除去装置については第２の実施形態で後述する。「ペナルティ」は、「除去処理後も当該エリアで付着物が検出され続けている状態」、すなわち、除去不良か誤検出の状態を指す。

判定部１１ｃは、フレーム間における検出エリアＤａの重なりの存否の判定結果に応じ、検出情報１２ｃ上で各検出エリアＤａの「得点」を更新し、「状態」を遷移させる。そして、判定部１１ｃは、検出情報１２ｃの検出エリアＤａの「状態」と「得点」に応じ、付着物の「付着確定」を判定する。より具体的には、図８Ａ～図８Ｄを用いた説明で後述する。

図７Ｂに戻り、つづいて「緩和」項目について説明する。「緩和」項目には、検出エリアＤａそれぞれの現状の検出条件を緩和すべきか否かを示すフラグ値が格納される。図７Ｂの例では、「緩和」項目にチェックマークの入った検出エリアＩＤ「ｘｘ２」の検出エリアＤａが、第１条件よりも緩和された第２条件（図１Ｂ参照）で抽出されるべきことを示している。上述した検出部１１ｂの抽出部１１ｂａは、かかる検出エリアＩＤ「ｘｘ２」の検出エリアＤａにつき、第１条件ではなく第２条件を用いて抽出することとなる。かかる点については、図９を用いた説明でも後述する。

つづいて、判定部１１ｃが実行する判定処理についてより具体的に説明する。上でも既に述べたが、図８Ａに示すように、判定部１１ｃは、現フレームにおいて付着物が存在するとして抽出された検出エリアＤａのすべてに対し、過去フレームで抽出済みである検出エリアＤａとの重なりの存否を判定する。

具体的には、図８Ｂに示すように、現フレームの検出エリアＤａ－Ｃのすべてと、過去フレームの検出エリアＤａ－Ｐのすべてとの重なりを判定する。たとえば検出エリアＤａ－Ｃと検出エリアＤａ－Ｐとの重なりは、それぞれの重心間の距離に基づいて判定される。

そして、図８Ｂに示すように、判定部１１ｃは、現フレームの検出エリアＤａ－Ｃと過去フレームの検出エリアＤａ－Ｐとの間に重なりがあると判定した場合に、検出エリアＤａ－Ｃおよび検出エリアＤａ－Ｐそれぞれの得点に加点する。

これにより、判定部１１ｃは、たとえば、フレームを隔ててなおレンズのほぼ同一の領域に存在する付着物を示すことができる。なお、加点は、たとえば得点に「＋２０」される。

一方、図８Ｃに示すように、判定部１１ｃは、過去フレームの検出エリアＤａ－Ｐにつき、現フレームの検出エリアＤａ－Ｃのいずれとも重なりが存在しないものについては、得点を減点する。なお、減点は、たとえば得点から「－１０」される。

また、判定部１１ｃは、現フレームの検出エリアＤａ－Ｃにつき、過去フレームの検出エリアＤａ－Ｐのいずれとも重なりが存在しないものについては、新規の検出エリアＤａであるとして、検出情報１２ｃへ新規登録する。

新規登録される検出エリアＤａは、図８Ｄに示すように、「潜伏」状態となり、所定の得点を付与される。そして、かかる「潜伏」状態から、前述の「加点」や「減点」を経ることで変化する検出エリアＤａの得点に応じ、判定部１１ｃは、検出エリアＤａの状態を遷移させる。

たとえば、図８Ｄに示すように、判定部１１ｃは、「潜伏」状態にある検出エリアＤａの得点が所定点以下となった場合、かかる検出エリアＤａの状態を「潜伏」から「ＩＤＬＥ」へ遷移させる（ステップＳ１１）。これにより、たとえば流れ落ちるなどして移動し、付着物として確定するまでもない雨滴等の付着物に対する誤反応を防止することができる。

また、「潜伏」状態にある検出エリアＤａの得点が所定点以上となった場合、判定部１１ｃは、当該エリアに対する付着物の付着を確定（付着確定）させる（ステップＳ１２）。なお、判定部１１ｃは、たとえば得点が「１００」点以上となった場合に、当該エリアを付着確定させる。

また、判定部１１ｃは、付着確定後、「潜伏」状態にあるすべての検出エリアＤａを「観察」状態へ遷移させる（ステップＳ１３）。これは、仮に１つの検出エリアＤａの付着確定に応じて前述の付着物除去装置による除去処理が行われた場合、付着確定されていなかった「潜伏」状態の他の検出エリアＤａについても、通常であれば付着物は除去されたと推定されるためである。

なお、判定部１１ｃは、付着物除去装置による除去処理が行われて「観察」状態にある検出エリアＤａの得点が所定点以上となった場合、検出エリアＤａを「ペナルティ」状態へ遷移させる（ステップＳ１４）。これにより、除去処理後も付着物が検出され続けている除去不良または誤検出を把握することができる。

また、判定部１１ｃは、「観察」状態または「ペナルティ」状態にある検出エリアＤａの得点が所定点以下となった場合、検出エリアＤａを「ＩＤＬＥ」状態へ遷移させる（ステップＳ１５）。

なお、図８Ｄにおいて「加点」および「減点」を示している矢印の傾きを調整することによって、付着確定までの反応速度を制御してもよい。たとえば加点量および減点量を大きくして上記矢印の傾きを急にすることによって、付着確定までの反応速度を上げることができる。

また、判定部１１ｃは、付着確定がなされた検出エリアＤａがあった場合に、指示部１１ｄに、かかる検出エリアＤａの位置を駐車制御装置３へ向けて指示させる。

また、判定部１１ｃは、少なくとも現フレームで抽出され、「潜伏」状態にあり、付着確定にまでは至っていない検出エリアＤａについて、検出情報１２ｃの「緩和」項目に検出条件を緩和すべきことを示すフラグ値を格納する（図７Ｂ参照）。また、判定部１１ｃは、かかる検出条件を緩和する検出エリアＤａを、前述の検出部１１ｂへ通知する。すなわち、判定部１１ｃは、一旦付着物が存在するとして検出された検出エリアＤａを、検出部１１ｂへフィードバックして、時間的に後のフレームに継承させる（図１Ｂ参照）。

そして、検出部１１ｂは、判定部１１ｃからフィードバックされた検出エリアＤａについては、検出情報１２ｃに基づき、検出条件を緩和させて検出処理を行う。図９は、フィードバック後の検出部１１ｂの処理説明図である。

図９は、図６で最下段に示した検出エリアＤａ３に対応しているが、図９の左図に示すように、図６では、検出部１１ｂの抽出部１１ｂａは、たとえば、検出エリアＤａ３において、さらに下辺パターンまたは左辺パターンが抽出された場合に、水滴の存在が推定されるエリアとして、検出エリアＤａ３を抽出した。換言すると、抽出部１１ｂａは、異なる３方向以上の各辺を示すパターンが抽出される方向条件で、水滴の存在が推定される検出エリアＤａを抽出した。かかる場合の方向条件は、「第１条件」（図１Ｂ参照）である。

これに対し、図９の右図に示すように、前述のフィードバック後では、検出部１１ｂの抽出部１１ｂａは、たとえば、上辺パターンおよび右辺パターンといった、異なる２方向以上の各辺を示すパターンが抽出される方向条件で、水滴の存在が推定される検出エリアＤａを抽出する。すなわち、フィードバック後の検出部１１ｂは、第１条件よりも「緩和」された「第２条件」（図１Ｂ参照）で検出エリアＤａを抽出する。たとえば、検出部１１ｂは、検出情報１２ｃの「緩和」項目にフラグの立った検出エリアＤａにつき、条件情報１２ｂに含まれる「第２条件」を用いて検出エリアＤａを抽出する。

これにより、付着物が水滴などである場合の、検出の不安定さを解消することができる。したがって、本実施形態に係る付着物検出装置１０によれば、付着物の検出漏れを抑制することができる。

また、本実施形態に係る付着物検出装置１０によれば、一旦検出された検出エリアＤａなどのリソースを、後段の処理において有効に活用することができるので、システム全体の処理負荷を軽減できるとともに、処理速度の向上ならびに検出精度の向上を見込むことができる。

図２の説明に戻り、つづいて指示部１１ｄについて説明する。指示部１１ｄは、判定部１１ｃによって、付着物が確定された場合に、駐車制御装置３に付着物の位置を指示する指示信号を生成して、かかる指示信号を駐車制御装置３へ出力する。

次に、本実施形態に係る付着物検出装置１０が実行する処理手順について、図１０を用いて説明する。図１０は、本実施形態に係る付着物検出装置１０が実行する処理手順を示すフローチャートである。

まず、取得部１１ａが、１フレーム分のカメラ画像を取得する（ステップＳ１０１）。そして、検出部１１ｂの抽出部１１ｂａが、水滴の存在が推定される検出エリアを抽出する（ステップＳ１０２）。

そして、検出部１１ｂの除外部１１ｂｂが、信頼度の低い検出エリアを除外する（ステップＳ１０３）。

なお、かかる除外処理自体は、たとえば省略されてもよい。これにより、システム全体に対する処理負荷を軽減することができる。

つづいて、判定部１１ｃが、フレーム間にわたる検出エリアの状態を判定する（ステップＳ１０４）。すなわち、判定部１１ｃは、過去フレームで抽出済みである各検出エリアＤａとの重なりの存否を判定し、その判定結果に応じて検出エリアＤａの得点および状態を更新する。

そして、判定部１１ｃは、更新された検出エリアＤａの得点および状態に応じ、検出エリアＤａのそれぞれが、付着確定であるか否かを判定する（ステップＳ１０５）。ここで、付着確定でない場合（ステップＳ１０５，Ｎｏ）、判定部１１ｃは、該当する検出エリアＤａについて、検出情報１２ｃの「緩和」項目のフラグを立てることによって、検出条件を緩和する（ステップＳ１０６）。そして、ステップＳ１０１からの処理を繰り返す。

一方、付着確定である場合（ステップＳ１０５，Ｙｅｓ）、指示部１１ｄが、駐車制御装置３へ付着物の位置を指示する（ステップＳ１０７）。

そして、制御部１１が、処理終了イベントがあるか否かを判定する（ステップＳ１０８）。処理終了イベントは、たとえば車両のＩＧオフやＡＣＣオフなどに対応する。ここで、処理終了イベントがないと判定された場合（ステップＳ１０８，Ｎｏ）、ステップＳ１０１からの処理を繰り返す。また、処理終了イベントがあると判定された場合（ステップＳ１０８，Ｙｅｓ）、付着物検出装置１０は、処理を終了する。

次に、本実施形態に係る処理の流れの変形例について、図１１Ａ～図１１Ｃを用いて説明する。図１１Ａは、本実施形態に係る処理の流れを示す図である。また、図１１Ｂは、第１の変形例に係る処理の流れを示す図である。また、図１１Ｃは、第２の変形例に係る処理の流れを示す図である。

これまでは、付着物検出装置１０が、図１１Ａに示すように、カメラ２のカメラ画像に基づき、取得部１１ａが取得処理を実行し、検出部１１ｂの抽出部１１ｂａが抽出処理を実行し、検出部１１ｂの除外部１１ｂｂが除外処理を実行し、判定部１１ｃが判定処理を実行する場合について説明した。そのうえで、判定部１１ｃが、付着確定前の、たとえば上記した例では「潜伏」状態などの検出エリアＤａを、時間的に後の抽出処理へ検出条件を緩和しつつ継承させるべくフィードバックする場合について説明した。

しかしながら、処理の流れは、かかる例に限られない。たとえば図１１Ｂに示すように、判定処理から抽出処理へフィードバックされた検出エリアＤａにつき、一度除外処理をクリアした検出エリアＤａは２回目以降の除外処理を省略されるように、処理の流れを制御してもよい。

これは、少なくとも一度除外処理をクリアした検出エリアＤａは、少なくとも信頼度は低くないと考えられるためである。これにより、除外処理に要する処理負荷を抑え、システム全体の処理負荷を軽減することができる。

また、たとえば図１１Ｃに示すように、抽出処理～除外処理を経て検出された検出エリアＤａにつき、抽出処理にはフィードバックせずに、除外処理～判定処理間でループが閉じるように処理の流れを制御してもよい。

これは、少なくとも一度抽出処理～除外処理を経て検出された検出エリアＤａは、時間的にすぐには無くならないとの考え方に基づく。すなわち、この場合、一度検出された検出エリアＤａは、改めて抽出処理で検出アルゴリズムを用いて抽出させずに、除外処理～判定処理間の繰り返しで検出エリアＤａの状態を管理することとなる。これにより、抽出処理に要する処理負荷を抑え、システム全体の処理負荷を軽減することができる。

上述してきたように、本実施形態に係る付着物検出装置１０は、検出部１１ｂと、判定部１１ｃとを備える。検出部１１ｂは、カメラ２（「撮像装置」の一例に相当）に付着した付着物の撮像画像中における位置を所定の第１条件に基づいて検出する。判定部１１ｃは、複数回にわたって検出される上記位置に関する情報に基づいてかかる位置における付着物の存否を判定する。また、判定部１１ｃは、検出部１１ｂによって上記位置が検出された場合に、第１条件よりも緩和された第２条件に基づいて検出部１１ｂに上記位置を検出させる。

したがって、本実施形態に係る付着物検出装置１０によれば、付着物の検出漏れを抑制することができる。また、第１条件で検出された位置を、以降は第１条件よりも緩和された第２条件で検出するので、検出精度を維持しつつ、システム全体の処理負荷の軽減や処理速度の高速化に資することができる。

判定部１１ｃは、複数回にわたって検出された上記位置の状態遷移に基づいてかかる位置における付着物の存否を判定する。

したがって、本実施形態に係る付着物検出装置１０によれば、一時的に検出された付着物などを無用に付着確定させることなく、精度よく付着物の存否を判定することが可能となる。

判定部１１ｃは、上記位置が検出部１１ｂによって検出された場合に、かかる位置の状態を示す得点に加点し、上記位置が検出部１１ｂによって検出されなかった場合に、上記得点から減点することによって上記状態遷移を管理するとともに、上記得点が所定点以上となった場合に、上記位置における付着物の付着を確定させる。

したがって、本実施形態に係る付着物検出装置１０によれば、上記位置の状態遷移の管理および状態に応じた付着確定の判定を簡易な手法で行うことができる。

検出部１１ｂは、撮像画像中の各画素について抽出されたエッジ情報に基づいて上記各画素を所定のデータ形式に変換し、かかるデータ形式に変換された上記各画素と、付着物を示す上記データ形式のテンプレートとのマッチング結果に基づいて上記位置を検出する。

したがって、本実施形態に係る付着物検出装置１０によれば、付着物の特徴を示すテンプレートに応じて多様な付着物を検出することが可能となる。

検出部１１ｂは、付着物を内側に含むまたは付着物の内側に含まれる矩形の検出エリアＤａ（「検出領域」の一例に相当）として上記位置を検出し、検出エリアＤａの各辺のうち、テンプレートによって異なる３方向以上を示す各辺が抽出される場合を第１条件とし、テンプレートによって異なる２方向以上を示す各辺が抽出される場合を第２条件として、上記位置を検出する。

したがって、本実施形態に係る付着物検出装置１０によれば、矩形の検出エリアＤａを利用することで、簡易な手法での付着物の検出が可能となる。また、第１条件で検出された検出エリアＤａを、以降は第１条件よりも緩和された第２条件で検出するので、検出精度を維持しつつ、システム全体の処理負荷の軽減や処理速度の高速化に資することができる。

また、カメラ２は車両に搭載され、車両はカメラ２の撮像画像に基づき車両の駐車制御を行う駐車制御装置３（「駐車制御部」の一例に相当）を備え、駐車制御装置３は、判定部１１ｃが上記位置における付着物の付着を確定させた場合に、車両の駐車制御を停止する。したがって、本実施形態に係る自動駐車システム１によれば、安全性の高い自動駐車システムを実現することができる。

なお、上述した第１の実施形態では、抽出部１１ｂａが各画素のエッジ強度に基づく所定の検出アルゴリズムを用いて検出エリアＤａを抽出する場合を例に挙げたが、抽出部１１ｂａは、異なる検出アルゴリズムを並列に実行することとしてもよい。エッジ強度以外に基づく検出アルゴリズムとしては、たとえば各画素の輝度の勾配や彩度の勾配をエッジ情報として抽出し、これに基づいて検出エリアＤａを抽出するものなどを挙げることができる。

抽出部１１ｂａが検出アルゴリズムを並列に実行する場合、除外部１１ｂｂは、検出アルゴリズムそれぞれの処理結果について除外処理を実行することとなる。また、判定部１１ｃは、上述したフレーム間にわたる重なりの判定の前に、アルゴリズム間における重なりの判定を行うとよい。

（第２の実施形態）
次に、第２の実施形態について、図１２を用いて説明する。図１２は、第２の実施形態に係る付着物除去システム１Ａのブロック図である。図１２は、図２に対応しており、付着物除去システム１Ａは、自動駐車システム１とは、駐車制御装置３に代えて、付着物除去装置４を含む点が異なる。

付着物除去装置４は、付着物検出装置１０の検出結果に基づいてカメラ２のレンズに付着した付着物を除去する。たとえば、付着物除去装置４は、吐出口をカメラ２のレンズへ向けて設けられた図示略のノズルを備え、かかるノズルから圧縮空気をレンズへ向けて噴射する除去動作によって付着物を除去する。なお、付着物除去装置４は、かかる態様に限らず、たとえばノズルから圧縮空気とともに洗浄液を噴射したりしてもよいし、ワイパでカメラ２のレンズを拭ったりしてもよい。

かかる付着物除去システム１Ａでは、判定部１１ｃは、付着確定がなされた検出エリアＤａがあった場合に、指示部１１ｄに対し、付着物除去装置４による除去動作を指示させる。なお、判定部１１ｃは、付着確定がなされた検出エリアＤａがあっても、あえて除去動作を行わないようにしてもよい。

たとえば、判定部１１ｃは、付着確定がなされた検出エリアＤａが、カメラ画像の視認の妨げにはなりにくい画面の外周にほぼ沿った領域に存在するならば、除去処理の実行を不要と判定することができる。また、たとえば、判定部１１ｃは、付着確定がなされた検出エリアＤａが、所定個数に満たないならば、除去処理の実行を不要と判定することができる。

このように、搭乗者の視認や運転動作に影響が少ないと判断される付着物についてはその除去処理自体をスキップすることで、システム全体の処理負荷を軽減することができる。

また、指示部１１ｄは、判定部１１ｃによって、付着物の除去が必要と判定された場合に、付着物除去装置４に除去動作を行わせる指示信号を生成して、かかる指示信号を付着物除去装置４へ出力する。すなわち、既に示した図１０を例に挙げれば、第２の実施形態では、指示部１１ｄは、ステップＳ１０７で「付着物の位置を指示」するのではなく、付着物除去装置４へ「除去動作を指示」することとなる。付着物除去装置４は、かかる指示に基づいて除去動作を実行し、付着物を除去する。

したがって、本実施形態に係る付着物除去システム１Ａによれば、付着物検出装置１０を含むことにより、検出漏れを抑制しつつ付着物を検出できるとともに、検出した付着物については、付着物除去装置４により除去することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 自動駐車システム
２ カメラ
３ 駐車制御装置
４ 付着物除去装置
１０ 付着物検出装置
１１ 制御部
１１ａ 取得部
１１ｂ 検出部
１１ｂａ 抽出部
１１ｂｂ 除外部
１１ｃ 判定部
１１ｄ 指示部
１２ 記憶部
１２ａ テンプレート情報
１２ｂ 条件情報
１２ｃ 検出情報

Claims (6)

1. 撮像装置に付着した付着物の撮像画像中における位置を所定の第１条件に基づいて検出する検出部と、
   時系列に並んだ前記撮像画像について複数回にわたって検出される前記位置に関する情報に基づいて当該位置における前記付着物の存否を判定する判定部と
   を備え、
   前記判定部は、
   前記検出部によって前記位置が検出された場合に、前記第１条件よりも緩和された第２条件に基づいて前記検出部に前記位置を検出させる
   ことを特徴とする付着物検出装置。
2. 前記判定部は、
   複数回にわたって検出された前記位置の状態遷移に基づいて当該位置における前記付着物の存否を判定する
   ことを特徴とする請求項１に記載の付着物検出装置。
3. 前記判定部は、
   前記位置が前記検出部によって検出された場合に、当該位置の状態を示す得点に加点し、前記位置が前記検出部によって検出されなかった場合に、前記得点から減点することによって前記状態遷移を管理するとともに、前記得点が所定点以上となった場合に、前記位置における前記付着物の付着を確定させる
   ことを特徴とする請求項２に記載の付着物検出装置。
4. 前記検出部は、
   前記撮像画像中の各画素について抽出されたエッジ情報に基づいて前記各画素を所定のデータ形式に変換し、該データ形式に変換された前記各画素と、前記付着物の特徴を示す、前記付着物を内側に含む矩形または該付着物が内側に含まれる矩形の各辺に対応する画素のパターンとしての前記データ形式のテンプレートとの、マッチング結果に基づいて、前記付着物を内側に含む矩形の検出領域または該付着物の内側に含まれる矩形の検出領域として前記位置を検出し、前記検出領域の各辺のうち、前記テンプレートによって異なる３方向以上を示す前記各辺が抽出される場合を前記第１条件とし、前記テンプレートによって異なる２方向以上を示す前記各辺が抽出される場合を前記第２条件として、前記位置を検出する
   ことを特徴とする請求項１、２または３に記載の付着物検出装置。
5. 前記撮像装置は車両に搭載され、
   前記車両は前記撮像画像に基づき該車両の駐車制御を行う駐車制御部を備え、
   前記駐車制御部は、前記判定部が前記位置における前記付着物の付着を確定させた場合に、前記車両の駐車制御を停止する
   ことを特徴とする請求項３または４に記載の付着物検出装置。
6. 撮像装置に付着した付着物の撮像画像中における位置を所定の第１条件に基づいて検出する検出工程と、
   時系列に並んだ前記撮像画像について複数回にわたって検出される前記位置に関する情報に基づいて当該位置における前記付着物の存否を判定する判定工程と
   を含み、
   前記判定工程は、
   前記検出工程によって前記位置が検出された場合に、前記第１条件よりも緩和された第２条件に基づいて前記検出工程に前記位置を検出させる
   ことを特徴とする付着物検出方法。

Images