JP7259676B2 - 付着物検出装置および付着物検出方法 - Google Patents

Description

開示の実施形態は、付着物検出装置および付着物検出方法に関する。

従来、車両等に搭載されたカメラによって撮像された撮像画像に基づいて、カメラレンズに付着した付着物を検出する付着物検出装置が知られている。付着物検出装置には、たとえば、時系列の撮像画像の差分に基づいて付着物を検出するものがある（たとえば、特許文献１参照）。

特開２０１２－０３８０４８号公報

しかしながら、上述した従来技術には、付着物の検出精度を向上させるうえで、さらなる改善の余地がある。

実施形態の一態様は、上記に鑑みてなされたものであって、付着物の検出精度を向上させることができる付着物検出装置および付着物検出方法を提供することを目的とする。

実施形態の一態様に係る付着物検出装置は、算出部と、検出部と、補間部と、状態管理部とを備える。前記算出部は、撮像画像に含まれる所定数の画素からなる単位領域毎に、各画素のエッジベクトルに基づく領域特徴量を算出する。前記検出部は、前記領域特徴量に基づく第１の検出条件および第２の検出条件に基づいて、部分埋もれ箇所に該当する前記単位領域、および、乱反射箇所に該当する前記単位領域をそれぞれ検出する。前記補間部は、部分埋もれ箇所数、乱反射箇所数および埋もれ候補箇所数を加算した部分埋もれ箇所数に基づいて、前記乱反射箇所により低下する前記部分埋もれ箇所の面積率を算出する。前記状態管理部は、前記乱反射箇所の増減に基づいて、前記面積率の算出に関する各状態の状態遷移を管理する。

実施形態の一態様によれば、付着物の検出精度を向上させることができる。

図１Ａは、実施形態に係る付着物検出方法の概要説明図（その１）である。 図１Ｂは、実施形態に係る付着物検出方法の概要説明図（その２）である。 図１Ｃは、実施形態に係る付着物検出方法の概要説明図（その３）である。 図１Ｄは、実施形態に係る付着物検出方法の概要説明図（その４）である。 図１Ｅは、実施形態に係る付着物検出方法の概要説明図（その５）である。 図２は、実施形態に係る付着物検出装置のブロック図である。 図３は、算出部の処理内容を示す図（その１）である。 図４は、算出部の処理内容を示す図（その２）である。 図５は、算出部の処理内容を示す図（その３）である。 図６は、算出部の処理内容を示す図（その４）である。 図７は、算出部の処理内容を示す図（その５）である。 図８は、算出部の処理内容を示す図（その６）である。 図９は、算出部の処理内容を示す図（その７）である。 図１０は、算出部の処理内容を示す図（その８）である。 図１１は、算出部の処理内容を示す図（その９）である。 図１２は、算出部の処理内容を示す図（その１０）である。 図１３は、算出部の処理内容を示す図（その１１）である。 図１４は、算出部の処理内容を示す図（その１２）である。 図１５は、算出部の処理内容を示す図（その１３）である。 図１６は、算出部の処理内容を示す図（その１４）である。 図１７は、状態管理部の処理内容を示す図（その１）である。 図１８は、状態管理部の処理内容を示す図（その２）である。 図１９は、実施形態に係る付着物検出装置が実行する処理手順を示すフローチャート（その１）である。 図２０は、実施形態に係る付着物検出装置が実行する処理手順を示すフローチャート（その２）である。 図２１は、実施形態に係る付着物検出装置が実行する処理手順を示すフローチャート（その３）である。 図２２は、実施形態に係る付着物検出装置が実行する処理手順を示すフローチャート（その４）である。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

まず、図１Ａ～図１Ｅを用いて、実施形態に係る付着物検出方法の概要について説明する。図１Ａ～図１Ｅは、実施形態に係る付着物検出方法の概要説明図（その１）～（その５）である。

図１Ａに示すように、たとえば、車載カメラのレンズ表面に雪が付着した状態で撮像された撮像画像Ｉがあるものとする。以下では、実施形態に係る付着物検出方法を適用した付着物検出装置１（図２参照）が、かかる撮像画像Ｉの各画素の輝度勾配に関する特徴量（以下、「エッジ特徴量」と言う場合がある）に基づいて、雪によってレンズの大半が埋もれ、輝度変化が凸凹して見える状態（以下、「部分埋もれ」と言う）を検出する場合を例に挙げる。

具体的には、付着物検出装置１は、撮像画像Ｉから算出される各画素ＰＸ（図４参照）のエッジ特徴量に基づいて、部分埋もれを検出する。エッジ特徴量は、角度特徴量および強度特徴量を含む。角度特徴量は、各画素ＰＸのエッジベクトル（輝度勾配）の向き（以下、「エッジ向き」と言う場合がある）である。強度特徴量は、各画素ＰＸのエッジベクトルの大きさ（以下、「エッジ強度」と言う場合がある）である。

なお、付着物検出装置１は、画像処理における処理負荷を軽減するため、かかるエッジ特徴量を、所定数の画素ＰＸからなるセル１００（図４参照）単位で取り扱う。これにより、画像処理における処理負荷の軽減に資することができる。また、図１Ａに示す単位領域ＵＡは、かかるセル１００の集まりである。

そして、付着物検出装置１は、かかるセル１００毎に算出したエッジ特徴量に基づいて、単位領域ＵＡ毎の特徴量である領域特徴量を算出する。領域特徴量は、言わば単位領域ＵＡ毎におけるエッジ特徴量の統計的特徴量であり、たとえば輝度平均や、エッジ強度の平均、エッジ強度の分散、ペア領域の個数、ペア領域のエッジ強度の総和等を含む。ここで、ペア領域は、隣接し、エッジ向きが互いに逆向きであるセル１００の組み合わせである。そのうえで、付着物検出装置１は、かかる領域特徴量に基づいて、単位領域ＵＡ毎に部分埋もれを検出する。

より具体的には、付着物検出装置１は、撮像画像Ｉにおいて、算出された領域特徴量に基づき、単位領域ＵＡ毎に所定の部分埋もれの検出条件に沿って雪の付着状態（「付着」か「非付着」か）を検出する。ここで、「付着」とされた単位領域ＵＡの集まりが、部分埋もれ領域となる。

そして、たとえば撮像画像Ｉ中の所定の注目領域における部分埋もれ領域の面積率が一定以上になれば、付着物検出装置１は、車載カメラのレンズの大半が埋もれていると判定し、埋もれフラグをオンにする。ここで、埋もれフラグは、レンズが埋もれている状態であるか否かを示すフラグであり、埋もれていると判定された場合にはオンが設定され、埋もれていないと判定された場合にはオフが設定される。

ところで、レンズが雪で埋もれている場合に、たとえば正面から光が当たると、撮像画像Ｉ中に乱反射領域が生じることがある。図１Ａに示すように、かかる乱反射領域は、部分埋もれの態様の一部でありながらも、部分埋もれ領域に比べてエッジ強度が大きく、輝度も高い。

したがって、かかる乱反射領域は、前述の部分埋もれの検出条件によっては検出することができない。すると、レンズの大半が埋もれているにも関わらず、部分埋もれ領域としてカウントされる部分が減り、前述の面積率が低下するために、付着物検出装置１は、レンズは埋もれていないと判定し、埋もれフラグをオフしてしまうこととなる。

そこで、実施形態に係る付着物検出方法では、乱反射領域を、部分埋もれの検出条件とは異なる検出条件で検出することとした。かかる乱反射領域の検出条件は、輝度が高く、
エッジ強度も大きいという乱反射領域の特徴に基づく検出条件である。

具体的には、図１Ｂに示すように、乱反射領域の検出条件は、単位領域ＵＡ毎に算出される領域特徴量に含まれる各種の要素に基づいて設定される。乱反射領域の検出条件は、たとえば単位領域ＵＡにおいて、輝度が高く、エッジ強度が大きいといった特徴を捉えられるように予め設定される。

このためのパラメータとしては、図１Ｂに示すように、輝度平均や、エッジ強度の平均、エッジ強度の分散、ペア領域の個数、ペア領域のエッジ強度の総和等が用いられる。また、乱反射領域以外の誤検出を抑制するためのパラメータとしては、パターンマッチング時の交点の数や、角度分類の変化回数の総和等が用いられる。

なお、角度分類は、所定の角度範囲で分類される各画素ＰＸのベクトル向きの代表値である、セル１００のエッジ向きに対応する。かかる角度分類を含むエッジ特徴量および領域特徴量の算出処理については、図３～図１６を用いて後述する。

そして、実施形態に係る付着物検出方法では、部分埋もれの検出条件で検出した部分埋もれ領域、乱反射領域の検出条件で検出した乱反射領域の面積率に基づいて乱反射を伴う埋もれ状態（以下、「乱反射埋もれ」と言う）を検出することとした。

具体的には、図１Ｃに示すように、実施形態に係る付着物検出方法では、単位領域ＵＡを「箇所」とした場合に、検出した部分埋もれ領域である部分埋もれ箇所群、乱反射領域である乱反射箇所群、および、埋もれ候補箇所群である埋もれ候補領域に基づき、前述の部分埋もれ領域の面積率を補間する。

より具体的には、同図に示すように、部分埋もれ箇所数、乱反射箇所数および埋もれ候補箇所数を加算し、補間後の部分埋もれ箇所数とする。そして、かかる補間後の部分埋もれ箇所数に基づいて、部分埋もれ領域の面積率を算出する。部分埋もれ箇所数および乱反射箇所数のみを加算して、補間後の部分埋もれ箇所数としてもよい。

なお、埋もれ候補箇所は、前述の領域特徴量の各要素を各次元とする領域特徴量空間における領域特徴量の位置に基づいて得られる雪の付着状態の推定結果に基づくものである。かかる推定結果は、「付着」、「非付着」、「判定難」等として得られ、埋もれ候補箇所は、「付着」と推定される箇所に相当する。かかる推定処理については、図９および図１０を用いた説明で後述する。

また、実施形態に係る付着物検出方法では、図１Ｄに示すように、撮像画像Ｉにおける通常の部分埋もれ検出用の注目領域であるＲＯＩ（Region Of Interest）＃１と、乱反射埋もれ検出用のＲＯＩ＃２を設ける。ＲＯＩ＃２は、乱反射領域を広く捉えられるようにＲＯＩ＃１よりも高さ方向に大きく設定される。

かかるＲＯＩ＃２内では、前述の部分埋もれ箇所および乱反射箇所がそれぞれカウントされる。また、ＲＯＩ＃１内では、部分埋もれ箇所、乱反射箇所および埋もれ候補箇所がそれぞれカウントされる。

ところで、乱反射は、光の当たり方の変化で見え方が頻繁に変化する。したがって、光の当たり方の変化で、部分埋もれ領域と乱反射領域の面積率は頻繁に変動しやすく、不安定である。

そこで、かかる点を補うため、実施形態に係る付着物検出方法では、乱反射埋もれの検出に関する各種状態の状態遷移を管理することとした。具体的には、図１Ｅに示すように、実施形態に係る付着物検出方法では、乱反射埋もれの検出に関し、（１）乱反射埋もれ以外、（２）乱反射埋もれ準備、（３）継続フレームカウント、（４）乱反射埋もれ、（５）部分埋もれ箇所の補間の各状態を設ける。

そして、かかる各状態が、所定の条件に応じて遷移する状態遷移を管理する。かかる点の詳細については、図１７以降を用いて後述する。

以下、上述した実施形態に係る付着物検出方法を適用した付着物検出装置１の構成例について、さらに具体的に説明する。

図２は、実施形態に係る付着物検出装置１のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

図２に示すように、実施形態に係る付着物検出装置１は、記憶部２と、制御部３とを備える。また、付着物検出装置１は、カメラ１０と、各種機器５０とに接続される。

なお、図２では、付着物検出装置１が、カメラ１０および各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体に構成されてもよい。

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、たとえば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、たとえば、カメラ１０のレンズに付着物が付着していることやユーザへの付着物の拭き取り指示を通知する表示装置、流体や気体等をレンズへ向けて噴射して付着物を除去する除去装置、および、自動運転等を制御する車両制御装置などを含む。

記憶部２は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２の例では、テンプレート情報２１と、推定情報２２と、条件情報２３と、判定履歴情報２４と、状態管理情報２５とを記憶する。

テンプレート情報２１は、後述する算出部３２が実行するマッチング処理において用いられるテンプレートに関する情報である。推定情報２２は、後述する領域特徴量の各要素を各次元とする領域特徴量空間に関する情報である。かかる推定情報２２は、後述する算出部３２が算出する領域特徴量に基づいて付着状態を推定させる推定モデルと言い換えてもよい。

条件情報２３は、後述する検出部３３が実行する検出処理において用いられる検出条件に関する情報であり、たとえば上述した部分埋もれの検出条件や乱反射領域の検出条件等を含む。判定履歴情報２４は、所定の過去のｎフレーム分の撮像画像Ｉにおける付着物検出の判定履歴に関する情報である。

状態管理情報２５は、乱反射埋もれの検出に関する各種状態の状態遷移の管理に関する情報であり、管理に用いられる各種フラグや、状態遷移のための各種の所定の条件等を含む。

制御部３は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、付着物検出装置１内部の記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部３は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

制御部３は、取得部３１と、算出部３２と、検出部３３と、状態管理部３４と、補間部３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

取得部３１は、カメラ１０で撮像された撮像画像Ｉを取得する。取得部３１は、取得した撮像画像Ｉにおける各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行うとともに、各画素について平滑化処理を行って、算出部３２へ出力する。なお、平滑化処理にはたとえば、平均化フィルタや、ガウシアンフィルタ等の任意の平滑化フィルタを用いることができる。また、グレースケール化処理や、平滑化処理については、省略されてもよい。

算出部３２は、取得部３１から取得した撮像画像Ｉのセル１００毎に、エッジ特徴量を算出する。ここで、図３および図４を用いて、算出部３２によるエッジ特徴量の算出処理について具体的に説明する。

図３および図４は、算出部３２の処理内容を示す図（その１）および（その２）である。図３に示すように、算出部３２は、まず、各画素ＰＸにつきエッジ検出処理を行って、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジｅｘの強度と、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジｅｙの強度とを検出する。エッジ検出処理には、たとえば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。

つづいて、算出部３２は、検出したＸ軸方向のエッジｅｘの強度と、Ｙ軸方向のエッジｅｙの強度とに基づき、三角関数を用いることでエッジベクトルＶを算出し、かかるエッジベクトルＶとＸ軸とがなす角度θであるエッジ向きと、エッジベクトルＶの長さＬであるエッジ強度を算出する。

つづいて、算出部３２は、算出した各画素ＰＸのエッジベクトルＶに基づき、セル１００におけるエッジ向きの代表値を抽出する。具体的には、図４の上段に示すように、算出部３２は、セル１００における各画素ＰＸのエッジベクトルＶのエッジ向き－１８０°～１８０°を、９０°毎の上下左右４方向である角度分類（０）～（３）（以下、「上下左右４分類」と言う場合がある）に分類する。

より具体的には、算出部３２は、画素ＰＸのエッジ向きが、－４５°以上４５°未満の角度範囲である場合には角度分類（０）に分類し、４５°以上１３５°未満の角度範囲である場合には角度分類（１）に分類し、１３５°以上１８０°未満、または－１８０°以上－１３５°未満の角度範囲である場合には角度分類（２）に分類し、－１３５°以上－４５°未満の角度範囲である場合には角度分類（３）に分類する。

そして、図４の下段に示すように、算出部３２は、各セル１００について、角度分類（０）～（３）を各階級とするヒストグラムを生成する。そして、算出部３２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する角度分類（図４の例では、角度分類（１））を、セル１００におけるエッジ向きの代表値として抽出する。

前述のヒストグラムの度数は、セル１００内における各画素ＰＸのうち、同一の角度範囲に分類された画素ＰＸのエッジ強度を足し合わせて算出する。具体的に、角度分類（０）の階級におけるヒストグラムの度数について考える。たとえば、角度分類（０）に分類された画素ＰＸが３つあるとし、それぞれの画素ＰＸにおけるエッジ強度を１０，２０，３０とする。この場合、角度分類（０）の階級におけるヒストグラムの度数は、１０＋２０＋３０＝６０と算出される。

このようにして算出されたヒストグラムに基づき、算出部３２はセル１００におけるエッジ強度の代表値を算出する。具体的に、かかるエッジ強度の代表値は、ヒストグラムにおいて最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する度数をセル１００のエッジ強度とする。すなわち、算出部３２におけるエッジ強度の代表値の算出処理は、エッジ向きの代表値に対応した、セル１００内におけるエッジの強さに関する特徴を算出する処理とも言える。

一方、算出部３２は、最も度数が高い階級の度数が所定の閾値ＴＨａ未満である場合は、かかるセル１００のエッジ向きについては、「無効」、換言すれば、「エッジ向きの代表値なし」として取り扱う。これにより、各画素ＰＸのエッジ向きのばらつきが大きい場合に、特定のエッジ向きを代表値として算出してしまうことを防止できる。

なお、図３および図４で示した算出部３２の処理内容は、あくまで一例であって、エッジ向きの代表値を算出可能であれば、処理内容は任意であってよい。たとえば、セル１００における各画素ＰＸのエッジ向きの平均値を算出し、かかる平均値に対応する角度分類（０）～（３）をエッジ向きの代表値としてもよい。

また、図４では、４×４の計１６個の画素ＰＸを１つのセル１００とする場合を示したが、セル１００における画素ＰＸの数は、任意に設定されてよく、また、３×５等のように、上下方向および左右方向の画素ＰＸの数が異なってもよい。

図２の説明に戻る。また、算出部３２は、算出したセル１００毎のエッジ特徴量に基づいて、単位領域ＵＡ毎の領域特徴量を算出する。

まず、算出部３２は、領域特徴量として、単位領域ＵＡ毎における輝度平均、セル１００のエッジ強度の平均および分散を算出する。また、算出部３２は、領域特徴量として、ペア領域２００の個数およびエッジ強度の総和を算出する。

ここで、ペア領域２００の個数およびエッジ強度の総和を算出する場合について、図５および図６を用いて説明する。図５および図６は、算出部３２の処理内容を示す図（その３）および（その４）である。

なお、図５では、２つのペア領域２００が、セル１００を共有していない場合を示し、図６では、２つのペア領域２００が、セル１００を共有している場合を示している。

図５に示すように、算出部３２は、単位領域ＵＡの左右方向および上下方向に配列された複数のセル１００について、左右方向および上下方向に走査し、ペア領域２００を探索する。すなわち、算出部３２は、単位領域ＵＡにおけるセル１００のうち、隣接し、エッジ向きが互いに逆向きであるセル１００同士をペア領域２００として抽出する。

そして、算出部３２は、抽出されたペア領域２００の個数、および、ペア領域２００におけるエッジ強度の総和を算出する。なお、図５に示すように、算出部３２は、抽出されたたとえば２つのペア領域２００がセル１００を共有していない場合、ペア領域２００の個数を２つと算出し、エッジ強度の総和を、２つのペア領域２００に含まれる４つのセル１００のエッジ強度を合計した値として算出する。

また、図６に示すように、算出部３２は、抽出されたたとえば２つのペア領域２００がセル１００を共有している場合、ペア領域２００の個数を２つと算出し、エッジ強度の総和を、２つのペア領域２００に含まれる３つのセル１００のエッジ強度を合計した値として算出する。

なお、算出部３２は、上述した「上下左右４分類」の角度分類だけでなく、たとえば「斜め４分類」の角度分類に基づいて、１つのセル１００について２種類以上のエッジ向きの代表値を割り当て、領域特徴量を算出してもよい。かかる点について、図７および図８を用いて説明する。図７および図８は、算出部３２の処理内容を示す図（その５）および（その６）である。

算出部３２は、「上下左右４分類」を第１の角度分類とし、これに基づくエッジ向きの代表値を第１代表値とすれば、図７に示すように、「斜め４分類」を第２の角度分類とし、これに基づくエッジ向きの代表値を第２代表値として算出することができる。

かかる場合、算出部３２は、セル１００における各画素ＰＸのエッジベクトルＶのエッジ向き－１８０°～１８０°を、第２の角度分類により、９０°毎の斜め４方向である角度分類（４）～（７）に分類する。

より具体的には、算出部３２は、画素ＰＸのエッジ向きが、０°以上９０°未満の角度範囲である場合には角度分類（４）に分類し、９０°以上１８０°未満の角度範囲である場合には角度分類（５）に分類し、－１８０°以上－９０°未満の角度範囲である場合には角度分類（６）に分類し、－９０°以上０°未満の角度範囲である場合には角度分類（７）に分類する。

そして、図４の下段に示したのと同様に、算出部３２は、各セル１００について、角度分類（４）～（７）を各階級とするヒストグラムを生成する。そして、算出部３２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する角度分類を、セル１００におけるエッジ向きの第２代表値として算出する。

これにより、図８に示すように、１つのセル１００についてそれぞれ２つのエッジ向きの代表値を割り当てることができる。そして、図８に示すように、算出部３２は、隣接するセル１００において、エッジ向きの第１代表値、および、第２代表値の少なくとも一方が互いに逆向きである場合、かかる隣接するセル１００をペア領域２００として抽出する。

つまり、算出部３２は、各セル１００において、エッジ向きの第１代表値および第２代表値を算出することで、１種類のエッジ向きのみでは抽出できなかったペア領域２００を抽出することが可能となる。

たとえば、エッジ向きが１４０°の画素ＰＸと、エッジ向きが－４０°の画素ＰＸとについて、第１角度範囲では逆向きとはならないが、第２角度範囲では逆向きとなることで、セル１００におけるエッジ向きの変化をより高精度に検出することが可能となる。

なお、算出部３２は、このように算出した単位領域ＵＡ毎の領域特徴量を、後述する検出部３３に対し、領域特徴量の各要素を各次元とする領域特徴量空間にマッピングさせ、領域特徴量空間における領域特徴量の位置に基づいて付着物である雪の付着状態を推定させることができる。

かかる点について、図９および図１０を用いて説明する。図９および図１０は、算出部３２の処理内容を示す図（その７）および（その８）である。

たとえば、算出部３２は、図９に示すように、エッジ強度の平均、および、エッジ強度の分散を各次元とする２次元空間における位置に基づいて、雪の付着状態を、「付着」、「非付着」、または、「判定難」のいずれかとして推定させることができる。

また、たとえば、算出部３２は、図１０に示すように、ペア領域２００の個数、および、ペア領域２００のエッジ強度の総和を各次元とする２次元空間における位置に基づいて、雪の付着状態を、「付着」または「非付着」のいずれかとして推定させることができる。

ここで、「付着」は、背景が見えない、雪に埋もれている状態である。また、「非付着」は、背景が見えている状態である。また、「判定難」は、白飛び等で見えない状態である。

なお、図９および図１０に示した各領域特徴量空間の例は、撮像画像Ｉの多量のサンプルデータに基づいて、予めかかるサンプルデータの各単位領域ＵＡの領域特徴量を算出し、実際の付着状態に応じて標本点を色分けしつつ、各空間にマッピングしたものである。したがって、各付着状態を区切る各閾値（図中の点線参照）は、たとえば標本点の色の分かれ目等に応じて規定されている。なお、図９および図１０では、閾値を直線で区切って規定しているが、説明の便宜上のものであり、標本点の色の分かれ目に沿う形状の曲線によって規定されてもよい。

たとえば、「非付着」の状態では、道路上の白線やガードレール、建物の輪郭等により、ペア領域２００が比較的多く抽出され、また、セル１００のエッジ強度も大きくなる。このため、ペア領域２００のエッジ強度の総和も比較的大きくなる。一方で、「付着」の状態では、単位領域ＵＡの輝度が一様で、かつ、セル１００のエッジ強度も小さくなるため、抽出されるペア領域２００の個数は比較的少なくなり、また、ペア領域２００のエッジ強度の総和も比較的小さくなる。

そこで、かかる点に着目し、図１０に示したように、予め撮像画像Ｉのサンプルデータに基づいて、ペア領域２００の個数、および、ペア領域２００のエッジ強度の総和を各次元とする領域特徴量空間を生成し、かかる空間に算出した領域特徴量をマッピングすれば、その位置に基づいて、単位領域ＵＡ毎の付着物の付着状態を「付着」または「非付着」のいずれかとして推定させることができる。

また、図９に示したエッジ強度の平均、および、エッジ強度の分散は、統計的見地に基づくものである。換言すれば、多量のサンプルデータに基づき、単位領域ＵＡ毎の実際の付着状態に対応するエッジ強度の平均および分散を学習し、かかる学習の結果に基づいて状態を判別するものと言える。

そこで、かかる点に着目し、図９に示したように、予め撮像画像Ｉのサンプルデータに基づいて、エッジ強度の平均、および、エッジ強度の分散を各次元とする領域特徴量空間を生成し、かかる空間に算出した領域特徴量をマッピングすれば、その位置に基づいて、単位領域ＵＡ毎の付着物の付着状態を「付着」、「非付着」、または、「判定難」のいずれかとして推定させることができる。

したがって、実施形態に係る算出部３２によれば、付着物の検出精度を向上させることができる。

また、算出部３２は、領域特徴量として、パターンマッチング時の交点の数を算出する。ここで、パターンマッチング時の交点の数を算出する場合について、図１１～図１４を用いて説明する。

図１１～図１４は、算出部３２の処理内容を示す図（その９）～（その１２）である。なお、図１１、図１３および図１４に示す不定形のハッチング部分は、撮像画像Ｉにおいて所定のエッジ特徴量を有するパターン部分であるものとする。

算出部３２は、算出したセル１００のエッジ特徴量のうちのエッジ向きを用いて、所定のテンプレートと一致する所定の探索パターンを探索する。図１１に示すように、探索方向は左右方向および上下方向である。

たとえば、算出部３２は、「注目する角度分類の両サイドに逆向きの角度分類が現れないこと」を条件として探索パターンを探索する。具体的には、注目する角度分類を角度分類（１）として左右方向に探索した場合に、図１２に示すように、たとえば開始位置は「角度分類が逆向きでない」角度分類（２）のセル１００－１に隣接する角度分類（１）のセル１００－２が開始位置となる。

そして、角度分類（１）の配列がつづき、「角度分類が逆向きでない」角度分類（０）のセル１００－４が現れた場合、かかるセル１００－４に隣接する角度分類（１）のセル１００－３が終了位置となる。かかる場合、図１２の例ではマッチ長は「８」となる。なお、算出部３２は、このように探索パターンとの一致があった場合、その位置とマッチ長とを保持しておく。

また、図１２に示した探索パターンでの一致があった場合、開始位置と終了位置には、角度分類４種のうち、隣り合う分類間での輝度変化が見られることになる。

そして、算出部３２は、図１３に示すように、左右方向と上下方向で探索パターンの一致が交わる際には、その交点に対応する単位領域ＵＡに対応する記憶情報として、角度分類別に水平マッチ長および上下マッチ長の積を累積加算する。

具体的に図１２および図１３の例に沿った場合、算出部３２は、図１４に示すように、当該単位領域の角度分類（１）に紐づけて、５×８を累積加算する。また、図示していないが、算出部３２は、同じく当該単位領域の角度分類（１）に紐づけて、交点の数も累積加算する。

こうしたマッチング処理を繰り返し、後述する検出部３３は、所定の検出条件に基づき、当該単位領域ＵＡの各角度分類（０）～（３）に紐づく累積加算結果のうち、たとえば３種以上が所定の閾値以上であった場合、当該単位領域ＵＡの付着状態は「付着」と判定する。また、かかる判定条件を満たさなければ「非付着」と判定する。なお、図１１～図１４に示したマッチング処理の処理内容はあくまで一例であって、処理内容を限定するものではない。

また、算出部３２は、領域特徴量として、角度分類の変化回数の総和を算出する。ここで、角度分類の変化回数の総和を算出する場合について、図１５および図１６を用いて説明する。図１５および図１６は、算出部３２の処理内容を示す図（その１３）および（その１４）である。

図１５に示すように、算出部３２は、角度分類画像の単位領域ＵＡ毎に、単位領域ＵＡ内に左右方向および上下方向に配列されたセル１００の角度分類の変化回数を算出する。

具体的に、同図に示すように、セル１００－１，１００－２，１００－３，１００－４の配列があり、エッジ向きである角度分類は順に、（０）、（１）、（１）、（２）であったものとする。

かかる場合、算出部３２は、セル１００－１からセル１００－２を走査するに際して、角度分類が（０）から（１）へ変化するので、角度分類（０），（１）の変化回数をそれぞれ＋１する。また、算出部３２は、同配列において、セル１００－３からセル１００－４へ走査するに際して、角度分類が（１）から（２）へ変化するので、角度分類（１），（２）の変化回数をそれぞれ＋１する。

算出部３２は、このように単位領域ＵＡ毎におけるセル１００の角度分類の変化回数をカウントし、図１６に示すように、「上下左右４分類」および「斜め４分類」のそれぞれにおける角度分類別の変化回数の総和を算出する。

図２の説明に戻る。また、算出部３２は、算出した単位領域ＵＡ毎の領域特徴量を検出部３３へ出力する。

検出部３３は、算出部３２によって算出された単位領域ＵＡ毎の領域特徴量に基づき、条件情報に含まれる所定の検出条件に沿って単位領域ＵＡ毎の付着状態を検出する。

具体的には、検出部３３は、部分埋もれの検出条件に基づいて、部分埋もれ箇所を検出する。また、検出部３３は、乱反射領域の検出条件に基づいて、乱反射箇所を検出する。また、検出部３３は、推定情報２２に基づいて、埋もれ候補箇所を検出する。また、検出部３３は、検出結果を状態管理部３４へ出力する。また、検出部３３は、後述の補間部３５の補間結果を反映した検出結果を各種機器５０へ通知する。

状態管理部３４は、検出部３３の検出結果および状態管理情報２５に基づいて、乱反射埋もれの検出に関する各状態の状態遷移を管理する。ここで、図１７および図１８を用いて、かかる管理処理について説明する。

図１７および図１８は、状態管理部３４の処理内容を示す図（その１）および（その２）である。なお、以下では、乱反射埋もれの検出に関する各状態を、（１）～（５）の丸括弧つきの数字のみによって表す場合がある。

図１７に示すように、（１）乱反射埋もれ以外から（２）乱反射埋もれ準備への状態遷移は、部分埋もれ箇所が２５％以上かつ乱反射箇所が６％以上２５％未満の条件を満たす場合に実行される。また、（２）乱反射埋もれ準備から（４）乱反射埋もれへの状態遷移は、乱反射箇所が６％以上２５％未満の条件を満たす場合に実行される。

また、（４）乱反射埋もれから（３）継続フレームカウントへの状態遷移は、埋もれフラグがオフである場合に実行される。また、（４）乱反射埋もれから（５）部分埋もれ箇所の補間への状態遷移は、埋もれフラグがオンである場合に実行される。

また、（３）継続フレームカウントから（５）部分埋もれ箇所の補間への状態遷移は、３フレーム以上連続で乱反射フラグがオンである場合に実行される。ここで、乱反射フラグは、乱反射が生じているか否かを示すフラグであり、乱反射箇所が６％以上の場合にオンされ、６％未満の場合にオフされる。

また、（３）または（５）の各状態から（２）への状態遷移は、乱反射箇所が６％未満となった場合に実行される。また、（２）～（５）の各状態から（１）への状態遷移は、部分埋もれ箇所が１０％未満となった場合に実行される。

図１８は、図１７の内容を踏まえたタイミングチャートとなっている。ここで、準備フラグは、乱反射埋もれの検出ができる状態か否かを示すフラグであり、（２）乱反射埋もれ準備への状態遷移が実行された際にオンされる。また、準備フラグはオンされると、部分埋もれ箇所が１０％未満となるまで維持される。

また、加算フラグは、図１Ｃに示した加算処理の実行状態を示すフラグであり、埋もれフラグがオフの場合は３フレーム以上連続で乱反射フラグがオンならば、オンされる。また、加算フラグは、埋もれフラグがオンの場合は乱反射フラグに同期される。加算フラグがオンされると、図１Ｃに示した加算処理が実行される。

以上を踏まえ、図１８を見ると、タイミングＴ１において（２）への状態遷移がなされ、準備フラグがオンされた後、（３）において所定数以上の乱反射箇所を有するフレームが連続して３フレーム以上カウントされるごとに、（５）への状態遷移がなされ、部分埋もれ箇所の補間のための加算処理が行われていることが分かる。

また、タイミングＴ２において埋もれフラグのオン条件を満たし、埋もれフラグがオンされると、タイミングＴ３において一時的に乱反射箇所が減少し、乱反射フラグおよび加算フラグがオフされて加算処理が中断されても、タイミングＴ４において乱反射箇所が増加すれば、乱反射フラグに同期して加算フラグはオンされ、即座に加算処理が再開されることが分かる。

そして、乱反射箇所の減少とともに、加算処理は終了され、最終的に（２）から（１）への状態遷移がなされ、準備フラグがオフされると、次に乱反射箇所が準備フラグのオン条件を満たすまで、乱反射埋もれの検出は待機状態となる。

図２の説明に戻る。また、状態管理部３４は、加算フラグのオンタイミングおよびオフタイミングを補間部３５へ通知する。補間部３５は、状態管理部３４から通知されたオンタイミングに基づき、図１Ｃに示した加算処理を開始し、部分埋もれ箇所の面積率を補間する。

また、補間部３５は、補間後の面積率を含む補間結果を検出部３３へ通知する。また、補間部３５は、状態管理部３４から通知されたオフタイミングに基づき、加算処理を中断し、次のオンタイミングまで待機する。

次に、図１９～図２２を用いて、実施形態に係る付着物検出装置１が実行する処理手順について説明する。図１９～図２２は、実施形態に係る付着物検出装置１が実行する処理手順を示すフローチャート（その１）～（その４）である。なお、図１９～図２２では、１フレーム分の撮像画像Ｉについての処理手順を示している。

まず、図１９に示すように、取得部３１が、撮像画像Ｉを取得する（ステップＳ１０１）。あわせて取得部３１は、撮像画像Ｉに対してグレースケール化処理および平滑化処理を施す。

つづいて、算出部３２が、撮像画像Ｉのセル１００毎のエッジ特徴量を算出するとともに、算出したエッジ特徴量に基づいて、単位領域ＵＡ毎の領域特徴量を算出する（ステップＳ１０２）。

そして、検出部３３が、１画面中の有効単位領域数分ループしつつ、部分埋もれ箇所、乱反射箇所および埋もれ候補箇所をそれぞれ検出する（ステップＳ１０３）。なお、有効単位領域は、たとえば撮像画像Ｉに含まれる車両のボディ部分等に該当する不要な単位領域以外の単位領域ＵＡである。

具体的に、検出部３３は、部分埋もれの検出条件に照らし、処理中の単位領域ＵＡが部分埋もれ箇所に該当するならば（ステップＳ１０３１，Ｙｅｓ）、当該単位領域ＵＡを部分埋もれ箇所としてＲＯＩ＃１，＃２内それぞれでカウントする（ステップＳ１０３２）。処理中の単位領域ＵＡが部分埋もれ箇所に該当しないならば（ステップＳ１０３１，Ｎｏ）、ステップＳ１０３３へ移行する。

また、ステップＳ１０３３では、検出部３３は、乱反射領域の検出条件に照らし、処理中の単位領域ＵＡが乱反射箇所に該当するならば（ステップＳ１０３３，Ｙｅｓ）、当該単位領域ＵＡを乱反射箇所としてＲＯＩ＃１，＃２内それぞれでカウントする（ステップＳ１０３４）。処理中の単位領域ＵＡが乱反射箇所に該当しないならば（ステップＳ１０３３，Ｎｏ）、ステップＳ１０３５へ移行する。

また、ステップＳ１０３５では、検出部３３は、推定情報２２に照らし、処理中の単位領域ＵＡが埋もれ候補箇所に該当するならば（ステップＳ１０３５，Ｙｅｓ）、当該単位領域ＵＡを埋もれ候補箇所としてＲＯＩ＃１内でカウントする（ステップＳ１０３６）。処理中の単位領域ＵＡが埋もれ候補箇所に該当しないならば（ステップＳ１０３５，Ｎｏ）、ステップＳ１０３のループを繰り返す。

つづいて、図２０に示すように、状態管理部３４が、ＲＯＩ＃２内で部分埋もれ箇所が２５％以上かつ乱反射箇所が６％以上２５％未満であるか否かを判定する（ステップＳ１０４）。ここで、当該条件を満たす場合（ステップＳ１０４，Ｙｅｓ）、状態管理部３４は、準備フラグをオンし（ステップＳ１０５）、図２１のステップＳ１０８へ移行する。

また、当該条件を満たさない場合（ステップＳ１０４，Ｎｏ）、状態管理部３４は、ＲＯＩ＃２内で部分埋もれ箇所が１０％未満であるか否かを判定する（ステップＳ１０６）。ここで、当該条件を満たす場合（ステップＳ１０６，Ｙｅｓ）、状態管理部３４は、準備フラグをオフし（ステップＳ１０７）、図２１のステップＳ１０８へ移行する。

当該条件を満たさない場合も（ステップＳ１０６，Ｎｏ）、図２１のステップＳ１０８へ移行する。

つづいて、図２１に示すように、状態管理部３４は、準備フラグがオンかつＲＯＩ＃２内で乱反射箇所が６％以上２５％未満であるか否かを判定する（ステップＳ１０８）。ここで、当該条件を満たす場合（ステップＳ１０８，Ｙｅｓ）、状態管理部３４は、乱反射フラグをオンし（ステップＳ１０９）、図２２のステップＳ１１１へ移行する。

また、当該条件を満たさない場合（ステップＳ１０８，Ｎｏ）、状態管理部３４は、乱反射フラグをオフし（ステップＳ１１０）、図２２のステップＳ１１１へ移行する。

つづいて、図２２に示すように、状態管理部３４は、埋もれフラグがオンであるか否かを判定する（ステップＳ１１１）。ここで、埋もれフラグがオンである場合（ステップＳ１１１，Ｙｅｓ）、状態管理部３４は、加算フラグを乱反射フラグと同期させ（ステップＳ１１２）、ステップＳ１１６へ移行する。

また、状態管理部３４は、埋もれフラグがオンでない場合（ステップＳ１１１，Ｎｏ）、３フレーム以上連続で乱反射フラグがオンであるか否かを判定する（ステップＳ１１３）。

ここで、３フレーム以上連続で乱反射フラグがオンである場合（ステップＳ１１３，Ｙｅｓ）、状態管理部３４は、加算フラグをオンし（ステップＳ１１４）、ステップＳ１１６へ移行する。

また、３フレーム以上連続で乱反射フラグがオンでない場合（ステップＳ１１３，Ｎｏ）、状態管理部３４は、加算フラグをオフし（ステップＳ１１５）、ステップＳ１１６へ移行する。

そして、状態管理部３４は、加算フラグがオンであるか否かを判定する（ステップＳ１１６）。ここで、加算フラグがオンである場合（ステップＳ１１６，Ｙｅｓ）、補間部３５が、ＲＯＩ＃１内の部分埋もれ箇所数に乱反射箇所数と埋もれ候補箇所数を加算し（ステップＳ１１７）、処理を終了する。また、加算フラグがオンでない場合（ステップＳ１１６，Ｎｏ）、処理を終了する。

上述してきたように、実施形態に係る付着物検出装置１は、算出部３２と、検出部３３と、補間部３５と、状態管理部３４とを備える。算出部３２は、撮像画像Ｉに含まれる所定数の画素ＰＸからなる単位領域ＵＡ毎に、各画素ＰＸのエッジベクトルに基づく領域特徴量を算出する。検出部３３は、上記領域特徴量に基づく部分埋もれの検出条件（「第１の検出条件」の一例に相当）および乱反射領域の検出条件（「第２の検出条件」の一例に相当）に基づいて、部分埋もれ箇所に該当する単位領域ＵＡ、および、乱反射箇所に該当する単位領域ＵＡをそれぞれ検出する。補間部３５は、乱反射箇所により低下する部分埋もれ箇所の面積率を補間する。状態管理部３４は、乱反射箇所の増減に基づいて、上記面積率の補間に関する各状態（１）～（５）の状態遷移を管理する。

したがって、実施形態に係る付着物検出装置１によれば、付着物の検出精度を向上させることができる。

また、検出部３３は、撮像画像Ｉに対し、部分埋もれ箇所の検出用であるＲＯＩ＃１（「第１の注目領域」の一例に相当）よりも大きいＲＯＩ＃２（「第２の注目領域」の一例に相当）を設定し、かかるＲＯＩ＃２に基づいて乱反射箇所を検出する。

したがって、実施形態に係る付着物検出装置１によれば、乱反射領域を広く捉えて、乱射埋もれの検出精度を向上させることができる。

また、検出部３３は、部分埋もれ箇所よりもエッジ強度が大きくかつ輝度が高い単位領域ＵＡを乱反射箇所として検出する。

したがって、実施形態に係る付着物検出装置１によれば、乱反射箇所を検出することができる。また、これに伴い、部分埋もれ箇所の検出精度を向上させることができる。

また、補間部３５は、部分埋もれ箇所の数と乱反射箇所の数との合算値に基づいて上記面積率を補間する。

したがって、実施形態に係る付着物検出装置１によれば、乱反射埋もれを精度よく検出することができる。

また、検出部３３は、算出部３２によって算出された上記領域特徴量を、かかる領域特徴量の各要素を各次元とする特徴量空間へマッピングし、マッピングされた上記領域特徴量の位置に基づいて付着物により埋もれていると推定される埋もれ候補箇所となる前記単位領域を推定し、補間部３５は、上記合算値にさらに上記埋もれ候補箇所の数を合算する。

したがって、実施形態に係る付着物検出装置１によれば、乱反射埋もれをさらに精度よく検出することができる。

また、状態管理部３４は、所定量以上の乱反射箇所が存在する撮像画像Ｉが所定数以上連続する場合に、補間部３５に上記面積率を補間させる。

したがって、実施形態に係る付着物検出装置１によれば、安定的に乱反射埋もれを検出することができる。

なお、上述した実施形態では、－１８０°～１８０°を９０°毎の角度範囲で分割した４方向に角度分類する場合を示したが、角度範囲は９０°に限定されず、たとえば６０°毎の角度範囲で分割した６方向に角度分類してもよい。

また、第１の角度分類および第２の角度分類でそれぞれの角度範囲の幅が異なってもよい。たとえば、第１の角度分類では９０°毎で角度分類し、第２の角度分類では、６０°毎で角度分類してもよい。また、第１の角度分類および第２の角度分類では、角度範囲の角度の境界を４５°ずらしたが、ずらす角度が４５°を超える、もしくは、４５°未満であってもよい。

また、上述した実施形態では、車載カメラで撮像された撮像画像Ｉを例に挙げたが、撮像画像Ｉは、たとえば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
１０ カメラ
２１ テンプレート情報
２２ 推定情報
２３ 条件情報
２４ 判定履歴情報
２５ 状態管理情報
３１ 取得部
３２ 算出部
３３ 検出部
３４ 状態管理部
３５ 補間部
１００ セル
Ｉ 撮像画像
ＰＸ 画素
ＵＡ 単位領域

Claims (5)

1. 撮像画像に含まれる所定数の画素からなる単位領域毎に、各画素のエッジベクトルに基づく領域特徴量を算出する算出部と、
   前記領域特徴量に基づく第１の検出条件および第２の検出条件に基づいて、部分埋もれ箇所に該当する前記単位領域、および、乱反射箇所に該当する前記単位領域をそれぞれ検出する検出部と、
   部分埋もれ箇所数、乱反射箇所数および埋もれ候補箇所数を加算した部分埋もれ箇所数に基づいて、前記乱反射箇所により低下する前記部分埋もれ箇所の面積率を算出する補間部と、
   前記乱反射箇所の増減に基づいて、前記面積率の算出に関する各状態の状態遷移を管理する状態管理部と
   を備えることを特徴とする付着物検出装置。
2. 前記検出部は、
   前記撮像画像に対し、前記部分埋もれ箇所の検出用である第１の注目領域よりも大きい第２の注目領域を設定し、該第２の注目領域に基づいて前記乱反射箇所を検出する
   ことを特徴とする請求項１に記載の付着物検出装置。
3. 前記検出部は、
   前記部分埋もれ箇所よりもエッジ強度が大きくかつ輝度が高い前記単位領域を前記乱反射箇所として検出する
   ことを特徴とする請求項１または２に記載の付着物検出装置。
4. 前記状態管理部は、
   所定量以上の前記乱反射箇所が存在する前記撮像画像が所定数以上連続する場合に、前記補間部に前記面積率を算出させる
   ことを特徴とする請求項１～３のいずれか一つに記載の付着物検出装置。
5. 撮像画像に含まれる所定数の画素からなる単位領域毎に、各画素のエッジベクトルに基づく領域特徴量を算出する算出工程と、
   前記領域特徴量に基づく第１の検出条件および第２の検出条件に基づいて、部分埋もれ箇所に該当する前記単位領域、および、乱反射箇所に該当する前記単位領域をそれぞれ検出する検出工程と、
   部分埋もれ箇所数、乱反射箇所数および埋もれ候補箇所数を加算した部分埋もれ箇所数に基づいて、前記乱反射箇所により低下する前記部分埋もれ箇所の面積率を算出する補間工程と、
   前記乱反射箇所の増減に基づいて、前記面積率の算出に関する各状態の状態遷移を管理する状態管理工程と
   を含むことを特徴とする付着物検出方法。

Images