JP7188336B2 - 付着物検出装置、および付着物検出方法 - Google Patents

Description

本発明は、付着物検出装置、および付着物検出方法に関する。

従来、付着物が存在すると推定される候補領域について画像解析を行い、候補領域の一部を除外する付着物検出装置が知られている（例えば、特許文献１参照）。

特開２０１８－７２３１２号公報

しかしながら、従来技術では、安定して付着物を検出する点で改善の余地があった。例えば、一旦、過去の画像において付着物の付着が確定した領域に対応する候補領域が誤って除外され、付着物検出が不安定になるおそれがあった。

本発明は、上記に鑑みてなされたものであって、安定した付着物検出を行う付着物検出装置、および付着物検出方法を提供することを目的とする。

実施形態の一態様に係る付着物検出装置は、抽出部と、除外部と、判定部と、更新部と、記憶部とを備える。抽出部は、撮像装置によって撮像された撮像画像から付着物の候補領域を抽出する。除外部は、所定の除外条件を満たす領域を候補領域から除外する。ここで、候補領域から除外条件を満たす領域が除外されて確定される領域を確定領域とする。そうすると、判定部は、撮像画像の対象領域に対して確定領域が占める面積の割合である占有領域が予め設定された閾値以上となった場合に、撮像装置に付着物が付着していると判定する。更新部は、判定部が撮像装置に付着物が付着していると判定した場合に、付着物検出フラグを「ＯＮ」に更新し、判定部が撮像装置に付着物が付着していないと判定した場合に、付着物検出フラグを「ＯＦＦ」に更新する。記憶部は、撮像装置に対する付着物の付着が検出された過去の撮像画像における候補領域の付着候補情報を記憶する。除外部は、更新部によって付着物検出フラグが「ＯＦＦ」に更新されていた場合には、第１除外条件を満たす領域を候補領域から除外し、更新部によって付着物検出フラグが「ＯＮ」に更新されていた場合には、第１除外条件とは異なる第２除外条件を満たす領域を候補領域から除外する。ここで、更新部による更新時に対して、撮像画像の同じ位置に同じ形状の候補領域が抽出されている場合に、第２除外条件は満たされないものとする。記憶部に記憶された付着候補情報と、現在の撮像画像における付着候補情報とが一致しない領域は、第２除外条件を満たす領域であるものとする。

実施形態の一態様によれば、安定した付着物検出を行うことができる。

図１は、付着物検出方法の概要を示す図である。 図２は、付着物検出装置の構成を示すブロック図である。 図３は、輝度分布の抽出対象となる画素列を説明する図である。 図４は、算出部の処理内容を示す図である。 図５は、算出部の処理内容を示す図である。 図６は、算出部の処理内容を示す図である。 図７は、第１除去条件を説明する図である。 図８は、差分の変化量を正規化したヒストグラムを示す図である。 図９は、判定部の処理内容を示す図である。 図１０は、判定部の処理内容を示す図である。 図１１は、実施形態に係る付着物検出処理を説明するフローチャートである。 図１２は、実施形態に係る除外処理を説明するフローチャートである。

以下、添付図面を参照して、実施形態に係る付着物検出装置、および付着物検出方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

まず、図１を用いて実施形態に係る付着物検出方法の概要について説明する。図１は、付着物検出方法の概要を示す図である。実施形態に係る付着物検出方法は、付着物検出装置１（図２参照）によって実行される。なお、図１には、例えば、撮像装置であるカメラ１０（図２参照）のレンズに水滴などの付着物が付着した状態で撮像された撮像画像Ｉを示している。付着物は、泥や、埃や、雪片等が含まれてもよく、付着物の領域がぼやけた領域となる付着物であればよい。

付着物検出装置１は、撮像画像Ｉに設定された所定の対象領域に対して付着物が付着している確定領域が占める面積の割合である占有率が予め設定された閾値（例えば、４０％）以上となった場合に、カメラ１０のレンズに付着物が付着していると判定する。なお、対象領域は、撮像画像Ｉ全体であってもよく、一部の領域であってもよい。また、付着物検出装置１は、占有率が閾値よりも小さい場合に、カメラ１０のレンズに付着物が付着していないと判定する。

確定領域について、詳しくは後述するが、確定領域は、付着物が付着している可能性がある候補領域１００から、所定の除外条件を満たす領域が除外されて検出される。以下において、候補領域１００から除外される領域を「除外領域」と称する場合がある。

ところで、従来は、候補領域１００から除外領域を除外する場合に、レンズに付着物が付着しているか否かに関わらず、同じ除外条件によって候補領域１００から除外領域を除外していた。

しかしながら、一旦、レンズに付着物が付着していると判定され、実際には付着物が付着しているにもかかわらず、撮像画像Ｉの状態によって、候補領域１００から除外領域として除外される領域があることがわかった。そのため、レンズへの付着物の付着判定が頻繁に切り替えられ、付着物検出が安定しないおそれがある。

そこで、実施形態に係る付着物検出装置１は、付着物検出方法を実行することで、安定した付着物検出を可能とした。

具体的には、実施形態に係る付着物検出装置１は、カメラ１０で撮像された撮像画像Ｉの各画素から検出されるエッジに基づき、レンズに付着した付着物に対応する付着物領域の候補となる候補領域１００を抽出する（Ｓ１）。

そして、付着物検出装置１は、付着物検出フラグが「ＯＦＦ」である場合には、第１除外条件を満たす除外領域を、候補領域１００から除外する（Ｓ２）。付着物検出フラグは、カメラ１０のレンズに付着物が付着していると判定されていない場合には「ＯＦＦ」となり、カメラ１０のレンズに付着物が付着していると判定されている場合には「ＯＮ」となる。第１除外条件については、後述する。

また、付着物検出装置１は、付着物検出フラグが「ＯＮ」である場合には、第１除外条件とは異なる第２除外条件を満たす除外領域を、候補領域１００から除外する（Ｓ３）。第２除外条件については、後述する。

これにより、付着物検出装置１は、付着物検出フラグに基づいて、異なる除外条件によって候補領域１００から除外領域を除外し、残った候補領域１００を用いて付着物の検出判定を行う（Ｓ４）。

例えば、付着物検出装置１は、付着物検出フラグが「ＯＮ」の場合には、付着物検出フラグが「ＯＦＦ」の場合よりも除外条件を緩和し、候補領域１００から除外領域を除外する。すなわち、付着物検出装置１は、付着物検出フラグが「ＯＮ」の場合には、付着物検出フラグが「ＯＦＦ」の場合よりも、候補領域１００が除外され難くする。

レンズに付着物が付着していると判定されている場合には、付着物検出装置１は、厳しい除外条件によって多くの候補領域１００を除外せずに、付着物の付着判定を緩和することによって、付着物が検出される状態を維持する。これによって、付着物検出装置１は、レンズへの付着物の付着判定が頻繁に切り替えられることを抑制し、安定した付着物検出が可能となる。

次に、実施形態に係る付着物検出装置１について、図２を参照して説明する。図２は、付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。

付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２０と、抽出部２１と、算出部２２と、変換部２３と、除外部２４と、判定部２５と、更新部２６と、検出部２７とを備える。記憶部３は、起伏条件情報ＤＢ３０と、付着候補情報ＤＢ３１とを備える。

ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２０、抽出部２１、算出部２２、変換部２３、除外部２４、判定部２５、更新部２６、および検出部２７として機能する。

また、制御部２の取得部２０、抽出部２１、算出部２２、変換部２３、除外部２４、判定部２５、更新部２６、および検出部２７の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。また、取得部２０、抽出部２１、算出部２２、変換部２３、除外部２４、判定部２５、更新部２６、および検出部２７は、統合されてもよく、複数に分けられてもよい。

また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

起伏条件情報ＤＢ３０は、起伏条件情報を記憶する。起伏条件情報は、後述の判定部２５による判定処理の基準となる条件を含む情報であり、例えば、輝度分布の起伏のパターン条件を含む。なお、パターン条件とは、輝度分布をマップ化した場合の起伏の形状パターンや、輝度分布における輝度のデータ列のパターン等である。なお、起伏条件情報を用いた判定処理については後述する。

付着候補情報ＤＢ３１は、付着物が検出された過去の撮像画像Ｉにおける候補領域１００の付着候補情報を記憶する。付着候補情報は、候補領域１００の矩形情報、および候補領域１００の輝度分布の起伏情報である。

矩形情報は、撮像画像Ｉにおける候補領域１００の位置、および大きさを示す情報である。矩形情報は、候補領域１００の左上のＸ座標、Ｙ座標、および候補領域１００の幅、高さである。Ｘ座標、およびＹ座標は、撮像画像Ｉ中の所定の座標を原点として設定される。なお、所定の座標は、各撮像画像Ｉにおいて同じ位置に設定される。

輝度分布の起伏情報は、候補領域１００における輝度分布の起伏変化のパターンである。輝度分布の起伏変化のパターンについては後述する。矩形情報、および輝度分布の起伏情報は、紐付けられて記憶されている。

取得部２０は、カメラ１０で撮像された画像を取得し、現在の撮像画像Ｉである現在フレームを生成（取得）する。具体的には、取得部２０は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。また、取得部２０は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。

また、取得部２０は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。このように、付着物検出装置１は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。

なお、取得部２０は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、取得部２０は、間引き処理を行わず、取得した画像と同じサイズの現在フレームを生成してもよい。

抽出部２１は、取得部２０が取得した撮像画像Ｉの中から候補領域１００を抽出する。具体的には、まず、抽出部２１は、撮像画像Ｉにおける各画素の輝度およびエッジ情報を抽出する。各画素の輝度は、例えば、０～２５５のパラメータで表現される。

また、抽出部２１は、各画素の輝度に基づいてエッジ検出処理を行って、各画素について、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジと、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジとを検出する。エッジ検出処理には、例えば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。

そして、抽出部２１は、Ｘ軸方向のエッジと、Ｙ軸方向のエッジとに基づき、三角関数を用いることで、画素のエッジ角度およびエッジ強度の情報を含むベクトルをエッジ情報として検出する。具体的には、エッジ角度は、ベクトルの向きによって表現され、エッジ強度は、ベクトルの長さによって表現される。

そして、抽出部２１は、予め作成された付着物の輪郭を示すテンプレート情報と、検出したエッジ情報とのマッチング処理（テンプレートマッチング）を行い、テンプレート情報と類似するエッジ情報を抽出する。そして、抽出部２１は、抽出したエッジ情報の領域、すなわち、付着物の輪郭を含む矩形状の領域である候補領域１００を抽出する。

また、抽出部２１は、候補領域１００における所定の画素列の輝度分布を抽出する。具体的には、抽出部２１は、除外領域が除外された候補領域１００における所定の画素列の輝度分布を抽出する。図３は、輝度分布の抽出対象となる画素列を説明する図である。図３に示すように、抽出部２１は、撮像画像Ｉにおける水平方向の３列の画素列Ｈ１～Ｈ３と、垂直方向の３列の画素列Ｖ１～Ｖ３とについて、輝度分布を抽出する。これにより、輝度分布を２次元の情報として扱うことができるため、後段の処理負荷を軽減できる。

なお、抽出する画素列は、水平方向、または、垂直方向のいずれか一方の画素列であってもよい。また、抽出する画素列の列数は、３列に限らず、２列以下や、４列以上であってもよい。

図２に戻って算出部２２について説明する。算出部２２は、除外領域が除外された候補領域１００を所定画素数を単位とする単位領域に分割し、単位領域毎に輝度の代表値を算出する。なお、算出部２２による代表値の算出方法については、図４および図５を用いて後述する。

変換部２３は、候補領域１００における画素の輝度を、所定の輝度範囲を単位とする単位輝度に変換する。例えば、変換部２３は、輝度を示す０～２５５のパラメータを所定数毎に区切った単位輝度に変換する。なお、上述の算出部２２によって算出される輝度の代表値は、変換部２３によって変換された単位輝度で表現可能である。かかる点について、図４および図５を用いて説明する。

図４および図５は、算出部２２の処理内容を示す図である。まず、図４を用いて、算出部２２による単位領域の設定方法について説明する。図４では、水平方向における一の画素列Ｈの輝度分布を示す。

図４に示すように、算出部２２は、水平方向における画素列を、例えば８個の単位領域Ｒ１～Ｒ８（まとめて単位領域Ｒと記載する場合がある。）に分割する。なお、単位領域Ｒ１～Ｒ８の各幅（画素数）は、同じ（すなわち、画素列を均等割りした画素数）であってもよく、各幅がそれぞれ異なってもよい。

また、単位領域Ｒの分割数は、８個に限らず、任意の数を設定可能である。なお、単位領域Ｒの分割数は、撮像画像Ｉから抽出される候補領域１００のサイズに関わらず、すべて同じ数（図４では８個）であることが好ましい。これにより、抽出される候補領域１００のサイズが様々であっても、単位領域Ｒの数を揃えることで、統一した情報となるため、後段の判定処理等の処理負荷を抑えることができる。

次に、図５に示すように、算出部２２は、単位領域Ｒ毎に輝度の代表値を算出する。図５の上段に示すように、変換部２３は、算出部２２による代表値の算出処理に先立って、各画素の輝度値（例えば、０～２５５）を単位輝度へ変換する。具体的には、図５では、０～２５５を８個の単位輝度に均等に分割する。単位輝度は、図５の中段に示す「０」～「７」である。この場合、輝度値の幅が３２単位で分割される。例えば「０」の単位輝度は輝度値で０～３１に対応し、「１」の単位輝度は輝度値で３２～６３に対応する。つまり、単位輝度への変換は、輝度の分割数を減らす処理である。これにより、輝度分布の輝度を所望の単位輝度の数まで減らすことができるため、後段の処理負荷を軽減できる。なお、輝度から単位輝度への変換において、その分割数ならびに分割幅は、任意に設定可能である。上記のように均等幅でなくてもよい。

そして、算出部２２は、単位領域Ｒ１～Ｒ８毎に単位輝度のヒストグラムを作成する。図５の中段では、階級を単位輝度「０」～「７」とし、度数を画素数とする一の単位領域Ｒ１のヒストグラムを示す。

そして、図５の下段に示すように、算出部２２は、作成したヒストグラムに基づいて単位領域Ｒ１～Ｒ８それぞれについて、輝度の代表値を算出する。例えば、算出部２２は、ヒストグラムにおける最頻値の階級（図５では、階級「３」）の単位輝度を、単位領域Ｒ１における輝度の代表値として算出する。これにより、輝度分布のデータ数を画素数から単位領域Ｒの数に減らすことができるため、後段の処理負荷を軽減できる。

なお、算出部２２は、最頻値の単位輝度を代表値としたが、これに限らず、例えば、ヒストグラムにおける中央値や平均値等を代表値としてもよい。

また、算出部２２は、ヒストグラムに基づいた代表値の算出処理に限らず、例えば、各単位領域Ｒについて、輝度値の平均値を算出し、かかる平均値に対応する単位輝度を輝度の代表値としてもよい。

また、算出部２２は、単位輝度を代表値としたが、例えば、単位領域Ｒにおける輝度値の平均値等をそのまま代表値としてもよい。つまり、代表値は、単位輝度で表現されもよく、輝度値で表現されてもよい。

また、算出部２２は、図６に示すように、隣接する単位領域Ｒ１～Ｒ８の単位輝度の変化量Ｄ１～Ｄ７を算出する。図６は、算出部２２の処理内容を示す図である。図６の上段には、一の候補領域１００における輝度分布を示しており、単位領域Ｒ１～Ｒ８毎の代表値を棒グラフに中抜きで示している。

具体的には、算出部２２は、隣接する単位領域間で、それぞれの単位輝度の差分をとり、変化量とする。すなわち隣接する単位領域間でどの程度輝度に変化が生じたかを変化量として算出する。なお、ここでは単純に差分としたが方法はこれに限らない。例えば各種の補完方法によって輝度分布を表す連続関数を生成し、その微分値を変化量として算出してもよい。なお、図６の下段には、変化量Ｄ１～Ｄ７の各値が入力されたテーブルを示している。

変化量Ｄ１～Ｄ７のパターンは、輝度分布の起伏変化のパターンである。すなわち、輝度分布の起伏変化のパターンは、隣接する単位領域Ｒ１～Ｒ８の単位輝度の変化量Ｄ１～Ｄ７のパターンである。

なお、輝度分布の起伏情報として、付着候補情報ＤＢ３１に記憶される輝度分布の起伏変化のパターンは、単位領域Ｒ１～Ｒ８の単位輝度であってもよい。

図２に戻り、除外部２４は、抽出部２１によって抽出された候補領域１００から、所定の除外条件を満たす除外領域を除外する。具体的には、除外部２４は、付着物検出フラグが「ＯＦＦ」の場合には、第１除外条件を満たす除外領域を候補領域１００から除外する。また、除外部２４は、付着物検出フラグが「ＯＮ」の場合には、第２除外条件を満たす除外領域を候補領域１００から除外する。第１除外条件、および第２除外条件については後述する。

判定部２５は、付着物検出フラグが「ＯＮ」であるか、「ＯＦＦ」であるかを判定する。また、判定部２５は、候補領域１００が所定の除去条件（第１除去条件、および第２除去条件）を満たすか否かを判定する。

判定部２５は、付着物検出フラグが「ＯＦＦ」の場合には、候補領域１００が第１除去条件を満たすか否かを判定する。なお、判定部２５は、抽出部２１によって抽出された全ての候補領域１００について第１除去条件を満たすか否かを判定する。第１除去条件は、路面反射に起因する誤検出を防止するための条件である。

ここで、第１除去条件について図７を参照し説明する。図７は、第１除去条件を説明する図である。

判定部２５は、図７の上段に示す候補領域１００の中央部分の輝度値について、図７の中段に示すように、Ｙ軸方向に隣接する輝度値の差分を算出する。さらに、判定部２５は、算出した差分について、図７の下段に示すように、さらにＹ軸方向に隣接する差分の変化量を算出する。なお、差分の変化量は、絶対値である。

そして、判定部２５は、度数総和が所定値（例えば、１０００）となるように正規化し、図８に示すようにヒストグラムを生成する。図８は、差分の変化量を正規化したヒストグラムを示す図である。図８に示すヒストグラムでは、横軸が差分の変化量であり、縦軸が度数である。判定部２５は、差分の変化量が３５以上の度数を度数和として算出し、度数和が５以上である場合に、第１除外条件を満たすと判定する。度数和が５以上となる候補領域１００は、候補領域１００の中心が明るい路面反射が撮像された領域である。そのため、度数和が５以上である候補領域１００は、除外領域であり、上記した除外部２４において除外される。

ここでは、差分の変化量を用いた度数和を算出し、候補領域１００を路面反射が撮像された領域であるか否かを判定している。これは、輝度が急激に変化し、輝度値の変化が「＋」方向から「－」方向に、または、「－」方向から「＋」方向に大きい場合には、路面反射の領域である可能性が高いためである。差分の変化量を算出することによって、輝度値の変化の方向性がわかり、候補領域１００を路面反射が撮像された領域であるか否かを正確に判定することができる。

例えば、図７の中段において、右側の輝度値の変化が、「０」→「２０」→「－２０」→「－３」→「－１」である場合には、差分の変化量は、「２０」→「４０」→「１７」→「２」となる。このように、差分の変化量を算出することによって、輝度値の大きな変化を検出することができる。従って、差分の変化量の度数和を算出することによって、候補領域１００を路面反射が撮像された領域であるか否かを正確に判定することができる。

このように、判定部２５は、候補領域１００の中心部分の輝度情報に基づいた特徴が誤検知特徴に合致するか否かを判定する。そして、候補領域１００の中心部分の輝度情報に基づいた特徴が誤検知特徴に合致する除外領域は、除外部２４によって除外される。

一方、判定部２５は、度数和が５未満である場合に、第１除外条件を満たさないと判定する。度数和が５未満である候補領域１００は、除外領域ではなく、上記した除外部２４において除外されない。

また、判定部２５は、付着物検出フラグが「ＯＮ」の場合には、候補領域１００が第２除外条件を満たすか否かを判定する。なお、判定部２５は、抽出部２１によって抽出された全ての候補領域１００について第２除外条件を満たすか否かを判定する。

判定部２５は、候補領域１００の付着候補情報が、付着候補情報ＤＢ３１に記憶されている付着候補情報に一致しない場合に、第２除外条件を満たすと判定する。第２除外条件は、第１除外条件よりも除外条件が緩和された条件である。

具体的には、判定部２５は、候補領域１００の矩形情報が、付着候補情報ＤＢ３１に記憶されている矩形情報に一致せず、または候補領域１００の輝度分布の起伏情報が、付着候補情報ＤＢ３１に記憶されている輝度分布の起伏情報に一致しない場合に、第２除外条件を満たすと判定する。第２除外条件を満たす候補領域１００は、除外領域であり、上記した除外部２４において除外される。

一方、判定部２５は、候補領域１００の付着候補情報が、付着候補情報ＤＢ３１に記憶されている付着候補情報に一致する場合に、第２除外条件を満たさないと判定する。

具体的には、判定部２５は、候補領域１００の矩形情報が、付着候補情報ＤＢ３１に記憶されている矩形情報に一致し、かつ候補領域１００の輝度分布の起伏パターンが、付着候補情報ＤＢ３１に記憶されている輝度分布の起伏パターンに一致する場合に、第２除外条件を満たさないと判定する。第２除外条件を満たさない候補領域１００は、除外領域ではなく、上記した除外部２４において除外されない。すなわち、撮像画像Ｉの同じ位置に、同じ形状の候補領域１００が抽出される場合には、抽出された候補領域１００は、除外されない。

また、判定部２５は、候補領域１００に含まれる画素の輝度分布の起伏に基づいて候補領域１００が付着物領域であるか否かを判定する。なお、判定部２５は、抽出部２１によって抽出された候補領域１００のうち、除外部２４によって除外領域が除外された候補領域１００について、付着物領域であるか否か判定する。

判定部２５は、輝度分布の起伏変化のパターンが所定の変化パターンを満たす場合に、候補領域１００が付着物領域であると判定する。

所定の変化パターンは、起伏条件情報として、記憶部３の起伏条件情報ＤＢ３０に記憶されている。所定のパターンは、変化量Ｄ１～Ｄ７それぞれの閾値範囲を含み、例えば、図９の上段に示すテーブルとして記憶される。所定の変化パターンは、複数記憶されている。図９は、判定部２５による判定処理を説明する図である。なお、図９の下段には、候補領域１００における変化量Ｄ１～Ｄ７の各値が入力されたテーブルを示している。

判定部２５は、候補領域１００における変化量Ｄ１～Ｄ７の各値と、記憶部３に記憶された起伏条件情報とを比較して判定処理を行う。判定部２５は、候補領域１００における変化量Ｄ１～Ｄ７それぞれが、起伏条件情報で設定された変化量Ｄ１～Ｄ７それぞれの閾値範囲に収まる場合に、候補領域１００が付着物領域であると判定する。

換言すれば、判定部２５は、隣接する単位領域Ｒ１～Ｒ８の単位輝度の変化量Ｄ１～Ｄ７のパターンが、起伏条件情報で設定された閾値範囲である変化パターンを満たす場合に、付着物領域であると判定する。

また、判定部２５は、変化量Ｄ１～Ｄ７を用いることで、全体的な輝度値の大小を無視できるため、起伏の形状が類似して輝度値の大小が異なる場合による誤判定を減らすことができる。さらに、輝度値の大小を無視できるため、輝度値毎に判定条件を設定する必要がなくなることで、条件を記憶するための記憶容量を削減でき、かつ、輝度値毎に判定処理を行う必要がないため、処理量を減らすことができる。

また、起伏条件情報において変化量Ｄ１～Ｄ７の最大および最小を設定して幅をもたせることで、付着物の形状がくずれたとしても付着物領域として検出することができる。すなわち、付着物の形状が異なる場合であっても付着物領域として高精度に検出することができる。

なお、図９では、起伏条件情報について、すべての変化量Ｄ１～Ｄ７の閾値範囲を設定した場合を示したが、小さいサイズの付着物領域を検出する場合には、変化量Ｄ１～Ｄ７のうち、一部の変化量の閾値範囲のみを設定してもよい。

また、図９では、判定部２５は、起伏条件情報の閾値範囲に含まれるか否かで判定を行う場合を示したが、例えば、変化量Ｄ１～Ｄ７の閾値範囲に基づいて輝度分布の起伏がマップ化された起伏条件情報に基づいて判定処理を行ってもよい。かかる点について、図１０を用いて説明する。

図１０の上段では、輝度分布の起伏変化の変化量の閾値範囲を示しており、図１０の下段には、図１０の上段に示す変化量Ｄ１～Ｄ４の閾値範囲がマップ化された起伏条件情報を示している。具体的には、横軸を単位領域Ｒ１～Ｒ８の位置とし、縦軸を相対輝度としたマップを示している。なお、かかるマップは、予め生成される。

例えば、変化量Ｄ１は、＋１～＋２の閾値範囲であるため、単位領域Ｒ１には相対輝度の所定位置の２マスを閾値として設定する。そして、単位領域Ｒ２は、変化量Ｄ１の閾値範囲を満たす位置の１マスを閾値として設定する。つづいて、変化量Ｄ２は、値が＋１であるため、単位領域Ｒ２に設定されたマスから１つ上がった単位領域Ｒ３のマスを閾値として設定する。つづいて、変化量Ｄ３は、値が－１であるため、単位領域Ｒ３に設定されたマスから１つ下がった単位領域Ｒ４のマスを閾値として設定する。つづいて、変化量Ｄ４は、－２～－１の閾値範囲であるため、単位領域Ｒ４に設定されたマスから１つ、および、２つ下がった単位領域Ｒ５の２つのマスを閾値として設定する。これにより、起伏条件情報のマップが完成する。

つまり、起伏条件情報におけるマップは、変化量Ｄ１～Ｄ４に基づく単位領域Ｒ１～Ｒ５における単位輝度の起伏形状を表現した情報である。なお、単位領域Ｒ６～Ｒ８については、変化量Ｄ５～Ｄ７の閾値範囲が設定されていないため、検出される輝度が任意でよい。かかる起伏条件情報およびマップは、予め複数のパターン分用意されている。なお、図１０は、凸状の起伏条件情報を示すが、凹状の起伏条件情報およびマップも用意されている。

判定部２５は、上記の同様の手法により、抽出した候補領域１００における単位領域Ｒ１～Ｒ８の変化量Ｄ１～Ｄ７に基づいてマップを作成し、起伏条件情報における上記のマップとのマッチング処理を行い、双方のマップが一致する場合に、付着物領域と判定する。

図１０に示す例では、判定部２５は、候補領域１００に基づくマップが、起伏条件情報のマップのような凸状である場合に、中心から周囲に向かって暗くなるぼやけた領域である付着物領域と判定する。一方、判定部２５は、候補領域１００に基づくマップが、起伏条件情報のマップのような凹状である場合に、中心から周囲に向かって明るくなるぼやけた領域である付着物領域と判定する。

つまり、判定部２５は、候補領域１００における輝度分布の起伏が、凸状、または、凹状である場合、候補領域１００が付着物領域であると判定する。これにより、輝度値（単位輝度）の要素を除いた起伏形状のみに判定処理を行うことができるため、輝度値の大小による未検出を減らすことができる。従って、付着物を高精度に検出することができる。

また、判定部２５は、時系列の撮像画像Ｉに基づき、候補領域１００を連続して付着物領域である判定した場合に、候補領域１００が付着物領域の確定領域であると判定する。

また、判定部２５は、確定領域の占有率を算出することによって、最終的な付着物の判定処理を行う。具体的には、判定部２５は、占有率が予め設定された閾値（例えば、４０％）以上の場合に、カメラ１０のレンズに付着物が付着していると判定する。判定部２５は、占有率が閾値よりも小さい場合に、カメラ１０のレンズに付着物が付着していないと判定する。

更新部２６は、カメラ１０のレンズに付着物が付着していると判定された場合に、付着物検出フラグを「ＯＮ」にする。また、更新部２６は、カメラ１０のレンズに付着物が付着していないと判定された場合に、付着物検出フラグを「ＯＦＦ」にする。

また、更新部２６は、付着候補情報ＤＢ３１を更新する。更新部２６は、付着物検出フラグが「ＯＮ」であり、かつ確定領域における付着候補情報が付着候補情報ＤＢ３１に記憶されていない場合には、新たに付着候補情報を記憶する。

また、更新部２６は、付着物検出フラグが「ＯＮ」であり、かつ付着候補情報ＤＢ３１に記憶された付着候補情報に一致する付着候補情報を有する候補領域１００が連続して所定回数（例えば、３回）検出されない場合には、一致しない付着候補情報を付着候補情報ＤＢ３１から消去する。すなわち、更新部２６は、付着物検出フラグが「ＯＮ」であり、かつ所定回数連続して、撮像画像Ｉにおける候補領域１００の付着候補情報に一致しない付着候補情報を付着候補情報ＤＢ３１から消去する。

なお、更新部２６は、付着候補情報のうち矩形情報に基づいて付着候補情報を付着候補情報ＤＢ３１から消去してもよい。具体的には、更新部２６は、付着物検出フラグが「ＯＮ」であり、かつ付着候補情報ＤＢ３１に記憶された付着候補情報の矩形情報に一致する矩形情報を有する候補領域１００が連続して所定回数（例えば、３回）検出されない場合には、一致しない付着候補情報を付着候補情報ＤＢ３１から消去する。

検出部２７は、判定部２５による判定結果に基づいて、候補領域１００から付着物領域を検出する。また、検出部２７は、判定部２５による判定結果に基づいて、付着物領域の確定領域を検出する。

次に、実施形態に係る付着物検出処理について図１１を参照し説明する。図１１は、実施形態に係る付着物検出処理を説明するフローチャートである。

制御部２は、カメラ１０で撮像された画像を取得し、取得した画像に対してグレースケール化処理および間引き処理した後、縮小した画像の画素値に基づいて生成した積分画像を撮像画像Ｉとして取得する（Ｓ１００）。

制御部２は、撮像画像Ｉの各画素から検出されるエッジ情報に基づき、カメラ１０に付着した付着物に対応する付着物領域の候補領域１００を抽出する（Ｓ１０１）。

制御部２は、抽出した候補領域１００から除外領域を除外する除外処理を行い（Ｓ１０２）、除外領域が除外された候補領域１００から付着物領域を検出し（Ｓ１０３）、付着物領域の確定領域を検出する（Ｓ１０４）。

制御部２は、占有率を算出し（Ｓ１０５）、占有率が閾値以上であるか否かを判定する（Ｓ１０６）。制御部２は、占有率が閾値以上である場合には（Ｓ１０６：Ｙｅｓ）、付着物検出フラグを「ＯＮ」にする（Ｓ１０７）。制御部２は、占有率が閾値よりも小さい場合には（Ｓ１０６：Ｎｏ）、付着物検出フラグを「ＯＦＦ」にする（Ｓ１０８）。

次に、実施形態に係る除外処理について図１２を参照し説明する。図１２は、実施形態に係る除外処理を説明するフローチャートである。

制御部２は、付着物検出フラグが「ＯＦＦ」であるか否かを判定する（Ｓ２００）。制御部２は、付着物検出フラグが「ＯＦＦ」である場合には（Ｓ２００：Ｙｅｓ）、候補領域１００が第１除外条件を満たすか否かを判定する（Ｓ２０１）。制御部２は、候補領域１００が第１除外条件を満たす場合には（Ｓ２０１：Ｙｅｓ）、候補領域１００を除外領域として除外する（Ｓ２０２）。

制御部２は、抽出された全ての候補領域１００について第１除外条件を満たすか否かの判定を行ったか否かを判定する（Ｓ２０３）。制御部２は、第１除外条件を満たすか否かの判定を行っていない候補領域１００がある場合には、第１除外条件を満たすか否かの判定を行っていない候補領域１００に対し、第１除外条件を満たすか否かを判定する（Ｓ２０１）。

制御部２は、付着物検出フラグが「ＯＮ」である場合には（Ｓ２００：Ｎｏ）、候補領域１００が第２除外条件を満たすか否かを判定する（Ｓ２０４）。制御部２は、候補領域１００が第２除外条件を満たす場合には（Ｓ２０４：Ｙｅｓ）、候補領域１００を除外領域として除外する（Ｓ２０５）。

制御部２は、抽出された全ての候補領域１００について第２除外条件を満たすか否かの判定を行ったか否かを判定する（Ｓ２０６）。制御部２は、第２除外条件を満たすか否かの判定を行っていない候補領域１００がある場合には、第２除外条件を満たすか否かの判定を行っていない候補領域１００に対し、第２除外条件を満たすか否かを判定する（Ｓ２０４）。

付着物検出装置１は、撮像画像Ｉから付着物の候補領域１００を抽出し、付着物検出フラグが「ＯＦＦ」である場合には、第１除外条件を満たす除外領域を、抽出した候補領域１００から除外する。また、付着物検出装置１は、付着物検出フラグが「ＯＮ」である場合には、第２除外条件を満たす除外領域を、抽出した候補領域１００から除外する。

これにより、付着物検出装置１は、カメラ１０のレンズへの付着物の付着判定が頻繁に切り替えられることを抑制し、付着物検出を安定させることができる。

付着物検出装置１は、第２除外条件を第１除外条件よりも緩和し、候補領域１００から除外領域を除外する。

これにより、付着物検出装置１は、付着物検出フラグが「ＯＮ」である場合に、誤検出により候補領域１００が除外領域として除外されることを抑制し、付着物検出フラグが「ＯＦＦ」になることを抑制することができる。

付着物検出装置１は、付着物検出フラグが「ＯＦＦ」である場合には、候補領域１００の中心部分の輝度情報に基づいた特徴が誤検知特徴に合致する除外領域を候補領域１００から除外する。

これにより、付着物検出装置１は、路面反射の影響によって抽出された領域を、候補領域１００から除外することができ、付着物の検出精度を向上させることができる。

付着物検出装置１は、付着物検出フラグが「ＯＮ」である場合には、付着候補情報ＤＢ３１に記憶された付着候補情報に一致しない付着候補情報を有する除外領域を候補領域１００から除外する。

具体的には、付着物検出装置１は、付着候補情報ＤＢ３１に記憶された候補領域１００の矩形情報、および候補領域１００の輝度分布の起伏情報に一致しない除外領域を候補領域１００から除外する。すなわち、付着物検出装置１は、付着候補情報ＤＢ３１に記憶された候補領域１００の矩形情報、および候補領域１００の輝度分布の起伏情報に一致する領域を候補領域１００から除外しない。

これにより、付着物検出装置１は、撮像画像Ｉの同じ位置に同じ形状の特徴を有する領域が候補領域１００から除外されることを抑制し、付着物検出フラグが「ＯＦＦ」になることを抑制することができる。

また、付着物検出装置１は、取得された撮像画像Ｉから抽出された候補領域１００の付着候補情報に、所定回数連続して一致しない付着候補情報を付着候補情報ＤＢ３１から消去する。

これにより、付着物検出装置１は、不適切な付着候補情報に基づいて、候補領域１００の選別が行われることを抑制することができる。そのため、付着物検出装置１は、処理負荷を低減することができる。また、付着物検出装置１は、付着物の検出精度を向上させることができる。また、付着物検出装置１は、候補領域１００が誤抽出された場合に、誤抽出された情報に基づいて付着候補情報ＤＢ３１から付着候補情報が消去されることを抑制することができる。

変形例に係る付着物検出装置１は、車速が所定の低車速（例えば、１５ｋｍ／ｈ）以下である場合に、上記第１除外条件、または第２除外条件を満たす除外領域を候補領域１００から除外してもよい。

車速が低い場合に、第１除外条件を満たす領域を除外領域として、候補領域１００から除外すると、付着物検出フラグが「ＯＮ」から「ＯＦＦ」に変更される頻度が高くなる。これは、車速が低くなると、路面反射の影響によって候補領域１００が除外されやすくなるためである。

これに対し、変形例に係る付着物検出装置１は、車速が低い場合に、上記処理を適用することによって、付着物検出フラグが誤って「ＯＮ」から「ＯＦＦ」にされることを抑制することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ カメラ（撮像装置）
２０ 取得部
２１ 抽出部
２４ 除外部
２５ 判定部
２６ 更新部
２７ 検出部
３０ 起伏条件情報ＤＢ
３１ 付着候補情報ＤＢ

Claims (6)

1. 撮像装置によって撮像された撮像画像から付着物の候補領域を抽出する抽出部と、
   所定の除外条件を満たす領域を前記候補領域から除外する除外部と、
   前記候補領域から前記除外条件を満たす領域が除外されて確定される領域を確定領域とすると、前記撮像画像の対象領域に対して前記確定領域が占める面積の割合である占有領域が予め設定された閾値以上となった場合に、前記撮像装置に前記付着物が付着していると判定する判定部と、
   前記判定部が前記撮像装置に前記付着物が付着していると判定した場合に、付着物検出フラグを「ＯＮ」に更新し、前記判定部が前記撮像装置に前記付着物が付着していないと判定した場合に、前記付着物検出フラグを「ＯＦＦ」に更新する更新部と、
   前記撮像装置に対する前記付着物の付着が検出された過去の撮像画像における前記候補領域の付着候補情報を記憶する記憶部と
   を備え、
   前記除外部は、
   前記更新部によって前記付着物検出フラグが「ＯＦＦ」に更新されていた場合には、第１除外条件を満たす領域を前記候補領域から除外し、
   前記更新部によって前記付着物検出フラグが「ＯＮ」に更新されていた場合には、前記第１除外条件とは異なる第２除外条件を満たす領域を前記候補領域から除外し、
   前記更新部による更新時に対して、前記撮像画像の同じ位置に同じ形状の前記候補領域が抽出されている場合には、前記第２除外条件を満たさないものとし、
   前記記憶部に記憶された前記付着候補情報と、現在の撮像画像における付着候補情報とが一致しない領域は、前記第２除外条件を満たす領域であるものとする
   ことを特徴とする付着物検出装置。
2. 前記除外部は、
   前記更新部によって前記付着物検出フラグが「ＯＦＦ」に更新されていた場合には、前記候補領域の中心部分の輝度情報に基づいた特徴が誤検知特徴に合致する領域を前記候補領域から除外する
   ことを特徴とする請求項１に記載の付着物検出装置。
3. 前記記憶部は、
   前記付着候補情報として、前記過去の撮像画像における前記候補領域の輝度分布の起伏情報、および前記過去の撮像画像における前記候補領域の矩形情報を記憶し、
   前記除外部は、
   前記撮像装置に対する前記付着物の付着が検出されている場合には、前記記憶部に記憶された前記起伏情報、および前記矩形情報と、現在の撮像画像における起伏情報、および矩形情報とが一致しない領域を前記候補領域から除外する
   ことを特徴とする請求項１に記載の付着物検出装置。
4. 前記更新部は、前記撮像画像における候補領域の付着候補情報に、所定回数連続して一致しない前記付着候補情報を前記記憶部から消去する
   ことを特徴とする請求項１または３に記載の付着物検出装置。
5. 前記除外部は、
   前記撮像装置が搭載された車両の速度が所定の低車速以下である場合に、前記所定の除外条件を満たす領域を、前記候補領域から除外する
   ことを特徴とする請求項１～４のいずれか一つに記載の付着物検出装置。
6. 撮像装置によって撮像された撮像画像から付着物の候補領域を抽出する抽出工程と、
   所定の除外条件を満たす領域を、前記候補領域から除外する除外工程と、
   前記候補領域から前記除外条件を満たす領域が除外されて確定される領域を確定領域とすると、前記撮像画像の対象領域に対して前記確定領域が占める面積の割合である占有領域が予め設定された閾値以上となった場合に、前記撮像装置に前記付着物が付着していると判定する判定工程と、
   前記判定工程において前記撮像装置に前記付着物が付着していると判定された場合に、付着物検出フラグを「ＯＮ」に更新し、前記判定工程において前記撮像装置に前記付着物が付着していないと判定された場合に、前記付着物検出フラグを「ＯＦＦ」に更新する更新工程と、
   前記撮像装置に対する前記付着物の付着が検出された過去の撮像画像における前記候補領域の付着候補情報を記憶する記憶工程と
   を含み、
   前記除外工程では、
   前記更新工程において前記付着物検出フラグが「ＯＦＦ」に更新されていた場合には、第１除外条件を満たす領域が前記候補領域から除外され、
   前記更新工程において前記付着物検出フラグが「ＯＮ」に更新されていた場合には、前記第１除外条件とは異なる第２除外条件を満たす領域が前記候補領域から除外され、
   前記更新工程における更新時に対して、前記撮像画像の同じ位置に同じ形状の前記候補領域が抽出されている場合には、前記第２除外条件を満たさないものとし、
   前記記憶工程において記憶された前記付着候補情報と、現在の撮像画像における付着候補情報とが一致しない領域は、前記第２除外条件を満たす領域であるものとする
   ことを特徴とする付着物検出方法。

Images