以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
まず、図1A~図1Eを用いて、実施形態に係る付着物検出方法の概要について説明する。図1A~図1Eは、実施形態に係る付着物検出方法の概要説明図(その1)~(その5)である。
図1Aに示すように、たとえば、車載カメラのレンズ表面に雪が付着した状態で撮像された撮像画像Iがあるものとする。以下では、実施形態に係る付着物検出方法を適用した付着物検出装置1(図2参照)が、かかる撮像画像Iの各画素の輝度勾配に関する特徴量(以下、「エッジ特徴量」と言う場合がある)に基づいて、雪によって車載カメラのレンズの大半が埋もれている状態(以下、「埋もれ状態」と言う場合がある)を検出する場合を例に挙げる。
具体的には、図1Aに示すように、付着物検出装置1は、撮像画像Iの所定の注目領域であるROI(Region Of Interest)から算出される各画素PXのエッジ特徴量に基づいて、雪の付着状態を検出する。エッジ特徴量は、角度特徴量および強度特徴量を含む。角度特徴量は、各画素PXのエッジベクトル(輝度勾配)の向き(以下、「エッジ向き」と言う場合がある)である。強度特徴量は、各画素PXのエッジベクトルの大きさ(以下、「エッジ強度」と言う場合がある)である。
なお、付着物検出装置1は、画像処理における処理負荷を軽減するため、かかるエッジ特徴量を、所定数の画素PXからなるセル100単位で取り扱う。これにより、画像処理における処理負荷の軽減に資することができる。また、ROIを構成する単位領域UAは、かかるセル100の集まりである。
つづいて、付着物検出装置1は、かかるセル100毎に算出したエッジ特徴量に基づいて、単位領域UA毎の特徴量である領域特徴量を算出する。領域特徴量は、言わば単位領域UA毎におけるエッジ特徴量の統計的特徴量であり、たとえばペア領域の個数およびペア領域のエッジ強度の総和を含む。ここで、ペア領域は、隣接し、エッジ向きが互いに逆向きであるセル100の組み合わせである。
そのうえで、付着物検出装置1は、かかる領域特徴量に基づいて、単位領域UA毎に付着物の付着状態を判定する。そして、付着物検出装置1は、その単位領域UA毎の判定結果に基づき、レンズの埋もれ状態を判定する。
より具体的には、図1Aに示すように、付着物検出装置1は、撮像画像Iにおいて、所定数のセル100が上下方向および左右方向に配列された所定の領域である単位領域UA毎に、まずセル100単位でエッジ特徴量を算出する(ステップS1)。エッジ特徴量は、上述したようにエッジ向きおよびエッジ強度である。
セル100のエッジ向きは、図1Aに示すように、所定の角度範囲で角度分類される各画素PXのベクトル向きの代表値であり、図1Aの例では、90°の角度範囲毎に区切られた上下左右のいずれかで決定される。また、セル100のエッジ強度は、各画素PXのベクトル強度の代表値である。なお、かかるセル100単位のエッジ特徴量の算出処理については、図3および図4を用いて後述する。
つづいて、付着物検出装置1は、ステップS1で算出したセル100毎のエッジ特徴量に基づいて、単位領域UA毎の領域特徴量を算出する(ステップS2)。そして、付着物検出装置1は、算出した領域特徴量に基づいて単位領域UA毎の付着状態(「付着」か「非付着」か)を判定する(ステップS3)。
そして、たとえばROI内の付着率が一定以上になれば、付着物検出装置1は、車載カメラのレンズの大半が埋もれている「埋もれ」であると仮判定する(ステップS4)。ここで、付着率は、たとえばROI内において「付着」と判定された単位領域UAである付着箇所の面積率である。
また、「仮判定」とは、付着物検出装置1は、1フレーム分の処理結果だけによらず、過去の判定履歴の内容を加味した総合的な判断によって判定結果を確定させるため、ステップS4の段階では「仮判定」と表現している。
ここで、かかる仮判定の内容は、図1Bに示すように、仮判定フラグによって示される。仮判定フラグは、値としてたとえば「1」、「-1」、「0」をとりうる。
値「1」の意味は、「埋もれ」である。かかる「1」は、たとえば付着率が40%以上である場合に設定される。また、値「-1」の意味は、「埋もれでない」である。かかる「-1」は、たとえば付着率が30%未満である場合に設定される。また、値「0」の意味は、「キープ」である。かかる「0」は、たとえば付着率が上記以外である場合または判定困難である場合等に設定される。
そして、付着物検出装置1は、図1Cに示すように、処理中の撮像画像Inを直近分として含む、所定数(ここでは、たとえば9)の過去フレーム分の仮判定フラグの履歴に基づいて埋もれ状態を確定させる。かかる仮判定フラグの履歴を「判定履歴情報」と言う。
図1Dに示すように、付着物検出装置1は、かかる判定履歴情報の履歴9個中、5個以上が「1」であれば、埋もれ状態を「埋もれ」と確定させ、仮判定フラグに対する本判定フラグである「埋もれフラグ」をオンする。
また、付着物検出装置1は、かかる履歴9個中、5個以上が「-1」であれば、埋もれ状態を「埋もれでない」と確定させ、「埋もれフラグ」をオフする。なお、以下では、かかる履歴9個中、5個以上の成立条件を、「5/9条件」と言う場合がある。
このため、埋もれ状態は、通常は「埋もれ」の仮判定から最短でも5フレームは状態の安定を待った後に、埋もれフラグをオンする動作となる。これにより、埋もれ状態の判定結果が不安定化するのを防止することができる。
ただし、車両のIG(イグニッション)オンに際しては、たとえば駐車中だった車両に対する積雪等の影響が考えられるため、通常よりもレスポンスよく埋もれ状態の確定結果が通知されることが好ましい。
そこで、図1Eに示すように、実施形態に係る付着物検出方法では、車両のIGオンに際して、判定履歴情報の直近分から過去分へ向けて所定個数分(ここでは、2個)、初期値として「1」を設定することとした。
すると、図1Eに示すように、これにより、IGオン後、最短3フレーム目で「埋もれ」との確定が可能となる。すなわち、実施形態に係る付着物検出方法では、車両のIGオンに際しては、埋もれ状態の判定結果の確定条件の成立が早まるように、判定履歴情報に所定の初期値を設定することとした。
これにより、実施形態に係る付着物検出方法によれば、付着物の検出性能を向上させることができる。
なお、図1Eに示した例では、判定履歴情報に対する初期値の設定によって、埋もれ状態の判定結果の確定条件の成立を早めることとしたが、確定条件そのもの(たとえば、前述の5/9条件)を緩和することとしてもよい。かかる例については、図13を用いて後述する。
以下、上述した実施形態に係る付着物検出方法を適用した付着物検出装置1の構成例について、さらに具体的に説明する。
図2は、実施形態に係る付着物検出装置1のブロック図である。なお、図2では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。
換言すれば、図2に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
図2に示すように、実施形態に係る付着物検出装置1は、記憶部2と、制御部3とを備える。また、付着物検出装置1は、カメラ10と、IGスイッチ20と、車速センサ30と、各種機器50とに接続される。
なお、図2では、付着物検出装置1が、カメラ10、IGスイッチ20、車速センサ30および各種機器50とは別体で構成される場合を示したが、これに限らず、カメラ10、IGスイッチ20、車速センサ30および各種機器50の少なくともいずれかと一体に構成されてもよい。
カメラ10は、たとえば、魚眼レンズ等のレンズと、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子とを備えた車載カメラである。カメラ10は、たとえば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Iを付着物検出装置1へ出力する。
IGスイッチ20は、イグニッションスイッチである。車速センサ30は、車両の車速を検出するセンサである。
各種機器50は、付着物検出装置1の検出結果を取得して、車両の各種制御を行う機器である。各種機器50は、たとえば、カメラ10のレンズに付着物が付着していることやユーザへの付着物の拭き取り指示を通知する表示装置、流体や気体等をレンズへ向けて噴射して付着物を除去する除去装置、および、自動運転等を制御する車両制御装置などを含む。
記憶部2は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図2の例では、判定履歴情報21と、テンプレート情報22と、閾値情報23とを記憶する。
判定履歴情報21は、図1Dおよび図1Eに示した判定履歴情報に該当する。テンプレート情報22は、後述する算出部33が実行するマッチング処理において用いられるテンプレートに関する情報である。閾値情報23は、後述する判定部34が実行する判定処理において用いられる閾値に関する情報である。
制御部3は、コントローラ(controller)であり、たとえば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、付着物検出装置1内部の記憶デバイスに記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部3は、たとえば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。
制御部3は、取得部31と、設定部32と、算出部33と、判定部34とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
取得部31は、カメラ10で撮像された撮像画像Iを取得する。取得部31は、取得した撮像画像Iにおける各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行うとともに、各画素について平滑化処理を行って、算出部33へ出力する。なお、平滑化処理にはたとえば、平均化フィルタや、ガウシアンフィルタ等の任意の平滑化フィルタを用いることができる。また、グレースケール化処理や、平滑化処理については、省略されてもよい。
また、取得部31は、IGスイッチ20または車速センサ30からの入力信号に基づいて、車両の状況を取得する。また、取得部31は、取得した車両の状況を設定部32へ通知する。
設定部32は、取得部31から通知された車両の状況に基づいて、判定履歴情報21を設定する。設定部32は、車両の状況としてたとえばIGスイッチ20を介してIGオンが通知された場合に、判定履歴情報21の直近分から過去分へ向けて所定個数分(図1Eに示した例では2個)、初期値として「1」を設定する。
なお、設定部32は、車両の状況としてたとえば車速センサ30を介して車両の停車中が通知された場合に、埋もれ状態の確定条件の成立が早まるように、前述の5/9条件を緩和させることもできる。後述する判定部34は、かかる設定部32による条件の変更に応じつつ、埋もれ状態を確定させることとなる。かかる点については、図13を用いた説明で後述する。
算出部33は、取得部31から取得した撮像画像Iのセル100毎に、エッジ特徴量を算出する。ここで、図3および図4を用いて、算出部33によるエッジ特徴量の算出処理について具体的に説明する。
図3および図4は、算出部33の処理内容を示す図(その1)および(その2)である。図3に示すように、算出部33は、まず、各画素PXにつきエッジ検出処理を行って、X軸方向(撮像画像Iの左右方向)のエッジexの強度と、Y軸方向(撮像画像Iの上下方向)のエッジeyの強度とを検出する。エッジ検出処理には、たとえば、Sobelフィルタや、Prewittフィルタ等の任意のエッジ検出フィルタを用いることができる。
つづいて、算出部33は、検出したX軸方向のエッジexの強度と、Y軸方向のエッジeyの強度とに基づき、三角関数を用いることでエッジベクトルVを算出し、かかるエッジベクトルVとX軸とがなす角度θであるエッジ向きと、エッジベクトルVの長さLであるエッジ強度を算出する。
つづいて、算出部33は、算出した各画素PXのエッジベクトルVに基づき、セル100におけるエッジ向きの代表値を抽出する。具体的には、図4の上段に示すように、算出部33は、セル100における各画素PXのエッジベクトルVのエッジ向き-180°~180°を、90°毎の上下左右4方向である角度分類(0)~(3)(以下、「上下左右4分類」と言う場合がある)に分類する。
より具体的には、算出部33は、画素PXのエッジ向きが、-45°以上45°未満の角度範囲である場合には角度分類(0)に分類し、45°以上135°未満の角度範囲である場合には角度分類(1)に分類し、135°以上180°未満、または-180°以上-135°未満の角度範囲である場合には角度分類(2)に分類し、-135°以上-45°未満の角度範囲である場合には角度分類(3)に分類する。
そして、図4の下段に示すように、算出部33は、各セル100について、角度分類(0)~(3)を各階級とするヒストグラムを生成する。そして、算出部33は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値THa以上である場合に、かかる階級に対応する角度分類(図4の例では、角度分類(1))を、セル100におけるエッジ向きの代表値として抽出する。
前述のヒストグラムの度数は、セル100内における各画素PXのうち、同一の角度範囲に分類された画素PXのエッジ強度を足し合わせて算出する。具体的に、角度分類(0)の階級におけるヒストグラムの度数について考える。たとえば、角度分類(0)に分類された画素PXが3つあるとし、それぞれの画素PXにおけるエッジ強度を10,20,30とする。この場合、角度分類(0)の階級におけるヒストグラムの度数は、10+20+30=60と算出される。
このようにして算出されたヒストグラムに基づき、算出部33はセル100におけるエッジ強度の代表値を算出する。具体的に、かかるエッジ強度の代表値は、ヒストグラムにおいて最も度数が高い階級の度数が所定の閾値THa以上である場合に、かかる階級に対応する度数をセル100のエッジ強度とする。すなわち、算出部33におけるエッジ強度の代表値の算出処理は、エッジ向きの代表値に対応した、セル100内におけるエッジの強さに関する特徴を算出する処理とも言える。
一方、算出部33は、最も度数が高い階級の度数が所定の閾値THa未満である場合は、かかるセル100のエッジ向きについては、「無効」、換言すれば、「エッジ向きの代表値なし」として取り扱う。これにより、各画素PXのエッジ向きのばらつきが大きい場合に、特定のエッジ向きを代表値として算出してしまうことを防止できる。
なお、図3および図4で示した算出部33の処理内容は、あくまで一例であって、エッジ向きの代表値を算出可能であれば、処理内容は任意であってよい。たとえば、セル100における各画素PXのエッジ向きの平均値を算出し、かかる平均値に対応する角度分類(0)~(3)をエッジ向きの代表値としてもよい。
また、図4では、4×4の計16個の画素PXを1つのセル100とする場合を示したが、セル100における画素PXの数は、任意に設定されてよく、また、3×5等のように、上下方向および左右方向の画素PXの数が異なってもよい。
図2の説明に戻る。また、算出部33は、算出したセル100毎のエッジ特徴量に基づいて、単位領域UA毎の領域特徴量を算出する。
まず、算出部33は、領域特徴量として、単位領域UA毎における輝度平均、セル100のエッジ強度の平均および分散を算出する。また、算出部33は、領域特徴量として、ペア領域200の個数およびエッジ強度の総和を算出する。
ここで、ペア領域200の個数およびエッジ強度の総和を算出する場合について、図5および図6を用いて説明する。図5および図6は、算出部33の処理内容を示す図(その3)および(その4)である。
なお、図5では、2つのペア領域200が、セル100を共有していない場合を示し、図6では、2つのペア領域200が、セル100を共有している場合を示している。
図5に示すように、算出部33は、単位領域UAの左右方向および上下方向に配列された複数のセル100について、左右方向および上下方向に走査し、ペア領域200を探索する。すなわち、算出部33は、単位領域UAにおけるセル100のうち、隣接し、エッジ向きが互いに逆向きであるセル100同士をペア領域200として抽出する。
そして、算出部33は、抽出されたペア領域200の個数、および、ペア領域200におけるエッジ強度の総和を算出する。なお、図5に示すように、算出部33は、抽出されたたとえば2つのペア領域200がセル100を共有していない場合、ペア領域200の個数を2つと算出し、エッジ強度の総和を、2つのペア領域200に含まれる4つのセル100のエッジ強度を合計した値として算出する。
また、図6に示すように、算出部33は、抽出されたたとえば2つのペア領域200がセル100を共有している場合、ペア領域200の個数を2つと算出し、エッジ強度の総和を、2つのペア領域200に含まれる3つのセル100のエッジ強度を合計した値として算出する。
なお、算出部33は、上述した「上下左右4分類」の角度分類だけでなく、たとえば「斜め4分類」の角度分類に基づいて、1つのセル100について2種類以上のエッジ向きの代表値を割り当て、領域特徴量を算出してもよい。かかる点について、図7および図8を用いて説明する。図7および図8は、算出部33の処理内容を示す図(その5)および(その6)である。
算出部33は、「上下左右4分類」を第1の角度分類とし、これに基づくエッジ向きの代表値を第1代表値とすれば、図7に示すように、「斜め4分類」を第2の角度分類とし、これに基づくエッジ向きの代表値を第2代表値として算出することができる。
かかる場合、算出部33は、セル100における各画素PXのエッジベクトルVのエッジ向き-180°~180°を、第2の角度分類により、90°毎の斜め4方向である角度分類(4)~(7)に分類する。
より具体的には、算出部33は、画素PXのエッジ向きが、0°以上90°未満の角度範囲である場合には角度分類(4)に分類し、90°以上180°未満の角度範囲である場合には角度分類(5)に分類し、-180°以上-90°未満の角度範囲である場合には角度分類(6)に分類し、-90°以上0°未満の角度範囲である場合には角度分類(7)に分類する。
そして、図4の下段に示したのと同様に、算出部33は、各セル100について、角度分類(4)~(7)を各階級とするヒストグラムを生成する。そして、算出部33は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値THa以上である場合に、かかる階級に対応する角度分類を、セル100におけるエッジ向きの第2代表値として算出する。
これにより、図8に示すように、1つのセル100についてそれぞれ2つのエッジ向きの代表値を割り当てることができる。そして、図8に示すように、算出部33は、隣接するセル100において、エッジ向きの第1代表値、および、第2代表値の少なくとも一方が互いに逆向きである場合、かかる隣接するセル100をペア領域200として抽出する。
つまり、算出部33は、各セル100において、エッジ向きの第1代表値および第2代表値を算出することで、1種類のエッジ向きのみでは抽出できなかったペア領域200を抽出することが可能となる。
たとえば、エッジ向きが140°の画素PXと、エッジ向きが-40°の画素PXとについて、第1角度範囲では逆向きとはならないが、第2角度範囲では逆向きとなることで、セル100におけるエッジ向きの変化をより高精度に検出することが可能となる。
また、算出部33は、領域特徴量として、パターンマッチング時の交点の数を算出する。ここで、パターンマッチング時の交点の数を算出する場合について、図9~図12を用いて説明する。
図9~図12は、算出部33の処理内容を示す図(その7)~(その10)である。なお、図7、図9および図10に示す不定形のハッチング部分は、撮像画像Iにおいて所定のエッジ特徴量を有するパターン部分であるものとする。
算出部33は、算出したセル100のエッジ特徴量のうちのエッジ向きを用いて、所定のテンプレートと一致する所定の探索パターンを探索する。図9に示すように、探索方向は左右方向および上下方向である。
たとえば、算出部33は、「注目する角度分類の両サイドに逆向きの角度分類が現れないこと」を条件として探索パターンを探索する。具体的には、注目する角度分類を角度分類(1)として左右方向に探索した場合に、図10に示すように、たとえば開始位置は「角度分類が逆向きでない」角度分類(2)のセル100-1に隣接する角度分類(1)のセル100-2が開始位置となる。
そして、角度分類(1)の配列がつづき、「角度分類が逆向きでない」角度分類(0)のセル100-4が現れた場合、かかるセル100-4に隣接する角度分類(1)のセル100-3が終了位置となる。かかる場合、図10の例ではマッチ長は「8」となる。なお、算出部33は、このように探索パターンとの一致があった場合、その位置とマッチ長とを保持しておく。
また、図10に示した探索パターンでの一致があった場合、開始位置と終了位置には、角度分類4種のうち、隣り合う分類間での輝度変化が見られることになる。
そして、算出部33は、図11に示すように、左右方向と上下方向で探索パターンの一致が交わる際には、その交点に対応する単位領域UAに対応する記憶情報として、角度分類別に水平マッチ長および上下マッチ長の積を累積加算する。
具体的に図10および図11の例に沿った場合、算出部33は、図12に示すように、当該単位領域の角度分類(1)に紐づけて、5×8を累積加算する。また、図示していないが、算出部33は、同じく当該単位領域の角度分類(1)に紐づけて、交点の数も累積加算する。
こうしたマッチング処理を繰り返し、後述する判定部34は、所定の検出条件に基づき、当該単位領域UAの各角度分類(0)~(3)に紐づく累積加算結果のうち、たとえば3種以上が所定の閾値以上であった場合、当該単位領域UAの付着状態は「付着」と判定する。また、かかる判定条件を満たさなければ「非付着」と判定する。なお、図9~図12に示したマッチング処理の処理内容はあくまで一例であって、処理内容を限定するものではない。
図2の説明に戻る。そして、算出部33は、算出した単位領域UA毎の領域特徴量を判定部34へ出力する。
判定部34は、算出部33によって算出された領域特徴量に基づいて、単位領域UA毎の付着物の付着状態を判定する。また、判定部34は、判定した単位領域UA毎の付着状態に基づいて付着率を算出し、かかる付着率に基づいてカメラ10のレンズの埋もれ状態を判定する。
ここで、判定部34は、単位領域UAの付着状態がそれぞれ「付着」であるか、「非付着」であるかを判定する。そして、判定部34は、その判定結果に基づき、撮像画像Iの所定の注目領域において「付着」とされた単位領域UAの面積率、すなわち付着率を算出する。
そして、判定部34は、付着率が一定以上(たとえば40%以上)である場合、「埋もれ」であるとして、上述の仮判定フラグに「1」を設定する。また、判定部34は、付着率が一定未満(たとえば30%未満)である場合、「埋もれでない」として、仮判定フラグに「-1」を設定する。また、判定部34は、付着率が上記以外である場合または判定困難である場合、「キープ」として、仮判定フラグに「0」を設定する。
そのうえで、判定部34は、判定履歴情報21に基づいて埋もれ状態を確定する。たとえば、判定部34は、前述の5/9条件が成立した場合に、該当するフラグ値を確定結果として埋もれフラグに反映させ、各種機器50へ通知する。判定部34は、たとえば5/9条件をフラグ値「1」が満たせば、埋もれフラグをオンする。また、判定部34は、たとえば5/9条件をフラグ値「-1」が満たせば、埋もれフラグをオフする。
ところで、埋もれ状態の確定条件の成立は、上述したIGオンに際しての判定履歴情報21への初期値の設定によって早めることができるが、確定条件そのものを緩和することによっても早めることができる。かかる例について、図13を用いて説明する。図13は、設定部32の処理内容を示す図である。
図13に示すように、判定履歴情報21に「1」が続いていた車両が停車中であるものとする。かかる場合、「1=埋もれ」を通知され続けていたユーザが付着物を拭き取ったことが想定される。
もし、拭き取りが行われたのであれば、早期に「埋もれでない」ことが確定して通知され、大半が「1」で埋まった判定履歴情報21がクリアされることが好ましい。
したがって、かかる場合、設定部32は、車両の状況としてたとえば車速センサ30を介して車両の停車中が通知されたならば、拭き取り発生を想定し、前述の5/9条件を3/5条件(5履歴中、3個以上)へ変更する。
すると、これにより、変更後、判定部34によって最短3フレーム目で「埋もれでない」との確定が可能となる。すなわち、実施形態に係る付着物検出方法では、車両の停車中に際しては、埋もれ状態の判定結果の確定条件の成立が早まるように、確定条件を緩和することとした。
これにより、実施形態に係る付着物検出方法によれば、付着物の検出性能を向上させることができる。
また、設定部32は、確定条件の緩和後、「埋もれでない」と確定されたならば、判定履歴情報21を「0」でクリアする。なお、かかるクリア後、設定部32は、緩和した確定条件を元に戻すとよい。
なお、判定履歴情報21に「1」が続いていた車両が停車中であったとしても、実際に拭き取りが行われるとは限らない。ただし、仮に拭き取りが行われなかったとしても、確定条件の緩和で早期に「埋もれ」が確定されるので、埋もれ状態の判定処理そのものに支障はない。
次に、図14を用いて、実施形態に係る付着物検出装置1が実行する処理手順について説明する。図14は、実施形態に係る付着物検出装置1が実行する処理手順を示すフローチャートである。なお、図14では、1フレーム分の撮像画像Iについての処理手順を示している。
図14に示すように、まず、取得部31が、車両の状況を取得する(ステップS101)。ここで、IGオン直後である場合(ステップS102,Yes)、設定部32が、確定条件の成立が早まるように判定履歴情報21へ初期値を設定し(ステップS103)、ステップS106へ移行する。
また、IGオン直後でない場合で(ステップS102,No)、車両が停車中である場合(ステップS104,Yes)、設定部32が、確定条件の成立が早まるように確定条件を緩和する(ステップS105)。
なお、車両が停車中でない場合(ステップS104,No)、そのままステップS106へ移行する。
そして、取得部31が、撮像画像Iを取得する(ステップS106)。あわせて取得部31は、撮像画像Iに対してグレースケール化処理および平滑化処理を施す。
つづいて、算出部33が、撮像画像Iのセル100毎のエッジ特徴量を算出する(ステップS107)。また、算出部33は、算出したエッジ特徴量に基づいて、単位領域UA毎の領域特徴量を算出する(ステップS108)。
そして、判定部34が、算出部33によって算出された領域特徴量に基づいて単位領域UA毎の付着状態を判定し(ステップS109)、判定した付着状態および判定履歴情報21に基づいて埋もれ状態を確定する(ステップS110)。
そして、判定部34は、確定結果を各種機器50へ通知して(ステップS111)、処理を終了する。なお、図14では図示を略しているが、車両が停車中で緩和された確定条件に基づいて埋もれ状態が確定された場合は、設定部32が判定履歴情報21を「0」でクリアすることとなる。
上述してきたように、実施形態に係る付着物検出装置1は、算出部33と、判定部34と、設定部32とを備える。算出部33は、撮像画像Iに含まれる所定数の画素PXからなる単位領域UA毎に、各画素PXのエッジベクトルに基づく領域特徴量を算出する。判定部34は、上記領域特徴量に基づいて付着物によるカメラ10の埋もれ状態を仮判定するとともに、直近分を含む所定数の過去分の仮判定履歴である判定履歴情報21において所定の確定条件が成立した場合に、該当する上記埋もれ状態を確定結果として確定させる。設定部32は、カメラ10が搭載された車両がIGオンされた場合に、かかるIGオンの直後に、上記確定条件の成立が早まるように所定の初期値を判定履歴情報21に設定する。
したがって、実施形態に係る付着物検出装置1によれば、付着物の検出性能を向上させることができる。
また、設定部32は、IGオンの直後に上記初期値を設定する場合に、判定履歴情報21の直近分から過去分へ向けて所定個数分、上記初期値を設定する。
したがって、実施形態に係る付着物検出装置1によれば、IGオンの直後の埋もれ状態判定の応答性能を向上させることができる。
また、設定部32は、IGオンの直後に上記初期値を設定する場合に、カメラ10が埋もれていることを示すフラグ値「1」を前記初期値として設定する。
したがって、実施形態に係る付着物検出装置1によれば、IGオンの直後の「埋もれ」検出の応答性能を向上させることができる。
また、設定部32は、車両が停車中である場合に、上記確定条件の成立が早まるようにかかる確定条件を緩和する。
したがって、実施形態に係る付着物検出装置1によれば、ユーザが拭き取りを行ったことが想定される場合に、早期に「埋もれでない」ことを確定して通知することができる。また、これに伴い、早期に判定履歴情報21をクリアすることが可能となる。
なお、上述した実施形態では、IGオンに際して判定履歴情報21に初期値を設定する場合の設定個数が2個である場合を例に挙げたが、パラメータとして調整可能な数値であり、1であってもよいし、3以上であってもよい。
また、上述した実施形態では、判定履歴情報21が直近分を含む過去9フレーム分であることとしたが、複数であればよく、フレーム数を限定するものではない。また、上述した5/9条件や3/5条件もあくまで一例であり、確定条件の内容を限定するものではない。
また、上述した実施形態では、-180°~180°を90°毎の角度範囲で分割した4方向に角度分類する場合を示したが、角度範囲は90°に限定されず、たとえば60°毎の角度範囲で分割した6方向に角度分類してもよい。
また、第1の角度分類および第2の角度分類でそれぞれの角度範囲の幅が異なってもよい。たとえば、第1の角度分類では90°毎で角度分類し、第2の角度分類では、60°毎で角度分類してもよい。また、第1の角度分類および第2の角度分類では、角度範囲の角度の境界を45°ずらしたが、ずらす角度が45°を超える、もしくは、45°未満であってもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。