JP6257792B2 - カメラの被覆状態の認識方法、カメラシステム、及び自動車 - Google Patents

Description

本発明は、自動車のカメラの被覆、すなわち覆われた状態を認識する方法に関する。それに加えて、本発明は、このような方法を実行するカメラシステムのほか、このようなカメラシステムを備える自動車に関する。

自動車用カメラシステムはすでに先行技術である。通常、これらは自動車に取り付けられ、自動車の周囲領域を撮影する少なくとも１つのカメラを含む。すると、このようなカメラは周囲領域の画像を提供し、この画像は電子コンピューティングデバイスによって処理可能である。すると、その画像に基づいて、コンピューティングデバイスは自動車における様々な機能を提供でき、それゆえ、自動車の運転において運転者を支援する。既知の機能は、撮影された画像を自動車内部のディスプレイ上に表示することである。他の機能によれば、例えば自動車の周囲にある障害物の検出も可能であり、それに応じで運転者に警告できる。

カメラのレンズが汚れ（泥、水滴、又はその他）によって遮蔽され、又は覆われて、撮影された画像により自動車の周囲領域ではなく、例えば黒い点しか提示されなくなる、という事態が起こりうる。その点で、レンズは水滴により覆われることがありえ、又はカメラの覆われた状態は汚れによっても生じることがある。一般に、ある状態は、カメラのレンズが汚れにより遮蔽されているというカメラの遮蔽状態により理解される。

先行技術から、カメラのこのような遮蔽状態を検出するのに役立つ方法がすでに知られている。それゆえ、例えば欧州特許第１ ８２６ ６４８ Ａ２号には、カメラのレンズ上の水滴の認識を可能にする方法が記載されている。その一方で、そこでは、例えば霧や雨等の大気成分が画像処理装置によって検出できるようになされている。これは、画像の歪みのほか、フォーカスエラーに基づいて検出される。

本発明は、覆われた状態が、ハイパスフィルタによって処理された画像に基づいて検出されるような方法から始まっている。この種の方法は例えば、国際特許出願公開第２０１０／０３８２２３ Ａ１号の文献から知られており、カメラのレンズの汚れ状態を検出するのに役立つ。撮影された画像シーケンスにハイパスフィルタ処理が行われ、画像中の所定の画像領域がハイパスフィルタにより検出可能である。比較的低い空間周波数の画像領域（エッジ又は隅部がまったく、又はほとんどない）が、レンズの汚れの可能性と解釈される。

欧州特許第１ ８２６ ６４８ Ａ２号 国際特許出願公開第２０１０／０３８２２３ Ａ１号

画像のハイパスフィルタ処理によるカメラの被覆状態の検出において、先行技術では２つの問題が生じている。

第１の問題は、カメラ−すなわちレンズ−が不透明な物体によって覆われ、そこを通じて、カメラにまったく光が入らないか、わずかな光しか入らない場合に生じる。カメラのレンズ上にこのような不透明な塊があると、イメージセンサは光をまったく検出せず、そのため、画素は基本的に黒い。したがって、画素の輝度値の平均は比較的低い。原則として、このような暗い画像には、特にイメージセンサのアナログ増幅器によるノイズ信号だけが含まれる。このノイズによって高周波数画像成分が生成され、これはアルゴリズムにより、カメラが覆われていると誤って解釈される。換言すれば、ノイズの結果として、画像内で高周波数成分が検出されうるという事実がもたらされ、それによって今度はカメラが覆われていないという仮定につながる。このように、不透明な物体によってアルゴリズムが失敗に終わる。

第２の問題は、カメラのレンズが、例えば水滴やその他の透明な物体により被覆されている場合に発生しうる。基本的に、このような透明な物体は画像のハイパスフィルタ処理により検出される。しかしながら、例外的な場合にはアルゴリズムが失敗に終わることがあり、すなわちこれはその場に非常に明るい光源がある場合である。この例外的場合において、光は透明な水滴を通ってカメラに入り、それが個別の画素の、いわゆる飽和の原因となる。このような飽和は、ある画素の輝度値が最大可能輝度値（デジタル範囲）に設定されることを示唆しており、それは、この画素の実際の輝度が最大可能値より高くなるからである。すなわち、画素の輝度値は通常、０〜２５５（８ビット）のデジタル数値範囲内である。しかしながら、それゆえ、この数値範囲より大きい輝度値を持つ画素が検出されると、この画素の輝度値は２５５の最大値に設定される。すると、この画素は「飽和画素」と呼ばれる。それゆえ、このような飽和画素が今度は被覆されたカメラ上で検出されると、画素の飽和の結果として、この画像領域内で比較的大きい輝度差が生じ、したがってエッジが検出されうるという事実がもたらされる。このようなエッジは高周波数画像部分を提示するため、カメラの被覆状態の認識は誤りであると推定される。

それゆえ、追加のソリューション、すなわち、これらの２つの状況の検出方法を見出すことが特に課題である。

本発明の目的は、自動車のカメラの被覆状態を認識するための、先行技術より改良された方法、カメラシステム、及び自動車を提供することである。

本発明によれば、この目的は、特許請求の範囲のそれぞれの独立項に記載の特徴を有する方法、カメラシステム、及び自動車によって達成される。本発明の有利な実施例は、従属項、説明、及び図面の主旨である。

本発明による方法は、自動車のカメラの被覆状態を認識するのに役立つ。自動車の周囲領域の画像がカメラによって提供される。すると、その画像の少なくとも１つの画像領域内の画素のそれぞれの輝度値が測定される。好ましくは、ＹＵＶ色空間内のＹ値が輝度値として測定される。その後、この少なくとも１つの画像領域の中で、輝度値に関する所定の基準を満たす画素の数が測定される。換言すれば、所定の基準を満たす輝度値を有する画素の数が測定される。次に、この数に応じて、カメラが被覆されているか、被覆されていないかがチェックされる。

それゆえ、基準に応じて、例えば特に、カメラが不透明な物体により被覆されている状態のほか、飽和画素により高周波数画像部分が生じている状態等、様々な状態を検出できる。本発明による方法は例えば、画像のハイパスフィルタ処理により被覆状態を検出できるアルゴリズムの補足として使用できる。本発明による方法によって、カメラが不透明な物体により被覆されているか否かを明言できるようになり、及び／又は飽和画素により、ハイパスフィルタ処理に依存した被覆状態の検出が不可能となる。

特に、カメラは、人の目に見えるスペクトル範囲内の光の検出のために形成された画像撮影装置である。カメラは、ＣＣＤカメラ又はＣＭＯＳカメラとすることができる。好ましくは、カメラはビデオカメラであり、これは１秒間に複数の画像を提供できる。

好ましくは、特に、ある状態は、カメラのレンズが塊又は物体によって外から少なくとも部分的に被覆され、それゆえ遮蔽され、光がレンズのこの遮蔽領域を通ってカメラの内部にまったく入らないか、又は薄暗い光しか入ることができないという状態によって理解される。それゆえ、特に、汚れた状態及び／又は、水及び／又は氷により被覆された状態が被覆状態と理解される。

すでに説明したように、少なくとも１つの画像領域内の、所定の基準を満たす輝度値を有する画素の数が測定される。ある実施形態において、少なくとも２つの基準を輝度値について使用することができ、各基準について画素数を測定できる。その点で、各基準には被覆状態の異なる原因が関連付けられてもよい。それゆえ、いくつかの基準を提供することにより、様々な状況、例えば特に、カメラのレンズが不透明な物体により被覆されている第１の状況のほか、画像中の高周波数部分が飽和画素に起因している状況を検出できる。

それゆえ、カメラが不透明な、それゆえ光を通さない物体により少なくとも部分的に被覆されている第１の状態を第１の基準に関連付けることができる。それに加えて、又はその代わりに、第２の基準も規定でき、これはカメラが透明な物体によって少なくとも部分的に被覆されていると仮定される第２の状態に関連付けられる。この第２の状態においては、好ましくは、飽和画素が検出され、それによってハイパスフィルタによるカメラの被覆状態の検出が不可能となり、その結果、カメラは被覆されていると予防的に仮定できる。これらの２つの状態は、カメラの被覆状態を画像のハイパスフィルタ処理により検出できるアルゴリズムに対する、信頼性の高い補足となる。

以下に、２つの基準をより詳しく説明する。

ある実施形態において、画像領域内の輝度平均値が画素の輝度値から測定されるようになされている。第１の基準により、画像領域内の、輝度平均値より少なくとも所定の限界値だけ大きい輝度値を有する画素の第１の数を測定できる。すると、この第１の数に応じて、カメラが被覆されているか、被覆されていないかをチェックできる。換言すれば、画像領域内の、輝度平均値より大幅に大きい輝度値を有する画素の数が測定される。こうして画像領域の中の輝度ピークの数が測定され、この数に応じて、カメラが被覆されているか、被覆されていないかが判断される。この実施形態は、カメラが不透明な物体により被覆されている場合、画像が実質的にノイズだけで構成されていれば、輝度ピークの数又は、輝度値の大きい画素の数が全体として比較的少ないはずである、という事実を利用している。それゆえ、これが検出されると、その画像はノイズ信号だけであり、したがってカメラは不透明な物体により被覆されていると仮定できる。

したがって、カメラの被覆状態、特に不透明な物体により被覆されている状態は、画素の第１の数（輝度ピークの数）が所定の閾値より少ない場合に仮定される。それゆえ、カメラの被覆状態はそれほど苦労せずに、すなわちハイパスフィルタによる検出がノイズによって失敗するような場合でも検出できる。

不透明な物体によるカメラの被覆状態を仮定するために、その少なくとも１つの画像領域内の輝度平均値が所定の閾値より低いという追加の条件もまた規定できる。すなわち、それゆえ、輝度平均値が低ければ、画像はノイズだけであり、したがって、カメラは不透明な物体により被覆されていると仮定できる。

追加の条件を次のように定めることができる：画像を複数の画像領域に分割でき、各画像領域について、それぞれの画像領域内の第１の画素数、すなわち輝度平均値より少なくとも所定の限界値だけ大きい輝度値を有する画素の数の各々を測定できる。すると、第１の数が所定の閾値より小さい画像領域を全体領域へと合体することができる。カメラの被覆状態は、好ましいことに、この全体領域、特に中断部のない、したがって一体の全体領域が所定の閾値より大きい場合にのみ仮定される。この実施形態は、不透明な物体が通常、レンズの主要部分を覆うという前提に基づいている。それゆえ、この方法の妥当性を向上させることができる。

第２の基準によれば、画像領域内の、飽和によって最大可能輝度値に対応する輝度値を有する画素の第２の数を測定できる。すると、この飽和画素の数に応じて、カメラが被覆されているか、被覆されていないかをチェックできる。飽和画素の数を評価することにより、カメラが被覆状態であっても画像内に存在しうる高周波数画像部分を検出できる。すなわち、カメラが透明な物体（例えば水滴）により被覆され、自動車の周囲に明るい光源、例えば対向車のヘッドライトや街灯等があり、それが透明な物体を通してカメラも照らし、その結果、複数の画素を飽和させている状況を検出できる。この状況を検出でき、かつ、任意選択により、ハイパスフィルタによるカメラの被覆状態の実際の検出が飽和画素のせいで不可能であると仮定できる。ここで、予防措置として、カメラが被覆されていると仮定することができる。

特に、カメラの被覆状態は、第２の数、それゆえ画像領域内の飽和画素の数が所定の閾値より多い場合に仮定できる。すなわち、画像に高周波数部分があり、これがカメラの被覆状態の検出を不可能にしていると仮定できる。

それゆえ、飽和画素の数が閾値より多いことによって被覆状態が検出された場合、カメラが再び被覆されていないと分類されるのは、それぞれの画像の画像領域内の飽和画素の数が所定の画像シーケンスにわたって閾値より小さいままである場合のみである。特に、すると、ハイパスフィルタによるカメラの被覆状態の検出が再び可能であると、高い確率で仮定できる。

それゆえ、一般に、所定の基準を満たす輝度値を有する画素の数が測定される。この画素数に基づいて被覆状態が検出されなければ、その画像をハイパスフィルタによってフィルタ処理でき、フィルタ後の画像に基づいて、カメラが被覆されているか、被覆されていないかをチェックできる。本発明による方法はそれゆえ、カメラの被覆状態をハイパスフィルタで処理された画像に基づいて検出できるアルゴリズムと組み合わせることができる。それゆえ、カメラの被覆状態はあらゆる考えうる状況で検出できる。

ハイパスフィルタで処理された画像の評価に関して、以下の方法が実行されれば有利であることがわかっている。

画像をハイパスフィルタでフィルタ処理し、フィルタ処理後の画像が提供されるようにすることができる。フィルタ処理後の画像の中で走査窓が画定される。次に、フィルタ処理後の画像中の走査窓の複数の異なる位置について、その走査窓内で最大の値の画素をそれぞれ検出できる。すると、フィルタ処理後の画像の最大値に応じて被覆状態を認識できる。

したがって、ハイパスフィルタで処理された画像に対してさらにフィルタ処理を行うことが提案され、これはすなわち、最大値フィルタによるものであり、画像の画素の局所的な最大値（特に最大輝度値）の位置が走査窓を援用して特定される。換言すれば、ハイパスフィルタで処理された画像が走査窓を援用して「走査」され、走査窓の各位置において、最大値を持つ画素が捜索される。特に、この方法には、覆われた状態の認識が非常に安定な方法で実行できるという利点があり、それは、画像内の高周波数画像部分の位置の変化が覆われた状態の認識に影響を与えないからである。例えば、最大値を限界値と比較でき、この比較結果に基づいて、カメラのレンズが汚れによって覆われているか否かを判断できる。それゆえ、道路領域をカメラのレンズの実際の汚れから区別できる。

走査窓による画像の「走査」は例えば、フィルタ処理後の画像の中の走査窓の位置が、開始位置（例えば、その画像の１つの角）から始まり、すなわち最終位置（例えば、反対の角）まで段階的に変更されるように実行される。この走査は、１列ずつ、又は１行ずつ実行できる。その点で、走査窓の各位置について、最大値、特に最大輝度値を有する画素がそれぞれ検出される。走査窓の位置の段階的な変更幅は例えば１画素〜１０画素の数値範囲とすることができる。

好ましくは、走査は走査窓によって、それぞれの重複領域が走査窓の隣接位置間にできるように実行される。それゆえ、走査窓の第１の位置で最大値を有する画素が検出されたら、走査窓の第２の隣の位置において、走査窓の第１の位置からの最大値を有する画素が重複領域内にあるか否かを調べることができる。この画素が重複領域内にある場合、走査窓の第２の位置の中では、現在の走査窓のうち、重複領域の外にある画素だけについて、その数値が走査窓の第１の位置からの最大値より大きいか否かを調べればよい。このような方法によれば演算時間が大幅に短縮され、なぜなら、必ずしも走査窓の画素のすべてを相互に比較しなくてもよく、重複領域の外にある画素だけでよいからである。それゆえ、走査窓の各位置について、最大値を持つ画素の位置を保存でき、それによって、走査窓の次の位置では、走査窓の前の位置からの最大値を有する画素が重複領域内にあるか否かを調べることができる。

上記のような最大値フィルタを用いた画像のフィルタ処理は、個々の画像の空間フィルタ処理を表している。これに時間成分も加えることができる。

カメラの覆われた状態を検出するには、ハイパスフィルタで処理されたカメラの画像の時間シーケンスを使用できる。このシーケンスの各画像について、走査窓の上記の複数の位置について最大値を有する画素をそれぞれ検出でき、それによって走査窓の複数の位置について最大値の時系列集合がそれぞれ提供される。その後、この時系列集合に応じてカメラの被覆状態を検出できる。それゆえ、最大値が経時的に評価されれば、カメラの遮蔽状態を特に安定に検出でき、この検出は、高周波数画像部分の位置の時間的な変化によるエラーの影響を受けない。

ハイパスフィルタで処理された画像の上記のシーケンスは好ましくは、カメラにより提供される画像のシーケンス全体のうちの小集合によって形成される。この小集合は、使用されるシーケンスの中の連続する２つの画像のそれぞれの撮影時点間の時間間隔及び／又はこれらの時点間で自動車が移動した距離が所定の基準を満たすように選択できる。それゆえ、実質的に同じ光景又は同じ周囲状況を示す２つの画像が処理されないようにすることができる。したがって、一方で、覆われた状態の検出における誤った判断を防止し、他方で、演算労力を最小限に減らすことができる。

その点で、上記の基準が、時点間の時間間隔が所定の数値より長いか、所定の数値範囲内であることを示唆していれば有利であることがわかる。これは、シーケンス全体のうちの、相互に所定の時間間隔内に撮影された２つの画像を覆われた状態の認識に使用できることを意味する。この時間間隔は例えば、０．５秒〜２秒の数値範囲とすることができる。この数値範囲は、一方で覆われた状態の認識の精度と認識の速度との好適な兼ね合いをとったものである。

それに加えて、又はその代わりに、上記の基準はまた、第１と第２の時点間に自動車が移動した距離が所定の数値より長い、例えば１０ｍより長い、特に１０ｍ〜２０ｍの数値範囲内、好ましくは１３ｍ〜１６ｍの数値範囲内にあることも示唆できる。例えば、この数値を１４ｍとすることができる。それによって、カメラの状態の検出における誤った判断が防止できる。

特に好ましくは、上記のような最大値の時系列集合が平滑化フィルタによってフィルタ処理され、平滑化された集合に基づいて覆われた状態が認識される。その点で、平滑化フィルタとして、例えば一次再帰型平滑化フィルタを使用できる。このような時系列集合の平滑化により、カメラの覆われた状態の検出は極めて安定するが、これは、最大値の大きな時間的変化が、交流電圧がコンデンサにより平滑化されるように、補償されるからである。

遮蔽状態の認識は、平滑化後の集合が限界値と比較されるように実行できる。覆われた状態は、その集合のうちの１つが限界値より低い場合に検出できる。それゆえ、集合のうちの１つが限界値より低い場合、これは高周波数画像部分が特定の画像領域内に存在せず、カメラのレンズが少なくともこの画像領域に関して覆われていることを示す。この場合、例えばカメラのレンズをクリーニングするべきであるとの警告メッセージを発生させることができる。

上記の限界値はまた、カメラの動作の中で、それゆえ「オンライン」で調節することもできる。この調節は特に、カメラによる光景の画像の輝度レベルに応じて行われる。それゆえ、限界値を自動車の環境内のそれぞれの現在の輝度状態に合わせて調整でき、カメラのレンズの汚れの検出を状況に応じて実行できる。

画像フレームの異なる画像セルに関して、相互に異なる限界値を定めることもできる。

画像に関しては、基本的に２つの異なる実施形態を提供できる。

一方で、画像の生データをハイパスフィルタの基礎として使用することができる。しかしながら、他方で、画像を前処理してから、その画像をハイパスフィルタで処理するようになすこともでき、ここでは、例えば所定のフィルタ処理が行われる。この点で、特に画像の部分的領域（いわゆる関心対象領域）が、画像のその部分的領域だけがハイパスフィルタの基礎として使用されるべく決定されるようになすことができる。それゆえ、一方で、演算労力を軽減させることができ、他方で、自動車自体のある領域がカメラの視界内にあるときの誤検出も防止できる。それに加えて、又はその代わりに、画像を縮小し、それゆえ、いわゆる「ダウンサンプリング」を行ってから、ハイパスフィルタに供給できる。換言すれば、生の画像に関して、ハイパスフィルタの基礎として使用される画素の数を減らすことができる。これはまた、画像処理における演算労力も軽減させる。

上述の方法により、カメラのレンズのある領域のみの局所的な汚れの検出も可能となる。この場合、カメラの視野は部分的にのみ覆われる。ある実施形態において、画像が複数の画像セルに分割され、各画像セルについて、カメラがその画像セルに関して覆われているか否かが判断されるようになすことができる。これらの画像セルはまた、上述の走査窓の位置に応じて画定することもできる。例えば、画像セルがそれぞれ上述の最大値の時系列集合に関連付けられるか、又は、複数のそのような集合がそれぞれ、個々の画像セルについて画定され、評価されるようになすことができる。それゆえ、それらの集合のうちの１つが所定の限界値より低い場合、これは、カメラのレンズが関連付けられた画像セルに関して覆われていると解釈できる。それゆえ、この方法の結果、どの画像セルに関してカメラが遮蔽されているかを一意的に示すマトリクスを出力できる。

他の実施形態において、被覆レベルと、それゆえ汚れのレベルが、少なくとも画像の１つの画像セルに関して、最大値に基づいて、特に平滑化された時系列集合に基づいて判断されるようになすことができる。その点で、被覆の程度はカメラの外からレンズを通してカメラの内部に入ることのできる光の強度に反比例する。その点で、関連する被覆レベルは特に、画像の各画像セルについてそれぞれ判断される。これは、画像セル内の、「覆われている」と分類された画素の数が測定され、この数に応じて被覆レベルが判断されるように実行できる。被覆レベルとは、例えば、それぞれの画像セルの中の画素の総数に対する「覆われている」と分類された画素の比と定義することができる。この場合、被覆レベルは０．０〜１．０の数値範囲内である。

本発明による自動車用カメラシステムは、自動車の周囲領域の画像を提供するためのカメラのほか、画像を処理するための電子コンピューティングデバイスを含む。コンピューティングデバイスは、本発明による方法を実行するようになされている。

本発明による自動車、特に乗用車は、本発明によるカメラシステムを含む。

本発明による方法に関して提供された好ましい実施形態とその利点は、本発明によるカメラシステム及び本発明による自動車に相応に当てはまる。

本発明のその他の特徴は、特許請求の範囲、図面、及び図面の説明から明らかとなる。説明の中で上述された特徴及び特徴の組み合わせの全部のほか、図面の説明の中で後述され、及び／又は図面のみに示される特徴及び特徴の組み合わせは、それぞれ明記されている組み合わせだけでなく、その他の組み合わせ、又はそれ以外に単独でも使用可能である。

ここで、好ましい実施形態に基づいて、また添付の図面を参照しながら、本発明をより詳しく説明する。

本発明のある実施形態によるカメラシステムを備える自動車の概略図である。 本発明のある実施形態による方法のフロー図である。 図２による方法において使用される画像の小集合を決定するための方法のフロー図である。 本発明のある実施形態による方法がより詳しく説明される、ある画像のある領域の概略図である。 例示的な最大値の連続集合と平滑化された連続集合を示す図である。 ある実施形態による方法がより詳しく説明される、複数の画像領域に分割された画像の概略図である。 本発明のある実施形態のよる方法のフロー図である。 本発明の他の実施形態による方法のフロー図である。

図１に示されている自動車１は、例えば乗用車である。自動車１は、自動車１の運転において運転者を支援するように形成されたカメラシステム２を含む。カメラシステム２は、電子コンピューティングデバイス３、すなわちデジタル信号プロセッサを有する。これに加えて、カメラシステム２は、自動車１上に分散させて配置された複数のカメラ４を有する。カメラ４の数及びカメラ４の配置は、図１において例示的に示されているにすぎない。実施形態に応じて、カメラ４の数と配置は異なっていてもよい。この実施形態において、あるカメラ４は、自動車１の前方領域に設置され、自動車１の前方の周囲領域を撮影し、あるカメラ４は後方領域に設置されて、自動車１の後方の周囲領域を撮影し、それに加えて、別々のカメラ４が２つの外部ミラーに組み込まれている。

カメラ４の撮影画像はコンピューティングデバイス３に通信され、それは次に、この画像を処理し、画像に基づいて、自動車１内の様々な機能を提供する。ここで、障害物認識は例示的に説明されているにすぎない。任意選択により、画像を表示装置上に表示することもできる。

任意選択により、コンピューティングデバイス３はまた、カメラ４のうちの１つに組み込むこともできる。また、各カメラ４にそれぞれ、コンピューティングデバイス３が組み込まれるようにすることも可能である。

コンピューティングデバイス３は、受け取った画像に基づいて、カメラ４の覆われた、又は遮蔽された状態を検出できる。後述の方法は１つのカメラ４に関してのみ説明されているが、この方法はその他のカメラ４にも相応に当てはまる。

この実施形態においては、基本的に、カメラ４の被覆状態を検出するために、カメラ４の画像の空間ハイパスフィルタ処理が実行され、ハイパスフィルタ処理された画像に応じて被覆状態が検出されるようになされている。しかしながら、この方法は２つの状況では機能せず、すなわち、一方で、カメラ４が不透明な物体により被覆された場合でも高周波数画像部分ができ、それゆえ画像が非常に暗くなる。すると、画像の輝度値はノイズ信号に対応し、輝度平均値は全体的に非常に低いが、ノイズによって高周波数画像が生じ、それによってハイパスフィルタによるカメラ４の被覆状態の検出が不可能となる。他方で、このような高周波数画像部分は、カメラ４が透明な物体によって被覆されているが、周囲に光源があり、それによって画素が飽和する場合でも発生する。

この実施形態においてはそれゆえ、全体で３種類のアルゴリズムが実行され、これは異なる状態の検出に役立ち、これらのアルゴリズムが実行される順序は基本的に任意とすることができる。第１のアルゴリズムは、カメラ４が不透明な物体により被覆されている状態を検出するのに役立つ。第２のアルゴリズムは、画素の飽和により、カメラが透明な物体で被覆されていると仮定される状態を検出するのに役立つ。第三のアルゴリズムは、カメラ４の被覆状態をハイパスフィルタによって検出するのに役立つ。この点で、第三のアルゴリズムをすべてに使用できるが、不透明な物体のほか、画素の飽和によって失敗に終わる。

ごく一般に、図６によれば、カメラ４の画像５は、同じサイズの複数の画像領域６０、例えば８×５の画像領域６０に分割できる。その点で、各画像領域６０は、複数の画素を含む正方形の領域とすることができる。

不透明な物体により被覆されているカメラ４の状態を検出するのに役立つ第１のアルゴリズムを、図７によるフロー図に基づいてより詳しく説明する。第１のステップＳ７０で、それぞれの輝度平均値ＢＥが各画像領域６０について別々に測定され、すなわちこれは、それぞれの画像領域６０内の輝度値すべての平均である。次のステップＳ７１で、コンピューティングデバイス３が、各画像領域６０について、それぞれの画像領域６０の中で、輝度平均値ＢＥより少なくともそのそれぞれの画像領域６０内の所定の限界値ＢＶだけ大きい輝度値Ｂを有する画素の数を別々に測定する。この画素の数を第１の数Ｎ１と呼ぶ。

次のステップＳ７２で、画素の第１の数Ｎ１が所定の閾値Ａ１より小さい画像領域６０にマーキングされる。次のステップＳ７３で、マーキングされた画像領域６０が全体画像領域へと合体される。その点で、いわゆる「４方向接続」を使用でき、その中では２つのマーキングされた画像領域６０が、その画像領域６０に共通のエッジがあれば全体画像領域へと合体される。図６において、マーキングされた３つの画像領域６１が例示的に示されており、これらはステップ７３により全体領域６２へと合体される。したがって、隣接する画像領域６０だけが全体領域６２へと合体できる。

図７をさらに参照すると、次のステップＳ７４で、全体領域６２が所定の閾値より大きいか否かがチェックされる。この閾値は例えば、２又は３又は４又は５つの画像領域６０とすることができる。すると、ステップＳ７４によるこの条件が満たされれば、方法は次のステップＳ７５に進み、ここでコンピューティングデバイス３がカメラ４の遮蔽状態を判断する。

ステップＳ７２による追加条件として、それぞれの画像領域６０内の輝度平均値ＢＥが限界値より小さいか否かをチェックすることもできる。すなわち、その場合のみ、カメラ４が不透明な物体によって被覆されており、輝度値がノイズであると高い確率で判断できる。それゆえ、輝度平均値ＢＥが所定の限界値より小さい画像領域６０だけにマーキングできる。

しかしながら、ステップＳ７４により、全体領域６２が閾値より小さいと判断された場合、方法はステップＳ７０に戻り、ここで別の画像５が撮影され、処理される。ステップＳ７５からも、方法はステップＳ７０に戻る。

次に、図８を参照しながら第２のアルゴリズムをさらに詳しく説明する。この方法はステップＳ８０から始まり、そこで画像５の各画像領域６０について飽和画素の数が測定される。この数を第２の数Ｎ２と呼ぶ。その点で、飽和画素とは、０〜２５５のデジタル範囲内の最大可能輝度値より大きい輝度値Ｂを有する画素である。それゆえ、最大可能値は例えば２５５である。ある画素の輝度値Ｂがこの最大値より大きい場合、この画素の輝度値Ｂは最大値に設定される。それゆえ、ステップＳ８０により、飽和画素の数Ｎ２が測定される。各画像領域６０に関して、それぞれの画像領域６０の数Ｎ２が所定の閾値Ａ２より大きいか否かもチェックされる。数Ｎ２がＡ２より大きい画像領域６０は、ステップＳ８０によって「飽和画像領域」に分類される。それゆえ、少なくとも１つ又は複数の「飽和画像領域」６０が検出された場合、カメラ４は透明な物体によって被覆されると仮定される。

次に、各画像領域６０についてカウンタＣが規定される。このカウンタＣは、それぞれの画像領域６０が「飽和画像領域」に分類されている場合、正の所定の値にリセットされる。

それゆえ、ステップＳ８１により、各画像領域６０について、現在の画像５の中でこの画像領域６０が「飽和画像領域」に分類されたか否かがチェックされる。それゆえ、これが当てはまる場合、ステップＳ８２により、カウンタＣは所定の正の値Ｖ、例えば５〜１００の数値範囲に設定される。それゆえ、ステップＳ８１により、それぞれの画像領域６０が「飽和画像領域」に分類されなかったと判断された場合、この画像領域６０のカウンタＣは、特に「１」だけ減らされ、それゆえ減分される。この減少はステップＳ８３で行われる。

次のステップＳ８４で、コンピューティングデバイス３は、カウンタＣがゼロと等しいか否かをチェックする。それゆえ、ある画像領域６０のカウンタＣがゼロと等しければ、ステップＳ８５により、この画像領域６０の分類が「飽和画像領域」から「純粋画像領域」へと変更される。すると、方法はステップＳ８０に戻り、そこで別の画像が撮影され、評価される。それゆえ、ステップＳ８４により現在評価されている画像領域６０のカウンタＣがゼロより大きいと判断されると、方法は再びステップＳ８０に戻る。

カウンタＣにより、被覆状態が検出された後、カメラ４が再び被覆されていないと分類されるのは、画像５の所定のシーケンスＶについて第２の数Ｎ２が閾値Ａ２より小さいままである場合のみであるようにすることが達成される。

図７及び８による上述のアルゴリズムに加えて、第三のアルゴリズムもまた実行でき、これは、空間的にハイパスフィルタで処理された画像５に応じたカメラ４の遮蔽状態の判断に役立つ。このアルゴリズムのフロー図は図２に示されている。

この方法はステップＳ１から始まり、ここで、画像がコンピューティングデバイス３によって受け取られる。この方法を実行するためには、必ずしもカメラ４の画像シーケンス全体のすべての画像が使用されなくてもよく、小集合だけでよい。それゆえ、カメラ４の画像シーケンス全体から、所定の基準を満たすシーケンスが抽出される。ここで、これらの基準について、図３を参照しながらより詳しく説明する。誤判断を防止するために、選択されたシーケンスのうち時間的に隣接する２つの画像の撮影時点間に、一方で特定の時間が経過し、他方で自動車１が所定の距離だけ移動したと仮定する。図２による方法の基礎として使用される適当な画像シーケンスを選択する方法は、図３のステップＳ７００から始まり、ここで、第１の画像が第１の時点ｔ１で選択される。それゆえ、第１の画像は第１の時点ｔ１で提供される。次のステップ７０１で、自動車が第１の時点ｔ１以降移動した道のりＳ、及びそれゆえ、距離が計算される。すると、次のステップＳ７０２で、移動距離Ｓが所定の限界値ＧＳより大きいか否かが調べられる。限界値ＧＳは例えば１４ｍである。ステップＳ７０２で、移動距離Ｓが限界値ＧＳより短いと判断されると、次のステップＳ７０３で、別の画像が待たれ、方法は再びステップＳ７０１に戻る。これに対して、それゆえ、ステップＳ７０２で移動距離Ｓが限界値ＧＳより長いと判断されると、次のステップＳ７０４で、第１の時点ｔ１からの期間Ｔが計算される。すると、次のステップＳ７０５で、この期間Ｔが所定の限界値ＧＴより長いか否かが判断される。この限界値ＧＴは、例えば１秒とすることができる。ステップＳ７０５による質問の答えが否定であれば、方法はステップＳ７０３を介してステップＳ７０１に戻る。しかしながら、第１の時点ｔ１からの経過時間Ｔが限界値ＧＴより長いと判断されると、次のステップＳ７０６において別の画像が第２の時点ｔ２で選択され、これはその時点でカメラにより提供される。したがって、この別の画像は時点ｔ２において提供される。図３による方法によれば、画像化された周囲状況は、時点ｔ１とｔ２との間で変化し、誤検出を確実に防止できる。

再び図２を参照すると、その後、次のステップＳ２（任意）で個別の画像が前処理の基礎として使用される。この時、例えばさらに処理されることになる画像の関心対象領域を決定できる。それに加えて、又はその代わりに、画像のいわゆる「ダウンサンプリング」も実行でき、それによって画素の数が全体に減らされて、演算労力が軽減される。

次のステップＳ３において、個別の画像に対し、ハイパスフィルタＨＰＦによるハイパスフィルタ処理が行われる。それゆえ、高周波数画像成分の位置が特定される。ここで、例えば３×３画素のサイズのいわゆるソーベル（Ｓｏｂｅｌ）フィルタが使用される。しかしながら、別の適当なハイパスフィルタも使用できる。

ステップＳ４により、次に各画像が最大値フィルタＭＡＸの基礎として使用され、その機能を、図４を参照しながらより詳しく説明する。図４において、カメラ４のある画像５のある領域が示されており、ここで、個別の画素が６で指示されている。複数のいわゆる標的画素７が各画像５について定義され、標的画素７の数は基本的に任意に選択できる。例えば、１つおきの画素６を標的画素７と定義でき、又は画素６の全部でも、標的画素７と定義することもできる。各画像５において、走査窓８が各標的画素７について画定される。換言すれば、各画像５の中で走査窓８が画定され、その位置は画像内で、走査窓８の各位置において標的画素７が走査窓８の中央に位置付けられるように段階的に変更される。したがって、標的画素７の密度によってもまた、走査窓８の変更幅が決まる。基本的に、走査窓８はどのような大きさにすることもできる。この実施形態においては、７×７画素の大きさが選択されている。走査窓８は例えば、左から右にラインごとに移動され、隣接する２つの位置Ｉ及びＩＩ（図４の破線と実線）について重複領域９が設けられており、その大きさは走査窓８の移動幅に依存する。

演算時間を短縮するために、任意選択により、２つの１次元走査窓８を２次元走査窓８の代わりに画定することもできる。すると、一方の１次元窓は列に沿った走査を担当し、もう一方の窓はラインごとの走査に使用される。

走査窓８の各位置Ｉ、ＩＩにおいて、輝度値が最大の画素６がそれぞれ検出される。次に、標的画素７にこの最大値が置き換えられる。そこで演算時間を最小限に短縮するために、次のことが提案される。

走査窓８の各位置Ｉ、ＩＩについて、一方で最大輝度値と、他方でこの最大値を有する画素６の位置もまた保存される。次に、走査窓８の現在の位置ＩＩにおいて、前の位置Ｉからの最大値を持つ画素６が重複領域９の中にあるか否かが調べられる。すると、これが当てはまらず、かつ、この画素６が現在の走査窓８の外側領域１０の中にあれば、現在の位置ＩＩにおいて、走査窓８の画素６のすべてについて、どの画素６が最大値を有するか調べられる。しかしながら、前の位置Ｉからの最大値を持つ画素６が重複領域９の中にある場合はそれゆえ、現在の位置ＩＩにおいて、走査窓８のうち、重複領域９の外の領域１１の中のある画素６だけが調べられる。それゆえ、この領域１１の中にある画素６だけが、それらの輝度値が前の位置Ｉからの最大値より大きいか否かの点で調べられる。このようにして、演算時間を大幅に、すなわち走査窓８全体の画素のすべてを常に調べなければならない実施形態と比較して短縮できる。

それによって、７×７の走査窓８では、必要な演算時間が４０％短縮される。窓８を大きくすると、実際に、演算時間をさらに大きく短縮できる。それゆえ、１８×１８の走査窓８であれば、必要な演算時間は、すべての画素を検討するのに必要な演算時間のわずか約２８％となる。

それゆえ、最大値フィルタＭＡＸによるフィルタ処理の後、この画素７の周囲からの最大値がそれぞれ標的画素７の代わりに示される画像５が提供される。その点で、選択されたシーケンスの画像５のすべてにこのようなフィルタ処理が行われる。

図２をさらに参照すると、次のステップＳ５で、今度は時間成分が追加される。最大値の時系列集合が走査窓８の各位置Ｉ、ＩＩについて、それゆえ各標的画素７について、すなわち複数の画像５にわたり測定される。したがって、現在の画像５の各最大値がそれぞれ時系列集合に追加され、それによって、最大値の複数の連続集合がある時間にわたって提供されて検討され、異なる時系列集合が各標的画素７に関連付けられる。

図５において、最大値の例示的な時系列集合１２が時間ｔにわたり示されている。この時系列集合１２は例えば、図４による標的画素７に関連付けられる。図２のステップＳ５において、各時系列集合１２が、ＩＩＲフィルタである再帰型平滑化フィルタに供給される。この平滑化フィルタによって、集合１２は、コンデンサによる場合と同様に平滑化され、平滑化された集合１３が提供されるが、これが図４において例示的に示されている。例えば、平滑化フィルタは、プログラミング言語において以下のように実装できる。
if M ≧ CF, then:
CF = M;
else: if M < C, then:
CF = αM + (1-α)CF

ここで、Ｍは集合１２の現在の数値を指し、ＣＦは平滑化フィルタの現在の結果を示し、αは、フィルタの「強さ」を定め、数値０〜１の間とすることができるＩＩＲフィルタ係数を表す。

このような平滑化後の集合１３を今度は限界値ＴＨと比較でき、すなわち、次のステップＳ６（図２）による。この限界値ＴＨはまた、カメラ４の動作中に、例えば現在のノイズレベルＲ及び／又は光景の現在の輝度レベルＨに応じて調節することもでき、これらのパラメータはステップＳ７で取得される。

カメラ４の覆われた状態は、平滑後の集合１３が限界値Ｔより低い場合に検出される。

図２による方法の結果、特に、マトリクスＭを出力でき、その大きさは画像セルの数によって定められ、それに従って、それぞれの画像セルに関してカメラ４が覆われているか否かが別々に判断される。すなわち、画像５を複数の画像セルに分割でき、各々が複数の標的画素７を含む。それゆえ、複数の平滑化された集合１３はまた、各画像セルにも関連付けられる。したがって、画像５の各画像セルについて、カメラ４の被覆レベルを判断できる。例えば、これは、集合１３が限界値ＴＨを下回る標的画素７の数が判断されるように構成できる。次に、この数をそれぞれの画像セル内の標的画素７の総数に関連付けることができ、すると、この比はそれぞれの画像セルに関するカメラ４の被覆レベルを示す。

Claims (11)

1. 自動車（１）のカメラ（４）の被覆状態を認識する方法であって、
   自動車（１）の周囲領域の画像（５）をカメラ（４）によって提供するステップと、
   画像（５）の少なくとも１つの画像領域（６０）内の画素（６）のそれぞれの輝度値（Ｂ）を測定するステップと、
   少なくとも１つの画像領域（６０）の中で、輝度値（Ｂ）に関する所定の基準を満たす画素（６）の数（Ｎ１、Ｎ２）を測定するステップと、
   数（Ｎ１、Ｎ２）に応じてカメラ（４）が被覆されているか、被覆されていないかをチェックするステップと、
   を含み、
   画像領域（６０）内の輝度平均値（ＢＥ）が画素（６）の輝度値（Ｂ）から判断され、第１の基準に応じて、画像領域（６０）の中の、輝度平均値（ＢＥ）より少なくとも所定の限界値（ＢＶ）だけ大きい輝度値（Ｂ）を有する画素（６）の第１の数（Ｎ１）が測定され、第１の数（Ｎ１）に応じてカメラ（４）が被覆されているか、被覆されていないかがチェックされる、
   ことを特徴とする方法。
2. 輝度値（Ｂ）について少なくとも２つの基準が使用され、各基準について、それぞれの基準を満たす輝度（Ｂ）を有する画素（６）の数（Ｎ１、Ｎ２）が測定され、各基準には被覆状態の異なる理由が関連付けられる、
   ことを特徴とする、請求項１に記載の方法。
3. カメラ（４）が不透明な物体によって少なくとも部分的に被覆される第１の状態が第１の基準に関連付けられ、及び／又は
   カメラ（４）が透明な物体によって少なくとも部分的に被覆されていると仮定される第２の状態が第２の基準に関連付けられる、
   ことを特徴とする、請求項２に記載の方法。
4. カメラ（４）の被覆状態は、第１の数（Ｎ１）が所定の閾値（Ａ１）より小さい場合に仮定される、
   ことを特徴とする、請求項３に記載の方法。
5. 画像（５）は複数の画像領域（６０）に分割され、各画像領域（６０）について、それぞれの画像領域（６０）の中の、輝度平均値（ＢＥ）より少なくとも所定の限界値（ＢＶ）だけ大きい輝度値（Ｂ）を有する画素（６）の第１の数（Ｎ１）がそれぞれ測定され、第１の数（Ｎ１）が所定の閾値（Ａ１）より小さい画像領域（６１）が全体領域（６２）へと合体され、全体領域（６２）が所定の閾値より大きい場合のみ、カメラ（４）の被覆状態が仮定される、
   ことを特徴とする、請求項４に記載の方法。
6. 第２の基準により、画像領域（６０）の中の、飽和により最大可能輝度に対応する輝度値（Ｂ）を有する画素（６）の第２の数（Ｎ２）が測定され、第２の数（Ｎ２）に応じて、カメラ（４）が被覆されているか、被覆されていないかがチェックされる、
   ことを特徴とする、請求項１〜５のいずれか１項に記載の方法。
7. カメラ（４）の被覆状態は、第２の数（Ｎ２）が所定の閾値（Ａ２）より大きい場合に仮定される、
   ことを特徴とする、請求項６に記載の方法。
8. 検出後、カメラ（４）の状態が再び被覆されていないと仮定されるのは、画像（５）の所定のシーケンス（Ｖ）にわたり、第２の数（Ｎ２）が閾値（Ａ２）より小さいままである場合のみである、
   ことを特徴とする、請求項７に記載の方法。
9. 画素（６）の数（Ｎ１、Ｎ２）に基づいて被覆状態が検出されない場合、画像（５）はハイパスフィルタ（ＨＰＦ）によってフィルタ処理され、フィルタ処理後の画像（５）に基づいて、カメラ（４）が被覆されているか、被覆されていないかがチェックされる、
   ことを特徴とする、請求項１〜８のいずれか１項に記載の方法。
10. 自動車（１）用のカメラシステム（２）であって、
    自動車（１）の周囲領域の画像（５）を提供するための少なくとも１つのカメラ（４）と、
    請求項１〜９のいずれか１項に記載の方法を実行するようになされているコンピューティングデバイス（３）と、
    を備えることを特徴とするカメラシステム（２）。
11. 請求項１０に記載のカメラシステム（２）を備える自動車（１）。
    

Images