JP2007172504A - 付着物検出装置及び付着物検出方法 - Google Patents

Abstract

【課題】極めて少ない画像処理負担で自車前方を撮影するカメラの撮影画像に自車もしくはカメラの付着物有りを検出する。【解決手段】画像特徴検出手段により単眼カメラ２の撮影画像の画像データから画像特徴量の各画素点を検出して検出結果を記憶手段に保持し、一致点検出手段により少なくとも所定時間連続して画像特徴検出手段の検出結果が一致する各画素点を検出し、検索領域設定手段により撮影画像に基本検索領域とそれよりずれた副検索領域とを設定し、両検索領域それぞれの各エリアについて一致点検出手段の検出一致点数を計数する判定手段の極めて負担の少ない処理により、計数値がしきい値以上になる付着物のエリアを検出して付着物有りと判定する。
【選択図】図１

Description

この発明は、自車前方を撮影するカメラの撮影画像に含まれた自車もしくはカメラの付着物を検出する付着物検出装置及び付着物検出方法に関する。

従来、自車前方の物標認識等を目的としてＣＣＤ単眼カメラ、ステレオカメラ等のカラーもしくは白黒のカメラを搭載した車両にあっては、自車走行中にそのカメラによって自車前方を連続的に撮影し、時々刻々の撮影画像（輝度画像）に微分二値化等の周知の画像処理を施し、該画像処理によって得られた各微分二値画像から先行車等の物標や白線の認識を行っている。

ところで、前記カメラは車内のバックミラー取り付け支柱等に取り付けられ、その撮影レンズ、自車のフロントガラスを通して自車前方（車外）を撮影する。

そのため、例えば自車のフロントガラスの貼着物やフロントガラスに付着した汚泥や雨滴、もしくは撮影レンズの付着塵埃等の自車もしくはカメラの付着物がノイズとして撮影画像に写り込むことがあり、この場合、付着物のノイズによって認識ミス等が生じる。

そこで、カメラの撮影画像の特徴量として輪郭（エッジ）の各画素点を検出し、それらを連結して輪郭の線分を形成し、その線分の輪郭の形状や位置に時間変化がないことから前記付着物の輪郭を特定して前記付着物のノイズを検出することが提案されている（例えば、特許文献１参照）。
特許第３６５５４１号公報（特許請求の範囲、［０００７］、［００１８］−［００２３］、図１、図３等）

前記従来のように、カメラの撮影画像の輪郭（エッジ）の各画素点を連結して輪郭の線分を形成し、その線分から前記撮影画像中の付着物の輪郭を特定して付着物有りを検出する場合は、前記の連結や輪郭の線分化等の複雑な画像処理が必要であり、画像処理負担が大きくなる問題がある。

本発明は、極めて少ない画像処理負担で自車前方を撮影するカメラの撮影画像に自車もしくはカメラの付着物有りを検出することを目的とする。

上記した目的を達成するために、本発明の付着物検出装置は、自車に搭載したカメラの自車先行の撮影画像中の付着物有りを検出する付着物検出装置であって、前記撮影画像の画像データから画像特徴量の各画素点を検出する画像特徴検出手段と、前記画像特徴検出手段の検出結果を保持する記憶手段と、最新の前記撮影画像の画像データについての前記画像特徴検出手段の検出結果と、前記記憶手段に保持された過去の撮影画像の画像データについての前記画像特徴検出手段の検出結果とを比較し、少なくとも所定時間連続して前記画像特徴検出手段の検出結果が一致する各画素点を検出する一致点検出手段と、前記撮影画像に、該撮影画像をマトリクス状に区分した複数個のエリアからなる基本検索領域と、前記撮影画像をマトリクス状に区分した各エリアが前記基本検索領域の各エリアを跨ぐように前記基本検索領域を上下、左右方向の任意の位置にずらした状態の副検索領域とを設定する検索領域設定手段と、前記両検索領域それぞれの各エリアについて前記一致点検出手段の検出一致点数を計数し、計数値がしきい値以上になる付着物のエリアを検出して付着物有りと判定する判定手段とを備えたことを特徴としている（請求項１）。

また、本発明の付着物検出方法は、自車に搭載したカメラの自車先行の撮影画像中の付着物を検出する付着物検出方法であって、前記撮影画像の画像データから画像特徴量の各画素点を検出して検出結果を保持し、最新の前記撮影画像の画像データについての前記特徴量の検出結果と、保持した過去の撮影画像の画像データについての前記特徴量の検出結果とを比較し、少なくとも所定時間連続して前記検出結果が一致する各画素点を検出し、前記撮影画像に、該撮影画像をマトリクス状に区分した複数個のエリアからなる基本検索領域と、前記撮影画像をマトリクス状に区分した各エリアが前記基本検索領域の各エリアを跨ぐように前記基本検索領域を上下、左右方向の任意の位置にずらした状態の副検索領域とを設定し、前記両検索領域それぞれの各エリアの検出一致点数を計数し、計数値がしきい値以上になる付着物のエリアを検出して付着物有りと判定することを特徴としている（請求項２）。

請求項１、２の発明によれば、カメラの撮影画像の所定期間以上連続して画像特徴量が検出される付着物の各画素点が、撮影画像をマトリクス状に区分した基本検索領域の各エリア及び、基本検索領域を上下、左右方向の任意の位置にずらした副検索領域の各エリアの単位で分割して計数される。

このとき、付着物の各画素点が基本検索領域の分割では複数のエリアに跨って分散する位置にあっても、副検索領域の分割ではそれらの画素点が１つのエリアに含まれてそのエリアの計数値は少なくならない。逆に、付着物の各画素点が副検索領域の分割では複数のエリアに跨って分散する位置にあっても、基本検索領域の分割ではそれらの画素点が１つのエリアに含まれてそのエリアの計数値は少なくならない。このため、付着物については、基本、副検索領域のいずれかのその位置の各エリアの画素点の計数値がしきい値以上になり、確実に付着物が有ることを検出することができる。

そして、前記従来のようにカメラの撮影画像の輪郭（エッジ）の各画素点を連結して線分化（グルーピング）することで輪郭の線分を形成し、その線分から前記撮影画像中の付着物の輪郭を特定して付着物有りを検出するのではなく、撮影画像を区分したエリア毎の画素点の計数から付着物有りと判定するので処理が単純であり、画像処理負担が軽くて済み、極めて少ない画像処理負担で自車前方を撮影するカメラの撮影画像に自車もしくはカメラの付着物有りを検出することができる。

つぎに、本発明をより詳細に説明するため、一実施形態について、図１〜図７にしたがって詳述する。

図１は自車１のブロック構成図であり、図２は自車１に搭載された単眼カメラ２の探査状態を示し、図３（ａ）、（ｂ）は単眼カメラ２の時刻ｔｎ、ｔｎ＋１の付着物ＴＧを含んだ撮影画像Ｐｎ、Ｐｎ＋１を示す。

また、図４は後述の制御ＥＣＵの撮影画像の画素点の説明図であり、図５の（ａ）、（ｂ）はエッジ画素点の説明図、その一部の拡大図であり、図６の（ａ）、（ｂ）は基本検索領域、副検索領域の説明図であり、図７は制御ＥＣＵの処理説明用のフローチャートである。

図１に示すように、自車１は自車前方の先行車等の物標や路面の白線を検出して前記物標との衝突可能性等を判断し、警報表示や自動ブレーキ制御、操舵回避制御等を行うため、カラーあるいは白黒のＣＣＤの単眼カメラ２及び、レーザレーダ、ミリ波レーダ等のレーダ３を搭載し、単眼カメラ２、レーダ３によって自車前方をくり返し探査する。

また、車速センサ（図示せず）、舵角センサ４、ヨーレートセンサ５等の各種のセンサによって自車１の走行状態等を検出する。

そして、自車１の全体を制御するマイクロコンピュータ構成の制御ＥＣＵ６により、単眼カメラ２の時々刻々の撮影画像を画像処理して自車前方の先行車等の物標を検出し、レーダ３の時々刻々の探査結果を処理して同様の物標を検出し、両検出の結果及び各センサ４、５等の検出結果に基づく周知のセンサフュージョンの処理により、前記の物標を認識して衝突可能性等を判断する。そして、この判断と制御スイッチ７の切り替えとに基づき、通常は、スロットル制御ユニット８のアクセル開度の制御、ブレーキ制御ユニット９のブレーキ制御、ＡＴ制御ユニット１０のＡＴ制御によっていわゆる追従走行（車間距離一定）の走行制御を行う。ここで、衝突可能性が高くなると、表示警報ユニット１１によってドライバに警報し、ユニット８〜１０の自動制動の制御を行い、さらに、必要に応じてステアリング制御ユニット１２のパワーステアリングの衝突回避制御等を行う。

図２に示すように、単眼カメラ２は例えば自車１の室内のバックミラー１３の支持基部に自車前方に臨むように取り付けられ、図中の実線ａ、ｂの斜め下を向いた撮影範囲を撮影する。

このとき、図３の（ａ）、（ｂ）に示すように、自車１のフロントガラス１４の貼着物やフロントガラス１４に付着した汚泥や雨滴、もしくは単眼カメラ２の撮影レンズに付着した塵埃等の自車１もしくは単眼カメラ２の付着物がノイズとして撮影画像に写り込むと、例えば時刻ｔｎ、ｔｎ＋１の順次の撮影画像Ｐｎ、Ｐｎ＋１において、付着物ＴＧは画像の同じ位置に存在する。

そして、自車速が設定値以上になると、制御ＥＣＵ６は単眼カメラ２の時々刻々の撮影画像を画像処理するプログラムの１つとして、付着物検出プログラムを実行し、つぎの各手段を備える。なお、自車速が前記の設定値より小さい低速走行時もしくは信号停止等の停車時には例えば撮影画像Ｐｎ、Ｐｎ＋１の付着物ＴＧ以外の部分も同じになって付着物ＴＧの検出が困難になるので前記の付着物検出プログラムを実行しない。

（ａ）画像特徴検出手段
この手段は、撮影画像の画像データから画像特徴量の各画素点を検出し、設定時間分の検出結果を制御ＥＣＵ６の記憶手段としてのＲＡＭ等に書き換え自在に保持させる。具体的には、撮影画像の画像データは撮影画像の輝度の微分２値画像データ（エッジ２値画像データ）であり、この微分２値画像データの画像特徴量としての微分２値がエッジ有りの「１」になる輝度エッジの各画素点を検出する。

このとき、図４に示すように撮影画Ｐｔのほほ中央の注目領域ＲＯＩの上下、左右のマトリックス状の各画素点ｐについて、１画素点ずつ「１」になる輝度エッジの各画素点ｐを検査すると、処理する画素点ｐの数が極めて多く、制御ＥＣＵ６の処理負担が多くなるだけでなく、静止した付着物ＴＧであっても走行状態によっては撮影画像Ｐｔ毎にわずかに位置がずれることもある。

このため、図５の（ａ）、（ｂ）に示すように、この実施形態においては、例えば上下、左右に８画素点ｐの間隔で探索ポイントとなる各検出画素点ｐｉを設定し、各検出画素点ｐｉ毎に、各検出画素点ｐｉ及びそれらの画素点ｐｉを囲む８個の画素点ｐの合計９（３×３）画素点ｐｉ、ｐの「１」の個数が設定個数以上になるか否かによって検出画素点ｐｉが「１」のエッジ有りか否かを決定する。そして、このようにして決定した各検出点画素ｐｉについてのみ「１」のエッジ有りか否かを検索して検出する。なお、図５の（ａ）の破線矢印は走査方向（検出方向）を示す。

（ｂ）一致点検出手段
この手段は、単眼カメラ２の最新の（現在得られた）撮影画像の画像データについての前記画像特徴検出手段の検出結果と、前記記憶手段に保持された過去の（現在より一定時間前までの）撮影画像の画像データについての前記画像特徴検出手段の検出結果とを比較し、少なくとも所定時間連続して前記画像特徴検出手段の検出結果が一致する各検出画素点ｐｉをエッジ画素点として検出する。なお、前記の一定時間、所定時間は実験等によって設定される例えば秒単位の時間である。

（ｃ）検索領域設定手段
この手段は、撮影画像Ｐｔに、撮影画像Ｐｔをマトリクス状に区分した複数個のエリアからなる基本検索領域と、撮影画像Ｐｔをマトリクス状に区分した各エリアが基本検索領域の各エリアを跨ぐように基本検索領域を上下、左右方向の任意の位置にずらした状態の副検索領域とを設定する。

具体的には、図６の（ａ）に示すように撮影画像Ｐｔの前記注目領域ＲＯＩの部分をマトリックス状の各エリアαに区分した基本検索領域Ｋｍと、同図の（ｂ）に示すように前記注目領域ＲＯＩの部分を、上下、左右方向に１エリアαより短い長さ、例えばエリアαの１／２の長さだけ基本検査領域Ｋｍからずらしたマトリックス状の各エリアβに区分した副検索領域Ｋｓとを設定する。

なお、エリアα、βは前記の検出画素点ｐｉを上下、左右方向に複数個含む同じ大きさである。また、副検索領域Ｋｓはずらす量等を変えて複数個設定してもよいが、この実施形態では、処理負担等を考慮して１個だけ設定する。

（ｄ）判定手段
この手段は、両検索領域Ｋｍ、Ｋｓそれぞれの各エリアα、βについて、前記一致点検出手段の検出一致点数を計数し、計数値が設定されたしきい値以上になる付着物ＴＧのエリアα、βを検出して付着物有りと判定する。

以上の手段を備えることにより、制御ＥＣＵ６は例えば図７のステップＳ１〜Ｓ３の各検出処理をくり返し実行する。

そして、ステップＳ１の固着ポイント検出においては、前記の画像特徴検出手段によって微分２値画像の「１」のエッジ有りの各検出点画素ｐｉを検出し、一致点検出手段によって少なくとも所定時間連続して画像特徴検出手段の検出結果が一致する各検出画素点ｐｉをエッジ画素点として検出する。

また、ステップＳ２の固着エリア検出においては、検索領域設定手段によって設定された各エリアα、βの各エッジ画素点を決定してしエッジ画素点を含む各エリアα、βを検出する。

さらに、ステップＳ３の固着物検出においては、判定手段によって、前記計数値が前記設定されたしきい値以上になる付着物ＴＧのエリアα、βを検出し、付着物ＴＧのエリアα、βがいずれか一つでもあれば付着物有りと判定する。

このようにすることで、撮影画像Ｐｔを区分したエリアα、βの単位で所定時間以上同じ位置に出現するエッジ画素点を計数して付着物有りを検出することができ、この場合、従来の複雑な画像処理をする場合に比して処理が単純であり、画像処理負担が軽くて済み、極めて少ない画像処理負担で自車前方を撮影する単眼カメラ２の撮影画像Ｐｔに自車１もしくは単眼カメラ２の付着物有りを検出することができる。しかも、エッジ画素点を含むエリアα、βから付着物ＴＧの画像上の位置を把握することができる。

そのため、撮影画像Ｐｔから付着物ＴＧを除いて前記の物標の誤認識等を防止することができる。

また、基本検索領域Ｋｍ、副検索領域Ｋｓを設定しエッジ画像点をそれぞれの各エリアα、βの単位で分割して計数して付着物ＴＧを検出するため、基本検索領域Ｋｓの分割では複数のエリアαに跨って分散し各エリアαの計数値が少なくなる位置の付着物ＴＧの各エッジ画素点であっても、副検索領域Ｋｓの分割では１つのエリアβに含まれて計数値が少なくならず、同様に、副検索領域Ｋｓの分割では複数のエリアβに跨って分散し各エリアβの計数値が少なくなる位置の付着物ＴＧの各エッジ画素点であっても、基本検索領域Ｋｍの分割では１つのエリアαに含まれて計数値が少なくならない。そのため、付着物ＴＧについては、基本、副検索領域Ｋｍ、Ｋｓのいずれかのその位置の各エリアα、βのエッジ画素点の計数値が必ずしきい値以上になり、確実に付着物有りを検出することができ、信頼性が著しく向上する。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば前記の基本検索領域Ｋｍ、副検索領域Ｋｓを設定すると、上下、左右の周縁部がエリアα、βの幅に達しなくなって無駄になってしまうため、例えば図８に示すように斜線を施した上下、左右の周縁部分に第二の副検索領域としての上下、左右の外周探査領域Ｋｅを設定し、これらの外周領域Ｋｅについても基本検索領域Ｋｍ、副検索領域Ｋｓと同様にエリアγに区分してエリア単位で付着物ＴＧの有無を検出するようにし、付着物ＴＧの検出精度を一層向上するようにしてもよい。

また、本発明においては、基本検索領域Ｋｍと副検索領域Ｋｓ、Ｋｅの大きさや形状等が異なっていてもよいは勿論である。

つぎに、基本検索領域Ｋｍ、副検索領域Ｋｓのエリアα、βの大きさや個数、付着物ＴＧと認識するための前記の連続時間等は、実験等に基づいて適当に設定してよいのは勿論である。

また、単眼カメラ２に代えて、ステレオカメラ等を自車１に搭載した場合にも、本発明を同様に適用することができる。

本発明の一実施形態のブロック図である。 図１の単眼カメラの搭載例の斜視図である。 （ａ）、（ｂ）は図２の単眼カメラの順次の撮影画像例の説明図である。 図１の制御ＥＣＵの撮影画像の画素点の説明図である。 （ａ）、（ｂ）はエッジ画素点の説明図、その一部の拡大図である。 （ａ）、（ｂ）は基本検索領域、副検索領域の説明図である。 図１の制御ＥＣＵの処理説明用のフローチャートである。 撮影画像の検索領域の他の設定例の説明図である。

符号の説明

１ 自車
２ 単眼カメラ
６ 制御ＥＣＵ
ＴＧ 付着物

Claims (2)

1. 自車に搭載したカメラの自車先行の撮影画像中の付着物有りを検出する付着物検出装置であって、 前記撮影画像の画像データから画像特徴量の各画素点を検出する画像特徴検出手段と、 前記画像特徴検出手段の検出結果を保持する記憶手段と、 最新の前記撮影画像の画像データについての前記画像特徴検出手段の検出結果と、前記記憶手段に保持された過去の撮影画像の画像データについての前記画像特徴検出手段の検出結果とを比較し、少なくとも所定時間連続して前記画像特徴検出手段の検出結果が一致する各画素点を検出する一致点検出手段と、
   前記撮影画像に、該撮影画像をマトリクス状に区分した複数個のエリアからなる基本検索領域と、前記撮影画像をマトリクス状に区分した各エリアが前記基本検索領域の各エリアを跨ぐように前記基本検索領域を上下、左右方向の任意の位置にずらした状態の副検索領域とを設定する検索領域設定手段と、
   前記両検索領域それぞれの各エリアについて前記一致点検出手段の検出一致点数を計数し、計数値がしきい値以上になる付着物のエリアを検出して付着物有りと判定する判定手段とを備えたことを特徴とする付着物検出装置。
2. 自車に搭載したカメラの自車先行の撮影画像中の付着物を検出する付着物検出方法であって、
   前記撮影画像の画像データから画像特徴量の各画素点を検出して検出結果を保持し、
   最新の前記撮影画像の画像データについての前記特徴量の検出結果と、保持した過去の撮影画像の画像データについての前記特徴量の検出結果とを比較し、少なくとも所定時間連続して前記検出結果が一致する各画素点を検出し、
   前記撮影画像に、該撮影画像をマトリクス状に区分した複数個のエリアからなる基本検索領域と、前記撮影画像をマトリクス状に区分した各エリアが前記基本検索領域の各エリアを跨ぐように前記基本検索領域を上下、左右方向の任意の位置にずらした状態の副検索領域とを設定し、
   前記両検索領域それぞれの各エリアの検出一致点数を計数し、計数値がしきい値以上になる付着物のエリアを検出して付着物有りと判定することを特徴とする付着物検出方法。

Images