JP2018148345A - 車載カメラシステム、付着物検出装置、付着物除去方法、及び付着物検出プログラム - Google Patents

Abstract

【課題】カメラの撮影画像に基づいてカメラへの付着物を適切に検出する車載カメラシステムを提供する。【解決手段】車載カメラシステム１は、車両に搭載されて車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するカメラ１０と、カメラ１０にて生成された複数の撮影画像においてフレーム間の差分の小さい小差分領域を特定する差分処理部２３と、車両の走行に伴う撮影画像内の被写体の移動方向である車両走行対応方向への小差分領域の移動の有無に基づいて、カメラ１０への付着物の有無を判定する付着物有無判定部２４とを備えている。【選択図】図１

Description

本発明は、車載のカメラを含む車載カメラシステム、車載カメラシステムのカメラへの付着物を検出する付着物検出装置及び付着物検出プログラム、及び車載カメラシステムを用いた付着物除去方法に関する。

近年、ドアミラーやルームミラーの代わりにカメラとディスプレイを用いた電子ミラーシステムとしての車載カメラシステムを搭載した車両が開発されている。カメラは、例えば車両の側部又は後部に取り付けられ、車両の側方ないし後方の他の車両等を撮影し、撮影画像をディスプレイに表示する。ドライバは、ドアミラーやルームミラーの代わりにこのディスプレイに表示された撮影画像を視認することで、自車両の周囲の状況を把握できる。

この車載カメラシステムを用いて、自車両の周囲の他の車両や歩行者を検知し、ドライバに警報を発し、あるいはドライブアシスト（自動ブレーキ、車線変更の制限等）を作動させるシステムも開発されている。

外部に露出している車載のカメラには、レンズ又はレンズカバー（以下単に、「レンズカバー」という。）の表面に雨滴やごみ等が付着することがある。レンズカバーに付着物があると、自車両周辺の状況を正確に撮影することができず、ディスプレイにおける視認性が低下し、あるいは、誤った制御が行われるおそれがある。

この問題を解決するために、車載カメラシステムに、カメラ（のレンズカバー）への付着物を検出する付着物検出装置と、付着物の検出結果に従って物理的な方法でレンズカバー表面の付着物を取り除く付着物除去機構を設けることが提案されている（例えば、特許文献１）。付着物除去機構としては、例えば、レンズカバーに向けて気流を吹き付けて付着物を吹き飛ばすものが知られている。

特開２０１６−９１２５０号公報

しかしながら、従来の付着物検出装置では、付着物ではないが変化の少ない領域（例えば、遠景）を付着物と誤判定することがある。

本発明は、車載カメラシステムにおいて、カメラの撮影画像に基づいてカメラへの付着物を適切に検出することを目的とする。

本発明の一態様の車載カメラシステムは、車両に搭載されて前記車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するカメラと、前記カメラにて生成された複数フレームの前記撮影画像においてフレーム間の差分の小さい小差分領域を特定する差分処理部と、前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定する付着物有無判定部とを備えた構成を有している。

この構成により、単にフレーム間差分の小さい小差分領域を特定するだけでなく、その小差分領域の車両走行対応方向への移動の有無によって、その小差分領域が付着物であるか否かを判断するので、比較的短時間で付着物の有無を適切に判定できる。例えば、遠景については、フレーム間差分は小さくなるが、遠景による小差分領域は車両走行対応方向に移動が生じるはずであるので、そのような移動の有無によって付着物であるか遠景であるかを比較的短時間で判断できる。

上記の車載カメラシステムにおいて、前記差分処理部は、フレーム間の差分を累積した差分累積画像を生成し、前記差分累積画像における低輝度領域を前記小差分領域として特定してよい。

この構成により、差分累積画像で小差分領域をある程度明確にした上で、その移動の有無を判断するので、より的確に付着物の有無を判定できる。

上記の車載カメラシステムにおいて、前記差分処理部は、前記差分累積画像の前記車両走行対応方向の分布を示すヒストグラムを生成し、前記ヒストグラムに基づいて前記小差分領域を特定してよい。

この構成により、車両走行対応方向の差分の分布を示すヒストグラムが生成されるので、車両走行対応方向に移動する背景を適切に判定できる。

上記の車載カメラシステムは、前記カメラにて生成された複数フレームの前記撮影画像の間のフレーム間差分画像を生成する差分画像生成部をさらに備えていてよく、前記差分処理部は、複数の前記フレーム間差分画像を累積することで前記差分累積画像を生成してよい。

この構成により、容易に差分累積画像を生成できる。

上記の車載カメラシステムは、前記カメラにて生成された前記撮影画像に対してＲＯＩを設定するＲＯＩ設定部をさらに備えていてよく、前記差分処理部は、前記ＲＯＩ内で前記小差分領域を特定してよい。

この構成により、撮影画像における自車両の映り込み部分等、付着物と誤判定され得る部分を予め除外して付着物の判定を行うことができる。

上記の車載カメラシステムにおいて、前記付着物有無判定部は、前記車両の走行速度に応じて前記小差分領域の移動の有無を判断するためのフレーム間隔を調整してよい。

この構成により、例えば、走行中にのみ付着物の有無を判定し、あるいは、速度が速いほど小差分領域の移動の判定を速くする等の調整が可能となる。

上記の車載カメラシステムは、前記付着物有無判定部にて付着物があると判定されたときに、前記付着物を除去するよう作動する付着物除去機構をさらに備えていてよい。

この構成により、カメラへの付着物の検出から除去までを撮影画像に基づいて自動で行うシステムが提供される。

本発明の一態様の付着物検出装置は、車両に搭載されて前記車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するカメラから前記撮影画像を取得する付着物検出装置であって、前記カメラにて生成された複数フレームの前記撮影画像において差分の小さい小差分領域を特定する差分処理部と、前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定する付着物有無判定部とを備えた構成を有している。

この構成によっても、単にフレーム間差分の小さい小差分領域を特定するだけでなく、その小差分領域の車両走行対応方向への移動の有無によって、その小差分領域が付着物であるか否かを判断するので、比較的短時間で付着物の有無を適切に判定できる。

本発明の一態様の付着物除去方法は、車両に搭載されたカメラで前記車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するステップと、制御装置において、生成された複数フレームの前記撮影画像において差分の小さい小差分領域を特定するステップと、前記制御装置において、前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定するステップと、前記制御装置において、前記カメラへの付着物があると判定されたときに、付着物を除去するよう付着物除去機構を作動させる制御を行うステップとを備えた構成を有している。

この構成によっても、単にフレーム間差分の小さい小差分領域を特定するだけでなく、その小差分領域の車両走行対応方向への移動の有無によって、その小差分領域が付着物であるか否かを判断するので、比較的短時間で付着物の有無を適切に判定できる。

本発明の一態様の付着物検出プログラムは、車両に搭載されて前記車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するカメラから前記撮影画像を取得する付着物検出装置のコンピュータを、前記カメラにて生成された複数フレームの前記撮影画像において差分の小さい小差分領域を特定する差分処理部、及び前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定する付着物有無判定部として機能させる構成を有する。

この構成によっても、単にフレーム間差分の小さい小差分領域を特定するだけでなく、その小差分領域の車両走行対応方向への移動の有無によって、その小差分領域が付着物であるか否かを判断するので、比較的短時間で付着物の有無を適切に判定できる。

本発明によれば、単にフレーム間差分の小さい小差分領域を特定するだけでなく、その小差分領域の車両走行対応方向への移動の有無によって、その小差分領域が付着物であるか否かを判断するので、比較的短時間で付着物の有無を適切に判定できる。

本発明の実施の形態の車載カメラシステムの構成を示すブロック図 本発明の実施の形態のＲＯＩの例を示す図 本発明の実施の形態のフレーム間差分画像生成処理を示す図 本発明の実施の形態の時刻ｔのフレーム間差分画像Ｄ_ｔの例を示す図 本発明の実施の形態の差分累積画像の生成処理を示す図 本発明の実施の形態の時刻ｔのフレーム間差分画像Ｄ_ｔの例を示す図 図６のフレーム間差分画像Ｄ_ｔを含む複数のフレーム間差分画像を累積して得られた差分累積画像ＤＡ_ｔの例を示す図 本発明の実施の形態のヒストグラム生成領域を示す図 本発明の実施の形態の各ヒストグラム生成領域において生成されたヒストグラムを示す図 本発明の実施の形態の差分累積画像ＤＡ_ｔの例（上段）と、差分累積画像ＤＡ_ｔの各領域から生成されたヒストグラムの例（下段）を示す図

以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

図１は、本発明の実施の形態の車載カメラシステムの構成を示すブロック図である。車載カメラシステム１は、カメラ１０と、付着物検出装置２０とからなる。カメラ１０は、車両に搭載される。本実施の形態では、車載カメラシステムは、従来のドアミラーに代わるものとして構成され、よって、カメラ１０は、運転席のドア及び助手席のドアの外側に設置されて車両の左右それぞれの斜め後ろを撮影する。なお、図１では、カメラ１０が１つだけ示されているが、カメラ１０は複数あってよく、複数のカメラ１０について、１つの付着物検出装置２０が共通に用いられてもよい。このように、カメラ１０は、車両の外部に露出しており、レンズカバーに雨滴やごみ等が付着し得る。

カメラ１０には、レンズカバーへの付着物を物理的に除去する付着物除去機構が設けられており、後述する付着物検出装置２０にて付着物が検出されたときに、この付着物除去機構を作動させて、レンズカバーへの付着物を除去する。すなわち、車載カメラシステム１の構成要素として、カメラ１０及び付着物検出装置２０の他に、付着物除去装置が含まれていてよく、あるいは、車内に設置されてカメラ１０の撮影画像を表示するディスプレイが含まれていてもよい。

カメラ１０は、連続的に撮影を行って連続する複数フレームからなる撮影画像を生成する。カメラ１０と付着物検出装置２０とは、通信可能に接続されており、撮影画像はカメラ１０から付着物検出装置２０に送信され、付着物検出装置２０は撮影画像を受信する。カメラ１０が複数ある場合には、付着物検出装置２０には、複数のカメラ１０の各々から撮影画像が送信され、付着物検出装置２０はこれらを受信する。付着物検出装置２０は、カメラ１０で生成された撮影画像に基づいて、カメラ１０のレンズカバーに付着物があることを検出する。

付着物検出装置２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、記憶装置等からなるコンピュータで構成されており、ＣＰＵが本実施の形態の付着物検出プログラムを実行することで、図１に示すように、ＲＯＩ設定部２１、差分画像生成部２２、差分処理部２３、及び付着物有無判定部２４が構成される。

なお、本実施の形態では、時間推移を離散的に示し、現在の時点を符号ｔで表し、現時点から１ステップ前の時点を符号ｔ−１で表し、現時点から２ステップ前の時点を符号ｔ−２で表す。また、１ステップは１フレームに相当するので、現時点の最新フレームを符号ｔで表し、１つ前のフレームを符号ｔ−１で表し、２つ前のフレームを符号ｔ−２で表す。

ＲＯＩ設定部２１は、カメラ１０から取得した撮影画像に対して、ＲＯＩ（Region Of Interest、関心領域）を設定する。図２は、ＲＯＩの例を示す図である。図２に示す例では、右側のドアに設置されたカメラ１０の撮影画像に対してＲＯＩ２０１が設定されている。撮影画像には、一部領域に自車両も映り込んでいるが、ＲＯＩ２０１はこの自車両の映り込み部分を避け、かつ付着物検知後の処理（ドライバによる視認、制御等）にとって重要性の低い領域を避けて、矩形の形状として設定される。

右側のドアに設置されたカメラ１０の撮影画像に対しては、図２に示すように、撮影画像の左上にＲＯＩ２０１が設定され、左側のドアに設置されたカメラ１０の撮影画像に対しては、図示はしないが、撮影画像の右上にＲＯＩが設定される。このように、ＲＯＩの位置はカメラ１０の設置位置によって異なっており、ＲＯＩ設定部２１は、カメラ１０ごとにあらかじめ決められた位置にＲＯＩを設定する。ＲＯＩ設定部２１は、撮影画像からＲＯＩの部分画像を切出して、切出した部分画像を差分画像生成部２２に出力する。

差分画像生成部２２は、ＲＯＩ設定部２１から時系列に順次入力される複数の部分画像に基づいてフレーム間差分画像を生成する。図３は、差分画像生成部２２におけるフレーム間差分画像生成処理を示す図である。具体的には、差分画像生成部２２は、時系列で連続した２フレームの画像（時刻ｔと時刻ｔ−１の画像）の間の差分を求めて、フレーム間差分画像を生成する。

差分画像生成部２２は、時刻ｔの画像Ｉ_ｔの各画素の画素値Ｉ_ｔ（ｘ，ｙ）と時刻ｔ−１の画像Ｉ_ｔ−１の各画素の画素値Ｉ_ｔ−１（ｘ，ｙ）との差分を画素値Ｄ_ｔ（ｘ，ｙ）として時刻ｔのフレーム間差分画像Ｄ_ｔを求めてもよいが、本実施の形態では、図３に示すように、差分画像生成部２２は、フレーム間差分画像Ｄ_ｔの注目画素を含む所定の大きさのブロックでの差分を平均化して注目画素の画素値Ｄ_ｔ（ｘ，ｙ）とする。

具体的には、差分画像生成部２２は、フレーム間差分画像Ｄ_ｔの各画素値Ｄ_ｔ（ｘ，ｙ）を以下の式（１）で求める。
ここで、本実施の形態では、ｎ＝２、ｍ＝２とする。すなわち、本実施の形態では、差分画像生成部２２は、フレーム間差分画像Ｄ_ｔの各画素値Ｄ_ｔ（ｘ，ｙ）を、その画素位置（ｘ，ｙ）を含む４画素（ｘ，ｙ）、（ｘ＋１，ｙ）、（ｘ，ｙ＋１）、（ｘ＋１，ｙ＋１）の各差分の平均値とする。差分画像生成部２２は、フレーム間差分画像Ｄ_ｔのすべての画素について、上記のようにして画素値Ｄ_ｔ（ｘ，ｙ）を求めることで、フレーム間差分画像Ｄ_ｔを生成する。

図４は、差分画像生成部２２にて生成された時刻ｔのフレーム間差分画像Ｄ_ｔの例を示す図である。図４において、時刻ｔのフレーム間差分画像Ｄ_ｔの各画素は、時刻ｔ−１の画像Ｉ_ｔ−１と時刻ｔの画像Ｉ_ｔとの差分が大きいほど高輝度に（白く）表されている。差分画像生成部２２は、フレーム間差分画像Ｄ_ｔを生成するとそれを差分処理部２３に出力する。

差分処理部２３は、差分累積画像生成部２３１と、ヒストグラム生成部２３２とを備えている。差分累積画像生成部２３１は、差分画像生成部２２から時系列に順次入力される複数の連続するフレーム間差分画像Ｄ_ｔを用いて差分累積画像ＤＡ_ｔを生成する。

図５は、差分累積画像生成部２３１による差分累積画像の生成処理を示す図である。差分累積画像生成部２３１は、時刻ｔの差分累積画像ＤＡ_ｔを生成するために、まず、時刻ｔのフレーム間差分画像Ｄ_ｔから時系列で連続する過去Ｎフレーム分のフレーム間差分画像Ｄ_ｔ〜Ｄ_{ｔ−（Ｎ−１）}の輝度を累積して、Ｎで正規化することで差分累積画素値ＤＡ´_ｔ（ｘ，ｙ）を求める。差分累積画像生成部２３は、さらに、差分累積画素値ＤＡ´_ｔ（ｘ，ｙ）が一定の閾値Ｔより大きい場合は、差分累積画像ＤＡｔの画素値ＤＡ_ｔ（ｘ，ｙ）を最大値である２５５にし、差分累積画素値ＤＡ´_ｔ（ｘ，ｙ）が一定の閾値Ｔ以下である場合は、それをそのまま差分累積画像ＤＡ_ｔの画素値ＤＡ_ｔ（ｘ，ｙ）をする。

具体的には、差分累積画像生成部２３１は、以下の式（２）で差分累積画素値ＤＡ´_ｔ（ｘ，ｙ）を求め、以下の式（３）で差分累積画像ＤＡ_ｔの各画素値ＤＡ_ｔ（ｘ，ｙ）を求める累積処理を行う。
ここで、Ｔは閾値でありＯｔｓｕ法で自動的に決定することができる。

図６は、時刻ｔのフレーム間差分画像Ｄ_ｔの例を示す図であり、図７は、このフレーム間差分画像Ｄ_ｔを含む複数のフレーム間差分画像を累積して得られた差分累積画像ＤＡ_ｔの例を示す図である。図６及び図７から明らかなように、差分累積画像ＤＡ_ｔでは、フレーム間差分画像Ｄ_ｔと比較して、輝度の高い（最高値２５５）の画素が増えており、Ｎフレーム中の比較的多くのフレームにわたって輝度が変化しない部分のみが低輝度の画素として残されている。すなわち、差分累積画像ＤＡ_ｔを生成することで、複数フレームにおける輝度変化が小さい部分（小差分領域）が特定される。

差分累積画像生成部２３１は、生成した差分累積画像ＤＡ_ｔをヒストグラム生成部２３２に出力する。ヒストグラム生成部２３２は、差分累積画像ＤＡ_ｔに基づいて、部分領域ごとのヒストグラムを生成する。本実施の形態では、差分累積画像生成部２３１は、フレームごとに上記のようにして差分累積画像ＤＡ_ｔを生成し、ヒストグラム生成部２３２も、差分累積画像ＤＡ_ｔごと、すなわちフレームごとに、ヒストグラムを生成する。

図８は、ヒストグラムを生成する部分領域（ヒストグラム生成領域）を示す図であり、図９は、各ヒストグラム生成領域において生成されたヒストグラムを示す図である。図８に示すように、ヒストグラム生成部２３２は、差分累積画像ＤＡ_ｔを上下方向に互いに重複し、ＲＯＩの全長にわたって車両走行対応方向である左右方向（横方向）に延びる複数のヒストグラム生成領域を設定し、車両走行対応方向である左右方向の分布を示すヒストグラムを生成する。図８の例では、差分累積画像ＤＡ_ｔを縦方向に重複する５つの領域（上から順位に第１ヒストグラム生成領域Ａ１、第２ヒストグラム生成領域Ａ２、第３ヒストグラム生成領域Ａ３、第４ヒストグラム生成領域Ａ４、第５ヒストグラム生成領域Ａ５）に分割する。

このとき、差分累積画像ＤＡ_ｔの縦方向の長さ（高さ）をＨ［ピクセル］とし、横方向の長さ（幅）をＷ［ピクセル］とすると、ヒストグラム生成部２３２は、各ヒストグラム生成領域の高さｈをＨ／３として、第１ヒストグラム生成領域Ａ１と第２ヒストグラム生成領域Ａ２、第２ヒストグラム生成領域Ａ２と第３ヒストグラム生成領域Ａ３、第３ヒストグラム生成領域Ａ３と第４ヒストグラム生成領域Ａ４、及び第４ヒストグラム生成領域Ａ４と第５ヒストグラム生成領域Ａ５が、それぞれ縦方向にｈ／２だけ重なるようにする。

なお、ヒストグラム生成領域を互いに重複しないように設定してもよく、この場合には、図８の例では、差分累積画像ＤＡ_ｔを第１ヒストグラム生成領域Ａ１と、第３ヒストグラム生成領域Ａ３と、第５ヒストグラム生成領域Ａ５の３つのヒストグラム生成領域に分割でき、この場合にも各ヒストグラム生成領域の縦方向の幅ｈはＨ／３となる。本実施の形態のように、ヒストグラム生成領域を図８に示すように互いに重複させることで、例えば、第１ヒストグラム生成領域Ａ１と第３ヒストグラム生成領域Ａ３に跨って存在する付着物を第２ヒストグラム生成領域Ａ２で顕著に検出できる等、縦方向の位置に関わらずに付着物を検出できる。

なお、本実施の形態で差分累積画像を横長のヒストグラム生成領域で縦方向に分割しているのは、本実施の形態では、カメラ１０が車両の側部に設置されており、時系列に連続する撮影画像において背景が概ね横方向に移動するからである。このように、撮影画像において、車両の走行に伴って撮影画像内において被写体が移動する方向を、本明細書では「車両走行対応方向」といい、右側のドアに設置されて車両の右側方及び右斜め後方を撮影するカメラによる撮影画像の車両走行対応方向は横方向（右方向）である。

したがって、カメラ１０が例えば車両の後ろ正面を撮影するように車両の後方に向けて設置されている場合には、連続する撮影画像において背景は概ね上方向に移動するので、この場合には、車両走行対応方向は縦方向（上方向）となり、縦方向に延びる複数の領域で差分累積画像を横方向に分割してよい。

ヒストグラム生成部２３２は、各領域について縦方向の画素値を累積して、車両走行対応方向である横方向の分布を示すヒストグラムを生成する。図８の例の差分累積画像からは、各ヒストグラム生成領域について図９に示すヒストグラムが生成される。なお、図９では、５つのヒストグラム生成領域について各々のヒストグラムを上から順に並べて示している。すなわち、ヒストグラム生成部２３２は、各ヒストグラム生成領域の各ｘ座標について、以下の式（４）によってヒストグラムの度数Ｆ（ｘ）を算出する。
この結果、図９に示すように、各ヒストグラム生成領域についてｘ軸方向（車両走行対応方向）の分布を示すヒストグラムが生成される。

図１０は、差分累積画像ＤＡ_ｔの例（上段）と、差分累積画像ＤＡ_ｔの各領域から生成されたヒストグラムの例（下段）を示す図である。ヒストグラム生成部２３２は、さらに、各領域のヒストグラムについて、２５５より小さい値がｘ方向に連続している領域を小差分領域として特定する。図１０の例では、第１ヒストグラム生成領域Ａ１からは、小差分領域ａ１と小差分領域ａ２が特定され、第２ヒストグラム生成領域Ａ２からは小差分領域ａ３と小差分領域ａ４が特定され、第３ヒストグラム生成領域Ａ３からは小差分領域ａ５が特定され、第４ヒストグラム生成領域Ａ４からは小差分領域ａ６が特定され、第５ヒストグラム生成領域Ａ５からは小差分領域ａ７が特定されている。

ヒストグラム生成部２３２は、さらに、特定した各小差分領域において度数が最小となる点（ピーク）を特定する。図１０の例では、小差分領域ａ１〜ａ７からそれぞれピークｐ１〜ｐ７が特定されている。

差分処理部２３は、上記の差分累積画像ＤＡ_ｔの生成及びヒストグラムの生成の処理（差分処理）を行って、生成されたヒストグラムの小差分領域及びそのピークの情報をフレームごとに順次、付着物有無判定部２４に出力する。付着物有無判定部２４は、連続的に入力されるヒストグラムの小差分領域及びそのピークの情報に基づいて、付着物の有無を判定する。

具体的には、付着物有無判定部２４は、Ｍ（Ｍは２以上の自然数）フレームの間に各小差分領域ａ１〜ａ７の端部が移動する（条件Ａ）か否かを判断する。また、付着物有無判定部２４は、各ピークｐ１〜ｐ７についても、Ｍフレームの間に移動する（条件Ｂ）か否かを判断する。そして、付着物有無判定部２４は、条件Ａ及び条件Ｂがいずれも満たされる小差分領域について、そのピークの度数が所定の閾値Ｔ_ｒａｉｎより小さい（条件Ｃ）か否かを判断する。そして、条件Ｃを満たす場合には、その小差分領域が付着物によるものであり、よって、レンズカバーに付着物があると判定する。

なお、本実施の形態では、Ｍ＝５とし、閾値Ｔ_ｒａｉｎを最大輝度２５５の８割である２０４に設定している。条件Ａ及び条件Ｂについては、Ｍフレームにわたって移動量を累積して、累積の移動量が所定の閾値を超えたときに移動したと判断してもよいし、最初の差分累積画像ＤＡ_ｔとＭフレーム後の差分累積画像ＤＡ_{ｔ＋（Ｍ−１）}とを比較して移動が生じているか否かを判断してもよい。

以上のように、付着物有無判定部２４は、条件Ａ、条件Ｂ、及び条件Ｃのすべてを満たす小差分領域がある場合に、付着物があると判定する。条件Ａ又は条件Ｂを満たさない場合は、この小差分領域が撮影画像内で車両走行対応方向である横方向に徐々に移動していることを意味している。

車両の側面に設置されたカメラ１０の撮影画像における背景は、それが遠方にある場合（例えば、空）や車両の走行方向に変化がなない場合（例えば、トンネルの内壁）には、小差分領域となり得るが、そのような小差分領域は車両の走行に応じて撮影画像内で徐々に車両走行対応方向に移動することがある。これに対して、小差分領域が付着物によるものである場合には、走行によってもこの小差分領域が車両走行対応方向に移動することはない。よって、条件Ａ及び条件Ｂによって、小差分領域の車両走行対応方向への移動の有無を判断することで、それが付着物によるものであるか背景によるものであるのかを判断することができる。

また、条件Ｃを課すことで、車両の走行に応じてある程度の輝度変化が生じている領域について付着物であると判断でき、過検出の可能性を低減できる。なお、条件Ａ、条件Ｂ、及び条件Ｃの判断の順序は上記の例に限らず、どの順序で判断してもよい。また、条件Ａ及び条件Ｂのいずれか一方のみを判断してもよい。

車載カメラシステム１は、付着物有無判定部２４にて付着物があると判定されると、この判定結果に従って、付着物除去機構を作動させて、レンズカバーの付着物を除去する。すなわち、付着物検出装置２０は、付着物の有無の判定に従って付着物除去機構を作動させる制御装置としての機能も有する。

なお、上記の説明から明らかなように、車両が停止しており、撮影画像に変化が生じない場合は、撮影画像のＲＯＩ全体について差分累積画像の輝度値が最低となり、全領域で条件ＡないしＣを満たして全領域に付着物があると判定されて、付着物除去装置が作動してしまう。よって、上記の付着物検出装置２０の処理は、車両が走行している間にのみ行うようにすることが望ましい。具体的には、付着物検出装置２０は、車両信号から速度情報を取得して、速度情報で動作可否と途中結果である差分累積画像等のリセット可否を判定する。

さらに、小差分領域の移動を判断するためのフレーム数Ｍは、車両の走行速度に応じて可変に設定してもよい。すなわち、車両の走行速度が速いほどフレーム間の差分が大きくなると考えられるので、付着物有無判定部２４は、車両の走行速度の情報を取得して、車両の走行速度が速いほど、フレーム数Ｍを小さくしてよい。

また、上記の実施の形態では、フレームごとに差分累積画像ＤＡ_ｔを生成したが、付着物有無は添部２４にて、差分累積画像ＤＡ_ｔのヒストグラムと差分累積画像ＤＡ_{ｔ−（Ｍ−１）}のヒストグラムとを比較して条件Ａや条件Ｂを判断する場合には、差分処理部２３では、Ｍフレームごとに差分累積画像を生成してヒストグラムを生成してもよい。

以上のように、本実施の形態の車載カメラシステム１によれば、フレーム間差分が小さい領域の車両走行対応方向への移動の有無に基づいて付着物の有無を判断する（移動があるときは付着物ではないと判断する）。なお、本実施の形態では、Ｎフレームにわたって差分を累積することで差分が小さい部分を特定したが、このＮを大きくすることで、水滴等のように撮影画像内で移動しない部分の差分がより小さくなり、それが水滴等の付着物であることが分かるようになるが、本実施の形態では、差分累積画像を生成することで付着物の部分の差分を小さくして検出しやすくするだけでなく、フレーム間差分が小さい領域の車両走行対応方向への移動の有無に基づいて付着物の有無を判断することで、差分累積画像を生成するための累積数（上記のＮ）をさほど大きくしなくても付着物の有無を判断できることになる。したがって、本実施の形態の車載カメラシステム１によれば、レンズカバーに水滴等が付着してから比較的短時間でそれを検出して付着物除去機構を作動させることができる。

本発明は、単にフレーム間差分の小さい小差分領域を特定するだけでなく、その小差分領域の車両走行対応方向への移動の有無によって、その小差分領域が付着物であるか否かを判断するので、比較的短時間で付着物の有無を適切に判定でき、車載のカメラを含む車載カメラシステム、車載カメラシステムのカメラへの付着物を検出する付着物検出装置及び付着物検出プログラム、及び車載胃カメラシステムを用いた付着物除去方法等として有用である。

１ 車載カメラシステム
１０ カメラ
２０ 付着物検出装置
２１ ＲＯＩ設定部
２２ 差分画像生成部
２３ 差分処理部
２３１ 差分累積画像生成部
２３２ ヒストグラム生成部
２４ 付着物有無判定部

Claims (10)

1. 車両に搭載されて前記車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するカメラと、
   前記カメラにて生成された複数フレームの前記撮影画像においてフレーム間の差分の小さい小差分領域を特定する差分処理部と、
   前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定する付着物有無判定部と、
   を備えた車載カメラシステム。
2. 前記差分処理部は、フレーム間の差分を累積した差分累積画像を生成し、前記差分累積画像における低輝度領域を前記小差分領域として特定する、請求項１に記載の車載カメラシステム。
3. 前記差分処理部は、前記差分累積画像の前記車両走行対応方向の分布を示すヒストグラムを生成し、前記ヒストグラムに基づいて前記小差分領域を特定する、請求項２に記載の車載カメラシステム。
4. 前記カメラにて生成された複数フレームの前記撮影画像の間のフレーム間差分画像を生成する差分画像生成部をさらに備え、
   前記差分処理部は、複数の複数の前記フレーム間差分画像を累積することで前記差分累積画像を生成する、
   請求項２又は３に記載の車載カメラシステム。
5. 前記カメラにて生成された前記撮影画像に対してＲＯＩを設定するＲＯＩ設定部をさらに備え、
   前記差分処理部は、前記ＲＯＩ内で前記小差分領域を特定する、
   請求項１ないし４のいずれかに記載の車載カメラシステム。
6. 前記付着物有無判定部は、前記車両の走行速度に応じて前記小差分領域の移動の有無を判断するためのフレーム間隔を調整する、請求項１ないし５のいずれかに記載の車載カメラシステム。
7. 前記付着物有無判定部にて付着物があると判定されたときに、前記付着物を除去するよう作動する付着物除去機構をさらに備えた、請求項１ないし６のいずれかに記載の車載カメラシステム。
8. 車両に搭載されて前記車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するカメラから前記撮影画像を取得する付着物検出装置であって、
   前記カメラにて生成された複数フレームの前記撮影画像において差分の小さい小差分領域を特定する差分処理部と、
   前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定する付着物有無判定部と、
   を備えた付着物検出装置。
9. 車両に搭載されたカメラで前記車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するステップと、
   制御装置において、生成された複数フレームの前記撮影画像において差分の小さい小差分領域を特定するステップと、
   前記制御装置において、前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定するステップと、
   前記制御装置において、前記カメラへの付着物があると判定されたときに、付着物を除去するよう付着物除去機構を作動させる制御を行うステップと、
   を備えた付着物除去方法。
10. 車両に搭載されて前記車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するカメラから前記撮影画像を取得する付着物検出装置のコンピュータを、
    前記カメラにて生成された複数フレームの前記撮影画像において差分の小さい小差分領域を特定する差分処理部、及び
    前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定する付着物有無判定部、
    として機能させる付着物検出プログラム。