JP2019029897A - 画像監視装置、画像監視方法および画像監視プログラム - Google Patents

Abstract

【課題】カメラの汚れが誤検知され得る場合にも好適な画像監視装置、画像監視方法および画像監視プログラムを提供する。
【解決手段】レンズを用いた撮影によって生成された映像信号における、ランプが照射される照射領域の輝度平均値と、ランプが照射されない非照射領域の輝度平均値と、を算出する輝度算出部と、前記照射領域の輝度平均値と前記非照射領域の輝度平均値との差を第１閾値と比較することによって暗闇判定を行う暗闇判定部と、を備える画像監視装置が提供される。
【選択図】図１

Description

本発明は、画像監視装置、画像監視方法および画像監視プログラムに関する。

車両にカメラを搭載し、得られた画像を解析して他の車両や人を検出することが行われている。カメラに泥などの汚れが付着すると正確な検出ができなくなるため、カメラの汚れを検知することも行われている（例えば、特許文献１，２）。
しかしながら、カメラが汚れていないにも関わらず汚れていると誤検知してしまうことがあるなど、必ずしも精度よく汚れを検知できるとは限らない。

特許第４０８７６００号公報 特許第３８０７３３１号公報

本開示の課題は、カメラの汚れが誤検知され得る場合にも好適な画像監視装置、画像監視方法および画像監視プログラムを提供することである。

本開示の一態様によれば、レンズを用いた撮影によって生成された映像信号における、ランプが照射される照射領域の輝度平均値と、ランプが照射されない非照射領域の輝度平均値と、を算出する輝度算出部と、前記照射領域の輝度平均値と前記非照射領域の輝度平均値との差を第１閾値と比較することによって暗闇判定を行う暗闇判定部と、を備える画像監視装置が提供される。

カメラの汚れが誤検知され得る場合にも好適な画像監視装置、画像監視方法および画像監視プログラムが提供される。

一実施形態に係る画像監視装置の概略構成を示すブロック図。 図１に示す画像監視装置の処理動作の一例を示すフローチャート。 輝度平均値を算出する照射領域および非照射領域を模式的に示す図。 路面が明るい状態でかつライセンスランプを点灯した状態で前進する際にリアカメラの撮影によって生成された映像（上図）と、当該映像におけるボケ輪郭が多い領域（下図）を模式的に示す図。 暗闇でライセンスランプを点灯した状態で前進する際にリアカメラの撮影によって生成された映像（上図）と、当該映像におけるボケ輪郭が多い領域（下図）を模式的に示す図。 路面が明るい状態でかつライセンスランプを点灯した状態で前進する際にリアカメラの撮影によってある時点に生成された映像（上図）と、同映像におけるフレーム間差分が小さい領域（下図）を模式的に示す図。 暗闇でライセンスランプを点灯した状態で前進する際にリアカメラの撮影によってある時点に生成された映像（上図）と、同映像におけるフレーム間差分が小さい領域（下図）を模式的に示す図。

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。

本実施形態では、リアカメラによる撮影によって得られた映像信号に基づいてリアカメラのレンズに汚れが付着しているか否かを監視すること、特に、リアカメラの近傍に設けられたライセンスランプを点灯した状態で監視することを念頭に置いている。以下、ライセンスランプが照射される領域を「照射領域」と呼び、ライセンスランプが照射されない領域を「非照射領域」と呼ぶ。

図１は、一実施形態に係る画像監視装置の概略構成を示すブロック図である。画像監視装置は、汚れ付着検知部１と、輝度算出部２と、暗闇判定部３とを備えている。これら各機能部の一部または全部は、ハードウェアで実装されてもよいし、ソフトウェアで実現されてもよい。後者の場合、プロセッサが所定の画像監視プログラムを実行することで各機能部が実現され得る。画像監視装置は、リアカメラのレンズ（不図示、例えば魚眼レンズ）を用いた撮影によって生成された映像信号を受信し、この映像信号が汚れ付着検知部１および輝度算出部２に入力される。
汚れ付着検知部１は、入力された映像信号に基づいて、リアカメラのレンズに汚れが付着しているか否かを検知し、その結果を出力する。

汚れ付着検知部１の具体的な汚れ検知の手法として、例えば特許第４０８７６００号公報に記載のものを適用できる。この手法は、映像信号においてエッジ量が中程度以上（閾値ＴＨ１以上）である画素の数Ｍと、エッジ量が大きい（閾値ＴＨ２（＞ＴＨ１）以上）画素の数Ｎとを求め、Ｍが閾値ＴＨ３より大きく、かつ、Ｎ／Ｍが閾値ＴＨ４以下の状態（つまりボケ輪郭が多い状態）が一定時間Ｔ継続した場合に、レンズに汚れが付着していると判断する。

この手法では、路面が明るい状態では精度よく汚れ付着を検知できる。一方で、暗闇でライセンスランプを点灯した状態では、レンズが汚れていない場合であってもレンズに汚れが付着していると誤判断されることがあり得る。以下、レンズが汚れていない場合について説明する。

図４Ａは、路面が明るい状態でかつライセンスランプを点灯した状態で前進する際にリアカメラの撮影によって生成された映像（上図）と、当該映像におけるボケ輪郭が多い領域（下図）を模式的に示す図である。路面が明るい場合、照射領域の明るさと非照射領域の明るさに大きな差がなく、ボケ輪郭が多い状態はないか、あったとしても長くは継続しない。よって、レンズに汚れが付着していないと正しく判断される。

図４Ｂは、暗闇でライセンスランプを点灯した状態で前進する際にリアカメラの撮影によって生成された映像（上図）と、当該映像におけるボケ輪郭が多い領域（下図）を模式的に示す図である。暗闇では、照射領域は明るく、非照射領域は暗い。よって、照射領域と非照射領域との境界に常にボケ領域が生じ、ボケ輪郭が多い時間が長く継続する。そのため、レンズが汚れていない場合であってもレンズに汚れが付着していると誤って判断されてしまう。

別の汚れ検知の手法として、例えば特許第３８０７３３１号公報に記載のものを適用できる。この手法は、異なるタイミングで得られた映像信号のフレーム間差分を順次積算し、積算値が所定値以下となる領域が大きい場合に、レンズに汚れが付着していると判断する。

この手法でも、路面が明るい状態では精度よく汚れ付着を検知できる。一方で、暗闇でライセンスランプを点灯した状態では、やはりレンズが汚れていない場合であってもレンズに汚れが付着していると誤判断されることがあり得る。以下、レンズが汚れていない場合について説明する。

図５Ａは、路面が明るい状態でかつライセンスランプを点灯した状態で前進する際にリアカメラの撮影によってある時点に生成された映像（上図）と、同映像におけるフレーム間差分が小さい領域（下図）を模式的に示す図である。路面が明るい場合、照射領域および非照射領域とも十分に明るいため、両領域ともに映像は時々刻々と変化し、フレーム間差分は大きくなる。したがって、フレーム間差分の積算値が所定値以下となる領域は小さく、レンズに汚れが付着していないと正しく判断される。

図５Ｂは、暗闇でライセンスランプを点灯した状態で前進する際にリアカメラの撮影によってある時点に生成された映像（上図）と、同映像におけるフレーム間差分が小さい領域（下図）を模式的に示す図である。非照射領域の映像は時々刻々と変化し、フレーム間差分は大きくなる。一方で、照射領域の映像は明るすぎてほとんど変化しないため、フレーム間差分は小さくなる。そのため、照射領域の全体という大きな領域において、フレーム間差分の積算値が所定値以下となり、レンズが汚れていない場合であってもレンズに汚れが付着していると誤って判断されてしまう。

いずれにしても、汚れ付着検知部１は暗闇においては誤った汚れ付着検知結果を出力してしまうことがある。すなわち、汚れ付着検知部１による汚れ付着検知の精度は、暗闇でない場合に比べて、暗闇である場合は低くなる。そこで、本実施形態では、図１の輝度算出部２および暗闇判定部３によって、暗闇であるか否かの判定も行うこととする。

すなわち、図１において、輝度算出部２は映像信号における照射領域の輝度平均値ＹａｖｅＡおよび非照射領域の輝度平均値ＹａｖｅＢを算出する。暗闇判定部３は、照射領域の輝度平均値ＹａｖｅＡおよび非照射領域の輝度平均値ＹａｖｅＢに基づいて、暗闇を走行中であるか否かを判定する。

図２は、図１に示す画像監視装置の処理動作の一例を示すフローチャートである。汚れ付着検知部１は映像信号を解析してレンズに付着した汚れを検知する（ステップＳ１）。これと並行して暗闇判定が実行される。

具体的には、輝度算出部２は、映像信号における照射領域の輝度平均値ＹａｖｅＡと、非照射領域の輝度平均値ＹａｖｅＢとを算出する（ステップＳ２，Ｓ３）。なお、照射領域の輝度平均値ＹａｖｅＡは、照射領域全体の輝度平均値であってもよいが、図３に示すように、照射領域の一部の輝度平均値であってもよい。同様に、非照射領域の輝度平均値ＹａｖｅＢは、非照射領域全体の輝度平均値であってもよいが、非照射領域の一部の輝度平均値であってもよい。いずれの場合でも、映像信号において、どの部分（領域）の輝度平均値を算出するかは予め設定されている。

続いて、暗闇判定部３は、輝度平均値ＹａｖｅＡ，ＹａｖｅＢに基づいて、具体的には、ＹａｖｅＡとＹａｖｅＢの差と予め定めた閾値ＴＨ１との比較によって、暗闇であるか否かを判定する。さらに具体的には、暗闇判定部３は、下記（１）式が満たされる場合（ステップＳ４のＹＥＳ）には暗闇であると判定し（ステップＳ５ａ）、満たされない場合（ステップＳ４のＮＯ）には暗闇でないと判定する（ステップＳ５ｂ）。
ＹａｖｅＡ−ＹａｖｅＢ≧ＴＨ１ ・・・（１）

すなわち、暗闇でない場合（例えば、夜間であっても市街地を走行する場合）には、非照射領域も明るい。よって、照射領域の輝度平均値ＹａｖｅＡと非照射領域の輝度平均値ＹａｖｅＢとの差が小さくなる。したがって、上記（１）式を満たさない。よって、上記（１）式を満たさない場合、暗闇判定部３は暗闇でないと判定する。

一方、暗闇である場合、非照射領域は暗く、照射領域はライセンスランプに照射されるため明るい。よって、照射領域の輝度平均値ＹａｖｅＡと非照射領域の輝度平均値ＹａｖｅＢとの差が大きくなる。したがって、上記（１）式を満たす。よって、上記（１）式を満たす場合、暗闇判定部３は暗闇であると判定する。
そして、暗闇判定部３は判定結果を出力する（ステップＳ６）。

以上の処理により、画像監視装置は、汚れ付着検知結果のみならず、暗闇判定結果を出力する。これにより、暗闇である場合には、汚れ付着検知結果が誤っている可能性があることが把握される。

なお、ステップＳ４において、暗闇判定部３は、照射領域の輝度平均値ＹａｖｅＡと、予め定めた閾値ＴＨ２との比較も考慮して暗闇判定を行ってもよい。具体的には、上記（１）式を満たし、かつ、下記（２）式を満たす場合に、暗闇判定部３が暗闇であると判定してもよい。
ＹａｖｅＡ≧ＴＨ２ ・・・（２）
照射領域があまり明るくない場合（例えば、ライセンスランプが点灯していない場合）には汚れ付着検知部１は誤検知を行う可能性が低いためである。

このように、本実施形態では、照射領域と非照射領域の平均輝度値に基づいて、暗闇であるか否かも判定する。そのため、汚れ付着検知の結果の妥当性が分かる。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

１ 汚れ付着検知部
２ 輝度算出部
３ 暗闇判定部

Claims (6)

1. レンズを用いた撮影によって生成された映像信号における、ランプが照射される照射領域の輝度平均値と、ランプが照射されない非照射領域の輝度平均値と、を算出する輝度算出部と、
   前記照射領域の輝度平均値と前記非照射領域の輝度平均値との差を第１閾値と比較することによって暗闇判定を行う暗闇判定部と、を備える画像監視装置。
2. 前記映像信号に基づいて、前記レンズに汚れが付着したか否かを検知する汚れ付着検知部を備える、請求項１に記載の画像監視装置。
3. 前記汚れ付着検知部による汚れ付着検知の精度は、暗闇でない場合に比べて、暗闇である場合は低いことを判定する、請求項２に記載の画像監視装置。
4. 前記暗闇判定部は、前記照射領域の輝度平均値と前記非照射領域の輝度平均値との差を前記第１閾値と比較し、かつ、前記照射領域の輝度平均値を第２閾値と比較することによって暗闇判定を行う、請求項１乃至３のいずれかに記載の画像監視装置。
5. レンズを用いた撮影によって生成された映像信号における、ランプが照射される照射領域の輝度平均値と、ランプが照射されない非照射領域の輝度平均値と、を算出するステップと、
   前記照射領域の輝度平均値と前記非照射領域の輝度平均値との差を第１閾値と比較することによって暗闇判定を行うステップと、を備える画像監視方法。
6. コンピュータを、
   レンズを用いた撮影によって生成された映像信号における、ランプが照射される照射領域の輝度平均値と、ランプが照射されない非照射領域の輝度平均値と、を算出する輝度算出部と、
   前記照射領域の輝度平均値と前記非照射領域の輝度平均値との差を第１閾値と比較することによって暗闇判定を行う暗闇判定部と、として機能させる画像監視プログラム。