JP2020160735A - 車両および撮像装置 - Google Patents
車両および撮像装置 Download PDFInfo
- Publication number
- JP2020160735A JP2020160735A JP2019058768A JP2019058768A JP2020160735A JP 2020160735 A JP2020160735 A JP 2020160735A JP 2019058768 A JP2019058768 A JP 2019058768A JP 2019058768 A JP2019058768 A JP 2019058768A JP 2020160735 A JP2020160735 A JP 2020160735A
- Authority
- JP
- Japan
- Prior art keywords
- value
- pixel
- threshold value
- threshold
- equal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】汚れの検知精度を向上する技術を提供する。【解決手段】撮像装置10は、映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能である。取得部30は、車両に搭載された降雨検知回路からの情報を取得可能である。取得部30は、取得した情報が降雨状態であることを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第1判定基準を使用し、取得した情報が降雨状態でないことを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第2判定基準を使用する。第2判定基準では、第1判定基準よりも汚れの判定がなされにくい。【選択図】図2
Description
本開示は、撮像した映像から汚れを検知する車両および撮像装置に関する。
撮像した映像から、人あるいは立体物等の対象物を検知する機能を有する撮像装置において、撮像装置のレンズ部分に汚れが付着すると、対象物が異物の陰になって見えなくなる。これにより、映像から対象物が検知されなくなる。その対策として、映像における汚れの部分は時間が経過しても変化しないことを利用して、映像から汚れの部分が検知される(例えば、特許文献1参照)。
映像における汚れの部分は時間が経過しても変化しないことを利用する場合、例えば高速道路の走行などのような状況において、後続車両のヘッドライトが連続して同じ位置に映れば、ヘッドライトで見えない部分を「汚れ」と間違って検知してしまう。
本開示はこうした状況に鑑みてなされたものであり、その目的は、汚れの検知精度を向上する技術を提供することにある。
上記課題を解決するために、本開示のある態様の車両は、映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能な撮像装置と、撮像装置において撮像した映像を表示する表示装置とを備える車両であって、撮像装置は、車両に搭載された降雨検知回路からの情報を取得可能な取得部と、取得部において取得した情報が降雨状態であることを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第1判定基準を使用し、取得部において取得した情報が降雨状態でないことを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第2判定基準を使用する処理部とを備える。第2判定基準では、第1判定基準よりも汚れの判定がなされにくい。
本開示の別の態様は、撮像装置である。この装置は、映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能な撮像装置であって、車両に搭載された降雨検知回路からの情報を取得可能な取得部と、取得部において取得した情報が降雨状態であることを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第1判定基準を使用し、取得部において取得した情報が降雨状態でないことを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第2判定基準を使用する処理部とを備える。第2判定基準では、第1判定基準よりも汚れの判定がなされにくい。
なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。
本開示によれば、汚れの検知精度を向上できる。
本開示を具体的に説明する前に、概要を述べる。本開示の実施例は、車両に搭載されたリアビューカメラのような撮像装置であって、かつ車両の近くに存在する人等の対象物を検知する撮像装置に関する。前述のごとく、撮像装置のレンズ部分に付着した汚れを検知するために、映像における汚れの部分は時間が経過しても変化しないことを利用する場合、汚れでないものを汚れであると誤検知するおそれがある。一方、汚れの付着しやすさは天候によって異なる。例えば、降雨の場合において汚れが付着する可能性は、晴天の場合において汚れが付着する可能性よりも高い。そのため、このような状況を考慮すれば、汚れの検知精度の向上が可能になる。
本実施例では、車両のワイパーが動作しているか否かの情報、あるいは降雨センサに応じて検知した降雨量の情報をもとに、降雨状態であるか否かが判定される。降雨状態である場合、第1判定基準を使用しながら汚れ検知処理が実行され、降雨状態でない場合、第2判定基準を使用しながら汚れ検知処理が実行される。ここで、第2判定基準では、第1判定基準よりも汚れの判定がなされにくい。つまり、「汚れが付着しにくい状況」では汚れ検知処理における汚れ検知度合いを低く変化することによって、「汚れ付着」の誤った警告の発生が軽減される。以下、本開示の実施例について、図面を参照して詳細に説明する。なお、以下に説明する各実施例は一例であり、本開示はこれらの実施例により限定されるものではない。
図1は、車両100の構成を示す。車両100は、撮像装置10、表示装置12、降雨検知回路14を含み、降雨検知回路14は、ワイパー制御装置20、降雨センサ22を含む。撮像装置10、表示装置12、ワイパー制御装置20、降雨センサ22は、例えば、CAN(Controller Area Network)等の車載ネットワークにより接続される。撮像装置10は、例えば、リアビューカメラであり、車両100の後部に設置され、後方の景色を撮像する。撮像装置10のレンズには、泥などの汚れが付着している可能性がある。撮像装置10は、映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行する。汚れ検知処理の詳細は後述するが、レンズの表面に汚れが付着していると焦点が合わずに映像に「ボケ」が発生するとともに、レンズに汚れが付着していると、車両100が移動しても映像の上では同じ位置に汚れが固定されることに着目して汚れが検知される。
表示装置12は、車内に設置され、撮像装置10において撮像した映像を表示する。表示装置12は例えばナビゲーション装置に含まれる。ワイパー制御装置20は、ワイパーの動作を制御する。降雨センサ22は、ワイパーが動作しているか否かに関する情報(以下、「ワイパー動作情報」という)を撮像装置10に出力する。ここで、ワイパーは、降雨センサ22により降雨が検知された場合に自動的に動作したり、乗員の操作によって動作したりする。降雨センサ22は、例えば、車両100のフロントガラス面の上端に搭載され、降雨量を測定する。降雨センサ22は、降雨量の情報を撮像装置10に出力する。撮像装置10は、汚れ検知処理を実行する差異に、ワイパー動作情報あるいは降雨量の情報を使用するが、詳細は後述する。
図2は、撮像装置10の構成を示す。撮像装置10は、取得部30、処理部32、記憶装置34、撮像部36、出力部38を含む。取得部30は、図1の降雨センサ22からの降雨量の情報を取得したり、ワイパー制御装置20からのワイパー動作情報を取得したりする。取得部30は、取得した降雨量の情報あるいはワイパー動作情報を処理部32に出力する。取得部30は、降雨量の情報とワイパー動作情報の一方だけを取得してもよい。
処理部32は、ワイパー動作情報あるいは降雨量の情報を取得部30から受けつける。処理部32は、記憶装置34に記憶したテーブルを参照して、ワイパー動作情報あるいは降雨量の情報をもとに第1判定基準あるいは第2判定基準を選択する。図3(a)−(b)は、記憶装置34に記憶されるテーブルのデータ構造を示す。図3(a)は、ワイパー動作情報に対するテーブルを示す。ワイパー動作情報「動作」が「第1判定基準」に対応し、ワイパー動作情報「停止」が「第2判定基準」に対応する。図3(a)は、降雨量に対するテーブルを示す。降雨量「しきい値以上」が「第1判定基準」に対応し、降雨量「しきい値より下」が「第2判定基準」に対応する。図2に戻る。
処理部32は、このようなテーブルを参照することによって、ワイパー動作情報が動作を示す場合に第1判定基準を選択し、ワイパー動作情報が停止を示す場合に第2判定基準を選択する。また、処理部32は、このようなテーブルを参照することによって、降雨量がしきい値以上である場合に第1判定基準を選択し、降雨量がしきい値より下である場合に第2判定基準を選択する。ワイパー動作情報による選択結果と、降雨量による選択結果が異なる場合、処理部32は、第1判定基準を選択すればよいが、これ以外の動作であってもかまわない。ここで、ワイパー動作情報が動作を示す場合、あるいは降雨量がしきい値以上である場合は、降雨状態であることに相当する。また、ワイパー動作情報が停止を示す場合、あるいは降雨量がしきい値より下である場合は、降雨状態でないことに相当する。
これに続いて、処理部32は、記憶装置34に記憶したテーブルを参照して、第1判定基準あるいは第2判定基準に対応した使用値を取得する。図4は、記憶装置34に記憶される別のテーブルのデータ構造を示す。第1判定基準には、使用値「第1しきい値、第2しきい値、第1期間」が対応づけられ、第2判定基準には使用値「第3しきい値、第4しきい値、第2期間」が対応づけられる。これらの使用値の詳細は後述する。図2に戻る。処理部32は、このようなテーブルを参照することによって、第1判定基準に場合に使用値「第1しきい値、第2しきい値、第1期間」を取得し、第2判定基準に場合に使用値「第3しきい値、第4しきい値、第2期間」を取得する。
撮像部36は、撮像を実行することによって映像を生成する。映像では、複数のカラー画像が時系列に並べられる。これらのカラー画像は複数の画素により形成される。撮像部36は、映像を処理部32に出力する。
処理部32は、映像を撮像部36から受けつける。処理部32は、汚れ検知処理として、映像に対して、(1)グレースケール画像への変換処理、(2)輝度勾配値画像への変換処理、(3)3値化処理、(4)比較処理を順に実行する。これらのうち、(1)グレースケール画像への変換処理、(2)輝度勾配値画像への変換処理は、第1判定基準を選択した場合と、第2判定基準を選択した場合とにおいて共通である。
(1)グレースケール画像への変換処理
処理部32は、映像において並べられる複数のカラー画像のそれぞれをグレースケール画像に変換する。この変換は画素単位に実行され、各画素は輝度を示す。ここで、処理部32は、映像において並べられる複数のカラー画像の一部をグレースケール画像に変換してもよい。
処理部32は、映像において並べられる複数のカラー画像のそれぞれをグレースケール画像に変換する。この変換は画素単位に実行され、各画素は輝度を示す。ここで、処理部32は、映像において並べられる複数のカラー画像の一部をグレースケール画像に変換してもよい。
(2)輝度勾配値画像への変換処理
処理部32は、複数のグレースケール画像の各画素に対して、隣接画素との輝度勾配値を導出する。輝度勾配値とは、着目する画素と隣接画素との輝度の差である。立体物の輪郭、路面の描画物のフチなどのエッジでは画素間の輝度の差が大きいので、輝度勾配値が「大」になる。一方、画像に「ボケ」が発生する部分では、エッジよりも画素間の輝度の差が小さくなるので、輝度勾配値が「中」になる。また、画像における「汚れ」の部分、あるいは輪郭以外の部分では、画素間の輝度の差がさらに小さくなるので、輝度勾配値が「小」になる。このような処理の結果、グレースケール画像は、各画素が輝度勾配値を示す輝度勾配値画像に変換される。
処理部32は、複数のグレースケール画像の各画素に対して、隣接画素との輝度勾配値を導出する。輝度勾配値とは、着目する画素と隣接画素との輝度の差である。立体物の輪郭、路面の描画物のフチなどのエッジでは画素間の輝度の差が大きいので、輝度勾配値が「大」になる。一方、画像に「ボケ」が発生する部分では、エッジよりも画素間の輝度の差が小さくなるので、輝度勾配値が「中」になる。また、画像における「汚れ」の部分、あるいは輪郭以外の部分では、画素間の輝度の差がさらに小さくなるので、輝度勾配値が「小」になる。このような処理の結果、グレースケール画像は、各画素が輝度勾配値を示す輝度勾配値画像に変換される。
(3)3値化処理
処理部32は、輝度勾配値画像の各画素における輝度勾配値を3値化することによって、輝度勾配値画像を3値化画像に変換する。図5(a)−(b)は、処理部32における処理の概要を示す。図5(a)は、第1判定基準の第1しきい値と第2しきい値とを使用する場合を示す。ここで、第2しきい値は、第1しきい値よりも大きくされる。処理部32は、輝度勾配値が第1しきい値以下である画素を第1値と特定し、輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、それ以外を第3値と特定する。ここで、第1値は「汚れ」に相当する値、第2値は「ボケ」に相当する値、第3値は「エッジ」に相当する値といえる。例えば、第1値の画素が「灰色」で示され、第2値の画素が「白色」で示され、第3値の画素が「黒色」で示されてもよい。図5(a)では、輝度勾配値画像中の画素P1から画素P2へわたる輝度勾配値の変化を示す。このように変化する輝度勾配値が3値化されることによって、3値化画像が生成される。
処理部32は、輝度勾配値画像の各画素における輝度勾配値を3値化することによって、輝度勾配値画像を3値化画像に変換する。図5(a)−(b)は、処理部32における処理の概要を示す。図5(a)は、第1判定基準の第1しきい値と第2しきい値とを使用する場合を示す。ここで、第2しきい値は、第1しきい値よりも大きくされる。処理部32は、輝度勾配値が第1しきい値以下である画素を第1値と特定し、輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、それ以外を第3値と特定する。ここで、第1値は「汚れ」に相当する値、第2値は「ボケ」に相当する値、第3値は「エッジ」に相当する値といえる。例えば、第1値の画素が「灰色」で示され、第2値の画素が「白色」で示され、第3値の画素が「黒色」で示されてもよい。図5(a)では、輝度勾配値画像中の画素P1から画素P2へわたる輝度勾配値の変化を示す。このように変化する輝度勾配値が3値化されることによって、3値化画像が生成される。
一方、図5(b)は、第2判定基準の第3しきい値と第4しきい値とを使用する場合を示す。ここで、第4しきい値は、第3しきい値よりも大きくされる。また、第3しきい値は第1しきい値よりも小さく、第4しきい値は第2しきい値よりも小さい。処理部32は、輝度勾配値が第3しきい値以下である画素を第1値と特定し、輝度勾配値が第3しきい値よりも大きく第4しきい値以下である画素を第2値と特定し、それ以外を第3値と特定する。つまり、図5(a)の場合と比較して、第1値と特定される輝度勾配値の範囲が狭くなり、第2値と特定される輝度勾配値の最大値が小さくなり、第3値と特定される輝度勾配値の範囲が広くなる。図5(b)では、図5(a)輝度勾配値画像中の画素P1から画素P2へわたる輝度勾配値の変化を示すが、図5(a)と比較して、第1値、第2値に変換されにくくなる。つまり、第2判定基準では、第1判定基準と比較して、「ボケ」、「汚れ」と特定するためのしきい値を小さくして、「汚れ」と判定しにくい方向への調整がなされる。図2に戻る。
(4)比較処理
処理部32は、複数の3値化画像にわたって、第1値から第3値の比較を画素単位で実行する。図6(a)−(b)は、処理部32における別の処理の概要を示す。図6(a)は、第1判定基準の第1期間を使用する場合を示す。図示のごとく、複数の3値化画像において、基準画像と、当該基準画像から第1期間だけ後の対象画像との組合せが複数定義される。処理部32は、基準画像と対象画像とを画素単位で比較する。また、このような比較は各組合せにおいてなされる。その結果、処理部32は、所定の頻度以上で第1値となる画素を汚れ部分50と判定し、所定の頻度以上で第2値となる画素をボケ部分52と判定する。
処理部32は、複数の3値化画像にわたって、第1値から第3値の比較を画素単位で実行する。図6(a)−(b)は、処理部32における別の処理の概要を示す。図6(a)は、第1判定基準の第1期間を使用する場合を示す。図示のごとく、複数の3値化画像において、基準画像と、当該基準画像から第1期間だけ後の対象画像との組合せが複数定義される。処理部32は、基準画像と対象画像とを画素単位で比較する。また、このような比較は各組合せにおいてなされる。その結果、処理部32は、所定の頻度以上で第1値となる画素を汚れ部分50と判定し、所定の頻度以上で第2値となる画素をボケ部分52と判定する。
図6(b)は、第2判定基準の第2期間を使用する場合を示す。図示のごとく、複数の3値化画像において、基準画像と、当該基準画像から第2期間だけ後の対象画像との組合せが複数定義される。ここで、第2期間は第1期間よりも長くされる。処理部32は、基準画像と対象画像とを画素単位で比較する。また、このような比較は各組合せにおいてなされる。その結果、処理部32は、所定の頻度以上で第1値となる画素を汚れ部分50と判定し、所定の頻度以上で第2値となる画素をボケ部分52と判定する。つまり、第2判定基準では、第1判定基準と比較して、「汚れ判定」を行うための期間を長くして判定する頻度を下げることによって、「汚れ」と判定しにくい方向への調整がなされる。図2に戻る。
このように処理部32は、降雨状態の場合、撮像した映像に対して汚れ検知処理を実行する際に第1判定基準を使用し、降雨状態でない場合、撮像した映像に対して汚れ検知処理を実行する際に第2判定基準を使用する。ここで、第2判定基準では、第1判定基準よりも汚れの判定がなされにくくされる。
処理部32は、汚れ部分50あるいはボケ部分52を検知した場合、汚れ部分50あるいはボケ部分52の画像を映像に重畳する。出力部38は、映像を図1の表示装置12に表示させる。図7(a)−(b)は、表示装置12に表示される画面を示す。図7(a)は、汚れ部分50およびボケ部分52の画像が重畳された映像を示す。汚れ部分50とボケ部分52は例えば互いに異なった色で着色される。例えば、汚れ部分50は黄色で示され、ボケ部分52は緑色で示される。これが警告の報知に相当する。図7(b)は後述し、図2に戻る。処理部32は、映像、あるいは汚れ部分50あるいはボケ部分52の画像が重畳された映像をもとに、対象物の検知処理を実行してもよいが、ここでは説明を省略する。
処理部32は、汚れ部分50あるいはボケ部分52を検知した場合、汚れがあることを知らせるためのメッセージが含まれる画面を生成してもよい。出力部38は、画面を図1の表示装置12に表示させる。図7(b)は、汚れがあることを知らせるためのメッセージが含まれる画面を示す。図示のごとく、「レンズが汚れています」とのメッセージが表示される。
この構成は、ハードウエア的には、任意のコンピュータのCPU(Central Processing Unit)、メモリ、その他のLSI(Large Scale Integration)で実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
以上の構成による撮像装置10の動作を説明する。図8は、撮像装置10による処理の手順を示すフローチャートである。取得部30は情報を受けつける(S10)。情報が降雨状態を示す場合(S12のY)、処理部32は第1判定基準を使用する(S14)。情報が降雨状態を示さない場合(S12のN)、処理部32は第2判定基準を使用する(S16)。処理部32は、汚れ検知処理を実行する(S18)。
本実施例によれば、降雨状態でない場合、降雨状態において使用する第1判定基準よりも汚れの判定がなされにくい第2判定基準を使用して汚れ検知処理を実行するので、降雨状態でない場合に汚れの誤検知の発生を抑制できる。また、降雨状態でない場合に汚れの誤検知の発生が抑制されるので、汚れの検知精度を向上できる。また、ワイパーが動作する場合に降雨状態とするので、降雨状態を正確に認識できる。また、降雨量がしきい値以上である場合に降雨状態であるとするので、降雨状態を正確に認識できる。また、第1判定基準と第2判定基準とにおいてしきい値と期間とを変更するので、汚れの判定のしやすさを調節できる。
本開示の一態様は、次の通りである。本発明のある態様の車両は、映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能な撮像装置と、撮像装置において撮像した映像を表示する表示装置とを備える車両であって、撮像装置は、車両に搭載された降雨検知回路からの情報を取得可能な取得部と、取得部において取得した情報が降雨状態であることを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第1判定基準を使用し、取得部において取得した情報が降雨状態でないことを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第2判定基準を使用する処理部とを備える。第2判定基準では、第1判定基準よりも汚れの判定がなされにくい。
この態様によると、降雨状態でない場合、降雨状態において使用する第1判定基準よりも汚れの判定がなされにくい第2判定基準を使用して汚れ検知処理を実行するので、汚れの検知精度を向上できる。
車両であって、取得部において取得した情報は、車両のワイパー動作情報であり、処理部は、情報がワイパーの動作を示す場合に、情報が降雨状態であることを示すとしてもよい。この場合、ワイパーが動作する場合に降雨状態とするので、降雨状態を正確に認識できる。
車両であって、取得部において取得した情報は、降雨量の情報であり、処理部は、情報において示された降雨量がしきい値以上である場合に、情報が降雨状態であることを示すとしてもよい。この場合、降雨量がしきい値以上である場合に降雨状態であるとするので、降雨状態を正確に認識できる。
車両であって、汚れ検知処理は、第1判定基準において、(1)映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)第1期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、汚れ検知処理は、第2判定基準において、(1)映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第3しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第3しきい値よりも大きく第4しきい値以下である画素を第2値と特定し、(2)第2期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、第3しきい値は第1しきい値よりも小さく、第4しきい値は第2しきい値よりも小さく、第2期間は第1期間よりも長い。この場合、第1判定基準と第2判定基準とにおいてしきい値と期間とを変更するので、汚れの判定のしやすさを調節できる。
車両であって、汚れ検知処理は、第1判定基準において、(1)映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)所定の期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、汚れ検知処理は、第2判定基準において、(1)映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第3しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第3しきい値よりも大きく第4しきい値以下である画素を第2値と特定し、(2)所定の期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、第3しきい値は第1しきい値よりも小さく、第4しきい値は第2しきい値よりも小さい。この場合、第1判定基準と第2判定基準とにおいてしきい値を変更するので、汚れの判定のしやすさを調節できる。
車両であって、汚れ検知処理は、第1判定基準において、(1)映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)第1期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、汚れ検知処理は、第2判定基準において、(1)映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)第2期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、第2期間は第1期間よりも長い。この場合、第1判定基準と第2判定基準とにおいて期間を変更するので、汚れの判定のしやすさを調節できる。
本発明の別の態様は、撮像装置である。この装置は、映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能な撮像装置であって、車両に搭載された降雨検知回路からの情報を取得可能な取得部と、取得部において取得した情報が降雨状態であることを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第1判定基準を使用し、取得部において取得した情報が降雨状態でないことを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第2判定基準を使用する処理部とを備える。第2判定基準では、第1判定基準よりも汚れの判定がなされにくい。
この態様によると、降雨状態でない場合、降雨状態において使用する第1判定基準よりも汚れの判定がなされにくい第2判定基準を使用して汚れ検知処理を実行するので、汚れの検知精度を向上できる。
撮像装置であって、取得部において取得した情報は、車両のワイパー動作情報であり、処理部は、情報がワイパーの動作を示す場合に、情報が降雨状態であることを示すとしてもよい。この場合、ワイパーが動作する場合に降雨状態とするので、降雨状態を正確に認識できる。
撮像装置であって、取得部において取得した情報は、降雨量の情報であり、処理部は、情報において示された降雨量がしきい値以上である場合に、情報が降雨状態であることを示すとしてもよい。この場合、降雨量がしきい値以上である場合に降雨状態であるとするので、降雨状態を正確に認識できる。
撮像装置であって、汚れ検知処理は、第1判定基準において、(1)映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)第1期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、汚れ検知処理は、第2判定基準において、(1)映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第3しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第3しきい値よりも大きく第4しきい値以下である画素を第2値と特定し、(2)第2期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、第3しきい値は第1しきい値よりも小さく、第4しきい値は第2しきい値よりも小さく、第2期間は第1期間よりも長い。この場合、第1判定基準と第2判定基準とにおいてしきい値と期間とを変更するので、汚れの判定のしやすさを調節できる。
撮像装置であって、汚れ検知処理は、第1判定基準において、(1)映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)所定の期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、汚れ検知処理は、第2判定基準において、(1)映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第3しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第3しきい値よりも大きく第4しきい値以下である画素を第2値と特定し、(2)所定の期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、第3しきい値は第1しきい値よりも小さく、第4しきい値は第2しきい値よりも小さい。この場合、第1判定基準と第2判定基準とにおいてしきい値を変更するので、汚れの判定のしやすさを調節できる。
撮像装置であって、汚れ検知処理は、第1判定基準において、(1)映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)第1期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、汚れ検知処理は、第2判定基準において、(1)映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)第2期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、第2期間は第1期間よりも長い。この場合、第1判定基準と第2判定基準とにおいて期間を変更するので、汚れの判定のしやすさを調節できる。
以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
本実施例において、第1判定基準において「第1しきい値、第2しきい値、第1期間」を使用し、第2判定基準において「第3しきい値、第4しきい値、第2期間」を使用している。しかしながらこれに限らず例えば、第1判定基準において「第1しきい値、第2しきい値」を使用し、第2判定基準において「第3しきい値、第4しきい値」を使用してもよい。また、第1判定基準において「第1期間」を使用し、第2判定基準において「第2期間」を使用してもよい。本変形例によれば、処理を簡易化できる。
10 撮像装置、 12 表示装置、 14 降雨検知回路、 20 ワイパー制御装置、 22 降雨センサ、 30 取得部、 32 処理部、 34 記憶装置、 36 撮像部、 38 出力部、 100 車両。
Claims (12)
- 映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能な撮像装置と、
前記撮像装置において撮像した映像を表示する表示装置とを備える車両であって、
前記撮像装置は、
前記車両に搭載された降雨検知回路からの情報を取得可能な取得部と、
前記取得部において取得した前記情報が降雨状態であることを示す場合、撮像した映像に対して前記汚れ検知処理を実行する際に、汚れと判定するための第1判定基準を使用し、前記取得部において取得した前記情報が降雨状態でないことを示す場合、撮像した映像に対して前記汚れ検知処理を実行する際に、汚れと判定するための第2判定基準を使用する処理部とを備え、
前記第2判定基準では、前記第1判定基準よりも汚れの判定がなされにくい、
車両。 - 請求項1に記載の車両であって、
前記取得部において取得した前記情報は、前記車両のワイパー動作情報であり、
前記処理部は、前記情報がワイパーの動作を示す場合に、前記情報が降雨状態であることを示すとする、
車両。 - 請求項1に記載の車両であって、
前記取得部において取得した前記情報は、降雨量の情報であり、
前記処理部は、前記情報において示された降雨量がしきい値以上である場合に、前記情報が降雨状態であることを示すとする、
車両。 - 請求項1から3のいずれか1項に記載の車両であって、
前記汚れ検知処理は、前記第1判定基準において、(1)前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)第1期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、
前記汚れ検知処理は、前記第2判定基準において、(1)前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第3しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第3しきい値よりも大きく第4しきい値以下である画素を第2値と特定し、(2)第2期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、
前記第3しきい値は前記第1しきい値よりも小さく、
前記第4しきい値は前記第2しきい値よりも小さく、
前記第2期間は前記第1期間よりも長い、
車両。 - 請求項1から3のいずれか1項に記載の車両であって、
前記汚れ検知処理は、前記第1判定基準において、(1)前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)所定の期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、
前記汚れ検知処理は、前記第2判定基準において、(1)前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第3しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第3しきい値よりも大きく第4しきい値以下である画素を第2値と特定し、(2)所定の期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、
前記第3しきい値は前記第1しきい値よりも小さく、
前記第4しきい値は前記第2しきい値よりも小さい、
車両。 - 請求項1から3のいずれか1項に記載の車両であって、
前記汚れ検知処理は、前記第1判定基準において、(1)前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)第1期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、
前記汚れ検知処理は、前記第2判定基準において、(1)前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)第2期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、
前記第2期間は前記第1期間よりも長い、
車両。 - 映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能な撮像装置であって、
車両に搭載された降雨検知回路からの情報を取得可能な取得部と、
前記取得部において取得した前記情報が降雨状態であることを示す場合、撮像した映像に対して前記汚れ検知処理を実行する際に、汚れと判定するための第1判定基準を使用し、前記取得部において取得した前記情報が降雨状態でないことを示す場合、撮像した映像に対して前記汚れ検知処理を実行する際に、汚れと判定するための第2判定基準を使用する処理部とを備え、
前記第2判定基準では、前記第1判定基準よりも汚れの判定がなされにくい、
撮像装置。 - 請求項7に記載の撮像装置であって、
前記取得部において取得した前記情報は、前記車両のワイパー動作情報であり、
前記処理部は、前記情報がワイパーの動作を示す場合に、前記情報が降雨状態であることを示すとする、
撮像装置。 - 請求項7に記載の撮像装置であって、
前記取得部において取得した前記情報は、降雨量の情報であり、
前記処理部は、前記情報において示された降雨量がしきい値以上である場合に、前記情報が降雨状態であることを示すとする、
撮像装置。 - 請求項7から9のいずれか1項に記載の撮像装置であって、
前記汚れ検知処理は、前記第1判定基準において、(1)前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)第1期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、
前記汚れ検知処理は、前記第2判定基準において、(1)前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第3しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第3しきい値よりも大きく第4しきい値以下である画素を第2値と特定し、(2)第2期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、
前記第3しきい値は前記第1しきい値よりも小さく、
前記第4しきい値は前記第2しきい値よりも小さく、
前記第2期間は前記第1期間よりも長い、
撮像装置。 - 請求項7から9のいずれか1項に記載の撮像装置であって、
前記汚れ検知処理は、前記第1判定基準において、(1)前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)所定の期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、
前記汚れ検知処理は、前記第2判定基準において、(1)前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第3しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第3しきい値よりも大きく第4しきい値以下である画素を第2値と特定し、(2)所定の期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、
前記第3しきい値は前記第1しきい値よりも小さく、
前記第4しきい値は前記第2しきい値よりも小さい、
撮像装置。 - 請求項7から9のいずれか1項に記載の撮像装置であって、
前記汚れ検知処理は、前記第1判定基準において、(1)前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)第1期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、
前記汚れ検知処理は、前記第2判定基準において、(1)前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第1しきい値以下である画素を第1値と特定し、隣接画素との輝度勾配値が第1しきい値よりも大きく第2しきい値以下である画素を第2値と特定し、(2)第2期間の画像間において、所定の頻度以上で第1値となる画素を汚れ部分と判定し、所定の頻度以上で第2値となる画素をボケ部分と判定し、
前記第2期間は前記第1期間よりも長い、
撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019058768A JP2020160735A (ja) | 2019-03-26 | 2019-03-26 | 車両および撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019058768A JP2020160735A (ja) | 2019-03-26 | 2019-03-26 | 車両および撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020160735A true JP2020160735A (ja) | 2020-10-01 |
Family
ID=72643455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019058768A Pending JP2020160735A (ja) | 2019-03-26 | 2019-03-26 | 車両および撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020160735A (ja) |
-
2019
- 2019-03-26 JP JP2019058768A patent/JP2020160735A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6772113B2 (ja) | 付着物検出装置、および、それを備えた車両システム | |
US7646890B2 (en) | Image processor for automotive vehicle | |
US10220782B2 (en) | Image analysis apparatus and image analysis method | |
US10791252B2 (en) | Image monitoring device, image monitoring method, and recording medium | |
JP6817104B2 (ja) | 付着物検出装置、付着物検出方法 | |
CN111860120B (zh) | 车载相机自动遮挡检测方法和装置 | |
JP5759950B2 (ja) | 車載カメラ装置 | |
JP2018071994A (ja) | 付着物検出装置および付着物検出方法 | |
JP2016537934A (ja) | カメラの被覆状態の認識方法、カメラシステム、及び自動車 | |
JP4826355B2 (ja) | 車両周囲表示装置 | |
JP2019209734A (ja) | 軌道識別装置 | |
CN110688887B (zh) | 无后视镜车辆的横向图像处理装置和方法 | |
JP4887540B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
US10970592B2 (en) | Adhering substance detection apparatus and adhering substance detection method | |
EP2756450A1 (en) | Method for detection of a rain drop on the windscreen of a vehicle and driver assistance system | |
JP6970911B2 (ja) | 汚れ検出装置の制御方法、および汚れ検出装置 | |
JP2020160735A (ja) | 車両および撮像装置 | |
JP2020107232A (ja) | 付着物検出装置および付着物検出方法 | |
JP2020109595A (ja) | 付着物検出装置および付着物検出方法 | |
US11393128B2 (en) | Adhered substance detection apparatus | |
JP2020109594A (ja) | 付着物検出装置および付着物検出方法 | |
JP2019176300A (ja) | 汚れ検出装置、カメラ、コンピュータプログラムおよび記録媒体 | |
US11568547B2 (en) | Deposit detection device and deposit detection method | |
JP2008028478A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP2003189294A (ja) | 画像監視装置 |