JP2019176300A - 汚れ検出装置、カメラ、コンピュータプログラムおよび記録媒体 - Google Patents
汚れ検出装置、カメラ、コンピュータプログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2019176300A JP2019176300A JP2018062003A JP2018062003A JP2019176300A JP 2019176300 A JP2019176300 A JP 2019176300A JP 2018062003 A JP2018062003 A JP 2018062003A JP 2018062003 A JP2018062003 A JP 2018062003A JP 2019176300 A JP2019176300 A JP 2019176300A
- Authority
- JP
- Japan
- Prior art keywords
- dirt
- area
- region
- camera
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】カメラに付着した汚れの有無を推定する精度を向上させる。【解決手段】汚れ検出装置14は、リアカメラ12により撮像された画像を取得する。汚れ検出装置14は、取得した画像において、リアカメラ12に付着した汚れが映る領域である第1汚れ領域を推定する。汚れ検出装置14は、第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出する。汚れ検出装置14は、第1汚れ領域のサイズと、第2汚れ領域のサイズとの差異が所定の閾値以上の場合、リアカメラ12に汚れが付着していると判定する。【選択図】図1
Description
本開示はデータ処理技術に関し、特にカメラの汚れを検出する技術に関する。
カメラの汚れを検出する従来技術として、カメラにより撮影された画像情報から抽出した高周波成分の積分値が閾値以下の場合に、カメラの汚れが発生していると判定することが知られている。
また、カメラの汚れを検出する別の従来技術として、カメラにより異なるタイミングで撮像された複数の映像の各領域に含まれる濃度値の差分を積算し、その積算値が所定値以下の領域を汚れ領域の候補とすることが知られている。
上記2つの従来技術の方法では、実際にはカメラのレンズ面に汚れが付着していないにもかかわらず汚れが付着していると判定してしまうことがあり、改善が求められる。
本開示は上記課題に鑑みたもので、1つの目的は、カメラに付着した汚れの有無を推定する精度を向上させることである。
上記課題を解決するために、本開示のある態様の汚れ検出装置は、カメラにより撮像された画像を取得する取得部と、取得部により取得された画像において、カメラに付着した汚れが映る領域である第1汚れ領域を推定する推定部と、推定部により推定された第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出する抽出部と、第1汚れ領域のサイズと、第2汚れ領域のサイズとの差異が所定の閾値以上の場合、カメラに汚れが付着していると判定する判定部と、を備える。
本開示の別の態様は、カメラである。このカメラは、外界を撮像する撮像部と、撮像部により撮像された画像において、本カメラに付着した汚れが映る領域である第1汚れ領域を推定する推定部と、推定部により推定された第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出する抽出部と、第1汚れ領域のサイズと、第2汚れ領域のサイズとの差異が所定の閾値以上の場合、カメラに汚れが付着していると判定する判定部と、を備える。
なお、以上の構成要素の任意の組合せ、本開示の表現を、方法、システム、本装置を搭載した車両などの間で変換したものもまた、本開示の態様として有効である。
本開示によれば、カメラに付着した汚れの有無を推定する精度を向上させることができる。
本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムに従って動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路(IC)、又はLSI(large scale integration)を含む一つ又は複数の電子回路で構成される。複数の電子回路は、一つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは一つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なROM、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
実施例の構成を説明する前に概要を説明する。実施例の汚れ検出装置は、(1)高精度の汚れ推定と、(2)暗闇状態判定、の2つの特徴を備える。
特徴1.高精度の汚れ推定:
車両の後部に、当該車両の後方空間の様子を撮像するテレビジョンカメラ(以下「リアカメラ」と呼ぶ。)が搭載されることがある。車両には、リアカメラにより撮像された後方空間の画像(動画および静止画を含み、以下「後方画像」とも呼ぶ。)に基づいて、後方空間に存在する人や障害物を検知すると、運転者へアラートを通知するアプリケーションが導入されることもある。また、車両には、後方画像に基づいて後方空間の人や障害物を検知すると、その人や障害物を回避するように自動運転の挙動を決定するアプリケーションが導入されることもある。
車両の後部に、当該車両の後方空間の様子を撮像するテレビジョンカメラ(以下「リアカメラ」と呼ぶ。)が搭載されることがある。車両には、リアカメラにより撮像された後方空間の画像(動画および静止画を含み、以下「後方画像」とも呼ぶ。)に基づいて、後方空間に存在する人や障害物を検知すると、運転者へアラートを通知するアプリケーションが導入されることもある。また、車両には、後方画像に基づいて後方空間の人や障害物を検知すると、その人や障害物を回避するように自動運転の挙動を決定するアプリケーションが導入されることもある。
リアカメラのレンズ表面(外に露出した面)には、埃、泥、油、タバコのヤニ等の汚れが付着することがある。このような汚れが付着したリアカメラにより撮像された後方画像は、後方空間の様子を正しく示さなくなる。その結果、後方画像に基づいてデータ処理を行うアプリケーションが、車両の後方空間に存在する人や障害物を検知できなくなる可能性がある。また、上記アプリケーションが、汚れにより生じた後方画像内のシルエットを人や障害物と誤検知する可能性もある。そこで、本実施例では、車両のリアカメラのレンズ表面に付着した汚れの有無を推定する精度を向上させる技術を提案する。
ところで、カメラのレンズ表面に汚れが付着した場合、その汚れに起因した焦点ボケが発生する(レンズ汚れの特徴1)。すなわち、レンズ表面の汚れおよび汚れの周辺に対応する後方画像内の領域にボケが生じ、例えば、当該領域では画像のコントラストが不明瞭になる。また、レンズ表面に付着した汚れは同じ位置に固定される。そのため、汚れに対応する後方画像内の領域は、時間経過に伴う変化が少ない(レンズ汚れの特徴2)。実施例の汚れ検出装置は、カメラのレンズ汚れのこれらの特徴を踏まえたアルゴリズムにより汚れの有無を推定する。
具体的には、実施例の汚れ検出装置は、上記特徴1に即した第1の検出処理として、後方画像のデータに対して離散フーリエ変換を使用した周波数空間分析処理を実行し、後方画像におけるボケ度合い(以下「ボケ強度」とも呼ぶ。)を検出する。ただし、街灯、長い建物の影、木漏れ日等により光学的にレンズボケと同じ拡散が発生する場合、ボケ強度が高く評価されることがあり、すなわち誤検出の可能性がある。
また、実施例の汚れ検出装置は、上記特徴2に即した第2の検出処理として、異なるタイミングで撮像された複数の後方画像間での輝度の変化度合いを検出し、変化度合いが低い領域を汚れ候補として検出する。ただし、第2の検出処理では、平坦な道路や雲のない空等、複数の後方画像間で変化に乏しい箇所を汚れ候補として評価することがあり、すなわち誤検出の可能性がある。
そこで、実施例の汚れ検出装置は、第1検出処理の結果と第2検出処理の結果とを組み合わせてカメラのレンズ表面の汚れの有無を推定する。これにより、汚れの誤検出を抑制し、汚れの有無の推定精度(言い換えれば推定の正確度)を高める。
特徴2.暗闇状態判定:
車両の後方空間へ光を放つバックランプ(実施例ではライセンスランプとする)は、光の強度が弱く、リアカメラの画像において、ライセンスランプの光が照射される領域(以下「ランプ照射領域」とも呼ぶ。)と、ライセンスランプの光が照射されない(届かない)領域(以下「ランプ非照射領域」とも呼ぶ。)との境界がボケて見えることがある。また、ライセンスランプは車両後部に固定されているため、リアカメラの画像におけるランプ照射領域とランプ非照射領域との境界の位置も固定される。そのため、ランプ照射領域とランプ非照射領域との境界は、ボケていてかつ変化しない領域となり、特徴1の汚れ推定方法では、本来レンズ汚れがないにも関わらず、レンズ汚れがあると誤判定する可能性がある。
車両の後方空間へ光を放つバックランプ(実施例ではライセンスランプとする)は、光の強度が弱く、リアカメラの画像において、ライセンスランプの光が照射される領域(以下「ランプ照射領域」とも呼ぶ。)と、ライセンスランプの光が照射されない(届かない)領域(以下「ランプ非照射領域」とも呼ぶ。)との境界がボケて見えることがある。また、ライセンスランプは車両後部に固定されているため、リアカメラの画像におけるランプ照射領域とランプ非照射領域との境界の位置も固定される。そのため、ランプ照射領域とランプ非照射領域との境界は、ボケていてかつ変化しない領域となり、特徴1の汚れ推定方法では、本来レンズ汚れがないにも関わらず、レンズ汚れがあると誤判定する可能性がある。
そこで、ランプ照射領域とランプ非照射領域の明るさの差(「段差」とも呼ぶ。)をみて、段差が所定の閾値以上であれば、ライセンスランプによる誤判定が発生しやすいとして、汚れ判定を抑制する動作状態(以下「暗闇状態」とも呼ぶ。)へ遷移させることが考えられる。しかし、夜間、暗い路面を車両が走行する実験において、暗闇状態と判定する割合が高く、汚れ判定を実施しない事象が多く発生した。
そこで、実施例の汚れ検出装置は、画像に映る車両近傍のランプ照射領域およびその周辺領域(以下「車両近傍領域」とも呼ぶ。)の汚れサイズを計算し、画像全体から検出された汚れサイズに対して、車両近傍領域の汚れサイズが相対的に大きければ暗闇状態へ移行させる。一方、画像全体から検出された汚れサイズに対して、車両近傍領域の汚れサイズが相対的に小さければ暗闇状態へ移行せず、汚れ検出可能状態と判定する。これにより、車両近傍領域にランプ照射領域とランプ非照射領域の段差があっても、他の領域で大きな汚れが検出されれば、汚れ有りと判定することができる。
以下、図面を参照して実施例を詳細に説明する。なお、以下に説明する実施例は一例であり、本開示は実施例により限定されるものではない。
図1は、実施例の車両10の構成を模式的に示す。車両10は、リアカメラ12、汚れ検出装置14、表示装置16、ステアリングECU(Electronic Control Unit)18、トランスミッションECU20、CAN(Controller Area Network)22を備える。
リアカメラ12は、車両10の後方空間の様子を撮像する撮像部を含み、車両10の後方空間の様子を示す後方画像を生成し、出力するテレビジョンカメラである。撮像部は、ガラス製または樹脂製のレンズを含む。リアカメラ12は、撮像開始からの時間経過とともに、複数の後方画像を順次生成し、それら複数の後方画像を順次出力する。実施例における後方画像は輝度画像とする。
汚れ検出装置14は、リアカメラ12から出力された後方画像に基づいて、リアカメラ12のレンズ表面に付着した汚れの有無を検出する情報処理装置である。実施例の汚れ検出装置14は、汚れの検出結果を示すデータを表示装置16へ出力する。
表示装置16は、LCD(liquid crystal display)等の画面を備え、汚れ検出装置14による汚れの検出結果を含む各種情報を画面に表示させる情報処理装置である。表示装置16は、例えば、カーナビゲーション装置でもよく、先進運転支援システム(advanced driver assistance system:ADAS)でもよい。
ステアリングECU18は、車両10のステアリングを制御するための各種処理を実行する。実施例のステアリングECU18は、ハンドルの操舵角を所定のセンサから取得し、その操舵角を示すデータ(例えばCANフレーム)をCAN22へ送出する。変形例として、ステアリングECU18は、ハンドルの操舵角に代えてステアリングの転舵角を所定のセンサから取得して、その転舵角を示すデータをCAN22へ送出してもよい。
トランスミッションECU20は、車両10のトランスミッションを制御するための各種処理を実行する。実施例のトランスミッションECU20は、エンジン回転数およびギヤ比等に基づいて車両10の走行速度を導出し、その走行速度を示すデータをCAN22へ送出する。なお、ステアリングECU18およびトランスミッションECU20とは異なる装置が、操舵角(もしくは転舵角)を示すデータ、および、走行速度を示すデータをCAN22へ出力してもよい。
図2は、図1の汚れ検出装置14の機能構成を示すブロック図である。本開示のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのCPU・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
汚れ検出装置14は、通信部30と制御部32を備える。通信部30は、所定の通信プロトコルにしたがってリアカメラ12および表示装置16と通信する。また、通信部30は、CANプロトコルにしたがってCAN22で伝送されるデータを受信する。
制御部32は、リアカメラ12の汚れの有無を検出するためのデータ処理を実行する。制御部32は、通信部30を介して、外部装置から出力されたデータを取得し、また、外部装置へデータを送信する。図2には不図示だが、汚れ検出装置14は、各種データを記憶する記憶部をさらに備えてもよく、制御部32は、記憶部に記憶されたデータを参照または更新しつつ、データ処理を実行してもよい。
制御部32は、画像取得部34、変化度検出部36、ボケ強度検出部38、走行状態判定部40、推定部42、結果出力部48、明るさ検出部200、抽出部202、暗闇状態判定部204、結果記憶部206を備える。これらの機能ブロックに対応する複数のモジュールを含むコンピュータプログラム(例えば、汚れ検出アプリケーション)が汚れ検出装置14のストレージへインストールされてもよい。汚れ検出装置14のCPUは、このコンピュータプログラムをメインメモリへ読み出して実行することにより、各機能ブロックの機能を発揮してもよい。
画像取得部34は、リアカメラ12により複数の時点で撮像された複数の後方画像(実施例では輝度画像)を、通信部30を介して順次取得し、例えば、不図示のメモリ内に後方画像のデータを展開する。図3は、後方画像の例を示す。後方画像50は、例えば、640×480ピクセルのVGA(Video Graphics Array)画像でもよく、320×240ピクセルのQVGA(Quarter Video Graphics Array)画像でもよい。また、図3の後方画像50では、リアカメラ12に付着した汚れの影響を受けた領域である汚れ影響領域52を強調して示している。
図2に戻り、変化度検出部36は、画像取得部34により取得された複数の後方画像であり、すなわち、車両10の後方空間の複数時点の様子を示す複数の後方画像間における輝度の変化度合いを計測する。変化度検出部36は、複数の後方画像間で輝度の変化度合いが相対的に低い領域を不変領域として検出する。
例えば、変化度検出部36は、後方画像に対して公知のソーベルフィルタを使用して画像内の輝度勾配を抽出し、輝度勾配の抽出結果を示す画像(ここでは「輝度勾配画像」と呼ぶ。)を生成してもよい。変化度検出部36は、複数の後方画像に対応する複数の輝度勾配画像を生成してもよい。変化度検出部36は、最新の後方画像に対応する輝度勾配画像における画素の輝度値を、過去の後方画像(例えば3世代前までの後方画像)に対応する輝度勾配画像における同じ位置の画素の輝度値と比較して、輝度勾配の変化を所定の閾値で判定してもよい。そして、変化度検出部36は、輝度勾配の変化の頻度が所定の閾値未満の画素を輪郭とする画像内の領域を不変領域として検出してもよい。
不変領域検出のための上記閾値は、開発者の知見や経験、実施例の車両10を用いた実験等により適切な値が決定されてもよい。また、変化度検出部36は、ソーベルフィルタ以外の公知の手法により後方画像の輝度勾配を抽出してもよい。また、変化度検出部36は、上記の特許文献2(特開2003−259358号公報)の手法を適用して、複数の画像の各領域に含まれる濃度値の差分を積算し、その積算値が所定の閾値未満の領域を不変領域として検出してもよい。
実施例の変化度検出部36は、検出した不変領域の位置を示す画像(以下「変化度画像」と呼ぶ。)を生成し、変化度画像のデータを推定部42へ出力する。図4は、変化度画像の例を示す。図4の変化度画像60は、複数の不変領域62を含む。
図2に戻り、ボケ強度検出部38は、画像取得部34により取得された複数の画像の中の少なくとも1つの対象画像から周波数領域のデータを抽出し、抽出した周波数領域のデータに基づいて、対象画像内の複数の領域のボケ度合い(言い換えればボケ強度)を検出する。ボケ強度検出部38は、画像取得部34から入力された複数の画像のそれぞれを対象画像として、各対象画像内の複数領域のボケ度合いを検出してもよい。
実施例のボケ強度検出部38は、対象画像を所定数のブロックに分割し、DFTを使用して、各ブロックの空間領域の画像データを空間周波数領域のデータへ変換する。後方画像がVGA画像の場合、ボケ強度検出部38は、当該後方画像を、横16ブロック(40ピクセル/ブロック)×縦16ブロック(30ピクセル/ブロック)に分割してもよい。ボケ強度検出部38は、1つのブロックに含まれる周波数分布における高周波の成分の割合が多いほど当該ブロックのボケ強度を低く決定してもよく、1つのブロックに含まれる高周波の成分の割合が少ないほど当該ブロックのボケ強度を高く決定してもよい。
実施例のボケ強度検出部38は、対象画像内の各ブロックのボケ強度を示す画像(以下「ボケ強度画像」と呼ぶ。)を生成し、ボケ強度画像のデータを推定部42へ出力する。図5は、ボケ強度画像の例を示す。図5のボケ強度画像70は、横16ブロック×縦16ブロックの合計196ブロックを含み、ボケ強度が高いブロックほど白く示し、ボケ強度が低いブロックほど黒く示している。
図2に戻り、走行状態判定部40は、リアカメラ12が撮像する後方画像に変化を生じさせる予め定められた条件(以下「画像変化条件」と呼ぶ。)を記憶する。画像変化条件は、車両10の走行状態に関する条件と、リアカメラ12から出力された後方画像の態様に関する条件を含む。例えば、画像変化条件は、車両10の速度または移動距離が所定の閾値以上になった場合に満たされるよう定められてもよい。また、画像変化条件は、車両10の旋回角度が所定の閾値以上になった場合に満たされるよう定められてもよい。
さらにまた、画像変化条件は、複数の後方画像間で輝度の変化が大きくなった場合に満たされるよう定められてもよく、例えば、最新の後方画像の平均輝度と過去(例えば直前)の後方画像の平均輝度との差が所定の閾値以上になった場合に満たされるよう定められてもよい。画像変化条件の充足有無を判定するための各閾値は、開発者の知見や経験、車両10を用いた実験等により適切な値が決定されてもよい。
走行状態判定部40は、通信部30がCAN22から受信した車両10の速度情報を取得し、その速度情報に基づいて、車両10の速度または移動距離(例えば速度の積分値)が画像変化条件を満たすか否かを判定する(判定1)。また、走行状態判定部40は、通信部30がCAN22から受信した車両10の操舵角情報(もしくは転舵角情報)を取得し、車両10の操舵角(もしくは転舵角)の値が画像変化条件を満たすか否かを判定する(判定2)。
また、走行状態判定部40は、画像取得部34により取得された複数の後方画像のそれぞれにおける平均輝度値を公知の手法により導出し、それら複数の後方画像に亘る平均輝度値の変化度合いが画像変化条件を満たすか否かを判定する(判定3)。走行状態判定部40は、判定1〜判定3の少なくとも1つで画像変化条件を満たすと判定した場合、画像変化条件が満たされた旨のデータを推定部42へ出力する。
推定部42は、変化度検出部36により検出された後方画像内の不変領域と、ボケ強度検出部38により検出された後方画像内の複数領域のボケ度合いの両方に基づいて、リアカメラ12に付着した汚れの有無を推定する。推定部42は、後方画像における不変領域の少なくとも一部と、後方画像におけるボケ強度が所定値より領域の少なくとも一部とが一致する場合であり、実施例では所定サイズ以上一致する場合に、リアカメラ12に汚れが付着したと推定する。推定部42は、走行状態判定部40により車両10の走行状態または後方画像の輝度値が画像変化条件を満たすと判定された場合、言い換えれば、走行状態判定部40から画像変化条件が満たされた旨のデータが入力された場合に、本推定処理を実行する。
推定部42は、検出結果統合部44と汚れ判定部46を含む。検出結果統合部44は、変化度検出部36から入力された変化度画像を取得する。また、検出結果統合部44は、ボケ強度検出部38から入力されたボケ強度画像を取得する。検出結果統合部44は、予め定められたボケ強度の基準値に基づいてボケ強度画像内の各ブロックを二値化した画像である二値化ボケ強度画像を生成する。二値化ボケ強度画像は、ボケ強度が基準値以上を示すブロックと、ボケ強度が基準値未満のブロックとを異なる態様で示す画像であってもよい。なお、ボケ強度画像の二値化処理は、ボケ強度検出部38が実行してもよい。
検出結果統合部44は、変化度画像が示す不変領域の少なくとも一部と、二値化ボケ強度画像が示すボケ強度が基準値以上のブロックの少なくとも一部とが重なる場合に、その重なる領域(1つ以上の画素の集合)を汚れ候補領域として決定する。検出結果統合部44は、汚れ候補領域を示す画像である汚れ候補画像を生成し、汚れ候補画像のデータを汚れ判定部46へ出力する。図6は、汚れ候補画像の例を示す。図6の汚れ候補画像80は、2つの汚れ候補領域82を含む。
図2に戻り、汚れ判定部46は、検出結果統合部44から入力された汚れ候補画像に含まれる各汚れ候補領域のサイズ(例えば画素数等)を検出する。汚れ判定部46は、汚れ候補画像に含まれる1つ以上の汚れ候補領域のうちサイズが所定の閾値以上の汚れ候補領域を最終的な汚れ領域として検出する。汚れ領域検出のための上記閾値は、開発者の知見や経験、車両10を用いた実験等により適切な値が決定されてもよい。汚れ判定部46は、汚れ領域を検出した場合であり、すなわち、少なくとも1つの汚れ候補領域のサイズが上記閾値以上の場合に、リアカメラ12のレンズ表面に汚れが付着したと判定する。
また、汚れ判定部46は、汚れ領域を検出した場合、画像取得部34により取得された後方画像の上に汚れ領域を示す画像を重畳させた汚れ検出結果画像を生成してもよい。図7は、汚れ検出結果画像の例を示す。図7の汚れ検出結果画像90は、2つの汚れ領域92を含む。
図2に戻り、明るさ検出部200は、画像取得部34により取得された後方画像50におけるライセンスランプの光が照射される領域(ランプ照射領域)の明るさを検出する。また、明るさ検出部200は、後方画像50におけるライセンスランプの光が照射されない領域(ランプ非照射領域)の明るさを検出する。
図8は、ランプ照射領域の例を示す。同図は、夜間に雪道を走行中の車両10で撮像された後方画像50を示している。明るさ検出部200は、後方画像50において予め定められたランプ照射領域212内の検査箇所214の輝度平均値を、ランプ照射領域212の明るさとして検出する。
図8では、汚れ検出領域210の範囲内で、かつ、ランプ照射領域212の範囲外がランプ非照射領域に該当する。明るさ検出部200は、後方画像50において予め定められたランプ非照射領域内の検査箇所216の輝度平均値を、ランプ非照射領域の明るさとして検出する。なお、検査箇所214を複数設けてもよく、検査箇所216を複数設けてもよい。すなわち、離散的に存在する複数の検査箇所の明るさをチェックしてもよい。
図2に戻り、抽出部202は、汚れ判定部46により推定された汚れ領域のうち、検出領域210に含まれる汚れ領域を広域汚れ領域として抽出する。また、抽出部202は、汚れ判定部46により推定された汚れ領域のうち、ライセンスランプの光が照射される領域(ランプ照射領域)およびその周辺領域に含まれる汚れ領域を車両近傍汚れ領域として抽出する。例えば、抽出部202は、後方画像50の座標系における、広域汚れ領域と車両近傍汚れ領域それぞれの外縁(輪郭)の座標値を取得してもよい。
ランプ照射領域の周辺領域は、ランプ非照射領域のうちランプ照射領域の近傍にあたる領域である。例えば、後方画像50の画像サイズがVGA(640×480ピクセル)の場合、周辺領域は、ランプ照射領域の外縁(言い換えればランプ照射領域とランプ非照射領域の境界)から5ピクセルの範囲であってもよい。また、後方画像50の画像サイズが1M(1280×960ピクセル)の場合、周辺領域は、ランプ照射領域の外縁から10ピクセルの範囲でもよい。ランプ照射領域の周辺領域のサイズは、後方画像50の解像度に応じて決定されてよく、また、解像度が高いほど大きい値に決定されてもよい。ランプ照射領域とその周辺領域を総称する場合、「車両近傍領域」と呼ぶ。
図9は、広域汚れ領域と車両近傍汚れ領域を説明する図である。既述したように、汚れ判定部46は、後方画像50から汚れ領域92を推定する。抽出部202は、広域汚れ抽出マスク220を使用して、予め定められた汚れ検出の対象領域内で推定された汚れ領域を広域汚れ領域として抽出する。また、抽出部202は、車両近傍汚れ抽出マスク222を使用して、車両近傍領域内で推定された汚れ領域を車両近傍汚れ領域として抽出する。なお、抽出部202は、広域汚れ領域を抽出しなくてもよく、後述の暗闇状態判定部204は、広域汚れ領域に代えて、汚れ判定部46により検出された汚れ領域全体を使用してもよい。
図2に戻り、暗闇状態判定部204は、汚れ判定を抑制するか否か、言い換えれば、暗闇状態に遷移するか否かを判定する。具体的には、暗闇状態判定部204は、(1)ランプ照射領域の明るさが第1閾値以上であって、かつ、(2)ランプ照射領域の明るさと、ランプ非照射領域の明るさとの差異が第2閾値以上であって、かつ、(3)広域汚れ領域のサイズ(例えば画素数)と、車両近傍汚れ領域のサイズ(例えば画素数)との差異が第3閾値未満の場合、汚れ判定を抑制すべき暗闇状態と判定する。(2)は、(ランプ照射領域の明るさ(例えば輝度値)−ランプ非照射領域の明るさ(例えば輝度値)の値が、第2閾値以上であることとも言える。
また、暗闇状態判定部204は、(1)ランプ領域の明るさが第1閾値未満であり、または、(2)ランプ照射領域の明るさと、ランプ非照射領域の明るさとの差異が第2閾値未満であり、または、(3)広域汚れ領域のサイズ(例えば画素数)と、車両近傍汚れ領域のサイズ(例えば画素数)との差異が第3閾値以上の場合、汚れ検出可能状態と判定し、例えば、カメラのレンズに汚れが付着していると判定する。上記の第1閾値、第2閾値、第3閾値は、汚れ検出装置14の開発者の知見や、汚れ検出装置14および車両10を用いた実験等により適切な値が決定されればよい。
結果記憶部206は、汚れ判定結果を記憶する。暗闇状態判定部204は、汚れ検出可能状態と判定した場合、汚れ判定部46により汚れ有りの推定がなされていれば、リアカメラ12のレンズに汚れがある旨の汚れ判定結果を結果記憶部206に記録する。また、暗闇状態判定部204は、汚れ検出可能状態と判定した場合、汚れ判定部46により汚れなしの推定がなされていれば、リアカメラ12のレンズに汚れがない旨の汚れ判定結果を結果記憶部206に記録する。
結果出力部48は、結果記憶部206に記憶された汚れ判定結果を外部装置へ送信する。実施例では、結果出力部48は、汚れ判定結果を要求する信号を表示装置16から受け付けた場合に、結果記憶部206に記憶された汚れ判定結果のデータを表示装置16へ送信する。表示装置16は、例えば、車両10のギアが更新に切り替わった場合に、汚れ判定結果を取得し、汚れ判定結果を画面に表示させてもよい。
変形例として、結果出力部48は、結果記憶部206に記憶された汚れ判定結果のデータを定期的に、または所定のタイミングで、表示装置16へ送信してもよい。また、汚れ判定結果は、図7に示した汚れ検出結果画像90を含んでもよく、表示装置16は、汚れ検出結果画像90を表示させてもよい。
以上の構成による汚れ検出装置14の動作を説明する。
図10は、汚れ検出装置14の動作を示すフローチャートである。リアカメラ12は、車両10の後方空間の様子を継続的に撮像し、複数の後方画像を順次汚れ検出装置14へ出力する。汚れ検出装置14の画像取得部34は、通信部30を介して、リアカメラ12により複数の時点で生成された複数の後方画像を取得する(S10のY)。
図10は、汚れ検出装置14の動作を示すフローチャートである。リアカメラ12は、車両10の後方空間の様子を継続的に撮像し、複数の後方画像を順次汚れ検出装置14へ出力する。汚れ検出装置14の画像取得部34は、通信部30を介して、リアカメラ12により複数の時点で生成された複数の後方画像を取得する(S10のY)。
変化度検出部36は、複数の後方画像に亘る輝度の変化度合いを画素ごとに検出し、複数の後方画像間で輝度の変化度合いが相対的に低い領域を不変領域として検出する(S12)。ボケ強度検出部38は、各後方画像について、後方画像を分割した複数のブロックそれぞれにおけるボケ強度を検出する(S14)。走行状態判定部40は、通信部30がCAN22から受信した走行状態を示すデータ、または後方画像に基づいて、画像変化条件が満たされたか否かを判定する(S16)。
画像変化条件が満たされた場合(S18のY)、検出結果統合部44は、変化度検出部36により検出された不変領域と、ボケ強度検出部38により検出されたボケ強度が所定値より強い領域とが重複する領域を汚れ候補領域として検出する(S20)。汚れ判定部46は、検出結果統合部44により検出された少なくとも1つの汚れ候補領域が、予め定められたサイズ以上である場合(S22のY)、リアカメラ12のレンズ表面に汚れが付着していると判定するとともに、汚れ領域を示す汚れ検出結果画像を生成する(S24)。汚れ判定部46は、検出結果統合部44により検出されたすべての汚れ候補領域が上記サイズ未満である場合(S22のN)、リアカメラ12のレンズ表面に汚れが付着していないと判定する(S26)。
汚れ判定部46の処理後、暗闇状態判定処理を実行する(S28)。表示装置16から汚れ判定結果の提供が要求されると(S30のY)、結果出力部48は、結果記憶部206に記憶された汚れ判定結果を表示装置16へ送信する(S32)。汚れ有りの判定の場合、結果出力部48は、汚れ検出結果画像を含む汚れ判定結果を表示装置16へ送信してもよい。表示装置16は、汚れ検出装置14から送信された汚れ検出結果を画面に表示する。汚れ判定結果の提供が要求されなければ(S30のN)、S32をスキップする。
終了コマンドが入力される等、所定の終了条件が満たされると(S34のY)、本図のフローを終了する。終了条件が満たされなければ(S34のN)、S10に戻り、次の後方画像を取得する。画像変化条件が満たされなければ(S18のN)、S20〜S28をスキップする。また、リアカメラ12から画像が入力されなければ(S10のN)、S12〜S28をスキップする。
図11は、図10のS28の暗闇状態判定処理を詳細に示すフローチャートである。明るさ検出部200は、画像取得部34により取得された後方画像に映るランプ照射領域の明るさを取得し(S40)、さらに、後方画像に映るランプ非照射領域の明るさを取得する(S42)。ランプ照射領域の明るさが第1閾値以上であり(S44のY)、かつ、ランプ照射領域の明るさとランプ非照射領域の明るさの差が第2閾値以上の場合(S46のY)、抽出部202は、汚れ判定部46により推定された汚れ領域から広域汚れ領域を抽出し、暗闇状態判定部204は、広域汚れ領域のサイズを取得する(S48)。また、抽出部202は、汚れ判定部46により推定された汚れ領域から車両近傍汚れ領域を抽出し、暗闇状態判定部204は、車両近傍汚れ領域のサイズを取得する(S50)。
暗闇状態判定部204は、広域汚れ領域のサイズと車両近傍汚れ領域のサイズとを比較する。(広域汚れ領域のサイズ−車両近傍汚れ領域のサイズ)の値が第3閾値未満であれば、すなわち、後方画像から検出された汚れ領域に占める車両近傍汚れ領域の割合が支配的であれば(S52のY)、暗闇状態判定部204は、暗闇状態に遷移することを決定する。すなわち、暗闇状態判定部204は、汚れ判定部46による汚れ判定結果を結果記憶部206に記録することを抑制する(S58)。したがって、暗闇状態の間、結果記憶部206は、暗闇状態へ遷移する直前の汚れ判定結果を保持し続け、結果出力部48は、暗闇状態へ遷移する直前の汚れ判定結果を表示装置16へ提供する。
ランプ照射領域の明るさが第1閾値未満(S44のN)、または、ランプ照射領域の明るさとランプ非照射領域の明るさの差が第2閾値未満(S46のN)、または、(広域汚れ領域のサイズ−車両近傍汚れ領域のサイズ)の値が第3閾値以上であれば(S52のN)、暗闇状態判定部204は、汚れ検出可能状態と判定する(S54)。暗闇状態判定部204は、汚れ判定部46による最新の汚れ判定結果を結果記憶部206に記録する(S56)。すなわち、結果記憶部206に記憶されたそれまでの汚れ判定結果を更新する。
実施例の汚れ検出装置14は、後方画像内の不変領域と、後方画像内の複数領域のボケ度合いとを組み合わせに基づいて、リアカメラ12のレンズ表面に付着した汚れの有無を推定する。これにより、不変領域に基づく汚れの検出の弱点と、ボケ度合いに基づく汚れの検出の弱点を補完し、汚れの有無の推定精度を高めることができる。また、画像変化条件が満たされた場合であり、すなわち、後方画像に変化が生じた場合に、リアカメラ12に付着した汚れの有無を推定する。これにより、平坦な道路や雲のない空等を不変領域として検出することを抑制し、汚れの有無の推定精度を一層高めることができる。
また、実施例の汚れ検出装置14によると、本来存在しない汚れを誤検出しやすい状況では、暗闇状態へ遷移して、汚れ判定結果の更新を抑制することにより、誤った検出結果を外部へ通知してしまうことを防止できる。また、実施例の汚れ検出装置14によると、車両近傍領域に誤検出の可能性が比較的高い汚れが検出された場合でも、他の領域に比較的大きい汚れがあれば、汚れ有りと判定することにより、汚れ判定が実施できない事象の発生を低減することができる。
具体例を説明する。図12は、リアカメラ12のレンズに汚れが付着していない場合の後方画像50の例である。既述したように、ランプ照射領域212とランプ非照射領域との境界において明るさが大きく変化する箇所(段差230)を汚れ領域92として検出することがある(図13)。しかし、この場合、後方画像50から検出された汚れ領域に占める車両近傍汚れ領域の割合が支配的になるため、汚れ検出装置14は暗闇状態へ移行する。これにより、誤った検出結果を外部へ通知してしまうことを防止できる。
図14は、リアカメラ12のレンズに汚れが付着している場合の後方画像50の例である。この場合、段差230以外でも汚れ領域92が検出される(図15)。すなわち、車両近傍領域以外の領域に大きい汚れ領域92が検出されるため、汚れ検出装置14は、暗闇状態へ移行せず、レンズ汚れを検出することができる。
なお、ランプ照射領域に対応するリアカメラ12のレンズ部分のみに汚れが付着した場合、暗闇状態となってその汚れが検出されない事象が生じるようにも思われる。しかし、レンズの汚れ付着部分に対応する画像領域は明るさが低減するところ、実施例の汚れ検出装置14は、後方画像におけるランプ照射領域がある程度明るいことを暗闇状態への遷移条件とする。したがって、ランプ照射領域に対応するリアカメラ12のレンズ部分に汚れが付着し、後方画像におけるランプ照射領域が暗くなった場合、汚れ検出装置14は、暗闇状態へ遷移せず、その汚れを検出することができる。
具体例を説明する。図16は、リアカメラ12のレンズに汚れが付着している場合の後方画像50の例である。この例では、車両近傍領域からのみ汚れ領域92が検出される(図17)。すなわち、後方画像50から検出された汚れ領域に占める車両近傍汚れ領域の割合が支配的になる。しかし、この場合、図18に示すように、ランプ照射領域212における検査箇所214の輝度平均値が低くなり、および/または、段差が検知されなくなる。すなわち、図11のフローチャートにおける(S44のN)と(S46のN)の少なくとも一方が成立する。したがって、汚れ検出装置14は、汚れ検出可能状態と判定し、レンズ汚れを検出することができる。
以上、本開示を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。以下変形例を示す。
上記実施例では、リアカメラ12のレンズ表面の汚れの有無を検出する汚れ検出装置14をリアカメラ12とは別装置として設けたが、リアカメラ12と汚れ検出装置14とを一体化してもよい。言い換えれば、リアカメラ12は、撮像部に加えて、実施例の汚れ検出装置14の機能を備えてもよい。リアカメラ12に搭載された汚れ検出装置14の機能は、撮像部により撮像された後方画像に基づいて自装置(すなわちリアカメラ12)に付着した汚れの有無を判定してもよい。
図19は、変形例のリアカメラの機能構成を示すブロック図である。リアカメラ12は、通信部100、撮像部102、画像出力部104、汚れ検出部106を備える。通信部100は、実施例の汚れ検出装置14の通信部30に対応し、表示装置16およびCAN22と通信する。実施例に記載したように撮像部102はレンズを含む。また、撮像部102は、車両10の後方空間の様子を撮像し、後方画像を生成する。画像出力部104は、通信部100を介して、後方画像を表示装置16へ送信する。
汚れ検出部106は、実施例の汚れ検出装置14に対応し、実施例の汚れ検出装置14と同様の機能ブロックを含む。画像取得部34は、撮像部102により生成された後方画像のデータを取得し、後方画像のデータを変化度検出部36、ボケ強度検出部38、走行状態判定部40へ入力する。変化度検出部36、ボケ強度検出部38、走行状態判定部40、推定部42、明るさ検出部200、抽出部202、暗闇状態判定部204、結果記憶部206の機能は、実施例と同様である。結果出力部48は、汚れ検出結果のデータを表示装置16へ出力する。
別の態様として、汚れ検出装置14と表示装置16とを一体化してもよい。例えば、表示装置16としてのカーナビゲーション装置またはADASは、実施例の汚れ検出装置14の機能を備えてもよい。さらに別の態様として、実施例の汚れ検出装置14の機能は、車両10の外部の装置に設けられてもよい。例えば、実施例の汚れ検出装置14の機能は、インターネット等の通信網を介して車両10に接続されるサーバに設けられてもよい。
上記実施例では、汚れ検出装置14の結果出力部48は、汚れ検出結果を示すデータを表示装置16に対して送信した。変形例として、結果出力部48は、表示装置16以外の他装置へ汚れ検出結果を示すデータを送信してもよい。この他装置は、車両10の外部装置でもよく、結果出力部48は、インターネット等の通信網を介して車両10の外部装置へ汚れ検出結果を示すデータを送信してもよい。また、結果出力部48は、汚れ検出アプリケーションに対する外部のアプリケーションへ汚れ検出結果を示すデータを送信してもよい。例えば、結果出力部48は、リアカメラ12により撮像された後方画像に基づいて所定のデータ処理(アラートの出力等)を行うアプリケーションへ汚れ検出結果を示すデータを送信してもよい。
上記実施例では、変化度検出部36は変化度画像60(図4)を出力し、ボケ強度検出部38はボケ強度画像70(図5)を出力し、検出結果統合部44は汚れ候補画像80(図6)を出力し、汚れ判定部46は汚れ検出結果画像90(図7)を出力した。変形例として、変化度検出部36は、不変領域の位置を示す非画像データ(不変領域の座標値等)を出力してもよい。また、ボケ強度検出部38は、複数のブロックそれぞれのボケ強度を示す非画像データ、または、所定値よりボケ強度が高いブロックの位置を示す非画像データ(ブロックの識別情報や座標値等)を出力してもよい。また、検出結果統合部44は、汚れ候補領域の位置(座標値等)を示す非画像データを出力してもよい。また、汚れ判定部46は、汚れ検出領域の位置(座標等)を示す非画像データを出力してもよい。
上記実施例では、汚れ検出装置14は、車両10のリアカメラ12に付着した汚れの有無を推定したが、汚れの付着有無を推定する対象はリアカメラ12に制限されない。実施例に記載の汚れ検出技術は、車両10の後部以外に搭載されたカメラの汚れの検出にも適用可能である。また、実施例に記載の汚れ検出技術は、或る位置や地点、動かない物体等に固定設置されたカメラ(例えば監視カメラ等)の汚れの検出にも適用可能である。
実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
[項目1]
カメラにより撮像された画像を取得する取得部と、
前記取得部により取得された画像において、前記カメラに付着した汚れが映る領域である第1汚れ領域を推定する推定部と、
前記推定部により推定された第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出する抽出部と、
前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が所定の閾値以上である場合、前記カメラに汚れが付着していると判定する判定部と、
を備える汚れ検出装置。
この汚れ検出装置によると、カメラに汚れが付着していることを検出する精度(言い換えれば正確度)を高めることができる。ランプの光が照射される画像上の領域およびその周辺領域(以下「特定領域」とも呼ぶ。)は、汚れを誤検知しやすい領域であるが、特定領域以外の領域で検出された汚れのサイズが大きければカメラに汚れが付着していると判定することで、誤検知および未検知を抑制することができる。
[項目2]
前記判定部は、前記ランプの光が照射される領域の明るさが、前記所定の閾値とは異なる閾値以上であって、かつ、前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が前記所定の閾値未満の場合、前記カメラに汚れが付着していると判定することを抑制する、
項目1に記載の汚れ検出装置。
特定領域は汚れを誤検知しやすい領域であるため、特定領域で検出された汚れのサイズが大きければ、汚れ判定を抑制することで、誤検知を抑制できる。また、特定領域に対応するカメラのレンズ部分に汚れが付着している場合、特定領域の明るさは低減するが、特定領域の明るさが閾値以上であることを汚れ判定抑制の条件とするため、特定領域に対応するカメラのレンズ部分に付着した汚れが未検知となる可能性を低減できる。
[項目3]
前記判定部は、前記ランプの光が照射される領域の明るさと、前記ランプの光が照射されない領域の明るさとの差異が、前記所定の閾値とは異なる閾値以上であって、かつ、前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が前記所定の閾値未満の場合、前記カメラに汚れが付着していると判定することを抑制する、
項目1または2に記載の汚れ検出装置。
特定領域は汚れを誤検知しやすい領域であるため、特定領域で検出された汚れのサイズが大きければ、汚れ判定を抑制することで、誤検知を抑制できる。また、特定領域に対応するカメラのレンズ部分に汚れが付着している場合、特定領域の明るさは低減するが、特定領域の明るさと特定領域以外の明るさの差が閾値以上であることを汚れ判定抑制の条件とするため、特定領域に対応するカメラのレンズ部分に付着した汚れが未検知となる可能性を低減できる。
[項目4]
第1検出部と、第2検出部と、をさらに備え、
前記取得部は、1つのカメラにより複数の時点で撮像された複数の画像を取得する取得部と、
前記第1検出部は、前記取得部により取得された複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出し、
前記第2検出部は、前記取得部により取得された複数の画像の中の少なくとも1つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出し、
前記推定部は、前記第1検出部により検出された前記不変領域と、前記第2検出部により検出された前記複数の領域のボケ度合いとをもとに、前記第1汚れ領域を推定する、
項目1から3のいずれかに記載の汚れ検出装置。
この汚れ検出装置によると、画像における輝度の変化度合いとボケ度合いとをもとに、カメラのレンズに付着した汚れによる影響を受けた画像上の領域を精度よく推定できる。また、上記の項目1から3の技術との組合せにより、誤検知および未検知の発生を効果的に抑制できる。
[項目5]
外界を撮像する撮像部と、
前記撮像部により撮像された画像において、本カメラに付着した汚れが映る領域である第1汚れ領域を推定する推定部と、
前記推定部により推定された第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出する抽出部と、
前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する判定部と、
を備えるカメラ。
このカメラによると、項目1と同様に、カメラに汚れが付着していることを検出する精度(言い換えれば正確度)を高めることができる。
[項目6]
カメラにより撮像された画像を取得する取得し、
取得した画像において、前記カメラに付着した汚れが映る領域である第1汚れ領域を推定し、
推定した第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出し、
前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する、
ことをコンピュータに実行させるためのコンピュータプログラム。
このコンピュータプログラムによると、項目1と同様に、カメラに汚れが付着していることを検出する精度(言い換えれば正確度)を高めることができる。
[項目7]
カメラにより撮像された画像を取得する取得し、
取得した画像において、前記カメラに付着した汚れが映る領域である第1汚れ領域を推定し、
推定した第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出し、
前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する、
ことをコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
この記録媒体に記録されるコンピュータプログラムによると、項目1と同様に、カメラに汚れが付着していることを検出する精度(言い換えれば正確度)を高めることができる。
[項目1]
カメラにより撮像された画像を取得する取得部と、
前記取得部により取得された画像において、前記カメラに付着した汚れが映る領域である第1汚れ領域を推定する推定部と、
前記推定部により推定された第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出する抽出部と、
前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が所定の閾値以上である場合、前記カメラに汚れが付着していると判定する判定部と、
を備える汚れ検出装置。
この汚れ検出装置によると、カメラに汚れが付着していることを検出する精度(言い換えれば正確度)を高めることができる。ランプの光が照射される画像上の領域およびその周辺領域(以下「特定領域」とも呼ぶ。)は、汚れを誤検知しやすい領域であるが、特定領域以外の領域で検出された汚れのサイズが大きければカメラに汚れが付着していると判定することで、誤検知および未検知を抑制することができる。
[項目2]
前記判定部は、前記ランプの光が照射される領域の明るさが、前記所定の閾値とは異なる閾値以上であって、かつ、前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が前記所定の閾値未満の場合、前記カメラに汚れが付着していると判定することを抑制する、
項目1に記載の汚れ検出装置。
特定領域は汚れを誤検知しやすい領域であるため、特定領域で検出された汚れのサイズが大きければ、汚れ判定を抑制することで、誤検知を抑制できる。また、特定領域に対応するカメラのレンズ部分に汚れが付着している場合、特定領域の明るさは低減するが、特定領域の明るさが閾値以上であることを汚れ判定抑制の条件とするため、特定領域に対応するカメラのレンズ部分に付着した汚れが未検知となる可能性を低減できる。
[項目3]
前記判定部は、前記ランプの光が照射される領域の明るさと、前記ランプの光が照射されない領域の明るさとの差異が、前記所定の閾値とは異なる閾値以上であって、かつ、前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が前記所定の閾値未満の場合、前記カメラに汚れが付着していると判定することを抑制する、
項目1または2に記載の汚れ検出装置。
特定領域は汚れを誤検知しやすい領域であるため、特定領域で検出された汚れのサイズが大きければ、汚れ判定を抑制することで、誤検知を抑制できる。また、特定領域に対応するカメラのレンズ部分に汚れが付着している場合、特定領域の明るさは低減するが、特定領域の明るさと特定領域以外の明るさの差が閾値以上であることを汚れ判定抑制の条件とするため、特定領域に対応するカメラのレンズ部分に付着した汚れが未検知となる可能性を低減できる。
[項目4]
第1検出部と、第2検出部と、をさらに備え、
前記取得部は、1つのカメラにより複数の時点で撮像された複数の画像を取得する取得部と、
前記第1検出部は、前記取得部により取得された複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出し、
前記第2検出部は、前記取得部により取得された複数の画像の中の少なくとも1つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出し、
前記推定部は、前記第1検出部により検出された前記不変領域と、前記第2検出部により検出された前記複数の領域のボケ度合いとをもとに、前記第1汚れ領域を推定する、
項目1から3のいずれかに記載の汚れ検出装置。
この汚れ検出装置によると、画像における輝度の変化度合いとボケ度合いとをもとに、カメラのレンズに付着した汚れによる影響を受けた画像上の領域を精度よく推定できる。また、上記の項目1から3の技術との組合せにより、誤検知および未検知の発生を効果的に抑制できる。
[項目5]
外界を撮像する撮像部と、
前記撮像部により撮像された画像において、本カメラに付着した汚れが映る領域である第1汚れ領域を推定する推定部と、
前記推定部により推定された第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出する抽出部と、
前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する判定部と、
を備えるカメラ。
このカメラによると、項目1と同様に、カメラに汚れが付着していることを検出する精度(言い換えれば正確度)を高めることができる。
[項目6]
カメラにより撮像された画像を取得する取得し、
取得した画像において、前記カメラに付着した汚れが映る領域である第1汚れ領域を推定し、
推定した第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出し、
前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する、
ことをコンピュータに実行させるためのコンピュータプログラム。
このコンピュータプログラムによると、項目1と同様に、カメラに汚れが付着していることを検出する精度(言い換えれば正確度)を高めることができる。
[項目7]
カメラにより撮像された画像を取得する取得し、
取得した画像において、前記カメラに付着した汚れが映る領域である第1汚れ領域を推定し、
推定した第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出し、
前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する、
ことをコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
この記録媒体に記録されるコンピュータプログラムによると、項目1と同様に、カメラに汚れが付着していることを検出する精度(言い換えれば正確度)を高めることができる。
上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
10 車両、 12 リアカメラ、 14 汚れ検出装置、 16 表示装置、 34 画像取得部、 36 変化度検出部、 38 ボケ強度検出部、 42 推定部、 44 検出結果統合部、 46 汚れ判定部、 48 結果出力部、 200 明るさ検出部、 202 抽出部、 204 暗闇状態判定部。
Claims (7)
- カメラにより撮像された画像を取得する取得部と、
前記取得部により取得された画像において、前記カメラに付着した汚れが映る領域である第1汚れ領域を推定する推定部と、
前記推定部により推定された第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出する抽出部と、
前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する判定部と、
を備える汚れ検出装置。 - 前記判定部は、前記ランプの光が照射される領域の明るさが、前記所定の閾値とは異なる閾値以上であって、かつ、前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が前記所定の閾値未満の場合、前記カメラに汚れが付着していると判定することを抑制する、
請求項1に記載の汚れ検出装置。 - 前記判定部は、前記ランプの光が照射される領域の明るさと、前記ランプの光が照射されない領域の明るさとの差異が、前記所定の閾値とは異なる閾値以上であって、かつ、前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が前記所定の閾値未満の場合、前記カメラに汚れが付着していると判定することを抑制する、
請求項1または2に記載の汚れ検出装置。 - 第1検出部と、第2検出部と、をさらに備え、
前記取得部は、1つのカメラにより複数の時点で撮像された複数の画像を取得する取得部と、
前記第1検出部は、前記取得部により取得された複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出し、
前記第2検出部は、前記取得部により取得された複数の画像の中の少なくとも1つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出し、
前記推定部は、前記第1検出部により検出された前記不変領域と、前記第2検出部により検出された前記複数の領域のボケ度合いとをもとに、前記第1汚れ領域を推定する、
請求項1から3のいずれかに記載の汚れ検出装置。 - 外界を撮像する撮像部と、
前記撮像部により撮像された画像において、本カメラに付着した汚れが映る領域である第1汚れ領域を推定する推定部と、
前記推定部により推定された第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出する抽出部と、
前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する判定部と、
を備えるカメラ。 - カメラにより撮像された画像を取得する取得し、
取得した画像において、前記カメラに付着した汚れが映る領域である第1汚れ領域を推定し、
推定した第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出し、
前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する、
ことをコンピュータに実行させるためのコンピュータプログラム。 - カメラにより撮像された画像を取得する取得し、
取得した画像において、前記カメラに付着した汚れが映る領域である第1汚れ領域を推定し、
推定した第1汚れ領域のうち、ランプの光が照射される領域およびその周辺領域に含まれる第2汚れ領域を抽出し、
前記第1汚れ領域のサイズと、前記第2汚れ領域のサイズとの差異が所定の閾値以上の場合、前記カメラに汚れが付着していると判定する、
ことをコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018062003A JP2019176300A (ja) | 2018-03-28 | 2018-03-28 | 汚れ検出装置、カメラ、コンピュータプログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018062003A JP2019176300A (ja) | 2018-03-28 | 2018-03-28 | 汚れ検出装置、カメラ、コンピュータプログラムおよび記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019176300A true JP2019176300A (ja) | 2019-10-10 |
Family
ID=68167516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018062003A Pending JP2019176300A (ja) | 2018-03-28 | 2018-03-28 | 汚れ検出装置、カメラ、コンピュータプログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019176300A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112862832A (zh) * | 2020-12-31 | 2021-05-28 | 重庆盛泰光电有限公司 | 一种基于同心圆分割定位的脏污检测方法 |
WO2023053498A1 (ja) * | 2021-09-30 | 2023-04-06 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、記録媒体、および車載システム |
-
2018
- 2018-03-28 JP JP2018062003A patent/JP2019176300A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112862832A (zh) * | 2020-12-31 | 2021-05-28 | 重庆盛泰光电有限公司 | 一种基于同心圆分割定位的脏污检测方法 |
CN112862832B (zh) * | 2020-12-31 | 2022-07-12 | 盛泰光电科技股份有限公司 | 一种基于同心圆分割定位的脏污检测方法 |
WO2023053498A1 (ja) * | 2021-09-30 | 2023-04-06 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、記録媒体、および車載システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6772113B2 (ja) | 付着物検出装置、および、それを備えた車両システム | |
US8582809B2 (en) | Method and device for detecting an interfering object in a camera image | |
JP6246014B2 (ja) | 外界認識システム、車両、及びカメラの汚れ検出方法 | |
JP5787024B2 (ja) | 立体物検出装置 | |
JP5576937B2 (ja) | 車両の周辺監視装置 | |
US10791252B2 (en) | Image monitoring device, image monitoring method, and recording medium | |
JP2019124683A (ja) | オブジェクト速度推定方法と装置及び画像処理機器 | |
JP2013058199A (ja) | 偏光画像による車両位置検知方法及びシステム | |
WO2016129301A1 (ja) | 車両用進入可否判定装置 | |
US20170074651A1 (en) | Stereo camera apparatus, vehicle provided with stereo camera apparatus, and non-transitory recording medium | |
CN103164685B (zh) | 车灯检测方法和车灯检测设备 | |
JP2019176300A (ja) | 汚れ検出装置、カメラ、コンピュータプログラムおよび記録媒体 | |
JP6970911B2 (ja) | 汚れ検出装置の制御方法、および汚れ検出装置 | |
JP2018073275A (ja) | 画像認識装置 | |
KR20130070210A (ko) | 영상의 노이즈 제거 방법 | |
JP6087240B2 (ja) | 車両周辺監視装置 | |
WO2022179016A1 (zh) | 车道检测方法、装置、设备及存储介质 | |
JP2018073049A (ja) | 画像認識装置、画像認識システム、及び画像認識方法 | |
JP2006317328A (ja) | 車載物体検出装置、および物体検出方法 | |
JP3532896B2 (ja) | スミア検出方法及びこのスミア検出方法を用いた画像処理装置 | |
JP5310162B2 (ja) | 車両灯火判定装置 | |
KR101156145B1 (ko) | 차량의 이미지 처리 방법과 장치, 및 상기 방법을 이용한 차량용 제어 장치 | |
WO2024009605A1 (ja) | 画像処理装置、および、画像処理方法 | |
KR101300279B1 (ko) | 다양한 조명 환경에서의 차량 검출 | |
JP2010237799A (ja) | 路面表示認識装置、方法、プログラム及びコンピュータ読取可能な記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180417 |