JP6576887B2 - 車載装置 - Google Patents
車載装置 Download PDFInfo
- Publication number
- JP6576887B2 JP6576887B2 JP2016156627A JP2016156627A JP6576887B2 JP 6576887 B2 JP6576887 B2 JP 6576887B2 JP 2016156627 A JP2016156627 A JP 2016156627A JP 2016156627 A JP2016156627 A JP 2016156627A JP 6576887 B2 JP6576887 B2 JP 6576887B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- dirt
- region
- information
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 341
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 159
- 238000012544 monitoring process Methods 0.000 claims description 76
- 238000004140 cleaning Methods 0.000 claims description 68
- 230000008859 change Effects 0.000 claims description 28
- 230000001464 adherent effect Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 52
- 238000000034 method Methods 0.000 description 32
- 238000012986 modification Methods 0.000 description 29
- 230000004048 modification Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 26
- 230000008034 disappearance Effects 0.000 description 18
- 230000008030 elimination Effects 0.000 description 18
- 238000003379 elimination reaction Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 13
- 230000010354 integration Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000011109 contamination Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 101150002629 TAS1 gene Proteins 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
以下、図1〜図8を参照して、本発明に係る車載装置の第1の実施の形態を説明する。
図1は、車両1のハードウエア構成図である。車両1は、カメラ2と、車両監視部3と、車載装置4と、報知部5とを備える。
カメラ2は、外向きに車両1に設置され、車両1の周辺の路面を撮影範囲に含む。カメラ2は所定の時間間隔ごとに撮影し、撮影して得られた画像(以下、撮影画像)を車載装置4に出力する。カメラ2はレンズを備え、レンズが泥や水滴により汚れると撮影画像の汚れに対応する領域が影響を受ける。
図2は、第1の実施の形態による演算処理部41の制御ブロック図である。演算処理部41は、ROMに格納されたプログラムをCPUが実行することにより、付着物検出部6と付着物領域記憶部7と付着物消去監視部8と付着物領域統合部9と制御信号出力部10と付着物検出制御部11と付着物消去管理部12として機能する。
泥検出部62は、レンズに付着した泥を検出し、撮影画像において泥が付着している領域(以下、泥領域)を示す情報(以下、泥領域情報)を付着物領域記憶部7に出力する。以下では、水滴領域と泥領域とをあわせて「付着物領域」と呼ぶ。また以下では、水滴領域情報と泥領域情報とをあわせて「付着物領域情報」と呼ぶ。泥検出部62の具体的な動作は後述する。
図3は、付着物領域記憶部7で記憶される付着物領域情報の一例を示す図である。撮影画像を格子状に区切った検出面131において、付着物が検出された領域14が示されている。付着物が検出された領域14は、付着物領域情報により特定される領域である。
泥消去監視部82は、泥領域記憶部72に記憶される泥領域情報を監視し、泥領域情報の時間変化から泥が消失した領域(以下、泥消失領域)を検出する。そして泥消去監視部82は、泥消失領域を示す情報(以下、泥消失領域情報)を出力する。
付着物消去管理部12は、付着物検出制御部11から入力される付着物検出部6の動作状態に基づき、停止状態にある検出部に対応する付着物領域記憶部7の付着物領域情報を、付着物消失領域情報を用いて書き換える。たとえば、水滴検出部61が稼働状態にあり泥検出部62が停止状態にある場合は、停止状態にある泥検出部62に対応する泥領域記憶部72に格納される泥領域情報を、付着物消失領域情報を用いて書き換える。すなわちこの場合は、泥領域情報を水滴消失領域情報を用いて書き換える。図3、図5、図6を用いて付着物領域情報の書き換えを具体的に説明する。
まず、泥検出部62が撮影画像から泥領域を検出し、泥領域情報を付着物領域記憶部7に出力する。この泥領域情報を図示したのが図5の領域151および領域152である。次に付着物検出制御部11により泥検出部62が停止状態に切り替えられる。そして、水滴消去監視部81が図3に示す領域14を水滴消失領域として検出する。すると付着物消去管理部12は、図5に示す泥領域151および領域152から水滴消失領域である領域14を除外する。これにより、図5に示す泥領域151は図6において泥領域151Aに書き換えられ、書き換えられなかった泥領域152とともに新たな泥領域情報として付着物領域記憶部7に出力される。
付着物領域統合部9は、付着物領域記憶部7から水滴領域情報および泥領域情報を取得する。付着物領域統合部9は、取得した情報に含まれる水滴領域および泥領域を統合して統合付着物領域とし、統合付着物領域を示す情報である統合付着物領域情報を制御信号出力部10に出力する。
図7は、水滴検出部61の処理を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部41のCPUである。ステップS181では、CPUはカメラ2が出力した撮影画像に対してエッジ抽出処理を行い、エッジ画像を生成する。エッジ抽出処理には、画像中の変化量を抽出する様々な手段を用いることができる。たとえば、PrewittフィルタやSobelフィルタを用いることができる。続くステップS182では、CPUはステップS181で生成されたエッジ画像の中からエッジ強度が弱くぼけた画素を抽出する。CPUは、エッジ画像に含まれるエッジ強度が所定の閾値Th1以上閾値Th2以下のエッジを抽出する。続くステップS183では、CPUは、ステップS182の抽出結果を所定の回数Nだけ画素ごとに累積させる。続くステップS184では、CPUは、ステップS183で累積させたエッジ強度が所定の閾値Th3以上となる画素を特定し、その画素を示す情報を水滴領域情報として付着物領域記憶部7に出力する。
図8は、泥検出部62の処理を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部41のCPUである。ステップS191では、CPUは、カメラ2が出力した撮影画像に対して輝度が所定の閾値Th4以下の画素を抽出する。続くステップS192では、CPUは、ステップS191の抽出結果を所定の回数Mだけ画素ごとに累積させる。続くステップS193では、CPUは、ステップS192で累積させた輝度値が所定の閾値Th5以上の画素を示す情報を、泥領域情報として付着物領域記憶部7に出力する。
図9は、付着物消去管理部12の処理を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部41のCPUである。
ステップS161では、CPUは、付着物消去管理部12が水滴消去監視部81から水滴消失領域情報を受信したか否かを判断する。水滴消失領域情報を受信したと判断する場合はステップS162に進み、水滴消失領域情報を受信していないと判断する場合はステップS164に進む。ステップS162では、CPUは、付着物検出制御部11の出力に基づき泥検出部62が停止状態にあるか否かを判断する。この判断は、付着物検出制御部11が出力する付着物検出部6の動作状態の情報に基づき行われる。泥検出部62が停止状態にあると判断する場合はステップS163に進み、泥検出部62が停止状態にない、すなわち泥検出部62が稼働状態にあると判断する場合はステップS164に進む。ステップS163では、CPUは、水滴消失領域情報に基づき泥領域情報を書き換えてステップS164に進む。
(1)車載装置4は、レンズを備えるカメラ2で撮影された画像を取得する画像取得部42と、記憶部、すなわち演算処理部41と、画像取得部42が取得した画像に基づきレンズの汚れを検出して画像における汚れが存在する領域を示す汚れ領域情報を記憶部に格納する汚れ検出部、すなわち付着物検出部6と、レンズの汚れが除去された領域を示す汚れ除去情報を生成する汚れ除去情報生成部、すなわち付着物消去監視部8と、汚れ除去情報に基づいて汚れ領域情報を書き換える書換え部、すなわち付着物消去管理部12と、を備える。
車載装置4をこのように構成したので、汚れ検出部により汚れ検出ができない状態であっても、汚れ除去情報に基づいて汚れ領域情報を書き換えることができる。たとえば昼間に車速が時速1km未満であるために泥検出部62が動作できない場合でも、水滴検出部61の検出結果を利用する水滴消去監視部81が出力する付着物消去領域情報、すなわち汚れ除去情報に基づき泥領域記憶部72を書き換えることができる。
このように、汚れ検出部と汚れ除去情報生成部は異なるアルゴリズムにより動作するので、汚れ検出部のアルゴリズムでは汚れの検出が不可能な場合、すなわち汚れ検出部のアルゴリズムでは汚れが除去されたことの検出が不可能な場合であっても、汚れ除去情報生成部により汚れ除去情報を生成することができる。
車載装置4は、2種類の汚れ検出部を備え、一方の汚れ検出部が検出した汚れ検出領域を、他方の汚れ検出部の検出結果を利用した汚れ除去情報により書き換えることができる。
そのため、泥検出部62が検出した泥領域を水滴検出部61の検出結果を利用した泥消失領域を利用して書き換えることができる。
そのため付着物消去管理部12は、水滴領域情報と泥領域情報のいずれを書き換えるかを判断できる。
(第1の実施の形態の変形例1)
車両1の車両監視部3、および車載装置4の付着物検出制御部11を省略してもよい。この場合は付着物消去管理部12は、水滴検出部61および泥検出部62の稼働状態に関わらず、付着物消去領域情報に基づき、水滴領域記憶部71および泥領域記憶部72の付着物領域情報を書き換える。
付着物検出制御部11は、状態切替テーブル17を参照する代わりに、車両1の乗員が操作可能な手動スイッチの状態を参照して、水滴検出部61および泥検出部62の動作を制御してもよい。
車載装置4は、水滴消去監視部81および泥消去監視部82のいずれか一方を備えなくてもよい。すなわち付着物消去監視部8は、水滴検出部61および泥検出部62のいずれか一方の検出結果のみを用いて付着物消去領域情報を生成してもよい。
なお付着物消去監視部8は、水滴消去監視部81を備えることが好ましい。
図10〜図11を参照して、本発明に係る車載装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、画像認識の結果に基づき付着物消去領域情報が生成される点、およびいずれの生成手法による付着物消去領域情報を用いて付着物領域記憶部7を書き換えるかが条件により変化する点で第1の実施の形態と異なる。
第2の実施の形態における車両1および車載装置4のハードウエア構成は第1の実施の形態と同様である。演算処理部41のROMに格納されるプログラムが第1の実施の形態と異なる。
図10は、本発明の第2の実施の形態における車載装置4の制御ブロック図である。演算処理部41は、画像認識部20と、画像認識領域記憶部21と、付着物検出部6と、付着物領域記憶部7と、付着物消去監視部8と、付着物領域統合部9と、制御信号出力部10と、付着物消去管理部12として機能する。
図10に示す制御ブロック図の第1の実施の形態における制御ブロック図との相違点は、画像認識部20および画像認識領域記憶部21が追加されている点と、画像認識領域記憶部21および車両監視部3の出力が付着物消去管理部12に入力されている点である。なお図10では車両監視部3と付着物検出制御部11とを接続する線が省略されているが、第1の実施の形態と同様に車両監視部3の出力が付着物検出制御部11に入力される。また付着物検出制御部11が状態切替テーブル17を備える点も第1の実施の形態と同様である。以下では、これらの相違点を説明する。
付着物消去管理部12は、消去関係テーブル22を備える。付着物消去管理部12は、消去関係テーブル22に基づいて、付着物領域記憶部7に格納される水滴領域情報および泥領域情報を書き換える。消去関係テーブル22は、時間帯、および車両監視部3から入力される車両の動作状況に基づき、付着物検出部6および画像認識部20のそれぞれの処理結果により書き換えられる対象となる情報を特定するテーブルである。なお消去関係テーブル22は、付着物消去管理部12が動作する条件を示しているともいえる。
(1)車載装置4の汚れ検出部、すなわち付着物検出部6は、検出する汚れの種類が異なる水滴検出部61と泥検出部62とを含む。水滴検出部61は検出した汚れを水滴領域情報として記憶部に格納し、泥検出部62は検出した汚れを泥領域情報として記憶部に格納する。車載装置4は、水滴領域情報に基づき水滴消失領域情報を生成する水滴消去監視部81と、泥領域情報に基づき泥消失領域情報を生成する泥消去監視部82と、水滴領域情報が書き換られる条件および泥領域情報が書き換られる条件が記載された消去関係テーブル22が格納されるテーブル記憶部、すなわち演算処理部41とを備える。書換え部、すなわち付着物消去管理部12は、消去関係テーブル22に記載された条件および水滴消失領域情報に基づき泥領域情報を書き換え、消去関係テーブル22に記載された条件および泥消失領域情報に基づき水滴領域情報を書き換える。
そのため、水滴領域情報および泥領域情報のそれぞれを、泥検出部62および水滴検出部61のそれぞれの検出結果に基づき書き換えることができる。
そのため、車両1の速度に応じて書き換え対象となる付着物領域を変更することができる。
そのため、画像認識部20の認識結果を用いて、付着物領域情報を書き換えることができる。
そのため車載装置4は、車両1の速度、および消去関係テーブル22に基づき、画像認識部20の認識結果や付着物検出部6の検出結果を用いて付着物領域情報を書き換えることができる。
(第2の実施の形態の変形例1)
車載装置4は、画像認識部20、および画像認識領域記憶部21を備えなくてもよい。この場合、第1の実施の形態との相違点は、付着物消去管理部12が、付着物検出部6の動作状態ではなく消去関係テーブル22に基づいて、付着物領域記憶部7に格納される付着物領域情報を書き換える点である。同様に、車載装置4において、付着物消去監視部8を省略することができる。この場合、付着物消去管理部12は、消去関係テーブル22に基づいて、付着物領域記憶部7に記載されている付着物領域情報から、画像認識領域記憶部21から入力された画像認識情報の領域を消去する。
付着物消去管理部12は、消去関係テーブル22の車速222の列を参照しなくてもよい。さらに付着物消去管理部12は、消去関係テーブル22の時間帯の列も参照しなくてもよい。これらの場合は、消去関係テーブル22は付着物消去管理部12から参照されない列を含まなくてもよい。
付着物検出部6、および画像認識部20のそれぞれにおいて、検出結果の確からしさ、すなわち確度は異なる。さらにそれぞれの検出結果においても、画素ごとに確度は異なる。そこで、付着物検出部6、付着物消去監視部8、画像認識部20のそれぞれの出力に検出結果の確度を追加する。そして、付着物消去管理部12が、付着物領域記憶部7に記憶された付着物情報を消去する際に、確度を考慮してもよい。
付着物検出部6の水滴検出部61は、図7のステップS184において累積値がTh3以上である画素を水滴領域としたが、その累積値を用いて確度を決定することができる。水滴検出部61は、累積値の値が大きいほど確度を高く、すなわちより確からしい検出結果であると設定する。
付着物消去監視部8の水滴消去監視部81は、ある画素の水滴が消失したと判断した際に、消去前にその画素に設定されていた確度を、その画素において水滴が消失した確度と設定する。泥消去監視部82も同様に、ある画素の泥が消失したと判断した際に、消去前にその画素に設定されていた確度を、その画素において泥が消失した確度と設定する。
(1)汚れ除去情報には汚れが除去された確からしさを示す確度情報が領域ごとに付加されており、付着物消去管理部12は、確度情報に基づき汚れ領域情報を書き換える。
そのため、確度を考慮して汚れ領域情報を書き換えることができる。
画像認識部20はカメラ2の撮影画像から何らかの物体を検出できればよく、検出対象の種類や数は上記の構成に限定されない。たとえば画像認識部20は歩行者検出部201のみを備えてもよいし、歩行者や車両以外に信号機やガードレールを検出する検出部を備えてもよい。
図12〜図13を参照して、本発明に係る車載装置の第3の実施の形態を説明する。以下の説明では、第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第2の実施の形態と同じである。本実施の形態では、主に、特定の汚れの種類に限定せず付着物の消去点を検出する付着物検出部を備える点で、第2の実施の形態と異なる。
第3の実施の形態における車両1および車載装置4のハードウエア構成は第2の実施の形態と同様である。演算処理部41のROMに格納されるプログラムが第2の実施の形態と異なる。
図12は、本発明の第3の実施の形態における車載装置4の制御ブロック図である。演算処理部41は、付着物消去検出部23と、付着物検出部6と、付着物領域記憶部7と、付着物消去監視部8と、付着物領域統合部9と、制御信号出力部10と、付着物消去管理部12とを備える。
第2の実施の形態における制御ブロック図との相違点は、画像認識部20および画像認識領域記憶部21が削除されている点と、付着物消去検出部23が追加されている点と、付着物消去検出部23の出力が付着物消去管理部12に入力されている点である。なお図12では車両監視部3と付着物検出制御部11とを接続する線が省略されているが、第2の実施の形態と同様に車両監視部3の出力が付着物検出制御部11に入力される。また付着物検出制御部11が状態切替テーブル17を備える点も第2の実施の形態と同様である。以下では、これらの相違点を説明する。
付着物消去管理部12が参照する消去関係テーブル22において、付着物消去検出部23の消去領域反映対象224は、水滴検出と泥検出の両方に設定される。すなわち、付着物消去検出部23が出力する付着物消去検出領域情報に基づき、水滴領域情報と泥領域情報の両方が書き換えられる。
図13は、付着物消去検出部23の動作を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部41のCPUである。ステップ241では、CPUは、カメラ2が出力した撮影画像を長時間蓄積して変化のない領域を付着物が付着していると推定し無変化領域として抽出する。なお、本ステップの処理は、カメラ2のレンズへの付着物を検出することを目的とした処理であり、付着物検出部6の処理結果を用いることもできる。
続くステップ243では、CPUは、ステップ242において抽出された瞬時変化領域に含まれ、かつステップ241において無変化領域として抽出されていた領域を付着物消去検出領域として出力する。
(1)車載装置4は、撮影画像から、長時間変化のない無変化領域と、カメラ2が連続して撮影することにより得られた2枚の撮影画像において輝度差が予め定めた値より大きい瞬時変化領域とを検出し、瞬時変化領域のうち無変化領域に含まれる領域を、レンズの汚れが除去された領域とする汚れ除去情報を生成する瞬間変化検出部、すなわち付着物消去検出部23を備える。
そのため、動作が簡便な付着物消去検出部23の出力を用いて、付着物領域情報を書き換えることができる。
(第3の実施の形態の変形例1)
第3の実施の形態では、付着物消去検出部23は付着物が除去された領域を検出した。換言すると、最新の撮影画像において付着物が検出されない領域であって、さらに従前の撮影画像においては付着物が検出されていた領域を検出した。しかし、従前の付着物の有無を考慮せず、付着物が検出されない領域(以下、非付着物領域)を検出してもよい。付着物消去検出部23による非付着物領域の検出は、たとえば、カメラ2から出力される撮影画像が車両の走行に応じて変化することを利用して検出することができる。
(1)車載装置4は、撮影画像から付着物のない領域を検出し、検出した領域に基づき汚れ除去情報を生成する非付着物検出部、すなわち付着物消去検出部23を備える。
車載装置4は従前に付着物が存在していたか否かを判断しないため、より簡便に汚れ除去情報を生成することができる。
車載装置4は、第2の実施の形態における画像認識部20と画像認識領域記憶部21とを付着物消去検出部23として備えてもよい。この場合は、画像認識部20が撮影画像から検出した物体の領域、すなわち画像認識領域を非付着物領域として付着物消去管理部12に出力する。画像認識領域を非付着物領域として出力する理由は、以下のとおりである。すなわち、画像認識領域は画像認識部20によって物体が検出された領域なので、画像認識領域には付着物がないと推測できるからである。
図15〜図16を参照して、本発明に係る車載装置の第4の実施の形態を説明する。以下の説明では、第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第2の実施の形態と同じである。本実施の形態では、主に、レンズが清掃された領域を付着物が消去された領域として扱う点で、第2の実施の形態と異なる。
図15は、本発明の第4の実施の形態による車載装置4の制御ブロック図である。演算処理部41はROMに格納されたプログラムをCPUが実行することにより、レンズ清掃制御部26と付着物検出部6と付着物領域記憶部7と付着物消去監視部8と付着物領域統合部9と制御信号出力部10と付着物消去管理部12として機能する。車両1は、カメラ2のレンズを清掃するレンズ清掃部27を備える。レンズ清掃部27は、レンズの付着物をこすり落とす(払拭する)ワイパー271と、レンズに洗浄液を吹きかけてレンズの付着物を洗い流すウォッシャー272とを備える。レンズ清掃部27は、後述するレンズ清掃制御部26の清掃動作指令に基づき動作する。
制御信号出力部10による撮影画像が画像利用プログラムに適合するか否かの判断は、たとえば、統合付着物領域が撮影画像に占める面積の割合や、統合付着物領域の撮影画像中の位置に基づいてなされる。制御信号出力部10がレンズ清掃制御部26に出力する制御動作指令は、常にワイパー271とウォッシャー272の両方を動作させる制御動作指令でもよいし、統合付着物領域に基づきワイパー271やウォッシャー272の一方のみを動作させる制御動作指令でもよい。
清掃領域情報は、レンズ清掃制御部26にあらかじめ記憶されている。レンズ清掃制御部26が出力する清掃動作指令および清掃領域情報は、受信する制御動作指令に対応するものである。たとえば、ワイパー271のみを動作させる制御動作指令を受信すると、ワイパー271のみを動作させる清掃動作指令およびワイパー271のみが作動した場合の清掃領域情報を出力する。
(1)車載装置4は、レンズ清掃部27の清掃動作に基づき、清掃動作の対象範囲が汚れが除去された領域として汚れ除去情報を生成するレンズ清掃制御部26を備える。
そのため、車載装置4はレンズ清掃部27へ動作指令を出力するとともに、動作指令により動作するワイパー271または/およびウォッシャー272により清掃される領域を汚れが除去された領域とする汚れ除去情報を生成できる。
(第4の実施の形態の変形例1)
レンズ清掃制御部26は、付着物が実際に除去されていることを確認できないため、レンズ清掃部27が稼働しても付着物清掃領域に付着物が残留している可能性がある。そのため、レンズ清掃制御部26は、付着物清掃領域を付着物消去管理部12に入力しなくてもよい。その代わりにレンズ清掃制御部26は、レンズ清掃部27を作動させる前後で付着物消去監視部8の実行間隔を短くする、すなわち処理を高速化させることで、レンズ清掃部27の動作による付着物の除去が確実に検出されるようにする。もしくは、レンズ清掃制御部26は、レンズ清掃部27を動作させた時のみ付着物消去監視部8を動作させることで、付着物消去監視部8の処理による演算処理部41の負荷を低減してもよい。ただしレンズ清掃部27を動作させた時のみ付着物消去監視部8を動作させる場合は、レンズ清掃部27の動作に起因せず付着物が除去されたことを検出し逃してしまうため、カメラ2のレンズの付着物が自然に除去されない状況下で適用することが好ましい。
第4の実施の形態の変形例1において、レンズ清掃制御部26は、動作させるレンズ清掃部27の機能に応じて付着物消去監視部8の各監視部のいずれかを動作させるか、またはいずれの動作を高速化させるか、が定められたテーブルを備えてもよい。このテーブルでは、ワイパー271の動作には水滴消去監視部81が対応し、ウォッシャー272の動作には水滴消去監視部81および泥消去監視部82が対応する。たとえば、ワイパー271を動作させる場合は水滴が除去されるため、水滴消去監視部81を動作させる、または水滴消去監視部81の動作を高速化させる。
車両1は不図示の手動スイッチをさらに備え、乗員による手動スイッチの操作に基づき制御動作指令がレンズ清掃制御部26に出力されてもよい。
以上で説明した第1〜第4の実施の形態は、以下のように変形して実行できる。
付着物検出部6は、水滴検出部61と泥検出部62とから構成されたが、他の種類の汚れを検出する検出部、たとえば白濁検出部をさらに備えてもよい。また、第1の実施の形態では少なくともいずれか2つの汚れ検出部、たとえば水滴検出部61と白濁検出部を備えればよく、第2〜第4の実施の形態では少なくとも1つの汚れ検出部を備えればよい。
白濁検出部は、たとえば以下のように汚れの1つである白濁を検出する。
白濁検出部は、各検知領域941〜945の中でエッジ強度の平均値AE2が閾値ε未満の検知領域の個数、すなわち白濁していると検知された検知領域の個数N2を算出する。その後、白濁検出部は、各検知領域941〜945が白濁していると継続的に判断された時間t2を算出する。そして、白濁検出部は、各検知領域941〜945の時間t2の総和を検知領域の個数、すなわち、5個で除して平均継続時間t3を算出する。白濁検出部は、この平均継続時間t3を、白濁検出部の検知結果の確度R2に変換する。たとえば、白濁検出部は、ある所定期間TTHR3をあらかじめ設定して、R2=t3/TTHR3を算出する。確度R2は、白濁の平均継続時間t3が長ければ長いほど、確度が高く白濁していることを表す。また、t3自体が5個の検知領域941〜945の平均白濁継続時間であるため、5個の検知領域941〜945の全ての継続時間が長くなるほど、白濁の確度も上がる。確度R2は、0から1の数値で表現し、TTHR3<t3の場合には、全て1として表現し、確度が高く白濁している様子を示す数値とする。
水滴検出部61は、以下のように水滴を検出してもよい。
図18(a)および(b)を用いて水滴検出部61の動作について説明する。図18(a)に示されるように、水滴検出部61は、撮影画像930の画像領域を複数のブロックB(x,y)に分割する。各ブロックB(x,y)には、撮影画像の複数の画素が含まれている。
水滴検出部61は、スコアS1(x,y)が所定値以上のブロックを水滴が検出された領域と判断する。水滴検出部61はさらに、以下のように水滴検出の確度を算出することができる。
泥検出部62は、以下のように泥を検出してもよい。
泥検出部62は、前述の図18(a)に示されるように、撮影画像930の画像領域を複数のブロックB(x,y)に分割する。泥検出部62は、以下のように各ブロックB(x,y)ごとに初期値がゼロであるスコアS4(x,y)の値を算出する。
泥検出部62は、スコアS4(x,y)が所定値以上のブロックを泥が検出された領域と判断する。泥検出部62はさらに、以下のように泥検出の確度を算出することができる。
車両1は、車両の走行を制御する車両制御部をさらに備えてもよい。たとえば、車両操作部は、車両のアクセルやブレーキ、ハンドルの角度を制御する機能などを有する。そして制御信号出力部10は、付着物領域統合部9から入力された統合付着物領域に基づいて制御信号を生成し、車両操作部に入力する。たとえば、統合付着物領域が撮影画像における所定の割合に相当する面積よりも大きい場合には、カメラ2の撮影画像を用いた周囲環境の認識性能が低いと判断し、車速が一定以下になるように、もしくは停車するようにアクセルやブレーキを制御する。
車載装置4は、カメラ2の撮影画像を用いてレーンマークや歩行者などの物体を検出する画像処理を行う物体認識部を備え、制御信号出力部10が以下に示す付加的な処理を行ってもよい。
撮影画像においてカメラ2のレンズの付着物が映る付着物領域は被写体を隠すため、付着物領域では物体検出が正しく行えない。そこで、制御信号出力部10が付着物領域統合部9から入力された統合付着物領域をマスク画像として生成し、物体認識部に入力する。物体認識部は入力されたマスク画像が示す統合付着物領域をカメラ2の撮影画像から除外し、レーンマークや歩行者などの物体を検出するための画像処理を行う。
付着物消去管理部12は、付着物領域記憶部7に記憶された付着物領域情報から、汚れ除去情報が示す領域を消去する際に、次の条件を満たす場合に付着物領域をすべて削除するように付着物領域情報を書き換えてもよい。すなわち、汚れ除去情報が示す領域が付着物領域の所定の割合以上の面積の場合、たとえば汚れ除去情報が示す領域が付着物領域の80%以上の場合である。
(1)書換え部、すなわち付着物消去管理部12は、汚れ除去情報と汚れ領域情報との関係が所定の条件を満たすと、レンズの汚れがすべて除去されたとして付着物領域をすべて削除するように付着物領域情報を書き換える。そのため、付着物領域が疎らに点在する状況を防止することができる。
上述したいずれの実施の形態でも、カメラ2のレンズへの付着物を対象としたが、カメラ2が車室内に設置される場合には、カメラ2の前方のウィンドウの付着物を対象としてもよい。この場合、レンズ清掃部27は前方のウィンドウの付着物を除去する装置とする。
第2〜第4の実施の形態では付着物検出制御部11を備えなくてもよい。その場合は、水滴検出部61および泥検出部62は常時稼働する。本変形例8によれば、水滴検出部61および泥検出部62が稼働中であっても水滴領域情報や泥領域情報を付着物消去管理部12が書き換えて、統合付着物領域を迅速に更新できる利点を有する。
車載装置4は、水滴検出部61または泥検出部62が付着物を検出しなかった領域の情報を付着物消去領域情報として付着物消去管理部12に出力してもよい。具体的には、水滴検出部61が付着物を検出しなかった領域、および泥検出部62が付着物を検出しなかった領域、すなわち付着物領域記憶部7の各記憶部に記憶されない領域を付着物消去領域として付着物消去管理部12に入力する。
車両監視部3の車速監視部32は、不図示のGPS受信機から得られる位置情報、および不図示の地図情報から車両1が駐車場に居ると判断する場合は、車速をおおよそゼロとして出力してもよい。この場合は車両1が駐車場に侵入すると、車速がおおよそゼロとして付着物検出制御部11に出力され、状態切り替えテーブル17の記述に従って泥検出部62の動作が停止される。
2 … カメラ
4 … 車載装置
6 … 付着物検出部
61 … 水滴検出部
62 … 泥検出部
7 … 付着物領域記憶部
71 … 水滴領域記憶部
72 … 泥領域記憶部
8 … 付着物消去監視部
81 … 水滴消去監視部
82 … 泥消去監視部
11 … 付着物検出制御部
12 … 付着物消去管理部
17 … 状態切替テーブル
20 … 画像認識部
201 … 歩行者検出部
202 … 車両検出部
22 … 消去関係テーブル
23 … 付着物消去検出部
26 … レンズ清掃制御部
41 … 演算処理部
42 … 画像取得部
Claims (15)
- レンズを備えるカメラで撮影された画像を取得する画像取得部と、
記憶部と、
前記画像取得部が取得した画像に基づき前記レンズの汚れを検出して前記画像における汚れが存在する領域を示す汚れ領域情報を前記記憶部に格納する汚れ検出部と、
前記レンズの汚れが除去された領域を示す汚れ除去情報を生成する汚れ除去情報生成部と、
前記汚れ除去情報に基づいて前記汚れ領域情報を書き換える書換え部と、を備える車載装置。 - 請求項1に記載の車載装置において、
前記汚れ検出部、および前記汚れ除去情報生成部は、それぞれ異なるアルゴリズムを用いる車載装置。 - 請求項1に記載の車載装置において、
前記汚れ除去情報生成部は、前記汚れ検出部により検出可能な汚れとは異なる種類の汚れを検出する異種汚れ検出部の検出結果に基づき前記汚れ除去情報を生成する車載装置。 - 請求項3に記載の車載装置において、
前記汚れ検出部は泥を検出し、前記異種汚れ検出部は水滴を検出する車載装置。 - 請求項1に記載の車載装置において、
前記汚れ検出部は、検出する汚れの種類が異なる第1汚れ検出部と第2汚れ検出部とを含み、
前記第1汚れ検出部は検出した汚れを第1汚れ領域情報として前記記憶部に格納し、
前記第2汚れ検出部は検出した汚れを第2汚れ領域情報として前記記憶部に格納し、
前記第1汚れ領域情報に基づき第1汚れ除去情報を生成する第1監視部と、
前記第2汚れ領域情報に基づき第2汚れ除去情報を生成する第2監視部と、
前記第1汚れ領域情報が書き換られる条件および前記第2汚れ領域情報が書き換られる条件が記載された消去関係テーブルが格納されるテーブル記憶部と、をさらに備え、
前記書換え部は、前記消去関係テーブルに記載された条件および前記第1汚れ除去情報に基づき前記第2汚れ領域情報を書き換え、前記消去関係テーブルに記載された条件および前記第2汚れ除去情報に基づき前記第1汚れ領域情報を書き換える車載装置。 - 請求項5に記載の車載装置において、
前記消去関係テーブルに記載される、前記第1汚れ領域情報が書き換られる条件および前記第2汚れ領域情報が書き換られる条件は、少なくとも前記カメラを搭載する車両の速度が含まれる車載装置。 - 請求項1に記載の車載装置において、
前記レンズの清掃動作に基づき、前記清掃動作の対象範囲が汚れが除去された領域として前記汚れ除去情報を生成するレンズ清掃制御部をさらに備える車載装置。 - 請求項1に記載の車載装置において、
前記画像から付着物のない領域を検出し、前記検出した領域に基づき前記汚れ除去情報を生成する非付着物検出部をさらに備える車載装置。 - 請求項1に記載の車載装置において、
前記画像から物体を認識し物体が認識された領域を前記レンズの汚れが除去された領域とする汚れ除去情報を生成する物体認識部をさらに備える車載装置。 - 請求項1に記載の車載装置において、
前記画像から、長時間変化のない無変化領域と、連続して得られた前記画像において輝度差が予め定められた値よりも大きい瞬時変化領域とを検出し、前記瞬時変化領域のうち前記無変化領域に含まれる領域を、前記レンズの汚れが除去された領域とする汚れ除去情報を生成する瞬時変化検出部をさらに備える車載装置。 - 請求項1に記載の車載装置において、
前記書換え部は、前記汚れ検出部が動作していない場合に前記汚れ除去情報に基づいて前記汚れ領域情報を書き換える車載装置。 - 請求項11に記載の車載装置において、
前記カメラを搭載する車両の動作状態と前記汚れ検出部の動作の有無との対応を示す状態切替テーブルと、
前記車両の動作状態および前記状態切替テーブルに基づき前記汚れ検出部を動作または停止させる動作切り替え部とをさらに備え、
前記書換え部は、前記車両の動作状態および前記状態切替テーブルに基づき前記汚れ検出部の動作の有無を判断する車載装置。 - 請求項1に記載の車載装置において、
前記書換え部が動作する条件を示す消去関係テーブルが格納されるテーブル記憶部をさらに備え、
前記消去関係テーブルには、前記カメラを搭載する車両の動作状況が少なくとも含まれ、
前記書換え部は、前記車両の動作状況、および前記消去関係テーブルに基づき動作する車載装置。 - 請求項1に記載の車載装置において、
前記書換え部は、前記汚れ除去情報と前記汚れ領域情報との関係が所定の条件を満たすと、前記レンズの汚れがすべて除去されたとして前記汚れ領域情報を書き換える車載装置。 - 請求項1に記載の車載装置において、
前記汚れ除去情報には汚れが除去された確からしさを示す確度情報が領域ごとに付加されており、
前記書換え部は、前記確度情報に基づき前記汚れ領域情報を書き換える車載装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016156627A JP6576887B2 (ja) | 2016-08-09 | 2016-08-09 | 車載装置 |
CN201780047106.9A CN109565536B (zh) | 2016-08-09 | 2017-05-10 | 车载装置 |
PCT/JP2017/017746 WO2018029925A1 (ja) | 2016-08-09 | 2017-05-10 | 車載装置 |
US16/324,316 US10972639B2 (en) | 2016-08-09 | 2017-05-10 | In-vehicle device |
EP17839000.1A EP3499862B1 (en) | 2016-08-09 | 2017-05-10 | Vehicle-mounted device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016156627A JP6576887B2 (ja) | 2016-08-09 | 2016-08-09 | 車載装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018026671A JP2018026671A (ja) | 2018-02-15 |
JP6576887B2 true JP6576887B2 (ja) | 2019-09-18 |
Family
ID=61162066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016156627A Expired - Fee Related JP6576887B2 (ja) | 2016-08-09 | 2016-08-09 | 車載装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10972639B2 (ja) |
EP (1) | EP3499862B1 (ja) |
JP (1) | JP6576887B2 (ja) |
CN (1) | CN109565536B (ja) |
WO (1) | WO2018029925A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6832224B2 (ja) * | 2017-04-28 | 2021-02-24 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
JP2019018661A (ja) * | 2017-07-13 | 2019-02-07 | 株式会社デンソーテン | 付着物除去装置および付着物除去方法 |
JP7055624B2 (ja) * | 2017-12-01 | 2022-04-18 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用撮像装置 |
US10752218B2 (en) * | 2018-02-22 | 2020-08-25 | Ford Global Technologies, Llc | Camera with cleaning system |
JP6973298B2 (ja) * | 2018-05-31 | 2021-11-24 | トヨタ自動車株式会社 | 物体監視装置 |
JP7200572B2 (ja) | 2018-09-27 | 2023-01-10 | 株式会社アイシン | 付着物検出装置 |
JP7271908B2 (ja) * | 2018-11-08 | 2023-05-12 | 株式会社アイシン | 周辺監視装置 |
JP7265693B2 (ja) * | 2018-12-28 | 2023-04-27 | 株式会社デンソーテン | 付着物検出装置、および付着物検出方法 |
JP2020138569A (ja) * | 2019-02-26 | 2020-09-03 | アイシン精機株式会社 | 周辺監視装置 |
US10771665B1 (en) * | 2019-02-27 | 2020-09-08 | Ford Global Technologies, Llc | Determination of illuminator obstruction by known optical properties |
JP7251425B2 (ja) * | 2019-09-20 | 2023-04-04 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
JP2021050932A (ja) * | 2019-09-20 | 2021-04-01 | 株式会社デンソーテン | 付着物検出装置、および付着物検出方法 |
JP7188336B2 (ja) * | 2019-09-20 | 2022-12-13 | 株式会社デンソーテン | 付着物検出装置、および付着物検出方法 |
JP7319597B2 (ja) * | 2020-09-23 | 2023-08-02 | トヨタ自動車株式会社 | 車両運転支援装置 |
US20230274554A1 (en) * | 2022-02-28 | 2023-08-31 | Continental Autonomous Mobility US, LLC | System and method for vehicle image correction |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4678860B2 (ja) * | 2006-01-24 | 2011-04-27 | キヤノン株式会社 | 撮像装置及びその制御方法とプログラム |
JP2012038048A (ja) | 2010-08-06 | 2012-02-23 | Alpine Electronics Inc | 車両用障害物検出装置 |
WO2014007153A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車両周囲監視装置 |
JP6251169B2 (ja) | 2012-07-03 | 2017-12-20 | クラリオン株式会社 | 車載装置、制御装置 |
JP6120395B2 (ja) * | 2012-07-03 | 2017-04-26 | クラリオン株式会社 | 車載装置 |
US9922258B2 (en) * | 2012-11-27 | 2018-03-20 | Clarion Co., Ltd. | On-vehicle image processing apparatus |
CN105009561A (zh) * | 2013-02-18 | 2015-10-28 | 松下知识产权经营株式会社 | 摄像装置的异物信息检测装置以及异物信息检测方法 |
JP6231345B2 (ja) * | 2013-10-18 | 2017-11-15 | クラリオン株式会社 | 車両用発進支援装置 |
EP3149656B1 (en) * | 2014-05-27 | 2020-01-15 | Robert Bosch GmbH | Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems |
JP6374238B2 (ja) * | 2014-07-01 | 2018-08-15 | クラリオン株式会社 | 車載装置 |
-
2016
- 2016-08-09 JP JP2016156627A patent/JP6576887B2/ja not_active Expired - Fee Related
-
2017
- 2017-05-10 WO PCT/JP2017/017746 patent/WO2018029925A1/ja unknown
- 2017-05-10 US US16/324,316 patent/US10972639B2/en active Active
- 2017-05-10 CN CN201780047106.9A patent/CN109565536B/zh not_active Expired - Fee Related
- 2017-05-10 EP EP17839000.1A patent/EP3499862B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN109565536B (zh) | 2020-11-17 |
US20190174029A1 (en) | 2019-06-06 |
US10972639B2 (en) | 2021-04-06 |
JP2018026671A (ja) | 2018-02-15 |
EP3499862A1 (en) | 2019-06-19 |
EP3499862B1 (en) | 2021-07-28 |
CN109565536A (zh) | 2019-04-02 |
EP3499862A4 (en) | 2020-03-04 |
WO2018029925A1 (ja) | 2018-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6576887B2 (ja) | 車載装置 | |
JP6117634B2 (ja) | レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム | |
US9956941B2 (en) | On-board device controlling accumulation removing units | |
JP5925314B2 (ja) | 車両周囲監視装置 | |
JP6174975B2 (ja) | 周囲環境認識装置 | |
JP6055224B2 (ja) | レンズ洗浄装置 | |
JP6772113B2 (ja) | 付着物検出装置、および、それを備えた車両システム | |
US9205810B2 (en) | Method of fog and raindrop detection on a windscreen and driving assistance device | |
US20140241589A1 (en) | Method and apparatus for the detection of visibility impairment of a pane | |
US20150334385A1 (en) | Vehicle-mounted environment recognition device | |
JP5902049B2 (ja) | レンズ白濁状態診断装置 | |
JP2014013454A (ja) | 車載用環境認識装置 | |
US9230189B2 (en) | Method of raindrop detection on a vehicle windscreen and driving assistance device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170315 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170921 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6576887 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |