JP2022133156A - 車両用周辺監視装置及び車両用周辺監視システム - Google Patents
車両用周辺監視装置及び車両用周辺監視システム Download PDFInfo
- Publication number
- JP2022133156A JP2022133156A JP2021032087A JP2021032087A JP2022133156A JP 2022133156 A JP2022133156 A JP 2022133156A JP 2021032087 A JP2021032087 A JP 2021032087A JP 2021032087 A JP2021032087 A JP 2021032087A JP 2022133156 A JP2022133156 A JP 2022133156A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- unit
- corrected
- corrects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012806 monitoring device Methods 0.000 title claims description 35
- 238000012544 monitoring process Methods 0.000 title claims description 35
- 238000003702 image correction Methods 0.000 claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 238000003384 imaging method Methods 0.000 claims abstract description 42
- 238000012937 correction Methods 0.000 claims abstract description 21
- 238000004140 cleaning Methods 0.000 claims description 21
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000011109 contamination Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 17
- 238000003860 storage Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 230000006399 behavior Effects 0.000 description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001771 impaired effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
- B60S1/566—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens including wiping devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/176—Camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/195—Blocking or enabling display functions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
- B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】乗員の利便性を確保しつつ撮像装置の汚れを効果的に検出できる車両用周辺監視装置及び車両用周辺監視システムを得る。【解決手段】車両用周辺監視装置は、撮像装置によって撮像された車両周辺の画像を取得し、取得された画像を車両周辺の環境に応じて補正する第1画像補正部を備える。また、取得された画像に汚れが映り込んでいるかを判定するための補正を行う第2画像補正部を備える。表示切替部は、第1画像補正部により補正された第1補正画像を車室内の表示部に表示する表示モードと、第1補正画像を表示部に表示させない非表示モードとを切替える。画像記録部は、第1補正画像を記録する。ここで、汚れ検出部は、非表示モードの所定のタイミングで第2画像補正部によって画像を補正すると共に、補正された第2補正画像に基づいて撮像装置の汚れを検出する。【選択図】図3
Description
本発明は、車両用周辺監視装置及び車両用周辺監視システムに関する。
特許文献1には、車室内からリヤウインドシールドガラスを介して車両の後方を撮影するリヤカメラを備えた構成が開示されている。また、特許文献1では、リヤカメラで撮影された車両後方の画像が電子インナミラーに表示されるように構成されており、この状態でリヤワイパによって撮影範囲を重点的に払拭して汚れを取り除いている。
ところで、カメラなどの撮像装置のレンズに付着した汚れを検出する場合、撮像された画像に所定の補正を行うことで、汚れが検出し易くなる。しかしながら、上記特許文献1のように画像の表示状態で汚れ検出用の補正を行う場合、及び画像の記録中に汚れ検出用の補正を行う場合には、乗員にとって周辺状態が見え難い画像となる可能性がある。
本発明は、乗員の利便性を確保しつつ撮像装置の汚れを効果的に検出できる車両用周辺監視装置及び車両用周辺監視システムを得ることを目的とする。
請求項1に係る車両用周辺監視装置は、撮像装置によって撮像された車両周辺の画像を取得する画像取得部と、取得された前記画像を車両周辺の環境に応じて補正する第1画像補正部と、取得された前記画像に汚れが映り込んでいるかを判定するための補正を行う第2画像補正部と、前記第1画像補正部により補正された第1補正画像を車室内の表示部に表示する表示モードと、前記第1補正画像を前記表示部に表示させない非表示モードとを切替える表示切替部と、前記第1補正画像を記録する画像記録部と、前記非表示モードの所定のタイミングで前記第2画像補正部によって前記画像を補正すると共に、補正された第2補正画像に基づいて前記撮像装置の汚れを検出する汚れ検出部と、を有する。
請求項1に係る車両用周辺監視装置では、画像取得部は、撮像装置によって撮像された車両周辺の画像(画像情報)を取得する。また、第1画像補正部は、画像取得部によって取得された画像を車両周辺の環境に応じて補正する。さらに、表示切替部は、第1画像補正部により補正された第1補正画像を車室内の表示部に表示する表示モードと、第1補正画像を表示部に表示させない非表示モードとを切替える。そして、画像記録部は、第1補正画像を記録する。このように、表示部に第1補正画像を表示しつつ、この第1補正画像を記録することで、乗員にとって見易い画像を表示及び記録することができる。
一方、第2画像補正部は、画像取得部によって取得された画像に汚れが映り込んでいるかを判定するための補正を行う。そして、汚れ検出部は、非表示モードの所定のタイミングで第2画像補正部によって前記画像を補正し、補正された第2補正画像に基づいて撮像装置の汚れを検出する。これにより、汚れ検出用に補正した第2補正画像が表示されずに済む。また、第2補正画像に基づいて撮像装置の汚れを検出することで、第1補正画像を用いる場合と比較して、より効果的に汚れを検出することができる。
請求項2に係る車両用周辺監視装置は、請求項1において、前記汚れ検出部は、車両周辺に障害物が検出されていないタイミングで前記第2画像補正部によって前記画像を補正する。
請求項2に係る車両用周辺監視装置では、車両周辺に障害物が検出されていないタイミングで第2画像補正部によって画像が補正されるため、第2補正画像が表示及び記録される状況を回避することができる。すなわち、車両周辺に障害物が検出されている状況では、乗員へ通知するために撮像画像が車室内の表示部に表示される場合がある。この場合に第2画像補正部による補正が行われていれば、乗員が見難い画像となるため、車両周辺に障害物が検出されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
請求項3に係る車両用周辺監視装置は、請求項1又は2において、前記汚れ検出部は、急加減速及び急操舵が検出されていないタイミングで前記第2画像補正部によって前記画像を補正する。
請求項3に係る車両用周辺監視装置では、急加減速及び急操舵が検出されていないタイミングで第2画像補正部によって画像が補正されるため、第2補正画像が記録される状況を回避することができる。すなわち、急加減速又は急操舵が検出されている状況では、撮像画像が記録される場合がある。この場合に第2画像補正部による補正が行われていれば、乗員が見難い画像となるため、急加減速及び急操舵が検出されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
請求項4に係る車両用周辺監視装置は、請求項1~3の何れか1項において、前記汚れ検出部は、方向指示器が操作されていないタイミングで前記第2画像補正部によって前記画像を補正する。
請求項4に係る車両用周辺監視装置では、方向指示器が操作されていないタイミングで第2画像補正部によって画像が補正されるため、第2補正画像が記録される状況を回避することができる。すなわち、方向指示器が操作されている状況では、右左折時の衝突などによって撮像画像が記録される場合がある。この場合に第2画像補正部による補正が行われていれば、乗員が見難い画像となるため、方向指示器が操作されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
請求項5に係る車両用周辺監視装置は、請求項1~4の何れか1項において、前記汚れ検出部は、操舵角が所定の角度より小さいタイミングで前記第2画像補正部によって前記画像を補正する。
請求項5に係る車両用周辺監視装置では、操舵角が所定の角度より小さいタイミングで第2画像補正部によって画像が補正されるため、第2補正画像が記録される状況を回避することができる。すなわち、操舵角が所定の角度以上の状況では、衝突などによって撮像画像が記録される場合がある。この場合に第2画像補正部による補正が行われていれば、乗員が見難い画像となるため、操舵角が所定の角度より小さいタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
請求項6に係る車両用周辺監視装置は、請求項1において、前記汚れ検出部は、取得された前記画像において輝度が閾値よりも低い低輝度領域の割合が設定値以上である場合に前記第2画像補正部によって前記画像を補正する。
請求項6に係る車両用周辺監視装置では、低輝度領域の割合が設定値以上である場合に汚れがあると判定し、この場合に第2画像補正部によって画像を補正することで、効率良く撮像装置の汚れを検出することができる。
請求項7に係る車両用周辺監視装置は、請求項6において、車両周辺の照度に応じて前記設定値を変更する。
請求項7に係る車両用周辺監視装置では、車両周辺の照度に応じて設定値を変更することで、より正確に汚れの有無を判定することができる。例えば、日中と夜とで車両周辺の照度が異なるが、車両周辺の照度に応じて設定値を変更すれば、車両周辺の照度に関係なく低輝度領域の割合から汚れの有無を正確に判定することができる。
請求項8に係る車両用周辺監視装置は、請求項6において、車両周辺の照度に応じて前記閾値を変更する。
請求項8に係る車両用周辺監視装置では、車両周辺の照度に応じて閾値を変更することで、より正確に汚れの有無を判定することができる。例えば、日中と夜とで車両周辺の照度が異なるが、車両周辺の照度に応じて閾値を変更すれば、車両周辺の照度に関係なく低輝度か否かを判定することができ、汚れの有無を正確に判定することができる。
請求項9に係る車両用周辺監視装置は、請求項1~8の何れか1項において、前記第1画像補正部は、車両周辺の照度に応じて前記画像の明るさ及び色合いを補正し、前記第2画像補正部は、エッジ及びコントラストが強調されるように前記画像を補正する。
請求項9に係る車両用周辺監視装置では、第1画像補正部が車両周辺の照度に応じて画像の明るさ及び色合いを補正することで、乗員にとって見易い画像を表示することができる。また、第2画像補正部は、エッジ及びコントラストが強調されるように画像を補正することで、汚れを検出するための基準となる物標を捉え易くなり、汚れ検出の精度を向上させることができる。
請求項10に係る車両用周辺監視システムは、請求項1~9の何れか1項に記載の車両用周辺監視装置と、車両周辺を撮像する撮像装置と、前記撮像装置を洗浄する洗浄装置と、を有し、前記汚れ検出部によって前記撮像装置に汚れが検出された場合に、前記洗浄装置によって前記撮像装置を洗浄する。
請求項10に係る車両用周辺監視システムでは、撮像装置に汚れが検出された場合に、洗浄装置によって撮像装置を洗浄する。これにより、汚れの検出及び洗浄を効果的に行うことができる。
以上説明したように、本発明に係る車両用周辺監視装置及び車両用周辺監視システムによれば、乗員の利便性を確保しつつ撮像装置の汚れを効果的に検出できる。
<第1実施形態>
第1実施形態に係る車両用周辺監視装置12(以下、適宜「周辺監視装置12」と称する。)が適用された車両用周辺監視システム10(以下、適宜「周辺監視システム10」と称する。)について、図面を参照して説明する。本実施形態の周辺監視装置12は一例として車両に搭載されているが、これに限定されず、周辺監視装置12がサービスセンターなどの車両とは別の場所に設けられていてもよい。
第1実施形態に係る車両用周辺監視装置12(以下、適宜「周辺監視装置12」と称する。)が適用された車両用周辺監視システム10(以下、適宜「周辺監視システム10」と称する。)について、図面を参照して説明する。本実施形態の周辺監視装置12は一例として車両に搭載されているが、これに限定されず、周辺監視装置12がサービスセンターなどの車両とは別の場所に設けられていてもよい。
(周辺監視システム10のハードウェア構成)
図1は、周辺監視システム10のハードウェア構成を示すブロック図である。この図1に示されるように、周辺監視装置12は、CPU(Central Processing Unit:プロセッサ)20、ROM(Read Only Memory)22、RAM(Random Access Memory)24、ストレージ26、通信インタフェース28及び入出力インタフェース30を含んで構成されている。各構成は、バス32を介して相互に通信可能に接続されている。
図1は、周辺監視システム10のハードウェア構成を示すブロック図である。この図1に示されるように、周辺監視装置12は、CPU(Central Processing Unit:プロセッサ)20、ROM(Read Only Memory)22、RAM(Random Access Memory)24、ストレージ26、通信インタフェース28及び入出力インタフェース30を含んで構成されている。各構成は、バス32を介して相互に通信可能に接続されている。
CPU20は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU20は、ROM22又はストレージ26からプログラムを読み出し、RAM24を作業領域としてプログラムを実行する。CPU20は、ROM22又はストレージ26に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ROM22は、各種プログラムおよび各種データを格納する。RAM24は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ26は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。本実施形態では、ROM22又はストレージ26には、汚れ検出処理を行うためのプログラム、及び各種データなどが格納されている。
通信インタフェース28は、周辺監視装置12が図示しないサーバ及び他の機器と通信するためのインタフェースであり、たとえば、CAN(Controller Area Network)、イーサネット(登録商標)、LTE(Long Term Evolution)、FDDI(Fiber Distributed Data Interface)、Wi-Fi(登録商標)などの規格が用いられる。
入出力インタフェース30には、前方カメラ40、後方カメラ42、左側カメラ44、右側カメラ46、表示部としてのセンタディスプレイ48、加速度センサ50、照度センサ52、舵角センサ54、方向指示器としてのターンシグナルスイッチ56及び洗浄装置58が電気的に接続されている。
前方カメラ40、後方カメラ42、左側カメラ44及び右側カメラ46は、本発明の「撮像装置」に相当する。前方カメラ40は、車両の前部に設けられており、車両前方を撮像する。また、後方カメラ42は、車両の後部に設けられており、車両後方を撮像する。さらに、左側カメラ44は、車両の左側部に設けられており、車両左側方を撮像し、右側カメラ46は、車両の右側部に設けられており、車両右側方を撮像する。
センタディスプレイ48は、例えば、車室の前部において運転者から見える位置に設けられており、種々の情報が表示される。センタディスプレイ48に表示される情報は、例えば、映画やテレビなどのエンターテインメントプログラム、車両周辺の障害物に関する情報、及び車両情報などである。
加速度センサ50は、車両の加速度を検出する。照度センサ52は、車両周辺の照度を検出する。舵角センサ54は、車両の操舵角を検出する。ターンシグナルスイッチ56は、ターンシグナルランプを点滅させるためのスイッチであり、運転者の操作によってON、OFFされる。このため、運転者によってターンシグナルスイッチ56が操作されると、周辺監視システム10は、入出力インタフェース30を介してターンシグナルスイッチ56がONになったことが分かるようになっている。
洗浄装置58は、撮像装置である前方カメラ40、後方カメラ42、左側カメラ44及び右側カメラ46の少なくとも1つのカメラを洗浄するための装置である。洗浄装置58としては、例えば、ワイパブレードのような払拭部材を揺動させることで撮像装置のレンズに付着した汚れを払拭する装置が用いられる。また、他の洗浄装置58として、撮像装置のレンズに向けて水を吹き付ける装置、及び、撮像装置のレンズに向けて空気を吹き付ける装置などを用いてもよい。洗浄装置58は、周辺監視装置12からの信号により作動し、これらの撮像装置を洗浄する。また、図1では、1つの洗浄装置58のみを示したが、前方カメラ40、後方カメラ42、左側カメラ44及び右側カメラ46のそれぞれに対して専用の洗浄装置を設けてもよい。
(周辺監視装置12の機能構成)
周辺監視装置12は、上記のハードウェア資源を用いて、各種の機能を実現する。周辺監視装置12が実現する機能構成について図2を参照して説明する。
周辺監視装置12は、上記のハードウェア資源を用いて、各種の機能を実現する。周辺監視装置12が実現する機能構成について図2を参照して説明する。
図2に示されるように、周辺監視装置12は、機能構成として、画像取得部60、第1画像補正部62、第2画像補正部64、表示切替部66、画像記録部68、周辺車両情報取得部70、車両挙動取得部72、汚れ検出部74及び洗浄部76を含んで構成されている。なお、各機能構成は、CPU20がROM22又はストレージ26に記憶されたプログラムを読み出し、実行することにより実現される。
画像取得部60は、撮像装置によって撮像された車両周辺の画像を取得する。具体的には、前方カメラ40、後方カメラ42、左側カメラ44及び右側カメラ46がそれぞれ撮像した画像を取得する。
第1画像補正部62は、画像取得部60によって取得された画像を車両周辺の環境に応じて補正する。本実施形態では一例として、第1画像補正部62は、車両周辺の照度、画像内の平均輝度及び色味などに応じて画像の明るさ及び色合いを補正する。すなわち、第1画像補正部62は、人間の眼で見た景色に近い色合い及び明るさとなるように画像を補正する。
第2画像補正部64は、エッジ及びコントラストが強調されるように画像を補正する。本実施形態では一例として、第2画像補正部64は、画像取得部60によって取得された画像に汚れが映り込んでいるかを判定するための補正を行う。具体的には、第2画像補正部64は。汚れを検出する際に基準となる白線などの物標を認識するために、エッジ及びコントラストを強調させる。また、第2画像補正部64は、汚れ以外の外乱を抑制するために、車両周辺の照度及び物標の照度に応じて画像の明るさを調整する。
表示切替部66は、第1画像補正部62により補正された第1補正画像を車室内のセンタディスプレイ48に表示する表示モードと、第1補正画像をセンタディスプレイ48に表示させない非表示モードとを切替える。例えば、表示切替部66は、運転者の操作などによってセンタディスプレイ48にエンターテインメントプログラムを表示している状態では、非表示モードに切り替えて第1補正画像をセンタディスプレイ48に表示させない。また、表示切替部66は、車両周辺に注意が必要な障害物などが検出された場合には、表示モードに切り替えてセンタディスプレイ48に障害物を検出したカメラの画像などを表示する。さらに、表示切替部66は、シフトレバーがRレンジに切り替えられた際に、表示モードに切り替えてバックガイドモニタの画像をセンタディスプレイ48に表示させる。
画像記録部68は、第1画像補正部62によって補正された第1補正画像を記録する。具体的には、画像記録部68は、表示切替部66によってセンタディスプレイ48に第1補正画像が表示されている場合には、表示されている第1補正画像をRAM24及びストレージ26などの記録部に一時的に記録する。また、画像記録部68は、センタディスプレイ48に第1補正画像が表示されていない場合であっても、第1画像補正部62によって画像が補正されている場合には、補正された第1補正画像をRAM24及びストレージ26などに一時的に記録する。
周辺車両情報取得部70は、車両周辺の情報を取得する。例えば、周辺車両情報取得部70は、前方カメラ40、後方カメラ42、左側カメラ44及び右側カメラ46で撮像された画像から障害物を検出することで車両周辺の情報を取得する。また、周辺車両情報取得部70は、車両に設けられた図示しないレーダ及びセンサ類を用いて車両周辺の情報を取得してもよい。
車両挙動取得部72は、車両の挙動を取得する。具体的には、車両挙動取得部72は、加速度センサ50からの信号に基づいて、車両の急加減速を検出する。また、車両挙動取得部72は、舵角センサ54からの情報に基づいて、車両の急操舵を検出する。さらに、車両挙動取得部72は、ターンシグナルスイッチ56からの信号に基づいて、車両が右左折する状況であることを検出する。
汚れ検出部74は、非表示モードの所定のタイミングで第2画像補正部64によって画像を補正すると共に、補正された第2補正画像に基づいて対象の撮像装置の汚れを検出する。例えば、汚れ検出部74は、前方カメラ40で撮像された画像に対して第2画像補正部64による補正を行い、補正された第2補正画像に基づいて前方カメラ40の汚れを検出する。
また、本実施形態の汚れ検出部74は、第2画像補正部64によって補正された第2補正画像の輝度を算出し、輝度が閾値よりも低い領域を低輝度領域の割合が設定値以上である領域を汚れとして検出する。さらに、汚れ検出部74は、撮像範囲の輝度にばらつきが無い場合であっても、全体的にコントラストが低い場合には、油膜及び水滴などが付着した汚れとして検出する。
ここで、本実施形態では、汚れ検出部74は、周辺車両情報取得部70によって車両周辺に障害物が検出されていないタイミングで第2画像補正部64による画像の補正を行う。また、汚れ検出部74は、車両挙動取得部72によって急加減速及び急操舵が検出されていないタイミングで第2画像補正部64による画像の補正を行う。
さらに、汚れ検出部74は、ターンシグナルスイッチ56が操作されていないタイミングで第2画像補正部64による画像の補正を行う。さらにまた、汚れ検出部74は、舵角センサ54で検出された操舵角が所定の角度より小さいタイミングで第2画像補正部64による画像の補正を行う。
洗浄部76は、洗浄装置58によって前方カメラ40、後方カメラ42、左側カメラ44及び右側カメラ46のうち、汚れ検出部74で汚れが検出されたカメラの洗浄を行う。
(作用)
次に、本実施形態の作用を説明する。
次に、本実施形態の作用を説明する。
(汚れ検出処理の一例)
図3は、車両用周辺監視装置12による汚れ検出御処理の流れの一例を示すフローチャートである。この汚れ検出処理は、CPU20がROM22又はストレージ26からプログラムを読み出して、RAM24に展開することによって実行される。
図3は、車両用周辺監視装置12による汚れ検出御処理の流れの一例を示すフローチャートである。この汚れ検出処理は、CPU20がROM22又はストレージ26からプログラムを読み出して、RAM24に展開することによって実行される。
図3に示されるように、CPU20は、ステップS102で画像を取得する。具体的には、CPU20は、画像取得部60の機能により前方カメラ40、後方カメラ42、左側カメラ44及び右側カメラ46がそれぞれ撮像した画像を取得する。
CPU20は、ステップS104でセンタディスプレイ48などの表示部に画像が表示されているか否かについて判定する。具体的には、CPU20は、ステップS104で表示切替部66の機能により、表示モード及び非表示モードの何れにモードであるかを取得する。そして、非表示モードの場合には、ステップS104が肯定判定されてステップS106の処理へ移行される。また、表示モードの場合には、ステップS104が否定判定されてステップS114の処理へ移行される。ステップS114の処理については後述する。
CPU20は、ステップS106で周辺車両の有無について判定する。具体的には、CPU20は、周辺車両情報取得部70からの信号に基づいて周辺に車両が検出されなかった場合には、ステップS106が肯定判定されてステップS108の処理へ移行する。また、CPU20は、周辺車両情報取得部70からの信号に基づいて周辺に車両が検出された場合には、ステップS106が否定判定されてステップS114の処理へ移行する。
CPU20は、ステップS108で車両の挙動の有無について判定する。具体的には、CPU20は、車両挙動取得部72の機能によって車両の急加減速及び急操舵が検出されなかった場合、かつ、ターンシグナルスイッチ56がOFFの場合には、ステップS108が肯定判定されてステップS110の処理へ移行する。また、CPU20は、車両挙動取得部72の機能によって車両の急加減速、急操舵及び右左折が検出された場合、ステップS108が否定判定されてステップS114の処理へ移行する。さらに、CPU20は、ターンシグナルスイッチ56がONの場合には、ステップS108が否定判定されてステップS114の処理へ移行する。
CPU20は、ステップS110で第2画像補正部64による画像の補正を実施する。すなわち、CPU20は、ステップS104、ステップS106及びステップS108の判定が全て肯定判定であった場合に、第2画像補正部64の機能によって汚れを検出するための画像補正を実施する。そして、CPU20は、ステップS112で第2補正画像に基づいて汚れの検出を行う。ここでは、CPU20は、汚れ検出部74の機能によって汚れの検出を行う。そして、CPU20は、汚れ検出処理を終了する。
一方、ステップS104、ステップS106又はステップS108で否定判定となった場合、CPU20は、ステップS114で第1画像補正部62による画像の補正を実施する。具体的には、CPU20は、車両周辺の照度、画像内の平均輝度及び色味などに応じて、画像取得部60によって取得された画像の明るさ及び色合いを補正する。そして、CPU20は、ステップS116で第1補正画像をセンタディスプレイ48に表示すると共に、RAM24及びストレージ26に一時的に記録する。そして、CPU20は、汚れ検出処理を終了する。
以上のように、本実施形態では、センタディスプレイ48に第1画像補正部62で補正された第1補正画像を表示しつつ、この第1補正画像を記録することで、乗員にとって見易い画像を表示及び記録することができる。
また、汚れ検出部74は、非表示モードの所定のタイミングで第2画像補正部64によって画像を補正し、補正された第2補正画像に基づいて前方カメラ40、後方カメラ42、左側カメラ44及び右側カメラ46などの撮像装置の汚れを検出する。これにより、汚れ検出用に補正した第2補正画像がセンタディスプレイ48に表示されずに済む。また、第2補正画像に基づいて撮像装置の汚れを検出することで、第1補正画像を用いる場合と比較して、より効果的に汚れを検出することができる。
さらに、本実施形態では、車両周辺に障害物が検出されていないタイミングで第2画像補正部64によって画像が補正されるため、第2補正画像が表示及び記録される状況を回避することができる。すなわち、車両周辺に障害物が検出されている状況では、乗員へ通知するために撮像画像がセンタディスプレイ48に表示される場合がある。この場合に第2画像補正部64による補正が行われていれば、乗員が見難い画像となるため、車両周辺に障害物が検出されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
さらにまた、本実施形態では、急加減速及び急操舵が検出されていないタイミングで第2画像補正部64によって画像が補正されるため、第2補正画像が記録される状況を回避することができる。すなわち、急加減速又は急操舵が検出されている状況では、RAM24又はストレージ26に維持知的に記録された画像が別の記録部へ移されて状況の確認等に用いる場合がある。この場合に第2画像補正部64による補正が行われていれば、乗員が見難い画像となるため、急加減速及び急操舵が検出されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
また、本実施形態では、ターンシグナルスイッチ56が操作されていないタイミングで第2画像補正部64によって画像が補正されるため、第2補正画像が記録される状況を回避することができる。すなわち、右左折時に衝突があった場合には、撮像画像が別の記録部へ移されて状況の確認等に用いる場合がある。この場合に第2画像補正部64による補正が行われていれば、乗員が見難い画像となるため、ターンシグナルスイッチ56が操作されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
さらに、本実施形態では、操舵角が所定の角度より小さいタイミングで第2画像補正部64によって画像が補正されるため、第2補正画像が記録される状況を回避することができる。すなわち、操舵角が所定の角度以上の状況では、衝突などによって撮像画像が記録される場合がある。この場合に第2画像補正部64による補正が行われていれば、乗員が見難い画像となるため、操舵角が所定の角度より小さいタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
さらにまた、本実施形態では、第1画像補正部62によって車両周辺の照度に応じて画像の明るさ及び色合いが補正されるため、乗員にとって見易い画像をセンタディスプレイ48などの表示部に表示することができる。また、第2画像補正部64は、エッジ及びコントラストが強調されるように画像を補正することで、汚れを検出するための基準となる物標を捉え易くなり、汚れ検出の精度を向上させることができる。
<第2実施形態>
次に、第2実施形態に係る車両用周辺監視装置82について図4、5を参照して説明する。なお、第1実施形態と同様の構成については同じ符号を付し、適宜説明を省略する。また、本実施形態の車両用周辺監視システム80のハードウェア構成は、図1に示される第1実施形態と同様である。
次に、第2実施形態に係る車両用周辺監視装置82について図4、5を参照して説明する。なお、第1実施形態と同様の構成については同じ符号を付し、適宜説明を省略する。また、本実施形態の車両用周辺監視システム80のハードウェア構成は、図1に示される第1実施形態と同様である。
(周辺監視装置82の機能構成)
周辺監視装置82は、図1のハードウェア資源を用いて、各種の機能を実現する。周辺監視装置82が実現する機能構成について図4を参照して説明する。
周辺監視装置82は、図1のハードウェア資源を用いて、各種の機能を実現する。周辺監視装置82が実現する機能構成について図4を参照して説明する。
図4に示されるように、周辺監視装置82は、機能構成として、画像取得部60、第1画像補正部62、第2画像補正部64、表示切替部66、画像記録部68、閾値設定部84、低輝度割合取得部86、コントラスト取得部88、汚れ検出部74及び洗浄部76を含んで構成されている。なお、各機能構成は、CPU20がROM22又はストレージ26に記憶されたプログラムを読み出し、実行することにより実現される。
ここで、本実施形態では、簡易的な汚れ検出によって汚れが検出された場合に、第2画像補正部64による画像の補正を行う点で第1実施形態と異なる。具体的には、画像取得部60で取得された画像に対して第1画像補正部62によって画像の補正を行い、補正された第1補正画像における低輝度領域の割合を算出する。そして、低輝度領域の割合が設定値以上である場合に、第2画像補正部64による画像の補正を行って汚れを検出する。
図4に示された閾値設定部84は、低輝度として判定する際の閾値を設定する。具体的には、閾値設定部84は、車両周辺の照度に応じて閾値を第1閾値又は第2閾値に設定することで、簡易的な汚れ検出時に適切な閾値を設定する。例えば、日中などの車両周辺の照度が比較的高い場合には、閾値設定部84によって閾値が高い第1閾値に設定する。また逆に、車両周辺の照度が比較的低くなる夜などの場合には、閾値設定部84によって閾値を第1閾値よりも低い第2閾値に変更することで、汚れ以外の要因によって輝度が低くなっている部分を低輝度領域と判定しないようにする。すなわち、同じ画像に対して第1閾値に設定した場合よりも第2閾値に設定した場合の方が、低輝度と判定される割合が少なくなる。なお、本実施形態では一例として、閾値設定部84は、第1閾値と第2閾値の2つの閾値を設定する構成としたが、これに限定されない。例えば、3つ以上の閾値を設定できるようにしてもよい。
低輝度割合取得部86は、第1画像補正部62によって補正された第1補正画像に対して低輝度となっている割合を取得する。具体的には、低輝度割合取得部86は、閾値設定部84で設定された閾値よりも輝度が低い部分を低輝度領域とし、画像全体に対する低輝度領域の割合を算出する。
コントラスト取得部88は、第1画像補正部62によって補正された第1補正画像に対してコントラストを取得する。本実施形態では一例として、コントラスト取得部88は、第1補正画像における最大輝度を分母とし最小輝度を分子として算出する。ここで、コントラスト取得部88は、油膜及び水滴などが付着したことによる汚れを検出するためにコントラストを取得する。すなわち、撮像装置のレンズ全体に油膜又は水滴が付着している状態では、低輝度領域の割合が設定値以上であっても、油膜及び水滴などによって映像のピントが合わなくなる可能性がある。このような場合にはコントラストが低くなっているため、コントラスト取得部88で第1補正画像のコントラストを取得することで、汚れの検出にコントラストの情報を用いることができる。
(作用)
次に、本実施形態の作用を説明する。
次に、本実施形態の作用を説明する。
(汚れ検出処理の一例)
図5は、周辺監視装置82による汚れ検出御処理の流れの一例を示すフローチャートである。この汚れ検出処理は、CPU20がROM22又はストレージ26からプログラムを読み出して、RAM24に展開することによって実行される。
図5は、周辺監視装置82による汚れ検出御処理の流れの一例を示すフローチャートである。この汚れ検出処理は、CPU20がROM22又はストレージ26からプログラムを読み出して、RAM24に展開することによって実行される。
図5に示されるように、CPU20は、ステップS202で画像を取得する。具体的には、CPU20は、画像取得部60の機能により前方カメラ40、後方カメラ42、左側カメラ44及び右側カメラ46がそれぞれ撮像した画像を取得する。
CPU20は、ステップS204でセンタディスプレイ48などの表示部に画像が表示されているか否かについて判定する。具体的には、CPU20は、ステップS204で表示切替部66の機能により、表示モード及び非表示モードの何れにモードであるかを取得する。そして、非表示モードの場合には、ステップS204が肯定判定されてステップS206の処理へ移行される。
一方、表示モードの場合には、ステップS204が否定判定されてステップS222の処理へ移行される。ステップS222以降の処理については後述する。
非表示モードの場合、CPU20は、ステップS206で車両周辺の照度を取得する。具体的には、CPU20は、図1に示される照度センサ52が検出した照度を受信することで車両周辺の照度を取得する。
CPU20は、ステップS208で車両周辺の照度が高いか否かについて判定する。具体的には、CPU20は、ステップS206で取得した車両周辺の照度が所定の設定値よりも高い場合には、照度が高いと判定する。この場合、ステップS208が肯定判定されてステップS210の処理へ移行される。
CPU20は、ステップS210で低輝度として判定する際の閾値を第1閾値に設定する。閾値の設定は、閾値設定部84の機能によって行われる。そして、CPU20は、ステップS212で低輝度割合が多いか否かについて判定する。具体的には、CPU20は、第1画像補正部62によって補正された第1補正画像に対して、低輝度割合取得部86の機能によって輝度が第1閾値よりも低い領域である低輝度領域の割合を取得する。そして、低輝度割合が設定値以上であれば、低輝度割合が多いと判定してステップS214の処理へ移行する。また、低輝度割合が設定値以上でない場合であっても、第1補正画像のコントラストが所定値よりも低い場合には、ステップS212が肯定判定されてステップS214の処理へ移行する。ここで、本実施形態では一例として、周辺の車両のライセンスプレートの文字を検知できない程度にコントラストが低い場合には、ステップS212が肯定判定される。さらに、CPU20は、ステップS212で低輝度割合が設定値以上ではなく、かつ、コントラストが所定の設定値よりも高い場合には、ステップS212が否定判定されてステップS222の処理へ移行される。
一方、CPU20は、ステップS208で車両周辺の照度が所定の設定値よりも低い場合には、ステップS218の処理へ移行する。CPU20は、ステップS218で低輝度として判定する際の閾値を第1閾値よりも低い第2閾値に設定する。閾値の設定は、閾値設定部84の機能によって行われる。そして、CPU20は、ステップS220で低輝度割合が多いか否かについて判定する。具体的には、CPU20は、第1画像補正部62によって補正された第1補正画像に対して、低輝度割合取得部86の機能によって輝度が第2閾値よりも低い領域である低輝度領域の割合を取得する。そして、低輝度割合が設定値以上であれば、低輝度割合が多いと判定してステップS214の処理へ移行する。また、低輝度割合が設定値以上でない場合であっても、第1補正画像のコントラストが所定値よりも低い場合には、ステップS212が肯定判定されてステップS214の処理へ移行する。さらに、CPU20は、ステップS220で低輝度割合が設定値以上ではなく、かつ、コントラストが所定の設定値よりも高い場合には、ステップS220が否定判定されてステップS222の処理へ移行される。
上述したように、CPU20は、ステップS212で肯定判定された場合、及びステップS220で肯定判定された場合は、ステップS214の処理へ移行する。CPU20は、ステップS214で第2画像補正部64の機能によって画像を補正する。続いて、CPU20は、ステップS216で汚れ検出部74の機能によって汚れの検出を行う。そして、CPU20は、汚れ検出処理を終了する。
これに対して、CPU20は、ステップS204で否定判定された場合、ステップS212で否定判定された場合、及びステップS220で否定判定された場合は、ステップS222の処理へ移行する。CPU20は、ステップS222で第1画像補正部62の機能によって画像を補正する。続いて、CPU20は、ステップS224で第1補正画像をセンタディスプレイ48に表示すると共に、RAM24及びストレージ26に一時的に記録する。そして、CPU20は、汚れ検出処理を終了する。このように、表示モードの場合、低輝度割合が少ない場合、及びコントラストが所定の設定値より高い場合には、汚れの検出が行われない。
以上のように、本実施形態では、第1画像補正部62によって補正された第1補正画像における低輝度領域の割合が設定値以上である場合に、汚れがあると判定し、この場合に第2画像補正部64によって画像を補正する。これにより、第1補正画像に対して簡易的な汚れの検出を行うことができ、効率良く撮像装置の汚れを検出することができる。
また、本実施形態では、閾値設定部84は、車両周辺の照度に応じて閾値を変更するため、閾値を変更しない構成と比較して、より正確に汚れを検出することができる。例えば、日中と夜とで車両周辺の照度が異なるが、本実施形態のように車両周辺の照度に応じて閾値を変更することで、車両周辺の照度に関係なく汚れを正確に検出することができる。その他の作用については第1実施形態と同様である。
以上、第1実施形態及び第2実施形態に係る周辺監視装置12、82ついて説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、撮像装置として、前方カメラ40、後方カメラ42、左側カメラ44及び右側カメラ46の4つのカメラを用いたが、これに限定されず、前方カメラ40のみを備えた構成であってもよい。また、前方カメラ40及び後方カメラ42の2つのみを備えた構成としてもよい。
また、上記実施形態では、図3に示されるように、非表示モードの場合であって、周辺車両が無く、かつ、車両に所定の挙動が無い場合に第2画像補正部64による画像の補正を実施したが、これに限定されない。例えば、ステップS108の判定を無くして、非表示モード、かつ、周辺車両が無い場合に第2画像補正部64による画像の補正を実施してもよい。また、ステップS108において、ターンシグナルスイッチ56の情報を判定に用いずに、車両の急加減速及び急操舵が検出されなかった場合にステップS110の処理へ移行してもよい。ただし、車両の衝突時などの状況で確実に第1補正画像を記録する観点では、ターンシグナルスイッチ56の情報を判定に加えるのが好ましい。
さらに、上記第2実施形態では、低輝度として判定する際の閾値を第1閾値又は第2閾値に設定する構成としたが、これに限定されない。例えば、低輝度として判定する際の閾値は変更せず、低輝度割合が多いか少ないかを判定する際の設定値を変更する構成としてもよい。この場合、図5のフローチャートにおいて、ステップS210及びステップS218の処理が無くなる。また、ステップS212で低輝度割合が多いか否かを判定する際の設定値と、ステップS220で低輝度割合が多いか否かを判定する際の設定値とが異なる値に設定される。例えば、ステップS212の設定値よりもステップS220の設定値を上げることで、車両周辺の照度が低い状況では、低輝度割合が十分に多い場合のみ汚れがあると検出するようにしてもよい。
さらにまた、上記第1実施形態及び第2実施形態でCPU20がプログラムを読み込んで実行した表示処理を、CPU20以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、汚れ検出処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせで実行してもよく、例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
さらに、上記第1実施形態及び第2実施形態では、ストレージ26に種々のデータを記憶させる構成としたが、これに限定されない。例えば、CD(Compact Disk)、DVD(Digital Versatile Disk)、及びUSB(Universal Serial Bus)メモリ等の記録媒体を記憶部としてもよい。この場合、これらの記録媒体に各種プログラム及びデータなどが格納されることとなる。
10、80 車両用周辺監視システム
12、82 車両用周辺監視装置
40 前方カメラ(撮像装置)
42 後方カメラ(撮像装置)
44 左側カメラ(撮像装置)
46 右側カメラ(撮像装置)
56 ターンシグナルスイッチ(方向指示器)
58 洗浄装置
60 画像取得部
62 第1画像補正部
64 第2画像補正部
66 表示切替部
68 画像記録部
74 汚れ検出部
12、82 車両用周辺監視装置
40 前方カメラ(撮像装置)
42 後方カメラ(撮像装置)
44 左側カメラ(撮像装置)
46 右側カメラ(撮像装置)
56 ターンシグナルスイッチ(方向指示器)
58 洗浄装置
60 画像取得部
62 第1画像補正部
64 第2画像補正部
66 表示切替部
68 画像記録部
74 汚れ検出部
Claims (10)
- 撮像装置によって撮像された車両周辺の画像を取得する画像取得部と、
取得された前記画像を車両周辺の環境に応じて補正する第1画像補正部と、
取得された前記画像に汚れが映り込んでいるかを判定するための補正を行う第2画像補正部と、
前記第1画像補正部により補正された第1補正画像を車室内の表示部に表示する表示モードと、前記第1補正画像を前記表示部に表示させない非表示モードとを切替える表示切替部と、
前記第1補正画像を記録する画像記録部と、
前記非表示モードの所定のタイミングで前記第2画像補正部によって前記画像を補正すると共に、補正された第2補正画像に基づいて前記撮像装置の汚れを検出する汚れ検出部と、
を有する車両用周辺監視装置。 - 前記汚れ検出部は、車両周辺に障害物が検出されていないタイミングで前記第2画像補正部によって前記画像を補正する請求項1に記載の車両用周辺監視装置。
- 前記汚れ検出部は、急加減速及び急操舵が検出されていないタイミングで前記第2画像補正部によって前記画像を補正する請求項1又は2に記載の車両用周辺監視装置。
- 前記汚れ検出部は、方向指示器が操作されていないタイミングで前記第2画像補正部によって前記画像を補正する請求項1~3の何れか1項に記載の車両用周辺監視装置。
- 前記汚れ検出部は、操舵角が所定の角度より小さいタイミングで前記第2画像補正部によって前記画像を補正する請求項1~4の何れか1項に記載の車両用周辺監視装置。
- 前記汚れ検出部は、取得された前記画像において輝度が閾値よりも低い低輝度領域の割合が設定値以上である場合に前記第2画像補正部によって前記画像を補正する請求項1に記載の車両用周辺監視装置。
- 車両周辺の照度に応じて前記設定値を変更する請求項6に記載の車両用周辺監視装置。
- 車両周辺の照度に応じて前記閾値を変更する請求項6に記載の車両用周辺監視装置。
- 前記第1画像補正部は、車両周辺の照度に応じて前記画像の明るさ及び色合いを補正し、
前記第2画像補正部は、エッジ及びコントラストが強調されるように前記画像を補正する請求項1~8の何れか1項に記載の車両用周辺監視装置。 - 請求項1~9の何れか1項に記載の車両用周辺監視装置と、
車両周辺を撮像する撮像装置と、
前記撮像装置を洗浄する洗浄装置と、
を有し、
前記汚れ検出部によって前記撮像装置に汚れが検出された場合に、前記洗浄装置によって前記撮像装置を洗浄する車両用周辺監視システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021032087A JP2022133156A (ja) | 2021-03-01 | 2021-03-01 | 車両用周辺監視装置及び車両用周辺監視システム |
US17/673,394 US20220277568A1 (en) | 2021-03-01 | 2022-02-16 | Vehicle periphery monitoring device and vehicle periphery monitoring system |
CN202210145506.6A CN114987342A (zh) | 2021-03-01 | 2022-02-17 | 车辆用周边监视装置以及车辆用周边监视*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021032087A JP2022133156A (ja) | 2021-03-01 | 2021-03-01 | 車両用周辺監視装置及び車両用周辺監視システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022133156A true JP2022133156A (ja) | 2022-09-13 |
Family
ID=83006532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021032087A Pending JP2022133156A (ja) | 2021-03-01 | 2021-03-01 | 車両用周辺監視装置及び車両用周辺監視システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220277568A1 (ja) |
JP (1) | JP2022133156A (ja) |
CN (1) | CN114987342A (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4248558B2 (ja) * | 2006-03-24 | 2009-04-02 | トヨタ自動車株式会社 | 道路区画線検出装置 |
WO2014007153A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車両周囲監視装置 |
US10095934B2 (en) * | 2013-07-18 | 2018-10-09 | Clarion Co., Ltd. | In-vehicle device |
EP3098753A1 (en) * | 2015-05-28 | 2016-11-30 | Tata Consultancy Services Limited | Lane detection |
JP6571424B2 (ja) * | 2015-07-06 | 2019-09-04 | 株式会社トランストロン | 故障診断装置 |
US20190149813A1 (en) * | 2016-07-29 | 2019-05-16 | Faraday&Future Inc. | Method and apparatus for camera fault detection and recovery |
GB2559760B (en) * | 2017-02-16 | 2019-08-28 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
JP2021056882A (ja) * | 2019-09-30 | 2021-04-08 | アイシン精機株式会社 | 周辺監視装置および周辺監視プログラム |
-
2021
- 2021-03-01 JP JP2021032087A patent/JP2022133156A/ja active Pending
-
2022
- 2022-02-16 US US17/673,394 patent/US20220277568A1/en active Pending
- 2022-02-17 CN CN202210145506.6A patent/CN114987342A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220277568A1 (en) | 2022-09-01 |
CN114987342A (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5437855B2 (ja) | 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法 | |
US8362453B2 (en) | Rain sensor | |
JP6364797B2 (ja) | 画像解析装置、および画像解析方法 | |
JP5421999B2 (ja) | 車両用周囲監視装置 | |
US20130039544A1 (en) | Method of fog and raindrop detection on a windscreen and driving assistance device | |
JP5759950B2 (ja) | 車載カメラ装置 | |
JP2005143083A (ja) | 画像処理装置、運転支援装置および運転支援システム | |
JP2007309655A (ja) | 雨滴検出装置およびワイパー制御装置 | |
EP3396938B1 (en) | Imaging device and method for determining foreign matter | |
JP4371076B2 (ja) | レインセンサ | |
US10991086B2 (en) | Adhered substance detection apparatus | |
JPH09126998A (ja) | 雨滴センサ及び雨滴感応ワイパ | |
US10915287B2 (en) | Display device for a vehicle having migration of image display | |
US20200130583A1 (en) | Smart camera mode intelligent rearview mirror | |
JP7271908B2 (ja) | 周辺監視装置 | |
JP2022133156A (ja) | 車両用周辺監視装置及び車両用周辺監視システム | |
CN112298036A (zh) | 车辆用电子镜*** | |
US20060203091A1 (en) | Switching on/off concept for an automobile night vision system | |
JP2019153932A (ja) | 汚れ報知装置 | |
CN110611772A (zh) | 车用取像装置及其曝光参数设定方法 | |
JP2014013452A (ja) | 画像処理装置 | |
JP2020136731A (ja) | 異常検出システム、移動体、異常検出方法、及びプログラム | |
CN112406702A (zh) | 驾驶辅助***和增强驾驶员视力的方法 | |
US20180370434A1 (en) | Driving Assistance System and Method of Enhancing a Driver's Vision | |
JP2020108130A (ja) | 付着物検出装置、および付着物検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240409 |