JP2022133156A - 車両用周辺監視装置及び車両用周辺監視システム - Google Patents

車両用周辺監視装置及び車両用周辺監視システム Download PDF

Info

Publication number
JP2022133156A
JP2022133156A JP2021032087A JP2021032087A JP2022133156A JP 2022133156 A JP2022133156 A JP 2022133156A JP 2021032087 A JP2021032087 A JP 2021032087A JP 2021032087 A JP2021032087 A JP 2021032087A JP 2022133156 A JP2022133156 A JP 2022133156A
Authority
JP
Japan
Prior art keywords
image
vehicle
unit
corrected
corrects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021032087A
Other languages
English (en)
Inventor
佑紀 高橋
Yuki Takahashi
洋平 里見
Yohei Satomi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021032087A priority Critical patent/JP2022133156A/ja
Priority to US17/673,394 priority patent/US20220277568A1/en
Priority to CN202210145506.6A priority patent/CN114987342A/zh
Publication of JP2022133156A publication Critical patent/JP2022133156A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B60S1/566—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens including wiping devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/195—Blocking or enabling display functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】乗員の利便性を確保しつつ撮像装置の汚れを効果的に検出できる車両用周辺監視装置及び車両用周辺監視システムを得る。【解決手段】車両用周辺監視装置は、撮像装置によって撮像された車両周辺の画像を取得し、取得された画像を車両周辺の環境に応じて補正する第１画像補正部を備える。また、取得された画像に汚れが映り込んでいるかを判定するための補正を行う第２画像補正部を備える。表示切替部は、第１画像補正部により補正された第１補正画像を車室内の表示部に表示する表示モードと、第１補正画像を表示部に表示させない非表示モードとを切替える。画像記録部は、第１補正画像を記録する。ここで、汚れ検出部は、非表示モードの所定のタイミングで第２画像補正部によって画像を補正すると共に、補正された第２補正画像に基づいて撮像装置の汚れを検出する。【選択図】図３

Description

本発明は、車両用周辺監視装置及び車両用周辺監視システムに関する。
特許文献１には、車室内からリヤウインドシールドガラスを介して車両の後方を撮影するリヤカメラを備えた構成が開示されている。また、特許文献１では、リヤカメラで撮影された車両後方の画像が電子インナミラーに表示されるように構成されており、この状態でリヤワイパによって撮影範囲を重点的に払拭して汚れを取り除いている。
特開２０２０－０５００１４号公報
ところで、カメラなどの撮像装置のレンズに付着した汚れを検出する場合、撮像された画像に所定の補正を行うことで、汚れが検出し易くなる。しかしながら、上記特許文献１のように画像の表示状態で汚れ検出用の補正を行う場合、及び画像の記録中に汚れ検出用の補正を行う場合には、乗員にとって周辺状態が見え難い画像となる可能性がある。
本発明は、乗員の利便性を確保しつつ撮像装置の汚れを効果的に検出できる車両用周辺監視装置及び車両用周辺監視システムを得ることを目的とする。
請求項１に係る車両用周辺監視装置は、撮像装置によって撮像された車両周辺の画像を取得する画像取得部と、取得された前記画像を車両周辺の環境に応じて補正する第１画像補正部と、取得された前記画像に汚れが映り込んでいるかを判定するための補正を行う第２画像補正部と、前記第１画像補正部により補正された第１補正画像を車室内の表示部に表示する表示モードと、前記第１補正画像を前記表示部に表示させない非表示モードとを切替える表示切替部と、前記第１補正画像を記録する画像記録部と、前記非表示モードの所定のタイミングで前記第２画像補正部によって前記画像を補正すると共に、補正された第２補正画像に基づいて前記撮像装置の汚れを検出する汚れ検出部と、を有する。
請求項１に係る車両用周辺監視装置では、画像取得部は、撮像装置によって撮像された車両周辺の画像（画像情報）を取得する。また、第１画像補正部は、画像取得部によって取得された画像を車両周辺の環境に応じて補正する。さらに、表示切替部は、第１画像補正部により補正された第１補正画像を車室内の表示部に表示する表示モードと、第１補正画像を表示部に表示させない非表示モードとを切替える。そして、画像記録部は、第１補正画像を記録する。このように、表示部に第１補正画像を表示しつつ、この第１補正画像を記録することで、乗員にとって見易い画像を表示及び記録することができる。
一方、第２画像補正部は、画像取得部によって取得された画像に汚れが映り込んでいるかを判定するための補正を行う。そして、汚れ検出部は、非表示モードの所定のタイミングで第２画像補正部によって前記画像を補正し、補正された第２補正画像に基づいて撮像装置の汚れを検出する。これにより、汚れ検出用に補正した第２補正画像が表示されずに済む。また、第２補正画像に基づいて撮像装置の汚れを検出することで、第１補正画像を用いる場合と比較して、より効果的に汚れを検出することができる。
請求項２に係る車両用周辺監視装置は、請求項１において、前記汚れ検出部は、車両周辺に障害物が検出されていないタイミングで前記第２画像補正部によって前記画像を補正する。
請求項２に係る車両用周辺監視装置では、車両周辺に障害物が検出されていないタイミングで第２画像補正部によって画像が補正されるため、第２補正画像が表示及び記録される状況を回避することができる。すなわち、車両周辺に障害物が検出されている状況では、乗員へ通知するために撮像画像が車室内の表示部に表示される場合がある。この場合に第２画像補正部による補正が行われていれば、乗員が見難い画像となるため、車両周辺に障害物が検出されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
請求項３に係る車両用周辺監視装置は、請求項１又は２において、前記汚れ検出部は、急加減速及び急操舵が検出されていないタイミングで前記第２画像補正部によって前記画像を補正する。
請求項３に係る車両用周辺監視装置では、急加減速及び急操舵が検出されていないタイミングで第２画像補正部によって画像が補正されるため、第２補正画像が記録される状況を回避することができる。すなわち、急加減速又は急操舵が検出されている状況では、撮像画像が記録される場合がある。この場合に第２画像補正部による補正が行われていれば、乗員が見難い画像となるため、急加減速及び急操舵が検出されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
請求項４に係る車両用周辺監視装置は、請求項１～３の何れか１項において、前記汚れ検出部は、方向指示器が操作されていないタイミングで前記第２画像補正部によって前記画像を補正する。
請求項４に係る車両用周辺監視装置では、方向指示器が操作されていないタイミングで第２画像補正部によって画像が補正されるため、第２補正画像が記録される状況を回避することができる。すなわち、方向指示器が操作されている状況では、右左折時の衝突などによって撮像画像が記録される場合がある。この場合に第２画像補正部による補正が行われていれば、乗員が見難い画像となるため、方向指示器が操作されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
請求項５に係る車両用周辺監視装置は、請求項１～４の何れか１項において、前記汚れ検出部は、操舵角が所定の角度より小さいタイミングで前記第２画像補正部によって前記画像を補正する。
請求項５に係る車両用周辺監視装置では、操舵角が所定の角度より小さいタイミングで第２画像補正部によって画像が補正されるため、第２補正画像が記録される状況を回避することができる。すなわち、操舵角が所定の角度以上の状況では、衝突などによって撮像画像が記録される場合がある。この場合に第２画像補正部による補正が行われていれば、乗員が見難い画像となるため、操舵角が所定の角度より小さいタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
請求項６に係る車両用周辺監視装置は、請求項１において、前記汚れ検出部は、取得された前記画像において輝度が閾値よりも低い低輝度領域の割合が設定値以上である場合に前記第２画像補正部によって前記画像を補正する。
請求項６に係る車両用周辺監視装置では、低輝度領域の割合が設定値以上である場合に汚れがあると判定し、この場合に第２画像補正部によって画像を補正することで、効率良く撮像装置の汚れを検出することができる。
請求項７に係る車両用周辺監視装置は、請求項６において、車両周辺の照度に応じて前記設定値を変更する。
請求項７に係る車両用周辺監視装置では、車両周辺の照度に応じて設定値を変更することで、より正確に汚れの有無を判定することができる。例えば、日中と夜とで車両周辺の照度が異なるが、車両周辺の照度に応じて設定値を変更すれば、車両周辺の照度に関係なく低輝度領域の割合から汚れの有無を正確に判定することができる。
請求項８に係る車両用周辺監視装置は、請求項６において、車両周辺の照度に応じて前記閾値を変更する。
請求項８に係る車両用周辺監視装置では、車両周辺の照度に応じて閾値を変更することで、より正確に汚れの有無を判定することができる。例えば、日中と夜とで車両周辺の照度が異なるが、車両周辺の照度に応じて閾値を変更すれば、車両周辺の照度に関係なく低輝度か否かを判定することができ、汚れの有無を正確に判定することができる。
請求項９に係る車両用周辺監視装置は、請求項１～８の何れか１項において、前記第１画像補正部は、車両周辺の照度に応じて前記画像の明るさ及び色合いを補正し、前記第２画像補正部は、エッジ及びコントラストが強調されるように前記画像を補正する。
請求項９に係る車両用周辺監視装置では、第１画像補正部が車両周辺の照度に応じて画像の明るさ及び色合いを補正することで、乗員にとって見易い画像を表示することができる。また、第２画像補正部は、エッジ及びコントラストが強調されるように画像を補正することで、汚れを検出するための基準となる物標を捉え易くなり、汚れ検出の精度を向上させることができる。
請求項１０に係る車両用周辺監視システムは、請求項１～９の何れか１項に記載の車両用周辺監視装置と、車両周辺を撮像する撮像装置と、前記撮像装置を洗浄する洗浄装置と、を有し、前記汚れ検出部によって前記撮像装置に汚れが検出された場合に、前記洗浄装置によって前記撮像装置を洗浄する。
請求項１０に係る車両用周辺監視システムでは、撮像装置に汚れが検出された場合に、洗浄装置によって撮像装置を洗浄する。これにより、汚れの検出及び洗浄を効果的に行うことができる。
以上説明したように、本発明に係る車両用周辺監視装置及び車両用周辺監視システムによれば、乗員の利便性を確保しつつ撮像装置の汚れを効果的に検出できる。
第１実施形態に係る車両用周辺監視システムのハードウェア構成を示すブロック図である。 第１実施形態に係る車両用周辺監視装置の機能構成を示すブロック図である。 第１実施形態における汚れ検出処理の流れの一例を示すフローチャートである。 第２実施形態に係る車両用周辺監視装置の機能構成を示すブロック図である。 第２実施形態における汚れ検出処理の流れの一例を示すフローチャートである。
＜第１実施形態＞
第１実施形態に係る車両用周辺監視装置１２（以下、適宜「周辺監視装置１２」と称する。）が適用された車両用周辺監視システム１０（以下、適宜「周辺監視システム１０」と称する。）について、図面を参照して説明する。本実施形態の周辺監視装置１２は一例として車両に搭載されているが、これに限定されず、周辺監視装置１２がサービスセンターなどの車両とは別の場所に設けられていてもよい。
（周辺監視システム１０のハードウェア構成）
図１は、周辺監視システム１０のハードウェア構成を示すブロック図である。この図１に示されるように、周辺監視装置１２は、ＣＰＵ（Central Processing Unit：プロセッサ）２０、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２４、ストレージ２６、通信インタフェース２８及び入出力インタフェース３０を含んで構成されている。各構成は、バス３２を介して相互に通信可能に接続されている。
ＣＰＵ２０は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０は、ＲＯＭ２２又はストレージ２６からプログラムを読み出し、ＲＡＭ２４を作業領域としてプログラムを実行する。ＣＰＵ２０は、ＲＯＭ２２又はストレージ２６に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ＲＯＭ２２は、各種プログラムおよび各種データを格納する。ＲＡＭ２４は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２６は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。本実施形態では、ＲＯＭ２２又はストレージ２６には、汚れ検出処理を行うためのプログラム、及び各種データなどが格納されている。
通信インタフェース２８は、周辺監視装置１２が図示しないサーバ及び他の機器と通信するためのインタフェースであり、たとえば、ＣＡＮ（Controller Area Network）、イーサネット（登録商標）、ＬＴＥ（Long Term Evolution）、ＦＤＤＩ（Fiber Distributed Data Interface）、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。
入出力インタフェース３０には、前方カメラ４０、後方カメラ４２、左側カメラ４４、右側カメラ４６、表示部としてのセンタディスプレイ４８、加速度センサ５０、照度センサ５２、舵角センサ５４、方向指示器としてのターンシグナルスイッチ５６及び洗浄装置５８が電気的に接続されている。
前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６は、本発明の「撮像装置」に相当する。前方カメラ４０は、車両の前部に設けられており、車両前方を撮像する。また、後方カメラ４２は、車両の後部に設けられており、車両後方を撮像する。さらに、左側カメラ４４は、車両の左側部に設けられており、車両左側方を撮像し、右側カメラ４６は、車両の右側部に設けられており、車両右側方を撮像する。
センタディスプレイ４８は、例えば、車室の前部において運転者から見える位置に設けられており、種々の情報が表示される。センタディスプレイ４８に表示される情報は、例えば、映画やテレビなどのエンターテインメントプログラム、車両周辺の障害物に関する情報、及び車両情報などである。
加速度センサ５０は、車両の加速度を検出する。照度センサ５２は、車両周辺の照度を検出する。舵角センサ５４は、車両の操舵角を検出する。ターンシグナルスイッチ５６は、ターンシグナルランプを点滅させるためのスイッチであり、運転者の操作によってＯＮ、ＯＦＦされる。このため、運転者によってターンシグナルスイッチ５６が操作されると、周辺監視システム１０は、入出力インタフェース３０を介してターンシグナルスイッチ５６がＯＮになったことが分かるようになっている。
洗浄装置５８は、撮像装置である前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６の少なくとも１つのカメラを洗浄するための装置である。洗浄装置５８としては、例えば、ワイパブレードのような払拭部材を揺動させることで撮像装置のレンズに付着した汚れを払拭する装置が用いられる。また、他の洗浄装置５８として、撮像装置のレンズに向けて水を吹き付ける装置、及び、撮像装置のレンズに向けて空気を吹き付ける装置などを用いてもよい。洗浄装置５８は、周辺監視装置１２からの信号により作動し、これらの撮像装置を洗浄する。また、図１では、１つの洗浄装置５８のみを示したが、前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６のそれぞれに対して専用の洗浄装置を設けてもよい。
（周辺監視装置１２の機能構成）
周辺監視装置１２は、上記のハードウェア資源を用いて、各種の機能を実現する。周辺監視装置１２が実現する機能構成について図２を参照して説明する。
図２に示されるように、周辺監視装置１２は、機能構成として、画像取得部６０、第１画像補正部６２、第２画像補正部６４、表示切替部６６、画像記録部６８、周辺車両情報取得部７０、車両挙動取得部７２、汚れ検出部７４及び洗浄部７６を含んで構成されている。なお、各機能構成は、ＣＰＵ２０がＲＯＭ２２又はストレージ２６に記憶されたプログラムを読み出し、実行することにより実現される。
画像取得部６０は、撮像装置によって撮像された車両周辺の画像を取得する。具体的には、前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６がそれぞれ撮像した画像を取得する。
第１画像補正部６２は、画像取得部６０によって取得された画像を車両周辺の環境に応じて補正する。本実施形態では一例として、第１画像補正部６２は、車両周辺の照度、画像内の平均輝度及び色味などに応じて画像の明るさ及び色合いを補正する。すなわち、第１画像補正部６２は、人間の眼で見た景色に近い色合い及び明るさとなるように画像を補正する。
第２画像補正部６４は、エッジ及びコントラストが強調されるように画像を補正する。本実施形態では一例として、第２画像補正部６４は、画像取得部６０によって取得された画像に汚れが映り込んでいるかを判定するための補正を行う。具体的には、第２画像補正部６４は。汚れを検出する際に基準となる白線などの物標を認識するために、エッジ及びコントラストを強調させる。また、第２画像補正部６４は、汚れ以外の外乱を抑制するために、車両周辺の照度及び物標の照度に応じて画像の明るさを調整する。
表示切替部６６は、第１画像補正部６２により補正された第１補正画像を車室内のセンタディスプレイ４８に表示する表示モードと、第１補正画像をセンタディスプレイ４８に表示させない非表示モードとを切替える。例えば、表示切替部６６は、運転者の操作などによってセンタディスプレイ４８にエンターテインメントプログラムを表示している状態では、非表示モードに切り替えて第１補正画像をセンタディスプレイ４８に表示させない。また、表示切替部６６は、車両周辺に注意が必要な障害物などが検出された場合には、表示モードに切り替えてセンタディスプレイ４８に障害物を検出したカメラの画像などを表示する。さらに、表示切替部６６は、シフトレバーがＲレンジに切り替えられた際に、表示モードに切り替えてバックガイドモニタの画像をセンタディスプレイ４８に表示させる。
画像記録部６８は、第１画像補正部６２によって補正された第１補正画像を記録する。具体的には、画像記録部６８は、表示切替部６６によってセンタディスプレイ４８に第１補正画像が表示されている場合には、表示されている第１補正画像をＲＡＭ２４及びストレージ２６などの記録部に一時的に記録する。また、画像記録部６８は、センタディスプレイ４８に第１補正画像が表示されていない場合であっても、第１画像補正部６２によって画像が補正されている場合には、補正された第１補正画像をＲＡＭ２４及びストレージ２６などに一時的に記録する。
周辺車両情報取得部７０は、車両周辺の情報を取得する。例えば、周辺車両情報取得部７０は、前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６で撮像された画像から障害物を検出することで車両周辺の情報を取得する。また、周辺車両情報取得部７０は、車両に設けられた図示しないレーダ及びセンサ類を用いて車両周辺の情報を取得してもよい。
車両挙動取得部７２は、車両の挙動を取得する。具体的には、車両挙動取得部７２は、加速度センサ５０からの信号に基づいて、車両の急加減速を検出する。また、車両挙動取得部７２は、舵角センサ５４からの情報に基づいて、車両の急操舵を検出する。さらに、車両挙動取得部７２は、ターンシグナルスイッチ５６からの信号に基づいて、車両が右左折する状況であることを検出する。
汚れ検出部７４は、非表示モードの所定のタイミングで第２画像補正部６４によって画像を補正すると共に、補正された第２補正画像に基づいて対象の撮像装置の汚れを検出する。例えば、汚れ検出部７４は、前方カメラ４０で撮像された画像に対して第２画像補正部６４による補正を行い、補正された第２補正画像に基づいて前方カメラ４０の汚れを検出する。
また、本実施形態の汚れ検出部７４は、第２画像補正部６４によって補正された第２補正画像の輝度を算出し、輝度が閾値よりも低い領域を低輝度領域の割合が設定値以上である領域を汚れとして検出する。さらに、汚れ検出部７４は、撮像範囲の輝度にばらつきが無い場合であっても、全体的にコントラストが低い場合には、油膜及び水滴などが付着した汚れとして検出する。
ここで、本実施形態では、汚れ検出部７４は、周辺車両情報取得部７０によって車両周辺に障害物が検出されていないタイミングで第２画像補正部６４による画像の補正を行う。また、汚れ検出部７４は、車両挙動取得部７２によって急加減速及び急操舵が検出されていないタイミングで第２画像補正部６４による画像の補正を行う。
さらに、汚れ検出部７４は、ターンシグナルスイッチ５６が操作されていないタイミングで第２画像補正部６４による画像の補正を行う。さらにまた、汚れ検出部７４は、舵角センサ５４で検出された操舵角が所定の角度より小さいタイミングで第２画像補正部６４による画像の補正を行う。
洗浄部７６は、洗浄装置５８によって前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６のうち、汚れ検出部７４で汚れが検出されたカメラの洗浄を行う。
（作用）
次に、本実施形態の作用を説明する。
（汚れ検出処理の一例）
図３は、車両用周辺監視装置１２による汚れ検出御処理の流れの一例を示すフローチャートである。この汚れ検出処理は、ＣＰＵ２０がＲＯＭ２２又はストレージ２６からプログラムを読み出して、ＲＡＭ２４に展開することによって実行される。
図３に示されるように、ＣＰＵ２０は、ステップＳ１０２で画像を取得する。具体的には、ＣＰＵ２０は、画像取得部６０の機能により前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６がそれぞれ撮像した画像を取得する。
ＣＰＵ２０は、ステップＳ１０４でセンタディスプレイ４８などの表示部に画像が表示されているか否かについて判定する。具体的には、ＣＰＵ２０は、ステップＳ１０４で表示切替部６６の機能により、表示モード及び非表示モードの何れにモードであるかを取得する。そして、非表示モードの場合には、ステップＳ１０４が肯定判定されてステップＳ１０６の処理へ移行される。また、表示モードの場合には、ステップＳ１０４が否定判定されてステップＳ１１４の処理へ移行される。ステップＳ１１４の処理については後述する。
ＣＰＵ２０は、ステップＳ１０６で周辺車両の有無について判定する。具体的には、ＣＰＵ２０は、周辺車両情報取得部７０からの信号に基づいて周辺に車両が検出されなかった場合には、ステップＳ１０６が肯定判定されてステップＳ１０８の処理へ移行する。また、ＣＰＵ２０は、周辺車両情報取得部７０からの信号に基づいて周辺に車両が検出された場合には、ステップＳ１０６が否定判定されてステップＳ１１４の処理へ移行する。
ＣＰＵ２０は、ステップＳ１０８で車両の挙動の有無について判定する。具体的には、ＣＰＵ２０は、車両挙動取得部７２の機能によって車両の急加減速及び急操舵が検出されなかった場合、かつ、ターンシグナルスイッチ５６がＯＦＦの場合には、ステップＳ１０８が肯定判定されてステップＳ１１０の処理へ移行する。また、ＣＰＵ２０は、車両挙動取得部７２の機能によって車両の急加減速、急操舵及び右左折が検出された場合、ステップＳ１０８が否定判定されてステップＳ１１４の処理へ移行する。さらに、ＣＰＵ２０は、ターンシグナルスイッチ５６がＯＮの場合には、ステップＳ１０８が否定判定されてステップＳ１１４の処理へ移行する。
ＣＰＵ２０は、ステップＳ１１０で第２画像補正部６４による画像の補正を実施する。すなわち、ＣＰＵ２０は、ステップＳ１０４、ステップＳ１０６及びステップＳ１０８の判定が全て肯定判定であった場合に、第２画像補正部６４の機能によって汚れを検出するための画像補正を実施する。そして、ＣＰＵ２０は、ステップＳ１１２で第２補正画像に基づいて汚れの検出を行う。ここでは、ＣＰＵ２０は、汚れ検出部７４の機能によって汚れの検出を行う。そして、ＣＰＵ２０は、汚れ検出処理を終了する。
一方、ステップＳ１０４、ステップＳ１０６又はステップＳ１０８で否定判定となった場合、ＣＰＵ２０は、ステップＳ１１４で第１画像補正部６２による画像の補正を実施する。具体的には、ＣＰＵ２０は、車両周辺の照度、画像内の平均輝度及び色味などに応じて、画像取得部６０によって取得された画像の明るさ及び色合いを補正する。そして、ＣＰＵ２０は、ステップＳ１１６で第１補正画像をセンタディスプレイ４８に表示すると共に、ＲＡＭ２４及びストレージ２６に一時的に記録する。そして、ＣＰＵ２０は、汚れ検出処理を終了する。
以上のように、本実施形態では、センタディスプレイ４８に第１画像補正部６２で補正された第１補正画像を表示しつつ、この第１補正画像を記録することで、乗員にとって見易い画像を表示及び記録することができる。
また、汚れ検出部７４は、非表示モードの所定のタイミングで第２画像補正部６４によって画像を補正し、補正された第２補正画像に基づいて前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６などの撮像装置の汚れを検出する。これにより、汚れ検出用に補正した第２補正画像がセンタディスプレイ４８に表示されずに済む。また、第２補正画像に基づいて撮像装置の汚れを検出することで、第１補正画像を用いる場合と比較して、より効果的に汚れを検出することができる。
さらに、本実施形態では、車両周辺に障害物が検出されていないタイミングで第２画像補正部６４によって画像が補正されるため、第２補正画像が表示及び記録される状況を回避することができる。すなわち、車両周辺に障害物が検出されている状況では、乗員へ通知するために撮像画像がセンタディスプレイ４８に表示される場合がある。この場合に第２画像補正部６４による補正が行われていれば、乗員が見難い画像となるため、車両周辺に障害物が検出されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
さらにまた、本実施形態では、急加減速及び急操舵が検出されていないタイミングで第２画像補正部６４によって画像が補正されるため、第２補正画像が記録される状況を回避することができる。すなわち、急加減速又は急操舵が検出されている状況では、ＲＡＭ２４又はストレージ２６に維持知的に記録された画像が別の記録部へ移されて状況の確認等に用いる場合がある。この場合に第２画像補正部６４による補正が行われていれば、乗員が見難い画像となるため、急加減速及び急操舵が検出されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
また、本実施形態では、ターンシグナルスイッチ５６が操作されていないタイミングで第２画像補正部６４によって画像が補正されるため、第２補正画像が記録される状況を回避することができる。すなわち、右左折時に衝突があった場合には、撮像画像が別の記録部へ移されて状況の確認等に用いる場合がある。この場合に第２画像補正部６４による補正が行われていれば、乗員が見難い画像となるため、ターンシグナルスイッチ５６が操作されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
さらに、本実施形態では、操舵角が所定の角度より小さいタイミングで第２画像補正部６４によって画像が補正されるため、第２補正画像が記録される状況を回避することができる。すなわち、操舵角が所定の角度以上の状況では、衝突などによって撮像画像が記録される場合がある。この場合に第２画像補正部６４による補正が行われていれば、乗員が見難い画像となるため、操舵角が所定の角度より小さいタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。
さらにまた、本実施形態では、第１画像補正部６２によって車両周辺の照度に応じて画像の明るさ及び色合いが補正されるため、乗員にとって見易い画像をセンタディスプレイ４８などの表示部に表示することができる。また、第２画像補正部６４は、エッジ及びコントラストが強調されるように画像を補正することで、汚れを検出するための基準となる物標を捉え易くなり、汚れ検出の精度を向上させることができる。
＜第２実施形態＞
次に、第２実施形態に係る車両用周辺監視装置８２について図４、５を参照して説明する。なお、第１実施形態と同様の構成については同じ符号を付し、適宜説明を省略する。また、本実施形態の車両用周辺監視システム８０のハードウェア構成は、図１に示される第１実施形態と同様である。
（周辺監視装置８２の機能構成）
周辺監視装置８２は、図１のハードウェア資源を用いて、各種の機能を実現する。周辺監視装置８２が実現する機能構成について図４を参照して説明する。
図４に示されるように、周辺監視装置８２は、機能構成として、画像取得部６０、第１画像補正部６２、第２画像補正部６４、表示切替部６６、画像記録部６８、閾値設定部８４、低輝度割合取得部８６、コントラスト取得部８８、汚れ検出部７４及び洗浄部７６を含んで構成されている。なお、各機能構成は、ＣＰＵ２０がＲＯＭ２２又はストレージ２６に記憶されたプログラムを読み出し、実行することにより実現される。
ここで、本実施形態では、簡易的な汚れ検出によって汚れが検出された場合に、第２画像補正部６４による画像の補正を行う点で第１実施形態と異なる。具体的には、画像取得部６０で取得された画像に対して第１画像補正部６２によって画像の補正を行い、補正された第１補正画像における低輝度領域の割合を算出する。そして、低輝度領域の割合が設定値以上である場合に、第２画像補正部６４による画像の補正を行って汚れを検出する。
図４に示された閾値設定部８４は、低輝度として判定する際の閾値を設定する。具体的には、閾値設定部８４は、車両周辺の照度に応じて閾値を第１閾値又は第２閾値に設定することで、簡易的な汚れ検出時に適切な閾値を設定する。例えば、日中などの車両周辺の照度が比較的高い場合には、閾値設定部８４によって閾値が高い第１閾値に設定する。また逆に、車両周辺の照度が比較的低くなる夜などの場合には、閾値設定部８４によって閾値を第１閾値よりも低い第２閾値に変更することで、汚れ以外の要因によって輝度が低くなっている部分を低輝度領域と判定しないようにする。すなわち、同じ画像に対して第１閾値に設定した場合よりも第２閾値に設定した場合の方が、低輝度と判定される割合が少なくなる。なお、本実施形態では一例として、閾値設定部８４は、第１閾値と第２閾値の２つの閾値を設定する構成としたが、これに限定されない。例えば、３つ以上の閾値を設定できるようにしてもよい。
低輝度割合取得部８６は、第１画像補正部６２によって補正された第１補正画像に対して低輝度となっている割合を取得する。具体的には、低輝度割合取得部８６は、閾値設定部８４で設定された閾値よりも輝度が低い部分を低輝度領域とし、画像全体に対する低輝度領域の割合を算出する。
コントラスト取得部８８は、第１画像補正部６２によって補正された第１補正画像に対してコントラストを取得する。本実施形態では一例として、コントラスト取得部８８は、第１補正画像における最大輝度を分母とし最小輝度を分子として算出する。ここで、コントラスト取得部８８は、油膜及び水滴などが付着したことによる汚れを検出するためにコントラストを取得する。すなわち、撮像装置のレンズ全体に油膜又は水滴が付着している状態では、低輝度領域の割合が設定値以上であっても、油膜及び水滴などによって映像のピントが合わなくなる可能性がある。このような場合にはコントラストが低くなっているため、コントラスト取得部８８で第１補正画像のコントラストを取得することで、汚れの検出にコントラストの情報を用いることができる。
（作用）
次に、本実施形態の作用を説明する。
（汚れ検出処理の一例）
図５は、周辺監視装置８２による汚れ検出御処理の流れの一例を示すフローチャートである。この汚れ検出処理は、ＣＰＵ２０がＲＯＭ２２又はストレージ２６からプログラムを読み出して、ＲＡＭ２４に展開することによって実行される。
図５に示されるように、ＣＰＵ２０は、ステップＳ２０２で画像を取得する。具体的には、ＣＰＵ２０は、画像取得部６０の機能により前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６がそれぞれ撮像した画像を取得する。
ＣＰＵ２０は、ステップＳ２０４でセンタディスプレイ４８などの表示部に画像が表示されているか否かについて判定する。具体的には、ＣＰＵ２０は、ステップＳ２０４で表示切替部６６の機能により、表示モード及び非表示モードの何れにモードであるかを取得する。そして、非表示モードの場合には、ステップＳ２０４が肯定判定されてステップＳ２０６の処理へ移行される。
一方、表示モードの場合には、ステップＳ２０４が否定判定されてステップＳ２２２の処理へ移行される。ステップＳ２２２以降の処理については後述する。
非表示モードの場合、ＣＰＵ２０は、ステップＳ２０６で車両周辺の照度を取得する。具体的には、ＣＰＵ２０は、図１に示される照度センサ５２が検出した照度を受信することで車両周辺の照度を取得する。
ＣＰＵ２０は、ステップＳ２０８で車両周辺の照度が高いか否かについて判定する。具体的には、ＣＰＵ２０は、ステップＳ２０６で取得した車両周辺の照度が所定の設定値よりも高い場合には、照度が高いと判定する。この場合、ステップＳ２０８が肯定判定されてステップＳ２１０の処理へ移行される。
ＣＰＵ２０は、ステップＳ２１０で低輝度として判定する際の閾値を第１閾値に設定する。閾値の設定は、閾値設定部８４の機能によって行われる。そして、ＣＰＵ２０は、ステップＳ２１２で低輝度割合が多いか否かについて判定する。具体的には、ＣＰＵ２０は、第１画像補正部６２によって補正された第１補正画像に対して、低輝度割合取得部８６の機能によって輝度が第１閾値よりも低い領域である低輝度領域の割合を取得する。そして、低輝度割合が設定値以上であれば、低輝度割合が多いと判定してステップＳ２１４の処理へ移行する。また、低輝度割合が設定値以上でない場合であっても、第１補正画像のコントラストが所定値よりも低い場合には、ステップＳ２１２が肯定判定されてステップＳ２１４の処理へ移行する。ここで、本実施形態では一例として、周辺の車両のライセンスプレートの文字を検知できない程度にコントラストが低い場合には、ステップＳ２１２が肯定判定される。さらに、ＣＰＵ２０は、ステップＳ２１２で低輝度割合が設定値以上ではなく、かつ、コントラストが所定の設定値よりも高い場合には、ステップＳ２１２が否定判定されてステップＳ２２２の処理へ移行される。
一方、ＣＰＵ２０は、ステップＳ２０８で車両周辺の照度が所定の設定値よりも低い場合には、ステップＳ２１８の処理へ移行する。ＣＰＵ２０は、ステップＳ２１８で低輝度として判定する際の閾値を第１閾値よりも低い第２閾値に設定する。閾値の設定は、閾値設定部８４の機能によって行われる。そして、ＣＰＵ２０は、ステップＳ２２０で低輝度割合が多いか否かについて判定する。具体的には、ＣＰＵ２０は、第１画像補正部６２によって補正された第１補正画像に対して、低輝度割合取得部８６の機能によって輝度が第２閾値よりも低い領域である低輝度領域の割合を取得する。そして、低輝度割合が設定値以上であれば、低輝度割合が多いと判定してステップＳ２１４の処理へ移行する。また、低輝度割合が設定値以上でない場合であっても、第１補正画像のコントラストが所定値よりも低い場合には、ステップＳ２１２が肯定判定されてステップＳ２１４の処理へ移行する。さらに、ＣＰＵ２０は、ステップＳ２２０で低輝度割合が設定値以上ではなく、かつ、コントラストが所定の設定値よりも高い場合には、ステップＳ２２０が否定判定されてステップＳ２２２の処理へ移行される。
上述したように、ＣＰＵ２０は、ステップＳ２１２で肯定判定された場合、及びステップＳ２２０で肯定判定された場合は、ステップＳ２１４の処理へ移行する。ＣＰＵ２０は、ステップＳ２１４で第２画像補正部６４の機能によって画像を補正する。続いて、ＣＰＵ２０は、ステップＳ２１６で汚れ検出部７４の機能によって汚れの検出を行う。そして、ＣＰＵ２０は、汚れ検出処理を終了する。
これに対して、ＣＰＵ２０は、ステップＳ２０４で否定判定された場合、ステップＳ２１２で否定判定された場合、及びステップＳ２２０で否定判定された場合は、ステップＳ２２２の処理へ移行する。ＣＰＵ２０は、ステップＳ２２２で第１画像補正部６２の機能によって画像を補正する。続いて、ＣＰＵ２０は、ステップＳ２２４で第１補正画像をセンタディスプレイ４８に表示すると共に、ＲＡＭ２４及びストレージ２６に一時的に記録する。そして、ＣＰＵ２０は、汚れ検出処理を終了する。このように、表示モードの場合、低輝度割合が少ない場合、及びコントラストが所定の設定値より高い場合には、汚れの検出が行われない。
以上のように、本実施形態では、第１画像補正部６２によって補正された第１補正画像における低輝度領域の割合が設定値以上である場合に、汚れがあると判定し、この場合に第２画像補正部６４によって画像を補正する。これにより、第１補正画像に対して簡易的な汚れの検出を行うことができ、効率良く撮像装置の汚れを検出することができる。
また、本実施形態では、閾値設定部８４は、車両周辺の照度に応じて閾値を変更するため、閾値を変更しない構成と比較して、より正確に汚れを検出することができる。例えば、日中と夜とで車両周辺の照度が異なるが、本実施形態のように車両周辺の照度に応じて閾値を変更することで、車両周辺の照度に関係なく汚れを正確に検出することができる。その他の作用については第１実施形態と同様である。
以上、第１実施形態及び第２実施形態に係る周辺監視装置１２、８２ついて説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、撮像装置として、前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６の４つのカメラを用いたが、これに限定されず、前方カメラ４０のみを備えた構成であってもよい。また、前方カメラ４０及び後方カメラ４２の２つのみを備えた構成としてもよい。
また、上記実施形態では、図３に示されるように、非表示モードの場合であって、周辺車両が無く、かつ、車両に所定の挙動が無い場合に第２画像補正部６４による画像の補正を実施したが、これに限定されない。例えば、ステップＳ１０８の判定を無くして、非表示モード、かつ、周辺車両が無い場合に第２画像補正部６４による画像の補正を実施してもよい。また、ステップＳ１０８において、ターンシグナルスイッチ５６の情報を判定に用いずに、車両の急加減速及び急操舵が検出されなかった場合にステップＳ１１０の処理へ移行してもよい。ただし、車両の衝突時などの状況で確実に第１補正画像を記録する観点では、ターンシグナルスイッチ５６の情報を判定に加えるのが好ましい。
さらに、上記第２実施形態では、低輝度として判定する際の閾値を第１閾値又は第２閾値に設定する構成としたが、これに限定されない。例えば、低輝度として判定する際の閾値は変更せず、低輝度割合が多いか少ないかを判定する際の設定値を変更する構成としてもよい。この場合、図５のフローチャートにおいて、ステップＳ２１０及びステップＳ２１８の処理が無くなる。また、ステップＳ２１２で低輝度割合が多いか否かを判定する際の設定値と、ステップＳ２２０で低輝度割合が多いか否かを判定する際の設定値とが異なる値に設定される。例えば、ステップＳ２１２の設定値よりもステップＳ２２０の設定値を上げることで、車両周辺の照度が低い状況では、低輝度割合が十分に多い場合のみ汚れがあると検出するようにしてもよい。
さらにまた、上記第１実施形態及び第２実施形態でＣＰＵ２０がプログラムを読み込んで実行した表示処理を、ＣＰＵ２０以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、汚れ検出処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせで実行してもよく、例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
さらに、上記第１実施形態及び第２実施形態では、ストレージ２６に種々のデータを記憶させる構成としたが、これに限定されない。例えば、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体を記憶部としてもよい。この場合、これらの記録媒体に各種プログラム及びデータなどが格納されることとなる。
１０、８０ 車両用周辺監視システム
１２、８２ 車両用周辺監視装置
４０ 前方カメラ（撮像装置）
４２ 後方カメラ（撮像装置）
４４ 左側カメラ（撮像装置）
４６ 右側カメラ（撮像装置）
５６ ターンシグナルスイッチ（方向指示器）
５８ 洗浄装置
６０ 画像取得部
６２ 第１画像補正部
６４ 第２画像補正部
６６ 表示切替部
６８ 画像記録部
７４ 汚れ検出部

Claims (10)

  1. 撮像装置によって撮像された車両周辺の画像を取得する画像取得部と、
    取得された前記画像を車両周辺の環境に応じて補正する第１画像補正部と、
    取得された前記画像に汚れが映り込んでいるかを判定するための補正を行う第２画像補正部と、
    前記第１画像補正部により補正された第１補正画像を車室内の表示部に表示する表示モードと、前記第１補正画像を前記表示部に表示させない非表示モードとを切替える表示切替部と、
    前記第１補正画像を記録する画像記録部と、
    前記非表示モードの所定のタイミングで前記第２画像補正部によって前記画像を補正すると共に、補正された第２補正画像に基づいて前記撮像装置の汚れを検出する汚れ検出部と、
    を有する車両用周辺監視装置。
  2. 前記汚れ検出部は、車両周辺に障害物が検出されていないタイミングで前記第２画像補正部によって前記画像を補正する請求項１に記載の車両用周辺監視装置。
  3. 前記汚れ検出部は、急加減速及び急操舵が検出されていないタイミングで前記第２画像補正部によって前記画像を補正する請求項１又は２に記載の車両用周辺監視装置。
  4. 前記汚れ検出部は、方向指示器が操作されていないタイミングで前記第２画像補正部によって前記画像を補正する請求項１～３の何れか１項に記載の車両用周辺監視装置。
  5. 前記汚れ検出部は、操舵角が所定の角度より小さいタイミングで前記第２画像補正部によって前記画像を補正する請求項１～４の何れか１項に記載の車両用周辺監視装置。
  6. 前記汚れ検出部は、取得された前記画像において輝度が閾値よりも低い低輝度領域の割合が設定値以上である場合に前記第２画像補正部によって前記画像を補正する請求項１に記載の車両用周辺監視装置。
  7. 車両周辺の照度に応じて前記設定値を変更する請求項６に記載の車両用周辺監視装置。
  8. 車両周辺の照度に応じて前記閾値を変更する請求項６に記載の車両用周辺監視装置。
  9. 前記第１画像補正部は、車両周辺の照度に応じて前記画像の明るさ及び色合いを補正し、
    前記第２画像補正部は、エッジ及びコントラストが強調されるように前記画像を補正する請求項１～８の何れか１項に記載の車両用周辺監視装置。
  10. 請求項１～９の何れか１項に記載の車両用周辺監視装置と、
    車両周辺を撮像する撮像装置と、
    前記撮像装置を洗浄する洗浄装置と、
    を有し、
    前記汚れ検出部によって前記撮像装置に汚れが検出された場合に、前記洗浄装置によって前記撮像装置を洗浄する車両用周辺監視システム。
JP2021032087A 2021-03-01 2021-03-01 車両用周辺監視装置及び車両用周辺監視システム Pending JP2022133156A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021032087A JP2022133156A (ja) 2021-03-01 2021-03-01 車両用周辺監視装置及び車両用周辺監視システム
US17/673,394 US20220277568A1 (en) 2021-03-01 2022-02-16 Vehicle periphery monitoring device and vehicle periphery monitoring system
CN202210145506.6A CN114987342A (zh) 2021-03-01 2022-02-17 车辆用周边监视装置以及车辆用周边监视***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021032087A JP2022133156A (ja) 2021-03-01 2021-03-01 車両用周辺監視装置及び車両用周辺監視システム

Publications (1)

Publication Number Publication Date
JP2022133156A true JP2022133156A (ja) 2022-09-13

Family

ID=83006532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021032087A Pending JP2022133156A (ja) 2021-03-01 2021-03-01 車両用周辺監視装置及び車両用周辺監視システム

Country Status (3)

Country Link
US (1) US20220277568A1 (ja)
JP (1) JP2022133156A (ja)
CN (1) CN114987342A (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4248558B2 (ja) * 2006-03-24 2009-04-02 トヨタ自動車株式会社 道路区画線検出装置
WO2014007153A1 (ja) * 2012-07-03 2014-01-09 クラリオン株式会社 車両周囲監視装置
US10095934B2 (en) * 2013-07-18 2018-10-09 Clarion Co., Ltd. In-vehicle device
EP3098753A1 (en) * 2015-05-28 2016-11-30 Tata Consultancy Services Limited Lane detection
JP6571424B2 (ja) * 2015-07-06 2019-09-04 株式会社トランストロン 故障診断装置
US20190149813A1 (en) * 2016-07-29 2019-05-16 Faraday&Future Inc. Method and apparatus for camera fault detection and recovery
GB2559760B (en) * 2017-02-16 2019-08-28 Jaguar Land Rover Ltd Apparatus and method for displaying information
JP2021056882A (ja) * 2019-09-30 2021-04-08 アイシン精機株式会社 周辺監視装置および周辺監視プログラム

Also Published As

Publication number Publication date
US20220277568A1 (en) 2022-09-01
CN114987342A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
US8362453B2 (en) Rain sensor
JP6364797B2 (ja) 画像解析装置、および画像解析方法
JP5421999B2 (ja) 車両用周囲監視装置
US20130039544A1 (en) Method of fog and raindrop detection on a windscreen and driving assistance device
JP5759950B2 (ja) 車載カメラ装置
JP2005143083A (ja) 画像処理装置、運転支援装置および運転支援システム
JP2007309655A (ja) 雨滴検出装置およびワイパー制御装置
EP3396938B1 (en) Imaging device and method for determining foreign matter
JP4371076B2 (ja) レインセンサ
US10991086B2 (en) Adhered substance detection apparatus
JPH09126998A (ja) 雨滴センサ及び雨滴感応ワイパ
US10915287B2 (en) Display device for a vehicle having migration of image display
US20200130583A1 (en) Smart camera mode intelligent rearview mirror
JP7271908B2 (ja) 周辺監視装置
JP2022133156A (ja) 車両用周辺監視装置及び車両用周辺監視システム
CN112298036A (zh) 车辆用电子镜***
US20060203091A1 (en) Switching on/off concept for an automobile night vision system
JP2019153932A (ja) 汚れ報知装置
CN110611772A (zh) 车用取像装置及其曝光参数设定方法
JP2014013452A (ja) 画像処理装置
JP2020136731A (ja) 異常検出システム、移動体、異常検出方法、及びプログラム
CN112406702A (zh) 驾驶辅助***和增强驾驶员视力的方法
US20180370434A1 (en) Driving Assistance System and Method of Enhancing a Driver's Vision
JP2020108130A (ja) 付着物検出装置、および付着物検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240409