JP2012138828A - 画像提供装置 - Google Patents

画像提供装置 Download PDF

Info

Publication number
JP2012138828A
JP2012138828A JP2010290842A JP2010290842A JP2012138828A JP 2012138828 A JP2012138828 A JP 2012138828A JP 2010290842 A JP2010290842 A JP 2010290842A JP 2010290842 A JP2010290842 A JP 2010290842A JP 2012138828 A JP2012138828 A JP 2012138828A
Authority
JP
Japan
Prior art keywords
image
display parameter
vehicle
image display
providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010290842A
Other languages
English (en)
Other versions
JP5682304B2 (ja
JP2012138828A5 (ja
Inventor
Yu Hiei
悠 日栄
Ryuji Okamura
竜路 岡村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2010290842A priority Critical patent/JP5682304B2/ja
Priority to PCT/IB2011/003099 priority patent/WO2012090045A1/en
Priority to US13/996,235 priority patent/US20130271608A1/en
Priority to CN201180062576.5A priority patent/CN103269908B/zh
Priority to EP11813360.2A priority patent/EP2681078B1/en
Publication of JP2012138828A publication Critical patent/JP2012138828A/ja
Publication of JP2012138828A5 publication Critical patent/JP2012138828A5/ja
Application granted granted Critical
Publication of JP5682304B2 publication Critical patent/JP5682304B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像の視認性の向上を図ることができる画像提供装置を提供する。
【解決手段】本発明は、車両に設けられ、車両の周囲の画像を運転者に提供する画像提供装置1であって、車両周囲に位置する第1の撮像範囲RHの画像を撮像する右サイドカメラ3と、車両周囲で第1の撮像範囲RHと重ならない第2の撮像範囲LHの画像を撮像する左サイドカメラ4と、右サイドカメラ3の撮像した右後方画像を運転者に提供する第1ディスプレイ7と、第1ディスプレイ7と別に設けられ、左サイドカメラ4の撮像した左後方画像を運転者に提供する第2ディスプレイ8と、第1ディスプレイ7の提供する右後方画像の画像表示パラメータに応じて、第2ディスプレイ8の提供する左後方画像の画像表示パラメータを補正する画像表示パラメータ補正部13と、を備える。
【選択図】図3

Description

本発明は、車両周囲の画像を運転者に提供する画像提供装置に関する。
従来、このような分野の技術文献として特開2009−83618号公報が知られている。この公報には、車両後方や側方の画像を撮像する撮像装置と、撮像装置の撮像した画像を運転者に対して表示する表示装置と、を備えた電子ミラーシステムが記載されている。この電子ミラーシステムによれば、サイドミラーに代えて車両の後方や側方の様子を運転者に確認させることができる。
特開2009−83618号公報
しかしながら、前述した電子ミラーシステムでは、左右の撮像装置のうち一方が建物の影に入った場合などに、左右の画像の明度や輝度に大きな差が生じることで、運転者が画像を視認しにくくなるという問題があった。
そこで、本発明は、画像の視認性の向上を図ることができる画像提供装置を提供することを目的とする。
上記課題を解決するため、本発明は、車両に設けられ、車両の周囲の画像を運転者に提供する画像提供装置であって、車両周囲に位置する第1の撮像範囲を有する第1の撮像手段と、車両周囲で第1の撮像範囲と重ならない第2の撮像範囲を有する第2の撮像手段と、第1の撮像手段の撮像した画像である第1画像を運転者に提供する第1の画像提供手段と、第1の画像提供手段と別に設けられ、第2の撮像手段の撮像した画像である第2画像を運転者に提供する第2の画像提供手段と、第1の画像提供手段の提供する第1画像の画像表示パラメータに応じて、第2の画像提供手段の提供する第2画像の画像表示パラメータを補正する画像表示パラメータ補正手段と、を備えることを特徴とする。
本発明に係る画像提供装置によれば、第1又は第2の撮像手段の一方が影に入った場合など、第1画像と第2画像との間で明度や輝度などの画像表示パラメータに大きな差が生じた場合であっても、第1画像の画像表示パラメータに応じて第2画像の画像表示パラメータを補正することで、画像表示パラメータの差を小さくすることができるので、運転者による画像の視認性の向上を図ることができる。
本発明に係る画像提供装置においては、第1の撮像手段は、車両の前部右側に設けられ、第1画像として車両の右後方の画像を撮像する右サイドカメラであり、第2の撮像手段は、車両の前部左側に設けられ、第2画像として車両の左後方の画像を撮像する左サイドカメラであることが好ましい。
本発明に係る画像提供装置によれば、車両の右サイドカメラ及び左サイドカメラの画像について、画像表示パラメータの差が小さくなるように補正をすることができるので、運転者の死角となる車両左後方及び車両右後方の画像の視認性の向上を図ることができる。
本発明に係る画像提供装置においては、第1の画像提供手段と第2の画像提供手段とは、車両内に並べて配置されていることが好ましい。
本発明に係る画像提供装置の場合には、画像表示パラメータの差による視認性への影響が大きいので、より明確な画像の視認性向上の効果を得ることができる。
本発明に係る画像提供装置においては、画像表示パラメータ補正手段は、第1の画像提供手段の提供する第1画像の画像表示パラメータと第2の画像提供手段の提供する第2画像の画像表示パラメータとの比較に基づいて、第1画像の画像表示パラメータ又は第2画像の画像表示パラメータを補正することが好ましい。
本発明に係る画像提供装置によれば、第1画像と第2画像との比較結果に基づいて画像表示パラメータの差が小さくなるように一方の画像表示パラメータを補正することができるので、状況に応じて適切に運転者による画像の視認性の向上を図ることができる。
本発明に係る画像提供装置においては、画像表示パラメータ補正手段は、第1画像の画像表示パラメータ及び第2画像の画像表示パラメータの両方を補正することが好ましい。
本発明に係る画像提供装置によれば、画像表示パラメータの差が小さくなるように両方の画像の画像表示パラメータを補正するので、各画像における画像表示パラメータの変化量を少なくすることができ、運転者にあまり違和感を与えることなく画像表示パラメータの補正を行うことができる。
本発明に係る画像提供装置においては、車両周囲の環境状態を検出する環境状態検出手段を更に備え、画像表示パラメータ補正手段は、環境状態検出手段の検出結果に基づいて、画像表示パラメータを補正することが好ましい。
本発明に係る画像提供装置によれば、昼間や夜間などの環境状態に基づいて画像表示パラメータの補正を行うので、昼間であれば撮像手段が日影に入るなどの急に暗くなる状況に対応して明るい方の画像を基準に補正を行い、夜間であれば後続車の前照灯の光が差し込むなどの急に明るくなる状況に対応して暗い方の画像を基準に補正を行うことができる。従って、この画像提供装置によれば、環境状態に応じた適切な補正を行うことにより更なる視認性の向上を図ることができる。
本発明に係る画像提供装置においては、第1画像又は第2画像に運転者が注意すべき注意対象物が含まれているか否かを判定する注意対象物判定手段を更に備え、画像表示パラメータ補正手段は、注意対象物判定手段に注意対象物が含まれていると判定された画像を強調する補正を行うことが好ましい。
本発明に係る画像提供装置によれば、運転者が注意すべき注意対象物が画像に含まれている場合に、明度を増加させるなど当該画像を強調する補正を行うことで運転者を自然に画像へと注目させ、注意対象物の存在を気づかせることができる。また、画像表示パラメータによる強調であるため、運転者に煩わしさを感じさせない。
本発明によれば、画像の視認性の向上を図ることができる。
本発明に係る画像提供装置の一実施形態を示すブロック図である。 右サイドカメラの撮像範囲のみが壁の影に入っている場合を示す平面図である。 (a)図2の場合の画像表示パラメータ補正前のディスプレイを示す図である。(b)図2の場合の画像表示パラメータ補正後のディスプレイを示す図である。 画像表示パラメータの比較におけるサンプリング範囲を説明するための図である。 車両の駐車前後状態を説明するための平面図である。 撮像範囲内に注意対象物が含まれる場合を説明するための平面図である。 (a)図6の場合の画像表示パラメータ補正前のディスプレイの表示を示す図である。(b)図6の場合の画像表示パラメータ補正後のディスプレイの表示を示す図である。 画像提供装置の動作を示すフローチャートである。
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
図1及び図2に示されるように、本実施形態に係る画像提供装置1は、車両Aに備えられ、車両Aの周囲の画像を運転者に提供するものである。画像提供装置1は、運転者に提供する複数の画像について明度や輝度などの画像表示パラメータの差が小さくなるように補正を行うことで、画像の視認性向上を実現する。
画像提供装置1は、装置1を統括的に制御するECU[Electronic Control Unit]2を備えている。ECU2は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]などからなる電子制御ユニットである。ECU2では、ROMに記憶されているアプリケーションプログラムをRAMにロードし、CPUで実行することで、画像提供に係る各種演算処理を実行する。
ECU2は、右サイドカメラ3、左サイドカメラ4、障害物センサ5、車両センサ6、第1ディスプレイ7、及び第1ディスプレイ8と接続されている。
右サイドカメラ3は、車両Aの右サイドミラーの位置に設けられたカメラである。右サイドカメラ3は、車両Aの右後方に延びる撮像範囲RHを有しており、撮像範囲RHの画像である右後方画像を撮像する。右サイドカメラ3は、撮像した右後方画像をECU2に送信する。右サイドカメラ3は、特許請求の範囲に記載の第1の撮像手段として機能する。また、撮像範囲RHは特許請求の範囲に記載の第1の撮像範囲に相当し、右後方画像は特許請求の範囲に記載の第1画像に相当する。
同様に、左サイドカメラ4は、車両Aの左サイドミラーの位置に設けられたカメラである。左サイドカメラ4は、車両Aの左後方に延びる撮像範囲LHを有しており、撮像範囲LHの画像である左後方画像を撮像する。左サイドカメラ4は、撮像した左後方画像をECU2に送信する。左サイドカメラ4は、特許請求の範囲に記載の第2の撮像手段として機能する。また、撮像範囲LHは特許請求の範囲に記載の第2の撮像範囲に相当し、左後方画像は特許請求の範囲に記載の第2画像に相当する。
障害物センサ5は、車両Aの周囲に存在する歩行者や他車両、建物などの障害物を検出するセンサである。障害物センサ5は、レーザレーダセンサや画像センサなどの複数のセンサから構成されている。障害物センサ5は、障害物の検出結果を障害物情報としてECU2に送信する。
車両センサ6は、速度センサ、ブレーキセンサ、シフトセンサ、ステアリングセンサ、アクセル開度センサ、前照灯センサ、及びワイパーセンサ等から構成されている。車両センサ6では、これらのセンサにより車両Aの走行状態を検出する。走行状態には、車両Aの速度状態やステアリング状態の他、車両のシフト状態、前照灯ライトの点灯状態、ワイパーの駆動停止状態などが含まれる。車両センサ6は、検出した車両Aの走行状態を走行状態情報としてECU2に送信する。
第1ディスプレイ7及び第2ディスプレイ8は、例えば車両Aのインストルメントパネルに並べて設けられた小型のディスプレイである(図3参照)。第1ディスプレイ7は、右サイドカメラ3の撮像した右後方画像を表示して運転者に提供する。また、第2ディスプレイ8は、左サイドカメラ4の撮像した左後方画像を表示して運転者に提供する。第1ディスプレイ7及び第2ディスプレイ8を並べて設けることで、運転者は車両の右後方及び左後方の状況を同時に確認することができる。第1ディスプレイ7は、特許請求の範囲に記載の第1の画像提供手段として機能する。第2ディスプレイ8は、特許請求の範囲に記載の第2の画像提供手段として機能する。
ECU2は、環境状態検出部10、注意対象物判定部11、駐車前後状態判定部12、及び画像表示パラメータ補正部13を有している。
環境状態検出部10は、障害物センサ5の障害物情報及び車両センサ6の走行状態情報に基づいて、車両Aの周囲の環境状態を検出する。環境状態には、建物や大型車両などの障害物の配置状態、昼間及び夜間の状態、天候状態などが含まれる。
具体的には、環境状態検出部10は、障害物センサ5の障害物情報から障害物の配置状態を検出する。また、環境状態検出部10は、車両センサ6の走行状態情報のうち、前照灯の点灯状況から昼間及び夜間の状態を検出すると共に、ワイパーの駆動停止状態から天候状態を検出する。
なお、環境状態の検出方法は上述したものに限られない。例えば、環境状態検出部10は、ナビゲーションシステムのGPS[Global Positioning System]により車両Aの現在地を検出した後、地図データベースから車両Aの周囲の建物の配置状態を検出しても良い。また、環境状態検出部10は、無線通信により取得した天気情報を利用して太陽の位置を含む天候状態を検出しても良い。
注意対象物判定部11は、障害物センサ5の障害物情報に基づいて、車両Aの周囲で運転者が注意すべき注意対象物を判定する。運転者が注意すべき注意対象物には、例えば歩行者や他車両が該当する。
駐車前後状態判定部12は、車両センサ6の走行状態情報に基づいて、車両Aが駐車前後の駐車前後状態であるか否かを判定する。駐車前後状態とは、車両Aが駐車しようとしている状態又は駐車状態から発車したばかりの状態である。
具体的には、駐車前後状態判定部12は、車両センサ6の走行状態情報のうち、車両の速度状態、車両のステアリング状態、車両のシフト状態などに基づいて、車両Aが駐車前後状態であるか否かを判定する。例えば、駐車前後状態判定部12は、車両の速度状態が低速状態であり、ステアリングが急な角度できられている場合や車両のシフト状態がバックの場合などに、車両Aが駐車前後状態であると判定する。
画像表示パラメータ補正部13は、第1ディスプレイ7が表示する右後方画像の画像表示パラメータと第2ディスプレイ8が表示する左後方画像の画像表示パラメータとを比較する。
具体的には、画像表示パラメータ補正部13は、図4に示すサンプリング範囲ER,EL内の画像表示パラメータを認識して比較を行う。サンプリング範囲ER,ELとしては、他車両が映る範囲では他車両の影響による画像表示パラメータの変動が大きいことから、路面が主に映る範囲を選択する。更に、画像表示パラメータ補正部13は、他車両などの影響を更に抑えるため、サンプリング範囲ER,ELの画像表示パラメータを適切な方法で認識する。
例えば、画像表示パラメータ補正部13は、サンプリング範囲ER,ELにおける画像表示パラメータの時間平均を算出し、その算出結果として画像表示パラメータを認識する。また、画像表示パラメータ補正部13は、オプティカルフローにより検出した他車両を除く範囲の画像表示パラメータを認識しても良い。更に、画像表示パラメータ補正部13は、クラスタリングにより抽出した路面から画像表示パラメータの認識を行っても良い。また、画像表示パラメータ補正部13は、複数の方法を組み合わせて画像表示パラメータの認識を行っても良い。
なお、図5に示されるように、画像表示パラメータ補正部13は、車両が駐車スペースPに駐車する前後の場合には右サイドカメラ3及び左サイドカメラ4の映す路面の種類(砂利、アスファルト、コンリート、レンガなど)が異なる可能性が高いことから、サンプリング範囲などを通常と異なる態様に変更する。例えば、画像表示パラメータ補正部13は、駐車スペースまでの道のりで同じ明るさの各輝度や明度を記憶しておくことで路面の種類によらず状況の変化を認識し、画像表示パラメータの誤認識を避ける。
画像表示パラメータ補正部13は、右後方画像の画像表示パラメータ及び左後方画像の画像表示パラメータの比較結果に基づいて、右後方画像の画像表示パラメータ又は左後方画像の画像表示パラメータの補正を行う。
ここで、図2及び図3を参照して画像表示パラメータ補正部13による画像表示パラメータの補正について説明する。図2は、右サイドカメラ3及び左サイドカメラ4のうち、右サイドカメラ3の撮像範囲RHのみが壁Tの影Dに入っている場合を示す図である。図3(a)は、図2の場合における画像表示パラメータ補正前の第1ディスプレイ7及び第2ディスプレイ8を示す図である。図3(b)は、図2の場合における画像表示パラメータ補正後の第1ディスプレイ7及び第2ディスプレイ8を示す図である。図2及び図3に車両Aの走行する車線の車線境界線CR,CLを示す。
図2に示す場合において、画像表示パラメータ補正部13は、図3(a)に示す第1ディスプレイ7が提供する右後方画像の画像表示パラメータと第2ディスプレイ8が提供する左後方画像の画像表示パラメータとを比較して影による明度の差を認識する。その後、図3(b)に示すように、画像表示パラメータ補正部13は、右後方画像の明度を増加させることで、明度の差を小さくする補正を行う。
また、画像表示パラメータ補正部13は、車両センサ6の走行状態情報、環境状態検出部10の検出した環境状況、注意対象物判定部11の判定結果、及び駐車前後状態判定部12の判定結果に基づいて、状況に応じた画像表示パラメータの補正を行う。
具体的には、画像表示パラメータ補正部13は、環境状態検出部10の検出した環境状況から昼間であると認識した場合、カメラ3,4の撮像範囲RH、LHが建物や自車両などの影に入ることにより明度や輝度の差が生じる場合が多いことから、明度の高い方の画像に合わせて明度の低い方の画像を補正する。このとき、画像表示パラメータ補正部13は、環境状況のうち障害物の配置状況や天候状況に基づいて影を作っている障害物の存在を特定する。これにより、画像表示パラメータ補正部13は、影により明度が減少したのか撮像対象が暗い色をしているだけなのかを区別して誤認識を回避することができる。
また、画像表示パラメータ補正部13は、環境状態検出部10の検出した環境状況から夜間であると認識した場合、後続車の前照灯の光が差し込むなどにより明度や輝度の差が生じる場合が多いことから、明度の低い方の画像に合わせて明度の高い方の画像を補正する。また、画像表示パラメータ補正部13は、明度の高さに限界閾値を設けることで、前照灯などの強い光がそのまま画像に表示されることを避ける。
更に、画像表示パラメータ補正部13は、駐車前後状態判定部12が車両Aは駐車前後状態であると判定した場合には、周囲の壁や他車両などの障害物を正確に確認する必要があるので、明度の高い方の画像に合わせて明度の低い方の画像を補正する。
画像表示パラメータ補正部13は、右サイドカメラ3の右後方画像、左サイドカメラ4の左後方画像、及び注意対象物判定部11の判定結果に基づいて、右後方画像又は左後方画像に注意対象物が含まれるか否かを判定する。
画像表示パラメータ補正部13は、右後方画像又は左後方画像に注意対象物が含まれると判定した場合、当該画像を強調する補正を行う。強調する補正とは、例えば注意対象物が含まれる画像の明度や輝度を増加させる補正である。また、強調する補正には、注意対象物が含まれない画像の明度や輝度を減少させることで相対的に注意対象物が含まれる画像を強調する場合も含まれる。
ここで、図6は、注意対象物である歩行者Bが右サイドカメラ3の右後方画像に含まれる場合を示す平面図である。図7(a)は、図6の場合における画像表示パラメータ補正前の第1ディスプレイ7及び第2ディスプレイ8を示す図である。図7(b)は、図6の場合における画像表示パラメータ補正後の第1ディスプレイ7及び第2ディスプレイ8を示す図である。
図6に示す場合において、画像表示パラメータ補正部13は、図7(a)に示す右サイドカメラ3の右後方画像及び左サイドカメラ4の左後方画像と注意対象物判定部11の判定結果とに基づいて、右サイドカメラ3の右後方画像に歩行者Bが含まれると判定する。図7(b)に示されるように、画像表示パラメータ補正部13は、歩行者Bが含まれた右後方画像の画像表示パラメータについて、明度を増加させることにより画像を強調する補正を行う。更に、画像表示パラメータ補正部13は、注意対象物が含まれない左後方画像の明度を減少させるように補正することで相対的に右後方画像を強調する補正を行う。
次に、上述した画像提供装置1の動作について説明する。ここでは画像表示パラメータの補正として明度の補正を例に説明する。
図8に示されるように、画像提供装置1では、まず駐車前後状態判定部12が車両Aの駐車前後状態について判定する(S1)。駐車前後状態判定部12は、例えば車両センサ6の走行状態情報のうち、車両の速度状態、車両のステアリング状態、車両のシフト状態などに基づいて、車両Aが駐車前後状態であるか否かを判定する。駐車前後状態判定部12は、車両Aが駐車前後状態であると判定した場合、ステップS4に移行する。
画像表示パラメータ補正部13は、駐車前後状態判定部12が車両Aは駐車前後状態ではないと判定した場合、環境状態検出部10の検出した車両周囲の環境状態に基づいて、環境状態が昼間であるか否かを判定する(S2)。画像表示パラメータ補正部13は、環境状態が昼間であると判定した場合、ステップS4に移行する。
一方、画像表示パラメータ補正部13は、環境状態が昼間ではないと判定した場合、環境状態が夜間であると判定して、右サイドカメラ3の右後方画像及び左サイドカメラ4の左後方画像のうち明度の高い方の画像に合わせて明度の低い方の画像を補正する明度減少補正処理を行う(S3)。その後、ステップS5に移行する。
ステップS4において、画像表示パラメータ補正部13は、右サイドカメラ3の右後方画像及び左サイドカメラ4の左後方画像のうち明度の低い方の画像に合わせて明度の高い方の画像を補正する明度増加補正処理を行う。その後、ステップS5に移行する。なお、画像表示パラメータ補正部13は、右後方画像の明度と左後方画像の明度との差が所定値以上の場合にのみ補正を行う態様であっても良い。
ステップS5において、画像表示パラメータ補正部13は、右サイドカメラ3の右後方画像、左サイドカメラ4の左後方画像、及び注意対象物判定部11の判定結果に基づいて、右後方画像又は左後方画像に注意対象物が含まれるか否かを判定する。画像表示パラメータ補正部13は、いずれの画像にも注意対象物が含まれないと判定した場合には、ステップS1に戻って動作を繰り返す。
画像表示パラメータ補正部13は、いずれかの画像に注意対象物が含まれると判定した場合、当該画像を強調する強調補正処理を行う(S6)。画像表示パラメータ補正部13は、強調補正処理において、画像表示パラメータ補正部13は、注意対象物が含まれる画像の明度や輝度を増加させる補正を行う。また、画像表示パラメータ補正部13は、注意対象物が含まれない画像の明度や輝度を減少させることで相対的に注意対象物が含まれる画像を強調する補正を行う。その後、ステップS1に戻って動作を繰り返す。
以上説明した本実施形態に係る画像提供装置1によれば、右サイドカメラ3及び左サイドカメラ4の一方が影に入った場合など、右後方画像と左後方画像との間で明度や輝度などの画像表示パラメータに大きな差が生じた場合であっても、右後方画像と左後方画像との比較結果に基づいて画像表示パラメータの差が小さくなるように一方の画像表示パラメータを補正することができるので、運転者の死角となる車両左後方及び車両右後方の画像の視認性の向上を図ることができる。これにより運転者の大幅な負担軽減が図られる。
また、この画像提供装置1では、第1ディスプレイ7及び第2ディスプレイ8が並んで配置されているので、運転者は車両の左後方及び右後方の確認を同時に行うことができる。そして、この場合には、画像表示パラメータの差による視認性への影響が特に大きいので、画像提供装置1による画像の視認性向上の効果をより明確に得ることができる。
更に、この画像提供装置1によれば、昼間や夜間などの環境状態に基づいて画像表示パラメータの補正を行うので、昼間であれば撮像手段が日影に入るなどの急に暗くなる状況に対応して明るい方の画像を基準に補正を行い、夜間であれば後続車の前照灯の光が差し込むなどの急に明るくなる状況に対応して暗い方の画像を基準に補正を行うことができる。従って、この画像提供装置1によれば、環境状態に応じた適切な補正を行うことにより更なる視認性の向上を図ることができる。
また、この画像提供装置1によれば、運転者が注意すべき注意対象物が画像に含まれている場合に、明度を増加させるなど当該画像を強調する補正を行うことで運転者を自然に画像へと注目させ、注意対象物の存在を運転者に気づかせることができる。また、画像表示パラメータによる強調であるため、運転者に煩わしさを感じさせない。
本発明は、上述した実施形態に限定されるものではない。
例えば、画像表示パラメータ補正部13は、第1ディスプレイ7が表示する右後方画像及び第2ディスプレイ8が表示する左後方画像のうち、一方の画像の画像表示パラメータに応じて他方の画像の画像表示パラメータを補正する態様であっても良い。この場合、右後方画像と左後方画像との間で明度や輝度などの画像表示パラメータに大きな差が生じたときに、右後方画像の画像表示パラメータに応じて左後方画像の画像表示パラメータを補正することで画像表示パラメータの差を小さくすることができ、運転者による画像の視認性の向上を図ることができる。なお、左後方画像の画像表示パラメータに応じて右後方画像の画像表示パラメータを補正する態様であっても良い。右後方画像及び左後方画像のうち、補正の基準となる画像が特許請求の範囲に記載の第1画像に相当し、補正される画像が特許請求の範囲に記載の第2画像に相当する。
画像表示パラメータ補正部13は、差が小さくなるように画像表示パラメータの補正を行うに際し、一方の画像の画像表示パラメータを他方に合わせるのではなく、両方の画像表示パラメータを補正する態様であっても良い。この場合、各画像における画像表示パラメータの変化量を少なくすることができ、運転者にあまり違和感を与えることなく画像表示パラメータの補正を行うことができる。
また、本発明は、右サイドカメラ3及び左サイドカメラ4の他、車両後方を撮像するバックカメラなどにも有効に適用できる。更に、カメラ及びディスプレイが二つの場合に限られず、カメラ及びディスプレイが三つ以上の場合であっても適用可能である。
また、本発明に係る画像提供装置は、上述した他、状況に応じて様々な態様の画像表示パラメータの補正を実行することができる。例えば、街中の走行ではカメラが影に入りやすくなることから、ナビゲーションシステムにより街中を走行中であるか否かを判定し、画像表示パラメータの補正方法を変更する態様であっても良い。また、車両が高速で走行している場合には画像の時間変化が大きいことから、車速に基づいて画像表示パラメータの補正方法を変更する態様であっても良い。
1…画像提供装置 2…ECU 3…右サイドカメラ(第1の撮像手段) 4…左サイドカメラ(第2の撮像手段) 5…障害物センサ 6…車両センサ 7…第1ディスプレイ(第1の画像提供手段) 8…第2ディスプレイ(第2の画像提供手段) 10…環境状態検出部(環境状態検出手段) 11…注意対象物判定部(注意対象物判定手段) 12…駐車前後状態判定部 13…画像表示パラメータ補正部(画像表示パラメータ補正手段) A…車両 B…歩行者 CR,CL…車線境界線 D…影 ER,EL…サンプリング範囲 LH…撮像範囲(第1の撮像範囲) P…駐車スペース RH…撮像範囲(第2の撮像範囲) T…壁













Claims (7)

  1. 車両に設けられ、前記車両の周囲の画像を運転者に提供する画像提供装置であって、
    前記車両周囲に位置する第1の撮像範囲を有する第1の撮像手段と、
    前記車両周囲で前記第1の撮像範囲と重ならない第2の撮像範囲を有する第2の撮像手段と、
    前記第1の撮像手段の撮像した画像である第1画像を運転者に提供する第1の画像提供手段と、
    前記第1の画像提供手段と別に設けられ、前記第2の撮像手段の撮像した画像である第2画像を運転者に提供する第2の画像提供手段と、
    前記第1の画像提供手段の提供する前記第1画像の画像表示パラメータに応じて、前記第2の画像提供手段の提供する前記第2画像の画像表示パラメータを補正する画像表示パラメータ補正手段と、
    を備えることを特徴とする画像提供装置。
  2. 前記第1の撮像手段は、前記車両の前部右側に設けられ、前記第1画像として前記車両の右後方の画像を撮像する右サイドカメラであり、
    前記第2の撮像手段は、前記車両の前部左側に設けられ、前記第2画像として前記車両の左後方の画像を撮像する左サイドカメラであることを特徴とする請求項1に記載の画像提供装置。
  3. 前記第1の画像提供手段と前記第2の画像提供手段とは、前記車両内に並べて配置されていることを特徴とする請求項1又は請求項2に記載の画像提供装置。
  4. 前記画像表示パラメータ補正手段は、前記第1の画像提供手段の提供する前記第1画像の画像表示パラメータと前記第2の画像提供手段の提供する前記第2画像の画像表示パラメータとの比較に基づいて、前記第1画像の画像表示パラメータ又は前記第2画像の画像表示パラメータを補正することを特徴とする請求項1〜3のうち何れか一項に記載の画像提供装置。
  5. 前記画像表示パラメータ補正手段は、前記第1の画像の画像表示パラメータ及び前記第2の画像の画像表示パラメータの両方を補正することを特徴とする請求項1〜請求項4の何れか一項に記載の画像提供装置。
  6. 前記車両周囲の環境状態を検出する環境状態検出手段を更に備え、
    前記画像表示パラメータ補正手段は、前記環境状態検出手段の検出結果に基づいて、前記画像表示パラメータを補正することを特徴とする請求項1〜請求項5の何れか一項に記載の画像提供装置。
  7. 前記第1画像又は前記第2画像に前記運転者が注意すべき注意対象物が含まれているか否かを判定する注意対象物判定手段を更に備え、
    前記画像表示パラメータ補正手段は、前記注意対象物判定手段に前記注意対象物が含まれていると判定された前記画像を強調する補正を行うことを特徴とする請求項1〜請求項6の何れか一項に記載の画像提供装置。
JP2010290842A 2010-12-27 2010-12-27 画像提供装置 Active JP5682304B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010290842A JP5682304B2 (ja) 2010-12-27 2010-12-27 画像提供装置
PCT/IB2011/003099 WO2012090045A1 (en) 2010-12-27 2011-12-21 Image providing device
US13/996,235 US20130271608A1 (en) 2010-12-27 2011-12-21 Image providing device
CN201180062576.5A CN103269908B (zh) 2010-12-27 2011-12-21 图像提供设备
EP11813360.2A EP2681078B1 (en) 2010-12-27 2011-12-21 Image providing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010290842A JP5682304B2 (ja) 2010-12-27 2010-12-27 画像提供装置

Publications (3)

Publication Number Publication Date
JP2012138828A true JP2012138828A (ja) 2012-07-19
JP2012138828A5 JP2012138828A5 (ja) 2013-06-27
JP5682304B2 JP5682304B2 (ja) 2015-03-11

Family

ID=45531447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010290842A Active JP5682304B2 (ja) 2010-12-27 2010-12-27 画像提供装置

Country Status (5)

Country Link
US (1) US20130271608A1 (ja)
EP (1) EP2681078B1 (ja)
JP (1) JP5682304B2 (ja)
CN (1) CN103269908B (ja)
WO (1) WO2012090045A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014017521A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置
JP2014229997A (ja) * 2013-05-20 2014-12-08 日本精機株式会社 車両用表示装置
JP2016091371A (ja) * 2014-11-06 2016-05-23 株式会社リコー 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体
JP2016199133A (ja) * 2015-04-09 2016-12-01 株式会社東海理化電機製作所 車両用視認装置
JP2017212719A (ja) * 2016-05-24 2017-11-30 株式会社Jvcケンウッド 撮像装置、撮像表示方法および撮像表示プログラム
JP2018095208A (ja) * 2016-12-16 2018-06-21 日産自動車株式会社 自動車用運転操作装置及び自動車用運転操作方法
JP2019043342A (ja) * 2017-08-31 2019-03-22 日本精機株式会社 電子ミラー表示装置、車両用表示システム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2527510B (en) * 2014-06-23 2016-12-14 Jaguar Land Rover Ltd Launch speed ratio selection in an automatic transmission
JP6485899B2 (ja) * 2014-12-08 2019-03-20 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
JP6740916B2 (ja) * 2017-01-23 2020-08-19 株式会社デンソー 運転支援システム、運転支援方法
CN107133597A (zh) * 2017-05-11 2017-09-05 南宁市正祥科技有限公司 一种日间前方车辆检测方法
WO2019176391A1 (ja) * 2018-03-15 2019-09-19 株式会社Jvcケンウッド ドライブレコーダ、表示制御方法およびプログラム
FR3079790A1 (fr) * 2018-04-06 2019-10-11 Psa Automobiles Sa Dispositif de retrovision pour un vehicule
KR20200005282A (ko) * 2018-07-06 2020-01-15 현대모비스 주식회사 미러리스 자동차의 측방 영상 처리 장치 및 방법
JP2020104804A (ja) * 2018-12-28 2020-07-09 トヨタ自動車株式会社 電子ミラーシステム
JP7321987B2 (ja) * 2020-10-01 2023-08-07 ダイハツ工業株式会社 車両用複眼カメラ

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001527372A (ja) * 1997-12-31 2001-12-25 ジェンテクス・コーポレーション 車両視覚システム
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置
JP2004173048A (ja) * 2002-11-21 2004-06-17 Auto Network Gijutsu Kenkyusho:Kk 車載カメラシステム
JP2005271814A (ja) * 2004-03-25 2005-10-06 Mitsubishi Motors Corp 車両用周辺確認装置
JP2007324887A (ja) * 2006-05-31 2007-12-13 Sony Corp カメラシステムおよび移動体カメラシステム
JP2009021959A (ja) * 2007-07-13 2009-01-29 Toyota Motor Corp カメラネットワークシステム、表示装置、カメラ
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP2009075988A (ja) * 2007-09-24 2009-04-09 Denso Corp 車両周辺監視装置
JP2009083618A (ja) * 2007-09-28 2009-04-23 Panasonic Corp 電子ミラーシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
JP4134939B2 (ja) * 2004-04-22 2008-08-20 株式会社デンソー 車両周辺表示制御装置
JP4706466B2 (ja) * 2005-12-16 2011-06-22 株式会社日立製作所 撮像装置
US20100057465A1 (en) * 2008-09-03 2010-03-04 David Michael Kirsch Variable text-to-speech for automotive application
EP2537735B1 (en) * 2008-09-30 2013-12-11 Nissan Motor Co., Ltd Driving-operation assisting device and driving-operation assisting method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001527372A (ja) * 1997-12-31 2001-12-25 ジェンテクス・コーポレーション 車両視覚システム
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置
JP2004173048A (ja) * 2002-11-21 2004-06-17 Auto Network Gijutsu Kenkyusho:Kk 車載カメラシステム
JP2005271814A (ja) * 2004-03-25 2005-10-06 Mitsubishi Motors Corp 車両用周辺確認装置
JP2007324887A (ja) * 2006-05-31 2007-12-13 Sony Corp カメラシステムおよび移動体カメラシステム
JP2009021959A (ja) * 2007-07-13 2009-01-29 Toyota Motor Corp カメラネットワークシステム、表示装置、カメラ
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP2009075988A (ja) * 2007-09-24 2009-04-09 Denso Corp 車両周辺監視装置
JP2009083618A (ja) * 2007-09-28 2009-04-23 Panasonic Corp 電子ミラーシステム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014017521A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置
CN104508728A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置
JP5874831B2 (ja) * 2012-07-27 2016-03-02 日産自動車株式会社 立体物検出装置
US9349059B2 (en) 2012-07-27 2016-05-24 Nissan Motor Co., Ltd. Three-dimensional object detection device
JP2014229997A (ja) * 2013-05-20 2014-12-08 日本精機株式会社 車両用表示装置
JP2016091371A (ja) * 2014-11-06 2016-05-23 株式会社リコー 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体
JP2016199133A (ja) * 2015-04-09 2016-12-01 株式会社東海理化電機製作所 車両用視認装置
JP2017212719A (ja) * 2016-05-24 2017-11-30 株式会社Jvcケンウッド 撮像装置、撮像表示方法および撮像表示プログラム
JP2018095208A (ja) * 2016-12-16 2018-06-21 日産自動車株式会社 自動車用運転操作装置及び自動車用運転操作方法
JP2019043342A (ja) * 2017-08-31 2019-03-22 日本精機株式会社 電子ミラー表示装置、車両用表示システム

Also Published As

Publication number Publication date
JP5682304B2 (ja) 2015-03-11
EP2681078B1 (en) 2016-03-09
US20130271608A1 (en) 2013-10-17
CN103269908B (zh) 2016-11-23
EP2681078A1 (en) 2014-01-08
CN103269908A (zh) 2013-08-28
WO2012090045A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
JP5682304B2 (ja) 画像提供装置
JP5680573B2 (ja) 車両の走行環境認識装置
JP5022609B2 (ja) 撮像環境認識装置
US8289391B2 (en) Apparatus for vehicle surroundings monitoring
JP5299026B2 (ja) 車両用表示装置
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
JP5823661B2 (ja) 自動車の視界を妨げる事象の検出方法
CN103874931B (zh) 用于求取车辆的环境中的对象的位置的方法和设备
JP4943367B2 (ja) 車両用情報表示装置
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP2010006172A (ja) オートライト装置
JP2008222153A (ja) 合流支援装置
JP6209825B2 (ja) 視差検出装置、視差検出方法
JP2015149614A (ja) 画像解析装置、および画像解析方法
JP2004343676A (ja) 自動車のカメラシステム及び2重露出映像取得方法
JP2019026256A (ja) 車両用の間接視システム
JP2010188826A (ja) 車両用表示装置
JP2007251258A (ja) 画像認識装置
JP4735090B2 (ja) 赤外画像撮像装置
JP4986070B2 (ja) 車両用周囲監視装置
JP4927908B2 (ja) 車線位置検知システム
JP2009147906A (ja) 車両周辺監視装置
JP2020088604A (ja) 走行制御装置、制御方法およびプログラム
JP2022140026A (ja) 画像処理装置、画像処理方法およびプログラム
CN114368342A (zh) 驾驶辅助方法、存储介质以及车辆

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141229

R151 Written notification of patent or utility model registration

Ref document number: 5682304

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151