JP6489408B2 - 表示制御プログラム、表示制御装置および表示装置 - Google Patents

表示制御プログラム、表示制御装置および表示装置 Download PDF

Info

Publication number
JP6489408B2
JP6489408B2 JP2014204828A JP2014204828A JP6489408B2 JP 6489408 B2 JP6489408 B2 JP 6489408B2 JP 2014204828 A JP2014204828 A JP 2014204828A JP 2014204828 A JP2014204828 A JP 2014204828A JP 6489408 B2 JP6489408 B2 JP 6489408B2
Authority
JP
Japan
Prior art keywords
display
wiping
unit
predetermined
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014204828A
Other languages
English (en)
Other versions
JP2015163501A (ja
Inventor
望月 誠
誠 望月
江村 恒一
恒一 江村
伊藤 快
快 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014204828A priority Critical patent/JP6489408B2/ja
Priority to EP15150460.2A priority patent/EP2902747A1/en
Priority to US14/594,044 priority patent/US9530211B2/en
Publication of JP2015163501A publication Critical patent/JP2015163501A/ja
Application granted granted Critical
Publication of JP6489408B2 publication Critical patent/JP6489408B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/182Distributing information between displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/60Structural details of dashboards or instruments
    • B60K2360/66Projection screens or combiners
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両等の乗員に対して提供される情報の表示を制御する表示制御プログラム、表示制御装置および表示装置に関する。
近年、車両のウインドシールドに画像を投影することで、運転者に虚像を視認させるヘッドアップディスプレイ(Head Up Display:HUD)装置の開発が盛んである。例えば、仮想画像(虚像ともいう)を現実世界の画像に重畳して表示することで、対象物の視認性を向上させることができる。
しかし、運転者の視界において、対象物の視認性は状況に応じて変化する。運転者の視界に表示する仮想画像を対象物の視認性に応じて変更する方法としては、例えば、特許文献1に開示された技術がある(以下、従来技術という)。
従来技術は、対象物(例えば、障害物)の視認性に応じた適切な虚像の表示を行うために、カメラ等で検出した対象物の視認性を推定し、推定された視認性に応じて仮想画像を作成する。具体的には、障害物の視認性が高いと推定した場合、仮想画像として枠を作成し、その枠を対象物の周囲に表示する。その一方で、視認性が低いと推定した場合、仮想画像としてマークを作成し、そのマークを対象物の位置に重ねて表示する。
特開2009−248721号公報
しかしながら、従来技術は、画像解析またはセンサ情報に基づいて対象物の視認性を推定し、その推定結果に応じた仮想画像を表示するに過ぎなかった。そのため、必ずしもユーザにとって、対象物の視認性に応じた仮想画像の表示とはなっていなかった。
本発明の目的は、随時変化する対象物の視認性に応じて、仮想画像の表示制御をすることができる表示制御プログラム、表示制御装置および表示装置を提供することである。
本発明の一態様に係る表示制御プログラムは、移動体の乗員の前方方向または側面方向の風景に存在する所定の対象物を認識する認識部と、少なくとも移動体のウインドシールドを備える表示媒体をワイパーが払拭した領域である払拭領域を判定する判定部と、所定画像を生成して表示媒体に表示する表示部と、を含む表示システムにおいて実行される表示制御プログラムであって、表示システムのコンピュータに対して、認識部による認識結果に基づいて、表示媒体に表示されるときに、払拭領域以外の領域において所定の対象物に重畳される第1の提示画像を含む第1の所定画像を表示部に生成させる処理と、ワイパーによる払拭後の経過時間である払拭後経過時間を計測する処理と、第1の所定画像を生成させた後に払拭後経過時間が所定閾値を超えた場合、払拭領域において前記所定の対象物に重畳される第2の提示画像を含む第2の所定画像を表示部に生成させる処理と、を実行させる。
本発明の一態様に係る表示制御装置は、移動体の乗員の前方方向または側面方向の風景に存在する所定の対象物を認識する認識部と、少なくとも移動体のウインドシールドを備える表示媒体をワイパーが払拭した領域である払拭領域を判定する判定部と、ワイパーによる払拭後の経過時間である払拭後経過時間を計測する計測部と、認識部による認識結果に基づいて、表示媒体に表示されるときに、払拭領域以外の領域において所定の対象物に重畳される第1の提示画像を含む第1の所定画像を生成させるように表示部を制御し、第1の所定画像を生成させた後に払拭後経過時間が所定閾値を超えた場合、払拭領域において前記所定の対象物に重畳される第2の提示画像を含む第2の所定画像を生成させるように表示部を制御する制御部と、を備える。
本発明の一態様に係る表示装置は、移動体の乗員の前方方向または側面方向の風景に存在する所定の対象物を認識する認識部と、認識部による認識結果に基づいて生成された所定画像を表示媒体に表示する表示部と、少なくとも移動体のウインドシールドを備える表示媒体をワイパーが払拭した領域である払拭領域を判定する判定部と、ワイパーによる払拭後の経過時間である払拭後経過時間を計測する計測部と、払拭領域以外の領域において所定の対象物に重畳される第1の提示画像を含む第1の所定画像を生成させるように表示部を制御し、第1の所定画像を生成させた後に払拭後経過時間が所定閾値を超えた場合、払拭領域において前記所定の対象物に重畳される第2の提示画像を含む第2の所定画像を生成させるように表示部を制御する制御部と、を備える。
本発明によれば、随時変化する対象物の視認性に応じて、仮想画像の表示制御をすることができる。
本発明の実施の形態1〜6に係るヘッドアップディスプレイシステムの一例を示す図 本発明の実施の形態1に係る表示システムの構成例を示すブロック図 本発明の実施の形態1に係る仮想画像の表示例を示す図 本発明の実施の形態1に係る表示制御装置の動作例を示すフローチャート 本発明の実施の形態1に係るスクリーン座標系の一例を示す図 本発明の実施の形態1に係る払拭領域の一例を示す図 本発明の実施の形態1に係る仮想画像の表示例を示す図 本発明の実施の形態1に係る仮想画像の表示例を時系列に示す図 本発明の実施の形態1の変形例に係る表示制御装置の動作例を示すフローチャート 本発明の実施の形態2に係る表示システムの構成例を示すブロック図 本発明の実施の形態2に係る表示制御装置の動作例を示すフローチャート 本発明の実施の形態3に係る表示システムの構成例を示すブロック図 本発明の実施の形態3に係る表示制御装置の動作例を示すフローチャート 本発明の実施の形態4に係る表示システムの構成例を示すブロック図 本発明の実施の形態4に係る表示制御装置の動作例を示すフローチャート 本発明の実施の形態5に係る表示システムの構成例を示すブロック図 本発明の実施の形態5に係る表示制御装置の動作例を示すフローチャート 本発明の実施の形態6に係る表示システムの構成例を示すブロック図 本発明の実施の形態6に係る態様パタンの一例を示す図 本発明の実施の形態6に係る表示制御装置の動作例を示すフローチャート 本発明の実施の形態に係る表示制御装置のハードウェア構成例を示すブロック図 本発明の実施の形態1に係る表示システムの動作例を示すフローチャート
(本開示に係る一態様を発明するに至った経緯)
従来技術(特開2009−248721号公報)では、レインセンサにより雨量を検出することで、障害物の視認性を推定している。従来技術に具体的な記載はないが、当業者であれば、この従来技術に基づいて「レインセンサによって検出された雨量が所定値以上である場合に視界不良と推定し、例えば道路上の白線、標識、路面標示などの対象物を模した仮想画像を表示する」といった技術を想起しうる。しかしながら、その仮想画像の表示が一定であると、刻一刻と変化する車両の周辺環境に対応した仮想画像が表示されないことになる。
例えば、大雨により前景の対象物の視認性が低下した場合、ヘッドアップディスプレイシステムにおいて、対象物を模した仮想画像をウインドシールド上に投影することで、前景の視認性の悪さを補うことができる。しかし、ウインドシールドをワイパーが払拭することで、一時的に、雨滴による前方視界の悪さは改善される。このとき、仮想画像が投影されていると、乗員はその仮想画像を煩わしく感じてしまうという課題が存在する。本開示に係る発明は、かかる課題を解決するものである。すなわち、本開示に係る発明は、随時変化する対象物の視認性に応じて、仮想画像の表示制御を実現することを目的とする。
(実施の形態1)
本発明の実施の形態1について、図面を参照して説明する。
図1は、本実施の形態に係る表示制御装置(図1では図示略。後述の図2参照)が適用されたヘッドアップディスプレイシステム(以下、HUDシステムという)の一例を示す図である。HUDシステムは、車両などの移動体において用いられる。なお、本実施の形態では、HUDシステムが車両に適用されたものとして説明するが、移動体は、車両に限定されず、船舶、航空機等であってもよい。また、HUDシステムは、後述する図2の表示システム1の一例である。
図1において、HUDシステムは、表示装置10および表示媒体20を有する。なお、図1では図示を省略しているが、HUDシステムは、後述する認識部200および検出部300も有する。
表示装置10は、たとえば、プロジェクタ機能等を有し、内部で生成される所定画像を表示媒体20に表示する。この表示装置10は、表示制御装置100(後述の図2参照)を含む。なお、表示装置10がプロジェクタ機能を有する場合、表示とは投影を意味する。一方、表示媒体がウインドシールドの表面または内部に備えられた透過型ディスプレイである場合、表示装置10は画像データを生成する機能を有し、表示媒体20に表示する。すなわち、本開示において、表示の定義は、表示そのものの意味のほかに、投影の意味をも含む。
表示媒体20は、車両のウインドシールドを少なくとも含む。すなわち、表示媒体20は、ウインドシールドそのものであってもよい。また、表示媒体20は、ウインドシールドと、ウインドシールドに内包された反射膜とを含むものであってもよい。また、表示媒体20は、ウインドシールドと、ウインドシールド表面または内部に備えられた透過型ディスプレイとを含むものであってもよい。本開示においては、表示媒体はウインドシールドを少なくとも備えるものである。ここで、透過型ディスプレイとは例えば、透過型の有機ELディスプレイ、または、特定の波長の光を照射した際に発光するガラスを用いた透明なディスプレイであり、ドライバは、背景を視認すると同時に、透過型ディスプレイ上の表示を視認する事ができる。また、透過型ディスプレイは、光を透過する表示媒体である。なお、ウインドシールドは、フロントガラスでもよいし、サイドガラス、バックガラスであってもよい。
表示媒体20の所定領域である表示領域40には、表示装置10により、後述する提示画像50が表示される。ここで、提示画像50は、表示装置10がプロジェクタ機能を有する場合、仮想画像である。なお、図1では、例として表示領域40を表示媒体20の一部としたが、表示領域40は、表示媒体20の全体であってもよい。
ワイパー30は、車両のウインドシールドを払拭する。
図1に示すように、表示媒体20の表示領域40には、表示装置10により、車両の乗員60(ユーザの一例)に提示するための提示画像50が表示される。提示画像50は、表示装置10の内部で生成された所定画像が、表示媒体20に表示された画像である。
表示装置10がプロジェクタ機能を有する場合、提示画像50は仮想画像であり、表示装置10の内部で生成された所定画像が表示媒体20に投影された結果、乗員60に視認される。仮想画像は、例えば、AR(Augmented Reality)画像である。さらに、所定画像が投影されることで表示媒体に表示される提示画像50は、虚像として乗員60に視認される。投影された提示画像50が虚像として乗員60に視認される原理は、公知技術であるため、その説明は省略する。なお、図1では、例として提示画像50を図形としているが、提示画像50は、文字または記号であってもよいし、文字、記号、図形の組合せであってもよい。
次に、本実施の形態に係る表示システム1の構成例について説明する。図2は、本実施の形態に係る表示システム1の構成例を示すブロック図である。
なお、以下の説明においては、表示装置10がプロジェクタ機能を有するものとして説明するが、発明の範囲を限定するものではない。すなわち、表示装置10がプロジェクタ機能を有さず、表示媒体20が透過型ディスプレイである場合についても、同様の説明が成り立つ。
図2において、表示システム1は、表示装置10と、認識部200と、検出部300とを有する。表示装置10は、表示制御装置100と、表示部400とを有する。
表示制御装置100は、制御部101と、判定部102とを有する。表示制御装置100は、認識部200および検出部300からの情報に基づいて、表示部400を制御する。この表示制御装置100の詳細は後述する。
認識部200は、移動体の乗員の前方方向または側面方向の風景に存在する所定の対象物を認識する。認識部200は、所定時間ごとに、車両の乗員の前景に存在する所定の対象物を認識する。認識部200は、例えば、センシングカメラである。センシングカメラは、車両の内部または外部に搭載され、車両の前景画像を撮影する。この場合、認識部200は、パタンマッチングなどを用いて所定の対象物を認識する。対象物とは、例えば、道路上の白線、標識、路面標示、縁石、ガードレール、信号機、電柱、車両、人物、建物などである。あるいは、認識部200は、例えば、レーダであってもよい。レーダは、車両の内部または外部に搭載され、車両の前景をセンシングする。この場合、認識部200は、センシングされた前景情報からクラスタリングまたは機械学習等により所定の対象物を抽出し、認識する。なお、認識部200における物体認識技術は公知技術であるため、その詳細な説明は省略する。
検出部300は、移動体の表示媒体20を払拭するワイパー30の位置を検出する。検出部300は、所定時間ごとに、車両に備えられるワイパー30の位置を検出する。ワイパー30は、具体的には、車両のウインドシールドを払拭するワイパーアームを意味する。例えば、検出部300は、ワイパーエンコーダ(図示せず)から取得されたワイパーモータの回転角度に基づいて、ウインドシールドにおけるワイパーアームの位置を算出してもよい。あるいは、例えば、検出部300は、ワイパーアームの作動開始時からの経過時間を計測し、その経過時間と、ワイパーアームの移動角速度と、ワイパーアームの動作間隔とに基づいて、ウインドシールドにおけるワイパーアームの位置を算出してもよい。あるいは、例えば、検出部300は、別途設けられるカメラ(図示せず)によって撮影されるワイパーアームの画像に基づいて、ウインドシールドにおけるワイパーアームの位置を検出してもよい。なお、ワイパーアームの位置の検出方法は、上述した例に限定されない。
表示部400は、認識部200による認識結果に基づいて生成された所定画像を表示媒体20に表示する。表示部400は、たとえば、表示装置10のプロジェクタ機能を有する。すなわち、表示部400は、表示制御装置100の制御に基づいて所定画像を生成し、その所定画像をウインドシールドへ投影する。
ここで、表示制御装置100の詳細について説明する。上述したように、表示制御装置100は、制御部101と、判定部102とを有する。
制御部101は、認識部200により所定の対象物が認識された場合、その対象物に重畳して表示される提示画像50を生成するように表示部400を制御する。提示画像50の表示例について、図3を用いて以下に説明する。ここで、重畳とは、乗員から見て、対象物に表示が重なって視認可能なように提示画像を生成することを意味する。例えば、対象物が標識や白線である場合において、前景における標識や白線に重なるような、標識や白線の輪郭を示す画像などが、重畳される提示画像である。
図3は、表示装置10によって表示媒体20に表示された提示画像50a、50bの表示例を示す図である。図3では例として、表示媒体20の全体が表示領域40であるとする。
所定の対象物である白線31a、31bが認識部200により検出されると、表示制御装置100は、認識部200から対象物の認識結果を認識結果情報として取得する。この認識結果は、例えば、白線31a、31bを検出した旨の情報、および、白線31a、31bの位置情報を含む。そして、表示制御装置100は、認識部200の認識結果に基づいて、表示媒体20に表示されたときに提示画像50a、50bを示す所定画像を生成するように、表示部400を制御する。表示部400は、表示媒体20に投影されたときに仮想画像である提示画像50a、50bを示す所定画像を生成し、その所定画像を表示媒体20に投影する。これにより、図3に示すように、提示画像50a、50bは、それぞれ、白線31a、31bに重畳して表示され、乗員60に仮想画像として視認される。
なお、上記提示画像50a、50bは、常時表示されてもよいし、上述した従来技術のように視界不良の場合だけ表示されてもよいし、乗員60により所定の操作が行われた場合だけ表示されてもよい。
以上説明した仮想画像の表示例は公知技術であるが、本実施の形態では、上述した仮想画像の表示が行われ、かつ、ワイパー30が作動する場合において、制御部101が仮想画像の表示制御を行うことを特徴とする。
すなわち、制御部101は、後述する判定部102により払拭領域が判定された場合、表示媒体20に表示されたときに、その払拭領域以外の領域(以下、非払拭領域ともいう)で所定の対象物に重畳する提示画像50を示す所定画像を生成するように表示部400を制御する。払拭領域とは、表示領域40においてワイパー30により払拭された領域をいう。また、非払拭領域とは、表示領域40においてワイパー30により払拭されなかった領域をいう。
判定部102は、検出部300により検出されたワイパー位置(ウインドシールドにおけるワイパー30の位置)の情報を検出部300から取得する度に、そのワイパー位置情報を一時的に記憶する。そして、判定部102は、時間的に連続して記憶したワイパー位置情報に基づいて、上述した払拭領域を判定する。
次に、表示制御装置100の動作例について説明する。図4は、本実施の形態に係る表示制御装置100の動作例を示すフローチャートである。本フローチャートは、ワイパー30がウインドシールドを払拭中の動作例を示すものであり、例えば、10msecまたは100msecといった所定の時間間隔で実施される。また、対象物は例として白線(例えば、図3に示す白線31a、31b)とする。
制御部101は、認識部200から路面上の白線の検出結果を取得する(ステップS001)。この検出結果には、上述したように、白線を検出した旨の情報、および、白線の位置情報が含まれる。
次に、制御部101は、白線の検出結果に基づいて、輪郭点情報を生成する(ステップS002)。この生成の具体例について図5を用いて説明する。なお、図5において、図3と同じ構成要素については同一符号を付している。例えば、輪郭点情報は、ウインドシールド正面を基準とした座標系70における座標情報として生成される。図5の場合、制御部101は、提示画像50a、50bの輪郭点51a、51b、51c、51d、52a、52b、52c、52dの座標を示す輪郭点情報を生成する。
次に、判定部102は、検出部300からワイパー位置情報を取得する(ステップS003)。
次に、判定部102は、ワイパー位置情報に基づいて、払拭領域を判定する(ステップS004)。払拭領域は、例えば、ワイパー30の払拭開始時点から現時点までにワイパー30が払拭した領域である。この払拭領域の例を図6に示す。図6の場合、判定部102は、ワイパー30の払拭開始時点のワイパー位置(輪郭点)53a、53bおよび現時点のワイパー位置(輪郭点)53c、53dの各座標によって囲まれた領域を払拭領域80であると判定する。
次に、制御部101は、ステップS002の処理で生成した輪郭点情報のうち、ステップS004の処理で判定した払拭領域に含まれない輪郭点情報のみを抽出する。そして制御部101は、表示媒体20に表示されたときに、その輪郭点情報に基づいた提示画像を示す所定画像を生成するように表示部400を制御する(ステップS005)。この制御の具体例について、図7を用いて説明する。図7において、制御部101は、輪郭点51a〜51dおよび52a〜52dのうち、払拭領域80に含まれない輪郭点51a〜51dのみを抽出する。そして、制御部101は、輪郭点51a〜51dに基づいた提示画像50aに対応する所定画像を生成するように表示部400を制御する。この制御により、表示部400は、提示画像50aに対応する所定画像を生成し、ウインドシールドに投影する。これにより、提示画像50aは、図7に示すように、白線31aに重畳して表示される。一方で、図7に示すように、輪郭点52a〜52dに基づく提示画像50b(図3参照)は表示されない。
なお、図4では、ステップS001、S002の処理の後でステップS003、S004の処理が行われるフローとしたが、順序はこれに限定されない。例えば、ステップS003、S004の処理の後でステップS001、S002の処理が行われてもよいし、あるいは、ステップS001、S002の処理とステップS003、S004の処理とが並行して行われてもよい。
以上、表示制御装置100の動作例について説明した。この動作による仮想画像の表示の変化例について図8、および、図22を用いて説明する。図8A〜図8Dは、仮想画像の変化を時系列に示すものである。図22は、表示システム1における動作例(本実施の形態の表示制御方法)のフローチャートを示す。表示制御方法とは、すなわち、移動体の乗員60の前方方向または側面方向の風景に存在する所定の対象物を認識する認識部200と、移動体の表示媒体を払拭するワイパーの位置を検出する検出部300と、所定画像を生成して表示媒体20に表示する表示部400と、を含む表示システム1における表示制御方法である。
まず、図22に示すステップ2201として、所定の対象物の認識結果に基づいて、表示媒体20に表示されたときに所定の対象物に重畳される第1の提示画像を示す、第1の所定画像を表示部400に生成させる。
具体的には、所定の対象物の認識結果に含まれる対象物の種類、位置情報等に基づいて、表示媒体に第1の提示画像(図8Aに示す50a、50b)が表示されたときに、所定の対象物である白線31a、31bに重畳して乗員60に視認されるように、表示媒体400上の投影領域を決定する。ここで、乗員60の視点は予め定められた座標でもよいし、ドライバモニタリングカメラによって計測されてもよく、本開示の範囲を限定するものではない。なお、乗員60の予め定められた視点位置は、たとえば座椅子から90cm高い位置などである。
表示媒体20に表示されたときに、所定の対象物である白線31a、31bに重畳される第1の提示画像(図8Aに示す50a、50b)を示す第1の所定画像を表示部400に生成させる処理については、上述のとおりであるため、説明を省略する。
図22に示すステップS2201に対応して、図8Aは、ワイパー30の払拭が開始されていないときを示している。このとき、提示画像50a、50bは、それぞれ、白線31a、31bに重畳されて表示されている。この図8Aは、図3と同じである。
次に、図22に示すステップS2202として、第1の提示画像(図8Aに示す50a、50b)が表示媒体400に表示された後、検出部300が検出したワイパーの位置情報に基づいて、表示媒体400をワイパーが払拭した領域である払拭領域を判定する。具体的な処理は上述のとおりであるため、説明を省略する。
次に、図22に示すステップS2203として、表示媒体20に表示されたときに、第1の提示画像(図8Aに示す50a、50b)のうち払拭領域に対応する部分が削除された第2の提示画像(図8Bに示す50a―B、50b―B、または、図8Cに示す50a−C、50b−C)を示す、第2の所定画像を表示部400に生成させる。
図22に示すステップS2203に対応して、図8Bは、図8Aの状態の後でワイパー30の払拭が開始され、ワイパー30が提示画像50bの表示領域の一部を払拭したときを示している。このとき、ワイパー30の払拭後の領域において、提示画像50bの一部が重畳表示されず、その提示画像50bの一部に対応する白線31bの一部がありのまま表示されている。
また、図22に示すステップS2203に対応して、図8Cは、図8Bの状態の後でワイパー30の払拭がさらに行われ、ワイパー30が提示画像50bの投影領域の半分程度を払拭したときを示している。このとき、ワイパー30の払拭後の領域において、提示画像50bの半分程度が重畳表示されず、その提示画像50bの半分程度に対応する白線31bの半分程度がありのまま表示されている。
さらに、図22に示すステップS2203に対応して、図8Dは、図8Cの状態の後でワイパー30の払拭がさらに行われ、ワイパー30が提示画像50bの投影領域の全部を払拭したときを示している。このとき、ワイパー30の払拭後の領域において、提示画像50bの全部が重畳表示されず、その提示画像50bの全部に対応する白線31bの全部がありのまま表示されている。この図8Dは、図7と同じである。
なお、図8A〜図8Dにおいて、提示画像50aの投影領域は、ワイパー30により払拭されないため、提示画像50aは常に表示されている。
このような提示画像50bの変化により、ユーザは、ワイパー30の払拭の進行に伴い、表示されていた提示画像50bがワイパーの払拭に合わせて消えていくように感じる。
なお、上記の表示制御方法は、表示システム1におけるコンピュータに実行させるためのコンピュータ実装方法であってもよい。これに対応して、コンピュータプログラムである表示制御プログラムは下記のようになる。
表示制御プログラムは、移動体の乗員60の前方方向または側面方向の風景に存在する所定の対象物を認識する認識部200と、移動体の表示媒体20を払拭するワイパーの位置を検出する検出部300と、所定画像を生成して表示媒体20に表示する表示部400と、を含む表示システム1において実行される。表示制御プログラムは、表示システム1のコンピュータに対して、所定の対象物の認識結果に基づいて、表示媒体20に表示されたときに所定の対象物に重畳される第1の提示画像(図8Aの50a、50b)を示す、第1の所定画像を表示部400に生成させる処理と、第1の提示画像が表示媒体20に表示された後、検出部300が検出したワイパーの位置情報に基づいて、表示媒体20をワイパーが払拭した領域である払拭領域を判定する処理と、表示媒体20に表示されたときに、第1の提示画像のうち払拭領域に対応する部分が削除された第2の提示画像を示す、第2の所定画像を表示部400に生成させる処理と、を実行させる。
ここで、第2の提示画像は、第1の提示画像のうち払拭領域に対応する部分が削除された画像である。換言すると、第2の提示画像は、第1の提示画像のうち払拭領域に対応する部分を含まない画像、または、第1の提示画像のうち払拭領域に対応する部分が除外された画像である。
以上説明したように、本実施の形態では、ワイパーの払拭により視認性が改善された領域にある対象物に対しては、提示画像(仮想画像)の重畳表示を行わないように制御することを特徴とする。この制御により、ユーザは、視認性の改善後において、仮想画像を煩わしく感じることなく、ありのままの対象物を視認できる。すなわち、本実施の形態によれば、ワイパーの払拭によって随時変化する対象物の視認性に応じて仮想画像の表示を制御できるため、ワイパーの払拭によって対象物の視認性が変化した場合でも、ユーザにとって最適な前方の視認性を確保することができる。
また、本実施の形態によれば、ユーザは、ワイパーの払拭が行われていない領域の対象物については提示画像が重畳表示された状態で視認でき、ワイパーの払拭が行われた領域の対象物についてはありのままの対象物を視認できる。つまり、ユーザは、ワイパーの動作時において、常に対象物を視認することができる。また、ユーザは、常に対象物を視認できることで、表示制御装置100が正常に動作していること、および、仮想画像の信頼性が高いことを認識できる。
以上実施の形態1について説明したが、上記実施の形態1の変形例として以下の動作を行ってもよい。この動作例について、図9を用いて説明する。図9は、本変形例の動作例を示すフローチャートである。本フローチャートは、ワイパーがウインドシールドを払拭中の動作例を示すものであり、例えば、10msecまたは100msecといった所定の時間間隔で実施される。なお、図9のフローチャートにおいて、図4と同じ処理については同一符号を付し、その説明は省略する。また、対象物は例として白線(例えば、図3等に示す白線31a、31b)とする。
ステップS001の処理の後、制御部101は、認識部200から取得した白線の検出結果に基づいて、白線が検出されたか否かを判定する(ステップS101)。
ここで、制御部101は、白線の検出結果として白線を検出した旨の情報およびその白線の位置情報を取得した場合、白線が検出されたと判定する(ステップS101:YES)。その後、フローはステップS002の処理へ進む。
一方、制御部101は、白線の検出結果として白線を検出しなかった旨の情報を取得した場合、白線が検出されなかったと判定する(ステップS101:NO)。これにより、フローは終了する。
ステップS002、S003の処理の後、判定部102は、検出部300から取得したワイパー位置情報に基づいて、ワイパー30が動作したか否かを判定する(ステップS102)。
ここで、判定部102は、時間的に連続して取得したワイパー位置が同じではない場合、ワイパー30が動作したと判定する(ステップS102:YES)。その後、フローはステップS004の処理へ進む。この場合、払拭領域の判定処理(ステップS004)を経るため、制御部101は、表示媒体20に表示されたときに、非払拭領域にのみ提示画像50(例えば、図3等に示す提示画像50a、50b)を示す所定画像を生成するように表示部40を制御する(ステップS005)。
一方、判定部102は、時間的に連続して取得したワイパー位置が同じである場合、ワイパー30が動作していないと判定する(ステップS102:NO)。その後、フローは、ステップS005の処理へ進む。この場合、払拭領域の判定処理(ステップS004)を経ないため、制御部101は、表示媒体20に表示されたときに、表示領域40全体に提示画像50(例えば、図3等に示す提示画像50a、50b)を示す所定画像を生成するように表示部40を制御する(ステップS005)。
このように本変形例の動作によれば、ワイパーが動作していないときには投影領域全体に仮想画像が表示され、ワイパーが動作しているときには非払拭領域にのみ仮想画像が表示される。すなわち、前景の視認性が悪い場合についてのみ提示画像が表示されることになり、前景の視認性が良い場合には提示画像が表示されなくなる。このように、降雨など前景の視認性が悪いときのみ仮想画像によって対象物の存在が強調されるため、仮想画像の表示の煩わしさを低減することができる。そしてユーザは、煩わしさを感じることなく前景の対象物の存在を適切に把握することができる。
(変形例)
上述した表示制御装置100では、車両から対象物までの距離にかかわらずに、表示媒体20に提示画像を表示したが、車両から対象物までの距離が所定値以内である場合に限って、提示画像を表示してもよい。かかる場合、認識部200によって認識される車両からの距離が所定の閾値以下である対象物に限って、制御部101は、表示媒体20に表示されたときに対象物に重畳する提示画像50を示す所定画像を生成するように表示部400を制御する。なお、車両から対象物までの距離が所定の閾値以下であるか否かの判定は、制御部101が行ってもよく、あるいは、別の構成要素が行ってもよく、本開示の範囲を限定するものではない。また、車両から対象物までの距離を算出するにあたり、車両とは車体及び図示しないセンシング部のうち任意の点であり、装置の仕様によって定められるものであり、本開示の範囲を限定するものではない。
このように、車両からの距離が所定の閾値以下である対象物に限って提示画像を表示することで、乗員が対象物を視認したときに二重像が発生することを避けることができる。なぜならば、対象物までの距離が短く、乗員の視点とヘッドアップディスプレイ上の表示までの距離に近い程、二重像による前景の視認性低下が生じにくいためである。なお、二重像とは、乗員が歩行者や白線といった対象物を注視している場合、乗員が注視している対象物までの距離と、乗員の視点からヘッドアップディスプレイ上の表示までの距離が異なる事によって、ヘッドアップディスプレイ上の表示が二重に見えることで、前景の視認性が低下する事を言う。
(実施の形態2)
本発明の実施の形態2について、図面を参照して説明する。上記実施の形態1では、乗員の肉眼による対象物に対する視認性を確保するため、ウインドシールドをワイパー30が払拭した際、払拭領域に提示画像を表示しないように制御した。しかし、ワイパー30による払拭から一定時間が経過すれば、降雨等により再び視認性が悪化し、提示画像の表示が必要になる場合がある。そこで、本実施の形態では、ワイパーによる払拭から一定時間後に、払拭領域に提示画像を再表示するように制御する。なお、本実施の形態では、ワイパーが所定時間ごとに作動する間欠動作の際に、1回の払拭が終了してから次の払拭が開始するまでの視認性の悪化を想定して、1回の払拭終了後の所定時間後に提示画像の再投影を行う例について説明を行う。
本実施の形態に係る表示システム1の構成例について説明する。図10は、本実施の形態に係る表示システム1の構成例を示すブロック図である。なお、図10において、図2と同じ構成については同一符号を付し、その説明は省略する。
払拭後経過時間計測部103は、検出部300からワイパー位置情報を取得し、それに基づいて払拭後経過時間を計測する。払拭後経過時間とは、ワイパー30による払拭が行われた所定時点(例えば、ワイパー30の往復動作1回分の終了時点)から現時点までに経過した時間である。
次に、表示制御装置100の動作例について説明する。図11は、本実施の形態に係る表示制御装置100の動作例を示すフローチャートである。本フローチャートは、ワイパーによるウインドシールドの払拭が終了してから次の払拭を開始するまでの動作例を示すものであり、例えば、10msecまたは100msecといった所定の時間間隔で実施される。また、本フローチャートは、図4または図9のフローの後に行われる動作例である。なお、図11のフローチャートにおいて、図4と同じ処理については同一符号を付し、その説明は省略する。
ステップS001の処理の後、払拭後経過時間計測部103は、検出部300から取得したワイパー位置情報に基づいて、払拭後経過時間を計測する(ステップS012)。例えば、払拭後経過時間計測部103は、ワイパー30の1回分の往復動作が終了した時点から現時点までに経過した時間を計測する。
次に、制御部101は、払拭後経過時間計測部103で計測された払拭後経過時間が予め定められた所定閾値を超えたか否かを判定する(ステップS013)。
ステップS013の判定処理の結果、払拭後経過時間が閾値を超えていない場合(ステップS013:NO)、フローは終了する。
一方、ステップS013の判定処理の結果、払拭後経過時間が閾値を超えた場合(ステップS013:YES)、制御部101は、表示媒体20に表示されたときに、表示領域40全体に提示画像50(例えば、図3等に示す提示画像50a、50b)を示す所定画像を生成するように表示部40を制御する(ステップS014)。これにより、ウインドシールドにおいて再び仮想画像が表示される。
以上説明したように、本実施の形態では、ワイパー払拭が行われた時点からの経過時間が一定時間を過ぎた場合には、仮想表示を再表示するように制御することを特徴とする。この制御により、ワイパー払拭後において降雨等により前方の視認性が悪化した場合でも、前方の視認性を確保することができる。
(実施の形態3)
本発明の実施の形態3について、図面を参照して説明する。本実施の形態では、上記実施の形態2で説明した閾値(図11のステップS013の処理で用いられる閾値)をワイパー作動間隔に基づいて変更することで、仮想画像の再表示のタイミングを最適に制御する。
本実施の形態に係る表示システム1の構成例について説明する。図12は、本実施の形態に係る表示システム1の構成例を示すブロック図である。なお、図12において、図2および図10と同じ構成については同一符号を付し、その説明は省略する。
ワイパー作動間隔検出部500は、例えば、ワイパー30の間欠作動をコントロールするタイマーなどから、ワイパー30の間欠作動中におけるワイパー作動間隔を検出する。ワイパー作動間隔とは、ワイパー30の1回分の往復動作が終了した時点から次の1回分の往復動作が開始するまでの間の時間(単位:秒)である。
第1テーブル記憶部501は、ワイパー作動間隔情報と、上述した払拭後経過時間との比較に用いられる閾値とが対応付けられた第1テーブルを記憶する。例えば、ワイパー作動間隔が長い場合(例えば5秒)には、弱い雨が降っていると想定されるため、雨滴により前方視界が悪化するまでに時間がかかると想定される。そのため、閾値は、大きい値(例えば3秒)が対応付けられている。一方、ワイパー作動間隔が短い場合(例えば1秒)には、強い雨が降っていると想定されるため、雨滴により前方視界が短時間で悪化することが想定される。そのため、閾値は、小さい値(例えば0.5秒)が対応付けられている。このように、第1テーブルでは、ワイパー作動間隔が大きいほど閾値が大きくなるように定められている。
次に、表示制御装置100の動作例について説明する。図13は、本実施の形態に係る表示制御装置100の動作例を示すフローチャートである。本フローチャートは、ワイパーがウインドシールドを払拭した後から次の払拭を開始するまでの動作例を示すものであり、例えば、10msecまたは100msecといった所定の時間間隔で実施される。また、本フローチャートは、図4または図9のフローの後に行われる動作例である。なお、図13のフローチャートにおいて、図4および図11と同じ処理については同一符号を付し、その説明は省略する。
ステップS001、S012の処理の後、制御部101は、ワイパー作動間隔取得部500により検出されたワイパー作動間隔の情報を取得する(ステップS021)。またこのとき、制御部101は、第1テーブル記憶部501から第1テーブルを読み出す。
次に、制御部101は、取得したワイパー作動間隔情報と第1テーブルに基づいて、ワイパー作動間隔情報に応じた閾値の設定を行う(ステップS022)。すなわち、制御部101は、取得したワイパー作動間隔情報に対応付けられている閾値を第1テーブルから検索し、検索した閾値をステップS013の処理に用いる閾値として設定する。この閾値は、ステップS013の処理において、払拭後経過時間との比較に用いられる。
その後、ステップS013、S014の処理行われる。
以上説明したように、本実施の形態では、ワイパー作動間隔に応じて仮想画像の表示タイミングを変更するように制御することを特徴とする。この制御により、降雨が強まり視界が急速に悪化するような場合においても、前方の視認性を確保することができる。
(実施の形態4)
本発明の実施の形態4について、図面を参照して説明する。本実施の形態では、上記実施の形態2で説明した閾値(図11のステップS013の処理で用いられる閾値)を移動体の速度に基づいて変更することで、仮想画像の再表示のタイミングを最適に制御する。なお、本実施の形態では、移動体の速度の例を車速として説明する。
本実施の形態に係る表示システム1の構成例について説明する。図14は、本実施の形態に係る表示システム1の構成例を示すブロック図である。なお、図14において、図2および図10と同じ構成については同一符号を付し、その説明は省略する。
車速検出部600は、車両の走行速度、すなわち車速を検出する。例えば、車速検出部600は、車両の速度計または車内LANから車速値を取得してもよいし、ネットワークから受信したGPS情報に基づいて車速値を算出してもよい。ここでいう車速値とは、車速を示す数値であり、車速情報の一例である。
第2テーブル記憶部601は、車速値と、上述した払拭後経過時間との比較に用いられる閾値とが対応付けられた第2テーブルを記憶する。例えば、車速が低い場合(例えば20km/h)には、雨滴により前方視界が悪化するまでに時間がかかると想定される。そのため、閾値は、大きい値(例えば3秒)が対応付けられている。一方、車速が高い場合(例えば80km/h)には、雨滴により前方視界が短時間で悪化することが想定される。そのため、閾値は、小さい値(例えば0.5秒)が対応付けられている。このように、第2テーブルでは、車速が大きいほど閾値が小さくなるように定められている。
次に、表示制御装置100の動作例について説明する。図15は、本実施の形態に係る表示制御装置100の動作例を示すフローチャートである。本フローチャートは、ワイパーがウインドシールドを払拭した後から次の払拭を開始するまでの動作例を示すものであり、例えば、10msecまたは100msecといった所定の時間間隔で実施される。また、本フローチャートは、図4または図9のフローの後に行われる動作例である。なお、図15のフローチャートにおいて、図4および図11と同じ処理については同一符号を付し、その説明は省略する。
ステップS001、S012の処理の後、制御部101は、車速検出部600から車速値を取得する(ステップS031)。またこのとき、制御部101は、第2テーブル記憶部601から第2テーブルを読み出す。
次に、制御部101は、取得した車速値と第2テーブルに基づいて、車速値に応じた閾値の設定を行う(ステップS032)。すなわち、制御部101は、取得した車速値に対応付けられている閾値を第2テーブルから検索し、検索した閾値をステップS013の処理に用いる閾値として設定する。この閾値は、ステップS013の処理において、払拭後経過時間との比較に用いられる。
その後、ステップS013、S014の処理が行われる。
以上説明したように、本実施の形態では、車速に応じて仮想画像の表示タイミングを変更するように制御することを特徴とする。この制御により、降雨時の走行中に車速を上げることで視界が急速に悪化するような場合においても、前方の視認性を確保することができる。
(実施の形態5)
本発明の実施の形態5について、図面を参照して説明する。本実施の形態では、上記実施の形態2で説明した閾値(図11のステップS013の処理で用いられる閾値)を表示媒体20の視認性に基づいて変更することで、仮想画像の再表示のタイミングを最適に制御する。なお、本実施の形態では、表示媒体20の例をウインドシールドとして説明する。
本実施の形態に係る表示システム1の構成例について説明する。図16は、本実施の形態に係る表示システム1の構成例を示すブロック図である。なお、図16において、図2および図10と同じ構成については同一符号を付し、その説明は省略する。
視界状態検出部700は、ウインドシールドに付着した雨滴または汚れの度合いを検出する。例えば、視界状態検出部700は、車室内に設置され、車両前方を撮影するカメラによって撮影された画像から、ウインドシールドに付着した雨滴または汚れの度合いを検知するセンサである。なお、以下では、視界状態検出部700により検出される雨滴または汚れの度合い(換言すれば、ウインドシールドの視認性の度合い)を示す数値を「視界状態値」(視界状態情報の一例)という。
第3テーブル記憶部701は、視界状態値と、上述した払拭後経過時間との比較に用いられる閾値とが対応付けられた第3テーブルを記憶する。例えば、ウインドシールドが汚れておらず、視界状態値が小さい場合には、前方視界が悪化していないと想定される。そのため、閾値は、大きい値(例えば3秒)が対応付けられている。一方、ウインドシールドが汚れており、視界状態値が大きい場合には、前方視界が悪化していると想定される。そのため、閾値は、小さい値(例えば0.5秒)が対応付けられている。このように、第3テーブルでは、視界状態値が大きいほど(視認性が悪いほど)閾値が小さくなるように定められている。
次に、表示制御装置100の動作例について説明する。図17は、本実施の形態に係る表示制御装置100の動作例を示すフローチャートである。本フローチャートは、ワイパーがウインドシールドを払拭した後から次の払拭を開始するまでの動作例を示すものであり、例えば、10msecまたは100msecといった所定の時間間隔で実施される。また、本フローチャートは、図4または図9のフローの後に行われる動作例である。なお、図17のフローチャートにおいて、図4および図11と同じ処理については同一符号を付し、その説明は省略する。
ステップS001、S012の処理の後、制御部101は、視界状態検出部700から視界状態値を取得する(ステップS041)。またこのとき、制御部101は、第3テーブル記憶部701から第3テーブルを読み出す。
次に、制御部101は、取得した視界状態値と第3テーブルに基づいて、視界状態値に応じた閾値の設定を行う(ステップS042)。すなわち、制御部101は、取得した視界状態値に対応付けられている閾値を第3テーブルから検索し、検索した閾値をステップS013の処理に用いる閾値として設定する。この閾値は、ステップS013の処理において、払拭後経過時間との比較に用いられる。
その後、ステップS013、S014の処理が行われる。
以上説明したように、本実施の形態では、ウインドシールドの視界状態に応じて仮想画像の表示タイミングを変更するように制御することを特徴とする。この制御により、雨滴または汚れ等がウインドシールドに付着することで視界が急速に悪化するような場合においても、前方の視認性を確保することができる。
(実施の形態6)
本発明の実施の形態6について、図面を参照して説明する。本実施の形態では、仮想画像の再表示を行う際、払拭後経過時間に応じて仮想画像の態様を連続的に変化させるように制御する。
本実施の形態に係る表示システム1の構成例について説明する。図18は、本実施の形態に係る表示システム1の構成例を示すブロック図である。なお、図18において、図2および図10と同じ構成については同一符号を付し、その説明は省略する。
態様パタン記憶部800は、払拭後経過時間と、仮想画像の態様とが対応付けられた態様パタンを保持する。仮想画像の態様とは、例えば、輝度、色(例えばRGB値)、大きさ、形状、または、それらの任意の組合わせなどである。本実施の形態では、仮想画像の態様が輝度の場合を例として説明する。
図19は、態様パタン記憶部800が保持する態様パタンの例を示す図である。図19Aの例では、払拭後経過時間の経過に比例して輝度値(最大1に対する相対値)が大きくなり、所定の払拭後経過時間に到達してからは輝度値が1のまま変化しない態様パタンを示している。一方、図19Bの例では、払拭後経過時間の経過とともになだらかに輝度値(最大1に対する相対値)が大きくなり、所定の払拭後経過時間に到達したときに輝度値が1となる態様パタンを示している。態様パタン記憶部800は、図19Aまたは図19Bに示す態様パタンを記憶するが、態様パタンの例はこれらに限定されない。
次に、表示制御装置100の動作例について説明する。図20は、本実施の形態に係る表示制御装置100の動作例を示すフローチャートである。本フローチャートは、ワイパーがウインドシールドを払拭した後から次の払拭を開始するまでの動作例を示すものであり、例えば、10msecまたは100msecといった所定の時間間隔で実施される。また、本フローチャートは、図4または図9のフローの後に行われる動作例である。なお、図20のフローチャートにおいて、図4および図11と同じ処理については同一符号を付し、その説明は省略する。
ステップS001、S012の処理の後、制御部101は、態様パタン記憶部800から態様パタンを取得する(ステップS051)。
次に、制御部101は、態様パタンと払拭後経過時間に基づいて、輝度値の設定を行う(ステップS052)。すなわち、制御部101は、ステップS012の処理で計測した払拭後経過時間に対応付けられている輝度値を態様パタンから検索し、検索した輝度値をステップS014の処理に用いる値として設定する。
その後、ステップS014の処理が行われる。このとき、制御部101は、設定した輝度値を用いて仮想画像を示す所定画像の生成を行うように表示部40を制御する。
以上説明したように、本実施の形態では、再表示する仮想画像の態様を、払拭後経過時間に伴って連続的に変化させるように制御することを特徴とする。この制御により、ユーザにとっては、再表示される仮想画像が時間経過に伴い徐々に表示されるように感じられる。すなわち、急に仮想画像が再表示されることによってユーザの感じる視覚的な煩わしさを軽減することができる。
以上、本発明の各実施の形態について図面を参照して詳述してきたが、上述した各実施の形態における表示システム1、表示装置10、および表示制御装置100の各部の機能は、コンピュータプログラムにより実現され得る。
図21は、各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ1000は、入力ボタン、タッチパッドなどの入力装置1001、ディスプレイやスピーカなどの出力装置1002、CPU(Central Processing Unit)1003、ROM(Read Only Memory)1004、RAM(Random Access Memory)1005、ハードディスク装置やSSD(Solid State Drive)などの記憶装置1006、DVD−ROM(Digital Versatile Disk Read Only Memory)やUSB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置1007、ネットワークを介して通信を行う送受信装置1008を備え、各部はバス1009により接続される。
そして、読取装置1007は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置1006に記憶させる。あるいは、送受信装置1008が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置1006に記憶させる。
そして、CPU1003が、記憶装置1006に記憶されたプログラムをRAM1005にコピーし、そのプログラムに含まれる命令をRAM1005から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、RAM1005や記憶装置1006には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
すなわち、表示制御プログラムは、移動体の乗員の前方方向または側面方向の風景に存在する所定の対象物を認識する認識部と、少なくとも移動体のウインドシールドを備える表示媒体を払拭するワイパーの位置を検出する検出部と、所定画像を生成して表示媒体に表示する表示部と、を含む表示システムにおいて実行される表示制御プログラムであって、所定の対象物の認識結果に基づいて、表示媒体に表示されたときに所定の対象物に重畳される第1の提示画像を示す、第1の所定画像を表示部に生成させる処理と、第1の提示画像が表示媒体に表示された後、検出部が検出したワイパーの位置情報に基づいて、表示媒体をワイパーが払拭した領域である払拭領域を判定する処理と、表示媒体に表示されたときに、第1の提示画像のうち払拭領域に対応する部分が削除された第2の提示画像を示す、第2の所定画像を表示部に生成させる処理と、をコンピュータに実行させる。
本発明は、ユーザ(例えば、車両等の乗員、または、表示デバイスを装着したユーザ等)に対して提供される情報の表示を制御する表示制御プログラム、表示制御装置および表示装置等に有用である。
1 表示システム
10 表示装置
20 表示媒体
30 ワイパー
31a、31b 白線
40 表示領域
50、50a、50b 提示画像
51a、51b、51c、51d、52a、52b、52c、52d、53a、53b、53c、53d 輪郭点
60 乗員
70 座標系
80 払拭領域
100 表示制御装置
101 制御部
102 判定部
103 払拭後経過時間計測部
200 認識部
300 検出部
400 表示部
500 ワイパー作動間隔検出部
501 第1テーブル記憶部
600 車速検出部
601 第2テーブル記憶部
700 視界状態検出部
701 第3テーブル記憶部
800 態様パタン記憶部
1000 コンピュータ
1001 入力装置
1002 出力装置
1003 CPU
1004 ROM
1005 RAM
1006 記憶装置
1007 読取装置
1008 送受信装置
1009 バス

Claims (12)

  1. 移動体の乗員の前方方向または側面方向の風景に存在する所定の対象物を認識する認識部と、少なくとも前記移動体のウインドシールドを備える表示媒体をワイパーが払拭した領域である払拭領域を判定する判定部と、所定画像を生成して前記表示媒体に表示する表示部と、を含む表示システムにおいて実行される表示制御プログラムであって、
    前記表示システムのコンピュータに対して、
    前記認識部による認識結果に基づいて、前記表示媒体に表示されるときに、前記払拭領域以外の領域において所定の対象物に重畳される第1の提示画像を含む第1の所定画像を前記表示部に生成させる処理と、
    前記ワイパーによる払拭後の経過時間である払拭後経過時間を計測する処理と、
    前記第1の所定画像を生成させた後に前記払拭後経過時間が所定閾値を超えた場合、前記払拭領域において前記所定の対象物に重畳される第2の提示画像を含む第2の所定画像を前記表示部に生成させる処理と、
    を実行させる、
    表示制御プログラム。
  2. 第1の払拭後経過時間の経過後に第1の態様で前記第2の提示画像を前記表示部に生成させる処理と、
    前記第1の払拭後経過時間より後の第2の払拭後経過時間の経過後に第2の態様で前記第2の提示画像を前記表示部に生成させる処理と、
    をさらに実行させる、
    請求項1に記載の表示制御プログラム。
  3. 前記第1の態様および前記第2の態様は、前記提示画像の輝度、色、形状、および大きさのうち少なくとも1つである、
    請求項2に記載の表示制御プログラム。
  4. 前記認識部の認識結果に基づいて、前記移動体から前記所定の対象物までの距離が所定の閾値以下であるか否かを判定する処理をさらに実行させ、
    前記移動体から前記所定の対象物までの距離が前記所定の閾値以下であると判定された場合、前記表示媒体に表示されるときに前記所定の対象物に重畳される前記第1の提示画像を含む前記第1の所定画像を前記表示部に生成させる処理を実行させる、
    請求項1に記載の表示制御プログラム。
  5. 移動体の乗員の前方方向または側面方向の風景に存在する所定の対象物を認識する認識部と、
    少なくとも前記移動体のウインドシールドを備える表示媒体をワイパーが払拭した領域である払拭領域を判定する判定部と、
    前記ワイパーによる払拭後の経過時間である払拭後経過時間を計測する計測部と、
    前記認識部による認識結果に基づいて、前記表示媒体に表示されるときに、前記払拭領域以外の領域において所定の対象物に重畳される第1の提示画像を含む第1の所定画像を生成させるように表示部を制御し、前記第1の所定画像を生成させた後に前記払拭後経過時間が所定閾値を超えた場合、前記払拭領域において前記所定の対象物に重畳される第2の提示画像を含む第2の所定画像を生成させるように前記表示部を制御する制御部と、
    を備える、
    表示制御装置。
  6. 前記判定部は、
    前記検出部により検出された前記ワイパーの位置の情報に基づいて、前記ワイパーが作動したか否かを判定し、前記ワイパーが作動したと判定した場合、前記払拭領域を判定する、
    請求項5に記載の表示制御装置。
  7. 前記制御部は、
    前記ワイパーの作動間隔の情報を取得し、
    前記ワイパーの作動間隔が大きいほど前記所定閾値が大きくなるように設定する、
    請求項5に記載の表示制御装置。
  8. 前記制御部は、
    前記移動体の速度の情報を取得し、
    前記移動体の速度が大きいほど前記所定閾値が小さくなるように設定する、
    請求項5に記載の表示制御装置。
  9. 前記制御部は、
    前記表示媒体の視認性の度合いの情報を取得し、
    前記視認性が悪いほど前記所定閾値が小さくなるように設定する、
    請求項5に記載の表示制御装置。
  10. 前記制御部は、
    第1の払拭後経過時間の経過後に第1の態様で前記第2の提示画像を生成し、前記第1の払拭後経過時間より後の第2の払拭後経過時間の経過後に第2の態様で前記第2の提示画像を生成するように前記表示部を制御する、
    請求項5に記載の表示制御装置。
  11. 前記第1の態様および前記第2の態様は、前記第2の提示画像の輝度、色、形状、または大きさのうちの少なくとも1つである、
    請求項10に記載の表示制御装置。
  12. 移動体の乗員の前方方向または側面方向の風景に存在する所定の対象物を認識する認識部と、
    前記認識部による認識結果に基づいて生成された所定画像を前記表示媒体に表示する表示部と、
    少なくとも前記移動体のウインドシールドを備える表示媒体をワイパーが払拭した領域である払拭領域を判定する判定部と、
    前記ワイパーによる払拭後の経過時間である払拭後経過時間を計測する計測部と、
    前記払拭領域以外の領域において所定の対象物に重畳される第1の提示画像を含む第1の所定画像を生成させるように前記表示部を制御し、前記第1の所定画像を生成させた後に前記払拭後経過時間が所定閾値を超えた場合、前記払拭領域において前記所定の対象物に重畳される第2の提示画像を含む第2の所定画像を生成させるように前記表示部を制御する制御部と、
    を備える、
    表示装置。
JP2014204828A 2014-01-30 2014-10-03 表示制御プログラム、表示制御装置および表示装置 Active JP6489408B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014204828A JP6489408B2 (ja) 2014-01-30 2014-10-03 表示制御プログラム、表示制御装置および表示装置
EP15150460.2A EP2902747A1 (en) 2014-01-30 2015-01-08 Display control apparatus, method of controlling a display control apparatus, display apparatus and display control program
US14/594,044 US9530211B2 (en) 2014-01-30 2015-01-09 Display control apparatus, a method of controlling a display control apparatus and display apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014015494 2014-01-30
JP2014015494 2014-01-30
JP2014204828A JP6489408B2 (ja) 2014-01-30 2014-10-03 表示制御プログラム、表示制御装置および表示装置

Publications (2)

Publication Number Publication Date
JP2015163501A JP2015163501A (ja) 2015-09-10
JP6489408B2 true JP6489408B2 (ja) 2019-03-27

Family

ID=52349983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014204828A Active JP6489408B2 (ja) 2014-01-30 2014-10-03 表示制御プログラム、表示制御装置および表示装置

Country Status (3)

Country Link
US (1) US9530211B2 (ja)
EP (1) EP2902747A1 (ja)
JP (1) JP6489408B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6350247B2 (ja) * 2014-12-01 2018-07-04 株式会社デンソー 画像処理装置
KR101714185B1 (ko) * 2015-08-05 2017-03-22 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
JP6080061B1 (ja) 2015-10-23 2017-02-15 パナソニックIpマネジメント株式会社 撮像装置
JP6272375B2 (ja) 2016-03-18 2018-01-31 株式会社Subaru 車両用表示制御装置
JP6259482B2 (ja) * 2016-03-18 2018-01-10 株式会社Subaru 車両用表示制御装置
IL246129A0 (en) * 2016-06-08 2016-08-31 Sibony Haim A visual display system to prevent accidents with vehicles
US10521677B2 (en) * 2016-07-14 2019-12-31 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
US11248925B2 (en) 2016-07-28 2022-02-15 Toyota Motor Engineering & Manufacturing North America, Inc. Augmented road line detection and display system
WO2018131241A1 (ja) * 2017-01-10 2018-07-19 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
WO2018147066A1 (ja) * 2017-02-08 2018-08-16 株式会社デンソー 車両用表示制御装置
JP2020013332A (ja) * 2018-07-18 2020-01-23 トヨタ自動車株式会社 画像認識装置
JP7319597B2 (ja) * 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
WO2022131097A1 (ja) * 2020-12-18 2022-06-23 セントラル硝子株式会社 ヘッドアップディスプレイ装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561966B2 (en) * 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
JP4026599B2 (ja) * 2004-01-20 2007-12-26 マツダ株式会社 車両用画像表示装置
JP2006078635A (ja) * 2004-09-08 2006-03-23 Denso Corp 前方道路標示制御装置および前方道路標示制御プログラム
JP2009107494A (ja) * 2007-10-30 2009-05-21 Honda Motor Co Ltd 車両用ヘッドアップディスプレイ装置
JP2009184638A (ja) * 2008-02-08 2009-08-20 Honda Motor Co Ltd 虚像表示装置
JP4943367B2 (ja) 2008-04-04 2012-05-30 カルソニックカンセイ株式会社 車両用情報表示装置
JP6260166B2 (ja) * 2013-09-24 2018-01-17 株式会社デンソー 車両用表示処理装置

Also Published As

Publication number Publication date
US20150213592A1 (en) 2015-07-30
JP2015163501A (ja) 2015-09-10
US9530211B2 (en) 2016-12-27
EP2902747A1 (en) 2015-08-05

Similar Documents

Publication Publication Date Title
JP6489408B2 (ja) 表示制御プログラム、表示制御装置および表示装置
JP6440115B2 (ja) 表示制御装置、表示制御方法、および表示制御プログラム
JP6775188B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
CN112241204B (zh) 一种车载ar-hud的手势交互方法和***
JP6528139B2 (ja) 表示制御装置及び表示制御プログラム
JP2016506572A (ja) インフォテイメントシステム
JP4943367B2 (ja) 車両用情報表示装置
JP5866545B1 (ja) 表示制御装置および表示制御プログラム
JP6233599B2 (ja) 車両用表示制御装置
US11836864B2 (en) Method for operating a display device in a motor vehicle
JP2014075079A (ja) 表示装置
TWI522257B (zh) 車用安全系統及其運作方法
JPWO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP4246691B2 (ja) 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車
US20220161718A1 (en) Peripheral image generation device and display control method
JP5294756B2 (ja) 車両周囲画像提供装置および車両周囲画像提供方法
JP7209442B2 (ja) 画像処理装置及び画像処理方法
JP2022154082A (ja) 表示補正システム、表示システム、表示補正方法、及びプログラム
JP2015092346A (ja) 表示装置
JP2020190942A (ja) 表示制御装置
JP2020019369A (ja) 車両用表示装置、方法、及びコンピュータ・プログラム
JP2019117433A (ja) 表示制御装置
JP6861840B2 (ja) 表示制御装置および表示制御方法
JP2022125859A (ja) 周辺画像表示装置
JP6315383B2 (ja) 表示制御プログラムおよび表示制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190214

R151 Written notification of patent or utility model registration

Ref document number: 6489408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151