JP6861375B2 - 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 - Google Patents

表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 Download PDF

Info

Publication number
JP6861375B2
JP6861375B2 JP2017129896A JP2017129896A JP6861375B2 JP 6861375 B2 JP6861375 B2 JP 6861375B2 JP 2017129896 A JP2017129896 A JP 2017129896A JP 2017129896 A JP2017129896 A JP 2017129896A JP 6861375 B2 JP6861375 B2 JP 6861375B2
Authority
JP
Japan
Prior art keywords
detection
target
display
virtual image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017129896A
Other languages
English (en)
Other versions
JP2019011017A (ja
JP2019011017A5 (ja
Inventor
中野 信之
信之 中野
忠司 芝田
忠司 芝田
勝長 辻
勝長 辻
田中 彰
彰 田中
祥平 林
祥平 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017129896A priority Critical patent/JP6861375B2/ja
Priority to US16/016,694 priority patent/US10600250B2/en
Publication of JP2019011017A publication Critical patent/JP2019011017A/ja
Publication of JP2019011017A5 publication Critical patent/JP2019011017A5/ja
Application granted granted Critical
Publication of JP6861375B2 publication Critical patent/JP6861375B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本開示は、表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体に関し、特に対象空間に虚像を表示する表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体に関する。
従来、前方走行領域の物体を検出する車両周辺物体検出装置と、危険が潜在する危険潜在領域を決定する危険潜在領域決定装置と、危険度処理装置と、警報出力装置とで構成される危険状況警報装置があった(例えば特許文献1参照)。危険度処理装置は、車両周辺物体検出装置で得られた物体情報と危険潜在領域決定装置で得られた危険潜在領域を照合し、危険潜在領域に存在する物体についての危険度を決定する。ここで、車両周辺物体検出装置が前方走行領域で複数の障害物を検出すると、危険度処理装置は個々の障害物について危険度の設定を行い、警報出力装置が個々の障害物についての危険度を表示していた。
特開平6−215300号公報
特許文献1に記載の危険状況警報装置では、警報出力装置(表示システム)が複数の障害物について危険度を表示しているので、ユーザ(例えば移動体の運転者)はどの表示に注目すればよいかが分かりにくいという問題があった。
本開示の目的は、ユーザが理解しやすい表示を行うことができる表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体を提供することにある。
本開示の一態様の表示システムは、移動体において使用される表示システムであって、対象空間に存在する複数の検知対象の検知情報と移動体の位置情報を取得する取得部と、前記対象空間に虚像を表示する表示部における表示を制御する制御部と、を備える。前記制御部は、前記位置情報に基づいて前記対象空間を複数の検知領域に分割し、前記検知情報に基づいて、前記複数の検知領域のそれぞれにおいて、前記複数の検知対象のうち前記移動体と衝突する時間が最も短い時間基準検知対象を抽出し、前記複数の検知領域のそれぞれに存在する前記時間基準検知対象を表示対象として、当該表示対象に対応する虚像を前記表示部に表示させる。
本開示の一態様の情報提示システムは、対象空間に存在する複数の検知対象の検知情報と移動体の位置情報を検知する検知システムと、前記対象空間に虚像を表示する表示部と、前記表示部における表示を制御する制御部と、を備える。前記制御部は、前記検知システムから前記検知情報及び前記位置情報を取得し、前記位置情報に基づいて前記対象空間を複数の検知領域に分割し、前記検知情報に基づいて、前記複数の検知領域のそれぞれにおいて、前記複数の検知対象のうち前記移動体と衝突する時間が最も短い時間基準検知対象を抽出し、前記複数の検知領域のそれぞれに存在する前記時間基準検知対象を表示対象として、当該表示対象に対応する虚像を前記表示部に表示させる。
本開示の一態様の表示システムの制御方法は、対象空間に存在する複数の検知対象の検知情報と移動体の位置情報を取得することと、前記位置情報に基づいて前記対象空間を複数の検知領域に分割することと、前記検知情報に基づいて、前記複数の検知領域のそれぞれにおいて、前記複数の検知対象のうち前記移動体と衝突する時間が最も短い時間基準検知対象を抽出することと、前記複数の検知領域のそれぞれに存在する前記時間基準検知対象を表示対象として、当該表示対象に対応する虚像を表示させることとを、含む。
本開示の一態様のプログラムは、コンピュータシステムに、対象空間に存在する複数の検知対象の検知情報と移動体の位置情報を取得することと、前記位置情報に基づいて前記対象空間を複数の検知領域に分割することと、前記検知情報に基づいて、前記複数の検知領域のそれぞれにおいて、前記複数の検知対象のうち前記移動体と衝突する時間が最も短い時間基準検知対象を抽出することと、前記複数の検知領域のそれぞれに存在する前記時間基準検知対象を表示対象として、当該表示対象に対応する虚像を表示させることと、を実行させるためのプログラムである。
本開示の一態様の移動体は、移動体本体と、前記移動体本体に搭載される表示システムと、を備える。前記表示システムは、対象空間に虚像を表示する表示部と、前記表示部における表示を制御する制御部と、を備える。前記制御部は、対象空間に存在する複数の検知対象の検知情報と移動体の位置情報を取得し、前記位置情報に基づいて前記対象空間を複数の検知領域に分割し、前記検知情報に基づいて、前記複数の検知領域のそれぞれにおいて、前記複数の検知対象のうち前記移動体と衝突する時間が最も短い時間基準検知対象を抽出し、前記複数の検知領域のそれぞれに存在する前記時間基準検知対象を表示対象として、当該表示対象に対応する虚像を前記表示部に表示させる。
本開示によれば、ユーザが理解しやすい表示を行うことができるユーザが理解しやすい表示を行うことができる表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体を提供することができる。
図1は、本開示の一実施形態に係る情報提示システムの構成を示す概念図である。 図2は、本開示の一実施形態に係る表示システムを備える自動車の概念図である。 図3は、同上の情報提示システムでの表示例を示す概念図である。 図4は、図3における交差点付近の概略的な平面図である。 図5は、同上の情報提示システムの動作を説明するフローチャートである。 図6は、同上の情報提示システムでの別の表示例を示す概念図である。 図7は、本開示の一実施形態の変形例1に係る情報提示システムでの表示例を示す概念図である。 図8は、同上の変形例1に係る情報提示システムでの別の表示例を示す概念図である。 図9は、本開示の一実施形態の変形例3に係る情報提示システムでの表示例を示す概念図である。
(実施形態)
(1)概要
本実施形態の表示システム10は、図1に示すように、対象空間に存在する検知対象の検知情報を取得する取得部6と、対象空間に虚像を表示(投影)する表示部40と、表示部40を制御する制御部5とを備えている。取得部6、表示部40、制御部5については「(2)構成」で詳細に説明する。
本実施形態の表示システム10は、図2に示すように、例えば、移動体としての自動車100に用いられるヘッドアップディスプレイ(HUD:Head-Up Display)である。表示システム10は、自動車100のウインドシールド101(反射部材)に下方から画像を投影するように、自動車100の車室内に設置されている。図2の例では、ウインドシールド101の下方のダッシュボード102内に、表示システム10が配置されている。表示システム10からウインドシールド101に画像が投影されると、反射部材としてのウインドシールド101で反射された画像がユーザ200(運転者)に視認される。
このような表示システム10によれば、ユーザ200は、自動車100の前方(車外)に設定された対象空間400に虚像300が投影されているように視認する。ここで、「前方」とは自動車100が前進する方向であり、自動車100が前進又は後進する方向を前後方向という。「虚像」は、表示システム10から出射される光がウインドシールド101等の反射物にて発散するとき、その発散光線によって、実際に物体があるように結ばれる像を意味する。ウインドシールド101は光透過性を有しているので、対象者であるユーザ200はウインドシールド101を通して自動車100の前方の対象空間400を見ることができる。そのため、ユーザ200は、自動車100の前方に広がる実空間に重ねて、表示システム10にて投影される虚像300を見ることができる。したがって、表示システム10によれば、例えば、車速情報、ナビゲーション情報、歩行者情報、前方車両情報、車線逸脱情報、及び車両コンディション情報等の、種々の運転支援情報を、虚像300として表示し、ユーザ200に視認させることができる。これにより、ユーザ200は、ウインドシールド101の前方に視線を向けた状態から僅かな視線移動だけで、運転支援情報を視覚的に取得することができる。
本実施形態の表示システム10では、対象空間400に形成される虚像300は、少なくとも第1虚像301と第2虚像302との2種類の虚像を含んでいる。ここでいう「第1虚像」は、第1仮想面501上に形成される虚像300(301)である。「第1仮想面」は、表示システム10の光軸500に対する傾斜角度αが所定値γよりも小さい(α<γ)仮想面である。また、ここでいう「第2虚像」は、第2仮想面502上に形成される虚像300(302)である。「第2仮想面」は、表示システム10の光軸500に対する傾斜角度βが所定値γよりも大きい(β>γ)仮想面である。ここでいう「光軸」は、後述する投影光学系4(図1参照)の光学系の光軸であって、対象空間400の中心を通り虚像300の光路に沿った軸を意味する。所定値γは一例として45度であって、傾斜角度βは一例として90度である。
また、本実施形態の表示システム10では、対象空間400に形成される虚像300は、第1虚像301及び第2虚像302に加えて、第3虚像303(図3参照)を含んでいる。「第3虚像」は、第2虚像302と同様に、光軸500に対する傾斜角度βが所定値γよりも大きい第2仮想面502上に形成される虚像300(303)である。詳しくは後述するが、第2仮想面502上に形成される虚像300のうち、可動スクリーン1aを透過する光によって形成される虚像が第2虚像302であって、固定スクリーン1bを透過する光によって形成される虚像が第3虚像303である。
本実施形態では、光軸500は、自動車100の前方の対象空間400において、自動車100の前方の路面600に沿っている。そして、第1虚像301は、路面600に略平行な第1仮想面501上に形成され、第2虚像302及び第3虚像303は、路面600に対して略垂直な第2仮想面502上に形成される。例えば、路面600が水平面である場合には、第1虚像301は水平面に沿って表示され、第2虚像302及び第3虚像303は鉛直面に沿って表示されることになる。
図3は、ユーザ200の視野を示す概念図である。本実施形態の表示システム10によれば、図3に示すように、路面600に沿って奥行きをもって視認される第1虚像301と、ユーザ200から一定距離の路面600上に直立して視認される第2虚像302及び第3虚像303とを表示可能である。したがって、ユーザ200においては、第1虚像301については路面600に略平行な平面上にあるように見え、第2虚像302及び第3虚像303については路面600に対して略垂直な平面上にあるように見える。第1虚像301は、一例として、ナビゲーション情報として自動車100の進行方向を示す情報であり、路面600上に右折又は左折を示す矢印を提示すること等が可能である。第2虚像302は、一例として、前方車両又は歩行者までの距離を示す情報であり、前方車両上に前方車両までの距離(車間距離)を提示すること等が可能である。第3虚像303は、一例として、現在時刻、車速情報、及び車両コンディション情報であり、例えば文字、数字、及び記号、又は燃料計等のメータにてこれらの情報を提示すること等が可能である。
(2)構成
本実施形態の表示システム10は、図1に示すように、複数のスクリーン1a,1bと、駆動部2と、照射部3と、投影光学系4と、制御部5と、取得部6と、を備えている。
本実施形態では、投影光学系4は、照射部3とともに、対象空間400(図2参照)に虚像300(図2参照)を投影(表示)する表示部40を構成する。
また、本実施形態の情報提示システム20は、表示システム10と、検知システム7と、を備えている。
複数のスクリーン1a,1bは、固定スクリーン1b、及び可動スクリーン1aを含んでいる。固定スクリーン1bは、表示システム10の筐体等に対して定位置に固定されている。可動スクリーン1aは、基準面503に対して角度θだけ傾斜している。更に、可動スクリーン1aは、基準面503に直交する移動方向Xに、移動可能に構成されている。ここでいう「基準面」は、可動スクリーン1aの移動方向を規定する仮想平面であって、実在する面ではない。可動スクリーン1aは、基準面503に対して角度θだけ傾斜した姿勢を維持したまま、移動方向X(図1に矢印X1−X2で示す方向)に直進移動可能に構成されている。以下、可動スクリーン1aと固定スクリーン1bとを特に区別しない場合、複数のスクリーン1a,1bの各々を「スクリーン1」と呼ぶこともある。
スクリーン1(可動スクリーン1a及び固定スクリーン1bの各々)は、透光性を有しており、対象空間400(図2参照)に虚像300(図2参照)を形成するための画像を形成する。すなわち、スクリーン1には、照射部3からの光によって画像が描画され、スクリーン1を透過する光により、対象空間400に虚像300が形成される。スクリーン1は、例えば、光拡散性を有し、矩形に形成された板状の部材からなる。スクリーン1は、照射部3と投影光学系4との間に配置されている。
駆動部2は、可動スクリーン1aを移動方向Xに移動させる。ここで、駆動部2は、可動スクリーン1aを、移動方向Xに沿って、投影光学系4に近づく向きと、投影光学系4から離れる向きとの両方に移動させることができる。駆動部2は、例えば、ボイスコイルモータ等の電気駆動型のアクチュエータからなり、制御部5からの第1制御信号に従って動作する。
照射部3は、走査型の光照射部であって、可動スクリーン1a又は固定スクリーン1bに対して光を照射する。照射部3は、光源31及び走査部32を有している。この照射部3は、光源31及び走査部32の各々が制御部5からの第2制御信号を従って動作する。
光源31は、レーザ光を出力するレーザモジュールからなる。この光源31は、赤色(R)のレーザ光を出力する赤色レーザダイオードと、緑色(G)のレーザ光を出力する緑色レーザダイオードと、青色(B)のレーザ光を出力する青色レーザダイオードと、を含んでいる。これら3種類のレーザダイオードから出力される3色のレーザ光は、例えば、ダイクロイックミラーにより合成され、走査部32に入射する。
走査部32は、光源31からの光を走査することにより、可動スクリーン1a又は固定スクリーン1bの一面上を走査する光を可動スクリーン1a又は固定スクリーン1bに照射する。ここで、走査部32は、可動スクリーン1a又は固定スクリーン1bの一面に対し、二次元的に光を走査する、ラスタスキャン(Raster Scan)を行う。
投影光学系4は、照射部3から出力されスクリーン1を透過する光が入射光として入射し、入射光により、対象空間400(図2参照)に虚像300(図2参照)を投影する。ここで、投影光学系4は、スクリーン1に対して可動スクリーン1aの移動方向Xに並ぶように配置されている。投影光学系4は、図1に示すように、拡大レンズ41、第1ミラー42、及び第2ミラー43を有している。
拡大レンズ41、第1ミラー42、及び第2ミラー43は、スクリーン1を透過した光の経路上に、この順で配置されている。拡大レンズ41は、スクリーン1から移動方向Xに沿って出力される光が入射するように、スクリーン1から見て移動方向Xにおける照射部3とは反対側(第1の向きX1側)に配置されている。拡大レンズ41は、照射部3からの光によりスクリーン1に形成された画像を拡大し、第1ミラー42に出力する。第1ミラー42は、拡大レンズ41からの光を第2ミラー43に向けて反射する。第2ミラー43は、第1ミラー42からの光を、ウインドシールド101(図2参照)に向けて反射する。すなわち、投影光学系4は、照射部3からの光によってスクリーン1に形成される画像を、拡大レンズ41にて拡大し、ウインドシールド101に投影することで、対象空間400に虚像300を投影する。ここで、拡大レンズ41の光軸が、投影光学系4の光軸500となる。
取得部6は、対象空間400に存在する検知対象700の検知情報を検知システム7から取得する。また、取得部6は、検知システム7から、自動車100の位置に関する情報(「位置情報」とも言う。)、及び自動車100の状態に関する情報(「車両情報」とも言う。)を取得する。ここで、検知対象700とは、対象空間400に存在する物体のうち、自動車100が衝突する可能性がある物体等、ユーザ200に注目させる必要がある物体である。本実施形態では、検知対象700が、対象空間400に存在する人、動物、自転車、自動車、自動二輪車、車椅子、ベビーカー等の移動物体である場合について説明する。
検知システム7は、例えばカメラ71と、ライダ(LiDAR:Light Detection and Ranging)72とを備える。
カメラ71は、例えばCCD(Charge-Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を備え、対象空間400を撮影する。
ライダ72は、対象空間400にパルス状のレーザ光を照射し、対象空間400にある物体で反射された反射光を受光する。ライダ72は、レーザ光を発光してから反射光を受光するまでの時間をもとに、物体までの距離を検出する。
検知システム7は、例えば、機械学習アルゴリズムによって生成された学習モデルを用いて、カメラ71の画像から対象空間400に存在する検知対象700を認識する。また、検知システム7は、ライダ72の検出結果をもとに、自動車100から検知対象700までの距離、検知対象700の自動車100に対する相対座標、検知対象700と自動車100との相対速度、検知対象700の属性等の情報を検知情報として求める。ここで、検知対象700の「属性」の情報とは検知対象700の種類を示す情報であり、検知システム7は、検知対象700の種類を、例えば人、動物、自転車、自動車、自動二輪車、車椅子、ベビーカー等の移動物体、信号機、街路灯、電柱等の固定物体、落下物等の可動物体のいずれかに識別可能である。
また、検知システム7は、例えば、GPS(Global Positioning System)を用いて自動車100の現在位置を求め、自動車100の現在位置をもとに自動車100の位置に関する位置情報を検出する。検知システム7は、自動車100の現在位置をもとに、現在位置の周辺のマップ情報を取得する。検知システム7は、マップ情報を記憶するメモリから現在位置の周辺のマップ情報を取得してもよいし、検知システム7又は自動車100が備える移動体通信部が外部のサーバと通信することによって外部のサーバからマップ情報を取得してもよい。ここで、位置情報は、例えば、自動車100の現在位置における道路(交通路)の情報である。位置情報は、例えば、道路の車線数、車道幅、歩道の有無、勾配、カーブの曲率、歩道の有無等の情報、現在位置が交差点(十字路、丁字路等の交差点)であるか否かの情報、道路が一方通行か否かの情報等である。
また、検知システム7は、先進運転支援システム(ADAS:Advanced Driver Assistance System)等から自動車100の状態に関する車両情報を取得してもよい。車両情報は、自動車100自体のローカルな状態を表す情報であって、自動車100に搭載されたセンサにて検出可能な情報である。車両情報の具体例としては、自動車100の移動速度(走行速度)、自動車100にかかる加速度、アクセルペダルの踏込量(アクセル開度)、ブレーキペダルの踏込量、舵角、並びにドライバモニタで検出される運転者の脈拍、表情、及び視線等がある。更に、車幅、車高、全長、及びアイポイント等の、自動車100に固有のデータも、車両情報に含まれる。
本実施形態では検知システム7がカメラ71とライダ72とを備えているが、検知対象700を検出するためのセンサはカメラ71及びライダ72に限定されない。検知システム7は、検知対象700を検出するためのセンサとして、カメラ71、ライダ72、ソナーセンサ、レーダ等のうち1又は複数を備えていればよい。なお、検知システム7が備えるセンサは、先進運転支援システムと共用されてもよい。
制御部5は、例えば、CPU(Central Processing Unit)及びメモリを主構成とするマイクロコンピュータにて構成されている。言い換えれば、制御部5は、CPU及びメモリを有するコンピュータにて実現されており、CPUがメモリに格納されているプログラムを実行することにより、コンピュータが制御部5として機能する。プログラムは、ここでは制御部5のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
制御部5は、駆動部2、照射部3を制御することによって、表示部40の表示を制御する。制御部5は、第1制御信号で駆動部2を制御し、第2制御信号で照射部3を制御する。また、制御部5は、駆動部2の動作と照射部3の動作とを同期させるように構成されている。更に、制御部5は、図1に示すように、駆動制御部51、及び表示制御部52としての機能を有している。
駆動制御部51は、駆動部2を制御することにより、可動スクリーン1aを基準位置に対して相対的に移動させる。ここでいう「基準位置」は、可動スクリーン1aの移動範囲における規定位置に設定された位置である。駆動制御部51は、可動スクリーン1aを透過する光により対象空間400に第2虚像302を投影するために可動スクリーン1aを移動させるのであり、照射部3による可動スクリーン1aへの描画と同期して駆動部2を制御する。
表示制御部52は、取得部6が取得した検知情報、位置情報、及び車両情報に基づいて、表示部40が対象空間400に投影する虚像300の内容(コンテンツ)を決定する。
対象空間400には、前後方向及び上下方向とそれぞれ交差する左右方向において少なくとも1つの検知領域が設定される。本実施形態では、図3及び図4に示すように、対象空間400には左右方向において4つの検知領域401,402,403,404が設定されている。図4は図3における交差点付近の概略的な平面図であり、図4では検知対象700の図示を省略している。図3及び図4では、検知領域401,402,403,404を区分する境界線L1,L2,L3を2点鎖線で示しているが、この境界線L1,L2,L3は表示部40によって表示されない仮想の線である。検知領域401は自車(自動車100)が走行する車線及びその上方空間に対応し、検知領域402は対向車が走行する対向車線及びその上方空間に対応する。検知領域403は、検知領域401の片側(対向車線と反対側)にある歩道及びその上方空間を含む領域である。検知領域404は、対向車線側にある歩道及びその上方空間を含む領域である。なお、自動車100の前方に見える対象空間400の一部が、人や車が通行できない通行不能領域(例えば崖等)である場合には、対象空間400において通行不能領域を除いた領域に検知領域が設定されていればよい。
制御部5は、検知情報に基づいて、検知領域401〜404にそれぞれ存在する検知対象700の中から表示対象を決定し、表示対象とした検知対象700に対応する虚像300を表示部40に表示(対象空間400に投影)させる。本実施形態では、制御部5は、検知領域401〜404のそれぞれで、自動車100(自車)の最も近くに存在する検知対象700(「第1検知対象」とも言う。)を表示対象に決定する。図3の例では、検知領域401には前方を走行する自動車である検知対象711(700)が存在し、検知領域402には対向車である検知対象721,722(700)が存在し、検知領域403には歩行者である検知対象731〜733(700)が存在する。一方、検知領域404には検知対象が存在しない。制御部5は、検知領域401〜404のそれぞれで第1検知対象を表示対象としており、検知領域401では検知対象711を表示対象とし、検知領域402では検知対象721を表示対象とし、検知領域403では検知対象731を表示対象とする。
制御部5は、表示対象の検知対象711,721,731に対応する虚像311,321,331を、表示部40に表示させる。図3の例では、虚像311,321,331は、表示対象の検知対象711,721,731の手前に表示される左右方向に長い棒状のマーカーである。制御部5は、表示対象の検知対象711,721,731に対応する虚像311,321,331を、それぞれ、自動車100(自車)から検知対象711,721,731までの距離に応じた視距離で表示部40に表示させている。
したがって、虚像311,321,331は、対応する検知対象711,721,731の近くに投影されているように見えるので、ユーザ200は虚像311,321,331がそれぞれ対応している検知対象711,721,731を理解しやすい。表示対象の検知対象711,721,731に対応する虚像311,321,331は、棒状のマーカーに限定されず、表示対象を囲む枠状の虚像でもよく、適宜変更が可能である。例えば、制御部5は、表示対象である検知対象711,721,731の属性、検知対象711,721,731が存在する検知領域401,402,403等に応じて虚像311,321,331の内容を変更してもよい。
ここにおいて、制御部5は、検知領域401〜404にそれぞれ存在する検知対象700のうち、衝突余裕時間(TTC:Time To Collision)が最短の検知対象(「第2検知対象」とも言う)を表示対象としてもよい。衝突余裕時間とは、自車と検知対象との現在の相対速度が維持された場合に、自車が検知対象と衝突するまでの時間である。衝突余裕時間は、自車から検知対象までの相対距離を、自車と検知対象との相対速度で除算することによって求められる。また、制御部5は、検知領域401〜404にそれぞれ存在する検知対象700のうち、第1検知対象と第2検知対象との両方を表示対象としてもよい。
なお、制御部5は、衝突余裕時間にかえて、検知対象700による自動車100(自車)への危険度を評価する指標を用い、この指標に基づいて表示対象を決定してもよい。例えば、制御部5は、検知対象700と自動車100(自車)との相対座標と、検知対象700及び自車の移動方向、移動速度の予測値とに基づいて、危険度が最も高い検知対象700を表示対象に決定してもよい。
(3)動作
以下、本実施形態の情報提示システム20(表示システム10)の基本的な動作について説明する。制御部5は、照射部3を制御し、可動スクリーン1aに対して照射部3から光を照射する。このとき、可動スクリーン1aには、可動スクリーン1aの一面上を走査する光が照射部3から照射される。これにより、可動スクリーン1aには、画像が形成(投影)される。更に、照射部3からの光は可動スクリーン1aを透過し、投影光学系4からウインドシールド101に照射される。これにより、可動スクリーン1aに形成された画像は、自動車100の車室内であってウインドシールド101の下方から、ウインドシールド101に投影される。
投影光学系4からウインドシールド101に画像が投影されると、ウインドシールド101は、投影光学系4からの光を、車室内のユーザ200(運転者)に向けて反射する。これにより、ウインドシールド101で反射された画像が、ユーザ200に視認される。ユーザ200には、自動車100の前方(車外)に虚像300(第1虚像301又は第2虚像302)が投影されているように見える。その結果、自動車100の前方(車外)に投影された虚像300(第1虚像301又は第2虚像302)を、ウインドシールド101越しに見ているように、ユーザ200に視認される。
具体的には、制御部5が移動方向Xにおいて可動スクリーン1aを固定した状態で可動スクリーン1aの一面上に光を走査させることで、路面600に沿って奥行きをもって視認される第1虚像301が形成される。また、制御部5が、可動スクリーン1aの一面における輝点から投影光学系4までのX方向の距離が一定となるように可動スクリーン1aを移動させながら、可動スクリーン1aの一面上に光を走査させる。この結果、ユーザ200から一定距離の路面600上に直立して視認される第2虚像302が形成される。
ここで、制御部5は、可動スクリーン1aに対して照射部3から光が照射されている期間において、駆動制御部51にて駆動部2を制御し、可動スクリーン1aを移動方向Xに移動させる。可動スクリーン1aの一面における照射部3からの光の照射位置、つまり輝点の位置が同じ場合、可動スクリーン1aが第1の向きX1に移動すると、ユーザ200の目(アイポイント)から虚像300までの距離(「視距離」ともいう)は、短くなる。反対に、可動スクリーン1aの一面における輝点の位置が同じ場合に、可動スクリーン1aが第2の向きX2に移動すると、虚像300までの視距離は、長く(遠く)なる。つまり、虚像300までの視距離は移動方向Xにおける可動スクリーン1aの位置によって変化する。
例えば、第1虚像301の視距離を変更する場合には、制御部5は、視距離に応じて可動スクリーン1aをX方向に移動させ、移動後の位置で可動スクリーン1aを固定した状態にして可動スクリーン1aの一面上に光を走査させる。第2虚像302の視距離を変更する場合には、制御部5は、視距離に応じて可動スクリーン1aをX方向に移動させる。制御部5は、移動後の位置を基準にして輝点から投影光学系4までのX方向の距離が一定となるように可動スクリーン1aを移動させながら、可動スクリーン1aの一面上に光を走査させる。
また、制御部5は、照射部3を制御し、固定スクリーン1bに対して照射部3から光を照射する。このとき、固定スクリーン1bには、固定スクリーン1bの一面上を走査する光が照射部3から照射される。これにより、可動スクリーン1aに光を照射する場合と同様に、固定スクリーン1bには画像が形成(投影)され、ウインドシールド101に画像が投影される。その結果、ユーザ200は、自動車100の前方(車外)に投影された虚像300(第3虚像303)を、ウインドシールド101越しに視認することができる。ここで、第3虚像303は、位置が固定された固定スクリーン1bに投影された光で形成されるので、第3虚像303は、ユーザ200から所定の距離(例えば2〜3m)の路面600上に直立して視認される。
本実施形態の表示システム10では、走査部32が可動スクリーン1aの縦方向(可動スクリーン1aの基準面503に対して傾斜した方向)に1往復する1周期の間に、第1虚像301、第2虚像302、及び第3虚像303の全てを投影可能である。具体的には、表示部40は、可動スクリーン1a、固定スクリーン1bの順に光を走査する「往路」において、まずは可動スクリーン1aに光を照射して第1虚像301を投影し、その後、固定スクリーン1bに光を照射して第3虚像303を表示する。それから、表示部40は、固定スクリーン1b、可動スクリーン1aの順に光を走査する「復路」において、まずは固定スクリーン1bに光を照射して第3虚像303を表示し、その後、可動スクリーン1aに光を照射して第2虚像302を投影する。
したがって、走査部32が縦方向に走査する1周期の間に、対象空間400には、第1虚像301、第3虚像303、及び第2虚像302が投影される。照射部3における縦方向の走査が比較的高速で行われることにより、ユーザ200においては、第1虚像301、第3虚像303、及び第2虚像302が同時に表示されているように視認される。照射部3における縦方向の走査の周波数は、一例として、60Hz以上である。
次に、本実施形態の情報提示システム20が、検知システム7が検知した検知情報に基づいて、検知対象の存在をユーザ200に知らせるために行う表示動作について図5を参照して説明する。
自動車100の運転者であるユーザ200がイグニッションスイッチをオンにすると、情報提示システム20(表示システム10及び検知システム7)に電力が供給されて、情報提示システム20が動作を開始する。検知システム7が、カメラ71及びライダ72を用いて対象空間400をセンシングし(S1)、カメラ71の画像及びライダ72の計測結果をもとに、対象空間400において検知対象700を検出する処理を行う(S2)。
対象空間400において検知対象700が存在しない場合(S3:No)、検知システム7は、一定時間が経過した後に、ステップS1に移行して対象空間400をセンシングする処理を再び行う。
対象空間400に検知対象700が存在する場合(S3:Yes)、制御部5は、検知領域401〜404のそれぞれに存在する検知対象を抽出する処理を行う(S4)。ここで、制御部5は、取得部6が取得した位置情報(道路の車線数、車道幅、歩道の有無等の情報)をもとに、対象空間400に複数の検知領域401〜404を設定する。具体的には、制御部5は、対象空間400に含まれる道路(交通路)の種類(走行車線、対向車線、歩道等)に応じて、対象空間400を左右方向において4つの検知領域401〜404に区分けする。なお、検知システム7が、対象空間400に複数の検知領域401〜404を設定し、検知領域401〜404のそれぞれで検知対象700を検知した結果を検知情報として表示システム10に出力してもよい。
制御部5の表示制御部52は、検知領域401〜404のそれぞれで検知対象700を抽出すると、検知領域401〜404のそれぞれで自動車100(自車)の最も近くに存在する第1検知対象を表示対象とする(S5)。表示制御部52は、検知領域401〜404のそれぞれで表示対象とした第1検知対象に対応する虚像300の内容(コンテンツ)を決定する。そして、制御部5の駆動制御部51が、駆動部2及び照射部3を制御し、検知領域401〜404のそれぞれで表示対象とした第1検知対象の手前の位置に、虚像300を表示させる(S6)。図3の例では、検知領域401,402,403においてそれぞれ検知対象(第1検知対象)711,721,731を表示対象とし、検知対象711,721,731の手前に虚像311,321,331を表示させている。虚像311,321,331は左右方向に長い棒状のマーカーである。検知対象(第1検知対象)711,721,731の手前に虚像311,321,331がそれぞれ投影されるので、検知領域401,402,403のそれぞれで自車に最も近い検知対象711,721,731にユーザ200の注意を向けさせることができる。換言すると、検知領域401〜404のそれぞれで複数の検知対象700が存在する場合でも、第1検知対象以外の検知対象700に対応する虚像は表示されないから、要注意の第1検知対象に対してユーザ200の注意を集めることができる。なお、表示対象である検知対象に対応した虚像311,321,331は、路面600に沿って奥行きをもって視認される第1虚像301であるが、ユーザ200から一定距離の路面600上に直立して視認される第2虚像302でもよい。
制御部5は表示対象に対応する虚像311,321,331を表示部40に表示させると、イグニッションスイッチがオフになっているか否かを判断する(S7)。イグニッションスイッチがオフであれば(S7:No)、制御部5は処理を終了し、イグニッションスイッチがオンであれば(S7:Yes)、検知システム7は、一定時間が経過した後に、ステップS1に移行して対象空間400をセンシングする処理を再び行う。
ここで、ステップS5において、制御部5の表示制御部52は、検知領域401〜404のそれぞれで自動車100(自車)の最も近くに存在する第1検知対象と、衝突余裕時間が最短の第2検知対象との両方を表示対象としてもよい。図6の例では、歩道を含む検知領域403において、自車に最も近い検知対象(第1検知対象)731よりも遠くに存在する検知対象732の衝突余裕時間が最短となっている。このとき、表示制御部52は、第1検知対象である検知対象731と、第2検知対象である検知対象732の両方を表示対象とする。表示制御部52は、検知対象731,732にそれぞれ対応する虚像331,332の内容(コンテンツ)を決定する。そして、駆動制御部51が、駆動部2及び照射部3を制御することによって、検知対象731,732の手前の位置に虚像331,332を表示させる。これにより、検知領域401〜404のそれぞれで、自車に最も近い第1検知対象と、衝突余裕時間が最短の第2検知対象との両方に、ユーザ200の注意を喚起させることができる。なお、ステップS5において、制御部5の表示制御部52は、検知領域401〜404のそれぞれで衝突余裕時間が最短の第2検知対象のみを表示対象としてもよい。駆動制御部51が駆動部2及び照射部3を制御して、第2検知対象の手前に虚像300を表示させることで、第2検知対象にユーザ200の注意を喚起させることができる。
(4)変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、表示システム10と同様の機能は、表示システム10の制御方法、プログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る表示システム10の制御方法は、対象空間400に存在する検知対象700の検知情報を取得する取得部6と、対象空間400に虚像300を表示する表示部40と、表示部40の表示を制御する制御部5とを備えた表示システム10の制御方法である。対象空間400には前後方向及び上下方向とそれぞれ交差する左右方向において少なくとも1つの検知領域401〜404が設定される。表示システム10の制御方法では、検知情報に基づいて、検知領域401〜404に存在する検知対象700のうち、最も近くに存在する第1検知対象と、衝突余裕時間が最短の第2検知対象との少なくとも一方を表示対象とする。そして、表示システム10の制御方法では、表示対象に対応する虚像300を制御部5が表示部40に表示させる。一態様に係る(コンピュータ)プログラムは、コンピュータシステムに、表示システム10の制御方法を実行させるためのプログラムである。
以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
本開示における表示システム10、情報提示システム20、又は表示システム10の制御方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における表示システム10、情報提示システム20、又は表示システム10の制御方法の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能な非一時的な記録媒体に記録されて提供されてもよい。この種の非一時的な記録媒体としては、メモリカード、光学ディスク、ハードディスクドライブ等がある。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1乃至複数の電子回路で構成される。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。
また、表示システム10の取得部6、表示部40、制御部5の機能が、2つ以上のシステムに分散して設けられてもよい。また、表示システム10の制御部5の機能が、例えば、クラウド(クラウドコンピューティング)によって実現されてもよい。
情報提示システム20は、表示システム10と、検知システム7とで実現されているが、この構成に限らず、例えば、表示システム10と、検知システム7とのうちの1つのシステムで実現されてもよい。例えば、検知システム7の機能が、表示システム10に集約されていてもよい。
(4.1)変形例1
上記の形態では、対象空間400には左右方向において4つの検知領域401〜404が設定されているが、対象空間400には左右方向において少なくとも1つの検知領域が設定されていればよい。検知領域の数は1つでもよいし、複数でもよく、適宜変更可能である。なお、表示システム10及び情報提示システム20の構成は上記の形態と同一であるので、その説明は省略する。
図7の例では、対象空間400の全体が1つの検知領域410に設定されている。この場合、制御部5は、検知領域410に存在する複数の検知対象741〜745のうち、自動車100(自車)の最も近くに存在する検知対象741を表示対象とする。制御部5は、表示部40を制御して表示対象とした検知対象741の手前に虚像351を表示させる。なお、図7の例では、表示部40は、自動車100の走行経路を表示するための第1虚像304、及び車両情報を表示するための第3虚像303も対象空間400に表示している。
虚像351は、左右方向に長い棒状のマーカーであり、左右方向において検知領域410の一端側から他端側にかけて表示されている。このように、虚像351は、左右方向において検知領域410の一端側から他端側にかけて表示されているので、ユーザ200が、虚像351に気付きやすくなり、表示対象である検知対象(第1検知対象)741の存在に気付きやすくなる。
図7の例では、虚像351は左右方向に長い棒状のマーカーであるが、虚像351は適宜変更が可能である。例えば、図8に示すように、制御部5は、表示部40を制御して、横断歩道を示す区画線(ゼブラ模様)に似せた虚像352を表示してもよい。虚像352を、道路を横断する人を連想させるような図柄とすることで、虚像352を見たユーザ200が、第1検知対象741である人の存在に気付きやすくなる。
(4.2)変形例2
上記の形態では、検知領域401〜404のそれぞれで表示対象に対応する虚像の表示態様が同じであったが、表示制御部52は、検知領域401〜404のそれぞれで表示対象に対応する虚像を変更してもよい。なお、表示システム10及び情報提示システム20の構成は上記の形態と同一であるので、その説明は省略する。
変形例2では、表示制御部52は、検知領域401〜404のそれぞれで表示対象に対応する虚像300の色、明るさ、大きさ、模様のうちの少なくとも1つを変更する。表示制御部52は、例えば、自動車100(自車)が走行する車線を含む検知領域401で表示される虚像300が、他の検知領域402〜404で表示される虚像300よりも目立つように、虚像300の表示態様を変更してもよい。これにより、より注意すべき表示対象に対してユーザ200の注意を集めやすくなる。また、虚像300の表示態様をもとに、表示対象が存在する検知領域401〜404を推測できる、という利点がある。
(4.3)変形例3
変形例3の表示システム10では、制御部5は、複数の検知領域401〜404のそれぞれで当該検知領域に存在する属性が同じ検知対象700のうち、最も近くに存在する第1検知対象と、衝突余裕時間が最短の第2検知対象との少なくとも一方を表示対象とする。なお、表示システム10及び情報提示システム20の構成は上記の形態と同一であるので、その説明は省略する。
表示システム10の取得部6は、検知システム7から検知情報を取得する。取得部6が検知システム7から取得する検知情報には、検知対象700の属性の情報も含まれている。
制御部5は、取得部6が取得した検知情報に基づいて、検知領域401〜404のそれぞれで検知対象700を抽出する。そして、制御部5は、検知対象700の属性の情報に基づいて、検知領域401〜404のそれぞれで、属性が同じ検知対象のうち、最も近くに存在する第1検知対象を表示対象とする。
例えば、図9の例では検知領域403に、複数の属性の検知対象741,743,746が存在している。検知対象741,743の属性は人であり、検知対象746の属性は自転車である。このとき、制御部5の表示制御部52は、検知領域401〜404のそれぞれで、属性が同じ検知対象のうち、最も近くに存在する第1検知対象を表示対象とする。したがって、表示制御部52は、検知領域403において、属性が人である検知対象741,743については最も近くに存在する検知対象741を表示対象とし、属性が自転車である検知対象746については検知対象746を表示対象とする。そして、表示制御部52は、表示対象である検知対象741,746のそれぞれに対応した虚像331,333を作成し、表示部40に虚像331,333を表示(投影)させる。
このように、検知対象700の属性が複数ある場合、複数の属性のそれぞれで最も近くにある第1検知対象を表示対象としているので、属性ごとに第1検知対象に対応する虚像300を表示部40に表示させることができる。したがって、ユーザ200は表示部40によって対象空間400に表示される虚像331,333をもとに、属性ごとに注意すべき検知対象700を把握することができる。
ここで、制御部5の表示制御部52は、検知対象741,746の属性に応じて、検知対象741,746にそれぞれ対応する虚像331,333の表示態様を変更してもよい。表示制御部52は、検知対象741,746の属性に応じて、虚像331,333の色、明るさ、大きさ、模様のうちの少なくとも1つを変更する。これにより、表示部40によって表示される属性ごとの虚像331,333の違いが明確になる、という利点がある。また、虚像331,333の表示態様をもとに、表示対象である検知対象741,746の属性を推測できるという利点もある。
なお、検知領域401,402,404には属性が同じ検知対象744,742,745しか存在しないので、制御部5の表示制御部52は、検知領域401,402,404では、それぞれで最も近い検知対象744,742,745を表示対象とする。
なお、制御部5は、検知領域401〜404のそれぞれで、属性が同じ検知対象700のうち、衝突余裕時間が最短の第2検知対象を表示対象としてもよいし、第1検知対象と第2検知対象の両方を表示対象としてもよい。
(4.4)その他の変形例
表示システム10の取得部6は、自動車100に設けられた検知システム7から検知情報を取得しているが、表示システム10又は自動車100が備える通信部と外部との通信によって検知情報を取得するように構成されてもよい。例えば、取得部6は、自動車100と周辺車両との車車間通信(V2V:Vehicle to Vehicle)、自動車100と周辺車両又はインフラ(infrastructure)との車車間・路車間通信(V2X:Vehicle to Everything)等で、検知情報を取得してもよい。また、インフラにて対象空間400に投影する虚像300の内容を決定してもよく、この場合、自動車100には、制御部5の少なくとも一部が搭載されなくてもよい。
検知対象700は、対象空間400に存在する移動物体であったが、検知対象700は、移動物体に限定されない。検知対象700は、対象空間400に定常的に存在する信号機、街路灯、ガードレール、街路樹等の固定物体、対象空間400に一時的に存在する落下物等の可動物体等を含んでもよい。
また、表示システム10は、自動車100の進行方向の前方に設定された対象空間400に虚像300を投影する構成に限らず、例えば、自動車100の進行方向の側方、後方、又は上方等に虚像300を投影してもよい。
また、表示システム10は、自動車100に用いられるヘッドアップディスプレイに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車100以外の移動体にも適用可能である。さらに、表示システム10は、移動体に限らず、例えば、アミューズメント施設で用いられてもよいし、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末、医療設備、又は据置型の装置として用いられてもよい。
表示システム10の表示部40は可動スクリーン1aと固定スクリーン1bとを備えているが、少なくとも可動スクリーン1aを備えていればよい。
また、表示部40は、レーザ光を用いて虚像を投影する構成に限らない。例えば、表示部40は、拡散透過型のスクリーン1に対し、スクリーン1の背後からプロジェクタで画像(虚像300)を投影する構成であってもよい。また、表示部40は、液晶ディスプレイで表示された画像に応じた虚像300を投影光学系4を介して投影してもよい。
また、表示部40から照射された光を反射する反射部材が、自動車100のウインドシールド101で構成されているが、反射部材はウインドシールド101に限定されず、ウインドシールド101とは別体に設けられた透光板でもよい。
(まとめ)
以上説明したように、第1の態様の表示システム(10)は、取得部(6)と、表示部(40)と、制御部(5)とを備える。取得部(6)は、対象空間(400)に存在する検知対象(700,711,721,731〜733,741〜746)の検知情報を取得する。表示部(40)は、対象空間(400)に虚像(311,321,331〜333,341,351,352)を表示する。制御部(5)は表示部(40)の表示を制御する。対象空間(400)には前後方向及び上下方向とそれぞれ交差する左右方向において少なくとも1つの検知領域(401〜404)が設定される。制御部(5)は、検知情報に基づいて、第1検知対象と第2検知対象との少なくとも一方を表示対象とし、表示対象に対応する虚像(311,321,331〜333,341,351,352)を表示部(40)に表示させる。第1検知対象は、検知領域(401〜404)に存在する検知対象(700,711,721,731〜733,741〜746)のうち、最も近くに存在する検知対象である。第2検知対象は、検知領域(401〜404)に存在する検知対象(700,711,721,731〜733,741〜746)のうち、衝突余裕時間が最短の検知対象である。
第1の態様によれば、制御部(5)は、第1検知対象と第2検知対象との少なくとも一方を表示対象として、表示対象に対応する虚像(311,321,331〜333,341,351,352)を表示部(40)に表示させている。したがって、全ての検知対象に対応する虚像が対象空間(400)に表示される場合に比べて、表示対象に対応する虚像(311,321,331〜333,341,351,352)が見やすくなり、ユーザ(200)が理解しやすい表示を行うことができる。
第2の態様の表示システム(10)では、第1の態様において、対象空間(400)には左右方向において複数の検知領域(401〜404)が設定される。制御部(5)は、複数の検知領域(401〜404)のそれぞれで表示対象に対応する虚像(311,321,331〜333,341,351,352)を表示部(40)に表示させる。
第2の態様によれば、ユーザ(200)に対して、複数の検知領域(401〜404)のそれぞれで表示対象への注意を喚起することができる。
第3の態様の表示システム(10)では、第2の態様において、制御部(5)は、複数の検知領域(401〜404)のそれぞれで虚像(311,321,331〜333,341,351,352)を変更する。
第3の態様によれば、虚像(311,321,331〜333,341,351,352)の内容から、表示対象が存在する検知領域(401〜404)を推測できる、という利点がある。
第4の態様の表示システム(10)では、第2又は第3の態様において、対象空間(400)は移動体(100)が交通する交通路を含み、複数の検知領域(401〜404)は、交通路の種類に応じて区分けされている。
第4の態様によれば、交通路の種類に応じて区分けされた検知領域(401〜404)のそれぞれで表示対象を決定することができる。
第5の態様の表示システム(10)では、第1〜第4のいずれか1つの態様において、検知対象(700,711,721,731〜733,741〜746)の属性が複数ある。制御部(5)は、検知領域(401〜404)に存在する属性が同じ検知対象(700,711,721,731〜733,741〜746)のうち、最も近くに存在する第1検知対象と、衝突余裕時間が最短の第2検知対象との少なくとも一方を表示対象とする。
第5の態様によれば、検知対象(700,711,721,731〜733,741〜746)の属性ごとに表示対象を決定し、ユーザ(200)に対して属性ごとに決定された表示対象への注意を喚起できる。
第6の態様の表示システム(10)では、第5の態様において、制御部(5)は、検知対象(700,711,721,731〜733,741〜746)の属性に応じて虚像(311,321,331〜333,341,351,352)を変更する。
第6の態様によれば、虚像(311,321,331〜333,341,351,352)の内容から表示対象である検知対象(700)の属性を推測できる、という利点がある。
第7の態様の表示システム(10)では、第1〜第6のいずれか1つの態様において、虚像(311,321,331〜333,341,351,352)は、表示対象の手前に表示される左右方向に長い棒状のマーカーである。
第7の態様によれば、表示対象である検知対象(700,711,721,731〜733,741〜746)の位置が分かりやすい、という利点がある。
第8の態様の表示システム(10)では、第1〜第7のいずれか1つの態様において、制御部(5)は、表示対象までの距離に応じた視距離で表示部(40)に虚像(311,321,331〜333,341,351,352)を表示させる。
第8の態様によれば、表示対象である検知対象(700,711,721,731〜733,741〜746)の位置が分かりやすい、という利点がある。
第9の態様の情報提示システム(20)は、第1〜第8のいずれか1つの態様の表示システム(10)と、対象空間(400)において検知対象(700,711,721,731〜733,741〜746)を検知する検知システム(7)と、を備える。取得部(6)は、検知システム(7)から検知情報を取得する。
第9の態様によれば、ユーザ(200)が理解しやすい表示を行うことができる情報提示システム(20)を実現できる。
第10の態様の表示システム(10)の制御方法は、取得部(6)と表示部(40)と制御部(5)とを備えた表示システム(10)の制御方法である。取得部(6)は、対象空間(400)に存在する検知対象(700,711,721,731〜733,741〜746)の検知情報を取得する。表示部(40)は、対象空間(400)に虚像(311,321,331〜333,341,351,352)を表示する。制御部(5)は表示部(40)の表示を制御する。対象空間(400)には前後方向及び上下方向とそれぞれ交差する左右方向において少なくとも1つの検知領域(401〜404)が設定される。この制御方法では、検知情報に基づいて第1検知対象と第2検知対象との少なくとも一方を表示対象とし、表示対象に対応する虚像(311,321,331〜333,341,351,352)を制御部(5)が表示部(40)に表示させる。第1検知対象は、検知領域(401〜404)に存在する検知対象(700,711,721,731〜733,741〜746)のうち、最も近くに存在する検知対象である。第2検知対象は、検知領域(401〜404)に存在する検知対象(700,711,721,731〜733,741〜746)のうち、衝突余裕時間が最短の検知対象である。
第11の態様のプログラムは、コンピュータシステムに、第10の態様の表示システム(10)の制御方法を実行させるためのプログラムである。
第12の態様の移動体(100)は、第1〜第8のいずれか1つの態様の表示システム(10)と、反射部材(101)と、を備える。反射部材(101)は、表示部(40)から出射された光を反射することによって対象空間(400)に虚像(311,321,331〜333,341,351,352)を表示する。
第12の態様によれば、ユーザ(200)が理解しやすい表示を行うことができる移動体(100)を実現できる。
第2〜第7の態様に係る構成については、表示システム(10)に必須の構成ではなく、適宜省略可能である。
5 制御部
6 取得部
7 検知システム
10 表示システム
20 情報提示システム
40 表示部
100 自動車(移動体)
101 ウインドシールド(反射部材)
300,301〜304,311,321,331〜333,341,351,352 虚像
400 対象空間
401〜404 検知領域
700,722,731,732,743 検知対象
711,721,731,741,742,744〜746 検知対象(第1検知対象)
732 検知対象(第2検知対象)

Claims (16)

  1. 移動体において使用される表示システムであって、
    対象空間に存在する複数の検知対象の検知情報と移動体の位置情報を取得する取得部と、
    前記対象空間に虚像を表示する表示部における表示を制御する制御部と、を備え、
    前記制御部は、
    前記位置情報に基づいて前記対象空間を複数の検知領域に分割し、
    前記検知情報に基づいて、前記複数の検知領域のそれぞれにおいて、前記複数の検知対象のうち前記移動体と衝突する時間が最も短い時間基準検知対象を抽出し、
    前記複数の検知領域のそれぞれに存在する前記時間基準検知対象を表示対象として、当該表示対象に対応する虚像を前記表示部に表示させる、
    表示システム。
  2. 前記制御部は、
    前記検知情報に基づいて、前記複数の検知領域の各検知領域内に存在する複数の検知対象から、前記移動体の最も近くに存在する距離基準検知対象を抽出し、
    前記複数の検知領域のそれぞれに存在する前記距離基準検知対象を表示対象として、当該表示対象に対応する虚像を前記表示部に表示させる、
    請求項1に記載の表示システム。
  3. 前記制御部は、前記複数の検知領域のそれぞれで前記虚像互いに異なる表示態様で前記表示部に表示させる、
    請求項1又は2に記載の表示システム。
  4. 前記位置情報は、前記移動体が存在する交通路の種類の情報を含み、
    前記制御部は、前記交通路の種類に応じて前記対象空間を前記複数の検知領域に分割する、
    請求項1〜3のいずれか1項に記載の表示システム。
  5. 前記交通路の種類は、走行車線と対向車線と歩道とのうちの少なくとも1つを含む、
    請求項4に記載の表示システム。
  6. 前記虚像は、前記移動体が進む方向に垂直な方向に長い棒状のマーカーであり、
    前記制御部は、前記虚像を、前記虚像が対応する前記表示対象の手前に表示させる、
    請求項1〜のいずれか1項に記載の表示システム。
  7. 前記制御部は、前記虚像を、前記虚像が対応する前記表示対象までの距離に応じた視距離で前記表示部に表示させる
    請求項1〜6のいずれか1項に記載の表示システム。
  8. 前記表示部の画像を前記移動体のウィンドシールドが反射することによって、前記虚像がユーザに視認される、
    請求項1〜7のいずれか1項に記載の表示システム。
  9. 対象空間に存在する複数の検知対象の検知情報と移動体の位置情報を検知する検知システムと、
    前記対象空間に虚像を表示する表示部と、
    前記表示部における表示を制御する制御部と、を備え、
    前記制御部は、
    前記検知システムから前記検知情報及び前記位置情報を取得し、
    前記位置情報に基づいて前記対象空間を複数の検知領域に分割し、
    前記検知情報に基づいて、前記複数の検知領域のそれぞれにおいて、前記複数の検知対象のうち前記移動体と衝突する時間が最も短い時間基準検知対象を抽出し、
    前記複数の検知領域のそれぞれに存在する前記時間基準検知対象を表示対象として、当該表示対象に対応する虚像を前記表示部に表示させる、
    情報提示システム。
  10. 前記制御部は、
    前記検知情報に基づいて、前記複数の検知領域の各検知領域内に存在する複数の検知対象から、前記移動体の最も近くに存在する距離基準検知対象を抽出し、
    前記複数の検知領域のそれぞれに存在する前記距離基準検知対象を表示対象として、当該表示対象に対応する虚像を前記表示部に表示させる、
    請求項9に記載の情報提示システム。
  11. 対象空間に存在する複数の検知対象の検知情報と移動体の位置情報を取得することと、
    前記位置情報に基づいて前記対象空間を複数の検知領域に分割することと、
    前記検知情報に基づいて、前記複数の検知領域のそれぞれにおいて、前記複数の検知対象のうち前記移動体と衝突する時間が最も短い時間基準検知対象を抽出することと、
    前記複数の検知領域のそれぞれに存在する前記時間基準検知対象を表示対象として、当該表示対象に対応する虚像を表示させることとを、含む、
    表示システムの制御方法。
  12. 前記検知情報に基づいて、前記複数の検知領域の各検知領域内に存在する複数の検知対象から、前記移動体の最も近くに存在する距離基準検知対象を抽出することと、
    前記複数の検知領域のそれぞれに存在する前記距離基準検知対象を表示対象として、当該表示対象に対応する虚像を表示させることとを、更に含む、
    請求項11に記載の表示システムの制御方法。
  13. コンピュータシステムに、
    対象空間に存在する複数の検知対象の検知情報と移動体の位置情報を取得することと、
    前記位置情報に基づいて前記対象空間を複数の検知領域に分割することと、
    前記検知情報に基づいて、前記複数の検知領域のそれぞれにおいて、前記複数の検知対象のうち前記移動体と衝突する時間が最も短い時間基準検知対象を抽出することと、
    前記複数の検知領域のそれぞれに存在する前記時間基準検知対象を表示対象として、当該表示対象に対応する虚像を表示させることと、
    を実行させるためのプログラム。
  14. コンピュータシステムに、
    前記検知情報に基づいて、前記複数の検知領域の各検知領域内に存在する複数の検知対象から、前記移動体の最も近くに存在する距離基準検知対象を抽出することと、
    前記複数の検知領域のそれぞれに存在する前記距離基準検知対象を表示対象として、当該表示対象に対応する虚像を表示させることと、
    を実行させるための請求項13に記載のプログラム。
  15. 移動体本体と、
    前記移動体本体に搭載される表示システムと、を備え、
    前記表示システムは、
    対象空間に虚像を表示する表示部と、
    前記表示部における表示を制御する制御部と、を備え、
    前記制御部は、
    対象空間に存在する複数の検知対象の検知情報と移動体の位置情報を取得し、
    前記位置情報に基づいて前記対象空間を複数の検知領域に分割し、
    前記検知情報に基づいて、前記複数の検知領域のそれぞれにおいて、前記複数の検知対象のうち前記移動体と衝突する時間が最も短い時間基準検知対象を抽出し、
    前記複数の検知領域のそれぞれに存在する前記時間基準検知対象を表示対象として、当該表示対象に対応する虚像を前記表示部に表示させる、
    移動体。
  16. 前記制御部は、
    前記検知情報に基づいて、前記複数の検知領域の各検知領域内に存在する複数の検知対象から、前記移動体の最も近くに存在する距離基準検知対象を抽出し、
    前記複数の検知領域のそれぞれに存在する前記距離基準検知対象を表示対象として、当該表示対象に対応する虚像を前記表示部に表示させる、
    請求項15に記載の移動体。
JP2017129896A 2017-06-30 2017-06-30 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 Active JP6861375B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017129896A JP6861375B2 (ja) 2017-06-30 2017-06-30 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US16/016,694 US10600250B2 (en) 2017-06-30 2018-06-25 Display system, information presentation system, method for controlling display system, computer-readable recording medium, and mobile body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017129896A JP6861375B2 (ja) 2017-06-30 2017-06-30 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体

Publications (3)

Publication Number Publication Date
JP2019011017A JP2019011017A (ja) 2019-01-24
JP2019011017A5 JP2019011017A5 (ja) 2020-02-27
JP6861375B2 true JP6861375B2 (ja) 2021-04-21

Family

ID=64738113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017129896A Active JP6861375B2 (ja) 2017-06-30 2017-06-30 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体

Country Status (2)

Country Link
US (1) US10600250B2 (ja)
JP (1) JP6861375B2 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US20140156901A1 (en) 2005-10-26 2014-06-05 Cortica Ltd. Computing device, a system and a method for parallel processing of data streams
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US20160085733A1 (en) 2005-10-26 2016-03-24 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US11537636B2 (en) 2007-08-21 2022-12-27 Cortica, Ltd. System and method for using multimedia content as search queries
WO2017105641A1 (en) 2015-12-15 2017-06-22 Cortica, Ltd. Identification of key points in multimedia data elements
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
JP2018116516A (ja) * 2017-01-19 2018-07-26 トヨタ自動車株式会社 車両の注意喚起装置
JP6930120B2 (ja) * 2017-02-02 2021-09-01 株式会社リコー 表示装置、移動体装置及び表示方法。
WO2019008581A1 (en) 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
WO2019012527A1 (en) 2017-07-09 2019-01-17 Cortica Ltd. ORGANIZATION OF DEPTH LEARNING NETWORKS
DE102018204254B4 (de) * 2018-03-20 2020-12-03 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US10607416B2 (en) * 2018-08-30 2020-03-31 Valeo Comfort And Driving Assistance Conditional availability of vehicular mixed-reality
US11613261B2 (en) 2018-09-05 2023-03-28 Autobrains Technologies Ltd Generating a database and alerting about improperly driven vehicles
KR102116783B1 (ko) * 2018-10-10 2020-05-29 네이버랩스 주식회사 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11700356B2 (en) 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
US11392738B2 (en) 2018-10-26 2022-07-19 Autobrains Technologies Ltd Generating a simulation scenario
US11904863B2 (en) 2018-10-26 2024-02-20 AutoBrains Technologies Ltd. Passing a curve
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US10836313B2 (en) 2018-11-28 2020-11-17 Valeo Comfort And Driving Assistance Mixed reality view for enhancing pedestrian safety
US11170647B2 (en) * 2019-02-07 2021-11-09 Cartica Ai Ltd. Detection of vacant parking spaces
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US11423710B2 (en) * 2019-03-29 2022-08-23 Lyft, Inc. Approaches for managing vehicles
US11908242B2 (en) 2019-03-31 2024-02-20 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US11488290B2 (en) 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
WO2021006060A1 (ja) * 2019-07-08 2021-01-14 株式会社デンソー 表示制御装置および表示制御プログラム
JP7354649B2 (ja) 2019-07-26 2023-10-03 株式会社アイシン 周辺監視装置
US11704292B2 (en) 2019-09-26 2023-07-18 Cortica Ltd. System and method for enriching a concept database
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
DE102020207314A1 (de) * 2020-06-11 2021-12-16 Volkswagen Aktiengesellschaft Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Fortbewegungsmittel
US11410551B2 (en) * 2020-07-23 2022-08-09 Qualcomm Incorporated Techniques for utilizing a mobile device as a proxy for a vehicle
US11683684B2 (en) 2020-07-23 2023-06-20 Qualcomm Incorporated Obtaining a credential for V2X transmission on behalf of a vehicle
DE102020211301A1 (de) * 2020-09-09 2022-03-10 Volkswagen Aktiengesellschaft Verfahren zur Darstellung eines virtuellen Elements
KR20220037026A (ko) * 2020-09-16 2022-03-24 현대자동차주식회사 증강 현실 기반의 정보 표시 장치
DE102020214843A1 (de) * 2020-11-26 2022-06-02 Volkswagen Aktiengesellschaft Verfahren zur Darstellung eines virtuellen Elements
FR3118259B1 (fr) * 2020-12-17 2024-01-19 Valeo Comfort & Driving Assistance Dispositif d’alerte anticollision et véhicule automobile comprenant un tel dispositif
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
US20230256985A1 (en) * 2022-02-14 2023-08-17 Continental Advanced Lidar Solutions Us, Llc Method and system for avoiding vehicle undercarriage collisions
CN115294552A (zh) * 2022-08-08 2022-11-04 腾讯科技(深圳)有限公司 一种杆状物识别方法、装置、设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3214122B2 (ja) 1993-01-19 2001-10-02 三菱電機株式会社 危険状況警報装置
JP2001076298A (ja) * 1999-09-07 2001-03-23 Mazda Motor Corp 車両の表示装置
JP2009217682A (ja) * 2008-03-12 2009-09-24 Yazaki Corp 車両用表示装置
US8644288B2 (en) * 2008-07-31 2014-02-04 Motorola Mobility Llc Uplink spatial division multiple access (SDMA) user pairing and scheduling
JP2010108343A (ja) * 2008-10-31 2010-05-13 Honda Motor Co Ltd 制御対象車両判定装置
JP5278292B2 (ja) * 2009-11-27 2013-09-04 株式会社デンソー 情報提示装置
JP5331146B2 (ja) * 2011-03-22 2013-10-30 株式会社東芝 単眼ヘッドマウントディスプレイ
JP5547160B2 (ja) * 2011-10-27 2014-07-09 本田技研工業株式会社 車両周辺監視装置
US20140354684A1 (en) * 2013-05-28 2014-12-04 Honda Motor Co., Ltd. Symbology system and augmented reality heads up display (hud) for communicating safety information
KR101510050B1 (ko) * 2014-04-15 2015-04-07 현대자동차주식회사 차량 주행 제어 장치 및 방법
US20160063761A1 (en) * 2014-08-27 2016-03-03 Toyota Jidosha Kabushiki Kaisha Communication of spatial information based on driver attention assessment
DE112015004431B4 (de) * 2014-09-29 2021-07-29 Yazaki Corporation Fahrzeuganzeigevorrichtung
US9690104B2 (en) * 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
DE112015006032B4 (de) * 2015-01-22 2021-04-01 Mitsubishi Electric Corporation Vorrichtung und Verfahren zur Bilderfassung eines Objekts, das sich in einem Abbildungsfeld-Winkelbereich befindet, Programm und Aufzeichnungsmedium
JP6252549B2 (ja) * 2015-05-29 2017-12-27 株式会社デンソー 物体検出装置
US10262466B2 (en) * 2015-10-14 2019-04-16 Qualcomm Incorporated Systems and methods for adjusting a combined image visualization based on depth information
JP6618767B2 (ja) * 2015-10-27 2019-12-11 株式会社デンソーテン 画像処理装置および画像処理方法
EP3223034B1 (en) * 2016-03-16 2022-07-20 Ricoh Company, Ltd. Object detection apparatus and moveable apparatus
KR101899981B1 (ko) * 2016-12-02 2018-09-19 엘지전자 주식회사 차량용 헤드 업 디스플레이

Also Published As

Publication number Publication date
US10600250B2 (en) 2020-03-24
JP2019011017A (ja) 2019-01-24
US20190005726A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
JP6861375B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JP7065383B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JP7113259B2 (ja) 表示システム、表示システムを備える情報提示システム、表示システムの制御方法、プログラム、及び表示システムを備える移動体
US11535155B2 (en) Superimposed-image display device and computer program
US8536995B2 (en) Information display apparatus and information display method
JP6796806B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US20140362195A1 (en) Enhanced 3-dimensional (3-d) navigation
JP6883759B2 (ja) 表示システム、表示システムの制御方法、プログラム、及び移動体
JP2015068831A (ja) 機能拡張された3次元(3−d)ナビゲーション
JP2015069656A (ja) 3次元(3−d)ナビゲーション
US20200249044A1 (en) Superimposed-image display device and computer program
JP2006350934A (ja) 情報表示装置
WO2019230271A1 (ja) 表示制御装置、表示制御プログラム、及びその持続的有形コンピュータ読み取り媒体
JP6876277B2 (ja) 制御装置、表示装置、表示方法及びプログラム
JP2016107947A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2019027996A (ja) 車両用表示方法及び車両用表示装置
JP6785451B2 (ja) 情報提示システム、移動体、情報提示方法及びプログラム
JP2022043996A (ja) 表示制御装置及び表示制御プログラム
JP7266257B2 (ja) 表示システム、及び表示システムの制御方法
JP2021037916A (ja) 表示制御装置及び表示制御プログラム
JP7338632B2 (ja) 表示装置
JP2020073365A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP7434894B2 (ja) 車両用表示装置
JP2019202641A (ja) 表示装置
JP2021104787A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210312

R151 Written notification of patent or utility model registration

Ref document number: 6861375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03