JP2012198149A - 単眼ヘッドマウントディスプレイ - Google Patents

単眼ヘッドマウントディスプレイ Download PDF

Info

Publication number
JP2012198149A
JP2012198149A JP2011063317A JP2011063317A JP2012198149A JP 2012198149 A JP2012198149 A JP 2012198149A JP 2011063317 A JP2011063317 A JP 2011063317A JP 2011063317 A JP2011063317 A JP 2011063317A JP 2012198149 A JP2012198149 A JP 2012198149A
Authority
JP
Japan
Prior art keywords
image
information
user
reference object
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011063317A
Other languages
English (en)
Other versions
JP5331146B2 (ja
Inventor
Aira Hotta
あいら 堀田
Takeshi Tazaki
豪 田崎
Masahiro Sekine
真弘 関根
Takashi Sasaki
隆 佐々木
Haruhiko Okumura
治彦 奥村
Akihisa Moriya
彰久 森屋
Akira Konno
晃 金野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011063317A priority Critical patent/JP5331146B2/ja
Priority to US13/238,193 priority patent/US9086566B2/en
Publication of JP2012198149A publication Critical patent/JP2012198149A/ja
Application granted granted Critical
Publication of JP5331146B2 publication Critical patent/JP5331146B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/191Highlight information
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)

Abstract

【課題】表示像の奥行きが分かり易い単眼ヘッドマウントディスプレイを提供する。
【解決手段】実施形態によれば、情報取得部と、画像データ生成部と、画像表示部と、を備えた単眼ヘッドマウントディスプレイが提供される。情報取得部は、使用者の周囲にある地面の上に設けられた立体物の位置に関する立体物位置情報と、使用者に対する指示位置に関する指示位置情報と、を取得する。画像データ生成部は、使用者に提供情報を提供するための情報オブジェクトを含む画像データを生成する。画像表示部は、画像データに基づく画像を、実景に重畳して使用者の片目に表示する。画像データ生成部は、情報オブジェクトが立体物に重畳するように画像内に情報オブジェクトを配置してから、情報オブジェクトが指示位置に重畳するように画像内で情報オブジェクトを移動させるように画像データを生成する。
【選択図】図1

Description

本発明の実施形態は、単眼ヘッドマウントディスプレイに関する。
例えば、車載用のディスプレイとして、表示情報をフロントガラスに投影して、外界情報と表示情報とを同時に視認させるヘッドアップディスプレイ(HUD:Head-Up Display)がある。両眼視のHUDにおいては、表示像が2重像となるため、見難い。両眼視認における2重像を防止する目的で片目のみに表示像を呈示する技術がある。また、表示像の奥行き位置を光学的表示位置よりも遠くに見せる目的で片目のみに表示像を提示する技術もある。
一方、使用者の頭部に表示部を装着するヘッドマウントディスプレイ(HMD:Head Mount Display)がある。単眼式のHMDにおいては、表示像の奥行きがどこであるのかが分かりにくい。
特開2006−17626号公報(米国特許出願公開第2008/0091338号明細書)
本発明の実施形態は、表示像の奥行きが分かり易い単眼ヘッドマウントディスプレイを提供する。
本発明の実施形態によれば、情報取得部と、画像データ生成部と、画像表示部と、を備えた単眼ヘッドマウントディスプレイが提供される。前記情報取得部は、使用者の周囲にある地面の上に設けられた立体物の位置に関する立体物位置情報と、前記使用者に対する指示位置に関する指示位置情報と、を取得する。前記画像データ生成部は、前記使用者に提供情報を提供するための情報オブジェクトを含む画像データを生成する。前記画像表示部は、前記画像データ生成部が生成した前記画像データに基づく画像を、実景に重畳して前記使用者の片目に表示する。前記画像データ生成部は、前記情報取得部が取得した前記立体物位置情報及び前記指示位置情報に基づいて、前記情報オブジェクトが前記立体物に重畳するように前記画像内に前記情報オブジェクトを配置してから、前記情報オブジェクトが前記指示位置に重畳するように前記画像内で前記情報オブジェクトを移動させるように前記画像データを生成する。
図1(a)〜図1(c)は、第1の実施形態に係る単眼ヘッドマウントディスプレイの動作を示す模式図である。 第1の実施形態に係る単眼ヘッドマウントディスプレイを示す模式図である。 第1の実施形態に係る単眼ヘッドマウントディスプレイの動作を示す模式図である。 第1の実施形態に係る単眼ヘッドマウントディスプレイの動作を示すフローチャート図である。 図5(a)〜図5(d)は、第1の実施形態に係る単眼ヘッドマウントディスプレイの動作を示す模式図である。 図6(a)〜図6(d)は、第1の実施形態に係る単眼ヘッドマウントディスプレイの動作を示す模式図である。 第2の実施形態に係る別の単眼ヘッドマウントディスプレイを示す模式図である。 第3の実施形態に係る別の単眼ヘッドマウントディスプレイを示す模式図である。 図9(a)〜図9(c)は、第3の実施形態に係る別の単眼ヘッドマウントディスプレイの動作を示す模式図である。 実施形態に係る単眼ヘッドマウントディスプレイの一部の構成を例示する模式図である。
以下に、各実施の形態について図面を参照しつつ説明する。
なお、図面は模式的または概念的なものであり、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
(第1の実施形態)
図1(a)〜図1(c)は、第1の実施形態に係る単眼ヘッドマウントディスプレイの動作を例示する模式図である。
図2は、第1の実施形態に係る単眼ヘッドマウントディスプレイの構成を例示する模式図である。
図2に表したように、本実施形態に係る単眼ヘッドマウントディスプレイ10は、画像表示部110と、画像データ生成部130と、情報取得部170と、を備える。この例では、情報取得部170は、使用者位置取得部140と、立体物位置取得部150と、指示位置取得部160と、を含む。使用者位置取得部140、立体物位置取得部150及び指示位置取得部160は、情報取得部170に含まれる機能ブロックである。これらの位置取得部の少なくとも2つは一体でも良い。
以下では、単眼ヘッドマウントディスプレイ10の使用者100が、移動体510(例えば車両730)に搭乗している場合として説明する。
画像表示部110は、実景801に重畳して使用者100の片眼101に画像を表示する。画像表示部110は、使用者100の頭部105に装着される。画像表示部110は、例えば、LCDなどのような画像表示装置(図示しない)と、画像表示装置から出射した光を反射して片眼101に入射させる反射部(図示しない)を含む。反射部は、反射性と透過性とを有している。使用者100は、反射部により反射した光に含まれる画像と、実景801と、を同時に観視できる。
画像データ生成部130は、画像表示部110で表示する画像のデータを生成する。すなわち、画像データ生成部130は、使用者100に提供情報を提供するための情報オブジェクトを含む画像データを生成する。情報オブジェクトについては後述する。画像データ生成部130には、例えば、画像に関する演算を行う演算装置などが用いられる。画像データ生成部130には、例えば、半導体装置などが用いられる。画像データ生成部130には、必要に応じて、種々のデータを格納する記憶部が付設されても良い。
上記の画像表示部110は、実景に重畳して使用者100の片目に、画像データ生成部130が生成した画像データに基づく画像を表示する。
使用者位置取得部140は、使用者100の位置に関する情報(使用者位置情報)を取得する。使用者位置取得部140は、例えばGPSシステムなどによって得られた使用者位置情報を取得する。例えば、車両730にGPS装置が搭載され、GPS装置によって使用者100(車両730)の位置が検出される。そして、使用者位置取得部140は、GPS装置から使用者100の位置に関する使用者位置情報を取得する。また、使用者位置取得部140が、例えばGSP機能を有していても良い。
立体物位置取得部150は、使用者100の周囲にある地面の上に設けられた立体物の位置に関する立体物位置情報を取得する。例えば、立体物位置取得部150は、使用者100の周囲に関する周囲情報を取得する。立体物位置取得部150は、例えば、使用者100の周囲の前方の実景801に関する情報を取得する。
例えば、立体物位置取得部150は、使用者100の周囲の領域を含む地図情報を周囲情報として取得することができる。例えば、立体物位置取得部150は、メモリに格納された地図情報をメモリから取得する。例えば、立体物位置取得部150は、車両730の外部から任意の通信手段を介して地図情報を取得することができる。例えば、立体物位置取得部150は、地図情報を格納するメモリを内蔵していても良い。
さらに、立体物位置取得部150は、使用者100の周囲の地面の上に設けられた複数の立体物などに関する情報を周囲情報の一部として取得することができる。例えば、立体物位置取得部150は、地図情報と共に格納されている立体的な映像情報を取得する。立体的な映像情報は、例えば、近い立体物は大きく表示され、遠い立体物は小さく表示されるような遠近法による映像情報を含む。このような立体的な映像情報から、使用者100の周囲の地面の上に設けられた複数の立体物などに関する情報を取得できる。
また、立体物位置取得部150は、撮像機能を有することができる。例えば、立体物位置取得部150は、使用者100の周囲を撮像し、この撮像データから使用者100の周囲の地面の上に設けられた複数の立体物などに関する情報を取得することができる。
指示位置取得部160は、使用者100に対する指示位置に関する指示位置情報を取得する。指示位置は、使用者100に認知させる位置であり、例えば、進行方向を変更すると予想される地点の位置や、進行する際に参考とする目印などの地点の位置などである。
このように、情報取得部170は、使用者100の周囲にある地面の上に設けられた立体物の位置に関する立体物位置情報と、使用者100に対する指示位置に関する指示位置情報と、を取得する。前者は、例えば、立体物位置取得部150により実施される。後者は、指示位置取得部160によって実施される。立体物及び指示位置については後述する。
画像データ生成部130、及び、情報取得部170などは、車両730の例えばダッシュボード720の内部などに格納される。ただし、画像データ生成部130、及び情報取得部170が設けられる位置は任意である。
ここで、説明の便宜上、使用者100の後ろから前に向かう方向(例えば車両730の後ろから前に向かう方向)をZ軸方向とする。使用者100の左から右に向かう方向をX軸方向とする。使用者100の下から上に向かう方向をY軸方向とする。
図1(a)〜図1(c)は、使用者100が知覚する像を模式的に示している。すなわち、これらの図は、単眼ヘッドマウントディスプレイ10(画像表示部110)が表示する画像301と、実景801と、を同時に観視したときの像を例示している。
画像表示部110が表示する画像は、基準オブジェクト310と、情報オブジェクト320と、を含む。
図1(a)〜図1(c)には、基準オブジェクト310が例示されている。図1(b)には、後述する第1状態における情報オブジェクト320がさらに例示されている。図1(c)には、後述する第2状態における情報オブジェクト320がさらに例示されている。
図1(a)に表したように、画像表示部110が表示する画像301内に、基準オブジェクト310が表示される。基準オブジェクト310は、実景801に重畳されて知覚される。基準オブジェクト310は、使用者100からみたときの奥行きに関する基準となる。この例では、基準オブジェクト310の形状は円形であるが、基準オブジェクト310の形状及び色などは任意である。
図1(b)及び図1(c)に表したように、画像301内に、さらに情報オブジェクト320が表示される。情報オブジェクト320は、実景801に重畳されて知覚される。情報オブジェクト320は、使用者100に提供する提供情報を含む。この例では、情報オブジェクト320は、進行すると予想される方向(進行方向)を示す矢印が用いられている。進行すると予想される方向(進行方向)は、例えば、ナビゲーションシステムにより定められた進行経路に基づいて、使用者100の現在地点における進行すべき方向に対応する。この例では、情報オブジェクト320は、矢印の形状を有しているが、情報オブジェクト320の形状は、使用者100に与える情報に適合する適切な形状を有することができる。すなわち、実施形態において、情報オブジェクト320の形状は任意である。
情報オブジェクト320で提供しようとしている提供状況に対応する実景の位置が、指示位置となる。例えば、情報オブジェクト320が進行方向を変化させる矢印である場合、進行方向を変化させる交差点の実景の位置が、指示位置となる。
図1(a)に表したように、立体物位置取得部150は、取得した周囲情報などに基づいて、使用者100の周囲の地面の上に設けられた立体物809の位置に関する立体物位置情報を取得する。具体的には、立体物位置取得部150は、使用者100の周囲の地面の上に設けられた複数の立体物809のうちから、使用者100からみたときの奥行きに関する基準となる基準物810を選択する。基準物810は、例えば建物(ビルディングなど)の壁面などである。
画像データ生成部130は、使用者100からみて、基準物810の位置に重畳するように画像301内に基準オブジェクト310を配置する。すなわち、画像データ生成部130は、使用者100からみて、基準物810の位置に重畳するように基準オブジェクト310に関する画像データを生成する。
図1(b)及び図1(c)に表したように、画像データ生成部130は、上記の周囲情報と、使用者位置取得部140で取得した使用者100の位置と、に基づいて、使用者100からみて、提供情報に関係する実景801のターゲット位置820に重畳するように情報オブジェクト320を画像301内に配置する。すなわち、画像データ生成部130は、使用者100からみて、ターゲット位置820に重畳するように情報オブジェクト320に関する画像データを生成する。
ターゲット位置820は、情報オブジェクト320に含まれる提供情報が使用者100によって知覚されるべき実景801内の位置である。この例では、このターゲット位置820が、指示位置に対応する。例えば、情報オブジェクト320が進行方向を変更する地点(交差点など)における進行方向を示す場合は、ターゲット位置820は、進行方向を変更する地点である。情報オブジェクト320をターゲット位置820に重畳することで、使用者100は、例えば進行方向を変更する地点を認識でき、その地点での進行すべき方向が分かる。
図1(b)は、使用者100からみて、ターゲット位置820が基準物810よりも近い第1状態ST1における情報オブジェクト320を例示している。
図1(c)は、使用者100からみて、ターゲット位置820が基準物810よりも遠い第2状態ST2における情報オブジェクト320を例示している。
これらの図に例示したように、第1状態ST1における情報オブジェクト320の大きさは、第2状態ST2における情報オブジェクト320の大きさとは異なる。一方、第1状態ST1における基準オブジェクト310の大きさは、第2状態ST2における基準オブジェクト310の大きさと同じである。このように、第1状態ST1と第2状態ST2とで、情報オブジェクト320の大きさと基準オブジェクト310の大きさとの間の相対的な関係が変更される。
すなわち、図1(b)に表したように、画像データ生成部130は、使用者100からみてターゲット位置820が基準物810よりも近い第1状態ST1においては、画像301内における基準オブジェクト310の大きさよりも情報オブジェクト320の大きさを大きくする。
図1(c)に表したように、画像データ生成部130は、使用者100からみてターゲット位置820が基準物810よりも遠い第2状態ST2においては、画像301内における基準オブジェクト310の大きさよりも情報オブジェクト320の大きさを小さくする。
図3は、第1の実施形態に係る単眼ヘッドマウントディスプレイの動作を例示する模式図である。
図3は、使用者100頭上からみたときの使用者100と周囲との位置関係を例示している。図3に例示したように、実景801として道がある。道には交差点がある。実景801として、複数の立体物809から選択された基準物810(例えば建物の壁面)がある。
図3に表したように、使用者100(例えば片眼101)の位置と基準物810との間の距離を基準物距離310Lとする。使用者100の位置とターゲット位置820との間のターゲット距離320Lとする。
図3に表したように、第1状態ST1においては、ターゲット距離320L(ターゲット距離320La)が基準物距離310Lよりも短い。第2状態ST2においては、ターゲット距離320L(ターゲット距離320Lb)が基準物距離310Lよりも長い。
第1状態ST1のときは、画像301内における基準オブジェクト310の大きさよりも情報オブジェクト320aの大きさが大きい。基準オブジェクト310の大きさは、例えば基準オブジェクト310のX軸方向に沿った幅310Wである。情報オブジェクト320aの大きさは、例えば情報オブジェクト320aのX軸方向に沿った幅320Waである。第1状態ST1のときは、基準オブジェクト310の幅310Wよりも、情報オブジェクト320aの幅320Waが大きい(広い)。基準オブジェクト310の大きさは、例えば基準オブジェクト310のY軸方向に沿った幅でも良い。情報オブジェクト320aの大きさは、例えば情報オブジェクト320aのY軸方向に沿った幅でも良い。例えば、基準オブジェクト310のY軸方向に沿った幅よりも、情報オブジェクト320aのY軸方向に沿った幅が大きくされる。
第2状態ST2のときは、画像301内における基準オブジェクト310の大きさよりも情報オブジェクト320bの大きさが小さい。情報オブジェクト320bの大きさは、例えば情報オブジェクト320bのX軸方向に沿った幅320Wbである。第2状態ST2のときは、基準オブジェクト310の幅310Wよりも、情報オブジェクト320bの幅320Wbが小さい(狭い)。例えば、基準オブジェクト310のY軸方向に沿った幅よりも、情報オブジェクト320bのY軸方向に沿った幅が小さくされる。
このように、画像データ生成部130は、使用者100の位置と基準物810の位置との間の基準物距離310Lと、使用者100の位置とターゲット位置820との間のターゲット距離320Lと、に基づいて、以下を実施する。
図3(及び図1(b))に表したように、画像データ生成部130は、ターゲット距離320Lが基準物距離310Lよりも短いとき(第1状態ST1のとき)は、画像301内における基準オブジェクト310の大きさよりも情報オブジェクト320の大きさを大きくする。
図3(及び図1(c))に表したように、画像データ生成部130は、ターゲット距離320Lが基準物距離310Lよりも長いとき(第2状態ST2のとき)は、画像301内における基準オブジェクト310の大きさよりも情報オブジェクト320の大きさを小さくする。
これにより、表示像の奥行き(知覚される表示像の奥行き位置と実景801との奥行きとの関係)が分かり易い単眼ヘッドマウントディスプレイが提供できる。
すなわち、奥行きの基準となる基準物810に、基準オブジェクト310を重畳して表示し、情報オブジェクト320の大きさと基準オブジェクト310の大きさとの相対関係を変えることで、情報オブジェクト320の知覚される奥行き位置を高い精度で制御できる。
発明者の実験によると、背景(実景801)に表示像と重畳するもの(物体)がない場合は、情報オブジェクト320の大きさを変えると、情報オブジェクト320の奥行き位置が変わったと知覚する被験者と、情報オブジェクト320の奥行き位置が変わらず大きさが変わったと知覚する被験者と、がいることが判明した。奥行き位置が変わったと知覚するか、情報オブジェクト320の大きさが変わったと知覚するかは、被験者ごとに異なる。すなわち、背景(実景801)に表示像と重畳する(交差する)ものがない場合は、知覚する奥行き位置が個人で異なる。
両眼で像を観視する場合は、例えば両眼視差などにより、奥行き情報が得られる。しかしながら、単眼で観視した場合は、両眼視差がないため、奥行き情報が得られない。このため、大きさの異なる情報オブジェクト320を観視したときに、情報オブジェクト320の奥行きが異なると知覚するか、情報オブジェクト320の大きさが異なると知覚するか、どちらになるかは定まらない。
一方、発明者の実験によると、被験者から見て地面の上に設けられている建物などの壁面に重畳して像を表示すると、被験者は、その像の奥行き位置をその壁面の位置であると知覚し易いことが分かった。すなわち、建物などの壁面に重畳して表示した像は、奥行きの基準となる。この像が、基準オブジェクト310となる。
このように、背景に表示像と重畳するものがない場合は、知覚する奥行き位置が個人で異なるが、背景に表示像と重畳するものがあると、その地点をその表示像の奥行き位置と認識する。特に、壁などの立体物809に表示像が重畳されると、その立体物809の位置を表示像の奥行き位置と認識する程度が高い。
さらに、発明者の実験によると、建物などの壁面に重畳させて表示した基準像(基準オブジェクト310)と共に、別の像(情報オブジェクト320)を表示すると、その像の大きさと基準像の大きさとの相対関係に応じて、その像の知覚される奥行きが変化することが分かった。すなわち、基準像と共に大きさを変えた像を表示すると、大きさが変化したと知覚されず、奥行き位置が変わったと知覚され易いことが判明した。
このように、地面の上に設けられている建物などの壁面に重畳して基準像(基準オブジェクト310)を表示すると、基準像の奥行き位置が固定され易い。さらに、壁面に重畳させて表示した基準像(基準オブジェクト310)の大きさとの相対関係を変えることで、像(情報オブジェクト320)の知覚される奥行き(大きさではなく)が変化する。
この現象は、今まで知られていない。さらに、単眼視におけるこのような特殊な現象を利用して表示を行うことは行われていない。
実施形態に係る単眼ヘッドマウントディスプレイ10においては、発明者が行った独自の実験により見出された上記の現象が利用される。これにより、表示像の奥行きが分かり易い単眼ヘッドマウントディスプレイが提供できる。
このように、実施形態においては、新たに見出された上記の現象を応用することで、表示するオブジェクトの奥行き位置が分かり易いAR(Augmented Reality)表示が行われる。
基準オブジェクト310の大きさ及び情報オブジェクト320の大きさは、例えば遠近法に基づいて設定することができる。
例えば、基準オブジェクト310の大きさ(例えばX軸方向に沿った幅)に対する情報オブジェクト320の大きさ(例えばX軸方向に沿った幅)の比は、基準物距離310L(使用者100の位置と基準物810の位置との間の距離)に対するターゲット距離320L(使用者100の位置とターゲット位置820との間の距離)の比と実質的に同じに設定される。
ただし、これらの比は厳密に同じでなくても良い。すなわち、使用者100にとって、ターゲット位置820(例えば進行方向を変化させる交差点の位置)が、基準物810よりも近いか遠いかが把握できることが、実用的に十分な場合がある。
このため、ターゲット距離320Lが基準物距離310Lよりも短いときに、基準オブジェクト310の大きさよりも情報オブジェクト320の大きさを大きくし、ターゲット距離320Lが基準物距離310Lよりも長いときに、基準オブジェクト310の大きさよりも情報オブジェクト320の大きさを小さくすることで、実用的な奥行きが把握できる。
例えば、基準オブジェクト310のX軸方向に沿った幅に対する情報オブジェクト320のX軸方向に沿った幅の比の基準物距離310Lに対するターゲット距離320Lの比に対する比は、例えば、0.2以上5以下程度とされる。
図4は、第1の実施形態に係る単眼ヘッドマウントディスプレイの動作を例示するフローチャート図である。
図4に表したように、単眼ヘッドマウントディスプレイ10においては、使用者100の位置に関する情報(使用者位置情報)を取得する(ステップS110)。この動作は、使用者位置取得部140によって実施される。
さらに、周囲情報を取得する(ステップS120)。例えば、使用者100の周囲の地図情報を情報を取得する(ステップS121)。例えば、使用者100の前方の状況に関する情報を取得する(ステップS122)。例えば、使用者100の位置に関する情報に基づいて、地図情報に含まれる立体的な映像情報を取得する。また、使用者100の周囲(例えば前方)を撮像し、この撮像データを取得する。これにより、使用者100の周囲の地面の上に設けられた複数の立体物809などに関する情報を取得できる。
そして、複数の立体物809などに関する情報に基づいて、使用者100の周囲の地面の上に設けられた複数の立体物809のうちから、使用者100からみたときの奥行きに関する基準となる基準物810を選択する(ステップS130)。そして、立体物809(基準物810)の位置に関する立体物位置情報(例えば基準物810と使用者100との位置関係や距離など)が取得される。ステップS120及びステップS130の動作は、例えば、情報取得部170(具体的には例えば立体物位置取得部150)によって実施される。
実施形態においては、奥行きに関する基準となる基準物810として、背景の実空間内の奥行きが推定し易いものが利用される。例えば、単眼ヘッドマウントディスプレイ10が表示する表示領域に重畳される実空間内の立体物809が基準物810として用いられる。複数の立体物809のうちで、特に建物の壁などを基準物810として用いることが望ましい。建物の壁などの奥行き位置は、推定し易い。このため、基準物810として建物の壁を用いることで、使用者100からみたときの奥行きの知覚位置が安定する。
例えば、取得した(または保存している)地図情報と、使用者100の位置情報と、から、奥行きの基準物810の候補として、複数の立体物809を選択する。立体物809は、例えば、構造物であり、例えば建物である。この複数の立体物809のなかから基準物810を選定する。例えば、撮像部(外界カメラなど)により使用者100の前方情報を取得する。または、地図情報に含まれる立体的な映像情報を取得し、使用者100の前方情報を取得する。これらの方法などによって得られた前方情報に基づいて、選択された候補(立体物809)のなかから、立体物809の特性(位置、距離、テクスチャ、大きさなど)を総合的に判断して、奥行きの基準物810を決定する。
そして、使用者100からみて基準物810の位置に重畳するように画像301内に基準オブジェクト310を配置する(ステップS140)。この動作は、例えば、画像データ生成部130によって実施される。
すなわち、使用者100の頭部105の位置(画像表示部110の位置)に基づいて、使用者100の片眼101の位置からみて基準オブジェクト310が基準物810と重畳するように、基準オブジェクト310の画像301内の位置を定める。
そして、周囲情報と、使用者位置取得部で取得した使用者100の位置と、に基づいて、使用者100からみて、実景801のターゲット位置820に重畳するように情報オブジェクト320を画像301内に配置する(ステップS150)。
すなわち、使用者100の頭部105の位置(画像表示部110の位置)に基づいて、使用者100の片眼101の位置からみて情報オブジェクト320がターゲット位置820と重畳するように、情報オブジェクト320の画像301内の位置を定める。
そして、基準オブジェクト310及び情報オブジェクト320を含む画像データが生成される。この動作は、例えば、画像データ生成部130で実施される。
画像データに基づいて画像を表示する(ステップS160)。この動作は、例えば、画像表示部110によって実施される。
これにより、表示像の奥行きが分かり易い表示が実施できる。
なお、図1(a)に表したように、基準オブジェクト310を配置(ステップS140)し、画像データに基づいて画像を表示(ステップS160)しても良い。すなわち、所定の時間、情報オブジェクト320を表示せずに基準オブジェクト310を表示しても良い。そして、所定の時間が経過した後に、図1(b)または図1(c)に例示したように、基準オブジェクト310と共に情報オブジェクト320を表示しても良い。
奥行きの基準となる基準物810のテクスチャが複雑だと、基準オブジェクト310を基準物810に重畳したときに基準オブジェクト310が見難くなる。このため、基準物810としては、テクスチャが単純なものを選択するのが望ましい。
例えば、情報取得部170(例えば立体物位置取得部150)が取得する周囲情報は、複数の立体物809のそれぞれの画像情報を含むことができる。情報取得部170は、複数の立体物809のそれぞれの画像情報に基づいて、複数の立体物809のそれぞれのテクスチャを求める。そして、情報取得部170は、複数の立体物809のなかから、相対的に均一なテクスチャを有する立体物809を基準物810として選択する。テクスチャの均一さとして、例えば、立体物809の画像の輝度変化を用いることができる。
例えば、情報取得部170は、複数の立体物809のそれぞれの画像情報に基づいて、複数の立体物809のそれぞれの画像情報に含まれる輝度変化を算出する。そして、情報取得部170は、複数の立体物809のなかから算出された輝度変化が小さい立体物809を基準物810として選択する。すなわち、相対的に均一なテクスチャとして、例えば、相対的に輝度変化が小さいテクスチャを用いることができる。
これにより、テクスチャが単純な立体物809が基準物810として選択される。これにより、基準物810に重畳して表示される基準オブジェクト310が見易くなる。
基準物810の選択において、使用者100と基準物810との距離が過度に離れていると、基準物810の奥行き位置が分かりにくい。その結果、基準オブジェクト310の奥行き位置が分かり難くなる。このため、実施形態においては、立体物809のうちで、使用者100と基準物810との距離が予め定められた値以下のものが、基準物810として選択されることが望ましい。
例えば、使用者100の位置と基準物810の位置との距離は、例えば200メートル(m)以下とされる。使用者100の位置と基準物810の位置との距離は、例えば100m以下であることがさらに望ましい。
すなわち、情報取得部170の基準物810の選択は、基準物810の位置と使用者100の位置との間の距離が予め定められた長さ以下であるように基準物810を選択することを含むことができる。
なお、使用者100と基準物810との距離(予め定められた距離)は、使用者100の移動速度(例えば車両730の速度)に応じて変更することができる。例えば、車両730の速度が高いときの使用者100と基準物810との距離は、車両730の速度が低いときの使用者100と基準物810との距離よりも長く設定される。
情報取得部170は、基準物810の位置と使用者100の位置との間の距離を、情報取得部170が取得した周囲情報と、使用者100との位置と、に基づいて導出することができる。
また、情報取得部170は、基準物810の位置と使用者100の位置との間の距離を、情報取得部170で取得した周囲情報(例えば撮像データや距離測定データなど)に基づいて導出することができる。
図5(a)〜図5(d)は、第1の実施形態に係る単眼ヘッドマウントディスプレイの動作を例示する模式図である。
これらの図は、使用者100からみてターゲット位置820が基準物810よりも近い第1状態ST1の場合の単眼ヘッドマウントディスプレイ10の動作の例を表している。図5(a)は、ある時刻(時刻t1)の表示状態を表している。図5(b)は、図5(a)よりも後の時刻t2の表示状態を表している。図5(c)は、図5(b)よりも後の時刻t3の表示状態を表している。図5(d)は、図5(c)よりも後の時刻t4の表示状態を表している。
図5(d)に表したように、時刻t4においては、情報オブジェクト320が、使用者100からみてターゲット位置820に重畳するように画像301内に配置される。
そして、図5(a)〜図5(c)に表したように、時刻t4の前の時刻t1〜t3においては、中間情報オブジェクト320t1〜320t3が表示される。中間情報オブジェクト320t1〜320t3は、基準オブジェクト310の表示位置と、情報オブジェクト320の表示位置と、の間に表示される。
例えば、情報オブジェクト320が、基準物810に重畳される位置(基準オブジェクト310の位置)からターゲット位置820に重畳される位置まで移動しているように見える。
また、中間情報オブジェクト320t1〜320t3の表示の状態を変えると、情報オブジェクト320が移動しているのではなく、基準物810に重畳される位置からターゲット位置820に重畳される位置までの間に別のオブジェクトが表示されているようにも見える。
中間情報オブジェクト320t1〜320t3の大きさは、基準物810に重畳される位置からターゲット位置820に重畳される位置に向かうに従って大きくなるように設定されることが望ましい。
このように、画像データ生成部130は、情報オブジェクト320を画像301内に配置する際に、使用者100からみて基準物810の位置に重畳する画像301内の位置から、使用者100からみてターゲット位置820に重畳される画像301内の位置に向かう方向に沿って情報オブジェクト320を移動させる。そして、この移動の後に、情報オブジェクト320を使用者100からみてターゲット位置820に重畳される画像301内の位置に配置する。
このように、画像データ生成部130は、情報取得部170が取得した立体物位置情報及び指示位置情報に基づいて、情報オブジェクト320が立体物に重畳するように画像内に情報オブジェクト320を配置してから、情報オブジェクト320が指示位置(例えばターゲット位置820)に重畳するように画像内で情報オブジェクト320を移動させるように画像データを生成する。
また、画像データ生成部130は、情報オブジェクト320を画像301内に配置する際に、使用者100からみて基準物810の位置に重畳される画像301内の位置と、使用者100からみてターゲット位置820に重畳される画像301内の位置と、を結ぶ線分に沿って配置された中間情報オブジェクト320t1〜320t3に関するデータをさらに生成することができる。
これにより、情報オブジェクト320と基準オブジェクト310との位置関係がより分かり易くなる。
上記のような動作は、第2状態ST2においても実施できる。
図6(a)〜図6(d)は、第1の実施形態に係る単眼ヘッドマウントディスプレイの動作を例示する模式図である。
これらの図は、基準オブジェクト310を表示する際の動作の例を示している。図6(a)〜図6(d)は、時刻t5〜時刻t8の表示状態をそれぞれ表している。時刻t5〜時刻t8は、この順で後の時刻である。
図6(d)に表したように、時刻t8においては、基準オブジェクト310が、使用者100からみて基準物810に重畳するように画像301内に配置される。
そして、図6(a)〜図6(c)に表したように、時刻t8の前の時刻t5〜t7においては、中間基準オブジェクト310t5〜310t7が表示される。中間基準オブジェクト310t5〜310t7は、基準オブジェクト310の表示位置と、画像301内の特定のスタート位置310sと、の間に表示される。
画像301内の特定のスタート位置310sは、使用者100からみて、使用者100の位置に相当する。スタート位置310sは、画像301内の下側部分あって、画像301内の左右方向の中央部分に配置される。
例えば、基準オブジェクト310が、スタート位置310sから基準物810に重畳される位置(基準オブジェクト310が重畳されるべき位置)まで移動しているように見える。
また、中間基準オブジェクト310t5〜310t7の表示の状態を変えると、基準オブジェクト310が移動しているのではなく、スタート位置310sから基準物810に重畳される位置までの間に別のオブジェクトが表示されているようにも見える。
中間基準オブジェクト310t5〜310t7の大きさは、スタート位置310sから基準物810に重畳される位置に向かうに従って小さくなるように設定されることが望ましい。
このように、画像データ生成部130は、基準オブジェクト310を画像301内に配置する際に、画像301内のスタート位置310sから、使用者100からみて基準物810の位置に重畳される画像301内の位置に向けた方向に沿って基準オブジェクト310を移動させる。そして、この移動の後に、基準オブジェクト310を使用者100からみて基準物810の位置に重畳される画像301内の位置に配置する。
また、画像データ生成部130は、基準オブジェクト310を画像301内に配置する際に、画像301内のスタート位置310sと、使用者100からみて基準物810の位置に重畳される画像301内の位置と、を結ぶ線分に沿って配置された中間基準オブジェクト310t5〜310t7に関するデータをさらに生成する。
このように、使用者100の前の位置に重畳される画像301内の位置(スタート位置310s)から、基準物810に重畳ざれる画像301内の位置(基準オブジェクト310の表示位置)まで、基準オブジェクト310が移動する。または、それら地点の間に基準オブジェクト310に相当する中間基準オブジェクト310t5〜310t7を表示する。
このように、動的遠近法を用いて基準オブジェクト310を表示することで、基準オブジェクト310の奥行き距離をより正確に認識させることができる。
これにより、奥行きの基準位置(基準物810の奥行きの位置)が分かりにくい場合などにおいても、基準オブジェクト310の奥行き距離をより正確に認識させることができる。
上記のような動作は、第2状態ST2においても実施できる。
(第2の実施形態)
図7は、第2の実施形態に係る単眼ヘッドマウントディスプレイの構成を例示する模式図である。
図7に表したように、本実施形態に係る単眼ヘッドマウントディスプレイ10aにおいては、情報取得部170は、地図情報取得部151と、前方情報取得部152と、を含む。
地図情報取得部151は、使用者100の周囲の地図情報を取得する。地図情報取得部151は、地図情報を格納する記憶部を含んでも良く、地図情報取得部151は、この記憶部から地図情報を読み出すことにより地図情報を取得する。または、地図情報取得部151は、地図情報取得部151の外部から任意の通信方法により地図情報を取得する。
そして、情報オブジェクト320の配置は、取得された地図情報に基づいて、使用者100からみて、ターゲット位置820(情報オブジェクト320が提供する提供情報に関係する実景801の位置)に重畳するように情報オブジェクト320を画像301内に配置することを含む。
前方情報取得部152は、例えば、使用者100の周囲の実景801を撮像し、撮像データを基に、使用者100の周囲の情報を取得する。これにより、立体物809に関する情報が取得される。
情報取得部170は、使用者100の周囲の実景801に関する撮像データを周囲情報として取得する。これには、前方情報取得部152が用いられる。そして、基準物810の選択は、この撮像データに基づいて選択することを含む。
なお、例えば、地図情報が、使用者100の周囲の立体的な映像情報を含む場合は、前方情報取得部152は省略される。
地図情報取得部151により取得された地図情報は、例えば、使用者位置取得部140、立体物位置取得部150及び指示位置取得部160の少なくともいずれかに供給される。前方情報取得部152で取得された情報は、例えば、使用者位置取得部140、立体物位置取得部150及び指示位置取得部160の少なくともいずれかに供給される。
この場合には、情報取得部170(立体物位置取得部150)は、使用者100の周囲を含む領域に関する地図情報に付随する複数の立体物809に関するデータを取得する。そして、基準物810の選択は、地図情報に付随する複数の立体物809に関するデータに基づいて選択することを含む。
(第3の実施形態)
図8は、第3の実施形態に係る単眼ヘッドマウントディスプレイの構成を例示する模式図である。
図8に表したように、本実施形態に係る別の単眼ヘッドマウントディスプレイ11は、検出部180をさらに備える。検出部180は、使用者100の頭部105の位置(例えば頭部105の位置の動き)を検出する。
画像データ生成部130は、検出部180で検出された頭部105の動き(位置の変化)に応じて、画像301内の基準オブジェクト310の位置及び情報オブジェクト320の位置を補正する。
図9(a)〜図9(c)は、第3の実施形態に係る単眼ヘッドマウントディスプレイの動作を例示する模式図である。
図9(a)は、使用者100が、画像301を実景801に重畳して観視したときの像の例を表している。図9(b)は、使用者100のピッチ角が図9(a)の状態とは異なるときの像の例を表している。図9(a)のピッチ角の状態を第3状態ST3とする。図9(b)のピッチ角の状態を第4状態ST4とする。図9(c)は、第3状態ST3における画像301と、第4状態ST4における画像301と、を例示している。
図9(a)に表したように、第3状態ST3においては、使用者100が実景801を観視したときに、例えば、画像301の中央部分(画像301の外形である枠の中央部分)にターゲット位置820を知覚する。
図9(b)に表したように、第3状態ST3とはピッチ角が異なる第4状態ST4においては、使用者100が実景801を観視したときに、例えば、画像301の下側部分にターゲット位置820を知覚する。
このように、例えばピッチ角が変化すると、画像301と重畳される実景801の相対的な位置が変動する。
このとき、図9(c)に表したように、ピッチ角の変化に応じて、画像301内における基準オブジェクト310の位置及び情報オブジェクト320の位置が移動される。
これにより、図9(a)及び図9(b)に表したように、ピッチ角が変化したときも、基準オブジェクト310は基準物810の位置に重畳され、情報オブジェクト320はターゲット位置820に重畳される。
上記は、ピッチ角の変化に応じた動作であるが、実施形態はこれに限らない。例えば、ピッチ角、ヨー角及びロール角の少なくともいずれかの変化に応じて応して表示位置を制御しても良い。
すなわち、画像データ生成部130は、検出部180で検出された頭部105の位置の変化に応じて、基準オブジェクト310の画像301内における位置と情報オブジェクト320の画像301内における位置とを、基準オブジェクト310が基準物810の位置に重畳するように、及び、情報オブジェクト320がターゲット位置820に重畳するように補正する。
例えば、第1状態ST1においては、基準オブジェクト310の画像301内における位置の変化量よりも、情報オブジェクト320の画像301内における位置の変化量が大きくされる。そして、第2状態ST2においては、基準オブジェクト310の画像301内における位置の変化量よりも、情報オブジェクト320の画像301内における位置の変化量が小さくされる。
上記の動作により、頭部105の位置が変化した場合も、表示像の奥行きが分かり易くなる。
特に、ピッチ角が変化した場合は、表示像(例えば基準オブジェクト310及び情報オブジェクト320など)と実景801との関係が、上下方向でずれる。上下方向にずれた場合は、表示像(例えば基準オブジェクト310及び情報オブジェクト320など)の奥行き方向が変化したのか、地面からの高さが変化したのかが分かりにくい。これに対し、上記のように、ピッチ角に応じて表示像の位置を補正することで、表示像の奥行きが分かり易くなる。
例えば、図4に関して説明した動作の基準オブジェクト310の配置(ステップS140)において、上記の補正が行われる。そして、情報オブジェクト320の配置(ステップS150)において、上記の補正が行われる。
例えば、頭部105の位置の移動量に関して基準値が予め定められる。例えば、検出部180で実際に検出した頭部105の位置の移動量がその基準値を超える場合に、上記の補正が行われる。これにより、データ処理の効率が向上する。
実施形態においては、映像中に奥行きの基準となる基準オブジェクト310が表示され、その奥行き位置を認識させることにより、情報オブジェクト320が背景上の奥行き手がかりのないところに表示されても、その奥行き位置を認識することが可能になる。
このときの奥行き手がかりは、遠近法に基づく表示物の大きさである。特に、基準オブジェクト310の位置から情報オブジェクト320を動的遠近法を用いて移動させ、その軌跡を認識させることにより、情報オブジェクト320の奥行き位置が分かり易くなる。
そして、使用者100の頭部105の動きに応じて表示位置を変化させることで、基準オブジェクト310及び情報オブジェクト320を所望の背景の位置に重畳させることができる。これにより、使用者100の頭部105が例えば上下に移動しても、知覚される奥行き位置が変化しない。
実施形態は、例えば車両730などの経路案内(ナビゲーション)への応用が適していある。なお、ナビゲーションに応用する場合は、情報オブジェクト320の表示において、ナビゲーションの情報に基づく形状の情報オブジェクト320が生成される。なお、ナビゲーションの経路生成を行う部分は、単眼ヘッドマウントディスプレイに内蔵されても良く、また、単眼ヘッドマウントディスプレイとは別に設けられても良い。
図10は、実施形態に係る単眼ヘッドマウントディスプレイの一部の構成を例示する模式図である。
すなわち、同図は、上記の第1〜第3の実施形態に係る単眼ヘッドマウントディスプレイに用いられる画像表示部110の例を示している。この例では、画像表示部110として、レーザ走査型の網膜直描ディスプレイが用いられている。
図10に表したように、画像表示部110は、画像エンジン112と、光学素子113と、を含む。この例では、画像エンジン112は、光源111(青色光源111B、緑色光源111G及び赤色光源111R)と、光スイッチ112aとを含む。この例では、光学素子113は、接眼光学系113aと、コンバイナ113bと、を含む。
青色光源111B、緑色光源111G及び赤色光源111Rには、それぞれ青色レーザ、緑色レーザ及び赤色レーザのそれぞれが用いられる。光スイッチ112aには、例えば、MEMS(Micro Electro Mechanical Systems)スキャナが用いられる。
光源111から、映像信号に応じて輝度調整された光が出力される。光源111から出力された光は、MEMESデバイスの反射面に入射する。MEMSスキャナは、入射した光の方向を変える。MEMSスキャナで反射した光は、水平及び垂直方向に沿ってスキャンされる。これにより画像が形成される。
光の光路上において、MEMSスキャナと使用者100との間に光学素子113が設けられる。光学素子113は、スキャンされた光を使用者100の片眼101に入射させる。この例では、MEMSスキャナと使用者100との間に接眼光学系113aが設けられ、接眼光学系113aと使用者100との間にコンバイナ113bが設けられる。接眼光学系113aには、例えばリレー光学系などが用いられる。コンバイナ113bは、使用者100の片眼101の前に配置される。
画像エンジン112から出射した、画像を含む光は、接眼光学系113aを介してコンバイナ113bに入射し、コンバイナ113bで反射した光が片眼101に入射する。この光により、片眼101の網膜面に映像を表示させる。
コンバイナ113bは、光源から出射する光の波長の光を反射させる反射膜を含むことが望ましい。使用者100は、コンバイナ113bを通して、実空間の像と、画像表示部110により表示される映像と、両方を見ることができる。これにより、映像が実空間に重なって見える。
なお、接眼光学系113aは、コンバイナ113bの機能を有していても良く、コンバイナ113bが接眼光学系113aの機能を有していても良い。例えば、光学素子113として、光学パワーを有するコンバイナを用いても良い。
画像エンジン112及び光学素子113は、例えば、一体化される。画像表示部110は、使用者100の頭部105に固定される固定部などを含むことができる。これにより、画像表示部110は、使用者100の頭部105に固定される。
実施形態によれば、表示像の奥行きが分かり易い単眼ヘッドマウントディスプレイが提供される。
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の実施形態は、これらの具体例に限定されるものではない。例えば、単眼ヘッドマウントディスプレイに含まれる画像表示部、画像データ生成部、情報取得部、使用者位置取得部、立体物位置取得部、指示位置取得部及び検出部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
また、各具体例のいずれか2つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
その他、本発明の実施の形態として上述した単眼ヘッドマウントディスプレイを基にして、当業者が適宜設計変更して実施し得る全ての単眼ヘッドマウントディスプレイも、本発明の要旨を包含する限り、本発明の範囲に属する。
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10、10a、11…単眼ヘッドマウントディスプレイ、 100…使用者、 101…片眼、 105…頭部、 110…画像表示部、 111…光源、 111B…青色光源、 111G…緑色光源、 111R…赤色光源、 112…画像エンジン、 112a…光スイッチ、 113…光学素子、 113a…接眼光学系、 113b…コンバイナ、 130…画像データ生成部、 140…使用者位置取得部、 150…立体物位置取得部、 151…地図情報取得部、 152…前方情報取得部、 160…指示位置取得部、 170…情報取得部、 180…検出部、 301…画像、 310…基準オブジェクト、 310L…基準物距離、 310W…幅、 310s…スタート位置、 310t5〜310t7…中間基準オブジェクト、 320、320a、320b…情報オブジェクト、 320L、320La、320Lb…ターゲット距離、 320Wa、320Wb…幅、 320t1〜320t3…中間情報オブジェクト、 510…移動体、 720…ダッシュボード、 730…車両、 801…実景、 809…立体物、 810…基準物、 820…ターゲット位置、 ST1〜ST4…第1〜第4状態、 t1〜t8…時刻

Claims (10)

  1. 使用者の周囲にある地面の上に設けられた立体物の位置に関する立体物位置情報と、前記使用者に対する指示位置に関する指示位置情報と、を取得する情報取得部と、
    前記使用者に提供情報を提供するための情報オブジェクトを含む画像データを生成する画像データ生成部と、
    前記画像データ生成部が生成した前記画像データに基づく画像を、実景に重畳して前記使用者の片目に表示する画像表示部と、
    を備え、
    前記画像データ生成部は、
    前記情報取得部が取得した前記立体物位置情報及び前記指示位置情報に基づいて、前記情報オブジェクトが前記立体物に重畳するように前記画像内に前記情報オブジェクトを配置してから、前記情報オブジェクトが前記指示位置に重畳するように前記画像内で前記情報オブジェクトを移動させるように前記画像データを生成することを特徴とする単眼ヘッドマウントディスプレイ。
  2. 前記情報入手部は、前記立体物位置情報に基づいて、前記使用者の前記周囲の地面の上に設けられた複数の立体物のうちから、前記使用者からみたときの奥行きに関する基準となる基準物を選択し、
    前記画像データ生成部は、前記使用者からみたときの奥行きに関する基準となる基準オブジェクトをさらに含むように前記画像データを生成し、
    前記画像データ生成部は、前記基準オブジェクトが前記基準物に重畳するように、前記画像内に前記基準オブジェクトを配置するように前記画像データを生成することを特徴とする請求項1記載の単眼ヘッドマウントディスプレイ。
  3. 前記情報取得部は、前記使用者の現在位置に関する使用者位置情報をさらに取得し、
    前記画像データ生成部は、
    前記情報取得部が取得した前記現在位置から前記指示位置までのターゲット距離が前記現在位置から前記基準物の位置までの基準距離よりも遠い場合には、前記画像内での前記情報オブジェクトの大きさを前記基準オブジェクトの大きさよりも小さくし、
    前記ターゲット距離が前記基準距離よりも近い場合には、前記画像内での前記情報オブジェクトの大きさを前記基準オブジェクトの大きさよりも大きくする、
    ことを特徴とする請求項2の単眼ヘッドマウントディスプレイ。
  4. 前記使用者の頭部の位置を検出する検出部をさらに備え、
    前記画像データ生成部は、前記検出部で前記検出された前記頭部の前記位置の変化に応じて、前記基準オブジェクトの前記画像内における位置と前記情報オブジェクトの前記画像内における位置とを、前記基準オブジェクトが前記基準物の前記位置に重畳するように、及び、前記情報オブジェクトが前記ターゲット位置に重畳するように補正することを特徴とする請求項2または3のいずれか1つに記載の単眼ヘッドマウントディスプレイ。
  5. 前記基準物の前記選択は、前記基準物の前記位置と前記使用者の前記位置との間の距離が予め定められた長さ以下であるように前記基準物を選択することを含むことを特徴とする請求項2〜4のいずれか1つに記載の単眼ヘッドマウントディスプレイ。
  6. 前記情報取得部が取得する前記立体物位置情報の前記取得は、前記複数の立体物のそれぞれの画像情報を取得することを含み、
    前記基準物の前記選択は、
    前記複数の立体物の前記それぞれの画像情報に基づいて、前記複数の立体物のそれぞれのテクスチャを求め、前記複数の立体物のなかから相対的に均一なテクスチャを有する立体物を前記基準物として選択することを含むことを特徴とする請求項2〜5のいずれか1つに記載の単眼ヘッドマウントディスプレイ。
  7. 前記画像データ生成部は、
    前記情報オブジェクトを前記画像内に配置する際に、前記使用者からみて前記基準物の前記位置に重畳される前記画像内の位置と、前記使用者からみて前記ターゲット位置に重畳される前記画像内の位置と、を結ぶ線分に沿って配置された中間情報オブジェクトに関するデータをさらに生成することを特徴とする請求項2〜6に記載の単眼ヘッドマウントディスプレイ。
  8. 前記画像データ生成部は、
    前記基準オブジェクトを前記画像内に配置する際に、前記画像内のスタート位置から、前記使用者からみて前記基準物の前記位置に重畳される前記画像内の位置に向かう方向に沿って前記基準オブジェクトを移動させることを特徴とする請求項2〜7のいずれか1つに記載の単眼ヘッドマウントディスプレイ。
  9. 前記画像データ生成部は、
    前記基準オブジェクトを前記画像内に配置する際に、前記画像内のスタート位置と、前記使用者からみて前記基準物の前記位置に重畳される前記画像内の位置と、を結ぶ線分に沿って配置された中間基準オブジェクトに関するデータをさらに生成することを特徴とする請求項2〜8に記載の単眼ヘッドマウントディスプレイ。
  10. 前記スタート位置は、前記画像内の下側部分あって、前記画像内の左右方向の中央部分に配置されることを特徴とする請求項8または9に記載の単眼ヘッドマウントディスプレイ。
JP2011063317A 2011-03-22 2011-03-22 単眼ヘッドマウントディスプレイ Expired - Fee Related JP5331146B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011063317A JP5331146B2 (ja) 2011-03-22 2011-03-22 単眼ヘッドマウントディスプレイ
US13/238,193 US9086566B2 (en) 2011-03-22 2011-09-21 Monocular head mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011063317A JP5331146B2 (ja) 2011-03-22 2011-03-22 単眼ヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
JP2012198149A true JP2012198149A (ja) 2012-10-18
JP5331146B2 JP5331146B2 (ja) 2013-10-30

Family

ID=46876981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011063317A Expired - Fee Related JP5331146B2 (ja) 2011-03-22 2011-03-22 単眼ヘッドマウントディスプレイ

Country Status (2)

Country Link
US (1) US9086566B2 (ja)
JP (1) JP5331146B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015166230A (ja) * 2014-03-04 2015-09-24 アイシン・エィ・ダブリュ株式会社 ヘッドアップディスプレイ装置
JP2016506572A (ja) * 2012-12-21 2016-03-03 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー インフォテイメントシステム
CN108701415A (zh) * 2016-02-25 2018-10-23 富士胶片株式会社 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序
WO2021020145A1 (ja) * 2019-07-30 2021-02-04 株式会社デンソー 表示制御装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5734888B2 (ja) 2012-01-31 2015-06-17 株式会社東芝 表示装置、移動体、及び、表示装置の設置方法
DE102012001950A1 (de) * 2012-02-02 2013-08-08 Daimler Ag Verfahren zum Betreiben einer Kameraanordnung für ein Fahrzeug und Kameraanordnung
KR101387189B1 (ko) * 2012-05-30 2014-04-29 삼성전기주식회사 운행 보조정보 표시장치 및 운행 보조정보 표시방법
US10083613B2 (en) 2013-01-06 2018-09-25 Ionroad Technologies Ltd. Driving support
JP6393986B2 (ja) * 2013-12-26 2018-09-26 セイコーエプソン株式会社 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
US9626802B2 (en) 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
KR101759945B1 (ko) * 2015-08-05 2017-07-20 엘지전자 주식회사 디스플레이 장치
JP6861375B2 (ja) * 2017-06-30 2021-04-21 パナソニックIpマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
USD860291S1 (en) * 2017-09-27 2019-09-17 Garmin Switzerland Gmbh Camera device with display
US10884248B2 (en) 2018-07-20 2021-01-05 Facense Ltd. Hygienic head-mounted display for vehicles
US10551623B1 (en) 2018-07-20 2020-02-04 Facense Ltd. Safe head-mounted display for vehicles
CN114972692B (zh) * 2022-05-12 2023-04-18 北京领为军融科技有限公司 基于ai识别和混合现实的目标定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291688A (ja) * 2002-04-03 2003-10-15 Denso Corp 表示方法、運転支援装置、プログラム
JP2004219664A (ja) * 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
JP2005069799A (ja) * 2003-08-22 2005-03-17 Denso Corp 車両用ナビゲーションシステム
JP2005346177A (ja) * 2004-05-31 2005-12-15 Nissan Motor Co Ltd 車両用情報提示装置
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2010221830A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 車載用表示システム、表示方法及び車両

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07228172A (ja) 1994-02-21 1995-08-29 Nippondenso Co Ltd 車両用表示装置
US20020196202A1 (en) * 2000-08-09 2002-12-26 Bastian Mark Stanley Method for displaying emergency first responder command, control, and safety information using augmented reality
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US20050071082A1 (en) * 2003-09-30 2005-03-31 Mazda Motor Corporation Route guidance apparatus, method and program
JP4476719B2 (ja) 2004-07-02 2010-06-09 よこはまティーエルオー株式会社 ナビゲーションシステム
JP2006284458A (ja) 2005-04-01 2006-10-19 Denso Corp 運転支援情報表示システム
JP2009128565A (ja) 2007-11-22 2009-06-11 Toshiba Corp 表示装置、表示方法及びヘッドアップディスプレイ
JP4886751B2 (ja) 2008-09-25 2012-02-29 株式会社東芝 車載用表示システム及び表示方法
US20100198506A1 (en) * 2009-02-03 2010-08-05 Robert Steven Neilhouse Street and landmark name(s) and/or turning indicators superimposed on user's field of vision with dynamic moving capabilities
US20120224062A1 (en) * 2009-08-07 2012-09-06 Light Blue Optics Ltd Head up displays
US8566020B2 (en) * 2009-12-01 2013-10-22 Nokia Corporation Method and apparatus for transforming three-dimensional map objects to present navigation information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291688A (ja) * 2002-04-03 2003-10-15 Denso Corp 表示方法、運転支援装置、プログラム
JP2004219664A (ja) * 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
JP2005069799A (ja) * 2003-08-22 2005-03-17 Denso Corp 車両用ナビゲーションシステム
JP2005346177A (ja) * 2004-05-31 2005-12-15 Nissan Motor Co Ltd 車両用情報提示装置
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2010221830A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 車載用表示システム、表示方法及び車両

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016506572A (ja) * 2012-12-21 2016-03-03 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー インフォテイメントシステム
US10029700B2 (en) 2012-12-21 2018-07-24 Harman Becker Automotive Systems Gmbh Infotainment system with head-up display for symbol projection
JP2015166230A (ja) * 2014-03-04 2015-09-24 アイシン・エィ・ダブリュ株式会社 ヘッドアップディスプレイ装置
CN108701415A (zh) * 2016-02-25 2018-10-23 富士胶片株式会社 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序
JP6410987B2 (ja) * 2016-02-25 2018-10-24 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
JPWO2017145645A1 (ja) * 2016-02-25 2018-12-27 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
US11025836B2 (en) 2016-02-25 2021-06-01 Fujifilm Corporation Driving assistance device, driving assistance method, and driving assistance program
WO2021020145A1 (ja) * 2019-07-30 2021-02-04 株式会社デンソー 表示制御装置
JP2021020626A (ja) * 2019-07-30 2021-02-18 株式会社Soken 表示制御装置
JP7063856B2 (ja) 2019-07-30 2022-05-09 株式会社Soken 表示制御装置

Also Published As

Publication number Publication date
US9086566B2 (en) 2015-07-21
US20120242694A1 (en) 2012-09-27
JP5331146B2 (ja) 2013-10-30

Similar Documents

Publication Publication Date Title
JP5331146B2 (ja) 単眼ヘッドマウントディスプレイ
JP5173031B2 (ja) 表示装置及び表示方法
JP4886751B2 (ja) 車載用表示システム及び表示方法
CN104883554B (zh) 通过虚拟***器群集显示直播视频的方法和***
EP3444139B1 (en) Image processing method and image processing device
JP5161760B2 (ja) 車載用表示システム及び表示方法
JP6304628B2 (ja) 表示装置および表示方法
JP5412979B2 (ja) 周辺表示装置
US9076248B2 (en) Display apparatus
JP2017211366A (ja) 移動体システム、情報表示装置
JP6899082B2 (ja) ヘッドアップディスプレイ
JP6349660B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP2015101311A (ja) 車両情報投影システム
JP2012035745A (ja) 表示装置、画像データ生成装置及び画像データ生成プログラム
CN110001400A (zh) 车辆用显示装置
US11176749B2 (en) In-vehicle display device three-dimensional image generation
JP2014071277A (ja) ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US20140049540A1 (en) Image Processing Device, Method, Computer Program Product, and Stereoscopic Image Display Device
JP2021154988A (ja) 車載表示装置、車載表示装置を制御する方法、及びコンピュータプログラム
JP2007218655A (ja) ナビゲーション装置
JPWO2020090187A1 (ja) 虚像表示装置、およびヘッドアップディスプレイ装置
JP7377740B2 (ja) 車載表示装置、車載表示装置を制御する方法、及びコンピュータプログラム
JP2018207207A (ja) ヘッドアップディスプレイ装置
JP2024081406A (ja) 画像処理装置及び方法、プログラム、記憶媒体
WO2019187598A1 (ja) 情報処理装置、情報処理方法、プロブラム及びヘッドマウントディスプレイ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130726

LAPS Cancellation because of no payment of annual fees