JP2015068831A - 機能拡張された3次元(3−d)ナビゲーション - Google Patents

機能拡張された3次元(3−d)ナビゲーション Download PDF

Info

Publication number
JP2015068831A
JP2015068831A JP2014198780A JP2014198780A JP2015068831A JP 2015068831 A JP2015068831 A JP 2015068831A JP 2014198780 A JP2014198780 A JP 2014198780A JP 2014198780 A JP2014198780 A JP 2014198780A JP 2015068831 A JP2015068831 A JP 2015068831A
Authority
JP
Japan
Prior art keywords
vehicle
component
hud
graphic elements
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014198780A
Other languages
English (en)
Inventor
ン・ソー・ヒン、ビクター
Victor Ng-Thow-Hing
バーク、カーリン
Bark Karlin
トラン、クォン
Tran Cuong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/041,614 external-priority patent/US20160054563A9/en
Priority claimed from US14/321,105 external-priority patent/US20140362195A1/en
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2015068831A publication Critical patent/JP2015068831A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/3676Overview of the route on the road map
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】動的焦点面を有する立体ヘッド・アップ・ディスプレイによる3次元ナビゲーション・システムの提供。
【解決手段】HUDコンポーネントは、グラフィック要素を、乗り物周囲環境全体に渡る焦点面上に、投影、レンダリング、表示又は、提示する。このHUDコンポーネントは、焦点面の移動又は、焦点面と乗り物との間の距離の調整により、グラフィック要素が立体的に見えるようにする。環境内のオブジェクトを、移動、追跡又は、識別して、対応するグラフィック要素を、それぞれのオブジェクトの上、近傍又は周囲に投影する。例えば、前記HUDコンポーネントは、グラフィック要素又はポインタを歩行者の上に投影して、乗り物の運転者又は操作者に歩行者の存在を警告する。このポインタは、歩行者が歩いているときは、前記歩行者に「着いて」回る。アドレス情報、評価データ、電話番号、ロゴのような、オブジェクトに関連するメタデータが提示される。
【選択図】図4

Description

関連出願の相互参照
本出願は、2013年9月30日に出願された「3次元(3−D)ナビゲーション」と題するシリアル番号:14/041614(代理人整理番号:107745.54CIP1)の係属中の米国非仮特許出願の一部継続(CIP)出願である。上記のシリアル番号:14/041614の米国非仮特許出願は、2013年3月15日に出願された「動的焦点面を有する立体ヘッド・アップ・ディスプレイ」と題する、シリアル番号:13/832918(代理人整理番号:HRA−36332.01)の係属中の米国非仮特許出願の一部継続(CIP)出願である。上記出願(複数)の全体が参照により本明細書に組み込まれる。
運転者の利便性を向上するために、運転者に情報を表示するヘッド・アップ・ディスプレイ(HUD)を乗り物に具備することができる。該HUDにより表示される情報は、運転者が運転している間、乗り物のフロント・ガラスに投影されて、運転者の視界に提示することができる。運転者の視界に情報を表示することで、運転者は、提示された情報を運転中に見るために、フロント・ガラスから目を離す(たとえば、センター・ダッシュボード上の計器表示の方を向く)必要がなくなる。
HUDは、通常乗り物のセンター・ダッシュボードに表示される乗り物情報、例えば、乗り物の速度、燃料レベル、エンジン温度等に関する情報を表示することができる。さらに、HUDは、地図情報及び通信イベント(例えば、ナビゲーションの指示、運転の指示、警告、警報等)を運転者に提示することができる。乗り物用HUDは、乗り物のダッシュボードで用いた方法と同様の方法で、例えば、グラフィック要素として現われるゲージやテキスト・ボックスをフロント・・ガラス上に表示することによって、運転者に情報を表示することができる。さらに、乗り物用HUDは、リアル・タイム情報で乗り物周囲の物理的環境を拡張する拡張現実グラフィック要素を表示することもできる。
しかし、乗り物に使用される既存のHUDデバイスでは、拡張現実グラフィック要素を、一貫性のある奥行き手がかりで表示することができない場合がある。したがって、既存の乗り物用HUDが表示する拡張現実グラフィック要素は、表面的な重なりとして提示される可能性がある。
本節の簡単な説明は、以降の詳細な説明に記載されている概念を選択して簡略化した形で紹介するために提供する。この簡単な説明は、特許請求範囲の主題事項を広範囲に渡って外観する意図はなく、特許請求範囲の主題事項の主要な要素又は本質的な特徴を特定するものでもなく、特許請求範囲の主題事項の範囲を限定するために用いることを意図するものでもない。
1つの実施態様によれば、乗り物の運転者の視野にグラフィック要素を表示するための乗り物用ヘッド・アップ・ディスプレイ・デバイスは、第1のプロジェクタ及び第1のアクチュエータを有する。第1のプロジェクタは、運転者の視野内の第1の焦点面上に第1のグラフィック要素を投影するように構成することができる。第1の焦点面は、運転者の視線に略垂直に、かつ、乗り物から離れた距離に配向することができる。第1のプロジェクタは、第1のアクチュエータ上に設置することができる。第1のアクチュエータは、第1のプロジェクタを直線的に移動するように構成することができる。第1のプロジェクタを直線的に移動することにより、第1のグラフィック要素の第1の焦点面を運転者の視線方向に移動することができる。
別の実施態様によれば、乗り物用ヘッド・アップ・ディスプレイ・システムは、乗り物用ヘッド・アップ・ディスプレイ・デバイス及び、制御部を含む。乗り物用ヘッド・アップ・ディスプレイ・デバイスは、乗り物運転者の視野内にグラフィック要素を表示し、第1のプロジェクタと第2のプロジェクタを有する。第1のプロジェクタは、第1のグラフィック要素を運転者の視野内の第1の焦点面上に投影するように構成することができる。第1の焦点面は、運転者の視線に対してほぼ垂直に配向させることができる。第1のプロジェクタは、運転者の視線の方向に第1の焦点面を移動させるように構成することができる。第2のプロジェクタは、第2のグラフィック要素を運転者の視野内の第2の焦点面上に投影するように構成することができる。第2の焦点面は、静止し、かつ、地面に対して略平行に配向することができる。前記制御部は、1つ又は複数の対応する乗り物制御システムと通信し、乗り物用ヘッド・アップ・ディスプレイ・デバイスを制御して、1つ又は複数の該対応する乗り物制御システムとの通信に基づいて前記第1及び第2のグラフィック要素を表示するように構成することができる。
さらに別の実施態様によれば、乗り物用ヘッド・アップ・ディスプレイに拡張現実グラフィック要素を提示する方法は、運転者の視野内の第1の焦点面に第1のグラフィック要素及び運転者の視野内の第2の焦点面上に第2のグラフィック要素を投影することを含む。第1の焦点面は、運転者の視線に対して略垂直に配向することができ、第2の焦点面は、静止して、地面に対して略平行に配向することができる。該方法には、第1の焦点面を運転者の視野の方向に移動させること又は合わせることを含むことができる。
3次元(3−D)ナビゲーションのための技術やシステムの1つ又は複数の実施形態が本明細書において開示される。例えば、3Dナビゲーション・システムは、移動するように見えるグラフィック要素又はアバターを、乗り物の乗員の視野に投影することができる。1つ又は複数の実施形態において、ヘッド・アップ・ディスプレイ(HUD)コンポーネントは、該グラフィック要素又はアバターを乗り物周囲の環境内の1つ又は複数の焦点面上に投影するように構成することができる。言い換えれば、該HUDコンポーネントは、複数のグラフィック要素又は複数のアバターを複数の調整可能な距離つまり複数の焦点調整可能な焦点面に投影して、1つのアバター又はグラフィック要素が移動、飛行、アニメーション等をしているという感覚を乗り物の乗員に与えることができる。
例えば、前記HUDコンポーネントは、1つのアバターを1つ又は複数の異なる焦点面上に連続的に投影することにより該アバターに「アニメーション」させる又は動きを与えるように構成することができる。これら複数の焦点面上への投影は、例えば、HUDコンポーネントのプロジェクタを移動させるアクチュエータを用いて実現してもよい。この結果、グラフィック要素やアバターに対応した焦点調節や輻輳などの奥行き手がかりが、大体において維持される。1つの経路が第1の位置から第2の位置に向かって生成される場合、前記HUDコンポーネントは、乗り物の運転者や乗員が「追跡」するべき1つ又は複数のグラフィック要素を生成することができる。該HUDコンポーネントは、複数の焦点面上に投影又は、投影された複数のグラフィック要素を1つの焦点面から別の焦点面に移動することができるので、グラフィック要素又は投影された画像は、より現実的で、鏡に映った画像と同じように見える。
乗り物の乗員がナビゲーション案内を要求すると、アバター等のグラフィック要素を提示することができる。該アバターは、例えば、仲間の乗り物を追跡している場合に乗員や運転者の目に入るものと同じように、乗り物の前で移動、滑空、飛行等をするように見える。さらに、該アバターは、実際の乗り物のように、障害状況、障害物、歩行者、物の破片、窪み、等の周りをナビゲートするように見えてもよい。1つ又は複数の実施形態では、アバターは、実時間の交通に応じて、「運転」し、移動し、移動するように見える。例えば、運転者や乗り物が線路を横切る必要のある経路の場合、アバターは、列車が横切るときには線路で停止する。別の例では、アバターは、車線変更を、他の乗り物に「衝突」又は、その他、交通妨害のように見えないようにして、行う。
1つ又は複数の実施形態において、乗り物が走行中の環境に関連する1つ又は複数のオブジェクト又は情報を、センサ・コンポーネントが追跡又は検出することができる。該情報は、乗り物制御コンポーネントに送られる。該乗り物制御コンポーネントは、乗り物周辺環境に関する情報を異なる情報源から集約、収集又は受信することができる。制御コンポーネントは、この情報を用いて、グラフィック要素をある場所又はある焦点面に投影するか否かと、グラフィック要素をレンダリングする際に用いる属性又は型と、を決定する。HUDコンポーネントが、該制御コンポーネントの決定に基づいて、グラフィック要素をレンダリング又は投影する。
例えば、センサ・コンポーネントが、ある経路に沿った道路区間を横切る横断歩道にいる歩行者を検出し、かつ、該道路区間上で乗り物を旋回させる必要がある場合、前記制御コンポーネントは、前記HUDコンポーネントに指示又は命令を出して、グラフィック要素を該歩行者の上又は周囲に投影し、乗り物の運転者や乗員に該歩行者の存在を警告することができる。さらに、該センサ・コンポーネントは活発に歩行者を追跡して、該HUDコンポーネントがポインタなどのグラフィック要素を投影して、彼又は彼女が横断歩道を渡るときに、リアル・タイムで該歩行者について行くか又は追跡するグラフィック要素を投影するようにできる。さらに、該制御コンポーネントは、該歩行者が横断を完了した又は歩道へ足を踏み入れたときを識別又は認識して、歩行者に対するグラフィック要素の投影を停止するようにHUDコンポーネントに通信することができる。
3Dナビゲーション・システムは、早期警告グラフィック要素の認識又は投影を可能にする。例えば、第1の道路区間から第2の道路区間への旋回(例えば、1つの道路から別の道路へ左折又は右折)する運転の場合、環境情報や交通条件情報などの、前記乗り物制御コンポーネントが受信した情報は、早期警告グラフィック要素を乗り物の乗員又は運転者にレンダリングするべきかを決定するために、制御コンポーネントによって使用される。言い換えれば、該制御コンポーネントは、該HUDコンポーネントに指示又は命令をして、運転者の視野には必ずしも入っていないかもしれないオブジェクト(例えば、危険状況、道路状況など)を指し示すグラフィック要素をレンダリングすることができる。ここで、乗り物のフロント・ガラスの外を見たときに、運転者には、例えば、左側の危険状況が見えてない場合がある。しかし、該HUDコンポーネントは、彼又は彼女の左(例えば、フロント・ガラスの外側や運転者の視野の外)に運転者の注意を向けるグラフィック要素を投影することができる。このように、乗り物の運転者又は乗員に環境内のオブジェクトについての事前通知を提供することによって、安全を促進することができる。
さらに、前記HUDコンポーネントは、商業施設の名称、住所マーカー、最終目的地のマーカー、駐車場のグラフィック要素、評価等の、環境内のオブジェクトに関する詳細情報を投影又はレンダリングすることができる。
以下の説明及び添付の図面では、いくつかの例示的な実施態様及び実装について説明する。これらは、1つ又は複数の実施態様を用いるさまざまな方法の説明であるが、そのうちの幾つかに過ぎない。本発明の他の実施態様、利点又は新規な特徴は、以下の詳細な説明から、添付の図面と併せて考慮すると明らかになるであろう。
本発明の実施態様は、添付の図面と合わせてみると以下の詳細な説明から理解できる。図面の要素、構成等は、必ずしも同じ縮尺で描かれていない場合がある。したがって、例えば、議論の明確化のために、同一のものの寸法が、任意に、拡張又は縮尺されていることがある。
1つ又は複数の実施形態による、乗り物用ヘッド・アップ・ディスプレイ・システムの一例の模式図である。
1つ又は複数の実施形態による、乗り物用ヘッド・アップ・ディスプレイ・システムを具備する乗り物の一例の模式図である。
1つ又は複数の実施形態による、乗り物用ヘッド・アップ・ディスプレイ・システムによってグラフィック要素が投影される乗り物及び4焦点面の一例の側面図である。
1つ又は複数の実施形態による、乗り物を運転しながらフロント・ガラスから見た運転者の視野と、乗り物用ヘッド・アップ・ディスプレイ・システムによって投影された例示的なグラフィック要素と、の1例の説明図である。
1つ又は複数の実施形態による、3Dナビゲーション・システムの構成図の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションの方法のフロー図の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーション用アバターの1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーション用アバターの1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーション用アバターの1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーション用アバターの1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーション用アバターの1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーション用アバターの1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例の説明図である。
1つ又は複数の実施形態による、3−Dナビゲーション用の方法のフロー図の1例の説明図である。
1つ又は複数の実施形態による、本明細書に記載された1つ又は複数の規定を実装するように構成されたプロセッサ実行可能命令を格納する、コンピュータ可読媒体又はコンピュータ可読デバイスの1例の説明図である。
1つ又は複数の実施形態による、本明細書に記載された条件の1つ又は複数が実装された、コンピューティング環境の1例の説明図である。
図面に示された実施態様又は実施例を、特定の用語を用いて以下に開示する。しかしながら、開示された実施態様又は実施例は限定を意図するものではないことは理解されたい。開示された実施態様における任意の変更、修正及び、本明細書に開示された原理のさらなる応用は、関連技術の当業者は通常想到することができると考えられる。
本明細書の一つ以上の図面に関して、1つ又は複数の境界線、例えば、図2の境界線116、又は図10Bの境界線1030等は、単に説明のために、互いに異なる高さ、幅、周囲長、アスペクト比、形状等で描かれており、かつ、必ずしも縮尺が合うように描かれていない。例えば、破線又は点線は異なる境界を表すために使用されるので、もし、破線や点線がお互いの上に引かれるとすると、これらの線は図面中では識別できない。このため、一つ以上の図で、互いに異なる寸法で少し離れて描かれ、相互に区別可能にしている。別の例として、境界が不規則な形状に対応している場合、破線や点線等で描かれたボックスのような境界は、1つ又は複数の例において、必ずしも1つのコンポーネント全体を含むとは限らない。逆に、描かれたボックスは、必ずしも、1つ又は複数の例において、単に対応する1つのコンポーネントのみを含むとは限らず、また、一つ以上の他のコンポーネントの一部を含むことがありうる。
運転者の直接視野内の環境要素の上に、乗り物用HUDデバイスによって視覚可能に配置されたグラフィック要素は、視野相似拡張現実要素又は等角拡張現実グラフィック要素と呼ばれることが多い。視野相似拡張現実グラフィック要素を乗り物の運転者に正常に提示することは、正確に奥行き手がかりを再現するための乗り物用HUDデバイスの能力に依存することがある。この奥行き手がかりには、焦点調節や輻輳が含まれる。焦点調節とは、目の筋肉が活発に屈折力を変化させて、焦点を種々の距離に変化させる奥行き手がかりである。輻輳とは、両眼の互いの方向への同時的又は並行的な内向き回転であり、1つのオブジェクトを見る際に両眼単一像を維持するために行われる。
本明細書で説明する実施例では、乗り物の運転者1人について述べることがあるが、乗客など、1人又は複数の他の乗員の視野内に、グラフィック要素を投影、提示、レンダリングすることができる。このため、これらの実施例は限定を意図するものではなく、単に、例示的な応用の1つ又は複数の実施形態を説明するために開示されている。
HUDデバイスが、乗り物のフロント・ガラス上にグラフィック要素を表示するとき、焦点調節によって、人間の目が環境要素とHUDデバイスによって表示された情報との間を移動することが起きる。輻輳によって、両眼がフロント・ガラスの向こうの環境の中の点へ集中し、これによってフロント・ガラスに表示されたHUDグラフィック要素が二重の像に見える可能性がある。したがって、視野相似拡張現実グラフィック要素を正しく再現された奥行き手がかりでレンダリングするためには、グラフィック要素は、乗り物のフロント・ガラス上というよりむしろ、実環境と同じ空間(例えば、対応する焦点面)上にレンダリングする必要がある。
乗り物の運転者がフロント・ガラスを通して環境を見ている間、運転者の視野にグラフィック要素を表示するために、乗り物用ヘッド・アップ・ディスプレイ・デバイスが提供される。該ヘッド・アップ・ディスプレイ・デバイスには、運転者がフロント・ガラスを通して環境を見ている間、運転者の視野内の前方焦点面上にグラフィック要素を投影する1つ又は複数のプロジェクタと、運転者がフロント・ガラスを通して環境を見ている間、運転者の視野内の地表に平行な焦点面上にグラフィック要素を投影する、1つ又は複数のプロジェクタと、を含む。前方焦点面にグラフィック要素を投影するプロジェクタは、運転者の視線の方向に前方焦点面を移動させるように、該プロジェクタを直線的に移動させるアクチュエータに搭載することができる。該地表に平行な焦点面に投影するプロジェクタは、地表に平行な焦点面が静止しているように固定して配置することができる。
図1を参照して、正しく再現された奥行き手がかりで、立体的視野相似拡張現実グラフィック要素(例えば、実環境と同じ空間にレンダリングされた、3次元又は「3−D」グラフィック要素)をレンダリングすることができる乗り物用の立体ヘッド・アップ・ディスプレイ・システム100(「HUDシステム100」又は「HUDコンポーネント100」)について説明する。HUDシステム100は、乗り物用ヘッド・アップ・ディスプレイ・デバイス102(「HUDデバイス102」)と制御部104又は(又は「制御コンポーネント104」)とを含む。図2を参照すると、HUDシステム100は乗り物106に設けることができ、運転席108、ダッシュボード筐体110及び、フロント・ガラス112を有する。
乗り物106の構成は、例えば、運転席108、ダッシュボード筐体110及びフロント・ガラス112の相対位置に関しては、従来のものでよい。本明細書に記載のHUDシステム100を収容するために、ダッシュボード筐体110によって、HUDシステム100が収容される収容空間が画定される。さらに、ダッシュボード筐体110は、ダッシュボード筐体110の上面によって確定されるHUDの出射孔114を有する。ダッシュボード筐体110内に収容されるHUDシステム100は、視野相似拡張現実グラフィック要素などのグラフィック要素を、HUD出射孔114を介してフロント・ガラス112に投影する。フロント・ガラス112は、HUDシステム100用の表示画面として使用することができる。以下でさらに詳細に説明するように、拡張現実グラフィック要素は、実環境と同じ空間にあるかのように運転者に対してレンダリングすることができる。
乗り物106の運転者は運転席108に着座したまま乗り物106を運転する。したがって、運転者は、乗り物106内の運転席108の着座位置に位置的制約を受ける。この位置的制約を考慮して、HUDシステム100は、運転者の視野が、乗り物内のアイ・ボックス116から出ているという仮定を用いて設計することができる。アイ・ボックス116は、運転者が運転席108に着座している間、運転者の眼が置かれる乗り物106の内部の領域を含むと考えることができる。
アイ・ボックス116は、運転席108の位置及び形勢に関係なく、運転者のあらゆる可能な頭の位置を包含するように大きさを決めることができる。又は、HUDシステム100は、運転席108の位置及び形勢を検出して、これに基づきアイ・ボックス116の位置とサイズを調整するように構成することができる。1つ又は複数の実施形態では、HUDシステム100は、アイ・ボックス116が固定したサイズを有し、固定位置にあると仮定して設計することができる。たとえば、該アイ・ボックスは、20 cm x 10 cm×10 cmのサイズを持つことができる。いずれにしても、HUDシステム100は、運転者の目がアイ・ボックス116内にあり、運転者が乗り物106のフロント・ガラス112を介して前方に向いている/見ているときに、運転者に視野相似拡張現実グラフィック要素を表示するように構成することができる。図2のアイ・ボックス116は、乗り物106の運転者用に図示されているが、アイ・ボックス116は、乗り物の他の乗員を1人又は複数含むように設定してもよい。1つ又は複数の実施形態において、1つ又は複数の追加のアイ・ボックス又はHUDデバイスは、例えば、乗客や他の乗員用に具備され得る。
HUDデバイス102は、運転者が乗り物106のフロント・ガラス112を通して環境を見ている間、乗り物106の運転者の視野に1つ又は複数のグラフィック要素を表示する。運転者の目がアイ・ボックス116内にあり、運転者がフロント・ガラス112を介して前方を向いている/見ている間、運転者がフロント・ガラス112を介して見ている任意のグラフィック要素や環境要素は、運転者の視野内にあると考えることができる。本明細書で使用される場合、乗り物106の運転者の視野は、運転者が乗り物106のフロント・ガラス112を通して環境を見ている間、乗り物106内にあるダッシュボード・ディスプレイを除いて、フロント・ガラス112を通して見える領域を含むように意図されている。言い換えれば、HUDデバイス102は、運転者が道路から目を逸らせて見なくてもグラフィック要素を見ることができるようにグラフィック要素を提示する。
図1に戻って、HUDシステム100のHUDデバイス102には、第1のプロジェクタ118、第2のプロジェクタ120、第3のプロジェクタ122及び第4のプロジェクタ124が含まれる。第1のプロジェクタ118及び第3のプロジェクタ122は、第1のビーム・スプリッタ126と第1の対物レンズ128とを共有し、第2のプロジェクタ120及び第4のプロジェクタ124は第2のビーム・スプリッタ130及び第2の対物レンズ132とを共有する。この結果、第1のプロジェクタ118と第3のプロジェクタ122の出力は、第1のビーム・スプリッタ126で受信され、かつ、第1の対物レンズ128に向けられ、かつ第1の対物レンズ128を通って、単一の出力に統合される。同様に、第2のプロジェクタ120及び第4のプロジェクタ124の出力は、第2のビーム・スプリッタ130で受信され、かつ、第2の対物レンズ132に向けられ、かつ、第2の対物レンズ132を通って単一の出力に統合される。
HUDデバイス102は、さらに、第1及び第2の対物レンズ128、132からの出力を受信するように構成されて、第1及び第2の対物レンズ128、132の下流に配置された第3のビーム・スプリッタ134を有する。第1及び第2の対物レンズ128、132からの出力は、第3のビーム・スプリッタ134で単一出力に統合され、該単一出力は第1、第2、第3及び第4のプロジェクタ118、120、122、124の全ての出力の組み合わせにすることができ、第3の対物レンズ136と接眼レンズ138の方へ向けられ、かつ通って、次に、HUD出射孔114から出てフロント・ガラス112に向けられる。フロント・ガラス112は、HUDシステム100用の表示画面として使用することができる。
第1のプロジェクタ118、第2のプロジェクタ120、第3のプロジェクタ122及び第4のプロジェクタ124のそれぞれは、プロジェクタ・ユニット140、142、144、146及び、拡散スクリーン148、150、152、154を含む。該拡散スクリーン148、150、152、154は、プロジェクタ・ユニット140、142、144、146からの設置距離に確実に固定されて、かつ、プロジェクタ・ユニット140、142、144、146から出射された光が拡散スクリーン148、150、152、154を通過するようにプロジェクタ・ユニット140、142、144、146に対して配置される。プロジェクタ・ユニット140、142、144、146は、対応する拡散スクリーン148、150、152、154を通過する画像要素又はグラフィック要素を投影する発光ユニットにすることができる。拡散スクリーン148、150、152、154は、HUDデバイス102の光学系の他の部分に対して発光画像ソース又は(又は、オブジェクト)として働き、かつ、拡散スクリーン148、150、152、154を出た光の大部分が、拡散スクリーン148、150、152、154の後の光学系(例えば、第1のビーム・スプリッタ126、第1の対物レンズ128、第2のビーム・スプリッタ130、第2の対物レンズ132、第3のビーム・スプリッタ134、第3の対物レンズ136及び接眼レンズ138)に確実に進むようにする。同時に、拡散スクリーン148、150、152、154は、運転者の頭がアイ・ボックス116内で動いていても、画像要素やグラフィック要素の明るさが一定のままであるように、最終的には光がアイ・ボックス116を満たすように光を拡散する。このようにして、拡散スクリーン148、150、152、154を用いることで、画像要素やグラフィック要素(複数可)の異なる部分がアイ・ボックス116内の異なる点から見えることを実質的に防ぎ、これによって、わずかな頭の動きに伴って異なる視覚動作が発生することを防止する。
プロジェクタ・ユニット140、142、144、146は、本明細書記載の用途に適した、任意の発光ユニットの形をとることができる。プロジェクタ・ユニット140、142、144、146は、本明細書記載の用途に従って画像要素やグラフィック要素の投影が可能な任意の光発光ユニットの形をとることができる。同様に、拡散スクリーン148、150、152、154は、本明細書記載の用途に適した任意の光拡散スクリーンの形をとることができる。
第1のプロジェクタ118は、HUDデバイス102の第1のアクチュエータ156に取り付けることができる。第1のアクチュエータ156は、第1のプロジェクタ118を、第1のビーム・スプリッタ126に向かう又は、第1のビーム・スプリッタ126から離間する、直線的な方向に移動させることが可能なリニア・アクチュエータであり得る。さらに、第3のプロジェクタ122は、HUDデバイス102の第2のアクチュエータ158に取り付けることができる。第2のアクチュエータは、第3のプロジェクタ122を、直線方向に、第1のビーム・スプリッタ126に向かう又は第1のビーム・スプリッタ126から離間する方向に移動させることが可能なリニア・アクチュエータであり得る。第1及び第2のアクチュエータ156、158は、本明細書記載の用途に適した任意のリニア・アクチュエータの形をとることができる。第1のプロジェクタ118及び第3のプロジェクタ122の直線的な移動能力によって、第1のプロジェクタ118及び第3のプロジェクタ122が動的焦点面又は可動焦点面上にグラフィック要素を投影することが可能になる。第1及び第3のプロジェクタ118、122とは対照的に、第2及び第4のプロジェクタ120、124はHUDデバイス102内に固定配置され、したがって、静止焦点面上にグラフィック要素を投影することができる。
第1、第2、第3及び第4のプロジェクタ118、120、122、124を用いて、HUDデバイス102は、グラフィック要素(視野相似拡張現実グラフィック要素又はそれ以外のグラフィック要素)を、フロント・ガラス112を介して運転者が見る環境内の4つの異なる焦点面にレンダリングすることができる。この点に関して、第1のプロジェクタ118は第1のグラフィック要素160を第1の焦点面162に投影するように構成することができ、第2のプロジェクタ120は第2のグラフィック要素164を第2の焦点面166に投影するように構成することができ、第3のプロジェクタ122は第3のグラフィック要素168を第3の焦点面170に投影するように構成することができ、第4のプロジェクタ124は第4のグラフィック要素172を第4の焦点面174に投影するように構成することができる(図3及び図4を参照して後述する)。第1、第2、第3及び第4のグラフィック要素160、164、168、172及び対応する第1、第2、第3及び第4の焦点面162、166、170、174のすべてを、運転者がフロント・ガラス112を介して前方をみながら乗り物106を運転し、かつ、運転者の目がアイ・ボックス116内にあるとき、運転者の視野内の環境にレンダリングすることができる。
図3及び図4を参照して、第1、第2、第3及び第4のグラフィック要素160、164、168、172の第1、第2、第3及び第4の焦点面162、166、170、174への投影に関して、地表面176と運転者の視線178とを参照しながら説明する。ここで、地表面176は、乗り物106の前方の道路の表面である。説明を簡略にするため、地表面176は、ほぼ平坦な面であると仮定する。運転者の視線178は、アイ・ボックス116から前方に、地表面176に対して略平行に延びる線である。本明細書で使用するとき、視線178の方向は、視線178に沿って運転者と乗り物106に向かう又は運転者と乗り物106から離間して延びる方向である。
第1の焦点面162は、運転者の視線178に対して略垂直に配向することができる前方焦点面である。第3の焦点面170もまた、運転者の視線178に対して略垂直に配向可能な前方焦点面である。第1及び第3の焦点面162、170は、視線178の方向に、前向き(乗り物106から離間する方向)及び後ろ向き(乗り物106に向かう方向)の両方に移動可能な動的焦点面とすることができる。第2焦点面166は、地表面176に略平行に配向可能な、地表に平行な焦点面であり、かつ、地表面176上に配置して第2焦点面166が地表焦点面になるようにすることができる。第4の焦点面174もまた、地表面176に略平行に配向可能な、地表に平行な焦点面であり、かつ、地表面176の上方に配置することができる。第4の焦点面174は、地表面176及び運転者の視線178の上方に配置して、空や天井の焦点面にすることができる。その結果、第2、第4の焦点面166、174は静止焦点面にすることができる。
図4を参照すると、第1、第2、第3及び第4のグラフィック要素160、164、168、172は、異なる情報を運転者に提示するために使用することができる。第1、第2、第3及び第4のグラフィック要素160、164、168、172によって表示される情報の細かな種類は変更することができる。例えば、第1のグラフィック要素160及び第3のグラフィック要素168は、危険状況や障害物を迂回するように指示する警告を運転者に提示することができる。また、道路交通法規(例えば、停止標識、譲れ(YIELD)標識、等)に対応するナビゲーション命令や運転の命令を表示することができる。第2のグラフィック要素164及び第4のグラフィック要素172は、地表面176上に提示されるグラフィカルな重ね書きとして運転者に対してナビゲーション命令を提示することができ、また、運転者に乗り物周辺標識を提示することができる。第1、第2、第3及び第4のグラフィック要素160、164、168、172は、本明細書に記載したものとは異なる情報又はグラフィック要素を運転者に提示してもよく、かつ、第1、第2、第3及び第4のグラフィック要素160、164、168、172の部分的な組を提示してもよい。
図1に戻って、制御部104には、1つ又は複数の乗り物制御システム180と通信してHUDデバイス102を制御することができる、1つ又は複数のコンピュータ、(例えば、算術計算用の)プロセッサ又は、他の任意のデバイスを含むことができる。1つ又は複数の乗り物制御システム180(本明細書中では「乗り物制御システム180」又は「乗り物制御コンポーネント180」)は、任意の乗り物制御システム180の形態(複数可)をとって、乗り物106の制御を主導的又は受動的に円滑化するために用いることができる。乗り物制御システム180は、乗り物106の操作に関係する運転条件及び環境条件を検知する1つ又は複数のセンサ(図示せず)を含むか又は該センサと通信することができる。
HUDシステム100の動作を概略的にみると、制御部104は、乗り物制御システム180と通信し、乗り物制御システム180との通信に基づいて、乗り物106の運転者に提示するグラフィック要素の種類及び位置を決定する。制御部104 は、第1、第2、第3及び第4のプロジェクタ118、120、122、124によって第1、第2、第3及び第4のグラフィック要素160、164、168、172として提示されるべきグラフィック要素の種類を決定し、かつ、第1、第2、第3及び第4のプロジェクタ118、120、122、124を制御して、第1、第2、第3及び第4のグラフィック要素160、164、168、172を決定されたグラフィック要素として投影させる。制御部104は、第1のグラフィック要素の目標位置と第3のグラフィック要素の目標位置を、第1及び第3のグラフィック要素160、168が前記環境内で運転者に対してレンダリングされるべき目標位置として決定することができる。制御部104は、次に、第1及び第2のアクチュエータ156、158を制御して、第1及び第3のプロジェクタ118、122を直線的に移動させ、第1及び第3の焦点面162、170を、それぞれ第1及び第3のグラフィック要素の目標位置に移動させることができる。
このようにして、第1のプロジェクタ118は、第1のグラフィック要素160を第1の焦点面162上に投影する。第1の焦点面162は、運転者の視線に対して略垂直に配向させることができ、第1のアクチュエータ156による第1のプロジェクタ118の直線運動を通して運転者の視線178の方向を、乗り物106へ向かう方へ又は乗り物106から離れる方へ、移動することができる。第2のプロジェクタ120は、第2のグラフィック要素164を第2の焦点面166へ投影する。第2の焦点面166は、静止させ、地表面176に平行に配向させ、かつ、地表面176の上に配置することができる。第3のプロジェクタ122は、第3のグラフィック要素168を第3の焦点面170上投影する。第3の焦点面170は運転者の視線に対して略垂直に配向され、第2のアクチュエータ158による第3のプロジェクタ122の直線運動を通して、運転者の視線178の方向を乗り物106へ向かう方へ又は乗り物106から離れる方へ移動可能又は調整可能である。第4のプロジェクタ124は、第4のグラフィック要素172を第4の焦点面174上に投影することができる。第4の焦点面174は、静止しており、地表面176に平行に配向され、運転者の視線178の上方に配置することができる。制御部104は、第1及び第2のアクチュエータ156、158を制御して、第1及び第3のプロジェクタ118、122を移動させ、第1及び第3の焦点面162、170を移動させる。
第1及び第3のプロジェクタ118、122に、第1及び第3のグラフィック要素160、168を、運転者の視線178に略垂直に配向された第1及び第3の焦点面162、170上に投影させることによって、乗り物106から異なる距離にあるオブジェクトの焦点を調整することができる。これによって、運転者に対する、第1及び第3のグラフィック要素160、168の正確な奥行き手がかりの提供が容易になり、特に、HUDシステム100を乗り物用アプリケーションとすることができるので、移動プラットフォームとして働く乗り物106に具備することができる。
第2及び第4のプロジェクタ120、124は、第2及び第4のグラフィック要素164、172を第2及び第4の静的焦点面166、174上に投影すると同時に、第2及び第4の焦点面166、174を、切れ目なく連続させることができる。第2及び第4の焦点面166、174を地面176に平行にするために、第2及び第4のプロジェクタ120、124の拡散スクリーン150、154は傾斜させることができる。HUDデバイス102の光学系は、歪みが非常に小さく、地面に平行な焦点面にある画像に対してほぼテレセントリックであるので、光線が光軸と平行に近い。このことによって、第2及び第4の焦点面166、174が傾いている間、投射された第2及び第4のグラフィック要素164、172を歪みなく又は倍率を変えずに投影又はレンダリングすることが可能になる。したがって、この結果生じる第2及び第4のグラフィック要素164、172は、地表面176に平行で連続した焦点面(第2及び第4の焦点面166、174)上に表示される。この点で、第2及び第4のグラフィック要素164、172は、線分の代わりに実際の3次元(3−D)の立体形状でレンダリングして、奥行き知覚を強めるために単眼手がかりを追加することもできる。
連続し、静止した第2及び第4の焦点面166、174によって、第2及び第4のグラフィック要素164、172 に対する運転者の奥行き知覚が容易になる。連続し、静止した第2及び第4の焦点面166、174によって、3−D空間における前後方向(例えば、運転者の視線178の方向)全体に渡って実際の像又はグラフィック要素の正しい生成が可能になり、適切な運動視差手がかりの生成が可能になる。したがって、運転者の頭が、横から横へ又は上下に移動しても、運転者には、第2及び第4のグラフィック要素164、172が動き回ることなく、むしろ、環境内での位置が固定されているように見える。したがって、HUDシステム100は、運転者の頭部の動きを補償するための、頭部追跡機能を必要としない。
前記の、運転者に提示可能な例示的な情報に関して、乗り物制御システム180は、危険状況や障害物の検出、ナビゲーション、ナビゲーション命令、乗り物周辺(例えば、死角)モニタ等の機能を実行可能な処理及びセンサを有することができる。乗り物制御システム180は、他の乗り物制御機能(例えば、高速道路合流支援等)を実行可能な処理及びセンサを含むことができる。該他の乗り物制御機能は、HUDシステム100を用いて運転者に提示される情報に代替的又は追加的に結合することができる。乗り物制御システム180によって実行される機能に関係なく、前記機能を実行するための乗り物制御システム180の細かな動作形態は、関連するセンサ及び処理を含めて、HUDシステム100の動作と関連付けられなくてよい。
制御部104は、乗り物制御システム180と通信し、乗り物制御システム180から、乗り物106の動作に関連する、上記又は(又は、他の)機能に対応する入力を受信する。制御部104は、次に、HUDデバイス102を、乗り物制御システム180から受信した入力に基づいて制御する。ここで、制御部104と乗り物制御システム180の一方又は両方が、第1、第2、第3及び第4のグラフィック要素160、164、168、172として表示されるグラフィック要素の種類、第1、第2、第3及び第4のグラフィック要素160、164、168、172の位置及び、第1、第2、第3及び第4のグラフィック要素160、164、168、172のどれを表示するかを決定する。上記の決定は、運転者がナビゲーション機能を用いているかどうかなど、運転者によって用いられる1つ又は複数の乗り物機能に基づくこともできる。
制御部104又は乗り物制御システム180のどちらを使用して前記決定を行うかに関わらず、制御部104は、HUDデバイス102を制御して適切なグラフィック要素を適切な位置に表示させる。このような制御には、第1、第2、第3及び第4のプロジェクタ118、120、122、124を制御して、第1、第2、第3及び第4のグラフィック要素160、164、168、172を適切に投影することを含むことができる。該制御には、第1及び第2のアクチュエータ156、158を制御して、第1及び第3のプロジェクタ118、122を直線的に移動させ、第1及び第3の焦点面162、170を適切な位置(例えば、目標位置)に移動させるようにすることを含むことができる。例えば、156、158のような1つ又は複数のアクチュエータが、162、170のような焦点面の1つ又は複数を移動させるように構成することができる。例えば、第3の焦点面170に関しては、第3の焦点面170と乗り物106のフロント・ガラス(例えば、302)の間の距離は、距離170’を調整することによって調整することができる。同様に、距離162’ を調整して、焦点面162の目標位置を変えることができる。
第1、第2、第3及び第4のグラフィック要素160、164、168、172に関連する、前記の例示的な情報を参照して、HUDシステム100の動作が、乗り物制御システム180を有する乗り物106に言及しながら説明する。該乗り物制御システム180では、以下の機能、危険状況や障害物の検出と警告機能、ナビゲーション機能、ナビゲーション命令機能及び、乗り物周辺(例えば、死角)モニタ機能等が可能になる。再度述べるが、乗り物106は、上記機能の一部又は追加機能を有することができ、HUDシステム100を上記機能の一部又は追加的な機能に関連して用いることができる。上記機能に関するHUDシステム100の説明は単なる例示であり、HUDシステム100の説明を容易にするために用いている。制御部104と乗り物制御システム180のうちの1つ又は両方が、HUDシステム100の動作に関連する決定を行うことができるが、以下の説明では、制御部104が、乗り物制御システム180から受け取った入力に基づいて決定を行うように構成されているものとして説明する。
障害物検知及び警告機能に関する情報は、HUDデバイス102の第1のプロジェクタ118によって投影される視野相似拡張現実グラフィック要素として、運転者に提示することができる。この点に関して、乗り物制御システム180は、乗り物106が走行している道路上のさまざまな障害物を検出することができる。例えば、障害物には、道路を横断する歩行者、他の乗り物、動物、車道上の破片、窪み、等がある。これらの障害物の検出は、乗り物106に設けられたセンサ(図示せず)によって感知された環境からの情報を処理することによってなされる。また、障害物検出は任意の方法で行うことができる。
障害物を検出すると、乗り物制御システム180は、障害物の情報を制御部104に伝達する。制御部104は、乗り物制御システム180からの障害物情報を受信すると、第1のグラフィック要素160として提示するグラフィック要素の種類及び第1のグラフィック要素の目標位置を、受信した障害物情報に基づいて決定する。フラッシュ・アイコン、その他の表示等、さまざまな種類のグラフィック要素を用いることができるが、本明細書の例では、障害物を検出したときに提示される「譲れ(YIELD)」標識に関して説明する。
図4を説明すると、乗り物制御システム180が検出した障害物は、乗り物106が走行中の道路を横断する歩行者182である場合がある。図4の運転者の例示の視野では、乗り物106は、歩行者182が横断している道路を走行している。したがって、乗り物制御システム180は、歩行者182に関する障害物情報を制御部104に送信することができる。前記障害物情報に基づいて、制御部104は、第1のグラフィック要素160として表示するべきグラフィック要素の種類を決定することができる。この場合、例えば、該グラフィック要素は「譲れ(YIELD)」標識とすることができるが、他の図形を用いてもよい。制御部104は、第1のグラフィック要素の目標位置を、第1のグラフィック要素160が投影されレンダリングされて、運転者によって、歩行者182と同じ奥行き(例えば、焦点面)にあると知覚されるように、決定することができる。また、制御部104を、例えば、歩行者182が歩くときに、第1のグラフィック要素160が歩行者182を「追跡」又は「追尾」するように第1のグラフィック要素の目標位置を調整するように、構成することができる。
制御部104は、次に、第1のプロジェクタ118を制御して、「譲れ(YIELD)」標識を第1のグラフィック要素160として投影し、かつ、第1のアクチュエータ156を制御して直線的に第1のプロジェクタ118を移動させ、第1のグラフィック要素160が投影、レンダリングされて、運転者によって(例えば、運転者の目はアイ・ボックス116内にあり、運転者がフロント・ガラス112越しに前方を見ている間)歩行者182と同じ奥行きにあると知覚されるようにすることができる。第1のアクチュエータ156は、第1のグラフィック要素160を第1の焦点面162上に投影するように制御される。第1の焦点面162は、第1のグラフィック要素の目標位置に配置され、視線178に対して略垂直に配向することができる。
乗り物106と歩行者182が道路を通行するとき、両者間の相対的距離が変化する。この距離の変化は、乗り物制御システム180によって制御部104に伝達することができ、これに応じて第1のグラフィック要素の目標位置を変えることができ、かつ、第1のアクチュエータ156を制御部104によって制御して第1の焦点面162を移動させて、(例えば、変化した/変化している)目標位置にとどまるようにすることができる。このようにして、第1のグラフィック要素160を運転者の視線178の方向に沿って移動可能な第1の焦点面162上に投影し、第1のグラフィック要素160に対応する奥行き手がかりを正しく再生して、運転者が正確に第1のグラフィック要素160(例えば、検出された障害物)の位置を判定できるようにすることができる。
さらに、前記ナビゲーション機能に関する情報を、運転者に、HUDデバイス102の第2のプロジェクタ120によって投影された視野相似拡張現実グラフィック要素として提示することができる。この点に関して、乗り物制御システム180は、運転者からのナビゲーション要求(例えば、所望の場所の入力)を受信すると、所望の場所に到達するために運転者が通るべきナビゲーション経路を生成する。該ナビゲーション経路には、運転者が従うべき一連の運転指図が含まれ、該指図には、所望の場所に至る経路上の道路に至るための命令等が含まれる。ナビゲーション機能は任意の方法で実行することができる。ナビゲーション機能が起動されると、乗り物制御システム180は、ナビゲーション機能に関する運転指図を制御部104に伝達する。
制御部104 は、乗り物制御システム180から運転指図を受信し、第2のグラフィック要素164として提示するグラフィック要素の種類を決定する。ナビゲーション機能に関連するグラフィック要素の前記種類には、現在の道路を進み続ける(例えば、直線や矢印等)、左折又は右折して次の交差道路に入る(例えば、左/右向きの矢印又は適切な方向に曲がった線)、高速道路に入る、合流する又は高速道路から出る(例えば、適切な通路を示す線又は矢印)等を、運転者に指示するグラフィック要素を含まれる。制御部104は、乗り物制御システム180から伝達された運転指図に基づいて、第2のグラフィック要素164として提示するべき適切なグラフィック要素を選択する。
図4の運転者の視野の例を参照すると、乗り物制御システム180のナビゲーション機能によって決定された運転経路のための運転指図には、左折して次の道路に入る指示を含んでいる。したがって、制御部104は、第2のプロジェクタ120を制御して、左折のグラフィック要素を第2のグラフィック要素164として第2の焦点面166上に生成・投影する。図4に示すように、第2焦点面166は、地表面176に平行に配向され、地表面176上に置くことができる。上述のように、第2のプロジェクタ120は、HUDデバイス102に固定的に配置して、第2の焦点面166が静止するようにできる。上述のように、第2の焦点面166は切れ目なくつなぐことができ、第2のグラフィック要素164を、運転者に対して適切な奥行き手がかりで3−D画像としてレンダリングすることができる。
同様に、ナビゲーション命令機能に関する情報は、運転者に対して、HUDデバイス102の第3のプロジェクタ122によって投影された視野相似拡張現実グラフィック要素として提示される。ここで、乗り物制御システム180は、センサ又は、データベースに格納されて地図と関連付けられた情報を用いて、乗り物106が走行している道路をモニタし、かつ、該道路上の走行に関する次のナビゲーション命令を決定することができる。例えば、乗り物制御システム180は、乗り物106が走行している道路上の次に必要になる停止、譲れ(YIELD)又は他の状況(本明細書では、「道路状況」と総称する)を検出することができる。乗り物制御システム180は、検出された道路状況に関連するナビゲーション命令(例えば、停止の道路状況に対応付けられた停止命令等)を決定する。ナビゲーション命令機能は任意の方法で実行することができるが、実行方法の詳細は、必ずしもHUDシステム100の動作に関係しない。また、道路状況には、他の事柄の中では、道路区間の交通量、障害事象、障害物、気象状況、道路区間の表面の状況又は、道路又は道路区間の一部に関連した制限速度、等が含まれる。つまり、道路状況は、概して言えば、例えば、運転中の、加速、減速、迂回、停止、警戒等を行うための理由を含むことができる。
乗り物制御システム180は、道路状況又は道路状況に対応するナビゲーション命令、ならびに道路状況の位置に関する情報を、制御部104に伝達する。したがって、制御部104は、第3のプロジェクタ122を制御して、第3のグラフィック要素168を投影し、道路状況又は対応するナビゲーション命令に関する情報を運転者に伝達することができる。制御部104は、道路状況又はナビゲーション命令情報、ならびに位置情報を、乗り物制御システム180から受信して、第3のグラフィック要素168として表示するべきグラフィック要素の種類及び第3のグラフィック要素の目標位置を決定することができる。
さまざまな種類のグラフィック要素を、ナビゲーション命令機能と組み合わせて使用することができる。例えば、:STOP(停止)標識、譲れ(YIELD)標識、ONE WAY(一方通行)標識、NO TURN ON RED(赤で旋回禁止)標識等がある。グラフィック要素の種類は、道路状況に対応付けられたナビゲーション命令を伝達するために選択することができる。どのような種類のグラフィック要素を、制御部104が、第3のグラフィック要素168として使用するかを決定しても、該グラフィック要素は、運転状況の位置に表示されるように投影することができる。この点において、第3のグラフィック要素の目標位置は、第3のグラフィック要素168を運転者の視野の中でレンダリングするべき位置として、検出された道路状況の乗り物106に対する位置に基づいて、決定する必要がある。
制御部104は、第3のプロジェクタ122を制御して、適切なグラフィック要素を第3のグラフィック要素168として投影するように構成することができる。該制御部は、第2のアクチュエータ158を制御して第3のプロジェクタを直線的に移動させ、第3のグラフィック要素16を、運転者が(例えば、運転者の目がアイ・ボックス116内にあり、運転者がフロント・ガラス112を通して前方を覗き込んでいる間)、道路状況と同一の奥行きにある(例えば、同一の焦点面を有する)と知覚するように、投影、かつレンダリングすることができる。第2のアクチュエータ158を制御して、第3のグラフィック要素168を第3の焦点面170上に投影するようにできる。該第3の焦点面170は、第3のグラフィック要素の目標位置に配置して、視線178に略垂直に配向することができる。制御部104は、第2のアクチュエータ158を制御して、第3のプロジェクタ122を連続的、直線的に移動させ、第3の焦点面170が、乗り物106と検出された道路状況(例えば、第3のグラフィック要素の目標位置)の間の距離の変化(乗り物制御システム180によって検出され、制御部104に伝達される)に応じて移動するようにできる。該変化は、例えば、検出された道路状況に向かって乗り物106が走行する結果、発生する。
図4における運転者の視点からの視野の例では、乗り物106は、乗り物106が停止すべき十字路に近づいている。従って、乗り物制御システム180は、交差点入り口の位置に停止の道路状況を検出し、停止道路状況に対応するナビゲーション命令が停止命令であるべきだと判断する。停止道路状況又は命令、ならびに停止道路状況の位置が制御部104に伝達される。制御部104は、STOP標示を第3のグラフィック要素168として表示すべきであると判断する。制御部104は、第3のグラフィック要素168(例えば、STOP標示)が、十字路の入り口の位置に表示されるべきであると判断する。こうして、交差点の入り口の位置を、第3のグラフィック要素の目標位置であると判断することができる。
制御部104は、第3のプロジェクタ122を制御して、「STOP」標示を第3のグラフィック要素168として投影することができ、かつ、第2のアクチュエータ158を制御して第3のプロジェクタ122を移動し、第3のグラフィック要素168を、運転者が(例えば、運転者の目がアイ・ボックス116内にあり、運転者がフロント・ガラス112を通して前方を見ている間)、十字路の入り口と同一の奥行きにあると知覚するように投影し、かつレンダリングすることができる。第2のアクチュエータ158は、第3のグラフィック要素168が第3の焦点面170上に投影されるように、制御することができる。第3の焦点面170は、第3のグラフィック要素の目標位置におかれ、視線178に略垂直に配向することができる。乗り物106が道路を走行しているとき、乗り物106と十字路の入り口との相対距離が変化する。この距離の変化は、乗り物制御システム180によって制御部104に伝達することができ、したがって第3のグラフィック要素の目標位置を変えることができ、かつ、第2のアクチュエータ158を制御部104が制御して、第3の焦点面170を移動させ、第3の焦点面170が(例えば、変更された/変更中の)第3のグラフィック要素の目標位置に留まるようにすることができる。このように、第3のグラフィック要素168を、運転者の視線178の方向に沿って移動可能な第3の焦点面170上に投影して、第3のグラフィック要素168に対応する奥行き手がかりを正確に再現し、運転者が正確に第3のグラフィック要素168(例えば、検出された道路状況)の位置を判定できるようにすることができる。
乗り物周囲(例えば、死角)のモニタ機能に関連する情報は、運転者に対して、HUDデバイス102の第4のプロジェクタ124によって提示することができる。この点に関して、乗り物制御システム180は、他の乗り物の存在を、乗り物106のすぐ周り又は周辺の領域において検出することができる。乗り物106のすぐ周りの他の乗り物の検出は、乗り物106に具備されたセンサが検知する、周囲に関する情報を処理することによって行うことができる。乗り物周辺の判定は任意の方法で行うことができる。
乗り物周囲の情報は、乗り物制御システム180によって決定され、制御部104に伝達される。制御部104は、乗り物周辺情報を乗り物制御システム180から受信し、もし行うなら、どのように第4の焦点面174に投影された第4のグラフィック要素172を変更するかを決定する。この点で、第4のグラフィック要素172として、乗り物周辺(例えば、死角)モニタ機能を支援するために使用されるグラフィック要素は、図4に示す乗り物周辺標識とすることができる。
乗り物周辺標識には、乗り物106を表す中央のマーカーと、乗り物106を直接取り囲む場所を表す8つの周囲マーカーとが含まれる。乗り物制御システム180は、乗り物106の直近にある乗り物の位置に関する情報を伝達し、かつ、制御部104は、第4のプロジェクタ124を制御して、第4のグラフィック要素172を変更し、1つ又は複数の対応する8つの周囲マーカーを強調表示させる。8つの周囲マーカーの強調表示によって、乗り物106を直接取り囲む領域にある他の乗り物の位置を運転者に示す。
図4において、第4のグラフィック要素172は、第4の焦点面174上に投影することができる。第4の焦点面174は、地表面176に平行に配向することができ、かつ、地表面176及び視線178の上方に配置することができる。上述のように、第4のプロジェクタ124は、HUDデバイス102内に固定的に配置して、第4の焦点面174が静止しているようにすることができる。上述のように、第4の焦点面174は、切れ目なく連続するようにでき、第4のグラフィック要素172を、3−D画像として適切な奥行き手がかりで運転者にレンダリングするようにできる。
第4のグラフィック要素172は、図4の乗り物周辺標識とは異なる形で提供することができる。任意の事象において、第4のグラフィック要素172は第4の焦点面174上に投影することができる。該第4の焦点面174は、地表面176に平行に配向することができ、地表面176と運転者の視線178の上方に配置することができる。したがって、第4グラフィック要素172は空の焦点面上に提示することができる。これは、第4のグラフィック要素172によって伝達される情報が、環境と相互作用する必要がないので、適切であろう。
上記のHUDシステム100は、グラフィック要素を、そのうちのいくつかは視野相似拡張現実グラフィック要素として、連続的に変化する焦点距離に、かつ、運転者の視線178の方向に沿って前から後ろに連続的に変化する焦点を有する、地表に平行な焦点面に、投影できる。したがって、奥行き知覚の手がかりが改善され、焦点調節を容易にし、同時に又は並行して又は(又は、ほぼ同時に)、運転者が環境に払う注意を増すことができる。これによって、運転者が、グラフィック要素を介して提示された情報だけでなく、環境を観測することが可能になる。この点で、実験を通して、本願発明者は、空間認知が焦点手がかりに大きく影響され得ること及び、本明細書に記載のHUDシステム100の、焦点面調整機能と共に、グラフィック要素を、連続し、かつ静止した、地表に平行な焦点面上に表示する機能が、空間認知を改善すると判断した。この目的に対して、空間認知の大幅な改善は、本明細書に記載した、焦点手がかりを調整するときの方が、グラフィック要素のサイズを調整するときよりも、観察される。
HUDデバイス102の構成では、ビーム・スプリッタ126、130、134及び、レンズ128、132、136、138を含めて、HUDデバイス102のサイズを比較的コンパクトにすることができる。さらに、レンズ128、132、136、138によって、奥行きの範囲は、乗り物106の前方数メートルから、HUDデバイス102の光学系に割り当てられた物理空間内で無限遠まで拡大することができる。さらにまた、ビーム・スプリッタ126、130、134は光結合器として使用することができ、第1、第2、第3及び第4のプロジェクタ118、120、122、124からの異なる投射光線の組のすべてを、レンズ128、132、136、138を介して合流させて、第1、第2、第3及び第4のプロジェクタ118、120、122、124からの個別の画像を、運転者の視野に投影される1つの統合画像又は(又は、例えば、グラフィック要素)に結合することができる。
1つ又は複数の実施形態において、上に開示した及びその他の、特徴及び機能のうちのいくつか又は、その代替又は変形を所望のように組み合わせて、多くの他の異なるシステム又は応用とすることができる。また、該システム又は応用における、現在予見できない又は予期できない多様な代替、修正、変形又は改良が、以下の特許請求の範囲によって包含することを意図した技術の当業者によって、後になされてもよい。
例えば、より少ない又はより多いプロジェクタを、HUDシステム100において用いて、より少ない又はより多いグラフィック要素を投影してもよい。さらに、HUDシステム100は、前方の焦点面にグラフィック要素を投影する2つのプロジェクタと地面に平行な焦点面にグラフィック要素を投影する2つのプロジェクタを有するものとして記載されているが、前方の焦点面と地面に平行な焦点面の割合は変えることができる。HUDシステム100に対応する上述の乗り物の機能は代表的な事例であり、変更又は修正することができる。
さらにまた、前方焦点面を移動するしくみは、上述したものから変更することができる。例えば、プロジェクタ全体(例えば、第1及び第2のアクチュエータ156、158を用いて、第1及び第3のプロジェクタ118、122)を移動させるのではなく、単に拡散スクリーン(例えば、第1及び第3のプロジェクタ118、122の拡散スクリーン148、152)を、各々のプロジェクタ・ユニット(例えば、プロジェクタ・ユニット140、144)に対して相対的に移動させるようにしてもよい。
さらに、HUDシステム100は乗り物106を参照して説明し、該乗り物106は屋外用四輪自動車であったが、HUDシステム100は、異なる種類の乗り物で使用することができる。例えば、該HUDシステムは、海上の乗り物(例えば、ボート)、空中の乗り物(例えば、飛行機又はジェット機)又は屋内使用を意図した乗り物(例えば、輸送用カート、フォークリフトなどの資材取り扱い用乗り物等)に設けてもよい。
図5は、1つ又は複数の実施形態による、3Dナビゲーション・システム500の構成の1例の説明図である。システム500は、HUDコンポーネント100と、乗り物制御コンポーネント180と、制御コンポーネント104と、ナビゲーション・コンポーネント540と、奥行きマップ・コンポーネント550と、奥行きバッファ・コンポーネント560と、1つ又は複数のセンサ・コンポーネント570と、1つ又は複数の制御エリア・ネットワーク(CAN)580とを含むことができる。HUDコンポーネント100は、図1のHUDシステム100のような乗り物用立体HUDシステムとすることができ、前述のコンポーネントを含むことができる。1つ又は複数の実施形態において、HUDコンポーネント100は、特に、3−D・HUD、距離可変HUD、拡張現実HUD(AR−HUD)等とすることができる。
ナビゲーション・コンポーネント540は、起点位置(例えば、点A)と1つ又は複数の目的位置(例えば点B)を受信又は識別するように構成することができる。該ナビゲーション・コンポーネント540は、例えば、点Aから点Bへ至る1つ又は複数の経路群を計算又は決定するように構成することができる。一般に、ナビゲーション・コンポーネント540は、1つの乗り物に対応する。例えば、ナビゲーション・コンポーネント540は、乗り物に搭載し、該乗り物の1つ又は複数のシステム又は1つ又は複数のコンポーネントと統合し、乗り物内に収容し、乗り物の1つ又は複数のコンポーネントと連結又は通信接続し又は、乗り物内に配置する、等が可能である。いずれの場合においても、ナビゲーション・コンポーネント540は、起点位置と目的位置を特定するか又は受信することができる。1つ又は複数の実施形態において、ナビゲーション・コンポーネント540は、乗り物の現在位置又は現在座標を決定するように構成できるテレマティックス・コンポーネント(図示せず)を含むことができる。
さらに、ナビゲーション・コンポーネント540は、起点位置から1つ又は複数の目的位置までの1つ又は複数の経路群を生成するように構成することができる。1つ又は複数の実施形態においては、ナビゲーション・コンポーネント540は、乗り物の現在位置又は現在座標から1つ又は複数の目的位置までの1つ又は複数の経路群を生成するように構成することができる。前記1つ又は複数の経路群の中のある1つの経路には、1つ又は複数の部分、又は経路の1つ又は複数の部分を含むことができる。例えば、該1つの経路の1つ又は複数の部分には、1つ又は複数の道路区間又は道路区間の1つ又は複数の交差点に対応する1つ又は複数のナビゲーション命令又はナビゲーション操作を含むことができる。言い換えれば、該経路の1つ又は複数の部分には、1つ又は複数の旋回、ナビゲーション操作、道路区間、交差点、目印、又は該経路に沿った他の要素を含むことができる。ナビゲーション・コンポーネント540は、これらの旋回、ナビゲーション操作、目印等のうちの1つ又は複数を識別し、かつ、それに応じて1つ又は複数のナビゲーション指示、又は、1つ又は複数のナビゲーション命令を、乗り物の運転者等へ発行するように構成することができる。
ナビゲーション・コンポーネント540は、前記1つ又は複数のナビゲーション指示やナビゲーション命令を、音声プロンプト、視覚プロンプト、触覚プロンプト等を介して発行することができる。例えば、ナビゲーション・コンポーネント540は、1つ又は複数のプロンプトを1つ又は複数の制御エリア・ネットワーク(CAN)580を経由して送信することにより、1つ又は複数の周辺コンポーネント(図示せず)とインタフェース接続することができる。ナビゲーション・コンポーネント540は、「メインストリートで左折」のような可聴命令の再生、表示部の左側部分の光のフラッシュ又は、ステアリング・ホイールの振動等を起こして、運転者に運転動作をとる必要があることを示すことができる。ナビゲーション・コンポーネント540は、1つ又は複数の他のコンポーネントと協調して1つ又は複数の運転命令の送信又は配信を円滑に行うことができる。
例えば、HUDコンポーネント100は、1つ又は複数のナビゲーション命令又は1つ又は複数のナビゲーション操作を、1つ又は複数のグラフィック要素又はアバターとして、乗り物の乗員又は運転者の視野に投影するように構成することができる。これらのナビゲーション命令は、ナビゲーション・コンポーネント540から(例えば、直接的又は間接的に)受信することができる。HUDコンポーネント100は、連続する複数の焦点面上にアバターを投影して、該アバターが、図2のアイ・ボックス116からの視野を持つ、運転者等の乗員には、動いて見えるようにすることができる。このようにして、HUDコンポーネント100は、運転者が該運転者の視野内の立体画像を認識できるようにする。ここで、該立体画像は、乗り物の運転者が追従するべき「仮想的」誘導用乗り物として働くことができる。言い換えれば、乗り物の運転者には、彼又は彼女が、単に、例えば、目的位置までの誘導用乗り物に追従しているように見える。加えて、本明細書中に後で記載されるように、1つ又は複数の他のナビゲーション指示やナビゲーション命令が、立体的な表示位置確保記号(placeholder)、マーカー、又は、旗竿として投影されることがある。
HUDコンポーネント100は1つ又は複数のグラフィック要素を投影するように構成することができる。該グラフィック要素は、視野相似拡張現実グラフィック要素、等角拡張現実グラフィック要素、アバター、アイコン等とすることができる。これらのグラフィック要素は、HUDコンポーネント100により、立体的に投影することができる。この結果、該グラフィック要素に対応する1つ又は複数の視覚的手がかり又は1つ又は複数の奥行き手がかりをほぼ維持することができる。これらの1つ又は複数の視覚的な手がかり又は奥行き手がかりの維持は、グラフィック要素を動的焦点面又は可動焦点面上に投影又はレンダリングすることにより実現することができる。すなわち、HUDコンポーネント100は、1つ又は複数のグラフィック要素を移動可能又は調整可能な焦点面上に投影又はレンダリングするように構成することができる。動的焦点面又は可動焦点面は、例えば、図1及び図3を参照して説明したように、乗り物の乗員の視線のような通路や線路に沿って移動又は調節することができる。言い換えれば、該動的な焦点面は、乗り物又はフロント・ガラスに向かう方向に又は離反する方向に移動可能にすることができる。
1つ又は複数の実施形態において、焦点面は、例えば、HUDコンポーネント100のプロジェクタ又はスクリーンの、アクチュエータの使用による移動の結果として、動的にすることができる。すなわち、HUDコンポーネント100の1つ又は複数のプロジェクタを直線的に移動するように構成することができ、それによって、各々のプロジェクタが、1つ又は複数のグラフィック要素を、動的、移動可能又は調節可能な焦点面上に投影することが可能になる。該焦点面は、プロジェクタの動きに合わせて移動する。他の実施形態では、1つ又は複数の他の手段又は代替え手段を調整のために用いることができる。
別のし方で説明すると、グラフィック要素を、動的な、可動な又は調節可能な焦点面に投影したときに、該グラフィック要素は、乗り物との間の距離(例えば、図3の距離162’又は距離170’)を調整している焦点面上に投影することができる。HUDコンポーネント100のプロジェクタは、グラフィック要素を可動焦点面上に投影又はレンダリングすることができるので、投影されるグラフィック要素の焦点を、乗り物からさまざまな距離に調整することができる。上述のように、1つ又は複数の焦点面を、乗り物の乗員の視線に略垂直又は略平行に配向することができる。つまり、焦点面は地面に垂直又は地面に並行にすることができる。また、前記焦点面の1つ又は複数が乗員の視線又は地面に対して可動に又は静止することができる。これによって、グラフィック要素に対応付けられた奥行き手がかりを、運転者等の乗り物の乗員に対して、乗り物が移動又は走行する(従って、例えば、移動プラットフォームとして働く)ときに、正確に提示することができる。
図5のHUDコンポーネント100は、立体的視野相似拡張現実グラフィック要素を投影又はレンダリングするように構成することができる。この意味は、これらのグラフィック要素が、さまざまな距離で表示されるように投影することができるということである。言い換えれば、HUDコンポーネント100は、グラフィック要素を複数の焦点面に又は焦点調節可能な方法で投影することができる。さらに別のし方で説明すると、HUDコンポーネント100によって投影されるグラフィック要素の焦点面は、歩道上の歩行者の隣のように、フロント・ガラスの向こう側に延びる距離に調整することができ、これによって、乗員が操作環境や運行環境に集中できるようになり、乗り物のフロント・ガラス又はインストルメント・パネルと運転環境の間で目の焦点を切り替えるようなことは必要なくなる。このように、3Dナビゲーション・システム500によって安全性を増すことができる。
したがって、グラフィック要素は、乗員の直接視野内の環境に(例えば、HUDコンポーネント100によって)投影又は視覚的に配置することができる。これは、該グラフィック要素を、実環境と同じ空間にレンダリングすることができることを意味し、フロント・ガラス上へのレンダリングを意味しない。そして、該グラフィック要素に対応する奥行き手がかりを、正確に正しく再現することを可能にする。その結果、グラフィック要素は実世界のオブジェクト(例えば、道路)と同じ焦点面に投影することができ、乗り物の乗員が、例えば、道路から離れた方に目をやらないでグラフィック要素を見ることができるようにする。
これらの複数の焦点面又は調節可能な焦点面を実現できる理由は、HUDコンポーネント100のプロジェクタが移動するとき、光線を再成又は変形して、投影されるグラフィック要素又は仮想オブジェクトがフロント・ガラスより遠くに見える又は、フロント・ガラス上にない焦点面を持つようにすることができるからである。つまり、投影されたグラフィック要素又は仮想オブジェクトは、遠く(例えば、10メートル先)にある実在のオブジェクト(例えば、歩行者、乗り物、標識等)と同様の焦点特性を持つことができる。光線は、フロント・ガラスで反射され、出射光線は発散するので、これによって「反射」画像、すなわち実像が生成され、該画像はグラフィック要素として投影される。
前記光線はフロント・ガラスで反射されるのであり、(例えば、特別なコーティングを施したような)フロント・ガラスから放出される又は、出現するということではないので、乗員が頭を動かしたときにグラフィック要素を再レンダリングする必要はない。例えば、図3の連続した静止焦点面によって、光学的に「正しい」つまり実像を3次元空間内の前後方向(例えば、乗員の視線の方向)に沿って生成することが可能になる。それにより適切な運動視差手がかりの生成が可能になる。したがって、乗員の頭部が動いたとき、これらの焦点面に対応したグラフィック要素は、環境内の位置が固定して見え、揺動するようには見えない。上述のように、これは、HUDコンポーネント100が、乗員の頭部の動きを補償するための頭部追跡機能を必要としないことを意味する。
HUDコンポーネント100はベクトル・ベースではなく、ラスタ・ベースにすることができる。この意味は、HUDコンポーネント100によって投影されるグラフィック要素がビット・マップであるか、ドット・マトリクス構造を有するか又は矩形状格子の画素であるということである。さらに、HUDコンポーネント100は、異なる陰影、透明度、色、明るさ等を持つ1つ又は複数のグラフィック要素の1つ又は複数の部分を投影するように構成することができる。
このように、HUDコンポーネント100は、グラフィック要素又はアバターを、さまざまな自由度でレンダリング又は投影するように構成することができる。すなわち、焦点調節を維持して、乗員の両目が能動的に屈折力を変化させ、焦点面に投影されたグラフィック要素に集中するようにできる。同様に、グラフィック要素が「より近く」に移動するように投影されるとき(例えば、連続的に近くなる焦点面上に投影することによって)、輻輳を維持して、乗員がグラフィック要素の同時並行的な内向き回転を得ることができるようにすることができる。
1つ又は複数の実施形態では、HUDコンポーネント100は、グラフィック要素を、乗り物の運転者又は搭乗者が、ナビゲーション命令、ナビゲーション操作又はナビゲーション指示として従うべき、アバター又は移動アバターとして投影することができる。例えば、HUDコンポーネント100は、1つ又は複数のグラフィック要素を、移動アバター、表示位置確保記号、識別子、フラグポール、マーカー等として投影又はレンダリングするように構成することができる。これらのグラフィック要素は、乗り物の周囲環境の周りの1つ又は複数の焦点面上に投影され、乗り物の乗員の視野に投影することができる。HUDコンポーネント100によって投影されたアバター又はグラフィック要素は、乗り物の運転者を経路の1つ又は複数の部分に渡って誘導し、かつ、障害物の周りを縫うように進む、ナビゲート、移動、又は走行するように投影されることによって、障害物、障害状況又は道路状況との衝突を回避させることができる。センサ・コンポーネント570は、1つ又は複数の障害物や道路状況を感知するように構成され、制御コンポーネント104は、HUDコンポーネント100にグラフィック要素を投影するように指示して、例えば、交通規制用樽を回避するため車線変更すること等によって、道路状況の周りを走行又は迂回するようにすることができる。
1つ又は複数の実施形態では、センサ・コンポーネント570は、乗り物周囲の又は乗り物を取り囲む環境内の1つ又は複数の道路状況を感知、識別又は検出するように構成することができる。センサ・コンポーネント570は、道路区間、歩道、オブジェクト、歩行者、他の乗り物、障害状況、障害物、破片、窪み、路面状況(例えば、氷、雨、砂、砂利など)、交通状況又は交通標識(例えば、赤信号、制限速度標識、停止標識、踏切、列車など)を検出又は識別することができる。これらの道路状況は、制御コンポーネント104又は乗り物制御コンポーネント180に送信される。例えば、1つ又は複数のCAN580は、センサ・コンポーネント570と制御コンポーネント104又は乗り物制御コンポーネント180との間の通信を容易にするために用いることができる。1つ又は複数の実施形態において、センサ・コンポーネント570は、1つ又は複数の撮像デバイス、マイクロフォン、死角モニタ、駐車場センサ、近接センサ、対物センサ、赤外線センサ、動きセンサ等を含むことができる。
本明細書で使用される場合、交通状況には、交差点、乗り物、例えば3Dナビゲーション・システムを装備した乗り物と道路を共有する乗り物、踏切、赤信号、道路区間、歩道、停止標識、譲れ(YIELD)標識、交通標識、列車等を含む。本明細書で使用される場合、道路状況には、破片、砂利、窪み、路面状況、砂、倒木、溢流、油膜、氷や雨のような気象状況、等を含む。さらに「オブジェクト」には、ほとんどすべての交通状況、道路状況、気象状況、等を含むことができる。オブジェクトの例には、他の乗り物、店舗、建物、目印、道路の障害物、道路区間、交差点、歩行者等が含まれるが、必ずしもこれに限定されない。オブジェクトの発見、検出、又は、通路、1つ又は複数の道路区間等との対応付けは、乗り物が走行している又は走行しているように投影されている経路に沿って、行うことができる。
より詳細に説明すると、センサ・コンポーネント570は、走行環境、操作環境又は乗り物を取り巻く環境のような環境から、情報(例えば、オブジェクト、交通状況、道路状況、気象状況等)を受信、感知又は検出することができる。センサ・コンポーネント570が収集した情報は、制御部エリア・ネットワーク580を経由して伝達し、制御コンポーネント104によって分析し、又は、ナビゲーション・コンポーネント540によって提供されるテレマティクス・チャネルを介して遠隔のサーバ(図示せず)によって分析することができる。いずれの場合でも、センサ・コンポーネント570が受信し、収集した情報は、運転者が注意を払うべき理由、減速する理由(例えば、速度制限掲示又は標識)、加速する理由、停止する理由、回り道をする理由等を示すことができる。別の方法で説明すると、センサ・コンポーネント570が収集した情報は、制御コンポーネント104又は遠隔サーバによって分析されて、運転者に対して提示される1つ又は複数の運転動作に変換することができる。これらの提示された運転動作は、視覚的手がかり又はグラフィック要素として、HUDコンポーネント100によって、乗り物制御コンポーネント180が収集された情報及び制御コンポーネント104が行った決定に基づいて、投影することができる。
1つ又は複数の実施形態において、センサ・コンポーネント570は、1つ又は複数のオブジェクト、1つ又は複数のトラフィック状況、1つ又は複数の道路状況、1つ又は複数の気象状況、等を感知又は検出することができる。例えば、乗り物の近接センサ(例えば、センサ・コンポーネント570の1つ)は、横断歩道を渡る歩行者を検出することができる。さらに、他のコンポーネントは、環境、運転環境、又は操作環境に関する情報を受信することができる。例えば、乗り物制御コンポーネント180は、同様の情報を、(例えば、ナビゲーション・コンポーネント540によって提供されるテレマティクス・チャネルを介して又は、センサ・コンポーネント570から制御エリア・ネットワーク580を経由して)受信することができる。このように、乗り物制御コンポーネント180は、1つ又は複数のソースからの情報を集約することができる。言い換えれば、乗り物制御コンポーネント180は、オブジェクト情報、交通状況情報、道路状況情報、気象状況情報、等を受信することができる。
センサ・コンポーネント570は、情報を環境から直接収集することができ、同時に、乗り物制御コンポーネント180は、該乗り物に必ずしも局所化されていない別のソースからの情報を集約することができる。例えば、乗り物制御コンポーネント180は、交通情報を、乗り物の予定経路に沿って、交通データベース又はニュース・ソースから受信することができる。いずれにしても、乗り物制御コンポーネント180は、乗り物周囲の環境情報又は該乗り物に対して計画された経路に関する環境情報(例えば、乗り物が所定の経路に沿って走行する間に通過すると予想される場所の環境情報)のような環境に関する情報を集約することができる。
いずれにせよ、乗り物制御コンポーネント180は、1つ又は複数の道路状況に関するデータ又は、乗り物周囲の環境(例えば、操作環境、運転環境、周辺環境等)に関連するデータを受信するように構成することができる。1つ又は複数の実施形態では、乗り物制御コンポーネント180は、1つ又は複数の道路状況をセンサ・コンポーネント570から受信することができる。さらに、乗り物制御コンポーネント180は、1つ又は複数の道路状況を、1つ又は複数の他のソース、例えば、サーバ(図示せず)又はデータベース(図示せず)から受信することができる。乗り物制御コンポーネント180は、サーバ、サード・パーティ、データベース又は他のものに、テレマティクス・コンポーネント(図示せず)を介して起動されたテレマティックス・チャネルを介して、通信接続することができる。このように、乗り物制御コンポーネント180は、起点位置から目的位置に至る経路の1つ又は複数の部分に関する情報を収集することができる。
例えば、乗り物制御コンポーネント180は、道路区間の交通情報を含む道路状況情報(例えば、道路上の事故があった場合に交通が混雑しているかどうか、等)を受信することができる。さらに、乗り物制御コンポーネント180は、経路の1つ又は複数の道路区間に対応する速度制限情報を受信することができる。この情報は、1つ又は複数のグラフィック要素を乗り物の運転者や乗員に投影する方法を決定するために使用する。すなわち、ある道路区間が毎時65マイル(104.605km)の速度制限に対応しているが、(例えば、センサ・コンポーネント570によって検出される)乗り物の現在速度が毎時25マイル(40.233km)である場合、乗り物制御コンポーネント180は、HUDコンポーネント100に指示してアバターを投影させ、該アバターが該道路区間に入るときに加速するように表示する。
別の例として、センサ・コンポーネント570が、乗り物が走行している現在車線の交通規制用樽を検出した場合、乗り物制御コンポーネント180はこの情報を受信し、車線変更のナビゲーション命令がHUDコンポーネント100によって投影される必要があるという決定を行うことができる。該指示は1つ又は複数のCAN580を通ってHUDコンポーネント100に送信することができる。該HUDコンポーネント100は、車線変更又は位置移動のアバター又はグラフィック要素を、検出された交通規制用樽に対応して投影、レンダリング又はアニメーション化することができる。言い換えれば、HUDコンポーネント100は、交通規制用樽を縫うように進む又は該交通規制用樽の周りを通過するように表示されるアバター又はアイコンを投影することができる。該交通規制用樽は、該乗り物を囲む操作環境の中で該乗り物の前方に位置している。また、乗り物制御コンポーネント180を構成して、HUDコンポーネント100に、実際の乗り物が車線変更する際に表示するように、該乗り物のアバターの上に方向指示灯を投影させることができる。さらに、乗り物制御コンポーネント180は、アバターが交通規制用樽に近づくにつれて、アバターの知覚速度を調整することができる。これは、アバター又はグラフィック要素を、より近い焦点面に連続的に投影することによって又はグラフィック要素の動的焦点面を調整することによって、該動的焦点面と乗り物又は乗り物のフロント・ガラスとの間の距離が減少するようにして実現することができる。(逆に、アバターを、加速するように投影することが望ましい場合、動的焦点面を、該動的焦点面と乗り物又は該乗り物のフロント・ガラスとの間の距離が増加するように調整することができる)。
言い換えれば、乗り物制御コンポーネント180は1つ又は複数の道路状況を受信するように構成することができる。該1つ又は複数の道路状況のうちの1つには、1つ又は複数の道路区間の交通情報又は1つ又は複数の道路区間に対応する速度制限情報が含まれる。さらに、乗り物制御コンポーネント180は、HUDコンポーネント100を起動して、1つ又は複数のグラフィック要素を、1つ又は複数の道路状況、例えば、道路区間の制限速度及び該乗り物の現在速度、に基づいて、投影させるように構成することができる。このように、乗り物制御システム180は、1つ又は複数の適切なアクション(例えば、停止、加速、車線変更、減速等)又は、ナビゲーション命令を決定して、HUDコンポーネント100によって投影されるようにすることができる。
1つ又は複数の実施形態において、システム500は、HUDコンポーネント100によって投影される1つ又は複数のグラフィック要素の1つ又は複数の側面を管理する視野管理コンポーネント(図示せず)を含むことができる。1つ又は複数の実施形態において、制御コンポーネント104は、該側面の1つ又は複数又は乗り物制御コンポーネント180に関連する機能を管理するように構成することができる。たとえば、制御コンポーネント104は、1つ又は複数の道路状況を受信するように構成することができる。
制御コンポーネント104は、HUDコンポーネント100によって表示、投影、アニメーション化又はレンダリング等がなされるグラフィック要素の種類を決定するように構成することができる。例えば、乗り物が比較的直線的な道路区間を含む経路の1つ又は複数の部分に沿って走行しているとき、制御コンポーネント104は、アバターであるグラフィック要素を投影する。該アバターは、乗り物や誘導用乗り物として表示又は投影される。乗り物が、1つ又は複数の曲がり角又は他のナビゲーション操作を含む経路の1つ又は複数の部分に沿って走行している場面では、制御コンポーネント104は、HUDコンポーネント100に指示して、1つ又は複数の曲がり角に対応する場所にマーカーであるグラフィック要素を投影させることができる。例えば、経路に第1の通りから第2の通りへの右折が含まれる場合、制御コンポーネント104は、HUDコンポーネント100に指示して、マーカー又は識別子を、第1の通りと第2の通りの交差点に、該交差点に向かって又は該交差点の周り等に、投影させることができる。このように、制御コンポーネント104は、表示されるべきグラフィック要素の1つ又は複数の種類(例えば、マーカー、識別子、旗竿、誘導用アバター等)を決定するように構成することができる。
さらに、制御コンポーネント104は、グラフィック要素を投影する位置を1つ又は複数決定するように構成することができる。言い換えれば、制御コンポーネント104は、いつ、どこにグラフィック要素を投影するか、又はどのようにグラフィック要素を表示するかを決定することができる。グラフィック要素の位置には、焦点面、乗り物又は乗り物のフロント・ガラスから該焦点面までの距離、例えば、x、y、z軸のx座標、y座標、z座標等を含まれる。該場所は、1つ又は複数のグラフィック要素に対する目標位置と呼ぶことができる。1つ又は複数の実施形態においては、制御コンポーネント104は、1つ又は複数のグラフィック要素の1つ又は複数の焦点面と乗り物(又は、例えば、乗り物のフロント・ガラス)との間の距離を、経路の1つ又は複数の部分に対応する1つ又は複数の道路状況、乗り物の現在位置、乗り物の現在速度、等に基づいて、調整するように構成することができる
すなわち、道路区間(例えば、乗り物が現在配置されている又は位置している経路の部分)が毎時65マイル(104.605km)の速度制限(例えば、道路状況)に対応し、該乗り物の(例えば、センサ・コンポーネント570によって検出される)現在速度が毎時25マイル(40.233km)(例えば、乗り物の現在速度)である場合、制御コンポーネント104は、HUDコンポーネント100に指示して、毎時約65マイル(104.605km)で走行しているように表示されるアバター又はグラフィック要素を投影するように構成することができる。1つ又は複数の実施形態においては、該アバターを、毎時25マイル(40.233km)から毎時65マイル(104.605km)への漸次的加速を表すように投影することができる。これは、該アバターの焦点面と該乗り物との間の距離を適宜調整することができることを意味する。例えば、該乗り物がほぼ同じペースで加速する場面では、該焦点面と該乗り物との間の距離は、ほぼ同じままであってよい。該乗り物が、該アバターよりも遅いペースで加速する場合、該焦点面と乗り物との間の距離が大きくなるように、制御コンポーネント104によって調整することができる。いずれの場合にも、上記調整は、該乗り物の現在位置又は該乗り物の現在速度、ならびに関連する経路の道路状況に基づいて行うことができる。
さらに、制御コンポーネント104は、グラフィック要素のサイズを、該グラフィック要素の焦点面と該乗り物の距離に従って又は基づいて、HUDコンポーネント100と連携して、調整又は決定するように構成することができる。これは、制御コンポーネント104が、グラフィック要素、誘導用アイコン又はアバターの高さ、サイズ、幅、奥行き、等を、目標とする知覚像に基づいて調整することができることを意味する。例えば、アバターが加速してみえるようにするために、制御コンポーネント104は、アバターのサイズを収縮又は縮小するように調整しながら、同時に、アバターを連続的に遠ざかる焦点面上に投影するか、又は、動的焦点面を該乗り物から次第に遠ざかるように調整することができる。
1つ又は複数の実施形態においては、該グラフィック要素のサイズは、ナビゲーション命令又はメッセージの重要度の表示として用いることができる。言い換えれば、メッセージやナビゲーション命令がより重要になるほど、より大きなアバター、アイコン又はグラフィック要素を投影する。
制御コンポーネント104は、1つ又は複数のグラフィック要素に対する1つ又は複数の動作を、HUDコンポーネント100が投影することを決定するように構成することができる。例えば、制御コンポーネント104は、HUDコンポーネント100に指示を出して、アバターを投影させ、該アバターが加速、減速、停止、車線変更、車線変更前の方向指示灯の始動、フラッシュ、点滅、アバターの向きや角度の変更、アバターの色の変更等を行うようにすることができる。さらに、制御コンポーネント104は、1つ又は複数のグラフィック要素の目標位置を、道路状況、乗り物の現在位置、乗り物の現在速度又は、その他の属性、特性又は測定結果に基づいて、調整することができる。1つ又は複数の実施形態において、制御コンポーネント104は、1つ又は複数のCAN580を介して、ナビゲーション・コンポーネント540とインタフェース接続又は通信することができる。
制御コンポーネント104は、乗り物の運転者又は乗員の妨害になる可能性のある障害状況、混乱又は他の状況を緩和するように構成することができる。1つ又は複数の実施形態において、制御コンポーネント104は、水平位置をセンサ・コンポーネント570等から受信して、かつ、グラフィック要素を水平面又は空の面に投影するように構成することができる。該制御コンポーネントは、1つ又は複数のグラフィック要素の色、透明度又は陰影を、一日の時間帯、該経路に関連する交通混雑度、該経路に対する運転者の熟知度、等に基づいて、決定又は調整するように構成することができる。
奥行きマップ・コンポーネント550は、操作環境のような、乗り物の周囲又は乗り物を取り囲む環境の奥行きマップを構築する又は受信するように構成することができる。HUDコンポーネント100は、該奥行きマップを用いて、これに従って、1つ又は複数のグラフィック要素を投影することができる。これは、仮にアバターが角を曲がり、建物に隠れている(例えば、建物が、乗り物の乗員の視線と、グラフィック要素やアバターの知覚位置又は目標位置の間にある)場合、HUDコンポーネント100が、見えるべきものの線上にあるアバター又はグラフィック要素の1つ又は複数の部分の投影を有効化又は無効化することができることを意味する。
奥行きマップ・コンポーネント550は、奥行きマップを、サーバ又はサード・パーティのサーバから受信するように構成することができる。例えば、奥行きマップ・コンポーネント550は、奥行きマップを、サーバから、テレマティックス・コンポーネント(図示せず)を介して起動したテレマティックス・チャネルを介してダウンロードすることができる。他の実施形態では、センサ・コンポーネント570は、奥行きマップを構築するために奥行きマップ・コンポーネント550が使用できる奥行き情報を検出するように構成することができる。すなわち、奥行きマップ・コンポーネント550は、1つ又は複数のセンサとインタフェース接続又は通信して、奥行きマップを構築する又は、事前構築された奥行きマップをデータベースから受信することができる。いずれにしても、奥行きマップ・コンポーネント550は、奥行き情報に基づいた奥行きマップを構築するか又は受信することができる。奥行きマップは、乗り物周囲の環境又は領域内の1つ又は複数の表面、オブジェクト、障害状況、空間的形状等の距離を表している。
奥行きマップは、制御コンポーネント104に渡す又は送信することができる。該制御コンポーネント104は、これに応じて、HUDコンポーネント100に指示して、1つ又は複数のグラフィック要素をレンダリングすることができる。例えば、HUDコンポーネント100は、グラフィック要素を、乗り物の乗員に対応するアイ・ボックスの高さ、乗り物の位置、かつ、前記領域の奥行きマップに基づいて、投影又はレンダリングする。該奥行きマップは、能動的に感知又は、データベースから受信することができる。HUDコンポーネント100は、1つ又は複数のグラフィック要素を奥行きマップに基づいて投影して、乗り物の1人又は複数の乗員に対して一つの遠近図を表示することができる。
奥行きバッファ・コンポーネント560は、乗り物の1人又は複数の乗員の遠近制御を、奥行きマップ・コンポーネント550が生成又は受信した奥行きマップを用いて、容易化するように構成することができる。すなわち、該奥行きバッファ・コンポーネントは、グラフィック要素が乗員に視覚的に「正確に」見えるように、グラフィック要素のレンダリングを容易化するように構成することができる。例えば、グラフィック要素が実世界のオブジェクトの背後に投影される必要がある場合、奥行きバッファ・コンポーネント560は、グラフィック要素の一部を投影又はレンダリングしないで、該グラフィック要素の一部を乗員から「隠す」ことができる。言い換えれば、奥行きバッファ・コンポーネント560は、グラフィック要素のどの部分(例えば、画素)を、描画、投影又はレンダリングするか、及びどの部分をしないかを制御することができる。この目的のために、奥行きバッファ・コンポーネント560は、1つ又は複数の該グラフィック要素の1つ又は複数の部分のレンダリングを、奥行きマップに基づいて、有効化又は無効化するように構成することができる。
さらに、奥行きバッファ・コンポーネント560は、実世界のオブジェクトを不鮮明にし、それにより、乗り物の乗員が見ることができるものを隠すように構成することができる。例えば、奥行きバッファ・コンポーネント560は、HUDコンポーネント100に白色のグラフィック要素を投影するように指示して、該グラフィック要素が、看板等のような実世界のオブジェクト(例えば、センサ・コンポーネント570によって検出される)を覆うようにすることができる。その結果、乗員には該看板が見えないか又は、不鮮明に見えることになる。このように、該奥行きバッファ・コンポーネントは、減損現実を可能にするグラフィック要素を提供することにより、乗り物の運転者や乗員の混乱を緩和するように構成することができる。
HUDコンポーネント100によって投影することができるナビゲーション命令の例としては、誘導車への追従、加速(例えば、動的焦点面を、該焦点面から乗り物までの距離が増加するように変化させ、それにより、運転者又は乗員が該グラフィック要素に持ち得る遠近感を調整する)、減速(例えば、焦点面と乗り物との間の距離が減少するように調整する)、車線変更(例えば、グラフィック要素の目標位置を調整する)、障害状況の迂回、旋回、到着、場所のマーキング等がある。1例として、制御コンポーネント104は、歩行者が道路区間、道路、横断歩道等に足を踏み入れた場合、HUDコンポーネント100に指示して、アバターが減速するように投影させることができる。別の例として、制御部104は、HUDコンポーネント100に指示して、旋回の角度、道路区間に対応する制限速度、氷等の道路状況に基づいてアバターを減速するように投影することができる。すなわち、氷が路面にある場合、制御部104はHUDコンポーネント100に指示して、氷が路面に存在しない場合よりも遅く進むアバターを投影させることができる。
1つ又は複数の実施形態では、制御コンポーネント100は、次の曲がり角又は交差点をマーカー、旗の柱、旗竿、識別子等でマーク又は識別することができる。例えば、HUDコンポーネント100は、表示位置確保記号又はマーカーを、乗り物の乗員の眺望に沿って、レンダリング又は投影することができる。奥行きマップ・コンポーネント550は、建物、樹木等の複数の現実のオブジェクトが、表示位置確保記号の1つ又は複数の部分に対する視野妨害物として作用するような奥行きマップを提供するように構成することができる。1例としては、表示位置確保記号が100フィート(30.48m)の知覚されるべき高さを有し、かつ50フィート(15.24m)の高さの建物が表示位置確保記号の前にある場合、奥行きバッファ・コンポーネント560は、表示位置確保記号のグラフィック要素の下部のレンダリング又は投影を無効化することによって、視野の妨害を補正することができ、このようにして、運転者又は乗員の視点に応じて表示位置確保記号をレンダリングすることができる。
1つ又は複数の実施形態において、1つ又は複数のグラフィック要素が、乗り物の乗員の視野に、前記経路(例えば、誘導車追従モード)に基づいて投影される。1つ又は複数の実施形態で、グラフィック要素を、アバター又は他の誘導用アイコンとして投影することができる。アバターは、乗り物周囲の現実世界の環境に向かって、飛んでいるように見え、かつ、表示される。アバターは、3−D空間内または3次元の中で移動、運行又は、「飛ぶ」ことができる。このため、アバターやグラフィック要素は3−D内で移動するように見え、それによって、アバターに追従する乗員又は運転者に対して、より直感的な感覚や安心感を与えることができる。一例として、アバター、グラフィック要素又は誘導用アイコンを、高さやサイズが乗り物の乗員からの知覚距離に基づいて変化して見えるように投影することができる。該アバターは、移動するアバターを1つ又は複数の異なる焦点面上に順次投影することによって、アニメーション化することができる。さらに、該アバターは、実際の乗り物がするように、障害状況、障害物、歩行者、破片、窪み、等の周りを迂回するように見えてもよい。1つ又は複数の実施形態において、アバターは、実時間の交通状況に則して、「運転する」、移動する、移動するように見えることがある。アバターは、他の乗り物と「衝突」する、または、交通を妨害するようには見えないような形で、車線を変更することができる。別の例としては、ある経路で運転者や乗り物が線路を横切る必要がある場合、該アバターは列車が交差するときに該線路で停止することができる。他の実施形態では、HUDコンポーネント100は、一時停止の標識又は赤信号で停止する、又は、交通法規を遵守するアバター又はグラフィック要素を投影するように構成することができる。目的地に到着した場合、HUDコンポーネント100は、例えば、休息のポーズをしたアバターをレンダリング又は投影するように構成することができる。
このように、3Dナビゲーション・システム500は、直感的なメッセージ、命令又は指示を、運転者等の乗り物の乗員に対して生成することができる。該命令は遠近に関する1つ又は複数の属性に基づくことができ、該遠近は立体的な3−Dグラフィック要素を1つ又は複数の調整可能な焦点面に沿って投影又はレンダリングするHUDコンポーネントの性能によって決まる。例えば、3−D効果は、距離、遠近、知覚距離、道路状況等に基づいて決めることができる。
図6は、1つ又は複数の実施形態による、3−Dナビゲーションの方法のフロー図の1例600の説明図である。602において、経路を、起点位置から目的位置まで生成する。1つ又は複数の実施形態において、該起点位置又は目的位置は、例えば全地球測位システム(GPS)ユニットから、テレマティックス・チャネルを介して受信することができる。604において、1つ又は複数のグラフィック要素を、乗り物の乗員の視野内の1つ又は複数の焦点面に投影する。ここで、グラフィック要素は、アバター、画像、アイコン、識別子、マーカー等として表示することができる。さらに、これらのグラフィック要素は、前記経路の1つ又は複数の部分に基づくことができる。この意味は、これらのグラフィック要素を、乗り物が位置する可能性のある前記経路の一部(例えば、乗り物の現在位置)に応じてさまざまな距離に投影することができると言うことである。
606において、焦点面と該乗り物との間の距離を、前記経路の1つ又は複数の部分に対応する道路状況に基づいて調整する。さらに、前記距離は、また、該乗り物の現在速度に基づいて調整することができる。例えば、乗り物が時速65マイル(104.605km)の速度制限がつけられた経路の一部に沿って走行し、かつ、該乗り物の現在速度が毎時25マイル(40.233km)である場合、投影されたグラフィック要素とアバターの焦点面の間の距離を増加させる(例えば、運転者や乗員に加速するよう指示するため)。言い換えれば、該グラフィック要素を、毎時約65マイル(104.605km)で走行して見えるように投影することができ、それによって、乗員又は運転者に、加速してアバターに「追いつく」ように促すことができる(例えば、誘導用乗り物への追従に
似せて又は、それをシミュレーションして)。
図7Aは、1つ又は複数の実施形態による、3−Dナビゲーション用のアバターの1例700の説明図である。図7Aのアバター700は、乗り物の前方に表われ、要素、障害状況、通行物、道路状況等の周りで、飛行、滑空、移動、操縦等をすることができる。図7Bは、1つ又は複数の実施形態による、3−Dナビゲーション用のアバター(複数可)の1例710の説明図である。図7Bのアバター(複数可)710は高い視野から見える様子で、例えば、アバター710の若干後方からの鳥瞰図で見えるようなものである。1つ又は複数のアバター710が1つ又は複数の異なる焦点面又は目標位置に投影され、それによって、運転者又は乗員に、実際の乗り物を追尾しているような感覚を与えることがわかる。
図8Aは、1つ又は複数の実施形態による、3−Dナビゲーション用のアバターの1例800の説明図である。図8Aのアバター800は、反時計回りに回転して、左折を示している。図8Bは、1つ又は複数の実施形態による、3−Dナビゲーション用のアバターの1例810の説明図である。1つ又は複数の実施形態において、図8Bのアバター810は、点滅、フラッシュ、色の変更等によって、左折を指示することができる。例えば、紙飛行機のアバター810の左の翼は、光る又は明るさが変わって、次に左折することを示すことができる。1つ又は複数の実施形態において、アバターを該乗り物に近い焦点面に投影して、該アバターが旋回する前に「減速」して見えるようにすることができる。
図9Aは、1つ又は複数の実施形態による、3−Dナビゲーション用のアバターの1例900の説明図である。図9Bは、1つ又は複数の実施形態による、3−Dナビゲーション用のアバターの1例910の説明図である。図9Aのアバター900は、例えば、乗り物の運転者が減速するためのナビゲーション命令として投影することができる。図9Bにおいて、アバター910は地平の上又は空の面に投影されて、該アバター910が、運転者又は乗員が該乗り物の周囲環境の1つ又は複数の部分を見る邪魔にならないようにする。
図10〜図20の説明を、前述の図の1つ又は複数、例えば、図5の3Dナビゲーション用システム500又は、図3の側面図300又は焦点面等を参照して行う。
図10Aは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の例1000の説明図である。図10Aにおいて、乗り物の乗員、運転者、乗客、操作員等は、図5のセンサ・コンポーネント570のような、乗り物の1つ又は複数のコンポーネントに、指示を出すことができる。1つ又は複数の実施形態において、該センサ・コンポーネント570には、1つ又は複数の周辺コンポーネント、1つ又は複数の周辺機器、1つ又は複数のインタフェース、1つ又は複数のインタフェース・コンポーネント、例えば、タッチ・スクリーン、キー・ボード、1つ又は複数のボタン、インタフェース、マイクロフォン、1つ又は複数の撮像機器、ジェスチャ認識機器、等を含むことができる。例えば、乗り物には、タッチ・スクリーン・インタフェースを具備することができる、又は・ダッシュボード上のボタンをメニューとインタフェース接続するために用いることができる。いずれにせよ、1つ又は複数のコンポーネント又は前記センサ・コンポーネント570は、乗り物の乗員により与えられる又は出される指示を捕捉又は受信することができる。
例えば、運転者は、「どうやってサニーベールの中心街に行くか?」のような、ナビゲーション命令を乗り物に発話することができる。この例では、センサ・コンポーネント570にはマイクロフォンを含み、該マイクロフォンは、乗員又は運転者から言葉、すなわち発話された要求を受信して、該要求を、制御エリア・ネットワーク580を介して制御コンポーネント104又はナビゲーション・コンポーネント540に転送する。他の実施形態においては、携帯機器が乗り物と通信接続されている場合、乗員は、該携帯機器のマイク、タッチ・スクリーン、キー・ボード、又はキーパッド等を用いて、3Dナビゲーション・システム500とインタフェース接続することができる。制御コンポーネント104は、会話からテキストへ変換(STT:Speech TO Text)するオン・ボード音声認識モジュールを用いて、該要求の音声認識を行うことができる。別の可能性として、ナビゲーション・コンポーネント540は、テレマティックス・チャネルを用いて、STT処理を行うことができる遠隔サーバと通信することができる。
1つ又は複数の実施形態において、HUDコンポーネント、例えば、図1のHUDコンポーネント又はシステム100、又は、図5のHUDコンポーネント100等は、要求や指示の確認内容を投影、提示、レンダリング、又は表示することができる。言い換えれば、HUDコンポーネント100は、乗り物用の表示コンポーネントとして機能する、又は他の表示コンポーネントの補完をすることができる。図10Aの例の、「どうやってサニーベールの中心街に行くか?」に続けて、指示又は要求を受信した制御コンポーネント104は、該要求の確認内容を投影するか否かを、センサ・コンポーネント570によって提供又は検出された環境情報に基づいて決定する。ここでは、センサ・コンポーネント570が、移動中の乗り物、歩行者又は他の障害物を検出してないため、制御コンポーネント104は、該要求の確認がHUDコンポーネント100によって投影されるべきであると判断することができる。さらに、制御コンポーネント104は、対応するグラフィック要素の、サイズ、形状、型、透明度、配色、高さ、幅、奥行き、目標位置、焦点面等を決定することができる。この目的のために、該要求の確認内容は、1004に表示されるように、HUDコンポーネント100によってテキスト・ボックス内に投影することができる。
1つ又は複数の実施形態において、制御部104はHUDコンポーネント100に指示して、グラフィック要素をアバター1002として投影させることができる。該アバター1002は誘導用アイコンとして表示することができる。図10Aにおいて、該グラフィック要素は、飛行機の形又は外観を有するアバター1002として投影することができる。該飛行機は、該乗り物の運転者や乗員の少し前の経路に沿って滑空する。認識しやすくするために、制御コンポーネント104は、HUDコンポーネント100にアバター1002をアニメーション化させて、アバター1002がホバリング又は絶えず動いているようにさせることができる。言い換えれば、アバター1002が目に入り易くするために、制御コンポーネント104は、HUDコンポーネント100に、アバター1002と周期的な動作とを対応させるようにできる。例えば、HUDコンポーネント100は、アバター1002が水中浮遊、浮沈、ホバリング等をして見えるようにアバター1002を投影することができる。このようにして、運転者の気づきを増すことができる。
図10Bは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1010の説明図である。ナビゲーション命令のような要求又は指示を、制御コンポーネント104が受信すると、該制御コンポーネント104は、該要求又は指示を適切なコンポーネント又はモジュールに転送することができる。本例では、制御コンポーネント104は、該要求又は指示をナビゲーション指示として認識し、該ナビゲーション指示をナビゲーション・コンポーネント540に伝達する。これに従い、ナビゲーション・コンポーネント540は、乗り物の起点位置(例えば、現在位置)、目的位置を判断し、起点位置から目的位置までの経路を計算することができる。本明細書で論じたように、該経路には、1つ又は複数の道路区間に沿った1つ又は複数の経路部分及び/又は、1つ又は複数のナビゲーション動作又は操作を含むことができる。
ナビゲーション・コンポーネント540は、前記の経路、経路部分又は経路情報を制御コンポーネント104に提供することができる。該制御コンポーネント104は、該経路情報をレンダリングするか否か及び/又はどのようにレンダリングするかを決定することができる。例えば、図10Bでは、乗り物が動いていない(例えば、駐車中)か、又は低速度(例えば、検出した又は制御エリア・ネットワーク580を経由して提供される閾値速度未満)で走行しているため、制御コンポーネント104は、該経路の高階層俯瞰図1030がHUDコンポーネント100による投影に適切であると判断する。したがって、制御コンポーネント104は、HUDコンポーネントに、高階層俯瞰図1030を投影させ、高階層俯瞰図1030が環境内でより大きな面積を占めるようにすることができる。言い換えれば、該制御部は、該グラフィック要素のサイズ又は該グラフィック要素を投影するか否かを、乗り物の速度に基づいて決定することができる。逆に、乗り物が動いているか、又は、閾値速度以上で走行中である場合、制御コンポーネント104は、より小さな図版を投影するか又はHUDコンポーネント100にそのようなときには高階層俯瞰図1030を投影させないという決定を下すことができる。
図10Bでは、HUDコンポーネント100は、1つ又は複数の道路区間に沿って起点位置から目的位置に至る経路1032を含む地図の高階層俯瞰図1030を投影する。HUDコンポーネント100は、コンパス1034、道路区間識別子1036、交通情報、推定到着時刻、推定走行時間、乗り物の現在位置等を投影することができる。1つ又は複数の実施形態において、HUDコンポーネント100は、高階層俯瞰図1030の異なる側面を、1つ又は複数の配色を用いて投影することができる。例えば、HUDコンポーネント100は、該経路を、経路1032を第1の色を用いてレンダリングし、他の道路区間、例えば、1036で識別される他の道路区間を第2の色を用いてレンダリングするように投影することができる。
1つ又は複数の実施形態において、センサ・コンポーネント570は、グラフィック要素の表示又は投影用のカラー・パレット又は配色の決定を補助する撮像装置又は他のセンサを含むことができる。例えば、図10Bでは、1本又は複数の木々が背景又は環境内に存在することが分かる。該木々によって緑色が見にくくなる、又は、視覚化が困難になる可能性がある。このため、制御コンポーネント104は、1つ又は複数のグラフィック要素の投影のために、例えば、黄色のような緑色とコントラストをなす色を用いた配色を選択することができる。別の例として、日中、空は、センサ部品570によって青色と感知することができるが、一方、夜には空は黒く見える。言い換えれば、センサ・コンポーネント570は、環境に対応する色情報を受信、捕捉、感知又は検出することができ、該色情報をグラフィック要素の区別のために用いることができる。制御コンポーネント104は、該色情報を用いて、HUDコンポーネント100が投影する1つ又は複数のグラフィック要素に対する色を決定することができる。ここで、制御コンポーネント104は、昼間は赤を選択肢とし、夜間は青を選択肢として決定判断する。このように、該制御コンポーネントは、グラフィック要素又はアバターの配色又は色を、(例えば、センサ・コンポーネント570によって受信又は検出される)時間帯又は環境に対応する色情報に基づいて、決定することができる。
1つ又は複数の実施形態において、HUDコンポーネント100は、高階層俯瞰図1030の1つ又は複数の側面をアニメーション化することができる。例えば、HUDコンポーネント100は、該経路1032を1つ又は複数の道路区間に沿ってアニメーション化し、該経路1032が起点位置から目的位置まで一筆書きで描かれる、又はまるでそう見えるようにすることができる。言い換えれば、HUDコンポーネント100は、該経路に沿った走行を、蛇が蛇行するように起点位置から目的位置まで表現するアニメーションでレンダリングすることができる。
HUDコンポーネント100は、図10Aのアバター1002のようなグラフィック要素又はアバターを、異なるカメラ・アングル、カメラの遠近又は異なる視野を用いて、投影することができる。さらに、HUDコンポーネント100は、これらの視野の間を、アニメーションで又は漸次的に、移動又は遷移することができる。例えば、HUDコンポーネント100は、前記カメラの遠近又はカメラ・アングルを、鳥瞰図、例えば図10Bの高階層俯瞰図1030から、図10Aで見られるような搭乗者又は第3者の視界へ移動することができる。別の方法で説明すると、HUDコンポーネント100は、漸次的にカメラの遠近を調整して、鳥瞰図、レイアウト図、俯瞰図、縮小図又は第3者の視野図から、拡大図、搭乗者の視野図又は路面高の視野図に、ズーム・イン又はフライ・インすることができる。
例えば、HUDコンポーネント100は、乗員又は運転者が車内に座ってフロント・ガラス越しに実世界を見ながら持つであろう、実世界の視野又は同じ環境の視野と一致する路面高の視野においてズーム又は移動が完了したように見える、カメラの遠近又はカメラ・アングルを用いることができる。言い換えれば、路面高の視野は、アイ・ボックス内で乗り物のフロント・ガラス越しに前方を向いて/見ている間、乗員が持つ視野であると言える。別の方法で説明すると、ズーム・アニメーション又は遷移は、結果的に、図10Aのアバター1002のような、運転者の視野内の単なる一つのアバター又はグラフィック要素のレンダリングにすることができる。図11Aは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1100の説明図である。この場面の例1100に提示されたアバター1002の図は、図10Bの鳥瞰図、すなわち高階層俯瞰図1030と図10Aの第3者の視野の間で得られる遷移図であることが分かる。
1つ又は複数の実施形態では、HUDコンポーネント100は、乗員が地図の参照を要求したとき又は乗員が地図の参照指示を起動したときに、逆の順序で(例えば、第3者の視野から鳥瞰図へ)ズーム・アニメーションを行うことができる。この場面では、HUDコンポーネント100は、第3者であるアバター(例えば、図10Aの1002)の視野を投影し、鳥瞰図(例えば、図10Bの高階層俯瞰図1030)にズーム・アウト又はフライ・アウェイすることができる。さらに、HUDコンポーネント100は、経路、地図、又は視野の向きを、乗り物の向き又は動きに基づいて調整することができる。言い換えれば、HUDコンポーネント100は、例えば、地図又は視野の向きを調整して、現在の道路区間に沿った走行方向が上又は前方にみえるようにすることができる。
図11Bは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1110の説明図である。1つ又は複数の実施形態において、HUDコンポーネント100は、ナビゲーション命令又は推奨ナビゲーション操作を、乗り物の運転者に提供することができる。例えば、ナビゲーション・コンポーネント540は、起点位置から目的位置までの経路に対するナビゲーション命令の一覧を生成することができる。制御コンポーネント104は、HUDコンポーネント100に、環境内での各ナビゲーション命令、例えば1130を投影させることができる。ナビゲーション命令には、運転者に対する指図、例えば、右折、左折、右合流、左合流、譲れ(YIELD)、停止、減速、速度アップ、加速等を含むことができる。さらに、ナビゲーション命令は、運転者に対して、必ずしも、行動を取るように指示するとは限らない。例えば、ナビゲーション命令は赤のときには旋回が許可されていない旨を乗り物の運転者に警告することができる。
1つ又は複数の実施形態において、制御コンポーネント104は、配色を利用するか、又はHUDコンポーネント100に1つ又は複数のグラフィック要素又はアバターを異なる色を用いて投影させて、1つ又は複数のナビゲーション動作を表現させることができる。例えば、HUDコンポーネント100が図11Bのアバター1002A、1002B又は1002Cのようなアバターを、緑色に投影するときには、オブジェクト、障害、又は対面の乗り物がセンサ・コンポーネント570によって何も検出されていないことを示すことができる。別の例として、HUDコンポーネント100は、アバター1002A、1002B又は1002Cのうちの1つ又は複数を赤色に投影して、運転者に対して旋回はまだ安全でない旨を示すことができる。ここで、HUDコンポーネント100は、ナビゲーション命令として、例えば「右折」ではなく「譲れ(YIELD)」を投影することができる。
図11Bに見られるように、HUDコンポーネント100は、複数のアバター、1002A、1002B、及び1002Cを投影することができる。この例では、アバター1002Aを第1の焦点面上に投影し、アバター1002Bを第2の焦点面上に投影し、アバター1002Cを第3の焦点面上に投影する。ここで、第1の焦点面が該乗り物に最も近く、次に第2焦点面が続き、さらに第3の焦点面が続く。このようにして、アバター1002Cが乗り物から最も離れて見えるようにすることができる。HUDコンポーネント100は、異なる焦点面上に複数のアバター1002A、1002B、1002Cを投影することができるので、これによって、3Dナビゲーション・システム500は、運転者が追従するべき予定経路、通路又は事前設定された経路を提示することができる。
1つ又は複数の実施形態において、HUDコンポーネント100は、アバター1002A、1002B、1002Cのうちの1つ又は複数を、それぞれのアバターが乗り物の現在位置に対して静止する焦点面に在り続けるように、投影することができる。言い換えれば、HUDコンポーネント100は、アバター又はグラフィック要素を、乗り物と各アバターの焦点面との間の距離が、乗り物のアバターへの「接近」につれて小さくなるように、投影することができる。さらに別の言い方をすると、HUDコンポーネント100は、1002A、1002B又は1002Cのようなアバターを、乗り物に対して相対的に静止したオブジェクトとして投影し、それにより、運転者や乗員には、ある時点で該乗り物前方にあったアバターが後には追い越される又は乗り物が「追いつく」まで待って見えるようにすることができる。これらの実施形態では、HUDコンポーネント100は、経路進行が進み、乗り物の各人又は運転者が定置又は静止したアバターを「通過する」につれて、追加のアバターを投影することができる。
1つ又は複数の他の実施形態では、HUDコンポーネント100は、アバター1002A、1002B又は1002Cのうちの1つ又は複数を、それぞれのアバターが、乗り物の現在位置に応じて動的に調整される又は乗り物から一定の又は固定された距離にある焦点面を有するように、投影することができる。言い換えれば、該HUDコンポーネントは、アバター又はグラフィック要素を、乗り物とそれぞれのアバターの焦点面との間の距離が、乗り物が移動しても一定のままであるように投影することができる。さらに別の言い方をすると、該HUDコンポーネントは、アバターを、乗り物と一緒に動くように見える定置オブジェクトとして投影することができる。1つ又は複数の実施形態において、HUDコンポーネント100は、乗り物に対して定置しているオブジェクトとしてのアバターの投影と、乗り物と一緒に移動するように見えるオブジェクトとしてのアバターの投影との間を遷移することができる。
いずれにしても、HUDコンポーネント100は、複数のグラフィック要素又はアバターの任意の1つを、アニメーションとして、1つ又は複数のグラフィック要素又はアバターを投影する焦点面を調整することにより、投影することができる。一例としては、アバター1002A、1002B及び1002Cの配置は、図11A又は図10Aのアバター1002のように単一のアバターを展開することによって実現することができる。言い換えれば、1つ又は複数のアバター(又はグラフィック要素)を第1のアバターから展開し、かつ、それぞれのアバターを単一のアバターに折り畳むことができる。別の方法で説明すると、複数のアバターが、飛び出し、分かれ、進み又はHUDコンポーネント100によって第1のアバターの前に投影され、例えば、経路案内やナビゲーション命令を容易にアニメーション化できる。
1つ又は複数の実施形態において、HUDコンポーネント100は、1つ又は複数のグラフィック要素を、乗り物の運転者又は乗員に1つ又は複数のオブジェクト、障害物、道路状況等について警告するポインタとして投影することができる。制御コンポーネント104は、ポインタの種類を、乗り物の速度とオブジェクトの速度とに基づいて選択することができる。例えば、乗り物が静止している場合、接近する対向車(又は、例えば他のオブジェクト)は、該オブジェクトが該乗り物に接近又は該乗り物から遠ざかる間、該対向車、危険状況又は、移動するオブジェクトを指し示すように回転するグラフィック要素を投影することによって認識させることができる。
図12Aは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1200の説明図である。ここで、センサ部品570は、通過する乗り物や別の乗り物1214を検出することができる。他の乗り物1214の軌道又は通路がアバター1002Bによって表示された被提示ナビゲーション動作との衝突コース上にあるので、制御コンポーネント104は、HUDコンポーネント100にナビゲーション命令を投影させて、1130で進路を譲るように運転者に警告することができる。言い換えれば、センサ・コンポーネント570は、他の乗り物1214の位置を追跡することができる。この情報は、制御コンポーネント104に送信することができ、制御コンポーネント104は、HUDコンポーネント100が、ポインタ・グラフィック要素を1002Aに投影する必要があると決定することができる。HUDコンポーネント100は、こうして、他の乗り物1214を、1212Aの方向に追跡又は追従するポインタ・グラフィック要素1002Aを投影することができる。
図12Bは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1210の説明図である。図12Aの例に続いて、前記他の乗り物1214は、停止していた前記乗り物を通過したことが分かる。HUDコンポーネント100は、譲れ、のナビゲーション命令1130及び次のナビゲーション命令又は動作(例えば、右折)を1002Bに投影し続けることができる。センサ・コンポーネント570が他の乗り物1214を検出しているため、HUDコンポーネント100は対応する色、例えば、赤色にアバター1002Bを投影することができる。言い換えれば、制御コンポーネント104は、HUDコンポーネント100が投影するべきグラフィック要素の色を、(例えば、センサ・コンポーネント570によって収集又は検出された)オブジェクト情報や環境情報に基づいて、選択することができる。図12Bのポインタ1002Aは、追跡するオブジェクトに対応する方法で、z軸に沿って回転することにより、前記他の乗り物1214の指定又は追跡を続けることができる。言い換えれば、制御コンポーネント104は、ポインタ・グラフィック要素1002Aのヨー角を調整することができる。
図13Aは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1300の説明図である。個人又は運転者が乗り物を運転している間、ナビゲーション・コンポーネント540は、乗り物の現在位置及び/又は、対応する座標を測定することができる。該情報を用いて、ナビゲーション・コンポーネント540又は制御コンポーネント104は道路の名前を確定し、HUDコンポーネント100は、該道路名を、道路又は道路区間の表面に対応する焦点面上に、1330のように投影することができる。本明細書で論じるように、路面上のグラフィック要素の投影は、乗り物に対して静止して見えるように、つまり、乗り物と一緒に移動して見えるように行うことができる。1つ又は複数の実施形態において、HUDコンポーネント100は、道路名称1330を、乗り物の乗員からの質問、例えば、「何という道路にいるか?」というような質問に応答して、投影することができる。さらに、他のグラフィック要素、情報又は強調を、目印又はオブジェクト等に投影することができる。
図13Aにおいて、前述のように、複数のグラフィック要素やアバターを、HUDコンポーネント100によって投影し、アニメーション化、折り畳み、展開等を行うことができる。このように、アバター1002A、1002B及び1002Cは、乗り物の運転者又は他の乗員を、目的地までの経路に沿って案内するように表示される。図13Bは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1310の説明図である。図13Bでは、アバター1002A及び1002Bがさまざまなピッチ角、ロール角又はヨー角で投影されることが分かる。前記制御コンポーネントは、アバター又はグラフィック要素のピッチ角、ロール角又はヨー角の選択又は調整を、通路の軌跡、次に来る旋回の半径、乗り物の現在の速度、次の旋回に対応する速度制限、提示されたナビゲーション動作、環境からの情報、次のナビゲーション命令又は動作までの距離、等に基づいて行うことができる。
本明細書では、本例において、提示された経路上には、次の出口ランプを選択する乗り物があり、該出口ランプには環状の道路形態又は道路区間があるので、制御コンポーネント104は、HUDコンポーネントに、アバター1002Aよりも大きなロール角又はヨー角を持つアバター1002Bを投影させ、それにより、次に右折が近付いていることを認識させる。さらに、制御コンポーネント104は、アバター1002Aと1002Bとの焦点面の間に短い距離を選択して、旋回がどれだけ急であるかを示すことができる。他の実施形態では、制御コンポーネント104は、黄色又はオレンジ等の色を、1つ又は複数のアバターに対して選択して、次の旋回及び/又は、運転者が減速すべきことに対応する理由を示すことができる。
図14Aは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1400の説明図である。運転者又は乗員は、3Dナビゲーション・システム500に対して、起点位置から目的位置までのナビゲーションに従事しながら、要求又は指示を出すことができる。言い換えれば、ナビゲーション・コンポーネント540は、起点位置と目的位置との間の1つ又は複数の中間地点の追加を支援して、目的位置へのナビゲーションが、目的位置へのナビゲーションの再設定を必要とするような形で中断されないようにすることができる。別の方法で説明すると、中間地点が挿入されるとき、ナビゲーション・コンポーネント540は、乗り物の現在位置から該中間地点までの修正経路及び該中間地点から(以前に決定された)目的位置までの修正経路を計算することができる。図14Aでは、起点位置から現在位置までのナビゲーションが、アバター1002によって示されるように、進行中である。アバター1002は、乗り物の運転者に、現在の交差点をまっすぐに進んで渡るように指示している。1404で、要求又は指示の確認を、テキスト・ボックスに投影することができる。1つ又は複数の実施形態では、制御コンポーネント104は、複数の障害物をセンサ・コンポーネント570が検出したとき又は乗り物が閾値速度を超えて走行しているとき又はユーザの好みに基づくときのように、HUDコンポーネント100にテキスト・ボックス1404を投影させないようにすることができる。
1つ又は複数の実施形態において、前記システム500は、1つ又は複数の追加コンポーネント、サーバ、他のシステム、例えば、携帯機器又は遠隔サーバとインタフェース接続して、1つ又は複数の中間地点を決定することができる。例えば、運転者は、該システム500に、「最寄りのガソリン・スタンド」、「近くの一番安いガソリン・スタンド」又は「帰宅途中にあるガソリン・スタンド」に「連れて行く」ように要求することができる。これらの要求に応じて、制御コンポーネント104は、ナビゲーション・コンポーネント540とインタフェース接続して、乗り物の現在位置、目的位置、現在位置と目的位置の間の経路を決定し、かつ、携帯機器アプリケーションのようなガソリン価格アプリケーション等とインタフェース接続して、価格、場所又は他の条件を決定する。
図14Bは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1410の説明図である。制御コンポーネント104は、ナビゲーション・コンポーネント540と連携して、中間地点の位置を決定する又は、1つ又は複数の可能な中間地点から適切な中間地点を選択することができる。ナビゲーション・コンポーネント540は、現在の目的位置としての中間地点へ乗り物の経路を計算又は変更し、変更前の目的位置を次の目的位置として設定することができる。ナビゲーション・コンポーネント540は、該中間地点に関連する追加の走行時間を算出することができる。このために、HUDコンポーネント100は、該情報(例えば、約8分の余分な運転時間の追加になる迂回)をテキスト・ボックス1430Aに投影することができる。本明細書で論じるように、HUDコンポーネント100は、環境内の1つ又は複数の焦点面上にナビゲーション命令1130及びアバター1002を提示又は投影することができる。さらに、ナビゲーション・コンポーネント540は、中間地点又は目的地に関連付けられた・メタデータ又は情報を受信又はダウンロードするために、テレマティックス・チャネルを用いることができる。例えば、ナビゲーション・コンポーネント540は、店舗や・ガソリン・スタンドのロゴのような、中間地点に対応するロゴを受信することができる。HUDコンポーネント100は、1430Bに該ロゴ又は他の関連情報を投影することができる。さらに、HUDコンポーネント100は、ロゴ1430Bを平面状に折りたたむ又は、別の方法では、ロゴ1430Bをアバター1002又は他のグラフィック要素に変形すること等によって、1つ又は複数の側面をアニメーション化することができる。HUDコンポーネント100は、ほとんど任意のグラフィック要素をアニメーション化し、ほとんど任意の他のグラフィック要素に変換、移行すること等ができる。
図15は、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1500の説明図である。HUDコンポーネント100は、テキスト・ボックス1130内のナビゲーション命令と1つ又は複数のアバター1002A、1002B、1002C、1002D、1002E等を投影することができる。さらに、HUDコンポーネント100は、それぞれのアバター1002A、1002B、1002C、1002D又は1002Eによって提示される経路又は通路を、例えば、該アバターを順番にフラッシュさせて、強調することができる。HUDコンポーネント100は、アバター1002A、1002B、1002C、1002D又は1002Eの1つ又は複数を、該アバターが、危険状況、道路状況又は他の乗り物のような、センサ・コンポーネント570によって検出されたオブジェクトの周りをナビゲート、運転又は、動いて見えるように、投影することができる。図14Bのロゴ1430Bは、図15のように、アイコン大のロゴ“L”に縮小するようにアニメーション化されてもよい。例えば、制御コンポーネント104は、ロゴ1430Bが第1のサイズ又はフル・サイズで表示される時間を判断することができる。該表示される時間の終了後、HUDコンポーネント100は、より小さいサイズ、アイコンのサイズ又は第2のサイズでロゴ“L”を投影することができる。制御コンポーネント104は、対応するオブジェクト(例えば、レストラン、店舗、目印等)までの距離に基づいて、該ロゴに対する表示期間を決定することができる。
1つ又は複数の実施形態において、乗員がフロント・ガラスを通して乗り物前方の外を見ているとき等に、まだ乗り物の乗員の視界又は範囲に入っていない1つ又は複数の障害物又はオブジェクトに関する早期検出警告を表示することができる。図16Aは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1600の説明図である。図16Aの例では、乗り物が走行している又は走行することが予想される経路に沿って1つ又は複数の交通状況に対する交通状況情報を、乗り物制御コンポーネント180によって受信することができる。図16Aで、乗り物制御コンポーネント180は、乗り物前方の経路の1つ又は複数の経路群部分に沿って、工事を示す交通状況情報を受信することができる。言い換えれば、ナビゲーション命令に従うならば乗り物が選択することになる道路区間に沿って工事が行われている。別の方法で説明すると、乗り物が工事現場に到着する前に、乗り物制御コンポーネント180によって工事の発生を受信することができる。
HUDコンポーネント100は、テキスト、矢印、点滅矢印等を含むナビゲーション命令1130を投影することができる。アバター1002A及び1002Bも、同様に投影することができる。1つ又は複数の実施形態においては、制御コンポーネント104は、乗り物を停止するよう運転者に提案する停止点又は停止線を決定することができる。例えば、制御部104は、他の乗り物、環境内の障害物、他の環境情報等の位置に基づいて停止点を決定することができる。制御コンポーネント104は、安全運転を促すための水平な線1630として、HUDコンポーネント100に停止線を投影させることができる。他の実施形態では、HUDコンポーネント100は、例えば、運転者の乗り物と前方の他の乗り物との間の安全な車間距離を示す垂直な線又は他のグラフィック要素を投影することができる。
上記のように、制御コンポーネント104は、該障害物(例えば、オブジェクト)又は交通状況を認識し、HUDコンポーネント100に事前通知又は早期警告のグラフィック要素1602を投影させることができる。これによって、乗り物のフロント・ガラスから眺め又は外を見たときに、それぞれのオブジェクトが直接見えない場合でも、システム500が乗り物の運転者や乗員に1つ又は複数のオブジェクト、危険状況、障害物、交通状況等について警告することが可能になる。図16Bは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1610の説明図である。図16Bでは、1602で対応付けられている交通状況や障害状況が前方遠くにあり、かつ、乗り物の運転者には見えてない可能性があることがわかる。したがって、HUDコンポーネント100は、該乗り物に影響する工事を指摘し、かつ識別する事前通知用のグラフィック要素1602を投影することによって、(例えば、乗り物制御コンポーネント180によって受信される)危険状況、工事又はオブジェクトを識別することができる。例えば、図16Aでは、工事の場所が乗り物の左側なので、事前通知用のグラフィック要素1602に対応付けられたポインタ又はテールは、フロント・ガラスの視野領域の外側を指し示し、それによって乗り物の運転者や他の乗員に、工事が前方にあることを警告することができる。
制御コンポーネント104は、1つ又は複数の目標位置を決定し、HUDコンポーネント100によって投影された1つ又は複数のグラフィック要素の目標位置を更新又は調整するができる。例えば、制御コンポーネント104は、事前通知用グラフィック要素1602によって対応付けられている又は指示されるオブジェクトから該乗り物までの距離に基づいて、事前通知用グラフィック要素1602の目標位置を選択又は決定することができる。ここで、制御コンポーネント104は、事前通知用グラフィック要素1602に対応付けられた工事(例えば、オブジェクト)が、該乗り物から閾値距離よりも大きく離れていると判断することができる(例えば、ナビゲーション・コンポーネント540を利用して、該乗り物の現在のGPS位置を決定し、乗り物制御コンポーネント180によって提供される工事の座標と比較する)。工事が該閾値距離よりも大きく離れていると判断されるので、HUDコンポーネント100は、工事と近い、重なり合った又は、隣り合ったグラフィック要素を投影するのではなく、閾値距離よりも大きな長さのポインタを用いて、空中に事前通知用グラフィック要素1602を投影することができる。
図17Aは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1700の説明図である。乗り物が、事前通知用グラフィック要素1602によって示される工事のようなオブジェクトに接近するに連れて、制御コンポーネント104は、各グラフィック要素(例えば、1602)の配置又は目標位置を調整することができる。さらに、制御コンポーネント104は、表示するグラフィック要素の種類を変更することができる。例えば、図17Aでわかるように、事前通知用グラフィック要素1602には、図16A又は図16Bで以前用いられていたようなポインタが含まれていない。ここでは、該乗り物と該オブジェクト(例えば、工事)との間の接近度が閾値距離未満であるので、制御コンポーネント104は、ポインタを省略できると判断することができる。ここで、HUDコンポーネント100は、アバター1002、事前通知用グラフィック要素1602及び危険状況グラフィック要素1704Aを投影することができる。
例えば、乗り物制御コンポーネント180又はセンサ・コンポーネント540が、建設中の道路区間等のような、危険状況、障害状況、障害物又は、他の走行不可能なオブジェクトを識別すると、制御コンポーネント104は、HUDコンポーネント100に、危険状況に重なるようにして危険状況グラフィック要素1704Aのような危険状況グラフィック要素を投影させることができる。奥行きバッファ・コンポーネント560は、危険状況が乗り物の乗員、操作員又は運転者の視界から隠れるように、実世界や実環境にある危険状況の1つ又は複数の部分の表示抑止を容易化することができる。言い換えれば、HUDコンポーネント100は、不透明な又はさまざまな透明度を有するグラフィック要素を投影することができる。制御コンポーネント104が、ある領域、危険状況又はオブジェクトを超えて又はその上を運転できない又は運転するべきでないと判断した場合、HUDコンポーネント100は、判断に従って危険状況グラフィック要素を投影し、該領域を「塗りつぶす」ことができる。
図17Bは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1710の説明図である。図17Bにおいては、前記乗り物が図17Aで示した危険状況又は工事に接近したことが分かり、かつ、HUDコンポーネント100は、それに応じて危険状況グラフィック要素1704Bの遠近を調整している。例えば、該乗り物は該工事までの距離が近いため、図17Bの危険状況グラフィック要素1704Bは、図17Aの危険状況グラフィック要素1704Aよりも面積が大きい。センサ・コンポーネント540又は乗り物制御コンポーネント180から受信し、環境内の危険状況、工事又はオブジェクトに関係する又は、関連付けられた情報は、制御コンポーネント104によって、グラフィック要素のサイズ、形状、型(例えば、誘導用アイコン、アバター、不明瞭さの度合い、透明度、色)、高さ、幅、奥行き、焦点面、色、目標位置を決定するために又は、グラフィック要素間の重なり又は奥行きマップ情報を識別するために用いることができる。言い換えれば、これらの属性は、乗り物制御コンポーネント180又は、センサ・コンポーネント570によって受信されたオブジェクト情報又は環境情報基づくことができる。1つ又は複数の実施形態では、該制御部は、グラフィック要素の色を、対向する交通状況、一日の時間帯、環境内のオブジェクトの色、交通ルール、等に基づいて選択又は変更することができる。
奥行きマップ・コンポーネント550は、乗り物の周囲の環境又は環境内のオブジェクトの奥行きマップを管理又は構築することができる。制御コンポーネント104は、奥行きマップを用いて、グラフィック要素に関して、オブジェクトが視認可能かどうか、透明かどうか、不透明かどうか等を決定することができる。例えば、前記工事(危険状況グラフィック要素1704A又は1704Bの下に隠れている)には、交通規制用樽、セーフティ・コーン、破片、窪み、掘削、運転不可能な路面、等を含むことができる。本例では、制御コンポーネント104は、これらの側面は危険状況グラフィック要素1704A及び1704Bの下に隠すべきであると判断されている。しかし、該環境内の他のオブジェクトは、必ずしも、危険状況グラフィック要素1704A及び1704Bの下に隠す又は、下層におかれる必要はない。例えば、歩行者が工事を横切る場合、制御コンポーネント104は、該歩行者は隠すべきでないオブジェクトであると判断し、HUDコンポーネント100に、危険状況グラフィック要素1704Bによって運転者の視野内で歩行者が見えにくくならないように危険状況グラフィック要素1704Bを投影させることができる(例えば、危険状況グラフィック要素1704Bを「通り抜けて」歩いている時)。言い換れば、制御コンポーネント104は、センサ・コンポーネント540又は乗り物制御コンポーネント180から受信した、環境内のオブジェクトの動き又は、オブジェクトの識別情報、オブジェクトの種類、オブジェクトのサイズ等の他のデータに基づいて、グラフィック要素の視認性、階層度、透明度、不透明度等を決定することができる。このように、奥行きマップ情報は、周囲の環境又は実世界に関する1つ又は複数のグラフィック要素の現実的な感覚を、乗り物の乗員、操作員又は運転者に提供するために、制御コンポーネント104又はHUDコンポーネント100によって用いられることができる。
図18Aは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1800の説明図である。1つ又は複数のオブジェクトが、(例えば、乗り物制御コンポーネント180によって受信された環境情報によって)乗り物の通路内又は予想経路に沿って存在することが(例えば、センサ・コンポーネント570によって)検出された場合、制御コンポーネント104は、HUDコンポーネント100に、グラフィック要素及び/又はポインタで、それぞれのオブジェクトを協調表示又は追跡させることができる。例えば、乗り物がナビゲーション命令1130及びアバター1002A、1002B及び1002Cによって示されていた右折に近づいているとき、センサ・コンポーネント570は、乗り物が右折すると予想される道路区間付近に歩行者1832を検出する可能性がある。その結果、制御コンポーネント104はHUDコンポーネント100に指示して、該歩行者1832の所にグラフィック要素1834を投影することができる。1つ又は複数の実施形態において、HUDコンポーネント100は、歩行者1832に重ねてグラフィック要素を投影することができる。さらに、HUDコンポーネント100は、歩行者専用道路との交差点を示す標識を表わしているグラフィック要素1804を投影することができる。
乗り物及び歩行者1832が道路区間に沿って移動すると、両者間の相対的距離が変化する(例えば、該歩行者1832が移動する可能性、該乗り物が移動する可能性又は、該歩行者1832と該乗り物の両方が移動する可能性がある)。センサ・コンポーネント570は、この距離の変化を検出し、かつ、制御コンポーネント104又は乗り物制御コンポーネント180に該変化を通信するか又は距離を更新することができる。制御コンポーネント104は、1つ又は複数のグラフィック要素(例えば、1832又は1834)の目標位置を更新、変更又は追跡することができる。言い換えれば、制御コンポーネント104は、1つ又は複数のグラフィック要素のための1つ又は複数の焦点面をオブジェクト情報や環境情報に基づいて調整することができる。前述のように、焦点面上のグラフィック要素の投影に関連するアクチュエータは、制御コンポーネント104によって、焦点面を移動、調整又は変更する(例えば、図3の視線178のような、運転者や乗員の視線の方向に沿って焦点面を移動させる)ように制御することができる。
図18Bは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1810の説明図である。図18Bでは、HUDコンポーネント100は、複数の歩行者1832及び1842に対応する複数のグラフィック要素1834及び1844を、それぞれ、投影することができる。さらに、HUDコンポーネント100は、1つ又は複数のグラフィック要素を、1802又は1804にあるような表示として投影することができる。
図19Aは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1900の説明図である。1つ又は複数の実施形態において、3Dナビゲーション・システム500によって、乗り物の乗員が該乗り物と環境内のオブジェクトに関して相互交信することが可能になる。すなわち、乗員は、質問(「あれは何か」、「あれはすばらしい」)を発する又は、意見を(例えば、口頭又はテキスト入力で)述べ、かつ、回答としてグラフィック要素の投影を受けとることができる。例えば、センサ・コンポーネント570は、1つ又は複数の質問、要求又は指示を、乗り物のユーザ、乗員又は運転者から受けることができる。ここで、該乗り物の乗員は、「右側のあれは何か?」と質問している。HUDコンポーネント100は、テキスト・ボックスのグラフィック要素1904を用いて、受取り確認を表示するか又は、質問又は要求を復唱することができる。1つ又は複数の実施形態では、アバター100 2でわかるように、ナビゲーション中に質問又は要求をすることが可能である。1つ又は複数の他の部分を、1つ又は複数の要求又は指示の履行を容易にするために用いることができる。例えば、携帯機器が該システム500に通信で接続されている場合は、「右のレストランに電話をする」と指示されたとき、制御コンポーネント104は携帯機器に商業施設の電話番号にダイヤルさせることができる。別の例として、制御部104は、「私にレストランXの予約をさせる」に応答して、携帯機器又は該乗り物に搭載されているレストラン予約アプリケーションと交信することができる。他の指示や要求では、「私にメニューを読んで」というように、該乗り物のオーディオ・システムを利用することができる。
図19Bは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例1910の説明図である。制御コンポーネント104は、1904に対応する要求を処理又はナビゲーション・コンポーネント540に送り、商業施設、レストラン等、該乗り物の近傍にあるオブジェクト判定することができる。制御コンポーネント104は、レストランのようなオブジェクトに関連付けられた情報を地図アプリケーション、遠隔サーバ等から受信することができる。このような情報には、時間、ロゴ、ステータス、商業施設の評価、連絡先情報、電話番号、メニュー、等のオブジェクトに関連するメタデータを含むことができる。ここで、HUDコンポーネント100は、ロゴのグラフィック要素1430B、情報1930(例えば、電話番号、状態、時間など)及び、強調表示用グラフィック要素1932を投影することができる。上記投影によって、オブジェクト(たとえば、レストランや商業施設)の場所に注意を向けさせることができる。
図20Aは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例2000の説明図である。1つ又は複数の実施形態において、ナビゲーション・コンポーネント540は、環境内の1つ又は複数のオブジェクトに関連付けられたメタデータを乗り物制御コンポーネント180に提供することができる。例えば、環境内のオブジェクトの1つ又は複数が、建物や商業施設である可能性がある。ナビゲーション・コンポーネント540は、それぞれの建物や商業施設に関するアドレス情報をダウンロード又は受信することができる。該アドレス情報は、HUDコンポーネント100によってグラフィック要素として投影することができる。例えば、建物2002、2004及び2006のアドレスを、HUDコンポーネント100によって表示することができる。1つ又は複数の実施形態において、制御コンポーネント104は、アドレスのグラフィック要素の表示を、例えば、乗り物が目的位置との閾値距離内に入ったとき又は、ユーザ要求時に、有効にすることができる。他の実施形態では、アドレスのグラフィック要素を、ナビゲーションモード中にアバター1002によって示されるような方向指示がナビゲーション・コンポーネント540によって表示される場合等に、投影することができる。
図20Bは、1つ又は複数の実施形態による、3−Dナビゲーションに関連する場面の1例2010の説明図である。本例では、センサ・コンポーネント570又はナビゲーション・コンポーネント540は、1つ又は複数の駐車地点を識別することができる。その結果、制御コンポーネント104は、HUDコンポーネント100に、乗り物の乗員の視野内に駐車地点を示すグラフィック要素2030を投影させることができる。該グラフィック要素2030は、事前通知のグラフィック要素として表示され、ポインタを有し、透明度、色、形状、サイズ等のような属性を有し又は、本明細書に記載したような、オブジェクトのメタデータ(例えば、駐車料金、時間制限等)を含むことができる。
図21は、1つ又は複数の実施形態による、3−Dナビゲーション用方法のフロー図の1例2100の説明図である。2102では、方法2100を開始する。2104において、1つ又は複数のオブジェクトを追跡する又は、各オブジェクトに対応するメタデータを受信することができる。さらに、環境又は、起点位置から目的位置までの経路に関連する情報を受信することができる。2106において、1つ又は複数のオブジェクトに関連して投影する複数のグラフィック要素に対して、1つ又は複数の焦点面又は更新焦点面を計算することができる。2108において、1つ又は複数のグラフィック要素を、1つ又は複数の焦点面又は、それぞれのオブジェクト上に、レンダリング又は、投影することができる。2110で、1つ又は複数のオブジェクトに関連するグラフィック要素の追跡又は、投影を継続するか否かに関して判断することができる。追加の追跡が望ましいと判断した場合は、方法2100は2104に戻って継続される。追加の追跡が必要ない場合、該方法は2112で終了することができる。
さらに別の実施形態では、本明細書で開示する技術の1つ又は複数の実施形態を実装するように構成された、プロセッサ実行可能命令を含むコンピュータ可読媒体が含まれる。前記方法で考案されたコンピュータ可読媒体又は、コンピュータ可読デバイスの実施形態が図22に示されている。図22では、実装2200には、コンピュータ可読データ2206が符号化されて記録されているCD−R、DVD−R、フラッシュ・ドライブ、ハード・ディスク・ドライブのプラッタのような、コンピュータ可読媒体2208が含まれる。2206に示すような、複数の0又は1を含むバイナリ・データ等のコンピュータ可読データ2206には、本明細書に記載の原理の1つ又は複数に従って動作するように構成されたコンピュータ命令のセットを順に含んでいる。このような一実施形態2200では、プロセッサ実行可能なコンピュータ命令2204が、図6の方法600又は、図21の方法2100のような方法2202を実行するように構成されている。別の実施形態では、図5のシステム500のようなシステムを実装するように、プロセッサ実行可能命令2204を構成している。上記のようなコンピュータ可読媒体の多くは、本明細書で紹介した技術に従って動作するように、本技術分野の当業者によって考案される。
本願で使用されるように、「コンポーネント」、「モジュール」、「システム」、「インタフェース」等の用語は、一般に、コンピュータに関連する実体、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア又は実行中のソフトウェアのどれかを指すように意図されている。例えば、一つのコンポーネントは、プロセッサ上で実行中のプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行スレッド、プログラム又は、コンピュータである可能性があるが、これに限定されない。説明によっては、制御部で実行中のアプリケーション及び、該制御部の両方ともがコンポーネントであり得る。プロセス又は、実行スレッド内に存在する1つ又は複数のコンポーネント及び、1つのコンポーネントが1台のコンピュータに局在又は、2台以上のコンピュータ間に分散することができる。
さらに、特許請求された主題は、開示された主題を実装するコンピュータを制御するソフトウェア、ファームウェア、ハードウェア又は、それらの任意の組み合わせを製造するために標準プログラミング又はエンジニアリングの技術を用いた、方法、装置又は製造物品として実現される。本明細書で使用される用語「製造物品」は、任意のコンピュータ可読デバイス、コンピュータ可読キャリア又はコンピュータ可読媒体からアクセス可能なコンピュータプログラムを包含することを意図している。もちろん、特許請求された主題の範囲又は思想から逸脱することなく、該構成に多くの改変を加えることができる。
図23及び、以下の議論では、本明細書に記載された1つ又は複数の条件の実施形態の実施に適したコンピューティング環境について説明する。
図23の動作環境は、適切な動作環境の単なる一例であり、動作環境の使用範囲又は機能範囲に関して何ら限定を示唆するものではない。例示のコンピューティング・デバイスには、パーソナル・コンピュータ、サーバ・コンピュータ、ハンドヘルド・デバイス又はラップトップ・デバイス、携帯電話、携帯情報端末(PDA)、メディア・プレーヤ等のモバイル機器、マルチプロセッサ・システム、消費者向け電子機器、ミニ・コンピュータ、メインフレーム・コンピュータ、任意の上記システム又はデバイスを含む分散コンピューティング環境、等がある。
一般に、実施形態は、1つ又は複数のコンピューティング・デバイスによって実行される「コンピュータ可読命令」の概略的な流れで説明されている。コンピュータ可読命令は、後述するように、コンピュータ可読媒体によって配布される。コンピュータ可読命令は、1つ又は複数のタスクを実行するか又は、1つ又は複数の抽象データ型を実装するような、関数、オブジェクト、アプリケーション・プログラミング・インタフェース(API)、データ構造等のプログラム・モジュールとして実装される。通常、コンピュータ可読命令の機能は、さまざまな環境に望ましいように組み合わせられるか、又は分散されている。
図23は、本明細書で提供される1つ又は複数の実施形態を実装するように構成されたコンピューティング・デバイス2312を含むシステム2300の説明図である。一つの構成では、コンピューティング・デバイス2312は、1つ又は複数の処理ユニット2316及びメモリ2318を含む。メモリ2318は、コンピューティング・デバイスの詳細な構成及び種類に応じて、RAMのような不揮発性にすることができ、ROM、フラッシュ・メモリのような揮発性にすることができ又はその2つの組み合わせにすることができる。該構成は、図23では、破線2314で示されている。
他の実施形態において、デバイス2312は、追加の特徴又は機能を有する。例えば、デバイス2312は、着脱可能な記憶装置又は、着脱不可能な記憶装置を有することができる。これには、磁気記憶装置、光学記憶装置等の付加的な記憶装置を含むが、これらに限定されない。このような付加的な記憶装置は、図23では、記憶部2320で示されている。1つ又は複数の実施形態では、本明細書で提供される1つ又は複数の実施形態を実装するコンピュータ可読命令は、記憶部2320に格納されている。記憶部2320には、オペレーティング・システム、アプリケーション・プログラム等を実装する他のコンピュータ可読命令を格納することができる。コンピュータ可読命令は、例えば、処理ユニット2316による実行の為にメモリ2318にロードされる。
本明細書で使用される用語「コンピュータ可読媒体」には、コンピュータ記憶媒体を含む。コンピュータ記憶媒体には、コンピュータ可読命令又は他のデータのような情報を記憶するための任意の方法又は技術が実装された、揮発性及び不揮発性の、着脱可能及び着脱不可能な媒体を含む。メモリ2318と記憶部2320は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体には、RAM、ROM、EEPROM、フラッシュ・メモリ又は他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)又は他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置又は、所望の情報を格納するために使用することができ、かつ、デバイス2312によってアクセスすることができる、その他の任意の媒体が含まれるが、これに限定されない。上記のような任意のコンピュータ記憶媒体が、デバイス2312の一部である。
用語「コンピュータ可読媒体」には、通信媒体が含まれる。通信媒体には、通常、コンピュータ可読命令又は他のデータが、搬送波又は他の伝送機構のような「変調データ信号」の形で取り込まれ、かつ、任意の情報配信媒体が含まれる。用語「変調データ信号」には、情報を信号に符号化するように設定又は変更された1つ又は複数の特性を有する信号が含まれる。
デバイス2312には、キー・ボード、マウス、ペン、音声入力装置、タッチ入力装置、赤外線カメラ、ビデオ入力装置又は他の任意の入力デバイスのような、入力デバイス(複数可)2324が含まれる。1つ又は複数のディスプレイ、スピーカ、プリンタ又は他の任意の出力デバイスのような出力デバイス(複数可)2322を、デバイス2312に含むことができる。入力デバイス(複数可)2324と出力デバイス(複数可)2322は、有線接続、無線接続又はそれらの任意の組み合わせを介してデバイス2312と接続される。1つ又は複数の実施形態において、別のコンピューティング・デバイスからの入力デバイス又は出力デバイス(複数可)が、コンピューティング・デバイス2312用の入力装置(複数可)2324又は出力デバイス(複数可)2322として使用される。デバイス2312は、1つ又は複数の他のデバイスとの通信を容易にするために、通信接続部(複数可)2326を含むことができる。
1つ又は複数の実施形態によれば、起点位置と目的位置を受信するように構成されたナビゲーション・コンポーネントを具備する、3次元(3−D)ナビゲーション・システムが提供される。該ナビゲーション・コンポーネントは、一つの乗り物に対応付けられ、起点位置から目的位置への経路を生成するように構成することができる。該経路の1つ又は複数の部分には、1つ又は複数の道路区間又は該道路区間の1つ又は複数の交差点に関連する1つ又は複数のナビゲーション命令を含むことができる。該システムは、乗り物の周囲環境の周りの1つ又は複数の焦点面上に1つ又は複数のグラフィック要素を投影するように構成されたヘッド・アップ・ディスプレイ(HUD)コンポーネントを含むことができる。該HUDコンポーネントは、該経路に基づいて、該乗り物の乗員の視野に1つ又は複数のグラフィック要素を投影するように構成することができる。該システムは、1つ又は複数のグラフィック要素の1つ又は複数の焦点面と該乗り物との間の距離を、該経路の1つ又は複数の部分に対応する1つ又は複数の道路状況及び該乗り物の現在位置に基づいて、調整するように構成された制御コンポーネントを含むことができる。
1つ又は複数の実施形態では、該制御コンポーネントは、1つ又は複数の道路状況や乗り物の現在位置に基づいて、1つ又は複数のグラフィック要素の目標位置を調節するように構成することができる。前記システムは、1つ又は複数の道路状況を受信するように構成された乗り物制御コンポーネントを含むことができる。さらに、該システムは、1つ又は複数の道路状況を検出するように構成されたセンサ・コンポーネントを含むことができる。該1つ又は複数の道路状況のうちのある一つの道路状況には、1つ又は複数の道路区間の交通情報、又は、1つ又は複数の該道路区間に対応する速度制限情報を含むことができる。さらに、道路状況には、例えば、障害状況、障害物、歩行者、破片又は窪みを含むことができる。
前記システムは、乗り物の周囲環境の奥行きマップを構築するように構成された奥行きマップ・コンポーネントを含むことができる。該HUDコンポーネントは、該環境の奥行きマップに基づいて、1つ又は複数のグラフィック要素を投影するように構成することができる。奥行きマップ・コンポーネントは、奥行き情報に基づく奥行きマップを構築するように構成することができる。1つ又は複数の実施形態において、該システムは、乗り物の周囲環境からの奥行き情報を検出するように構成されたセンサ・コンポーネントを含むことができる。該奥行きマップ・コンポーネントは、テレマティックス・チャネルに基づく奥行きマップを受信するように構成することができる。該システムは、該奥行きマップに基づいて、1つ又は複数のグラフィック要素の1つ又は複数の部分のレンダリングを有効又は無効にするように構成された奥行きバッファ・コンポーネントを含むことができる。
該HUDコンポーネントは、旗竿、マーカー、識別子のような1つ又は複数のグラフィック要素を、移動アバター又は表示位置確保記号として投影するように構成することができる。
1つ又は複数の実施形態によれば、乗り物に対して起点位置から目的位置に至る経路を生成することを含む、3次元(3−D)ナビゲーションのための方法が提供される。該経路の1つ又は複数の部分には、1つ又は複数の道路区間又は該道路区間の1つ又は複数の交差点に関連する1つ又は複数のナビゲーション命令を含むことができる。該方法は、乗り物の周囲の環境の周りの1つ又は複数の焦点面上に、1つ又は複数のグラフィック要素を投影することを含むことができる。1つ又は複数のグラフィック要素を、該経路に基づいて該乗り物の乗員の視野に投影することができる。該方法は、1つ又は複数のグラフィック要素の1つ又は複数の焦点面と該乗り物との間の距離を、該経路の1つ又は複数の部分に関連する1つ又は複数の道路状況と乗り物の現在位置とに基づいて、調整することを含むことができる。該方法の1つ又は複数の部分は、処理ユニットを介して実行することができる。
該方法は、1つ又は複数のグラフィック要素の目標位置を、1つ又は複数の道路状況と乗り物の現在位置に基づいて調整することを含むことができる。該方法は、1つ又は複数の道路状況の受信又は検出を含むことができる。該1つ又は複数の道路状況のうちのある1つの道路状況には、1つ又は複数の該道路区間の交通情報、1つ又は複数の該道路区間に対応する速度制限情報、障害状況、障害物、歩行者、破片又は窪みを含むことができる。
前記方法は、特に、乗り物の周囲環境の奥行きマップを構築すること、該環境の奥行きマップに基づいて1つ又は複数のグラフィック要素を投影すること、乗り物の周囲環境から奥行き情報を検出すること、該検出した奥行き情報に基づいて奥行きマップを構築すること、奥行きマップに基づいて1つ又は複数のグラフィック要素の1つ又は複数の部分のレンダリングを有効化又は無効化することを含むことができる。
1つ又は複数の実施態様によると、コンピュータ可読記憶媒体には、コンピュータのステップユニットを介して実行されるときに複数の動作を行うコンピュータ実行可能命令が含まれる。該動作に含まれるステップには、乗り物に対して起点位置から目的位置に至る経路を生成するステップであって、該経路の1つ又は複数の部分が1つ又は複数の道路区間、又は道路区間の1つ又は複数の交差点に関連する1つ又は複数のナビゲーション命令を含むようなステップ、1つ又は複数のグラフィック要素を該乗り物の周囲環境の周りの1つ又は複数の焦点面に投影するステップであって、該グラフィック要素の1つ又は複数を該経路に基づいて該乗り物の乗員の視野に投影するようなステップ又は、該経路の1つ又は複数の部分に関連する1つ又は複数の道路状況と乗り物の現在位置とに基づいて、1つ又は複数のグラフィック要素の1つ又は複数の焦点面と乗り物との間の距離を調整するステップが含まれる。
1つ又は複数の実施形態においては、1つ又は複数のグラフィック要素を投影するステップは、ラスタ・ベースのグラフィックスを利用する。さらに、1つ又は複数の実施態様では、移動するアバターとして1つ又は複数のグラフィック要素を投影するステップ又は、1つ又は複数の異なる焦点面上に移動アバターを順次投影することによって、移動アバターをアニメーション化するステップを介して、1つ又は複数のナビゲーション命令を提供することを含む。
1つ又は複数の実施形態によれば、センサ・コンポーネント、ヘッド・アップ・ディスプレイ(HUD)コンポーネント及び制御コンポーネントを含む、3次元(3−D)ナビゲーション・システムが提供される。該センサ・コンポーネントは、乗り物の周囲環境内の1つ又は複数のオブジェクト及び各オブジェクトに対応する該乗り物との相対的な座標を追跡することができる。HUDコンポーネントは、1つ又は複数の焦点面上に、1つ又は複数の前記オブジェクトに対応する1つ又は複数のグラフィック要素を投影、レンダリング、提示又は表示することができ、該1つ又は複数のグラフィック要素は、該乗り物の乗員の視野に投影される。前記制御コンポーネントは、各オブジェクトの1つ又は複数の座標に基づいて、1つ又は複数の該グラフィック要素に対して、1つ又は複数の焦点面の更新を計算することができる。
1つ又は複数の実施形態において、前記HUDコンポーネントは、1つ又は複数のオブジェクトの1つ又は複数の更新焦点面上に1つ又は複数の前記グラフィック要素を投影することができる。さらに、該HUDコンポーネントは、該1つ又は複数の更新焦点面に投影する際に1つ又は複数の焦点面上への1つ又は複数のグラフィック要素の投影を停止することができる。1つ又は複数のグラフィック要素には、1つ又は複数の該グラフィック要素が投影される1つ又は複数の前記オブジェクトに関連付けられた情報を有するポインタを含むことができる。1つ又は複数の該オブジェクトは、障害状況、障害物、歩行者、工事区域、目印、建物、商業施設又は駐車場とすることができる。
前記システムは、1つ又は複数のグラフィック要素に対して、サイズ、形状、型、色又は1つ又は複数の属性を決定する、乗り物制御コンポーネントを含むことができる。該乗り物制御コンポーネントは、2つ以上のグラフィック要素の間の重なりを管理することができる。該システムは、起点位置から目的位置までの経路を生成するナビゲーション・コンポーネントと、1つ又は複数のオブジェクトが商業施設であるような、該経路に沿って1つ又は複数のオブジェクトに関連付けられた情報を受信する乗り物制御コンポーネントとを含むことができる。HUDコンポーネントは、1つ又は複数の商業施設に対応するロゴとして、1つ又は複数のグラフィック要素を投影することができる。1つ又は複数の実施形態において、前記センサ・コンポーネントは、ナビゲーション・コンポーネントを含むか又はテレマティックスを用いることができる。
1つ又は複数の実施形態によれば、ナビゲーション・コンポーネント、制御コンポーネント及びヘッド・アップ・ディスプレイ(HUD)コンポーネントを含む、3次元(3−D)ナビゲーション・システムが提供される。該ナビゲーション・コンポーネントは、乗り物の周囲環境内の1つ又は複数のオブジェクトに関連付けられたメタデータ、該環境内の各オブジェクトのレイアウト及び、該レイアウトに対する乗り物の現在位置を受信することができる。該制御コンポーネントは、1つ又は複数のオブジェクトのレイアウトと該乗り物の現在位置に基づいて、1つ又は複数のグラフィック要素の1つ又は複数の焦点面を計算することができる。該HUDコンポーネントは、1つ又は複数のオブジェクトに対応する1つ又は複数の焦点面に、1つ又は複数のグラフィック要素を投影、レンダリング、提示又は、表示することができ、該グラフィック要素の1つ又は複数を該乗り物の乗員の視野に投影することができる。
1つ又は複数のグラフィック要素には、1つ又は複数のグラフィック要素が投影される1つ又は複数のオブジェクトに関連付けられたメタデータの少なくとも一部を提示するポインタを含むことができる。該メタデータには、電話番号、住所、格付け、商業施設名称、営業時間又はオブジェクトに関連する状態を含むことができる。該HUDコンポーネントは、1つ又は複数のオブジェクトのレイアウト及び乗り物の現在位置に基づいて該グラフィック要素の1つ又は複数を投影することができる。さらに、HUDコンポーネントは、レイアウト図又は鳥瞰図の投影から、搭乗者又は第3者の視野の投影に移ることができる。
前記システムには、1つ又は複数の前記オブジェクトに関連付けられた、乗り物の乗員からの質問を受信するセンサ・コンポーネントを含むことができ、前記HUDコンポーネントは、該質問に応答して、該質問に関連付けられた該オブジェクトの1つ又は複数に対応するメタデータの1つ又は複数の部分を投影する。前記ナビゲーション・コンポーネントは起点位置から目的位置までの経路を生成することができ、該HUDコンポーネントは、1つ又は複数のグラフィック要素を、該経路に沿って該乗員を誘導するアバターとしてレンダリングする。前記制御コンポーネントは、該アバター又は(又は、他のグラフィック要素)のピッチ角、ロール角、ヨー角又は速度を計算することができる。該HUDコンポーネントは、1つ又は複数のグラフィック要素を、該乗り物のメタデータ及び現在位置に基づいて道路名称として、提示、表示又はレンダリングすることができる。
1つ又は複数の実施態様によれば、提供される3次元(3−D)ナビゲーション用の方法に含まれる処理には、乗り物周囲の環境内の1つ又は複数のオブジェクトを追跡し、各オブジェクトに対応する1つ又は複数の座標を該乗り物に対して決定すること、1つ又は複数のグラフィック要素の1つ又は複数の焦点面を、それぞれのオブジェクトの該座標の1つ又は複数に基づいて計算すること及び、該グラフィック要素の1つ又は複数を、該オブジェクトの1つ又は複数に対応する焦点面の1つ又は複数の上にレンダリングすること、があり、ここで、該グラフィック要素の1つ又は複数は、該乗り物の乗員の視野内に投影される。該追跡、計算又はレンダリングは、処理ユニットによって実行することができる。
本願特許請求の範囲の主題は、構造的特徴又は方法論的作用を特定の言語で説明したが、本願主題は、必ずしも、上述の特定の特徴又は作用に限定されるものではないことを理解されたい。むしろ、上述の特定の特徴及び作用は、例示的な実施形態として開示している。
実施形態の各種動作が、本明細書に示されている。該動作の1つ又は複数又は全てが説明される順序は、これらの動作が順序に依存していることを意味すると必ずしも解釈されるべきではない。代替えの順序は、本明細書の説明に基づいて理解できるであろう。さらに、必ずしも、全ての動作を、本明細書で提供される各実施形態に示すことができているわけではない。
本出願で使用される場合、「又は」は、包括的な「又は」を意味し、排他的な「又は」を意味することを意図していない。また、本出願で使用される冠詞「a」及び「an」は、特に断りがない限り、又は、文脈から単数形を指示していることが明らかでない限りは、一般的に、「1つ又は複数」と解釈されたい。さらに、少なくともAとBの一方、及び/又は、同様の表現は、一般的には、A又はB、又はAとB両方を意味する。さらに、「含む(includes)」、「有している(having)」、「有する(has)」、「持つ(with)」又は、これらの変形が、前記の詳細な説明又は、特許請求の範囲で使用される限りでは、該用語は、用語「含む(comprising)」と同様に包含することを意味している。
さらに、特に断りがない限り、「第1」、「第2」等は、一時的な、態様、空間的な態様、順序付け、等を意味する意図はない。むしろ、このような用語は、単に、特徴、要素、項目等に対する、識別子、名前等として使用されている。例えば、第1のチャネル及び第2のチャネルは、一般に、チャネルA及びチャネルB又は、2つの異なるチャネル又は2つの等しいチャネル又は、同一のチャネルに対応する。
本開示では1つ又は複数の実装に関して図示及び説明してきたが、同等の変更及び修正が、本明細書及び添付図面の読書及び理解に基づいて行われ得るであろう。本発明は、そのような修正及び変更を全て含み、以下の特許請求の範囲によってのみ限定される。
100 ヘッド・アップ・ディスプレイ・システム、HUDシステム、HUDコンポーネント
102 ヘッド・アップ・ディスプレイ・デバイス、HUDデバイス
104 制御部、制御コンポーネント
106 乗り物
108 運転席
110 ダッシュボード筐体
112 フロント・ガラス
114 HUD出射孔
116 アイ・ボックス
118、120、122、124 第1、第2、第3、第4のプロジェクタ
126、130、134 第1、第2、第3のビーム・スプリッタ
128、132、136 第1、第2、第3の対物レンズ
138 接眼レンズ
140、142、144、146 プロジェクタ・ユニット
148、150、152、154 拡散スクリーン
156、158 第1、第2のアクチュエータ
160、164、168、172 第1、第2、第3及び、第4のグラフィック要素
162、166、170、174 第1、第2、第3及び第4の焦点面
162’、170’ 距離
176 地表面
178 運転者の視線
180 乗り物制御システム、乗り物制御コンポーネント
182 歩行者
200 HUDシステムを具備する乗り物
300 乗り物及び4焦点面の一例の側面図
302 フロント・ガラス
400 運転者の視野及びグラフィック要素の1例
425、455、450 アドレス
1002 アバター
1002A、1002B、1002C、1002D、1002E アバター
1030 鳥瞰図
1032 起点位置から目的位置までの経路
1034 コンパス
1036 道路区間識別子
1130 ナビゲーション命令
1212A 他の乗り物への方向
1214 他の乗り物
1330 グラフィック要素「道路名」
1404 テキスト・ボックス「店で停車したい」
1430A テキスト・ボックス「迂回 +8分」
1430B ロゴ
1602 早期警告のグラフィック要素
1630 停止線
1704A 危険状況グラフィック要素
1704B 危険状況グラフィック要素
1802、1804 グラフィック要素
1832、1842 歩行者
1834、1844 歩行者のグラフィック要素
1904 テキスト・ボックス「右側のあれは何か?」
1930 情報
1932 強調表示用グラフィック要素
2002、2004、2006 建物
2030 駐車地点を示すグラフィック要素
2200 コンピュータ可読媒体/デバイスの実施形態
2202 方法
2204 プロセッサ実行可能命令
2206 コンピュータ可読データ
2208 コンピュータ可読媒体
2300 コンピューティング・デバイスを含むシステム
2312 コンピューティング・デバイス
2314 処理ユニッ及びメモリ
2316 処理ユニット
2318 メモリ
2320 記憶部
2322 出力デバイス
2324 入力デバイス
2326 通信接続部
2328 ネットワーク
2330 コンピューティング・デバイス

Claims (20)

  1. 乗り物周囲の環境内の1つ又は複数のオブジェクト及び、各オブジェクトに対応する、該乗り物に対する1つ又は複数の座標を追跡するセンサ・コンポーネントと、
    該オブジェクトの1つ又は複数に対応する1つ又は複数の焦点面上に1つ又は複数のグラフィック要素を投影し、該グラフィック要素の1つ又は複数は該乗り物の乗員の視野内に投影される、ヘッド・アップ・ディスプレイ(HUD)コンポーネントと、
    各オブジェクトの1つ又は複数の該座標に基づいて、1つ又は複数の該グラフィック要素に対する1つ又は複数の更新焦点面を計算する制御コンポーネントと、
    を含む、ことを特徴とする、3次元ナビゲーション・システム。
  2. 前記HUDコンポーネントは、1つ又は複数の前記グラフィック要素を、1つ又は複数の前記オブジェクトに対する1つ又は複数の前記更新焦点面に投影すること、を特徴とする、請求項1に記載のシステム。
  3. 前記HUDコンポーネントは、1つ又は複数の前記更新焦点面に投影するときには、1つ又は複数の前記焦点面に1つ又は複数の前記グラフィック要素を投影することを中止すること、を特徴とする、請求項2に記載のシステム。
  4. 1つ又は複数の前記グラフィック要素は、1つ又は複数の前記グラフィック要素が投影される1つ又は複数の前記オブジェクトに対応する情報を有するポインタを含むこと、を特徴とする、請求項1に記載のシステム。
  5. 1つ又は複数の前記オブジェクトは、障害状況、障害物、歩行者、工事区域、目印、建物、商業施設又は、駐車地点であること、を特徴とする、請求項1に記載のシステム。
  6. 1つ又は複数の前記グラフィック要素に対する、サイズ、形状、型、色、又は、1つ又は複数の属性を決定する乗り物制御コンポーネントを含むこと、を特徴とする、請求項1に記載のシステム。
  7. 前記グラフィック要素の二つ以上の間の重なりを管理する乗り物制御コンポーネントを含むこと、を特徴とする、請求項1に記載のシステム。
  8. 起点位置から目的位置までの経路を生成するナビゲーション・コンポーネントを含むこと、を特徴とする、請求項1に記載のシステム。
  9. 前記経路に沿って1つ又は複数の前記オブジェクトに対応する情報を受信し、1つ又は複数の該オブジェクトは商業施設である、乗り物制御コンポーネントを含むこと、を特徴とする、請求項8に記載のシステム。
  10. 前記HUDコンポーネントは、1つ又は複数の前記グラフィック要素を、1つ又は複数の前記商業施設に対応するロゴとして投影する、ことを特徴とする、請求項9に記載のシステム。
  11. 乗り物の周囲環境内の1つ又は複数のオブジェクトに対応するメタデータ、該環境内の各オブジェクトの配置及び、該配置に対する該乗り物の現在位置、を受信するナビゲーション・コンポーネントと、
    1つ又は複数のグラフィック要素の1つ又は複数の焦点面を、該オブジェクトの1つ又は複数の該配置と該乗り物の現在位置とに基づいて計算する制御コンポーネントと、
    1つ又は複数の該グラフィック要素を、1つ又は複数の該オブジェクトに対応する1つ又は複数の該焦点面に投影し、該グラフィック要素の1つ又は複数は該乗り物の乗員の視野に投影される、ヘッド・アップ・ディスプレイ(HUD)と、
    を含むこと、を特徴とする3次元ナビゲーション・システム。
  12. 1つ又は複数の前記グラフィック要素は、1つ又は複数の該グラフィック要素がその上に投影される1つ又は複数の該オブジェクトに対応するメタデータの少なくとも一部を表示するポインタを含むこと、を特徴とする請求項11に記載のシステム。
  13. 前記メタデータには、電話番号、住所、格付け、商業施設の名前、営業時間、又はオブジェクトに対応する状態を含むこと、を特徴とする請求項11に記載のシステム。
  14. 前記HUDコンポーネントは、1つ又は複数の前記グラフィック要素を、前記オブジェクトの1つ又は複数の前記配置と前記乗り物の前記現在位置と、に基づいて投影すること、を特徴とする請求項11に記載のシステム。
  15. 前記HUDコンポーネントは、一つの配置図の投影から、搭乗者又は第3者の視野の投影に移ること、を特徴とする請求項14に記載のシステム。
  16. 前記乗り物の乗員から前記オブジェクトの1つ又は複数に関連する質問を受信するセンサ・コンポーネントを含み、前記HUDコンポーネントが、該質問に応答して該質問に関連する1つ又は複数の該オブジェクトに対応するメタデータの1つ又は複数の部分を投影すること、を特徴とする請求項11に記載のシステム。
  17. 前記ナビゲーション・コンポーネントは、起点位置から目的位置までの経路を生成し、前記HUDコンポーネントは、該経路に沿って前記乗員を誘導するアバターとして、1つ又は複数の前記グラフィック要素をレンダリングすること、を特徴とする請求項11に記載のシステム。
  18. 前記制御コンポーネントは、前記アバターのピッチ角、ロール角、ヨー角又は、速度を計算すること、を特徴とする請求項17に記載のシステム。
  19. 前記HUDコンポーネントは、1つ又は複数の前記グラフィック要素を、道路名称として、前記メタデータ及び前記乗り物の現在位置に基づいてレンダリングすること、を特徴とする請求項11に記載のシステム。
  20. 乗り物の周囲環境内の1つ又は複数のオブジェクトを追跡し、各オブジェクトに対応する、該乗り物に対する1つ又は複数の座標を決定するステップと、
    1つ又は複数のグラフィック要素に対する1つ又は複数の焦点面を、各オブジェクトの該座標の1つ又は複数に基づいて計算するステップと、
    1つ又は複数の該グラフィック要素を1つ又は複数の該オブジェクトに対応する1つ又は複数の該焦点面にレンダリングし、1つ又は複数の該グラフィック要素が該乗り物の乗員の視野に投影されるステップと、を含み、
    該追跡するステップ、該計算するステップ又は、該レンダリングするステップは、処理ユニットを介して実行されること、を特徴とする3次元ナビゲーションの方法。
JP2014198780A 2013-09-30 2014-09-29 機能拡張された3次元(3−d)ナビゲーション Pending JP2015068831A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/041,614 US20160054563A9 (en) 2013-03-14 2013-09-30 3-dimensional (3-d) navigation
US14/041,614 2013-09-30
US14/321,105 2014-07-01
US14/321,105 US20140362195A1 (en) 2013-03-15 2014-07-01 Enhanced 3-dimensional (3-d) navigation

Publications (1)

Publication Number Publication Date
JP2015068831A true JP2015068831A (ja) 2015-04-13

Family

ID=52791193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014198780A Pending JP2015068831A (ja) 2013-09-30 2014-09-29 機能拡張された3次元(3−d)ナビゲーション

Country Status (3)

Country Link
JP (1) JP2015068831A (ja)
CN (1) CN104515531B (ja)
DE (1) DE102014219575A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156580A (ja) * 2016-03-02 2017-09-07 株式会社デンソー ヘッドアップディスプレイ装置
WO2017199347A1 (ja) * 2016-05-17 2017-11-23 三菱電機株式会社 画像表示装置、画像表示方法及び画像表示プログラム
CN107710751A (zh) * 2015-04-17 2018-02-16 三菱电机株式会社 显示控制装置、显示***、显示控制方法及显示控制程序
JP2018206366A (ja) * 2017-05-04 2018-12-27 トヨタ リサーチ インスティテュート,インコーポレイティド ビークルにおいて拡張現実を使用して準備完了度を維持しつつ用心度の低下を軽減するためのシステム及び方法
US10169973B2 (en) 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
WO2019004245A1 (ja) * 2017-06-30 2019-01-03 パナソニックIpマネジメント株式会社 表示システム、表示システムを備える情報提示システム、表示システムの制御方法、プログラム、及び表示システムを備える移動体
JP2019027996A (ja) * 2017-08-02 2019-02-21 日産自動車株式会社 車両用表示方法及び車両用表示装置
US10691945B2 (en) 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
JP2021033377A (ja) * 2019-08-15 2021-03-01 Kddi株式会社 情報端末装置、プログラム、提示システム及びサーバ
WO2022045296A1 (ja) * 2020-08-31 2022-03-03 パナソニックIpマネジメント株式会社 表示装置

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015214192A1 (de) * 2015-07-27 2017-02-02 Volkswagen Aktiengesellschaft Sicherheitssystem für ein Kraftfahrzeug
EP3843063B1 (en) 2015-09-25 2023-08-02 Apple Inc. Augmented reality display system
US9971470B2 (en) * 2015-09-30 2018-05-15 Apple Inc. Navigation application with novel declutter mode
US20170096144A1 (en) * 2015-10-05 2017-04-06 Ford Global Technologies, Llc System and Method for Inspecting Road Surfaces
CN105730237A (zh) * 2016-02-04 2016-07-06 京东方科技集团股份有限公司 一种行车辅助装置及行车辅助方法
JP6711151B2 (ja) 2016-06-07 2020-06-17 アイシン精機株式会社 運転支援装置
CN106199965B (zh) 2016-07-15 2018-11-06 京东方科技集团股份有限公司 一种异形显示装置和***
DE102016218006A1 (de) 2016-09-20 2018-03-22 Volkswagen Aktiengesellschaft Verfahren zur Darstellung eines Bildobjekts in einem Fahrzeug auf einer fahrzeugintern und einer fahrzeugextern wahrgenommenen Anzeige
CN109789782B (zh) * 2016-09-26 2021-10-29 富士胶片株式会社 投影型显示装置、投影显示方法、及存储介质
CN106769085B (zh) * 2016-12-14 2023-10-13 特路(北京)科技有限公司 自动驾驶车辆避让动态障碍物能力的测试方法及测试场
JP6528797B2 (ja) * 2017-03-30 2019-06-12 トヨタ自動車株式会社 車載ミリ波通信装置および通信方法
DE102017210429A1 (de) 2017-06-21 2018-12-27 Bayerische Motoren Werke Aktiengesellschaft Verkehrsassistenzsystem mit sichtbarkeitsadaptiven und situationsabhängigen Eingriffsparametern
DE102017211521A1 (de) * 2017-07-06 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Steuerung von Fahrzeugfunktionen aus einer virtuellen Realität
CN107272690B (zh) * 2017-07-07 2023-08-22 中国计量大学 基于双目立体视觉的惯性导引车导航方法及惯性导引车
JP6834861B2 (ja) * 2017-09-07 2021-02-24 トヨタ自動車株式会社 ヘッドアップディスプレイシステム
JP6543313B2 (ja) * 2017-10-02 2019-07-10 株式会社エイチアイ 移動体用画像生成記録表示装置及びプログラム
DE102017217923A1 (de) * 2017-10-09 2019-04-11 Audi Ag Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
CN107678162A (zh) * 2017-10-25 2018-02-09 京东方科技集团股份有限公司 一种显示控制组件及其控制方法、平视显示***、车辆
JP6583395B2 (ja) 2017-11-24 2019-10-02 マツダ株式会社 運転支援装置
DE102017221488A1 (de) * 2017-11-30 2019-06-06 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
CN109076201A (zh) * 2017-12-28 2018-12-21 深圳市大疆创新科技有限公司 调焦方法、装置及抬头显示设备
DE102018203121B4 (de) * 2018-03-02 2023-06-22 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer AR-Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
DE102018203927A1 (de) 2018-03-15 2019-09-19 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Display-Vorrichtung für ein Kraftfahrzeug
DE102018208700A1 (de) * 2018-06-01 2019-12-05 Volkswagen Aktiengesellschaft Konzept für die Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes
CN109064755B (zh) * 2018-07-24 2021-06-15 河北德冠隆电子科技有限公司 基于四维实景交通仿真路况感知管理***的路径识别方法
DE102019003269A1 (de) 2018-11-10 2020-05-14 Günter Fendt Fahrerassistenzsystem mit dynamischen Head-up-Display (HUD) mit variabler "Projektionstiefe"
DE102019000401A1 (de) 2019-01-22 2020-07-23 Daimler Ag Verfahren zur Animation von Bewegungen in einem Fahrzeug
DE102019000901A1 (de) 2019-02-07 2019-07-25 Daimler Ag Verfahren zur Anzeige von Navigationshinweisen in einem Head-up-Display eines Krafftfahrzeugs sowie Computerprogrammprodukt
CN110322527B (zh) * 2019-05-21 2021-04-20 华为技术有限公司 一种图案生成方法及终端
CN110213730B (zh) * 2019-05-22 2022-07-15 未来(北京)黑科技有限公司 通话连接的建立方法及装置、存储介质、电子装置
CN112208539A (zh) * 2019-07-09 2021-01-12 奥迪股份公司 用于自动驾驶车辆的***、车辆、方法和介质
DE102019119056A1 (de) * 2019-07-15 2021-01-21 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Fortbewegungsmittel zum kontaktanalogen Darstellen eines virtuellen Insassen in einer Fahrgastzelle des Fortbewegungsmittels
DE102019123778A1 (de) * 2019-09-05 2021-03-11 Valeo Schalter Und Sensoren Gmbh Darstellen einer Fahrzeugumgebung zum Bewegen des Fahrzeugs zu einer Zielposition
CN111210490B (zh) * 2020-01-06 2023-09-19 北京百度网讯科技有限公司 电子地图构建方法、装置、设备和介质
DE102020102189A1 (de) 2020-01-29 2021-07-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Anzeigen einer Verkehrsinformation in einem Display eines Fortbewegungsmittels und ein solches Fortbewegungsmittel
US11555711B2 (en) * 2020-04-11 2023-01-17 Harman Becker Automotive Systems Gmbh Systems and methods for augmented reality in a vehicle
US20230236659A1 (en) * 2022-01-25 2023-07-27 Ford Global Technologies, Llc Systems and Methods For Providing A Delivery Assistance Service Having An Augmented-Reality Digital Companion

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
DE102006008981A1 (de) * 2006-02-23 2007-08-30 Siemens Ag Assistenzsystem zur Unterstützung eines Fahrers
KR20100070973A (ko) * 2008-12-18 2010-06-28 박호철 헤드업 디스플레이 내비게이션 장치, 시스템 및 서비스 구현방법
KR101768101B1 (ko) * 2009-10-30 2017-08-30 엘지전자 주식회사 정보 표시 장치 및 그 방법
US8514101B2 (en) * 2011-12-02 2013-08-20 GM Global Technology Operations LLC Driving maneuver assist on full windshield head-up display

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710751A (zh) * 2015-04-17 2018-02-16 三菱电机株式会社 显示控制装置、显示***、显示控制方法及显示控制程序
CN107710751B (zh) * 2015-04-17 2020-01-10 三菱电机株式会社 显示控制装置、显示***及显示控制方法
CN108780630B (zh) * 2016-03-02 2020-12-22 株式会社电装 平视显示器装置
WO2017150025A1 (ja) * 2016-03-02 2017-09-08 株式会社デンソー ヘッドアップディスプレイ装置
CN108780630A (zh) * 2016-03-02 2018-11-09 株式会社电装 平视显示器装置
JP2017156580A (ja) * 2016-03-02 2017-09-07 株式会社デンソー ヘッドアップディスプレイ装置
US10859820B2 (en) 2016-03-02 2020-12-08 Denso Corporation Head-up display device
JP6385621B2 (ja) * 2016-05-17 2018-09-05 三菱電機株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JPWO2017199347A1 (ja) * 2016-05-17 2018-11-15 三菱電機株式会社 画像表示装置、画像表示方法及び画像表示プログラム
WO2017199347A1 (ja) * 2016-05-17 2017-11-23 三菱電機株式会社 画像表示装置、画像表示方法及び画像表示プログラム
US10169973B2 (en) 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
US10928887B2 (en) 2017-03-08 2021-02-23 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
JP2018206366A (ja) * 2017-05-04 2018-12-27 トヨタ リサーチ インスティテュート,インコーポレイティド ビークルにおいて拡張現実を使用して準備完了度を維持しつつ用心度の低下を軽減するためのシステム及び方法
JP2019012483A (ja) * 2017-06-30 2019-01-24 パナソニックIpマネジメント株式会社 表示システム、表示システムを備える情報提示システム、表示システムの制御方法、プログラム、及び表示システムを備える移動体
WO2019004245A1 (ja) * 2017-06-30 2019-01-03 パナソニックIpマネジメント株式会社 表示システム、表示システムを備える情報提示システム、表示システムの制御方法、プログラム、及び表示システムを備える移動体
JP7113259B2 (ja) 2017-06-30 2022-08-05 パナソニックIpマネジメント株式会社 表示システム、表示システムを備える情報提示システム、表示システムの制御方法、プログラム、及び表示システムを備える移動体
US10691945B2 (en) 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
JP2019027996A (ja) * 2017-08-02 2019-02-21 日産自動車株式会社 車両用表示方法及び車両用表示装置
JP7019239B2 (ja) 2017-08-02 2022-02-15 日産自動車株式会社 車両用表示方法及び車両用表示装置
JP2021033377A (ja) * 2019-08-15 2021-03-01 Kddi株式会社 情報端末装置、プログラム、提示システム及びサーバ
JP7261121B2 (ja) 2019-08-15 2023-04-19 Kddi株式会社 情報端末装置及びプログラム
WO2022045296A1 (ja) * 2020-08-31 2022-03-03 パナソニックIpマネジメント株式会社 表示装置

Also Published As

Publication number Publication date
CN104515531B (zh) 2019-08-09
CN104515531A (zh) 2015-04-15
DE102014219575A1 (de) 2015-07-23

Similar Documents

Publication Publication Date Title
US10215583B2 (en) Multi-level navigation monitoring and control
JP2015068831A (ja) 機能拡張された3次元(3−d)ナビゲーション
US20140362195A1 (en) Enhanced 3-dimensional (3-d) navigation
CN104512336B (zh) 3维导航
JP6861375B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US20160054563A9 (en) 3-dimensional (3-d) navigation
US9482540B2 (en) Navigation display method and system
US9400385B2 (en) Volumetric heads-up display with dynamic focal plane
JP7113259B2 (ja) 表示システム、表示システムを備える情報提示システム、表示システムの制御方法、プログラム、及び表示システムを備える移動体
US9393870B2 (en) Volumetric heads-up display with dynamic focal plane
WO2019097763A1 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2010143520A (ja) 車載用表示システム及び表示方法
WO2019097762A1 (ja) 重畳画像表示装置及びコンピュータプログラム
JP7476568B2 (ja) 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム
US20230135641A1 (en) Superimposed image display device
US11828613B2 (en) Superimposed-image display device
JP2019087259A (ja) 重畳画像表示装置及びコンピュータプログラム
JP7400356B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2021076415A (ja) 重畳画像表示装置及びコンピュータプログラム
JP2022110828A (ja) 重畳画像表示装置
JP2024018205A (ja) 重畳画像表示装置
JP2023064957A (ja) 重畳画像表示装置
JP2023044949A (ja) 重畳画像表示装置
JP2023097939A (ja) 重畳画像表示装置
JP2023008462A (ja) 重畳画像表示装置