JP2015068831A - Function-extended three-dimensional (3d) navigation - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a three-dimensional navigation system using a three-dimensional head-up display having a dynamic focal plane.SOLUTION: An HUD component performs: projection, rendering display or presentation of a graphic element on a focal plane throughout a vehicle surrounding environment; three-dimensional visualization of the graphic element by moving the focal plane or adjusting a distance between the focal plane and the vehicle; moving, tracking or identifying an object within the environment to project a corresponding graphic element on, nearby or surrounding zone of each object, and, for example, projecting a graphic element or pointer on a pedestrian to warn a driver or operator of the vehicle about existence of the pedestrian. When the pedestrian is walking, the pointer accompanies the pedestrian. Meta data related to an object, such as address information, evaluation data, phone number and logo, is presented.

Description

関連出願の相互参照Cross-reference of related applications

本出願は、２０１３年９月３０日に出願された「３次元（３−Ｄ）ナビゲーション」と題するシリアル番号：１４／０４１６１４（代理人整理番号：１０７７４５．５４ＣＩＰ１）の係属中の米国非仮特許出願の一部継続（ＣＩＰ）出願である。上記のシリアル番号：１４／０４１６１４の米国非仮特許出願は、２０１３年３月１５日に出願された「動的焦点面を有する立体ヘッド・アップ・ディスプレイ」と題する、シリアル番号：１３／８３２９１８（代理人整理番号：ＨＲＡ−３６３３２．０１）の係属中の米国非仮特許出願の一部継続（ＣＩＰ）出願である。上記出願（複数）の全体が参照により本明細書に組み込まれる。   This application is a pending US non-provisional patent filed on September 30, 2013, entitled “3D (3-D) navigation”, serial number: 14/041614 (attorney docket number: 107745.54 CIP1). This is a continuation-in-part (CIP) application. The above-mentioned US non-provisional patent application with serial number: 14/041614 is filed on March 15, 2013, entitled “Stereoscopic Head Up Display with Dynamic Focal Plane”, Serial Number: 13/832918 ( This is a continuation-in-part (CIP) application of a pending US non-provisional patent application with agent reference number: HRA-36332.01). The entirety of the above applications is incorporated herein by reference.

運転者の利便性を向上するために、運転者に情報を表示するヘッド・アップ・ディスプレイ（ＨＵＤ）を乗り物に具備することができる。該ＨＵＤにより表示される情報は、運転者が運転している間、乗り物のフロント・ガラスに投影されて、運転者の視界に提示することができる。運転者の視界に情報を表示することで、運転者は、提示された情報を運転中に見るために、フロント・ガラスから目を離す（たとえば、センター・ダッシュボード上の計器表示の方を向く）必要がなくなる。   In order to improve the convenience for the driver, the vehicle can be provided with a head-up display (HUD) for displaying information to the driver. The information displayed by the HUD can be projected on the windshield of the vehicle and presented to the driver's view while the driver is driving. By displaying information in the driver's field of view, the driver looks away from the windshield to view the information presented while driving (eg, facing the instrument display on the center dashboard) ) No need.

ＨＵＤは、通常乗り物のセンター・ダッシュボードに表示される乗り物情報、例えば、乗り物の速度、燃料レベル、エンジン温度等に関する情報を表示することができる。さらに、ＨＵＤは、地図情報及び通信イベント（例えば、ナビゲーションの指示、運転の指示、警告、警報等）を運転者に提示することができる。乗り物用ＨＵＤは、乗り物のダッシュボードで用いた方法と同様の方法で、例えば、グラフィック要素として現われるゲージやテキスト・ボックスをフロント・・ガラス上に表示することによって、運転者に情報を表示することができる。さらに、乗り物用ＨＵＤは、リアル・タイム情報で乗り物周囲の物理的環境を拡張する拡張現実グラフィック要素を表示することもできる。   The HUD can display vehicle information that is typically displayed on the vehicle's center dashboard, such as information regarding vehicle speed, fuel level, engine temperature, and the like. Further, the HUD can present map information and communication events (for example, navigation instructions, driving instructions, warnings, warnings, etc.) to the driver. The vehicle HUD displays information to the driver in the same way as used in the vehicle dashboard, for example by displaying gauges and text boxes that appear as graphic elements on the windshield. Can do. Furthermore, the vehicle HUD can also display augmented reality graphic elements that extend the physical environment around the vehicle with real-time information.

しかし、乗り物に使用される既存のＨＵＤデバイスでは、拡張現実グラフィック要素を、一貫性のある奥行き手がかりで表示することができない場合がある。したがって、既存の乗り物用ＨＵＤが表示する拡張現実グラフィック要素は、表面的な重なりとして提示される可能性がある。   However, existing HUD devices used in vehicles may not be able to display augmented reality graphic elements with consistent depth cues. Therefore, augmented reality graphic elements displayed by existing vehicle HUDs may be presented as superficial overlap.

本節の簡単な説明は、以降の詳細な説明に記載されている概念を選択して簡略化した形で紹介するために提供する。この簡単な説明は、特許請求範囲の主題事項を広範囲に渡って外観する意図はなく、特許請求範囲の主題事項の主要な要素又は本質的な特徴を特定するものでもなく、特許請求範囲の主題事項の範囲を限定するために用いることを意図するものでもない。   A brief description of this section is provided to select and introduce in simplified form the concepts described in the detailed description that follows. This brief description is not intended to present the subject matter of the claims broadly, nor is it intended to identify key elements or essential features of the subject matter of the claims. It is not intended to be used to limit the scope of matters.

１つの実施態様によれば、乗り物の運転者の視野にグラフィック要素を表示するための乗り物用ヘッド・アップ・ディスプレイ・デバイスは、第１のプロジェクタ及び第１のアクチュエータを有する。第１のプロジェクタは、運転者の視野内の第１の焦点面上に第１のグラフィック要素を投影するように構成することができる。第１の焦点面は、運転者の視線に略垂直に、かつ、乗り物から離れた距離に配向することができる。第１のプロジェクタは、第１のアクチュエータ上に設置することができる。第１のアクチュエータは、第１のプロジェクタを直線的に移動するように構成することができる。第１のプロジェクタを直線的に移動することにより、第１のグラフィック要素の第１の焦点面を運転者の視線方向に移動することができる。   According to one embodiment, a vehicle head-up display device for displaying a graphic element in a vehicle driver's field of view includes a first projector and a first actuator. The first projector may be configured to project the first graphic element onto a first focal plane within the driver's field of view. The first focal plane can be oriented substantially perpendicular to the driver's line of sight and at a distance away from the vehicle. The first projector can be installed on the first actuator. The first actuator can be configured to move the first projector linearly. By moving the first projector linearly, the first focal plane of the first graphic element can be moved in the direction of the driver's line of sight.

別の実施態様によれば、乗り物用ヘッド・アップ・ディスプレイ・システムは、乗り物用ヘッド・アップ・ディスプレイ・デバイス及び、制御部を含む。乗り物用ヘッド・アップ・ディスプレイ・デバイスは、乗り物運転者の視野内にグラフィック要素を表示し、第１のプロジェクタと第２のプロジェクタを有する。第１のプロジェクタは、第１のグラフィック要素を運転者の視野内の第１の焦点面上に投影するように構成することができる。第１の焦点面は、運転者の視線に対してほぼ垂直に配向させることができる。第１のプロジェクタは、運転者の視線の方向に第１の焦点面を移動させるように構成することができる。第２のプロジェクタは、第２のグラフィック要素を運転者の視野内の第２の焦点面上に投影するように構成することができる。第２の焦点面は、静止し、かつ、地面に対して略平行に配向することができる。前記制御部は、１つ又は複数の対応する乗り物制御システムと通信し、乗り物用ヘッド・アップ・ディスプレイ・デバイスを制御して、１つ又は複数の該対応する乗り物制御システムとの通信に基づいて前記第１及び第２のグラフィック要素を表示するように構成することができる。   According to another embodiment, a vehicle head-up display system includes a vehicle head-up display device and a controller. The vehicle head-up display device displays a graphic element in the field of view of the vehicle driver and has a first projector and a second projector. The first projector may be configured to project the first graphic element onto a first focal plane in the driver's field of view. The first focal plane can be oriented substantially perpendicular to the driver's line of sight. The first projector can be configured to move the first focal plane in the direction of the driver's line of sight. The second projector may be configured to project the second graphic element onto a second focal plane in the driver's field of view. The second focal plane can be stationary and oriented substantially parallel to the ground. The controller communicates with one or more corresponding vehicle control systems, controls a vehicle head-up display device, and based on communication with the one or more corresponding vehicle control systems The first and second graphic elements can be configured to be displayed.

さらに別の実施態様によれば、乗り物用ヘッド・アップ・ディスプレイに拡張現実グラフィック要素を提示する方法は、運転者の視野内の第１の焦点面に第１のグラフィック要素及び運転者の視野内の第２の焦点面上に第２のグラフィック要素を投影することを含む。第１の焦点面は、運転者の視線に対して略垂直に配向することができ、第２の焦点面は、静止して、地面に対して略平行に配向することができる。該方法には、第１の焦点面を運転者の視野の方向に移動させること又は合わせることを含むことができる。   According to yet another embodiment, a method for presenting an augmented reality graphic element on a vehicle head-up display includes a first graphic element in a first focal plane within the driver's field of view and the driver's field of view. Projecting a second graphic element onto the second focal plane of the image. The first focal plane can be oriented substantially perpendicular to the driver's line of sight, and the second focal plane can be stationary and oriented substantially parallel to the ground. The method can include moving or aligning the first focal plane in the direction of the driver's field of view.

３次元（３−Ｄ）ナビゲーションのための技術やシステムの１つ又は複数の実施形態が本明細書において開示される。例えば、３Ｄナビゲーション・システムは、移動するように見えるグラフィック要素又はアバターを、乗り物の乗員の視野に投影することができる。１つ又は複数の実施形態において、ヘッド・アップ・ディスプレイ（ＨＵＤ）コンポーネントは、該グラフィック要素又はアバターを乗り物周囲の環境内の１つ又は複数の焦点面上に投影するように構成することができる。言い換えれば、該ＨＵＤコンポーネントは、複数のグラフィック要素又は複数のアバターを複数の調整可能な距離つまり複数の焦点調整可能な焦点面に投影して、１つのアバター又はグラフィック要素が移動、飛行、アニメーション等をしているという感覚を乗り物の乗員に与えることができる。   One or more embodiments of techniques and systems for three-dimensional (3-D) navigation are disclosed herein. For example, a 3D navigation system can project graphical elements or avatars that appear to move into the vehicle occupant's field of view. In one or more embodiments, a heads up display (HUD) component can be configured to project the graphic element or avatar onto one or more focal planes in the environment surrounding the vehicle. . In other words, the HUD component projects a plurality of graphic elements or avatars onto a plurality of adjustable distances, i.e. a plurality of adjustable focal planes, so that one avatar or graphic element moves, flies, animations, etc. This gives the vehicle occupant a sense of

例えば、前記ＨＵＤコンポーネントは、１つのアバターを１つ又は複数の異なる焦点面上に連続的に投影することにより該アバターに「アニメーション」させる又は動きを与えるように構成することができる。これら複数の焦点面上への投影は、例えば、ＨＵＤコンポーネントのプロジェクタを移動させるアクチュエータを用いて実現してもよい。この結果、グラフィック要素やアバターに対応した焦点調節や輻輳などの奥行き手がかりが、大体において維持される。１つの経路が第１の位置から第２の位置に向かって生成される場合、前記ＨＵＤコンポーネントは、乗り物の運転者や乗員が「追跡」するべき１つ又は複数のグラフィック要素を生成することができる。該ＨＵＤコンポーネントは、複数の焦点面上に投影又は、投影された複数のグラフィック要素を１つの焦点面から別の焦点面に移動することができるので、グラフィック要素又は投影された画像は、より現実的で、鏡に映った画像と同じように見える。   For example, the HUD component can be configured to “animate” or give motion to an avatar by continuously projecting the avatar onto one or more different focal planes. The projection onto the plurality of focal planes may be realized by using, for example, an actuator that moves the projector of the HUD component. As a result, depth cues such as focus adjustment and convergence corresponding to graphic elements and avatars are generally maintained. If a route is generated from a first location to a second location, the HUD component may generate one or more graphic elements that a vehicle driver or occupant should “track”. it can. The HUD component can project onto a plurality of focal planes or move a plurality of projected graphic elements from one focal plane to another, so that a graphic element or projected image is more realistic. It looks the same as the image in the mirror.

乗り物の乗員がナビゲーション案内を要求すると、アバター等のグラフィック要素を提示することができる。該アバターは、例えば、仲間の乗り物を追跡している場合に乗員や運転者の目に入るものと同じように、乗り物の前で移動、滑空、飛行等をするように見える。さらに、該アバターは、実際の乗り物のように、障害状況、障害物、歩行者、物の破片、窪み、等の周りをナビゲートするように見えてもよい。１つ又は複数の実施形態では、アバターは、実時間の交通に応じて、「運転」し、移動し、移動するように見える。例えば、運転者や乗り物が線路を横切る必要のある経路の場合、アバターは、列車が横切るときには線路で停止する。別の例では、アバターは、車線変更を、他の乗り物に「衝突」又は、その他、交通妨害のように見えないようにして、行う。   When a vehicle occupant requests navigation guidance, a graphic element such as an avatar can be presented. The avatar appears to move, glide, fly, etc. in front of the vehicle, similar to what an occupant or driver sees when tracking a fellow vehicle, for example. In addition, the avatar may appear to navigate around obstacle situations, obstacles, pedestrians, object debris, depressions, etc., like an actual vehicle. In one or more embodiments, the avatar appears to “drive”, move, and move in response to real-time traffic. For example, if the route requires a driver or vehicle to cross the track, the avatar will stop on the track when the train crosses. In another example, the avatar makes a lane change so that it does not look like a “collision” or other traffic obstruction to other vehicles.

１つ又は複数の実施形態において、乗り物が走行中の環境に関連する１つ又は複数のオブジェクト又は情報を、センサ・コンポーネントが追跡又は検出することができる。該情報は、乗り物制御コンポーネントに送られる。該乗り物制御コンポーネントは、乗り物周辺環境に関する情報を異なる情報源から集約、収集又は受信することができる。制御コンポーネントは、この情報を用いて、グラフィック要素をある場所又はある焦点面に投影するか否かと、グラフィック要素をレンダリングする際に用いる属性又は型と、を決定する。ＨＵＤコンポーネントが、該制御コンポーネントの決定に基づいて、グラフィック要素をレンダリング又は投影する。   In one or more embodiments, the sensor component can track or detect one or more objects or information related to the environment in which the vehicle is traveling. This information is sent to the vehicle control component. The vehicle control component can aggregate, collect or receive information about the vehicle surrounding environment from different sources. The control component uses this information to determine whether to project the graphic element to a location or a focal plane, and the attributes or types to use when rendering the graphic element. The HUD component renders or projects the graphic element based on the determination of the control component.

例えば、センサ・コンポーネントが、ある経路に沿った道路区間を横切る横断歩道にいる歩行者を検出し、かつ、該道路区間上で乗り物を旋回させる必要がある場合、前記制御コンポーネントは、前記ＨＵＤコンポーネントに指示又は命令を出して、グラフィック要素を該歩行者の上又は周囲に投影し、乗り物の運転者や乗員に該歩行者の存在を警告することができる。さらに、該センサ・コンポーネントは活発に歩行者を追跡して、該ＨＵＤコンポーネントがポインタなどのグラフィック要素を投影して、彼又は彼女が横断歩道を渡るときに、リアル・タイムで該歩行者について行くか又は追跡するグラフィック要素を投影するようにできる。さらに、該制御コンポーネントは、該歩行者が横断を完了した又は歩道へ足を踏み入れたときを識別又は認識して、歩行者に対するグラフィック要素の投影を停止するようにＨＵＤコンポーネントに通信することができる。   For example, if the sensor component detects a pedestrian in a pedestrian crossing across a road section along a route and needs to turn a vehicle on the road section, the control component may include the HUD component Instructions or instructions may be issued to project graphic elements onto or around the pedestrian to alert the vehicle driver or occupant of the presence of the pedestrian. In addition, the sensor component actively tracks the pedestrian and the HUD component projects a graphical element such as a pointer to follow the pedestrian in real time as he or she crosses the pedestrian crossing. Or a graphic element to be tracked can be projected. In addition, the control component can communicate to the HUD component to identify or recognize when the pedestrian has completed a crossing or has stepped on a sidewalk and stop projecting graphic elements to the pedestrian. .

３Ｄナビゲーション・システムは、早期警告グラフィック要素の認識又は投影を可能にする。例えば、第１の道路区間から第２の道路区間への旋回（例えば、１つの道路から別の道路へ左折又は右折）する運転の場合、環境情報や交通条件情報などの、前記乗り物制御コンポーネントが受信した情報は、早期警告グラフィック要素を乗り物の乗員又は運転者にレンダリングするべきかを決定するために、制御コンポーネントによって使用される。言い換えれば、該制御コンポーネントは、該ＨＵＤコンポーネントに指示又は命令をして、運転者の視野には必ずしも入っていないかもしれないオブジェクト（例えば、危険状況、道路状況など）を指し示すグラフィック要素をレンダリングすることができる。ここで、乗り物のフロント・ガラスの外を見たときに、運転者には、例えば、左側の危険状況が見えてない場合がある。しかし、該ＨＵＤコンポーネントは、彼又は彼女の左（例えば、フロント・ガラスの外側や運転者の視野の外）に運転者の注意を向けるグラフィック要素を投影することができる。このように、乗り物の運転者又は乗員に環境内のオブジェクトについての事前通知を提供することによって、安全を促進することができる。   The 3D navigation system allows recognition or projection of early warning graphic elements. For example, in the case of driving from a first road section to a second road section (for example, a left turn or a right turn from one road to another road), the vehicle control component such as environmental information and traffic condition information is The received information is used by the control component to determine whether the early warning graphic element should be rendered to the vehicle occupant or driver. In other words, the control component directs or commands the HUD component to render graphic elements that point to objects (eg, dangerous situations, road conditions, etc.) that may not necessarily be in the driver's view. be able to. Here, when looking outside the windshield of the vehicle, the driver may not be able to see the danger situation on the left side, for example. However, the HUD component can project a graphic element that directs the driver's attention to his or her left (eg, outside the windshield or outside the driver's field of view). In this way, safety can be promoted by providing the vehicle driver or occupant with advance notice of objects in the environment.

さらに、前記ＨＵＤコンポーネントは、商業施設の名称、住所マーカー、最終目的地のマーカー、駐車場のグラフィック要素、評価等の、環境内のオブジェクトに関する詳細情報を投影又はレンダリングすることができる。   In addition, the HUD component can project or render detailed information about objects in the environment, such as commercial facility names, address markers, final destination markers, parking graphic elements, ratings, and the like.

以下の説明及び添付の図面では、いくつかの例示的な実施態様及び実装について説明する。これらは、１つ又は複数の実施態様を用いるさまざまな方法の説明であるが、そのうちの幾つかに過ぎない。本発明の他の実施態様、利点又は新規な特徴は、以下の詳細な説明から、添付の図面と併せて考慮すると明らかになるであろう。   The following description and the annexed drawings set forth some illustrative embodiments and implementations. These are descriptions of various methods using one or more embodiments, but only a few of them. Other embodiments, advantages or novel features of the invention will become apparent from the following detailed description when considered in conjunction with the accompanying drawings.

本発明の実施態様は、添付の図面と合わせてみると以下の詳細な説明から理解できる。図面の要素、構成等は、必ずしも同じ縮尺で描かれていない場合がある。したがって、例えば、議論の明確化のために、同一のものの寸法が、任意に、拡張又は縮尺されていることがある。   Embodiments of the present invention can be understood from the following detailed description when taken in conjunction with the accompanying drawings. Elements, configurations, etc. in the drawings are not necessarily drawn to scale. Thus, for example, the same dimensions may be arbitrarily expanded or reduced for clarity of discussion.

１つ又は複数の実施形態による、乗り物用ヘッド・アップ・ディスプレイ・システムの一例の模式図である。1 is a schematic diagram of an example vehicle head-up display system, according to one or more embodiments. FIG.

１つ又は複数の実施形態による、乗り物用ヘッド・アップ・ディスプレイ・システムを具備する乗り物の一例の模式図である。1 is a schematic diagram of an example of a vehicle comprising a vehicle head-up display system according to one or more embodiments. FIG.

１つ又は複数の実施形態による、乗り物用ヘッド・アップ・ディスプレイ・システムによってグラフィック要素が投影される乗り物及び４焦点面の一例の側面図である。1 is a side view of an example of a vehicle and a four focal plane onto which a graphic element is projected by a vehicle head-up display system, according to one or more embodiments. FIG.

１つ又は複数の実施形態による、乗り物を運転しながらフロント・ガラスから見た運転者の視野と、乗り物用ヘッド・アップ・ディスプレイ・システムによって投影された例示的なグラフィック要素と、の１例の説明図である。One example of a driver's field of view from a windshield while driving a vehicle and exemplary graphic elements projected by the vehicle head-up display system, according to one or more embodiments. It is explanatory drawing.

１つ又は複数の実施形態による、３Ｄナビゲーション・システムの構成図の１例の説明図である。FIG. 3 is an illustration of an example of a block diagram of a 3D navigation system, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションの方法のフロー図の１例の説明図である。FIG. 4 is an illustration of an example flow diagram of a method of 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーション用アバターの１例の説明図である。FIG. 6 is an illustration of an example of a 3-D navigation avatar according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーション用アバターの１例の説明図である。FIG. 6 is an illustration of an example of a 3-D navigation avatar according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーション用アバターの１例の説明図である。FIG. 6 is an illustration of an example of a 3-D navigation avatar according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーション用アバターの１例の説明図である。FIG. 6 is an illustration of an example of a 3-D navigation avatar according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーション用アバターの１例の説明図である。FIG. 6 is an illustration of an example of a 3-D navigation avatar according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーション用アバターの１例の説明図である。FIG. 6 is an illustration of an example of a 3-D navigation avatar according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例の説明図である。FIG. 6 is an illustration of an example scene associated with 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、３−Ｄナビゲーション用の方法のフロー図の１例の説明図である。FIG. 6 is an illustration of an example flow diagram of a method for 3-D navigation, according to one or more embodiments.

１つ又は複数の実施形態による、本明細書に記載された１つ又は複数の規定を実装するように構成されたプロセッサ実行可能命令を格納する、コンピュータ可読媒体又はコンピュータ可読デバイスの１例の説明図である。Description of an example computer-readable medium or computer-readable device that stores processor-executable instructions configured to implement one or more provisions described herein, according to one or more embodiments. FIG.

１つ又は複数の実施形態による、本明細書に記載された条件の１つ又は複数が実装された、コンピューティング環境の１例の説明図である。FIG. 6 is an illustration of an example computing environment in which one or more of the conditions described herein are implemented, according to one or more embodiments.

図面に示された実施態様又は実施例を、特定の用語を用いて以下に開示する。しかしながら、開示された実施態様又は実施例は限定を意図するものではないことは理解されたい。開示された実施態様における任意の変更、修正及び、本明細書に開示された原理のさらなる応用は、関連技術の当業者は通常想到することができると考えられる。   The embodiments or examples shown in the drawings are disclosed below using specific terminology. However, it should be understood that the disclosed embodiments or examples are not intended to be limiting. Any alterations, modifications, and further applications of the principles disclosed herein will generally occur to those skilled in the relevant arts in the disclosed embodiments.

本明細書の一つ以上の図面に関して、１つ又は複数の境界線、例えば、図２の境界線１１６、又は図１０Ｂの境界線１０３０等は、単に説明のために、互いに異なる高さ、幅、周囲長、アスペクト比、形状等で描かれており、かつ、必ずしも縮尺が合うように描かれていない。例えば、破線又は点線は異なる境界を表すために使用されるので、もし、破線や点線がお互いの上に引かれるとすると、これらの線は図面中では識別できない。このため、一つ以上の図で、互いに異なる寸法で少し離れて描かれ、相互に区別可能にしている。別の例として、境界が不規則な形状に対応している場合、破線や点線等で描かれたボックスのような境界は、１つ又は複数の例において、必ずしも１つのコンポーネント全体を含むとは限らない。逆に、描かれたボックスは、必ずしも、１つ又は複数の例において、単に対応する１つのコンポーネントのみを含むとは限らず、また、一つ以上の他のコンポーネントの一部を含むことがありうる。   With respect to one or more of the drawings herein, one or more boundary lines, such as boundary line 116 in FIG. 2 or boundary line 1030 in FIG. 10B, may have different heights and widths for purposes of illustration only. It is drawn with a perimeter, aspect ratio, shape, etc., and is not necessarily drawn to scale. For example, broken lines or dotted lines are used to represent different boundaries, so if broken lines or dotted lines are drawn on top of each other, these lines cannot be identified in the drawing. For this reason, in one or more figures, they are drawn slightly apart from each other in dimensions and are distinguishable from each other. As another example, if a boundary corresponds to an irregular shape, a boundary such as a box drawn with a dashed line, dotted line, etc., does not necessarily include an entire component in one or more examples. Not exclusively. Conversely, a drawn box does not necessarily include only one corresponding component in one or more examples, and may include a portion of one or more other components. sell.

運転者の直接視野内の環境要素の上に、乗り物用ＨＵＤデバイスによって視覚可能に配置されたグラフィック要素は、視野相似拡張現実要素又は等角拡張現実グラフィック要素と呼ばれることが多い。視野相似拡張現実グラフィック要素を乗り物の運転者に正常に提示することは、正確に奥行き手がかりを再現するための乗り物用ＨＵＤデバイスの能力に依存することがある。この奥行き手がかりには、焦点調節や輻輳が含まれる。焦点調節とは、目の筋肉が活発に屈折力を変化させて、焦点を種々の距離に変化させる奥行き手がかりである。輻輳とは、両眼の互いの方向への同時的又は並行的な内向き回転であり、１つのオブジェクトを見る際に両眼単一像を維持するために行われる。   Graphic elements that are visually placed by the vehicle HUD device over environmental elements in the driver's direct field of view are often referred to as field-like augmented reality elements or conformal augmented reality graphic elements. The successful presentation of field-similar augmented reality graphic elements to the vehicle driver may depend on the vehicle's ability to accurately reproduce the depth cues. This depth cue includes focus adjustment and convergence. Focus adjustment is a depth cue that causes the eye muscles to actively change refractive power and change the focus to various distances. Convergence is a simultaneous or parallel inward rotation of both eyes in the direction of each other, performed to maintain a single binocular image when viewing one object.

本明細書で説明する実施例では、乗り物の運転者１人について述べることがあるが、乗客など、１人又は複数の他の乗員の視野内に、グラフィック要素を投影、提示、レンダリングすることができる。このため、これらの実施例は限定を意図するものではなく、単に、例示的な応用の１つ又は複数の実施形態を説明するために開示されている。   The embodiments described herein may describe one vehicle driver, but may project, present, and render graphic elements within the field of view of one or more other occupants, such as passengers. it can. As such, these examples are not intended to be limiting and are disclosed merely to illustrate one or more embodiments of exemplary applications.

ＨＵＤデバイスが、乗り物のフロント・ガラス上にグラフィック要素を表示するとき、焦点調節によって、人間の目が環境要素とＨＵＤデバイスによって表示された情報との間を移動することが起きる。輻輳によって、両眼がフロント・ガラスの向こうの環境の中の点へ集中し、これによってフロント・ガラスに表示されたＨＵＤグラフィック要素が二重の像に見える可能性がある。したがって、視野相似拡張現実グラフィック要素を正しく再現された奥行き手がかりでレンダリングするためには、グラフィック要素は、乗り物のフロント・ガラス上というよりむしろ、実環境と同じ空間（例えば、対応する焦点面）上にレンダリングする必要がある。   When the HUD device displays a graphic element on the vehicle windshield, the focus adjustment causes the human eye to move between the environmental element and the information displayed by the HUD device. Convergence can cause both eyes to concentrate on a point in the environment beyond the windshield, which can cause the HUD graphic element displayed on the windshield to appear as a double image. Thus, to render a field-similar augmented reality graphic element with correctly reproduced depth cues, the graphic element is on the same space as the real environment (eg, the corresponding focal plane) rather than on the vehicle windshield. Need to be rendered.

乗り物の運転者がフロント・ガラスを通して環境を見ている間、運転者の視野にグラフィック要素を表示するために、乗り物用ヘッド・アップ・ディスプレイ・デバイスが提供される。該ヘッド・アップ・ディスプレイ・デバイスには、運転者がフロント・ガラスを通して環境を見ている間、運転者の視野内の前方焦点面上にグラフィック要素を投影する１つ又は複数のプロジェクタと、運転者がフロント・ガラスを通して環境を見ている間、運転者の視野内の地表に平行な焦点面上にグラフィック要素を投影する、１つ又は複数のプロジェクタと、を含む。前方焦点面にグラフィック要素を投影するプロジェクタは、運転者の視線の方向に前方焦点面を移動させるように、該プロジェクタを直線的に移動させるアクチュエータに搭載することができる。該地表に平行な焦点面に投影するプロジェクタは、地表に平行な焦点面が静止しているように固定して配置することができる。   A vehicle head-up display device is provided for displaying graphic elements in the driver's field of view while the vehicle driver is viewing the environment through the windshield. The head-up display device includes one or more projectors that project graphic elements onto a front focal plane in the driver's field of view while the driver is viewing the environment through the windshield; One or more projectors that project graphic elements onto a focal plane parallel to the ground in the driver's field of view while the person is viewing the environment through the windshield. The projector that projects the graphic element on the front focal plane can be mounted on an actuator that linearly moves the projector so as to move the front focal plane in the direction of the driver's line of sight. The projector that projects onto the focal plane parallel to the ground surface can be fixedly arranged so that the focal plane parallel to the ground surface is stationary.

図１を参照して、正しく再現された奥行き手がかりで、立体的視野相似拡張現実グラフィック要素（例えば、実環境と同じ空間にレンダリングされた、３次元又は「３−Ｄ」グラフィック要素）をレンダリングすることができる乗り物用の立体ヘッド・アップ・ディスプレイ・システム１００（「ＨＵＤシステム１００」又は「ＨＵＤコンポーネント１００」）について説明する。ＨＵＤシステム１００は、乗り物用ヘッド・アップ・ディスプレイ・デバイス１０２（「ＨＵＤデバイス１０２」）と制御部１０４又は（又は「制御コンポーネント１０４」）とを含む。図２を参照すると、ＨＵＤシステム１００は乗り物１０６に設けることができ、運転席１０８、ダッシュボード筐体１１０及び、フロント・ガラス１１２を有する。   Referring to FIG. 1, render a stereoscopic field-similar augmented reality graphic element (eg, a three-dimensional or “3-D” graphic element rendered in the same space as the real environment) with correctly reproduced depth cues. A three-dimensional head-up display system 100 ("HUD system 100" or "HUD component 100") for a vehicle is described. The HUD system 100 includes a vehicle head-up display device 102 (“HUD device 102”) and a controller 104 or (or “control component 104”). Referring to FIG. 2, the HUD system 100 can be provided on a vehicle 106 and includes a driver's seat 108, a dashboard housing 110, and a windshield 112.

乗り物１０６の構成は、例えば、運転席１０８、ダッシュボード筐体１１０及びフロント・ガラス１１２の相対位置に関しては、従来のものでよい。本明細書に記載のＨＵＤシステム１００を収容するために、ダッシュボード筐体１１０によって、ＨＵＤシステム１００が収容される収容空間が画定される。さらに、ダッシュボード筐体１１０は、ダッシュボード筐体１１０の上面によって確定されるＨＵＤの出射孔１１４を有する。ダッシュボード筐体１１０内に収容されるＨＵＤシステム１００は、視野相似拡張現実グラフィック要素などのグラフィック要素を、ＨＵＤ出射孔１１４を介してフロント・ガラス１１２に投影する。フロント・ガラス１１２は、ＨＵＤシステム１００用の表示画面として使用することができる。以下でさらに詳細に説明するように、拡張現実グラフィック要素は、実環境と同じ空間にあるかのように運転者に対してレンダリングすることができる。   The configuration of the vehicle 106 may be conventional with respect to the relative positions of the driver's seat 108, the dashboard housing 110, and the windshield 112, for example. In order to accommodate the HUD system 100 described herein, a dashboard housing 110 defines an accommodation space in which the HUD system 100 is accommodated. Further, the dashboard housing 110 has a HUD exit hole 114 defined by the upper surface of the dashboard housing 110. The HUD system 100 housed in the dashboard housing 110 projects a graphic element such as a visual field similarity augmented reality graphic element onto the windshield 112 through the HUD exit hole 114. The windshield 112 can be used as a display screen for the HUD system 100. As described in more detail below, augmented reality graphic elements can be rendered to the driver as if they were in the same space as the real environment.

乗り物１０６の運転者は運転席１０８に着座したまま乗り物１０６を運転する。したがって、運転者は、乗り物１０６内の運転席１０８の着座位置に位置的制約を受ける。この位置的制約を考慮して、ＨＵＤシステム１００は、運転者の視野が、乗り物内のアイ・ボックス１１６から出ているという仮定を用いて設計することができる。アイ・ボックス１１６は、運転者が運転席１０８に着座している間、運転者の眼が置かれる乗り物１０６の内部の領域を含むと考えることができる。   The driver of the vehicle 106 drives the vehicle 106 while sitting on the driver's seat 108. Therefore, the driver is subjected to positional restrictions on the seating position of the driver's seat 108 in the vehicle 106. In view of this positional constraint, the HUD system 100 can be designed with the assumption that the driver's field of view is out of the eye box 116 in the vehicle. The eye box 116 can be considered to include the area inside the vehicle 106 where the driver's eyes are placed while the driver is seated in the driver's seat 108.

アイ・ボックス１１６は、運転席１０８の位置及び形勢に関係なく、運転者のあらゆる可能な頭の位置を包含するように大きさを決めることができる。又は、ＨＵＤシステム１００は、運転席１０８の位置及び形勢を検出して、これに基づきアイ・ボックス１１６の位置とサイズを調整するように構成することができる。１つ又は複数の実施形態では、ＨＵＤシステム１００は、アイ・ボックス１１６が固定したサイズを有し、固定位置にあると仮定して設計することができる。たとえば、該アイ・ボックスは、２０ ｃｍ ｘ １０ ｃｍ×１０ ｃｍのサイズを持つことができる。いずれにしても、ＨＵＤシステム１００は、運転者の目がアイ・ボックス１１６内にあり、運転者が乗り物１０６のフロント・ガラス１１２を介して前方に向いている／見ているときに、運転者に視野相似拡張現実グラフィック要素を表示するように構成することができる。図２のアイ・ボックス１１６は、乗り物１０６の運転者用に図示されているが、アイ・ボックス１１６は、乗り物の他の乗員を１人又は複数含むように設定してもよい。１つ又は複数の実施形態において、１つ又は複数の追加のアイ・ボックス又はＨＵＤデバイスは、例えば、乗客や他の乗員用に具備され得る。   The eye box 116 can be sized to encompass any possible head position of the driver, regardless of the position and attitude of the driver's seat 108. Alternatively, the HUD system 100 can be configured to detect the position and attitude of the driver's seat 108 and adjust the position and size of the eye box 116 based thereon. In one or more embodiments, the HUD system 100 can be designed assuming that the eye box 116 has a fixed size and is in a fixed position. For example, the eye box can have a size of 20 cm x 10 cm x 10 cm. In any case, the HUD system 100 allows the driver's eyes to be in the eye box 116 when the driver is looking forward / looking through the windshield 112 of the vehicle 106. Can be configured to display field-similar augmented reality graphic elements. Although the eye box 116 of FIG. 2 is illustrated for a driver of the vehicle 106, the eye box 116 may be configured to include one or more other occupants of the vehicle. In one or more embodiments, one or more additional eye boxes or HUD devices may be provided, for example, for passengers or other passengers.

ＨＵＤデバイス１０２は、運転者が乗り物１０６のフロント・ガラス１１２を通して環境を見ている間、乗り物１０６の運転者の視野に１つ又は複数のグラフィック要素を表示する。運転者の目がアイ・ボックス１１６内にあり、運転者がフロント・ガラス１１２を介して前方を向いている／見ている間、運転者がフロント・ガラス１１２を介して見ている任意のグラフィック要素や環境要素は、運転者の視野内にあると考えることができる。本明細書で使用される場合、乗り物１０６の運転者の視野は、運転者が乗り物１０６のフロント・ガラス１１２を通して環境を見ている間、乗り物１０６内にあるダッシュボード・ディスプレイを除いて、フロント・ガラス１１２を通して見える領域を含むように意図されている。言い換えれば、ＨＵＤデバイス１０２は、運転者が道路から目を逸らせて見なくてもグラフィック要素を見ることができるようにグラフィック要素を提示する。   The HUD device 102 displays one or more graphic elements in the driver's view of the vehicle 106 while the driver is viewing the environment through the windshield 112 of the vehicle 106. Any graphic that the driver is looking through the windshield 112 while the driver's eyes are in the eye box 116 and the driver is looking forward / looking through the windshield 112 Elements and environmental elements can be considered within the driver's view. As used herein, the driver's view of the vehicle 106 is the front, except for the dashboard display that is in the vehicle 106, while the driver is viewing the environment through the windshield 112 of the vehicle 106. It is intended to include the area visible through the glass 112. In other words, the HUD device 102 presents graphic elements so that the driver can see the graphic elements without looking away from the road.

図１に戻って、ＨＵＤシステム１００のＨＵＤデバイス１０２には、第１のプロジェクタ１１８、第２のプロジェクタ１２０、第３のプロジェクタ１２２及び第４のプロジェクタ１２４が含まれる。第１のプロジェクタ１１８及び第３のプロジェクタ１２２は、第１のビーム・スプリッタ１２６と第１の対物レンズ１２８とを共有し、第２のプロジェクタ１２０及び第４のプロジェクタ１２４は第２のビーム・スプリッタ１３０及び第２の対物レンズ１３２とを共有する。この結果、第１のプロジェクタ１１８と第３のプロジェクタ１２２の出力は、第１のビーム・スプリッタ１２６で受信され、かつ、第１の対物レンズ１２８に向けられ、かつ第１の対物レンズ１２８を通って、単一の出力に統合される。同様に、第２のプロジェクタ１２０及び第４のプロジェクタ１２４の出力は、第２のビーム・スプリッタ１３０で受信され、かつ、第２の対物レンズ１３２に向けられ、かつ、第２の対物レンズ１３２を通って単一の出力に統合される。   Returning to FIG. 1, the HUD device 102 of the HUD system 100 includes a first projector 118, a second projector 120, a third projector 122, and a fourth projector 124. The first projector 118 and the third projector 122 share the first beam splitter 126 and the first objective lens 128, and the second projector 120 and the fourth projector 124 are the second beam splitter. 130 and the second objective lens 132 are shared. As a result, the outputs of the first projector 118 and the third projector 122 are received by the first beam splitter 126 and directed to the first objective lens 128 and pass through the first objective lens 128. Integrated into a single output. Similarly, the outputs of the second projector 120 and the fourth projector 124 are received by the second beam splitter 130, directed to the second objective lens 132, and passed through the second objective lens 132. Integrated into a single output through.

ＨＵＤデバイス１０２は、さらに、第１及び第２の対物レンズ１２８、１３２からの出力を受信するように構成されて、第１及び第２の対物レンズ１２８、１３２の下流に配置された第３のビーム・スプリッタ１３４を有する。第１及び第２の対物レンズ１２８、１３２からの出力は、第３のビーム・スプリッタ１３４で単一出力に統合され、該単一出力は第１、第２、第３及び第４のプロジェクタ１１８、１２０、１２２、１２４の全ての出力の組み合わせにすることができ、第３の対物レンズ１３６と接眼レンズ１３８の方へ向けられ、かつ通って、次に、ＨＵＤ出射孔１１４から出てフロント・ガラス１１２に向けられる。フロント・ガラス１１２は、ＨＵＤシステム１００用の表示画面として使用することができる。   The HUD device 102 is further configured to receive output from the first and second objective lenses 128, 132 and is arranged downstream of the first and second objective lenses 128, 132. It has a beam splitter 134. Outputs from the first and second objective lenses 128, 132 are combined into a single output by a third beam splitter 134, which outputs the first, second, third, and fourth projectors 118. , 120, 122, 124 can be a combination of all outputs, directed toward and through the third objective lens 136 and eyepiece 138 and then out of the HUD exit aperture 114 Directed to the glass 112. The windshield 112 can be used as a display screen for the HUD system 100.

第１のプロジェクタ１１８、第２のプロジェクタ１２０、第３のプロジェクタ１２２及び第４のプロジェクタ１２４のそれぞれは、プロジェクタ・ユニット１４０、１４２、１４４、１４６及び、拡散スクリーン１４８、１５０、１５２、１５４を含む。該拡散スクリーン１４８、１５０、１５２、１５４は、プロジェクタ・ユニット１４０、１４２、１４４、１４６からの設置距離に確実に固定されて、かつ、プロジェクタ・ユニット１４０、１４２、１４４、１４６から出射された光が拡散スクリーン１４８、１５０、１５２、１５４を通過するようにプロジェクタ・ユニット１４０、１４２、１４４、１４６に対して配置される。プロジェクタ・ユニット１４０、１４２、１４４、１４６は、対応する拡散スクリーン１４８、１５０、１５２、１５４を通過する画像要素又はグラフィック要素を投影する発光ユニットにすることができる。拡散スクリーン１４８、１５０、１５２、１５４は、ＨＵＤデバイス１０２の光学系の他の部分に対して発光画像ソース又は（又は、オブジェクト）として働き、かつ、拡散スクリーン１４８、１５０、１５２、１５４を出た光の大部分が、拡散スクリーン１４８、１５０、１５２、１５４の後の光学系（例えば、第１のビーム・スプリッタ１２６、第１の対物レンズ１２８、第２のビーム・スプリッタ１３０、第２の対物レンズ１３２、第３のビーム・スプリッタ１３４、第３の対物レンズ１３６及び接眼レンズ１３８）に確実に進むようにする。同時に、拡散スクリーン１４８、１５０、１５２、１５４は、運転者の頭がアイ・ボックス１１６内で動いていても、画像要素やグラフィック要素の明るさが一定のままであるように、最終的には光がアイ・ボックス１１６を満たすように光を拡散する。このようにして、拡散スクリーン１４８、１５０、１５２、１５４を用いることで、画像要素やグラフィック要素（複数可）の異なる部分がアイ・ボックス１１６内の異なる点から見えることを実質的に防ぎ、これによって、わずかな頭の動きに伴って異なる視覚動作が発生することを防止する。   Each of the first projector 118, the second projector 120, the third projector 122, and the fourth projector 124 includes projector units 140, 142, 144, and 146 and diffusion screens 148, 150, 152, and 154. . The diffusion screens 148, 150, 152, and 154 are securely fixed at installation distances from the projector units 140, 142, 144, and 146, and are emitted from the projector units 140, 142, 144, and 146. Are arranged with respect to the projector units 140, 142, 144, 146 so as to pass through the diffusion screens 148, 150, 152, 154. The projector units 140, 142, 144, 146 can be light emitting units that project image or graphic elements that pass through corresponding diffusion screens 148, 150, 152, 154. Diffusion screens 148, 150, 152, 154 act as luminescent image sources or (or objects) to other parts of the optical system of HUD device 102 and exit diffusion screens 148, 150, 152, 154 Most of the light is optically behind the diffusing screens 148, 150, 152, 154 (eg, first beam splitter 126, first objective lens 128, second beam splitter 130, second objective). Lens 132, third beam splitter 134, third objective lens 136 and eyepiece 138). At the same time, the diffusing screens 148, 150, 152, and 154 will ultimately allow the brightness of the image and graphic elements to remain constant even when the driver's head is moving within the eye box 116. Diffuse the light so that it fills the eye box 116. In this way, the use of the diffusing screens 148, 150, 152, 154 substantially prevents different portions of the image element and / or graphic element (s) from being seen from different points in the eye box 116. Prevents different visual movements from occurring with slight head movements.

プロジェクタ・ユニット１４０、１４２、１４４、１４６は、本明細書記載の用途に適した、任意の発光ユニットの形をとることができる。プロジェクタ・ユニット１４０、１４２、１４４、１４６は、本明細書記載の用途に従って画像要素やグラフィック要素の投影が可能な任意の光発光ユニットの形をとることができる。同様に、拡散スクリーン１４８、１５０、１５２、１５４は、本明細書記載の用途に適した任意の光拡散スクリーンの形をとることができる。   Projector units 140, 142, 144, and 146 may take the form of any light emitting unit suitable for the applications described herein. Projector units 140, 142, 144, 146 may take the form of any light emitting unit capable of projecting image elements and graphic elements in accordance with the applications described herein. Similarly, the diffusing screens 148, 150, 152, 154 can take the form of any light diffusing screen suitable for the applications described herein.

第１のプロジェクタ１１８は、ＨＵＤデバイス１０２の第１のアクチュエータ１５６に取り付けることができる。第１のアクチュエータ１５６は、第１のプロジェクタ１１８を、第１のビーム・スプリッタ１２６に向かう又は、第１のビーム・スプリッタ１２６から離間する、直線的な方向に移動させることが可能なリニア・アクチュエータであり得る。さらに、第３のプロジェクタ１２２は、ＨＵＤデバイス１０２の第２のアクチュエータ１５８に取り付けることができる。第２のアクチュエータは、第３のプロジェクタ１２２を、直線方向に、第１のビーム・スプリッタ１２６に向かう又は第１のビーム・スプリッタ１２６から離間する方向に移動させることが可能なリニア・アクチュエータであり得る。第１及び第２のアクチュエータ１５６、１５８は、本明細書記載の用途に適した任意のリニア・アクチュエータの形をとることができる。第１のプロジェクタ１１８及び第３のプロジェクタ１２２の直線的な移動能力によって、第１のプロジェクタ１１８及び第３のプロジェクタ１２２が動的焦点面又は可動焦点面上にグラフィック要素を投影することが可能になる。第１及び第３のプロジェクタ１１８、１２２とは対照的に、第２及び第４のプロジェクタ１２０、１２４はＨＵＤデバイス１０２内に固定配置され、したがって、静止焦点面上にグラフィック要素を投影することができる。   The first projector 118 can be attached to the first actuator 156 of the HUD device 102. The first actuator 156 is a linear actuator capable of moving the first projector 118 in a linear direction toward or away from the first beam splitter 126. It can be. Further, the third projector 122 can be attached to the second actuator 158 of the HUD device 102. The second actuator is a linear actuator that can move the third projector 122 in a linear direction toward the first beam splitter 126 or away from the first beam splitter 126. obtain. The first and second actuators 156, 158 can take the form of any linear actuator suitable for the applications described herein. The linear movement capabilities of the first projector 118 and the third projector 122 allow the first projector 118 and the third projector 122 to project graphic elements on a dynamic focal plane or a movable focal plane. Become. In contrast to the first and third projectors 118, 122, the second and fourth projectors 120, 124 are fixedly disposed within the HUD device 102, and are thus capable of projecting graphic elements onto the stationary focal plane. it can.

第１、第２、第３及び第４のプロジェクタ１１８、１２０、１２２、１２４を用いて、ＨＵＤデバイス１０２は、グラフィック要素（視野相似拡張現実グラフィック要素又はそれ以外のグラフィック要素）を、フロント・ガラス１１２を介して運転者が見る環境内の４つの異なる焦点面にレンダリングすることができる。この点に関して、第１のプロジェクタ１１８は第１のグラフィック要素１６０を第１の焦点面１６２に投影するように構成することができ、第２のプロジェクタ１２０は第２のグラフィック要素１６４を第２の焦点面１６６に投影するように構成することができ、第３のプロジェクタ１２２は第３のグラフィック要素１６８を第３の焦点面１７０に投影するように構成することができ、第４のプロジェクタ１２４は第４のグラフィック要素１７２を第４の焦点面１７４に投影するように構成することができる（図３及び図４を参照して後述する）。第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２及び対応する第１、第２、第３及び第４の焦点面１６２、１６６、１７０、１７４のすべてを、運転者がフロント・ガラス１１２を介して前方をみながら乗り物１０６を運転し、かつ、運転者の目がアイ・ボックス１１６内にあるとき、運転者の視野内の環境にレンダリングすることができる。   Using the first, second, third and fourth projectors 118, 120, 122, 124, the HUD device 102 can display graphic elements (field-similar augmented reality graphic elements or other graphic elements) as windshields. Rendered to four different focal planes in the environment viewed by the driver via 112. In this regard, the first projector 118 can be configured to project the first graphic element 160 onto the first focal plane 162, and the second projector 120 can cause the second graphic element 164 to be projected to the second focal plane 162. The third projector 122 can be configured to project onto the focal plane 166, the third projector 122 can be configured to project the third graphic element 168 onto the third focal plane 170, and the fourth projector 124 can The fourth graphic element 172 can be configured to project onto the fourth focal plane 174 (described below with reference to FIGS. 3 and 4). Driving all of the first, second, third and fourth graphic elements 160, 164, 168, 172 and the corresponding first, second, third and fourth focal planes 162, 166, 170, 174 When a person drives the vehicle 106 looking forward through the windshield 112 and the driver's eyes are in the eye box 116, it can be rendered into an environment within the driver's field of view.

図３及び図４を参照して、第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２の第１、第２、第３及び第４の焦点面１６２、１６６、１７０、１７４への投影に関して、地表面１７６と運転者の視線１７８とを参照しながら説明する。ここで、地表面１７６は、乗り物１０６の前方の道路の表面である。説明を簡略にするため、地表面１７６は、ほぼ平坦な面であると仮定する。運転者の視線１７８は、アイ・ボックス１１６から前方に、地表面１７６に対して略平行に延びる線である。本明細書で使用するとき、視線１７８の方向は、視線１７８に沿って運転者と乗り物１０６に向かう又は運転者と乗り物１０６から離間して延びる方向である。   3 and 4, the first, second, third and fourth focal planes 162, 166 of the first, second, third and fourth graphic elements 160, 164, 168, 172, 170 and 174 will be described with reference to the ground surface 176 and the driver's line of sight 178. Here, the ground surface 176 is the surface of the road ahead of the vehicle 106. For simplicity of explanation, it is assumed that the ground surface 176 is a substantially flat surface. The driver's line of sight 178 is a line extending forwardly from the eye box 116 and substantially parallel to the ground surface 176. As used herein, the direction of the line of sight 178 is a direction that extends along the line of sight 178 toward the driver and the vehicle 106 or away from the driver and the vehicle 106.

第１の焦点面１６２は、運転者の視線１７８に対して略垂直に配向することができる前方焦点面である。第３の焦点面１７０もまた、運転者の視線１７８に対して略垂直に配向可能な前方焦点面である。第１及び第３の焦点面１６２、１７０は、視線１７８の方向に、前向き（乗り物１０６から離間する方向）及び後ろ向き（乗り物１０６に向かう方向）の両方に移動可能な動的焦点面とすることができる。第２焦点面１６６は、地表面１７６に略平行に配向可能な、地表に平行な焦点面であり、かつ、地表面１７６上に配置して第２焦点面１６６が地表焦点面になるようにすることができる。第４の焦点面１７４もまた、地表面１７６に略平行に配向可能な、地表に平行な焦点面であり、かつ、地表面１７６の上方に配置することができる。第４の焦点面１７４は、地表面１７６及び運転者の視線１７８の上方に配置して、空や天井の焦点面にすることができる。その結果、第２、第４の焦点面１６６、１７４は静止焦点面にすることができる。   The first focal plane 162 is a front focal plane that can be oriented substantially perpendicular to the driver's line of sight 178. The third focal plane 170 is also a front focal plane that can be oriented substantially perpendicular to the driver's line of sight 178. The first and third focal planes 162 and 170 are dynamic focal planes that are movable in the direction of the line of sight 178 both forwardly (in the direction away from the vehicle 106) and backward (in the direction toward the vehicle 106). Can do. The second focal plane 166 is a focal plane parallel to the ground that can be oriented substantially parallel to the ground surface 176, and is disposed on the ground surface 176 so that the second focal plane 166 becomes the ground focal plane. can do. The fourth focal plane 174 is also a focal plane parallel to the ground surface that can be oriented substantially parallel to the ground surface 176 and can be disposed above the ground surface 176. The fourth focal plane 174 can be placed above the ground surface 176 and the driver's line of sight 178 to provide a sky or ceiling focal plane. As a result, the second and fourth focal planes 166 and 174 can be stationary focal planes.

図４を参照すると、第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２は、異なる情報を運転者に提示するために使用することができる。第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２によって表示される情報の細かな種類は変更することができる。例えば、第１のグラフィック要素１６０及び第３のグラフィック要素１６８は、危険状況や障害物を迂回するように指示する警告を運転者に提示することができる。また、道路交通法規（例えば、停止標識、譲れ（ＹＩＥＬＤ）標識、等）に対応するナビゲーション命令や運転の命令を表示することができる。第２のグラフィック要素１６４及び第４のグラフィック要素１７２は、地表面１７６上に提示されるグラフィカルな重ね書きとして運転者に対してナビゲーション命令を提示することができ、また、運転者に乗り物周辺標識を提示することができる。第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２は、本明細書に記載したものとは異なる情報又はグラフィック要素を運転者に提示してもよく、かつ、第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２の部分的な組を提示してもよい。   Referring to FIG. 4, the first, second, third and fourth graphic elements 160, 164, 168, 172 can be used to present different information to the driver. The fine types of information displayed by the first, second, third and fourth graphic elements 160, 164, 168, 172 can be changed. For example, the first graphic element 160 and the third graphic element 168 can present a warning to the driver instructing to bypass a dangerous situation or an obstacle. In addition, navigation commands and driving commands corresponding to road traffic regulations (eg, stop signs, YIELD signs, etc.) can be displayed. The second graphic element 164 and the fourth graphic element 172 can present navigation instructions to the driver as a graphical overlay that is presented on the ground surface 176 and also provides the driver with a vehicle perimeter sign. Can be presented. The first, second, third and fourth graphic elements 160, 164, 168, 172 may present different information or graphic elements to the driver than those described herein, and A partial set of the first, second, third and fourth graphic elements 160, 164, 168, 172 may be presented.

図１に戻って、制御部１０４には、１つ又は複数の乗り物制御システム１８０と通信してＨＵＤデバイス１０２を制御することができる、１つ又は複数のコンピュータ、（例えば、算術計算用の）プロセッサ又は、他の任意のデバイスを含むことができる。１つ又は複数の乗り物制御システム１８０（本明細書中では「乗り物制御システム１８０」又は「乗り物制御コンポーネント１８０」）は、任意の乗り物制御システム１８０の形態（複数可）をとって、乗り物１０６の制御を主導的又は受動的に円滑化するために用いることができる。乗り物制御システム１８０は、乗り物１０６の操作に関係する運転条件及び環境条件を検知する１つ又は複数のセンサ（図示せず）を含むか又は該センサと通信することができる。   Returning to FIG. 1, the controller 104 may include one or more computers (eg, for arithmetic calculations) that can communicate with one or more vehicle control systems 180 to control the HUD device 102. A processor or any other device may be included. One or more vehicle control systems 180 (herein “vehicle control system 180” or “vehicle control component 180”) take the form of any vehicle control system 180 (s) and It can be used to facilitate control either passively or passively. The vehicle control system 180 may include or communicate with one or more sensors (not shown) that sense driving and environmental conditions related to the operation of the vehicle 106.

ＨＵＤシステム１００の動作を概略的にみると、制御部１０４は、乗り物制御システム１８０と通信し、乗り物制御システム１８０との通信に基づいて、乗り物１０６の運転者に提示するグラフィック要素の種類及び位置を決定する。制御部１０４ は、第１、第２、第３及び第４のプロジェクタ１１８、１２０、１２２、１２４によって第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２として提示されるべきグラフィック要素の種類を決定し、かつ、第１、第２、第３及び第４のプロジェクタ１１８、１２０、１２２、１２４を制御して、第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２を決定されたグラフィック要素として投影させる。制御部１０４は、第１のグラフィック要素の目標位置と第３のグラフィック要素の目標位置を、第１及び第３のグラフィック要素１６０、１６８が前記環境内で運転者に対してレンダリングされるべき目標位置として決定することができる。制御部１０４は、次に、第１及び第２のアクチュエータ１５６、１５８を制御して、第１及び第３のプロジェクタ１１８、１２２を直線的に移動させ、第１及び第３の焦点面１６２、１７０を、それぞれ第１及び第３のグラフィック要素の目標位置に移動させることができる。   Looking briefly at the operation of the HUD system 100, the control unit 104 communicates with the vehicle control system 180, and based on the communication with the vehicle control system 180, the types and positions of graphic elements presented to the driver of the vehicle 106. To decide. The control unit 104 is presented as first, second, third and fourth graphic elements 160, 164, 168, 172 by the first, second, third and fourth projectors 118, 120, 122, 124. The type of graphic element to be determined and the first, second, third and fourth projectors 118, 120, 122, 124 are controlled to provide the first, second, third and fourth graphics. Elements 160, 164, 168, 172 are projected as determined graphic elements. The control unit 104 determines the target position of the first graphic element and the target position of the third graphic element, and the target that the first and third graphic elements 160 and 168 are to be rendered to the driver within the environment. It can be determined as a position. Next, the control unit 104 controls the first and second actuators 156 and 158 to linearly move the first and third projectors 118 and 122, and the first and third focal planes 162, 170 can be moved to the target positions of the first and third graphic elements, respectively.

このようにして、第１のプロジェクタ１１８は、第１のグラフィック要素１６０を第１の焦点面１６２上に投影する。第１の焦点面１６２は、運転者の視線に対して略垂直に配向させることができ、第１のアクチュエータ１５６による第１のプロジェクタ１１８の直線運動を通して運転者の視線１７８の方向を、乗り物１０６へ向かう方へ又は乗り物１０６から離れる方へ、移動することができる。第２のプロジェクタ１２０は、第２のグラフィック要素１６４を第２の焦点面１６６へ投影する。第２の焦点面１６６は、静止させ、地表面１７６に平行に配向させ、かつ、地表面１７６の上に配置することができる。第３のプロジェクタ１２２は、第３のグラフィック要素１６８を第３の焦点面１７０上投影する。第３の焦点面１７０は運転者の視線に対して略垂直に配向され、第２のアクチュエータ１５８による第３のプロジェクタ１２２の直線運動を通して、運転者の視線１７８の方向を乗り物１０６へ向かう方へ又は乗り物１０６から離れる方へ移動可能又は調整可能である。第４のプロジェクタ１２４は、第４のグラフィック要素１７２を第４の焦点面１７４上に投影することができる。第４の焦点面１７４は、静止しており、地表面１７６に平行に配向され、運転者の視線１７８の上方に配置することができる。制御部１０４は、第１及び第２のアクチュエータ１５６、１５８を制御して、第１及び第３のプロジェクタ１１８、１２２を移動させ、第１及び第３の焦点面１６２、１７０を移動させる。   In this way, the first projector 118 projects the first graphic element 160 onto the first focal plane 162. The first focal plane 162 can be oriented substantially perpendicular to the driver's line of sight and directs the driver's line of sight 178 through linear motion of the first projector 118 by the first actuator 156. It is possible to move toward or away from the vehicle 106. The second projector 120 projects the second graphic element 164 onto the second focal plane 166. The second focal plane 166 can be stationary, oriented parallel to the ground surface 176, and disposed on the ground surface 176. The third projector 122 projects the third graphic element 168 on the third focal plane 170. Third focal plane 170 is oriented substantially perpendicular to the driver's line of sight, and through the linear motion of third projector 122 by second actuator 158, the direction of driver's line of sight 178 is directed toward vehicle 106. Alternatively, it can be moved or adjusted away from the vehicle 106. The fourth projector 124 can project the fourth graphic element 172 onto the fourth focal plane 174. The fourth focal plane 174 is stationary, oriented parallel to the ground surface 176, and can be positioned above the driver's line of sight 178. The control unit 104 controls the first and second actuators 156 and 158 to move the first and third projectors 118 and 122 and move the first and third focal planes 162 and 170.

第１及び第３のプロジェクタ１１８、１２２に、第１及び第３のグラフィック要素１６０、１６８を、運転者の視線１７８に略垂直に配向された第１及び第３の焦点面１６２、１７０上に投影させることによって、乗り物１０６から異なる距離にあるオブジェクトの焦点を調整することができる。これによって、運転者に対する、第１及び第３のグラフィック要素１６０、１６８の正確な奥行き手がかりの提供が容易になり、特に、ＨＵＤシステム１００を乗り物用アプリケーションとすることができるので、移動プラットフォームとして働く乗り物１０６に具備することができる。   First and third projectors 118, 122 have first and third graphic elements 160, 168 on first and third focal planes 162, 170 oriented substantially perpendicular to the driver's line of sight 178. By projecting, the focus of an object at a different distance from the vehicle 106 can be adjusted. This facilitates the provision of accurate depth cues to the driver for the first and third graphic elements 160, 168, and in particular the HUD system 100 can be a vehicle application, thus serving as a mobile platform. The vehicle 106 can be provided.

第２及び第４のプロジェクタ１２０、１２４は、第２及び第４のグラフィック要素１６４、１７２を第２及び第４の静的焦点面１６６、１７４上に投影すると同時に、第２及び第４の焦点面１６６、１７４を、切れ目なく連続させることができる。第２及び第４の焦点面１６６、１７４を地面１７６に平行にするために、第２及び第４のプロジェクタ１２０、１２４の拡散スクリーン１５０、１５４は傾斜させることができる。ＨＵＤデバイス１０２の光学系は、歪みが非常に小さく、地面に平行な焦点面にある画像に対してほぼテレセントリックであるので、光線が光軸と平行に近い。このことによって、第２及び第４の焦点面１６６、１７４が傾いている間、投射された第２及び第４のグラフィック要素１６４、１７２を歪みなく又は倍率を変えずに投影又はレンダリングすることが可能になる。したがって、この結果生じる第２及び第４のグラフィック要素１６４、１７２は、地表面１７６に平行で連続した焦点面（第２及び第４の焦点面１６６、１７４）上に表示される。この点で、第２及び第４のグラフィック要素１６４、１７２は、線分の代わりに実際の３次元（３−Ｄ）の立体形状でレンダリングして、奥行き知覚を強めるために単眼手がかりを追加することもできる。   The second and fourth projectors 120, 124 project the second and fourth graphic elements 164, 172 onto the second and fourth static focal planes 166, 174 at the same time as the second and fourth focal points. The surfaces 166, 174 can be continuous without breaks. In order to make the second and fourth focal planes 166, 174 parallel to the ground 176, the diffusing screens 150, 154 of the second and fourth projectors 120, 124 can be tilted. The optical system of the HUD device 102 has very little distortion and is almost telecentric with respect to an image in a focal plane parallel to the ground, so that the light beam is nearly parallel to the optical axis. This allows the projected second and fourth graphic elements 164, 172 to be projected or rendered without distortion or without changing magnification while the second and fourth focal planes 166, 174 are tilted. It becomes possible. Accordingly, the resulting second and fourth graphic elements 164, 172 are displayed on a continuous focal plane (second and fourth focal planes 166, 174) parallel to the ground surface 176. In this regard, the second and fourth graphic elements 164, 172 render with actual three-dimensional (3-D) solid shapes instead of line segments and add monocular cues to enhance depth perception. You can also.

連続し、静止した第２及び第４の焦点面１６６、１７４によって、第２及び第４のグラフィック要素１６４、１７２ に対する運転者の奥行き知覚が容易になる。連続し、静止した第２及び第４の焦点面１６６、１７４によって、３−Ｄ空間における前後方向（例えば、運転者の視線１７８の方向）全体に渡って実際の像又はグラフィック要素の正しい生成が可能になり、適切な運動視差手がかりの生成が可能になる。したがって、運転者の頭が、横から横へ又は上下に移動しても、運転者には、第２及び第４のグラフィック要素１６４、１７２が動き回ることなく、むしろ、環境内での位置が固定されているように見える。したがって、ＨＵＤシステム１００は、運転者の頭部の動きを補償するための、頭部追跡機能を必要としない。   The continuous and stationary second and fourth focal planes 166, 174 facilitate the driver's perception of depth relative to the second and fourth graphic elements 164, 172. The continuous and stationary second and fourth focal planes 166, 174 provide the correct generation of actual images or graphic elements across the entire anteroposterior direction in 3-D space (eg, in the direction of the driver's line of sight 178). This makes it possible to generate appropriate motion parallax cues. Thus, even if the driver's head moves from side to side or up and down, the driver does not move the second and fourth graphic elements 164, 172 around, but rather has a fixed position in the environment. Looks like it has been. Thus, the HUD system 100 does not require a head tracking function to compensate for the driver's head movement.

前記の、運転者に提示可能な例示的な情報に関して、乗り物制御システム１８０は、危険状況や障害物の検出、ナビゲーション、ナビゲーション命令、乗り物周辺（例えば、死角）モニタ等の機能を実行可能な処理及びセンサを有することができる。乗り物制御システム１８０は、他の乗り物制御機能（例えば、高速道路合流支援等）を実行可能な処理及びセンサを含むことができる。該他の乗り物制御機能は、ＨＵＤシステム１００を用いて運転者に提示される情報に代替的又は追加的に結合することができる。乗り物制御システム１８０によって実行される機能に関係なく、前記機能を実行するための乗り物制御システム１８０の細かな動作形態は、関連するセンサ及び処理を含めて、ＨＵＤシステム１００の動作と関連付けられなくてよい。   With respect to the exemplary information that can be presented to the driver, the vehicle control system 180 can perform functions such as detection of dangerous situations and obstacles, navigation, navigation commands, vehicle periphery (for example, blind spot) monitoring, and the like. And a sensor. The vehicle control system 180 can include processes and sensors that can perform other vehicle control functions (eg, highway merge assistance, etc.). The other vehicle control functions can alternatively or additionally be coupled to information presented to the driver using the HUD system 100. Regardless of the function performed by the vehicle control system 180, the detailed operational configuration of the vehicle control system 180 to perform the function, including the associated sensors and processes, is not associated with the operation of the HUD system 100. Good.

制御部１０４は、乗り物制御システム１８０と通信し、乗り物制御システム１８０から、乗り物１０６の動作に関連する、上記又は（又は、他の）機能に対応する入力を受信する。制御部１０４は、次に、ＨＵＤデバイス１０２を、乗り物制御システム１８０から受信した入力に基づいて制御する。ここで、制御部１０４と乗り物制御システム１８０の一方又は両方が、第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２として表示されるグラフィック要素の種類、第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２の位置及び、第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２のどれを表示するかを決定する。上記の決定は、運転者がナビゲーション機能を用いているかどうかなど、運転者によって用いられる１つ又は複数の乗り物機能に基づくこともできる。   The controller 104 communicates with the vehicle control system 180 and receives input from the vehicle control system 180 corresponding to the above or (or other) functions related to the operation of the vehicle 106. Next, the control unit 104 controls the HUD device 102 based on the input received from the vehicle control system 180. Here, one or both of the control unit 104 and the vehicle control system 180 may display the types of graphic elements displayed as the first, second, third, and fourth graphic elements 160, 164, 168, 172, The position of the second, third and fourth graphic elements 160, 164, 168, 172 and which of the first, second, third and fourth graphic elements 160, 164, 168, 172 to display. decide. The above determination can also be based on one or more vehicle functions used by the driver, such as whether the driver is using a navigation function.

制御部１０４又は乗り物制御システム１８０のどちらを使用して前記決定を行うかに関わらず、制御部１０４は、ＨＵＤデバイス１０２を制御して適切なグラフィック要素を適切な位置に表示させる。このような制御には、第１、第２、第３及び第４のプロジェクタ１１８、１２０、１２２、１２４を制御して、第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２を適切に投影することを含むことができる。該制御には、第１及び第２のアクチュエータ１５６、１５８を制御して、第１及び第３のプロジェクタ１１８、１２２を直線的に移動させ、第１及び第３の焦点面１６２、１７０を適切な位置（例えば、目標位置）に移動させるようにすることを含むことができる。例えば、１５６、１５８のような１つ又は複数のアクチュエータが、１６２、１７０のような焦点面の１つ又は複数を移動させるように構成することができる。例えば、第３の焦点面１７０に関しては、第３の焦点面１７０と乗り物１０６のフロント・ガラス（例えば、３０２）の間の距離は、距離１７０’を調整することによって調整することができる。同様に、距離１６２’ を調整して、焦点面１６２の目標位置を変えることができる。   Regardless of whether the determination is made using the controller 104 or the vehicle control system 180, the controller 104 controls the HUD device 102 to display the appropriate graphic element at the appropriate location. Such control includes controlling the first, second, third, and fourth projectors 118, 120, 122, 124 to provide first, second, third, and fourth graphic elements 160, 164, Proper projection of 168, 172 can be included. For this control, the first and second actuators 156 and 158 are controlled to move the first and third projectors 118 and 122 linearly, and the first and third focal planes 162 and 170 are appropriately adjusted. Moving to a different position (for example, a target position). For example, one or more actuators, such as 156, 158, can be configured to move one or more of the focal planes, such as 162,170. For example, with respect to the third focal plane 170, the distance between the third focal plane 170 and the windshield (eg, 302) of the vehicle 106 can be adjusted by adjusting the distance 170 '. Similarly, the distance 162 'can be adjusted to change the target position of the focal plane 162.

第１、第２、第３及び第４のグラフィック要素１６０、１６４、１６８、１７２に関連する、前記の例示的な情報を参照して、ＨＵＤシステム１００の動作が、乗り物制御システム１８０を有する乗り物１０６に言及しながら説明する。該乗り物制御システム１８０では、以下の機能、危険状況や障害物の検出と警告機能、ナビゲーション機能、ナビゲーション命令機能及び、乗り物周辺（例えば、死角）モニタ機能等が可能になる。再度述べるが、乗り物１０６は、上記機能の一部又は追加機能を有することができ、ＨＵＤシステム１００を上記機能の一部又は追加的な機能に関連して用いることができる。上記機能に関するＨＵＤシステム１００の説明は単なる例示であり、ＨＵＤシステム１００の説明を容易にするために用いている。制御部１０４と乗り物制御システム１８０のうちの１つ又は両方が、ＨＵＤシステム１００の動作に関連する決定を行うことができるが、以下の説明では、制御部１０４が、乗り物制御システム１８０から受け取った入力に基づいて決定を行うように構成されているものとして説明する。   With reference to the exemplary information associated with the first, second, third, and fourth graphic elements 160, 164, 168, 172, the operation of the HUD system 100 includes a vehicle control system 180. Description will be made with reference to 106. The vehicle control system 180 enables the following functions, such as detection and warning functions for dangerous situations and obstacles, navigation functions, navigation command functions, and vehicle periphery (for example, blind spot) monitoring functions. Again, the vehicle 106 may have some or additional functions of the above functions, and the HUD system 100 may be used in connection with some or additional functions of the above functions. The description of the HUD system 100 regarding the above functions is merely an example, and is used to facilitate the description of the HUD system 100. One or both of the controller 104 and the vehicle control system 180 can make decisions related to the operation of the HUD system 100, but in the following description, the controller 104 received from the vehicle control system 180. The description will be made assuming that the determination is made based on the input.

障害物検知及び警告機能に関する情報は、ＨＵＤデバイス１０２の第１のプロジェクタ１１８によって投影される視野相似拡張現実グラフィック要素として、運転者に提示することができる。この点に関して、乗り物制御システム１８０は、乗り物１０６が走行している道路上のさまざまな障害物を検出することができる。例えば、障害物には、道路を横断する歩行者、他の乗り物、動物、車道上の破片、窪み、等がある。これらの障害物の検出は、乗り物１０６に設けられたセンサ（図示せず）によって感知された環境からの情報を処理することによってなされる。また、障害物検出は任意の方法で行うことができる。   Information regarding obstacle detection and warning functions can be presented to the driver as a visual field-similar augmented reality graphic element projected by the first projector 118 of the HUD device 102. In this regard, the vehicle control system 180 can detect various obstacles on the road on which the vehicle 106 is traveling. For example, obstacles include pedestrians crossing roads, other vehicles, animals, debris on roadways, depressions, and the like. These obstacles are detected by processing information from the environment sensed by a sensor (not shown) provided on the vehicle 106. Obstacle detection can be performed by any method.

障害物を検出すると、乗り物制御システム１８０は、障害物の情報を制御部１０４に伝達する。制御部１０４は、乗り物制御システム１８０からの障害物情報を受信すると、第１のグラフィック要素１６０として提示するグラフィック要素の種類及び第１のグラフィック要素の目標位置を、受信した障害物情報に基づいて決定する。フラッシュ・アイコン、その他の表示等、さまざまな種類のグラフィック要素を用いることができるが、本明細書の例では、障害物を検出したときに提示される「譲れ（ＹＩＥＬＤ）」標識に関して説明する。   When the obstacle is detected, the vehicle control system 180 transmits the obstacle information to the control unit 104. When receiving the obstacle information from the vehicle control system 180, the control unit 104 determines the type of the graphic element to be presented as the first graphic element 160 and the target position of the first graphic element based on the received obstacle information. decide. While various types of graphic elements can be used, such as flash icons, other displays, etc., the examples herein will be described with reference to a “YIELD” indicator that is presented when an obstacle is detected.

図４を説明すると、乗り物制御システム１８０が検出した障害物は、乗り物１０６が走行中の道路を横断する歩行者１８２である場合がある。図４の運転者の例示の視野では、乗り物１０６は、歩行者１８２が横断している道路を走行している。したがって、乗り物制御システム１８０は、歩行者１８２に関する障害物情報を制御部１０４に送信することができる。前記障害物情報に基づいて、制御部１０４は、第１のグラフィック要素１６０として表示するべきグラフィック要素の種類を決定することができる。この場合、例えば、該グラフィック要素は「譲れ（ＹＩＥＬＤ）」標識とすることができるが、他の図形を用いてもよい。制御部１０４は、第１のグラフィック要素の目標位置を、第１のグラフィック要素１６０が投影されレンダリングされて、運転者によって、歩行者１８２と同じ奥行き（例えば、焦点面）にあると知覚されるように、決定することができる。また、制御部１０４を、例えば、歩行者１８２が歩くときに、第１のグラフィック要素１６０が歩行者１８２を「追跡」又は「追尾」するように第１のグラフィック要素の目標位置を調整するように、構成することができる。   Referring to FIG. 4, the obstacle detected by the vehicle control system 180 may be a pedestrian 182 crossing a road on which the vehicle 106 is traveling. In the driver's exemplary view of FIG. 4, the vehicle 106 is traveling on the road that the pedestrian 182 is crossing. Therefore, the vehicle control system 180 can transmit obstacle information regarding the pedestrian 182 to the control unit 104. Based on the obstacle information, the control unit 104 can determine the type of graphic element to be displayed as the first graphic element 160. In this case, for example, the graphic element may be a “YIELD” indicator, but other graphics may be used. The controller 104 perceives the target position of the first graphic element as being at the same depth (eg, focal plane) as the pedestrian 182 by the driver being projected and rendered by the first graphic element 160. Can be determined. Further, the control unit 104 may adjust the target position of the first graphic element so that the first graphic element 160 “tracks” or “tracks” the pedestrian 182 when the pedestrian 182 walks, for example. It can be configured.

制御部１０４は、次に、第１のプロジェクタ１１８を制御して、「譲れ（ＹＩＥＬＤ）」標識を第１のグラフィック要素１６０として投影し、かつ、第１のアクチュエータ１５６を制御して直線的に第１のプロジェクタ１１８を移動させ、第１のグラフィック要素１６０が投影、レンダリングされて、運転者によって（例えば、運転者の目はアイ・ボックス１１６内にあり、運転者がフロント・ガラス１１２越しに前方を見ている間）歩行者１８２と同じ奥行きにあると知覚されるようにすることができる。第１のアクチュエータ１５６は、第１のグラフィック要素１６０を第１の焦点面１６２上に投影するように制御される。第１の焦点面１６２は、第１のグラフィック要素の目標位置に配置され、視線１７８に対して略垂直に配向することができる。   The controller 104 then controls the first projector 118 to project a “YIELD” sign as the first graphic element 160 and controls the first actuator 156 to linearly. The first projector 118 is moved and the first graphic element 160 is projected and rendered by the driver (eg, the driver's eyes are in the eye box 116 and the driver is over the windshield 112). It can be perceived to be at the same depth as the pedestrian 182 (while looking forward). The first actuator 156 is controlled to project the first graphic element 160 onto the first focal plane 162. The first focal plane 162 can be located at the target location of the first graphic element and can be oriented substantially perpendicular to the line of sight 178.

乗り物１０６と歩行者１８２が道路を通行するとき、両者間の相対的距離が変化する。この距離の変化は、乗り物制御システム１８０によって制御部１０４に伝達することができ、これに応じて第１のグラフィック要素の目標位置を変えることができ、かつ、第１のアクチュエータ１５６を制御部１０４によって制御して第１の焦点面１６２を移動させて、（例えば、変化した／変化している）目標位置にとどまるようにすることができる。このようにして、第１のグラフィック要素１６０を運転者の視線１７８の方向に沿って移動可能な第１の焦点面１６２上に投影し、第１のグラフィック要素１６０に対応する奥行き手がかりを正しく再生して、運転者が正確に第１のグラフィック要素１６０（例えば、検出された障害物）の位置を判定できるようにすることができる。   When the vehicle 106 and the pedestrian 182 pass on the road, the relative distance between them changes. This change in distance can be transmitted to the control unit 104 by the vehicle control system 180, the target position of the first graphic element can be changed accordingly, and the first actuator 156 is controlled by the control unit 104. To move the first focal plane 162 to remain at the target position (eg, changed / changed). In this way, the first graphic element 160 is projected onto the first focal plane 162 that is movable along the direction of the driver's line of sight 178, and the depth cue corresponding to the first graphic element 160 is correctly reproduced. Thus, the driver can accurately determine the position of the first graphic element 160 (eg, detected obstacle).

さらに、前記ナビゲーション機能に関する情報を、運転者に、ＨＵＤデバイス１０２の第２のプロジェクタ１２０によって投影された視野相似拡張現実グラフィック要素として提示することができる。この点に関して、乗り物制御システム１８０は、運転者からのナビゲーション要求（例えば、所望の場所の入力）を受信すると、所望の場所に到達するために運転者が通るべきナビゲーション経路を生成する。該ナビゲーション経路には、運転者が従うべき一連の運転指図が含まれ、該指図には、所望の場所に至る経路上の道路に至るための命令等が含まれる。ナビゲーション機能は任意の方法で実行することができる。ナビゲーション機能が起動されると、乗り物制御システム１８０は、ナビゲーション機能に関する運転指図を制御部１０４に伝達する。   Further, the information regarding the navigation function can be presented to the driver as a visual field similarity augmented reality graphic element projected by the second projector 120 of the HUD device 102. In this regard, when the vehicle control system 180 receives a navigation request (eg, input of a desired location) from the driver, the vehicle control system 180 generates a navigation path that the driver must take to reach the desired location. The navigation route includes a series of driving instructions to be followed by the driver, and the instructions include instructions for reaching a road on the route to a desired location. The navigation function can be performed in any way. When the navigation function is activated, the vehicle control system 180 transmits a driving instruction regarding the navigation function to the control unit 104.

制御部１０４ は、乗り物制御システム１８０から運転指図を受信し、第２のグラフィック要素１６４として提示するグラフィック要素の種類を決定する。ナビゲーション機能に関連するグラフィック要素の前記種類には、現在の道路を進み続ける（例えば、直線や矢印等）、左折又は右折して次の交差道路に入る（例えば、左／右向きの矢印又は適切な方向に曲がった線）、高速道路に入る、合流する又は高速道路から出る（例えば、適切な通路を示す線又は矢印）等を、運転者に指示するグラフィック要素を含まれる。制御部１０４は、乗り物制御システム１８０から伝達された運転指図に基づいて、第２のグラフィック要素１６４として提示するべき適切なグラフィック要素を選択する。   The control unit 104 receives the driving instruction from the vehicle control system 180 and determines the type of graphic element to be presented as the second graphic element 164. For the types of graphic elements associated with the navigation function, continue on the current road (eg straight line or arrow), turn left or right and enter the next crossing road (eg left / right arrow or appropriate A graphic element is included that directs the driver to turn in a direction), enter the highway, merge or exit the highway (eg, a line or arrow indicating an appropriate passage), and the like. The control unit 104 selects an appropriate graphic element to be presented as the second graphic element 164 based on the driving instruction transmitted from the vehicle control system 180.

図４の運転者の視野の例を参照すると、乗り物制御システム１８０のナビゲーション機能によって決定された運転経路のための運転指図には、左折して次の道路に入る指示を含んでいる。したがって、制御部１０４は、第２のプロジェクタ１２０を制御して、左折のグラフィック要素を第２のグラフィック要素１６４として第２の焦点面１６６上に生成・投影する。図４に示すように、第２焦点面１６６は、地表面１７６に平行に配向され、地表面１７６上に置くことができる。上述のように、第２のプロジェクタ１２０は、ＨＵＤデバイス１０２に固定的に配置して、第２の焦点面１６６が静止するようにできる。上述のように、第２の焦点面１６６は切れ目なくつなぐことができ、第２のグラフィック要素１６４を、運転者に対して適切な奥行き手がかりで３−Ｄ画像としてレンダリングすることができる。   Referring to the driver view example of FIG. 4, the driving instructions for the driving route determined by the navigation function of the vehicle control system 180 include an instruction to turn left and enter the next road. Therefore, the control unit 104 controls the second projector 120 to generate and project a left-turn graphic element on the second focal plane 166 as the second graphic element 164. As shown in FIG. 4, the second focal plane 166 is oriented parallel to the ground surface 176 and can be placed on the ground surface 176. As described above, the second projector 120 can be fixedly disposed on the HUD device 102 so that the second focal plane 166 is stationary. As described above, the second focal plane 166 can be continuous and the second graphic element 164 can be rendered as a 3-D image with appropriate depth cues for the driver.

同様に、ナビゲーション命令機能に関する情報は、運転者に対して、ＨＵＤデバイス１０２の第３のプロジェクタ１２２によって投影された視野相似拡張現実グラフィック要素として提示される。ここで、乗り物制御システム１８０は、センサ又は、データベースに格納されて地図と関連付けられた情報を用いて、乗り物１０６が走行している道路をモニタし、かつ、該道路上の走行に関する次のナビゲーション命令を決定することができる。例えば、乗り物制御システム１８０は、乗り物１０６が走行している道路上の次に必要になる停止、譲れ（ＹＩＥＬＤ）又は他の状況（本明細書では、「道路状況」と総称する）を検出することができる。乗り物制御システム１８０は、検出された道路状況に関連するナビゲーション命令（例えば、停止の道路状況に対応付けられた停止命令等）を決定する。ナビゲーション命令機能は任意の方法で実行することができるが、実行方法の詳細は、必ずしもＨＵＤシステム１００の動作に関係しない。また、道路状況には、他の事柄の中では、道路区間の交通量、障害事象、障害物、気象状況、道路区間の表面の状況又は、道路又は道路区間の一部に関連した制限速度、等が含まれる。つまり、道路状況は、概して言えば、例えば、運転中の、加速、減速、迂回、停止、警戒等を行うための理由を含むことができる。   Similarly, information regarding the navigation command function is presented to the driver as a field-similar augmented reality graphic element projected by the third projector 122 of the HUD device 102. Here, the vehicle control system 180 uses a sensor or information stored in a database and associated with the map to monitor the road on which the vehicle 106 is traveling, and to perform next navigation related to traveling on the road. Instructions can be determined. For example, the vehicle control system 180 detects the next required stop, yield (YIELD) or other situation (collectively referred to herein as “road situation”) on the road on which the vehicle 106 is traveling. be able to. The vehicle control system 180 determines a navigation command (for example, a stop command associated with the stopped road condition) related to the detected road condition. The navigation instruction function can be executed in any way, but the details of the execution method are not necessarily related to the operation of the HUD system 100. In addition, road conditions include, among other things, traffic volume on road sections, obstacle events, obstacles, weather conditions, surface conditions on road sections, or speed limits related to roads or parts of road sections, Etc. are included. That is, road conditions can generally include, for example, reasons for driving, accelerating, decelerating, detouring, stopping, alerting, and the like.

乗り物制御システム１８０は、道路状況又は道路状況に対応するナビゲーション命令、ならびに道路状況の位置に関する情報を、制御部１０４に伝達する。したがって、制御部１０４は、第３のプロジェクタ１２２を制御して、第３のグラフィック要素１６８を投影し、道路状況又は対応するナビゲーション命令に関する情報を運転者に伝達することができる。制御部１０４は、道路状況又はナビゲーション命令情報、ならびに位置情報を、乗り物制御システム１８０から受信して、第３のグラフィック要素１６８として表示するべきグラフィック要素の種類及び第３のグラフィック要素の目標位置を決定することができる。   The vehicle control system 180 transmits a road condition or a navigation command corresponding to the road condition and information on the position of the road condition to the control unit 104. Accordingly, the control unit 104 can control the third projector 122 to project the third graphic element 168 and transmit information regarding road conditions or corresponding navigation commands to the driver. The control unit 104 receives the road condition or navigation command information and the position information from the vehicle control system 180, and determines the type of graphic element to be displayed as the third graphic element 168 and the target position of the third graphic element. Can be determined.

さまざまな種類のグラフィック要素を、ナビゲーション命令機能と組み合わせて使用することができる。例えば、：ＳＴＯＰ（停止）標識、譲れ（ＹＩＥＬＤ）標識、ＯＮＥ ＷＡＹ（一方通行）標識、ＮＯ ＴＵＲＮ ＯＮ ＲＥＤ（赤で旋回禁止）標識等がある。グラフィック要素の種類は、道路状況に対応付けられたナビゲーション命令を伝達するために選択することができる。どのような種類のグラフィック要素を、制御部１０４が、第３のグラフィック要素１６８として使用するかを決定しても、該グラフィック要素は、運転状況の位置に表示されるように投影することができる。この点において、第３のグラフィック要素の目標位置は、第３のグラフィック要素１６８を運転者の視野の中でレンダリングするべき位置として、検出された道路状況の乗り物１０６に対する位置に基づいて、決定する必要がある。   Various types of graphic elements can be used in combination with the navigation instruction function. For example: STOP (stop) sign, YIELD sign, ONE WAY (one-way) sign, NO TURN ON RED (red turn prohibited) sign, etc. The type of graphic element can be selected to convey navigation instructions associated with road conditions. Whatever type of graphic element is determined by the control unit 104 as the third graphic element 168, the graphic element can be projected to be displayed at the position of the driving situation. . At this point, the target position of the third graphic element is determined based on the detected position of the road condition relative to the vehicle 106 as the position where the third graphic element 168 is to be rendered in the driver's field of view. There is a need.

制御部１０４は、第３のプロジェクタ１２２を制御して、適切なグラフィック要素を第３のグラフィック要素１６８として投影するように構成することができる。該制御部は、第２のアクチュエータ１５８を制御して第３のプロジェクタを直線的に移動させ、第３のグラフィック要素１６を、運転者が（例えば、運転者の目がアイ・ボックス１１６内にあり、運転者がフロント・ガラス１１２を通して前方を覗き込んでいる間）、道路状況と同一の奥行きにある（例えば、同一の焦点面を有する）と知覚するように、投影、かつレンダリングすることができる。第２のアクチュエータ１５８を制御して、第３のグラフィック要素１６８を第３の焦点面１７０上に投影するようにできる。該第３の焦点面１７０は、第３のグラフィック要素の目標位置に配置して、視線１７８に略垂直に配向することができる。制御部１０４は、第２のアクチュエータ１５８を制御して、第３のプロジェクタ１２２を連続的、直線的に移動させ、第３の焦点面１７０が、乗り物１０６と検出された道路状況（例えば、第３のグラフィック要素の目標位置）の間の距離の変化（乗り物制御システム１８０によって検出され、制御部１０４に伝達される）に応じて移動するようにできる。該変化は、例えば、検出された道路状況に向かって乗り物１０６が走行する結果、発生する。   The control unit 104 can be configured to control the third projector 122 to project an appropriate graphic element as the third graphic element 168. The control unit controls the second actuator 158 to linearly move the third projector, and the third graphic element 16 is moved by the driver (for example, the driver's eyes are in the eye box 116). And while the driver is looking forward through the windshield 112, can be projected and rendered to perceive that it is at the same depth as the road conditions (eg, having the same focal plane). it can. The second actuator 158 can be controlled to project the third graphic element 168 onto the third focal plane 170. The third focal plane 170 can be positioned at the target location of the third graphic element and oriented substantially perpendicular to the line of sight 178. The control unit 104 controls the second actuator 158 to move the third projector 122 continuously and linearly, and the third focal plane 170 is detected as the vehicle 106 (for example, the first road condition). 3 (target position of the three graphic elements) can be moved in response to a change in distance (detected by the vehicle control system 180 and transmitted to the control unit 104). The change occurs, for example, as a result of the vehicle 106 traveling toward the detected road condition.

図４における運転者の視点からの視野の例では、乗り物１０６は、乗り物１０６が停止すべき十字路に近づいている。従って、乗り物制御システム１８０は、交差点入り口の位置に停止の道路状況を検出し、停止道路状況に対応するナビゲーション命令が停止命令であるべきだと判断する。停止道路状況又は命令、ならびに停止道路状況の位置が制御部１０４に伝達される。制御部１０４は、ＳＴＯＰ標示を第３のグラフィック要素１６８として表示すべきであると判断する。制御部１０４は、第３のグラフィック要素１６８（例えば、ＳＴＯＰ標示）が、十字路の入り口の位置に表示されるべきであると判断する。こうして、交差点の入り口の位置を、第３のグラフィック要素の目標位置であると判断することができる。   In the example of the field of view from the driver's viewpoint in FIG. 4, the vehicle 106 is approaching the crossroad where the vehicle 106 should stop. Accordingly, the vehicle control system 180 detects a stop road condition at the intersection entrance position, and determines that the navigation instruction corresponding to the stop road condition should be a stop instruction. The stop road condition or command and the position of the stop road condition are transmitted to the control unit 104. The control unit 104 determines that the STOP indication should be displayed as the third graphic element 168. The control unit 104 determines that the third graphic element 168 (eg, a STOP indication) should be displayed at the entrance position of the crossroads. Thus, the position of the entrance of the intersection can be determined as the target position of the third graphic element.

制御部１０４は、第３のプロジェクタ１２２を制御して、「ＳＴＯＰ」標示を第３のグラフィック要素１６８として投影することができ、かつ、第２のアクチュエータ１５８を制御して第３のプロジェクタ１２２を移動し、第３のグラフィック要素１６８を、運転者が（例えば、運転者の目がアイ・ボックス１１６内にあり、運転者がフロント・ガラス１１２を通して前方を見ている間）、十字路の入り口と同一の奥行きにあると知覚するように投影し、かつレンダリングすることができる。第２のアクチュエータ１５８は、第３のグラフィック要素１６８が第３の焦点面１７０上に投影されるように、制御することができる。第３の焦点面１７０は、第３のグラフィック要素の目標位置におかれ、視線１７８に略垂直に配向することができる。乗り物１０６が道路を走行しているとき、乗り物１０６と十字路の入り口との相対距離が変化する。この距離の変化は、乗り物制御システム１８０によって制御部１０４に伝達することができ、したがって第３のグラフィック要素の目標位置を変えることができ、かつ、第２のアクチュエータ１５８を制御部１０４が制御して、第３の焦点面１７０を移動させ、第３の焦点面１７０が（例えば、変更された／変更中の）第３のグラフィック要素の目標位置に留まるようにすることができる。このように、第３のグラフィック要素１６８を、運転者の視線１７８の方向に沿って移動可能な第３の焦点面１７０上に投影して、第３のグラフィック要素１６８に対応する奥行き手がかりを正確に再現し、運転者が正確に第３のグラフィック要素１６８（例えば、検出された道路状況）の位置を判定できるようにすることができる。   The control unit 104 can control the third projector 122 to project the “STOP” indication as the third graphic element 168, and can control the second actuator 158 to control the third projector 122. The third graphic element 168 is moved by the driver (eg, while the driver's eyes are in the eye box 116 and the driver is looking forward through the windshield 112) It can be projected and rendered so that it is perceived to be at the same depth. The second actuator 158 can be controlled such that the third graphic element 168 is projected onto the third focal plane 170. The third focal plane 170 can be at a target position of the third graphic element and can be oriented substantially perpendicular to the line of sight 178. When the vehicle 106 is traveling on the road, the relative distance between the vehicle 106 and the entrance of the crossroad changes. This change in distance can be communicated to the control unit 104 by the vehicle control system 180, thus changing the target position of the third graphic element, and the control unit 104 controls the second actuator 158. Thus, the third focal plane 170 can be moved so that the third focal plane 170 remains at the target position of the third graphic element (eg, changed / being changed). In this way, the third graphic element 168 is projected onto the third focal plane 170 that is movable along the direction of the driver's line of sight 178 so that the depth cues corresponding to the third graphic element 168 are accurate. And the driver can accurately determine the position of the third graphic element 168 (eg, detected road condition).

乗り物周囲（例えば、死角）のモニタ機能に関連する情報は、運転者に対して、ＨＵＤデバイス１０２の第４のプロジェクタ１２４によって提示することができる。この点に関して、乗り物制御システム１８０は、他の乗り物の存在を、乗り物１０６のすぐ周り又は周辺の領域において検出することができる。乗り物１０６のすぐ周りの他の乗り物の検出は、乗り物１０６に具備されたセンサが検知する、周囲に関する情報を処理することによって行うことができる。乗り物周辺の判定は任意の方法で行うことができる。   Information related to the monitoring function around the vehicle (eg, blind spot) can be presented to the driver by the fourth projector 124 of the HUD device 102. In this regard, the vehicle control system 180 can detect the presence of other vehicles in the area immediately around or around the vehicle 106. The detection of other vehicles immediately around the vehicle 106 can be performed by processing information related to the surroundings detected by a sensor provided in the vehicle 106. The determination around the vehicle can be performed by any method.

乗り物周囲の情報は、乗り物制御システム１８０によって決定され、制御部１０４に伝達される。制御部１０４は、乗り物周辺情報を乗り物制御システム１８０から受信し、もし行うなら、どのように第４の焦点面１７４に投影された第４のグラフィック要素１７２を変更するかを決定する。この点で、第４のグラフィック要素１７２として、乗り物周辺（例えば、死角）モニタ機能を支援するために使用されるグラフィック要素は、図４に示す乗り物周辺標識とすることができる。   Information about the surroundings of the vehicle is determined by the vehicle control system 180 and transmitted to the control unit 104. The controller 104 receives vehicle periphery information from the vehicle control system 180 and, if so, determines how to change the fourth graphic element 172 projected on the fourth focal plane 174. In this regard, as the fourth graphic element 172, the graphic element used to support the vehicle periphery (eg, blind spot) monitoring function may be the vehicle periphery indicator shown in FIG.

乗り物周辺標識には、乗り物１０６を表す中央のマーカーと、乗り物１０６を直接取り囲む場所を表す８つの周囲マーカーとが含まれる。乗り物制御システム１８０は、乗り物１０６の直近にある乗り物の位置に関する情報を伝達し、かつ、制御部１０４は、第４のプロジェクタ１２４を制御して、第４のグラフィック要素１７２を変更し、１つ又は複数の対応する８つの周囲マーカーを強調表示させる。８つの周囲マーカーの強調表示によって、乗り物１０６を直接取り囲む領域にある他の乗り物の位置を運転者に示す。   The vehicle perimeter sign includes a central marker representing the vehicle 106 and eight surrounding markers representing locations directly surrounding the vehicle 106. The vehicle control system 180 communicates information about the position of the vehicle in the immediate vicinity of the vehicle 106, and the control unit 104 controls the fourth projector 124 to change the fourth graphic element 172, Alternatively, a plurality of corresponding eight surrounding markers are highlighted. Eight surrounding marker highlights indicate to the driver the location of other vehicles in the area directly surrounding the vehicle 106.

図４において、第４のグラフィック要素１７２は、第４の焦点面１７４上に投影することができる。第４の焦点面１７４は、地表面１７６に平行に配向することができ、かつ、地表面１７６及び視線１７８の上方に配置することができる。上述のように、第４のプロジェクタ１２４は、ＨＵＤデバイス１０２内に固定的に配置して、第４の焦点面１７４が静止しているようにすることができる。上述のように、第４の焦点面１７４は、切れ目なく連続するようにでき、第４のグラフィック要素１７２を、３−Ｄ画像として適切な奥行き手がかりで運転者にレンダリングするようにできる。   In FIG. 4, the fourth graphic element 172 can be projected onto the fourth focal plane 174. The fourth focal plane 174 can be oriented parallel to the ground surface 176 and can be positioned above the ground surface 176 and line of sight 178. As described above, the fourth projector 124 can be fixedly disposed within the HUD device 102 so that the fourth focal plane 174 is stationary. As described above, the fourth focal plane 174 can be continuous without interruption, and the fourth graphic element 172 can be rendered to the driver with appropriate depth cues as a 3-D image.

第４のグラフィック要素１７２は、図４の乗り物周辺標識とは異なる形で提供することができる。任意の事象において、第４のグラフィック要素１７２は第４の焦点面１７４上に投影することができる。該第４の焦点面１７４は、地表面１７６に平行に配向することができ、地表面１７６と運転者の視線１７８の上方に配置することができる。したがって、第４グラフィック要素１７２は空の焦点面上に提示することができる。これは、第４のグラフィック要素１７２によって伝達される情報が、環境と相互作用する必要がないので、適切であろう。   The fourth graphic element 172 may be provided in a different form than the vehicle perimeter sign of FIG. In any event, the fourth graphic element 172 can be projected onto the fourth focal plane 174. The fourth focal plane 174 can be oriented parallel to the ground surface 176 and can be positioned above the ground surface 176 and the driver's line of sight 178. Accordingly, the fourth graphic element 172 can be presented on an empty focal plane. This may be appropriate because the information conveyed by the fourth graphic element 172 need not interact with the environment.

上記のＨＵＤシステム１００は、グラフィック要素を、そのうちのいくつかは視野相似拡張現実グラフィック要素として、連続的に変化する焦点距離に、かつ、運転者の視線１７８の方向に沿って前から後ろに連続的に変化する焦点を有する、地表に平行な焦点面に、投影できる。したがって、奥行き知覚の手がかりが改善され、焦点調節を容易にし、同時に又は並行して又は（又は、ほぼ同時に）、運転者が環境に払う注意を増すことができる。これによって、運転者が、グラフィック要素を介して提示された情報だけでなく、環境を観測することが可能になる。この点で、実験を通して、本願発明者は、空間認知が焦点手がかりに大きく影響され得ること及び、本明細書に記載のＨＵＤシステム１００の、焦点面調整機能と共に、グラフィック要素を、連続し、かつ静止した、地表に平行な焦点面上に表示する機能が、空間認知を改善すると判断した。この目的に対して、空間認知の大幅な改善は、本明細書に記載した、焦点手がかりを調整するときの方が、グラフィック要素のサイズを調整するときよりも、観察される。   The HUD system 100 described above has graphic elements, some of which are visual-field-augmented augmented reality graphic elements, continuously changing focal length and front-to-back along the direction of the driver's line of sight 178. Can be projected onto a focal plane parallel to the earth's surface with a constantly changing focal point. Accordingly, depth perception cues can be improved, facilitating focus adjustment, and increasing the driver's attention to the environment at the same time or in parallel or (or nearly simultaneously). This allows the driver to observe the environment as well as the information presented via graphic elements. In this regard, through experimentation, the inventor has shown that spatial perception can be greatly influenced by focus cues and that the graphic elements, along with the focal plane adjustment function of the HUD system 100 described herein, are continuous, and It was determined that the ability to display on a stationary, parallel focal plane would improve spatial cognition. For this purpose, a significant improvement in spatial cognition is observed when adjusting the focus cues described herein, rather than when adjusting the size of the graphic elements.

ＨＵＤデバイス１０２の構成では、ビーム・スプリッタ１２６、１３０、１３４及び、レンズ１２８、１３２、１３６、１３８を含めて、ＨＵＤデバイス１０２のサイズを比較的コンパクトにすることができる。さらに、レンズ１２８、１３２、１３６、１３８によって、奥行きの範囲は、乗り物１０６の前方数メートルから、ＨＵＤデバイス１０２の光学系に割り当てられた物理空間内で無限遠まで拡大することができる。さらにまた、ビーム・スプリッタ１２６、１３０、１３４は光結合器として使用することができ、第１、第２、第３及び第４のプロジェクタ１１８、１２０、１２２、１２４からの異なる投射光線の組のすべてを、レンズ１２８、１３２、１３６、１３８を介して合流させて、第１、第２、第３及び第４のプロジェクタ１１８、１２０、１２２、１２４からの個別の画像を、運転者の視野に投影される１つの統合画像又は（又は、例えば、グラフィック要素）に結合することができる。   In the configuration of the HUD device 102, including the beam splitters 126, 130, 134 and the lenses 128, 132, 136, 138, the size of the HUD device 102 can be relatively compact. Furthermore, the lenses 128, 132, 136, and 138 can extend the depth range from a few meters in front of the vehicle 106 to infinity in the physical space assigned to the optics of the HUD device 102. Furthermore, the beam splitters 126, 130, 134 can be used as optical combiners, with different sets of projection rays from the first, second, third and fourth projectors 118, 120, 122, 124. All are merged through lenses 128, 132, 136, 138 and individual images from the first, second, third and fourth projectors 118, 120, 122, 124 are brought into the driver's field of view. It can be combined into one integrated image or (or graphic element, for example) to be projected.

１つ又は複数の実施形態において、上に開示した及びその他の、特徴及び機能のうちのいくつか又は、その代替又は変形を所望のように組み合わせて、多くの他の異なるシステム又は応用とすることができる。また、該システム又は応用における、現在予見できない又は予期できない多様な代替、修正、変形又は改良が、以下の特許請求の範囲によって包含することを意図した技術の当業者によって、後になされてもよい。   In one or more embodiments, any of the above-disclosed and other features and functions, or alternatives or variations thereof, may be combined as desired into many other different systems or applications. Can do. Also, various alternatives, modifications, variations or improvements presently unforeseeable or unforeseeable in the system or application may be made later by those skilled in the art which are intended to be covered by the following claims.

例えば、より少ない又はより多いプロジェクタを、ＨＵＤシステム１００において用いて、より少ない又はより多いグラフィック要素を投影してもよい。さらに、ＨＵＤシステム１００は、前方の焦点面にグラフィック要素を投影する２つのプロジェクタと地面に平行な焦点面にグラフィック要素を投影する２つのプロジェクタを有するものとして記載されているが、前方の焦点面と地面に平行な焦点面の割合は変えることができる。ＨＵＤシステム１００に対応する上述の乗り物の機能は代表的な事例であり、変更又は修正することができる。   For example, fewer or more projectors may be used in the HUD system 100 to project fewer or more graphic elements. Further, although the HUD system 100 is described as having two projectors that project graphic elements onto a front focal plane and two projectors that project graphic elements onto a focal plane parallel to the ground, the front focal plane is described. The ratio of the focal plane parallel to the ground can be varied. The vehicle functions described above corresponding to the HUD system 100 are exemplary and can be changed or modified.

さらにまた、前方焦点面を移動するしくみは、上述したものから変更することができる。例えば、プロジェクタ全体（例えば、第１及び第２のアクチュエータ１５６、１５８を用いて、第１及び第３のプロジェクタ１１８、１２２）を移動させるのではなく、単に拡散スクリーン（例えば、第１及び第３のプロジェクタ１１８、１２２の拡散スクリーン１４８、１５２）を、各々のプロジェクタ・ユニット（例えば、プロジェクタ・ユニット１４０、１４４）に対して相対的に移動させるようにしてもよい。   Furthermore, the mechanism for moving the front focal plane can be changed from that described above. For example, rather than moving the entire projector (e.g., the first and third projectors 118, 122 using the first and second actuators 156, 158), simply a diffusing screen (e.g., the first and third projectors). Diffusing screens 148, 152) of the projectors 118, 122 may be moved relative to each projector unit (eg, projector units 140, 144).

さらに、ＨＵＤシステム１００は乗り物１０６を参照して説明し、該乗り物１０６は屋外用四輪自動車であったが、ＨＵＤシステム１００は、異なる種類の乗り物で使用することができる。例えば、該ＨＵＤシステムは、海上の乗り物（例えば、ボート）、空中の乗り物（例えば、飛行機又はジェット機）又は屋内使用を意図した乗り物（例えば、輸送用カート、フォークリフトなどの資材取り扱い用乗り物等）に設けてもよい。   Further, although the HUD system 100 is described with reference to a vehicle 106, the vehicle 106 was an outdoor four-wheel vehicle, the HUD system 100 can be used with different types of vehicles. For example, the HUD system can be used on marine vehicles (eg, boats), aerial vehicles (eg, airplanes or jets), or vehicles intended for indoor use (eg, transportation carts, material handling vehicles such as forklifts, etc.). It may be provided.

図５は、１つ又は複数の実施形態による、３Ｄナビゲーション・システム５００の構成の１例の説明図である。システム５００は、ＨＵＤコンポーネント１００と、乗り物制御コンポーネント１８０と、制御コンポーネント１０４と、ナビゲーション・コンポーネント５４０と、奥行きマップ・コンポーネント５５０と、奥行きバッファ・コンポーネント５６０と、１つ又は複数のセンサ・コンポーネント５７０と、１つ又は複数の制御エリア・ネットワーク（ＣＡＮ）５８０とを含むことができる。ＨＵＤコンポーネント１００は、図１のＨＵＤシステム１００のような乗り物用立体ＨＵＤシステムとすることができ、前述のコンポーネントを含むことができる。１つ又は複数の実施形態において、ＨＵＤコンポーネント１００は、特に、３−Ｄ・ＨＵＤ、距離可変ＨＵＤ、拡張現実ＨＵＤ（ＡＲ−ＨＵＤ）等とすることができる。   FIG. 5 is an illustration of an example configuration of a 3D navigation system 500 in accordance with one or more embodiments. The system 500 includes a HUD component 100, a vehicle control component 180, a control component 104, a navigation component 540, a depth map component 550, a depth buffer component 560, and one or more sensor components 570. One or more control area networks (CAN) 580 may be included. The HUD component 100 can be a vehicle stereoscopic HUD system, such as the HUD system 100 of FIG. 1, and can include the components described above. In one or more embodiments, the HUD component 100 may be a 3-D HUD, a variable distance HUD, an augmented reality HUD (AR-HUD), etc., among others.

ナビゲーション・コンポーネント５４０は、起点位置（例えば、点Ａ）と１つ又は複数の目的位置（例えば点Ｂ）を受信又は識別するように構成することができる。該ナビゲーション・コンポーネント５４０は、例えば、点Ａから点Ｂへ至る１つ又は複数の経路群を計算又は決定するように構成することができる。一般に、ナビゲーション・コンポーネント５４０は、１つの乗り物に対応する。例えば、ナビゲーション・コンポーネント５４０は、乗り物に搭載し、該乗り物の１つ又は複数のシステム又は１つ又は複数のコンポーネントと統合し、乗り物内に収容し、乗り物の１つ又は複数のコンポーネントと連結又は通信接続し又は、乗り物内に配置する、等が可能である。いずれの場合においても、ナビゲーション・コンポーネント５４０は、起点位置と目的位置を特定するか又は受信することができる。１つ又は複数の実施形態において、ナビゲーション・コンポーネント５４０は、乗り物の現在位置又は現在座標を決定するように構成できるテレマティックス・コンポーネント（図示せず）を含むことができる。   The navigation component 540 can be configured to receive or identify an origin location (eg, point A) and one or more destination locations (eg, point B). The navigation component 540 can be configured to calculate or determine one or more routes from point A to point B, for example. In general, the navigation component 540 corresponds to one vehicle. For example, the navigation component 540 may be mounted on a vehicle, integrated with one or more systems or components of the vehicle, housed within the vehicle, coupled to one or more components of the vehicle, or Communication connection or placement in a vehicle is possible. In either case, the navigation component 540 can identify or receive the origin location and the destination location. In one or more embodiments, the navigation component 540 can include a telematics component (not shown) that can be configured to determine the current position or current coordinates of the vehicle.

さらに、ナビゲーション・コンポーネント５４０は、起点位置から１つ又は複数の目的位置までの１つ又は複数の経路群を生成するように構成することができる。１つ又は複数の実施形態においては、ナビゲーション・コンポーネント５４０は、乗り物の現在位置又は現在座標から１つ又は複数の目的位置までの１つ又は複数の経路群を生成するように構成することができる。前記１つ又は複数の経路群の中のある１つの経路には、１つ又は複数の部分、又は経路の１つ又は複数の部分を含むことができる。例えば、該１つの経路の１つ又は複数の部分には、１つ又は複数の道路区間又は道路区間の１つ又は複数の交差点に対応する１つ又は複数のナビゲーション命令又はナビゲーション操作を含むことができる。言い換えれば、該経路の１つ又は複数の部分には、１つ又は複数の旋回、ナビゲーション操作、道路区間、交差点、目印、又は該経路に沿った他の要素を含むことができる。ナビゲーション・コンポーネント５４０は、これらの旋回、ナビゲーション操作、目印等のうちの１つ又は複数を識別し、かつ、それに応じて１つ又は複数のナビゲーション指示、又は、１つ又は複数のナビゲーション命令を、乗り物の運転者等へ発行するように構成することができる。   Further, the navigation component 540 can be configured to generate one or more routes from the origin location to one or more destination locations. In one or more embodiments, the navigation component 540 can be configured to generate one or more groups of routes from the vehicle's current position or current coordinates to one or more destination positions. . A route in the group of one or more routes can include one or more portions, or one or more portions of a route. For example, one or more portions of the one route may include one or more navigation instructions or navigation operations corresponding to one or more road sections or one or more intersections of road sections. it can. In other words, one or more portions of the route may include one or more turns, navigation operations, road sections, intersections, landmarks, or other elements along the route. The navigation component 540 identifies one or more of these turns, navigation operations, landmarks, etc., and correspondingly provides one or more navigation instructions, or one or more navigation instructions, It can be configured to be issued to a vehicle driver or the like.

ナビゲーション・コンポーネント５４０は、前記１つ又は複数のナビゲーション指示やナビゲーション命令を、音声プロンプト、視覚プロンプト、触覚プロンプト等を介して発行することができる。例えば、ナビゲーション・コンポーネント５４０は、１つ又は複数のプロンプトを１つ又は複数の制御エリア・ネットワーク（ＣＡＮ）５８０を経由して送信することにより、１つ又は複数の周辺コンポーネント（図示せず）とインタフェース接続することができる。ナビゲーション・コンポーネント５４０は、「メインストリートで左折」のような可聴命令の再生、表示部の左側部分の光のフラッシュ又は、ステアリング・ホイールの振動等を起こして、運転者に運転動作をとる必要があることを示すことができる。ナビゲーション・コンポーネント５４０は、１つ又は複数の他のコンポーネントと協調して１つ又は複数の運転命令の送信又は配信を円滑に行うことができる。   The navigation component 540 can issue the one or more navigation instructions and navigation commands via audio prompts, visual prompts, tactile prompts, and the like. For example, the navigation component 540 transmits one or more prompts via one or more control area networks (CAN) 580 to one or more peripheral components (not shown). Can be interfaced. The navigation component 540 needs to take a driving action to the driver by reproducing an audible command such as “turn left on the main street”, flashing light on the left side of the display, or vibrating the steering wheel. You can show that there is. The navigation component 540 can facilitate the transmission or delivery of one or more driving instructions in coordination with one or more other components.

例えば、ＨＵＤコンポーネント１００は、１つ又は複数のナビゲーション命令又は１つ又は複数のナビゲーション操作を、１つ又は複数のグラフィック要素又はアバターとして、乗り物の乗員又は運転者の視野に投影するように構成することができる。これらのナビゲーション命令は、ナビゲーション・コンポーネント５４０から（例えば、直接的又は間接的に）受信することができる。ＨＵＤコンポーネント１００は、連続する複数の焦点面上にアバターを投影して、該アバターが、図２のアイ・ボックス１１６からの視野を持つ、運転者等の乗員には、動いて見えるようにすることができる。このようにして、ＨＵＤコンポーネント１００は、運転者が該運転者の視野内の立体画像を認識できるようにする。ここで、該立体画像は、乗り物の運転者が追従するべき「仮想的」誘導用乗り物として働くことができる。言い換えれば、乗り物の運転者には、彼又は彼女が、単に、例えば、目的位置までの誘導用乗り物に追従しているように見える。加えて、本明細書中に後で記載されるように、１つ又は複数の他のナビゲーション指示やナビゲーション命令が、立体的な表示位置確保記号（ｐｌａｃｅｈｏｌｄｅｒ）、マーカー、又は、旗竿として投影されることがある。   For example, the HUD component 100 is configured to project one or more navigation instructions or one or more navigation operations as one or more graphic elements or avatars onto a vehicle occupant or driver's field of view. be able to. These navigation instructions may be received from the navigation component 540 (eg, directly or indirectly). The HUD component 100 projects an avatar onto successive focal planes so that the avatar appears to move to an occupant, such as a driver, with a field of view from the eye box 116 of FIG. be able to. In this way, the HUD component 100 allows the driver to recognize a stereoscopic image within the driver's field of view. Here, the stereoscopic image can serve as a “virtual” guidance vehicle that the vehicle driver should follow. In other words, it appears to the driver of the vehicle that he or she is simply following, for example, a guidance vehicle to the target position. In addition, as described later herein, one or more other navigation instructions or navigation commands are projected as a three-dimensional placeholder, marker, or flagpole. Sometimes.

ＨＵＤコンポーネント１００は１つ又は複数のグラフィック要素を投影するように構成することができる。該グラフィック要素は、視野相似拡張現実グラフィック要素、等角拡張現実グラフィック要素、アバター、アイコン等とすることができる。これらのグラフィック要素は、ＨＵＤコンポーネント１００により、立体的に投影することができる。この結果、該グラフィック要素に対応する１つ又は複数の視覚的手がかり又は１つ又は複数の奥行き手がかりをほぼ維持することができる。これらの１つ又は複数の視覚的な手がかり又は奥行き手がかりの維持は、グラフィック要素を動的焦点面又は可動焦点面上に投影又はレンダリングすることにより実現することができる。すなわち、ＨＵＤコンポーネント１００は、１つ又は複数のグラフィック要素を移動可能又は調整可能な焦点面上に投影又はレンダリングするように構成することができる。動的焦点面又は可動焦点面は、例えば、図１及び図３を参照して説明したように、乗り物の乗員の視線のような通路や線路に沿って移動又は調節することができる。言い換えれば、該動的な焦点面は、乗り物又はフロント・ガラスに向かう方向に又は離反する方向に移動可能にすることができる。   The HUD component 100 can be configured to project one or more graphic elements. The graphic elements can be visual field-like augmented reality graphic elements, conformal augmented reality graphic elements, avatars, icons, and the like. These graphic elements can be projected in three dimensions by the HUD component 100. As a result, one or more visual cues or one or more depth cues corresponding to the graphic element can be substantially maintained. Maintenance of these one or more visual cues or depth cues can be achieved by projecting or rendering the graphic element onto a dynamic or movable focal plane. That is, the HUD component 100 can be configured to project or render one or more graphic elements onto a movable or adjustable focal plane. The dynamic focal plane or the movable focal plane can be moved or adjusted along a path or track, such as the line of sight of a vehicle occupant, as described with reference to FIGS. In other words, the dynamic focal plane can be movable in a direction toward or away from the vehicle or windshield.

１つ又は複数の実施形態において、焦点面は、例えば、ＨＵＤコンポーネント１００のプロジェクタ又はスクリーンの、アクチュエータの使用による移動の結果として、動的にすることができる。すなわち、ＨＵＤコンポーネント１００の１つ又は複数のプロジェクタを直線的に移動するように構成することができ、それによって、各々のプロジェクタが、１つ又は複数のグラフィック要素を、動的、移動可能又は調節可能な焦点面上に投影することが可能になる。該焦点面は、プロジェクタの動きに合わせて移動する。他の実施形態では、１つ又は複数の他の手段又は代替え手段を調整のために用いることができる。   In one or more embodiments, the focal plane can be dynamic, for example, as a result of movement of the projector or screen of the HUD component 100 through the use of an actuator. That is, one or more projectors of the HUD component 100 can be configured to move linearly, whereby each projector can dynamically, moveably or adjust one or more graphic elements. It is possible to project onto a possible focal plane. The focal plane moves in accordance with the movement of the projector. In other embodiments, one or more other means or alternative means may be used for adjustment.

別のし方で説明すると、グラフィック要素を、動的な、可動な又は調節可能な焦点面に投影したときに、該グラフィック要素は、乗り物との間の距離（例えば、図３の距離１６２’又は距離１７０’）を調整している焦点面上に投影することができる。ＨＵＤコンポーネント１００のプロジェクタは、グラフィック要素を可動焦点面上に投影又はレンダリングすることができるので、投影されるグラフィック要素の焦点を、乗り物からさまざまな距離に調整することができる。上述のように、１つ又は複数の焦点面を、乗り物の乗員の視線に略垂直又は略平行に配向することができる。つまり、焦点面は地面に垂直又は地面に並行にすることができる。また、前記焦点面の１つ又は複数が乗員の視線又は地面に対して可動に又は静止することができる。これによって、グラフィック要素に対応付けられた奥行き手がかりを、運転者等の乗り物の乗員に対して、乗り物が移動又は走行する（従って、例えば、移動プラットフォームとして働く）ときに、正確に提示することができる。   Stated another way, when a graphic element is projected onto a dynamic, movable or adjustable focal plane, the graphic element may be distant from the vehicle (eg, distance 162 ′ of FIG. 3). Alternatively, the distance 170 ′) can be projected onto the adjusting focal plane. The projector of the HUD component 100 can project or render graphic elements onto a movable focal plane so that the projected graphic elements can be focused at various distances from the vehicle. As described above, one or more focal planes can be oriented substantially perpendicular or substantially parallel to the line of sight of the vehicle occupant. That is, the focal plane can be perpendicular to the ground or parallel to the ground. Also, one or more of the focal planes may be movable or stationary with respect to the occupant's line of sight or the ground. This allows the depth cues associated with the graphic elements to be accurately presented to a vehicle occupant, such as a driver, when the vehicle moves or travels (and thus acts as a mobile platform, for example). it can.

図５のＨＵＤコンポーネント１００は、立体的視野相似拡張現実グラフィック要素を投影又はレンダリングするように構成することができる。この意味は、これらのグラフィック要素が、さまざまな距離で表示されるように投影することができるということである。言い換えれば、ＨＵＤコンポーネント１００は、グラフィック要素を複数の焦点面に又は焦点調節可能な方法で投影することができる。さらに別のし方で説明すると、ＨＵＤコンポーネント１００によって投影されるグラフィック要素の焦点面は、歩道上の歩行者の隣のように、フロント・ガラスの向こう側に延びる距離に調整することができ、これによって、乗員が操作環境や運行環境に集中できるようになり、乗り物のフロント・ガラス又はインストルメント・パネルと運転環境の間で目の焦点を切り替えるようなことは必要なくなる。このように、３Ｄナビゲーション・システム５００によって安全性を増すことができる。   The HUD component 100 of FIG. 5 can be configured to project or render a stereoscopic field-like augmented reality graphic element. This means that these graphic elements can be projected to be displayed at various distances. In other words, the HUD component 100 can project graphic elements onto multiple focal planes or in a focusable manner. In yet another way, the focal plane of the graphic element projected by the HUD component 100 can be adjusted to a distance extending beyond the windshield, such as next to a pedestrian on the sidewalk, This allows the occupant to focus on the operating and operating environment and eliminates the need to switch eye focus between the vehicle windshield or instrument panel and the driving environment. Thus, safety can be increased by the 3D navigation system 500.

したがって、グラフィック要素は、乗員の直接視野内の環境に（例えば、ＨＵＤコンポーネント１００によって）投影又は視覚的に配置することができる。これは、該グラフィック要素を、実環境と同じ空間にレンダリングすることができることを意味し、フロント・ガラス上へのレンダリングを意味しない。そして、該グラフィック要素に対応する奥行き手がかりを、正確に正しく再現することを可能にする。その結果、グラフィック要素は実世界のオブジェクト（例えば、道路）と同じ焦点面に投影することができ、乗り物の乗員が、例えば、道路から離れた方に目をやらないでグラフィック要素を見ることができるようにする。   Thus, the graphic elements can be projected or visually positioned (eg, by the HUD component 100) in an environment within the occupant's direct field of view. This means that the graphic element can be rendered in the same space as the real environment, not rendering on the windshield. Then, the depth cue corresponding to the graphic element can be accurately and correctly reproduced. As a result, graphic elements can be projected onto the same focal plane as real-world objects (eg, roads), allowing vehicle occupants to view graphic elements without looking away from the road, for example. It can be so.

これらの複数の焦点面又は調節可能な焦点面を実現できる理由は、ＨＵＤコンポーネント１００のプロジェクタが移動するとき、光線を再成又は変形して、投影されるグラフィック要素又は仮想オブジェクトがフロント・ガラスより遠くに見える又は、フロント・ガラス上にない焦点面を持つようにすることができるからである。つまり、投影されたグラフィック要素又は仮想オブジェクトは、遠く（例えば、１０メートル先）にある実在のオブジェクト（例えば、歩行者、乗り物、標識等）と同様の焦点特性を持つことができる。光線は、フロント・ガラスで反射され、出射光線は発散するので、これによって「反射」画像、すなわち実像が生成され、該画像はグラフィック要素として投影される。   The reason that these multiple focal planes or adjustable focal planes can be realized is that when the projector of the HUD component 100 moves, the light rays are reconstructed or deformed so that the projected graphic elements or virtual objects are better than the windshield. This is because it can have a focal plane that appears far away or is not on the windshield. That is, the projected graphic element or virtual object can have the same focus characteristics as a real object (eg, pedestrian, vehicle, sign, etc.) that is far away (eg, 10 meters away). The rays are reflected off the windshield and the outgoing rays diverge, thereby creating a “reflected” image, ie a real image, which is projected as a graphic element.

前記光線はフロント・ガラスで反射されるのであり、（例えば、特別なコーティングを施したような）フロント・ガラスから放出される又は、出現するということではないので、乗員が頭を動かしたときにグラフィック要素を再レンダリングする必要はない。例えば、図３の連続した静止焦点面によって、光学的に「正しい」つまり実像を３次元空間内の前後方向（例えば、乗員の視線の方向）に沿って生成することが可能になる。それにより適切な運動視差手がかりの生成が可能になる。したがって、乗員の頭部が動いたとき、これらの焦点面に対応したグラフィック要素は、環境内の位置が固定して見え、揺動するようには見えない。上述のように、これは、ＨＵＤコンポーネント１００が、乗員の頭部の動きを補償するための頭部追跡機能を必要としないことを意味する。   When the occupant moves his head, the rays are reflected off the windshield and are not emitted or appear from the windshield (eg, with a special coating). There is no need to re-render the graphic elements. For example, the continuous stationary focal plane of FIG. 3 makes it possible to generate an optically “correct” or real image along the front-rear direction in the three-dimensional space (eg, the direction of the sight line of the occupant). This makes it possible to generate appropriate motion parallax cues. Therefore, when the occupant's head moves, the graphic elements corresponding to these focal planes appear to be fixed in position in the environment and do not appear to swing. As mentioned above, this means that the HUD component 100 does not require a head tracking function to compensate for occupant head movements.

ＨＵＤコンポーネント１００はベクトル・ベースではなく、ラスタ・ベースにすることができる。この意味は、ＨＵＤコンポーネント１００によって投影されるグラフィック要素がビット・マップであるか、ドット・マトリクス構造を有するか又は矩形状格子の画素であるということである。さらに、ＨＵＤコンポーネント１００は、異なる陰影、透明度、色、明るさ等を持つ１つ又は複数のグラフィック要素の１つ又は複数の部分を投影するように構成することができる。   The HUD component 100 can be raster based rather than vector based. This means that the graphic element projected by the HUD component 100 is a bit map, has a dot matrix structure, or is a pixel in a rectangular grid. Further, the HUD component 100 can be configured to project one or more portions of one or more graphic elements having different shading, transparency, color, brightness, etc.

このように、ＨＵＤコンポーネント１００は、グラフィック要素又はアバターを、さまざまな自由度でレンダリング又は投影するように構成することができる。すなわち、焦点調節を維持して、乗員の両目が能動的に屈折力を変化させ、焦点面に投影されたグラフィック要素に集中するようにできる。同様に、グラフィック要素が「より近く」に移動するように投影されるとき（例えば、連続的に近くなる焦点面上に投影することによって）、輻輳を維持して、乗員がグラフィック要素の同時並行的な内向き回転を得ることができるようにすることができる。   As such, the HUD component 100 can be configured to render or project graphic elements or avatars with varying degrees of freedom. That is, the focus adjustment can be maintained so that the occupant's eyes actively change their refractive power and concentrate on the graphic elements projected on the focal plane. Similarly, when a graphic element is projected to move “closer” (eg, by projecting onto a contiguous focal plane), congestion is maintained and the occupant is able to simultaneously Inward rotation can be obtained.

１つ又は複数の実施形態では、ＨＵＤコンポーネント１００は、グラフィック要素を、乗り物の運転者又は搭乗者が、ナビゲーション命令、ナビゲーション操作又はナビゲーション指示として従うべき、アバター又は移動アバターとして投影することができる。例えば、ＨＵＤコンポーネント１００は、１つ又は複数のグラフィック要素を、移動アバター、表示位置確保記号、識別子、フラグポール、マーカー等として投影又はレンダリングするように構成することができる。これらのグラフィック要素は、乗り物の周囲環境の周りの１つ又は複数の焦点面上に投影され、乗り物の乗員の視野に投影することができる。ＨＵＤコンポーネント１００によって投影されたアバター又はグラフィック要素は、乗り物の運転者を経路の１つ又は複数の部分に渡って誘導し、かつ、障害物の周りを縫うように進む、ナビゲート、移動、又は走行するように投影されることによって、障害物、障害状況又は道路状況との衝突を回避させることができる。センサ・コンポーネント５７０は、１つ又は複数の障害物や道路状況を感知するように構成され、制御コンポーネント１０４は、ＨＵＤコンポーネント１００にグラフィック要素を投影するように指示して、例えば、交通規制用樽を回避するため車線変更すること等によって、道路状況の周りを走行又は迂回するようにすることができる。   In one or more embodiments, the HUD component 100 can project graphic elements as avatars or moving avatars that a vehicle driver or occupant should follow as navigation instructions, navigation operations, or navigation instructions. For example, the HUD component 100 can be configured to project or render one or more graphic elements as moving avatars, display location securing symbols, identifiers, flag poles, markers, and the like. These graphic elements can be projected onto one or more focal planes around the vehicle's surrounding environment and projected into the vehicle's occupant's field of view. An avatar or graphic element projected by the HUD component 100 guides the vehicle driver through one or more parts of the path and proceeds to sew around the obstacle, navigate, move, or By projecting to travel, a collision with an obstacle, an obstacle situation, or a road situation can be avoided. The sensor component 570 is configured to sense one or more obstacles or road conditions, and the control component 104 instructs the HUD component 100 to project graphic elements, eg, a traffic regulation barrel. For example, by changing the lane to avoid the situation, the vehicle can travel or detour around the road condition.

１つ又は複数の実施形態では、センサ・コンポーネント５７０は、乗り物周囲の又は乗り物を取り囲む環境内の１つ又は複数の道路状況を感知、識別又は検出するように構成することができる。センサ・コンポーネント５７０は、道路区間、歩道、オブジェクト、歩行者、他の乗り物、障害状況、障害物、破片、窪み、路面状況（例えば、氷、雨、砂、砂利など）、交通状況又は交通標識（例えば、赤信号、制限速度標識、停止標識、踏切、列車など）を検出又は識別することができる。これらの道路状況は、制御コンポーネント１０４又は乗り物制御コンポーネント１８０に送信される。例えば、１つ又は複数のＣＡＮ５８０は、センサ・コンポーネント５７０と制御コンポーネント１０４又は乗り物制御コンポーネント１８０との間の通信を容易にするために用いることができる。１つ又は複数の実施形態において、センサ・コンポーネント５７０は、１つ又は複数の撮像デバイス、マイクロフォン、死角モニタ、駐車場センサ、近接センサ、対物センサ、赤外線センサ、動きセンサ等を含むことができる。   In one or more embodiments, the sensor component 570 may be configured to sense, identify or detect one or more road conditions around or surrounding the vehicle. The sensor component 570 may include road sections, sidewalks, objects, pedestrians, other vehicles, obstacle situations, obstacles, debris, depressions, road surface conditions (eg, ice, rain, sand, gravel, etc.), traffic conditions or traffic signs. (Eg, red light, speed limit sign, stop sign, railroad crossing, train, etc.) can be detected or identified. These road conditions are transmitted to the control component 104 or the vehicle control component 180. For example, one or more CANs 580 can be used to facilitate communication between the sensor component 570 and the control component 104 or vehicle control component 180. In one or more embodiments, sensor component 570 can include one or more imaging devices, microphones, blind spot monitors, parking sensors, proximity sensors, objective sensors, infrared sensors, motion sensors, and the like.

本明細書で使用される場合、交通状況には、交差点、乗り物、例えば３Ｄナビゲーション・システムを装備した乗り物と道路を共有する乗り物、踏切、赤信号、道路区間、歩道、停止標識、譲れ（ＹＩＥＬＤ）標識、交通標識、列車等を含む。本明細書で使用される場合、道路状況には、破片、砂利、窪み、路面状況、砂、倒木、溢流、油膜、氷や雨のような気象状況、等を含む。さらに「オブジェクト」には、ほとんどすべての交通状況、道路状況、気象状況、等を含むことができる。オブジェクトの例には、他の乗り物、店舗、建物、目印、道路の障害物、道路区間、交差点、歩行者等が含まれるが、必ずしもこれに限定されない。オブジェクトの発見、検出、又は、通路、１つ又は複数の道路区間等との対応付けは、乗り物が走行している又は走行しているように投影されている経路に沿って、行うことができる。   As used herein, traffic conditions include: intersections, vehicles, vehicles sharing a road with vehicles equipped with a 3D navigation system, railroad crossings, red lights, road sections, sidewalks, stop signs, concessions (YIELD) ) Includes signs, traffic signs, trains, etc. As used herein, road conditions include debris, gravel, depressions, road surface conditions, sand, fallen trees, overflows, oil slicks, weather conditions such as ice and rain, and the like. Furthermore, “objects” can include almost all traffic conditions, road conditions, weather conditions, and the like. Examples of objects include other vehicles, stores, buildings, landmarks, road obstacles, road sections, intersections, pedestrians, etc., but are not necessarily limited thereto. Object discovery, detection, or association with a passage, one or more road segments, etc. can be done along a route that the vehicle is traveling or projected to be traveling .

より詳細に説明すると、センサ・コンポーネント５７０は、走行環境、操作環境又は乗り物を取り巻く環境のような環境から、情報（例えば、オブジェクト、交通状況、道路状況、気象状況等）を受信、感知又は検出することができる。センサ・コンポーネント５７０が収集した情報は、制御部エリア・ネットワーク５８０を経由して伝達し、制御コンポーネント１０４によって分析し、又は、ナビゲーション・コンポーネント５４０によって提供されるテレマティクス・チャネルを介して遠隔のサーバ（図示せず）によって分析することができる。いずれの場合でも、センサ・コンポーネント５７０が受信し、収集した情報は、運転者が注意を払うべき理由、減速する理由（例えば、速度制限掲示又は標識）、加速する理由、停止する理由、回り道をする理由等を示すことができる。別の方法で説明すると、センサ・コンポーネント５７０が収集した情報は、制御コンポーネント１０４又は遠隔サーバによって分析されて、運転者に対して提示される１つ又は複数の運転動作に変換することができる。これらの提示された運転動作は、視覚的手がかり又はグラフィック要素として、ＨＵＤコンポーネント１００によって、乗り物制御コンポーネント１８０が収集された情報及び制御コンポーネント１０４が行った決定に基づいて、投影することができる。   More particularly, the sensor component 570 receives, senses or detects information (eg, objects, traffic conditions, road conditions, weather conditions, etc.) from an environment such as a driving environment, an operating environment, or an environment surrounding a vehicle. can do. Information collected by the sensor component 570 is communicated via the controller area network 580 and analyzed by the control component 104 or remote server (via a telematics channel provided by the navigation component 540). (Not shown). In any case, the information received and collected by the sensor component 570 includes information on why the driver should pay attention, why to slow down (eg, speed limit signs or signs), why to accelerate, why to stop, The reason for doing so can be shown. Stated another way, the information collected by sensor component 570 can be analyzed by control component 104 or a remote server and converted into one or more driving actions that are presented to the driver. These presented driving actions can be projected as visual cues or graphic elements based on information collected by the vehicle control component 180 and decisions made by the control component 104 by the HUD component 100.

１つ又は複数の実施形態において、センサ・コンポーネント５７０は、１つ又は複数のオブジェクト、１つ又は複数のトラフィック状況、１つ又は複数の道路状況、１つ又は複数の気象状況、等を感知又は検出することができる。例えば、乗り物の近接センサ（例えば、センサ・コンポーネント５７０の１つ）は、横断歩道を渡る歩行者を検出することができる。さらに、他のコンポーネントは、環境、運転環境、又は操作環境に関する情報を受信することができる。例えば、乗り物制御コンポーネント１８０は、同様の情報を、（例えば、ナビゲーション・コンポーネント５４０によって提供されるテレマティクス・チャネルを介して又は、センサ・コンポーネント５７０から制御エリア・ネットワーク５８０を経由して）受信することができる。このように、乗り物制御コンポーネント１８０は、１つ又は複数のソースからの情報を集約することができる。言い換えれば、乗り物制御コンポーネント１８０は、オブジェクト情報、交通状況情報、道路状況情報、気象状況情報、等を受信することができる。   In one or more embodiments, the sensor component 570 senses or senses one or more objects, one or more traffic conditions, one or more road conditions, one or more weather conditions, etc. Can be detected. For example, a vehicle proximity sensor (eg, one of sensor components 570) can detect a pedestrian crossing a pedestrian crossing. In addition, other components can receive information regarding the environment, driving environment, or operating environment. For example, the vehicle control component 180 receives similar information (eg, via a telematics channel provided by the navigation component 540 or from the sensor component 570 via the control area network 580). Can do. As such, the vehicle control component 180 can aggregate information from one or more sources. In other words, the vehicle control component 180 can receive object information, traffic condition information, road condition information, weather condition information, and the like.

センサ・コンポーネント５７０は、情報を環境から直接収集することができ、同時に、乗り物制御コンポーネント１８０は、該乗り物に必ずしも局所化されていない別のソースからの情報を集約することができる。例えば、乗り物制御コンポーネント１８０は、交通情報を、乗り物の予定経路に沿って、交通データベース又はニュース・ソースから受信することができる。いずれにしても、乗り物制御コンポーネント１８０は、乗り物周囲の環境情報又は該乗り物に対して計画された経路に関する環境情報（例えば、乗り物が所定の経路に沿って走行する間に通過すると予想される場所の環境情報）のような環境に関する情報を集約することができる。   The sensor component 570 can collect information directly from the environment, while the vehicle control component 180 can aggregate information from another source that is not necessarily localized to the vehicle. For example, the vehicle control component 180 may receive traffic information from a traffic database or news source along a planned route of the vehicle. In any case, the vehicle control component 180 may receive environmental information about the vehicle or environmental information about the route planned for the vehicle (e.g., where a vehicle is expected to pass while traveling along a predetermined route). Environment information) can be aggregated.

いずれにせよ、乗り物制御コンポーネント１８０は、１つ又は複数の道路状況に関するデータ又は、乗り物周囲の環境（例えば、操作環境、運転環境、周辺環境等）に関連するデータを受信するように構成することができる。１つ又は複数の実施形態では、乗り物制御コンポーネント１８０は、１つ又は複数の道路状況をセンサ・コンポーネント５７０から受信することができる。さらに、乗り物制御コンポーネント１８０は、１つ又は複数の道路状況を、１つ又は複数の他のソース、例えば、サーバ（図示せず）又はデータベース（図示せず）から受信することができる。乗り物制御コンポーネント１８０は、サーバ、サード・パーティ、データベース又は他のものに、テレマティクス・コンポーネント（図示せず）を介して起動されたテレマティックス・チャネルを介して、通信接続することができる。このように、乗り物制御コンポーネント１８０は、起点位置から目的位置に至る経路の１つ又は複数の部分に関する情報を収集することができる。   In any case, the vehicle control component 180 may be configured to receive data relating to one or more road conditions or data related to the environment surrounding the vehicle (eg, operating environment, driving environment, surrounding environment, etc.). Can do. In one or more embodiments, the vehicle control component 180 can receive one or more road conditions from the sensor component 570. In addition, the vehicle control component 180 can receive one or more road conditions from one or more other sources, such as a server (not shown) or a database (not shown). The vehicle control component 180 can be communicatively connected to a server, third party, database or others via a telematics channel activated via a telematics component (not shown). In this manner, the vehicle control component 180 can collect information regarding one or more portions of the route from the origin location to the destination location.

例えば、乗り物制御コンポーネント１８０は、道路区間の交通情報を含む道路状況情報（例えば、道路上の事故があった場合に交通が混雑しているかどうか、等）を受信することができる。さらに、乗り物制御コンポーネント１８０は、経路の１つ又は複数の道路区間に対応する速度制限情報を受信することができる。この情報は、１つ又は複数のグラフィック要素を乗り物の運転者や乗員に投影する方法を決定するために使用する。すなわち、ある道路区間が毎時６５マイル（１０４．６０５ｋｍ）の速度制限に対応しているが、（例えば、センサ・コンポーネント５７０によって検出される）乗り物の現在速度が毎時２５マイル（４０．２３３ｋｍ）である場合、乗り物制御コンポーネント１８０は、ＨＵＤコンポーネント１００に指示してアバターを投影させ、該アバターが該道路区間に入るときに加速するように表示する。   For example, the vehicle control component 180 can receive road status information including traffic information for road segments (eg, whether traffic is congested when there is an accident on the road, etc.). In addition, the vehicle control component 180 can receive speed limit information corresponding to one or more road segments of the route. This information is used to determine how to project one or more graphic elements to a vehicle driver or occupant. That is, a road segment corresponds to a speed limit of 65 mph (104.605 km), but the current speed of the vehicle (detected by sensor component 570, for example) is 25 mph (40.233 km). In some cases, the vehicle control component 180 instructs the HUD component 100 to project an avatar and displays it to accelerate when it enters the road segment.

別の例として、センサ・コンポーネント５７０が、乗り物が走行している現在車線の交通規制用樽を検出した場合、乗り物制御コンポーネント１８０はこの情報を受信し、車線変更のナビゲーション命令がＨＵＤコンポーネント１００によって投影される必要があるという決定を行うことができる。該指示は１つ又は複数のＣＡＮ５８０を通ってＨＵＤコンポーネント１００に送信することができる。該ＨＵＤコンポーネント１００は、車線変更又は位置移動のアバター又はグラフィック要素を、検出された交通規制用樽に対応して投影、レンダリング又はアニメーション化することができる。言い換えれば、ＨＵＤコンポーネント１００は、交通規制用樽を縫うように進む又は該交通規制用樽の周りを通過するように表示されるアバター又はアイコンを投影することができる。該交通規制用樽は、該乗り物を囲む操作環境の中で該乗り物の前方に位置している。また、乗り物制御コンポーネント１８０を構成して、ＨＵＤコンポーネント１００に、実際の乗り物が車線変更する際に表示するように、該乗り物のアバターの上に方向指示灯を投影させることができる。さらに、乗り物制御コンポーネント１８０は、アバターが交通規制用樽に近づくにつれて、アバターの知覚速度を調整することができる。これは、アバター又はグラフィック要素を、より近い焦点面に連続的に投影することによって又はグラフィック要素の動的焦点面を調整することによって、該動的焦点面と乗り物又は乗り物のフロント・ガラスとの間の距離が減少するようにして実現することができる。（逆に、アバターを、加速するように投影することが望ましい場合、動的焦点面を、該動的焦点面と乗り物又は該乗り物のフロント・ガラスとの間の距離が増加するように調整することができる）。   As another example, if the sensor component 570 detects a traffic regulation barrel in the current lane in which the vehicle is traveling, the vehicle control component 180 receives this information and a lane change navigation instruction is received by the HUD component 100. A decision can be made that it needs to be projected. The indication can be sent to the HUD component 100 through one or more CANs 580. The HUD component 100 can project, render or animate lane change or relocation avatars or graphic elements corresponding to detected traffic casks. In other words, the HUD component 100 can project an avatar or icon that is displayed as it proceeds to sew or pass around the traffic control barrel. The traffic regulating barrel is located in front of the vehicle in an operating environment surrounding the vehicle. Also, the vehicle control component 180 can be configured to cause the HUD component 100 to project a turn signal light on the avatar of the vehicle for display when the actual vehicle changes lanes. In addition, the vehicle control component 180 can adjust the perception speed of the avatar as the avatar approaches the traffic control barrel. This can be achieved by continuously projecting an avatar or graphic element onto a closer focal plane or by adjusting the dynamic focal plane of the graphic element and the vehicle or vehicle windshield. It can be realized such that the distance between them decreases. (Conversely, if it is desired to project the avatar to accelerate, the dynamic focal plane is adjusted so that the distance between the dynamic focal plane and the vehicle or the vehicle windshield increases. be able to).

言い換えれば、乗り物制御コンポーネント１８０は１つ又は複数の道路状況を受信するように構成することができる。該１つ又は複数の道路状況のうちの１つには、１つ又は複数の道路区間の交通情報又は１つ又は複数の道路区間に対応する速度制限情報が含まれる。さらに、乗り物制御コンポーネント１８０は、ＨＵＤコンポーネント１００を起動して、１つ又は複数のグラフィック要素を、１つ又は複数の道路状況、例えば、道路区間の制限速度及び該乗り物の現在速度、に基づいて、投影させるように構成することができる。このように、乗り物制御システム１８０は、１つ又は複数の適切なアクション（例えば、停止、加速、車線変更、減速等）又は、ナビゲーション命令を決定して、ＨＵＤコンポーネント１００によって投影されるようにすることができる。   In other words, the vehicle control component 180 can be configured to receive one or more road conditions. One of the one or more road conditions includes traffic information of one or more road sections or speed limit information corresponding to one or more road sections. In addition, the vehicle control component 180 activates the HUD component 100 based on one or more graphic elements based on one or more road conditions, such as a road segment speed limit and the vehicle's current speed. Can be configured to project. In this manner, the vehicle control system 180 determines one or more appropriate actions (eg, stop, acceleration, lane change, deceleration, etc.) or navigation commands to be projected by the HUD component 100. be able to.

１つ又は複数の実施形態において、システム５００は、ＨＵＤコンポーネント１００によって投影される１つ又は複数のグラフィック要素の１つ又は複数の側面を管理する視野管理コンポーネント（図示せず）を含むことができる。１つ又は複数の実施形態において、制御コンポーネント１０４は、該側面の１つ又は複数又は乗り物制御コンポーネント１８０に関連する機能を管理するように構成することができる。たとえば、制御コンポーネント１０４は、１つ又は複数の道路状況を受信するように構成することができる。   In one or more embodiments, the system 500 can include a view management component (not shown) that manages one or more aspects of one or more graphic elements projected by the HUD component 100. . In one or more embodiments, the control component 104 can be configured to manage functions associated with one or more of the side or vehicle control components 180. For example, the control component 104 can be configured to receive one or more road conditions.

制御コンポーネント１０４は、ＨＵＤコンポーネント１００によって表示、投影、アニメーション化又はレンダリング等がなされるグラフィック要素の種類を決定するように構成することができる。例えば、乗り物が比較的直線的な道路区間を含む経路の１つ又は複数の部分に沿って走行しているとき、制御コンポーネント１０４は、アバターであるグラフィック要素を投影する。該アバターは、乗り物や誘導用乗り物として表示又は投影される。乗り物が、１つ又は複数の曲がり角又は他のナビゲーション操作を含む経路の１つ又は複数の部分に沿って走行している場面では、制御コンポーネント１０４は、ＨＵＤコンポーネント１００に指示して、１つ又は複数の曲がり角に対応する場所にマーカーであるグラフィック要素を投影させることができる。例えば、経路に第１の通りから第２の通りへの右折が含まれる場合、制御コンポーネント１０４は、ＨＵＤコンポーネント１００に指示して、マーカー又は識別子を、第１の通りと第２の通りの交差点に、該交差点に向かって又は該交差点の周り等に、投影させることができる。このように、制御コンポーネント１０４は、表示されるべきグラフィック要素の１つ又は複数の種類（例えば、マーカー、識別子、旗竿、誘導用アバター等）を決定するように構成することができる。   The control component 104 can be configured to determine the types of graphic elements that are displayed, projected, animated or rendered by the HUD component 100. For example, when the vehicle is traveling along one or more portions of a route that includes a relatively straight road segment, the control component 104 projects a graphical element that is an avatar. The avatar is displayed or projected as a vehicle or a guidance vehicle. In situations where a vehicle is traveling along one or more portions of a route that includes one or more turns or other navigation operations, the control component 104 instructs the HUD component 100 to provide one or more A graphic element that is a marker can be projected at a location corresponding to a plurality of corners. For example, if the route includes a right turn from the first street to the second street, the control component 104 instructs the HUD component 100 to place the marker or identifier at the intersection of the first street and the second street. Can be projected toward or around the intersection. As such, the control component 104 can be configured to determine one or more types of graphic elements to be displayed (eg, markers, identifiers, flagpoles, guidance avatars, etc.).

さらに、制御コンポーネント１０４は、グラフィック要素を投影する位置を１つ又は複数決定するように構成することができる。言い換えれば、制御コンポーネント１０４は、いつ、どこにグラフィック要素を投影するか、又はどのようにグラフィック要素を表示するかを決定することができる。グラフィック要素の位置には、焦点面、乗り物又は乗り物のフロント・ガラスから該焦点面までの距離、例えば、ｘ、ｙ、ｚ軸のｘ座標、ｙ座標、ｚ座標等を含まれる。該場所は、１つ又は複数のグラフィック要素に対する目標位置と呼ぶことができる。１つ又は複数の実施形態においては、制御コンポーネント１０４は、１つ又は複数のグラフィック要素の１つ又は複数の焦点面と乗り物（又は、例えば、乗り物のフロント・ガラス）との間の距離を、経路の１つ又は複数の部分に対応する１つ又は複数の道路状況、乗り物の現在位置、乗り物の現在速度、等に基づいて、調整するように構成することができる   Further, the control component 104 can be configured to determine one or more positions at which to project the graphic element. In other words, the control component 104 can determine when and where to project a graphic element or how to display the graphic element. The position of the graphic element includes the focal plane, the vehicle or the distance from the vehicle windshield to the focal plane, eg, x, y, z-axis x, y, z coordinates, etc. The location can be referred to as a target location for one or more graphic elements. In one or more embodiments, the control component 104 determines the distance between one or more focal planes of the one or more graphic elements and the vehicle (or vehicle windshield, for example), Can be configured to adjust based on one or more road conditions corresponding to one or more portions of the route, the current position of the vehicle, the current speed of the vehicle, etc.

すなわち、道路区間（例えば、乗り物が現在配置されている又は位置している経路の部分）が毎時６５マイル（１０４．６０５ｋｍ）の速度制限（例えば、道路状況）に対応し、該乗り物の（例えば、センサ・コンポーネント５７０によって検出される）現在速度が毎時２５マイル（４０．２３３ｋｍ）（例えば、乗り物の現在速度）である場合、制御コンポーネント１０４は、ＨＵＤコンポーネント１００に指示して、毎時約６５マイル（１０４．６０５ｋｍ）で走行しているように表示されるアバター又はグラフィック要素を投影するように構成することができる。１つ又は複数の実施形態においては、該アバターを、毎時２５マイル（４０．２３３ｋｍ）から毎時６５マイル（１０４．６０５ｋｍ）への漸次的加速を表すように投影することができる。これは、該アバターの焦点面と該乗り物との間の距離を適宜調整することができることを意味する。例えば、該乗り物がほぼ同じペースで加速する場面では、該焦点面と該乗り物との間の距離は、ほぼ同じままであってよい。該乗り物が、該アバターよりも遅いペースで加速する場合、該焦点面と乗り物との間の距離が大きくなるように、制御コンポーネント１０４によって調整することができる。いずれの場合にも、上記調整は、該乗り物の現在位置又は該乗り物の現在速度、ならびに関連する経路の道路状況に基づいて行うことができる。   That is, a road segment (eg, the portion of the route on which the vehicle is currently located or located) corresponds to a speed limit of 65 miles per hour (eg, 104.605 km) (eg, road conditions) , Detected by sensor component 570), if the current speed is 25 mph (40.233 km) (eg, the current speed of the vehicle), control component 104 instructs HUD component 100 to provide approximately 65 mph It can be configured to project an avatar or graphic element that appears to be traveling at (104.605 km). In one or more embodiments, the avatar can be projected to represent a gradual acceleration from 25 miles per hour (40.233 km) to 65 miles per hour (104.605 km). This means that the distance between the focal plane of the avatar and the vehicle can be adjusted as appropriate. For example, in a scene where the vehicle accelerates at approximately the same pace, the distance between the focal plane and the vehicle may remain approximately the same. If the vehicle accelerates at a slower pace than the avatar, it can be adjusted by the control component 104 to increase the distance between the focal plane and the vehicle. In any case, the adjustment can be made based on the current position of the vehicle or the current speed of the vehicle and the road conditions of the associated route.

さらに、制御コンポーネント１０４は、グラフィック要素のサイズを、該グラフィック要素の焦点面と該乗り物の距離に従って又は基づいて、ＨＵＤコンポーネント１００と連携して、調整又は決定するように構成することができる。これは、制御コンポーネント１０４が、グラフィック要素、誘導用アイコン又はアバターの高さ、サイズ、幅、奥行き、等を、目標とする知覚像に基づいて調整することができることを意味する。例えば、アバターが加速してみえるようにするために、制御コンポーネント１０４は、アバターのサイズを収縮又は縮小するように調整しながら、同時に、アバターを連続的に遠ざかる焦点面上に投影するか、又は、動的焦点面を該乗り物から次第に遠ざかるように調整することができる。   Further, the control component 104 can be configured to adjust or determine the size of a graphic element in conjunction with the HUD component 100 according to or based on the distance of the graphic element's focal plane and the vehicle. This means that the control component 104 can adjust the height, size, width, depth, etc. of the graphic element, guidance icon or avatar based on the target perceptual image. For example, to allow the avatar to appear to accelerate, the control component 104 projects the avatar onto a focal plane that continuously moves away while adjusting the size of the avatar to shrink or shrink, or The dynamic focal plane can be adjusted gradually away from the vehicle.

１つ又は複数の実施形態においては、該グラフィック要素のサイズは、ナビゲーション命令又はメッセージの重要度の表示として用いることができる。言い換えれば、メッセージやナビゲーション命令がより重要になるほど、より大きなアバター、アイコン又はグラフィック要素を投影する。   In one or more embodiments, the size of the graphic element can be used as an indication of the importance of a navigation instruction or message. In other words, the more important the message or navigation instruction, the larger the avatar, icon or graphic element that is projected.

制御コンポーネント１０４は、１つ又は複数のグラフィック要素に対する１つ又は複数の動作を、ＨＵＤコンポーネント１００が投影することを決定するように構成することができる。例えば、制御コンポーネント１０４は、ＨＵＤコンポーネント１００に指示を出して、アバターを投影させ、該アバターが加速、減速、停止、車線変更、車線変更前の方向指示灯の始動、フラッシュ、点滅、アバターの向きや角度の変更、アバターの色の変更等を行うようにすることができる。さらに、制御コンポーネント１０４は、１つ又は複数のグラフィック要素の目標位置を、道路状況、乗り物の現在位置、乗り物の現在速度又は、その他の属性、特性又は測定結果に基づいて、調整することができる。１つ又は複数の実施形態において、制御コンポーネント１０４は、１つ又は複数のＣＡＮ５８０を介して、ナビゲーション・コンポーネント５４０とインタフェース接続又は通信することができる。   The control component 104 can be configured to determine that the HUD component 100 projects one or more actions on one or more graphic elements. For example, the control component 104 issues an instruction to the HUD component 100 to project an avatar, and the avatar accelerates, decelerates, stops, changes lane, starts a direction light before changing lane, flashes, blinks, and avatar direction It is possible to change the angle and the avatar color. In addition, the control component 104 can adjust the target position of one or more graphic elements based on road conditions, the current position of the vehicle, the current speed of the vehicle, or other attributes, characteristics, or measurement results. . In one or more embodiments, the control component 104 can interface or communicate with the navigation component 540 via one or more CANs 580.

制御コンポーネント１０４は、乗り物の運転者又は乗員の妨害になる可能性のある障害状況、混乱又は他の状況を緩和するように構成することができる。１つ又は複数の実施形態において、制御コンポーネント１０４は、水平位置をセンサ・コンポーネント５７０等から受信して、かつ、グラフィック要素を水平面又は空の面に投影するように構成することができる。該制御コンポーネントは、１つ又は複数のグラフィック要素の色、透明度又は陰影を、一日の時間帯、該経路に関連する交通混雑度、該経路に対する運転者の熟知度、等に基づいて、決定又は調整するように構成することができる。   The control component 104 can be configured to mitigate fault conditions, confusion, or other situations that can be an obstacle to the driver or occupant of the vehicle. In one or more embodiments, the control component 104 can be configured to receive a horizontal position from the sensor component 570 or the like and to project the graphic element onto a horizontal or empty plane. The control component determines the color, transparency or shadow of one or more graphic elements based on the time of day, the traffic congestion associated with the route, the driver's familiarity with the route, etc. Or it can be configured to adjust.

奥行きマップ・コンポーネント５５０は、操作環境のような、乗り物の周囲又は乗り物を取り囲む環境の奥行きマップを構築する又は受信するように構成することができる。ＨＵＤコンポーネント１００は、該奥行きマップを用いて、これに従って、１つ又は複数のグラフィック要素を投影することができる。これは、仮にアバターが角を曲がり、建物に隠れている（例えば、建物が、乗り物の乗員の視線と、グラフィック要素やアバターの知覚位置又は目標位置の間にある）場合、ＨＵＤコンポーネント１００が、見えるべきものの線上にあるアバター又はグラフィック要素の１つ又は複数の部分の投影を有効化又は無効化することができることを意味する。   The depth map component 550 can be configured to build or receive a depth map of an environment around or surrounding a vehicle, such as an operating environment. The HUD component 100 can project one or more graphic elements using the depth map accordingly. This is because if the avatar turns around a corner and hides in the building (eg, the building is between the vehicle occupant ’s line of sight and the perceived or target position of a graphic element or avatar), the HUD component 100 It means that the projection of one or more parts of an avatar or graphic element that is on the line of what is to be visible can be enabled or disabled.

奥行きマップ・コンポーネント５５０は、奥行きマップを、サーバ又はサード・パーティのサーバから受信するように構成することができる。例えば、奥行きマップ・コンポーネント５５０は、奥行きマップを、サーバから、テレマティックス・コンポーネント（図示せず）を介して起動したテレマティックス・チャネルを介してダウンロードすることができる。他の実施形態では、センサ・コンポーネント５７０は、奥行きマップを構築するために奥行きマップ・コンポーネント５５０が使用できる奥行き情報を検出するように構成することができる。すなわち、奥行きマップ・コンポーネント５５０は、１つ又は複数のセンサとインタフェース接続又は通信して、奥行きマップを構築する又は、事前構築された奥行きマップをデータベースから受信することができる。いずれにしても、奥行きマップ・コンポーネント５５０は、奥行き情報に基づいた奥行きマップを構築するか又は受信することができる。奥行きマップは、乗り物周囲の環境又は領域内の１つ又は複数の表面、オブジェクト、障害状況、空間的形状等の距離を表している。   The depth map component 550 can be configured to receive a depth map from a server or a third party server. For example, the depth map component 550 can download a depth map from a server via a telematics channel activated via a telematics component (not shown). In other embodiments, the sensor component 570 can be configured to detect depth information that the depth map component 550 can use to construct a depth map. That is, the depth map component 550 can interface or communicate with one or more sensors to build a depth map or receive a pre-built depth map from a database. In any case, the depth map component 550 can construct or receive a depth map based on the depth information. The depth map represents the distance of one or more surfaces, objects, obstacle situations, spatial shapes, etc. within the environment or area around the vehicle.

奥行きマップは、制御コンポーネント１０４に渡す又は送信することができる。該制御コンポーネント１０４は、これに応じて、ＨＵＤコンポーネント１００に指示して、１つ又は複数のグラフィック要素をレンダリングすることができる。例えば、ＨＵＤコンポーネント１００は、グラフィック要素を、乗り物の乗員に対応するアイ・ボックスの高さ、乗り物の位置、かつ、前記領域の奥行きマップに基づいて、投影又はレンダリングする。該奥行きマップは、能動的に感知又は、データベースから受信することができる。ＨＵＤコンポーネント１００は、１つ又は複数のグラフィック要素を奥行きマップに基づいて投影して、乗り物の１人又は複数の乗員に対して一つの遠近図を表示することができる。   The depth map can be passed to or transmitted to the control component 104. The control component 104 can instruct the HUD component 100 to render one or more graphic elements accordingly. For example, the HUD component 100 projects or renders graphic elements based on the height of the eye box corresponding to the vehicle occupant, the position of the vehicle, and the depth map of the region. The depth map can be actively sensed or received from a database. The HUD component 100 can project one or more graphic elements based on the depth map to display a perspective view for one or more occupants of the vehicle.

奥行きバッファ・コンポーネント５６０は、乗り物の１人又は複数の乗員の遠近制御を、奥行きマップ・コンポーネント５５０が生成又は受信した奥行きマップを用いて、容易化するように構成することができる。すなわち、該奥行きバッファ・コンポーネントは、グラフィック要素が乗員に視覚的に「正確に」見えるように、グラフィック要素のレンダリングを容易化するように構成することができる。例えば、グラフィック要素が実世界のオブジェクトの背後に投影される必要がある場合、奥行きバッファ・コンポーネント５６０は、グラフィック要素の一部を投影又はレンダリングしないで、該グラフィック要素の一部を乗員から「隠す」ことができる。言い換えれば、奥行きバッファ・コンポーネント５６０は、グラフィック要素のどの部分（例えば、画素）を、描画、投影又はレンダリングするか、及びどの部分をしないかを制御することができる。この目的のために、奥行きバッファ・コンポーネント５６０は、１つ又は複数の該グラフィック要素の１つ又は複数の部分のレンダリングを、奥行きマップに基づいて、有効化又は無効化するように構成することができる。   The depth buffer component 560 can be configured to facilitate perspective control of one or more occupants of a vehicle using the depth map generated or received by the depth map component 550. That is, the depth buffer component can be configured to facilitate rendering of graphic elements such that the graphic elements are visually “accurate” to the occupant. For example, if a graphic element needs to be projected behind a real-world object, the depth buffer component 560 “hides” the graphic element from the occupant without projecting or rendering the graphic element. "be able to. In other words, the depth buffer component 560 can control which portions (eg, pixels) of a graphic element are drawn, projected or rendered, and which portions are not. For this purpose, the depth buffer component 560 can be configured to enable or disable rendering of one or more portions of one or more of the graphic elements based on the depth map. it can.

さらに、奥行きバッファ・コンポーネント５６０は、実世界のオブジェクトを不鮮明にし、それにより、乗り物の乗員が見ることができるものを隠すように構成することができる。例えば、奥行きバッファ・コンポーネント５６０は、ＨＵＤコンポーネント１００に白色のグラフィック要素を投影するように指示して、該グラフィック要素が、看板等のような実世界のオブジェクト（例えば、センサ・コンポーネント５７０によって検出される）を覆うようにすることができる。その結果、乗員には該看板が見えないか又は、不鮮明に見えることになる。このように、該奥行きバッファ・コンポーネントは、減損現実を可能にするグラフィック要素を提供することにより、乗り物の運転者や乗員の混乱を緩和するように構成することができる。   Additionally, the depth buffer component 560 can be configured to blur real world objects, thereby hiding what a vehicle occupant can see. For example, the depth buffer component 560 instructs the HUD component 100 to project a white graphic element that is detected by a real-world object such as a signboard (eg, sensor component 570). Can be covered. As a result, the sign cannot be seen by the occupant or may appear unclear. In this manner, the depth buffer component can be configured to mitigate vehicle driver and occupant confusion by providing graphic elements that enable impaired reality.

ＨＵＤコンポーネント１００によって投影することができるナビゲーション命令の例としては、誘導車への追従、加速（例えば、動的焦点面を、該焦点面から乗り物までの距離が増加するように変化させ、それにより、運転者又は乗員が該グラフィック要素に持ち得る遠近感を調整する）、減速（例えば、焦点面と乗り物との間の距離が減少するように調整する）、車線変更（例えば、グラフィック要素の目標位置を調整する）、障害状況の迂回、旋回、到着、場所のマーキング等がある。１例として、制御コンポーネント１０４は、歩行者が道路区間、道路、横断歩道等に足を踏み入れた場合、ＨＵＤコンポーネント１００に指示して、アバターが減速するように投影させることができる。別の例として、制御部１０４は、ＨＵＤコンポーネント１００に指示して、旋回の角度、道路区間に対応する制限速度、氷等の道路状況に基づいてアバターを減速するように投影することができる。すなわち、氷が路面にある場合、制御部１０４はＨＵＤコンポーネント１００に指示して、氷が路面に存在しない場合よりも遅く進むアバターを投影させることができる。   Examples of navigation commands that can be projected by the HUD component 100 include following a guided vehicle, acceleration (eg, changing the dynamic focal plane to increase the distance from the focal plane to the vehicle, thereby Adjusting the perspective that the driver or occupant may have on the graphic element), decelerating (eg adjusting the distance between the focal plane and the vehicle to decrease), lane changing (eg the target of the graphic element) Adjust position), circumvent obstacles, turn, arrive, mark location, etc. As an example, when the pedestrian steps into a road section, road, pedestrian crossing, etc., the control component 104 can instruct the HUD component 100 to project the avatar to decelerate. As another example, the control unit 104 may instruct the HUD component 100 to project the avatar to decelerate based on the turning angle, the speed limit corresponding to the road section, and road conditions such as ice. That is, when ice is on the road surface, the control unit 104 can instruct the HUD component 100 to project an avatar that travels slower than when ice is not present on the road surface.

１つ又は複数の実施形態では、制御コンポーネント１００は、次の曲がり角又は交差点をマーカー、旗の柱、旗竿、識別子等でマーク又は識別することができる。例えば、ＨＵＤコンポーネント１００は、表示位置確保記号又はマーカーを、乗り物の乗員の眺望に沿って、レンダリング又は投影することができる。奥行きマップ・コンポーネント５５０は、建物、樹木等の複数の現実のオブジェクトが、表示位置確保記号の１つ又は複数の部分に対する視野妨害物として作用するような奥行きマップを提供するように構成することができる。１例としては、表示位置確保記号が１００フィート（３０．４８ｍ）の知覚されるべき高さを有し、かつ５０フィート（１５．２４ｍ）の高さの建物が表示位置確保記号の前にある場合、奥行きバッファ・コンポーネント５６０は、表示位置確保記号のグラフィック要素の下部のレンダリング又は投影を無効化することによって、視野の妨害を補正することができ、このようにして、運転者又は乗員の視点に応じて表示位置確保記号をレンダリングすることができる。   In one or more embodiments, the control component 100 can mark or identify the next turn or intersection with a marker, flag post, flagpole, identifier, or the like. For example, the HUD component 100 can render or project a display location securing symbol or marker along a vehicle occupant's view. Depth map component 550 may be configured to provide a depth map in which multiple real objects, such as buildings, trees, etc., act as visual field obstructions for one or more portions of the display location securing symbol. it can. As an example, the display position securing symbol has a height to be perceived of 100 feet (30.48 m), and a building 50 feet (15.24 m) high is in front of the display position securing symbol. If so, the depth buffer component 560 can correct the field of view disturbance by disabling rendering or projection of the bottom of the graphic element of the display location symbol, and thus in the driver or occupant's viewpoint. The display position securing symbol can be rendered according to the above.

１つ又は複数の実施形態において、１つ又は複数のグラフィック要素が、乗り物の乗員の視野に、前記経路（例えば、誘導車追従モード）に基づいて投影される。１つ又は複数の実施形態で、グラフィック要素を、アバター又は他の誘導用アイコンとして投影することができる。アバターは、乗り物周囲の現実世界の環境に向かって、飛んでいるように見え、かつ、表示される。アバターは、３−Ｄ空間内または３次元の中で移動、運行又は、「飛ぶ」ことができる。このため、アバターやグラフィック要素は３−Ｄ内で移動するように見え、それによって、アバターに追従する乗員又は運転者に対して、より直感的な感覚や安心感を与えることができる。一例として、アバター、グラフィック要素又は誘導用アイコンを、高さやサイズが乗り物の乗員からの知覚距離に基づいて変化して見えるように投影することができる。該アバターは、移動するアバターを１つ又は複数の異なる焦点面上に順次投影することによって、アニメーション化することができる。さらに、該アバターは、実際の乗り物がするように、障害状況、障害物、歩行者、破片、窪み、等の周りを迂回するように見えてもよい。１つ又は複数の実施形態において、アバターは、実時間の交通状況に則して、「運転する」、移動する、移動するように見えることがある。アバターは、他の乗り物と「衝突」する、または、交通を妨害するようには見えないような形で、車線を変更することができる。別の例としては、ある経路で運転者や乗り物が線路を横切る必要がある場合、該アバターは列車が交差するときに該線路で停止することができる。他の実施形態では、ＨＵＤコンポーネント１００は、一時停止の標識又は赤信号で停止する、又は、交通法規を遵守するアバター又はグラフィック要素を投影するように構成することができる。目的地に到着した場合、ＨＵＤコンポーネント１００は、例えば、休息のポーズをしたアバターをレンダリング又は投影するように構成することができる。   In one or more embodiments, one or more graphic elements are projected onto a vehicle occupant's field of view based on the path (eg, guided vehicle following mode). In one or more embodiments, the graphic element can be projected as an avatar or other guidance icon. The avatar appears to be flying and displayed towards the real world environment around the vehicle. An avatar can move, navigate or “fly” in 3-D space or in three dimensions. For this reason, an avatar and a graphic element seem to move within 3-D, and can give a more intuitive feeling and a sense of security to the crew member or driver who follows an avatar by it. As an example, an avatar, graphic element or guidance icon can be projected such that the height or size appears to change based on the perceived distance from the vehicle occupant. The avatar can be animated by sequentially projecting the moving avatar onto one or more different focal planes. Further, the avatar may appear to bypass around obstacle situations, obstacles, pedestrians, debris, dents, etc. as an actual vehicle does. In one or more embodiments, an avatar may appear to “drive”, move, or move according to real-time traffic conditions. The avatar can change lanes in such a way that it does not appear to "clash" with other vehicles or obstruct traffic. As another example, if a driver or vehicle needs to cross a track on a route, the avatar can stop on the track when the train crosses. In other embodiments, the HUD component 100 may be configured to stop with a stop sign or red light, or to project an avatar or graphic element that complies with traffic laws. When arriving at the destination, the HUD component 100 can be configured to render or project a resting avatar, for example.

このように、３Ｄナビゲーション・システム５００は、直感的なメッセージ、命令又は指示を、運転者等の乗り物の乗員に対して生成することができる。該命令は遠近に関する１つ又は複数の属性に基づくことができ、該遠近は立体的な３−Ｄグラフィック要素を１つ又は複数の調整可能な焦点面に沿って投影又はレンダリングするＨＵＤコンポーネントの性能によって決まる。例えば、３−Ｄ効果は、距離、遠近、知覚距離、道路状況等に基づいて決めることができる。   In this manner, the 3D navigation system 500 can generate intuitive messages, instructions, or instructions for a vehicle occupant such as a driver. The instructions can be based on one or more attributes related to perspective, where the perspective projects or renders a stereoscopic 3-D graphic element along one or more adjustable focal planes. It depends on. For example, the 3-D effect can be determined based on distance, perspective, perceived distance, road conditions, and the like.

図６は、１つ又は複数の実施形態による、３−Ｄナビゲーションの方法のフロー図の１例６００の説明図である。６０２において、経路を、起点位置から目的位置まで生成する。１つ又は複数の実施形態において、該起点位置又は目的位置は、例えば全地球測位システム（ＧＰＳ）ユニットから、テレマティックス・チャネルを介して受信することができる。６０４において、１つ又は複数のグラフィック要素を、乗り物の乗員の視野内の１つ又は複数の焦点面に投影する。ここで、グラフィック要素は、アバター、画像、アイコン、識別子、マーカー等として表示することができる。さらに、これらのグラフィック要素は、前記経路の１つ又は複数の部分に基づくことができる。この意味は、これらのグラフィック要素を、乗り物が位置する可能性のある前記経路の一部（例えば、乗り物の現在位置）に応じてさまざまな距離に投影することができると言うことである。   FIG. 6 is an illustration of an example flow 600 of a 3-D navigation method, according to one or more embodiments. At 602, a route is generated from the origin position to the destination position. In one or more embodiments, the origin location or destination location may be received via a telematics channel, for example, from a Global Positioning System (GPS) unit. At 604, the one or more graphic elements are projected onto one or more focal planes within the field of view of the vehicle occupant. Here, the graphic element can be displayed as an avatar, an image, an icon, an identifier, a marker, or the like. Furthermore, these graphic elements can be based on one or more parts of the path. This means that these graphic elements can be projected at various distances depending on the part of the path in which the vehicle may be located (eg the current position of the vehicle).

６０６において、焦点面と該乗り物との間の距離を、前記経路の１つ又は複数の部分に対応する道路状況に基づいて調整する。さらに、前記距離は、また、該乗り物の現在速度に基づいて調整することができる。例えば、乗り物が時速６５マイル（１０４．６０５ｋｍ）の速度制限がつけられた経路の一部に沿って走行し、かつ、該乗り物の現在速度が毎時２５マイル（４０．２３３ｋｍ）である場合、投影されたグラフィック要素とアバターの焦点面の間の距離を増加させる（例えば、運転者や乗員に加速するよう指示するため）。言い換えれば、該グラフィック要素を、毎時約６５マイル（１０４．６０５ｋｍ）で走行して見えるように投影することができ、それによって、乗員又は運転者に、加速してアバターに「追いつく」ように促すことができる（例えば、誘導用乗り物への追従に
似せて又は、それをシミュレーションして）。 At 606, the distance between the focal plane and the vehicle is adjusted based on road conditions corresponding to one or more portions of the route. Furthermore, the distance can also be adjusted based on the current speed of the vehicle. For example, if a vehicle travels along a part of a route with a speed limit of 65 mph (104.605 km) and the current speed of the vehicle is 25 mph (40.233 km) Increase the distance between the rendered graphic element and the focal plane of the avatar (eg, to instruct the driver or occupant to accelerate). In other words, the graphic element can be projected to appear to run at about 65 miles per hour (104.605 km), thereby urging the occupant or driver to accelerate and "catch up" the avatar. (E.g., mimicking following a guidance vehicle or simulating it).

図７Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーション用のアバターの１例７００の説明図である。図７Ａのアバター７００は、乗り物の前方に表われ、要素、障害状況、通行物、道路状況等の周りで、飛行、滑空、移動、操縦等をすることができる。図７Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーション用のアバター（複数可）の１例７１０の説明図である。図７Ｂのアバター（複数可）７１０は高い視野から見える様子で、例えば、アバター７１０の若干後方からの鳥瞰図で見えるようなものである。１つ又は複数のアバター７１０が１つ又は複数の異なる焦点面又は目標位置に投影され、それによって、運転者又は乗員に、実際の乗り物を追尾しているような感覚を与えることがわかる。   FIG. 7A is an illustration of an example avatar 700 for 3-D navigation, according to one or more embodiments. The avatar 700 of FIG. 7A appears in front of the vehicle and can fly, glide, move, maneuver, etc. around elements, obstacles, traffic, road conditions, etc. FIG. 7B is an illustration of an example 710 of avatar (s) for 3-D navigation, according to one or more embodiments. The avatar (s) 710 in FIG. 7B is visible from a high field of view, for example, as seen in a bird's eye view from slightly behind the avatar 710. It can be seen that one or more avatars 710 are projected onto one or more different focal planes or target positions, thereby giving the driver or occupant the feeling of tracking an actual vehicle.

図８Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーション用のアバターの１例８００の説明図である。図８Ａのアバター８００は、反時計回りに回転して、左折を示している。図８Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーション用のアバターの１例８１０の説明図である。１つ又は複数の実施形態において、図８Ｂのアバター８１０は、点滅、フラッシュ、色の変更等によって、左折を指示することができる。例えば、紙飛行機のアバター８１０の左の翼は、光る又は明るさが変わって、次に左折することを示すことができる。１つ又は複数の実施形態において、アバターを該乗り物に近い焦点面に投影して、該アバターが旋回する前に「減速」して見えるようにすることができる。   FIG. 8A is an illustration of an example avatar 800 for 3-D navigation, according to one or more embodiments. The avatar 800 in FIG. 8A rotates counterclockwise to indicate a left turn. FIG. 8B is an illustration of an example avatar 810 for 3-D navigation, according to one or more embodiments. In one or more embodiments, the avatar 810 of FIG. 8B can indicate a left turn by blinking, flashing, changing colors, and the like. For example, the left wing of a paper airplane avatar 810 may indicate that it will shine or change brightness and then turn left. In one or more embodiments, an avatar can be projected onto a focal plane close to the vehicle so that the avatar appears to “decelerate” before it turns.

図９Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーション用のアバターの１例９００の説明図である。図９Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーション用のアバターの１例９１０の説明図である。図９Ａのアバター９００は、例えば、乗り物の運転者が減速するためのナビゲーション命令として投影することができる。図９Ｂにおいて、アバター９１０は地平の上又は空の面に投影されて、該アバター９１０が、運転者又は乗員が該乗り物の周囲環境の１つ又は複数の部分を見る邪魔にならないようにする。   FIG. 9A is an illustration of an example avatar 900 for 3-D navigation, according to one or more embodiments. FIG. 9B is an illustration of an example avatar 910 for 3-D navigation, according to one or more embodiments. The avatar 900 of FIG. 9A can be projected as a navigation command for a vehicle driver to decelerate, for example. In FIG. 9B, the avatar 910 is projected above the horizon or onto an empty surface so that the avatar 910 does not interfere with the driver or occupant looking at one or more parts of the surrounding environment of the vehicle.

図１０〜図２０の説明を、前述の図の１つ又は複数、例えば、図５の３Ｄナビゲーション用システム５００又は、図３の側面図３００又は焦点面等を参照して行う。   The description of FIGS. 10-20 will be made with reference to one or more of the foregoing figures, for example, the 3D navigation system 500 of FIG. 5 or the side view 300 or focal plane of FIG.

図１０Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の例１０００の説明図である。図１０Ａにおいて、乗り物の乗員、運転者、乗客、操作員等は、図５のセンサ・コンポーネント５７０のような、乗り物の１つ又は複数のコンポーネントに、指示を出すことができる。１つ又は複数の実施形態において、該センサ・コンポーネント５７０には、１つ又は複数の周辺コンポーネント、１つ又は複数の周辺機器、１つ又は複数のインタフェース、１つ又は複数のインタフェース・コンポーネント、例えば、タッチ・スクリーン、キー・ボード、１つ又は複数のボタン、インタフェース、マイクロフォン、１つ又は複数の撮像機器、ジェスチャ認識機器、等を含むことができる。例えば、乗り物には、タッチ・スクリーン・インタフェースを具備することができる、又は・ダッシュボード上のボタンをメニューとインタフェース接続するために用いることができる。いずれにせよ、１つ又は複数のコンポーネント又は前記センサ・コンポーネント５７０は、乗り物の乗員により与えられる又は出される指示を捕捉又は受信することができる。   FIG. 10A is an illustration of an example scene 1000 related to 3-D navigation, according to one or more embodiments. In FIG. 10A, a vehicle occupant, driver, passenger, operator, etc. may issue instructions to one or more components of the vehicle, such as sensor component 570 of FIG. In one or more embodiments, the sensor component 570 includes one or more peripheral components, one or more peripherals, one or more interfaces, one or more interface components, such as , Touch screen, keyboard, one or more buttons, interface, microphone, one or more imaging devices, gesture recognition devices, and the like. For example, a vehicle can have a touch screen interface, or a button on the dashboard can be used to interface with a menu. In any case, one or more components or the sensor component 570 can capture or receive instructions given or issued by a vehicle occupant.

例えば、運転者は、「どうやってサニーベールの中心街に行くか？」のような、ナビゲーション命令を乗り物に発話することができる。この例では、センサ・コンポーネント５７０にはマイクロフォンを含み、該マイクロフォンは、乗員又は運転者から言葉、すなわち発話された要求を受信して、該要求を、制御エリア・ネットワーク５８０を介して制御コンポーネント１０４又はナビゲーション・コンポーネント５４０に転送する。他の実施形態においては、携帯機器が乗り物と通信接続されている場合、乗員は、該携帯機器のマイク、タッチ・スクリーン、キー・ボード、又はキーパッド等を用いて、３Ｄナビゲーション・システム５００とインタフェース接続することができる。制御コンポーネント１０４は、会話からテキストへ変換（ＳＴＴ：Ｓｐｅｅｃｈ ＴＯ Ｔｅｘｔ）するオン・ボード音声認識モジュールを用いて、該要求の音声認識を行うことができる。別の可能性として、ナビゲーション・コンポーネント５４０は、テレマティックス・チャネルを用いて、ＳＴＴ処理を行うことができる遠隔サーバと通信することができる。   For example, the driver can utter a navigation command to the vehicle, such as "How do I get to Sunnyvale downtown?" In this example, sensor component 570 includes a microphone that receives a word, or spoken request, from an occupant or driver and passes the request through control area network 580 to control component 104. Or forward to the navigation component 540. In other embodiments, when the mobile device is communicatively connected to a vehicle, the occupant uses the microphone, touch screen, key board, keypad, etc. of the mobile device to communicate with the 3D navigation system 500. Can be interfaced. The control component 104 can perform speech recognition of the request using an on-board speech recognition module that converts speech to text (STT). As another possibility, the navigation component 540 can communicate with a remote server that can perform STT processing using a telematics channel.

１つ又は複数の実施形態において、ＨＵＤコンポーネント、例えば、図１のＨＵＤコンポーネント又はシステム１００、又は、図５のＨＵＤコンポーネント１００等は、要求や指示の確認内容を投影、提示、レンダリング、又は表示することができる。言い換えれば、ＨＵＤコンポーネント１００は、乗り物用の表示コンポーネントとして機能する、又は他の表示コンポーネントの補完をすることができる。図１０Ａの例の、「どうやってサニーベールの中心街に行くか？」に続けて、指示又は要求を受信した制御コンポーネント１０４は、該要求の確認内容を投影するか否かを、センサ・コンポーネント５７０によって提供又は検出された環境情報に基づいて決定する。ここでは、センサ・コンポーネント５７０が、移動中の乗り物、歩行者又は他の障害物を検出してないため、制御コンポーネント１０４は、該要求の確認がＨＵＤコンポーネント１００によって投影されるべきであると判断することができる。さらに、制御コンポーネント１０４は、対応するグラフィック要素の、サイズ、形状、型、透明度、配色、高さ、幅、奥行き、目標位置、焦点面等を決定することができる。この目的のために、該要求の確認内容は、１００４に表示されるように、ＨＵＤコンポーネント１００によってテキスト・ボックス内に投影することができる。   In one or more embodiments, the HUD component, such as the HUD component or system 100 of FIG. 1 or the HUD component 100 of FIG. 5, projects, presents, renders, or displays a confirmation of a request or instruction. be able to. In other words, the HUD component 100 can function as a display component for a vehicle or can complement other display components. Following the “How to go to Sunnyvale city center” in the example of FIG. 10A, the control component 104 that received the instruction or request determines whether or not to project the confirmation of the request. To determine based on environmental information provided or detected by Here, because the sensor component 570 has not detected a moving vehicle, pedestrian or other obstacle, the control component 104 determines that the confirmation of the request should be projected by the HUD component 100. can do. Furthermore, the control component 104 can determine the size, shape, type, transparency, color scheme, height, width, depth, target position, focal plane, etc. of the corresponding graphic element. For this purpose, the confirmation of the request can be projected into a text box by the HUD component 100 as displayed at 1004.

１つ又は複数の実施形態において、制御部１０４はＨＵＤコンポーネント１００に指示して、グラフィック要素をアバター１００２として投影させることができる。該アバター１００２は誘導用アイコンとして表示することができる。図１０Ａにおいて、該グラフィック要素は、飛行機の形又は外観を有するアバター１００２として投影することができる。該飛行機は、該乗り物の運転者や乗員の少し前の経路に沿って滑空する。認識しやすくするために、制御コンポーネント１０４は、ＨＵＤコンポーネント１００にアバター１００２をアニメーション化させて、アバター１００２がホバリング又は絶えず動いているようにさせることができる。言い換えれば、アバター１００２が目に入り易くするために、制御コンポーネント１０４は、ＨＵＤコンポーネント１００に、アバター１００２と周期的な動作とを対応させるようにできる。例えば、ＨＵＤコンポーネント１００は、アバター１００２が水中浮遊、浮沈、ホバリング等をして見えるようにアバター１００２を投影することができる。このようにして、運転者の気づきを増すことができる。   In one or more embodiments, the controller 104 can instruct the HUD component 100 to project graphic elements as avatars 1002. The avatar 1002 can be displayed as a guidance icon. In FIG. 10A, the graphic element can be projected as an avatar 1002 having an airplane shape or appearance. The airplane glides along a route slightly ahead of the driver or occupant of the vehicle. To facilitate recognition, the control component 104 can cause the HUD component 100 to animate the avatar 1002 so that the avatar 1002 is hovering or constantly moving. In other words, in order to make the avatar 1002 easily visible, the control component 104 can cause the HUD component 100 to correspond to the avatar 1002 and a periodic action. For example, the HUD component 100 can project the avatar 1002 so that the avatar 1002 appears to float, sink, hover, and the like. In this way, the driver's awareness can be increased.

図１０Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１０１０の説明図である。ナビゲーション命令のような要求又は指示を、制御コンポーネント１０４が受信すると、該制御コンポーネント１０４は、該要求又は指示を適切なコンポーネント又はモジュールに転送することができる。本例では、制御コンポーネント１０４は、該要求又は指示をナビゲーション指示として認識し、該ナビゲーション指示をナビゲーション・コンポーネント５４０に伝達する。これに従い、ナビゲーション・コンポーネント５４０は、乗り物の起点位置（例えば、現在位置）、目的位置を判断し、起点位置から目的位置までの経路を計算することができる。本明細書で論じたように、該経路には、１つ又は複数の道路区間に沿った１つ又は複数の経路部分及び／又は、１つ又は複数のナビゲーション動作又は操作を含むことができる。   FIG. 10B is an illustration of an example scene 1010 related to 3-D navigation, according to one or more embodiments. When the control component 104 receives a request or instruction, such as a navigation instruction, the control component 104 can forward the request or instruction to the appropriate component or module. In this example, the control component 104 recognizes the request or instruction as a navigation instruction and communicates the navigation instruction to the navigation component 540. Accordingly, the navigation component 540 can determine the starting position (for example, the current position) and the target position of the vehicle, and calculate a route from the starting position to the target position. As discussed herein, the route may include one or more route portions and / or one or more navigation operations or operations along one or more road segments.

ナビゲーション・コンポーネント５４０は、前記の経路、経路部分又は経路情報を制御コンポーネント１０４に提供することができる。該制御コンポーネント１０４は、該経路情報をレンダリングするか否か及び／又はどのようにレンダリングするかを決定することができる。例えば、図１０Ｂでは、乗り物が動いていない（例えば、駐車中）か、又は低速度（例えば、検出した又は制御エリア・ネットワーク５８０を経由して提供される閾値速度未満）で走行しているため、制御コンポーネント１０４は、該経路の高階層俯瞰図１０３０がＨＵＤコンポーネント１００による投影に適切であると判断する。したがって、制御コンポーネント１０４は、ＨＵＤコンポーネントに、高階層俯瞰図１０３０を投影させ、高階層俯瞰図１０３０が環境内でより大きな面積を占めるようにすることができる。言い換えれば、該制御部は、該グラフィック要素のサイズ又は該グラフィック要素を投影するか否かを、乗り物の速度に基づいて決定することができる。逆に、乗り物が動いているか、又は、閾値速度以上で走行中である場合、制御コンポーネント１０４は、より小さな図版を投影するか又はＨＵＤコンポーネント１００にそのようなときには高階層俯瞰図１０３０を投影させないという決定を下すことができる。   The navigation component 540 can provide the route, route portion or route information to the control component 104. The control component 104 can determine whether and / or how to render the path information. For example, in FIG. 10B, the vehicle is not moving (eg, parked) or is traveling at a low speed (eg, below the detected or provided threshold speed via control area network 580). The control component 104 determines that the high-level overhead view 1030 of the route is appropriate for projection by the HUD component 100. Accordingly, the control component 104 can cause the HUD component to project a high level overhead view 1030 such that the high level overhead view 1030 occupies a larger area in the environment. In other words, the control unit can determine the size of the graphic element or whether to project the graphic element based on the speed of the vehicle. Conversely, if the vehicle is moving or traveling above a threshold speed, the control component 104 projects a smaller illustration or does not cause the HUD component 100 to project a high-level overhead view 1030 at such times. Can be made.

図１０Ｂでは、ＨＵＤコンポーネント１００は、１つ又は複数の道路区間に沿って起点位置から目的位置に至る経路１０３２を含む地図の高階層俯瞰図１０３０を投影する。ＨＵＤコンポーネント１００は、コンパス１０３４、道路区間識別子１０３６、交通情報、推定到着時刻、推定走行時間、乗り物の現在位置等を投影することができる。１つ又は複数の実施形態において、ＨＵＤコンポーネント１００は、高階層俯瞰図１０３０の異なる側面を、１つ又は複数の配色を用いて投影することができる。例えば、ＨＵＤコンポーネント１００は、該経路を、経路１０３２を第１の色を用いてレンダリングし、他の道路区間、例えば、１０３６で識別される他の道路区間を第２の色を用いてレンダリングするように投影することができる。   In FIG. 10B, the HUD component 100 projects a high-level overhead view 1030 of a map that includes a path 1032 from a starting position to a destination position along one or more road sections. The HUD component 100 can project a compass 1034, a road segment identifier 1036, traffic information, an estimated arrival time, an estimated travel time, a current position of the vehicle, and the like. In one or more embodiments, the HUD component 100 can project different aspects of the high-level overhead view 1030 using one or more color schemes. For example, the HUD component 100 renders the route using the second color, rendering the route 1032 with a first color and other road segments, eg, other road segments identified at 1036, with a second color. Can be projected as follows.

１つ又は複数の実施形態において、センサ・コンポーネント５７０は、グラフィック要素の表示又は投影用のカラー・パレット又は配色の決定を補助する撮像装置又は他のセンサを含むことができる。例えば、図１０Ｂでは、１本又は複数の木々が背景又は環境内に存在することが分かる。該木々によって緑色が見にくくなる、又は、視覚化が困難になる可能性がある。このため、制御コンポーネント１０４は、１つ又は複数のグラフィック要素の投影のために、例えば、黄色のような緑色とコントラストをなす色を用いた配色を選択することができる。別の例として、日中、空は、センサ部品５７０によって青色と感知することができるが、一方、夜には空は黒く見える。言い換えれば、センサ・コンポーネント５７０は、環境に対応する色情報を受信、捕捉、感知又は検出することができ、該色情報をグラフィック要素の区別のために用いることができる。制御コンポーネント１０４は、該色情報を用いて、ＨＵＤコンポーネント１００が投影する１つ又は複数のグラフィック要素に対する色を決定することができる。ここで、制御コンポーネント１０４は、昼間は赤を選択肢とし、夜間は青を選択肢として決定判断する。このように、該制御コンポーネントは、グラフィック要素又はアバターの配色又は色を、（例えば、センサ・コンポーネント５７０によって受信又は検出される）時間帯又は環境に対応する色情報に基づいて、決定することができる。   In one or more embodiments, sensor component 570 can include an imaging device or other sensor that assists in determining a color palette or color scheme for display or projection of graphic elements. For example, in FIG. 10B, it can be seen that one or more trees are present in the background or environment. The trees may make it difficult to see the green color or make it difficult to visualize. Thus, the control component 104 can select a color scheme using a color that contrasts with green, such as yellow, for projection of one or more graphic elements. As another example, during the day the sky can be perceived as blue by the sensor component 570, while at night the sky appears black. In other words, the sensor component 570 can receive, capture, sense or detect color information corresponding to the environment, and the color information can be used to distinguish graphic elements. The control component 104 can use the color information to determine a color for one or more graphic elements that the HUD component 100 projects. Here, the control component 104 determines and determines red as an option during the day and blue as an option during the night. As such, the control component can determine the color scheme or color of the graphic element or avatar based on color information corresponding to a time zone or environment (eg, received or detected by the sensor component 570). it can.

１つ又は複数の実施形態において、ＨＵＤコンポーネント１００は、高階層俯瞰図１０３０の１つ又は複数の側面をアニメーション化することができる。例えば、ＨＵＤコンポーネント１００は、該経路１０３２を１つ又は複数の道路区間に沿ってアニメーション化し、該経路１０３２が起点位置から目的位置まで一筆書きで描かれる、又はまるでそう見えるようにすることができる。言い換えれば、ＨＵＤコンポーネント１００は、該経路に沿った走行を、蛇が蛇行するように起点位置から目的位置まで表現するアニメーションでレンダリングすることができる。   In one or more embodiments, the HUD component 100 can animate one or more aspects of the high-level overhead view 1030. For example, the HUD component 100 may animate the route 1032 along one or more road segments so that the route 1032 is drawn with a single stroke from the origin location to the destination location or as if it were visible. . In other words, the HUD component 100 can render the traveling along the route with an animation that expresses from the start position to the target position so that the snake meanders.

ＨＵＤコンポーネント１００は、図１０Ａのアバター１００２のようなグラフィック要素又はアバターを、異なるカメラ・アングル、カメラの遠近又は異なる視野を用いて、投影することができる。さらに、ＨＵＤコンポーネント１００は、これらの視野の間を、アニメーションで又は漸次的に、移動又は遷移することができる。例えば、ＨＵＤコンポーネント１００は、前記カメラの遠近又はカメラ・アングルを、鳥瞰図、例えば図１０Ｂの高階層俯瞰図１０３０から、図１０Ａで見られるような搭乗者又は第３者の視界へ移動することができる。別の方法で説明すると、ＨＵＤコンポーネント１００は、漸次的にカメラの遠近を調整して、鳥瞰図、レイアウト図、俯瞰図、縮小図又は第３者の視野図から、拡大図、搭乗者の視野図又は路面高の視野図に、ズーム・イン又はフライ・インすることができる。   The HUD component 100 can project a graphic element or avatar, such as the avatar 1002 of FIG. 10A, using different camera angles, camera perspectives or different fields of view. Furthermore, the HUD component 100 can move or transition between these views, either in animation or gradually. For example, the HUD component 100 may move the perspective or camera angle of the camera from a bird's eye view, eg, a high level overhead view 1030 in FIG. 10B, to a passenger or third person view as seen in FIG. 10A. it can. To explain in another way, the HUD component 100 gradually adjusts the perspective of the camera, and from the bird's-eye view, layout view, bird's-eye view, reduced view, or third-party view, the enlarged view, the view of the passenger Alternatively, it can be zoomed in or fly in to the road level view.

例えば、ＨＵＤコンポーネント１００は、乗員又は運転者が車内に座ってフロント・ガラス越しに実世界を見ながら持つであろう、実世界の視野又は同じ環境の視野と一致する路面高の視野においてズーム又は移動が完了したように見える、カメラの遠近又はカメラ・アングルを用いることができる。言い換えれば、路面高の視野は、アイ・ボックス内で乗り物のフロント・ガラス越しに前方を向いて／見ている間、乗員が持つ視野であると言える。別の方法で説明すると、ズーム・アニメーション又は遷移は、結果的に、図１０Ａのアバター１００２のような、運転者の視野内の単なる一つのアバター又はグラフィック要素のレンダリングにすることができる。図１１Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１１００の説明図である。この場面の例１１００に提示されたアバター１００２の図は、図１０Ｂの鳥瞰図、すなわち高階層俯瞰図１０３０と図１０Ａの第３者の視野の間で得られる遷移図であることが分かる。   For example, the HUD component 100 may zoom in or out of a road height view that matches the real world view or the same environment view that the occupant or driver would have while sitting in the car and looking through the windshield. Camera perspective or camera angle can be used that appears to have completed the movement. In other words, it can be said that the field of view of the road surface is the field of view of the occupant while looking forward / looking through the windshield of the vehicle in the eye box. Stated another way, the zoom animation or transition may result in the rendering of just one avatar or graphic element in the driver's field of view, such as the avatar 1002 of FIG. 10A. FIG. 11A is an illustration of an example scene 1100 related to 3-D navigation, according to one or more embodiments. It can be seen that the illustration of the avatar 1002 presented in this scene example 1100 is a transition diagram obtained between the bird's-eye view of FIG. 10B, that is, the high-level bird's-eye view 1030 and the third person's view of FIG. 10A.

１つ又は複数の実施形態では、ＨＵＤコンポーネント１００は、乗員が地図の参照を要求したとき又は乗員が地図の参照指示を起動したときに、逆の順序で（例えば、第３者の視野から鳥瞰図へ）ズーム・アニメーションを行うことができる。この場面では、ＨＵＤコンポーネント１００は、第３者であるアバター（例えば、図１０Ａの１００２）の視野を投影し、鳥瞰図（例えば、図１０Ｂの高階層俯瞰図１０３０）にズーム・アウト又はフライ・アウェイすることができる。さらに、ＨＵＤコンポーネント１００は、経路、地図、又は視野の向きを、乗り物の向き又は動きに基づいて調整することができる。言い換えれば、ＨＵＤコンポーネント１００は、例えば、地図又は視野の向きを調整して、現在の道路区間に沿った走行方向が上又は前方にみえるようにすることができる。   In one or more embodiments, the HUD component 100 may be configured in reverse order (e.g., a bird's eye view from a third person's field of view) when the occupant requests map reference or when the occupant initiates a map reference instruction. F) Zoom animation can be performed. In this scene, the HUD component 100 projects the field of view of a third person avatar (eg, 1002 in FIG. 10A) and zooms out or fly away into a bird's eye view (eg, a high level overhead view 1030 in FIG. 10B). can do. Further, the HUD component 100 can adjust the orientation of the route, map, or field of view based on the orientation or movement of the vehicle. In other words, the HUD component 100 may, for example, adjust the orientation of the map or field of view so that the direction of travel along the current road segment appears upward or forward.

図１１Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１１１０の説明図である。１つ又は複数の実施形態において、ＨＵＤコンポーネント１００は、ナビゲーション命令又は推奨ナビゲーション操作を、乗り物の運転者に提供することができる。例えば、ナビゲーション・コンポーネント５４０は、起点位置から目的位置までの経路に対するナビゲーション命令の一覧を生成することができる。制御コンポーネント１０４は、ＨＵＤコンポーネント１００に、環境内での各ナビゲーション命令、例えば１１３０を投影させることができる。ナビゲーション命令には、運転者に対する指図、例えば、右折、左折、右合流、左合流、譲れ（ＹＩＥＬＤ）、停止、減速、速度アップ、加速等を含むことができる。さらに、ナビゲーション命令は、運転者に対して、必ずしも、行動を取るように指示するとは限らない。例えば、ナビゲーション命令は赤のときには旋回が許可されていない旨を乗り物の運転者に警告することができる。   FIG. 11B is an illustration of an example scene 1110 associated with 3-D navigation, according to one or more embodiments. In one or more embodiments, the HUD component 100 may provide navigation instructions or recommended navigation operations to a vehicle driver. For example, the navigation component 540 can generate a list of navigation instructions for the route from the origin location to the destination location. The control component 104 can cause the HUD component 100 to project each navigation instruction in the environment, for example 1130. Navigation instructions may include instructions to the driver, such as right turn, left turn, right merge, left merge, yield (YIELD), stop, slow down, speed up, acceleration, and the like. Furthermore, the navigation command does not necessarily instruct the driver to take action. For example, when the navigation command is red, the vehicle driver can be warned that turning is not permitted.

１つ又は複数の実施形態において、制御コンポーネント１０４は、配色を利用するか、又はＨＵＤコンポーネント１００に１つ又は複数のグラフィック要素又はアバターを異なる色を用いて投影させて、１つ又は複数のナビゲーション動作を表現させることができる。例えば、ＨＵＤコンポーネント１００が図１１Ｂのアバター１００２Ａ、１００２Ｂ又は１００２Ｃのようなアバターを、緑色に投影するときには、オブジェクト、障害、又は対面の乗り物がセンサ・コンポーネント５７０によって何も検出されていないことを示すことができる。別の例として、ＨＵＤコンポーネント１００は、アバター１００２Ａ、１００２Ｂ又は１００２Ｃのうちの１つ又は複数を赤色に投影して、運転者に対して旋回はまだ安全でない旨を示すことができる。ここで、ＨＵＤコンポーネント１００は、ナビゲーション命令として、例えば「右折」ではなく「譲れ（ＹＩＥＬＤ）」を投影することができる。   In one or more embodiments, the control component 104 utilizes a color scheme or causes the HUD component 100 to project one or more graphic elements or avatars using different colors to provide one or more navigations. It is possible to express movement. For example, when HUD component 100 projects an avatar such as avatar 1002A, 1002B, or 1002C in FIG. 11B onto green, it indicates that no object, obstacle, or facing vehicle is detected by sensor component 570. be able to. As another example, the HUD component 100 may project one or more of the avatars 1002A, 1002B, or 1002C to red to indicate to the driver that the turn is not yet safe. Here, the HUD component 100 can project, for example, “YIELD” instead of “turn right” as the navigation command.

図１１Ｂに見られるように、ＨＵＤコンポーネント１００は、複数のアバター、１００２Ａ、１００２Ｂ、及び１００２Ｃを投影することができる。この例では、アバター１００２Ａを第１の焦点面上に投影し、アバター１００２Ｂを第２の焦点面上に投影し、アバター１００２Ｃを第３の焦点面上に投影する。ここで、第１の焦点面が該乗り物に最も近く、次に第２焦点面が続き、さらに第３の焦点面が続く。このようにして、アバター１００２Ｃが乗り物から最も離れて見えるようにすることができる。ＨＵＤコンポーネント１００は、異なる焦点面上に複数のアバター１００２Ａ、１００２Ｂ、１００２Ｃを投影することができるので、これによって、３Ｄナビゲーション・システム５００は、運転者が追従するべき予定経路、通路又は事前設定された経路を提示することができる。   As seen in FIG. 11B, the HUD component 100 can project multiple avatars, 1002A, 1002B, and 1002C. In this example, avatar 1002A is projected onto the first focal plane, avatar 1002B is projected onto the second focal plane, and avatar 1002C is projected onto the third focal plane. Here, the first focal plane is closest to the vehicle, followed by the second focal plane, followed by the third focal plane. In this way, the avatar 1002C can be seen the farthest from the vehicle. Since the HUD component 100 can project a plurality of avatars 1002A, 1002B, 1002C on different focal planes, this allows the 3D navigation system 500 to be preconfigured with a planned route, path or preset that the driver should follow. Route can be presented.

１つ又は複数の実施形態において、ＨＵＤコンポーネント１００は、アバター１００２Ａ、１００２Ｂ、１００２Ｃのうちの１つ又は複数を、それぞれのアバターが乗り物の現在位置に対して静止する焦点面に在り続けるように、投影することができる。言い換えれば、ＨＵＤコンポーネント１００は、アバター又はグラフィック要素を、乗り物と各アバターの焦点面との間の距離が、乗り物のアバターへの「接近」につれて小さくなるように、投影することができる。さらに別の言い方をすると、ＨＵＤコンポーネント１００は、１００２Ａ、１００２Ｂ又は１００２Ｃのようなアバターを、乗り物に対して相対的に静止したオブジェクトとして投影し、それにより、運転者や乗員には、ある時点で該乗り物前方にあったアバターが後には追い越される又は乗り物が「追いつく」まで待って見えるようにすることができる。これらの実施形態では、ＨＵＤコンポーネント１００は、経路進行が進み、乗り物の各人又は運転者が定置又は静止したアバターを「通過する」につれて、追加のアバターを投影することができる。   In one or more embodiments, the HUD component 100 causes one or more of the avatars 1002A, 1002B, 1002C to remain in a focal plane where each avatar is stationary relative to the current position of the vehicle. Can be projected. In other words, the HUD component 100 can project avatars or graphic elements such that the distance between the vehicle and each avatar's focal plane decreases as the vehicle approaches the avatar. In other words, the HUD component 100 projects an avatar, such as 1002A, 1002B, or 1002C, as a stationary object relative to the vehicle, so that the driver or occupant is at a certain point in time. The avatar that was in front of the vehicle can later be overtaken or waited until the vehicle “catch up”. In these embodiments, the HUD component 100 may project additional avatars as the path progresses and each person or driver of the vehicle “passes” through a stationary or stationary avatar.

１つ又は複数の他の実施形態では、ＨＵＤコンポーネント１００は、アバター１００２Ａ、１００２Ｂ又は１００２Ｃのうちの１つ又は複数を、それぞれのアバターが、乗り物の現在位置に応じて動的に調整される又は乗り物から一定の又は固定された距離にある焦点面を有するように、投影することができる。言い換えれば、該ＨＵＤコンポーネントは、アバター又はグラフィック要素を、乗り物とそれぞれのアバターの焦点面との間の距離が、乗り物が移動しても一定のままであるように投影することができる。さらに別の言い方をすると、該ＨＵＤコンポーネントは、アバターを、乗り物と一緒に動くように見える定置オブジェクトとして投影することができる。１つ又は複数の実施形態において、ＨＵＤコンポーネント１００は、乗り物に対して定置しているオブジェクトとしてのアバターの投影と、乗り物と一緒に移動するように見えるオブジェクトとしてのアバターの投影との間を遷移することができる。   In one or more other embodiments, the HUD component 100 may dynamically adjust one or more of the avatars 1002A, 1002B, or 1002C, each avatar depending on the current position of the vehicle, or Projection can be made to have a focal plane at a fixed or fixed distance from the vehicle. In other words, the HUD component can project an avatar or graphic element such that the distance between the vehicle and the focal plane of each avatar remains constant as the vehicle moves. In other words, the HUD component can project an avatar as a stationary object that appears to move with the vehicle. In one or more embodiments, the HUD component 100 transitions between a projection of an avatar as an object that is stationary relative to the vehicle and a projection of an avatar as an object that appears to move with the vehicle. can do.

いずれにしても、ＨＵＤコンポーネント１００は、複数のグラフィック要素又はアバターの任意の１つを、アニメーションとして、１つ又は複数のグラフィック要素又はアバターを投影する焦点面を調整することにより、投影することができる。一例としては、アバター１００２Ａ、１００２Ｂ及び１００２Ｃの配置は、図１１Ａ又は図１０Ａのアバター１００２のように単一のアバターを展開することによって実現することができる。言い換えれば、１つ又は複数のアバター（又はグラフィック要素）を第１のアバターから展開し、かつ、それぞれのアバターを単一のアバターに折り畳むことができる。別の方法で説明すると、複数のアバターが、飛び出し、分かれ、進み又はＨＵＤコンポーネント１００によって第１のアバターの前に投影され、例えば、経路案内やナビゲーション命令を容易にアニメーション化できる。   In any case, the HUD component 100 can project any one of a plurality of graphic elements or avatars as an animation by adjusting a focal plane that projects the one or more graphic elements or avatars. it can. As an example, the placement of avatars 1002A, 1002B, and 1002C can be achieved by deploying a single avatar, such as avatar 1002 of FIG. 11A or FIG. 10A. In other words, one or more avatars (or graphic elements) can be expanded from the first avatar and each avatar can be folded into a single avatar. Explained in another way, multiple avatars pop out, split, advance or are projected by the HUD component 100 in front of the first avatar, for example, route guidance and navigation instructions can be easily animated.

１つ又は複数の実施形態において、ＨＵＤコンポーネント１００は、１つ又は複数のグラフィック要素を、乗り物の運転者又は乗員に１つ又は複数のオブジェクト、障害物、道路状況等について警告するポインタとして投影することができる。制御コンポーネント１０４は、ポインタの種類を、乗り物の速度とオブジェクトの速度とに基づいて選択することができる。例えば、乗り物が静止している場合、接近する対向車（又は、例えば他のオブジェクト）は、該オブジェクトが該乗り物に接近又は該乗り物から遠ざかる間、該対向車、危険状況又は、移動するオブジェクトを指し示すように回転するグラフィック要素を投影することによって認識させることができる。   In one or more embodiments, the HUD component 100 projects one or more graphic elements as pointers that alert a vehicle driver or occupant about one or more objects, obstacles, road conditions, etc. be able to. The control component 104 can select the type of pointer based on the speed of the vehicle and the speed of the object. For example, if the vehicle is stationary, an approaching oncoming vehicle (or other object, for example) may move the oncoming vehicle, a dangerous situation or a moving object while the object is approaching or moving away from the vehicle. It can be recognized by projecting a graphic element that rotates to point.

図１２Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１２００の説明図である。ここで、センサ部品５７０は、通過する乗り物や別の乗り物１２１４を検出することができる。他の乗り物１２１４の軌道又は通路がアバター１００２Ｂによって表示された被提示ナビゲーション動作との衝突コース上にあるので、制御コンポーネント１０４は、ＨＵＤコンポーネント１００にナビゲーション命令を投影させて、１１３０で進路を譲るように運転者に警告することができる。言い換えれば、センサ・コンポーネント５７０は、他の乗り物１２１４の位置を追跡することができる。この情報は、制御コンポーネント１０４に送信することができ、制御コンポーネント１０４は、ＨＵＤコンポーネント１００が、ポインタ・グラフィック要素を１００２Ａに投影する必要があると決定することができる。ＨＵＤコンポーネント１００は、こうして、他の乗り物１２１４を、１２１２Ａの方向に追跡又は追従するポインタ・グラフィック要素１００２Ａを投影することができる。   FIG. 12A is an illustration of an example scene 1200 associated with 3-D navigation, according to one or more embodiments. Here, the sensor component 570 can detect a passing vehicle or another vehicle 1214. Since the trajectory or path of the other vehicle 1214 is on a collision course with the presented navigation action displayed by the avatar 1002B, the control component 104 causes the HUD component 100 to project a navigation command and give way at 1130. The driver can be warned. In other words, the sensor component 570 can track the position of other vehicles 1214. This information can be sent to the control component 104, which can determine that the HUD component 100 needs to project a pointer graphic element to 1002A. The HUD component 100 can thus project a pointer graphic element 1002A that tracks or follows another vehicle 1214 in the direction of 1212A.

図１２Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１２１０の説明図である。図１２Ａの例に続いて、前記他の乗り物１２１４は、停止していた前記乗り物を通過したことが分かる。ＨＵＤコンポーネント１００は、譲れ、のナビゲーション命令１１３０及び次のナビゲーション命令又は動作（例えば、右折）を１００２Ｂに投影し続けることができる。センサ・コンポーネント５７０が他の乗り物１２１４を検出しているため、ＨＵＤコンポーネント１００は対応する色、例えば、赤色にアバター１００２Ｂを投影することができる。言い換えれば、制御コンポーネント１０４は、ＨＵＤコンポーネント１００が投影するべきグラフィック要素の色を、（例えば、センサ・コンポーネント５７０によって収集又は検出された）オブジェクト情報や環境情報に基づいて、選択することができる。図１２Ｂのポインタ１００２Ａは、追跡するオブジェクトに対応する方法で、ｚ軸に沿って回転することにより、前記他の乗り物１２１４の指定又は追跡を続けることができる。言い換えれば、制御コンポーネント１０４は、ポインタ・グラフィック要素１００２Ａのヨー角を調整することができる。   FIG. 12B is an illustration of an example scene 1210 associated with 3-D navigation, according to one or more embodiments. Continuing with the example of FIG. 12A, it can be seen that the other vehicle 1214 has passed the stopped vehicle. The HUD component 100 can continue to project the given navigation instruction 1130 and the next navigation instruction or action (eg, turn right) to 1002B. Since the sensor component 570 is detecting other vehicles 1214, the HUD component 100 can project the avatar 1002B into a corresponding color, eg, red. In other words, the control component 104 can select the color of the graphic element that the HUD component 100 should project based on object information (eg, collected or detected by the sensor component 570) or environmental information. The pointer 1002A of FIG. 12B can continue to designate or track the other vehicle 1214 by rotating along the z-axis in a manner corresponding to the object being tracked. In other words, the control component 104 can adjust the yaw angle of the pointer graphic element 1002A.

図１３Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１３００の説明図である。個人又は運転者が乗り物を運転している間、ナビゲーション・コンポーネント５４０は、乗り物の現在位置及び／又は、対応する座標を測定することができる。該情報を用いて、ナビゲーション・コンポーネント５４０又は制御コンポーネント１０４は道路の名前を確定し、ＨＵＤコンポーネント１００は、該道路名を、道路又は道路区間の表面に対応する焦点面上に、１３３０のように投影することができる。本明細書で論じるように、路面上のグラフィック要素の投影は、乗り物に対して静止して見えるように、つまり、乗り物と一緒に移動して見えるように行うことができる。１つ又は複数の実施形態において、ＨＵＤコンポーネント１００は、道路名称１３３０を、乗り物の乗員からの質問、例えば、「何という道路にいるか？」というような質問に応答して、投影することができる。さらに、他のグラフィック要素、情報又は強調を、目印又はオブジェクト等に投影することができる。   FIG. 13A is an illustration of an example scene 1300 related to 3-D navigation, according to one or more embodiments. While the individual or driver is driving the vehicle, the navigation component 540 can measure the current position of the vehicle and / or the corresponding coordinates. Using this information, navigation component 540 or control component 104 determines the name of the road, and HUD component 100 determines the road name on the focal plane corresponding to the surface of the road or road section, such as 1330. Can be projected. As discussed herein, the projection of a graphic element on the road surface can be made to appear stationary with respect to the vehicle, i.e., appear to move with the vehicle. In one or more embodiments, the HUD component 100 can project a road name 1330 in response to a question from a vehicle occupant, for example, “What road are you on?” . Furthermore, other graphic elements, information or emphasis can be projected onto landmarks or objects.

図１３Ａにおいて、前述のように、複数のグラフィック要素やアバターを、ＨＵＤコンポーネント１００によって投影し、アニメーション化、折り畳み、展開等を行うことができる。このように、アバター１００２Ａ、１００２Ｂ及び１００２Ｃは、乗り物の運転者又は他の乗員を、目的地までの経路に沿って案内するように表示される。図１３Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１３１０の説明図である。図１３Ｂでは、アバター１００２Ａ及び１００２Ｂがさまざまなピッチ角、ロール角又はヨー角で投影されることが分かる。前記制御コンポーネントは、アバター又はグラフィック要素のピッチ角、ロール角又はヨー角の選択又は調整を、通路の軌跡、次に来る旋回の半径、乗り物の現在の速度、次の旋回に対応する速度制限、提示されたナビゲーション動作、環境からの情報、次のナビゲーション命令又は動作までの距離、等に基づいて行うことができる。   In FIG. 13A, as described above, a plurality of graphic elements and avatars can be projected by the HUD component 100 to be animated, folded, expanded, and the like. In this manner, the avatars 1002A, 1002B, and 1002C are displayed so as to guide the vehicle driver or other occupants along the route to the destination. FIG. 13B is an illustration of an example scene 1310 associated with 3-D navigation, according to one or more embodiments. In FIG. 13B, it can be seen that avatars 1002A and 1002B are projected at various pitch angles, roll angles or yaw angles. The control component selects or adjusts the pitch angle, roll angle or yaw angle of the avatar or graphic element to determine the path of the path, the radius of the next turn, the current speed of the vehicle, the speed limit corresponding to the next turn, Based on the presented navigation action, information from the environment, distance to the next navigation command or action, etc.

本明細書では、本例において、提示された経路上には、次の出口ランプを選択する乗り物があり、該出口ランプには環状の道路形態又は道路区間があるので、制御コンポーネント１０４は、ＨＵＤコンポーネントに、アバター１００２Ａよりも大きなロール角又はヨー角を持つアバター１００２Ｂを投影させ、それにより、次に右折が近付いていることを認識させる。さらに、制御コンポーネント１０４は、アバター１００２Ａと１００２Ｂとの焦点面の間に短い距離を選択して、旋回がどれだけ急であるかを示すことができる。他の実施形態では、制御コンポーネント１０４は、黄色又はオレンジ等の色を、１つ又は複数のアバターに対して選択して、次の旋回及び／又は、運転者が減速すべきことに対応する理由を示すことができる。   Here, in this example, there is a vehicle on the presented route that selects the next exit ramp, and the exit ramp has an annular road form or road section, so the control component 104 is HUD. The component is caused to project an avatar 1002B having a larger roll angle or yaw angle than the avatar 1002A, thereby recognizing that the next right turn is approaching. Further, the control component 104 can select a short distance between the focal planes of the avatars 1002A and 1002B to indicate how steep the turn is. In other embodiments, the control component 104 may select a color, such as yellow or orange, for one or more avatars to respond to the next turn and / or that the driver should decelerate Can be shown.

図１４Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１４００の説明図である。運転者又は乗員は、３Ｄナビゲーション・システム５００に対して、起点位置から目的位置までのナビゲーションに従事しながら、要求又は指示を出すことができる。言い換えれば、ナビゲーション・コンポーネント５４０は、起点位置と目的位置との間の１つ又は複数の中間地点の追加を支援して、目的位置へのナビゲーションが、目的位置へのナビゲーションの再設定を必要とするような形で中断されないようにすることができる。別の方法で説明すると、中間地点が挿入されるとき、ナビゲーション・コンポーネント５４０は、乗り物の現在位置から該中間地点までの修正経路及び該中間地点から（以前に決定された）目的位置までの修正経路を計算することができる。図１４Ａでは、起点位置から現在位置までのナビゲーションが、アバター１００２によって示されるように、進行中である。アバター１００２は、乗り物の運転者に、現在の交差点をまっすぐに進んで渡るように指示している。１４０４で、要求又は指示の確認を、テキスト・ボックスに投影することができる。１つ又は複数の実施形態では、制御コンポーネント１０４は、複数の障害物をセンサ・コンポーネント５７０が検出したとき又は乗り物が閾値速度を超えて走行しているとき又はユーザの好みに基づくときのように、ＨＵＤコンポーネント１００にテキスト・ボックス１４０４を投影させないようにすることができる。   FIG. 14A is an illustration of an example scene 1400 related to 3-D navigation, according to one or more embodiments. The driver or the occupant can issue a request or instruction to the 3D navigation system 500 while engaging in navigation from the starting position to the target position. In other words, the navigation component 540 assists in adding one or more waypoints between the origin location and the destination location, and navigation to the destination location requires resetting navigation to the destination location. You can be uninterrupted in such a way. In another way, when an intermediate point is inserted, the navigation component 540 corrects the correction path from the current position of the vehicle to the intermediate point and the correction point from the intermediate point to the (previously determined) destination position. The route can be calculated. In FIG. 14A, navigation from the origin location to the current location is in progress as indicated by avatar 1002. The avatar 1002 instructs the vehicle driver to go straight across the current intersection. At 1404, a confirmation of the request or instruction can be projected into a text box. In one or more embodiments, the control component 104 may detect when multiple obstacles are detected by the sensor component 570 or when the vehicle is driving above a threshold speed or based on user preferences. , The text box 1404 may not be projected on the HUD component 100.

１つ又は複数の実施形態において、前記システム５００は、１つ又は複数の追加コンポーネント、サーバ、他のシステム、例えば、携帯機器又は遠隔サーバとインタフェース接続して、１つ又は複数の中間地点を決定することができる。例えば、運転者は、該システム５００に、「最寄りのガソリン・スタンド」、「近くの一番安いガソリン・スタンド」又は「帰宅途中にあるガソリン・スタンド」に「連れて行く」ように要求することができる。これらの要求に応じて、制御コンポーネント１０４は、ナビゲーション・コンポーネント５４０とインタフェース接続して、乗り物の現在位置、目的位置、現在位置と目的位置の間の経路を決定し、かつ、携帯機器アプリケーションのようなガソリン価格アプリケーション等とインタフェース接続して、価格、場所又は他の条件を決定する。   In one or more embodiments, the system 500 interfaces with one or more additional components, servers, other systems, eg, mobile devices or remote servers, to determine one or more waypoints. can do. For example, the driver requests the system 500 to “take” the “nearest petrol station”, “the cheapest petrol station nearby” or “the petrol station on the way home”. Can do. In response to these requests, the control component 104 interfaces with the navigation component 540 to determine the current position of the vehicle, the target position, the route between the current position and the target position, and as in a mobile device application. Interface with other gasoline price applications etc. to determine price, location or other conditions.

図１４Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１４１０の説明図である。制御コンポーネント１０４は、ナビゲーション・コンポーネント５４０と連携して、中間地点の位置を決定する又は、１つ又は複数の可能な中間地点から適切な中間地点を選択することができる。ナビゲーション・コンポーネント５４０は、現在の目的位置としての中間地点へ乗り物の経路を計算又は変更し、変更前の目的位置を次の目的位置として設定することができる。ナビゲーション・コンポーネント５４０は、該中間地点に関連する追加の走行時間を算出することができる。このために、ＨＵＤコンポーネント１００は、該情報（例えば、約８分の余分な運転時間の追加になる迂回）をテキスト・ボックス１４３０Ａに投影することができる。本明細書で論じるように、ＨＵＤコンポーネント１００は、環境内の１つ又は複数の焦点面上にナビゲーション命令１１３０及びアバター１００２を提示又は投影することができる。さらに、ナビゲーション・コンポーネント５４０は、中間地点又は目的地に関連付けられた・メタデータ又は情報を受信又はダウンロードするために、テレマティックス・チャネルを用いることができる。例えば、ナビゲーション・コンポーネント５４０は、店舗や・ガソリン・スタンドのロゴのような、中間地点に対応するロゴを受信することができる。ＨＵＤコンポーネント１００は、１４３０Ｂに該ロゴ又は他の関連情報を投影することができる。さらに、ＨＵＤコンポーネント１００は、ロゴ１４３０Ｂを平面状に折りたたむ又は、別の方法では、ロゴ１４３０Ｂをアバター１００２又は他のグラフィック要素に変形すること等によって、１つ又は複数の側面をアニメーション化することができる。ＨＵＤコンポーネント１００は、ほとんど任意のグラフィック要素をアニメーション化し、ほとんど任意の他のグラフィック要素に変換、移行すること等ができる。   FIG. 14B is an illustration of an example scene 1410 associated with 3-D navigation, according to one or more embodiments. The control component 104 can cooperate with the navigation component 540 to determine the location of the waypoint or select an appropriate waypoint from one or more possible waypoints. The navigation component 540 can calculate or change the route of the vehicle to the intermediate point as the current destination position, and set the destination position before the change as the next destination position. The navigation component 540 can calculate additional travel times associated with the waypoint. To this end, the HUD component 100 can project the information (eg, a detour that adds about 8 minutes of extra driving time) to the text box 1430A. As discussed herein, the HUD component 100 can present or project navigation instructions 1130 and avatars 1002 onto one or more focal planes in the environment. Further, the navigation component 540 can use the telematics channel to receive or download metadata or information associated with a waypoint or destination. For example, the navigation component 540 may receive a logo corresponding to an intermediate point, such as a store or gas station logo. The HUD component 100 can project the logo or other relevant information on the 1430B. Further, the HUD component 100 may animate one or more sides, such as by folding the logo 1430B into a flat shape or otherwise transforming the logo 1430B into an avatar 1002 or other graphic element. it can. The HUD component 100 can animate almost any graphic element, convert it to almost any other graphic element, and so on.

図１５は、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１５００の説明図である。ＨＵＤコンポーネント１００は、テキスト・ボックス１１３０内のナビゲーション命令と１つ又は複数のアバター１００２Ａ、１００２Ｂ、１００２Ｃ、１００２Ｄ、１００２Ｅ等を投影することができる。さらに、ＨＵＤコンポーネント１００は、それぞれのアバター１００２Ａ、１００２Ｂ、１００２Ｃ、１００２Ｄ又は１００２Ｅによって提示される経路又は通路を、例えば、該アバターを順番にフラッシュさせて、強調することができる。ＨＵＤコンポーネント１００は、アバター１００２Ａ、１００２Ｂ、１００２Ｃ、１００２Ｄ又は１００２Ｅの１つ又は複数を、該アバターが、危険状況、道路状況又は他の乗り物のような、センサ・コンポーネント５７０によって検出されたオブジェクトの周りをナビゲート、運転又は、動いて見えるように、投影することができる。図１４Ｂのロゴ１４３０Ｂは、図１５のように、アイコン大のロゴ“Ｌ”に縮小するようにアニメーション化されてもよい。例えば、制御コンポーネント１０４は、ロゴ１４３０Ｂが第１のサイズ又はフル・サイズで表示される時間を判断することができる。該表示される時間の終了後、ＨＵＤコンポーネント１００は、より小さいサイズ、アイコンのサイズ又は第２のサイズでロゴ“Ｌ”を投影することができる。制御コンポーネント１０４は、対応するオブジェクト（例えば、レストラン、店舗、目印等）までの距離に基づいて、該ロゴに対する表示期間を決定することができる。   FIG. 15 is an illustration of an example scene 1500 related to 3-D navigation, according to one or more embodiments. The HUD component 100 can project navigation instructions in the text box 1130 and one or more avatars 1002A, 1002B, 1002C, 1002D, 1002E, and the like. Further, the HUD component 100 can highlight the path or path presented by each avatar 1002A, 1002B, 1002C, 1002D, or 1002E, for example by flashing the avatar in order. The HUD component 100 moves one or more of the avatars 1002A, 1002B, 1002C, 1002D, or 1002E around an object that the avatar has detected by the sensor component 570, such as a dangerous situation, road condition, or other vehicle. Can be projected to appear to navigate, drive or move. The logo 1430B of FIG. 14B may be animated to reduce to an icon-sized logo “L” as shown in FIG. For example, the control component 104 can determine the time for which the logo 1430B is displayed in a first size or full size. At the end of the displayed time, the HUD component 100 can project the logo “L” in a smaller size, icon size, or second size. The control component 104 can determine a display period for the logo based on the distance to the corresponding object (eg, restaurant, store, landmark, etc.).

１つ又は複数の実施形態において、乗員がフロント・ガラスを通して乗り物前方の外を見ているとき等に、まだ乗り物の乗員の視界又は範囲に入っていない１つ又は複数の障害物又はオブジェクトに関する早期検出警告を表示することができる。図１６Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１６００の説明図である。図１６Ａの例では、乗り物が走行している又は走行することが予想される経路に沿って１つ又は複数の交通状況に対する交通状況情報を、乗り物制御コンポーネント１８０によって受信することができる。図１６Ａで、乗り物制御コンポーネント１８０は、乗り物前方の経路の１つ又は複数の経路群部分に沿って、工事を示す交通状況情報を受信することができる。言い換えれば、ナビゲーション命令に従うならば乗り物が選択することになる道路区間に沿って工事が行われている。別の方法で説明すると、乗り物が工事現場に到着する前に、乗り物制御コンポーネント１８０によって工事の発生を受信することができる。   In one or more embodiments, an early stage for one or more obstacles or objects that are not yet within the vehicle occupant's field of view or range, such as when the occupant is looking out the front of the vehicle through the windshield. A detection warning can be displayed. FIG. 16A is an illustration of an example scene 1600 associated with 3-D navigation, according to one or more embodiments. In the example of FIG. 16A, traffic condition information for one or more traffic conditions along a route that the vehicle is traveling or is expected to travel may be received by the vehicle control component 180. In FIG. 16A, the vehicle control component 180 can receive traffic status information indicating construction along one or more route group portions of the route ahead of the vehicle. In other words, construction is being carried out along the road section that the vehicle will select if the navigation instruction is followed. In other words, the occurrence of construction can be received by the vehicle control component 180 before the vehicle arrives at the construction site.

ＨＵＤコンポーネント１００は、テキスト、矢印、点滅矢印等を含むナビゲーション命令１１３０を投影することができる。アバター１００２Ａ及び１００２Ｂも、同様に投影することができる。１つ又は複数の実施形態においては、制御コンポーネント１０４は、乗り物を停止するよう運転者に提案する停止点又は停止線を決定することができる。例えば、制御部１０４は、他の乗り物、環境内の障害物、他の環境情報等の位置に基づいて停止点を決定することができる。制御コンポーネント１０４は、安全運転を促すための水平な線１６３０として、ＨＵＤコンポーネント１００に停止線を投影させることができる。他の実施形態では、ＨＵＤコンポーネント１００は、例えば、運転者の乗り物と前方の他の乗り物との間の安全な車間距離を示す垂直な線又は他のグラフィック要素を投影することができる。   The HUD component 100 can project navigation instructions 1130 that include text, arrows, blinking arrows, and the like. Avatars 1002A and 1002B can be similarly projected. In one or more embodiments, the control component 104 can determine a stop point or stop line that suggests to the driver to stop the vehicle. For example, the control unit 104 can determine the stop point based on the positions of other vehicles, obstacles in the environment, other environment information, and the like. The control component 104 can cause the HUD component 100 to project a stop line as a horizontal line 1630 to encourage safe driving. In other embodiments, the HUD component 100 may project a vertical line or other graphic element that indicates a safe inter-vehicle distance between the driver's vehicle and other vehicles ahead, for example.

上記のように、制御コンポーネント１０４は、該障害物（例えば、オブジェクト）又は交通状況を認識し、ＨＵＤコンポーネント１００に事前通知又は早期警告のグラフィック要素１６０２を投影させることができる。これによって、乗り物のフロント・ガラスから眺め又は外を見たときに、それぞれのオブジェクトが直接見えない場合でも、システム５００が乗り物の運転者や乗員に１つ又は複数のオブジェクト、危険状況、障害物、交通状況等について警告することが可能になる。図１６Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１６１０の説明図である。図１６Ｂでは、１６０２で対応付けられている交通状況や障害状況が前方遠くにあり、かつ、乗り物の運転者には見えてない可能性があることがわかる。したがって、ＨＵＤコンポーネント１００は、該乗り物に影響する工事を指摘し、かつ識別する事前通知用のグラフィック要素１６０２を投影することによって、（例えば、乗り物制御コンポーネント１８０によって受信される）危険状況、工事又はオブジェクトを識別することができる。例えば、図１６Ａでは、工事の場所が乗り物の左側なので、事前通知用のグラフィック要素１６０２に対応付けられたポインタ又はテールは、フロント・ガラスの視野領域の外側を指し示し、それによって乗り物の運転者や他の乗員に、工事が前方にあることを警告することができる。   As described above, the control component 104 can recognize the obstacle (eg, object) or traffic situation and cause the HUD component 100 to project a prior notification or early warning graphic element 1602. This allows the system 500 to provide one or more objects, hazards, and obstacles to the vehicle driver or occupant even when each object is not directly visible when viewed or viewed from the vehicle windshield. It is possible to warn about traffic conditions. FIG. 16B is an illustration of an example scene 1610 related to 3-D navigation, according to one or more embodiments. In FIG. 16B, it can be seen that the traffic situation or obstacle situation associated with 1602 is far away and may not be visible to the driver of the vehicle. Accordingly, the HUD component 100 projects a hazard element (eg, received by the vehicle control component 180), a hazard or construction by proactive graphic elements 1602 that point out and identify construction that affects the vehicle. The object can be identified. For example, in FIG. 16A, because the construction site is on the left side of the vehicle, the pointer or tail associated with the advance notice graphic element 1602 points outside the field of view of the windshield, thereby Other occupants can be warned that construction is ahead.

制御コンポーネント１０４は、１つ又は複数の目標位置を決定し、ＨＵＤコンポーネント１００によって投影された１つ又は複数のグラフィック要素の目標位置を更新又は調整するができる。例えば、制御コンポーネント１０４は、事前通知用グラフィック要素１６０２によって対応付けられている又は指示されるオブジェクトから該乗り物までの距離に基づいて、事前通知用グラフィック要素１６０２の目標位置を選択又は決定することができる。ここで、制御コンポーネント１０４は、事前通知用グラフィック要素１６０２に対応付けられた工事（例えば、オブジェクト）が、該乗り物から閾値距離よりも大きく離れていると判断することができる（例えば、ナビゲーション・コンポーネント５４０を利用して、該乗り物の現在のＧＰＳ位置を決定し、乗り物制御コンポーネント１８０によって提供される工事の座標と比較する）。工事が該閾値距離よりも大きく離れていると判断されるので、ＨＵＤコンポーネント１００は、工事と近い、重なり合った又は、隣り合ったグラフィック要素を投影するのではなく、閾値距離よりも大きな長さのポインタを用いて、空中に事前通知用グラフィック要素１６０２を投影することができる。   The control component 104 can determine one or more target positions and update or adjust the target position of the one or more graphic elements projected by the HUD component 100. For example, the control component 104 may select or determine the target location of the advance notification graphic element 1602 based on the distance from the object associated or indicated by the advance notification graphic element 1602 to the vehicle. it can. Here, the control component 104 can determine that the construction (for example, the object) associated with the advance notification graphic element 1602 is farther than the threshold distance from the vehicle (for example, the navigation component). 540 is used to determine the current GPS position of the vehicle and compare it to the construction coordinates provided by the vehicle control component 180). Since it is determined that the construction is farther than the threshold distance, the HUD component 100 does not project graphic elements that are close, overlapping or adjacent to the construction, but have a length greater than the threshold distance. Using the pointer, the advance notification graphic element 1602 can be projected into the air.

図１７Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１７００の説明図である。乗り物が、事前通知用グラフィック要素１６０２によって示される工事のようなオブジェクトに接近するに連れて、制御コンポーネント１０４は、各グラフィック要素（例えば、１６０２）の配置又は目標位置を調整することができる。さらに、制御コンポーネント１０４は、表示するグラフィック要素の種類を変更することができる。例えば、図１７Ａでわかるように、事前通知用グラフィック要素１６０２には、図１６Ａ又は図１６Ｂで以前用いられていたようなポインタが含まれていない。ここでは、該乗り物と該オブジェクト（例えば、工事）との間の接近度が閾値距離未満であるので、制御コンポーネント１０４は、ポインタを省略できると判断することができる。ここで、ＨＵＤコンポーネント１００は、アバター１００２、事前通知用グラフィック要素１６０２及び危険状況グラフィック要素１７０４Ａを投影することができる。   FIG. 17A is an illustration of an example scene 1700 related to 3-D navigation, according to one or more embodiments. As the vehicle approaches an object, such as construction, indicated by the advance notice graphic element 1602, the control component 104 can adjust the placement or target position of each graphic element (eg, 1602). Further, the control component 104 can change the type of graphic element to be displayed. For example, as can be seen in FIG. 17A, the advance notification graphic element 1602 does not include a pointer as previously used in FIG. 16A or 16B. Here, since the degree of approach between the vehicle and the object (for example, construction) is less than the threshold distance, the control component 104 can determine that the pointer can be omitted. Here, the HUD component 100 can project the avatar 1002, the advance notification graphic element 1602, and the dangerous situation graphic element 1704A.

例えば、乗り物制御コンポーネント１８０又はセンサ・コンポーネント５４０が、建設中の道路区間等のような、危険状況、障害状況、障害物又は、他の走行不可能なオブジェクトを識別すると、制御コンポーネント１０４は、ＨＵＤコンポーネント１００に、危険状況に重なるようにして危険状況グラフィック要素１７０４Ａのような危険状況グラフィック要素を投影させることができる。奥行きバッファ・コンポーネント５６０は、危険状況が乗り物の乗員、操作員又は運転者の視界から隠れるように、実世界や実環境にある危険状況の１つ又は複数の部分の表示抑止を容易化することができる。言い換えれば、ＨＵＤコンポーネント１００は、不透明な又はさまざまな透明度を有するグラフィック要素を投影することができる。制御コンポーネント１０４が、ある領域、危険状況又はオブジェクトを超えて又はその上を運転できない又は運転するべきでないと判断した場合、ＨＵＤコンポーネント１００は、判断に従って危険状況グラフィック要素を投影し、該領域を「塗りつぶす」ことができる。   For example, if the vehicle control component 180 or sensor component 540 identifies a dangerous situation, obstacle situation, obstacle or other non-travelable object, such as a road segment under construction, the control component 104 may The component 100 can be projected with a dangerous situation graphic element, such as the dangerous situation graphic element 1704A, overlying the dangerous situation. Depth buffer component 560 facilitates deterring display of one or more parts of a dangerous situation in the real world or real environment so that the dangerous situation is hidden from view of the vehicle occupant, operator or driver. Can do. In other words, the HUD component 100 can project graphic elements that are opaque or have varying degrees of transparency. If the control component 104 determines that it cannot or should not drive over or over an area, danger situation or object, the HUD component 100 projects a danger situation graphic element according to the judgment and designates the area as “ Can be 'filled'.

図１７Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１７１０の説明図である。図１７Ｂにおいては、前記乗り物が図１７Ａで示した危険状況又は工事に接近したことが分かり、かつ、ＨＵＤコンポーネント１００は、それに応じて危険状況グラフィック要素１７０４Ｂの遠近を調整している。例えば、該乗り物は該工事までの距離が近いため、図１７Ｂの危険状況グラフィック要素１７０４Ｂは、図１７Ａの危険状況グラフィック要素１７０４Ａよりも面積が大きい。センサ・コンポーネント５４０又は乗り物制御コンポーネント１８０から受信し、環境内の危険状況、工事又はオブジェクトに関係する又は、関連付けられた情報は、制御コンポーネント１０４によって、グラフィック要素のサイズ、形状、型（例えば、誘導用アイコン、アバター、不明瞭さの度合い、透明度、色）、高さ、幅、奥行き、焦点面、色、目標位置を決定するために又は、グラフィック要素間の重なり又は奥行きマップ情報を識別するために用いることができる。言い換えれば、これらの属性は、乗り物制御コンポーネント１８０又は、センサ・コンポーネント５７０によって受信されたオブジェクト情報又は環境情報基づくことができる。１つ又は複数の実施形態では、該制御部は、グラフィック要素の色を、対向する交通状況、一日の時間帯、環境内のオブジェクトの色、交通ルール、等に基づいて選択又は変更することができる。   FIG. 17B is an illustration of an example scene 1710 related to 3-D navigation, according to one or more embodiments. In FIG. 17B, it can be seen that the vehicle has approached the danger situation or construction shown in FIG. 17A, and the HUD component 100 adjusts the perspective of the danger situation graphic element 1704B accordingly. For example, because the vehicle is close to the construction, the danger situation graphic element 1704B of FIG. 17B has a larger area than the danger situation graphic element 1704A of FIG. 17A. Information received from the sensor component 540 or the vehicle control component 180 and related to or associated with hazardous situations, constructions or objects in the environment is transmitted by the control component 104 to the size, shape, type (eg, guidance) of the graphic element. Icon, avatar, degree of ambiguity, transparency, color), height, width, depth, focal plane, color, to determine target position or to identify overlap or depth map information between graphic elements Can be used. In other words, these attributes can be based on object information or environmental information received by the vehicle control component 180 or the sensor component 570. In one or more embodiments, the controller selects or changes the color of the graphic element based on the opposing traffic conditions, the time of day, the color of objects in the environment, traffic rules, etc. Can do.

奥行きマップ・コンポーネント５５０は、乗り物の周囲の環境又は環境内のオブジェクトの奥行きマップを管理又は構築することができる。制御コンポーネント１０４は、奥行きマップを用いて、グラフィック要素に関して、オブジェクトが視認可能かどうか、透明かどうか、不透明かどうか等を決定することができる。例えば、前記工事（危険状況グラフィック要素１７０４Ａ又は１７０４Ｂの下に隠れている）には、交通規制用樽、セーフティ・コーン、破片、窪み、掘削、運転不可能な路面、等を含むことができる。本例では、制御コンポーネント１０４は、これらの側面は危険状況グラフィック要素１７０４Ａ及び１７０４Ｂの下に隠すべきであると判断されている。しかし、該環境内の他のオブジェクトは、必ずしも、危険状況グラフィック要素１７０４Ａ及び１７０４Ｂの下に隠す又は、下層におかれる必要はない。例えば、歩行者が工事を横切る場合、制御コンポーネント１０４は、該歩行者は隠すべきでないオブジェクトであると判断し、ＨＵＤコンポーネント１００に、危険状況グラフィック要素１７０４Ｂによって運転者の視野内で歩行者が見えにくくならないように危険状況グラフィック要素１７０４Ｂを投影させることができる（例えば、危険状況グラフィック要素１７０４Ｂを「通り抜けて」歩いている時）。言い換れば、制御コンポーネント１０４は、センサ・コンポーネント５４０又は乗り物制御コンポーネント１８０から受信した、環境内のオブジェクトの動き又は、オブジェクトの識別情報、オブジェクトの種類、オブジェクトのサイズ等の他のデータに基づいて、グラフィック要素の視認性、階層度、透明度、不透明度等を決定することができる。このように、奥行きマップ情報は、周囲の環境又は実世界に関する１つ又は複数のグラフィック要素の現実的な感覚を、乗り物の乗員、操作員又は運転者に提供するために、制御コンポーネント１０４又はＨＵＤコンポーネント１００によって用いられることができる。   The depth map component 550 can manage or build a depth map of the environment around the vehicle or objects in the environment. The control component 104 can use the depth map to determine whether the object is visible, transparent, opaque, etc. with respect to the graphic element. For example, the construction (hidden under the hazardous situation graphic element 1704A or 1704B) may include traffic control barrels, safety cones, debris, depressions, excavations, inoperable road surfaces, and the like. In this example, the control component 104 has determined that these aspects should be hidden under the hazard graphics elements 1704A and 1704B. However, other objects in the environment do not necessarily have to be hidden or placed underneath the hazard graphics elements 1704A and 1704B. For example, when a pedestrian crosses a construction, the control component 104 determines that the pedestrian is an object that should not be hidden, and the HUD component 100 can see the pedestrian within the driver's view by the hazardous situation graphic element 1704B. The dangerous situation graphic element 1704B can be projected so as not to be obstructed (eg, when walking “through” the dangerous situation graphic element 1704B). In other words, the control component 104 is based on object movement in the environment or other data received from the sensor component 540 or the vehicle control component 180, such as object identification information, object type, object size, etc. Thus, the visibility, hierarchical level, transparency, opacity, etc. of the graphic element can be determined. In this way, the depth map information can be used to control component 104 or HUD to provide a vehicle occupant, operator or driver with a realistic sense of one or more graphic elements related to the surrounding environment or the real world. Can be used by component 100.

図１８Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１８００の説明図である。１つ又は複数のオブジェクトが、（例えば、乗り物制御コンポーネント１８０によって受信された環境情報によって）乗り物の通路内又は予想経路に沿って存在することが（例えば、センサ・コンポーネント５７０によって）検出された場合、制御コンポーネント１０４は、ＨＵＤコンポーネント１００に、グラフィック要素及び／又はポインタで、それぞれのオブジェクトを協調表示又は追跡させることができる。例えば、乗り物がナビゲーション命令１１３０及びアバター１００２Ａ、１００２Ｂ及び１００２Ｃによって示されていた右折に近づいているとき、センサ・コンポーネント５７０は、乗り物が右折すると予想される道路区間付近に歩行者１８３２を検出する可能性がある。その結果、制御コンポーネント１０４はＨＵＤコンポーネント１００に指示して、該歩行者１８３２の所にグラフィック要素１８３４を投影することができる。１つ又は複数の実施形態において、ＨＵＤコンポーネント１００は、歩行者１８３２に重ねてグラフィック要素を投影することができる。さらに、ＨＵＤコンポーネント１００は、歩行者専用道路との交差点を示す標識を表わしているグラフィック要素１８０４を投影することができる。   FIG. 18A is an illustration of an example scene 1800 related to 3-D navigation, according to one or more embodiments. When one or more objects are detected to be present (eg, by sensor component 570) in a vehicle path or along an expected path (eg, by environmental information received by vehicle control component 180) The control component 104 can cause the HUD component 100 to collaboratively display or track each object with graphical elements and / or pointers. For example, when the vehicle is approaching a right turn as indicated by navigation instructions 1130 and avatars 1002A, 1002B, and 1002C, sensor component 570 can detect pedestrian 1832 near the road segment where the vehicle is expected to turn right. There is sex. As a result, the control component 104 can instruct the HUD component 100 to project the graphic element 1834 at the pedestrian 1832. In one or more embodiments, the HUD component 100 can project graphic elements over the pedestrian 1832. Further, the HUD component 100 can project a graphic element 1804 representing a sign indicating an intersection with a pedestrian road.

乗り物及び歩行者１８３２が道路区間に沿って移動すると、両者間の相対的距離が変化する（例えば、該歩行者１８３２が移動する可能性、該乗り物が移動する可能性又は、該歩行者１８３２と該乗り物の両方が移動する可能性がある）。センサ・コンポーネント５７０は、この距離の変化を検出し、かつ、制御コンポーネント１０４又は乗り物制御コンポーネント１８０に該変化を通信するか又は距離を更新することができる。制御コンポーネント１０４は、１つ又は複数のグラフィック要素（例えば、１８３２又は１８３４）の目標位置を更新、変更又は追跡することができる。言い換えれば、制御コンポーネント１０４は、１つ又は複数のグラフィック要素のための１つ又は複数の焦点面をオブジェクト情報や環境情報に基づいて調整することができる。前述のように、焦点面上のグラフィック要素の投影に関連するアクチュエータは、制御コンポーネント１０４によって、焦点面を移動、調整又は変更する（例えば、図３の視線１７８のような、運転者や乗員の視線の方向に沿って焦点面を移動させる）ように制御することができる。   When the vehicle and the pedestrian 1832 move along the road section, the relative distance between them changes (for example, the possibility that the pedestrian 1832 moves, the possibility that the vehicle moves, or the pedestrian 1832 Both of the vehicles may move). The sensor component 570 can detect this change in distance and communicate the change to the control component 104 or the vehicle control component 180 or update the distance. The control component 104 can update, change or track the target position of one or more graphic elements (eg, 1832 or 1834). In other words, the control component 104 can adjust one or more focal planes for one or more graphic elements based on object information or environmental information. As previously described, the actuators associated with the projection of the graphic elements on the focal plane move, adjust or change the focal plane by the control component 104 (e.g., driver or occupant, such as line of sight 178 in FIG. 3). The focal plane is moved along the direction of the line of sight).

図１８Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１８１０の説明図である。図１８Ｂでは、ＨＵＤコンポーネント１００は、複数の歩行者１８３２及び１８４２に対応する複数のグラフィック要素１８３４及び１８４４を、それぞれ、投影することができる。さらに、ＨＵＤコンポーネント１００は、１つ又は複数のグラフィック要素を、１８０２又は１８０４にあるような表示として投影することができる。   FIG. 18B is an illustration of an example scene 1810 associated with 3-D navigation, according to one or more embodiments. In FIG. 18B, the HUD component 100 can project a plurality of graphic elements 1834 and 1844 corresponding to a plurality of pedestrians 1832 and 1842, respectively. Further, the HUD component 100 can project one or more graphic elements as a display as at 1802 or 1804.

図１９Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１９００の説明図である。１つ又は複数の実施形態において、３Ｄナビゲーション・システム５００によって、乗り物の乗員が該乗り物と環境内のオブジェクトに関して相互交信することが可能になる。すなわち、乗員は、質問（「あれは何か」、「あれはすばらしい」）を発する又は、意見を（例えば、口頭又はテキスト入力で）述べ、かつ、回答としてグラフィック要素の投影を受けとることができる。例えば、センサ・コンポーネント５７０は、１つ又は複数の質問、要求又は指示を、乗り物のユーザ、乗員又は運転者から受けることができる。ここで、該乗り物の乗員は、「右側のあれは何か？」と質問している。ＨＵＤコンポーネント１００は、テキスト・ボックスのグラフィック要素１９０４を用いて、受取り確認を表示するか又は、質問又は要求を復唱することができる。１つ又は複数の実施形態では、アバター１００ ２でわかるように、ナビゲーション中に質問又は要求をすることが可能である。１つ又は複数の他の部分を、１つ又は複数の要求又は指示の履行を容易にするために用いることができる。例えば、携帯機器が該システム５００に通信で接続されている場合は、「右のレストランに電話をする」と指示されたとき、制御コンポーネント１０４は携帯機器に商業施設の電話番号にダイヤルさせることができる。別の例として、制御部１０４は、「私にレストランＸの予約をさせる」に応答して、携帯機器又は該乗り物に搭載されているレストラン予約アプリケーションと交信することができる。他の指示や要求では、「私にメニューを読んで」というように、該乗り物のオーディオ・システムを利用することができる。   FIG. 19A is an illustration of an example scene 1900 related to 3-D navigation, in accordance with one or more embodiments. In one or more embodiments, the 3D navigation system 500 allows a vehicle occupant to interact with the vehicle in relation to objects in the environment. That is, the occupant can ask questions ("what is that", "that is great") or state an opinion (eg, verbally or by text input) and receive a projection of a graphic element as an answer. . For example, the sensor component 570 can receive one or more questions, requests or instructions from a vehicle user, occupant or driver. Here, the passenger of the vehicle asks "What is that on the right side?" The HUD component 100 can use the text box graphic element 1904 to display an acknowledgment or repeat the question or request. In one or more embodiments, as can be seen by the avatar 1002, it is possible to ask or ask questions during navigation. One or more other portions can be used to facilitate the fulfillment of one or more requests or instructions. For example, if a mobile device is communicatively connected to the system 500, the control component 104 may cause the mobile device to dial the telephone number of the commercial facility when instructed to “call the right restaurant”. it can. As another example, the control unit 104 can communicate with a restaurant reservation application installed in the mobile device or the vehicle in response to “Make reservation for restaurant X”. For other instructions and requests, the vehicle's audio system can be used, such as “read me a menu”.

図１９Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例１９１０の説明図である。制御コンポーネント１０４は、１９０４に対応する要求を処理又はナビゲーション・コンポーネント５４０に送り、商業施設、レストラン等、該乗り物の近傍にあるオブジェクト判定することができる。制御コンポーネント１０４は、レストランのようなオブジェクトに関連付けられた情報を地図アプリケーション、遠隔サーバ等から受信することができる。このような情報には、時間、ロゴ、ステータス、商業施設の評価、連絡先情報、電話番号、メニュー、等のオブジェクトに関連するメタデータを含むことができる。ここで、ＨＵＤコンポーネント１００は、ロゴのグラフィック要素１４３０Ｂ、情報１９３０（例えば、電話番号、状態、時間など）及び、強調表示用グラフィック要素１９３２を投影することができる。上記投影によって、オブジェクト（たとえば、レストランや商業施設）の場所に注意を向けさせることができる。   FIG. 19B is an illustration of an example scene 1910 associated with 3-D navigation, according to one or more embodiments. The control component 104 can send a request corresponding to 1904 to the processing or navigation component 540 to determine objects in the vicinity of the vehicle, such as commercial facilities, restaurants, and the like. The control component 104 can receive information associated with an object, such as a restaurant, from a map application, a remote server, or the like. Such information may include metadata related to objects such as time, logo, status, commercial facility ratings, contact information, phone numbers, menus, and the like. Here, the HUD component 100 can project a logo graphic element 1430B, information 1930 (eg, phone number, status, time, etc.) and a highlight graphic element 1932. The projection can draw attention to the location of an object (eg, a restaurant or commercial facility).

図２０Ａは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例２０００の説明図である。１つ又は複数の実施形態において、ナビゲーション・コンポーネント５４０は、環境内の１つ又は複数のオブジェクトに関連付けられたメタデータを乗り物制御コンポーネント１８０に提供することができる。例えば、環境内のオブジェクトの１つ又は複数が、建物や商業施設である可能性がある。ナビゲーション・コンポーネント５４０は、それぞれの建物や商業施設に関するアドレス情報をダウンロード又は受信することができる。該アドレス情報は、ＨＵＤコンポーネント１００によってグラフィック要素として投影することができる。例えば、建物２００２、２００４及び２００６のアドレスを、ＨＵＤコンポーネント１００によって表示することができる。１つ又は複数の実施形態において、制御コンポーネント１０４は、アドレスのグラフィック要素の表示を、例えば、乗り物が目的位置との閾値距離内に入ったとき又は、ユーザ要求時に、有効にすることができる。他の実施形態では、アドレスのグラフィック要素を、ナビゲーションモード中にアバター１００２によって示されるような方向指示がナビゲーション・コンポーネント５４０によって表示される場合等に、投影することができる。   FIG. 20A is an illustration of an example scene 2000 associated with 3-D navigation, according to one or more embodiments. In one or more embodiments, the navigation component 540 can provide the vehicle control component 180 with metadata associated with one or more objects in the environment. For example, one or more of the objects in the environment may be a building or a commercial facility. The navigation component 540 can download or receive address information for each building or commercial facility. The address information can be projected as graphic elements by the HUD component 100. For example, the addresses of buildings 2002, 2004, and 2006 can be displayed by the HUD component 100. In one or more embodiments, the control component 104 can enable display of the address graphic element, for example, when the vehicle falls within a threshold distance from the destination location or upon user request. In other embodiments, the graphic element of the address can be projected, such as when a direction indication as shown by the avatar 1002 is displayed by the navigation component 540 during navigation mode.

図２０Ｂは、１つ又は複数の実施形態による、３−Ｄナビゲーションに関連する場面の１例２０１０の説明図である。本例では、センサ・コンポーネント５７０又はナビゲーション・コンポーネント５４０は、１つ又は複数の駐車地点を識別することができる。その結果、制御コンポーネント１０４は、ＨＵＤコンポーネント１００に、乗り物の乗員の視野内に駐車地点を示すグラフィック要素２０３０を投影させることができる。該グラフィック要素２０３０は、事前通知のグラフィック要素として表示され、ポインタを有し、透明度、色、形状、サイズ等のような属性を有し又は、本明細書に記載したような、オブジェクトのメタデータ（例えば、駐車料金、時間制限等）を含むことができる。   FIG. 20B is an illustration of an example scene 2010 related to 3-D navigation, according to one or more embodiments. In this example, sensor component 570 or navigation component 540 can identify one or more parking spots. As a result, the control component 104 can cause the HUD component 100 to project a graphic element 2030 that indicates a parking spot within the field of view of the vehicle occupant. The graphic element 2030 is displayed as a pre-notification graphic element, has a pointer, has attributes such as transparency, color, shape, size, etc., or object metadata as described herein (For example, parking fees, time restrictions, etc.).

図２１は、１つ又は複数の実施形態による、３−Ｄナビゲーション用方法のフロー図の１例２１００の説明図である。２１０２では、方法２１００を開始する。２１０４において、１つ又は複数のオブジェクトを追跡する又は、各オブジェクトに対応するメタデータを受信することができる。さらに、環境又は、起点位置から目的位置までの経路に関連する情報を受信することができる。２１０６において、１つ又は複数のオブジェクトに関連して投影する複数のグラフィック要素に対して、１つ又は複数の焦点面又は更新焦点面を計算することができる。２１０８において、１つ又は複数のグラフィック要素を、１つ又は複数の焦点面又は、それぞれのオブジェクト上に、レンダリング又は、投影することができる。２１１０で、１つ又は複数のオブジェクトに関連するグラフィック要素の追跡又は、投影を継続するか否かに関して判断することができる。追加の追跡が望ましいと判断した場合は、方法２１００は２１０４に戻って継続される。追加の追跡が必要ない場合、該方法は２１１２で終了することができる。   FIG. 21 is an illustration of an example flow 2100 of a 3-D navigation method flow diagram according to one or more embodiments. At 2102, the method 2100 begins. At 2104, one or more objects can be tracked or metadata corresponding to each object can be received. Furthermore, information related to the environment or a route from the starting position to the target position can be received. At 2106, one or more focal planes or updated focal planes can be calculated for a plurality of graphic elements that project in relation to one or more objects. At 2108, one or more graphic elements can be rendered or projected onto one or more focal planes or respective objects. At 2110, a determination can be made regarding whether to continue tracking or projecting graphic elements associated with one or more objects. If it is determined that additional tracking is desired, the method 2100 continues back to 2104. If no additional tracking is required, the method can end at 2112.

さらに別の実施形態では、本明細書で開示する技術の１つ又は複数の実施形態を実装するように構成された、プロセッサ実行可能命令を含むコンピュータ可読媒体が含まれる。前記方法で考案されたコンピュータ可読媒体又は、コンピュータ可読デバイスの実施形態が図２２に示されている。図２２では、実装２２００には、コンピュータ可読データ２２０６が符号化されて記録されているＣＤ−Ｒ、ＤＶＤ−Ｒ、フラッシュ・ドライブ、ハード・ディスク・ドライブのプラッタのような、コンピュータ可読媒体２２０８が含まれる。２２０６に示すような、複数の０又は１を含むバイナリ・データ等のコンピュータ可読データ２２０６には、本明細書に記載の原理の１つ又は複数に従って動作するように構成されたコンピュータ命令のセットを順に含んでいる。このような一実施形態２２００では、プロセッサ実行可能なコンピュータ命令２２０４が、図６の方法６００又は、図２１の方法２１００のような方法２２０２を実行するように構成されている。別の実施形態では、図５のシステム５００のようなシステムを実装するように、プロセッサ実行可能命令２２０４を構成している。上記のようなコンピュータ可読媒体の多くは、本明細書で紹介した技術に従って動作するように、本技術分野の当業者によって考案される。   In yet another embodiment, a computer-readable medium that includes processor-executable instructions configured to implement one or more embodiments of the technology disclosed herein is included. An embodiment of a computer readable medium or computer readable device devised by the method is shown in FIG. In FIG. 22, implementation 2200 includes a computer readable medium 2208, such as a CD-R, DVD-R, flash drive, hard disk drive platter, on which computer readable data 2206 is encoded and recorded. included. Computer readable data 2206, such as binary data containing a plurality of 0s or 1s, as shown at 2206, includes a set of computer instructions configured to operate in accordance with one or more of the principles described herein. Includes in order. In one such embodiment 2200, processor-executable computer instructions 2204 are configured to perform method 2202 such as method 600 of FIG. 6 or method 2100 of FIG. In another embodiment, the processor executable instructions 2204 are configured to implement a system such as the system 500 of FIG. Many of the above computer readable media are devised by those skilled in the art to operate in accordance with the techniques introduced herein.

本願で使用されるように、「コンポーネント」、「モジュール」、「システム」、「インタフェース」等の用語は、一般に、コンピュータに関連する実体、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア又は実行中のソフトウェアのどれかを指すように意図されている。例えば、一つのコンポーネントは、プロセッサ上で実行中のプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行スレッド、プログラム又は、コンピュータである可能性があるが、これに限定されない。説明によっては、制御部で実行中のアプリケーション及び、該制御部の両方ともがコンポーネントであり得る。プロセス又は、実行スレッド内に存在する１つ又は複数のコンポーネント及び、１つのコンポーネントが１台のコンピュータに局在又は、２台以上のコンピュータ間に分散することができる。   As used herein, the terms “component”, “module”, “system”, “interface”, etc., generally refer to computer-related entities, hardware, a combination of hardware and software, software or running Is intended to point to any of the software. For example, a component can be, but is not limited to being, a process running on a processor, a processor, an object, an executable, an execution thread, a program, or a computer. Depending on the description, both the application running on the control unit and the control unit may be components. One or more components present in a process or execution thread and one component can be localized on one computer or distributed between two or more computers.

さらに、特許請求された主題は、開示された主題を実装するコンピュータを制御するソフトウェア、ファームウェア、ハードウェア又は、それらの任意の組み合わせを製造するために標準プログラミング又はエンジニアリングの技術を用いた、方法、装置又は製造物品として実現される。本明細書で使用される用語「製造物品」は、任意のコンピュータ可読デバイス、コンピュータ可読キャリア又はコンピュータ可読媒体からアクセス可能なコンピュータプログラムを包含することを意図している。もちろん、特許請求された主題の範囲又は思想から逸脱することなく、該構成に多くの改変を加えることができる。   Further, the claimed subject matter uses methods of standard programming or engineering to produce software, firmware, hardware, or any combination thereof that controls a computer that implements the disclosed subject matter, Realized as a device or manufactured article. The term “article of manufacture” as used herein is intended to encompass a computer program accessible from any computer readable device, computer readable carrier, or computer readable medium. Of course, many modifications may be made to the structure without departing from the scope or spirit of the claimed subject matter.

図２３及び、以下の議論では、本明細書に記載された１つ又は複数の条件の実施形態の実施に適したコンピューティング環境について説明する。
図２３の動作環境は、適切な動作環境の単なる一例であり、動作環境の使用範囲又は機能範囲に関して何ら限定を示唆するものではない。例示のコンピューティング・デバイスには、パーソナル・コンピュータ、サーバ・コンピュータ、ハンドヘルド・デバイス又はラップトップ・デバイス、携帯電話、携帯情報端末（ＰＤＡ）、メディア・プレーヤ等のモバイル機器、マルチプロセッサ・システム、消費者向け電子機器、ミニ・コンピュータ、メインフレーム・コンピュータ、任意の上記システム又はデバイスを含む分散コンピューティング環境、等がある。 FIG. 23 and the following discussion describe a computing environment suitable for implementing one or more of the condition embodiments described herein.
The operating environment of FIG. 23 is merely an example of a suitable operating environment, and does not suggest any limitation as to the usage range or functional range of the operating environment. Exemplary computing devices include personal computers, server computers, handheld or laptop devices, mobile devices such as mobile phones, personal digital assistants (PDAs), media players, multiprocessor systems, consumption Consumer electronics, mini computers, mainframe computers, distributed computing environments including any of the above systems or devices, and the like.

一般に、実施形態は、１つ又は複数のコンピューティング・デバイスによって実行される「コンピュータ可読命令」の概略的な流れで説明されている。コンピュータ可読命令は、後述するように、コンピュータ可読媒体によって配布される。コンピュータ可読命令は、１つ又は複数のタスクを実行するか又は、１つ又は複数の抽象データ型を実装するような、関数、オブジェクト、アプリケーション・プログラミング・インタフェース（ＡＰＩ）、データ構造等のプログラム・モジュールとして実装される。通常、コンピュータ可読命令の機能は、さまざまな環境に望ましいように組み合わせられるか、又は分散されている。   In general, embodiments are described in the general flow of “computer readable instructions” executed by one or more computing devices. The computer readable instructions are distributed by computer readable media as described below. A computer readable instruction is a program, such as a function, object, application programming interface (API), data structure, etc., that performs one or more tasks or implements one or more abstract data types. Implemented as a module. In general, the functionality of computer readable instructions may be combined or distributed as desired in various environments.

図２３は、本明細書で提供される１つ又は複数の実施形態を実装するように構成されたコンピューティング・デバイス２３１２を含むシステム２３００の説明図である。一つの構成では、コンピューティング・デバイス２３１２は、１つ又は複数の処理ユニット２３１６及びメモリ２３１８を含む。メモリ２３１８は、コンピューティング・デバイスの詳細な構成及び種類に応じて、ＲＡＭのような不揮発性にすることができ、ＲＯＭ、フラッシュ・メモリのような揮発性にすることができ又はその２つの組み合わせにすることができる。該構成は、図２３では、破線２３１４で示されている。   FIG. 23 is an illustration of a system 2300 that includes a computing device 2312 configured to implement one or more embodiments provided herein. In one configuration, computing device 2312 includes one or more processing units 2316 and memory 2318. The memory 2318 can be non-volatile, such as RAM, volatile, such as ROM, flash memory, or a combination of the two, depending on the detailed configuration and type of computing device. Can be. This configuration is indicated by the dashed line 2314 in FIG.

他の実施形態において、デバイス２３１２は、追加の特徴又は機能を有する。例えば、デバイス２３１２は、着脱可能な記憶装置又は、着脱不可能な記憶装置を有することができる。これには、磁気記憶装置、光学記憶装置等の付加的な記憶装置を含むが、これらに限定されない。このような付加的な記憶装置は、図２３では、記憶部２３２０で示されている。１つ又は複数の実施形態では、本明細書で提供される１つ又は複数の実施形態を実装するコンピュータ可読命令は、記憶部２３２０に格納されている。記憶部２３２０には、オペレーティング・システム、アプリケーション・プログラム等を実装する他のコンピュータ可読命令を格納することができる。コンピュータ可読命令は、例えば、処理ユニット２３１６による実行の為にメモリ２３１８にロードされる。   In other embodiments, device 2312 has additional features or functions. For example, the device 2312 can include a removable storage device or a non-removable storage device. This includes, but is not limited to, additional storage devices such as magnetic storage devices and optical storage devices. Such an additional storage device is indicated by a storage unit 2320 in FIG. In one or more embodiments, computer readable instructions that implement one or more embodiments provided herein are stored in storage 2320. The storage unit 2320 can store other computer-readable instructions that implement an operating system, application programs, and the like. Computer readable instructions are loaded into memory 2318 for execution by processing unit 2316, for example.

本明細書で使用される用語「コンピュータ可読媒体」には、コンピュータ記憶媒体を含む。コンピュータ記憶媒体には、コンピュータ可読命令又は他のデータのような情報を記憶するための任意の方法又は技術が実装された、揮発性及び不揮発性の、着脱可能及び着脱不可能な媒体を含む。メモリ２３１８と記憶部２３２０は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ又は他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又は他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置又は、所望の情報を格納するために使用することができ、かつ、デバイス２３１２によってアクセスすることができる、その他の任意の媒体が含まれるが、これに限定されない。上記のような任意のコンピュータ記憶媒体が、デバイス２３１２の一部である。   The term “computer-readable medium” as used herein includes computer storage media. Computer storage media includes volatile and non-volatile removable and non-removable media implemented with any method or technique for storing information such as computer-readable instructions or other data. The memory 2318 and the storage unit 2320 are examples of computer storage media. Computer storage media include RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital versatile disk (DVD) or other optical storage device, magnetic cassette, magnetic tape, magnetic disk storage device or This includes, but is not limited to, other magnetic storage devices or any other medium that can be used to store desired information and that can be accessed by device 2312. Any computer storage medium as described above is part of device 2312.

用語「コンピュータ可読媒体」には、通信媒体が含まれる。通信媒体には、通常、コンピュータ可読命令又は他のデータが、搬送波又は他の伝送機構のような「変調データ信号」の形で取り込まれ、かつ、任意の情報配信媒体が含まれる。用語「変調データ信号」には、情報を信号に符号化するように設定又は変更された１つ又は複数の特性を有する信号が含まれる。   The term “computer-readable medium” includes communication media. Communication media typically embodies computer readable instructions or other data in the form of a “modulated data signal” such as a carrier wave or other transport mechanism, and includes any information delivery media. The term “modulated data signal” includes a signal that has one or more of its characteristics set or changed in such a manner as to encode information in the signal.

デバイス２３１２には、キー・ボード、マウス、ペン、音声入力装置、タッチ入力装置、赤外線カメラ、ビデオ入力装置又は他の任意の入力デバイスのような、入力デバイス（複数可）２３２４が含まれる。１つ又は複数のディスプレイ、スピーカ、プリンタ又は他の任意の出力デバイスのような出力デバイス（複数可）２３２２を、デバイス２３１２に含むことができる。入力デバイス（複数可）２３２４と出力デバイス（複数可）２３２２は、有線接続、無線接続又はそれらの任意の組み合わせを介してデバイス２３１２と接続される。１つ又は複数の実施形態において、別のコンピューティング・デバイスからの入力デバイス又は出力デバイス（複数可）が、コンピューティング・デバイス２３１２用の入力装置（複数可）２３２４又は出力デバイス（複数可）２３２２として使用される。デバイス２３１２は、１つ又は複数の他のデバイスとの通信を容易にするために、通信接続部（複数可）２３２６を含むことができる。   Devices 2312 include input device (s) 2324 such as a keyboard, mouse, pen, voice input device, touch input device, infrared camera, video input device or any other input device. The device 2312 can include output device (s) 2322 such as one or more displays, speakers, printers or any other output device. Input device (s) 2324 and output device (s) 2322 are connected to device 2312 via a wired connection, a wireless connection, or any combination thereof. In one or more embodiments, input device (s) or output device (s) from another computing device may be input device (s) 2324 or output device (s) 2322 for computing device 2312. Used as. Device 2312 may include communication connection (s) 2326 to facilitate communication with one or more other devices.

１つ又は複数の実施形態によれば、起点位置と目的位置を受信するように構成されたナビゲーション・コンポーネントを具備する、３次元（３−Ｄ）ナビゲーション・システムが提供される。該ナビゲーション・コンポーネントは、一つの乗り物に対応付けられ、起点位置から目的位置への経路を生成するように構成することができる。該経路の１つ又は複数の部分には、１つ又は複数の道路区間又は該道路区間の１つ又は複数の交差点に関連する１つ又は複数のナビゲーション命令を含むことができる。該システムは、乗り物の周囲環境の周りの１つ又は複数の焦点面上に１つ又は複数のグラフィック要素を投影するように構成されたヘッド・アップ・ディスプレイ（ＨＵＤ）コンポーネントを含むことができる。該ＨＵＤコンポーネントは、該経路に基づいて、該乗り物の乗員の視野に１つ又は複数のグラフィック要素を投影するように構成することができる。該システムは、１つ又は複数のグラフィック要素の１つ又は複数の焦点面と該乗り物との間の距離を、該経路の１つ又は複数の部分に対応する１つ又は複数の道路状況及び該乗り物の現在位置に基づいて、調整するように構成された制御コンポーネントを含むことができる。   According to one or more embodiments, a three-dimensional (3-D) navigation system is provided that includes a navigation component configured to receive an origin location and a destination location. The navigation component is associated with one vehicle and can be configured to generate a route from a starting position to a destination position. One or more portions of the route may include one or more navigation instructions associated with one or more road sections or one or more intersections of the road sections. The system may include a head up display (HUD) component configured to project one or more graphic elements onto one or more focal planes around the vehicle's surrounding environment. The HUD component may be configured to project one or more graphic elements onto the vehicle occupant's field of view based on the path. The system determines a distance between one or more focal planes of one or more graphic elements and the vehicle, one or more road conditions corresponding to one or more portions of the route, and the A control component can be included that is configured to adjust based on the current position of the vehicle.

１つ又は複数の実施形態では、該制御コンポーネントは、１つ又は複数の道路状況や乗り物の現在位置に基づいて、１つ又は複数のグラフィック要素の目標位置を調節するように構成することができる。前記システムは、１つ又は複数の道路状況を受信するように構成された乗り物制御コンポーネントを含むことができる。さらに、該システムは、１つ又は複数の道路状況を検出するように構成されたセンサ・コンポーネントを含むことができる。該１つ又は複数の道路状況のうちのある一つの道路状況には、１つ又は複数の道路区間の交通情報、又は、１つ又は複数の該道路区間に対応する速度制限情報を含むことができる。さらに、道路状況には、例えば、障害状況、障害物、歩行者、破片又は窪みを含むことができる。   In one or more embodiments, the control component can be configured to adjust the target position of one or more graphic elements based on one or more road conditions or the current position of the vehicle. . The system can include a vehicle control component configured to receive one or more road conditions. Further, the system can include a sensor component configured to detect one or more road conditions. One road condition of the one or more road conditions may include traffic information of one or more road sections or speed limit information corresponding to the one or more road sections. it can. Furthermore, the road conditions can include, for example, obstacle conditions, obstacles, pedestrians, debris or depressions.

前記システムは、乗り物の周囲環境の奥行きマップを構築するように構成された奥行きマップ・コンポーネントを含むことができる。該ＨＵＤコンポーネントは、該環境の奥行きマップに基づいて、１つ又は複数のグラフィック要素を投影するように構成することができる。奥行きマップ・コンポーネントは、奥行き情報に基づく奥行きマップを構築するように構成することができる。１つ又は複数の実施形態において、該システムは、乗り物の周囲環境からの奥行き情報を検出するように構成されたセンサ・コンポーネントを含むことができる。該奥行きマップ・コンポーネントは、テレマティックス・チャネルに基づく奥行きマップを受信するように構成することができる。該システムは、該奥行きマップに基づいて、１つ又は複数のグラフィック要素の１つ又は複数の部分のレンダリングを有効又は無効にするように構成された奥行きバッファ・コンポーネントを含むことができる。   The system can include a depth map component configured to build a depth map of the surrounding environment of the vehicle. The HUD component can be configured to project one or more graphic elements based on a depth map of the environment. The depth map component can be configured to build a depth map based on the depth information. In one or more embodiments, the system can include a sensor component configured to detect depth information from the vehicle's surrounding environment. The depth map component can be configured to receive a depth map based on a telematics channel. The system can include a depth buffer component configured to enable or disable rendering of one or more portions of one or more graphic elements based on the depth map.

該ＨＵＤコンポーネントは、旗竿、マーカー、識別子のような１つ又は複数のグラフィック要素を、移動アバター又は表示位置確保記号として投影するように構成することができる。   The HUD component can be configured to project one or more graphic elements, such as flagpoles, markers, identifiers, as mobile avatars or display location securing symbols.

１つ又は複数の実施形態によれば、乗り物に対して起点位置から目的位置に至る経路を生成することを含む、３次元（３−Ｄ）ナビゲーションのための方法が提供される。該経路の１つ又は複数の部分には、１つ又は複数の道路区間又は該道路区間の１つ又は複数の交差点に関連する１つ又は複数のナビゲーション命令を含むことができる。該方法は、乗り物の周囲の環境の周りの１つ又は複数の焦点面上に、１つ又は複数のグラフィック要素を投影することを含むことができる。１つ又は複数のグラフィック要素を、該経路に基づいて該乗り物の乗員の視野に投影することができる。該方法は、１つ又は複数のグラフィック要素の１つ又は複数の焦点面と該乗り物との間の距離を、該経路の１つ又は複数の部分に関連する１つ又は複数の道路状況と乗り物の現在位置とに基づいて、調整することを含むことができる。該方法の１つ又は複数の部分は、処理ユニットを介して実行することができる。   According to one or more embodiments, a method for three-dimensional (3-D) navigation is provided that includes generating a route from a starting location to a destination location for a vehicle. One or more portions of the route may include one or more navigation instructions associated with one or more road sections or one or more intersections of the road sections. The method can include projecting one or more graphic elements onto one or more focal planes around the environment surrounding the vehicle. One or more graphic elements can be projected onto the occupant's field of view of the vehicle based on the path. The method includes determining a distance between one or more focal planes of one or more graphic elements and the vehicle, one or more road conditions and vehicles associated with one or more portions of the route. Adjusting based on the current position of the current position. One or more parts of the method may be performed via the processing unit.

該方法は、１つ又は複数のグラフィック要素の目標位置を、１つ又は複数の道路状況と乗り物の現在位置に基づいて調整することを含むことができる。該方法は、１つ又は複数の道路状況の受信又は検出を含むことができる。該１つ又は複数の道路状況のうちのある１つの道路状況には、１つ又は複数の該道路区間の交通情報、１つ又は複数の該道路区間に対応する速度制限情報、障害状況、障害物、歩行者、破片又は窪みを含むことができる。   The method may include adjusting the target position of the one or more graphic elements based on the one or more road conditions and the current position of the vehicle. The method can include receiving or detecting one or more road conditions. One road condition of the one or more road conditions includes traffic information of one or more of the road sections, speed limit information corresponding to the one or more of the road sections, fault conditions, and faults. It can include objects, pedestrians, debris or depressions.

前記方法は、特に、乗り物の周囲環境の奥行きマップを構築すること、該環境の奥行きマップに基づいて１つ又は複数のグラフィック要素を投影すること、乗り物の周囲環境から奥行き情報を検出すること、該検出した奥行き情報に基づいて奥行きマップを構築すること、奥行きマップに基づいて１つ又は複数のグラフィック要素の１つ又は複数の部分のレンダリングを有効化又は無効化することを含むことができる。   The method includes, among other things, constructing a depth map of the vehicle's ambient environment, projecting one or more graphic elements based on the environment's depth map, detecting depth information from the vehicle's ambient environment, Constructing a depth map based on the detected depth information can include enabling or disabling rendering of one or more portions of one or more graphic elements based on the depth map.

１つ又は複数の実施態様によると、コンピュータ可読記憶媒体には、コンピュータのステップユニットを介して実行されるときに複数の動作を行うコンピュータ実行可能命令が含まれる。該動作に含まれるステップには、乗り物に対して起点位置から目的位置に至る経路を生成するステップであって、該経路の１つ又は複数の部分が１つ又は複数の道路区間、又は道路区間の１つ又は複数の交差点に関連する１つ又は複数のナビゲーション命令を含むようなステップ、１つ又は複数のグラフィック要素を該乗り物の周囲環境の周りの１つ又は複数の焦点面に投影するステップであって、該グラフィック要素の１つ又は複数を該経路に基づいて該乗り物の乗員の視野に投影するようなステップ又は、該経路の１つ又は複数の部分に関連する１つ又は複数の道路状況と乗り物の現在位置とに基づいて、１つ又は複数のグラフィック要素の１つ又は複数の焦点面と乗り物との間の距離を調整するステップが含まれる。   According to one or more embodiments, a computer-readable storage medium includes computer-executable instructions that perform a plurality of operations when executed via a computer step unit. The step included in the operation is a step of generating a route from the starting position to the target position for the vehicle, wherein one or more parts of the route are one or more road sections, or road sections Projecting one or more graphical elements onto one or more focal planes around the vehicle's surrounding environment, including one or more navigation instructions associated with the one or more intersections Projecting one or more of the graphic elements onto a field of view of an occupant of the vehicle based on the route, or one or more roads associated with one or more portions of the route Adjusting the distance between one or more focal planes of the one or more graphic elements and the vehicle based on the situation and the current position of the vehicle is included.

１つ又は複数の実施形態においては、１つ又は複数のグラフィック要素を投影するステップは、ラスタ・ベースのグラフィックスを利用する。さらに、１つ又は複数の実施態様では、移動するアバターとして１つ又は複数のグラフィック要素を投影するステップ又は、１つ又は複数の異なる焦点面上に移動アバターを順次投影することによって、移動アバターをアニメーション化するステップを介して、１つ又は複数のナビゲーション命令を提供することを含む。   In one or more embodiments, projecting the one or more graphic elements utilizes raster-based graphics. Further, in one or more embodiments, the moving avatar is projected by projecting one or more graphic elements as moving avatars or sequentially projecting the moving avatar onto one or more different focal planes. Providing one or more navigation instructions via the animating step.

１つ又は複数の実施形態によれば、センサ・コンポーネント、ヘッド・アップ・ディスプレイ（ＨＵＤ）コンポーネント及び制御コンポーネントを含む、３次元（３−Ｄ）ナビゲーション・システムが提供される。該センサ・コンポーネントは、乗り物の周囲環境内の１つ又は複数のオブジェクト及び各オブジェクトに対応する該乗り物との相対的な座標を追跡することができる。ＨＵＤコンポーネントは、１つ又は複数の焦点面上に、１つ又は複数の前記オブジェクトに対応する１つ又は複数のグラフィック要素を投影、レンダリング、提示又は表示することができ、該１つ又は複数のグラフィック要素は、該乗り物の乗員の視野に投影される。前記制御コンポーネントは、各オブジェクトの１つ又は複数の座標に基づいて、１つ又は複数の該グラフィック要素に対して、１つ又は複数の焦点面の更新を計算することができる。   According to one or more embodiments, a three-dimensional (3-D) navigation system is provided that includes a sensor component, a head up display (HUD) component, and a control component. The sensor component can track the relative coordinates of one or more objects in the vehicle's surrounding environment and the vehicle corresponding to each object. The HUD component can project, render, present or display one or more graphic elements corresponding to one or more of the objects on one or more focal planes. The graphic element is projected into the field of view of the vehicle occupant. The control component can calculate one or more focal plane updates for one or more of the graphic elements based on one or more coordinates of each object.

１つ又は複数の実施形態において、前記ＨＵＤコンポーネントは、１つ又は複数のオブジェクトの１つ又は複数の更新焦点面上に１つ又は複数の前記グラフィック要素を投影することができる。さらに、該ＨＵＤコンポーネントは、該１つ又は複数の更新焦点面に投影する際に１つ又は複数の焦点面上への１つ又は複数のグラフィック要素の投影を停止することができる。１つ又は複数のグラフィック要素には、１つ又は複数の該グラフィック要素が投影される１つ又は複数の前記オブジェクトに関連付けられた情報を有するポインタを含むことができる。１つ又は複数の該オブジェクトは、障害状況、障害物、歩行者、工事区域、目印、建物、商業施設又は駐車場とすることができる。   In one or more embodiments, the HUD component can project one or more graphic elements onto one or more update focal planes of one or more objects. Further, the HUD component may stop projecting the one or more graphic elements onto the one or more focal planes when projecting to the one or more updated focal planes. The one or more graphic elements may include a pointer having information associated with the one or more objects on which the one or more graphic elements are projected. The one or more objects may be obstacle situations, obstacles, pedestrians, construction areas, landmarks, buildings, commercial facilities, or parking lots.

前記システムは、１つ又は複数のグラフィック要素に対して、サイズ、形状、型、色又は１つ又は複数の属性を決定する、乗り物制御コンポーネントを含むことができる。該乗り物制御コンポーネントは、２つ以上のグラフィック要素の間の重なりを管理することができる。該システムは、起点位置から目的位置までの経路を生成するナビゲーション・コンポーネントと、１つ又は複数のオブジェクトが商業施設であるような、該経路に沿って１つ又は複数のオブジェクトに関連付けられた情報を受信する乗り物制御コンポーネントとを含むことができる。ＨＵＤコンポーネントは、１つ又は複数の商業施設に対応するロゴとして、１つ又は複数のグラフィック要素を投影することができる。１つ又は複数の実施形態において、前記センサ・コンポーネントは、ナビゲーション・コンポーネントを含むか又はテレマティックスを用いることができる。   The system can include a vehicle control component that determines a size, shape, type, color, or one or more attributes for one or more graphic elements. The vehicle control component can manage overlap between two or more graphic elements. The system includes a navigation component that generates a route from an origin location to a destination location and information associated with the one or more objects along the route such that the one or more objects are commercial establishments. And a vehicle control component that receives the vehicle control component. The HUD component can project one or more graphic elements as a logo corresponding to one or more commercial establishments. In one or more embodiments, the sensor component may include a navigation component or use telematics.

１つ又は複数の実施形態によれば、ナビゲーション・コンポーネント、制御コンポーネント及びヘッド・アップ・ディスプレイ（ＨＵＤ）コンポーネントを含む、３次元（３−Ｄ）ナビゲーション・システムが提供される。該ナビゲーション・コンポーネントは、乗り物の周囲環境内の１つ又は複数のオブジェクトに関連付けられたメタデータ、該環境内の各オブジェクトのレイアウト及び、該レイアウトに対する乗り物の現在位置を受信することができる。該制御コンポーネントは、１つ又は複数のオブジェクトのレイアウトと該乗り物の現在位置に基づいて、１つ又は複数のグラフィック要素の１つ又は複数の焦点面を計算することができる。該ＨＵＤコンポーネントは、１つ又は複数のオブジェクトに対応する１つ又は複数の焦点面に、１つ又は複数のグラフィック要素を投影、レンダリング、提示又は、表示することができ、該グラフィック要素の１つ又は複数を該乗り物の乗員の視野に投影することができる。   According to one or more embodiments, a three-dimensional (3-D) navigation system is provided that includes a navigation component, a control component, and a head-up display (HUD) component. The navigation component may receive metadata associated with one or more objects in the vehicle's surrounding environment, the layout of each object in the environment, and the vehicle's current location relative to the layout. The control component can calculate one or more focal planes of one or more graphic elements based on the layout of the one or more objects and the current position of the vehicle. The HUD component can project, render, present or display one or more graphic elements on one or more focal planes corresponding to one or more objects, one of the graphic elements Or a plurality can be projected into the field of view of the occupant of the vehicle.

１つ又は複数のグラフィック要素には、１つ又は複数のグラフィック要素が投影される１つ又は複数のオブジェクトに関連付けられたメタデータの少なくとも一部を提示するポインタを含むことができる。該メタデータには、電話番号、住所、格付け、商業施設名称、営業時間又はオブジェクトに関連する状態を含むことができる。該ＨＵＤコンポーネントは、１つ又は複数のオブジェクトのレイアウト及び乗り物の現在位置に基づいて該グラフィック要素の１つ又は複数を投影することができる。さらに、ＨＵＤコンポーネントは、レイアウト図又は鳥瞰図の投影から、搭乗者又は第３者の視野の投影に移ることができる。   The one or more graphic elements can include a pointer that presents at least a portion of the metadata associated with the one or more objects onto which the one or more graphic elements are projected. The metadata can include a telephone number, address, rating, commercial facility name, business hours, or state associated with the object. The HUD component can project one or more of the graphic elements based on the layout of one or more objects and the current position of the vehicle. Furthermore, the HUD component can move from a layout or bird's eye view projection to a passenger or third person view projection.

前記システムには、１つ又は複数の前記オブジェクトに関連付けられた、乗り物の乗員からの質問を受信するセンサ・コンポーネントを含むことができ、前記ＨＵＤコンポーネントは、該質問に応答して、該質問に関連付けられた該オブジェクトの１つ又は複数に対応するメタデータの１つ又は複数の部分を投影する。前記ナビゲーション・コンポーネントは起点位置から目的位置までの経路を生成することができ、該ＨＵＤコンポーネントは、１つ又は複数のグラフィック要素を、該経路に沿って該乗員を誘導するアバターとしてレンダリングする。前記制御コンポーネントは、該アバター又は（又は、他のグラフィック要素）のピッチ角、ロール角、ヨー角又は速度を計算することができる。該ＨＵＤコンポーネントは、１つ又は複数のグラフィック要素を、該乗り物のメタデータ及び現在位置に基づいて道路名称として、提示、表示又はレンダリングすることができる。   The system can include a sensor component that receives a question from a vehicle occupant associated with one or more of the objects, wherein the HUD component is responsive to the question and answers the question. Project one or more portions of metadata corresponding to one or more of the associated objects. The navigation component can generate a route from an origin location to a destination location, and the HUD component renders one or more graphic elements as avatars that guide the occupant along the route. The control component can calculate the pitch angle, roll angle, yaw angle or velocity of the avatar or (or other graphic element). The HUD component can present, display or render one or more graphic elements as road names based on the vehicle metadata and current location.

１つ又は複数の実施態様によれば、提供される３次元（３−Ｄ）ナビゲーション用の方法に含まれる処理には、乗り物周囲の環境内の１つ又は複数のオブジェクトを追跡し、各オブジェクトに対応する１つ又は複数の座標を該乗り物に対して決定すること、１つ又は複数のグラフィック要素の１つ又は複数の焦点面を、それぞれのオブジェクトの該座標の１つ又は複数に基づいて計算すること及び、該グラフィック要素の１つ又は複数を、該オブジェクトの１つ又は複数に対応する焦点面の１つ又は複数の上にレンダリングすること、があり、ここで、該グラフィック要素の１つ又は複数は、該乗り物の乗員の視野内に投影される。該追跡、計算又はレンダリングは、処理ユニットによって実行することができる。   According to one or more embodiments, the processing included in the provided method for three-dimensional (3-D) navigation includes tracking one or more objects in the environment surrounding the vehicle, and each object Determining one or more coordinates corresponding to the vehicle for the one or more focal planes of the one or more graphic elements based on one or more of the coordinates of the respective object. Computing and rendering one or more of the graphic elements on one or more of the focal planes corresponding to one or more of the objects, wherein one of the graphic elements One or more are projected into the field of view of the occupant of the vehicle. The tracking, calculation or rendering can be performed by a processing unit.

本願特許請求の範囲の主題は、構造的特徴又は方法論的作用を特定の言語で説明したが、本願主題は、必ずしも、上述の特定の特徴又は作用に限定されるものではないことを理解されたい。むしろ、上述の特定の特徴及び作用は、例示的な実施形態として開示している。   While the claimed subject matter has described structural features or methodological actions in a particular language, it should be understood that the subject matter is not necessarily limited to the particular features or actions described above. . Rather, the specific features and acts described above are disclosed as example embodiments.

実施形態の各種動作が、本明細書に示されている。該動作の１つ又は複数又は全てが説明される順序は、これらの動作が順序に依存していることを意味すると必ずしも解釈されるべきではない。代替えの順序は、本明細書の説明に基づいて理解できるであろう。さらに、必ずしも、全ての動作を、本明細書で提供される各実施形態に示すことができているわけではない。   Various operations of the embodiments are described herein. The order in which one or more or all of the operations are described should not necessarily be construed as implying that these operations are order dependent. Alternative sequences will be understood based on the description herein. Moreover, not all operations can be illustrated in the embodiments provided herein.

本出願で使用される場合、「又は」は、包括的な「又は」を意味し、排他的な「又は」を意味することを意図していない。また、本出願で使用される冠詞「ａ」及び「ａｎ」は、特に断りがない限り、又は、文脈から単数形を指示していることが明らかでない限りは、一般的に、「１つ又は複数」と解釈されたい。さらに、少なくともＡとＢの一方、及び／又は、同様の表現は、一般的には、Ａ又はＢ、又はＡとＢ両方を意味する。さらに、「含む（ｉｎｃｌｕｄｅｓ）」、「有している（ｈａｖｉｎｇ）」、「有する（ｈａｓ）」、「持つ（ｗｉｔｈ）」又は、これらの変形が、前記の詳細な説明又は、特許請求の範囲で使用される限りでは、該用語は、用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」と同様に包含することを意味している。   As used in this application, “or” means generic “or” and is not intended to mean an exclusive “or”. Also, the articles “a” and “an” as used in this application generally refer to “one or more” unless the context clearly dictates or unless otherwise clear from the context. Should be interpreted as "multiple". Furthermore, at least one of A and B and / or similar expressions generally means A or B, or both A and B. Further, “includes”, “having”, “has”, “with”, or variations thereof are described in the foregoing detailed description or claims. As used herein, the term is meant to encompass as well as the term “comprising”.

さらに、特に断りがない限り、「第１」、「第２」等は、一時的な、態様、空間的な態様、順序付け、等を意味する意図はない。むしろ、このような用語は、単に、特徴、要素、項目等に対する、識別子、名前等として使用されている。例えば、第１のチャネル及び第２のチャネルは、一般に、チャネルＡ及びチャネルＢ又は、２つの異なるチャネル又は２つの等しいチャネル又は、同一のチャネルに対応する。   Further, unless otherwise specified, “first”, “second”, etc. are not intended to mean temporary, spatial, ordering, etc. Rather, such terms are merely used as identifiers, names, etc., for features, elements, items, etc. For example, the first channel and the second channel generally correspond to channel A and channel B or two different channels or two equal channels or the same channel.

本開示では１つ又は複数の実装に関して図示及び説明してきたが、同等の変更及び修正が、本明細書及び添付図面の読書及び理解に基づいて行われ得るであろう。本発明は、そのような修正及び変更を全て含み、以下の特許請求の範囲によってのみ限定される。   Although this disclosure has illustrated and described with respect to one or more implementations, equivalent changes and modifications may be made based on reading and understanding of this specification and the accompanying drawings. The present invention includes all such modifications and changes and is limited only by the scope of the following claims.

１００ ヘッド・アップ・ディスプレイ・システム、ＨＵＤシステム、ＨＵＤコンポーネント
１０２ ヘッド・アップ・ディスプレイ・デバイス、ＨＵＤデバイス
１０４ 制御部、制御コンポーネント
１０６ 乗り物
１０８ 運転席
１１０ ダッシュボード筐体
１１２ フロント・ガラス
１１４ ＨＵＤ出射孔
１１６ アイ・ボックス
１１８、１２０、１２２、１２４ 第１、第２、第３、第４のプロジェクタ
１２６、１３０、１３４ 第１、第２、第３のビーム・スプリッタ
１２８、１３２、１３６ 第１、第２、第３の対物レンズ
１３８ 接眼レンズ
１４０、１４２、１４４、１４６ プロジェクタ・ユニット
１４８、１５０、１５２、１５４ 拡散スクリーン
１５６、１５８ 第１、第２のアクチュエータ
１６０、１６４、１６８、１７２ 第１、第２、第３及び、第４のグラフィック要素
１６２、１６６、１７０、１７４ 第１、第２、第３及び第４の焦点面
１６２’、１７０’ 距離
１７６ 地表面
１７８ 運転者の視線
１８０ 乗り物制御システム、乗り物制御コンポーネント
１８２ 歩行者
２００ ＨＵＤシステムを具備する乗り物
３００ 乗り物及び４焦点面の一例の側面図
３０２ フロント・ガラス
４００ 運転者の視野及びグラフィック要素の１例
４２５、４５５、４５０ アドレス
１００２ アバター
１００２Ａ、１００２Ｂ、１００２Ｃ、１００２Ｄ、１００２Ｅ アバター
１０３０ 鳥瞰図
１０３２ 起点位置から目的位置までの経路
１０３４ コンパス
１０３６ 道路区間識別子
１１３０ ナビゲーション命令
１２１２Ａ 他の乗り物への方向
１２１４ 他の乗り物
１３３０ グラフィック要素「道路名」
１４０４ テキスト・ボックス「店で停車したい」
１４３０Ａ テキスト・ボックス「迂回 ＋８分」
１４３０Ｂ ロゴ
１６０２ 早期警告のグラフィック要素
１６３０ 停止線
１７０４Ａ 危険状況グラフィック要素
１７０４Ｂ 危険状況グラフィック要素
１８０２、１８０４ グラフィック要素
１８３２、１８４２ 歩行者
１８３４、１８４４ 歩行者のグラフィック要素
１９０４ テキスト・ボックス「右側のあれは何か？」
１９３０ 情報
１９３２ 強調表示用グラフィック要素
２００２、２００４、２００６ 建物
２０３０ 駐車地点を示すグラフィック要素
２２００ コンピュータ可読媒体／デバイスの実施形態
２２０２ 方法
２２０４ プロセッサ実行可能命令
２２０６ コンピュータ可読データ
２２０８ コンピュータ可読媒体
２３００ コンピューティング・デバイスを含むシステム
２３１２ コンピューティング・デバイス
２３１４ 処理ユニッ及びメモリ
２３１６ 処理ユニット
２３１８ メモリ
２３２０ 記憶部
２３２２ 出力デバイス
２３２４ 入力デバイス
２３２６ 通信接続部
２３２８ ネットワーク
２３３０ コンピューティング・デバイス DESCRIPTION OF SYMBOLS 100 Head-up display system, HUD system, HUD component 102 Head-up display device, HUD device 104 Control part, control component 106 Vehicle 108 Driver's seat 110 Dashboard housing 112 Front glass 114 HUD exit hole 116 Eye box 118, 120, 122, 124 First, second, third, fourth projector 126, 130, 134 First, second, third beam splitter 128, 132, 136 First, second , Third objective lens 138 eyepiece 140, 142, 144, 146 projector unit 148, 150, 152, 154 diffusion screen 156, 158 first, second actuator 160, 164, 168, 172 first, 2, third and fourth graphic elements 162, 166, 170, 174 first, second, third and fourth focal planes 162 ', 170' distance 176 ground surface 178 driver's line of sight 180 vehicle control system , Vehicle control component 182 pedestrian 200 vehicle with HUD system 300 side view of example vehicle and 4 focal plane 302 windshield 400 example of driver's field of view and graphic elements 425, 455, 450 address 1002 avatar 1002A, 1002B, 1002C, 1002D, 1002E Avatar 1030 Bird's eye view 1032 Route from origin position to destination position 1034 Compass 1036 Road segment identifier 1130 Navigation command 1212A Direction to other vehicles 1214 Other vehicles 1330 Graph Tic element "road name"
1404 Text box "I want to stop at the store"
1430A text box "bypass +8 minutes"
1430B Logo 1602 Early warning graphic element 1630 Stop line 1704A Hazardous situation graphic element 1704B Hazardous situation graphic element 1802, 1804 Graphic element 1832, 1842 Pedestrian 1834, 1844 Pedestrian graphic element 1904 What is that on the right? ? "
1930 Information 1932 Graphical element for highlighting 2002, 2004, 2006 Building 2030 Graphical element indicating parking location 2200 Computer-readable medium / device embodiment 2202 Method 2204 Processor-executable instructions 2206 Computer-readable data 2208 Computer-readable medium 2300 Computing device System 2312 computing device 2314 processing unit and memory 2316 processing unit 2318 memory 2320 storage unit 2322 output device 2324 input device 2326 communication connection 2328 network 2330 computing device

Claims (20)

乗り物周囲の環境内の１つ又は複数のオブジェクト及び、各オブジェクトに対応する、該乗り物に対する１つ又は複数の座標を追跡するセンサ・コンポーネントと、
該オブジェクトの１つ又は複数に対応する１つ又は複数の焦点面上に１つ又は複数のグラフィック要素を投影し、該グラフィック要素の１つ又は複数は該乗り物の乗員の視野内に投影される、ヘッド・アップ・ディスプレイ（ＨＵＤ）コンポーネントと、
各オブジェクトの１つ又は複数の該座標に基づいて、１つ又は複数の該グラフィック要素に対する１つ又は複数の更新焦点面を計算する制御コンポーネントと、
を含む、ことを特徴とする、３次元ナビゲーション・システム。 A sensor component that tracks one or more objects in the environment surrounding the vehicle and one or more coordinates for the vehicle corresponding to each object;
Project one or more graphic elements onto one or more focal planes corresponding to one or more of the objects, and one or more of the graphic elements are projected into the field of view of the occupant of the vehicle A head up display (HUD) component;
A control component that calculates one or more updated focal planes for one or more of the graphic elements based on one or more of the coordinates of each object;
A three-dimensional navigation system comprising: 前記ＨＵＤコンポーネントは、１つ又は複数の前記グラフィック要素を、１つ又は複数の前記オブジェクトに対する１つ又は複数の前記更新焦点面に投影すること、を特徴とする、請求項１に記載のシステム。   The system of claim 1, wherein the HUD component projects one or more of the graphic elements onto one or more of the updated focal planes for one or more of the objects. 前記ＨＵＤコンポーネントは、１つ又は複数の前記更新焦点面に投影するときには、１つ又は複数の前記焦点面に１つ又は複数の前記グラフィック要素を投影することを中止すること、を特徴とする、請求項２に記載のシステム。   When the HUD component projects onto one or more of the updated focal planes, the HUD component stops projecting the one or more graphic elements onto the one or more focal planes; The system according to claim 2. １つ又は複数の前記グラフィック要素は、１つ又は複数の前記グラフィック要素が投影される１つ又は複数の前記オブジェクトに対応する情報を有するポインタを含むこと、を特徴とする、請求項１に記載のシステム。   The one or more graphic elements include a pointer having information corresponding to the one or more objects onto which the one or more graphic elements are projected. System. １つ又は複数の前記オブジェクトは、障害状況、障害物、歩行者、工事区域、目印、建物、商業施設又は、駐車地点であること、を特徴とする、請求項１に記載のシステム。   The system of claim 1, wherein the one or more objects are obstacle situations, obstacles, pedestrians, construction areas, landmarks, buildings, commercial facilities, or parking spots. １つ又は複数の前記グラフィック要素に対する、サイズ、形状、型、色、又は、１つ又は複数の属性を決定する乗り物制御コンポーネントを含むこと、を特徴とする、請求項１に記載のシステム。   The system of claim 1, comprising a vehicle control component that determines a size, shape, type, color, or one or more attributes for one or more of the graphic elements. 前記グラフィック要素の二つ以上の間の重なりを管理する乗り物制御コンポーネントを含むこと、を特徴とする、請求項１に記載のシステム。   The system of claim 1, including a vehicle control component that manages overlap between two or more of the graphic elements. 起点位置から目的位置までの経路を生成するナビゲーション・コンポーネントを含むこと、を特徴とする、請求項１に記載のシステム。   The system of claim 1, comprising a navigation component that generates a route from an origin location to a destination location. 前記経路に沿って１つ又は複数の前記オブジェクトに対応する情報を受信し、１つ又は複数の該オブジェクトは商業施設である、乗り物制御コンポーネントを含むこと、を特徴とする、請求項８に記載のシステム。   9. The vehicle control component according to claim 8, comprising a vehicle control component that receives information corresponding to one or more of the objects along the path, the one or more of the objects being a commercial facility. System. 前記ＨＵＤコンポーネントは、１つ又は複数の前記グラフィック要素を、１つ又は複数の前記商業施設に対応するロゴとして投影する、ことを特徴とする、請求項９に記載のシステム。   The system of claim 9, wherein the HUD component projects one or more of the graphic elements as a logo corresponding to the one or more of the commercial establishments. 乗り物の周囲環境内の１つ又は複数のオブジェクトに対応するメタデータ、該環境内の各オブジェクトの配置及び、該配置に対する該乗り物の現在位置、を受信するナビゲーション・コンポーネントと、
１つ又は複数のグラフィック要素の１つ又は複数の焦点面を、該オブジェクトの１つ又は複数の該配置と該乗り物の現在位置とに基づいて計算する制御コンポーネントと、
１つ又は複数の該グラフィック要素を、１つ又は複数の該オブジェクトに対応する１つ又は複数の該焦点面に投影し、該グラフィック要素の１つ又は複数は該乗り物の乗員の視野に投影される、ヘッド・アップ・ディスプレイ（ＨＵＤ）と、
を含むこと、を特徴とする３次元ナビゲーション・システム。 A navigation component that receives metadata corresponding to one or more objects in the surrounding environment of the vehicle, the location of each object in the environment, and the current location of the vehicle with respect to the location;
A control component that calculates one or more focal planes of one or more graphic elements based on the one or more of the placement of the object and the current position of the vehicle;
One or more of the graphic elements are projected onto one or more of the focal planes corresponding to the one or more of the objects, and one or more of the graphic elements are projected into the field of view of an occupant of the vehicle Head up display (HUD),
A three-dimensional navigation system characterized by comprising: １つ又は複数の前記グラフィック要素は、１つ又は複数の該グラフィック要素がその上に投影される１つ又は複数の該オブジェクトに対応するメタデータの少なくとも一部を表示するポインタを含むこと、を特徴とする請求項１１に記載のシステム。   The one or more graphic elements include a pointer that displays at least a portion of the metadata corresponding to the one or more objects on which the one or more graphic elements are projected; The system of claim 11, wherein the system is characterized by: 前記メタデータには、電話番号、住所、格付け、商業施設の名前、営業時間、又はオブジェクトに対応する状態を含むこと、を特徴とする請求項１１に記載のシステム。   12. The system of claim 11, wherein the metadata includes a state corresponding to a telephone number, address, rating, commercial facility name, business hours, or object. 前記ＨＵＤコンポーネントは、１つ又は複数の前記グラフィック要素を、前記オブジェクトの１つ又は複数の前記配置と前記乗り物の前記現在位置と、に基づいて投影すること、を特徴とする請求項１１に記載のシステム。   12. The HUD component projects one or more of the graphic elements based on the one or more of the arrangements of the objects and the current position of the vehicle. System. 前記ＨＵＤコンポーネントは、一つの配置図の投影から、搭乗者又は第３者の視野の投影に移ること、を特徴とする請求項１４に記載のシステム。   15. The system of claim 14, wherein the HUD component moves from a single layout view projection to a passenger or third person view projection. 前記乗り物の乗員から前記オブジェクトの１つ又は複数に関連する質問を受信するセンサ・コンポーネントを含み、前記ＨＵＤコンポーネントが、該質問に応答して該質問に関連する１つ又は複数の該オブジェクトに対応するメタデータの１つ又は複数の部分を投影すること、を特徴とする請求項１１に記載のシステム。   A sensor component that receives a question related to one or more of the objects from an occupant of the vehicle, wherein the HUD component is responsive to the question and corresponds to one or more of the objects related to the question The system of claim 11, wherein one or more portions of metadata to be projected are projected. 前記ナビゲーション・コンポーネントは、起点位置から目的位置までの経路を生成し、前記ＨＵＤコンポーネントは、該経路に沿って前記乗員を誘導するアバターとして、１つ又は複数の前記グラフィック要素をレンダリングすること、を特徴とする請求項１１に記載のシステム。   The navigation component generates a route from an origin location to a destination location, and the HUD component renders one or more of the graphic elements as avatars that guide the occupant along the route. The system of claim 11, wherein the system is characterized by: 前記制御コンポーネントは、前記アバターのピッチ角、ロール角、ヨー角又は、速度を計算すること、を特徴とする請求項１７に記載のシステム。   The system of claim 17, wherein the control component calculates a pitch angle, roll angle, yaw angle, or speed of the avatar. 前記ＨＵＤコンポーネントは、１つ又は複数の前記グラフィック要素を、道路名称として、前記メタデータ及び前記乗り物の現在位置に基づいてレンダリングすること、を特徴とする請求項１１に記載のシステム。   The system of claim 11, wherein the HUD component renders one or more of the graphic elements as road names based on the metadata and a current location of the vehicle. 乗り物の周囲環境内の１つ又は複数のオブジェクトを追跡し、各オブジェクトに対応する、該乗り物に対する１つ又は複数の座標を決定するステップと、
１つ又は複数のグラフィック要素に対する１つ又は複数の焦点面を、各オブジェクトの該座標の１つ又は複数に基づいて計算するステップと、
１つ又は複数の該グラフィック要素を１つ又は複数の該オブジェクトに対応する１つ又は複数の該焦点面にレンダリングし、１つ又は複数の該グラフィック要素が該乗り物の乗員の視野に投影されるステップと、を含み、
該追跡するステップ、該計算するステップ又は、該レンダリングするステップは、処理ユニットを介して実行されること、を特徴とする３次元ナビゲーションの方法。 Tracking one or more objects in the surrounding environment of the vehicle and determining one or more coordinates for the vehicle corresponding to each object;
Calculating one or more focal planes for one or more graphic elements based on one or more of the coordinates of each object;
Rendering one or more of the graphic elements to one or more of the focal planes corresponding to the one or more of the objects, and projecting the one or more of the graphic elements onto the vehicle occupant's field of view And including steps,
A method of three-dimensional navigation characterized in that the step of tracking, the step of calculating or the step of rendering is performed via a processing unit.