JP6418266B2 - 音声コマンドに対応した視覚コンテキストを表示する三次元ヘッドアップディスプレイ装置 - Google Patents
音声コマンドに対応した視覚コンテキストを表示する三次元ヘッドアップディスプレイ装置 Download PDFInfo
- Publication number
- JP6418266B2 JP6418266B2 JP2017057601A JP2017057601A JP6418266B2 JP 6418266 B2 JP6418266 B2 JP 6418266B2 JP 2017057601 A JP2017057601 A JP 2017057601A JP 2017057601 A JP2017057601 A JP 2017057601A JP 6418266 B2 JP6418266 B2 JP 6418266B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- vehicle
- hud
- overlay
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title description 121
- 238000000034 method Methods 0.000 claims description 52
- 238000004891 communication Methods 0.000 description 50
- 230000015654 memory Effects 0.000 description 29
- 238000012545 processing Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/177—Augmented reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Navigation (AREA)
- Instrument Panels (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本出願は、"THREE DIMENSIONAL HEADS-UP DISPLAY UNIT INCLUDING VISUAL CONTEXT FOR VOICE COMMANDS"と題し、2016年3月24日に出願された米国特許出願第15/0
80,394号の優先権を主張する。当該出願は、その全体が本明細書中に参照として組み込まれる。
は動作を行わせるソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせをシステム上にインストールすることによってそれらの動作を行うように構成することができる。1つまたは複数のコンピュータプログラムを、データ処理装置によって実行されると装置に特定の操作または動作を行わせる命令を含むことによってそれらの動作を行うように構成することができる。
本態様の他の実施形態は、対応するコンピュータシステム、装置、および方法の動作を行うように各々構成された1台または複数のコンピュータ記憶装置上に記録されたコンピュータプログラムを含む。
例えば、前記選択ステップでは、前記対象物の現在の状態に起因して、入力が無益となりうる音声コマンドがある場合に、当該音声コマンドを選択から除外することを特徴としてもよい。
また、前記対象物に関する詳細情報を取得する情報取得ステップをさらに含むことを特徴としてもよい。
また、現在時刻を取得する時刻取得ステップをさらに含み、前記対象物は施設であり、前記詳細情報は前記施設の営業時間を含むことを特徴としてもよい。
また、前記詳細情報および現在時刻に基づいて、前記施設が営業しているか否かを判定するステップをさらに含むことを特徴としてもよい。
また、前記音声コマンドは、前記施設への架電を要求するコマンドであり、前記3Dオーバーレイは、前記運転者が前記施設に架電可能であることを示すことを特徴としてもよい。
また、前記音声コマンドは、前記対象物に関する情報を要求するコマンドであり、前記3Dオーバーレイは、前記運転者が前記対象物に関する情報を要求可能であることを示すことを特徴としてもよい。
また、現在位置の天気を表す気象データを取得するステップをさらに含むことを特徴としてもよい。
また、前記対象物は屋外施設であり、前記気象データに基づいて、前記屋外施設の状況を判定することを特徴としてもよい。
また、前記対象物は駐車スペースであり、前記音声コマンドは、車両に対して自動運転による入庫を要求するコマンドであり、前記3Dオーバーレイは、前記駐車スペースにおいて自動運転による入庫が要求可能であることを示すことを特徴としてもよい。
前述の技法の実装形態は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含むことができる。
である旨を示す3Dオーバーレイを生成する生成ステップと、前記HUDにおいて、前記運転者が視認する前記駐車スペースの近傍に、前記3Dオーバーレイを描画する描画ステップと、を含む方法を含む。
本態様の他の実施形態は、対応するコンピュータシステム、装置、および方法の動作を行うように各々構成された1台または複数のコンピュータ記憶装置上に記録されたコンピュータプログラムを含む。
例えば、現在時刻を取得するステップをさらに含み、前記駐車規則は、時刻によって駐車の可否が変わるものであり、前記第二の判定ステップでは、前記現在時刻を用いて判定を行うことを特徴としてもよい。
前述の技法の実装形態は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含むことができる。
えば図2B参照)において、車両の運転者が利用できる音声コマンドに関する視覚コンテキストを表示する。視覚コンテキストアプリケーションは、音声コマンドシステムの使い勝手を改善するため有利である。というのは、車両のヘッドユニットに、利用可能なコマンドのリストを列挙しなくても、どんな音声コマンドが現在利用できるかを運転者が把握できるからである。3D−HUDを用いて視覚コンテキストを提供することにより、所与のコマンドに複数の可能なターゲットがあることによって生じる曖昧さの可能性が取り除かれる。
例えば、音声コマンドのうちの1つが、店舗の詳細情報を取得するコマンドである場合、この音声コマンドに対応するグラフィックオーバーレイは「情報を取得」という内容となり、3D−HUDに表示された当該店舗の看板の近くに表示させる。
コマンド「情報を取得」が用いられうる、相互に近接した複数の店舗が存在する場合もある。例えば図3を参照されたい。3D−HUDをこのように用いると、オーバーレイによって生じる曖昧さが取り除かれる。というのは、3D−HUD技術によって、運転者から適切な距離のところに視覚的なサインを配置することができるからである。3D−HUDを用いて、利用できる音声コマンドの視覚指示(例えば3Dオーバーレイ)を提供する一方で、3Dオーバーレイが、関連するオブジェクトの近くに表示されるように3D−HUDの画面において3Dオーバーレイの描画を行う技術は他には無い。
なお、本明細書において、「運転者とオブジェクトが関連性を有する」とは、当該オブジェクトに対する運転者の音声インタラクションが有益であることを意味する。すなわち、オブジェクトに対して音声コマンドを介して行うインタラクション(例えば電話をかける動作)が無益である(例えば店が営業時間外である)場合、当該音声コマンドは選択されず、対応するグラフィックも出力されない。
車両自体、他の車両、1つまたは複数の店舗、1つまたは複数の公共駐車スペース、1つまたは複数の駐車場、1つまたは複数のレクリエーションエリア(公園、ビーチ、登山道)、1つまたは複数の緊急サービス(病院、警察署など)、1つまたは複数の関心地点(旅行目的地、ランドマーク、流行の場所、友人が所在する場所)など
例えば、オブジェクトが、閉まっている店舗である場合、運転者とオブジェクトは関連性を有しない。オブジェクトが公園や遊園地であるが気象条件が悪い場合、運転者とオブ
ジェクトは関連性を有しない。オブジェクトが駐車スペースであるが、駐車が許容される時間帯でない場合、運転者とオブジェクトは関連性を有しない。
いたボタンを押すことや車両のインフォテインメントシステムといった他の種類のコマンドと協働して動作してもよい。
図1は、いくつかの実装形態による視覚コンテキストアプリケーション199のための動作環境例100を示すブロック図である。
言い換えると、車両103の実際の位置を、DSRC準拠のGPSユニットによって生成されたGPSデータが表す位置と比較したときに、GPSデータに基づく位置が、車両103の実際の位置の1.5メートル以内にある確率が少なくとも68%となる。
各車線および車両は、典型的には幅3メートル未満であるため、GPSデータの二次元誤差が1.5メートル以下であるときは常に、本明細書に記載される車両103は、GPSデータを解析し、1.5メートル以内までの精度を有する車両103の位置を知ることができる。
を含む。車両環境198は、運転者125または外部カメラ104が見ることのできる外界の部分に限定することができる。車両環境198は、以下のオブジェクトのうちの1つまたは複数を含むことができる。
車両103、他の車両、一つまたは複数の店舗、1つまたは複数の公共駐車スペース、1つまたは複数の駐車場、1つまたは複数のレクリエーションエリア(例えば、公園、ビーチ、登山口など)、1つまたは複数の関心地点(例えば、旅行目的地、ランドマーク、流行の場所、運転者の友人が所在する場所、運転者の友人がソーシャルネットワーク上でチェックインしたことのある場所など)
車両環境198は、車道および1つまたは複数の交通管理機器も含むことができる。例えば、車両環境198は、交通標識、交通信号、駐車案内板などを含んでもよい。車両環境198は、車道上に位置しうる、または車道から見えうる任意のオブジェクトを含むことができる。
大部分の音声コマンドシステムにおいて、運転者がどんな音声コマンドを利用できるか知るためには、運転者125がオプションのメニューを聴く(または車両のディスプレイに表示されたオプションの長いメニューを目で辿る)ことを必要とするように構成されており、これには時間がかかり、面倒であり、結局は音声コマンドシステムを全く使わなくなる可能性がある。
音声コマンドシステムの第2の問題に、音声コマンドの多くが、常時運転者125と関連性を有するとは限らないことである。視覚コンテキストアプリケーション199は、運転者125が利用することができ、運転者125または運転者125の車両環境198と関連性を有する音声コマンドセットを示す車両の3D−HUD上の3Dオーバーレイを表示することによって、これらの問題を解決する(例えば図3参照)。
情報を(相手の人の許可を得て)ソーシャル・ネットワーク・アプリケーション111から受け取り、車両環境内の相手の人の位置を示し、相手の人に関連して運転者125が用いることのできる1つまたは複数の音声コマンドを提供する3D−HUD上で表示するための3Dオーバーレイを提供することができる。例えば、音声コマンドは相手の人に電話をかけるコマンドを含む。
なお、本明細書における目的地とは、必ずしも予定された目的地でなくてもよい。例えば、立ち寄る可能性がある施設等を含む。
目的地は、店舗およびこれらの店舗についての様々な情報を含むことができる。例えば、ディレクトリデータ131は、店舗の名称、店舗の営業時間、店舗の電話番号、店舗が販売する商品の種類、店舗に利用できる任意の広告または販促、店舗についての顧客レビューなどを記述することができる。例えば、レストランについて、ディレクトリデータ131は提供メニューを記述することができる。また、映画館について、ディレクトリデータ131は上映中の映画および上映時間を記述することができる。ガソリンスタンドについて、ディレクトリデータ131は、推定待ち時間およびグレードごとの燃料の価格を記述することができる。ホテルについて、ディレクトリデータ131は、空室があるかどうかおよび当日の室料を記述することができる。またディレクトリデータ131は、屋外施設である目的地についての関連性を有する情報を記述することもできる。例えば、ディレクトリデータ131は、公園の規則、営業時間および利用可能なアクティビティといった、レクリエーションエリアに関する情報を含むことができる。レクリエーションエリアには、公園、ビーチ、登山口、パブリック・ゴルフ・コース、サイクリングロードなどが含まれうる。ディレクトリデータ131の他の例も可能である。
る地理的位置に位置する目的地のディレクトリデータ131を検索することができる。
ウェアサーバとすることができる。図示の実施形態において、気象サーバ170は信号線114を介してネットワーク105に結合されている。気象サーバ170は、ネットワーク105を介して動作環境100の他のエンティティとの間でデータを送受信する。
次に図2Aを参照すると、視覚コンテキストアプリケーション199を含むコンピュータシステム200の一例が示されている。
ための何らかの他の大容量記憶装置を含む、不揮発性メモリまたは類似した永続記憶装置および媒体も含む。
基づいてリアルタイムまたはほぼリアルタイムで3Dオーバーレイの位置をリフレッシュすることができる。いくつかの実装形態において、表示モジュール210は、3D−HUD231に、正確な視差および焦点を同時に計算することによって、運転者125が3D−HUD231において見たときにオブジェクトのところに正しく3Dオーバーレイを表示させるように構成されたコードおよびルーチンを含む。(例えば、センサ群233に含まれるLIDARセンサによって示される)車両103とオブジェクトとの間の距離は、3D−HUD231によって、3D−HUD231上に3Dオーバーレイを表示するのに用いられる。
5、または動作環境100の1つもしくは複数の要素との有線通信のための類似したポートを含む。いくつかの実装形態において、通信ユニット245は、IEEE802.11、IEEE802.16、BLUETOOTH(登録商標)、DSRC、mmWAVE通信または別の適切な無線通信方法を含む1つまたは複数の無線通信方法を用いてネットワーク105(または動作環境100の何らかの他の要素)または他の通信路とデータを交換するための無線送受信機を含む。
センサ群233を操作してセンサ群233にセンサデータ293を取り込ませる動作
外部カメラ104を操作して外部カメラ104に車両環境198の画像を取り込ませ、それらの画像をセンサデータ293として記憶し、車両103のGPSユニットにGPS衛星からのGPSデータ295を要求させ、ディレクトリサーバ130からのディレクトリデータ131を要求する動作
地図サーバ190からの地図データ191を要求する動作
気象サーバ170からの気象データ171を要求する動作
ソーシャル・ネットワーク・アプリケーション111からのソーシャル・ネットワーク・データまたはソーシャルネットワーク更新を要求する動作、および
図1について前述したように地図データ191とディレクトリデータ131とを相互参照して、車両環境198に存在する目的地、これらの目的地の実際の所在地、およびこれらの目的地が運転者125から見て3D−HUD231の画面のどこに位置するかを決定する動作
画像内に存在するオブジェクトを特定するために画像を解析する動作(オブジェクトは、目的地(例えば図3および図5参照)、駐車スペース(例えば図4参照)、駐車案内板(例えば図4参照)、追従されている別の車両(例えば図6参照)、および車両環境198内の任意の他のオブジェクトとすることができる)
オブジェクトの識別情報(例えば、店舗の名称や店舗の営業情報)を決定するために車両環境198についてのディレクトリデータ131を解析する動作、ならびに
現在時刻または今日の曜日を決定するために時間データを解析する動作
。
現在時刻
今日の日付
車両103の地理的位置、および
他の条件(気象データ171によって記述される気象条件、ソーシャル・ネットワーク・アプリケーション111から受信されたソーシャル・メディア・データによって記述されるソーシャルメディア条件など)
の1つまたは複数を表示させるように構成された3Dオーバーレイデータ297を生成する。表示モジュール210は次いで3D−HUD231に3Dオーバーレイを表示させる。運転者125が次いで「情報を取得」、または何らかの類似した音声コマンド(例えば、「店の情報を見せて」等)を言った場合には、表示モジュール210は、店舗の営業情報の一部または全部を記述する店舗の営業情報に基づいて3Dオーバーレイデータ297を生成する。表示モジュール210は次いで、3D−HUD231に、店舗の営業情報(例えば、店舗の営業時間はいつか、店舗が次に開くのはいつか、店舗は現在開いているか、店舗によって提供される品物またはサービス、店舗についてのレビュー、店舗の価格帯、店舗の内部の画像、店舗の電話番号、店舗は創業して何年になるかなど)を記述する3Dオーバーレイを表示させる。
ズ1006、反射板1005などを含む)とを含む。プロジェクタ1001は、ディジタル・ミラー・デバイス(DMD)プロジェクタ、液晶プロジェクタといった任意の種類のプロジェクタとすることができる。プロジェクタ1001は可動式スクリーン1002上に画像(グラフィック)1008を投影する。可動式スクリーン1002は透明板を含み、そのため、投影画像の光は可動式スクリーン1002を透過して、車両103の風防ガラス1007上に投影される。風防ガラス1007上に投影された画像は、あたかもそれが、風防ガラス上に投影されているオブジェクトではなく、実世界の三次元空間に存在する現実のオブジェクト(1011a、1011bで示す)であるかのように運転者1010によって知覚される。
図3から図6は、いくつかの実装形態による3D−HUD231において表示される例示的3Dオーバーレイのグラフィック表現である。
とができる。
外部カメラ104によって取り込まれた画像において第1の駐車スペースを特定する
外部カメラ104によって取り込まれた画像内の第1の駐車スペースと関連付けられた第1の駐車案内板405を特定する
1つまたは複数のオブジェクト事前情報に基づいて第1の駐車案内板405によって示される規則を決定する
現在時刻および第1の駐車案内板によって示される規則に基づいて、第1の駐車スペースに駐車することが合法であると判定する
第1の駐車スペースに駐車することは合法であるため、第1の駐車スペースは運転者125と関連性を有すると判定する
車両103の自動駐車システムを作動させて車両103を第1の駐車スペースに自動駐車させる音声コマンドを選択する
運転者125が車両103を第1の駐車スペースに自動駐車させる音声コマンドを提供しうることを示す3Dオーバーレイを選択する
3D−HUD231上に第4の3Dオーバーレイ400を描画する
外部カメラ104によって取り込まれた画像において第2の駐車スペース415を特定する
外部カメラ104によって取り込まれた画像内の第2の駐車スペース415と関連付けられた第2の駐車案内板410を特定する
1つまたは複数のオブジェクト事前情報に基づいて第2の駐車案内板410によって示される規則を決定する
第2の駐車案内板410によって示される規則に基づいて第2の駐車スペース415に駐車することは違法であると判定する
第2の駐車スペースに駐車することは違法であるため、第2の駐車スペースは運転者125と関連性を有しないと判定する
第2の駐車スペースは関連性を有さず、第2の駐車スペースのための関連性を有する音声コマンドがないため、第2の駐車スペースの3Dオーバーレイを描画しないことにと決定する
図7Aおよび図7Bは、いくつかの実装形態による、音声コマンドに対応した視覚コンテキストを提供するために、3D−HUDにおいて3Dオーバーレイを表示する例示的方法700のフローチャートである。いくつかの実装形態において、視覚コンテキストアプリケーション199は、プロセッサ225に、プロセッサ225によって実行された場合に方法700の1つまたは複数のステップを実行させるように構成されたコードおよびルーチンを含む。
1つまたは複数の店舗、1つまたは複数の公共駐車スペース、1つまたは複数の駐車場、1つまたは複数のレクリエーションエリア(公園、ビーチ、登山道)、1つまたは複数の緊急サービス(病院、警察署など)、1つまたは複数の関心地点(旅行目的地、ランドマーク、流行の場所、友人が所在する場所)などのうちの1つ以上を含むことができる。
例えば、2つのグラフィックが描画されることになっており、1つのグラフィックは運転者の対面交通の視界を見えにくくし、他方のグラフィックはそうではない場合には、運転者の交通の視界を見えにくくしないグラフィックを描画する。
体などの、非一時的なコンピュータ可読記憶媒体に記憶される。
のような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、本発明の実装は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。以上のように、上記の本発明の説明は限定的なものではなく例示的なものであり、本発明の範囲は添付の特許請求の範囲にしたがって定められる。
101 ソーシャル・ネットワーク・サーバ
103 車両
104 外部カメラ
111 ソーシャル・ネットワーク・アプリケーション
125 運転者
130 ディレクトリサーバ
131 ディレクトリデータ
170 気象サーバ
171 気象データ
190 地図サーバ
191 地図データ
198 車両環境
199 視覚コンテキストアプリケーション
Claims (12)
- 音声入力システムと通信可能なコンピュータによって実行される方法であって、
車両の運転者がヘッドアップディスプレイ(HUD)を通して視認できる環境内にある対象物の画像を取り込む取得ステップと、
前記対象物を識別する識別ステップと、
前記識別の結果に基づいて、前記音声入力システム向けの音声コマンドであって、前記対象物に関連する音声コマンドを選択する選択ステップと、
前記選択された音声コマンドに基づいて、前記対象物に関連する3Dオーバーレイを生成する生成ステップと、
前記HUDにおいて、前記運転者が視認する前記対象物の近傍に、前記3Dオーバーレイを描画する描画ステップと、
を含む方法。 - 前記選択ステップでは、前記対象物の現在の状態に起因して、入力が無益となりうる音声コマンドがある場合に、当該音声コマンドを選択から除外する、
請求項1に記載の方法。 - 前記対象物に関する詳細情報を取得する情報取得ステップをさらに含む、
請求項2に記載の方法。 - 現在時刻を取得する時刻取得ステップをさらに含み、
前記対象物は施設であり、
前記詳細情報は前記施設の営業時間を含む、
請求項3に記載の方法。 - 前記詳細情報および現在時刻に基づいて、前記施設が営業しているか否かを判定するステップをさらに含む、
請求項4に記載の方法。 - 前記音声コマンドは、前記施設への架電を要求するコマンドであり、
前記3Dオーバーレイは、前記運転者が前記施設に架電可能であることを示す、
請求項5に記載の方法。 - 前記音声コマンドは、前記対象物に関する情報を要求するコマンドであり、
前記3Dオーバーレイは、前記運転者が前記対象物に関する情報を要求可能であることを示す、
請求項3から6のいずれかに記載の方法。 - 現在位置の天気を表す気象データを取得するステップをさらに含む、
請求項1から7のいずれかに記載の方法。 - 前記対象物は屋外施設であり、
前記気象データに基づいて、前記屋外施設の状況を判定する、
請求項8に記載の方法。 - 前記対象物は駐車スペースであり、
前記音声コマンドは、車両に対して自動運転による入庫を要求するコマンドであり、
前記3Dオーバーレイは、前記駐車スペースにおいて自動運転による入庫が要求可能であることを示す、
請求項1に記載の方法。 - 音声入力システムと通信可能なコンピュータによって実行される方法であって、
車両の運転者がヘッドアップディスプレイ(HUD)を通して視認できる環境内にある駐車スペースの画像を取り込む取得ステップと、
前記駐車スペースに設置された標識を識別する識別ステップと、
前記識別の結果に基づいて、前記駐車スペースの駐車規則を判定する第一の判定ステップと、
前記駐車規則に基づいて、前記駐車スペースに駐車が可能であるか否かを判定する第二の判定ステップと、
前記駐車スペースに駐車可能である旨を示す3Dオーバーレイを生成する生成ステップと、
前記HUDにおいて、前記運転者が視認する前記駐車スペースの近傍に、前記3Dオーバーレイを描画する描画ステップと、
を含む方法。 - 現在時刻を取得するステップをさらに含み、
前記駐車規則は、時刻によって駐車の可否が変わるものであり、
前記第二の判定ステップでは、前記現在時刻を用いて判定を行う、
請求項11に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/080,394 US10140770B2 (en) | 2016-03-24 | 2016-03-24 | Three dimensional heads-up display unit including visual context for voice commands |
US15/080,394 | 2016-03-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017175621A JP2017175621A (ja) | 2017-09-28 |
JP6418266B2 true JP6418266B2 (ja) | 2018-11-07 |
Family
ID=59898814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017057601A Active JP6418266B2 (ja) | 2016-03-24 | 2017-03-23 | 音声コマンドに対応した視覚コンテキストを表示する三次元ヘッドアップディスプレイ装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10140770B2 (ja) |
JP (1) | JP6418266B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10395535B2 (en) * | 2014-12-02 | 2019-08-27 | Operr Technologies, Inc. | Method and system for legal parking |
KR101832466B1 (ko) * | 2016-06-14 | 2018-04-13 | 엘지전자 주식회사 | 자동주차 보조장치 및 이를 포함하는 차량 |
KR102304701B1 (ko) * | 2017-03-28 | 2021-09-24 | 삼성전자주식회사 | 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치 |
US20190012552A1 (en) * | 2017-07-06 | 2019-01-10 | Yves Lambert | Hidden driver monitoring |
KR101974871B1 (ko) | 2017-12-08 | 2019-05-03 | 엘지전자 주식회사 | 차량에 구비된 차량 제어 장치 및 차량의 제어방법 |
KR102014261B1 (ko) * | 2017-12-12 | 2019-08-26 | 엘지전자 주식회사 | 차량에 구비된 차량 제어 장치 및 차량의 제어방법 |
JPWO2019177113A1 (ja) * | 2018-03-15 | 2021-04-15 | コニカミノルタ株式会社 | 虚像表示光学系及び表示装置 |
US11880035B2 (en) * | 2018-05-04 | 2024-01-23 | Harman International Industries, Incorporated | Adjustable three-dimensional augmented reality heads up display |
CN112313137B (zh) * | 2018-06-19 | 2024-06-04 | 日产自动车株式会社 | 行驶信息处理装置和处理方法 |
US11079593B2 (en) * | 2018-11-26 | 2021-08-03 | International Business Machines Corporation | Heads up display system |
US11741704B2 (en) * | 2019-08-30 | 2023-08-29 | Qualcomm Incorporated | Techniques for augmented reality assistance |
US11262206B2 (en) | 2020-04-10 | 2022-03-01 | GM Cruise Holdings, LLC | Landmark based routing |
US11790669B2 (en) * | 2020-04-27 | 2023-10-17 | Nvidia Corporation | Systems and methods for performing operations in a vehicle using gaze detection |
US11713060B2 (en) * | 2020-09-18 | 2023-08-01 | Guident Ltd. | Systems and methods for remote monitoring of a vehicle, robot or drone |
CN113138737B (zh) * | 2021-04-16 | 2023-11-03 | 阿波罗智联(北京)科技有限公司 | 投屏场景的显示控制方法、装置、设备、介质及程序产品 |
DE102022213191A1 (de) * | 2022-12-07 | 2024-06-13 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Park- oder Manöverunterstützung eines Nutzers eines Fahrzeugs, Computerprogramm, Rechenvorrichtung und Fahrzeug |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6526351B2 (en) * | 2001-07-09 | 2003-02-25 | Charles Lamont Whitham | Interactive multimedia tour guide |
EP1308694B1 (en) * | 2001-11-01 | 2015-04-22 | Nissan Motor Company Limited | Navigation system, data server, travelling route establishing method and information providing method |
JP2003329477A (ja) | 2002-05-15 | 2003-11-19 | Pioneer Electronic Corp | ナビゲーション装置及び対話型情報提供プログラム |
WO2005121707A2 (en) | 2004-06-03 | 2005-12-22 | Making Virtual Solid, L.L.C. | En-route navigation display method and apparatus using head-up display |
US20060103590A1 (en) | 2004-10-21 | 2006-05-18 | Avner Divon | Augmented display system and methods |
JP4498902B2 (ja) | 2004-11-30 | 2010-07-07 | 三菱電機株式会社 | 音声認識装置 |
JP4910787B2 (ja) | 2006-03-06 | 2012-04-04 | オムロン株式会社 | 駐車支援装置および方法、駐車位置設定装置および方法、記録媒体、並びに、プログラム |
CN101553709A (zh) * | 2006-12-11 | 2009-10-07 | 三菱电机株式会社 | 导航装置 |
EP2000774A1 (en) * | 2007-06-08 | 2008-12-10 | Aisin AW Co., Ltd. | Navigation apparatus and navigation program |
SG10201400956YA (en) * | 2010-03-30 | 2014-05-29 | Ns Solutions Corp | Information processing system, information processing method and program, information processing apparatus, vacant space guidance system, vacant space guidance method and program, image display system, image display method and program |
US20140132767A1 (en) * | 2010-07-31 | 2014-05-15 | Eric Sonnabend | Parking Information Collection System and Method |
JP5234160B2 (ja) | 2011-03-23 | 2013-07-10 | 株式会社デンソー | 車両用装置および情報表示システム |
EP2705664A2 (en) * | 2011-05-03 | 2014-03-12 | Atsmon, Alon | Automatic image content analysis method and system |
US20140309873A1 (en) * | 2013-04-15 | 2014-10-16 | Flextronics Ap, Llc | Positional based movements and accessibility of features associated with a vehicle |
US9317895B1 (en) * | 2012-08-09 | 2016-04-19 | Xilinx, Inc. | Non-linear image mapping |
DE102013003059A1 (de) | 2013-02-22 | 2014-08-28 | Audi Ag | Verfahren und Bedienungssystem zur blickrichtungsabhängigen Sprachsteuerung einer Funktionseinheit eines Kraftwagens |
US20140362195A1 (en) * | 2013-03-15 | 2014-12-11 | Honda Motor, Co., Ltd. | Enhanced 3-dimensional (3-d) navigation |
US20140303839A1 (en) * | 2013-04-03 | 2014-10-09 | Ford Global Technologies, Llc | Usage prediction for contextual interface |
WO2014196038A1 (ja) | 2013-06-05 | 2014-12-11 | 三菱電機株式会社 | 視線検知による情報処理装置および情報処理方法 |
DE102013016244A1 (de) * | 2013-10-01 | 2015-04-02 | Daimler Ag | Verfahren und Vorrichtung zur augmentierten Darstellung |
JP6323074B2 (ja) * | 2014-03-06 | 2018-05-16 | 株式会社デンソー | 表示物情報表示装置 |
JP2015174051A (ja) | 2014-03-17 | 2015-10-05 | 株式会社栗本鐵工所 | ジョークラッシャ用歯板 |
EP3154052A4 (en) * | 2014-06-03 | 2018-01-10 | Sony Corporation | Information processing device, information processing method, and program |
KR20160001178A (ko) * | 2014-06-26 | 2016-01-06 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
US20170168774A1 (en) | 2014-07-04 | 2017-06-15 | Clarion Co., Ltd. | In-vehicle interactive system and in-vehicle information appliance |
EP3072710B1 (en) * | 2015-03-24 | 2018-03-28 | LG Electronics Inc. | Vehicle, mobile terminal and method for controlling the same |
KR101942793B1 (ko) * | 2015-07-03 | 2019-01-28 | 엘지전자 주식회사 | 차량 운전 보조장치 및 이를 포함하는 차량 |
-
2016
- 2016-03-24 US US15/080,394 patent/US10140770B2/en active Active
-
2017
- 2017-03-23 JP JP2017057601A patent/JP6418266B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017175621A (ja) | 2017-09-28 |
US20170278305A1 (en) | 2017-09-28 |
US10140770B2 (en) | 2018-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6418266B2 (ja) | 音声コマンドに対応した視覚コンテキストを表示する三次元ヘッドアップディスプレイ装置 | |
US10410427B2 (en) | Three dimensional graphical overlays for a three dimensional heads-up display unit of a vehicle | |
US9891058B2 (en) | Method and apparatus for providing navigation guidance via proximate devices | |
US11113967B2 (en) | Method for determining parking spaces and free-parking space assistance system | |
JP6205715B2 (ja) | 路上駐車場の空き状況の推定 | |
JP6358390B2 (ja) | 路上物体をヘッドアップディスプレイ上で強調する安全システム | |
EP2990936A1 (en) | Communication of spatial information based on driver attention assessment | |
US11085778B2 (en) | Method and apparatus for providing opportunistic intermodal routes with shared vehicles | |
US20110238290A1 (en) | Navigation system with image assisted navigation mechanism and method of operation thereof | |
US20090319178A1 (en) | Overlay of information associated with points of interest of direction based data services | |
EP2843368B1 (en) | Method and system for computer-based navigation | |
US11677930B2 (en) | Method, apparatus, and system for aligning a vehicle-mounted device | |
US11181386B2 (en) | Navigation device, destination guiding system, and non-transitory recording medium | |
EP3923247A1 (en) | Method, apparatus, and system for projecting augmented reality navigation cues on user-selected surfaces | |
US20170274771A1 (en) | Wireless Data Sharing Between a Mobile Client Device and a Three-Dimensional Heads-Up Display Unit | |
US20200166353A1 (en) | Method and apparatus for generating a pooled route to extend a service area of a shared vehicle | |
EP2991358A2 (en) | Communication of cloud-based content to a driver | |
US20230366695A1 (en) | Systems and methods for vacant property identification and display | |
US8700011B2 (en) | Method and system for presenting a transit indicator | |
US20230368123A1 (en) | Augmented reality display of location based contracting | |
CN113945220A (zh) | 导航方法和装置 | |
CN117251651A (zh) | 信息呈现方法及电子设备 | |
CN114061613A (zh) | 用于提供车辆导航服务的方法、装置、介质及车辆 | |
CN115454246A (zh) | 虚拟导航方法、电子设备、计算机可读介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180924 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6418266 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |