JP2019021306A - 色盲のための拡張現実車両支援 - Google Patents
色盲のための拡張現実車両支援 Download PDFInfo
- Publication number
- JP2019021306A JP2019021306A JP2018119182A JP2018119182A JP2019021306A JP 2019021306 A JP2019021306 A JP 2019021306A JP 2018119182 A JP2018119182 A JP 2018119182A JP 2018119182 A JP2018119182 A JP 2018119182A JP 2019021306 A JP2019021306 A JP 2019021306A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driver
- data
- overlay
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title description 6
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000004891 communication Methods 0.000 claims description 77
- 230000009471 action Effects 0.000 claims description 23
- 201000007254 color blindness Diseases 0.000 abstract description 20
- 208000006992 Color Vision Defects Diseases 0.000 abstract description 19
- 230000015654 memory Effects 0.000 description 43
- 230000007613 environmental effect Effects 0.000 description 25
- 238000004590 computer program Methods 0.000 description 12
- 238000012552 review Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 201000004569 Blindness Diseases 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- 208000036693 Color-vision disease Diseases 0.000 description 1
- RTZKZFJDLAIYFH-UHFFFAOYSA-N Diethyl ether Chemical compound CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- 101100514842 Xenopus laevis mtus1 gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000002826 coolant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/32—Holograms used as optical elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0185—Displaying image at variable distance
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Ophthalmology & Optometry (AREA)
- Vascular Medicine (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Instrument Panels (AREA)
- Navigation (AREA)
Abstract
Description
本出願は、「AUGMENTED REALITY VEHICULAR ASSISTANCE FOR COLOR BLINDNESS」と題し、2017年7月18日に出願された米国特許出願第15/653,342号の優先権を主張する。これらの特許出願は、その全体が参照によって本願明細書に援用される。
クセスしやすくするという問題に的を絞っている。これら既存の解決策は、あらゆる度合いの色盲に対応することができないため、適切ではない。高度の色盲である一部の人は、たとえこれら既存の解決策の助けがあっても交通信号を識別するのにやはり苦労する場合があり、よってこのように、これら既存の解決策は、そうした運転者が車両を運転しているときにその運転環境を理解し、または正しく解釈するのを助けることができない。比較すると、本明細書に記載するARシステムは、色盲の度合いにかかわらず、すべての色盲の運転者を支援することができる。
地点の近くにあるかどうか識別するために問い合わせまたは相互参照を行うことができる交通信号や道路標識などの静的関心地点の地理的位置を記述するディジタルデータを含むライトデータ構造、という各種のディジタルデータのうちの1つ以上を使用して1つ以上の関心地点を識別する。
1つの一般的な態様は、ARヘッドセットを含む車両のための方法を含み、本方法は、車両の運転環境における点灯した灯火を識別するステップと、車両の運転環境において点灯した灯火が識別されたことに応答して実施すべき車両動作を決定するステップと、ARヘッドセットを使用して、点灯した灯火が識別されたことに応答して実施すべき車両動作を記述する単語を視覚的に表現するARオーバーレイを表示するステップと、を含む。
本態様の他の実施形態は、対応するコンピュータシステム、装置、および方法の動作を行うように各々構成された1台または複数のコンピュータ記憶装置上に記録されたコンピュータプログラムを含む。
点灯した灯火が、交通信号の赤い灯火、ブレーキ灯の赤い灯火、交通信号の黄色い灯火、および交通信号の緑の灯火を含むグループの中から選択される方法。
単語が、交通信号の赤い灯火では停止する、ブレーキ灯の赤い灯火ではブレーキをかける、交通信号の黄色い灯火では減速する、および交通信号の緑の灯火では停止する、を含むグループの中から選択される方法。
点灯した灯火が、車両によって受信された狭域通信メッセージに含まれる、点灯した灯火を記述するディジタルデータに基づいて識別される方法。
ARヘッドセットが、ARオーバーレイが現実世界で3次元を有するように視覚的に現れるようにARオーバーレイを表示するように動作する3次元ヘッドアップ・ディスプレイ・ユニットである方法。
ARヘッドセットがARゴーグルである方法。
ARオーバーレイが車両動作を記述する1つの単語のテキストからなる方法。
方法が、点灯した灯火が識別されることに対してリアルタイムで実行される方法。
前述の技法の各実施態様は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含みうる。
本システムは、ARヘッドセットと、ARヘッドセットに通信可能に結合された車載コ
ンピュータシステムであって、車載車両コンピュータシステムによって実行された場合に車載車両コンピュータシステムに、車両の運転環境における点灯した灯火を識別させ、車両の運転環境において点灯した灯火が識別されたことに応答して実施すべき車両動作を決定させ、ARヘッドセットに、点灯した灯火が識別されたことに応答して実施すべき車両動作を記述する単語を視覚的に表現するARオーバーレイを表示させるコンピュータコードを格納した非一時的メモリを含む車載コンピュータシステムと、を含む。
本態様の他の実施形態は、対応するコンピュータシステム、装置、および方法の動作を行うように各々構成された1台または複数のコンピュータ記憶装置上に記録されたコンピュータプログラムを含む。
点灯した灯火が、車両の1つ以上の車載センサによって記録された運転環境の測定値に基づいて識別されるシステム。
点灯した灯火が、車両によって受信された狭域通信メッセージに含まれる、点灯した灯火を記述するディジタルデータに基づいて識別されるシステム。
ARヘッドセットが、ARオーバーレイが現実世界で3次元を有するように視覚的に現れるようにARオーバーレイを表示するように動作する3次元ヘッドアップ・ディスプレイ・ユニットであるシステム。
ARヘッドセットがARゴーグルであるシステム。
ARオーバーレイが車両動作を記述する1つの単語のテキストからなるシステム。
ARオーバーレイが、点灯した灯火が識別されることに対してリアルタイムで表示されるシステム。
前述の技法の各実施態様は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含みうる。
本コンピュータプログラム製品は、車載コンピュータシステムによって実行された場合に、車載コンピュータシステムに、車両の運転環境における点灯した灯火を識別させ、車両の運転環境において点灯した灯火が識別されたことに応答して実施すべき車両動作を決定させ、車両のARヘッドセットに、点灯した灯火が識別されたことに応答して実施すべき車両動作を記述する単語を視覚的に表現するARオーバーレイを表示させる、コンピュータ実行可能コードを格納した車両の車載コンピュータシステムの非一時的メモリを含む。
本態様の他の実施形態は、対応するコンピュータシステム、装置、および方法の動作を行うように各々構成された1台または複数のコンピュータ記憶装置上に記録されたコンピュータプログラムを含む。
各実施態様は以下の特徴のうちの1つ以上を含みうる。
点灯した灯火が、車両の1つ以上の車載センサによって記録された運転環境の測定値に基づいて識別されるコンピュータプログラム製品。
点灯した灯火が、車両によって受信された狭域通信メッセージに含まれる、点灯した灯火を記述するディジタルデータに基づいて識別されるコンピュータプログラム製品。
ARヘッドセットが、ARオーバーレイが現実世界で3次元を有するように視覚的に現れるようにARオーバーレイを表示するように動作する3次元ヘッドアップ・ディスプレイ・ユニットであるコンピュータプログラム製品。
ARオーバーレイが車両動作を記述する1つの単語のテキストからなるコンピュータプログラム製品。
前述の技法の各実施態様は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含みうる。
車両の周辺環境内にあり、前記車両の運転者によって視認可能な灯火の種類を識別する識別ステップと、前記識別した灯火の種類に基づいて、前記車両の運転者が行うべき動作を決定する決定ステップと、前記車両の運転者が行うべき動作を視覚的に表すARオーバーレイを生成し、前記車両の運転者が視認するARヘッドセットに出力する案内ステップと、を含む。
また、前記案内ステップでは、赤色の交通信号を識別した場合に、停止すべき旨を表す前記ARオーバーレイを生成することを特徴としてもよい。
また、前記案内ステップでは、黄色の交通信号を識別した場合に、減速すべき旨を表す前記ARオーバーレイを生成することを特徴としてもよい。
また、前記案内ステップでは、先行車両のブレーキ灯の点灯を識別した場合に、減速すべき旨を表す前記ARオーバーレイを生成することを特徴としてもよい。
また、前記識別ステップでは、一の灯火が点灯していることを表す狭域通信メッセージを受信し、前記狭域通信メッセージに基づいて、前記灯火の種類を識別することを特徴としてもよい。
また、前記識別ステップでは、第一の車両のブレーキ灯が点灯したことを表す狭域通信メッセージを、前記第一の車両から受信することを特徴としてもよい。
また、前記識別ステップでは、交通信号機の赤色または黄色の灯火が点灯していることを表す狭域通信メッセージを、前記交通信号機に対応する路側装置から受信することを特徴としてもよい。
また、前記ARヘッドセットは、ARゴーグル、または、3次元ヘッドアップディスプレイのいずれかであることを特徴としてもよい。
また、前記ARオーバーレイは、前記車両の運転者が行うべき動作を記述した文字を含むことを特徴としてもよい。
車両の周辺環境内にあり、前記車両の運転者によって視認可能な灯火の種類を識別する識別手段と、前記識別した灯火の種類に基づいて、前記車両の運転者が行うべき動作を決定する決定手段と、前記車両の運転者が行うべき動作を視覚的に表すARオーバーレイを生成し、前記車両の運転者が視認するARヘッドセットに出力する案内手段と、を有する。
図1を参照すると、いくつかの実施形態による車両123のARシステム199のための動作環境100が示されている。動作環境100は、車両123およびサーバ107のうちの1つ以上を含みうる。これらの要素は、ネットワーク105を介して相互に通信可能に結合されうる。図1には、1台の車両123、1台のサーバ107、および1つのネットワーク105が示されているが、実際には動作環境100は、1台または複数の車両123、1台または複数のサーバ107、および1つ以上のネットワーク105を含みうる。
イトデータ構造184に関連したARシステム199の機能は、例えば、サーバ107が車両123より高い計算処理能力を有しうるために、サーバ107によって提供される。
EN 12253:2004 Dedicated Short−Range Communication−Physical layer using microwave at 5.8 GHz (review)
EN 12795:2002 Dedicated Short−Range Communication(DSRC)−DSRC Data link layer:Medium Access and Logical Link Control(review)
EN 12834:2002 Dedicated Short−Range Communication−Application layer(review)
EN 13372:2004 Dedicated Short−Range Communication(DSRC)−DSRC profiles for RTTT applications(review)
EN ISO 14906:2004 Electronic Fee Collec
tion−Application interface
道上を走行する複数のDSRC搭載車両の個々の車両は、車両自体を他のDSRC搭載車両に対して自動的に識別し、他の車両にその車両の地理的位置を車線レベルの精度で知らせることができる。本明細書に記載するARシステム199は、この情報を使用して、例えば、ブレーキ灯の存在を識別し、車両123までのブレーキ灯の距離はブレーキ灯が車両123の運転者にとっての関心地点になるものであるかどうか識別しうる。
いくつかの実施形態では、プロセッサ125およびメモリ127は、車載コンピュータシステム(図2に関連して後述するコンピュータシステム200など)の要素である。車載コンピュータシステムはARシステム199の動作を行わせ、または制御するように動作する。車載コンピュータシステムは、メモリ127に格納されたデータにアクセスし、データを実行して、ARシステム199またはARシステム199の要素(例えば、図2参照)について本明細書に記載する機能を提供するように動作する。車載コンピュータシステムは、車載コンピュータシステムに、図3に関連して後述する方法300のステップのうちの1つ以上を実行させるARシステム199を実行するように動作する。
せるように動作するコードまたはルーチンを含む。
interface;EN 11253:2004 Dedicated Short−Range Communication−Physical layer using
microwave at 5.8 GHz (review);EN 12795:2002 Dedicated Short−Range Communication(DSRC)−DSRC Data link layer:Medium Access and Logical Link Control(review);EN 12834:2002 Dedicated Short−Range Communication−Application layer(review);EN 13372:2004 Dedicated Short−Range Communication(DSRC)−DSRC profiles for RTTT applications(review);2014年8月28日に出願された、「Full−Duplex
Coordination System」という名称の米国特許出願第14/471387号明細書に記載されている通信方法;または別の適切な無線通信方法を含む、1つまたは複数の無線通信方法を使用してネットワーク105または他の通信路とデータを交換するための無線送受信機を含む。
ウェアを含む。
EN 12253:2004 Dedicated Short−Range Communication−Physical layer using microwave at 5.8 GHz (review)
EN 12795:2002 Dedicated Short−Range Communication(DSRC)−DSRC Data link layer:Medium Access and Logical Link Control(review)
EN 12834:2002 Dedicated Short−Range Communication−Application layer(review)
EN 13372:2004 Dedicated Short−Range Communication(DSRC)−DSRC profiles for RTTT applications(review)
EN ISO 14906:2004 Electronic Fee Collection−Application interface
123の運転者が現実世界に存在するかのように仮想オーバーレイにタッチし、握り、触ることができるように構成された触覚フィードバックグローブである(例えば、図4A〜図4Eに示す仮想オーバーレイを参照されたい)。
、タイヤ空気圧モニタリングセンサ、トルクセンサ、トランスミッション油温センサ、タービン速度センサ(TSS)、可変リラクタンスセンサ、車両速度センサ(VSS)、水センサ、車輪速度センサ、および任意の他の種類の自動車センサの各車両センサのうちの1台または複数が含まれうる。
いくつかの実施形態では、サーバ107は、ARシステム199、通信ユニット145、プロセッサ125、およびメモリ127の各要素のうちの1つまたは複数を含むクラウドサーバである。
ャッシュ)に格納する。
供されるグラフィックオーバーレイの例が示されている。
何らかの他の変形を表現する、第1のブレーキ灯421に対応する第1のARオーバーレイ405と第2のブレーキ灯422に対応する第2のARオーバーレイ404とをそれぞれ表現させるグラフィックデータ187を生成する。
ードウェアとともに説明される。しかし、ここでの説明は、データおよびコマンドを受信する任意のタイプのコンピュータシステムおよび任意の周辺機器について適用できる。
107 サーバ
120 バス
123 車両
125 プロセッサ
127 メモリ
144 DSRC無線機
145 通信ユニット
150 DSRC準拠のGPSユニット
170 センサセット
184 ライトデータ構造
185 GPSデータ
186 環境データ
187 グラフィックデータ
188 頭部位置データ
196 ARグローブ
198 ARヘッドセット
199 ARシステム
Claims (12)
- 車両の周辺環境内にあり、前記車両の運転者によって視認可能な灯火の種類を識別する識別ステップと、
前記識別した灯火の種類に基づいて、前記車両の運転者が行うべき動作を決定する決定ステップと、
前記車両の運転者が行うべき動作を視覚的に表すARオーバーレイを生成し、前記車両の運転者が視認するARヘッドセットに出力する案内ステップと、
を含む、案内方法。 - 前記灯火の種類は、交通信号、または、他の車両が有するブレーキ灯のいずれかである、
請求項1に記載の案内方法。 - 前記案内ステップでは、赤色の交通信号を識別した場合に、停止すべき旨を表す前記ARオーバーレイを生成する、
請求項1または2に記載の案内方法。 - 前記案内ステップでは、黄色の交通信号を識別した場合に、減速すべき旨を表す前記ARオーバーレイを生成する、
請求項1から3のいずれかに記載の案内方法。 - 前記案内ステップでは、先行車両のブレーキ灯の点灯を識別した場合に、減速すべき旨を表す前記ARオーバーレイを生成する、
請求項1から4のいずれかに記載の案内方法。 - 前記識別ステップでは、一の灯火が点灯していることを表す狭域通信メッセージを受信し、前記狭域通信メッセージに基づいて、前記灯火の種類を識別する、
請求項1から5のいずれかに記載の案内方法。 - 前記識別ステップでは、第一の車両のブレーキ灯が点灯したことを表す狭域通信メッセージを、前記第一の車両から受信する、
請求項6に記載の案内方法。 - 前記識別ステップでは、交通信号機の赤色または黄色の灯火が点灯していることを表す狭域通信メッセージを、前記交通信号機に対応する路側装置から受信する、
請求項6または7のいずれかに記載の案内方法。 - 前記ARヘッドセットは、ARゴーグル、または、3次元ヘッドアップディスプレイのいずれかである、
請求項1から8のいずれかに記載の案内方法。 - 前記ARオーバーレイは、前記車両の運転者が行うべき動作を記述した文字を含む、
請求項1から9のいずれかに記載の案内方法。 - 請求項1から10のいずれかに記載の案内方法をコンピュータに実行させるためのプログラム。
- 車両の周辺環境内にあり、前記車両の運転者によって視認可能な灯火の種類を識別する識別手段と、
前記識別した灯火の種類に基づいて、前記車両の運転者が行うべき動作を決定する決定手段と、
前記車両の運転者が行うべき動作を視覚的に表すARオーバーレイを生成し、前記車両の運転者が視認するARヘッドセットに出力する案内手段と、
を含む、案内装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/653,342 US10527849B2 (en) | 2017-07-18 | 2017-07-18 | Augmented reality vehicular assistance for color blindness |
US15/653,342 | 2017-07-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019021306A true JP2019021306A (ja) | 2019-02-07 |
JP6729636B2 JP6729636B2 (ja) | 2020-07-22 |
Family
ID=64951560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018119182A Active JP6729636B2 (ja) | 2017-07-18 | 2018-06-22 | 色盲のための拡張現実車両支援 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10527849B2 (ja) |
JP (1) | JP6729636B2 (ja) |
DE (1) | DE102018117135A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210068761A (ko) * | 2019-12-02 | 2021-06-10 | 가톨릭관동대학교산학협력단 | 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법 |
WO2021177594A1 (ko) * | 2020-03-06 | 2021-09-10 | 삼성전자 주식회사 | Ar hud를 이용하여 운전자의 주행을 돕는 방법 및 장치 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009037835B4 (de) | 2009-08-18 | 2012-12-06 | Metaio Gmbh | Verfahren zur Darstellung von virtueller Information in einer realen Umgebung |
WO2015043620A1 (en) * | 2013-09-24 | 2015-04-02 | Metaio Gmbh | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor |
US10885676B2 (en) * | 2016-12-27 | 2021-01-05 | Samsung Electronics Co., Ltd. | Method and apparatus for modifying display settings in virtual/augmented reality |
JP6839625B2 (ja) * | 2017-07-27 | 2021-03-10 | 京セラ株式会社 | 飛行体、通信端末、及びプログラム |
US10423844B2 (en) * | 2017-09-27 | 2019-09-24 | Toyota Jidosha Kabushiki Kaisha | Personalized augmented reality vehicular assistance for color blindness condition |
JP2019121320A (ja) * | 2018-01-11 | 2019-07-22 | 株式会社小糸製作所 | 車車間通信システム、車両システム、車両用照明システム及び車両 |
WO2020142112A1 (en) * | 2019-07-08 | 2020-07-09 | Futurewei Technologies, Inc. | System and method to identify points of interest from within autonomous vehicles |
US20210122388A1 (en) * | 2019-10-23 | 2021-04-29 | Ford Global Technologies, Llc | Vehicle display enhancement |
CN111899540B (zh) * | 2020-06-21 | 2022-09-06 | 肖咸锋 | 一种图型式道路交通指示装置 |
US20240042851A1 (en) * | 2022-08-08 | 2024-02-08 | GM Global Technology Operations LLC | Head-up display with adaptive color palette |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008094377A (ja) * | 2006-09-14 | 2008-04-24 | Toyota Motor Corp | 車両用表示装置 |
JP2009099060A (ja) * | 2007-10-18 | 2009-05-07 | Toyota Motor Corp | 運転支援システム |
JP2012121527A (ja) * | 2010-12-10 | 2012-06-28 | Toyota Motor Corp | 画像表示装置 |
WO2016174882A1 (ja) * | 2015-04-28 | 2016-11-03 | 住友電気工業株式会社 | 車載装置及び運転支援方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7426437B2 (en) * | 1997-10-22 | 2008-09-16 | Intelligent Technologies International, Inc. | Accident avoidance systems and methods |
US20110229023A1 (en) * | 2002-11-01 | 2011-09-22 | Tenebraex Corporation | Technique for enabling color blind persons to distinguish between various colors |
AU2003300514A1 (en) * | 2003-12-01 | 2005-06-24 | Volvo Technology Corporation | Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position |
EP2232458B1 (de) * | 2007-12-13 | 2018-06-27 | Continental Teves AG & Co. oHG | Verfahren und vorrichtung zur unterstützung eines fahrzeugbedieners |
US8831849B2 (en) | 2012-02-13 | 2014-09-09 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for traffic signal recognition |
US20140362195A1 (en) * | 2013-03-15 | 2014-12-11 | Honda Motor, Co., Ltd. | Enhanced 3-dimensional (3-d) navigation |
US9384565B2 (en) | 2013-11-06 | 2016-07-05 | Software Ag | Colorblind accessibility test for a screen display |
DE102014000803B4 (de) * | 2014-01-22 | 2019-05-09 | Audi Ag | Fahrzeug, Anzeigesystem und Verfahren zum Anzeigen einer verkehrsrelevanten Information |
EP2933707B1 (en) * | 2014-04-14 | 2017-12-06 | iOnRoad Technologies Ltd. | Head mounted display presentation adjustment |
US9373046B2 (en) | 2014-09-10 | 2016-06-21 | Continental Automotive Systems, Inc. | Detection system for color blind drivers |
WO2016205143A1 (en) * | 2015-06-14 | 2016-12-22 | Sony Interactive Entertainment Inc. | Gloves that include haptic feedback for use with hmd systems |
US10049571B2 (en) * | 2016-06-29 | 2018-08-14 | Toyota Jidosha Kabushiki Kaisha | Situational understanding of unknown roadway conditions that are ahead for a connected vehicle |
US10281925B2 (en) * | 2016-10-21 | 2019-05-07 | Toyota Jidosha Kabushiki Kaisha | Estimate of geographical position of a vehicle using wireless vehicle data |
US9996980B1 (en) * | 2016-11-18 | 2018-06-12 | Toyota Jidosha Kabushiki Kaisha | Augmented reality for providing vehicle functionality through virtual features |
-
2017
- 2017-07-18 US US15/653,342 patent/US10527849B2/en active Active
-
2018
- 2018-06-22 JP JP2018119182A patent/JP6729636B2/ja active Active
- 2018-07-16 DE DE102018117135.8A patent/DE102018117135A1/de active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008094377A (ja) * | 2006-09-14 | 2008-04-24 | Toyota Motor Corp | 車両用表示装置 |
JP2009099060A (ja) * | 2007-10-18 | 2009-05-07 | Toyota Motor Corp | 運転支援システム |
JP2012121527A (ja) * | 2010-12-10 | 2012-06-28 | Toyota Motor Corp | 画像表示装置 |
WO2016174882A1 (ja) * | 2015-04-28 | 2016-11-03 | 住友電気工業株式会社 | 車載装置及び運転支援方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210068761A (ko) * | 2019-12-02 | 2021-06-10 | 가톨릭관동대학교산학협력단 | 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법 |
KR102270011B1 (ko) * | 2019-12-02 | 2021-06-28 | 가톨릭관동대학교산학협력단 | 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법 |
WO2021177594A1 (ko) * | 2020-03-06 | 2021-09-10 | 삼성전자 주식회사 | Ar hud를 이용하여 운전자의 주행을 돕는 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP6729636B2 (ja) | 2020-07-22 |
DE102018117135A1 (de) | 2019-01-24 |
US10527849B2 (en) | 2020-01-07 |
US20190025584A1 (en) | 2019-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6729636B2 (ja) | 色盲のための拡張現実車両支援 | |
US10423844B2 (en) | Personalized augmented reality vehicular assistance for color blindness condition | |
JP7200832B2 (ja) | デジタル行動ツインに基づくコネクティッド車両のための衝突回避 | |
JP6844581B2 (ja) | 拡張現実を用いた車線案内 | |
JP6428876B2 (ja) | 車載拡張現実システム向けの遮蔽調整システム | |
CN110892233B (zh) | 用于传感器范围和视场的车载增强可视化的方法和装置 | |
US10895465B2 (en) | Optimizing a route selection for a highly autonomous vehicle | |
CN111161008B (zh) | Ar/vr/mr乘车共享助理 | |
JP7413811B2 (ja) | Vehicle-to-Everything通信に基づく車両構成要素の修正 | |
JP2019212297A (ja) | 車線変更タイミングインジケータ | |
JP6798526B2 (ja) | 運転者へのロードミラー内容の提供 | |
US11148594B2 (en) | Apparatus and method for around view monitoring using lidar | |
KR20190078664A (ko) | 컨텐츠를 표시하기 위한 장치 및 방법 | |
US11186289B2 (en) | Concealment system for improved safe driving | |
US20230339492A1 (en) | Generating and depicting a graphic of a phantom vehicle | |
WO2023239806A1 (en) | Systems and methods for heads-up display | |
KR101373855B1 (ko) | 번호인식기술을 활용한 과속감지 및 단속시스템 | |
CN116403435A (zh) | 为自主和辅助驾驶交通工具调配对等方辅助安全模型的***和方法 | |
US11257363B2 (en) | XR-based slot reservation system for connected vehicles traveling through intersections | |
CN114527735A (zh) | 用于控制自动驾驶车辆的方法和装置、车辆及存储介质 | |
WO2021076734A1 (en) | Method for aligning camera and sensor data for augmented reality data visualization | |
Ostojic | Framework For Integration of the Driving Simulator in Connected Vehicle Environment | |
JP2021535519A (ja) | 拡張現実dsrcデータ可視化 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6729636 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |