JP2016048550A - ドライバの注意評価に基づく空間情報の提示 - Google Patents
ドライバの注意評価に基づく空間情報の提示 Download PDFInfo
- Publication number
- JP2016048550A JP2016048550A JP2015165503A JP2015165503A JP2016048550A JP 2016048550 A JP2016048550 A JP 2016048550A JP 2015165503 A JP2015165503 A JP 2015165503A JP 2015165503 A JP2015165503 A JP 2015165503A JP 2016048550 A JP2016048550 A JP 2016048550A
- Authority
- JP
- Japan
- Prior art keywords
- user
- data
- graphic
- display
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】ドライバが危険な物体を確実に検出・認識できるようにする。【解決手段】プロセッサベースの演算装置によって実行される方法であって、物体についての物体データを受信するステップと、車両の経路を含む車両データを決定するステップと、前記車両データと前記物体データに基づいて、前記物体の危険インデックスを推定するステップと、ユーザの視線を検出するステップと、ユーザの視線に基づいて前記ユーザが前記物体を見たかどうかを判定するステップと、前記物体を表示するためのグラフィックを特定するステップと、ユーザのアイフレームに対応するように前記グラフィックを配置するステップと、を含む。【選択図】図2
Description
本明細書は、ドライバの注意力評価に基づいてヘッドアップディスプレイ用の空間情報を生成する技術に関する。
現在のヘッドアップディスプレイシステムは、現在の速度や潜在的な危険についての警告などのような要約された情報を提供する。ヘッドアップディスプレイ上で視覚情報をドライバに提供する場合、提供される情報が適切なものであることが重要である。ヘッドアップディスプレイのスペースは限定されているので、ユーザにとって何が重要であるかを考慮できないと、ヘッドアップディスプレイシステムは最も適切な情報を提供することに失敗してしまう。
本発明は、ドライバが危険な物体を確実に検出・認識できるようにすることを目的とする。
本開示において説明される発明主題の革新的な一態様は、物体についての物体データを受信する受信手段と、車両の経路を含む車両データを決定する決定手段と、前記車両データと前記物体データに基づいて、前記物体の危険インデックスを推定する推定手段と、ユーザの視線を検出する検出手段と、ユーザの視線に基づいて前記ユーザが前記物体を見たかどうかを判定する判定手段と、前記物体を表示するためのグラフィックを特定する特定手段と、ユーザのアイフレームに対応するように前記グラフィックを配置する配置手段と、
を備える、システムである。
を備える、システムである。
一般に、本開示において説明される発明主題の別の革新的な一態様は、プロセッサベースの演算装置によって実行される方法であって、物体についての物体データを受信するステップと、車両の経路を含む車両データを決定するステップと、前記車両データと前記物体データに基づいて、前記物体の危険インデックスを推定するステップと、ユーザの視線を検出するステップと、ユーザの視線に基づいて前記ユーザが前記物体を見たかどうかを判定するステップと、前記物体を表示するためのグラフィックを特定するステップと、ユーザのアイフレームに対応するように前記グラフィックを配置するステップと、を含む、方法である。
これらおよびその他の実施形態は、それぞれ以下の処理や特徴の一つまたは複数を付随的に含むことができる。たとえば、物体データは、物体−車両(X2V)データを含むことができる。また、ある実施形態においては、以下の付加的な処理を含むこともできる。たとえば、前記危険インデックスと前記ユーザが前記物体をどのくらいの時間見たかに基づいて表示モダリティを決定し、ヘッドアップディスプレイ上に、前記グラフィックを前記表示モダリティで表示すること;ユーザが所定の時間量よりも長く前記物体を見たかどうかを判定し、ユーザが前記物体を前記所定の時間量よりも長く見なかった場合に、前記グラフィックのモダリティとして、より目立つモダリティを選択すること;ユーザが前記物体を前記所定の時間量よりも長く見た場合に、前記ヘッドアップディスプレイから前記グラフィックを取り除くこと;ユーザの視線の方向を指す矢印を出力すること;ユーザが第2の所定の時間量よりも長く前記物体を見た場合に、表示のための前記グラフィックを
選択しないこと;前記物体の境界ボックスを生成すること;前記物体データおよび前記境界ボックスに基づいて前記物体の経路を決定すること、を含むことができる。
選択しないこと;前記物体の境界ボックスを生成すること;前記物体データおよび前記境界ボックスに基づいて前記物体の経路を決定すること、を含むことができる。
他の態様は、これらもしくはその他の態様に対応する方法、システム、装置、およびコンピュータプログラムプロダクトを含む。
本開示は、特にいくつかの点で有利である。たとえば、本システムによれば、物体が視界内になくても、ドライバが物体を検出・認識することができる。そのうえ、本システムは、理解が容易なグラフィクスを用いて、ユーザに危険な状況を警告することができる。加えて、ヘッドアップディスプレイは、目の焦点を道路とグラフの間で変えることをドライバに要求しないグラフィクスを生成する。その結果、ユーザはより速く反応することができて、衝突を避けることができる。
以下の説明および添付の図面は本発明を説明するための例示であり、本発明を限定するものではない。図面においては、同様の要素には同一の参照符号を付してある。
<例示的なシステムの概要>
図1は、ドライバの注意力評価に基づいてヘッドアップディスプレイ用の空間情報を生成するシステム100の一実施形態のブロック図を例示する。システム100は、第1のクライアント装置103、モバイルクライアント装置188、放送装置120、ソーシャルネットワークサーバ101、第2のサーバ198、および地図サーバ190を含む。第1のクライアント装置103とモバイルクライアント装置188は、それぞれ、信号線122と124を介して、ユーザ125aと125b(以下では、個々におよび集合的に、ユーザ125とも称する)によってアクセスされることができる。本実施形態においては、システム100のこれらのエンティティは、ネットワーク105を介して通信可能に結合されることができる。システム100は、たとえば、交通データを提供するための交通サーバ、気象データを提供するための気象サーバおよび電力使用サービス(例えば課金サービス)を提供するための電力サービスサーバなどを含む、図1に示されない他のサーバまたは装置を含むことができる。
図1は、ドライバの注意力評価に基づいてヘッドアップディスプレイ用の空間情報を生成するシステム100の一実施形態のブロック図を例示する。システム100は、第1のクライアント装置103、モバイルクライアント装置188、放送装置120、ソーシャルネットワークサーバ101、第2のサーバ198、および地図サーバ190を含む。第1のクライアント装置103とモバイルクライアント装置188は、それぞれ、信号線122と124を介して、ユーザ125aと125b(以下では、個々におよび集合的に、ユーザ125とも称する)によってアクセスされることができる。本実施形態においては、システム100のこれらのエンティティは、ネットワーク105を介して通信可能に結合されることができる。システム100は、たとえば、交通データを提供するための交通サーバ、気象データを提供するための気象サーバおよび電力使用サービス(例えば課金サービス)を提供するための電力サービスサーバなどを含む、図1に示されない他のサーバまたは装置を含むことができる。
図1における第1のクライアント装置103とモバイルクライアント装置188は、一例として用いられることができる。図1は2つのクライアント装置103,188を例示
するが、本開示は一つまたは複数のクライアント装置103,188を有するシステムアーキテクチャーに適用することができる。さらに、図1には複数の放送装置120が示されているが、放送装置120は1つであってもよい。さらに、図1は、第1のクライアント装置103、モバイルクライアント装置188、ソーシャルネットワークサーバ101、第2のサーバ198と地図サーバ190に結合する1つのネットワーク105を例示するが、実際には、一つまたは複数のネットワーク105を接続することができる。図1は、1台のソーシャルネットワークサーバ101、1台の第2のサーバ198と1台の地図サーバ190を含むが、システム100は、一つまたは複数のソーシャルネットワークサーバ101、一つまたは複数の第2のサーバ198と一つまたは複数の地図サーバ190を含むことができる。
するが、本開示は一つまたは複数のクライアント装置103,188を有するシステムアーキテクチャーに適用することができる。さらに、図1には複数の放送装置120が示されているが、放送装置120は1つであってもよい。さらに、図1は、第1のクライアント装置103、モバイルクライアント装置188、ソーシャルネットワークサーバ101、第2のサーバ198と地図サーバ190に結合する1つのネットワーク105を例示するが、実際には、一つまたは複数のネットワーク105を接続することができる。図1は、1台のソーシャルネットワークサーバ101、1台の第2のサーバ198と1台の地図サーバ190を含むが、システム100は、一つまたは複数のソーシャルネットワークサーバ101、一つまたは複数の第2のサーバ198と一つまたは複数の地図サーバ190を含むことができる。
ネットワーク105は、有線ネットワークであっても無線ネットワークであっても良く、また、スター型、トークンリング型や当業者に知られているその他の構成を取ることができる。さらにまた、ネットワーク105はLAN(Local Area Network),WAN(Wide Area Network)(例えばインターネット)や、複数の装置が通信可能な相互接続データパスを含むことができる。ある実施形態では、ネットワーク105はピアツーピアネットワークであることができる。ネットワーク105は、種々の異なる通信プロトコルでデータを送る電気通信網の一部に結合されたり当該一部を含んでもよい。ある実施形態では、ネットワーク105は、ブルートゥース(登録商標)通信ネットワークや携帯電話通信ネットワークを含み、SMS(ショートメッセージサービス)、MMS(マルチメディアメッセージサービス)、HTTP(ハイパーテキスト転送プロトコル)、直接データ接続、WAP、電子メールなどのデータを送受信する。ある実施形態では、ネットワーク105は、GPSナビゲーションを第1のクライアント装置103またはモバイルクライアント装置188に提供するためのGPS衛星を含むことができる。ネットワーク105は、3G、4G、LTE、Voice−over−LTE(VoLTE)のような任意のモバイルデータネットワークまたはモバイルデータネットワークの組合せであることができる。
放送装置120は、プロセッサとメモリを含むモバイルコンピュータでありえる。たとえば、放送装置120は、ネットワーク105にアクセス可能ことがウェアラブル装置、スマートフォン、携帯電話、パーソナル携帯情報機器(PDA)、モバイル電子メール装置、携帯ゲームプレーヤー、携帯音楽プレーヤーまたは他の携帯電子デバイスでありえる。ウェアラブル装置は、たとえば、ネットワーク越しに通信する装身具(jewelry)を含む。放送装置120は、DSRC(Dedicated Short−Range
Communication)プロトコルを用いて通信する。放送装置120は、物体に関する情報を提供する。物体は、ウェアラブル装置を持つ歩行者、スマートフォンを持つ自転車運転者、その他の乗物などを含む。
Communication)プロトコルを用いて通信する。放送装置120は、物体に関する情報を提供する。物体は、ウェアラブル装置を持つ歩行者、スマートフォンを持つ自転車運転者、その他の乗物などを含む。
放送装置120は、専用狭域通信(DSRC)として、X2Vデータを安全アプリケーション199に送る。X2Vデータは、車両−車両(V2V)データ、インフラ−車両(I2V)サービス、歩行者や自転車運転者のようなその他の物体からのデータなどの、任意のタイプの物体−車両データを含む。X2Vデータは、物体(X)から車両(V)に対して送信(X2V通信と称される)される物体(X)に関するデータである。X2Vデータは、物体から車両に対して直接送信されてもよいし、物体から中継装置を介して車両に送信されてもよい。X2Vデータは、物***置に関する情報を含む。物***置は、車両に対する物体の相対的な位置であってもよいし、物体の絶対的な位置であってもよい。一実施形態においては、X2Vデータは、データ源の種類を示す1または複数のビットを含む。DSRCは、自動車で用いられるように設計された、一方向または双方向の短距離から中距離の無線通信チャネルである。DSRCは、5.9GHzバンドを通信に用いる。
ある実施形態では、安全アプリケーション199aは、第1のクライアント装置103上で実行可能である。第1のクライアント装置103は、バッテリシステム搭載のモバイルクライアント装置でありえる。たとえば、第1のクライアント装置103は、非一時的なコンピュータエレクトロニクスとバッテリシステムを含む車両(例えば自動車、バス)、体内埋込装置やその他のモバイルシステムのうちのいずれかでありえる。ある実施形態では、第1のクライアント装置103は、メモリとプロセッサを含むコンピュータを含むことができる。図示される実施形態では、第1のクライアントデバイス103は信号線108を介してネットワーク105と通信可能に結合されている。
他の実施形態では、安全アプリケーション199bは、モバイルクライアント装置188上で実行可能である。モバイルクライアント装置188は、たとえば、ダッシュボードに搭載される車両装置、ラップトップコンピュータ、タブレットコンピュータ、携帯電話、パーソナル携帯情報機器(PDA)、モバイル電子メール装置、携帯ゲームプレーヤー、携帯音楽プレーヤー、ネットワーク105にアクセス可能なその他の携帯電子デバイスのような、メモリとプロセッサを含む携帯型コンピュータであることができる。ある実施形態では、安全アプリケーション199bは、部分的に第1のクライアント装置103の上に格納されるシンクライアントとして振る舞い、部分的にモバイルクライアント装置188に格納されるコンポーネントとして振る舞う。図示される実施形態では、モバイルクライアントデバイス188は信号線118を介してネットワーク105と通信可能に結合されている。
ある実施形態では、第1のユーザ125aと第2のユーザ125bは、第1のクライアント装置103とモバイルクライアント装置188の両方と相互作用する同一のユーザ125でありえる。たとえば、ユーザ125は、第1のクライアント装置103(例えば車両)内に座っていて、モバイルクライアント装置188(例えばスマートフォン)を操作しているドライバでありえる。ある他の実施形態では、第1のユーザ125aと第2のユーザ125bは、それぞれ、第1のクライアント装置103とモバイルクライアント装置188と相互作用する異なるユーザ125でありうる。たとえば、第1のユーザ125aは、第1のクライアント装置103を運転するドライバであり、第2のユーザ125bはモバイルクライアント装置188と相互作用する乗客でありえる。
安全アプリケーション199は、ヘッドアップディスプレイ用に空間情報を生成するためのソフトウェアでありえる。安全アプリケーション199は、物体についての物体データを受信する。物体データは、センサ、カメラまたは放送装置から取得される。安全アプリケーション199は、物体のカテゴリ化(分類)と、車両経路の決定を行う。たとえば、安全アプリケーション199は、物体が歩行者であり、車両がB通り上を北西へ向かって走行していると決定する。安全アプリケーション199は、車両データと物体データに基づいて、物体の危険インデックスを推定する。
安全アプリケーション199は、ユーザの視線を検出し、検出されたユーザ視線に基づいてユーザが物体を見ているかどうかを決定する。ユーザが十分に長いあいだ物体を見ていれば、安全アプリケーション199は、この物体についてのグラフィックを提供する必要はない。ユーザが物体を全く見ていないか十分に長いあいだ見ていない場合には、安全アプリケーション199は、この物体を表すグラフィックを特定して表示する。安全アプリケーション199は、また、危険インデックスに基づいてグラフィックの表示モダリティも決定する。たとえば、衝突が5秒以内に起こる可能性があれば、安全アプリケーション199は、グラフィックを点滅させる。
安全アプリケーション199は、ユーザのアイフレームに対応させてグラフィックを配置し、ユーザが所定時間以上このグラフィックを見たかどうかを決定する。ユーザがこの
グラフィックを十分な時間(すなわち所定時間以上)見た場合には、安全アプリケーション199は、ヘッドアップディスプレイからこのグラフィックの表示を取り除く。ユーザが十分な時間このグラフィックを見ていない場合は、安全アプリケーション199は、より目立つモダリティを用いてグラフィックを表示する。たとえば、安全アプリケーション199は、グラフィックの隣に赤く点滅する警告記号をする。
グラフィックを十分な時間(すなわち所定時間以上)見た場合には、安全アプリケーション199は、ヘッドアップディスプレイからこのグラフィックの表示を取り除く。ユーザが十分な時間このグラフィックを見ていない場合は、安全アプリケーション199は、より目立つモダリティを用いてグラフィックを表示する。たとえば、安全アプリケーション199は、グラフィックの隣に赤く点滅する警告記号をする。
ある実施形態では、安全アプリケーション199は、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)を含むハードウェアを用いて実施されることができる。別の実施形態では、安全アプリケーション199はハードウェアとソフトウェアの両方を用いて実装される。ある実施形態では、安全アプリケーション199は、装置とサーバの両方に格納されてもよいし、装置とサーバのいずれかのみに格納されてもよい。
ソーシャルネットワークサーバ101は、プロセッサ、メモリとネットワーク通信能力を含むハードウェアサーバである。本実施形態においては、ソーシャルネットワークサーバ101は、信号線104を介してネットワーク105に結合されている。ソーシャルネットワークサーバ101は、ネットワーク105を介してシステム100の他のエンティティとの間でデータを送受信する。ソーシャルネットワークサーバ101は、ソーシャルネットワークアプリケーション111を含む。ソーシャルネットワークは、ユーザ125が共通の特徴によって繋がることができる一種の社会構造(social structure)である。共通機能は、例えば、友好関係、家族、仕事、関心などの関係や繋がりを含む。共通の特徴は、明示的に定義された関係や、他のオンラインユーザとの間の社会的繋がりによって暗示される関係を含む一つまたは複数のソーシャルネットワークシステムによって提供されることができ、このような関係がソーシャルグラフを形成する。ある実施例では、ソーシャルグラフは、これらのユーザの対応や、これらのユーザがどのような関係であるかを反映する。
ある実施形態では、ソーシャルネットワークアプリケーション111は、物体データを生成するために用いられるソーシャルネットワークを生成する。たとえば、第1のクライアント装置103として類似した経路を走行している他の車両は、第1のクライアント装置が遭遇する物体についての情報を特定することができる。たとえば、物体が歩行者である場合、他の車両はX2Vデータから歩行者の速度と方向を決定することができる。その物体データは、歩行者の危険インデックスをより正確に決定するために、安全アプリケーション199によって用いられる。
地図サーバ190は、プロセッサ、メモリとネットワーク通信能力を含むハードウェアサーバである。本実施形態においては、地図サーバ190は、信号線114を介してネットワーク105に結合されている。地図サーバ190は、ネットワーク105を介してシステム100の他のエンティティとの間でデータを送受信する。地図サーバ190は、地図アプリケーション191を含む。地図アプリケーション191は、ユーザのために地図と方向を生成することができる。一実施形態においては、安全アプリケーション199は、点Aから点Bまで旅行するユーザ125から方向案内の要求を受信し、この要求を地図サーバ190に送信する。地図アプリケーション191は、方向案内と地図を生成して、この方向案内と地図を表示するために安全アプリケーション199に送る。ある実施形態では、方向案内は第1のモバイル装置103の経路を決定するために用いることができるので、コンテンツアプリケーション199は方向案内を車両データ293に加える。
ある実施形態では、システム100は、信号線197を介してネットワークに結合される第2のサーバ198を含む。第2のサーバ198は、安全アプリケーション199により用いられる追加情報(例えばインフォテインメント(infotainment)、音
楽など)を格納することができる。ある実施形態では、第2のサーバ198は、安全アプリケーション199からデータ(例えば、映画や音楽などをストリーミングするためのデータ)を求める要求を受信して、データを生成して、データを安全アプリケーション199に発信する。
楽など)を格納することができる。ある実施形態では、第2のサーバ198は、安全アプリケーション199からデータ(例えば、映画や音楽などをストリーミングするためのデータ)を求める要求を受信して、データを生成して、データを安全アプリケーション199に発信する。
<例示的な安全アプリケーション>
次に図2を参照して、安全アプリケーション199の例をより詳細に説明する。図2は、一実施例にかかる、安全アプリケーション199、プロセッサ225、メモリ227、グラフィクスデータベース229、ヘッドアップディスプレイ231、カメラ233、通信ユニット245、およびセンサ247を含む第1のクライアント装置103のブロック図である。第1のクライアント装置103の各構成要素は、バス240を介して通信可能に結合される。
次に図2を参照して、安全アプリケーション199の例をより詳細に説明する。図2は、一実施例にかかる、安全アプリケーション199、プロセッサ225、メモリ227、グラフィクスデータベース229、ヘッドアップディスプレイ231、カメラ233、通信ユニット245、およびセンサ247を含む第1のクライアント装置103のブロック図である。第1のクライアント装置103の各構成要素は、バス240を介して通信可能に結合される。
図2では安全アプリケーション199は第1のクライアント装置103に保存されているが、当業者であれば安全アプリケーション199の構成要素が、特定のハードウェアが適用不可能なモバイルクライアント装置188に保存されても良いことを理解できるだろう。たとえば、モバイルクライアント装置188は、ヘッドアップディスプレイ231やカメラ233を含まないかもしれない。安全アプリケーション199がモバイルクライアント装置188に保存される実施形態では、安全アプリケーション199は、第1のクライアント装置103上のセンサから情報を受信し、当該情報を利用してヘッドアップディスプレイ231用のグラフィックを決定し、第1のクライアント装置103上のヘッドアップディスプレイ231に当該グラフィックデータを送ることができる。ある実施形態では、安全アプリケーション199は、一部が第1のクライアント装置103上に、そして、一部がモバイルクライアント装置188上に格納される。
プロセッサ225は、演算論理ユニット、マイクロプロセッサ、汎用制御装置や、その他のプロセッサアレイを有し、計算を実行したり、表示装置に電子表示信号を提供したりする。プロセッサ225は、バス240に結合され、信号線236を介して他の構成要素と通信する。プロセッサ225はデータ信号を処理する。プロセッサのアーキテクチャは、CISC(Complex Instruction Set Computer)、RISC(Reduced Instruction Set Computer)、これら両方の命令セットの組合せとして実装されたアーキテクチャなど様々なアーキテクチャが可能である。図2には1つのプロセッサ225だけが示されるが、複数のプロセッサ225が含まれてもよい。上記以外のプロセッサ、オペレーティングシステム、センサ、表示装置、あるいは物理的構成も採用可能である。
メモリ227は、プロセッサ225が実行可能な命令やデータを格納する。メモリ227は、バス240に結合され、信号線238を介して他の構成要素と通信する。格納される命令やデータは、ここに表される技術を実行するためのコードを含む。メモリ227は、DRAM、SRAM、フラッシュメモリやその他の既存のメモリ装置である。ある実施形態においては、メモリ227は、ハードディスクドライブ、フロッピー(登録商標)ディスクドライブ、CD−ROM装置、DVD−ROM装置、DVD−RAM装置、DVD−RW装置、フラッシュメモリ装置や情報記憶の分野において既知のその他の大容量記憶装置などの、非一時的(non−volatile)メモリや永久記憶装置を含んでも良い。
図2に示すように、メモリ227は、車両データ293、カテゴリデータ295、物体データ297、および旅行データ298を格納する。車両データ293は、車両の速度、車両のライトがオンであるかオフであるか、地図サーバ190や他のアプリケーションによって提供される意図された経路のような、第1のクライアント103についての情報を
含む。ある実施形態では、センサ247は、車両データ293を決定するためのハードウェアを含むことができる。車両データ293は、物体の危険インデックスを決定するために、危険評価モジュール226により用いられる。
含む。ある実施形態では、センサ247は、車両データ293を決定するためのハードウェアを含むことができる。車両データ293は、物体の危険インデックスを決定するために、危険評価モジュール226により用いられる。
カテゴリデータ295は、エンティティの複数のカテゴリと、各カテゴリのエンティティがどのように振る舞うかについての情報とを含む。たとえば、カテゴリは、静止物体と移動物体のように包括的ものであってもよいし、静止した人物、移動している人物、静止している車両、移動している車両などのようにより具体的なものであってもよい。また、交通標識、道路に関連した物体、情報を提供する物体などであってもよい。例えば、車両のカテゴリデータ295は最低速度、最高速度、平均速度を含むことができ、これらの情報は新しい車両情報が特定される度にそれぞれ更新される。カテゴリデータ295は、エンティティの危険インデックスを決定するために危険評価モジュール226によって用いられる。
物体データ297は、物体に関する情報を含む。たとえば、物体データ297は、センサフレーム内での物体の位置と方向、物体のバウンディングボックス(境界ボックス)、物体の動きの方向とその速度を含む。ある実施形態では、物体データ297は、物体がどのように振る舞うかについての履歴データも含む。物体データ297が放送装置120から取得される場合は、カテゴリ化モジュール224は、物体の位置、速度、種類を含むX2Vデータから物体データ297を生成する。
旅行データ298は、ユーザの旅行に関する情報、例えば、過去の旅行と関連付いた始点、目的地、期間、経路などを含む。たとえば、旅行データ298は、第1のクライアント装置103によって訪問される全ての位置、ユーザ125によって訪問される全ての位置(例えば、第1のクライアント装置103とモバイルクライアント装置188の両方に関連した位置)、ユーザ125によってリクエストされる位置などのログを含むことができる。
グラフィクスデータベース229は、グラフィクス情報を格納するためのデータベースを含む。グラフィクスデータベース229は、異なる物体を表現するためにあらかじめ作られた二次元および三次元のグラフィックの集合を含む。たとえば、二次元のグラフィックは2Dピクセルマトリックスであり、三次元グラフィックは3Dボクセルマトリックスであることができる。グラフィクスは、ユーザの認識負荷を減少させるために、物体の簡略化表現であってもよい。たとえば、現実的な描写として歩行者を表現する代わりに、歩行者のグラフィックはステッキの図案を含んでもよい。ある実施形態では、グラフィクスデータベース229は、問い合わせに応じるリレーショナルデータベースである。たとえば、グラフィクス選択モジュール232は、物体にデータ297に合うものを見つけるグラフィクスのために、グラフィクスデータベース229を問い合わせる。
ヘッドアップディスプレイ231は、ユーザがグラフィックデータを見るために視線を道路からそらす必要がないように、3次元(3D)グラフィックデータをユーザの前方に表示するためのハードウェアを含む。たとえば、ヘッドアップディスプレイ231は、物理的な表示面を含んでもよいし、第1のクライアント装置103のフロントガラスの一部や反射レンズの一部である透明膜にグラフィックデータを投影しても良い。ある実施形態では、ヘッドアップディスプレイ231は、製作過程において第1のクライアント装置103の一部として含まれてもよいし、後で設置されてもよい。他の実施形態では、ヘッドアップディスプレイ231は取り外し可能な装置である。ある実施形態では、グラフィックデータは、例えば夜間、昼間、曇り、晴れなどの環境条件を考慮して、輝度レベルが調整される。ヘッドアップディスプレイは、信号線232を介してバス240に結合されている。
ヘッドアップディスプレイ231は、安全アプリケーション199から表示用のグラフィックデータを受信する。たとえば、ヘッドアップディスプレイ231は、安全アプリケーション199から透明な態様(モダリティ)を持つ車両のグラフィックを受信する。ヘッドアップディスプレイ231は、三次元デカルト座標(例えば、x,y,z座標)を用いてグラフィクスを表示する。
図5は、ヘッドアップディスプレイ231の構成例を示す図である。ヘッドアップディスプレイは、プロジェクタ1001、可動スクリーン1002、スクリーン駆動部1003、光学系(レンズ1004,1006や反射板1005など)を有する。プロジェクタ1001は画像1008を可動スクリーン1002上に投影し、投影された画像は、光学系を介して、車両(第1のクライアント装置103)のフロントガラス1007に投影される。フロントガラス1007に投影された画像は、フロントガラス1007の前方の実空間内に存在する物体(1011a、1011bなど)としてドライバ1010によって知覚される。
ヘッドアップディスプレイ231は、プロジェクタ1001による可動スクリーン1002上への画像の投影位置を調整することで、実空間内における投影像のドライバ1010に対する方向を制御できる。また、可動スクリーン1002は、スクリーン駆動部1003によって位置1003aから位置1003bの範囲で移動可能である。可動スクリーンの位置を調整することで、実空間における投影像のドライバ1010からの距離を調整できる。この移動範囲(位置1003aと位置1003bの間の距離)は本実施形態では5mmであるが、これは実空間での距離は5mから無限遠に対応する。本実施形態におけるヘッドアップディスプレイ231を用いることで、ドライバ1010は、投影像が実空間(3次元空間)内にあるものと知覚できる。例えば、実空間における実物体(例えば歩行者や他の車両など)と同じ3次元空間位置に画像を投影すると、ドライバ1010は、実物体と投影像を見るときに眼の焦点を変える必要がなく、実物体を見ている状況で投影像を容易に認識できる。
カメラ233は、第1のクライアント装置103の外の画像を撮影するためのハードウェアであり、この画像は、エンティティを特定するために検知モジュール222により用いられる。カメラ233は、ユーザの画像を撮影するためまたはユーザを記録するための少なくとも一つの内部カメラ233と、道路の画像を撮影するためまたは道路を記録するための少なくとも一つの外部カメラ233を含む。カメラ233は、信号線234を介してバス240に結合される。
内部カメラ233は、ユーザの顔、特にユーザの眼を記録する。内部カメラ233の記録は、外部カメラ233からの記録と同期をとることができるように、タイムスタンプを含む。内部のカメラ233は、記録を安全アプリケーション199に送る。複数の内部カメラ233が用いられる実施形態では、内部カメラ233は、ユーザの顔を異なる角度から撮影できるように配置されることが好ましい。ある実施形態では、ユーザの視点から道路を記録するための追加の内部カメラ233が用いられる。たとえば、この内部カメラ233は、ユーザの頭上に位置し、道路の方に向いている。
外部カメラ233は、車両の正面部分に配置されて、路上物体を記録する。たとえば、外部カメラ233は、ユーザの視界全体を記録できるように配置される。外部カメラ233の記録も、内部のカメラ233からの記録と同期するために、タイムスタンプを含む。外部カメラ233は、記録を安全アプリケーション199に送る。複数の外部カメラ233が用いられる実施形態では、外部カメラ233は、道路の視野範囲を最大化するように配置されることが好ましい。たとえば、外部カメラはグリルの両側に配置することができ
る。
る。
安全アプリケーション199の格納場所に応じて、通信ユニット245は、第1のクライアント装置103とモバイルクライアント装置188のうちの少なくとも1つとの間でデータを送受信する。通信ユニット245は、信号線246を介してバス240に結合されている。ある実施形態では、通信ユニット245は、ネットワーク105や他の通信チャネルへの直接的な物理的接続のためのポート(接合部)を含む。たとえば、通信ユニット245は、第1のクライアント装置103との有線通信のためのUSB、SD、CAT−5または類似のポートを含む。ある実施形態では、通信ユニット245は、IEEE 802.11、IEEE 802.16、BLUETOOTH(登録商標)、または他の適切な無線通信方式を含む一つまたは複数の無線通信方式を用いて、クライアント装置103や他の通信チャネルとデータを交換するための無線送受信部を含むことができる。
ある実施形態では、通信ユニット245は、携帯電話ネットワークを介して、ショートメッセージサービス(SMS)、マルチメディアメッセージサービス(MMS)、ハイパーテキスト転送プロトコル(HTTP)、直接的データ接続、WAP、電子メールやその他の適切な種類の電子的通信を含むデータを送信するための携帯無線送受信機を含む。ある実施形態では、通信ユニット245は、有線ポートと無線送受信機を含みうる。通信ユニット245は、TCP/IP、HTTP、HTTPS、SMTPなどを含む標準ネットワークプロトコルを用いて、ファイルやメディアオブジェクトを配布するために、ネットワーク105への従来の接続も提供する。
センサ247は、物理的変化を感知する任意の装置である。第1のクライアント装置103は、1種類または多種類のセンサ247を有することができる。センサ247は、信号線248を介してバス220に結合される。
センサ247は、802.11p DSRC WAVE通信ユニットなどのような、狭域通信(DSRC)を介してX2Vデータを受信するためのハードウェアを含む。センサ247は、X2Vデータを、通信モジュール221またはメモリ227に送って記憶する。
一実施形態においては、センサ247は、ライダー(LIDAR: 光検出測距)のような、第1のクライアント103周囲の環境の3次元マップを生成するために用いられるレーザ式センサである。ライダーは、レーザーから対象物に向けてエネルギーバーストを放出し、戻り光を測定して距離を計算することによって、第1のクライアント装置103の視覚として機能する。別の実施形態においては、センサ247はレーダーを含む。レーダーはライダーと類似の機能を有するが、距離決定のためにマイクロ波パルスを用い、より遠くの距離にあるより小さい物体を検出可能である。
別の実施形態においては、センサ247は、第1のクライアント装置103についての車両データ293を決定するためのハードウェアを含む。たとえば、センサ247は、例えば第1のクライアント装置103の加速度を測定するために用いられる加速度計のようなモーション検出器である。別の例では、センサ247は、例えばグローバルポジショニングシステム(GPS)、ワイヤレスネットワークを介した三角測量による位置検出などの位置検出器を含む。さらに別の例では、センサ247は、ライトがオンであるかオフであるか、ワイパーがオンであるかオフであるかを決定するための装置のような、第1のクライアント103の状態を決定するための装置を含む。ある実施形態に、センサ247は、通信モジュール202を介して車両データ293を検知モジュール222または危険評価モジュール226に送る。他の実施形態では、センサ247は、車両データ293の一部として位置情報をメモリ227に格納する。
ある実施形態では、センサ247は深度(depth)センサを含む。深度センサは、赤外レーザー光のスペックルパターンのようなパターン投影を用いて深度を決定する。別の実施形態においては、深度センサは、光信号がカメラ233と物体の間を進むのに要する時間に基づいて深度を決定するTOF(Time of Flight)技術を用いて深度を決定する。たとえば、深度センサは、レーザー測距器である。深度センサは、通信モジュール202を介して深度情報を検知モジュール222に送ってもよいし、センサ247は、車両データ293の一部として深度情報をメモリ227に格納しても良い。
他の実施形態に、センサ247は、赤外検出器、モーション検出器、サーモスタット、音検出器、その他のタイプの任意のセンサを含むことができる。たとえば、第1のクライアント装置103は、現在時刻、位置(例えば、位置の緯度・経度・高度)、車両の加速度、速度、燃料タンクレベル、バッテリーレベルの速さなどの一つ以上を測定するためのセンサを含むことができる。センサは、車両データ293を生成するために用いられる。車両データ293は、旅行中に取得される任意の情報や、ソーシャルネットワークサーバ101、第2のサーバ198、地図サーバ190またはモバイルクライアント装置188から受信される任意の情報を含むこともできる。
ある実施形態では、安全アプリケーション199は、通信モジュール221、検知モジュール222、カテゴリ化モジュール224、危険評価モジュール226、視線検出モジュール228、注意評価モジュール230、グラフィクス選択モジュール232、およびシーン計算モジュール234を含む。
通信モジュール221は、安全アプリケーション199と第1のクライアント装置103の他の構成要素との間の通信を処理するためのルーチンを含むソフトウェアである。ある実装形態では、通信モジュール221は、プロセッサ235で実行可能な一組の命令であり、安全アプリケーション199と第1のクライアント装置103の他の要素との間の通信を処理するために下記の機能を提供する。ある実施形態では、通信モジュール221は、第1のクライアント装置103のメモリ237に格納され、プロセッサ235によってアクセスおよび実行可能である。
通信モジュール221は、通信ユニット245を介して、安全アプリケーション199が格納される場所に応じて、第1のクライアント装置103、モバイルクライアント装置188、地図サーバ190、ソーシャルネットワークサーバ101、および第2のサーバ198の一つまたは複数との間でデータを送受信する。たとえば、通信モジュール221は、通信ユニット245を介して放送装置120からX2Vデータを受信する。通信モジュール221は、X2Vデータを、記憶のためのメモリ227に送り、そして、処理のためのカテゴリ化モジュール224に送る。
ある実施形態では、通信モジュール221は、安全アプリケーション199の構成要素からデータを受信して、データをメモリ237に格納する。たとえば、通信モジュール221は、センサ247からデータを受信して、検知モジュール222によって決定されるように車両データとしてメモリ237に格納する。
ある実施形態では、通信モジュール221は、安全アプリケーション199の構成要素の間の通信を処理することができる。たとえば、通信モジュール221は、カテゴリ化モジュール224から物体データ297を受信して、危険評価モジュール226に送る。
検知モジュール222は、物体に関するデータをセンサ247から受信するためのルーチンを含むソフトウェアである。ある実装形態では、検知モジュール222は、プロセッ
サ235で実行可能な一組の命令であり、センサ247からセンサデータを受信するための下記の機能を提供する。ある実施形態では、検知モジュール222は、第1のクライアント装置103のメモリ237に格納され、プロセッサ235によってアクセスおよび実行可能である。
サ235で実行可能な一組の命令であり、センサ247からセンサデータを受信するための下記の機能を提供する。ある実施形態では、検知モジュール222は、第1のクライアント装置103のメモリ237に格納され、プロセッサ235によってアクセスおよび実行可能である。
ある実施形態では、検知モジュール222は、センサ247またはカメラ233のうちの少なくとも1台からセンサデータを受信して、物体に関する物体データ297を生成する。たとえば、検知モジュール222は、センサ247またはカメラ233に対する相対的な物体の位置を決定する。別の例では、検知モジュール222は、カメラ233から画像またはビデオを受信して、歩行者や、建物、レーンマーカー、障害物などの静止物体の位置を特定する。
物体と第1のクライアント装置103の間の距離を決定するために、検知モジュール222は、センサ247から生成される車両データ293(例えばGPSによって決定される位置)を用いることができる。別の例では、センサ247はライダーやレーダーを含み、第1のクライアント装置103と物体の間の距離を決定するために用いられることができる。検知モジュール222は、センサフレーム(x、y、z)内で物体の位置を含むn個組(n−tuple)を返す。ある実施形態では、検知モジュール222は、物体の経路を決定するために位置情報を用いる。検知モジュール222は、経路を物体データ297に加える。
検知モジュール222は、ソーシャルネットワークサーバ101から物体についての情報を受信する。たとえば、他の第1のクライアント装置103が同一あるいは類似した経路を旅行する前に第1のクライアント装置103が物体を検出した場合、ソーシャルネットワークサーバ101はこの物体に関する情報を安全アプリケーション199に送信する。たとえば、検知モジュール222は、ソーシャルネットワークサーバ101から物体の速度に関する情報を受信する。
ある実施形態では、検知モジュール222は、物体の空間位置を決定して、エンティティを囲むバウンディングボックス(境界ボックス)を生成する。たとえば、検知モジュール222は、円柱形状のバウンディングボックスを生成する。バウンディングボックスの形状は円柱以外であってもよく、たとえば、非対称な物体を説明するために不規則な形状なバウンディングボックスを用いてもよい。ある実施形態では、検知モジュール222は、物体のバウンディングボックスの位置(xb,yb,zb)sを含むn個組を返す。ここで、添字bはバウンディングボックスの座標がセンサに対する座標であることを示す。
ある実施形態では、検知モジュール222は、物体の種類を決定する。たとえば、検知モジュール222は、物体が、未知の障害物、人、自転車、車両、特定の交通信号、レーンマーカー、商業看板であるなどと決定する。ある実施形態では、検知モジュール222は、n個組の一部としてエンティティの種類を出力する。たとえば、検知モジュール222は、センサフレームにおけるエンティティの位置、エンティティのバウンディングボックス、およびタイプを[(x,y,z)s,(xb,yb,zb)s,T]として出力する。
ある実施形態では、検知モジュール222は、物体の速度に基づいて物体の種類を決定する。たとえば、物体が毎時4マイルの速度で移動するならば、その物体はおそらく人であろう。物体が毎時20マイルの速度で移動するならば、その物体は自転車または車両であろう。カテゴリ化モジュール224は、種類情報を物体データ297として格納する。
ある実施形態では、検知モジュール222は、通信モジュール221からX2Vデータ
を受信するか、メモリからX2Vデータを取得する。検知モジュール222は、物体の速度をX2Vデータから抽出して、位置情報に基づいて物体の速度を決定する。たとえば、物体が時間T1に位置Aにいて時間T2に位置Bにいるならば、AとBの間の距離をT1とT2の間の時間で割ったものが物体の速度である。検知モジュール222は、速度情報を物体データ297として格納する。
を受信するか、メモリからX2Vデータを取得する。検知モジュール222は、物体の速度をX2Vデータから抽出して、位置情報に基づいて物体の速度を決定する。たとえば、物体が時間T1に位置Aにいて時間T2に位置Bにいるならば、AとBの間の距離をT1とT2の間の時間で割ったものが物体の速度である。検知モジュール222は、速度情報を物体データ297として格納する。
検知モジュール222は、物体データ297に基づいて物体の経路を決定する。たとえば、物体が直線的に移動していることをX2Vデータが示す場合には、検知モジュール222は、物体の経路は直線のままの可能性が高いと決定する。検知モジュール222は、経路を物体データ297の一部として格納する。
カテゴリ化モジュール224は、物体を分類するためのルーチンを含むソフトウェアである。ある実装形態では、カテゴリ化モジュール224は、プロセッサ235で実行可能な一組の命令であり、物体の速度と物体の種類を決定するための下記の機能を提供する。ある実施形態では、カテゴリ化モジュール224は、第1のクライアント装置103のメモリ237に格納され、プロセッサ235によってアクセスおよび実行可能である。
カテゴリ化モジュール224は、エンティティのカテゴリを生成して、当該カテゴリをカテゴリデータ295として格納する。カテゴリ化モジュール224は、検知モジュール222からエンティティデータ297を受信するか、メモリ227からエンティティデータ297を取得する。カテゴリ化モジュール224は、エンティティのカテゴリを決定して、当該情報をエンティティデータ297に加える。たとえば、カテゴリ化モジュール224は、人を静止した人または歩行者にカテゴリ化する。他のカテゴリは、交通情報、移動車両などを含む。カテゴリ化モジュール224は、各々のカテゴリに対して、平均速度、動きの予測可能性、平均的な大きさなどについての情報を付加してもよい。ある実施形態では、カテゴリ化モジュール224は、[(x,y,z)s,(xb,yb,zb)s,T,C]のようにエンティティ情報にカテゴリCを追加する。
危険評価モジュール226は、車両データ293と物体データ297に基づいて物体の危険インデックスを推定するためのルーチンを含むソフトウェアである。ある実装形態では、危険評価モジュール226は、プロセッサ235で実行可能な一組の命令であり、物体の危険インデックスを推定するための下記の機能を提供する。ある実施形態では、危険評価モジュール226は、第1のクライアント装置103のメモリ237に格納され、プロセッサ235によってアクセスおよび実行可能である。
ある実施形態では、危険評価モジュール226は、車両データ293および物体データ297に基づいて物体の危険インデックスを推定する。たとえば、危険評価モジュール226は、物体データ297に基づいて第1のクライアント装置103の車両経路を決定し、車両経路と物体経路とを比較して、第1のクライアント装置103と物体が衝突する可能性があるかどうかを決定する。物体が静止している場合は、危険評価モジュール226は、車両の経路がこの静止物体と交差するかどうかを決定する。
ある実施形態では、車両データ293は、ユーザと関連した過去のふるまいを決定するために、地図サーバ190から提供される地図データと旅行データ298によって補われる。危険評価モジュール226は、第1のクライアント装置103の経路を決定するためにこの情報を用いる。
ある実施形態では、物体データ207は物体の動きに関する過去の情報を含み、危険評価モジュール226はこの情報を考慮する。ある他の実施形態では、危険インデックスは、第1のクライアント装置103の状態にも基づいて決定される。たとえば、第1のクラ
イアント装置103のフロントワイパーが作動中であるならば、危険評価モジュール226は、より高い危険インデックスを割り当てる。これは、フロントワイパーが作動していることは、劣悪な気象条件を示唆するためである。ある実施形態では、危険評価モジュール226は、危険インデックスを決定するための要因として、物体の予測経路も用いる。
イアント装置103のフロントワイパーが作動中であるならば、危険評価モジュール226は、より高い危険インデックスを割り当てる。これは、フロントワイパーが作動していることは、劣悪な気象条件を示唆するためである。ある実施形態では、危険評価モジュール226は、危険インデックスを決定するための要因として、物体の予測経路も用いる。
危険インデックスは確率的であり、衝突の可能性を反映する。たとえば、危険インデックスは、dmaxを100として、d/dmaxによって計算される。51/100のスコアは、51%の衝突確率を反映する。ある実施形態では、危険評価モジュール226は、重み付き計算を用いて危険インデックスを決定する。たとえば、危険評価モジュール226は、以下の情報の組み合わせを用いる。
d=f(w1(車両の速度),w2(気象状況),w3(カテゴリデータ),w4(エンティティデータ)) ・・・(1)
d=f(w1(車両の速度),w2(気象状況),w3(カテゴリデータ),w4(エンティティデータ)) ・・・(1)
ここで、w1は第1の重み、w2は第2の重み、w3は第3の重み、w4は第4の重みである。危険インデックスは、車両とエンティティの移動方向を解析して両者が交差するかどうかを決定することによって計算することができる。両者の推定経路が交差する場合は、システムは両者の速度を調べて、衝突の危険があるかどうか、および与えられた路面条件および気象条件の下で車両が停止可能であるかどうかを決定する。
ある実施形態では、危険評価モジュール226は、危険インデックスを複数の異なるレベルに分割する。例えば、0−40%は衝突の危険なし、41%−60%は経度の危険、61%−80%は重大な危険、81%−100%は切迫した危険、にそれぞれ分類される。その結果、危険インデックスが特定のカテゴリに分類されるならば、グラフィクス選択モジュール232は、危険インデックスと危険のレベルをグラフィクス選択モジュール232に提供し、グラフィクス選択モジュール232が対応するモダリティ(態様)を利用できるようにする。ある実施形態では、危険評価モジュール226は、[(x,y,z)s,(xb,yb,zb)s,T,C,d/dmax]のように危険インデックスd/dmaxをエンティティデータ297に加える。
視線(gaze)検出モジュール228は、ユーザが物体を見たかどうかを決定するためのルーチンを含むソフトウェアである。ある実装形態では、視線検出モジュール228は、プロセッサ235で実行可能な一組の命令であり、ユーザが物体を見たかどうかを決定するための下記の機能を提供する。ある実施形態では、視線検出モジュール228は、第1のクライアント装置103のメモリ237に格納され、プロセッサ235によってアクセスおよび実行可能である。
視線検出モジュール228は、走行中にカメラ233からユーザの記録を受け取る。視線検出モジュール228は、検知モジュール222から物体データ297を受信するか、メモリ237から物体データ297を取得する。視線検出モジュール228は、ユーザが物体の方向を見ているかどうかを決定することによって、ユーザが物体を見たかどうかを決定する。たとえば、視線検出モジュール228は、フレーム中のユーザの眼の位置を特定し、ユーザが道路のどの部分を見ているかを決定する。視線検出モジュール228は、ユーザの視界と、同じタイムスタンプにおける外部カメラ233からの記録のフレームから得られる物体の位置を比較する。
注意(attention)評価モジュール230は、ユーザが十分な時間のあいだ物体またはグラフィックを見たかどうかを決定するためのルーチンを含むソフトウェアである。ある実装形態では、注意評価モジュール230は、プロセッサ235で実行可能な一組の命令であり、ユーザが物体またはグラフィックに注意を払ったかどうかを決定するための下記の機能を提供する。ある実施形態では、注意評価モジュール230は、第1のク
ライアント装置103のメモリ237に格納され、プロセッサ235によってアクセスおよび実行可能である。
ライアント装置103のメモリ237に格納され、プロセッサ235によってアクセスおよび実行可能である。
注意評価モジュール230は、所定の時間量に基づいて、ユーザが物体を十分な時間量以上見たかどうかを決定する。たとえば、所定の時間は、5秒から10秒である。別の例では、注意評価モジュール230は、ユーザの瞳が拡張した場合に、ユーザが物体を十分な時間見たと判断する。瞳の拡張は、興味の表れである。別の実施形態においては、注意評価モジュール230は、さらなるユーザアクションを用いて判断する。たとえば、物体がパトカーでありユーザがパトカーの方向を見た後に速度を落とした場合には、注意評価モジュール230は、ユーザが物体を見たと決定する。ある実施形態では、注意評価モジュール230は、ユーザが物体を見たと判断したならば、シーン計算モジュール234に対してグラフィック出力の強調を抑制したり出力自体を取り除くように指示する。
グラフィクス選択モジュール232は、物体を表現するためにグラフィックとモダリティを選択することためのルーチンを含むソフトウェアである。ある実装形態では、グラフィクス選択モジュール232は、プロセッサ235で実行可能な一組の命令であり、物体を表現するためにグラフィックとモダリティを選択するための下記の機能を提供する。ある実施形態では、グラフィクス選択モジュール232は、第1のクライアント装置103のメモリ237に格納され、プロセッサ235によってアクセスおよび実行可能である。
ある実施形態では、グラフィクス選択モジュール232は、合致するグラフィックをグラフィクスデータベース229に問い合わせる。ある実施形態では、グラフィクス選択モジュール232は、検知モジュール222で決定された物体の識別子を提供する。たとえば、グラフィクス選択モジュール232は、バスのグラフィックをグラフィクスデータベース229に問い合わせる。別の実施形態においては、グラフィクス選択モジュール232は、18本のタイヤを有する移動車両などのような複数の属性に基づいて、グラフィクスデータベース229に問い合わせる。
ある実施形態では、グラフィクス選択モジュール232は、危険インデックスに基づいてモダリティを要求する。モダリティは、物体のグラフィックの一部であっても良いし、別個のグラフィックであっても良い。モダリティは、物体に関連した危険を反映する。たとえば、グラフィクス選択モジュール232は、危険が差し迫っているならば、物体のアウトラインとして赤く点滅するアウトラインを要求することができる。反対に、グラフィクス選択モジュール232は、危険が差し迫っていないならば、物体の透明画像を要求することができる。ある実施形態では、モダリティは、危険評価モジュール226によって決定される危険レベルに対応する。たとえば、0−40%は透明なモダリティに対応し、41%−60%はオレンジ色のモダリティに対応し、61%−80%は赤く点滅するモダリティに対応し、81%−100%は赤の塗り潰しで点滅するモダリティに対応する。
ある実施形態では、グラフィクス選択モジュール232は、物体の位置に基づいてモダリティを決定する。たとえば、物体が道路に沿った歩道を歩いている歩行者である場合は、グラフィクス選択モジュール232は、モダリティを信号のグラフィックに決定する。グラフィクス選択モジュール232は、グラフィックGgをグラフィクスデータベース229から取得する。
シーン計算モジュール234は、ユーザのアイフレーム(eye frame)に対応する位置にグラフィックを配置するためのルーチンを含むソフトウェアである。ある実施形態では、シーン計算モジュール234は、プロセッサ235で実行可能な一組の命令であり、ユーザのアイフレームに対応する位置にグラフィックを配置するために下記の機能を提供する。ある実施形態では、シーン計算モジュール234は、第1のクライアント装
置103のメモリ237に格納され、プロセッサ235によってアクセスおよび実行可能である。
置103のメモリ237に格納され、プロセッサ235によってアクセスおよび実行可能である。
一実施形態においては、シーン計算モジュール234は、ドライバのアイボックスにあわせてグラフィックとモダリティを変形する。アイボックスは、ドライバの視野の中にあるヘッドアップディスプレイ231によって生成された投影画像を含む領域である。ドライバが頭を動かしてもグラフィックを見ることができるように、アイボックスフレームは十分に大きく設計されている。ドライバの眼がアイボッス内で大きく左または右に動いた場合には、グラフィクスは視界から消える。アイボックスはドライバの視野の中にあるので、グラフィックスを見るためにドライバは焦点合わせをする必要がない。ある実施形態では、シーン計算モジュール234は、眼の高さや眼間距離(すなわちドライバの眼の間の距離)の差異を調整するための補正によって、各ユーザに対して異なるアイボックスを生成する。
シーン計算モジュール234は、ドライバの視野およびセンサとドライバのアイボックスの間の距離に合わせてグラフィックを調整する。一実施形態においては、シーン計算モジュール234は、第1のクライアント装置103に対する相対的な空間位置(x、y、z)とグラフィクスGgに基づいて、アイフレームGeye内におけるグラフィクスを計算する。まず、センサフレームからアイフレームへの変換(Ts−e)が計算される。第1のクライアント装置103の空間位置は、GPSセンサ(例えば(x,y,z)GPS)に基づくことができる。シーン計算モジュール234は、Ts−eにグラフィックからセンサフレームへの変換(Tg−s)を掛けて、グラフィックからアイフレームへの変換(Tg−e)を得る。次いで、グラフィクスGgは、Tg−eポーズ(Tg−e pose)に置かれたビューポートに投影される。シーン計算モジュール234は、道路の凝視とグラフィクスの凝視を切り替えた場合にドライバが焦点あわせをする必要がないように、アイフレームを計算する。その結果、ドライバの焦点を同じに保つようにグラフィクスを表示することにより、0.5〜1秒の反応時間を節約することができる。これは、第1のクライアント装置103が90km/hで移動している場合には、12.5〜25メートルに相当する。
ある実施形態では、シーン計算モジュール234は、グラフィクスを物体の位置に重畳表示することを命じるヘッドアップディスプレイ231に対する命令を生成する。別の実施形態においては、シーン計算モジュール234は、別の位置にグラフィクスを表示したり、物体の現実位置への重畳表示に加えてグラフィクスを表示したりすることを命じるヘッドアップディスプレイ231に対する命令を生成する。たとえば、ヘッドアップディスプレイ画像の最下部または最上部に、ユーザが道路上で探しているグラフィクスの概要を含ませることができる。
ある実施形態では、シーン計算モジュール234は、両視眼を提供するために眼ごとに視野を決定する。たとえば、シーン計算モジュール234は、両方の眼が同時に見ることができるヘッドアップディスプレイ231の最大角度範囲である、オーバーラップ両眼視野を決定する。ある実施形態では、シーン計算モジュール234は、眼間距離とドライバ高さにおける変化を補正するために、各ドライバ用に両眼視野を調整する。
<例示的なグラフ表現>
図3Aは、通りを横断している人301を含む車道の図式表示300である。センサ247やカメラ233は、車道に関する情報を取得して、当該情報を検知モジュール222に送る。第1のクライアント装置103のダッシュボード304から発せられる線306は、センサ247やカメラ233によって取得される部分を表現する。検知モジュール222は、歩行者のバウンディングボックス305を生成する。視線検出モジュール228
はドライバの視線307を決定し、注意評価モジュール230は、たとえば、ドライバが人301を見るために時間を費やさなかったので、ドライバは人301を見ていないと決定する。
図3Aは、通りを横断している人301を含む車道の図式表示300である。センサ247やカメラ233は、車道に関する情報を取得して、当該情報を検知モジュール222に送る。第1のクライアント装置103のダッシュボード304から発せられる線306は、センサ247やカメラ233によって取得される部分を表現する。検知モジュール222は、歩行者のバウンディングボックス305を生成する。視線検出モジュール228
はドライバの視線307を決定し、注意評価モジュール230は、たとえば、ドライバが人301を見るために時間を費やさなかったので、ドライバは人301を見ていないと決定する。
図3Bは、決定された危険インデックスつきのカテゴリ化されたエンティティの例の図式表示である。カテゴリ化モジュール224は、人311を歩行者であり歩いているエンティティであるとカテゴリ化(分類)する。危険評価モジュール226は、危険アイコン312によって明示されるように、物体の経路と車両の経路が衝突する可能性が高いと決定する。
図3Cは、グラフィック選択処理の図式表示320の例を示す。この例では、グラフィクス選択モジュール232は、歩行者321の単純化されたバージョンであるグラフィック322を選択する。単純化バージョンは、曲がった腕や顔を有する歩行者ではなく、棒線画で描画される。ある実施形態では、グラフィック322は、重要性を伝えるために明るい赤のモダリティや点滅などのようなアニメーションモダリティを含む。
図3Dは、ヘッドアップディスプレイ331の例示的な図式表示330である。この例では、シーン計算モジュール230は、第1のクライアント装置103に対する相対的な空間位置(x、y、z)sに基づいてアイフレームを計算し、埋め込み範囲情報とともに眼の位置に投影される投影画像を生成する。その結果、シーン計算モジュール230は、ドライバの眼が再焦点あわせを必要としないように、グラフィクス333を3次元配置できる。
視線検出モジュール228は、ユーザの視線334を決定する。注意評価モジュール230は、たとえば、ユーザの視線334に基づいてユーザがグラフィック333を見なかったと決定する。車両が道路を進み歩行者に近づくにつれて、注意評価モジュール230はグラフィクス選択モジュール232に対して、グラフィック333のモダリティとしてより目立つモダリティを選択するように指示して、ユーザの視線をグラフィック333に引きつける。この例では、グラフィック選択モジュール232は、警告サイン335を選択する。警告サイン335がドライバの視線334の範囲内にあるので、ドライバはグラフィック333による警告に気づくはずである。
<例示的な方法>
図4A−4Bは、ヘッドアップディスプレイ用に空間情報を生成する例示的な方法のフローチャートである。ある実施形態では、方法400は、第1のクライアント装置103またはモバイルクライアント装置188に格納された安全アプリケーション199のモジュールによって実行される。たとえば、安全システム199は、検知モジュール222、カテゴリ化モジュール224、危険評価モジュール226、視線検出モジュール228、注意評価モジュール230、グラフィクス選択モジュール232、およびシーン計算モジュール234を含む。
図4A−4Bは、ヘッドアップディスプレイ用に空間情報を生成する例示的な方法のフローチャートである。ある実施形態では、方法400は、第1のクライアント装置103またはモバイルクライアント装置188に格納された安全アプリケーション199のモジュールによって実行される。たとえば、安全システム199は、検知モジュール222、カテゴリ化モジュール224、危険評価モジュール226、視線検出モジュール228、注意評価モジュール230、グラフィクス選択モジュール232、およびシーン計算モジュール234を含む。
検知モジュール222は、物体(たとえば車両)について物体データを受信する(402)。物体データは、X2Vデータを含んでもよい。検知モジュール222は、物体(車両)の経路を決定する(404)。カテゴリ化モジュール224は、物体をカテゴリ化(分類)する(406)。たとえば、カテゴリは、移動している人物、交通情報、移動車両などを含む。危険評価モジュール226は、車両データと物体データに基づいて、物体の危険インデックスを推定する(406)。
視線検出モジュール228は、ユーザの視線を検出する(408)。視線検出モジュール228は、ユーザの視線方向に向いているベクトルを出力してもよい。注意評価モジュ
ール230は、ユーザの視線に基づいてユーザが物体を見たかどうかを決定する(410)。注意評価モジュール230は、たとえば、ユーザがどれだけ長く物体を見たか(ユーザが物体を見た時間)を決定してもよい。
ール230は、ユーザの視線に基づいてユーザが物体を見たかどうかを決定する(410)。注意評価モジュール230は、たとえば、ユーザがどれだけ長く物体を見たか(ユーザが物体を見た時間)を決定してもよい。
グラフィクス選択モジュール232は、物体を表示するためのグラフィックを特定して(412)、危険インデックスに基づいてグラフィックの表示モダリティを決定する(414)。グラフィクス選択モジュール232は、ユーザがどれくらいの時間のあいだ物体を見たかについて基づいて表示モダリティも決定してもよい。シーン計算モジュール230は、ユーザのアイフレームに対応するようにグラフィックを配置する(416)。
注意評価モジュール230は、所定の時間量よりも長いあいだユーザが物体を見たかどうかを判定する(418)。肯定判定であれば、注意評価モジュール230は、ヘッドアップディスプレイからこのグラフィックを削除する(420)ようにシーン計算モジュール234に対して指示する。否定判定であれば、注意評価モジュール230は、ユーザがグラフィックを見たと判定されるまで、グラフィックのモダリティとしてより目立つモダリティを選択する(422)ようにグラフィック選択モジュール232に対して指示する。
本明細書の実施形態は、ここで説明された操作を実行する装置にも関する。この装置は、要求される目的のために特別に作られたものであっても良いし、あるいは、コンピュータに格納されたコンピュータプログラムによって選択的に起動されたり再構成されたりする汎用コンピュータを含んでも良い。このようなコンピュータプログラムは、コンピュータ可読記憶媒体に格納されてもよい。コンピュータ可読記憶媒体は、コンピュータのシステムバスに接続可能な、フロッピー(登録商標)ディスク・光ディスク・CD−ROM・磁気ディスク、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カード、光学式カード、非一時的なメモリを有するUSBキーを含むフラッシュメモリ、電子的命令を格納するのに適したその他の任意のメディア媒体を含むが、これらに限定される訳ではない。
発明の具体的な実施形態は、完全にハードウェアによって実現されるものでも良いし、完全にソフトウェアによって実現されるものでも良いし、ハードウェアとソフトウェアの両方によって実現されるものでも良い。好ましい実施形態では、本明細書はソフトウェアによって実装される。ソフトウェアは、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらには限定されない。
さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。
プログラムコードを格納・実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接または間接的に接続された少なくとも1つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。
入力/出力(I/O)装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはI/Oコントローラを介して直接あるいは間接的にシステムに接
続される。
続される。
システムにはネットワークアダプタも接続されており、これにより、私的ネットワークや公共ネットワークを介して他のデータ処理システムやリモートにあるプリンタや記憶装置に接続される。モデム、ケーブルモデム、イーサネット(登録商標)は、現在利用可能なネットワークアダプタのほんの一例である。
最後に、本明細書において提示されるアルゴリズムおよび表示は特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがってプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、以下の説明において明らかにされる。さらに、本発明は、任意の特定のプログラミング言語と関連づけられるものではない。本明細書で説明される内容を実装するために、種々のプログラミング言語を利用できることは明らかであろう。
実施形態の前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。本発明は、上記の開示にしたがって、種々の変形が可能である。本発明の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。本発明の技術に詳しい者であれば、本発明はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。同様に、モジュール・処理・特徴・属性・方法およびその他の本発明の態様に関する名前付けや分割方法は必須なものでものないし重要でもない。また、本発明やその特徴を実装する機構は異なる名前や分割方法や構成を備えていても構わない。さらに、当業者であれば、モジュール・処理・特徴・属性・方法およびその他の本発明の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できることを理解できるであろう。また、本発明をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、実施形態は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。以上のように、上記の本発明の説明は限定的なものではなく例示的なものであり、本発明の範囲は添付の特許請求の範囲にしたがって定められる。
103 第1のクライアント装置
188 モバイルクライアント装置
199 安全アプリケーション
221 通信モジュール
222 検知モジュール
224 カテゴリ化モジュール
226 危険評価モジュール
228 視線検出モジュール
230 注意評価モジュール
232 グラフィック選択モジュール
234 シーン計算モジュール
301,311,321,331 人
304 ダッシュボード
305 バウンディング(境界)ボックス
307 ドライバの視線
322 グラフィック
331 ヘッドアップディスプレイ
333 グラフィック
334 ドライバの視線
335 警告サイン
188 モバイルクライアント装置
199 安全アプリケーション
221 通信モジュール
222 検知モジュール
224 カテゴリ化モジュール
226 危険評価モジュール
228 視線検出モジュール
230 注意評価モジュール
232 グラフィック選択モジュール
234 シーン計算モジュール
301,311,321,331 人
304 ダッシュボード
305 バウンディング(境界)ボックス
307 ドライバの視線
322 グラフィック
331 ヘッドアップディスプレイ
333 グラフィック
334 ドライバの視線
335 警告サイン
Claims (21)
- プロセッサベースの演算装置によって実行される方法であって、
物体についての物体データを受信するステップと、
車両の経路を含む車両データを決定するステップと、
前記車両データと前記物体データに基づいて、前記物体の危険インデックスを推定するステップと、
ユーザの視線を検出するステップと、
ユーザの視線に基づいて前記ユーザが前記物体を見たかどうかを判定するステップと、
前記物体を表示するためのグラフィックを特定するステップと、
ユーザのアイフレームに対応するように前記グラフィックを配置するステップと、
を含む、方法。 - 前記危険インデックスと前記ユーザが前記物体をどのくらいの時間見たかに基づいて表示モダリティを決定するステップと、
ヘッドアップディスプレイ上に、前記グラフィックを前記表示モダリティで表示するステップと、
をさらに含む、請求項1に記載の方法。 - ユーザが所定の時間量よりも長く前記物体を見たかどうかを判定するステップと、
ユーザが前記物体を前記所定の時間量よりも長く見なかった場合に、前記グラフィックのモダリティとして、より目立つモダリティを選択するステップと、
をさらに含む、請求項2に記載の方法。 - ユーザが前記物体を前記所定の時間量よりも長く見た場合に、前記ヘッドアップディスプレイから前記グラフィックを取り除くステップと、
をさらに含む、請求項3に記載の方法。 - 前記物体データは、物体−車両(X2V)データを含む、請求項1から4のいずれか1項に記載の方法。
- 前記ユーザの視線を検出するステップは、ユーザの視線の方向を指す矢印を出力することを含む、請求項1から5のいずれか1項に記載の方法。
- ユーザの視線に基づいて前記ユーザが前記物体を見たかどうかを決定するステップは、前記ユーザが前記物体をどのくらいの時間見たかを決定することを含む、請求項1から6のいずれか1項に記載の方法。
- ユーザが第2の所定の時間量よりも長く前記物体を見た場合に、表示のための前記グラフィックを選択しない、請求項7に記載の方法。
- 前記物体の境界ボックスを生成するステップをさらに含む、請求項1から8のいずれか1項に記載の方法。
- 前記物体データおよび前記境界ボックスに基づいて前記物体の経路を決定するステップをさらに含む、請求項9に記載の方法。
- 請求項1から10のいずれか1項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
- 物体についての物体データを受信する受信手段と、
車両の経路を含む車両データを決定する決定手段と、
前記車両データと前記物体データに基づいて、前記物体の危険インデックスを推定する推定手段と、
ユーザの視線を検出する検出手段と、
ユーザの視線に基づいて前記ユーザが前記物体を見たかどうかを判定する判定手段と、
前記物体を表示するためのグラフィックを特定する特定手段と、
ユーザのアイフレームに対応するように前記グラフィックを配置する配置手段と、
を備える、システム。 - 前記危険インデックスと前記ユーザが前記物体をどのくらいの時間見たかに基づいて表示モダリティを決定する表示モダリティ決定手段と、
ヘッドアップディスプレイ上に、前記グラフィックを前記表示モダリティで表示する表示手段と、
をさらに備える、請求項12に記載のシステム。 - 前記判定手段は、ユーザが所定の時間量よりも長く前記物体を見たかどうかを判定し、
前記表示モダリティ決定手段は、ユーザが前記物体を前記所定の時間量よりも長く見なかった場合に、前記グラフィックのモダリティとして、より目立つモダリティを選択する、
請求項13に記載のシステム。 - 前記表示手段は、ユーザが前記物体を前記所定の時間量よりも長く見た場合に、前記ヘッドアップディスプレイから前記グラフィックを取り除く、
請求項14に記載のシステム。 - 前記物体データは、物体−車両(X2V)データを含む、請求項12から15のいずれか1項に記載のシステム。
- 前記検出手段は、ユーザの視線の方向を指す矢印を出力する、
請求項12から16のいずれか1項に記載のシステム。 - 前記判定手段は、前記ユーザが前記物体をどのくらいの時間見たかを決定する、
請求項12から17のいずれか1項に記載のシステム。 - 前記特定手段は、ユーザが第2の所定の時間量よりも長く前記物体を見た場合に、表示のための前記グラフィックを選択しない、
請求項18に記載のシステム。 - 前記物体の境界ボックスを生成する手段をさらに備える、請求項12から19のいずれか1項に記載のシステム。
- 前記物体データおよび前記境界ボックスに基づいて前記物体の経路を決定する手段をさらに備える、請求項20に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/470,857 | 2014-08-27 | ||
US14/470,857 US20160063761A1 (en) | 2014-08-27 | 2014-08-27 | Communication of spatial information based on driver attention assessment |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016048550A true JP2016048550A (ja) | 2016-04-07 |
Family
ID=54150218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015165503A Pending JP2016048550A (ja) | 2014-08-27 | 2015-08-25 | ドライバの注意評価に基づく空間情報の提示 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20160063761A1 (ja) |
EP (1) | EP2990936A1 (ja) |
JP (1) | JP2016048550A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018032402A (ja) * | 2016-08-23 | 2018-03-01 | トヨタ自動車株式会社 | 車載拡張現実システム向けの遮蔽調整システム |
JP2019528217A (ja) * | 2016-08-19 | 2019-10-10 | マサチューセッツ インスティテュート オブ テクノロジー | 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法 |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10133548B2 (en) * | 2014-01-27 | 2018-11-20 | Roadwarez Inc. | System and method for providing mobile personal security platform |
US20220171599A1 (en) * | 2014-01-27 | 2022-06-02 | K & R Ventures, Llc Ein # 38-3942959 | System and method for providing mobile personal visual communications display |
WO2016163791A1 (en) * | 2015-04-09 | 2016-10-13 | Lg Electronics Inc. | A method and apparatus for gathering location information of vehicle user equipment in a wireless access system supporting v2x services |
US9869560B2 (en) | 2015-07-31 | 2018-01-16 | International Business Machines Corporation | Self-driving vehicle's response to a proximate emergency vehicle |
US9896100B2 (en) | 2015-08-24 | 2018-02-20 | International Business Machines Corporation | Automated spatial separation of self-driving vehicles from other vehicles based on occupant preferences |
US9566986B1 (en) | 2015-09-25 | 2017-02-14 | International Business Machines Corporation | Controlling driving modes of self-driving vehicles |
US9944291B2 (en) | 2015-10-27 | 2018-04-17 | International Business Machines Corporation | Controlling driving modes of self-driving vehicles |
US10607293B2 (en) | 2015-10-30 | 2020-03-31 | International Business Machines Corporation | Automated insurance toggling for self-driving vehicles |
US10176525B2 (en) | 2015-11-09 | 2019-01-08 | International Business Machines Corporation | Dynamically adjusting insurance policy parameters for a self-driving vehicle |
US10685391B2 (en) | 2016-05-24 | 2020-06-16 | International Business Machines Corporation | Directing movement of a self-driving vehicle based on sales activity |
US10133942B2 (en) | 2016-07-05 | 2018-11-20 | Nauto Global Limited | System and method for automatic driver identification |
US10037471B2 (en) | 2016-07-05 | 2018-07-31 | Nauto Global Limited | System and method for image analysis |
JP2018005091A (ja) * | 2016-07-06 | 2018-01-11 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
WO2018031678A1 (en) | 2016-08-09 | 2018-02-15 | Nauto Global Limited | System and method for precision localization and mapping |
JP6940612B2 (ja) * | 2016-09-14 | 2021-09-29 | ナウト, インコーポレイテッドNauto, Inc. | ニアクラッシュ判定システムおよび方法 |
US10733460B2 (en) * | 2016-09-14 | 2020-08-04 | Nauto, Inc. | Systems and methods for safe route determination |
US10093322B2 (en) | 2016-09-15 | 2018-10-09 | International Business Machines Corporation | Automatically providing explanations for actions taken by a self-driving vehicle |
US10178531B2 (en) * | 2016-09-15 | 2019-01-08 | Qualcomm Incorporated | Methods and apparatus for efficient sensor data sharing in a vehicle-to-vehicle (V2V) network |
US10643256B2 (en) | 2016-09-16 | 2020-05-05 | International Business Machines Corporation | Configuring a self-driving vehicle for charitable donations pickup and delivery |
US10246014B2 (en) | 2016-11-07 | 2019-04-02 | Nauto, Inc. | System and method for driver distraction determination |
US10259452B2 (en) * | 2017-01-04 | 2019-04-16 | International Business Machines Corporation | Self-driving vehicle collision management system |
US10363893B2 (en) | 2017-01-05 | 2019-07-30 | International Business Machines Corporation | Self-driving vehicle contextual lock control system |
US10529147B2 (en) | 2017-01-05 | 2020-01-07 | International Business Machines Corporation | Self-driving vehicle road safety flare deploying system |
US10810773B2 (en) * | 2017-06-14 | 2020-10-20 | Dell Products, L.P. | Headset display control based upon a user's pupil state |
WO2018229550A1 (en) | 2017-06-16 | 2018-12-20 | Nauto Global Limited | System and method for adverse vehicle event determination |
JP6861375B2 (ja) * | 2017-06-30 | 2021-04-21 | パナソニックIpマネジメント株式会社 | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 |
US10895741B2 (en) * | 2017-10-03 | 2021-01-19 | Industrial Technology Research Institute | Ultra-wide head-up display system and display method thereof |
US20190129038A1 (en) * | 2017-10-27 | 2019-05-02 | Osram Opto Semiconductors Gmbh | Monitoring System for a Mobile Device and Method for Monitoring Surroundings of a Mobile Device |
US10565872B2 (en) * | 2017-12-04 | 2020-02-18 | International Business Machines Corporation | Cognitive situation-aware vision deficiency remediation |
US10740938B2 (en) | 2017-12-04 | 2020-08-11 | International Business Machines Corporation | Cognitive situation-aware vision deficiency remediation |
US10657677B2 (en) | 2017-12-04 | 2020-05-19 | International Business Machines Corporation | Cognitive situation-aware vision deficiency remediation |
US11017249B2 (en) | 2018-01-29 | 2021-05-25 | Futurewei Technologies, Inc. | Primary preview region and gaze based driver distraction detection |
US11392131B2 (en) | 2018-02-27 | 2022-07-19 | Nauto, Inc. | Method for determining driving policy |
DE102018209192B3 (de) * | 2018-05-17 | 2019-05-09 | Continental Automotive Gmbh | Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug |
CN110404255B (zh) * | 2019-08-07 | 2023-06-30 | 广州小鹏汽车科技有限公司 | 车辆间的游戏互动方法、装置、车辆及机器可读介质 |
EP3782840B1 (en) * | 2019-08-20 | 2023-08-02 | Volvo Car Corporation | Aid for a driver with impaired field of view |
CN112937559B (zh) * | 2019-11-22 | 2022-12-20 | 荷兰移动驱动器公司 | 行车警示方法及车载装置 |
KR20210143421A (ko) * | 2020-05-20 | 2021-11-29 | 현대모비스 주식회사 | 차량용 헤드업 디스플레이 장치 및 그 제어 방법 |
US11659372B2 (en) * | 2020-07-30 | 2023-05-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Adaptive sensor data sharing for a connected vehicle |
US11518305B2 (en) * | 2020-10-08 | 2022-12-06 | Harman International Industries, Incorporated | Techniques for generating vehicle-to-pedestrian (V2P) communications based on driver monitoring |
JP2022094063A (ja) * | 2020-12-14 | 2022-06-24 | パナソニックIpマネジメント株式会社 | 安全確認支援システム及び安全確認支援方法 |
US11753029B1 (en) * | 2020-12-16 | 2023-09-12 | Zoox, Inc. | Off-screen object indications for a vehicle user interface |
US11854318B1 (en) | 2020-12-16 | 2023-12-26 | Zoox, Inc. | User interface for vehicle monitoring |
CN112754484A (zh) * | 2021-01-12 | 2021-05-07 | 中国科学院心理研究所 | 一种测试及训练驾驶员注意广度的方法和*** |
JP2022142614A (ja) * | 2021-03-16 | 2022-09-30 | パナソニックIpマネジメント株式会社 | 安全確認支援装置、安全確認支援方法及び安全確認支援プログラム |
US11926259B1 (en) * | 2023-01-24 | 2024-03-12 | Arriver Software Llc | Alert modality selection for alerting a driver |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005135037A (ja) * | 2003-10-29 | 2005-05-26 | Toyota Central Res & Dev Lab Inc | 車両用情報提示装置 |
JP2007128427A (ja) * | 2005-11-07 | 2007-05-24 | Nissan Motor Co Ltd | 運転支援装置及び運転支援方法 |
JP2009146141A (ja) * | 2007-12-13 | 2009-07-02 | Toyota Motor Corp | 走行支援装置 |
JP2010211613A (ja) * | 2009-03-11 | 2010-09-24 | Omron Corp | 情報処理装置及び方法、プログラム、並びに情報処理システム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10131720B4 (de) * | 2001-06-30 | 2017-02-23 | Robert Bosch Gmbh | Head-Up Display System und Verfahren |
US7835834B2 (en) * | 2005-05-16 | 2010-11-16 | Delphi Technologies, Inc. | Method of mitigating driver distraction |
WO2011064831A1 (ja) * | 2009-11-30 | 2011-06-03 | 富士通株式会社 | 診断装置及び診断方法 |
US20130187792A1 (en) * | 2012-01-19 | 2013-07-25 | Mark Egly | Early warning system for traffic signals and conditions |
DE102012214852B4 (de) * | 2012-08-21 | 2024-01-18 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs |
-
2014
- 2014-08-27 US US14/470,857 patent/US20160063761A1/en not_active Abandoned
-
2015
- 2015-08-25 JP JP2015165503A patent/JP2016048550A/ja active Pending
- 2015-08-26 EP EP15182482.8A patent/EP2990936A1/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005135037A (ja) * | 2003-10-29 | 2005-05-26 | Toyota Central Res & Dev Lab Inc | 車両用情報提示装置 |
JP2007128427A (ja) * | 2005-11-07 | 2007-05-24 | Nissan Motor Co Ltd | 運転支援装置及び運転支援方法 |
JP2009146141A (ja) * | 2007-12-13 | 2009-07-02 | Toyota Motor Corp | 走行支援装置 |
JP2010211613A (ja) * | 2009-03-11 | 2010-09-24 | Omron Corp | 情報処理装置及び方法、プログラム、並びに情報処理システム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019528217A (ja) * | 2016-08-19 | 2019-10-10 | マサチューセッツ インスティテュート オブ テクノロジー | 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法 |
JP7139331B2 (ja) | 2016-08-19 | 2022-09-20 | マサチューセッツ インスティテュート オブ テクノロジー | 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法 |
JP2018032402A (ja) * | 2016-08-23 | 2018-03-01 | トヨタ自動車株式会社 | 車載拡張現実システム向けの遮蔽調整システム |
US10248196B2 (en) | 2016-08-23 | 2019-04-02 | Toyota Jidosha Kabushiki Kaisha | System for occlusion adjustment for in-vehicle augmented reality systems |
Also Published As
Publication number | Publication date |
---|---|
US20160063761A1 (en) | 2016-03-03 |
EP2990936A1 (en) | 2016-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016048550A (ja) | ドライバの注意評価に基づく空間情報の提示 | |
JP2016048552A (ja) | 外部情報のドライバへの提供 | |
US9409519B2 (en) | Generating spatial information for a heads-up display | |
US11155268B2 (en) | Utilizing passenger attention data captured in vehicles for localization and location-based services | |
US11092456B2 (en) | Object location indicator system and method | |
US10168174B2 (en) | Augmented reality for vehicle lane guidance | |
US11472291B2 (en) | Graphical user interface for display of autonomous vehicle behaviors | |
US10068377B2 (en) | Three dimensional graphical overlays for a three dimensional heads-up display unit of a vehicle | |
EP2526508B1 (en) | Traffic signal mapping and detection | |
US11884155B2 (en) | Graphical user interface for display of autonomous vehicle behaviors | |
KR20180090610A (ko) | 차선 정보를 출력하는 방법 및 장치. | |
KR20210040947A (ko) | 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 정보 처리 시스템, 그리고 이동체 장치 | |
JP2020032866A (ja) | 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム | |
EP2991358A2 (en) | Communication of cloud-based content to a driver | |
CN114842455B (zh) | 障碍物检测方法、装置、设备、介质、芯片及车辆 | |
KR102625688B1 (ko) | 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템 | |
JP2019117435A (ja) | 画像生成装置 | |
US11257363B2 (en) | XR-based slot reservation system for connected vehicles traveling through intersections | |
JP2019117434A (ja) | 画像生成装置 | |
US20230298198A1 (en) | Light-based object localization | |
US20240123975A1 (en) | Guided generation of trajectories for remote vehicle assistance | |
KR20230110145A (ko) | 아이트래커 디바이스 및 라이다 포인트 클라이드 데이터를 사용하는 목표 결정 | |
WO2024086049A1 (en) | Guided generation of trajectories for remote vehicle assistance | |
JP2020086882A (ja) | 表示制御装置、方法、及びコンピュータ・プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160802 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170228 |