JP2016048550A - ドライバの注意評価に基づく空間情報の提示 - Google Patents

Abstract

【課題】ドライバが危険な物体を確実に検出・認識できるようにする。【解決手段】プロセッサベースの演算装置によって実行される方法であって、物体についての物体データを受信するステップと、車両の経路を含む車両データを決定するステップと、前記車両データと前記物体データに基づいて、前記物体の危険インデックスを推定するステップと、ユーザの視線を検出するステップと、ユーザの視線に基づいて前記ユーザが前記物体を見たかどうかを判定するステップと、前記物体を表示するためのグラフィックを特定するステップと、ユーザのアイフレームに対応するように前記グラフィックを配置するステップと、を含む。【選択図】図２

Description

本明細書は、ドライバの注意力評価に基づいてヘッドアップディスプレイ用の空間情報を生成する技術に関する。

現在のヘッドアップディスプレイシステムは、現在の速度や潜在的な危険についての警告などのような要約された情報を提供する。ヘッドアップディスプレイ上で視覚情報をドライバに提供する場合、提供される情報が適切なものであることが重要である。ヘッドアップディスプレイのスペースは限定されているので、ユーザにとって何が重要であるかを考慮できないと、ヘッドアップディスプレイシステムは最も適切な情報を提供することに失敗してしまう。

本発明は、ドライバが危険な物体を確実に検出・認識できるようにすることを目的とする。

本開示において説明される発明主題の革新的な一態様は、物体についての物体データを受信する受信手段と、車両の経路を含む車両データを決定する決定手段と、前記車両データと前記物体データに基づいて、前記物体の危険インデックスを推定する推定手段と、ユーザの視線を検出する検出手段と、ユーザの視線に基づいて前記ユーザが前記物体を見たかどうかを判定する判定手段と、前記物体を表示するためのグラフィックを特定する特定手段と、ユーザのアイフレームに対応するように前記グラフィックを配置する配置手段と、
を備える、システムである。

一般に、本開示において説明される発明主題の別の革新的な一態様は、プロセッサベースの演算装置によって実行される方法であって、物体についての物体データを受信するステップと、車両の経路を含む車両データを決定するステップと、前記車両データと前記物体データに基づいて、前記物体の危険インデックスを推定するステップと、ユーザの視線を検出するステップと、ユーザの視線に基づいて前記ユーザが前記物体を見たかどうかを判定するステップと、前記物体を表示するためのグラフィックを特定するステップと、ユーザのアイフレームに対応するように前記グラフィックを配置するステップと、を含む、方法である。

これらおよびその他の実施形態は、それぞれ以下の処理や特徴の一つまたは複数を付随的に含むことができる。たとえば、物体データは、物体−車両（Ｘ２Ｖ）データを含むことができる。また、ある実施形態においては、以下の付加的な処理を含むこともできる。たとえば、前記危険インデックスと前記ユーザが前記物体をどのくらいの時間見たかに基づいて表示モダリティを決定し、ヘッドアップディスプレイ上に、前記グラフィックを前記表示モダリティで表示すること；ユーザが所定の時間量よりも長く前記物体を見たかどうかを判定し、ユーザが前記物体を前記所定の時間量よりも長く見なかった場合に、前記グラフィックのモダリティとして、より目立つモダリティを選択すること；ユーザが前記物体を前記所定の時間量よりも長く見た場合に、前記ヘッドアップディスプレイから前記グラフィックを取り除くこと；ユーザの視線の方向を指す矢印を出力すること；ユーザが第２の所定の時間量よりも長く前記物体を見た場合に、表示のための前記グラフィックを
選択しないこと；前記物体の境界ボックスを生成すること；前記物体データおよび前記境界ボックスに基づいて前記物体の経路を決定すること、を含むことができる。

他の態様は、これらもしくはその他の態様に対応する方法、システム、装置、およびコンピュータプログラムプロダクトを含む。

本開示は、特にいくつかの点で有利である。たとえば、本システムによれば、物体が視界内になくても、ドライバが物体を検出・認識することができる。そのうえ、本システムは、理解が容易なグラフィクスを用いて、ユーザに危険な状況を警告することができる。加えて、ヘッドアップディスプレイは、目の焦点を道路とグラフの間で変えることをドライバに要求しないグラフィクスを生成する。その結果、ユーザはより速く反応することができて、衝突を避けることができる。

以下の説明および添付の図面は本発明を説明するための例示であり、本発明を限定するものではない。図面においては、同様の要素には同一の参照符号を付してある。

図１は、ヘッドアップディスプレイ用の空間情報生成システムの例を示すブロック図である。 図２は、物体情報を生成するための安全アプリケーションの例を示すブロック図である。 図３Ａは、歩行者の検知とユーザの視線の決定の図式表示である。 図３Ｂは、決定された危険インデックスを使った例示的な物体の図式表示である。 図３Ｃは、グラフィック選択過程の図式表示例である。 図３Ｄは、ヘッドアップディスプレイの図式表示例である。 図４Ａは、ヘッドアップディスプレイのために物体情報を生成する例示的な方法のフローチャートである。 図４Ｂは、ヘッドアップディスプレイのために物体情報を生成する例示的な方法のフローチャート（図４Ａの続き）である。 図５は、ヘッドアップディスプレイの構成例である。

＜例示的なシステムの概要＞
図１は、ドライバの注意力評価に基づいてヘッドアップディスプレイ用の空間情報を生成するシステム１００の一実施形態のブロック図を例示する。システム１００は、第１のクライアント装置１０３、モバイルクライアント装置１８８、放送装置１２０、ソーシャルネットワークサーバ１０１、第２のサーバ１９８、および地図サーバ１９０を含む。第１のクライアント装置１０３とモバイルクライアント装置１８８は、それぞれ、信号線１２２と１２４を介して、ユーザ１２５ａと１２５ｂ（以下では、個々におよび集合的に、ユーザ１２５とも称する）によってアクセスされることができる。本実施形態においては、システム１００のこれらのエンティティは、ネットワーク１０５を介して通信可能に結合されることができる。システム１００は、たとえば、交通データを提供するための交通サーバ、気象データを提供するための気象サーバおよび電力使用サービス（例えば課金サービス）を提供するための電力サービスサーバなどを含む、図１に示されない他のサーバまたは装置を含むことができる。

図１における第１のクライアント装置１０３とモバイルクライアント装置１８８は、一例として用いられることができる。図１は２つのクライアント装置１０３，１８８を例示
するが、本開示は一つまたは複数のクライアント装置１０３，１８８を有するシステムアーキテクチャーに適用することができる。さらに、図１には複数の放送装置１２０が示されているが、放送装置１２０は１つであってもよい。さらに、図１は、第１のクライアント装置１０３、モバイルクライアント装置１８８、ソーシャルネットワークサーバ１０１、第２のサーバ１９８と地図サーバ１９０に結合する１つのネットワーク１０５を例示するが、実際には、一つまたは複数のネットワーク１０５を接続することができる。図１は、１台のソーシャルネットワークサーバ１０１、１台の第２のサーバ１９８と１台の地図サーバ１９０を含むが、システム１００は、一つまたは複数のソーシャルネットワークサーバ１０１、一つまたは複数の第２のサーバ１９８と一つまたは複数の地図サーバ１９０を含むことができる。

ネットワーク１０５は、有線ネットワークであっても無線ネットワークであっても良く、また、スター型、トークンリング型や当業者に知られているその他の構成を取ることができる。さらにまた、ネットワーク１０５はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ），ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）（例えばインターネット）や、複数の装置が通信可能な相互接続データパスを含むことができる。ある実施形態では、ネットワーク１０５はピアツーピアネットワークであることができる。ネットワーク１０５は、種々の異なる通信プロトコルでデータを送る電気通信網の一部に結合されたり当該一部を含んでもよい。ある実施形態では、ネットワーク１０５は、ブルートゥース（登録商標）通信ネットワークや携帯電話通信ネットワークを含み、ＳＭＳ（ショートメッセージサービス）、ＭＭＳ（マルチメディアメッセージサービス）、ＨＴＴＰ（ハイパーテキスト転送プロトコル）、直接データ接続、ＷＡＰ、電子メールなどのデータを送受信する。ある実施形態では、ネットワーク１０５は、ＧＰＳナビゲーションを第１のクライアント装置１０３またはモバイルクライアント装置１８８に提供するためのＧＰＳ衛星を含むことができる。ネットワーク１０５は、３Ｇ、４Ｇ、ＬＴＥ、Ｖｏｉｃｅ−ｏｖｅｒ−ＬＴＥ（ＶｏＬＴＥ）のような任意のモバイルデータネットワークまたはモバイルデータネットワークの組合せであることができる。

放送装置１２０は、プロセッサとメモリを含むモバイルコンピュータでありえる。たとえば、放送装置１２０は、ネットワーク１０５にアクセス可能ことがウェアラブル装置、スマートフォン、携帯電話、パーソナル携帯情報機器（ＰＤＡ）、モバイル電子メール装置、携帯ゲームプレーヤー、携帯音楽プレーヤーまたは他の携帯電子デバイスでありえる。ウェアラブル装置は、たとえば、ネットワーク越しに通信する装身具（ｊｅｗｅｌｒｙ）を含む。放送装置１２０は、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ−Ｒａｎｇｅ
Ｃｏｍｍｕｎｉｃａｔｉｏｎ）プロトコルを用いて通信する。放送装置１２０は、物体に関する情報を提供する。物体は、ウェアラブル装置を持つ歩行者、スマートフォンを持つ自転車運転者、その他の乗物などを含む。

放送装置１２０は、専用狭域通信（ＤＳＲＣ）として、Ｘ２Ｖデータを安全アプリケーション１９９に送る。Ｘ２Ｖデータは、車両−車両（Ｖ２Ｖ）データ、インフラ−車両（Ｉ２Ｖ）サービス、歩行者や自転車運転者のようなその他の物体からのデータなどの、任意のタイプの物体−車両データを含む。Ｘ２Ｖデータは、物体（Ｘ）から車両（Ｖ）に対して送信（Ｘ２Ｖ通信と称される）される物体（Ｘ）に関するデータである。Ｘ２Ｖデータは、物体から車両に対して直接送信されてもよいし、物体から中継装置を介して車両に送信されてもよい。Ｘ２Ｖデータは、物***置に関する情報を含む。物***置は、車両に対する物体の相対的な位置であってもよいし、物体の絶対的な位置であってもよい。一実施形態においては、Ｘ２Ｖデータは、データ源の種類を示す１または複数のビットを含む。ＤＳＲＣは、自動車で用いられるように設計された、一方向または双方向の短距離から中距離の無線通信チャネルである。ＤＳＲＣは、５．９ＧＨｚバンドを通信に用いる。

ある実施形態では、安全アプリケーション１９９ａは、第１のクライアント装置１０３上で実行可能である。第１のクライアント装置１０３は、バッテリシステム搭載のモバイルクライアント装置でありえる。たとえば、第１のクライアント装置１０３は、非一時的なコンピュータエレクトロニクスとバッテリシステムを含む車両（例えば自動車、バス）、体内埋込装置やその他のモバイルシステムのうちのいずれかでありえる。ある実施形態では、第１のクライアント装置１０３は、メモリとプロセッサを含むコンピュータを含むことができる。図示される実施形態では、第１のクライアントデバイス１０３は信号線１０８を介してネットワーク１０５と通信可能に結合されている。

他の実施形態では、安全アプリケーション１９９ｂは、モバイルクライアント装置１８８上で実行可能である。モバイルクライアント装置１８８は、たとえば、ダッシュボードに搭載される車両装置、ラップトップコンピュータ、タブレットコンピュータ、携帯電話、パーソナル携帯情報機器（ＰＤＡ）、モバイル電子メール装置、携帯ゲームプレーヤー、携帯音楽プレーヤー、ネットワーク１０５にアクセス可能なその他の携帯電子デバイスのような、メモリとプロセッサを含む携帯型コンピュータであることができる。ある実施形態では、安全アプリケーション１９９ｂは、部分的に第１のクライアント装置１０３の上に格納されるシンクライアントとして振る舞い、部分的にモバイルクライアント装置１８８に格納されるコンポーネントとして振る舞う。図示される実施形態では、モバイルクライアントデバイス１８８は信号線１１８を介してネットワーク１０５と通信可能に結合されている。

ある実施形態では、第１のユーザ１２５ａと第２のユーザ１２５ｂは、第１のクライアント装置１０３とモバイルクライアント装置１８８の両方と相互作用する同一のユーザ１２５でありえる。たとえば、ユーザ１２５は、第１のクライアント装置１０３（例えば車両）内に座っていて、モバイルクライアント装置１８８（例えばスマートフォン）を操作しているドライバでありえる。ある他の実施形態では、第１のユーザ１２５ａと第２のユーザ１２５ｂは、それぞれ、第１のクライアント装置１０３とモバイルクライアント装置１８８と相互作用する異なるユーザ１２５でありうる。たとえば、第１のユーザ１２５ａは、第１のクライアント装置１０３を運転するドライバであり、第２のユーザ１２５ｂはモバイルクライアント装置１８８と相互作用する乗客でありえる。

安全アプリケーション１９９は、ヘッドアップディスプレイ用に空間情報を生成するためのソフトウェアでありえる。安全アプリケーション１９９は、物体についての物体データを受信する。物体データは、センサ、カメラまたは放送装置から取得される。安全アプリケーション１９９は、物体のカテゴリ化（分類）と、車両経路の決定を行う。たとえば、安全アプリケーション１９９は、物体が歩行者であり、車両がＢ通り上を北西へ向かって走行していると決定する。安全アプリケーション１９９は、車両データと物体データに基づいて、物体の危険インデックスを推定する。

安全アプリケーション１９９は、ユーザの視線を検出し、検出されたユーザ視線に基づいてユーザが物体を見ているかどうかを決定する。ユーザが十分に長いあいだ物体を見ていれば、安全アプリケーション１９９は、この物体についてのグラフィックを提供する必要はない。ユーザが物体を全く見ていないか十分に長いあいだ見ていない場合には、安全アプリケーション１９９は、この物体を表すグラフィックを特定して表示する。安全アプリケーション１９９は、また、危険インデックスに基づいてグラフィックの表示モダリティも決定する。たとえば、衝突が５秒以内に起こる可能性があれば、安全アプリケーション１９９は、グラフィックを点滅させる。

安全アプリケーション１９９は、ユーザのアイフレームに対応させてグラフィックを配置し、ユーザが所定時間以上このグラフィックを見たかどうかを決定する。ユーザがこの
グラフィックを十分な時間（すなわち所定時間以上）見た場合には、安全アプリケーション１９９は、ヘッドアップディスプレイからこのグラフィックの表示を取り除く。ユーザが十分な時間このグラフィックを見ていない場合は、安全アプリケーション１９９は、より目立つモダリティを用いてグラフィックを表示する。たとえば、安全アプリケーション１９９は、グラフィックの隣に赤く点滅する警告記号をする。

ある実施形態では、安全アプリケーション１９９は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを用いて実施されることができる。別の実施形態では、安全アプリケーション１９９はハードウェアとソフトウェアの両方を用いて実装される。ある実施形態では、安全アプリケーション１９９は、装置とサーバの両方に格納されてもよいし、装置とサーバのいずれかのみに格納されてもよい。

ソーシャルネットワークサーバ１０１は、プロセッサ、メモリとネットワーク通信能力を含むハードウェアサーバである。本実施形態においては、ソーシャルネットワークサーバ１０１は、信号線１０４を介してネットワーク１０５に結合されている。ソーシャルネットワークサーバ１０１は、ネットワーク１０５を介してシステム１００の他のエンティティとの間でデータを送受信する。ソーシャルネットワークサーバ１０１は、ソーシャルネットワークアプリケーション１１１を含む。ソーシャルネットワークは、ユーザ１２５が共通の特徴によって繋がることができる一種の社会構造（ｓｏｃｉａｌ ｓｔｒｕｃｔｕｒｅ）である。共通機能は、例えば、友好関係、家族、仕事、関心などの関係や繋がりを含む。共通の特徴は、明示的に定義された関係や、他のオンラインユーザとの間の社会的繋がりによって暗示される関係を含む一つまたは複数のソーシャルネットワークシステムによって提供されることができ、このような関係がソーシャルグラフを形成する。ある実施例では、ソーシャルグラフは、これらのユーザの対応や、これらのユーザがどのような関係であるかを反映する。

ある実施形態では、ソーシャルネットワークアプリケーション１１１は、物体データを生成するために用いられるソーシャルネットワークを生成する。たとえば、第１のクライアント装置１０３として類似した経路を走行している他の車両は、第１のクライアント装置が遭遇する物体についての情報を特定することができる。たとえば、物体が歩行者である場合、他の車両はＸ２Ｖデータから歩行者の速度と方向を決定することができる。その物体データは、歩行者の危険インデックスをより正確に決定するために、安全アプリケーション１９９によって用いられる。

地図サーバ１９０は、プロセッサ、メモリとネットワーク通信能力を含むハードウェアサーバである。本実施形態においては、地図サーバ１９０は、信号線１１４を介してネットワーク１０５に結合されている。地図サーバ１９０は、ネットワーク１０５を介してシステム１００の他のエンティティとの間でデータを送受信する。地図サーバ１９０は、地図アプリケーション１９１を含む。地図アプリケーション１９１は、ユーザのために地図と方向を生成することができる。一実施形態においては、安全アプリケーション１９９は、点Ａから点Ｂまで旅行するユーザ１２５から方向案内の要求を受信し、この要求を地図サーバ１９０に送信する。地図アプリケーション１９１は、方向案内と地図を生成して、この方向案内と地図を表示するために安全アプリケーション１９９に送る。ある実施形態では、方向案内は第１のモバイル装置１０３の経路を決定するために用いることができるので、コンテンツアプリケーション１９９は方向案内を車両データ２９３に加える。

ある実施形態では、システム１００は、信号線１９７を介してネットワークに結合される第２のサーバ１９８を含む。第２のサーバ１９８は、安全アプリケーション１９９により用いられる追加情報（例えばインフォテインメント（ｉｎｆｏｔａｉｎｍｅｎｔ）、音
楽など）を格納することができる。ある実施形態では、第２のサーバ１９８は、安全アプリケーション１９９からデータ（例えば、映画や音楽などをストリーミングするためのデータ）を求める要求を受信して、データを生成して、データを安全アプリケーション１９９に発信する。

＜例示的な安全アプリケーション＞
次に図２を参照して、安全アプリケーション１９９の例をより詳細に説明する。図２は、一実施例にかかる、安全アプリケーション１９９、プロセッサ２２５、メモリ２２７、グラフィクスデータベース２２９、ヘッドアップディスプレイ２３１、カメラ２３３、通信ユニット２４５、およびセンサ２４７を含む第１のクライアント装置１０３のブロック図である。第１のクライアント装置１０３の各構成要素は、バス２４０を介して通信可能に結合される。

図２では安全アプリケーション１９９は第１のクライアント装置１０３に保存されているが、当業者であれば安全アプリケーション１９９の構成要素が、特定のハードウェアが適用不可能なモバイルクライアント装置１８８に保存されても良いことを理解できるだろう。たとえば、モバイルクライアント装置１８８は、ヘッドアップディスプレイ２３１やカメラ２３３を含まないかもしれない。安全アプリケーション１９９がモバイルクライアント装置１８８に保存される実施形態では、安全アプリケーション１９９は、第１のクライアント装置１０３上のセンサから情報を受信し、当該情報を利用してヘッドアップディスプレイ２３１用のグラフィックを決定し、第１のクライアント装置１０３上のヘッドアップディスプレイ２３１に当該グラフィックデータを送ることができる。ある実施形態では、安全アプリケーション１９９は、一部が第１のクライアント装置１０３上に、そして、一部がモバイルクライアント装置１８８上に格納される。

プロセッサ２２５は、演算論理ユニット、マイクロプロセッサ、汎用制御装置や、その他のプロセッサアレイを有し、計算を実行したり、表示装置に電子表示信号を提供したりする。プロセッサ２２５は、バス２４０に結合され、信号線２３６を介して他の構成要素と通信する。プロセッサ２２５はデータ信号を処理する。プロセッサのアーキテクチャは、ＣＩＳＣ（Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ）、ＲＩＳＣ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ）、これら両方の命令セットの組合せとして実装されたアーキテクチャなど様々なアーキテクチャが可能である。図２には１つのプロセッサ２２５だけが示されるが、複数のプロセッサ２２５が含まれてもよい。上記以外のプロセッサ、オペレーティングシステム、センサ、表示装置、あるいは物理的構成も採用可能である。

メモリ２２７は、プロセッサ２２５が実行可能な命令やデータを格納する。メモリ２２７は、バス２４０に結合され、信号線２３８を介して他の構成要素と通信する。格納される命令やデータは、ここに表される技術を実行するためのコードを含む。メモリ２２７は、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリやその他の既存のメモリ装置である。ある実施形態においては、メモリ２２７は、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、ＣＤ−ＲＯＭ装置、ＤＶＤ−ＲＯＭ装置、ＤＶＤ−ＲＡＭ装置、ＤＶＤ−ＲＷ装置、フラッシュメモリ装置や情報記憶の分野において既知のその他の大容量記憶装置などの、非一時的（ｎｏｎ−ｖｏｌａｔｉｌｅ）メモリや永久記憶装置を含んでも良い。

図２に示すように、メモリ２２７は、車両データ２９３、カテゴリデータ２９５、物体データ２９７、および旅行データ２９８を格納する。車両データ２９３は、車両の速度、車両のライトがオンであるかオフであるか、地図サーバ１９０や他のアプリケーションによって提供される意図された経路のような、第１のクライアント１０３についての情報を
含む。ある実施形態では、センサ２４７は、車両データ２９３を決定するためのハードウェアを含むことができる。車両データ２９３は、物体の危険インデックスを決定するために、危険評価モジュール２２６により用いられる。

カテゴリデータ２９５は、エンティティの複数のカテゴリと、各カテゴリのエンティティがどのように振る舞うかについての情報とを含む。たとえば、カテゴリは、静止物体と移動物体のように包括的ものであってもよいし、静止した人物、移動している人物、静止している車両、移動している車両などのようにより具体的なものであってもよい。また、交通標識、道路に関連した物体、情報を提供する物体などであってもよい。例えば、車両のカテゴリデータ２９５は最低速度、最高速度、平均速度を含むことができ、これらの情報は新しい車両情報が特定される度にそれぞれ更新される。カテゴリデータ２９５は、エンティティの危険インデックスを決定するために危険評価モジュール２２６によって用いられる。

物体データ２９７は、物体に関する情報を含む。たとえば、物体データ２９７は、センサフレーム内での物体の位置と方向、物体のバウンディングボックス（境界ボックス）、物体の動きの方向とその速度を含む。ある実施形態では、物体データ２９７は、物体がどのように振る舞うかについての履歴データも含む。物体データ２９７が放送装置１２０から取得される場合は、カテゴリ化モジュール２２４は、物体の位置、速度、種類を含むＸ２Ｖデータから物体データ２９７を生成する。

旅行データ２９８は、ユーザの旅行に関する情報、例えば、過去の旅行と関連付いた始点、目的地、期間、経路などを含む。たとえば、旅行データ２９８は、第１のクライアント装置１０３によって訪問される全ての位置、ユーザ１２５によって訪問される全ての位置（例えば、第１のクライアント装置１０３とモバイルクライアント装置１８８の両方に関連した位置）、ユーザ１２５によってリクエストされる位置などのログを含むことができる。

グラフィクスデータベース２２９は、グラフィクス情報を格納するためのデータベースを含む。グラフィクスデータベース２２９は、異なる物体を表現するためにあらかじめ作られた二次元および三次元のグラフィックの集合を含む。たとえば、二次元のグラフィックは２Ｄピクセルマトリックスであり、三次元グラフィックは３Ｄボクセルマトリックスであることができる。グラフィクスは、ユーザの認識負荷を減少させるために、物体の簡略化表現であってもよい。たとえば、現実的な描写として歩行者を表現する代わりに、歩行者のグラフィックはステッキの図案を含んでもよい。ある実施形態では、グラフィクスデータベース２２９は、問い合わせに応じるリレーショナルデータベースである。たとえば、グラフィクス選択モジュール２３２は、物体にデータ２９７に合うものを見つけるグラフィクスのために、グラフィクスデータベース２２９を問い合わせる。

ヘッドアップディスプレイ２３１は、ユーザがグラフィックデータを見るために視線を道路からそらす必要がないように、３次元（３Ｄ）グラフィックデータをユーザの前方に表示するためのハードウェアを含む。たとえば、ヘッドアップディスプレイ２３１は、物理的な表示面を含んでもよいし、第１のクライアント装置１０３のフロントガラスの一部や反射レンズの一部である透明膜にグラフィックデータを投影しても良い。ある実施形態では、ヘッドアップディスプレイ２３１は、製作過程において第１のクライアント装置１０３の一部として含まれてもよいし、後で設置されてもよい。他の実施形態では、ヘッドアップディスプレイ２３１は取り外し可能な装置である。ある実施形態では、グラフィックデータは、例えば夜間、昼間、曇り、晴れなどの環境条件を考慮して、輝度レベルが調整される。ヘッドアップディスプレイは、信号線２３２を介してバス２４０に結合されている。

ヘッドアップディスプレイ２３１は、安全アプリケーション１９９から表示用のグラフィックデータを受信する。たとえば、ヘッドアップディスプレイ２３１は、安全アプリケーション１９９から透明な態様（モダリティ）を持つ車両のグラフィックを受信する。ヘッドアップディスプレイ２３１は、三次元デカルト座標（例えば、ｘ，ｙ，ｚ座標）を用いてグラフィクスを表示する。

図５は、ヘッドアップディスプレイ２３１の構成例を示す図である。ヘッドアップディスプレイは、プロジェクタ１００１、可動スクリーン１００２、スクリーン駆動部１００３、光学系（レンズ１００４，１００６や反射板１００５など）を有する。プロジェクタ１００１は画像１００８を可動スクリーン１００２上に投影し、投影された画像は、光学系を介して、車両（第１のクライアント装置１０３）のフロントガラス１００７に投影される。フロントガラス１００７に投影された画像は、フロントガラス１００７の前方の実空間内に存在する物体（１０１１ａ、１０１１ｂなど）としてドライバ１０１０によって知覚される。

ヘッドアップディスプレイ２３１は、プロジェクタ１００１による可動スクリーン１００２上への画像の投影位置を調整することで、実空間内における投影像のドライバ１０１０に対する方向を制御できる。また、可動スクリーン１００２は、スクリーン駆動部１００３によって位置１００３ａから位置１００３ｂの範囲で移動可能である。可動スクリーンの位置を調整することで、実空間における投影像のドライバ１０１０からの距離を調整できる。この移動範囲（位置１００３ａと位置１００３ｂの間の距離）は本実施形態では５ｍｍであるが、これは実空間での距離は５ｍから無限遠に対応する。本実施形態におけるヘッドアップディスプレイ２３１を用いることで、ドライバ１０１０は、投影像が実空間（３次元空間）内にあるものと知覚できる。例えば、実空間における実物体（例えば歩行者や他の車両など）と同じ３次元空間位置に画像を投影すると、ドライバ１０１０は、実物体と投影像を見るときに眼の焦点を変える必要がなく、実物体を見ている状況で投影像を容易に認識できる。

カメラ２３３は、第１のクライアント装置１０３の外の画像を撮影するためのハードウェアであり、この画像は、エンティティを特定するために検知モジュール２２２により用いられる。カメラ２３３は、ユーザの画像を撮影するためまたはユーザを記録するための少なくとも一つの内部カメラ２３３と、道路の画像を撮影するためまたは道路を記録するための少なくとも一つの外部カメラ２３３を含む。カメラ２３３は、信号線２３４を介してバス２４０に結合される。

内部カメラ２３３は、ユーザの顔、特にユーザの眼を記録する。内部カメラ２３３の記録は、外部カメラ２３３からの記録と同期をとることができるように、タイムスタンプを含む。内部のカメラ２３３は、記録を安全アプリケーション１９９に送る。複数の内部カメラ２３３が用いられる実施形態では、内部カメラ２３３は、ユーザの顔を異なる角度から撮影できるように配置されることが好ましい。ある実施形態では、ユーザの視点から道路を記録するための追加の内部カメラ２３３が用いられる。たとえば、この内部カメラ２３３は、ユーザの頭上に位置し、道路の方に向いている。

外部カメラ２３３は、車両の正面部分に配置されて、路上物体を記録する。たとえば、外部カメラ２３３は、ユーザの視界全体を記録できるように配置される。外部カメラ２３３の記録も、内部のカメラ２３３からの記録と同期するために、タイムスタンプを含む。外部カメラ２３３は、記録を安全アプリケーション１９９に送る。複数の外部カメラ２３３が用いられる実施形態では、外部カメラ２３３は、道路の視野範囲を最大化するように配置されることが好ましい。たとえば、外部カメラはグリルの両側に配置することができ
る。

安全アプリケーション１９９の格納場所に応じて、通信ユニット２４５は、第１のクライアント装置１０３とモバイルクライアント装置１８８のうちの少なくとも１つとの間でデータを送受信する。通信ユニット２４５は、信号線２４６を介してバス２４０に結合されている。ある実施形態では、通信ユニット２４５は、ネットワーク１０５や他の通信チャネルへの直接的な物理的接続のためのポート（接合部）を含む。たとえば、通信ユニット２４５は、第１のクライアント装置１０３との有線通信のためのＵＳＢ、ＳＤ、ＣＡＴ−５または類似のポートを含む。ある実施形態では、通信ユニット２４５は、ＩＥＥＥ ８０２．１１、ＩＥＥＥ ８０２．１６、ＢＬＵＥＴＯＯＴＨ（登録商標）、または他の適切な無線通信方式を含む一つまたは複数の無線通信方式を用いて、クライアント装置１０３や他の通信チャネルとデータを交換するための無線送受信部を含むことができる。

ある実施形態では、通信ユニット２４５は、携帯電話ネットワークを介して、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージサービス（ＭＭＳ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、直接的データ接続、ＷＡＰ、電子メールやその他の適切な種類の電子的通信を含むデータを送信するための携帯無線送受信機を含む。ある実施形態では、通信ユニット２４５は、有線ポートと無線送受信機を含みうる。通信ユニット２４５は、ＴＣＰ／ＩＰ、ＨＴＴＰ、ＨＴＴＰＳ、ＳＭＴＰなどを含む標準ネットワークプロトコルを用いて、ファイルやメディアオブジェクトを配布するために、ネットワーク１０５への従来の接続も提供する。

センサ２４７は、物理的変化を感知する任意の装置である。第１のクライアント装置１０３は、１種類または多種類のセンサ２４７を有することができる。センサ２４７は、信号線２４８を介してバス２２０に結合される。

センサ２４７は、８０２．１１ｐ ＤＳＲＣ ＷＡＶＥ通信ユニットなどのような、狭域通信（ＤＳＲＣ）を介してＸ２Ｖデータを受信するためのハードウェアを含む。センサ２４７は、Ｘ２Ｖデータを、通信モジュール２２１またはメモリ２２７に送って記憶する。

一実施形態においては、センサ２４７は、ライダー（ＬＩＤＡＲ： 光検出測距）のような、第１のクライアント１０３周囲の環境の３次元マップを生成するために用いられるレーザ式センサである。ライダーは、レーザーから対象物に向けてエネルギーバーストを放出し、戻り光を測定して距離を計算することによって、第１のクライアント装置１０３の視覚として機能する。別の実施形態においては、センサ２４７はレーダーを含む。レーダーはライダーと類似の機能を有するが、距離決定のためにマイクロ波パルスを用い、より遠くの距離にあるより小さい物体を検出可能である。

別の実施形態においては、センサ２４７は、第１のクライアント装置１０３についての車両データ２９３を決定するためのハードウェアを含む。たとえば、センサ２４７は、例えば第１のクライアント装置１０３の加速度を測定するために用いられる加速度計のようなモーション検出器である。別の例では、センサ２４７は、例えばグローバルポジショニングシステム（ＧＰＳ）、ワイヤレスネットワークを介した三角測量による位置検出などの位置検出器を含む。さらに別の例では、センサ２４７は、ライトがオンであるかオフであるか、ワイパーがオンであるかオフであるかを決定するための装置のような、第１のクライアント１０３の状態を決定するための装置を含む。ある実施形態に、センサ２４７は、通信モジュール２０２を介して車両データ２９３を検知モジュール２２２または危険評価モジュール２２６に送る。他の実施形態では、センサ２４７は、車両データ２９３の一部として位置情報をメモリ２２７に格納する。

ある実施形態では、センサ２４７は深度（ｄｅｐｔｈ）センサを含む。深度センサは、赤外レーザー光のスペックルパターンのようなパターン投影を用いて深度を決定する。別の実施形態においては、深度センサは、光信号がカメラ２３３と物体の間を進むのに要する時間に基づいて深度を決定するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）技術を用いて深度を決定する。たとえば、深度センサは、レーザー測距器である。深度センサは、通信モジュール２０２を介して深度情報を検知モジュール２２２に送ってもよいし、センサ２４７は、車両データ２９３の一部として深度情報をメモリ２２７に格納しても良い。

他の実施形態に、センサ２４７は、赤外検出器、モーション検出器、サーモスタット、音検出器、その他のタイプの任意のセンサを含むことができる。たとえば、第１のクライアント装置１０３は、現在時刻、位置（例えば、位置の緯度・経度・高度）、車両の加速度、速度、燃料タンクレベル、バッテリーレベルの速さなどの一つ以上を測定するためのセンサを含むことができる。センサは、車両データ２９３を生成するために用いられる。車両データ２９３は、旅行中に取得される任意の情報や、ソーシャルネットワークサーバ１０１、第２のサーバ１９８、地図サーバ１９０またはモバイルクライアント装置１８８から受信される任意の情報を含むこともできる。

ある実施形態では、安全アプリケーション１９９は、通信モジュール２２１、検知モジュール２２２、カテゴリ化モジュール２２４、危険評価モジュール２２６、視線検出モジュール２２８、注意評価モジュール２３０、グラフィクス選択モジュール２３２、およびシーン計算モジュール２３４を含む。

通信モジュール２２１は、安全アプリケーション１９９と第１のクライアント装置１０３の他の構成要素との間の通信を処理するためのルーチンを含むソフトウェアである。ある実装形態では、通信モジュール２２１は、プロセッサ２３５で実行可能な一組の命令であり、安全アプリケーション１９９と第１のクライアント装置１０３の他の要素との間の通信を処理するために下記の機能を提供する。ある実施形態では、通信モジュール２２１は、第１のクライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。

通信モジュール２２１は、通信ユニット２４５を介して、安全アプリケーション１９９が格納される場所に応じて、第１のクライアント装置１０３、モバイルクライアント装置１８８、地図サーバ１９０、ソーシャルネットワークサーバ１０１、および第２のサーバ１９８の一つまたは複数との間でデータを送受信する。たとえば、通信モジュール２２１は、通信ユニット２４５を介して放送装置１２０からＸ２Ｖデータを受信する。通信モジュール２２１は、Ｘ２Ｖデータを、記憶のためのメモリ２２７に送り、そして、処理のためのカテゴリ化モジュール２２４に送る。

ある実施形態では、通信モジュール２２１は、安全アプリケーション１９９の構成要素からデータを受信して、データをメモリ２３７に格納する。たとえば、通信モジュール２２１は、センサ２４７からデータを受信して、検知モジュール２２２によって決定されるように車両データとしてメモリ２３７に格納する。

ある実施形態では、通信モジュール２２１は、安全アプリケーション１９９の構成要素の間の通信を処理することができる。たとえば、通信モジュール２２１は、カテゴリ化モジュール２２４から物体データ２９７を受信して、危険評価モジュール２２６に送る。

検知モジュール２２２は、物体に関するデータをセンサ２４７から受信するためのルーチンを含むソフトウェアである。ある実装形態では、検知モジュール２２２は、プロセッ
サ２３５で実行可能な一組の命令であり、センサ２４７からセンサデータを受信するための下記の機能を提供する。ある実施形態では、検知モジュール２２２は、第１のクライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。

ある実施形態では、検知モジュール２２２は、センサ２４７またはカメラ２３３のうちの少なくとも１台からセンサデータを受信して、物体に関する物体データ２９７を生成する。たとえば、検知モジュール２２２は、センサ２４７またはカメラ２３３に対する相対的な物体の位置を決定する。別の例では、検知モジュール２２２は、カメラ２３３から画像またはビデオを受信して、歩行者や、建物、レーンマーカー、障害物などの静止物体の位置を特定する。

物体と第１のクライアント装置１０３の間の距離を決定するために、検知モジュール２２２は、センサ２４７から生成される車両データ２９３（例えばＧＰＳによって決定される位置）を用いることができる。別の例では、センサ２４７はライダーやレーダーを含み、第１のクライアント装置１０３と物体の間の距離を決定するために用いられることができる。検知モジュール２２２は、センサフレーム（ｘ、ｙ、ｚ）内で物体の位置を含むｎ個組（ｎ−ｔｕｐｌｅ）を返す。ある実施形態では、検知モジュール２２２は、物体の経路を決定するために位置情報を用いる。検知モジュール２２２は、経路を物体データ２９７に加える。

検知モジュール２２２は、ソーシャルネットワークサーバ１０１から物体についての情報を受信する。たとえば、他の第１のクライアント装置１０３が同一あるいは類似した経路を旅行する前に第１のクライアント装置１０３が物体を検出した場合、ソーシャルネットワークサーバ１０１はこの物体に関する情報を安全アプリケーション１９９に送信する。たとえば、検知モジュール２２２は、ソーシャルネットワークサーバ１０１から物体の速度に関する情報を受信する。

ある実施形態では、検知モジュール２２２は、物体の空間位置を決定して、エンティティを囲むバウンディングボックス（境界ボックス）を生成する。たとえば、検知モジュール２２２は、円柱形状のバウンディングボックスを生成する。バウンディングボックスの形状は円柱以外であってもよく、たとえば、非対称な物体を説明するために不規則な形状なバウンディングボックスを用いてもよい。ある実施形態では、検知モジュール２２２は、物体のバウンディングボックスの位置（ｘ_ｂ，ｙ_ｂ，ｚ_ｂ）_ｓを含むｎ個組を返す。ここで、添字ｂはバウンディングボックスの座標がセンサに対する座標であることを示す。

ある実施形態では、検知モジュール２２２は、物体の種類を決定する。たとえば、検知モジュール２２２は、物体が、未知の障害物、人、自転車、車両、特定の交通信号、レーンマーカー、商業看板であるなどと決定する。ある実施形態では、検知モジュール２２２は、ｎ個組の一部としてエンティティの種類を出力する。たとえば、検知モジュール２２２は、センサフレームにおけるエンティティの位置、エンティティのバウンディングボックス、およびタイプを［（ｘ，ｙ，ｚ）_ｓ，（ｘ_ｂ，ｙ_ｂ，ｚ_ｂ）_ｓ，Ｔ］として出力する。

ある実施形態では、検知モジュール２２２は、物体の速度に基づいて物体の種類を決定する。たとえば、物体が毎時４マイルの速度で移動するならば、その物体はおそらく人であろう。物体が毎時２０マイルの速度で移動するならば、その物体は自転車または車両であろう。カテゴリ化モジュール２２４は、種類情報を物体データ２９７として格納する。

ある実施形態では、検知モジュール２２２は、通信モジュール２２１からＸ２Ｖデータ
を受信するか、メモリからＸ２Ｖデータを取得する。検知モジュール２２２は、物体の速度をＸ２Ｖデータから抽出して、位置情報に基づいて物体の速度を決定する。たとえば、物体が時間Ｔ１に位置Ａにいて時間Ｔ２に位置Ｂにいるならば、ＡとＢの間の距離をＴ１とＴ２の間の時間で割ったものが物体の速度である。検知モジュール２２２は、速度情報を物体データ２９７として格納する。

検知モジュール２２２は、物体データ２９７に基づいて物体の経路を決定する。たとえば、物体が直線的に移動していることをＸ２Ｖデータが示す場合には、検知モジュール２２２は、物体の経路は直線のままの可能性が高いと決定する。検知モジュール２２２は、経路を物体データ２９７の一部として格納する。

カテゴリ化モジュール２２４は、物体を分類するためのルーチンを含むソフトウェアである。ある実装形態では、カテゴリ化モジュール２２４は、プロセッサ２３５で実行可能な一組の命令であり、物体の速度と物体の種類を決定するための下記の機能を提供する。ある実施形態では、カテゴリ化モジュール２２４は、第１のクライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。

カテゴリ化モジュール２２４は、エンティティのカテゴリを生成して、当該カテゴリをカテゴリデータ２９５として格納する。カテゴリ化モジュール２２４は、検知モジュール２２２からエンティティデータ２９７を受信するか、メモリ２２７からエンティティデータ２９７を取得する。カテゴリ化モジュール２２４は、エンティティのカテゴリを決定して、当該情報をエンティティデータ２９７に加える。たとえば、カテゴリ化モジュール２２４は、人を静止した人または歩行者にカテゴリ化する。他のカテゴリは、交通情報、移動車両などを含む。カテゴリ化モジュール２２４は、各々のカテゴリに対して、平均速度、動きの予測可能性、平均的な大きさなどについての情報を付加してもよい。ある実施形態では、カテゴリ化モジュール２２４は、［（ｘ，ｙ，ｚ）_ｓ，（ｘ_ｂ，ｙ_ｂ，ｚ_ｂ）_ｓ，Ｔ，Ｃ］のようにエンティティ情報にカテゴリＣを追加する。

危険評価モジュール２２６は、車両データ２９３と物体データ２９７に基づいて物体の危険インデックスを推定するためのルーチンを含むソフトウェアである。ある実装形態では、危険評価モジュール２２６は、プロセッサ２３５で実行可能な一組の命令であり、物体の危険インデックスを推定するための下記の機能を提供する。ある実施形態では、危険評価モジュール２２６は、第１のクライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。

ある実施形態では、危険評価モジュール２２６は、車両データ２９３および物体データ２９７に基づいて物体の危険インデックスを推定する。たとえば、危険評価モジュール２２６は、物体データ２９７に基づいて第１のクライアント装置１０３の車両経路を決定し、車両経路と物体経路とを比較して、第１のクライアント装置１０３と物体が衝突する可能性があるかどうかを決定する。物体が静止している場合は、危険評価モジュール２２６は、車両の経路がこの静止物体と交差するかどうかを決定する。

ある実施形態では、車両データ２９３は、ユーザと関連した過去のふるまいを決定するために、地図サーバ１９０から提供される地図データと旅行データ２９８によって補われる。危険評価モジュール２２６は、第１のクライアント装置１０３の経路を決定するためにこの情報を用いる。

ある実施形態では、物体データ２０７は物体の動きに関する過去の情報を含み、危険評価モジュール２２６はこの情報を考慮する。ある他の実施形態では、危険インデックスは、第１のクライアント装置１０３の状態にも基づいて決定される。たとえば、第１のクラ
イアント装置１０３のフロントワイパーが作動中であるならば、危険評価モジュール２２６は、より高い危険インデックスを割り当てる。これは、フロントワイパーが作動していることは、劣悪な気象条件を示唆するためである。ある実施形態では、危険評価モジュール２２６は、危険インデックスを決定するための要因として、物体の予測経路も用いる。

危険インデックスは確率的であり、衝突の可能性を反映する。たとえば、危険インデックスは、ｄｍａｘを１００として、ｄ／ｄｍａｘによって計算される。５１／１００のスコアは、５１％の衝突確率を反映する。ある実施形態では、危険評価モジュール２２６は、重み付き計算を用いて危険インデックスを決定する。たとえば、危険評価モジュール２２６は、以下の情報の組み合わせを用いる。
ｄ＝ｆ（ｗ１（車両の速度），ｗ２（気象状況），ｗ３（カテゴリデータ），ｗ４（エンティティデータ）） ・・・（１）

ここで、ｗ１は第１の重み、ｗ２は第２の重み、ｗ３は第３の重み、ｗ４は第４の重みである。危険インデックスは、車両とエンティティの移動方向を解析して両者が交差するかどうかを決定することによって計算することができる。両者の推定経路が交差する場合は、システムは両者の速度を調べて、衝突の危険があるかどうか、および与えられた路面条件および気象条件の下で車両が停止可能であるかどうかを決定する。

ある実施形態では、危険評価モジュール２２６は、危険インデックスを複数の異なるレベルに分割する。例えば、０−４０％は衝突の危険なし、４１％−６０％は経度の危険、６１％−８０％は重大な危険、８１％−１００％は切迫した危険、にそれぞれ分類される。その結果、危険インデックスが特定のカテゴリに分類されるならば、グラフィクス選択モジュール２３２は、危険インデックスと危険のレベルをグラフィクス選択モジュール２３２に提供し、グラフィクス選択モジュール２３２が対応するモダリティ（態様）を利用できるようにする。ある実施形態では、危険評価モジュール２２６は、［（ｘ，ｙ，ｚ）_ｓ，（ｘ_ｂ，ｙ_ｂ，ｚ_ｂ）_ｓ，Ｔ，Ｃ，ｄ／ｄｍａｘ］のように危険インデックスｄ／ｄｍａｘをエンティティデータ２９７に加える。

視線（ｇａｚｅ）検出モジュール２２８は、ユーザが物体を見たかどうかを決定するためのルーチンを含むソフトウェアである。ある実装形態では、視線検出モジュール２２８は、プロセッサ２３５で実行可能な一組の命令であり、ユーザが物体を見たかどうかを決定するための下記の機能を提供する。ある実施形態では、視線検出モジュール２２８は、第１のクライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。

視線検出モジュール２２８は、走行中にカメラ２３３からユーザの記録を受け取る。視線検出モジュール２２８は、検知モジュール２２２から物体データ２９７を受信するか、メモリ２３７から物体データ２９７を取得する。視線検出モジュール２２８は、ユーザが物体の方向を見ているかどうかを決定することによって、ユーザが物体を見たかどうかを決定する。たとえば、視線検出モジュール２２８は、フレーム中のユーザの眼の位置を特定し、ユーザが道路のどの部分を見ているかを決定する。視線検出モジュール２２８は、ユーザの視界と、同じタイムスタンプにおける外部カメラ２３３からの記録のフレームから得られる物体の位置を比較する。

注意（ａｔｔｅｎｔｉｏｎ）評価モジュール２３０は、ユーザが十分な時間のあいだ物体またはグラフィックを見たかどうかを決定するためのルーチンを含むソフトウェアである。ある実装形態では、注意評価モジュール２３０は、プロセッサ２３５で実行可能な一組の命令であり、ユーザが物体またはグラフィックに注意を払ったかどうかを決定するための下記の機能を提供する。ある実施形態では、注意評価モジュール２３０は、第１のク
ライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。

注意評価モジュール２３０は、所定の時間量に基づいて、ユーザが物体を十分な時間量以上見たかどうかを決定する。たとえば、所定の時間は、５秒から１０秒である。別の例では、注意評価モジュール２３０は、ユーザの瞳が拡張した場合に、ユーザが物体を十分な時間見たと判断する。瞳の拡張は、興味の表れである。別の実施形態においては、注意評価モジュール２３０は、さらなるユーザアクションを用いて判断する。たとえば、物体がパトカーでありユーザがパトカーの方向を見た後に速度を落とした場合には、注意評価モジュール２３０は、ユーザが物体を見たと決定する。ある実施形態では、注意評価モジュール２３０は、ユーザが物体を見たと判断したならば、シーン計算モジュール２３４に対してグラフィック出力の強調を抑制したり出力自体を取り除くように指示する。

グラフィクス選択モジュール２３２は、物体を表現するためにグラフィックとモダリティを選択することためのルーチンを含むソフトウェアである。ある実装形態では、グラフィクス選択モジュール２３２は、プロセッサ２３５で実行可能な一組の命令であり、物体を表現するためにグラフィックとモダリティを選択するための下記の機能を提供する。ある実施形態では、グラフィクス選択モジュール２３２は、第１のクライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。

ある実施形態では、グラフィクス選択モジュール２３２は、合致するグラフィックをグラフィクスデータベース２２９に問い合わせる。ある実施形態では、グラフィクス選択モジュール２３２は、検知モジュール２２２で決定された物体の識別子を提供する。たとえば、グラフィクス選択モジュール２３２は、バスのグラフィックをグラフィクスデータベース２２９に問い合わせる。別の実施形態においては、グラフィクス選択モジュール２３２は、１８本のタイヤを有する移動車両などのような複数の属性に基づいて、グラフィクスデータベース２２９に問い合わせる。

ある実施形態では、グラフィクス選択モジュール２３２は、危険インデックスに基づいてモダリティを要求する。モダリティは、物体のグラフィックの一部であっても良いし、別個のグラフィックであっても良い。モダリティは、物体に関連した危険を反映する。たとえば、グラフィクス選択モジュール２３２は、危険が差し迫っているならば、物体のアウトラインとして赤く点滅するアウトラインを要求することができる。反対に、グラフィクス選択モジュール２３２は、危険が差し迫っていないならば、物体の透明画像を要求することができる。ある実施形態では、モダリティは、危険評価モジュール２２６によって決定される危険レベルに対応する。たとえば、０−４０％は透明なモダリティに対応し、４１％−６０％はオレンジ色のモダリティに対応し、６１％−８０％は赤く点滅するモダリティに対応し、８１％−１００％は赤の塗り潰しで点滅するモダリティに対応する。

ある実施形態では、グラフィクス選択モジュール２３２は、物体の位置に基づいてモダリティを決定する。たとえば、物体が道路に沿った歩道を歩いている歩行者である場合は、グラフィクス選択モジュール２３２は、モダリティを信号のグラフィックに決定する。グラフィクス選択モジュール２３２は、グラフィックＧｇをグラフィクスデータベース２２９から取得する。

シーン計算モジュール２３４は、ユーザのアイフレーム（ｅｙｅ ｆｒａｍｅ）に対応する位置にグラフィックを配置するためのルーチンを含むソフトウェアである。ある実施形態では、シーン計算モジュール２３４は、プロセッサ２３５で実行可能な一組の命令であり、ユーザのアイフレームに対応する位置にグラフィックを配置するために下記の機能を提供する。ある実施形態では、シーン計算モジュール２３４は、第１のクライアント装
置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。

一実施形態においては、シーン計算モジュール２３４は、ドライバのアイボックスにあわせてグラフィックとモダリティを変形する。アイボックスは、ドライバの視野の中にあるヘッドアップディスプレイ２３１によって生成された投影画像を含む領域である。ドライバが頭を動かしてもグラフィックを見ることができるように、アイボックスフレームは十分に大きく設計されている。ドライバの眼がアイボッス内で大きく左または右に動いた場合には、グラフィクスは視界から消える。アイボックスはドライバの視野の中にあるので、グラフィックスを見るためにドライバは焦点合わせをする必要がない。ある実施形態では、シーン計算モジュール２３４は、眼の高さや眼間距離（すなわちドライバの眼の間の距離）の差異を調整するための補正によって、各ユーザに対して異なるアイボックスを生成する。

シーン計算モジュール２３４は、ドライバの視野およびセンサとドライバのアイボックスの間の距離に合わせてグラフィックを調整する。一実施形態においては、シーン計算モジュール２３４は、第１のクライアント装置１０３に対する相対的な空間位置（ｘ、ｙ、ｚ）とグラフィクスＧｇに基づいて、アイフレームＧｅｙｅ内におけるグラフィクスを計算する。まず、センサフレームからアイフレームへの変換（Ｔｓ−ｅ）が計算される。第１のクライアント装置１０３の空間位置は、ＧＰＳセンサ（例えば（ｘ，ｙ，ｚ）ＧＰＳ）に基づくことができる。シーン計算モジュール２３４は、Ｔｓ−ｅにグラフィックからセンサフレームへの変換（Ｔｇ−ｓ）を掛けて、グラフィックからアイフレームへの変換（Ｔｇ−ｅ）を得る。次いで、グラフィクスＧｇは、Ｔｇ−ｅポーズ（Ｔｇ−ｅ ｐｏｓｅ）に置かれたビューポートに投影される。シーン計算モジュール２３４は、道路の凝視とグラフィクスの凝視を切り替えた場合にドライバが焦点あわせをする必要がないように、アイフレームを計算する。その結果、ドライバの焦点を同じに保つようにグラフィクスを表示することにより、０．５〜１秒の反応時間を節約することができる。これは、第１のクライアント装置１０３が９０ｋｍ／ｈで移動している場合には、１２．５〜２５メートルに相当する。

ある実施形態では、シーン計算モジュール２３４は、グラフィクスを物体の位置に重畳表示することを命じるヘッドアップディスプレイ２３１に対する命令を生成する。別の実施形態においては、シーン計算モジュール２３４は、別の位置にグラフィクスを表示したり、物体の現実位置への重畳表示に加えてグラフィクスを表示したりすることを命じるヘッドアップディスプレイ２３１に対する命令を生成する。たとえば、ヘッドアップディスプレイ画像の最下部または最上部に、ユーザが道路上で探しているグラフィクスの概要を含ませることができる。

ある実施形態では、シーン計算モジュール２３４は、両視眼を提供するために眼ごとに視野を決定する。たとえば、シーン計算モジュール２３４は、両方の眼が同時に見ることができるヘッドアップディスプレイ２３１の最大角度範囲である、オーバーラップ両眼視野を決定する。ある実施形態では、シーン計算モジュール２３４は、眼間距離とドライバ高さにおける変化を補正するために、各ドライバ用に両眼視野を調整する。

＜例示的なグラフ表現＞
図３Ａは、通りを横断している人３０１を含む車道の図式表示３００である。センサ２４７やカメラ２３３は、車道に関する情報を取得して、当該情報を検知モジュール２２２に送る。第１のクライアント装置１０３のダッシュボード３０４から発せられる線３０６は、センサ２４７やカメラ２３３によって取得される部分を表現する。検知モジュール２２２は、歩行者のバウンディングボックス３０５を生成する。視線検出モジュール２２８
はドライバの視線３０７を決定し、注意評価モジュール２３０は、たとえば、ドライバが人３０１を見るために時間を費やさなかったので、ドライバは人３０１を見ていないと決定する。

図３Ｂは、決定された危険インデックスつきのカテゴリ化されたエンティティの例の図式表示である。カテゴリ化モジュール２２４は、人３１１を歩行者であり歩いているエンティティであるとカテゴリ化（分類）する。危険評価モジュール２２６は、危険アイコン３１２によって明示されるように、物体の経路と車両の経路が衝突する可能性が高いと決定する。

図３Ｃは、グラフィック選択処理の図式表示３２０の例を示す。この例では、グラフィクス選択モジュール２３２は、歩行者３２１の単純化されたバージョンであるグラフィック３２２を選択する。単純化バージョンは、曲がった腕や顔を有する歩行者ではなく、棒線画で描画される。ある実施形態では、グラフィック３２２は、重要性を伝えるために明るい赤のモダリティや点滅などのようなアニメーションモダリティを含む。

図３Ｄは、ヘッドアップディスプレイ３３１の例示的な図式表示３３０である。この例では、シーン計算モジュール２３０は、第１のクライアント装置１０３に対する相対的な空間位置（ｘ、ｙ、ｚ）_ｓに基づいてアイフレームを計算し、埋め込み範囲情報とともに眼の位置に投影される投影画像を生成する。その結果、シーン計算モジュール２３０は、ドライバの眼が再焦点あわせを必要としないように、グラフィクス３３３を３次元配置できる。

視線検出モジュール２２８は、ユーザの視線３３４を決定する。注意評価モジュール２３０は、たとえば、ユーザの視線３３４に基づいてユーザがグラフィック３３３を見なかったと決定する。車両が道路を進み歩行者に近づくにつれて、注意評価モジュール２３０はグラフィクス選択モジュール２３２に対して、グラフィック３３３のモダリティとしてより目立つモダリティを選択するように指示して、ユーザの視線をグラフィック３３３に引きつける。この例では、グラフィック選択モジュール２３２は、警告サイン３３５を選択する。警告サイン３３５がドライバの視線３３４の範囲内にあるので、ドライバはグラフィック３３３による警告に気づくはずである。

＜例示的な方法＞
図４Ａ−４Ｂは、ヘッドアップディスプレイ用に空間情報を生成する例示的な方法のフローチャートである。ある実施形態では、方法４００は、第１のクライアント装置１０３またはモバイルクライアント装置１８８に格納された安全アプリケーション１９９のモジュールによって実行される。たとえば、安全システム１９９は、検知モジュール２２２、カテゴリ化モジュール２２４、危険評価モジュール２２６、視線検出モジュール２２８、注意評価モジュール２３０、グラフィクス選択モジュール２３２、およびシーン計算モジュール２３４を含む。

検知モジュール２２２は、物体（たとえば車両）について物体データを受信する（４０２）。物体データは、Ｘ２Ｖデータを含んでもよい。検知モジュール２２２は、物体（車両）の経路を決定する（４０４）。カテゴリ化モジュール２２４は、物体をカテゴリ化（分類）する（４０６）。たとえば、カテゴリは、移動している人物、交通情報、移動車両などを含む。危険評価モジュール２２６は、車両データと物体データに基づいて、物体の危険インデックスを推定する（４０６）。

視線検出モジュール２２８は、ユーザの視線を検出する（４０８）。視線検出モジュール２２８は、ユーザの視線方向に向いているベクトルを出力してもよい。注意評価モジュ
ール２３０は、ユーザの視線に基づいてユーザが物体を見たかどうかを決定する（４１０）。注意評価モジュール２３０は、たとえば、ユーザがどれだけ長く物体を見たか（ユーザが物体を見た時間）を決定してもよい。

グラフィクス選択モジュール２３２は、物体を表示するためのグラフィックを特定して（４１２）、危険インデックスに基づいてグラフィックの表示モダリティを決定する（４１４）。グラフィクス選択モジュール２３２は、ユーザがどれくらいの時間のあいだ物体を見たかについて基づいて表示モダリティも決定してもよい。シーン計算モジュール２３０は、ユーザのアイフレームに対応するようにグラフィックを配置する（４１６）。

注意評価モジュール２３０は、所定の時間量よりも長いあいだユーザが物体を見たかどうかを判定する（４１８）。肯定判定であれば、注意評価モジュール２３０は、ヘッドアップディスプレイからこのグラフィックを削除する（４２０）ようにシーン計算モジュール２３４に対して指示する。否定判定であれば、注意評価モジュール２３０は、ユーザがグラフィックを見たと判定されるまで、グラフィックのモダリティとしてより目立つモダリティを選択する（４２２）ようにグラフィック選択モジュール２３２に対して指示する。

本明細書の実施形態は、ここで説明された操作を実行する装置にも関する。この装置は、要求される目的のために特別に作られたものであっても良いし、あるいは、コンピュータに格納されたコンピュータプログラムによって選択的に起動されたり再構成されたりする汎用コンピュータを含んでも良い。このようなコンピュータプログラムは、コンピュータ可読記憶媒体に格納されてもよい。コンピュータ可読記憶媒体は、コンピュータのシステムバスに接続可能な、フロッピー（登録商標）ディスク・光ディスク・ＣＤ−ＲＯＭ・磁気ディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、光学式カード、非一時的なメモリを有するＵＳＢキーを含むフラッシュメモリ、電子的命令を格納するのに適したその他の任意のメディア媒体を含むが、これらに限定される訳ではない。

発明の具体的な実施形態は、完全にハードウェアによって実現されるものでも良いし、完全にソフトウェアによって実現されるものでも良いし、ハードウェアとソフトウェアの両方によって実現されるものでも良い。好ましい実施形態では、本明細書はソフトウェアによって実装される。ソフトウェアは、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらには限定されない。

さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。

プログラムコードを格納・実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接または間接的に接続された少なくとも１つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。

入力／出力（Ｉ／Ｏ）装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはＩ／Ｏコントローラを介して直接あるいは間接的にシステムに接
続される。

システムにはネットワークアダプタも接続されており、これにより、私的ネットワークや公共ネットワークを介して他のデータ処理システムやリモートにあるプリンタや記憶装置に接続される。モデム、ケーブルモデム、イーサネット（登録商標）は、現在利用可能なネットワークアダプタのほんの一例である。

最後に、本明細書において提示されるアルゴリズムおよび表示は特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがってプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、以下の説明において明らかにされる。さらに、本発明は、任意の特定のプログラミング言語と関連づけられるものではない。本明細書で説明される内容を実装するために、種々のプログラミング言語を利用できることは明らかであろう。

実施形態の前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。本発明は、上記の開示にしたがって、種々の変形が可能である。本発明の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。本発明の技術に詳しい者であれば、本発明はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。同様に、モジュール・処理・特徴・属性・方法およびその他の本発明の態様に関する名前付けや分割方法は必須なものでものないし重要でもない。また、本発明やその特徴を実装する機構は異なる名前や分割方法や構成を備えていても構わない。さらに、当業者であれば、モジュール・処理・特徴・属性・方法およびその他の本発明の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できることを理解できるであろう。また、本発明をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、実施形態は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。以上のように、上記の本発明の説明は限定的なものではなく例示的なものであり、本発明の範囲は添付の特許請求の範囲にしたがって定められる。

１０３ 第１のクライアント装置
１８８ モバイルクライアント装置
１９９ 安全アプリケーション
２２１ 通信モジュール
２２２ 検知モジュール
２２４ カテゴリ化モジュール
２２６ 危険評価モジュール
２２８ 視線検出モジュール
２３０ 注意評価モジュール
２３２ グラフィック選択モジュール
２３４ シーン計算モジュール
３０１，３１１，３２１，３３１ 人
３０４ ダッシュボード
３０５ バウンディング（境界）ボックス
３０７ ドライバの視線
３２２ グラフィック
３３１ ヘッドアップディスプレイ
３３３ グラフィック
３３４ ドライバの視線
３３５ 警告サイン

Claims (21)

1. プロセッサベースの演算装置によって実行される方法であって、
   物体についての物体データを受信するステップと、
   車両の経路を含む車両データを決定するステップと、
   前記車両データと前記物体データに基づいて、前記物体の危険インデックスを推定するステップと、
   ユーザの視線を検出するステップと、
   ユーザの視線に基づいて前記ユーザが前記物体を見たかどうかを判定するステップと、
   前記物体を表示するためのグラフィックを特定するステップと、
   ユーザのアイフレームに対応するように前記グラフィックを配置するステップと、
   を含む、方法。
2. 前記危険インデックスと前記ユーザが前記物体をどのくらいの時間見たかに基づいて表示モダリティを決定するステップと、
   ヘッドアップディスプレイ上に、前記グラフィックを前記表示モダリティで表示するステップと、
   をさらに含む、請求項１に記載の方法。
3. ユーザが所定の時間量よりも長く前記物体を見たかどうかを判定するステップと、
   ユーザが前記物体を前記所定の時間量よりも長く見なかった場合に、前記グラフィックのモダリティとして、より目立つモダリティを選択するステップと、
   をさらに含む、請求項２に記載の方法。
4. ユーザが前記物体を前記所定の時間量よりも長く見た場合に、前記ヘッドアップディスプレイから前記グラフィックを取り除くステップと、
   をさらに含む、請求項３に記載の方法。
5. 前記物体データは、物体−車両（Ｘ２Ｖ）データを含む、請求項１から４のいずれか１項に記載の方法。
6. 前記ユーザの視線を検出するステップは、ユーザの視線の方向を指す矢印を出力することを含む、請求項１から５のいずれか１項に記載の方法。
7. ユーザの視線に基づいて前記ユーザが前記物体を見たかどうかを決定するステップは、前記ユーザが前記物体をどのくらいの時間見たかを決定することを含む、請求項１から６のいずれか１項に記載の方法。
8. ユーザが第２の所定の時間量よりも長く前記物体を見た場合に、表示のための前記グラフィックを選択しない、請求項７に記載の方法。
9. 前記物体の境界ボックスを生成するステップをさらに含む、請求項１から８のいずれか１項に記載の方法。
10. 前記物体データおよび前記境界ボックスに基づいて前記物体の経路を決定するステップをさらに含む、請求項９に記載の方法。
11. 請求項１から１０のいずれか１項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
12. 物体についての物体データを受信する受信手段と、
    車両の経路を含む車両データを決定する決定手段と、
    前記車両データと前記物体データに基づいて、前記物体の危険インデックスを推定する推定手段と、
    ユーザの視線を検出する検出手段と、
    ユーザの視線に基づいて前記ユーザが前記物体を見たかどうかを判定する判定手段と、
    前記物体を表示するためのグラフィックを特定する特定手段と、
    ユーザのアイフレームに対応するように前記グラフィックを配置する配置手段と、
    を備える、システム。
13. 前記危険インデックスと前記ユーザが前記物体をどのくらいの時間見たかに基づいて表示モダリティを決定する表示モダリティ決定手段と、
    ヘッドアップディスプレイ上に、前記グラフィックを前記表示モダリティで表示する表示手段と、
    をさらに備える、請求項１２に記載のシステム。
14. 前記判定手段は、ユーザが所定の時間量よりも長く前記物体を見たかどうかを判定し、
    前記表示モダリティ決定手段は、ユーザが前記物体を前記所定の時間量よりも長く見なかった場合に、前記グラフィックのモダリティとして、より目立つモダリティを選択する、
    請求項１３に記載のシステム。
15. 前記表示手段は、ユーザが前記物体を前記所定の時間量よりも長く見た場合に、前記ヘッドアップディスプレイから前記グラフィックを取り除く、
    請求項１４に記載のシステム。
16. 前記物体データは、物体−車両（Ｘ２Ｖ）データを含む、請求項１２から１５のいずれか１項に記載のシステム。
17. 前記検出手段は、ユーザの視線の方向を指す矢印を出力する、
    請求項１２から１６のいずれか１項に記載のシステム。
18. 前記判定手段は、前記ユーザが前記物体をどのくらいの時間見たかを決定する、
    請求項１２から１７のいずれか１項に記載のシステム。
19. 前記特定手段は、ユーザが第２の所定の時間量よりも長く前記物体を見た場合に、表示のための前記グラフィックを選択しない、
    請求項１８に記載のシステム。
20. 前記物体の境界ボックスを生成する手段をさらに備える、請求項１２から１９のいずれか１項に記載のシステム。
21. 前記物体データおよび前記境界ボックスに基づいて前記物体の経路を決定する手段をさらに備える、請求項２０に記載のシステム。

Images