JP2015130173A - ディスプレイ上の両眼転導検出 - Google Patents

Abstract

【課題】ディスプレイ上の両眼転導検出の提供。
【解決手段】両眼転導に基づいて画像を表示するための方法であって、ユーザの片目または両目から表示位置まで第１の距離を決定することと、前記ユーザの前記目に関連する視線ベクトルに基づいて、目の輻輳距離を決定することと、前記目の輻輳距離が前記第１の距離と実質的に同じ場合に、前記画像を表示させることと、前記目の輻輳距離が前記第１の距離と実質的に同じではない場合に、前記画像の表示を終了させることとを含む、方法。
【選択図】図６

Description

関連出願の相互参照
本願は、代理人整理番号第ＨＲＭＮ／００７９ＵＳＬ号を有する、２０１４年１月３日出願の米国特許仮出願第６１／９２３，５６７号の利益を主張する。この関連出願の主題は参照によって本明細書に組み込まれる。

本発明の実施形態は、一般にグラフィカル・ユーザインターフェースに関し、より詳細にはディスプレイ上の両眼転導検出に関する。

電子工業における技術的進歩により、日常生活のほぼすべての面において、様々なタイプのグラフィカル・ユーザインターフェース（ＧＵＩ）の普及が広がっている。多くの国々で、今や大多数の人々が、様々なタイプの情報に便利なアクセスを提供する、パーソナルコンピュータ、スマートフォン、スマートウォッチなどの少なくとも１つを持ち運ぶ。加えて、多くの車両は、車両統計、経路誘導、およびメディア情報などを提供するＧＵＩを、（例えば、センターコンソール・ディスプレイ、電子計器クラスタ・ディスプレイ、ヘッドアップ・ディスプレイ、および／またはナビゲーションシステムディスプレイ上に）提供する。

上述のデバイスなどの、従来の電子機器によって表示されるＧＵＩは、通常ユーザが、ほとんど気を逸らされることなく、特定の状態に「接続」したままでいられるように、特定の使用に適合することを目指している。しかし、ほとんどの電子機器は、ユーザが周囲環境から（例えば、表示画面を見るために）目を逸らす必要があるので、このような機器は、ある特定の使用では、依然として容認できないレベルで気を逸らさせる。例えば、センターコンソール・ナビゲーション画面および／またはダッシュボード・ディスプレイを介して提供される車両ＧＵＩは、ユーザが道路から目を離す必要があり、それによって不注意な運転の危険性が増加する。さらに、ヘッドアップ・ディスプレイ（ＨＵＤ）などのある特定の表示技術は、ユーザが視覚を望ましい方向（例えば、道路に向かって）維持させることができるが、このようなディスプレイによって生成された画像は、ユーザの視覚の一部を不明瞭にさせる。したがって、従来の電子機器によって表示されたＧＵＩは、人が運転中、および他の同様の状況での使用にあまり適さない。

上記に示すように、ユーザが運転中に、ユーザがディスプレイによって生成された画像をより効果的に見て、画像と相互作用できる、１つ以上の手法が有益であると思われる。

本発明の一実施形態は、両眼転導に基づいて画像を表示するための方法を記載する。この方法は、ユーザの片目または両目から表示位置まで第１の距離を決定すること、およびユーザの目に関連する視線ベクトルに基づいて、目の輻輳距離を決定することを含む。方法は、目の輻輳距離が第１の距離と実質的に同じ場合に、画像を表示させること、または目の輻輳距離が第１の距離と実質的に同じではない場合に、画像の表示を終了させることをさらに含む。

さらなる実施形態は、特に、上に記載した方法を実施するように構成された、システムおよび非一時的コンピュータ可読媒体を提供する。

各種実施形態の少なくとも１つの利点は、ユーザが目の焦点をディスプレイに合わせているかどうかに基づいて、ユーザが画像を表示させるか、または隠すことができることである。加えて、画像は、透過型ディスプレイおよび／またはヘッドアップ・ディスプレイ（ＨＵＤ）を介して表示されてもよく、ユーザは画像を隠し、次いで視線方向を変えることなく、画像の背後の周囲環境を見ることが可能になる。
例えば、本願発明は以下の項目を提供する。
（項目１）
両眼転導に基づいて画像を表示するための方法であって、
ユーザの片目または両目から表示位置まで第１の距離を決定することと、
上記ユーザの上記目に関連する視線ベクトルに基づいて、目の輻輳距離を決定することと、
上記目の輻輳距離が上記第１の距離と実質的に同じ場合に、上記画像を表示させることと、
上記目の輻輳距離が上記第１の距離と実質的に同じではない場合に、上記画像の表示を終了させることと
を含む、方法。
（項目２）
上記画像の上記表示を終了させることは、上記目の輻輳距離が上記第１の距離より実質的に長い場合に、上記画像の上記表示を終了させることを含む、上記項目に記載の方法。
（項目３）
上記画像は透過型ディスプレイ上に表示され、上記画像の上記表示を終了させることは、上記ユーザの上記目が上記透過型ディスプレイを通過して焦点を合わせていると判定することに基づいて、上記画像の上記表示を終了させることを含む、上記項目のいずれか一項に記載の方法。
（項目４）
上記ユーザの上記目に関連する少なくとも１つの角膜反射画像に基づいて、左目視線ベクトルおよび右目視線ベクトルを演算することにより、上記ユーザの上記目に関連する上記視線ベクトルを演算することをさらに含む、上記項目のいずれか一項に記載の方法。
（項目５）
上記左目視線ベクトルが上記表示位置に関連する平面と交差する第１の位置を決定することと、
上記右目視線ベクトルが上記表示位置に関連する上記平面と交差する第２の位置を決定することと
をさらに含む、上記項目のいずれか一項に記載の方法。
（項目６）
上記目の輻輳距離を決定することは、上記左目視線ベクトルが上記平面と交差する上記第１の位置と、上記右目視線ベクトルが上記平面と交差する上記第２の位置との間の第２の距離に基づいて、上記目の輻輳距離を決定することを含む、上記項目のいずれか一項に記載の方法。
（項目７）
上記表示位置は、透過型ディスプレイの表示面に対応する、上記項目のいずれか一項に記載の方法。
（項目８）
上記表示位置は、ヘッドアップ・ディスプレイによって生成される仮想画像位置に対応する、上記項目のいずれか一項に記載の方法。
（項目９）
上記目の輻輳距離が上記第１の距離と実質的に同じではない場合に、第２の画像を上記表示位置でディスプレイ上に表示させたままにすることをさらに含む、上記項目のいずれか一項に記載の方法。
（項目１０）
両眼転導に基づいて画像を表示するためのシステムであって、
ユーザの目に関連するセンサデータを取得するように構成された少なくとも１つのセンサと、
上記少なくとも１つのセンサに結合されたプロセッサであって、
上記センサデータに基づいて、上記ユーザの上記目に関連する視線ベクトルを演算する、
上記視線ベクトルに基づいて、目の輻輳距離を決定する、
上記ユーザの上記片目または両目から表示位置までの第１の距離を決定する、
上記目の輻輳距離が上記第１の距離と実質的に同じ場合に、上記画像をディスプレイによって表示させるか、または、
上記目の輻輳距離が上記第１の距離と実質的に同じではない場合に、上記画像を上記ディスプレイに表示させることを終了させるように構成されたプロセッサと、
上記プロセッサに結合され、上記表示位置で上記画像を表示するように構成された上記ディスプレイと
を備える、システム。
（項目１１）
上記センサデータは、上記ユーザの上記目に関連する少なくとも１つの角膜反射画像を含み、上記プロセッサは、上記少なくとも１つの角膜反射画像に基づいて、左目視線ベクトルおよび右目視線ベクトルを演算することにより、上記ユーザの上記目に関連する上記視線ベクトルを演算するように構成される、上記項目に記載のシステム。
（項目１２）
上記プロセッサは、
上記左目視線ベクトルが上記表示位置に関連する平面と交差する第１の位置を決定することと、
上記右目視線ベクトルが上記表示位置に関連する上記平面と交差する第２の位置を決定することと、
上記左目視線ベクトルが上記平面と交差する上記第１の位置と、上記右目視線ベクトルが上記平面と交差する上記第２の位置との間の第２の距離を決定することと、
上記第２の距離に基づいて、上記目の輻輳距離を決定することと
によって、上記目の輻輳距離を決定するように構成される、上記項目のいずれか一項に記載のシステム。
（項目１３）
上記少なくとも１つのセンサは、上記ユーザの上記片目または両目から上記表示位置までの上記第１の距離を決定するように構成された、深度センサを備える、上記項目のいずれか一項に記載のシステム。
（項目１４）
上記ディスプレイは透過型ディスプレイを備え、上記プロセッサは、上記目の輻輳距離が上記第１の距離より実質的に長い場合に、上記ディスプレイに上記画像を表示することを終了させるように構成される、上記項目のいずれか一項に記載のシステム。
（項目１５）
上記透過型ディスプレイは、一次表示領域および二次表示領域を備え、上記ディスプレイは、上記画像を上記一次表示領域に表示することにより、上記画像を上記表示位置で表示するように構成される、上記項目のいずれか一項に記載のシステム。
（項目１６）
上記プロセッサは、上記目の輻輳距離が上記第１の距離と実質的に同じではない場合に、第２の画像を上記二次表示領域に表示させる、または表示されたままにさせるようにさらに構成される、上記項目のいずれか一項に記載のシステム。
（項目１７）
上記ディスプレイはヘッドアップ・ディスプレイを備え、上記表示位置は、上記ユーザが上記画像に気付く範囲内の量に対応する、上記項目のいずれか一項に記載のシステム。
（項目１８）
上記ディスプレイはヘッドアップ・ディスプレイを備え、上記表示位置は、その上に上記画像が上記ヘッドアップ・ディスプレイによって投影される表面に対応する、上記項目のいずれか一項に記載のシステム。
（項目１９）
非一時的コンピュータ可読記憶媒体であって、プロセッサによって実行される際に、
ユーザの片目または両目から透過型ディスプレイの表面までの第１の距離を決定するステップと、
センサデータに基づいて、上記ユーザの上記目に関連する視線ベクトルを演算するステップと、
上記視線ベクトルに基づいて、目の輻輳距離を決定するステップと、
上記目の輻輳距離が上記第１の距離と実質的に同じ場合に、上記画像を表示させるステップと、
上記目の輻輳距離が上記第１の距離より実質的に長い場合に、上記画像の上記表示を終了させるステップと
を実行することにより、上記プロセッサに両眼転導に基づいて画像を表示させる命令を含む、非一時的コンピュータ可読記憶媒体。
（項目２０）
上記画像の上記表示を終了させることは、上記ユーザの上記目が上記透過型ディスプレイを通過して焦点を合わせていると決定することに基づいて、上記画像の上記表示を終了させることを含む、上記項目に記載の非一時的コンピュータ可読記憶媒体。

（摘要）
本発明の一実施形態は、両眼転導に基づいて画像を表示するための手法を記載する。手法は、ユーザの片目または両目から表示位置までの第１の距離を決定すること、およびユーザの目に関連する視線ベクトルに基づいて、目の輻輳距離を決定することを含む。手法は、目の輻輳距離が第１の距離と実質的に同じ場合に画像を表示させること、または目の輻輳距離が第１の距離と実質的に同じではない場合に、画像の表示を終了させることをさらに含む。

上に列挙した本発明の特徴の手法を詳細に理解できるように、上に簡単に要約した本発明のより具体的な記載が実施形態を参照してもよく、実施形態の一部は添付の図面に示されている。しかし、添付図面は、本発明の典型的な実施形態のみを示し、したがってその範囲を限定するとみなされるべきではなく、それ故、本発明は他の等しい有効な実施形態を認めてもよいことに留意されたい。

各種実施形態に係る、視線ベクトルを決定し、ディスプレイを修正するための両眼転導検出システムを示す図である。 各種実施形態に係る、画像を表示させる、または隠すために、図１Ａの両眼転導検出システムと相互作用するユーザを示す図である。 図２Ａおよび図２Ｂは、各種実施形態に係る、透過型ディスプレイと共に図１Ａの両眼転導検出システムを作動するための手法を示す図である。 図３Ａおよび図３Ｂは、各種実施形態に係る、ヘッドアップ・ディスプレイ（ＨＵＤ）と共に、図１Ａの両眼転導検出システムを作動するための手法を示す図である。 各種実施形態に係る、目の輻輳距離を決定するための手法を示す概念図である。 図５Ａ〜図５Ｄは、各種実施形態に係る、図１Ａの両眼転導検出システムを有するグラフィカル・ユーザインターフェース（ＧＵＩ）を実装するための手法を示す図である。 各種実施形態に係る、両眼転導検出に基づいて、画像を表示するための方法ステップの流れ図である。 各種実施形態に係る、図１Ａの両眼転導検出システムと共に実装され得るコンピューティング・デバイスのブロック図である。

以下の記述において、多くの具体的詳細は、実施形態のより完全な理解を提供するために記載されている。しかし、実施形態は、１つ以上のこれらの具体的詳細なしに実行されてもよいことが当業者には明らかになろう。

図１Ａは、各種実施形態に係る、視線ベクトルを決定し、ディスプレイ１３０を修正するための両眼転導検出システム１００を示す。示したように、両眼転導検出システム１００は、限定するものではないが、１つ以上のセンサ１１０およびディスプレイ１３０を含んでもよい。センサ１１０は、ユーザの画像を取得する、および／またはユーザの位置を決定するように構成される。１つ以上のセンサによって取得された画像は、両眼転導検出システム１００に含まれるコンピューティング・デバイス１２０、および／または両眼転導検出システム１００から分離されたコンピューティング・デバイス１２０によって分析されてもよい。ディスプレイ１３０は、グラフィカル・ユーザインターフェース（ＧＵＩ）、メディアコンテンツ、車両統計、および／または他のタイプの情報などの１つ以上の画像をユーザに表示するように構成される。

各種実施形態では、センサ１１０は、各種実施形態に係る、画像を表示させるか、または画像を隠すために、図１Ａの両眼転導検出システム１００と相互作用するユーザを示す、図１Ｂに示したように、ユーザの目の画像を取得するように構成された１つ以上のカメラを含む。次いで画像は、目の位置、目の輻輳角、二次元（２Ｄ）の視線ベクトル、三次元（３Ｄ）の視線ベクトル、瞳孔距離、および／または両眼が輻輳する距離を決定するために分析される。一部の実施形態では、ユーザの目の画像は、トビー・テクノロジー（ＴＯＢＩＩ ＴＥＣＨＮＯＬＯＧＹ）（商標）（Ｋａｒｌｓｒｏｖａｇｅｎ ２Ｄ，Ｄａｎｄｅｒｙｄ １８２５３，Ｓｗｅｄｅｎ，ＳＥ５５６６１３９６５４０１）によって生成された「アイトラッカー（Ｅｙｅ Ｔｒａｃｋｅｒ）」に実装された手法などの、瞳孔中心・角膜反射視線追跡手法を使用して処理される。しかし、画像は、限定するものではないが、可視光手法および赤外光手法を含む、あらゆる有益な撮像法を介して取得され処理されてもよい。

一部の実施形態では、両眼転導検出システム１００は２つ（以上）のカメラを含み、それぞれのカメラは、ユーザの片目または両目を追跡するように構成される。さらに追加のセンサ１１０（例えば、光センサ、画像センサ、深度センサなど）が、ユーザから両眼転導検出システム１００までの距離、ならびに両眼転導検出システム１００から様々な対象および表示位置（例えば、ディスプレイ１３０の表面および／または仮想画像位置）の距離などを測定するために、両眼転導検出システム１００に含まれてもよい。加えて、一部の実施形態では、両眼転導検出システム１００（例えば、１つ以上のセンサ１１０）の少なくとも一部は、ユーザによって着用される。例えば、限定するものではないが、両眼転導検出システム１００は、ユーザによって着用されるヘッドセットまたはメガネであってもよい。このような実施形態では、センサ１１０を、ユーザのそれぞれの目に近いヘッドセットまたはメガネなどの、ユーザの目に接近した両眼転導検出システム１００内に配置することができる。

ディスプレイ１３０は、透過型ディスプレイ（例えば、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）など）、ヘッドアップ・ディスプレイ（ＨＵＤ）（例えば、反射ディスプレイ、立体ディスプレイなど）、またはユーザが表示画像を見ることができ、また周囲環境を見るためにディスプレイ１３０の少なくとも一部を透視できる、あらゆる他のタイプのデバイスを含んでもよい。一部の実施形態では、ディスプレイ１３０は、車のダッシュボードもしくはフロントガラスの頂部内または頂部上などの、ユーザの前に配置され、あるいはメガネに結合されたディスプレイ１３０などのヘッドマウント・ディスプレイ（ＨＭＤ）である。他の実施形態では、ディスプレイ１３０は、ユーザが表示画像に気付く、反射面などの表示位置に向かって表示画像を投影するプロジェクタを含む。したがって、このような実施形態では、ディスプレイ１３０および表示位置は、別の位置にあってもよい。

上述したように、従来の透過型ディスプレイおよびＨＵＤは、ユーザが表示位置（例えば、ディスプレイ面もしくは仮想画像の位置）に焦点を合わせているか、または表示位置の方を見ているに過ぎないかを検出することができる。したがって、従来のディスプレイは、一般に、情報が目障りであるか、無関係であるか、あるいはユーザによって望まれていないときに情報を表示する。さらに、ユーザが運転しているときなど多くの場合に、ユーザに望まれていない情報を表示することは、ユーザが周囲を見て、周囲と相互作用できることを妨げることがある。例えば、限定するものではないが、図２Ｂを参照すると、ユーザの頭部および目はディスプレイ１３０の方を向いているが、ユーザの目は、ディスプレイ１３０を透視しており、周囲環境（例えば、車道または車両の周囲）に焦点を合わせようとしているかもしれない。その結果として、画像をディスプレイ１３０上に表示することは、ユーザの気を逸らすことがある。

このような状況下では、両眼転導検出システム１００を使用して、ユーザの目は表示位置に焦点を合わせていないが、その代わりに表示位置を通過して焦点を合わせていることを判定する。次いで、ユーザの目は表示位置に焦点を合わせていないと判定すると、両眼転導検出システム１００は、ディスプレイ１３０によって表示された画像の少なくとも一部を隠し、ユーザがディスプレイ１３０を透視し、周囲をより効果的に見ることが可能になる。

各種実施形態では、センサ１１０は、ユーザの目から画像が表示される表示位置（例えば、ディスプレイ１３０の表面またはＨＵＤに関連する仮想画像位置）までの距離を決定する、深度センサを含む。次いで両眼転導検出システム１００は、ユーザの目の１つ以上の画像を取得し、両眼が輻輳する距離および／または位置を決定するために画像を分析する。次いで目から表示位置までの距離を目の輻輳距離と比較して、目が表示位置に焦点を合わせているかどうかを判定する。ユーザの目が表示位置に焦点を合わせていない場合は、両目転導検出システム１００は、１つ以上の画像をディスプレイ１３０から隠す。一方、ユーザの目が表示位置に焦点を合わせている場合は、両目転導検出システム１００は、１つ以上の画像をディスプレイ１３０によって表示させる、または再表示させる。

深度センサは、ユーザの目の位置に対して様々な位置に配置されてもよい。例えば、図１Ａおよび１Ｂは、深度センサを両目転導検出システム１００に結合され、ユーザの前に配置されるように示しているが、深度センサが、車両のボンネット上、車両の内部、または車両の外部などの他の位置に配置されてもよい。さらに深度センサが車両の内部に配置される際、深度センサは、運転者の前、運転者の背後、または運転者の横に配置されてもよい。各種実施形態では、深度センサは、ユーザの目の付近、またはユーザの目に一致した位置に配置される。

図２Ａおよび２Ｂは、各種実施形態に係る、透過型ディスプレイと共に図１Ａの両眼転導検出システム１００を作動するための手法を示す。上述したように、一部の実施形態では、ディスプレイ１３０は、それを通過してユーザが周囲を見ることができる透過型ディスプレイである。運転中、両目転導検出システム１００は、１つ以上のセンサ１１０を介して、ユーザの左目視線ベクトル２１０および／または右目視線ベクトル２１０を追跡して、目の輻輳距離２２０を決定する。両目転導検出システム１００は、ユーザの目から表示位置２３０（図２Ａおよび２Ｂにおいて、その上に画像が表示された表面）までの距離を（例えば、深度センサを介して）さらに追跡する。次いで、両目転導検出システム１００は、目の輻輳距離２２０を、ユーザの目から表示位置２３０までの距離と比較する。

目の輻輳距離２２０が、図２Ａに示したように、ユーザの目のから表示位置２３０までの距離と実質的に同じ場合は、両目転導検出システム１００は、１つ以上の画像をディスプレイ１３０によって表示させる、または再表示させる。目の輻輳距離２２０が、図２Ｂに示したように、ユーザの目のから表示位置２３０までの距離と実質的に同じではない場合は、両目転導検出システム１００は、１つ以上の画像をディスプレイ１３０から隠す。例えば、限定するものではないが、１つ以上の画像の表示は、目の輻輳距離２２０がユーザの目から表示位置２３０までの距離より実質的に長いという決定に応答して、両目転導検出システム１００によって終了されることが可能である。このような状況では、両目転導検出システム１００は、ユーザはディスプレイ１３０を通過して（例えば、ディスプレイ１３０の他の側部上の対象に）焦点を合わせていると決定することができ、それ故、該１つ以上の画像はディスプレイ１３０上に表示されるべきではない。

一部の実施形態では、目の輻輳距離２２０は、それぞれの目の視線ベクトル２１０に関連する交点２４０の位置を検出することによって決定される。図２Ａおよび２Ｂに示したように、一旦視線ベクトル２１０が決定されると、視線ベクトル２１０と、ディスプレイ１３０の平面または表面などの表示位置との交点が決定されてもよい。次いで両眼が輻輳する位置は、交点２４０が互いに近接した位置を決定することによって検出されてもよい。例えば、限定するものではないが、図２Ａでは、視線ベクトル２１０と表示位置２３０（例えば、その上に画像が示されるディスプレイ１３０の表面）との交点２４０は、互いに隣接しており、ユーザは表示位置２３０に焦点を合わせていることを示す。対照的に、図２Ｂでは、視線ベクトル２１０と表示位置２３０との交点２４０は、互いに隣接しておらず、ユーザは、表示位置２３０を通過して表示位置２３０の背後に配置された対象に向かって焦点を合わせていることを示す。したがって、一部の実施形態では、両目転導検出システム１００は、視線ベクトル２１０と表示位置２３０との交点２４０に基づいて、目の輻輳距離２２０が、ユーザの目から表示位置２３０までの距離と実質的に同じであると決定してもよい。

一部の実施形態では、両目転導検出システム１００は、目の輻輳距離２２０またはユーザの目から表示位置２３０までの距離を決定することなく、ユーザの目が表示位置２３０に焦点を合わせているかどうか（例えば、ユーザの目が表示位置２３０に輻輳するかどうか）を判定してもよい。その代わりに、両目転導検出システム１００は、ユーザの左目視線ベクトルが表示位置２３０に関連する平面で交差する第１の位置、およびユーザの右目視線ベクトルが表示位置２３０に関連する平面で交差する第２の位置を決定してもよい。第１の位置および第２の位置が、互いに実質的に同じまたは近接する場合は、両目転導検出システム１００は、ユーザの目が表示位置２３０に焦点を合わせていると決定してもよい。第１の位置と第２の位置が互いに近接していない場合は、両目転導検出システム１００は、ユーザの目が表示位置２３０に焦点を合わせていないと決定してもよい。概して、左目視線ベクトルおよび右目視線ベクトルは、ユーザの目に関連する１つ以上の角膜反射画像を演算することなどにより、本明細書に記載されたあらゆる手法に基づいて決定されてもよい。有利なことに、このような実施形態では、両目転導検出システム１００は、ユーザの視線ベクトルを追跡することができ、目の輻輳距離２２０またはユーザの目から表示位置２３０までの距離を決定する必要がないはずである。

図３Ａおよび３Ｂは、各種実施形態に係る、ヘッドアップ・ディスプレイ（ＨＵＤ）と共に、図１Ａの両眼転導検出システム１００を作動するための手法を示す。上述したように、一部の実施形態では、ディスプレイ１３０は、画像をユーザに向かっておよび／または周囲環境上に投影するＨＵＤを含む。このような実施形態では、両目転導検出システム１００は、視線ベクトル２１０およびユーザの位置を追跡して、目の輻輳距離２２０およびユーザの目から表示位置２３０（例えば、その上に画像がＨＵＤによって表示される仮想画像位置）までの距離を決定する。次いで両目転導検出システム１００は、目の輻輳距離２２０をユーザの目から表示位置２３０までの距離と比較する。

目の輻輳距離２２０が、図３Ａに示したように、ユーザの目から表示位置２３０までの距離と実質的に同じ場合は、両目転導検出システム１００は、１つ以上の画像をディスプレイ１３０によって表示させる、または再表示させる。目の輻輳距離２２０が、図３Ｂに示したように、ユーザの目のから表示位置２３０までの距離と実質的に同じではない場合は、両目転導検出システム１００は、１つ以上の画像をディスプレイ１３０から隠す。加えて、目の輻輳距離２２０は、上述したように、視線ベクトル２１０に関連する交点２４０の位置を検出することによって決定されてもよい。

一部のタイプの透過型ディスプレイと対照的に、一部のタイプのＨＵＤは、ユーザが、ＨＵＤハードウェアの物理的な位置と一致しない表示位置２３０に配置されていると気づく画像を生成する。例えば、限定するものではないが、図３Ａおよび３Ｂに示したように、ユーザが、ＨＵＤによって投影された画像を見るために目の焦点を合わせなければならない表示位置２３０は、ＨＵＤハードウェアから一定距離離れることが可能である。さらに、一部の実施形態では、表示位置２３０は、ＨＵＤによって生成された画像を見るために、その中でユーザが目の焦点を合わせるはずである領域または量を含む。すなわち、一部の実施形態では、ユーザがＨＵＤによって生成された画像に焦点を合わせているかどうかを判定するために、両目転導検出システム１００は、ユーザの両眼が輻輳する位置が、表示位置２３０に対応する領域または量内に収まるかどうかを判定してもよい。したがって、このような実施形態では、両目転導検出システム１００は、目の輻輳距離２２０が、ユーザの目から表示位置２３０の範囲までの距離に関連する、指定された範囲に包含されるかどうかを判定することにより、画像を表示するか、または隠すかを判定してもよい。

一般に、ユーザが、画像を隠させるために目を表示位置２３０の前または背後に焦点を合わせなければならない程度は、両目転導検出システム１００の感度に依存する。例えば、限定するものではないが、高精度センサが両目転導検出システム１００で実施される場合は、視線ベクトル２１０、目の輻輳距離２２０、および／または目から表示位置２３０までの距離は、より正確に決定され得る。それ故、両目転導検出システム１００は、目の輻輳距離２２０が目から表示位置２３０までの距離より６インチのみ長い、または目の輻輳距離２２０が目から表示位置２３０までの距離より短いとき、ユーザはもはや表示位置２３０に焦点を合わせていないことを正確に決定できるはずである。それに反して、両目転導検出システム１００で実施されたセンサが、精度が劣る、または中程度の精度である場合は、両目転導検出システム１００は、目の輻輳距離２２０が目から表示位置２３０までの距離よりはるかに長い、またははるかに短い（例えば、１もしくは２フィート長いまたは短い）場合でない限り、ユーザはもはや表示位置２３０に焦点を合わせていないことを正確に判定できないはずである。したがって、各種実施形態では、目の輻輳距離２２０が、画像を隠すためにユーザの目から表示位置２３０までの距離と異なる必要がある程度は、センサ１１０が、目の輻輳距離２２０およびユーザの目から表示位置２３０までの距離をどのくらい正確に判定できるかに依存する。しかし一般に、両目転導検出システム１００は、その距離の約５パーセント以下だけ異なるとき、またはより低い精度の実施形態では、その距離の約１０パーセント以下だけ異なるとき、これらの距離は実質的に同じであると判定してもよい。

図４は、各種実施形態に係る、目の輻輳距離２２０を決定するための手法を示す概念図である。示したように、輻輳角４１１、４１２は、両目の視線ベクトル２１０に対して決定されてもよい。次いで輻輳角４１１、４１２およびユーザの目に関連する瞳孔距離４１５を使用して、以下に表す式１によって目の輻輳距離２２０（Ｄ_ｅｙｅ）を決定し、式中、αはユーザの左目の輻輳角であり、βはユーザの右目の輻輳角であり、ｄは眼球内距離であり、α’はαに対する補角であり、β’はβに対する補角であり、ε’は（１８０−α’−β’）に等しく、Ｄ_ｅｙｅは［（ｄ／２＊ｓｉｎα’）／（ε’／２）］に等しい。他の実施形態では、他の式またはアルゴリズム、およびルックアップテーブルなどを使用して、目の輻輳距離２２０を決定してもよい。
Ｄ_ｅｙｅ＝（ｄ／２＊ｓｉｎα’）／ｓｉｎ（（１８０−α’−β’）／２） （式１）
図５Ａ〜５Ｄは、各種実施形態に係る、図１Ａの両眼転導検出システム１００を有するグラフィカル・ユーザインターフェース（ＧＵＩ）５１０を実施するための手法を示す。示したように、ユーザの目が表示位置２３０に焦点を合わせているとき、ＧＵＩ５１０などの１つ以上の画像は、ディスプレイ１３０を介して表示されてもよい。一部の実施形態では、ＧＵＩ５１０は、一次表示領域５３０、およびアイコン５２０を含んでもよい二次表示領域を含む。アイコン５２０は、一次表示領域５３０に表示された情報を修正するために、ユーザによって（例えば、ユーザが目をアイコン５２０に焦点を合わせることによって）選択されてもよい。例えば、限定するものではないが、両目転導検出システム１００が、ユーザの目が速度計アイコン５２０に焦点を合わせていると（例えば、本明細書に記載されたあらゆる輻輳手法を使用して、目がアイコン５２０に輻輳していると決定することにより）決定すると、車両の速度を、図５Ｂに示したように一次表示領域５３０に表示できる。加えて、ユーザは、両目転導検出システム１００に、経路誘導、メディア情報、および／または天気予報のそれぞれを一次表示領域５３０に表示させるために、ナビゲーション、音楽、および／または天気アイコンに焦点を合わせることができる。

さらに、両目転導検出システム１００が、ユーザがもはや表示位置２３０に焦点を合わせていないと（例えば、目の輻輳距離２２０、目から表示位置２３０までの距離、および／または交点２４０に基づいて）決定すると、アイコン５２０および／または一次表示領域５３０内に生成された画像は、図５Ｃおよび５Ｄに示したように隠されてもよい。

一部の実施形態では、画像を表示または再表示させるために、ユーザが表示位置２３０により容易に焦点を合わせることができるために、ユーザが表示位置２３０に焦点を合わせていないときでさえ、１つ以上の画像（例えば、アイコン５２０）はディスプレイ１３０上に残っていてもよい。すなわち、ユーザが目を、透過型表示画面および／またはほとんどもしくはまったく情報が表示されていない他の表示位置２３０に、特に暗闇（例えば、夜間）および高コントラストの背景（例えば、日没）において焦点を合わせることは困難であることがある。したがって、透過型ディスプレイおよび／またはＨＵＤが、１つ以上の画像をディスプレイ１３０から隠す際に、ディスプレイ１３０の二次部分は照射されたままであってもよい。例えば、限定するものではないが、図５Ｂを参照すると、ユーザが目を表示位置２３０により容易に焦点を合わせることができ、したがって、画像が一次表示領域５３０内に表示される、または再表示されるために、一次表示領域５３０が隠されるとき、アイコン５２０は、ディスプレイ１３０上に残ることができる。

図６は、各種実施形態に係る、両眼転導検出に基づいて、画像を表示するための方法ステップの流れ図である。方法ステップは、図１Ａ〜５Ｄのシステムと共に記載されたが、方法ステップを実行するように構成されたあらゆるシステムが、いかなる順序でも本発明の範囲に包含されることが、当業者には理解されよう。

示したように、方法６００はステップ６１０で開始し、ステップ６１０では両目転導検出システム１００は、１つ以上のセンサ１１０を介してユーザの目に関連するセンサデータ（例えば、画像、深さデータなど）を取得する。ステップ６２０では、両目転導検出システム１００は、１つ以上の視線ベクトル２１０、目の輻輳距離２２０、および／またはユーザの目から表示位置２３０までの距離を決定するためにセンサデータを分析する。

次にステップ６３０では、両眼転導検出システム１００は、目の輻輳距離２２０をユーザの目から表示位置２３０までの距離と比較して、目の輻輳距離２２０が、目から表示位置２３０までの距離と実質的に同じであるかどうかを判定する。目の輻輳距離２２０が、目から表示位置２３０までの距離と実質的に同じである場合は、方法６００はステップ６４０に進み、ステップ６４０では両眼転導検出システム１００は、ディスプレイ１３０を介して画像を表示させる、または再表示させる。一部の実施形態では、ステップ６４０では、両眼転導検出システム１００は、すでに表示されている画像をディスプレイ１３０上に表示させたままにする。次いで方法６００は終了する。

目の輻輳距離２２０が、目から表示位置２３０までの距離と実質的に同じではない場合は、方法６００はステップ６５０に進み、ステップ６５０では両眼転導検出システム１００は、画像をディスプレイ１３０から隠す。次いで方法６００は終了する。

図７は、各種実施形態に係る、図１Ａの両眼転導検出システム１００と共に実装され得るコンピューティング・デバイス１２０のブロック図である。示したように、コンピューティング・デバイス１２０は、処理装置７０２、入出力（Ｉ／Ｏ）装置７０４、および記憶装置７１０を含む。記憶装置７１０は、データベース７１４と相互作用するように構成されたアプリケーション７１２を含む。

処理装置７０２は、中央処理装置（ＣＰＵ）およびデジタル信号処理装置（ＤＳＰ）などを含んでもよい。Ｉ／Ｏ装置７０４は、入力装置、出力装置、および入力の受信および出力の提供の両方が可能な装置を含んでもよい。記憶装置７１０は、メモリモジュールまたはメモリモジュールの集合体を含んでもよい。記憶装置７１０内のソフトウェア・アプリケーション７１２は、コンピューティング・デバイス１２０の機能性全体を実施し、したがって、両眼転導検出システム１００、センサ１１０、および／またはディスプレイ１３０の作動を全体として調整するために、処理装置７０２によって実行されてもよい。データベース７１４は、画像データ、ＧＵＩ、瞳孔距離、対象位置、対象距離、ルックアップテーブル、および目の輻輳距離２２０を演算し他のタイプの距離と比較するための他のデータを記憶してもよい。

コンピューティング・デバイス１２０は、１つ以上のカメラおよび／もしくは深度センサなどの、１つ以上のセンサ１１０に結合されてもよい。センサ１１０は、ユーザが存在する範囲内の環境の様々な特性、ならびにユーザに関連する様々な特性（例えば、配向、目の輻輳角、視線方向、表示位置までの目の距離）を測定するように構成される。センサ１１０は、あらゆる数のカメラ、深度センサ、光センサ、電界検出器、コンパス、ジャイロスコープ、無線送受信機、全地球測位システム（ＧＰＳ）受信機、またはあらゆる他のタイプのセンサを含んでもよい。概して、センサ１１０は、環境に関連する感覚データ、およびユーザに関連する感覚データを捕捉し、そのデータをコンピューティング・デバイス１２０に提供する。

コンピューティング・デバイス１２０は全体として、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、システム・オン・チップ（ＳｏＣ）、タブレットコンピュータまたは携帯電話などの携帯コンピューティング・デバイス、およびメディアプレーヤなどであってもよい。概して、コンピューティング・デバイス１２０は、両眼転導検出システム１００および／またはセンサ１１０の作動全体を調整するように構成される。両眼転導検出システム１００および／またはセンサ１１０の機能性を実施するように構成されたあらゆる技術的に可能なシステムは、本発明の範囲に包含される。

以上まとめると、両眼転導検出システムは、目の輻輳距離およびユーザの目から表示位置までの距離を決定する。次いで両眼転導検出システムは、目の輻輳距離をユーザの目から表示位置までの距離と比較して、ユーザが表示位置に焦点を合わせているかどうかを判定する。ユーザが表示位置に焦点を合わせている場合は、両眼転導検出システムは、ディスプレイを介して画像を表示させる。ユーザが表示位置に焦点を合わせていない場合は、両眼転導検出システムは、画像をディスプレイから隠す。

本明細書に記載された手法の少なくとも１つの利点は、ユーザが目をディスプレイまたは表示された画像に焦点を合わせているかどうかに基づいて、ユーザが画像を表示させるか、または隠すことができることである。加えて、画像は透過型ディスプレイおよび／またはヘッドアップ・ディスプレイ（ＨＵＤ）を介して表示されてもよく、ユーザが画像を隠し、次いで見る方向を変えることなく画像の背後の周囲環境を見ることができる。

各種実施形態の記載が例示目的で提示されたが、網羅的であること、または開示された実施形態に限定することが意図されてはいない。多くの修正形態および変形形態が、記載された実施形態の範囲および趣旨から逸脱することなく、当業者には明らかになろう。

本実施形態の態様は、システム、方法またはコンピュータ・プログラム製品として実装されてもよい。したがって、本開示の態様は、専らハードウェアの実施形態、専らソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはすべてが概ね本明細書で「回路」、「モジュール」もしくは「システム」と呼ばれ得る、ソフトウェアとハードウェアの態様を組み合わせた実施形態の形をとってもよい。さらに、本開示の態様は、その上に実装されたコンピュータ可読プログラムコードを有する、１つ以上のコンピュータ可読媒体内に実装されたコンピュータ・プログラム製品の形をとってもよい。

１つ以上のコンピュータ可読媒体のあらゆる組合せを利用してもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、またはデバイス、あるいは前記のあらゆる適切な組合せであってもよいが、これに限定されない。コンピュータ可読記憶媒体のより具体的な例（非包括的リスト）は、１つ以上の有線電気接続、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯用コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、または前述のあらゆる適切な組合せを含むはずである。本文書において、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによって、または命令実行システム、装置、もしくはデバイスに関連して、使用するためのプログラムを含む、あるいは記憶することができるあらゆる有形の媒体であってもよい。

本開示の態様を、本開示の実施形態による、方法、装置（システム）およびコンピュータ・プログラム製品のフローチャート図ならびに／またはブロック図を参照して上に記載した。フローチャート図および／またはブロック図のそれぞれのブロック、ならびにフローチャート図および／またはブロック図におけるブロックの組合せを、コンピュータ・プログラム命令によって実施できることが理解されよう。これらのコンピュータ・プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されて機械を生成し得るので、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行する命令は、フローチャートおよび／またはブロック図の１つもしくは複数のブロックに指定された機能／作用の実行を可能にする。このようなプロセッサは、限定するものではないが、汎用プロセッサ、専用プロセッサ、特別用途向けプロセッサ、またはフィールド・プログラマブル・プロセッサであってもよい。

図におけるフローチャートおよびブロック図は、本開示の各種実施形態に係る、システム、方法およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能性、および作動を示す。これについて、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実行するための１つもしくは複数の実行可能な命令を含む、モジュール、セグメント、またはコードの一部を表してもよい。また一部の代替的実装形態では、ブロック内に記された機能は、図内に記された順序以外で生じてもよいことにも留意されたい。例えば、連続して示された２つのブロックが、実際には、実質的に同時に実行されてもよく、またはブロックが、関与した機能に応じて、場合によって逆の順序で実行されてもよい。またブロック図および／またはフローチャート図のそれぞれのブロック、ならびにブロック図および／またはフローチャート図におけるブロックの組合せを、指定された機能もしくは作用、または専用ハードウェアとコンピュータ命令の組合せを実行する、専用ハードウェアベースのシステムによって実行することができることにも留意されよう。

本発明は、特定の実施形態を参照に上に記載された。しかし、当業者には、添付の特許請求の範囲に記載されたような、本発明の趣旨および範囲から逸脱することなく、様々な修正および変更がなされてよいことが理解されよう。例えば、限定するものではないが、本明細書の記載の多くは、ディスプレイまたはユーザの目に関連するデータを取得し得る特定のタイプのセンサを指すが、本明細書に記載されたシステムおよび手法は、他のタイプのセンサに適用可能であることが、当業者には理解されよう。したがって前述の記載および図面は、限定的意味ではなく、例示的意味とみなされるべきである。

上記は本開示の実施形態を対象とするが、本開示の他の実施形態およびさらなる実施形態を、その基本的範囲から逸脱することなく考案してもよく、その範囲は以下の特許請求の範囲によって決定される。

Claims (20)

1. 両眼転導に基づいて画像を表示するための方法であって、
   ユーザの片目または両目から表示位置まで第１の距離を決定することと、
   前記ユーザの前記目に関連する視線ベクトルに基づいて、目の輻輳距離を決定することと、
   前記目の輻輳距離が前記第１の距離と実質的に同じ場合に、前記画像を表示させることと、
   前記目の輻輳距離が前記第１の距離と実質的に同じではない場合に、前記画像の表示を終了させることと
   を含む、方法。
2. 前記画像の前記表示を終了させることは、前記目の輻輳距離が前記第１の距離より実質的に長い場合に、前記画像の前記表示を終了させることを含む、請求項１に記載の方法。
3. 前記画像は透過型ディスプレイ上に表示され、前記画像の前記表示を終了させることは、前記ユーザの前記目が前記透過型ディスプレイを通過して焦点を合わせていると判定することに基づいて、前記画像の前記表示を終了させることを含む、請求項１に記載の方法。
4. 前記ユーザの前記目に関連する少なくとも１つの角膜反射画像に基づいて、左目視線ベクトルおよび右目視線ベクトルを演算することにより、前記ユーザの前記目に関連する前記視線ベクトルを演算することをさらに含む、請求項１に記載の方法。
5. 前記左目視線ベクトルが前記表示位置に関連する平面と交差する第１の位置を決定することと、
   前記右目視線ベクトルが前記表示位置に関連する前記平面と交差する第２の位置を決定することと
   をさらに含む、請求項４に記載の方法。
6. 前記目の輻輳距離を決定することは、前記左目視線ベクトルが前記平面と交差する前記第１の位置と、前記右目視線ベクトルが前記平面と交差する前記第２の位置との間の第２の距離に基づいて、前記目の輻輳距離を決定することを含む、請求項５に記載の方法。
7. 前記表示位置は、透過型ディスプレイの表示面に対応する、請求項１に記載の方法。
8. 前記表示位置は、ヘッドアップ・ディスプレイによって生成される仮想画像位置に対応する、請求項１に記載の方法。
9. 前記目の輻輳距離が前記第１の距離と実質的に同じではない場合に、第２の画像を前記表示位置でディスプレイ上に表示させたままにすることをさらに含む、請求項１に記載の方法。
10. 両眼転導に基づいて画像を表示するためのシステムであって、
    ユーザの目に関連するセンサデータを取得するように構成された少なくとも１つのセンサと、
    前記少なくとも１つのセンサに結合されたプロセッサであって、
    前記センサデータに基づいて、前記ユーザの前記目に関連する視線ベクトルを演算する、
    前記視線ベクトルに基づいて、目の輻輳距離を決定する、
    前記ユーザの前記片目または両目から表示位置までの第１の距離を決定する、
    前記目の輻輳距離が前記第１の距離と実質的に同じ場合に、前記画像をディスプレイによって表示させるか、または、
    前記目の輻輳距離が前記第１の距離と実質的に同じではない場合に、前記画像を前記ディスプレイに表示させることを終了させるように構成されたプロセッサと、
    前記プロセッサに結合され、前記表示位置で前記画像を表示するように構成された前記ディスプレイと
    を備える、システム。
11. 前記センサデータは、前記ユーザの前記目に関連する少なくとも１つの角膜反射画像を含み、前記プロセッサは、前記少なくとも１つの角膜反射画像に基づいて、左目視線ベクトルおよび右目視線ベクトルを演算することにより、前記ユーザの前記目に関連する前記視線ベクトルを演算するように構成される、請求項１０に記載のシステム。
12. 前記プロセッサは、
    前記左目視線ベクトルが前記表示位置に関連する平面と交差する第１の位置を決定することと、
    前記右目視線ベクトルが前記表示位置に関連する前記平面と交差する第２の位置を決定することと、
    前記左目視線ベクトルが前記平面と交差する前記第１の位置と、前記右目視線ベクトルが前記平面と交差する前記第２の位置との間の第２の距離を決定することと、
    前記第２の距離に基づいて、前記目の輻輳距離を決定することと
    によって、前記目の輻輳距離を決定するように構成される、請求項１１に記載のシステム。
13. 前記少なくとも１つのセンサは、前記ユーザの前記片目または両目から前記表示位置までの前記第１の距離を決定するように構成された、深度センサを備える、請求項１０に記載のシステム。
14. 前記ディスプレイは透過型ディスプレイを備え、前記プロセッサは、前記目の輻輳距離が前記第１の距離より実質的に長い場合に、前記ディスプレイに前記画像を表示することを終了させるように構成される、請求項１０に記載のシステム。
15. 前記透過型ディスプレイは、一次表示領域および二次表示領域を備え、前記ディスプレイは、前記画像を前記一次表示領域に表示することにより、前記画像を前記表示位置で表示するように構成される、請求項１４に記載のシステム。
16. 前記プロセッサは、前記目の輻輳距離が前記第１の距離と実質的に同じではない場合に、第２の画像を前記二次表示領域に表示させる、または表示されたままにさせるようにさらに構成される、請求項１５に記載のシステム。
17. 前記ディスプレイはヘッドアップ・ディスプレイを備え、前記表示位置は、前記ユーザが前記画像に気付く範囲内の量に対応する、請求項１０に記載のシステム。
18. 前記ディスプレイはヘッドアップ・ディスプレイを備え、前記表示位置は、その上に前記画像が前記ヘッドアップ・ディスプレイによって投影される表面に対応する、請求項１０に記載のシステム。
19. 非一時的コンピュータ可読記憶媒体であって、プロセッサによって実行される際に、
    ユーザの片目または両目から透過型ディスプレイの表面までの第１の距離を決定するステップと、
    センサデータに基づいて、前記ユーザの前記目に関連する視線ベクトルを演算するステップと、
    前記視線ベクトルに基づいて、目の輻輳距離を決定するステップと、
    前記目の輻輳距離が前記第１の距離と実質的に同じ場合に、前記画像を表示させるステップと、
    前記目の輻輳距離が前記第１の距離より実質的に長い場合に、前記画像の前記表示を終了させるステップと
    を実行することにより、前記プロセッサに両眼転導に基づいて画像を表示させる命令を含む、非一時的コンピュータ可読記憶媒体。
20. 前記画像の前記表示を終了させることは、前記ユーザの前記目が前記透過型ディスプレイを通過して焦点を合わせていると決定することに基づいて、前記画像の前記表示を終了させることを含む、請求項１９に記載の非一時的コンピュータ可読記憶媒体。
    

Images