JP2009530731A - 画像操作の眼球追跡制御のためのホットスポット - Google Patents

Abstract

本発明は、行われるべき操作が眼球トラッキングを用いて選択又は起動される画像又はグラフィックを操作するためのシステムに関する。複数のホットスポットは、関心領域（ＲＯＩ）の周りに配置されこれを取り巻いており、各々が画像パラメータ調整（例えばコントラスト又は輝度）に関連付けられている。眼球追跡装置は、ユーザの凝視ポイントを判定し、当該システムは、凝視ポイントがホットスポットに入っているときは、その関連づけられた調整を自動的に行う。ＲＯＩの近辺のホットスポットの近接境界により、ユーザは、ＲＯＩに焦点を合わせたままにすることができ、画像パラメータを調整するためにホットスポットまで又は当該ホットスポットの方向に自分の視線を少ししかずらさないものとすることができる。したがって、この調整は、ＲＯＩに焦点を合わせたままにして制御可能とされ、もって当該調整の作用が同時に追従されることができる。

Description

本発明は、眼球追跡を用いる起動機能に関する。特に、本発明は、行うべき操作が眼球追跡を用いて選択又は起動される画像又はグラフィクスを操作するためのシステムに関する。

グラフィカルユーザインターフェース（ＧＵＩ）においてタスクを選択又は起動するための眼球追跡の用途は、ユーザが身障者となった状況において、又は標準のＧＵＩポインティング装置（例えばマウス）を用いることを避ける他の態様において適用されるのが代表的なものとなっている。

眼球追跡を用いた選択又は起動機能は、通常は、２つの小機能、ポインティング（位置決め）と選択とに分割される。ポインティングにより、所望のタスクをＧＵＩに気付かせることとなる。これは、マウスによりアイコンの上の位置にカーソルを動かすことに匹敵するものである。ポインティングは、所望のタスクを表すグラフィックのオブジェクトにおいて開始することにより、又は所望の動きに対応する方向において目を動かすことによりカーソルを動かすことにより、しばしば行われる。指摘されたタスクが実際に所望のタスクであることを確認することにより、選択によって確実に当該タスクが実行される。これは、カーソルの下のアイコンを（ダブル）クリックすることに匹敵するものである。例えば眼の瞬きにより、又は他の入力手段（音声、キーストロークなど）によっても選択を行うことができる。

データ内容及び表現を操作するためのプログラム、例えば画像処理ソフトウェアにおいて、実行すべき動作は、表示のエッジに位置づけられるボタン及びツールバーにより制御されるのが普通である。従来技術のＧＵＩ適用眼球追跡の不利な点は、ユーザが自分の焦点を偶然にして表示の他の部分に持っていき位置決めと選択とをしてしまい、これにより関心領域において行われる変更との接触を失ってしまう可能性があることである。

したがって、関心領域の操作を制御する機能を選択又は起動するために関心領域からユーザが自分の視線を外す必要がない改良型システムは有利なものと考えられる。

米国特許出願に係る文献のＵＳ５，８５０，２１１は、テキストページの眼球追跡制御されたスクロールのためのシステムを開示している。図３について、ＵＳ５，８５０，２１１は、ユーザの眼が読み取るテキストの位置の関数としてスクロール速度を自動的に調整することを記述している。ユーザが画面の上の部分にあるテキストを読むとき、スクロールが行われず、又は非常に低速で行われ、ユーザの眼が読みながら当該画面の下の部分に近づくと、スクロールが開始され又は速度を上げる。その目的は、ユーザにより読まれるテキストが画面の中央に上手く位置づけられることを自動的に維持することである。したがって、ユーザの眼がテキストの部分から離れて凝視するときには、このテキスト部分は、ユーザの眼のフォーカス領域の外に自動的に動かされることになる。種々のスクロール状況に関連した基準領域は、テキストの後方に隠れており、ユーザには見えない。

本内容において、人のフォーカス又はフォーカス領域は、人の眼の中心窩によって鮮明に視認される領域である。この中心窩は、網膜黄斑の中心に位置するスポットであり、鮮明な中央視覚の役割を担うものであり、読書をしたり、テレビ又は映画を見たり、車の運転をしたり、視覚的細部が最も重要である場合のあらゆる活動をするために人間に必要なものである。凝視の間に眼からの多くの情報が利用可能となるが、サッカード（眼の速い動き）の間には多くの情報が得られない。凝視の間、中心窩の範囲規定された視角、すなわちフォーカス領域は、視覚的情報の大部分（通常は、１．５〜２°の固定角により規定される領域であると推定される）を提供し、より大なる偏心（周辺部）からの入力は、有益性が低い。

したがって、本発明は、好ましくは、上述した不利な点のうちの１つ又は複数を単独で又は組み合わせで緩和、軽減又は排除することを狙うものである。特に、本発明の目的としては、操作される画像データに焦点を合わせながらすなわち操作すべき画像データから自分の視線を外すことなく、眼球追跡に基づく画像データの操作をユーザが行うことを可能にすることによって、従来技術の上述した問題を解消する、眼球追跡対話動作システム及び方法並びにソフトウェアアプリケーションを提供することである。

この目的は、本発明の第１の態様において、
ディジタル画像の画像パラメータの調整を制御するための眼球追跡対話動作システムであって、
・画像パラメータが調整されるものとしている関心領域（ＲＯＩ）を有するディジタル画像を呈示するディスプレイと、
・前記ディスプレイにおけるユーザの眼の凝視ポイントを判定する眼球トラッキングシステムと、
・前記ＲＯＩに関して前記ディスプレイに２つ以上のホットスポットを規定するエリアを視覚的に輪郭描写するための手段であって、
＊前記ホットスポットは、前記ＲＯＩを境界づけかつ前記ＲＯＩを少なくとも部分的に取り囲み、前記ユーザの眼の凝視ポイントがホットスポット内にあるときにユーザが前記ＲＯＩの少なくとも一部に焦点を合わせることを許容する領域内に配され、当該領域は、内径ｄ及び外径Ｄにより規定され、Ｄがｄより大きい（Ｄ＞ｄ）ものとされ、
＊前記ホットスポットは、前記領域の異なる角度セクションを占め、
＊各ホットスポットは、所与の画像パラメータの所与の調整に関連づけられる、
ようにした手段と、
・ユーザの眼の凝視ポイントが前記ホットスポット内に入るときにホットスポットに関連づけられる画像パラメータの調整を行い、その関連づけられた画像パラメータ調整が少なくとも前記ＲＯＩにおいて行われるようにした手段と、
・当該関連づけられた画像パラメータ調整が行われるときにホットスポットを強調表示することにより前記ユーザにフィードバックをなすための手段と、
を有するシステムを提供することにより達成される。

このディジタル画像は、３次元（３Ｄ）画像データの３Ｄ描写を含む、写真、Ｘ線画像、ＣＴ画像データ、超音波画像又は画像データ、ＭＲＩ画像データのような現実の記録のディジタル表現の形態とすることができる。ホットスポットの強調表示は、例えば、輪郭を強調したり、輪郭の色を変えたり、背景を変えるなどのことをすることによって、これをより視認されやすいもの又は目立つものとすることを意味する。好ましくは、当該調整を行うための手段は、ユーザの眼の凝視ポイントが関連のホットスポット内にある限り、小パラメータ値調整の反復ステップを行うように構成される。

１つの可能なレイアウトにおいて、ホットスポットが配される領域は円形又は略円形であるが、例えば矩形のような多角形、又は正多角形、長円、楕円などの沢山の種々の形状とすることができる。いずれにせよ、「半径方向（の）」及び「角度（の）」といった文言は、後に示されるような領域又はホットスポットに関して方向を説明するために用いられることになる。

ホットスポットが配されるところの領域の寸法は、当該領域の内側輪郭における２つのポイントの間の最短の距離である内径ｄと、当該領域の外側輪郭における２つのポイントの間の最長の距離である外径Ｄとにより特徴づけられる。当該領域は、ＲＯＩと隣接するので、ｄはＲＯＩの外径でもある。当該領域の半径方向の幅は、当該領域が幅（Ｄ−ｄ）／２の帯域である場合における全方向において同じであるのが好ましいが、必須ではない。

これらホットスポットはＲＯＩを取り囲む閉じた形状を形成する必要はなく、ホットスポット間の角度の間隔は、画像パラメータの調整を行うことなくユーザの眼が当該領域から脱するための進路を提供しうる。

本発明は、特に、画像に焦点を合わせたまま画像パラメータの調整を行うことに対して有利であるが、これに限らない。明記されるように、当該調整を行うための手段は、ユーザがホットスポットを凝視するときに動作、すなわち代表的従来技術の眼球追跡ＵＩにおける位置決め（ポインティング）と匹敵する動作を行う。本発明において、ホットスポットに視線を移動することは、関連の画像パラメータ調整を選択するものであり、位置決め及び選択を必要としない。この簡単化された選択の方策は、ユーザが所望のボタンを指しこれを選択する前にツールバーのボタンをスキャンするように多数の機能が共にグループ化されている通常のＧＵＩツールボタンのユーザには非常に混乱するものとなりうる。これは、ホットスポットのレイアウト並びにＲＯＩの境界規定及び少なくとも一部のＲＯＩの取り囲みにより本発明において問題を呈しない。一般に、ユーザがＧＵＩオブジェクトの検索においてサッカードの振る舞いをするときの誤った機能選択は避けなければならず、眼球追跡自体に特有なものは、平均化、フィルタリング及び場合によってはタイムアウトである。眼球追跡において、タイムアウトは、起動されるようにホットスポットにユーザが凝視しなければならない良好に規定された時間期間である。

一実施例において、眼球追跡システムは、非常に短いタイムアウトを適用するものであり、０．３秒未満若しくは０．２秒未満又は０．１秒若しくは０．０５秒未満といったようなユーザに認識され得ないほど短いタイムアウトである。したがって、ユーザは、ホットスポット上を凝視するときに即座の選択の機能を享受する。タイムアウトは、対話メカニズムに入れることができるが、トラッカ（追跡手段）自体の凝視位置計算に含ませてもよい。

他の可能な実施例においては、特定のタイムアウトメカニズムが適用されず、眼球追跡システムの感度は、主として平均化及びフィルタリングを用いて調整される。

ホットスポットの配置は、ユーザがＲＯＩに焦点を合わせ自分の視線を画像パラメータを調整するためにホットスポットまで又はホットスポット方向に少しシフトすることを可能にするとともに、依然としてＲＯＩに焦点を合わせたままにして当該調整の効果を追従させ制御することができるように適合させられる。これは、本発明の基本思想である。これにより、ユーザはホットスポットを指すよう表示をサッカードしスキャンしパンする必要がないという利点を奏し、もって、従来技術において極めて不利であると考えられていた簡単な選択手法を考慮に入れるものとなる。ホットスポットを規定するエリアは、ＲＯＩの外側のディジタル画像の部分がホットスポットの後方で見ることができるように少なくとも半透明とすることが好ましい。このケースにおいて、ホットスポットの後方の画像部分においても画像パラメータ調整を行うことによって、ユーザは、ＲＯＩにおける等価な調整の効果の感覚を得るために、これら部分において調整を用いることができる。

他の実施例において、当該調整を行うための手段は、ユーザの眼の前の凝視ポイントがＲＯＩ又は他のホットスポット内にある場合にのみ、ユーザの眼の凝視ポイントがホットスポット内にあるときに画像パラメータ調整を行うように構成される。これにより、ホットスポットに関連した調整をユーザが突発的に選択することのリスクが低下する。

領域又はホットスポットの半径方向の幅が大きすぎると、システムは、（ユーザはホットスポットを通じてサッカードの動作をすることになるので）ユーザが自分の眼を表示の他の部分に移し又は表示から外れるようにするときに画像パラメータを無意識に調整する可能性がある。したがって、半径方向の幅は、比較的に小さいままであるのが好ましい。ＲＯＩの大部分は、ユーザの眼の凝視ポイントがホットスポット内にあるときに焦点が合っているのが好ましく、これは、ＲＯＩのサイズ及びホットスポットの半径方向の幅の双方に制約を加えるものである。また、ホットスポットを介して調整するときにユーザはＲＯＩに焦点合わせすることができるものとすべきであることを目的としているので、半径方向の幅は、領域又はホットスポットの外側境界に凝視している間にＲＯＩの少なくとも一部にユーザが焦点合わせすることができるものよりも大きくないのが好ましい。この焦点は空間角度により規定されるので、当該焦点のサイズは、ユーザの眼から表示までの距離Ｌ、例えば推定の又は代表的な距離に依存する。好ましくは、次の仕様のうちの１つ以上が領域又はホットスポットの寸法を特徴づける。
Ｉ． Ｄ−ｄ≦tan（１°）・Ｌ
ＩＩ． Ｄ−ｄ≦ｄ又はＤ≦２ｄ
ＩＩＩ． ｄ≦tan（２°）・Ｌ
ＩＶ． Ｄ≦tan（４°）・Ｌ
Ｖ． ホットスポットの半径方向の角度の幅は、精度δよりも大きく、かかる精度につき眼球追跡システムが表示上の凝視ポイントを判定することができる。

これらの仕様は、ホットスポットのレイアウトのデザインのためのガイドラインとして役立つものであり、これから外れることは少ししか許されない。

赤外光の角膜反射及び瞳位置を用いた光学的方法のような眼球追跡のための非接触方法は、ユーザの眼と表示との間の距離を判定し提供することもなすよう構成されることができる。この距離を得る他の方法は、ＩＲ近接センサのような小さな付加的装置を加えることである。有利な実施例において、ホットスポットを規定する領域の輪郭を描く手段は、ユーザの眼と表示との間の付与された距離に応じて当該領域の一般化された直径を調整するための手段を有する。したがって、眼球追跡対話動作システムは、ホットスポットの寸法及び可能性としてはＲＯＩを自動的に調整し、ユーザと表示との間の距離を適合させることができることになる。

眼球追跡対話動作システムは、ディジタル画像における画像パラメータの調整を制御することを指向するものであり、ユーザが当該調整の間における可視のフィードバックを得ることができることは重要である。このような画像パラメータは、コントラスト（ウィンドウ幅）、輝度（ウィンドウレベル）、色、ズーム、回転及びパンニングとすることができるが、これらに限定されるものではない。

好ましくは、ホットスポットは、ＲＯＩのこれら画像パラメータの１つ又は複数を調整するものとしてもよい。

第２の態様において、本発明は、
ディジタル画像における画像パラメータの眼球追跡制御される調整のための方法であって、
・画像パラメータが調整されるものとしている関心領域（ＲＯＩ）を有するディジタル画像を呈示するディスプレイを設けるステップと、
・前記ディスプレイにおけるユーザの眼の凝視ポイントを判定する眼球トラッキングシステムを設けるステップと、
・前記ＲＯＩに関して前記ディスプレイに２つ以上のホットスポットを規定するエリアを視覚的に輪郭描写するステップであって、
＊前記ホットスポットは、前記ＲＯＩを境界づけかつ前記ＲＯＩを少なくとも部分的に取り囲み、前記ユーザの眼の凝視ポイントがホットスポット内にあるときにユーザが前記ＲＯＩの少なくとも一部に焦点を合わせることを許容する領域内に配され、当該領域は、内径ｄ及びｄより大なる外径Ｄにより規定され（Ｄ＞ｄ）、
＊前記ホットスポットは、前記領域の異なる角度セクションを占める、
ようにしたステップと、
・各ホットスポットを、所与の画像パラメータの所与の調整と関連づけるステップと、
・ユーザの眼の凝視ポイントが前記ホットスポット内に入るときにホットスポットに関連づけられる画像パラメータの調整を行い、その関連づけられた画像パラメータ調整が少なくとも前記ＲＯＩにおいて行われるようにしたステップと、
・当該関連づけられた画像パラメータ調整が行われるときにホットスポットを強調表示することにより前記ユーザにフィードバックをなすステップと、
を有する方法に関する。

第３の態様において、本発明は、関連づけられたデータ記憶手段を有する少なくとも１つのコンピュータを有するコンピュータシステムが、本発明の第１の態様による眼球追跡対話動作システムを制御することを可能にするよう適合させられているコンピュータプログラム製品に関する。この第３の態様によれば、本発明は、
・ディジタル画像処理を可能とするコンピュータ又はこれに準じた電子データ処理器と、
・画像パラメータが調整されるものとしている関心領域（ＲＯＩ）を有するディジタル画像を呈示するディスプレイと、
・前記ディスプレイにおけるユーザの眼の凝視ポイントを判定する眼球トラッキングシステムと、
を有するシステムの処理ハードウェアを、
ディジタル画像パラメータの眼球追跡制御された調整を行うように適合させるよう構成されたソフトウェアアプリケーションであって、
・前記ＲＯＩに関して前記ディスプレイに２つ以上のホットスポットを規定するエリアを視覚的に輪郭描写するための手段であって、
＊前記ホットスポットは、前記ＲＯＩを境界づけかつ前記ＲＯＩを少なくとも部分的に取り囲み、前記ユーザの眼の凝視ポイントがホットスポット内にあるときにユーザが前記ＲＯＩの少なくとも一部に焦点を合わせることを許容する領域内に配され、当該領域は、内径ｄ及びｄより大なる外径Ｄにより規定され（Ｄ＞ｄ）、
＊前記ホットスポットは、前記領域の異なる角度セクションを占め、
＊各ホットスポットは、所与の画像パラメータの所与の調整に関連づけられる、
ようにした手段と、
・ユーザの眼の凝視ポイントが前記ホットスポット内に入るときにホットスポットに関連づけられる画像パラメータの調整を行い、その関連づけられた画像パラメータ調整が少なくとも前記ＲＯＩにおいて行われるようにした手段と、
・当該関連づけられた画像パラメータ調整が行われるときにホットスポットを強調表示することにより前記ユーザにフィードバックをなすための手段と、
を有するソフトウェアアプリケーションを提供する。

本発明のこの態様は、特に、画像処理システムが本発明の第１の態様の動作を行うことを可能にするソフトウェアアプリケーションにより実現可能であるという点で有利であるが、これに限らない。したがって、或る種の画像処理システムは、当該画像処理システムを保持する電子処理システムにソフトウェアアプリケーションをインストールすることによって、本発明に従って動作するように改変させられうることが想定される。このようなソフトウェアアプリケーションは、読み取り可能な何らかの種類のデータ担体、例えば磁気的又は光学的なものを基礎とする媒体において、或いはコンピュータを基礎とするネットワーク（例えばインターネット）を介して提供可能である。

全ての態様において、本発明は、画像パラメータの眼球追跡制御された調整をなすことであって、ユーザが画像に焦点を合わせながら画像パラメータを調整することができるものに関する。様々な態様において、本発明は、システム、方法、ソフトウェアアプリケーションとして実現される。前述及び後述において、本発明の好適な付加的特徴や要素並びに実現形態及び実施例が説明される。１つの態様について説明しているものの、これら特徴、要素、実現形態及び実施例は、当業者には明らかとなるように、本発明の種々の態様の全てにおいて実現又は具現化されうるものである。

本発明の第１、第２及び第３の態様は、各々が他の態様のいずれかと組み合わされてもよい。本発明のこれらの態様及びその他の態様は、以下に説明される実施例を参照して明らかとなる。

以下、本発明を、添付図面を参照して専ら例示により説明する。

図１は、本発明の実施例による眼球追跡対話動作システム２を備えたユーザ１を示している。眼球追跡対話動作システム２は、眼球トラッキングシステム３，４とディジタル画像を呈示するディスプレイ５とを有する。このシステムはまた、利用可能なソフトウェアプログラム７を実行することができる電子プロセッサ又はマイクロプロセッサチップ６（例えばＣＵＰ（中央処理ユニット））も有する。示されている眼球トラッキングシステムは、赤外光源３と、ユーザの眼から反射した赤外光を検出するためのビデオカメラとを有する。検出した情報を処理することにより、眼球トラッキングシステムは、ディスプレイ５におけるユーザの眼の凝視ポイント８を判定することができる。円９は、ユーザの焦点領域を示しており、凝視ポイント８は、通常、焦点領域の中心と一致する。

図２は、ホットスポットを規定するためのエリア２４を保持する領域２０を示している。領域２０は、直径ｄの内側輪郭２２と直径Ｄの外側輪郭２３とにより規定される。内側輪郭の内側における領域２１は、関心領域（ＲＯＩ；region of interest）である。図示の例において、この領域は、半径方向１５における幅、すなわち（Ｄ−ｄ）／２の半径方向幅を有する円形帯域である。同様に、エリア２４は、角度方向１６における幅、すなわちπ／２ラジアンすなわち９０°の角度幅を有する。領域２０に関連づけられて示されているのは、ユーザの焦点領域９と、眼球トラッキングシステム又は装置により判定されるようなユーザの眼の凝視ポイント８である。眼球トラッキングシステムは、円１９により示されるような或る特定の精度δをもって凝視ポイント８の座標を判定する。

図３Ａ〜図３Ｃは、円形領域２０の内側に異なる構成で配置されＲＯＩ２１を取り囲むホットスポット２５〜３０を示している。ホットスポットにより調整可能とされるべき画像パラメータの所望の数によって、領域２０は、図示のような例えば２つ、４つ又は６つのホットスポットを含むことができるが、前に説明したサイズ制約により許容される任意の数のホットスポットを含むようにしてもよい。

図４Ａ〜図４Ｃは、領域４０，４２及び４４それぞれの内側における種々のレイアウトにより配置され少なくとも部分的にＲＯＩ２１を取り囲むホットスポット２５〜３０を示している。図４Ａは、楕円又は長円領域４０であってその中に配されるホットスポット２５及び２６を備えたものを示している。非円形領域４０（及び図４Ｃの４４）に対して、示されているように、内径ｄは、内側輪郭の最も小さい直径であり、外径Ｄは、外側輪郭の最も大きい直径である。図示のように、ホットスポット間にはギャップ又は隙間を設けることができ、これにより、ユーザがそれらを区別することを助けるとともに、ホットスポットの内側に不意に凝視する可能性を減らす。図４Ｂに示されるように、ホットスポットは、異なる角度幅を有することができ、図４Ｃに示されるように、ホットスポットは、異なる半径幅を有することができる。

図５は、ディジタル画像５０を表すディスプレイ５を示している。ディスプレイ５において、複数のホットスポットの輪郭が表示され、領域５２内に配置される。図示の例において、上部及び下部のホットスポットは、当該画像のコントラストの増加及び減少にそれぞれ関連付けられている。同様に、右及び左のホットスポットは、画像の輝度の増加及び減少にそれぞれ関連付けられている。図５において、ユーザの眼の凝視ポイントは、下部ホットスポット２７内に置かれる。本発明によれば、このホットスポットは、画像コントラストの減少が行われている間にユーザフィードバックを提供するようにハイライト表示される。この例において、ホットスポットの輪郭を強調することがハイライト表示としている。

種々の画像パラメータを調整するために、ユーザは、種々のホットスポットモードを必要とするようにしてもよく、例えば、或るモードは、ホットスポットがコントラスト及び輝度を調整することに関連づけられるところの領域５２に対応するものであり、別のモードは、同じホットスポットがズーム及び回転を調整することに関連づけられるところの同様のメニューのものである。好ましくは、対話動作システムのＧＵＩは、ユーザがホットスポットに関連付けられた画像パラメータ調整を選択することを許容する入力手段を有する。この入力手段は、眼球トラッキングにより選択可能な異なるホットスポットモードを持つツールバーとすることができる。可能な画像パラメータ調整の選択をなすときには、ＲＯＩに焦点合わせすることは重要ではなく、これにより、このようなツールバーをＲＯＩから離れて位置づけることができる。他の実施例において、ユーザは、２つ以上の異なるホットスポットモードの間で、例えば、眼球トラッキング、音声又はマウスのようなポインティングデバイスにより切り替えることができる。一例においては、１つの専用のホットスポットを、ホットスポットモード間の切り替えに関連付けることができる。

ホットスポット、領域２０，４０，４２又は４４によるＲＯＩの画像パラメータの調整の前に、ＲＯＩは、ユーザにより選択可能である。これは、所望のＲＯＩに関係して当該領域を位置決めすることに対応するので、当該領域の内側輪郭がＲＯＩを取り囲む。好ましくは、対話動作システムのＧＵＩは、所望のＲＯＩを取り囲み境界づけるようにディジタル画像に関係して当該領域／ホットスポットをユーザが位置決めすることができるようにする入力手段を有する。一実施例において、ユーザは、例えば眼球トラッキング、音声又はマウスのようなポインティングデバイスを用いて当該領域／ホットスポットを動かすことができる。一例において、１つの専用のホットスポットを、当該領域／ホットスポットを動かすことに関連づけることができる。

図６は、本発明による方法の好適実施例の概念図である。眼球トラッキングシステムにより与えられる凝視ポイントの座標（ボックス６２）及びホットスポット輪郭（ボックス６０）に関連した入力に基づいて、ユーザがホットスポットを凝視しているか否かが判定される（ボックス６４）。ユーザがホットスポットを凝視している場合、画像パラメータ調整が行われ（ボックス６６）、そうでない場合、本方法は、さらに繰り返して開始される（矢印６７）。本方法は、連続的に（非常に短い間隔を置くなどして）所定のレートで始動されるようにしてもよいし、眼球トラッキングシステムにより判定される凝視ポイントの変更のような出来事により起動されるようにしてもよい。

本発明による上述した方法は、ハードウェア、ソフトウェア、ファームウェア又はこれらのいずれかの組み合わせを含む適切な形態で実現可能である。本発明又は本発明の幾つかの特徴は、１つ又は複数のデータ処理器及び／又はディジタル信号処理器において稼働するソフトウェアアプリケーションとして実現可能である。図１において、電子プロセッサ６及び利用可能なソフトウェア７は、様々な方法ステップを行うための手段を具現化している。本発明の実施例の要素及び構成部は、適切な形態で物理的、機能的及び論理的に実現されうるものである。実際、かかる機能は、単一のユニット若しくは複数のユニットにおいて、又は他の複数機能ユニットのうちの一部として実現可能である。それ故、本発明を、単一のユニットで実現することができ、或いは異なるユニットと処理器との間で物理的かつ機能的に分散させることも可能である。

以上、本発明を特定の実施例に関連して説明してきたが、ここに記載した特定の形態に限定することを意図するものではない。むしろ、本発明の範囲は、添付の請求項によってのみ限定されるものである。請求項において、「有する」なる文言は、他の要素又はステップの存在を排除しない。これに加え、個々の特徴が異なる請求項に含まれうるものであるが、これらは、有利な形で組み合わせることができうるものであり、異なる請求項における包含は、特徴の組み合わせが実現可能なもの及び／又は有利なものではないことを意味するものではない。また、単一の引用は、複数を排除するものではない。したがって、「１つの」、「１の」、「第１の」、「第２の」などの表現は、複数のものを排除するものではない。さらに、請求項における参照符号は、当該範囲を限定するものと解釈してはならない。

本発明の実施例による眼球追跡対話動作システムを備えたユーザを示す図。 ホットスポットを包含するための領域を示し関連のコンセプト及び寸法を規定する図。 ホットスポット構成の一例を示す実施例を示す図。 ホットスポット構成の一例を示す実施例を示す図。 ホットスポット構成の一例を示す実施例を示す図。 ホットスポット構成の一例を示す実施例を示す図。 ホットスポット構成の一例を示す実施例を示す図。 ホットスポット構成の一例を示す実施例を示す図。 本発明の実施例によるホットスポットの概略を示すディスプレイを示す図。 本発明による方法のフローチャート。

Claims (16)

1. ディジタル画像パラメータの調整を制御するための眼球追跡対話動作システムであって、
   ・画像パラメータが調整されるものとしている関心領域（ＲＯＩ）を有するディジタル画像をユーザに呈示するディスプレイと、
   ・前記ディスプレイにおけるユーザの眼の凝視ポイントを判定する眼球トラッキングシステムと、
   ・前記ＲＯＩに関して前記ディスプレイに２つ以上のホットスポットを規定するエリアを視覚的に輪郭描写するための手段であって、
   ＊前記ホットスポットは、前記ＲＯＩを境界づけかつ前記ＲＯＩを少なくとも部分的に取り囲み、前記ユーザの眼の凝視ポイントがホットスポット内にあるときにユーザが前記ＲＯＩの少なくとも一部に焦点を合わせることを許容する領域内に配され、当該領域は、内径ｄ及び外径Ｄにより規定され、Ｄがｄより大きい（Ｄ＞ｄ）ものとされ、
   ＊前記ホットスポットは、前記領域の異なる角度セクションを占め、
   ＊各ホットスポットは、所与の画像パラメータの所与の調整に関連づけられる、
   ようにした手段と、
   ・ユーザの眼の凝視ポイントが前記ホットスポット内に入るときにホットスポットに関連づけられる画像パラメータの調整を行い、その関連づけられた画像パラメータ調整が少なくとも前記ＲＯＩにおいて行われるようにした手段と、
   ・当該関連づけられた画像パラメータ調整が行われるときにホットスポットを強調表示することにより前記ユーザにフィードバックをなすための手段と、
   を有するシステム。
2. 請求項１に記載の眼球追跡対話動作システムであって、前記眼球トラッキングシステムは、精度δをもって前記ディスプレイにおける前記凝視ポイントを判定することができ、いずれのホットポイントの半径方向及び角度幅もδより大きい、システム。
3. 請求項１又は２に記載の眼球追跡対話動作システムであって、Ｄマイナスｄは、１度のタンジェント掛ける前記ユーザの眼と前記ディスプレイとの間の距離の値以下（Ｄ−ｄ≦ｔａｎ（１°）（前記ユーザの眼と前記ディスプレイとの間の距離））である、システム。
4. 請求項１，２又は３に記載の眼球追跡対話動作システムであって、Ｄマイナスｄは、ｄ以下（Ｄ−ｄ≦ｄ）である、システム。
5. 請求項１ないし４のうちいずれか１つに記載の眼球追跡対話動作システムであって、ｄは、２度のタンジェント掛ける前記ユーザの眼と前記ディスプレイとの間の距離の値以下（ｄ≦ｔａｎ（２°）（前記ユーザの眼と前記ディスプレイとの間の距離））とされて、前記ユーザの眼の凝視ポイントがホットスポット内にあるときに前記ＲＯＩの一部が焦合状態にあることを確保する、システム。
6. 請求項１ないし５のうちいずれか１つに記載の眼球追跡対話動作システムであって、Ｄは、４度のタンジェント掛ける前記ユーザの眼と前記ディスプレイとの間の距離の値以下（Ｄ≦ｔａｎ（４°）（前記ユーザの眼と前記ディスプレイと間の距離））とされる、システム。
7. 請求項１ないし６のうちいずれか１つに記載の眼球追跡対話動作システムであって、前記眼球トラッキングシステムは、前記ユーザの眼と前記ディスプレイとの間の距離を判定し供給するよう構成される、システム。
8. 請求項１ないし７のうちいずれか１つに記載の眼球追跡対話動作システムであって、前記ホットスポットを規定するエリアの輪郭を描写するための手段は、前記ユーザの眼と前記ディスプレイとの間の付与された距離に応じて前記領域の一般化された直径を調整するための手段を有する、システム。
9. 請求項１ないし８のうちいずれか１つに記載の眼球追跡対話動作システムであって、前記２つ以上のホットスポットは、コントラスト、輝度、色、ズーム、回転及びパンニングからなるグループから選択される前記ＲＯＩの１つ又は複数の画像パラメータを調整するためのホットスポットを有する、システム。
10. 請求項１ないし９のうちいずれか１つに記載の眼球追跡対話動作システムであって、前記調整を行うための手段は、ユーザの眼の前の凝視ポイントが前記ＲＯＩ又は他のホットスポット内に入っている場合にのみ、ユーザの眼の凝視ポイントが前記ホットスポット内にあるときに画像パラメータ調整を行うように構成される、システム。
11. 請求項１ないし１０のうちいずれか１つに記載の眼球追跡対話動作システムであって、前記調整を行うための手段は、ユーザの眼の凝視ポイントが当該関連のホットスポット内にある場合に、パラメータ値調整の反復ステップを行うよう構成される、システム。
12. 請求項１ないし１１のうちいずれか１つに記載の眼球追跡対話動作システムであって、前記ユーザがホットスポットに関連づけられる画像パラメータ調整を選択することができるようにした入力手段をさらに有するシステム。
13. 請求項１ないし１２のうちいずれか１つに記載の眼球追跡対話動作システムであって、前記ユーザが前記ディジタル画像に関連して前記領域を位置決めして所望のＲＯＩを取り囲み境界規定することを可能にする入力手段をさらに有するシステム。
14. 請求項１ないし１３のうちいずれか１つに記載の眼球追跡対話動作システムであって、前記ホットスポットを規定するエリアは、前記ＲＯＩの外側のディジタル画像の領域が前記ホットスポットの後方において見えるように少なくとも半透明とされている、システム。
15. ディジタル画像における画像パラメータの眼球追跡制御される調整のための方法であって、
    ・画像パラメータが調整されるものとしている関心領域（ＲＯＩ）を有するディジタル画像を呈示するディスプレイを設けるステップと、
    ・前記ディスプレイにおけるユーザの眼の凝視ポイントを判定する眼球トラッキングシステムを設けるステップと、
    ・前記ＲＯＩに関して前記ディスプレイに２つ以上のホットスポットを規定するエリアを視覚的に輪郭描写するステップであって、
    ＊前記ホットスポットは、前記ＲＯＩを境界づけかつ前記ＲＯＩを少なくとも部分的に取り囲み、前記ユーザの眼の凝視ポイントがホットスポット内にあるときにユーザが前記ＲＯＩの少なくとも一部に焦点を合わせることを許容する領域内に配され、当該領域は、内径ｄ及びｄより大なる外径Ｄにより規定され（Ｄ＞ｄ）、
    ＊前記ホットスポットは、前記領域の異なる角度セクションを占める、
    ようにしたステップと、
    ・各ホットスポットを、所与の画像パラメータの所与の調整と関連づけるステップと、
    ・ユーザの眼の凝視ポイントが前記ホットスポット内に入るときにホットスポットに関連づけられる画像パラメータの調整を行い、その関連づけられた画像パラメータ調整が少なくとも前記ＲＯＩにおいて行われるようにしたステップと、
    ・当該関連づけられた画像パラメータ調整が行われるときにホットスポットを強調表示することにより前記ユーザにフィードバックをなすステップと、
    を有する方法。
16. ・ディジタル画像処理を可能とする電子処理器と、
    ・画像パラメータが調整されるものとしている関心領域（ＲＯＩ）を有するディジタル画像を呈示するディスプレイと、
    ・前記ディスプレイにおけるユーザの眼の凝視ポイントを判定する眼球トラッキングシステムと、
    を有するシステムの処理ハードウェアを、
    ディジタル画像パラメータの眼球追跡制御された調整を行うように適合させるよう構成されたソフトウェアアプリケーションであって、
    ・前記ＲＯＩに関して前記ディスプレイに２つ以上のホットスポットを規定するエリアを視覚的に輪郭描写するための手段であって、
    ＊前記ホットスポットは、前記ＲＯＩを境界づけかつ前記ＲＯＩを少なくとも部分的に取り囲み、前記ユーザの眼の凝視ポイントがホットスポット内にあるときにユーザが前記ＲＯＩの少なくとも一部に焦点を合わせることを許容する領域内に配され、当該領域は、内径ｄ及びｄより大なる外径Ｄにより規定され（Ｄ＞ｄ）、
    ＊前記ホットスポットは、前記領域の異なる角度セクションを占め、
    ＊各ホットスポットは、所与の画像パラメータの所与の調整に関連づけられる、
    ようにした手段と、
    ・ユーザの眼の凝視ポイントが前記ホットスポット内に入るときにホットスポットに関連づけられる画像パラメータの調整を行い、その関連づけられた画像パラメータ調整が少なくとも前記ＲＯＩにおいて行われるようにした手段と、
    ・当該関連づけられた画像パラメータ調整が行われるときにホットスポットを強調表示することにより前記ユーザにフィードバックをなすための手段と、
    を有するソフトウェアアプリケーション。

Images