JPH10133810A - 視標追跡駆動情報検索方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 コンピュータ・ディスプレイ画面上でユーザ
に対して提示されたどの情報がユーザにとって最も関心
があるかを判定する方法を提供する。 【解決手段】 本発明では、この情報を使用して、表示
情報のトピックとユーザの関心とを相関させ、ユーザの
ために追加情報を選択する。この追加情報によってユー
ザの関心との適合が改善される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般に、コンピュ
ータと人間の間のユーザ・インタフェース技術に関し、
より具体的には、コンピュータがコンピュータ操作のど
の局面がユーザの関心事であるかを自動的に判定し、そ
の局面を最適化できるようにするための方法、装置、シ
ステム、及びコンピュータ・プログラムを記録した記録
媒体に関する。

【０００２】

【従来の技術】

人間／コンピュータ間の対話 最新のコンピューティング・システムの重要な特徴は、
人間のユーザとコンピュータとの間のインタフェースで
ある。初期の対話インタフェースはテキスト・ベースで
あり、ユーザはキーボード上で一連の文字をタイプする
ことによってコンピュータとやりとりし、コンピュータ
は出力装置、一般にディスプレイ画面上に文字を表示す
ることによってユーザとやりとりしていた。このような
入力文字は、コンピュータのオペレーティング・システ
ムまたはコンピュータ上で実行中のアプリケーション・
プログラムへのコマンドを指定するものであった。この
コマンドにより、所与の操作を実行するプログラム論理
が呼び出されていた。最新のコンピュータ・システムで
は、ユーザとコンピュータとの対話を単純化するために
グラフィカル・ユーザ・インタフェース（ＧＵＩ）を使
用している。ＧＵＩ搭載コンピュータは、ディスプレイ
画面上にテキストとアイコンを含むグラフィックを表示
することによってユーザとやりとりし、ユーザは、ダイ
アログに応答してテキスト情報をタイプすることと、マ
ウスなどのポインティング・デバイスを使って表示され
たアイコンを操作することの両方によってマシンとやり
とりする。

【０００３】多くの最新のＧＵＩはウィンドウ環境を用
意している。典型的なウィンドウ環境では、ディスプレ
イ画面上に描かれたグラフィック表示は電子の「デスク
トップ」の表面に似るように配置され、コンピュータ上
で動作中の各アプリケーション・プログラムはディスプ
レイ画面上の矩形領域として表示された１枚または複数
の電子の「用紙」として表される。このような矩形領域
は「ウィンドウ」と呼ぶ。各ウィンドウは多数の区画を
含むことができる。各区画は特定のタイプの情報（テキ
スト、静止画像、動画など）用の区域である。

【０００４】各ウィンドウは、関連アプリケーションま
たはシステム・プログラムによって生成された情報を表
示する。さらに、複数のウィンドウが同時にデスクトッ
プ上に存在し、それぞれが１つのプログラムによって生
成された情報を含む場合もある。プログラムは、ウィン
ドウ内に画像、グラフィック、またはテキストを描画ま
たは「ペイント」することにより、各ウィンドウを介し
てユーザに情報を提示する。また、ユーザは、ディスプ
レイ画面上の他の位置にウィンドウを移動し、従来通り
デスクトップを配置するためにそのサイズおよび外観を
変更することもできる。ユーザは、ポインティング・デ
バイスによって制御されたカーソルを使ってウィンドウ
内に表示されたオブジェクトを「ポイント」し、希望通
りにオブジェクトを操作することによってプログラムと
やりとりする。場合によっては、プログラムが任意の操
作に応答してユーザからの追加情報を要求することもあ
る。この要求は、要求された情報をユーザがキーボード
からダイアログに提供できるようにするための「ダイア
ログ」として提示される。

【０００５】各ウィンドウは、通常、サイズ変更ボック
ス、ボタン、スクロール・バーなどのいくつかの標準的
なグラフィック・オブジェクトを含む。これらの機能
は、ポインティング・デバイスを使ってユーザが操作で
きるユーザ・インタフェース・コントロールを表してい
る。このコントロールを選択または操作すると、ＧＵＩ
は基礎となるプログラム内のプログラム論理を呼び出し
て、対応するコマンドを実行する。

【０００６】ＧＵＩの特徴の１つは、ＧＵＩはポインテ
ィング・デバイスまたはキーボードに対するユーザによ
る明示的な操作のみに応答することである。マウスの場
合、ユーザはマウス・デバイスを物理的に動かし、それ
に応じてディスプレイ上のカーソルが移動する。ポイン
ティング・デバイスによっては、実際にユーザの凝視を
追跡し、ディスプレイ画面上でユーザが「見ている」と
ころへカーソルを移動するものもある。しかし、凝視追
跡（視標追跡）装置の場合でも、そのコマンドがボタン
の押下げであるか、明滅であるか、視点の移動であるか
にかかわらず、ＧＵＩはユーザの明示コマンドにのみ応
答する。コンピュータは、依然としてユーザが明示コマ
ンドを出すことによって操作しなければならないツール
のままである。

【０００７】これに対して、人間は、他の人の目を見る
ことによって推理する能力を備えている。人は魅力的な
ものを見るときに瞳孔が広がる。人は関心のあるものに
目を向け、興味深いと思ったものを見つめる。また、人
間の目の動きは思考プロセスも反映する。したがって、
人間は、他の人が自分自身の見方をどう処理するかを観
察し、その人が関心のあるものまたはその人が考えてい
ることを推理する。

【０００８】コンピュータ／人間間インタフェースの先
行技術は、ユーザの直接の関心事を判定するものではな
い。先行技術のコンピュータ／人間間インタフェース
は、キーボードでコマンドをタイプすることによって入
力したか、マウスを操作してカーソルを動かすことによ
って入力したか、凝視追跡装置を使用してカーソルを動
かすことによって入力したかにかかわらず、単にユーザ
のコマンドに応答するだけである。したがって、コンピ
ュータは、所与の時点でコンピュータ操作のどの特徴が
ユーザにとって最も関心のあることであるかを検出また
は予想することができない。

【０００９】凝視追跡装置 ほとんどの凝視追跡装置は、人の凝視の方向は瞳孔の相
対位置および対象物の角膜からの反射に直接関係すると
いう原理に基づいて機能する（凝視追跡は視標追跡と呼
ばれる場合も多い）。このような装置は、目の凝視方向
を決定するために目のビデオ画像を操作する画像処理機
能を含む場合が多い。このような画像処理機能は、明る
い目の作用を使用することによって強化されている。

【００１０】明るい目の作用は、網膜の反射性の高さの
結果である。このような網膜の特徴は、目に入った光の
うちのかなりの量が瞳孔から反射して戻ることを意味す
る。したがって、カメラのレンズの軸に沿って目の中に
光が照射されると、網膜はその光の大部分を反射してカ
メラに戻す。このため、瞳孔は、カメラにとって明るい
ディスクのように見える。この作用により、瞳孔が目の
映像からより容易に結像できるようになる。

【００１１】凝視追跡の方法は他にも存在する。一方は
頭の動きを追跡し、もう一方は目からの反射を測定する
という、２台のビデオ・カメラの使用を取り入れた方法
もある。その他のメカニズムでは、目の様々な側の位置
間の電位差を測定することを含む。高精度の装置は、ユ
ーザにとっては非常に厄介なものであり、ユーザの頭を
固定位置に保持するか、または目を追跡するためにユー
ザが特殊な装置を装着することが必要である。

【００１２】The Eyegaze Eyetracking System - Uniqu
e Example of a Multiple-Use Technology(4th Annual
1994 IEEE Dual-Use Technologies and Applications C
onference、１９９４年５月）に記載されているように、
最近、凝視視標追跡システムが開発された。このシステ
ムは、ユーザの目の一方を監視するためにコンピュータ
・ディスプレイの下に位置するビデオ・カメラを含む。
また、この装置は、明るい目の作用を最大にするために
カメラのレンズの中心に位置する赤外線発光ダイオード
（ＬＥＤ）も含む。コンピュータ上の画像処理ソフトウ
ェアは、約１／４インチの正確さで１秒間に６０回、デ
ィスプレイ上のユーザの凝視点を計算する。

【００１３】凝視追跡装置は、武器制御、オペレータの
トレーニング、有用性分析、マーケット・リサーチのた
めに、また、障害者用の補助具として使用されている。
しかし、凝視追跡装置は、特定の時点でコンピュータ操
作のどの特徴がコンピュータ・ユーザに関心をもたせる
かを判定するため、またはディスプレイ画面上のどこを
ユーザが見ているかによって実証されるようにコンピュ
ータがユーザの関心に適応できるようにするために使用
されているわけではない。

【００１４】テキスト音声変換 多くの最新のコンピュータは、テキスト音声変換機能を
提供する。この機能は、テキスト・ストリングを処理
し、コンピュータの音声出力装置（ヘッドフォンまたは
スピーカ）から理解可能な音声を生成する。この機能に
より、コンピュータは、テキスト・ストリングの音声バ
ージョンをコンピュータ・ユーザに提示することができ
る。

【００１５】情報のダウンロードに関する問題 ワールド・ワイド・ウェブ（ＷＷＷ）およびＷＷＷブラ
ウザの背景については、Wayne AuseによるInstant HTML
Web Pages(Ziff-Davis Press、ISBN 1-56276-363-6、Cop
yright １９９５、１〜１５ページ）の第１章を参照す
ると、十分記載されているが、同書は参照により先行技
術の例示として本明細書に取り入れるものとする。

【００１６】インターネットを使用すると、コンピュー
タ・ユーザは膨大な量の情報にアクセスすることができ
る。しかし、通信チャネルの帯域幅が限られているの
で、インターネットを介してこの情報を取り出すには相
当な時間を要する場合が多い。帯域幅は多くの要因によ
って制限されている。このような要因の一部は、ユーザ
のコンピュータからインターネットへの通信リンクの帯
域幅、情報プロバイダのコンピュータからインターネッ
トへの通信リンクの帯域幅、このようなリンク上の他の
通信トラフィックの存在、インターネット自体の帯域幅
などである。しかし、主な帯域幅制限はユーザのコンピ
ュータ側に存在する。

【００１７】複数のデータ・ストリームがこの限られた
通信リンクを流れることが多いので、ユーザのコンピュ
ータ側のこの帯域幅制限はさらに悪化する。ユーザが特
定のデータ転送に関心がある場合、このような追加のデ
ータ・ストリームは、本来はユーザにとって関心のある
データ・ストリームに使用できるはずの帯域幅を使用し
てしまう。この結果、関心のあるデータ・ストリームの
データ転送速度が低下する。

【００１８】たとえば、先行技術のＷＷＷブラウザは、
一般に、ウィンドウ内の可視ビューに向けられたすべて
のデータ転送に対して帯域幅を等しく割り振ろうと試み
る。この手法は各ビューごとにデータを順次取り出すだ
けの場合より明らかに優れているが、この手法では、ユ
ーザにとって最も関心のあるデータの取出しが遅れてし
まう。というのは、使用可能なチャネル帯域幅がそのビ
ューにデータを供給するデータ・ストリーム間で分割さ
れるからである。したがって、関心のある情報に適用さ
れていた可能性のある帯域幅を関心のない情報が使用し
てしまうので、ユーザが待たなければならない時間が増
加する。

【００１９】大量のデータの伝送中、プログラムは一般
に、伝送の進行状況を示す何らかの表示を行う。この表
示は、バー・インジケータ、数値によるパーセント・イ
ンジケータなどのインジケータによって行われ、画像の
場合は表示された画像で使用可能な細部の量のみで行わ
れることが多い。転送が完了するまで待つ間に、ユーザ
は、インジケータまたは部分充填画像の進行状況を監視
することが多い。

【００２０】

【発明が解決しようとする課題】前述のように、先行技
術に関する問題の１つは、情報のダウンロードに使用す
るデータ・ストリームに割り振られた帯域幅をユーザが
ほとんど制御できないことである。さらに、アプリケー
ションがこの制御権をユーザに与えなければならない場
合でも、ユーザは依然として、割り振られた帯域幅を設
定するようにアプリケーションに明示的に命令しなけれ
ばならない。

【００２１】本発明ではこのような問題に対処する。

【００２２】画像に関連する追加データに関する問題 プリントおよびコンピュータ・ハイパーテキスト・ドキ
ュメントでは、ピクチャおよびイラストなどの画像に
は、その画像を説明するかまたは魅力を増すためのキャ
プションなどの追加情報が設けられている場合が多い。
その画像を見る人は、画像を見ると同時に関連キャプシ
ョンを読むことはできない。したがって、見る人の注意
は、関連キャプションを探して読んでいる間に画像から
それてしまう。このような状況と、視覚情報と音声情報
が両方とも同時に見る人に提示されるようなフィルムま
たはビデオなどの指向性時間依存媒体と対比してみよ
う。音声キャプション付けは音声スピーカにより追加情
報を提示し、見る人の凝視を関心のある画像からそらさ
ずにユーザが聴覚的に追加情報を受け取れるようにす
る。ユーザが複数の画像からどの画像を見るべきかを選
択できるようにするためのシステムでは、ユーザは音声
キャプションを明示的に起動しなければならない。した
がって、この場合もユーザは、キャプションを探して活
動化する必要性により、画像を見ることから注意がそれ
てしまう。

【００２３】本発明ではこのような問題に対処する。

【００２４】ユーザに対して小さいテキストを表示する
場合の問題 コンピュータのディスプレイ画面上のテキストが読みに
くい場合がよくある。これは、視力の問題による場合が
多い。したがって、ＷＹＳＩＷＹＧ（見たままの印字）
アプリケーションで使用する活字は、表示距離で快適に
読むには小さすぎる場合が多い。さらに、出版業者は、
重要性を示すレイアウト・ツールとして様々な活字サイ
ズを使用する。したがって、最も大きい表題テキストと
記事のテキストとの間に使用する画面空間とテキスト・
サイズは大きく変動する。この問題に対処するため、ア
プリケーションによってはＷＹＳＩＷＹＧテキストを拡
大できるものもある。この機能を提供するワード・プロ
セッシング・プログラムの例としては、Ｍｉｃｒｏｓｏ
ｆｔのＷｏｒｄ（登録商標）やＡｄｏｂｅのＦｒａｍｅ
Ｍａｋｅｒ（登録商標）などのプログラムがある。しか
し、このようなプログラムでは、ユーザが直接的または
間接的に所望の倍率を明示的に指定しなければならな
い。さらに、ページを拡大すると、ユーザに表示される
ページの割合が減少するので、拡大プロセスにより、コ
ンピュータ・ディスプレイ上に同時に表示できるページ
の量が減少する。この問題は、新聞や雑誌のＷＹＳＩＷ
ＹＧバージョンを表示するアプリケーションではさらに
悪化する。というのは、このようなアプリケーションは
一般に、ＷＹＳＩＷＹＧページ・レイアウトを維持しよ
うと試み、表示されたページは均一に拡大されるからで
ある。ページ全体を見るには、一般に記事のテキストが
判読しにくいサイズまで縮小される。

【００２５】新聞および雑誌のページ・レイアウトは重
要である。多数の読者の関心をひきつけるため、新聞の
発行元は最初の数ページに多数の記事を載せる。１ペー
ジに載せる記事の数を増やす方法の１つは、その記事に
使用する空間量を減らすことである。従来の新聞では、
その記事の後続部分を様々なページに移動することによ
ってこれを行っている。このため、読者は、編集者が最
も今日的であると信じる記事に素早く目を通し、興味深
いと思った記事を徹底的に読むことができる。さらに、
１ページに配置されている記事の位置は、記事を見る順
序を左右する。電子新聞にもこれと同じ特徴がある。

【００２６】しかも、電子新聞は、従来の新聞のよう
に、表題と副題の相対的な重要性を示すために様々な活
字スタイルとサイズを使用する。したがって、読者に対
して表示される最大テキストと最小テキストとの間には
大きい格差が存在する。さらに、大型のコンピュータ・
ディスプレイには、従来の新聞に使用可能なものより小
さい表示域しかなく、このため、発行元が記事に使用で
きる面積が縮小する。

【００２７】にもかかわらず、コンピュータ・ディスプ
レイは、新聞と同じ量の情報を伝達しなければならない
場合が多い。したがって、新聞の内容をディスプレイ画
面上にマッピングすると、記事に使用する活字のサイズ
は、その記事のテキストが極めて読みにくくなるような
ポイントまで縮小する。さらに、表示したテキストを全
体的に拡大するためにワード・プロセッシング・プログ
ラムが使用する拡大方法は、１ページに多くの記事を掲
載する場合には十分機能しない。というのは、ページ全
体を拡大し、そのページに示す表示を制限すると、ペー
ジの構造を見る人から引き離すことになるからである。
したがって、テキストを全体的に拡大することは、その
ページ上に希望の数の記事を掲載することと両立しな
い。さらに、ページを全体的に拡大すると、より大きい
タイトルと表題のテキストをこのテキストを読めるよう
にするために必要な大きさ以上に拡大することにもな
り、本来は追加情報の提示に使用できるはずのディスプ
レイ空間を不当に消費することになる。したがって、ペ
ージ・レイアウトが提供する構造上の表示を保持しなが
ら、読者のためにテキスト・サイズを最適化するような
メカニズムが必要になっている。

【００２８】本発明ではこのような問題に対処する。

【００２９】ユーザのために適切な情報を選択する場合
の問題 簡単に前述した電子新聞のもう１つの局面は、新聞用の
情報内容を選択することである。情報内容は、関心のあ
る特定の項目に関する記事と、広告情報の両方を含む。
情報内容は、人が各種の紙ベースの雑誌および新聞を選
択する際の主な理由である。このような従来の情報提供
者は、読者に興味を起こさせると信じている情報を提示
する。従来の新聞や雑誌は、いったん印刷してしまうと
静的なものである。したがって、各版はそれを読む人全
員にとって同じであり、特定の地域に配布される特定の
版の各部は、その地域に配布される他の部すべてと同じ
記事、同じレイアウト、同じ広告を含んでいる。この広
告および情報内容は特定の地域に合わせてカストマイズ
することができる。しかし、このような地域化は、それ
ぞれの読者の特定の個人的な関心に合わせて新聞または
雑誌をカストマイズすることが極めて費用がかかる場合
に限り、行うことができる。したがって、ある地域のた
めに選択した情報の中には、一部の読者に興味を起こさ
せないものもある。

【００３０】無形の電子新聞は、有形の紙媒体を使用す
る場合に固有の前述の制限によって拘束する必要はな
い。しかし、電子新聞は依然として、ほとんどの広告お
よび情報内容の目標として、個々の読者の特定の関心で
はなく、特定のマーケットを対象としている。電子出版
の読者に対して電子新聞の内容をカストマイズするため
の手段を提供する場合でも、ユーザは内容を明示的に指
定しなければならない。さらに、内容を明示的に指定す
ることにより、ユーザは、指定の範囲外であるが読者に
とって関心のあるものである可能性のある他の関連情報
が提示されない可能性もある。

【００３１】本発明ではこのような問題に対処する。

【００３２】

【課題を解決するための手段】本発明は、機能強化した
諸機能をコンピュータ・ユーザに提供するための経済的
な装置、方法、システム、コンピュータ・プログラムを
記録した記録媒体を提供する。本発明は、コンピュータ
がユーザを監視して、コンピュータ操作のどの局面がユ
ーザの関心事であるかを判定し、それに応じて応答する
ための方法を提供する。

【００３３】

【課題を解決するための手段】本発明の一態様は、コン
ピュータのユーザに情報を提示するためのコンピュータ
制御の方法である。この方法ではディスプレイ装置と凝
視追跡装置とを使用する。凝視追跡装置は、ディスプレ
イ装置上のユーザの凝視位置を判定する。この方法の第
１のステップでは、複数のカテゴリー化情報をディスプ
レイ装置上に表示する。次にこの方法は、凝視位置を監
視し、ディスプレイ装置上に表示された複数のカテゴリ
ー化情報に対するユーザの関心レベルを判定する。ま
た、本発明は、複数のカテゴリー化情報を分類する１つ
または複数のトピックを取り出す。このようなトピック
と関心レベルとを使用して、本発明は、新たな複数のカ
テゴリー化情報を選択するために使用する相関関係を判
定する。

【００３４】本発明の他の態様では、ディスプレイ装置
上でユーザに情報を提示する情報提示装置を開示する。
この装置は、中央演算処理装置と、メモリと、凝視追跡
装置とを含む。凝視追跡装置はディスプレイ装置上の凝
視位置を判定する。この装置は、ディスプレイ装置上に
複数のカテゴリー化情報を表示するディスプレイ・メカ
ニズムも含む。しかもこの装置は、凝視位置を監視し
て、ディスプレイ装置上に提示された複数のカテゴリー
化情報に対するユーザの関心レベルを判定するために監
視メカニズムを使用する。また、この装置は、ディスプ
レイ装置上に表示されたカテゴリー化情報を分類するト
ピックを取り出す取出しメカニズムも含む。このような
トピックとユーザの関心レベルは、トピックと関心レベ
ルとの相関関係を判定する相関メカニズムに提供され
る。最後に、この装置は、この相関関係に基づいて新た
な複数のカテゴリー化情報を選択する選択メカニズムを
含む。

【００３５】本発明の他の態様は、ディスプレイ装置上
でユーザに情報を提示する情報提示システムを開示す
る。このシステムは凝視追跡装置を含む。凝視追跡装置
はディスプレイ装置上の凝視位置を判定する。このシス
テムは、ディスプレイ装置上に複数のカテゴリー化情報
を表示するディスプレイ・メカニズムも含む。しかもこ
のシステムは、凝視位置を監視して、ディスプレイ装置
上に提示された複数のカテゴリー化情報に対するユーザ
の関心レベルを判定するために監視メカニズムを使用す
る。また、このシステムは、ディスプレイ装置上に表示
されたカテゴリー化情報を分類するトピックを取り出す
取出しメカニズムも含む。このようなトピックと前記ユ
ーザの関心レベルは、トピックと関心レベルとの相関関
係を判定する相関メカニズムに提供される。最後に、こ
のシステムは、この相関関係に基づいて新たな複数のカ
テゴリー化情報を選択する選択メカニズムを含む。

【００３６】本発明の最後の態様では、コンピュータで
使用可能な記憶媒体で実施されたコンピュータで読取り
可能なコードを有するコンピュータ・プログラム製品を
開示する。コンピュータ上で実行されると、このコンピ
ュータで読取り可能なコードにより、コンピュータは、
ディスプレイ装置上に複数のカテゴリー化情報を表示す
るためのディスプレイ・メカニズムを実行する。さらに
本発明は、上記のシステムと同じ機能を有する監視メカ
ニズムと、取出しメカニズムと、相関メカニズムと、選
択メカニズムとを実行するコードを含む。

【００３７】本発明の上記および多くのその他の目的お
よび利点は、様々な図面に図示した好ましい実施形態に
関する以下の詳細な説明を読めば、当業者には必ず明ら
かになるだろう。

【００３８】

【発明の実施の形態】

表記法および用語集 以下の「表記法および用語集」は、本発明およびその好
ましい実施形態を理解しやすくするためのものである。

【００３９】広告−−商取引に至るように商品またはサ
ービスに関して見る人に通知するために商品またはサー
ビスに関して提供する情報。一種の記事。

【００４０】記事−−１つの完全な著作物であって、タ
イトルで識別される場合が多い。

【００４１】帯域幅−−所与の期間（通常は１秒に関し
て示す）内に通信チャネルを横断して通過可能な情報の
量。

【００４２】ダイアログ−−ユーザから追加情報を得る
ために使用する特殊ウィンドウ。ダイアログは、コンピ
ュータ依存のオプション及びパラメータを得るために使
用する場合が多い。印刷メニュー・コマンドによって呼
び出される印刷ダイアログが良い例である。印刷ダイア
ログにより、ユーザは特定の印刷ジョブにどのプリンタ
・オプションを使用すべきかを指定することができる。
一般に、ダイアログにより、ユーザは特定のパラメータ
を指定し、次にダイアログを呼び出したコマンドを確認
するかまたは取り消すことができる。ユーザがコマンド
を取り消した場合、ダイアログ・ウィンドウは除去さ
れ、ダイアログを呼び出したコマンドは打ち切られる。
ユーザがコマンドを確認した場合、ダイアログを呼び出
したコマンドの実行時に、ダイアログによって獲得され
たユーザ指定情報が使用される。

【００４３】Ｅメール・システム−−電子メール・シス
テム。一般にネットワークによって接続された複数のコ
ンピュータからなるシステムであって、送信者（第１の
コンピュータのユーザである）がメッセージを構成する
データを作成し、受信者（第１のコンピュータまたは第
２のコンピュータのユーザである）に送信できるように
するシステム。

【００４４】グラフィカル・ユーザ・インタフェース
（ＧＵＩ）−−ディスプレイ上の選択可能制御域を指し
示し、選択可能制御域に関連するコマンドまたはコンピ
ュータ操作を活動化することにより、ユーザがコンピュ
ータ・ディスプレイとやりとりできるようにするユーザ
・インタフェース。ＧＵＩは当技術分野では周知のもの
である。

【００４５】凝視位置−−画面上の関心のある区域であ
って、限られた期間中のユーザの凝視の境界を示すも
の。

【００４６】凝視座標−−限られた期間中のユーザの凝
視とディスプレイ画面との交点を表す座標。

【００４７】凝視座標（生）−−ユーザの凝視とディス
プレイ画面との瞬間的な交点を表す座標。

【００４８】画像−−ディスプレイ画面上に表示される
情報であって、ピクチャ、描画、イラスト、テキスト、
ビデオなどであり、これらに限定されないもの。一般に
ウィンドウ内に含まれるビューに表示される画像。静止
画像はピクチャである。動画は、ビデオと同様に順次再
生されるいくつかの静止画像のフレームからなる。

【００４９】ポインティング・デバイス−−コンピュー
タ・ユーザの入力に応答し、コンピュータ・ディスプレ
イ画面上のインジケータを移動させる装置。このような
インジケータは、（たとえば、マウス・デバイスのボタ
ンを押すことにより）ポインティング・デバイスを活動
化した場合に、そのアクティブ・ポイントによって覆わ
れる選択可能制御域に関連するコマンドが呼び出される
ような、アクティブ・ポイントを備えている。一般にグ
ラフィカル・ユーザ・インタフェースではポインティン
グ・デバイスを使用する。

【００５０】選択可能制御域−−コンピュータ・ディス
プレイ上の１つの区域であって、ポインティング・デバ
イスの活動化に敏感なところ。選択可能制御域上でポイ
ンティング・デバイスを活動化すると、その選択可能制
御域に関連するコマンドまたはコンピュータ操作が呼び
出される。グラフィカル・ユーザ・インタフェース（Ｇ
ＵＩ）を備えた多くのコンピュータ・システムでは、キ
ーボードのファンクション・キーやコマンド行など、こ
のようなコマンドまたはコンピュータ操作を呼び出すた
めの他の方法も備えている。

【００５１】ＵＲＬ−−ユニバーサル・リソース・ロケ
ータ。ＵＲＬは、ワールド・ワイド・ウェブ上の情報に
アクセスするために使用する。

【００５２】ビュー−−ウィンドウ内の１つの区域であ
って、情報が示されるところ。

【００５３】ウィンドウ−−コンピュータ・ディスプレ
イ画面上の通常は矩形の１つの区域であって、アプリケ
ーションによって制御されるもの。

【００５４】手順−−所望の結果に至るための筋の通っ
た一連のステップ。このようなステップは、物理的数量
の物理的操作を必要とするものである。通常、このよう
な数量は、格納、転送、合成、比較、その他の操作が可
能な電気信号または磁気信号の形態を取る。このような
信号は、ビット、値、要素、記号、文字、用語、数など
と呼ばれる。当業者であれば、上記および同様の用語は
いずれも適切な物理的数量に関連し、このような数量に
便宜的なラベルが付けられているにすぎないことが分か
るだろう。

【００５５】概要 命令コードを実行する際にコンピュータが実行する操作
は、人間のオペレータが実行する知的操作に一般に関連
する、加算または比較などの用語で呼ばれる場合が多
い。本発明では、ここに記載する操作のいずれにおいて
も、人間のオペレータのこのような能力は一切不要であ
る。すなわち、操作はマシンの操作である。本発明の操
作を実行するための有用なマシンとしては、プログラミ
ング済み汎用ディジタル・コンピュータまたは同様のデ
バイスがある。いずれの場合も、計算の方法はコンピュ
ータを操作する際の操作方法とは区別される。本発明
は、他の所望の物理信号を生成するために電気信号また
はその他の（たとえば、機械的、化学的）物理信号を処
理する際にコンピュータを操作するための方法ステップ
に関する。

【００５６】また、本発明は、このような操作を実行す
るための装置にも関する。この装置は、必要な目的のた
めに特別に構築するか、またはコンピュータのメモリ内
に格納されたコンピュータ・プログラムによって選択的
に活動化または再構成される汎用コンピュータを含むこ
とができる。ここに提示する手順は、特定のコンピュー
タまたはその他の装置に本質的に関連するものではな
い。特に、ここに示す教示に従って作成されたプログラ
ムとともに様々な汎用マシンを使用するか、または必要
な方法ステップを実行するためにより専門化した装置を
構築する方がより好都合であると分かる場合もある。こ
のような様々なマシンにとって必要な構造は以下の説明
から明らかになるだろう。また、本発明は、プログラミ
ング済み論理を実行するようにコンピュータに指示する
プログラムでコード化したコンピュータで読取り可能な
記憶媒体に実施することもできる。

【００５７】動作環境 図１は、本発明をサポートするように構成され、一般参
照文字１０２で示すコンピュータ・システムを示してい
る。システム１０２は、入出力（「Ｉ／Ｏ」）セクショ
ン１３５と、中央演算処理装置（「ＣＰＵ」）１３７
と、メモリ・セクション１３９とを有するプロセッサ１
３３を含む。Ｉ／Ｏセクション１３５は、キーボード１
４１、ディスク記憶ユニット１４３、ネットワーク１１
７へのアクセスを可能にするネットワーク・インタフェ
ース１４５、ディスプレイ・ユニット１４７、ポインテ
ィング・デバイス１４８、凝視追跡装置１５５、スピー
カ１５７、ＣＤ−ＲＯＭドライブ・ユニット１４９に接
続されている。ＣＤ−ＲＯＭユニット１４９は、通常、
複数のプログラム１５３およびデータを含むＣＤ−ＲＯ
Ｍ媒体１５１を読み取ることができる。ＣＤ−ＲＯＭ１
４９とディスク記憶ユニット１４３はファイル記憶メカ
ニズムを含む。当業者であれば、ファイル記憶メカニズ
ムは、コンピュータがデータにアクセスできるようにす
るための読取り専用メモリ、ＲＡＭ、またはその他の記
憶技術を含むことができることが分かるだろう。このよ
うなコンピュータ・システムは、本発明を実施するプロ
グラミングされた論理を実行することができる。

【００５８】凝視追跡操作 図２は、コンピュータ・ディスプレイ装置２０３に接続
された凝視追跡装置２０１を示している。図示の通り、
凝視追跡装置２０１は、コンピュータ・ディスプレイ２
０３の下に取り付けられ、ビデオ・レンズ２０５を含
み、レンズ２０５の中心には赤外線ＬＥＤ２０７が取り
付けられている。当業者であれば、本発明では多種多様
なタイプの凝視追跡装置の１つを使用できることが分か
るだろう。コンピュータ・ディスプレイ装置２０３は、
情報を表示するためにコンピュータがアクセス可能な表
示域２０９を有する。一般にコンピュータは、この情報
表示のために複数のウィンドウ２１１および２１３を作
成する。ユーザが表示域２０９を見ると、凝視追跡装置
はユーザの凝視位置を判定する。凝視座標（生）は、順
序付けされた１対の値であって、画面上でユーザの凝視
が位置決めされているところを示す直接の２次元座標を
示すものである。いくつかの凝視座標を使用すると、凝
視座標の時間加重平均の２次元座標である凝視位置を作
成することができる。本発明では、精密な凝視座標を使
用する必要はない。実際には、凝視座標は約１／４イン
チまで正確であればよい。当業者であれば、関心のある
区域を表す矩形、多角形、円、その他の形状として凝視
位置を返すこともできることが分かるだろう。さらに当
業者であれば、ユーザが十分な時間の間、表示された区
域に対する関心を示した場合のみ凝視位置を示すように
凝視追跡装置２０１を構成するか、または所定の期間
中、凝視座標を監視することによりユーザが関心を示し
た場合を検出するようにアプリケーションまたはシステ
ム・プログラム論理を使用できることが分かるだろう。
凝視位置は、ユーザがディスプレイの特定の区域に関心
を持ったことをシステムが検出したときに作成される。
システムは、一定の期間の間、ユーザの凝視が表示可能
域２０９の特定の領域に限定されていることを認識する
ことにより、この状態を検出する。

【００５９】図３は、凝視追跡装置から返される凝視座
標から判定された凝視位置の諸態様を示している。３０
１として示した破線矩形は、画像（図示せず）の境界を
示している。凝視追跡装置には不確実性があり、関心の
ある区域に焦点が合っているときでもユーザの凝視は絶
えず動いている（目の不随意運動による）ので、本発明
のこの実施形態では、ユーザの凝視が固定されている区
域３０５として凝視位置を示す。示された区域３０５
は、ユーザの凝視が１／２秒などの所与の時間の間、指
定の区域を離れなかったことを意味する。返された円形
区域３０５を使用するアプリケーション・プログラム
は、ユーザの凝視が画像３０１の範囲内に十分入ると判
断することができる。というのは、示された円が画像の
その区域内に完全に含まれるからである。ユーザが画像
全体に関心がある場合、凝視はもっと拡散し、その結
果、円が大きくなるはずである。たとえば、３０１とし
て示した画像を画像３１１と比較すると、画像３０１を
見ているユーザは、３０５として示した円によって示さ
れる画像の特定の態様に焦点が合っている。画像３１１
を見ているユーザは、３０９として示した円によって示
される画像の特定の態様と比較して、画像の全体の方に
関心があることを示している。当業者であれば、円と同
様に矩形またはその他の区域表示を使用できることが分
かるだろう。

【００６０】本発明の他の実施形態では、凝視追跡装置
は１つの点として凝視位置を返す。たとえば、３０３と
して示した破線矩形は、他の画像（この場合も画像は図
示せず）の境界を示している。この実施形態の凝視追跡
装置は、所定の期間中の凝視の動きを処理した後、凝視
の位置の時間加重平均である点を返すだけである。この
点は３０７として示した矢印で示す。

【００６１】図４は、複数の凝視座標から凝視位置を作
成するために使用するプロセスを示している。このプロ
セスは先端部４０１から始まる。次にステップ４０３で
プロセスは必要なセットアップまたは初期設定を実行す
る。これは、凝視追跡装置から瞬間凝視座標データを定
期的に収集し、ユーザ優先データとその他のワンタイム
初期設定値を獲得するためのタイマ・プログラム論理の
初期設定を含む。次にステップ４０５でプロセスは複数
の凝視座標（生）を受け取る。これらの凝視座標（生）
は所与の時間中のユーザの凝視の位置を示す。十分な数
の凝視座標（生）を収集した後、プロセスは分岐点４０
７で凝視座標（生）の焦点パターンの有無を検査する。
凝視座標（生）が統計的に他のものから離れずにすべて
の凝視座標（生）が所定の境界内に入るときに焦点パタ
ーンが発生する。凝視座標（生）によって焦点が合った
凝視が示されない場合、矢印４０６が示すように瞬間凝
視座標（生）の収集を続行する。分岐点４０７で焦点パ
ターンが見つかった場合、ステップ４０９では、統計的
に有意な凝視座標（生）を含む焦点区域を決定する。最
後に、ステップ４１１では、凝視位置をプログラム論理
に使用できるようにする。最後に、プロセスは矢印４１
２が示すように繰り返す。単純な座標対ではなく１つの
区域として凝視位置を提示する場合、受取り側のプログ
ラム論理は、その凝視位置がどのビューにオーバラップ
するかを判定する。

【００６２】当技術分野では、アプリケーション・プロ
グラムなどのプログラム論理に凝視位置を提示するため
の様々な周知の方法がある。このような方法としては、
アプリケーションに例外を与えること、凝視位置を含む
プログラム間メッセージをアプリケーションに送るこ
と、その他の多くの方法などがある。

【００６３】実行中のコンピュータ・プログラムは、凝
視追跡装置を使用して、ディスプレイ画面のどの区域が
ユーザの注意の対象であるかを判定することにより、ユ
ーザの関心に最も適合するようにその動作を変更するこ
とができる。凝視追跡装置のこの機能を使用する具体的
な実施形態については以下に説明する。

【００６４】凝視追跡装置仲介ダウンロード 前述のように、複数のデータ・ストリームを提供するＷ
ＷＷブラウザおよびその他のデータ転送プログラムなど
の先行技術の通信プログラムは、ユーザの特定の関心に
応じて帯域幅を割り振るわけではない。このようなプロ
グラムは、せいぜい、ディスプレイ装置上でユーザに提
示される画像およびデータに帯域幅を割り振るだけであ
る。本発明は、コンピュータがユーザがどのデータ・ス
トリームに関心があるかを検出し、ユーザからの明示コ
マンドなしにそのデータ・ストリームにより多くの帯域
幅を割り振れるようにするものである。

【００６５】図５は、ＷＷＷブラウザで本発明の好まし
い実施形態をどのように使用するかを示している。ブラ
ウザ・アプリケーションはディスプレイ装置上にウィン
ドウ５０１を表示する。ユーザは、ウィンドウ５０１に
ＨＴＭＬでコード化した情報を含むウェブページを提示
するために任意のＵＲＬを呼び出す。この特定の例のウ
ェブページは、複数の画像区域５０５、５１３、５１９
とともに３通りのテキスト区域５０３、５１１、５１７
を示している。これらの画像のそれぞれは１つのビュー
内に表示されている。さらに、これらの画像は「大型デ
ータ・エンティティ」から構築される。各大型データ・
エンティティは、そのエンティティを定義するために使
用する大量のデータからなる。大型データ・エンティテ
ィの例としては、特に、高解像度のグラフィック画像
や、音声およびビデオ・エンティティなどがある。画像
５０５、５１３、５１９のうちの複数の陰影付き区域５
０７、５０９、５２１は、完了前の特定の時点でダウン
ロードされた画像の量を示している。５１３として示し
た画像にユーザが関心がある場合、ユーザはその画像５
１３がいっぱいになるのを監視する。したがって、凝視
位置区域５１５は画像５１３と交差し、その結果、関心
のある区域として画像５１３を識別する。どの画像５０
５、５１３、５１９に関心があるかを判定するための補
足的な手法は、各画像に関連するテキスト５０３、５１
１、５１７を用意することである。したがって、画像５
１３にリンクした（関連する）テキスト５１１をユーザ
が読むと、そのテキスト上で凝視位置５１２が検出され
る。ユーザがそのテキストに関心を示すと、アプリケー
ションは、関心のある区域がリンクされた画像５１３で
あると適切に想定することができる。

【００６６】関心のある区域を判定すると、システム
は、関心のある区域に割り振られた帯域幅を獲得し、可
能であれば、当技術分野で周知の技法を使用して関心の
ある区域に向けられたデータ・ストリームの割振り帯域
幅を増加する。

【００６７】図６は、関心のある区域にデータを供給す
るデータ・ストリームに帯域幅を割り振るために使用す
るプロセスを示している。このプロセスは先端部６０１
から始まる。ステップ６０３でプロセスは、上記のよう
に凝視追跡装置から凝視位置を受け取る。次にステップ
６０５では、凝視位置を使用して、ディスプレイ装置上
のどの情報またはビューが凝視位置と交差するかを判定
する。次に判断ブロック・ステップ６０７でプロセス
は、凝視位置と交差する表示情報が適切かどうかを検査
する。適切な情報とは、ディスプレイ装置に転送中の情
報である。すなわち、完全にロードされた画像は適切な
ものではなく、帯域幅割振りは一切行われない。完全に
伝送された画像の帯域幅は増加する必要がないためであ
る。このような状況と、ロード予定の画像に対してゼロ
帯域幅が割り振られた場合を対比してみよう。この場
合、ロード予定の画像には帯域幅が割り振られている
が、現行割振りはゼロであるのに対し、完全にダウンロ
ードされた画像には帯域幅割振りがまったく行われな
い。テキストは、通常は適切ではない表示情報のもう１
つの例である。というのは、帯域幅を限定してもユーザ
は伝送時と同じ高速度でテキストを読むことはできない
からである。

【００６８】判断ブロック・ステップ６０７で表示情報
が適切である場合、プロセスは、ステップ６０９でディ
スプレイ上の関心のある区域を判定し、ステップ６１１
で関心のある区域に関連するデータ・フローに割り振ら
れた帯域幅を増加する。最後にプロセスは終端部６１３
で完了する。

【００６９】しかし、判断ブロック・ステップ６０７で
表示情報が適切ではない場合、表示情報が関心のある区
域に関連することをソースが示しているかどうかを判定
するために、判断ブロック・ステップ６１５で表示情報
のソースを検査する。このような状況の一例は、テキス
トが画像に関連する場合である。判断ブロック・ステッ
プ６１５で関心のある区域にソースが関連していない場
合、処理は６１３として示した終端部で完了する。しか
し、６１５で関心のある区域にソースが関連している場
合、プロセスは６１１で関心のある区域に流れるデータ
の帯域幅を増加する。最後にプロセスは終端部６１３で
完了する。

【００７０】ＷＷＷブラウザの好ましい実施形態では、
図６に示すプロセスはディスプレイ装置のどの区域にユ
ーザの関心があるかを判定する。その区域が部分的にダ
ウンロードされた画像である場合、本発明は画像を完成
するためにデータ・フローに割り振られた帯域幅を増加
する。その区域がテキスト域であり、その定義ソースＨ
ＴＭＬが画像との関連を示す（たとえば、大型データ・
エンティティをそのパラグラフに関連付けるパラグラフ
要素内の属性を示すことによる）場合、本発明は、その
特定の画像を完成するためにデータ・フローに割り振ら
れた帯域幅を増加する。

【００７１】最後に、本発明を使用する実施形態はＷＷ
Ｗブラウザに限定されない。帯域幅が限られたネットワ
ークによりダウンロードした情報をディスプレイ装置上
に提示するアプリケーションであれば、どのようなアプ
リケーションでも本発明を使用することができる。これ
は、特にＦＴＰ、Ｋｅｒｍｉｔ、ｘ−ｍｏｄｅｍ、ｙ−
ｍｏｄｅｍ、ｚ−ｍｏｄｅｍなどのプログラムによって
生成されたデータ転送状況表示に対する関心を検出する
ことを含む。

【００７２】キャプション付け 本発明の他の好ましい実施形態は、画像のキャプション
付けに関する。音声キャプション付けは、表示された画
像に対するユーザの関心を検出し、表示された画像に関
する追加音声情報をユーザに自動的に提供するものであ
り、ビデオ・キャプション付けは追加ビデオ情報を提供
するものである。

【００７３】図７ａはキャプション付けを示している。
電話７０１の画像がユーザに表示される。ユーザが電話
に関心がある場合、ユーザは画像７０１を見るので、そ
の結果、凝視追跡装置から凝視位置が生成される。次に
本発明は、電話に関する追加情報をユーザに提示する。
状況によっては、この追加情報は、図７ｂに示すものな
ど、基礎となるアプリケーション内のデータ構造によっ
て画像に付加された電子情報になる。このような追加情
報は、テキスト、音声に変換されるテキスト、録音した
音声データ、ビデオ・データ、その他の画像を含むこと
ができる。

【００７４】その他の状況では、追加情報は画像７０１
とともに表示されるテキスト・キャプション７０３にな
るが、キャプション付き画像７０１への直接の電子リン
クは行われない。追加情報が表示テキスト・キャプショ
ン７０３である場合、本発明は、その画像７０１用とし
てテキスト・キャプション７０３が存在することを検出
し、そのテキスト・キャプション７０３を抽出し、抽出
したテキスト・ストリングをテキスト音声変換プロセス
に渡し、そのプロセスはキャプション・テキストを音声
形式でユーザに提示する。ページ・マークアップ言語に
よっては、＜ＣＡＰＴＩＯＮ＞タグをサポートしている
ものもある。たとえば、ＳＧＭＬとＨＴＭＬはどちらも
このようなタグをサポートしている（ただし、ＨＴＭＬ
は＜ＣＡＰＴＩＯＮ＞タグをサポートしているが、現在
はテーブル・キャプションにのみ使用し、図には使用し
ていないことに留意されたい）。したがって、本発明の
好ましい実施形態の１つでは＜ＣＡＰＴＩＯＮ＞タグを
使用して、画像７０１のテキスト・キャプション７０３
を検出する。

【００７５】上記の方法はいずれも、関心のある画像に
関する追加情報をユーザに提供するものである。音声方
法により、ユーザは、追加情報を音声によって受け取り
ながら、画像に対する自分の注意を維持することができ
る。追加情報を提示する他の方法の多くでは、結果的に
ユーザが関心のある画像から凝視をそらすことになる。

【００７６】図７ｂは、前述のように追加の電子情報を
画像に関連付けるために使用できる典型的なデータ構造
７１０を示している。「画像ＩＤ」フィールド７１１
は、ユーザに対して表示される画像を識別するものであ
る。「画像データを指すポインタ」フィールド７１３
は、画像データ、あるいは、表示された画像７０１を作
成するために使用する画像データを直接的または間接的
に参照するデータを含む。「追加情報を指すポインタ」
フィールド７１５は、追加の電子情報データ、あるい
は、追加の電子情報データを直接的または間接的に参照
するデータを含む。このデータ構造は、画像と追加情報
との明示リンクを行うためにプログラミング済みアプリ
ケーションによって使用できる多くのデータ構造のうち
の１つである。プログラミング済みアプリケーションの
中には、このような明示リンクを行わないものもある。

【００７７】図８は、ページ例８０３を表示するウィン
ドウ８０１を示している。ページ８０３はテキストと電
話の画像８０５とを含んでいる。電話の画像８０５は関
連のテキスト・キャプション８０７を有する。画像８０
５とキャプション８０７は、複数のブランク域８０９、
８１１、８１３によってテキストからオフセットされて
いる。このようなブランク域８０９、８１１、８１３
は、画像８０５およびその関連テキスト・キャプション
８０７を残りの表示テキストから区切るものである。こ
の分離により、基礎となるアプリケーション・プログラ
ムは画像とその関連テキスト・キャプションとのリンク
を判定することができる。さらに、ウィンドウ８０１を
提示した基礎となるプログラミング済みアプリケーショ
ンがキャプション８０７と画像８０５とのリンクを直接
判定するための機能を備えていない場合でも、他のプロ
グラミング済みアプリケーションはウィンドウ８０１を
走査することができる。ウィンドウの走査後、このよう
なプログラミング済みアプリケーションは、キャプショ
ン・テキスト８０７を音声に変換し、その音声をユーザ
に提示するためのテキスト音声変換機能によりキャプシ
ョン・テキスト８０７を分離して渡す。

【００７８】図９は、追加情報を提示するために使用す
るプロセスを示している。このプロセスは先端部９５１
から始まり、そのとき、プロセスはステップ９５３で凝
視追跡装置から凝視位置を受け取る。判断ブロック・ス
テップ９５５で凝視位置が画像と交差しない場合、プロ
セスは終端部９５７で完了する。判断ブロック・ステッ
プ９５５で凝視位置が画像と交差する場合、ならびに判
断ブロック・ステップ９５９で画像が電子キャプション
を備えている場合、プロセスはステップ９６１で追加情
報にアクセスして提示する。最後に、プロセスは終端部
９５７で完了する。判断ブロック・ステップ９５９で画
像が電子キャプションを備えていないが、判断ブロック
・ステップ９６３で判定したように表示テキスト・キャ
プションを備えている場合、プロセスはステップ９６５
でキャプション・テキストを抽出し、ユーザに対する音
声提示のために結果として得られるテキスト・ストリン
グをテキスト音声変換機能に渡す。最後に、プロセスは
終端部９５７で完了する。判断ブロック・ステップ９６
３で画像がテキスト・キャプションを備えていない場
合、またはこのようなキャプションを判定できない場
合、プロセスは終端部９５７で完了する。

【００７９】当業者であれば、ユーザに対する追加情報
の音声提示は先行技術で既知の技術により行われること
が分かるだろう。

【００８０】表示テキストの拡大 電子新聞からのページを図１０に示す。この情報は、一
般に上記のようにウィンドウ内のコンピュータ・ディス
プレイ画面上に表示される。この場合、ウィンドウ１０
０１は、表題１００３と、４通りの記事タイトル１００
５、１００９、１０１３、１０１７と、タイトル付き記
事の部分テキスト１００７、１０１１、１０１５、１０
１９とを含む。凝視追跡装置を備え、電子新聞を表示す
るためのコンピュータは、ユーザの通常の読取りパター
ンを頼りにすることができる。すなわち、ユーザは、ま
ず主要表題１００３を読み、次に記事タイトル１００
５、１００９、１０１３、または１０１７を読み、続い
て記事そのもの１００７、１０１１、１０１５、または
１０１９を読む。したがって、ユーザが記事タイトルを
読んでいることを凝視追跡装置が示すと、本発明は、ユ
ーザにとって最適サイズになる倍率分、記事テキストの
拡大を開始する。

【００８１】図１１は、本発明の２通りの実施形態を示
している。図１０のように、ウィンドウ１１０１内には
４通りの記事タイトル１１０５、１１０９、１１１３、
１１１７が表示されている。ウィンドウ１１０１は表題
１１０３も含む。記事１１０７は本発明により読むため
に快適なサイズまで拡大されている。この拡大は、内部
に記事１１０７が表示されているウィンドウ１１０１の
サイズを拡大せずに行われている。しかし、記事１１０
７を含むビューと記事１１０７のテキストが拡大されて
いる。拡大したビュー１１０７を妨げずに記事１１０７
を含むビューを拡大するために必要なウィンドウ空間を
得るため、記事１１１５とそのタイトル１１１３とを含
むビューはサイズが縮小され、ウィンドウ１１０１のエ
ッジに向かってシフトしている。タイトル１１０９およ
び１１１７に関連する記事は完全にウィンドウ１１０１
から外へシフトされ、それぞれの関連タイトル１１０９
および１１１７だけが残っている。

【００８２】ユーザの凝視が拡大した記事１１０７から
他のタイトル１１１３、１１０９、または１１１７に移
動したとコンピュータが検出した場合、関連記事のテキ
ストが拡大される。同時に、縮小によって発生する明ら
かな動きにユーザの凝視が引きつけられないように、前
に拡大した記事１１０５、１１０７のテキストおよびタ
イトルがゆっくり縮小される。本発明の好ましい実施形
態では、ユーザは、記事およびその関連タイトルの縮小
および拡大を瞬間的なものにするようにコンピュータ・
コマンドを使用することができる。さらに、拡大は所定
のユーザの好みに合わせることができる。最後に、記事
の拡大は、読取り速度を最大限にするようにユーザの記
事の読取り速度を監視することにより（時間の経過とと
もに凝視位置がどのように変化するかを判定することに
より）動的に決定することができる。

【００８３】本発明の他の実施形態では、ビューの元の
サイズを保持するが、ビュー内のテキストを倍率因子で
拡大する。この実施形態では、好ましい実施形態のよう
に他の記事を縮小して再配置する必要はない。しかし、
ビューの限られた境界内でテキストが拡大するので、拡
大されていないビュー内に表示できるテキストの量は減
少する。さらに、快適に読むために左から右への読取り
パターン（ラテン語ベースの言語の場合）の重要な構造
を保持しなければならないので、テキストの最大拡大が
制限される。限られた空間内でテキストを過剰に拡大す
ると、その結果、１列分の単語が読みにくくなる。

【００８４】図１２は、ウィンドウ１２０１内に表示さ
れた情報を管理するためのもう１つの手法を示してい
る。この場合、記事ＡＡのタイトル１２０５とテキスト
１２０７が拡大され、ウィンドウ１２０１内の他の複数
の記事１２１１、１２１５、１２１９の上に重なってい
るだけである。他の記事とタイトルが隠されているの
で、ユーザの凝視がウィンドウ１２０１から離れた場
合、またはユーザがポインティング・デバイス、コマン
ド行、その他のコマンド呼出し方法の使用によりコマン
ド機能を呼び出した場合に、テキストが縮小される。拡
大したビューは他のビューの上に重なるので、好ましい
実施形態では拡大したビューを枠１２１７内に入れ、拡
大したビューを他のビューから分離する。

【００８５】図１３は、記事をいつ拡大すべきかを決定
するために使用するプロセスを示している。以下の説明
では、図示例として図１０を参照する。このプロセスは
先端部１３０１から始まる。この時点でユーザの凝視は
ウィンドウ１００１に焦点が合っていない。ユーザの凝
視がウィンドウ１００１に入ると、プロセスはステップ
１３０５で、どのテキストをユーザが読んでいるかを監
視する。判断ブロック・ステップ１３０７で判定したよ
うに、ユーザが複数のタイトル１００５、１００９、１
０１３、１０１７のうちの１つを読んでいると凝視位置
が示す限り、監視ステップ１３０５は矢印１３０６が示
すように続行する。ユーザの凝視が副題または複数の記
事のテキスト１００７、１０１１、１０１５、１０１９
に変化したと判断ブロック・ステップ１３０７が検出し
た場合、プロセスはステップ１３０９で、含まれる記事
のビューとテキストの拡大を開始する。プロセスは、ス
テップ１３１１でユーザの凝視位置の監視を続行し、ユ
ーザの読取り速度を決定する。次にステップ１３１５で
プロセスは、ステップ１３１１で開始したビューの拡大
をおそらく続行しながら、ユーザの読取り速度を最大限
にするように記事テキストのサイズを調整する。この調
整では、読取り速度の関数になる値を有する倍率を使用
する。この倍率はビューとビュー内のテキストを制御す
る。最後に、判断ブロック１３１７でプロセスは、ユー
ザの凝視位置が記事を含むビューと交差し続けるかどう
かを判定する（すなわち、ユーザが記事を読み続けてい
ることを確認する）。判断ブロック１３１７でユーザが
記事を読み続けている場合、矢印１３１３が示すように
ステップ１３１１の監視プロセスが続行する。しかし、
判断ブロック１３１７でユーザが記事を読むのを止めて
しまった場合、プロセスはステップ１３１９で放棄した
記事のサイズの縮小を開始し、矢印１３２１が示すよう
にプロセス全体が繰り返される。本発明により、ユーザ
は、放棄した記事のテキストに凝視を戻すだけで放棄し
た記事を再獲得することができる。これにより、記事テ
キストのサイズの縮小は停止し、ステップ１３０９で記
事テキストの拡大を再開し、テキスト調整ステップ１３
１５に移行する。

【００８６】上記の拡大ステップおよび縮小ステップで
は、ユーザの気を散らさないようにテキストをゆっくり
拡大し縮小する。したがって、ユーザの凝視を読取り中
の記事からサイズの変化へ向けることはない。しかし、
本発明では、このようなスケーリング・プロセスを促進
するコマンドもユーザに提供する。さらに、拡大した記
事の最大サイズは、ユーザの好み通りに指定することが
できる。

【００８７】図１４は、ユーザが読取り中の記事を含む
ビュー、すなわち、アクティブ・ビューの拡大によって
影響を受けるビューをサイズ変更するために使用するプ
ロセスを示している。このプロセスは先端部１４０１か
ら始まる。ステップ１４０３でプロセスはまず、スケー
ルの変更に応答してアクティブ・ビューの新しい位置と
サイズを決定する。この新しい位置とサイズに基づい
て、ステップ１４０５でプロセスは、ウィンドウ１００
１内に表示されている他のどのビューがアクティブ・ビ
ューのサイズおよび位置の変化の影響を受けるかを判定
する。次にステップ１４０７で影響を受ける各ビューを
判定し、拡大したアクティブ・ビュー用の場所を空ける
ため（アクティブ・ビューが拡大している場合）または
縮小したアクティブ・ビューによって解放された場所を
ふさぐため（アクティブ・ビューが縮小している場合）
にステップ１４０９で調整する。このプロセスは、影響
を受ける各ビューごとに矢印１４１１が示すように繰り
返される。影響を受けるビューが調整されると、ステッ
プ１４１７でアクティブ・ビューのサイズおよび位置を
調整するために矢印１４１５が示すようにプロセスが続
行する。最後に、プロセスは終端部１４１９で完了す
る。ただし、アクティブ・ビューのサイズの縮小はユー
ザの読取り速度を最適化するように行われることに留意
されたい。これは、ユーザがビューの読取りを停止した
場合に行われるのと同じ縮小ではなく、そのビューはも
はやアクティブ・ビューではなくなるので縮小する。

【００８８】本発明のこの態様については、通常の英語
の読取りパターン（すなわち、上から下へ、左から右
へ）を想定して説明した。当業者であれば、本発明では
他の読取りパターンも企図していることが分かるだろ
う。

【００８９】関心ベースの情報提示 図１５は、典型的な電子新聞のディスプレイを示してい
る。本発明はデータ検索エンジンのディスプレイにも適
用される。この場合、いくつかの記事１５０７、１５１
１、１５１５、１５１９とともにその関連タイトル１５
０５、１５０９、１５１３、１５１７がウィンドウ１５
０１内のビューに表示されている。一般に、広告資料１
５２１の選択とともに主要表題１５０３も表示される。
情報プロバイダは、どの主題に対してユーザが関心を示
すかが分からないので、複数の記事を混ぜて提示する。
この場合、「Ｎｅｗ Ｃｈｅｍｉｃａｌ Ｒｅａｃｔｉ
ｏｎ」という記事１５０７と「Ｑｕａｒｋｓ」という記
事１５１９はどちらも科学と技術に関連するものであ
る。他の２つの記事１５１５および１５１１はそうでは
ない。各記事と広告は、複数通りにカテゴリー化できる
ような情報を含んでいる。このカテゴリー化は、情報を
分類する少なくとも１つのトピックを含む。このような
トピックは情報プロバイダによって作成され管理され
る。凝視追跡を使用すると、情報プロバイダは、各表示
記事１５０５、１５０９、１５１３、１５１７と広告１
５２１とに対するユーザの関心を判定することができ
る。次に情報プロバイダは、提示した情報をカテゴリー
化するトピックを使用することにより、このユーザに提
示するその後の情報の選択を動的に調整することができ
る。上記の例では、ユーザは科学ベースの記事１５０７
および１５１９を読んだが、他の記事１５１１または１
５１５あるいは広告１５２１を読むために時間を費やさ
なかったと想定する。情報プロバイダは、ユーザに提示
する次のページの情報の中に、前に読んだ情報と同様の
トピックを有する記事および広告を含めることになる。

【００９０】図１６は、考えられる２ページ目の情報を
示している。この場合も情報はウィンドウ１６０１内に
含まれるビュー内に提供される。この場合、複数の記事
１６０７、１６１１、１６１５、１６１９はすべて科学
または技術ベースであるが、難易度レベルは一般読者に
とって関心のある記事から先進素粒子物理学者向けの記
事まで様々である。さらに、主要科学表題１６０３と広
告１６２１の両方はユーザにとって関心があるものにな
るように選択することができる。このため、情報プロバ
イダは、各ユーザを対象として広告および記事の目標を
狭くすることができる。この場合も情報プロバイダは、
複数の記事タイトル１６０５、１６０９、１６１３、１
６１７に対して示した関心、各記事１６０７、１６１
１、１６１５、１６１９を読むことで費やした時間、現
行ページの広告１６２１を見て費やした時間に応じて、
後続ページでユーザに提示する情報の選択を洗練し限定
し続けることができる。

【００９１】図１７は、ユーザに提示するための情報を
選択するために使用するプロセスを示している。このプ
ロセスは、情報の初期選択をユーザに対して表示した後
で先端部１７０１から始まる。上記のように作成した凝
視位置を使用して、ステップ１７０５ではユーザの読取
りパターンを監視する。さらにステップ１７０９では、
表示情報に対してユーザが示した関心の程度を決定す
る。この関心は、ユーザの読取り速度を測定し、ユーザ
が情報をざっと読んだだけなのか、情報を徹底的に読ん
だのかを判定し、各記事および広告に費やした時間量を
測定することによって決定する。次にステップ１７１１
でプロセスは、各表示情報に関連するトピックを取り出
し、ステップ１７１３でこれらのトピックをユーザの関
心と相関させる。次にステップ１７１５でプロセスは、
この相関関係に基づいて追加情報を選択する。この情報
の選択はステップ１７１７でユーザ向けに表示される。
最後に、プロセスは終端部１７１９で完了する。このよ
うにしてユーザには、ユーザの関心を反映し、カストマ
イズした１組の情報が提示される。

【００９２】現在の好ましい実施形態に関して本発明を
説明してきたが、当業者であれば、本発明の範囲を逸脱
せずに様々な修正および変更が可能であることが分かる
だろう。したがって、本発明の範囲は、ここに述べた特
定の実施形態に制限されず、上記の特許請求の範囲およ
びそれと同等のものによってのみ定義すべきものであ
る。

【図面の簡単な説明】

【図１】 ＣＰＵと、本発明を実施可能な従来のメモリ
とを含む、コンピュータ・システムの一部分を示す図で
ある。

【図２】 凝視追跡装置を備えたディスプレイ装置を示
す図である。

【図３】 好ましい実施形態による凝視位置の諸態様を
示す図である。

【図４】 好ましい実施形態により使用する、凝視位置
を判定するためのプロセスを示す図である。

【図５】 好ましい実施形態により関心のある区域に帯
域幅を割り振るための本発明の操作を示す図である。

【図６】 好ましい実施形態により凝視位置に基づいて
データ・ストリームの帯域幅を変更するために使用する
プロセスを示す図である。

【図７】 好ましい実施形態による音声キャプション付
けを示す図である。

【図８】 好ましい実施形態による１ページ分のテキス
トからの画像キャプションの抽出を示す図である。

【図９】 好ましい実施形態によりキャプション付けを
実施するために使用するプロセスを示す図である。

【図１０】 電子新聞の形式を示す図である。

【図１１】 好ましい実施形態によるテキスト拡大とペ
ージ・レイアウトを示す図である。

【図１２】 第２の好ましい実施形態によるテキスト拡
大とページ・レイアウトを示す図である。

【図１３】 好ましい実施形態によりテキストに対する
ユーザの関心に応答してテキストを拡大するプロセスを
示す図である。

【図１４】 好ましい実施形態により拡大テキストの結
果としてディスプレイのレイアウトを調整するためのプ
ロセスを示す図である。

【図１５】 好ましい実施形態により記事と広告とを示
す可能性のある電子新聞の１ページ目を示す図である。

【図１６】 好ましい実施形態により読者にとって関心
のあるものであると判定された情報を示す可能性のある
電子新聞の２ページ目を示す図である。

【図１７】 好ましい実施形態により読者にとって関心
のある情報を評価し、読者の関心に適合する新しい情報
を選択するために使用するプロセスを示す図である。

【符号の説明】 １０２ コンピュータ・システム １１７ ネットワーク １３３ プロセッサ １３５ 入出力（「Ｉ／Ｏ」）セクション １３７ 中央演算処理装置（「ＣＰＵ」） １３９ メモリ・セクション １４１ キーボード １４３ ディスク記憶ユニット １４５ ネットワーク・インタフェース １４７ ディスプレイ・ユニット １４８ ポインティング・デバイス １４９ ＣＤ−ＲＯＭドライブ・ユニット １５１ ＣＤ−ＲＯＭ媒体 １５３ プログラム １５５ 凝視追跡装置 １５７ スピーカ

【手続補正書】

【提出日】平成９年９月１７日

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正内容】

【図１】

【図２】

【図３】

【図４】

【図５】

【図７】

【図８】

【図６】

【図９】

【図１０】

【図１１】

【図１２】

【図１５】

【図１３】

【図１４】

【図１６】

【図１７】

───────────────────────────────────────────────────── フロントページの続き (71)出願人 591064003 901 ＳＡＮ ＡＮＴＯＮＩＯ ＲＯＡＤ ＰＡＬＯ ＡＬＴＯ，ＣＡ 94303，Ｕ. Ｓ．Ａ. (72)発明者 ジェイコブ・ニールセン アメリカ合衆国・94027・カリフォルニア 州・アサートン・ウォルナット アヴェニ ュ・38 (72)発明者 ロバート・グラス アメリカ合衆国・95030・カリフォルニア 州・ロス ガトス・グレンウッド ドライ ブ・24371

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ディスプレイ装置と、そのディスプレイ
   装置上の凝視位置を判定する凝視追跡装置とを備えたコ
   ンピュータのユーザに情報を提示するコンピュータ制御
   方法において、 （ａ）複数の類別された情報を前記ディスプレイ装置に
   表示するステップと、 （ｂ）前記凝視位置を監視して、前記ディスプレイ装置
   上に表示された前記複数の類別された情報における前記
   ユーザの関心のレベルを判定するステップと、 （ｃ）前記複数の類別された情報を分類する１つまたは
   複数の主題を検索するステップと、 （ｄ）前記主題と前記関心のレベルとの間の相関関係を
   判定するステップと、 （ｅ）前記相関に基づいて、新しい複数の類別された情
   報を選択するステップと、を備えているコンピュータ制
   御の方法。
2. 【請求項２】 中央演算処理装置と、メモリと、ディス
   プレイ装置と、前記ディスプレイ装置上の凝視位置を判
   定する凝視追跡装置とを有し、ユーザに情報を提示する
   ように構成された情報提示装置において、 複数の類別された情報を前記ディスプレイ装置に表示す
   るように構成された表示メカニズムと、 前記凝視位置を監視して、前記ディスプレイ装置上に表
   示された前記複数の類別された情報における前記ユーザ
   の関心のレベルを判定するように構成された監視メカニ
   ズムと、 前記ディスプレイ装置上に表示された前記類別された情
   報を分類する１つまたは複数の主題を検索するように構
   成された検索メカニズムと、 前記主題と前記ユーザの関心のレベルとの間の相関関係
   を判定するように構成された相関メカニズムと、 前記相関に基づいて新しい複数の類別された情報を選択
   するように構成された選択メカニズムと、 を備えている情報提示装置。
3. 【請求項３】 ディスプレイ装置と、前記ディスプレイ
   装置上の凝視位置を判定する凝視追跡装置とを有し、ユ
   ーザに情報を提示するように構成された情報提示システ
   ムにおいて、 複数の類別された情報を前記ディスプレイ装置に表示す
   るように構成された表示メカニズムと、 前記凝視位置を監視して、前記ディスプレイ装置上に表
   示された前記複数の類別された情報における前記ユーザ
   の関心のレベルを判定するように構成された監視メカニ
   ズムと、 前記ディスプレイ装置上に表示された前記類別された情
   報を分類する１つまたは複数の主題を検索するように構
   成された検索メカニズムと、 前記主題と前記ユーザの関心のレベルとの間の相関関係
   を判定するように構成された相関メカニズムと、 前記相関に基づいて新しい複数の類別された情報を選択
   するように構成された選択メカニズムと、を備えている
   情報提示システム。
4. 【請求項４】 （ａ）コンピュータが情報をユーザに提
   示するようにするコンピュータで読取り可能なプログラ
   ムが記録されているコンピュータで使用可能な記憶媒体
   において、 （ｂ）複数の類別された情報を前記ディスプレイ装置に
   表示するように構成された表示メカニズムを前記コンピ
   ュータに実行させるプログラムと、 前記凝視位置を監視して、前記ディスプレイ装置上に表
   示された前記複数の類別された情報における前記ユーザ
   の関心のレベルを判定するように構成された監視メカニ
   ズムを前記コンピュータに実行させるプログラムと、 前記ディスプレイ装置上に表示された前記類別された情
   報を分類する１つまたは複数の主題を検索するように構
   成された検索メカニズムを前記コンピュータに実行させ
   るプログラムと、 前記主題と前記ユーザの関心のレベルとの間の相関関係
   を判定するように構成された相関メカニズムを前記コン
   ピュータに実行させるプログラムと、 前記相関に基づいて新しい複数の類別された情報を選択
   するように構成された選択メカニズムを前記コンピュー
   タに実行させるプログラムと、を備えている記録媒体。