JP2004246398A - ユーザ意図推定装置，ユーザ意図推定方法，ユーザ意図推定プログラムおよびそのプログラムの記録媒体，並びに自動辞書引き装置，自動辞書引き処理方法，自動辞書引き処理プログラムおよびそのプログラムの記録媒体 - Google Patents
ユーザ意図推定装置，ユーザ意図推定方法，ユーザ意図推定プログラムおよびそのプログラムの記録媒体，並びに自動辞書引き装置，自動辞書引き処理方法，自動辞書引き処理プログラムおよびそのプログラムの記録媒体 Download PDFInfo
- Publication number
- JP2004246398A JP2004246398A JP2003019982A JP2003019982A JP2004246398A JP 2004246398 A JP2004246398 A JP 2004246398A JP 2003019982 A JP2003019982 A JP 2003019982A JP 2003019982 A JP2003019982 A JP 2003019982A JP 2004246398 A JP2004246398 A JP 2004246398A
- Authority
- JP
- Japan
- Prior art keywords
- user
- gaze
- word
- intention
- estimating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【課題】設計者の高い専門知識，時間・コストを必要としないで，それぞれのユーザにとって適切にユーザ意図を視線情報から推定できるようにする。
【解決手段】ユーザが複数の構成要素からなる電子文書を閲覧するシステムにおいて，関係式構築フェーズでは，視線測定装置２０を用いてユーザの視線を測定し，ユーザが注視している構成要素を推定して，それらの情報を記録する。また，実際のユーザの意図を取得し，関係式構築手段１６によって，各構成要素に対して記録された視線情報とユーザ意図とを対応付ける関係式を構築する。ユーザ意図の推定フェーズでは，ユーザ意図推定手段１８は，関係式構築手段１６が構築した関係式を用いて各構成要素に対する視線情報からユーザ意図を推定する。
【選択図】 図１
【解決手段】ユーザが複数の構成要素からなる電子文書を閲覧するシステムにおいて，関係式構築フェーズでは，視線測定装置２０を用いてユーザの視線を測定し，ユーザが注視している構成要素を推定して，それらの情報を記録する。また，実際のユーザの意図を取得し，関係式構築手段１６によって，各構成要素に対して記録された視線情報とユーザ意図とを対応付ける関係式を構築する。ユーザ意図の推定フェーズでは，ユーザ意図推定手段１８は，関係式構築手段１６が構築した関係式を用いて各構成要素に対する視線情報からユーザ意図を推定する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は，視線情報を用いてユーザ意図を推定する技術に関するものであり，特に，特別な専門的知識を必要とせずに，適切なユーザ意図の推定基準を決定できるユーザ意図推定装置，ユーザ意図推定方法，ユーザ意図推定プログラムおよびそのプログラムの記録媒体，並びに自動辞書引き装置，自動辞書引き処理方法，自動辞書引き処理プログラムおよびそのプログラムの記録媒体に関するものである。
【０００２】
【従来の技術】
ユーザが文書を閲覧する場面において，ユーザの視線からユーザ意図を推定する技術は，ユーザがマウス，キーボード等の入力機器を用いた明示的な操作を行うことなく閲覧作業を支援することを可能とする。例えば，文書閲覧中であるか，そうでないかを判定する技術は，ユーザが文書を読んでいる場面にのみ，いわゆる「ヘルプ」と呼ばれる解説文を出したりすることを可能とする。ここで，「ユーザ意図」とは，ユーザが実際に行いたいと思っている，または実際に行っている行為・表現などを指す。
【０００３】
ユーザ意図の推定に用いる視線情報を取得する視線測定装置としては，ユーザの視線を測定する様々な原理に基づく視線測定装置が提案されている（例えば，特許文献１「非接触視線測定装置」参照）。
【０００４】
ユーザの視線からユーザ意図を推定する従来の技術として，Ｓａｌｖｕｃｃｉらが非特許文献１で提案している，ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ） を利用して，視線からユーザの意図を自動的に推定する手法がある。この手法は，あらかじめユーザの作業を正規文法（ｒｅｇｕｌａｒ ｇｒａｍｍｅｒ） による書き換え規則集合として表現し（プロセスモデルと呼ぶ），さらに，各プロセスにおける視線の注視領域を定める。次に，観察された視線データからどのプロセスモデルにもっとも一致しているかをＨＭＭによって算出する。
【０００５】
Ｓａｌｖｕｃｃｉらは，この手法を視線キーボードを用いた単語入力システムに適用し，有効に機能することを確認している。しかし，この手法は，プロセスモデルが定まっている場合には有効な手法であるが，ユーザの作業とは直接関係のない作業（例えば，辞書を引くという作業）を自動的に行うことには適用できない。
【０００６】
また，ユーザが特定の作業を行っているか否かを視線から判定する手法として，ＣａｍｐｂｅｌｌらのＲｅａｄｉｎｇ Ｄｅｔｅｃｔｉｏｎ がある（例えば，非特許文献２参照）。この手法は，ユーザが文書読解中であるか，そうでないかを，視線のいくつかの特徴的なパターンについて重み付けを行い，そのスコアから判定している。この手法では，読解中であるかどうかの判定を経験則で判定しており，経験則の獲得には，視線のパターンに熟知した専門家の知識を要するものと思われる。
【０００７】
また，高木は，英文と和文の対訳コーパスを用いた翻訳支援環境を題材として，ユーザの「迷い」の検出を行っている（例えば，非特許文献３参照）。彼の試作した翻訳支援環境では，英文と和文の対訳が矩形領域に並んでおり，ユーザの視線が各矩形領域間を遷移する状態をＮ−ｇｒａｍモデルを用いて分析し，ユーザの「迷い」と視線パターンの関係を求めている。しかし，扱う領域が例文単位と大きく，また，検出された「迷い」を翻訳支援に用いることを目標としているものの，実際に支援を行うには至っていない。
【０００８】
なお，後述する本発明の実施の形態で利用する技術が記載された文献として，例えば非特許文献４（決定木学習），非特許文献５（サポートベクトルマシン）がある。
【０００９】
【特許文献１】
特開平１０−１４８８２号公報
【非特許文献１】
Ｄａｒｉｏ Ｄ． Ｓａｌｖｕｃｃｉ ａｎｄ Ｊｏｈｎ Ｒ． Ａｎｄｅｒｓｏｎ，”Ａｕｔｏｍａｔｅｄ ｅｙｅ−ｍｏｖｅｍｅｎｔ ｐｒｏｔｏｃｏｌ ａｎａｌｙｓｉｓ”， Ｈｕｍａｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒａｃｔｉｏｎ， １６：３９−８６， ２００１．
【非特許文献２】
Ｃｈｒｉｓｔｏｐｈｅｒ Ｓ． Ｃａｍｐｂｅｌｌ ａｎｄ Ｐａｕｌ Ｐ． Ｍａｇｌｉｏ，”Ａ Ｒｏｂｕｓｔ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｒｅａｄｉｎｇ Ｄｅｔｅｃｔｉｏｎ”， Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐｅｒｃｅｐｔｉｖｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ ，（ＰＵＩ’０１），２００１．
【非特許文献３】
高木 啓伸，「視線の移動パターンに基づくユーザの迷いの検出−効果的な作業支援を目指して」，情報処理学会論文誌，４１（５）：１３１７−１３２７，２０００．
【非特許文献４】
Ｃ４．５： Ｐｒｏｇｒａｍｓ ｆｏｒ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ，Ｊ． Ｒ． Ｑｕｉｎｌａｎ， Ｔｈｅ Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，１９９２．
【非特許文献５】
Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ ａｎｄ Ｏｔｈｅｒ Ｋｅｒｎｅｌ−ｂａｓｅｄ Ｌｅａｒｎｉｎｇ Ｍｅｔｈｏｄｓ ｂｙ Ｎｅｌｌｏ Ｃｒｉｓｔｉａｎｉｎｉ，Ｊｏｈｎ Ｓｈａｗｅ−Ｔａｙｌｏｒ Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ；ＩＳＢＮ：０５２１７８０１９５；１ｓｔ ｅｄｉｔｉｏｎ（Ｍａｒｃｈ ２０００）．
【００１０】
【発明が解決しようとする課題】
以上のように従来技術では，視線の停留時間が一定時間以上である場合に特定の意図であると判定するなど，ユーザ意図の自動推定に設計者の経験的な知見に基づく判定基準が用いられてきた。しかしながら，このような手法は，以下に述べる２点の理由により限界があった。
（１）精度の高い推定手法を設計するには，設計者の高い専門知識と時間・コストが必要である。
（２）知見に基づき得られた推定手法が，必ずしもすべてのユーザにとって有効であるとは限らない。
【００１１】
例えば，文書中のある構成要素上を視線が一定時間以上停留したときにユーザがその単語を理解していないと推定する推定法の場合，ユーザが単語を理解していないと判定する最短の停留時間の適切値は，ユーザによって異なる。また，停留時間が一定時間以上の場合でも，ユーザが明確な目的を持たずに，ただ構成要素を見ているだけということも考えられる。
【００１２】
本発明は，上記の問題を解決するために，設計者が特別な専門的知識を有することなく，ユーザ別に適切なユーザ意図の推定基準を決定できるユーザ意図推定技術を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明は，上記課題を達成するため，視線情報からユーザの意図を判別するための式を構築する関係式構築フェーズと，関係式を用いて実際にユーザの意図を推定するユーザ意図推定フェーズとからなり，関係式構築フェーズでは，電子文書が持つ文書情報と，ユーザの視線から計測される視線情報と，ユーザにより入力されるユーザ意図とから，ユーザ意図を推測するための関係式を機械学習の手法などを用いて作成し，ユーザ意図推定フェーズでは，構築された関係式によって，ユーザの視線情報からユーザ意図を推定することを特徴とする。
【００１４】
図１は，本発明に係るユーザ意図推定装置の構成例を示す図である。ユーザ意図推定装置１０は，視線測定手段１１，構成要素領域抽出手段１２，注視領域推定手段１３，視線情報記録手段１４，ユーザ意図記録手段１５，関係式構築手段１６，関係式記憶手段１７，ユーザ意図推定手段１８を備えている。
【００１５】
また，ユーザ意図推定装置１０には，ユーザの視線を測定する視線測定装置２０，ユーザが入力を行うためのマウスやキーボード等の入力装置２１，ユーザが閲覧をする電子文書２３を表示する表示装置２２が接続されている。
【００１６】
ユーザが複数の構成要素からなる電子文書２３を閲覧するときに，視線測定装置２０を用いてユーザの視線を測定することにより，ユーザが注視している構成要素を推定し，ユーザ意図を推定する。
【００１７】
このとき，視線測定手段１１は，視線測定装置２０を用いてユーザの視線を測定する。構成要素領域抽出手段１２は，各構成要素が電子文書２３中に占めている領域を決定する。注視領域推定手段１３は，ユーザが注視している構成要素を推定する。視線情報記録手段１４は，各構成要素に対するユーザの視線に関する情報を記録する。ユーザ意図記録手段１５は，各構成要素に対するユーザの意図を記録する。関係式構築手段１６は，各構成要素に対して記録されたユーザの視線に関する情報とユーザの意図とを対応付ける関係式を機械学習の手法を用いて構築する。関係式記憶手段１７は，関係式構築手段１６が構築したユーザの視線に関する情報とユーザの意図とを対応付ける関係式を記憶する。ユーザ意図推定手段１８は，関係式記憶手段１７に記憶された関係式を用いて各構成要素に対するユーザの視線に関する情報からユーザの意図を推定する。
【００１８】
以上の各手段による処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００１９】
【発明の実施の形態】
以下，図面を用いて本発明の実施の形態を説明する。本発明の実施の形態として，本発明を電子文書における単語理解度推定による自動辞書引きシステムに適用した例を用いる。
【００２０】
図２は，本実施の形態に係る自動辞書引きシステムの構成例を示す図である。本実施の形態における自動辞書引きシステム３０は，ＣＰＵおよびメモリからなるコンピュータであり，ソフトウェアプログラム等によって構成される視線測定部３１，単語領域抽出部３２，注視単語推定部３３，視線情報記録部３４，ユーザ意図記録部３５，関係式構築部３６，関係式記憶部３７，ユーザ意図推定部３８，辞書引き・辞書引き結果表示部３９，辞書データ３１０を備えている。
【００２１】
本実施の形態における視線測定部３１は図１の視線測定手段１１に該当し，以下同様に，単語領域抽出部３２は図１の構成要素領域抽出手段１２に，注視単語推定部３３は図１の注視領域推定手段１３に，視線情報記録部３４は図１の視線情報記録手段１４に，ユーザ意図記録部３５は図１のユーザ意図記録手段１５に，関係式構築部３６は図１の関係式構築手段１６に，ユーザ意図推定部３８は図１のユーザ意図推定手段１８に該当する。
【００２２】
自動辞書引きシステム３０には，ユーザの視線を測定する視線測定装置２０と，ユーザが入力を行うためのマウス等の入力装置２１と，ユーザが閲覧をする電子文書２３を表示し，辞書引き結果を表示するディスプレイ等の表示装置２２とが接続されている。
【００２３】
この自動辞書引きシステム３０において，表示装置２２の画面上には，一般的な電子文書２３（例えば，Ｗｅｂページや新聞記事など）が表示されており，ユーザが，その電子文書２３を日常的な動作で読み，電子文書２３に理解できないか理解が困難な単語が含まれている場合に，その単語を入力装置２１であるマウスのクリック等で選択すると，その単語の説明文が表示装置２２に表示される仕組みになっている。このシステムにおいて，以下で説明する関係式構築フェーズの処理を実行することにより，マウスのクリック等により理解困難または理解不能な単語を選択しなくても，自動でユーザが理解困難または理解不能な単語を推定し，その説明文を表示する機能が備わる。
【００２４】
図３は，本実施の形態における表示画面の例を示す図である。図３に示す画面では，画面右側部分４０が電子文書２３の表示部分であり，画面左側部分４１がユーザが理解困難または理解不能である単語の説明文の表示部分である。画面右側部分４０でユーザにより理解困難・不能である単語を指定されるか，自動辞書引きシステム３０によりユーザにとって理解困難・不能である単語が推定されたときに，その単語の説明文が画面左側部分４１に表示される。
【００２５】
本システムは，２つのフェーズで動作する。１つは関係式構築フェーズであり，もう１つは自動辞書引きフェーズである。
【００２６】
視線測定部３１は，視線測定装置２０を用いてユーザの視線を測定し，ユーザの視線を電子文書２３上の座標に変換し，その座標を出力する。本実施の形態の場合，（ｘ，ｙ）の２次元座標となる。
【００２７】
単語領域抽出部３２は，まず電子文書２３の文書情報を取得し，その文書情報に含まれる単語を取得し，電子文書２３に含まれるフォントの情報や単語長などの情報から，電子文書２３中の単語それぞれの電子文書２３上において占めている領域を計算し，それを保持する。
【００２８】
本実施の形態における電子文書２３上では，単語は矩形領域を占め，単語領域は，その矩形領域の左上の点の座標と幅と高さ（ｌｅｆｔ，ｔｏｐ ，ｗｉｄｔｈ ，ｈｅｉｇｈｔ）で規定される。
【００２９】
電子文書２３に含まれる単語の取得には，形態素解析を用いる方法や，空白区切りを用いる方法がある。本実施の形態では，空白を単語境界として，単語を取得するものとする。また，取得された単語それぞれについて簡単な辞書引きをし，基本形（ｈａｓ →ｈａｖｅ）などの情報も合わせて保持する。本システムでは，便宜上，単語と単語に付随する情報と，単語を構成するそれぞれの文字の座標に関する情報とを分けて保持している。
【００３０】
図４は，本実施の形態における単語と単語に付随する情報の例を示す図である。単語と単語に付随する情報は，例えば図４に示すように，１行が６つのカラムから成り立っており，各カラムは，左から順に「ユーザＩＤ」，「単語ＩＤ」，「単語のテキスト」，「読み」，「品詞」，「基本形」である。「読み」，「品詞」，「基本形」の情報に関しては，該当するものがない場合“ｎｕｌｌ”となる。“ｎｕｌｌ”は記載を省略することもできる。
【００３１】
図５は，本実施の形態における単語を構成するそれぞれの文字の座標に関する情報の例を示す図である。図５に示す単語を構成するそれぞれの文字の座標に関する情報では，１行は９つのカラムから成り立っており，左のカラムから順に「ユーザＩＤ」，「単語ＩＤ」，「文字のテキスト」，「文書内におけるｘ座標」，「文書内におけるｙ座標」，「画面におけるｘ座標」，「画面におけるｙ座標」，「幅」，「高さ」である。図４に示すような単語と単語に付随する情報とは，「単語ＩＤ」を用いて連携される。また，単語の矩形領域は，文字単位の情報を用いて作成される。
【００３２】
注視単語推定部３３は，視線測定部３１が出力する座標と単語領域抽出部３２が保持する情報とから，ユーザが見ている単語を推定する。視線測定部３１の出力は，２次元座標（ｘ，ｙ）であり，単語領域抽出部３２は，電子文書２３中のそれぞれの単語について，（ｌｅｆｔ，ｔｏｐ ，ｗｉｄｔｈ ，ｈｅｉｇｈｔ）の情報を保存している。注視単語推定部３３は，（ｘ，ｙ）と（ｌｅｆｔ，ｔｏｐ ，ｗｉｄｔｈ ，ｈｅｉｇｈｔ）とを比較し，“ｘ”が“ｌｅｆｔ”と“ｌｅｆｔ＋ｗｉｄｔｈ ”の間にあり，“ｙ”が“ｔｏｐ ”と“ｔｏｐ ＋ｈｅｉｇｈｔ”の間であるような単語を探索し，該当する単語があればその単語を出力する。
【００３３】
視線情報記録部３４は，視線測定部３１の出力と，その出力に伴う注視単語推定部３３の推定結果である単語とを受け取り，単語と視線測定部３１の出力とを関連付けて保持・記録する。
【００３４】
図６は，本実施の形態における視線情報記録部３４により保持・記録されたデータの例を示す図である。図６に示すデータでは，１行は９つのカラムから成り立っており，各カラムは左から順に「記録された時刻」，「画面におけるｘ座標」，「画面におけるｙ座標」，「停留時間」，「電子文書がスクロールされている場合のスクロール幅」，「瞳孔の大きさ」，「単語ＩＤ」，「注視された文字」，「注視された文字を含む単語テキスト」である。
【００３５】
ユーザ意図記録部３５は，ユーザが理解困難・不能である単語を取得し，記録する。システムは，ユーザの単語上におけるマウス操作により単語の説明文を表示するため，ユーザのマウス操作をモニタリングし，ユーザがある単語を選択した場合に，ユーザ意図記録部３５はその単語を保持・記録する。記録された単語をユーザが理解困難・不能な単語であるとみなすことは，妥当であると考えられる。
【００３６】
図７は，本実施の形態におけるユーザ意図記録部３５により保持・記録されたデータの例を示す図である。図７に示すデータでは，１行は５つのカラムから成り立っており，各カラムは，左から順に「記録された時刻」，「マウス動作」（ｃｌｉｃｋ ，ｍｏｖｅ，ｄｏｗｎ，ｕｐのいずれか），「文書内におけるｘ座標」，「文書内におけるｙ座標」，「単語ＩＤ」である。
【００３７】
マウス動作のｃｌｉｃｋ は，マウスボタンのクリック，ｍｏｖｅはマウスの移動，ｄｏｗｎはマウスボタンを押し下げて押下状態にする動作，ｕｐは押下状態のマウスボタンから指を離してボタンを戻す動作である。
【００３８】
図７に示すデータから，「単語ＩＤ」が“ｉｄ６１４ ”である単語が，ユーザにより，マウス（入力装置２１）でクリックされていることがわかる。その単語の説明を求めたということから，ユーザがその単語を理解することが困難であったと考えることができる。
【００３９】
関係式構築部３６は，視線情報記録部３４の保持する単語と視線の情報と，ユーザ意図記録部３５が保持する電子文書２３中のどの単語がユーザにとって理解困難・不能であったかという情報との２つの情報をもとに，どのような視線情報を持つ単語がユーザにとって理解困難であったかを推定する関係式（判別式）を作成する。
【００４０】
具体的には，ある単語に関する視線情報は複数与えられるので，ある単語に関する視線情報を特徴量に変換し，その特徴量とユーザ理解度（以下，“０”が理解可，“１”を理解不能とする）を関連付ける関係式（判別式）を，機械学習の手法を用いて作成する。
【００４１】
ここで，本実施の形態では，機械学習の手法として決定木学習の手法を用いるが，特徴量から“０”か“１”かを判別できるアルゴリズムであれば，他の手法でもよい。主な機械学習の手法として，例えば，非特許文献４，非特許文献５などに記載されている手法がある。
【００４２】
図８は，本実施の形態における特徴量を説明する図である。本実施の形態における特徴量には，図８（Ａ）に示すような特徴量１から特徴量１４までの特徴量を用いる。各単語における視線の特徴量１〜１４は，それぞれ次のようなものである。
【００４３】
特徴量１：対象となる単語に関してどの方向へ何度視線が移動したか
特徴量２：対象となる単語に進入する視線がどの方向へ何度移動したか
特徴量３：対象となる単語から退出する視線がどの方向へ何度移動したか
特徴量４：対象となる単語の内部でどの方向へ何度視線が移動したか
特徴量５：対象となる単語に関してどの方向へどのくらいの大きさで視線が移動したか
特徴量６：対象となる単語のテキスト長
特徴量７：対象となる単語の総停留時間
特徴量８：対象となる単語に視線が関与した回数
特徴量９：瞳孔の大きさの最小値
特徴量１０：瞳孔の大きさの最大値
特徴量１１：瞳孔の大きさの平均値
特徴量１２：瞳孔の大きさの標準偏差
特徴量１３：視線の移動距離の総和
特徴量１４：視線の移動距離の平均値
ここで，図８（Ａ）に示す特徴量のうち，特徴量１〜５の方向に関しては，図８（Ｂ）に示すような円を４５度ずつに区切った場合の８方向（方向０〜方向７）を用いる。すなわち「方向」は，円を４５度単位で８方向に分割した扇形領域のいずれに属しているかを示す。扇形領域は，−２２．５度から２２．５度を方向０とし，反時計方向に４５度単位で方向７まである。
【００４４】
図９は，本実施の形態における特徴量とユーザ理解度のデータの例を示す図である。本実施の形態では，図９（Ａ）〜（Ｃ）に示すようなデータから関係式（判別式）を作成する。本実施の形態における特徴量とユーザ理解度のデータは，単語ごとのデータであり，図９（Ａ）は“Ｌｅｏｎｉｄ”という単語に関するデータの例であり，図９（Ｂ）は“ｍｅｔｅｏｒ”という単語に関するデータの例であり，図９（Ｃ）は“ｓｈｏｗｅｒ”という単語に関するデータの例である。
【００４５】
図９（Ａ）〜（Ｃ）に示すデータにおいて，“特徴量１”〜“特徴量１４”は，図８（Ａ）の特徴量番号が１〜１４の特徴量にそれぞれ該当する。“辞書引き”はユーザ理解度を示し，“０”が理解可（辞書引き不必要），“１”が理解不能（辞書引き必要）を示す。この例では，図９（Ａ）の“Ｌｅｏｎｉｄ”と図９（Ｂ）の“ｍｅｔｅｏｒ”が辞書引き必要な単語であり，図９（Ｃ）の“ｓｈｏｗｅｒ”が辞書引き不必要な単語であったことが示されている。
【００４６】
図１０は，本実施の形態において作成された決定木の例を示す図である。図１０に示す決定木は，決定木学習のツールであるＣ５．０（非特許文献４参照）を使用して作成されている。また，図１０に示す決定木は，ある単語の特徴量を入力とし，“ｙｅｓ”（辞書引き必要），“ｎｏ”（辞書引き不必要）を出力する。
【００４７】
図１０において，ａｃｃｅｓｓ＿ｃｏｕｎｔ は，図８（Ａ）の特徴量番号８に対応し，ｉｎｃｏｍｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓとｄｉｒｅｃｔｉｏｎｓは，それぞれ図８（Ａ）の特徴量番号２と特徴量番号１に対応する。それらの後続の数字（この場合は０）は，方向（この場合は図８（Ｂ）に示す“方向０”）を示す。
【００４８】
ユーザ意図推定部３８は，関係式構築部３６が作成して関係式記憶部３７に記憶した関係式（判別式）を用い，ある単語とその特徴量が与えられたとき，ユーザ理解度が“０”か“１”を出力する。この出力は，ユーザがある単語に対して理解困難であるか否かを関係式（判別式）が推定した推定結果である。
【００４９】
前述の図１０に示す例の場合，ある単語について，関与した視線の回数が１回以下であり，０の方向で進入する視線がなく，０の方向に移動する視線が１回以上あるものを辞書引き必要と判定する。
【００５０】
なお，図１０において括弧内の数値，例えば１行目の（９２２／１８）は，決定木での判定の精度を表しており，あるテストデータを用いて実験した結果，「ａｃｃｅｓｓ＿ｃｏｕｎｔ ＞１」が「ｎｏ」であったものの中で，その判定が正しかったものが９２２件，誤っていたものが１８件であったことを示している。
【００５１】
辞書引き・辞書引き結果表示部３９は，ユーザ意図推定部３８の出力により，ある単語をユーザが理解していないと推定された場合，その単語を保持している辞書データ３１０を用いて辞書引きし，その結果を表示装置２２の画面上に表示する。
【００５２】
以下，自動辞書引きシステム３０の２つのフェーズ（関係式構築フェーズ，自動辞書引きフェーズ）の動作について，それぞれ図を用いて説明する。
【００５３】
図１１は，本実施の形態における関係式構築フェーズの動作を説明する図であり，図１２は，その関係式構築処理フローチャートである。本実施の形態における「関係式構築フェーズ」では，電子文書２３が持つ文書情報と，ユーザの視線から計測される視線情報と，ユーザにより入力されるユーザ意図とから，ユーザ意図を推測するための関係式を作成する。
【００５４】
視線測定部３１は，視線測定装置２０を用いて表示装置２２に表示された電子文書２３を注視するユーザの視線を測定し，その視線を電子文書２３上の座標に変換した視線情報を注視単語推定部３３に送る（ステップＳ１０）。
【００５５】
単語領域抽出部３２は，電子文書２３の文書情報を取得し，文書情報に含まれる単語を取得し，それぞれの単語の電子文書２３上で占めている領域を計算し，領域情報として保持する。文書情報を視線情報記録部３４に送り，領域情報を注視単語推定部３３と視線情報記録部３４に送る（ステップＳ１１）。
【００５６】
注視単語推定部３３は，視線測定部３１から受けた視線情報と単語領域抽出部３２から受けた領域情報とから，ユーザが見ている単語を推定し，その単語推定結果と視線情報とを視線情報記録部３４に送る（ステップＳ１２）。
【００５７】
視線情報記録部３４は，単語領域抽出部３２から文書情報と領域情報とを受け取り，注視単語推定部３３から視線情報と単語推定結果とを受け取り，それらの情報を関連付けて記録する。その記録を単語ごとの特徴量に変換し，その特徴量を関係式構築部３６に送る（ステップＳ１３）。
【００５８】
ユーザ意図記録部３５は，ユーザが入力装置２１を用いて入力したユーザ意図（ここでは，ユーザにより選択された理解困難・不能である単語）を取得し，それを記録する。ユーザ意図を関係式構築部３６に送る（ステップＳ１４）。
【００５９】
関係式構築部３６は，視線情報記録部３４から受けた特徴量と，ユーザ意図記録部３５から受けたユーザ意図とをもとに，ユーザにとって理解困難・不能である単語を推定するための関係式を作成し，関係式記憶部３７に保存する（ステップＳ１５）。
【００６０】
図１３は，本実施の形態における自動辞書引きフェーズの動作を説明する図であり，図１４は，本実施の形態における自動書引き処理フローチャートである。本実施の形態における「自動辞書引きフェーズ」では，電子文書２３が持つ文書情報と，ユーザの視線から計測される視線情報と，「関係式構築フェーズ」で作成された関係式とから，ユーザのユーザ意図を推定し，自動で辞書引きし，その辞書引き結果を表示装置２２の画面上に表示する。
【００６１】
「自動辞書引きフェーズ」における視線測定部３１，単語領域抽出部３２，注視単語推定部３３の動作（ステップＳ２０〜Ｓ２２）に関しては，前述の「関係式構築フェーズ」における動作（ステップＳ１０〜Ｓ１２）と同じ動作であるので，その説明を省略する。
【００６２】
視線情報記録部３４は，単語領域抽出部３２から文書情報と領域情報とを受け取り，注視単語推定部３３から視線情報と単語推定結果とを受け取り，それらの情報を関連付けて特徴量に変換する。特徴量をユーザ意図推定部３８に送る（ステップＳ２３）。
【００６３】
ユーザ意図推定部３８は，視線情報記録部３４から受けたある単語の特徴量をもとに，関係式記憶部３７に記憶されている関係式を用いて，その単語に対するユーザ意図（ここでは，ユーザにとってある単語が理解困難・不能であるか否か）を推定する。ユーザ意図推定結果を辞書引き・辞書引き結果表示部３９に送る（ステップＳ２４）。
【００６４】
辞書引き・辞書引き結果表示部３９は，ユーザ意図推定部３８から受けたユーザ意図推定結果により，ユーザ意図の推定を行った単語をユーザが理解していないと推定された場合（ステップＳ２５），その単語に関して辞書データ３１０を用いて辞書引きし（ステップＳ２６），その辞書引き結果を表示装置２２の画面上に表示する。ここで，辞書引き結果の出力は，スピーカなどの出力装置を用いて，音声で出力してもよい（ステップＳ２７）。
【００６５】
図２に示す自動辞書引きシステム３０の有効性を確認するため，試作した文書ブラウザを利用した単語理解度の推定実験を，５名の被験者について行った。各被験者が５文書を閲覧したときの情報を用いて決定木を作成した場合，再現率が平均１７．５％（最大３６．４％，最低３．４％），適合率が平均２９．９％（最大５８・１％，最低９．１％）でユーザの辞書引きを必要とする単語を推定できることがわかった。被験者ごとの決定木を比較した結果，類似した決定木が構築される場合もあるが，そうでないものも多かった。被験者が閲覧する文書数を５文書から１０文書に増やした場合，再現率が平均４０．７％，適合率が平均５８．３５％と上昇した（なお，文書を増やした場合の実験は被験者２名を対象とした）。
【００６６】
決定木の個人間の差は比較的大きいものの，文書の量が増えるにつれて推定結果がよくなることから，辞書引き判定には，個人ごとに決定木を作成するのがよく，文書の量を増やすことにより，推定精度が高くなることが示された。
【００６７】
以上，本発明を自動辞書引きシステムに適用した例を説明したが，本発明はこれに限定されるものではなく，コンピュータ操作上のユーザの意図をユーザの視線から推定して，システムが何らかのアクションを起こすことにより，ユーザの作業を支援するシステムに同様に適用することができる。例えば視線情報からある画像領域に対する説明文を自動表示するシステムや，ある表示領域において操作可能なメニュー項目を自動表示するシステム等への応用が考えられる。
【００６８】
【発明の効果】
以上説明したように，本発明では，ユーザの視線情報，電子文書の文書情報，ユーザから入力されたユーザ意図などから，そのユーザのユーザ意図を推定するための関係式を自動的に作成するため，高い専門知識やコストを必要とせずに，精度の高いユーザ意図の推定を行うための設計を自動的に行うことができる。
【００６９】
また，ユーザごとに特化された関係式を作成することもできるので，その関係式を用いてユーザ意図の推定を行うことによって，それぞれのユーザごとの適切なユーザ意図を推定することができるようになる。
【図面の簡単な説明】
【図１】本発明に係るユーザ意図推定装置の構成例を示す図である。
【図２】本実施の形態に係る自動辞書引きシステムの構成例を示す図である。
【図３】本実施の形態における表示画面の例を示す図である。
【図４】本実施の形態における単語と単語に付随する情報の例を示す図である。
【図５】本実施の形態における単語を構成するそれぞれの文字の座標に関する情報の例を示す図である。
【図６】本実施の形態における視線情報記録部により保持・記録されたデータの例を示す図である。
【図７】本実施の形態におけるユーザ意図記録部により保持・記録されたデータの例を示す図である。
【図８】本実施の形態における特徴量を説明する図である。
【図９】本実施の形態における特徴量とユーザ理解度のデータの例を示す図である。
【図１０】本実施の形態における決定木の例を示す図である。
【図１１】本実施の形態における関係式構築フェーズの動作を説明する図である。
【図１２】本実施の形態における関係式構築処理フローチャートである。
【図１３】本実施の形態における自動辞書引きフェーズの動作を説明する図である。
【図１４】本実施の形態における自動書引き処理フローチャートである。
【符号の説明】
１０ ユーザ意図推定装置
１１ 視線測定手段
１２ 構成要素領域抽出手段
１３ 注視領域推定手段
１４ 視線情報記録手段
１５ ユーザ意図記録手段
１６ 関係式構築手段
１７ 関係式記憶手段
１８ ユーザ意図推定手段
２０ 視線測定装置
２１ 入力装置
２２ 表示装置
２３ 電子文書
３０ 自動辞書引きシステム
３１ 視線測定部
３２ 単語領域抽出部
３３ 注視単語推定部
３４ 視線情報記録部
３５ ユーザ意図記録部
３６ 関係式構築部
３７ 関係式記憶部
３８ ユーザ意図推定部
３９ 辞書引き・辞書引き結果表示部
３１０ 辞書データ
【発明の属する技術分野】
本発明は，視線情報を用いてユーザ意図を推定する技術に関するものであり，特に，特別な専門的知識を必要とせずに，適切なユーザ意図の推定基準を決定できるユーザ意図推定装置，ユーザ意図推定方法，ユーザ意図推定プログラムおよびそのプログラムの記録媒体，並びに自動辞書引き装置，自動辞書引き処理方法，自動辞書引き処理プログラムおよびそのプログラムの記録媒体に関するものである。
【０００２】
【従来の技術】
ユーザが文書を閲覧する場面において，ユーザの視線からユーザ意図を推定する技術は，ユーザがマウス，キーボード等の入力機器を用いた明示的な操作を行うことなく閲覧作業を支援することを可能とする。例えば，文書閲覧中であるか，そうでないかを判定する技術は，ユーザが文書を読んでいる場面にのみ，いわゆる「ヘルプ」と呼ばれる解説文を出したりすることを可能とする。ここで，「ユーザ意図」とは，ユーザが実際に行いたいと思っている，または実際に行っている行為・表現などを指す。
【０００３】
ユーザ意図の推定に用いる視線情報を取得する視線測定装置としては，ユーザの視線を測定する様々な原理に基づく視線測定装置が提案されている（例えば，特許文献１「非接触視線測定装置」参照）。
【０００４】
ユーザの視線からユーザ意図を推定する従来の技術として，Ｓａｌｖｕｃｃｉらが非特許文献１で提案している，ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ） を利用して，視線からユーザの意図を自動的に推定する手法がある。この手法は，あらかじめユーザの作業を正規文法（ｒｅｇｕｌａｒ ｇｒａｍｍｅｒ） による書き換え規則集合として表現し（プロセスモデルと呼ぶ），さらに，各プロセスにおける視線の注視領域を定める。次に，観察された視線データからどのプロセスモデルにもっとも一致しているかをＨＭＭによって算出する。
【０００５】
Ｓａｌｖｕｃｃｉらは，この手法を視線キーボードを用いた単語入力システムに適用し，有効に機能することを確認している。しかし，この手法は，プロセスモデルが定まっている場合には有効な手法であるが，ユーザの作業とは直接関係のない作業（例えば，辞書を引くという作業）を自動的に行うことには適用できない。
【０００６】
また，ユーザが特定の作業を行っているか否かを視線から判定する手法として，ＣａｍｐｂｅｌｌらのＲｅａｄｉｎｇ Ｄｅｔｅｃｔｉｏｎ がある（例えば，非特許文献２参照）。この手法は，ユーザが文書読解中であるか，そうでないかを，視線のいくつかの特徴的なパターンについて重み付けを行い，そのスコアから判定している。この手法では，読解中であるかどうかの判定を経験則で判定しており，経験則の獲得には，視線のパターンに熟知した専門家の知識を要するものと思われる。
【０００７】
また，高木は，英文と和文の対訳コーパスを用いた翻訳支援環境を題材として，ユーザの「迷い」の検出を行っている（例えば，非特許文献３参照）。彼の試作した翻訳支援環境では，英文と和文の対訳が矩形領域に並んでおり，ユーザの視線が各矩形領域間を遷移する状態をＮ−ｇｒａｍモデルを用いて分析し，ユーザの「迷い」と視線パターンの関係を求めている。しかし，扱う領域が例文単位と大きく，また，検出された「迷い」を翻訳支援に用いることを目標としているものの，実際に支援を行うには至っていない。
【０００８】
なお，後述する本発明の実施の形態で利用する技術が記載された文献として，例えば非特許文献４（決定木学習），非特許文献５（サポートベクトルマシン）がある。
【０００９】
【特許文献１】
特開平１０−１４８８２号公報
【非特許文献１】
Ｄａｒｉｏ Ｄ． Ｓａｌｖｕｃｃｉ ａｎｄ Ｊｏｈｎ Ｒ． Ａｎｄｅｒｓｏｎ，”Ａｕｔｏｍａｔｅｄ ｅｙｅ−ｍｏｖｅｍｅｎｔ ｐｒｏｔｏｃｏｌ ａｎａｌｙｓｉｓ”， Ｈｕｍａｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒａｃｔｉｏｎ， １６：３９−８６， ２００１．
【非特許文献２】
Ｃｈｒｉｓｔｏｐｈｅｒ Ｓ． Ｃａｍｐｂｅｌｌ ａｎｄ Ｐａｕｌ Ｐ． Ｍａｇｌｉｏ，”Ａ Ｒｏｂｕｓｔ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｒｅａｄｉｎｇ Ｄｅｔｅｃｔｉｏｎ”， Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐｅｒｃｅｐｔｉｖｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ ，（ＰＵＩ’０１），２００１．
【非特許文献３】
高木 啓伸，「視線の移動パターンに基づくユーザの迷いの検出−効果的な作業支援を目指して」，情報処理学会論文誌，４１（５）：１３１７−１３２７，２０００．
【非特許文献４】
Ｃ４．５： Ｐｒｏｇｒａｍｓ ｆｏｒ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ，Ｊ． Ｒ． Ｑｕｉｎｌａｎ， Ｔｈｅ Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，１９９２．
【非特許文献５】
Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ ａｎｄ Ｏｔｈｅｒ Ｋｅｒｎｅｌ−ｂａｓｅｄ Ｌｅａｒｎｉｎｇ Ｍｅｔｈｏｄｓ ｂｙ Ｎｅｌｌｏ Ｃｒｉｓｔｉａｎｉｎｉ，Ｊｏｈｎ Ｓｈａｗｅ−Ｔａｙｌｏｒ Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ；ＩＳＢＮ：０５２１７８０１９５；１ｓｔ ｅｄｉｔｉｏｎ（Ｍａｒｃｈ ２０００）．
【００１０】
【発明が解決しようとする課題】
以上のように従来技術では，視線の停留時間が一定時間以上である場合に特定の意図であると判定するなど，ユーザ意図の自動推定に設計者の経験的な知見に基づく判定基準が用いられてきた。しかしながら，このような手法は，以下に述べる２点の理由により限界があった。
（１）精度の高い推定手法を設計するには，設計者の高い専門知識と時間・コストが必要である。
（２）知見に基づき得られた推定手法が，必ずしもすべてのユーザにとって有効であるとは限らない。
【００１１】
例えば，文書中のある構成要素上を視線が一定時間以上停留したときにユーザがその単語を理解していないと推定する推定法の場合，ユーザが単語を理解していないと判定する最短の停留時間の適切値は，ユーザによって異なる。また，停留時間が一定時間以上の場合でも，ユーザが明確な目的を持たずに，ただ構成要素を見ているだけということも考えられる。
【００１２】
本発明は，上記の問題を解決するために，設計者が特別な専門的知識を有することなく，ユーザ別に適切なユーザ意図の推定基準を決定できるユーザ意図推定技術を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明は，上記課題を達成するため，視線情報からユーザの意図を判別するための式を構築する関係式構築フェーズと，関係式を用いて実際にユーザの意図を推定するユーザ意図推定フェーズとからなり，関係式構築フェーズでは，電子文書が持つ文書情報と，ユーザの視線から計測される視線情報と，ユーザにより入力されるユーザ意図とから，ユーザ意図を推測するための関係式を機械学習の手法などを用いて作成し，ユーザ意図推定フェーズでは，構築された関係式によって，ユーザの視線情報からユーザ意図を推定することを特徴とする。
【００１４】
図１は，本発明に係るユーザ意図推定装置の構成例を示す図である。ユーザ意図推定装置１０は，視線測定手段１１，構成要素領域抽出手段１２，注視領域推定手段１３，視線情報記録手段１４，ユーザ意図記録手段１５，関係式構築手段１６，関係式記憶手段１７，ユーザ意図推定手段１８を備えている。
【００１５】
また，ユーザ意図推定装置１０には，ユーザの視線を測定する視線測定装置２０，ユーザが入力を行うためのマウスやキーボード等の入力装置２１，ユーザが閲覧をする電子文書２３を表示する表示装置２２が接続されている。
【００１６】
ユーザが複数の構成要素からなる電子文書２３を閲覧するときに，視線測定装置２０を用いてユーザの視線を測定することにより，ユーザが注視している構成要素を推定し，ユーザ意図を推定する。
【００１７】
このとき，視線測定手段１１は，視線測定装置２０を用いてユーザの視線を測定する。構成要素領域抽出手段１２は，各構成要素が電子文書２３中に占めている領域を決定する。注視領域推定手段１３は，ユーザが注視している構成要素を推定する。視線情報記録手段１４は，各構成要素に対するユーザの視線に関する情報を記録する。ユーザ意図記録手段１５は，各構成要素に対するユーザの意図を記録する。関係式構築手段１６は，各構成要素に対して記録されたユーザの視線に関する情報とユーザの意図とを対応付ける関係式を機械学習の手法を用いて構築する。関係式記憶手段１７は，関係式構築手段１６が構築したユーザの視線に関する情報とユーザの意図とを対応付ける関係式を記憶する。ユーザ意図推定手段１８は，関係式記憶手段１７に記憶された関係式を用いて各構成要素に対するユーザの視線に関する情報からユーザの意図を推定する。
【００１８】
以上の各手段による処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００１９】
【発明の実施の形態】
以下，図面を用いて本発明の実施の形態を説明する。本発明の実施の形態として，本発明を電子文書における単語理解度推定による自動辞書引きシステムに適用した例を用いる。
【００２０】
図２は，本実施の形態に係る自動辞書引きシステムの構成例を示す図である。本実施の形態における自動辞書引きシステム３０は，ＣＰＵおよびメモリからなるコンピュータであり，ソフトウェアプログラム等によって構成される視線測定部３１，単語領域抽出部３２，注視単語推定部３３，視線情報記録部３４，ユーザ意図記録部３５，関係式構築部３６，関係式記憶部３７，ユーザ意図推定部３８，辞書引き・辞書引き結果表示部３９，辞書データ３１０を備えている。
【００２１】
本実施の形態における視線測定部３１は図１の視線測定手段１１に該当し，以下同様に，単語領域抽出部３２は図１の構成要素領域抽出手段１２に，注視単語推定部３３は図１の注視領域推定手段１３に，視線情報記録部３４は図１の視線情報記録手段１４に，ユーザ意図記録部３５は図１のユーザ意図記録手段１５に，関係式構築部３６は図１の関係式構築手段１６に，ユーザ意図推定部３８は図１のユーザ意図推定手段１８に該当する。
【００２２】
自動辞書引きシステム３０には，ユーザの視線を測定する視線測定装置２０と，ユーザが入力を行うためのマウス等の入力装置２１と，ユーザが閲覧をする電子文書２３を表示し，辞書引き結果を表示するディスプレイ等の表示装置２２とが接続されている。
【００２３】
この自動辞書引きシステム３０において，表示装置２２の画面上には，一般的な電子文書２３（例えば，Ｗｅｂページや新聞記事など）が表示されており，ユーザが，その電子文書２３を日常的な動作で読み，電子文書２３に理解できないか理解が困難な単語が含まれている場合に，その単語を入力装置２１であるマウスのクリック等で選択すると，その単語の説明文が表示装置２２に表示される仕組みになっている。このシステムにおいて，以下で説明する関係式構築フェーズの処理を実行することにより，マウスのクリック等により理解困難または理解不能な単語を選択しなくても，自動でユーザが理解困難または理解不能な単語を推定し，その説明文を表示する機能が備わる。
【００２４】
図３は，本実施の形態における表示画面の例を示す図である。図３に示す画面では，画面右側部分４０が電子文書２３の表示部分であり，画面左側部分４１がユーザが理解困難または理解不能である単語の説明文の表示部分である。画面右側部分４０でユーザにより理解困難・不能である単語を指定されるか，自動辞書引きシステム３０によりユーザにとって理解困難・不能である単語が推定されたときに，その単語の説明文が画面左側部分４１に表示される。
【００２５】
本システムは，２つのフェーズで動作する。１つは関係式構築フェーズであり，もう１つは自動辞書引きフェーズである。
【００２６】
視線測定部３１は，視線測定装置２０を用いてユーザの視線を測定し，ユーザの視線を電子文書２３上の座標に変換し，その座標を出力する。本実施の形態の場合，（ｘ，ｙ）の２次元座標となる。
【００２７】
単語領域抽出部３２は，まず電子文書２３の文書情報を取得し，その文書情報に含まれる単語を取得し，電子文書２３に含まれるフォントの情報や単語長などの情報から，電子文書２３中の単語それぞれの電子文書２３上において占めている領域を計算し，それを保持する。
【００２８】
本実施の形態における電子文書２３上では，単語は矩形領域を占め，単語領域は，その矩形領域の左上の点の座標と幅と高さ（ｌｅｆｔ，ｔｏｐ ，ｗｉｄｔｈ ，ｈｅｉｇｈｔ）で規定される。
【００２９】
電子文書２３に含まれる単語の取得には，形態素解析を用いる方法や，空白区切りを用いる方法がある。本実施の形態では，空白を単語境界として，単語を取得するものとする。また，取得された単語それぞれについて簡単な辞書引きをし，基本形（ｈａｓ →ｈａｖｅ）などの情報も合わせて保持する。本システムでは，便宜上，単語と単語に付随する情報と，単語を構成するそれぞれの文字の座標に関する情報とを分けて保持している。
【００３０】
図４は，本実施の形態における単語と単語に付随する情報の例を示す図である。単語と単語に付随する情報は，例えば図４に示すように，１行が６つのカラムから成り立っており，各カラムは，左から順に「ユーザＩＤ」，「単語ＩＤ」，「単語のテキスト」，「読み」，「品詞」，「基本形」である。「読み」，「品詞」，「基本形」の情報に関しては，該当するものがない場合“ｎｕｌｌ”となる。“ｎｕｌｌ”は記載を省略することもできる。
【００３１】
図５は，本実施の形態における単語を構成するそれぞれの文字の座標に関する情報の例を示す図である。図５に示す単語を構成するそれぞれの文字の座標に関する情報では，１行は９つのカラムから成り立っており，左のカラムから順に「ユーザＩＤ」，「単語ＩＤ」，「文字のテキスト」，「文書内におけるｘ座標」，「文書内におけるｙ座標」，「画面におけるｘ座標」，「画面におけるｙ座標」，「幅」，「高さ」である。図４に示すような単語と単語に付随する情報とは，「単語ＩＤ」を用いて連携される。また，単語の矩形領域は，文字単位の情報を用いて作成される。
【００３２】
注視単語推定部３３は，視線測定部３１が出力する座標と単語領域抽出部３２が保持する情報とから，ユーザが見ている単語を推定する。視線測定部３１の出力は，２次元座標（ｘ，ｙ）であり，単語領域抽出部３２は，電子文書２３中のそれぞれの単語について，（ｌｅｆｔ，ｔｏｐ ，ｗｉｄｔｈ ，ｈｅｉｇｈｔ）の情報を保存している。注視単語推定部３３は，（ｘ，ｙ）と（ｌｅｆｔ，ｔｏｐ ，ｗｉｄｔｈ ，ｈｅｉｇｈｔ）とを比較し，“ｘ”が“ｌｅｆｔ”と“ｌｅｆｔ＋ｗｉｄｔｈ ”の間にあり，“ｙ”が“ｔｏｐ ”と“ｔｏｐ ＋ｈｅｉｇｈｔ”の間であるような単語を探索し，該当する単語があればその単語を出力する。
【００３３】
視線情報記録部３４は，視線測定部３１の出力と，その出力に伴う注視単語推定部３３の推定結果である単語とを受け取り，単語と視線測定部３１の出力とを関連付けて保持・記録する。
【００３４】
図６は，本実施の形態における視線情報記録部３４により保持・記録されたデータの例を示す図である。図６に示すデータでは，１行は９つのカラムから成り立っており，各カラムは左から順に「記録された時刻」，「画面におけるｘ座標」，「画面におけるｙ座標」，「停留時間」，「電子文書がスクロールされている場合のスクロール幅」，「瞳孔の大きさ」，「単語ＩＤ」，「注視された文字」，「注視された文字を含む単語テキスト」である。
【００３５】
ユーザ意図記録部３５は，ユーザが理解困難・不能である単語を取得し，記録する。システムは，ユーザの単語上におけるマウス操作により単語の説明文を表示するため，ユーザのマウス操作をモニタリングし，ユーザがある単語を選択した場合に，ユーザ意図記録部３５はその単語を保持・記録する。記録された単語をユーザが理解困難・不能な単語であるとみなすことは，妥当であると考えられる。
【００３６】
図７は，本実施の形態におけるユーザ意図記録部３５により保持・記録されたデータの例を示す図である。図７に示すデータでは，１行は５つのカラムから成り立っており，各カラムは，左から順に「記録された時刻」，「マウス動作」（ｃｌｉｃｋ ，ｍｏｖｅ，ｄｏｗｎ，ｕｐのいずれか），「文書内におけるｘ座標」，「文書内におけるｙ座標」，「単語ＩＤ」である。
【００３７】
マウス動作のｃｌｉｃｋ は，マウスボタンのクリック，ｍｏｖｅはマウスの移動，ｄｏｗｎはマウスボタンを押し下げて押下状態にする動作，ｕｐは押下状態のマウスボタンから指を離してボタンを戻す動作である。
【００３８】
図７に示すデータから，「単語ＩＤ」が“ｉｄ６１４ ”である単語が，ユーザにより，マウス（入力装置２１）でクリックされていることがわかる。その単語の説明を求めたということから，ユーザがその単語を理解することが困難であったと考えることができる。
【００３９】
関係式構築部３６は，視線情報記録部３４の保持する単語と視線の情報と，ユーザ意図記録部３５が保持する電子文書２３中のどの単語がユーザにとって理解困難・不能であったかという情報との２つの情報をもとに，どのような視線情報を持つ単語がユーザにとって理解困難であったかを推定する関係式（判別式）を作成する。
【００４０】
具体的には，ある単語に関する視線情報は複数与えられるので，ある単語に関する視線情報を特徴量に変換し，その特徴量とユーザ理解度（以下，“０”が理解可，“１”を理解不能とする）を関連付ける関係式（判別式）を，機械学習の手法を用いて作成する。
【００４１】
ここで，本実施の形態では，機械学習の手法として決定木学習の手法を用いるが，特徴量から“０”か“１”かを判別できるアルゴリズムであれば，他の手法でもよい。主な機械学習の手法として，例えば，非特許文献４，非特許文献５などに記載されている手法がある。
【００４２】
図８は，本実施の形態における特徴量を説明する図である。本実施の形態における特徴量には，図８（Ａ）に示すような特徴量１から特徴量１４までの特徴量を用いる。各単語における視線の特徴量１〜１４は，それぞれ次のようなものである。
【００４３】
特徴量１：対象となる単語に関してどの方向へ何度視線が移動したか
特徴量２：対象となる単語に進入する視線がどの方向へ何度移動したか
特徴量３：対象となる単語から退出する視線がどの方向へ何度移動したか
特徴量４：対象となる単語の内部でどの方向へ何度視線が移動したか
特徴量５：対象となる単語に関してどの方向へどのくらいの大きさで視線が移動したか
特徴量６：対象となる単語のテキスト長
特徴量７：対象となる単語の総停留時間
特徴量８：対象となる単語に視線が関与した回数
特徴量９：瞳孔の大きさの最小値
特徴量１０：瞳孔の大きさの最大値
特徴量１１：瞳孔の大きさの平均値
特徴量１２：瞳孔の大きさの標準偏差
特徴量１３：視線の移動距離の総和
特徴量１４：視線の移動距離の平均値
ここで，図８（Ａ）に示す特徴量のうち，特徴量１〜５の方向に関しては，図８（Ｂ）に示すような円を４５度ずつに区切った場合の８方向（方向０〜方向７）を用いる。すなわち「方向」は，円を４５度単位で８方向に分割した扇形領域のいずれに属しているかを示す。扇形領域は，−２２．５度から２２．５度を方向０とし，反時計方向に４５度単位で方向７まである。
【００４４】
図９は，本実施の形態における特徴量とユーザ理解度のデータの例を示す図である。本実施の形態では，図９（Ａ）〜（Ｃ）に示すようなデータから関係式（判別式）を作成する。本実施の形態における特徴量とユーザ理解度のデータは，単語ごとのデータであり，図９（Ａ）は“Ｌｅｏｎｉｄ”という単語に関するデータの例であり，図９（Ｂ）は“ｍｅｔｅｏｒ”という単語に関するデータの例であり，図９（Ｃ）は“ｓｈｏｗｅｒ”という単語に関するデータの例である。
【００４５】
図９（Ａ）〜（Ｃ）に示すデータにおいて，“特徴量１”〜“特徴量１４”は，図８（Ａ）の特徴量番号が１〜１４の特徴量にそれぞれ該当する。“辞書引き”はユーザ理解度を示し，“０”が理解可（辞書引き不必要），“１”が理解不能（辞書引き必要）を示す。この例では，図９（Ａ）の“Ｌｅｏｎｉｄ”と図９（Ｂ）の“ｍｅｔｅｏｒ”が辞書引き必要な単語であり，図９（Ｃ）の“ｓｈｏｗｅｒ”が辞書引き不必要な単語であったことが示されている。
【００４６】
図１０は，本実施の形態において作成された決定木の例を示す図である。図１０に示す決定木は，決定木学習のツールであるＣ５．０（非特許文献４参照）を使用して作成されている。また，図１０に示す決定木は，ある単語の特徴量を入力とし，“ｙｅｓ”（辞書引き必要），“ｎｏ”（辞書引き不必要）を出力する。
【００４７】
図１０において，ａｃｃｅｓｓ＿ｃｏｕｎｔ は，図８（Ａ）の特徴量番号８に対応し，ｉｎｃｏｍｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓとｄｉｒｅｃｔｉｏｎｓは，それぞれ図８（Ａ）の特徴量番号２と特徴量番号１に対応する。それらの後続の数字（この場合は０）は，方向（この場合は図８（Ｂ）に示す“方向０”）を示す。
【００４８】
ユーザ意図推定部３８は，関係式構築部３６が作成して関係式記憶部３７に記憶した関係式（判別式）を用い，ある単語とその特徴量が与えられたとき，ユーザ理解度が“０”か“１”を出力する。この出力は，ユーザがある単語に対して理解困難であるか否かを関係式（判別式）が推定した推定結果である。
【００４９】
前述の図１０に示す例の場合，ある単語について，関与した視線の回数が１回以下であり，０の方向で進入する視線がなく，０の方向に移動する視線が１回以上あるものを辞書引き必要と判定する。
【００５０】
なお，図１０において括弧内の数値，例えば１行目の（９２２／１８）は，決定木での判定の精度を表しており，あるテストデータを用いて実験した結果，「ａｃｃｅｓｓ＿ｃｏｕｎｔ ＞１」が「ｎｏ」であったものの中で，その判定が正しかったものが９２２件，誤っていたものが１８件であったことを示している。
【００５１】
辞書引き・辞書引き結果表示部３９は，ユーザ意図推定部３８の出力により，ある単語をユーザが理解していないと推定された場合，その単語を保持している辞書データ３１０を用いて辞書引きし，その結果を表示装置２２の画面上に表示する。
【００５２】
以下，自動辞書引きシステム３０の２つのフェーズ（関係式構築フェーズ，自動辞書引きフェーズ）の動作について，それぞれ図を用いて説明する。
【００５３】
図１１は，本実施の形態における関係式構築フェーズの動作を説明する図であり，図１２は，その関係式構築処理フローチャートである。本実施の形態における「関係式構築フェーズ」では，電子文書２３が持つ文書情報と，ユーザの視線から計測される視線情報と，ユーザにより入力されるユーザ意図とから，ユーザ意図を推測するための関係式を作成する。
【００５４】
視線測定部３１は，視線測定装置２０を用いて表示装置２２に表示された電子文書２３を注視するユーザの視線を測定し，その視線を電子文書２３上の座標に変換した視線情報を注視単語推定部３３に送る（ステップＳ１０）。
【００５５】
単語領域抽出部３２は，電子文書２３の文書情報を取得し，文書情報に含まれる単語を取得し，それぞれの単語の電子文書２３上で占めている領域を計算し，領域情報として保持する。文書情報を視線情報記録部３４に送り，領域情報を注視単語推定部３３と視線情報記録部３４に送る（ステップＳ１１）。
【００５６】
注視単語推定部３３は，視線測定部３１から受けた視線情報と単語領域抽出部３２から受けた領域情報とから，ユーザが見ている単語を推定し，その単語推定結果と視線情報とを視線情報記録部３４に送る（ステップＳ１２）。
【００５７】
視線情報記録部３４は，単語領域抽出部３２から文書情報と領域情報とを受け取り，注視単語推定部３３から視線情報と単語推定結果とを受け取り，それらの情報を関連付けて記録する。その記録を単語ごとの特徴量に変換し，その特徴量を関係式構築部３６に送る（ステップＳ１３）。
【００５８】
ユーザ意図記録部３５は，ユーザが入力装置２１を用いて入力したユーザ意図（ここでは，ユーザにより選択された理解困難・不能である単語）を取得し，それを記録する。ユーザ意図を関係式構築部３６に送る（ステップＳ１４）。
【００５９】
関係式構築部３６は，視線情報記録部３４から受けた特徴量と，ユーザ意図記録部３５から受けたユーザ意図とをもとに，ユーザにとって理解困難・不能である単語を推定するための関係式を作成し，関係式記憶部３７に保存する（ステップＳ１５）。
【００６０】
図１３は，本実施の形態における自動辞書引きフェーズの動作を説明する図であり，図１４は，本実施の形態における自動書引き処理フローチャートである。本実施の形態における「自動辞書引きフェーズ」では，電子文書２３が持つ文書情報と，ユーザの視線から計測される視線情報と，「関係式構築フェーズ」で作成された関係式とから，ユーザのユーザ意図を推定し，自動で辞書引きし，その辞書引き結果を表示装置２２の画面上に表示する。
【００６１】
「自動辞書引きフェーズ」における視線測定部３１，単語領域抽出部３２，注視単語推定部３３の動作（ステップＳ２０〜Ｓ２２）に関しては，前述の「関係式構築フェーズ」における動作（ステップＳ１０〜Ｓ１２）と同じ動作であるので，その説明を省略する。
【００６２】
視線情報記録部３４は，単語領域抽出部３２から文書情報と領域情報とを受け取り，注視単語推定部３３から視線情報と単語推定結果とを受け取り，それらの情報を関連付けて特徴量に変換する。特徴量をユーザ意図推定部３８に送る（ステップＳ２３）。
【００６３】
ユーザ意図推定部３８は，視線情報記録部３４から受けたある単語の特徴量をもとに，関係式記憶部３７に記憶されている関係式を用いて，その単語に対するユーザ意図（ここでは，ユーザにとってある単語が理解困難・不能であるか否か）を推定する。ユーザ意図推定結果を辞書引き・辞書引き結果表示部３９に送る（ステップＳ２４）。
【００６４】
辞書引き・辞書引き結果表示部３９は，ユーザ意図推定部３８から受けたユーザ意図推定結果により，ユーザ意図の推定を行った単語をユーザが理解していないと推定された場合（ステップＳ２５），その単語に関して辞書データ３１０を用いて辞書引きし（ステップＳ２６），その辞書引き結果を表示装置２２の画面上に表示する。ここで，辞書引き結果の出力は，スピーカなどの出力装置を用いて，音声で出力してもよい（ステップＳ２７）。
【００６５】
図２に示す自動辞書引きシステム３０の有効性を確認するため，試作した文書ブラウザを利用した単語理解度の推定実験を，５名の被験者について行った。各被験者が５文書を閲覧したときの情報を用いて決定木を作成した場合，再現率が平均１７．５％（最大３６．４％，最低３．４％），適合率が平均２９．９％（最大５８・１％，最低９．１％）でユーザの辞書引きを必要とする単語を推定できることがわかった。被験者ごとの決定木を比較した結果，類似した決定木が構築される場合もあるが，そうでないものも多かった。被験者が閲覧する文書数を５文書から１０文書に増やした場合，再現率が平均４０．７％，適合率が平均５８．３５％と上昇した（なお，文書を増やした場合の実験は被験者２名を対象とした）。
【００６６】
決定木の個人間の差は比較的大きいものの，文書の量が増えるにつれて推定結果がよくなることから，辞書引き判定には，個人ごとに決定木を作成するのがよく，文書の量を増やすことにより，推定精度が高くなることが示された。
【００６７】
以上，本発明を自動辞書引きシステムに適用した例を説明したが，本発明はこれに限定されるものではなく，コンピュータ操作上のユーザの意図をユーザの視線から推定して，システムが何らかのアクションを起こすことにより，ユーザの作業を支援するシステムに同様に適用することができる。例えば視線情報からある画像領域に対する説明文を自動表示するシステムや，ある表示領域において操作可能なメニュー項目を自動表示するシステム等への応用が考えられる。
【００６８】
【発明の効果】
以上説明したように，本発明では，ユーザの視線情報，電子文書の文書情報，ユーザから入力されたユーザ意図などから，そのユーザのユーザ意図を推定するための関係式を自動的に作成するため，高い専門知識やコストを必要とせずに，精度の高いユーザ意図の推定を行うための設計を自動的に行うことができる。
【００６９】
また，ユーザごとに特化された関係式を作成することもできるので，その関係式を用いてユーザ意図の推定を行うことによって，それぞれのユーザごとの適切なユーザ意図を推定することができるようになる。
【図面の簡単な説明】
【図１】本発明に係るユーザ意図推定装置の構成例を示す図である。
【図２】本実施の形態に係る自動辞書引きシステムの構成例を示す図である。
【図３】本実施の形態における表示画面の例を示す図である。
【図４】本実施の形態における単語と単語に付随する情報の例を示す図である。
【図５】本実施の形態における単語を構成するそれぞれの文字の座標に関する情報の例を示す図である。
【図６】本実施の形態における視線情報記録部により保持・記録されたデータの例を示す図である。
【図７】本実施の形態におけるユーザ意図記録部により保持・記録されたデータの例を示す図である。
【図８】本実施の形態における特徴量を説明する図である。
【図９】本実施の形態における特徴量とユーザ理解度のデータの例を示す図である。
【図１０】本実施の形態における決定木の例を示す図である。
【図１１】本実施の形態における関係式構築フェーズの動作を説明する図である。
【図１２】本実施の形態における関係式構築処理フローチャートである。
【図１３】本実施の形態における自動辞書引きフェーズの動作を説明する図である。
【図１４】本実施の形態における自動書引き処理フローチャートである。
【符号の説明】
１０ ユーザ意図推定装置
１１ 視線測定手段
１２ 構成要素領域抽出手段
１３ 注視領域推定手段
１４ 視線情報記録手段
１５ ユーザ意図記録手段
１６ 関係式構築手段
１７ 関係式記憶手段
１８ ユーザ意図推定手段
２０ 視線測定装置
２１ 入力装置
２２ 表示装置
２３ 電子文書
３０ 自動辞書引きシステム
３１ 視線測定部
３２ 単語領域抽出部
３３ 注視単語推定部
３４ 視線情報記録部
３５ ユーザ意図記録部
３６ 関係式構築部
３７ 関係式記憶部
３８ ユーザ意図推定部
３９ 辞書引き・辞書引き結果表示部
３１０ 辞書データ
Claims (8)
- ユーザが複数の構成要素からなる電子文書を閲覧する場合に，ユーザの視線からユーザの意図を推定するためのユーザ意図推定装置であって，
視線測定装置を用いてユーザの視線を測定する視線測定手段と，
各構成要素が前記電子文書中に占めている領域を決定する構成要素領域抽出手段と，
測定したユーザの視線と各構成要素の領域とからユーザが注視している構成要素を推定する注視領域推定手段と，
前記視線測定手段，前記構成要素領域抽出手段および前記注視領域推定手段によって得られた情報をもとに，各構成要素に対するユーザの視線情報を記録する視線情報記録手段と，
ユーザの操作情報から得られた各構成要素に対するユーザの意図を記録するユーザ意図記録手段と，
各構成要素に対して記録されたユーザの視線情報と前記ユーザの意図とを対応付ける関係式を構築する関係式構築手段と，
前記関係式を用い，各構成要素に対するユーザの視線情報から前記ユーザの意図を推定するユーザ意図推定手段とを備える
ことを特徴とするユーザ意図推定装置。 - ユーザが複数の構成要素からなる電子文書を閲覧する場合に，ユーザの視線からユーザの意図を推定するためのユーザ意図推定方法であって
関係式構築フェーズとして，
視線測定装置を用いてユーザの視線を測定する視線測定過程と，
各構成要素が前記電子文書中に占めている領域を決定する構成要素領域抽出過程と，
測定したユーザの視線と各構成要素の領域とからユーザが注視している構成要素を推定する注視領域推定過程と，
前記視線測定過程，前記構成要素領域抽出過程および前記注視領域推定過程によって得られた情報をもとに，各構成要素に対するユーザの視線情報を記録する視線情報記録過程と，
ユーザの操作情報から得られた各構成要素に対するユーザの意図を記録するユーザ意図記録過程と，
各構成要素に対して記録されたユーザの視線情報と前記ユーザの意図とを対応付ける関係式を構築する関係式構築過程とを有し，
ユーザ意図推定フェーズとして，
視線測定装置を用いてユーザの視線を測定する視線測定過程と，
各構成要素が前記電子文書中に占めている領域を決定する構成要素領域抽出過程と，
測定したユーザの視線と各構成要素の領域とからユーザが注視している構成要素を推定する注視領域推定過程と，
前記視線測定過程，前記構成要素領域抽出過程および前記注視領域推定過程によって得られた情報をもとに，各構成要素に対するユーザの視線情報を決定する視線情報決定過程と，
前記関係式構築フェーズにおいて構築された関係式を用い，各構成要素に対するユーザの視線情報から前記ユーザの意図を推定するユーザ意図推定過程とを有する
ことを特徴とするユーザ意図推定方法。 - 請求項２記載のユーザ意図推定方法をコンピュータに実行させるためのユーザ意図推定プログラム。
- 請求項２記載のユーザ意図推定方法をコンピュータに実行させるためのプログラムを記録したユーザ意図推定プログラムの記録媒体。
- ユーザが電子文書を閲覧する場合に，ユーザの視線からユーザが理解困難または理解できない単語を推定してその意味情報を提示する自動辞書引き装置であって，
視線測定装置を用いてユーザの視線を測定する視線測定手段と，
各単語が前記電子文書中に占めている領域を決定する単語領域抽出手段と，
測定したユーザの視線と各単語の領域とからユーザが注視している単語を推定する注視単語推定手段と，
前記視線測定手段，前記単語領域抽出手段および前記注視単語推定手段によって得られた情報をもとに，各単語に対するユーザの視線情報を記録する視線情報記録手段と，
ユーザの理解困難または理解できない単語に対する操作から辞書引きの必要性に関するユーザの意図を記録するユーザ意図記録手段と，
各単語に対して記録されたユーザの視線情報と前記ユーザの意図とを対応付ける関係式を構築する関係式構築手段と，
前記関係式を用い，各単語に対するユーザの視線情報から辞書引きの必要性に関する前記ユーザの意図を推定するユーザ意図推定手段と，
前記ユーザの意図の推定結果に基づき，辞書引きが必要と推定した単語について辞書データを用いて辞書引きし，辞書引き結果をユーザに提示する辞書引き・辞書引き結果出力手段とを備える
ことを特徴とする自動辞書引き装置。 - ユーザが電子文書を閲覧する場合に，ユーザの視線からユーザが理解困難または理解できない単語を推定してその意味情報を提示する自動辞書引き処理方法であって，
関係式構築フェーズとして，
視線測定装置を用いてユーザの視線を測定する視線測定過程と，
各単語が前記電子文書中に占めている領域を決定する単語領域抽出過程と，
測定したユーザの視線と各単語の領域とからユーザが注視している単語を推定する注視単語推定過程と，
前記視線測定過程，前記単語領域抽出過程および前記注視単語推定過程によって得られた情報をもとに，各単語に対するユーザの視線情報を記録する視線情報記録過程と，
ユーザの理解困難または理解できない単語に対する操作から辞書引きの必要性に関するユーザの意図を記録するユーザ意図記録過程と，
各単語に対して記録されたユーザの視線情報と前記ユーザの意図とを対応付ける関係式を構築する関係式構築過程とを有し，
自動辞書引きフェーズとして，
各単語が前記電子文書中に占めている領域を決定する単語領域抽出過程と，
測定したユーザの視線と各単語の領域とからユーザが注視している単語を推定する注視単語推定過程と，
各単語に対するユーザの視線情報を決定する視線情報決定過程と，
前記関係式構築フェーズにおいて構築された関係式を用い，各単語に対するユーザの視線情報から辞書引きの必要性に関する前記ユーザの意図を推定するユーザ意図推定過程と，
前記ユーザの意図の推定結果に基づき，辞書引きが必要と推定した単語について辞書データを用いて辞書引きし，辞書引き結果をユーザに提示する辞書引き・辞書引き結果出力過程とを有する
ことを特徴とする自動辞書引き処理方法。 - 請求項６記載の自動辞書引き処理方法をコンピュータに実行させるための自動辞書引き処理プログラム。
- 請求項６記載の自動辞書引き処理方法をコンピュータに実行させるためのプログラムを記録した自動辞書引き処理プログラムの記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003019982A JP2004246398A (ja) | 2003-01-29 | 2003-01-29 | ユーザ意図推定装置，ユーザ意図推定方法，ユーザ意図推定プログラムおよびそのプログラムの記録媒体，並びに自動辞書引き装置，自動辞書引き処理方法，自動辞書引き処理プログラムおよびそのプログラムの記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003019982A JP2004246398A (ja) | 2003-01-29 | 2003-01-29 | ユーザ意図推定装置，ユーザ意図推定方法，ユーザ意図推定プログラムおよびそのプログラムの記録媒体，並びに自動辞書引き装置，自動辞書引き処理方法，自動辞書引き処理プログラムおよびそのプログラムの記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004246398A true JP2004246398A (ja) | 2004-09-02 |
Family
ID=33018717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003019982A Pending JP2004246398A (ja) | 2003-01-29 | 2003-01-29 | ユーザ意図推定装置，ユーザ意図推定方法，ユーザ意図推定プログラムおよびそのプログラムの記録媒体，並びに自動辞書引き装置，自動辞書引き処理方法，自動辞書引き処理プログラムおよびそのプログラムの記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004246398A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007299026A (ja) * | 2006-04-27 | 2007-11-15 | Toshiba Corp | 電子新聞システム及びプログラム |
| US7949959B2 (en) * | 2006-11-10 | 2011-05-24 | Panasonic Corporation | Target estimation device and target estimation method |
| JP2011164856A (ja) * | 2010-02-08 | 2011-08-25 | ｗｅａｌｔｈ ｓｈａｒｅ株式会社 | 嗜好判定方法及び嗜好判定プログラム |
| JP2016191741A (ja) * | 2015-03-30 | 2016-11-10 | 株式会社エヌ・ティ・ティ・データ | 音声処理装置、音声処理方法およびプログラム |
| US11209900B2 (en) | 2017-04-03 | 2021-12-28 | Sony Corporation | Information processing device and information processing method |
-
2003
- 2003-01-29 JP JP2003019982A patent/JP2004246398A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007299026A (ja) * | 2006-04-27 | 2007-11-15 | Toshiba Corp | 電子新聞システム及びプログラム |
| US7949959B2 (en) * | 2006-11-10 | 2011-05-24 | Panasonic Corporation | Target estimation device and target estimation method |
| JP2011164856A (ja) * | 2010-02-08 | 2011-08-25 | ｗｅａｌｔｈ ｓｈａｒｅ株式会社 | 嗜好判定方法及び嗜好判定プログラム |
| JP2016191741A (ja) * | 2015-03-30 | 2016-11-10 | 株式会社エヌ・ティ・ティ・データ | 音声処理装置、音声処理方法およびプログラム |
| US11209900B2 (en) | 2017-04-03 | 2021-12-28 | Sony Corporation | Information processing device and information processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| White | Interactions with search systems | |
| US9075873B2 (en) | Generation of context-informative co-citation graphs | |
| US6907581B2 (en) | Method and system for implicitly resolving pointing ambiguities in human-computer interaction (HCI) | |
| US20110063231A1 (en) | Method and Device for Data Input | |
| US20170031652A1 (en) | Voice-based screen navigation apparatus and method | |
| US9691381B2 (en) | Voice command recognition method and related electronic device and computer-readable medium | |
| GB2568574A (en) | Highlighting key portions of text within a document | |
| KR20140128381A (ko) | 컨텍스트 기반 검색 쿼리 형성 기법 | |
| RU2614539C2 (ru) | Масштабирование адресной строки и вкладок на основе задачи | |
| CN109891374B (zh) | 用于与数字代理的基于力的交互的方法和计算设备 | |
| Menges et al. | Improving user experience of eye tracking-based interaction: Introspecting and adapting interfaces | |
| US20220188514A1 (en) | System for analyzing and prescribing content changes to achieve target readability level | |
| US20170068316A1 (en) | Input device using eye-tracking | |
| US20120254797A1 (en) | Information processor and computer program product | |
| Majaranta et al. | Eye movements and human-computer interaction | |
| Elguera Paez et al. | Elderly users and their main challenges usability with mobile applications: a systematic review | |
| US20140379324A1 (en) | Providing web-based alternate text options | |
| US20170322913A1 (en) | Stylizing text by replacing glyph with alternate glyph | |
| US20110022956A1 (en) | Chinese Character Input Device and Method Thereof | |
| US9223854B2 (en) | Document relevance determining method and computer program | |
| Ferdous et al. | Enabling Efficient Web Data-Record Interaction for People with Visual Impairments via Proxy Interfaces | |
| JP2004246398A (ja) | ユーザ意図推定装置，ユーザ意図推定方法，ユーザ意図推定プログラムおよびそのプログラムの記録媒体，並びに自動辞書引き装置，自動辞書引き処理方法，自動辞書引き処理プログラムおよびそのプログラムの記録媒体 | |
| JP5559750B2 (ja) | 広告処理装置、情報処理システム及び広告処理方法 | |
| Smith et al. | Exploring the use of query auto completion: Search behavior and query entry profiles | |
| Arias et al. | Web accessibility for people with reduced mobility: a case study using eye tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070522 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070522 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070904 |