JP6287486B2 - 情報処理装置、方法及びプログラム - Google Patents

情報処理装置、方法及びプログラム Download PDF

Info

Publication number
JP6287486B2
JP6287486B2 JP2014071251A JP2014071251A JP6287486B2 JP 6287486 B2 JP6287486 B2 JP 6287486B2 JP 2014071251 A JP2014071251 A JP 2014071251A JP 2014071251 A JP2014071251 A JP 2014071251A JP 6287486 B2 JP6287486 B2 JP 6287486B2
Authority
JP
Japan
Prior art keywords
line
sight
users
user
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014071251A
Other languages
English (en)
Other versions
JP2015194809A (ja
Inventor
尚子 林田
尚子 林田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014071251A priority Critical patent/JP6287486B2/ja
Priority to EP15153718.0A priority patent/EP2926721B1/en
Priority to US14/616,886 priority patent/US9851789B2/en
Publication of JP2015194809A publication Critical patent/JP2015194809A/ja
Application granted granted Critical
Publication of JP6287486B2 publication Critical patent/JP6287486B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、表示画面上における視線位置の移動に基づく情報処理技術に関する。
例えば表示画面上に表示されている文書を読んでいるユーザについて、例えば表示画面の上や下に設置された視線センサが高精度であれば、表示中の文章に沿って読んでいることや、文章領域を斜め読みしていることを、計測した視線データそのものから推定できる。
一方、安価な視線センサを用いる場合には、計測した視線データそのものに誤差が含まれており、例えばパーソナルコンピュータの典型的な表示画面上に１点の視線位置が検出されると、その視線位置を含む、画面６分の１程度の領域内に、真の視線位置が含まれているといった検出精度の場合もある。
このような場合、文章に沿って読んだ場合であっても、文章領域と視線データから求めた視点の座標とが一致することは期待できない。また、時系列に計測した視線データそのものの並びによって、あるユーザの視線方向の推移と他のユーザの視線方向の推移との異同を正確に判断するのは難しい。
例えば、同じ文書などのコンテンツを複数人で視聴するケース、例えば書類の記入漏れ確認作業やオンライン教育等において、書類の部分的な確認作業忘れや、オンライン教育における重要箇所の読み飛ばしを検出できれば、該当ユーザに警告を行うことができる。しかしながら、安価な視線センサでは、上記のような問題を高精度で検出することができない。
なお、視線位置と視線速度に基づいて、表示部に表示された電子文書が読まれたか否かを判断する技術は存在しているが、視線位置に依存していることから視線センサの精度が高いことが前提となっている。
また、視線センサの精度が低いことを前提とした技術も存在しているが、ある部分を注視しているか否かを、視線の速度と視線の時系列変化から得られる曲率とから判断するものである。このような技術では、他のユーザとの関係は考慮されていない。
特開２０１３−２５６５６号公報 特開平５−５６９２５号公報
従って、本発明の目的は、一側面としては、精度が低い視線センサを用いていても表示画面上において典型的な視線の移動を行っていないユーザを検出できるようにするための技術を提供することである。
本発明に係る情報処理装置は、（Ａ）表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された視線の移動履歴から、複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定する特定部と、（Ｂ）複数のユーザの各々について特定された視線の移動方向推移に基づき、複数のユーザのうち少数派のユーザを抽出する抽出部とを有する。
一側面としては、精度が低い視線センサを用いていても、表示画面上において典型的な視線の移動を行っていないユーザを検出できるようになる。
図１（ａ）乃至（ｃ）は、精度の低い視線センサでの視線検出結果を説明するための図である。 図２は、視線移動の傾向について説明するための図である。 図３は、視線の実質移動量を説明するための図である。 図４は、視線の実質移動量を説明するための図である。 図５は、実施の形態に係るシステムの概要を示す図である。 図６は、第１の実施の形態における主情報処理装置の機能ブロック図である。 図７は、第１の実施の形態における処理フローを示す図である。 図８は、収集データ格納部に格納されるデータの例を示す図である。 図９は、収集データ格納部に格納されるデータの例を示す図である。 図１０は、収集データ格納部に格納されるデータの例を示す図である。 図１１は、収集データ格納部に格納されるデータの例を示す図である。 図１２は、収集データ格納部に格納されるデータの例を示す図である。 図１３は、移動方向推定処理の処理フローを示す図である。 図１４は、移動方向の算出例を示す図である。 図１５は、移動方向の算出例を示す図である。 図１６は、移動方向の算出例を示す図である。 図１７は、移動方向の算出例を示す図である。 図１８は、移動方向の算出例を示す図である。 図１９は、移動方向の算出例を示す図である。 図２０は、算出された実質移動量の一例を示す図である。 図２１は、移動方向ラベリングの例を示す図である。 図２２は、移動方向ラベルの集約例を示す図である。 図２３は、第１の実施の形態における処理フローを示す図である。 図２４は、複数人の移動方向ラベルから多数派を決定する処理を説明するための図である。 図２５は、第１の実施の形態における類似度の算出の一例を示す図である。 図２６は、第２の実施の形態における主情報処理装置の機能ブロック図である。 図２７は、第２の実施の形態における処理フローを示す図である。 図２８は、包含矩形の一例を示す図である。 図２９は、包含矩形の他の例を示す図である。 図３０は、矩形処理部の処理結果の一例を示す図である。 図３１は、第２の実施の形態における処理フローを示す図である。 図３２は、第２の実施の形態における類似度の算出例を示す図である。 図３３は、移動方向から特定される矩形を考慮する場合を説明するための図である。 図３４は、実質移動量の調整例を示す図である。 図３５は、信頼度を反映した矩形の一例を示す図である。 図３６は、信頼度を反映した矩形の一例を示す図である。 図３７は、信頼度を反映した矩形の一例を示す図である。 図３８は、信頼度を反映した矩形の一例を示す図である。 図３９は、信頼度を反映した矩形の一例を示す図である。 図４０は、信頼度を反映した矩形の一例を示す図である。 図４１は、他の実施の形態における包含矩形の一例示す図である。 図４２は、他の実施の形態における矩形の設定処理の処理フローを示す図である。 図４３は、コンピュータの機能ブロック図である。
［実施の形態１］
本実施の形態では、各ユーザについて視線の移動方向の推移を把握し、それらに基づき典型的な視線の移動方向推移とは異なる視線の移動方向推移が把握されたユーザを検出する。このようなユーザは、書類の記入漏れ確認作業やオンライン教育等において、書類の部分的な確認作業忘れや、オンライン教育における重要箇所の読み飛ばしを行った可能性がある。よって、このようなユーザや管理者に警告を発することで、書類の部分的な確認作業忘れや、オンライン教育における重要箇所の読み飛ばしなどを抑制させることができる。
但し、上で述べたように、安価な視線センサを用いる場合には、測定された視線位置は誤差を含んでおり、測定された視線位置から単純に視線の移動方向推移を特定するのは好ましくない。一方、安価な視線センサを用いたとしても、図１（ａ）に示すように表示画面の領域Ａあたりを注視している状態から、図１（ｂ）に示すように視線を移動させ、図１（ｃ）に示すように表示画面の領域Ｂあたりを注視している状態へ遷移する様子を特定することはできる。
本実施の形態では、たとえ図１（ａ）や図１（ｃ）に示すような注視の状態においても、その視線移動方向の傾向を抽出できるようにし、当該視線移動方向の傾向から、視線の移動方向推移を表すデータを生成することとする。
より具体的には、図２に示すように、例えば８点の視線位置が検出された状態を想定する。ここで、１番目の視線位置と２番目の視線位置とに着目する。そうすると、１番目の視線位置は誤差を考えると円Ｃの範囲内に存在しており、２番目の視線位置は誤差を考えると円Ｄの範囲内に存在しており、１番目の視線位置から２番目の視線位置へ移動する際には、視線位置は円Ｃと円Ｄが重なった領域Ｅを移動した可能性がある。このような領域Ｅは、誤差を勘案した移動方向の傾向を表しているが、領域Ｅをそのまま取り扱うのは難しいので、本実施の形態では、以下に述べるような方法にて、視線移動方向の傾向を表現するようにする。
すなわち、着目する視線位置と次の視線位置だけではなく、さらに後続の視線位置から実質的な視線の移動方向を算出する。より具体的には、表示画面のｘ軸方向及びｙ軸方向の各々について、着目する視線位置から所定時間内において移動方向の向きの反転を検出するまで移動量を累積することで、実質的な移動量を算出する。
図２における１番目の視線位置に着目し、ｎ（正の整数。例えば６）番目の視線位置までの時間内に、折り返しの有無を判断する。ｘ軸方向については、図３に示すように、１番目の視線位置から２番目の視線位置への移動量はｄｘ＿１であり、２番目の視線位置から３番目の視線位置への移動量はｄｘ＿２であるが、２番目の視線位置から３番目の視線位置への移動において折り返しが発生している。そこで、１番目の視線位置からのｘ軸方向における実質移動量ｍｏｖｘ＿１を、ｄｘ＿１＋ｄｘ＿２で表すことにする。
同様に、ｙ軸方向については、図４に示すように、１番目の視線位置から２番目の視線位置への移動量はｄｙ＿１であり、２番目の視線位置から３番目の視線位置への移動量はｄｙ＿２であり、３番目の視線位置から４番目の視線位置への移動量はｄｙ＿３である。３番目の視線位置から４番目の視線位置への移動において折り返しが発生している。そこで、１番目の視線位置からのｙ軸方向における実質移動量ｍｏｖｙ＿１を、ｄｙ＿１＋ｄｙ＿２＋ｄｙ＿３で表すことにする。
このような計算を各視点位置について繰り返すことで、各視点位置における移動方向の傾向を算出する。このような計算は、表示画面上一点を見ている場合、測定結果として目の微細な動きを除去できないので、全く同じ座標値になることはないが、所定時間内における各視線位置からの移動量の総和はゼロに近づくという性質に基づくものである。
そして、一定時間（以下、時間帯と呼ぶ）毎に、このような移動方向の傾向をまとめることで、視線の移動方向推移を決定する。そして、視線の移動方向推移に基づき、複数のユーザのうち少数派となるユーザを抽出する。
次に、本実施の形態におけるシステムの概要を図５を用いて説明する。
本実施の形態におけるシステムでは、本実施の形態における主要な処理を実行する主情報処理装置１００と、複数のユーザ側情報処理装置３００（図では、３００ａ乃至３００ｎ）と、管理者端末４００とが、ネットワーク２００を介して接続されている。
ユーザ側情報処理装置３００ａは、情報表示装置３０１ａと、情報収集装置３０２ａとを含む。情報表示装置３０１ａは、ユーザに対して表示装置に文書などのデータを表示し、その表示履歴についてのデータを管理する。文書などのデータについては、主情報処理装置１００などから配信される場合もあれば、情報表示装置３０１ａで保持されている場合もある。
さらに、情報収集装置３０２ａは、視線センサを有しており、表示画面上におけるユーザの視線位置に関するセンサデータ等を収集する。例えば、情報収集装置３０２ａは、Ｗｅｂカメラのような装置を含み、Ｗｅｂカメラで撮影された画像から、表示画面上における視線位置を算出するようにしても良い。なお、このような検出技術については、Stylianos Asteriadis et al.,“Estimation of behavioral user state based on eye gaze and head pose-application in an e-learning environment”, Multimed Tools Appl, 2009.などを参照のこと。なお、センサデータから、表示画面上の視点座標を算出する処理については、主情報処理装置１００において実施しても良いし、情報収集装置３０２ａで収集で行っても良い。
また、情報収集装置３０２ａは、情報表示装置３０１ａの表示画面上に表示されているコンテンツの履歴データをも収集する。情報収集装置３０２ａで収集されたデータは、主情報処理装置１００へネットワーク２００を介して送信される。
なお、情報表示装置３０１ａと情報収集装置３０２ａとは、一体となってユーザ側情報処理装置３００ａを成す場合もある。ユーザ側情報処理装置３００ａは、携帯電話機（スマートフォンを含む）、タブレット装置、パーソナルコンピュータなどであっても良い。さらに、他のユーザ側情報処理装置３００ｂ乃至３００ｎについても、ユーザ側情報処理装置３００ａと同様の構成を有する。
ユーザ側情報処理装置３００は、ユーザ一人ずつに用意されている場合もあれば、複数のユーザで共用する場合もある。
管理者端末４００は、例えばシステムの管理者が操作する端末装置であり、典型的な視線の移動方向推移を成さなかったユーザについてのデータが、主情報処理装置１００から通知された場合に、表示装置などに表示する。
次に、主情報処理装置１００の構成例を図６に示す。主情報処理装置１００は、データ収集部１０１と、収集データ格納部１０２と、推移特定部１０３と、推移データ格納部１０４と、抽出部１０５と、抽出データ格納部１０６と、出力部１０７とを有する。
データ収集部１０１は、ユーザ側情報処理装置３００から送信されるセンサデータ及び表示履歴データなどを受信して、収集データ格納部１０２に格納する。センサデータが、表示画面上の視点座標データに変換されていない場合には、データ収集部１０１は、データ変換処理をも実施する。
推移特定部１０３は、移動方向推定部１０３１を有し、視線の移動方向推移を表すデータを生成し、推移データ格納部１０４に格納する。移動方向推定部１０３１は、図３及び図４を用いて説明した実質移動量の算出を行う。
抽出部１０５は、多数派決定部１０５１と、少数派抽出部１０５２とを有し、典型的な視線の移動方向推移を成さなかったユーザについてのデータを抽出して、抽出データ格納部１０６に格納する。多数派決定部１０５１は、複数のユーザについての視線の移動方向推移から、多数派についての視線の移動方向推移を決定する。また、少数派抽出部１０５２は、多数派についての視線の移動方向推移と非類似の視線の移動方向推移を成したユーザを抽出する。
出力部１０７は、抽出データ格納部１０６に格納されている少数派のユーザについてのデータを、例えば管理者端末４００に送信する。その他の装置（ユーザ側情報処理装置３００を含む）に出力するようにしても良い。
次に、図７乃至図２５を用いて、主情報処理装置１００における処理について説明する。まず、データ収集部１０１は、各ユーザ側情報処理装置３００ａ乃至３００ｎから、センサデータ及び表示履歴データなどを受信し、センサデータを視点座標データに変換して、収集データ格納部１０２に格納する（図７：ステップＳ１）。
上でも述べたように、例えば情報表示装置３０１の表示画面上には、文書チェック業務中であればチェック対象文書、オンライン教育であれば受講中のオンライン教材が表示される。この時同時に、情報収集装置３０２は、視線センサからセンサデータを取得し、さらに表示されているコンテンツのデータについても取得して、それらを紐付けた形で主情報処理装置１００へ送信する。
主情報処理装置１００のデータ収集部１０１は、このような視線センサからのセンサデータ及びコンテンツのデータを、各ユーザ側情報処理装置３００から受信し、収集データ格納部１０２に格納する。
図８乃至図１２に、収集データ格納部１０２に格納されるコンテンツデータの一例を示す。まず、図８に、ウィンドウ座標の履歴データの一例を示す。図８の例では、表示時刻と、ユーザＩＤと、スクリーンＩＤと、ウィンドウＩＤと、当該ウィンドウの左上のｘ座標及びｙ座標と、ウィンドウの幅及び高さと、重なり順とを含む。これによって、どのようなウィンドウが表示画面上に表示されているか、どのウィンドウが最前面になっているのかを把握できる。
さらに、図９に、コンテンツとウィンドウとの関係の一例を表す。図９の例では、表示時刻と、ユーザＩＤと、スクリーンＩＤと、ウィンドウＩＤと、コンテンツＩＤと、コンテンツ時間区間とを含む。このようなデータによって、どのようなウィンドウにどのようなコンテンツが表示されているかを把握できる。コンテンツ時間区間は、例えばコンテンツ中における最初からの位置（例えば視聴時間やページ数など）を表す。
なお、図１０に、コンテンツの保存先データの一例を示す。図１０の例では、コンテンツＩＤと、保存先のアドレス（ＵＲＩ（Uniform Resource Identifier））とが含まれる。このデータについては、予め格納しておいても良い。
このように、各ユーザについて、表示画面上に表示されている各ウィンドウがどのような状態で表示され、ウィンドウ中にどのようなコンテンツが表示されたのかを履歴データとして蓄積する。
この時、ウィンドウ中にコンテンツが表示されている場合であってもウィンドウが他のウィンドウの下に隠れ、実際にはユーザが、目視すべきウィンドウ中のコンテンツを一切見ていない場合もあるため、ウィンドウ座標の履歴データ（図８）には、ウィンドウの表示位置、表示サイズを表すデータのみではなく、ウィンドウの重なり順も含むようになっている。
また、収集データ格納部１０２には、視線センサのセンサデータから得られた視点座標データも格納される。図１１に、表示画面の絶対座標として求めた視線座標データの位置例を示す。図１１の例では、計測時刻と、ユーザＩＤと、スクリーンＩＤと、ｘ座標値と、ｙ座標値とが含まれる。
一方、表示画面上に複数のウィンドウが表示されている場合には、ウィンドウの重なりを考慮することで、最前面に表示されたウィンドウを目視しているものとして、当該ウィンドウ内の視点座標データを算出する。このような場合には、図１２に示すようなデータが収集データ格納部１０２に格納される。図１２の例でも、計測時刻と、ユーザＩＤと、スクリーンＩＤと、ｘ座標値と、ｙ座標値とが含まれる。なお、表示画面内における相対的な座標値が記録される。
これ以降の説明では、説明を簡単にするため、表示画面上には１つのウィンドウが全面表示されており、視点座標を最前面のウィンドウ上の座標として求めた場合を例に説明する。
図７の処理の説明に戻って、推移特定部１０３は、現時点が、視線の移動方向推移を特定するための第１のタイミングであるか否かを判断する（ステップＳ３）。例えば、タイマにより計測された所定のタイミングであるか否か、または比較対象のユーザからデータを全て受け取ったといったタイミングであるか否かを判断する。現時点が上で述べたような第１のタイミングではない場合には、処理は端子Ａを介して図２３の処理に移行する。
一方、現時点が上で述べたような第１のタイミングであれば、推移特定部１０３は、収集データ格納部１０２から、処理すべき複数の時間帯における処理対象ユーザについての視点座標データを読み出す（ステップＳ５）。
そして、推移特定部１０３は、読み出した視点座標データにおいて、未処理のユーザを一人特定する（ステップＳ７）。そして、移動方向推定部１０３１は、特定されたユーザについて移動方向推定処理を実行し、処理結果を推移データ格納部１０４に格納する（ステップＳ９）。この移動方向推定処理については、図１３乃至図１９を用いて説明する。
まず、移動方向推定部１０３１は、各視点座標（最後の視点座標を除く）について、ｘ軸方向及びｙ軸方向で、直後の視点座標との差分値ｄｘ及びｄｙを算出する（図１３：ステップＳ２１）。例えば、ｘ軸方向について、１番目の視点座標と２番目の視点座標との差ｄｘ＿１、２番目の視点座標と３番目の視点座標との差ｄｘ＿２、３番目の視点座標と４番目の視点座標との差ｄｘ＿３、４番目の視点座標と５番目の視点座標との差ｄｘ＿４、５番目の視点座標と６番目の視点座標との差ｄｘ＿５、及び６番目の視点座標と７番目の視点座標の差ｄｘ＿６といったように算出される。ｙ軸方向についても同様である。
また、移動方向推定部１０３１は、処理対象の視点座標（ｋ番目の視点座標とする）を１つ特定する（ステップＳ２３）。
そして、移動方向推定部１０３１は、変数ｒを０に初期化する（ステップＳ２５）。その後、移動方向推定部１０３１は、処理対象の視点座標ｋについて、実質移動量ｍｏｖｘ＿ｋに、ｒ番目の差ｄｘ＿（ｋ＋ｒ）を加算する（ステップＳ２７）。
そして、移動方向推定部１０３１は、ｄｘ＿ｋの向きとｄｘ＿（ｋ＋ｒ）の向きが異なる、すなわちｄｘ＿（ｋ＋ｒ）の向きが反転した（符号が反転）か、又はｒが所定値（所定期間に相当する値）となったか否かを判断する（ステップＳ２９）。
このステップＳ２９の条件が満たされない場合には、さらにｄｘ＿（ｋ＋ｒ＋１）をｍｏｖｘ＿ｋに累積加算するために、移動方向推定部１０３１は、ｒを１インクリメントし（ステップＳ３１）、処理はステップＳ２７に戻る。
一方、ステップＳ２９の条件が満たされた場合には、ｘ軸方向については、今回の処理対象となった視点座標についての実質移動量が得られたことになる。そこで、移動方向推定部１０３１は、変数ｒを０に初期化する（ステップＳ３３）。その後、移動方向推定部１０３１は、処理対象の視点座標ｋについて、実質移動量ｍｏｖｙ＿ｋに、ｒ番目の差ｄｙ＿（ｋ＋ｒ）を加算する（ステップＳ３５）。
そして、移動方向推定部１０３１は、ｄｙ＿ｋの向きとｄｙ＿（ｋ＋ｒ）の向きが異なる、すなわちｄｙ＿（ｋ＋ｒ）の向きが反転した（符号が反転）か、又はｒが所定値（所定期間に相当する値）となったか否かを判断する（ステップＳ３７）。
このステップＳ３７の条件が満たされない場合には、さらにｄｙ＿（ｋ＋ｒ＋１）をｍｏｖｙ＿ｋに累積加算するために、移動方向推定部１０３１は、ｒを１インクリメントし（ステップＳ３９）、処理はステップＳ３５に戻る。
一方、ステップＳ３７の条件が満たされた場合には、ｙ軸方向についても、今回の処理対象となった視点座標についての実質移動量が得られたことになる。そこで、移動方向推定部１０３１は、処理すべき視点座標が、ステップＳ５で読み出された視点座標データに存在しているか否かを判断する（ステップＳ４１）。
処理すべき視点座標が存在している場合には、移動方向推定部１０３１は、ｋを１インクリメントして（ステップＳ４３）、処理はステップＳ２３に戻る。一方、処理すべき視点座標が残っていない場合には、処理は呼び出し元の処理に戻る。
例えば図２の例で、ｒの上限値を例えば６として処理した場合には、図１４乃至図１９に示すようなｍｏｖｘ及びｍｏｖｙが得られる。図１４には、ｍｏｖｘ＿１及びｍｏｖｙ＿１を示す。図１５には、ｍｏｖｘ＿２及びｍｏｖｙ＿２を示す。図１６には、ｍｏｖｘ＿３及びｍｏｖｙ＿３を示す。図１７には、ｍｏｖｘ＿４及びｍｏｖｙ＿４を示す。図１８には、ｍｏｖｘ＿５及びｍｏｖｙ＿５を示す。図１９には、ｍｏｖｘ＿６及びｍｏｖｙ＿６を示す。
また、移動方向推定部１０３１の処理結果は、推移データ格納部１０４に格納される。例えば、図２０に示すようなデータが格納される。図２０の例では、ｘ軸及びｙ軸のそれぞれについて、時刻ｔ＝１から６までの各時刻について実質移動量ｍｏｖｘ及びｍｏｖｙが登録される。なお、実質移動量は、その符号によってｘ軸方向及びｙ軸方向の向きを表している。図１４乃至図１９で示したように、ｘ軸方向で正の実質移動量であれば右向き、負の実質移動量であれば左向き、ｙ軸方向で正の実質移動量であれば上向き、負の実質移動量であれば下向きを表す。
図７の処理の説明に戻って、推移特定部１０３は、移動方向推定部１０３１によって算出された推定移動方向から、各時刻の移動方向ラベルを特定し、推移データ格納部１０４に格納する（ステップＳ１１）。
図２０に示すような結果が得られた場合には、図２１に示すようなデータが得られる。なお、右向きはＲと表し、左向きはＬと表し、上向きはＵと表し、下向きはＤと表すものとする。
本実施の形態では、例えば実質移動量の絶対値が１０以下の場合には、誤差として検出されなかったものとする。また、実質移動量の絶対値が、表示画面の枠を超えるような値（ｙ軸方向であれば高さHeight以上、ｘ軸方向であれば横幅width以上）であれば、表示画面以外を見ているものとして、これも検出されなかったものとする。
そうすると、図２１において、ｘ軸方向ｔ＝２及びｙ軸方向ｔ＝５については、実質移動量の絶対値が１０以下なので除外されて「−」で表されている。それ以外は、上で述べたようなルールで、ラベル付けされている。なお、説明の都合上ｔ＝７についてはラベル付けされていない。
さらに、推移特定部１０３は、各時刻の移動方向ラベルを、各時間帯について集約し、その集約結果を推移データ格納部１０４に格納する（ステップＳ１３）。例えば、２秒毎に時間帯を設定するとすると、その２秒間に含まれるラベル（例えば７点）のうち例えば閾値以上（例えば６割以上）を占めるラベルがあれば、そのラベルをその時間帯を代表するラベルとして設定し、そのようなラベルが存在しなければその時間帯を代表するラベルは無し「−」とする。
例えば、図２１に示した例では、ｘ軸方向では全てＲとなっているので、Ｒが選択される。ｙ軸方向では５つのうち４つがＤとなっているので、Ｄが選択される。このような判断を各時間帯について行うことで、図２２に示すようなデータが得られる。この例では、図２１で示したデータが、図２２の時刻０−２の２秒間の時間帯の推移データとして、集約される。
そして、推移特定部１０３は、収集データ格納部１０２において、未処理のユーザが存在するか判断する（ステップＳ１５）。未処理のユーザが存在する場合には、処理はステップＳ７に戻る。一方、未処理のユーザが存在しない場合には、処理は端子Ｂを介して図２３のステップＳ５１に移行する。
図２３のステップＳ５１へ端子Ｂを介して移行して、抽出部１０５は、現時点が、多数派及び少数派を特定するための第２のタイミングになったか判断する（ステップＳ５１）。例えば、タイマにより計測された所定のタイミングであるか否か、または処理すべきデータが揃ったといったタイミングであるか否かを判断する。現時点が上で述べたような第２のタイミングではない場合には、処理を終了する。
一方、現時点が、第２のタイミングであれば、抽出部１０５は、複数のユーザの視点推移データを複数の時間帯を含む一定時間分を、読み出す（ステップＳ５３）。
そして、抽出部１０５の多数派決定部１０５１は、ｘ軸及びｙ軸の各々について、各時間帯の移動方向の多数派を決定する（ステップＳ５５）。
図２４を用いて、多数派決定について説明する。図２４の例では、ｘ軸、ｙ軸それぞれについて、ｎ人のユーザの各々について、各時間帯の移動方向ラベルが列挙されている。そこで、本ステップでは、各時間帯について、最も人数が多い移動方向ラベルを、移動方向の多数派として決定する。例えば、０−２秒の時間帯については、ｘ軸については、「Ｒ」が選択されたユーザの数が多いので「Ｒ」を多数派として特定する。ｙ軸については、例えば「Ｄ」と「Ｕ」とが同数で多数派が特定できないので、多数派なし「−」が登録される。これを各時間帯について行えば、ｘ軸についての最終行、ｙ軸についての最終行が得られるようになる。
その後、抽出部１０５の少数派抽出部１０５２は、読み出したデータのうち未処理のユーザを一人抽出する（ステップＳ５７）。そして、少数派抽出部１０５２は、特定されたユーザについて、時間帯毎に、多数派との類似度を算出する（ステップＳ５９）。
より具体的には、各時間帯について、多数派の移動方向と一致していれば「１」、不一致であれば「０」、それ以外（例えばいずれかが「−」）であれば「０．５」といったように類似度を算出する。図２４に示した例であれば、本ステップを実行することで、１番目のユーザ「ＵｓｅｒＲ１」について、図２５に示すような結果が得られる。この例では、ｘ軸については「１」が多いが、ｙ軸については「１」は多くない。
なお、本ステップにおいて、ｘ軸について類似度の平均値又は総和、及びｙ軸について類似度の平均値又は総和を算出して、総合的な類似度として採用しても良い。さらに、各時間帯について平均値などを計算した後、平均値や総和にて総合的な類似度を算出するようにしても良い。
そして、少数派抽出部１０５２は、読み出したデータのうち未処理のユーザが存在するか否かを判断する（ステップＳ６１）。未処理のユーザが存在する場合には、処理はステップＳ５７に戻る。一方、未処理のユーザが存在しない場合には、少数派抽出部１０５２は、算出された類似度に基づき少数派のユーザを抽出し、当該抽出されたユーザについてのデータを、抽出データ格納部１０６に格納する（ステップＳ６３）。例えば、総合的な類似度が、閾値未満であるユーザを少数派として特定しても良いし、ｘ軸又はｙ軸で類似度「１」の時間帯が、所定数未満であるユーザを少数派として特定しても良い。
その後、出力部１０７は、抽出データ格納部１０６に格納された少数派ユーザのデータを、例えば管理者端末４００へ送信する（ステップＳ６５）。これによって、管理者は、問題のあるユーザを特定できる。なお、少数派ユーザのユーザ側情報処理装置３００へ、警告データを送信するようにしても良い。
このような処理を例えば定期的に又は管理者などからの要求に応じて繰り返すようにすれば、典型的でない視線の移動方向推移をなしたユーザを特定できるようになる。
本実施の形態によれば、低精度の視線センサを用いていても、視線の移動方向をその特性に応じた方法で抽出することで、視線の移動方向推移が特定され、多数派及び少数派を特定できるようになる。
これによって、書類の部分的な確認作業忘れや、オンライン教育における重要箇所の読み飛ばしなどを検出、そして抑制させることができる。
［実施の形態２］
本実施の形態では第１の実施の形態とは異なる少数派ユーザの抽出方法を採用する。但し、図５に示したシステムの概要は、本実施の形態でも同様である。
図２６に、本実施の形態に係る主情報処理装置１００ｂの構成例を示す。
本実施の形態に係る主情報処理装置１００ｂの基本構成は、第１の実施の形態と同様であり、推移特定部１０３ｂと抽出部１０５ｂの構成が異なる。
すなわち、推移特定部１０３ｂは、移動方向推定部１０３１に加えて、矩形処理部１０３２を有する。矩形処理部１０３２は、各時間帯における視線の移動方向推移を、数値化するための処理を実行する。
また、抽出部１０５ｂは、類似度算出部１０５３と少数派抽出部１０５２ｂとを有する。類似度算出部１０５３は、矩形処理部１０３２の処理結果に基づき、各ユーザについて、当該ユーザと他のユーザとの類似度を算出する。
少数派抽出部１０５２ｂは、類似度算出部１０５３によって算出された類似度に基づき、少数派ユーザを抽出する。
次に、図２７乃至図３２を用いて、本実施の形態に係る主情報処理装置１００ｂの処理内容について説明する。
まず、データ収集部１０１は、各ユーザ側情報処理装置３００ａ乃至３００ｎから、センサデータ及び表示履歴データなどを受信し、センサデータを視点座標データに変換して、収集データ格納部１０２に格納する（図２７：ステップＳ１０１）。本ステップは、ステップＳ１と同様である。
次に、推移特定部１０３ｂは、現時点が、視線の移動方向推移を特定するための第１のタイミングであるか否かを判断する（ステップＳ１０３）。このステップは、ステップＳ３と同様である。現時点が上で述べたような第１のタイミングではない場合には、処理は端子Ｃを介して図３１に移行する。
一方、現時点が上で述べたような第１のタイミングであれば、推移特定部１０３ｂは、収集データ格納部１０２から、処理すべき複数の時間帯における処理対象ユーザについての視点座標データを読み出す（ステップＳ１０５）。このステップは、ステップＳ５と同様である。
そして、推移特定部１０３ｂは、読み出した視点座標データにおいて、未処理のユーザを一人特定する（ステップＳ１０７）。このステップは、ステップＳ７と同様である。そして、移動方向推定部１０３１は、特定されたユーザについて移動方向推定処理を実行し、処理結果を推移データ格納部１０４に格納する（ステップＳ１０９）。この移動方向推定処理については、図１３に示したものと同様である。
そして、矩形処理部１０３２は、各時間帯について、視点座標と当該視点座標における移動方向（ｘ軸方向の実質移動量及びｙ軸方向の実質移動量）とを包含する包含矩形の矩形面積及び中心点の座標値（又はそれらのうちいずれか）を算出し、推移データ格納部１０４に格納する（ステップＳ１１１）。
例えば、図２の例では、図２８に示すような包含矩形Ｆが特定される。なお、包含矩形Ｆの中心点は、点ｆである。このように、ある領域を注視しているような状態であれば、矩形はおおよそ視線位置の包含矩形と一致する。但し、図１（ｂ）のように視線が大きく移動している時間帯であれば、図２９に示すように、視線位置からの移動方向に応じた移動先座標で包含矩形の形状が決まってくる。なお、図２９において外側の枠は、図１（ｂ）と同じ向きで画面を示した場合の表示領域の外形を示している。
そうすると、図３０に示すようなデータが、推移データ格納部１０４に格納される。図３０の例では、包含矩形の矩形面積と、包含矩形の中心点座標とが、ユーザ毎且つ時間帯毎に格納される。
そして、推移特定部１０３ｂは、ステップＳ１０５で読み出したデータのうち未処理のユーザが存在するか否かを判断する（ステップＳ１１３）。未処理のユーザが存在する場合には、処理はステップＳ１０７に戻る。一方、未処理のユーザが存在しない場合には、処理は端子Ｄを介して図３１の処理に移行する。
図３１の処理の説明に移行して、抽出部１０５ｂは、現時点が、多数派及び少数派を特定するための第２のタイミングになったか判断する（ステップＳ１１５）。本ステップは、ステップＳ５１と同様である。現時点が上で述べたような第２のタイミングではない場合には、処理を終了する。
一方、現時点が、第２のタイミングであれば、抽出部１０５ｂは、複数のユーザの視点推移データを複数の時間帯を含む一定時間分を、読み出す（ステップＳ１１７）。
そして、類似度算出部１０５３は、ステップＳ１１７で読み出したデータにおいて、未処理のユーザを一人特定する（ステップＳ１１９）。また、類似度算出部１０５３は、時間帯毎に、他のユーザ各々との類似度を算出する（ステップＳ１２１）。
例えば、包含矩形の矩形面積については、１−｜第１のユーザの矩形面積−第２のユーザの矩形面積｜／正規化のための基準面積で算出する。第１のユーザが、ステップＳ１１９で特定されたユーザである。正規化のための基準面積には、全てのユーザに対して同一の値を用いるようにしても良いし、第１のユーザの矩形面積であっても良い。
さらに、包含矩形の中心点についての類似度については、１−正規化された中心点距離で算出する。正規化された中心点距離は、｛（第１のユーザのｘ座標値−第２のユーザのｘ座標値）2＋（第１のユーザのｙ座標値−第２のユーザのｙ座標値）2｝0.5／正規化のための基準距離で算出される。正規化のための基準距離は、例えば画面の対角距離、例えば１６００×１２００ピクセルであれば、対角距離は２０００ピクセルとなる。
例えば、図３０の例で、時刻０−２秒の時間帯について各ユーザについて他のユーザとの類似度を、包含矩形の矩形面積及び中心点の各々について算出した例を、図３２に示す。図３２に示すように、他のユーザとの個別の類似度だけではなく、他のユーザ全体との類似度も算出される。他のユーザ全体の類似度は、他のユーザとの類似度の平均値であってもよい。但し、包含矩形の矩形面積の類似度と、包含矩形の中心点についての類似度とを平均して、他のユーザ全体との類似度を算出するようにしても良い。
そして、図３２に示すようなデータを、各時間帯について生成する。
また、類似度算出部１０５３は、他ユーザとの総合類似度を算出する（ステップＳ１２３）。具体的には、各時間帯について算出された他のユーザ全体との類似度を複数のユーザ間で平均値を算出するようにしても良いし、各ユーザ毎に算出された他のユーザ全体との類似度の最小値を採用しても良い。包含矩形の矩形面積についての総合類似度と中心点についての総合類似度とをそれぞれ算出しておいてもよいし、それらを平均値等を用いてまとめた１つの総合類似度を算出しても良い。
そして、類似度算出部１０５３は、ステップＳ１１７で読み出したデータにおいて、未処理のユーザが存在するか否かを判断する（ステップＳ１２５）。未処理のユーザが存在する場合には、処理はステップＳ１１９に戻る。
一方、未処理のユーザが存在しない場合には、少数派抽出部１０５２ｂは、総合類似度が閾値未満のユーザを少数派として抽出し、抽出結果を抽出データ格納部１０６に格納する（ステップＳ１２７）。例えば、包含矩形の矩形面積についての総合類似度が、第１の閾値未満である場合、又は中心点についての総合類似度が、第２の閾値未満である場合に、少数派ユーザとして抽出するようにしても良い。さらに、矩形面積についての総合類似度と中心点についての総合類似度をさらにまとめた類似度を算出した場合には、そのための第３の閾値未満であれば少数派ユーザとして抽出するようにしても良い。
なお、多数派ユーザを抽出しておいても良い。
その後、出力部１０７は、抽出データ格納部１０６に格納された少数派ユーザのデータを、例えば管理者端末４００へ送信する（ステップＳ１２９）。これによって、管理者は、問題のあるユーザを特定できる。なお、少数派ユーザのユーザ側情報処理装置３００へ、警告データを送信するようにしても良い。
このような処理を例えば定期的に又は管理者などからの要求に応じて繰り返すようにすれば、典型的でない視線の移動方向推移をなしたユーザを特定できるようになる。
以上のような処理を実行することで、低精度の視線センサを用いていても、視線の移動方向をその特性に応じた方法で抽出して視線の移動方向推移が特定され、類似度として評価した上で多数派及び少数派を特定できるようになる。
［その他の実施の形態］
第２の実施の形態では、包含矩形を、注目する時間帯における視点座標と当該視点座標における移動方向（ｘ軸方向の実質移動量及びｙ軸方向の実質移動量）とを包含するように定義したが、他の定義を採用しても良い。
例えば、視点座標と、ｘ軸方向の実質移動量ｍｏｖｘとｙ軸方向の実質移動量ｍｏｖｙで特定される矩形とを包含するように、包含矩形を定義するようにしても良い。このような矩形を、視線の移動範囲として取り扱うためである。
図３３に模式的に示すように、第１の視線位置から横幅ｍｏｖｘ＿１と縦幅ｍｏｖｙ＿１の矩形Ｇを特定する。このような矩形を、着目する時間帯における各視線位置について生成して、それらをも含む包含矩形を特定するものである。
また、図２０に示すようなｍｏｖｘ＿１及びｍｏｖｙ＿１が得られた場合に、上で述べたように、例えば実質移動量の絶対値が１０以下の場合には、誤差として検出されなかったものとする。また、実質移動量の絶対値が、表示画面の枠を超えるような値（ｙ軸方向であれば高さHeight以上、ｘ軸方向であれば横幅width以上）であれば、表示画面以外を見ているものとして、これも検出されなかったものとする。
それだけではなく、視線検出誤差ｒａｄ（図２の円の半径）以上の移動がある場合には、明らかに視線の移動が起こったと判断できるため、実施の形態で行うような視線の移動方向推移を特定するための処理を行うことは、移動方向を特定するという目的においては、冗長と言える。従って、ｒａｄ（例えば３００）以上の値がｍｏｖｘ又はｍｏｖｙとして算出された場合には、ｒａｄを採用するものとする。
そうすると、図２０のような結果は、図３４に示すように変更される。図３４をそのまま採用して、第２の実施の形態のように包含矩形を特定するようにしても良いし、上で述べたような新たな定義を採用して包含矩形を特定するようにしても良い。
さらに、このような処理によって採用されたｍｏｖｘ及びｍｏｖｙの数によって、その時間帯の信頼度を算出するようにしても良い。
図３４では、時刻０−２秒に含まれる８点の視線位置で特定される７つの時間間隔うち６つだけを算出しているが、ｘ軸方向については、６点中４点採用されており、ｙ軸方向については、６点中５点採用されている。従って、ｘ軸方向の信頼度は２／３であり、ｙ軸方向の信頼度は５／６である。なお、ｘ軸及びｙ軸についての信頼度を平均化しても良い。
このような信頼度を、ｍｏｖｘ及びｍｏｖｙで特定される矩形のサイズに反映させることも考えられる。例えば、ｍｏｖｘ及びｍｏｖｙで特定される矩形の中心に、信頼度を反映させた後の矩形を配置する。
図３４の例で、仮に信頼度が１／２であるとすると、第１の視線位置については、図３５に示すような矩形Ｈ1が得られる。また、第２の視線位置については、図３６に示すように、ｘ軸方向はｍｏｖｘが無しと取り扱われるので、線となった矩形Ｈ2が得られる。第３の視線位置については、図３７に示すような矩形Ｈ3が得られる。また、第４の視線位置については、図３８に示すように、元々のｍｏｖｘ及びｍｏｖｙが短縮されており、短縮されたｍｏｖｘ及びｍｏｖｙに対して信頼度を反映させて、矩形Ｈ4が得られる。第５の視線位置については、図３９に示すように、ｙ軸方向はｍｏｖｙが無しと取り扱われるので、線となった矩形Ｈ5が得られる。同様に、図４０に示すように、第６の視線位置については、ｘ軸方向はｍｏｖｘが無しと取り扱われるので、線となった矩形Ｈ6が得られる。
そうすると、図４１に示すような包含矩形Ｊが得られるようになる。この例では、図２８と同様の結果が得られるが、必ず一致するわけではない。
このような信頼度を用いた矩形の設定処理について、図４２にまとめておく。なお、この処理は、ステップＳ１１１の一部として、矩形処理部１０３２によって実行されるものとする。
例えば、矩形処理部１０３２は、未処理の時間帯を１つ特定する（ステップＳ２０１）。そして、矩形処理部１０３２は、特定された時間帯に含まれる各視線位置について算出された実質移動量のうち、除外条件を満たす実質移動量を除外し、閾値（上で述べたｒ）以上の実質移動量を閾値に短縮する（ステップＳ２０３）。
矩形処理部１０３２は、実質移動量の数に対する残った実質移動量の数の割合にて信頼度を算出する（ステップＳ２０５）。さらに、矩形処理部１０３２は、信頼度に応じて実質移動量を調整する（ステップＳ２０７）。そして、矩形処理部１０３２は、調整後の実質移動量に応じた矩形を、調整前の実質移動量で特定される矩形の中心に配置する（ステップＳ２０９）。矩形配置の位置は一例で、視線位置に合せて配置しても良い。
その後、矩形処理部１０３２は、未処理の時間帯が存在するか判断する（ステップＳ２１１）。未処理の時間帯が存在する場合には、処理はステップＳ２０１に戻る。一方、未処理の時間帯が存在しない場合には、元の処理に戻る。
なお、このように得られた各矩形、各包含矩形は、少数派ユーザの抽出における１つのパラメータとしてではなく、視線が存在していた可能性の高い領域として、目視領域や目視領域の推移を特定するために用いるようにしても良い。また、これらの目視領域や目視領域の推移を用いて、多数派および少数派に属するユーザの視線の時系列の流れを記録したり、後日記録を再生したりすることで、書類の確認作業や、オンライン教育受講の様子のロギングやログ確認手段として用いても良い。
以上、本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、主情報処理装置１００及び１００ｂの構成例は、プログラムモジュール構成とは一致しない場合もある。また、処理フローについても、処理結果が変わらない限り、処理順番を入れ替えたり、並列実行するようにしても良い。
さらに、主情報処理装置１００及び１００ｂは、１台のコンピュータではなく、複数台のコンピュータによって機能分担するようにしても良い。上でも述べたように、ユーザ側情報処理装置３００及び主情報処理装置１００又は１００ｂは、それぞれ上で述べた各機能を分担保持する。
なお、上で述べた主情報処理装置１００及び１００ｂは、コンピュータ装置であって、図４３に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
以上述べた本実施の形態をまとめると、以下のようになる。
本実施の形態に係る情報処理装置は、（Ａ）表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された視線の移動履歴から、複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定する特定部と、（Ｂ）複数のユーザの各々について特定された視線の移動方向推移に基づき、複数のユーザのうち少数派のユーザを抽出する抽出部とを有する。
このようにすれば、書類の部分的な確認作業忘れや、オンライン教育における重要箇所の読み飛ばしなどを行うユーザが少数派ユーザであれば、このような少数派ユーザを抽出でき、少数派ユーザに警告や注意などを行うことができるようになる。
また、上で述べた抽出部が、（ｂ１）複数のユーザの視線の移動方向推移を各時間帯で比較することで、複数のユーザのうち多数派とみなす視線の移動方向推移を特定し、（ｂ２）複数のユーザのうち多数派とみなす視線の移動方向推移と非類似となる視線の移動方向推移が特定されたユーザを抽出するようにしても良い。時間帯毎に基準となる視線の移動方向推移を特定することで、少数派を特定しやすくなる。
さらに、上で述べた抽出部が、（ｂ３）複数のユーザの各々について、当該ユーザの視線の移動方向推移と他のユーザの視線の移動方向推移とを比較して類似度を算出し、（ｂ４）複数のユーザの各々について、当該ユーザについて算出された類似度に基づき少数派のユーザを抽出するようにしても良い。このように数値として他のユーザに対する類似度を算出することで、少数派ユーザが抽出できるようになる。
さらに、上で述べた特定部が、各視線位置について、当該視線位置からの所定時間内における実質移動量を算出するようにしても良い。一方、上で述べた特定部が、各視線位置について、表示画面上の各軸方向に、当該視線位置から所定時間内において方向転換を検出した視線位置までの累積移動量を算出するようにしても良い。このような精度の低いセンサを考慮した特徴的な指標値に基づき処理を行うようにすれば、好ましい判断を行うことができるようになる。
さらに、上で述べた特定部が、各時間帯において、当該時間帯における各視線位置及び各累積移動量から特定される矩形の面積と当該矩形の中心座標との少なくともいずれかを算出することで、視線の移動方向推移を特定するようにしても良い。このような矩形は、視線移動の傾向を特徴付けるものである。
また、上で述べた矩形が、各軸方向に累積移動量に応じて設定される辺を有する第２の矩形と、各視線位置を包含する矩形であるようにしても良い。
さらに、上で述べた特定部が、（ａ１）各時間帯において、当該時間帯における各視線位置について算出された累積移動量が、所定の範囲内であるか判断し、（ａ２）所定の範囲内である累積移動量が算出された視線位置の個数を時間帯における視線位置の個数で除することで信頼度を算出し、（ａ３）所定の範囲内である累積移動量に対して信頼度を乗じることで得られる長さを有する辺を有する第２の矩形を配置するようにしても良い。このようにすれば、累積移動量の有効性を表す信頼度を考慮して類似度を算出できるようになる。
なお、上で述べたような処理をプロセッサ又はコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭなどの光ディスク、光磁気ディスク、半導体メモリ（例えばＲＯＭ）、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、ＲＡＭ等の記憶装置に一時保管される。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された前記視線の移動履歴から、前記複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定する特定部と、
前記複数のユーザの各々について特定された前記視線の移動方向推移に基づき、前記複数のユーザのうち少数派のユーザを抽出する抽出部と、
を有する情報処理装置。
（付記２）
前記抽出部が、
前記複数のユーザの前記視線の移動方向推移を各時間帯で比較することで、前記複数のユーザのうち多数派とみなす視線の移動方向推移を特定し、
前記複数のユーザのうち多数派とみなす視線の移動方向推移と非類似となる前記視線の移動方向推移が特定されたユーザを抽出する
付記１記載の情報処理装置。
（付記３）
前記抽出部が、
前記複数のユーザの各々について、当該ユーザの前記視線の移動方向推移と他のユーザの前記視線の移動方向推移とを比較して類似度を算出し、
前記複数のユーザの各々について、当該ユーザについて算出された類似度に基づき前記少数派のユーザを抽出する
付記１記載の情報処理装置。
（付記４）
前記特定部が、
各視線位置について、当該視線位置からの所定時間内における実質移動量を算出する
付記１乃至３のいずれか１つ記載の情報処理装置。
（付記５）
前記特定部が、
各視線位置について、前記表示画面上の各軸方向に、当該視線位置から所定時間内において方向転換を検出した視線位置までの累積移動量を算出する
付記１乃至３のいずれか１つ記載の情報処理装置。
（付記６）
前記特定部が、
各前記時間帯において、当該時間帯における各前記視線位置及び各前記累積移動量から特定される矩形の面積と当該矩形の中心座標との少なくともいずれかを算出することで、前記視線の移動方向推移を特定する
付記５記載の情報処理装置。
（付記７）
前記矩形が、
各前記軸方向に前記累積移動量に応じて設定される辺を有する第２の矩形と、各前記視線位置を包含する矩形である
付記６記載の情報処理装置。
（付記８）
前記特定部が、
各前記時間帯において、当該時間帯における各前記視線位置について算出された前記累積移動量が、所定の範囲内であるか判断し、
前記所定の範囲内である累積移動量が算出された視線位置の個数を前記時間帯における視線位置の個数で除することで信頼度を算出し、
前記所定の範囲内である累積移動量に対して信頼度を乗じることで得られる長さを有する辺を有する前記第２の矩形を配置する
付記７記載の情報処理装置。
（付記９）
表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された前記視線の移動履歴から、前記複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定し、
前記複数のユーザの各々について特定された前記視線の移動方向推移に基づき、前記複数のユーザのうち少数派のユーザを抽出する
処理を含み、コンピュータにより実行される情報処理方法。
（付記１０）
表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された前記視線の移動履歴から、前記複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定し、
前記複数のユーザの各々について特定された前記視線の移動方向推移に基づき、前記複数のユーザのうち少数派のユーザを抽出する
処理を、コンピュータに実行させるためのプログラム。
１００ 主情報処理装置
１０１ データ収集部
１０２ 収集データ格納部
１０３ 推移特定部
１０４ 推移データ格納部
１０５ 抽出部
１０６ 抽出データ格納部
１０７ 出力部

Claims (10)

  1. 表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された前記視線の移動履歴から、前記複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定する特定部と、
    前記複数のユーザの各々について特定された前記視線の移動方向推移に基づき、前記複数のユーザのうち少数派のユーザを抽出する抽出部と、
    を有する情報処理装置。
  2. 前記抽出部が、
    前記複数のユーザの前記視線の移動方向推移を各時間帯で比較することで、前記複数のユーザのうち多数派とみなす視線の移動方向推移を特定し、
    前記複数のユーザのうち多数派とみなす視線の移動方向推移と非類似となる前記視線の移動方向推移が特定されたユーザを抽出する
    請求項１記載の情報処理装置。
  3. 前記抽出部が、
    前記複数のユーザの各々について、当該ユーザの前記視線の移動方向推移と他のユーザの前記視線の移動方向推移とを比較して類似度を算出し、
    前記複数のユーザの各々について、当該ユーザについて算出された類似度に基づき前記少数派のユーザを抽出する
    請求項１記載の情報処理装置。
  4. 前記特定部が、
    各視線位置について、当該視線位置からの所定時間内における実質移動量を算出する
    請求項１乃至３のいずれか１つ記載の情報処理装置。
  5. 前記特定部が、
    各視線位置について、前記表示画面上の各軸方向に、当該視線位置から所定時間内において方向転換を検出した視線位置までの累積移動量を算出する
    請求項１乃至３のいずれか１つ記載の情報処理装置。
  6. 前記特定部が、
    各前記時間帯において、当該時間帯における各前記視線位置及び各前記累積移動量から特定される矩形の面積と当該矩形の中心座標との少なくともいずれかを算出することで、前記視線の移動方向推移を特定する
    請求項５記載の情報処理装置。
  7. 前記矩形が、
    各前記軸方向に前記累積移動量に応じて設定される辺を有する第２の矩形と、各前記視線位置を包含する矩形である
    請求項６記載の情報処理装置。
  8. 前記特定部が、
    各前記時間帯において、当該時間帯における各前記視線位置について算出された前記累積移動量が、所定の範囲内であるか判断し、
    前記所定の範囲内である累積移動量が算出された視線位置の個数を前記時間帯における視線位置の個数で除することで信頼度を算出し、
    前記所定の範囲内である累積移動量に対して信頼度を乗じることで得られる長さを有する辺を有する前記第２の矩形を配置する
    請求項７記載の情報処理装置。
  9. 表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された前記視線の移動履歴から、前記複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定し、
    前記複数のユーザの各々について特定された前記視線の移動方向推移に基づき、前記複数のユーザのうち少数派のユーザを抽出する
    処理を含み、コンピュータにより実行される情報処理方法。
  10. 表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された前記視線の移動履歴から、前記複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定し、
    前記複数のユーザの各々について特定された前記視線の移動方向推移に基づき、前記複数のユーザのうち少数派のユーザを抽出する
    処理を、コンピュータに実行させるためのプログラム。
JP2014071251A 2014-03-31 2014-03-31 情報処理装置、方法及びプログラム Active JP6287486B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014071251A JP6287486B2 (ja) 2014-03-31 2014-03-31 情報処理装置、方法及びプログラム
EP15153718.0A EP2926721B1 (en) 2014-03-31 2015-02-03 Information processing technique for eye gaze movements
US14/616,886 US9851789B2 (en) 2014-03-31 2015-02-09 Information processing technique for eye gaze movements

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014071251A JP6287486B2 (ja) 2014-03-31 2014-03-31 情報処理装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015194809A JP2015194809A (ja) 2015-11-05
JP6287486B2 true JP6287486B2 (ja) 2018-03-07

Family

ID=52446262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014071251A Active JP6287486B2 (ja) 2014-03-31 2014-03-31 情報処理装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US9851789B2 (ja)
EP (1) EP2926721B1 (ja)
JP (1) JP6287486B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026095B2 (en) * 2013-09-10 2018-07-17 Chian Chiu Li Systems and methods for obtaining and utilizing user reaction and feedback
US10878446B2 (en) * 2014-08-18 2020-12-29 Chian Chiu Li Systems and methods for obtaining and utilizing user reaction and feedback
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御装置及び制御プログラム
US10482661B2 (en) * 2016-03-01 2019-11-19 International Business Machines Corporation Displaying of augmented reality objects
WO2020102671A1 (en) * 2018-11-15 2020-05-22 Worcester Polytechnic Institute Text simplification system utilizing eye-tracking

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4889422A (en) * 1986-01-28 1989-12-26 George Pavlidis Method and means for detecting dyslexia
JPH0556925A (ja) 1991-09-02 1993-03-09 A T R Tsushin Syst Kenkyusho:Kk 視線情報制御装置
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6608615B1 (en) * 2000-09-19 2003-08-19 Intel Corporation Passive gaze-driven browsing
JP2002149332A (ja) 2000-11-10 2002-05-24 Fuji Xerox Co Ltd 情報処理システム、情報処理方法及びコンピュータ読み取り可能な記録媒体
US7380938B2 (en) * 2003-03-25 2008-06-03 Sarnoff Corporation Apparatus to detect and measure saccade and pupilary changes
US8136944B2 (en) * 2008-08-15 2012-03-20 iMotions - Eye Tracking A/S System and method for identifying the existence and position of text in visual media content and for determining a subjects interactions with the text
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
KR20120053803A (ko) * 2010-11-18 2012-05-29 삼성전자주식회사 시선 궤적을 이용한 컨텐츠 표시 장치 및 방법
WO2012150657A1 (ja) 2011-05-02 2012-11-08 パナソニック株式会社 集中有無推定装置及びコンテンツ評価装置
JP5148016B2 (ja) * 2011-05-20 2013-02-20 パナソニック株式会社 立体映像提供装置及びその方法
US8655796B2 (en) * 2011-06-17 2014-02-18 Sanjay Udani Methods and systems for recording verifiable documentation
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
JP5785015B2 (ja) 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
US8719278B2 (en) * 2011-08-29 2014-05-06 Buckyball Mobile Inc. Method and system of scoring documents based on attributes obtained from a digital document by eye-tracking data analysis
JP5926210B2 (ja) * 2012-03-21 2016-05-25 国立大学法人浜松医科大学 自閉症診断支援システム及び自閉症診断支援装置
JP6559062B2 (ja) * 2012-03-26 2019-08-14 ニューヨーク ユニバーシティ 中枢神経系の完全性を評価するための方法およびキット
JP6003277B2 (ja) * 2012-06-19 2016-10-05 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法
JP6131540B2 (ja) * 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
US10085688B2 (en) * 2012-11-20 2018-10-02 El-Mar Inc. Method of identifying an individual with a disorder or efficacy of a treatment of a disorder
US20150213634A1 (en) * 2013-01-28 2015-07-30 Amit V. KARMARKAR Method and system of modifying text content presentation settings as determined by user states based on user eye metric data
US9301675B2 (en) * 2013-03-15 2016-04-05 Neuro Kinetics, Inc Method and apparatus for validating testing procedures in objective ophthalmic eye testing for eye evaluation applications requiring subject compliance with eye fixation to a visual target
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
JP6547268B2 (ja) * 2014-10-02 2019-07-24 富士通株式会社 視線位置検出装置、視線位置検出方法及び視線位置検出プログラム

Also Published As

Publication number Publication date
JP2015194809A (ja) 2015-11-05
US9851789B2 (en) 2017-12-26
EP2926721A1 (en) 2015-10-07
US20150277556A1 (en) 2015-10-01
EP2926721B1 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
CA3151944C (en) Virtual fitting systems and methods for spectacles
JP6287486B2 (ja) 情報処理装置、方法及びプログラム
US9613274B2 (en) Identifying an obstacle in a route
US9836651B2 (en) Displaying information relating to a designated marker
EP2724209B1 (en) Computer device operable with user's eye movement and method for operating the computer device
US9875408B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US9700200B2 (en) Detecting visual impairment through normal use of a mobile device
JP2014153813A5 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2013077215A5 (ja)
JP2015153267A5 (ja)
US9619707B2 (en) Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium
JP2007213469A (ja) 視線制御表示装置と表示方法
CN110956131B (zh) 单目标追踪方法、装置及***
JP2016224919A (ja) データ閲覧装置、データ閲覧方法、及びプログラム
WO2018008702A1 (ja) 振る舞い検知システム
JP2011133984A (ja) 動作特徴抽出装置および動作特徴抽出方法
JP2015130105A (ja) オペレータ監視制御装置およびオペレータ監視制御方法
CN109389082B (zh) 视线采集方法、装置、***、计算机可读存储介质
JP6651814B2 (ja) 領域抽出装置、領域抽出プログラム、及び領域抽出方法
US20220012278A1 (en) Search Input Generation for Image Search
JP6618349B2 (ja) 映像検索システム
JP6943183B2 (ja) 位置特定装置、位置特定方法、位置特定プログラムおよびカメラ装置
JP7165108B2 (ja) 作業訓練システム及び作業訓練支援方法
CN108446693B (zh) 待识别目标的标记方法、***、设备及存储介质
CN110798681A (zh) 成像设备的监测方法、装置和计算机设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180122

R150 Certificate of patent or registration of utility model

Ref document number: 6287486

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150