JP2015088828A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2015088828A
JP2015088828A JP2013224418A JP2013224418A JP2015088828A JP 2015088828 A JP2015088828 A JP 2015088828A JP 2013224418 A JP2013224418 A JP 2013224418A JP 2013224418 A JP2013224418 A JP 2013224418A JP 2015088828 A JP2015088828 A JP 2015088828A
Authority
JP
Japan
Prior art keywords
range
evaluation value
information
information processing
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013224418A
Other languages
English (en)
Inventor
安田 亮平
Ryohei Yasuda
亮平 安田
野田 卓郎
Takuro Noda
卓郎 野田
麻紀 井元
Maki Imoto
麻紀 井元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013224418A priority Critical patent/JP2015088828A/ja
Priority to US14/488,598 priority patent/US20150116473A1/en
Publication of JP2015088828A publication Critical patent/JP2015088828A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0242Determining effectiveness of advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの視線の位置に基づいてユーザの視線に関する評価値を算出することが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】ユーザの視線の位置に関する情報と、視線に関する評価値を算出する範囲を示す範囲情報とに基づいて、特定された範囲ごとに評価値を算出する評価値算出部を備える、情報処理装置が提供される。【選択図】図15

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
アイトラッキング技術などの視線検出に係る技術を利用して、ユーザの注目に関するデータを得る技術が開発されている。上記ユーザの注目に関するデータを得る技術としては、例えば、下記の特許文献1に記載の技術や、下記の特許文献2に記載の技術が挙げられる。
特開2013−080365号公報 特開2007−286995号公報
ユーザの視線の位置に基づいてユーザの視線に関する評価値を算出する方法は、確立されていない。
本開示では、ユーザの視線の位置に基づいてユーザの視線に関する評価値を算出することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、ユーザの視線の位置に関する情報と、視線に関する評価値を算出する範囲を示す範囲情報とに基づいて、特定された前記範囲ごとに前記評価値を算出する評価値算出部を備える、情報処理装置が提供される。
また、本開示によれば、ユーザの視線の位置に関する情報と、視線に関する評価値を算出する範囲を示す範囲情報とに基づいて、特定された前記範囲ごとに前記評価値を算出するステップを有する、情報処理装置により実行される情報処理方法が提供される。
また、本開示によれば、ユーザの視線の位置に関する情報と、視線に関する評価値を算出する範囲を示す範囲情報とに基づいて、特定された前記範囲ごとに前記評価値を算出するステップを、コンピュータに実行させるためのプログラムが提供される。
本開示によれば、ユーザの視線の位置に基づいて、ユーザの視線に関する評価値を算出することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る評価値を算出する範囲の一例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理システムの一例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
[1]本実施形態に係る情報処理方法に係る処理の概要
上述したように、ユーザの視線の位置に基づいてユーザの視線に関する評価値を算出する方法は、確立されていない。
そこで、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報と、視線に関する評価値を算出する範囲を示す範囲情報とに基づいて、特定された“視線に関する評価値を算出する範囲”ごとに評価値を算出する(評価値算出処理)。以下では、本実施形態に係る視線に関する評価値を算出する範囲を、例えば、「本実施形態に係る評価値を算出する範囲」や、「評価値を算出する範囲」、「本実施形態に係る範囲」と示す場合がある。
(a)本実施形態に係るユーザの視線の位置に関する情報について
本実施形態に係るユーザの視線の位置に関する情報とは、例えば、ユーザの視線の位置を示すデータ、または、ユーザの視線の位置の特定に用いることが可能なデータ(または、ユーザの視線の位置の推定に用いることが可能なデータ。以下、同様とする。)である。
本実施形態に係るユーザの視線の位置を示すデータとしては、例えば、“表示画面におけるユーザの視線の位置を示す座標データ”が挙げられる。また、本実施形態に係るユーザの視線の位置を示すデータには、視線の方向を示すデータ(例えば、表示画面に対する角度を示すデータなど)が含まれていてもよい。
表示画面におけるユーザの視線の位置は、例えば、表示画面における基準位置を原点とする座標系における座標で表される。
本実施形態に係るユーザの視線の位置に関する情報として、表示画面におけるユーザの視線の位置を示す座標データが用いられる場合、本実施形態に係る情報処理装置は、例えば、視線検出技術を用いてユーザの視線の位置を特定(または推定)した外部装置から取得された、表示画面におけるユーザの視線の位置を示す座標データを用いて、表示画面におけるユーザの視線の位置を特定する。また、本実施形態に係るユーザの視線の位置に関する情報として、視線の方向を示すデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、上記外部装置から取得された視線の方向を示すデータを用いて、ユーザの視線の方向を特定する。
ここで、例えば、視線検出技術を用いて検出された視線と、表示画面において画像が表示される方向が撮像された撮像画像から検出される表示画面に対するユーザの位置や顔の向きなどとを用いることによって、表示画面におけるユーザの視線の位置や、ユーザの視線の方向を特定することが可能である。なお、本実施形態に係る表示画面におけるユーザの視線の位置やユーザの視線の方向の特定方法は、上記に限られない。例えば、本実施形態に係る情報処理装置や、外部装置は、表示画面におけるユーザの視線の位置やユーザの視線の方向を特定することが可能な任意の技術を用いることが可能である。
また、本実施形態に係る視線検出技術としては、例えば、目の基準点(例えば、目頭や角膜反射などの目における動かない部分に対応する点)に対する、目の動点(例えば、虹彩や瞳孔などの目における動く部分に対応する点)の位置に基づいて、視線を検出する方法が挙げられる。なお、本実施形態に係る視線検出技術は、上記に限られず、例えば、視線を検出することが可能な任意の視線検出技術であってもよい。
なお、本実施形態に係るユーザの視線の位置を示すデータは、上記“表示画面におけるユーザの視線の位置を示す座標データ”に限られない。
例えば、ユーザが透過型のヘッドマウントディスプレイ(Head Mounted Display。以下、「HMD」と示す。)を装着している場合などにおいては、本実施形態に係るユーザの視線の位置を示すデータは、“ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データ”であってもよい。
ユーザが見ている実空間の実オブジェクトにおける位置は、例えば、ユーザの顔の正面(または略正面。以下、同様とする。)の方向が撮像された撮像画像と、視線検出技術を用いて検出された視線とを用いることによって、推定される。
ここで、本実施形態に係る上記撮像画像は、ユーザの顔の正面の方向が撮像された画像であるので、ユーザが実際に目にする風景に対応する画像に相当する。つまり、ユーザが見ている実空間の実オブジェクトにおける位置は、例えば、撮像画像におけるユーザの視線の位置を特定することによって、推定することが可能である。なお、撮像画像におけるユーザの視線の位置の特定に際しては、ユーザの顔の正面の方向が撮像された撮像画像を撮像する撮像デバイスの位置と、ユーザの目の位置とのずれを考慮して位置を補正することによって、より推定精度を上げることが可能である。
なお、ユーザが見ている実空間の実オブジェクトにおける位置の推定方法は、上記に限られず、ユーザが見ている実空間の実オブジェクトにおける位置を推定することが可能な任意の技術を用いることが可能である。以下では、ユーザが見ている実空間の実オブジェクトにおける位置が、ユーザの顔の正面の方向が撮像された撮像画像を用いて推定される場合を例に挙げる。
ユーザが見ている実空間の実オブジェクトにおける位置は、例えば、撮像画像における基準位置を原点とする座標系における座標で表される。
本実施形態に係るユーザの視線の位置に関する情報として、撮像画像における基準位置を原点とする座標系における座標を示す座標データが用いられる場合、本実施形態に係る情報処理装置は、例えば、ユーザが見ている実空間の実オブジェクトにおける位置を推定した外部装置から取得された、当該座標データを用いて、ユーザが見ている実空間の実オブジェクトにおける位置を特定する。
また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータとしては、例えば、表示画面において画像(動画像または静止画像)が表示される方向が撮像された撮像画像データが挙げられる。本実施形態に係る表示画面において画像が表示される方向とは、例えば、表示画面における、ユーザによって表示画面に表示される画像が見られる側の方向である。また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータには、さらに、表示画面において画像が表示される方向の赤外線を検出する赤外線センサの検出データなど、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る、任意のセンサの検出データが含まれていてもよい。
なお、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータは、表示画面において画像が表示される方向が撮像された撮像画像データに限られない。例えば、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータは、ユーザの視線の検出に係る画像データと、ユーザが見ている実空間の実オブジェクトにおける位置の推定に係る画像データとであってもよい。ユーザの視線の検出に係る画像データとしては、例えば、ユーザの目が含まれるように撮像された撮像画像データが挙げられる。また、ユーザが見ている実空間の実オブジェクトにおける位置の推定に係る画像データとしては、例えば、ユーザの顔の正面の方向が撮像された撮像画像データが挙げられる。
本実施形態に係るユーザの視線の位置に関する情報として、ユーザの視線の位置の特定に用いることが可能なデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、自装置(本実施形態に係る情報処理装置。以下、同様とする。)が備える撮像部(後述する)や外部の撮像デバイスから取得された撮像画像データを用いる。また、上記の場合、本実施形態に係る情報処理装置は、例えば、自装置が備えるユーザの視線の位置の推定精度の向上に用いることが可能なセンサや、外部のセンサから取得された検出データ(ユーザの視線の位置の特定に用いることが可能なデータの一例)を用いてもよい。本実施形態に係る情報処理装置は、例えば、上記のように取得されたユーザの視線の位置の特定に用いることが可能なデータを用いて、本実施形態に係る表示画面におけるユーザの視線の位置やユーザの視線の方向の特定方法に係る処理を行い、表示画面におけるユーザの視線の位置やユーザの視線の方向を特定する。また、本実施形態に係る情報処理装置は、例えば、上記のように取得されたユーザの視線の位置の特定に用いることが可能なデータを用いて、ユーザが見ている実空間の実オブジェクトにおける位置の推定方法に係る処理を行い、ユーザが見ている実空間の実オブジェクトにおける位置を推定し、当該位置を特定する。
(b)本実施形態に係る範囲情報について
本実施形態に係る範囲情報とは、本実施形態に係る評価値を算出する範囲を示すデータである。また、本実施形態に係る範囲情報は、例えば、本実施形態に係る評価値を算出する範囲を表すことが可能な、任意のデータ形式をとる。
本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える記憶部(後述する)や、接続されている外部記録媒体に記憶されている範囲情報に基づいて、評価値を算出する範囲を特定する。また、本実施形態に係る情報処理装置は、例えば、通信可能な外部装置から取得される範囲情報に基づいて、評価値を算出する範囲を特定することも可能である。
また、本実施形態に係る範囲情報は、例えば、本実施形態に係る情報処理装置、および/または、外部装置により生成され、本実施形態に係る情報処理装置は、生成された範囲情報に基づいて評価値を算出する範囲を特定してもよい。本実施形態に係る範囲情報の生成に係る処理(生成処理)の一例については、後述する。
本実施形態に係る情報処理装置は、例えば、範囲情報が示す範囲を、本実施形態に係る評価値を算出する範囲として特定する。
なお、本実施形態に係る情報処理装置における、評価値を算出する範囲の特定方法は、上記に限られない。例えば、本実施形態に係る情報処理装置は、範囲情報が示す範囲を調整し、調整された範囲を、評価値を算出する範囲として特定することも可能である。本実施形態に係る範囲情報が示す範囲の調整に係る処理の一例については、後述する。
図1は、本実施形態に係る評価値を算出する範囲の一例を示す説明図である。図1は、評価値を算出する範囲が設定される対象が、雑誌や書籍などの複数ページを有する媒体である例を示している。
なお、本実施形態に係る評価値を算出する範囲が設定される対象は、雑誌や書籍などの複数ページを有する媒体に限られない。例えば、本実施形態に係る評価値を算出する範囲が設定される対象は、静止画像や、動画像(または、複数の静止画像。以下、同様とする。)など、表示画面に表示されうる任意の対象が挙げられる。また、本実施形態に係る評価値を算出する範囲が設定される対象は、例えば、実空間の実オブジェクトであってもよい。
本実施形態に係る評価値を算出する範囲としては、例えば、図1のAに示すように、1ページまたは複数ページなどのページ単位が挙げられる。なお、本実施形態に係る評価値を算出する範囲が設定される対象が、動画像である場合には、1フレームまたは複数フレームなど、動画像における所定の単位が、図1のAに示す例に対応する。
また、本実施形態に係る評価値を算出する範囲は、例えば、図1のBに示すように、1ページ内に含まれる記事単位であってもよいし、図1のCに示すように、記事の構成要素単位であってもよい。本実施形態に係る評価値を算出する範囲が、表示画面に表示されうる任意の対象である場合、表示画面に対応する領域のうちの一部の領域が、図1のBに示す例、図1のCに示す例に対応する。
図1のD〜Fは、本実施形態に係る評価値を算出する範囲が、表示画面に対応する領域全体である場合の一例と、表示画面に対応する領域のうちの一部の領域である場合の一例とを示している。
本実施形態に係る評価値を算出する範囲は、図1のDに示すように、表示画面に対応する領域の全体であってもよいし、図1のE、Fに示すように、表示画面に対応する領域のうちの一部の領域であってもよい。
本実施形態に係る評価値を算出する範囲としては、例えば図1に示す例が挙げられる。なお、本実施形態に係る評価値を算出する範囲が、図1に示す例に限られないことは、言うまでもない。
本実施形態に係る情報処理装置は、例えば、上記(a)に示すユーザの視線の位置に関する情報と、上記(b)に示す範囲情報とに基づいて、範囲情報が示す範囲ごとに評価値を算出する。
図2は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
図2に示すAは、本実施形態に係る評価値を算出する範囲の一例を示しており、本実施形態に係る評価値を算出する範囲が、表示画面に対応する領域のうちの一部の領域AR1〜AR3である場合を示している。図2のAに示すように、本実施形態に係る評価値を算出する範囲が、表示画面に対応する領域のうちの一部の領域である場合における、領域の形状は、矩形や楕円形など、様々な形状の領域が挙げられる。
また、図2に示すBは、図2のAに示す領域AR1〜AR3それぞれに対して算出された評価値の一例を示している。図2のBに示すような評価値は、例えば、アプリケーションでの並び替えなどに利用することが可能である。本実施形態に係る評価値を用いた処理(実行処理)の一例については、後述する。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理を行うことによって、例えば図2のBに示すように、本実施形態に係る評価値を算出する範囲ごとに評価値を算出する。
以下、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
[2]本実施形態に係る情報処理方法に係る処理
(1)評価値算出処理
本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報と、範囲情報とに基づいて、特定された本実施形態に係る評価値を算出する範囲ごとに評価値を算出する。
(1−1)評価値算出処理の第1の例
本実施形態に係る情報処理装置は、例えば、“範囲情報に基づき特定される本実施形態に係る評価値を算出する範囲における、座標(表示画面における位置を示す座標や、実オブジェクトにおける位置を示す座標)”と、“当該座標に紐付いた視線に関するスコア値”とによって、本実施形態に係る評価値を算出する。
より具体的には、本実施形態に係る情報処理装置は、例えば、本実施形態に係るユーザの視線の位置に関する情報に基づいて特定されるユーザの視線の位置に対応する座標(以下、「視線座標」と示す場合がある。)が取得されるごとに、視線座標の周囲の座標を含めてスコア値を加算する。加算されるスコア値の算出方法の一例としては、例えば、視線座標の位置の加算値を最も高くし、視線座標の位置から離れるにしたがって小さくする方法が挙げられる。
図3は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る評価値の算出に係る加算されるスコア値の算出方法の一例を示している。
図3に示すような、xy平面を上から見たときに、視線座標Pを中心とした同心円状に加算するスコア値を減らしていく方法をとる場合には、本実施形態に係る情報処理装置は、例えば下記の数式1に示す演算を行う。ここで、数式1に示す“Score(x,y)”は、座標(x,y)において加算されるスコア値を示している。
Figure 2015088828
例えば上記数式1に示すように加算されるスコア値が算出され、特定された本実施形態に係る評価値を算出する範囲内で加算されることによって、本実施形態に係る評価値を算出する範囲それぞれにおける評価値を算出することができる。また、本実施形態に係る情報処理装置は、例えば、各座標に対応する加算されるスコア値を、座標ごとに加算することによって、座標ごとのスコア値を算出することも可能である。以下では、例えば、本実施形態に係る加算されるスコア値や、本実施形態に係る座標ごとのスコア値などの、評価値の算出に係る値を、「評価値の算出に係るスコア値」と示す場合がある。
ここで、本実施形態に係る評価値を算出する範囲の特定は、例えば、スコア値が算出される前に行われる。スコア値が算出される前に本実施形態に係る評価値を算出する範囲の特定が行われることによって、例えば、リアルタイムでの評価値の解析が可能となる。
また、本実施形態に係る評価値を算出する範囲の特定は、例えば、スコア値が算出された後に行われてもよい。スコア値が算出された後に本実施形態に係る評価値を算出する範囲の特定が行われる場合とは、例えば、評価値の事後的な解析に相当する。
以下では、本実施形態に係る情報処理装置が本実施形態に係る評価値を算出する範囲を特定するタイミングについて、特に言及しないが、本実施形態に係る情報処理装置は、本実施形態に係る評価値算出処理の他の例においても、例えば上記と同様のタイミングで評価値を算出する範囲を特定することが可能である。
なお、本実施形態に係る評価値の算出方法は、上記に示す第1の例に限られない。
(1−2)評価値算出処理の第2の例
例えば、本実施形態に係る情報処理装置は、特定された本実施形態に係る範囲に対して重み付けをつけて評価値を算出することも可能である。本実施形態に係る情報処理装置は、例えば、特定された本実施形態に係る範囲ごとに重み付けをつける。また、本実施形態に係る情報処理装置は、例えば、特定された本実施形態に係る範囲の一部に対して重み付けをつけることも可能である。
(1−2−1)第2の例に係る評価値算出処理の第1の例
本実施形態に係る情報処理装置は、例えば、特定された本実施形態に係る範囲に含まれる“コンテンツの種類”、“コンテンツの属性”のうちの、一方または双方に基づいて重み付けをつけて、評価値を算出する。
図4は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る情報処理装置が評価値の算出に際して重み付けを行う場合に用いるテーブル(またはデータベース。以下、同様とする。)の一例を示している。本実施形態に係る情報処理装置は、例えば、記憶部(後述する)や外部記録媒体に記憶されているテーブルや、通信可能な外部装置から取得されたテーブルを用いる。
特定された本実施形態に係る評価値を算出する範囲が同一であっても、当該範囲に含まれるコンテンツの種類によっては、ユーザが理解に要する時間が異なることが起こりうる。ここで、本実施形態に係るコンテンツの種類としては、例えば、図4に示すように、テキストや、イメージ(静止画像/動画像)、動画像などが挙げられる。
例えば、文章(図4に示すテキストに対応)と、画像(図4に示すイメージや動画像に対応)とでは、文章の方が理解に要する時間がかかることが想定される。そのため、仮に、文章がより多く含まれる本実施形態に係る第1の範囲と、画像がより多く含まれ、かつ第1の範囲の同一の大きさの本実施形態に係る第2の範囲との間で、重み付けをせずに評価値を算出した場合には、算出される評価値が、ユーザが実際に注目していた感覚と異なる結果となる可能性がある。
また、特定された本実施形態に係る評価値を算出する範囲に含まれるコンテンツの種類が同じであっても、コンテンツの属性によっては、ユーザが理解に要する時間が異なることが起こりうる。ここで、本実施形態に係るコンテンツの属性としては、例えば図4に示すように、文字数やフォントサイズ(コンテンツの種類がテキストである場合の一例)、サイズや解像度(コンテンツの種類がイメージである場合の一例)など、コンテンツの種類に対応する指標が挙げられる。
そこで、本実施形態に係る情報処理装置は、例えば図4に示すようなテーブルを用いて、特定された本実施形態に係る範囲に含まれる“コンテンツの種類”、“コンテンツの属性”のうちの、一方または双方に基づいて重み付けを変える。特定された本実施形態に係る範囲に含まれる“コンテンツの種類”、“コンテンツの属性”のうちの、一方または双方に基づいて重み付けを変えることによって、算出される評価値を、ユーザが実際に注目していた感覚に近づけることができる。
なお、本実施形態に係る情報処理装置が重み付けを行う場合に用いるテーブルの例が、図4に示す例に限られないことは、言うまでもない。
また、本実施形態に係る情報処理装置が重み付けを行う場合に用いるデータは、テーブル形式や、データベース形式に限られない。本実施形態に係る情報処理装置は、例えば、“コンテンツの種類”、および/または、“コンテンツの属性”に対応して重み付けを行うことが可能な、任意の形式のデータを用いることが可能である。
(1−2−2)第2の例に係る評価値算出処理の第2の例
例えば、範囲情報が示す範囲が、図2のAに示すような表示画面に対応する領域のうちの一部の領域である場合には、本実施形態に係る情報処理装置は、範囲情報に基づき特定された範囲に対応する領域における、表示画面における基準位置からの距離に基づいて重み付けをつけて、評価値を算出することも可能である。
ここで、本実施形態に係る基準位置としては、例えば、表示画面に対して予め設定されている位置(例えば、表示画面の中心位置や、表示画面の画面端の位置など)が挙げられる。表示画面に対して予め設定されている位置は、例えば、ユーザ操作などに基づいて変更可能であってもよい。
なお、本実施形態に係る基準位置は、表示画面に対して予め設定されている位置に限られない。例えば、本実施形態に係る基準位置は、範囲情報に基づき特定された範囲が設定されるコンテンツの種類に基づき設定されてもよい。コンテンツの種類に基づき設定される基準位置としては、例えば、雑誌や漫画本などの書籍の見開き方に応じた位置などが挙げられる。
図5は、実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図5は、本実施形態に係る情報処理装置が、表示画面における基準位置からの距離に基づいて重み付けをつけて評価値を算出する場合の一例を示している。
図5に示すAは、本実施形態に係る基準位置が、表示画面の中心位置である例を示している。図5のAに示す例は、例えば、表示画面の中心位置が、ユーザにより注目されやすい場所とされた場合の例である。
図5のAに示すように、本実施形態に係る基準位置を表示画面の中心位置とする場合には、本実施形態に係る情報処理装置は、例えば、当該中心位置からの距離が遠い領域ほど、重み付けを大きくする。表示画面の中心位置からの距離が遠い領域ほど、重み付けを大きくする理由は、例えば、表示画面の中心位置からの距離が遠い領域ほど、元々注目され難い領域であるという考え方に基づく。
なお、図5のAでは、表示画面の中心位置と領域との間の距離が、領域の中心位置に基づく例を示しているが、表示画面の中心位置と領域との間の距離は、例えば、領域内の任意の位置に基づくものであってもよい。
また、図5に示すBは、本実施形態に係る基準位置が、表示画面の画面端の位置である例を示している。図5のBに示す例は、例えば、表示画面の右端の位置(表示画面の画面端の位置の一例)が、ユーザにより注目されやすい場所とされた場合の例である。表示画面の右端の位置が、ユーザにより注目されやすい場所とされる場合とは、例えば、表示画面に表示されるコンテンツが、表示画面に向かって右側からユーザにより読まれることを前提とした例である。
図5のBに示すように、本実施形態に係る基準位置を表示画面の右端の位置とする場合には、本実施形態に係る情報処理装置は、例えば、当該右端の位置からの距離が遠い領域ほど、重み付けを大きくする。表示画面の右端の位置からの距離が遠い領域ほど、重み付けを大きくする理由は、例えば、表示画面の右端の位置からの距離が遠い領域ほど、元々注目され難い領域であるという考え方に基づく。
なお、図5のBでは、表示画面の右端の位置と領域との間の距離が、領域の右端の位置に基づく例を示しているが、表示画面の右端の位置と領域との間の距離は、例えば、領域内の任意の位置に基づくものであってもよい。
なお、本実施形態に係る評価値の算出方法は、上記に示す第1の例および第2の例に限られない。
(1−3)評価値算出処理の第3の例
例えば、範囲情報が示す範囲が、図2のAに示すような表示画面に対応する領域のうちの一部の領域である場合には、本実施形態に係る情報処理装置は、範囲情報が示す範囲を、範囲ごとに範囲が大きくなるように調整して、本実施形態に係る範囲を特定する。ここで、本実施形態に係る情報処理装置は、例えば、範囲情報が示す範囲を、水平方向(一方向または双方向)、および/または、垂直方向(一方向または双方向)に、範囲が大きくなるように調整する。以下では、範囲情報が示す範囲に対応する領域を、「判定領域」と示す場合がある。
そして、本実施形態に係る情報処理装置は、特定された本実施形態に係る範囲(範囲情報が示す範囲が調整された範囲)ごとに、例えば上記第1の例に係る評価値算出処理と同様に、評価値を算出する。
ここで、例えば、下記に示す事由などによって、算出される評価値の精度が下がることが挙げられる。
・視線検出に係るデバイスの精度により、ユーザが実際に見ている位置と、検出される視線の位置とにズレが生じうる。上記ズレによって、ユーザが、本実施形態に係る範囲内を見ていたつもりでも、ユーザの視線の位置に関する情報に基づく視線の位置が、本実施形態に係る範囲から少しはみ出した位置を示すことが起こりうる。
・ユーザが本実施形態に係る範囲内を見ていたつもりでも、微小な目の動きによって、ユーザの視線の位置に関する情報に基づく視線の位置が、本実施形態に係る範囲から少しはみ出した位置を示すことが起こりうる。
そこで、本実施形態に係る情報処理装置は、範囲情報が示す範囲を、範囲ごとに範囲が大きくなるように調整することによって、算出される評価値の精度の向上を図る。以下、第3の例に係る評価値算出処理の具体例について説明する。
(1−3−1)第3の例に係る評価値算出処理の第1の例
本実施形態に係る情報処理装置は、例えば、範囲情報が示す範囲から設定されている範囲におけるスコア値が、所定の判定閾値より大きい場合(または、所定の判定閾値以上である場合。以下、同様とする。)に、設定されている判定閾値より大きいスコア値が含まれるように、範囲情報が示す範囲を、範囲が大きくなるように調整する。ここで、本実施形態に係る判定閾値は、例えば、予め設定されている固定値であってもよいし、ユーザ操作などにより調整可能な可変値であってもよい。
図6は、実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図6は、本実施形態に係る情報処理装置が、第3の例に係る評価値算出処理の第1の例において調整する、範囲情報が示す範囲の一例を示している。
図6に示すAは、範囲情報に対応する領域AR1と領域AR2とのうち、領域AR2が、水平方向および垂直方向それぞれの双方向に大きくなるように調整された例を示している。図6のAに示す領域AR2’が、調整された後の本実施形態に係る範囲に該当する。また、図6に示すBは、図6のAに示す領域AR2が図6における左側(水平方向における一方向の一例)に大きくなるように調整する場合の一例を示している。
例えば図6のBに示す例では、本実施形態に係る情報処理装置は、領域AR2から設定されている範囲AR’ におけるスコア値が、所定の判定閾値より大きいので、範囲AR’分、領域AR2を大きくする。
また、例えば図6に示すように、範囲情報が示す範囲が大きくなるように調整されることにより、本実施形態に係る範囲が特定された場合には、本実施形態に係る情報処理装置は、例えば、調整された範囲のうち、調整された範囲と範囲情報が示す範囲との差分に対応する範囲に対して重み付けをつけて、評価値を算出することも可能である。
なお、調整された範囲と範囲情報が示す範囲との差分に対応する範囲に対する重み付けに係る処理は、例えば、後述する第3の例に係る評価値算出処理の他の処理において、行われてもよい。
図7は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図7に示すA〜Dは、本実施形態に係る情報処理装置が行う、調整された範囲と範囲情報が示す範囲との差分に対応する範囲に対する重み付けの一例を示している。
本実施形態に係る情報処理装置は、例えば、記憶部(後述する)や外部記録媒体に記憶されている関数を示すデータや、通信可能な外部装置から取得された関数を示すデータを用いる。また、本実施形態に係る情報処理装置は、例えば、記憶部(後述する)や外部記録媒体に記憶されている、距離と重み付け量とが対応付けられているテーブル(または、データベース。)や、通信可能な外部装置から取得された当該テーブルを用いてもよい。
なお、本実施形態に係る情報処理装置が行う、調整された範囲と範囲情報が示す範囲との差分に対応する範囲に対する重み付けの例が、図7に示す例に限られないことは、言うまでもない。
(1−3−2)第3の例に係る評価値算出処理の第2の例
本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報に対応する装置の種類に基づいて、範囲情報が示す範囲を調整してもよい。ここで、本実施形態に係るユーザの視線の位置に関する情報に対応する装置とは、例えば、ユーザが視線を向ける表示画面に対応する装置に相当する。
本実施形態に係るユーザの視線の位置に関する情報に対応する装置が、例えば、テレビ受像機やHMDなどである場合には、ユーザの目と機器との位置関係がブレ難い。一方、本実施形態に係るユーザの視線の位置に関する情報に対応する装置が、例えば、タブレット型の装置や、スマートフォンなどの通信装置などである場合には、ユーザの目と機器との位置関係がブレる可能性が高い。
よって、本実施形態に係るユーザの視線の位置に関する情報に対応する装置が、ユーザの目と機器との位置関係がブレ難い装置である場合には、本実施形態に係る情報処理装置は、例えば、範囲情報が示す範囲の調整量を、ユーザの目と機器との位置関係がブレる可能性が高い装置よりも小さくする。また、本実施形態に係るユーザの視線の位置に関する情報に対応する装置が、ユーザの目と機器との位置関係がブレ難い装置である場合には、本実施形態に係る情報処理装置は、例えば、範囲情報が示す範囲を調整しない。
また、本実施形態に係るユーザの視線の位置に関する情報に対応する装置が、ユーザの目と機器との位置関係がブレる可能性が高い装置である場合には、本実施形態に係る情報処理装置は、例えば、範囲情報が示す範囲の調整量を、ユーザの目と機器との位置関係がブレ難い装置よりも大きくする。
具体例を挙げると、本実施形態に係る情報処理装置は、例えば、本実施形態に係るユーザの視線の位置に関する情報に対応する装置の種別を示すデータ(例えば、装置IDなど)を取得する。本実施形態に係る情報処理装置は、例えば、本実施形態に係るユーザの視線の位置に関する情報に対応する装置や、本実施形態に係るユーザの視線の位置に関する情報に対応する装置を管理するサーバなどと通信を行うことによって、本実施形態に係るユーザの視線の位置に関する情報に対応する装置の種別を示すデータを取得する(本実施形態に係るユーザの視線の位置に関する情報に対応する装置が、外部装置である場合の取得方法の一例)。なお、本実施形態に係るユーザの視線の位置に関する情報に対応する装置の種別を示すデータを取得することができれば、当該装置の種別を示すデータの取得方法は、限られない。
そして、本実施形態に係る情報処理装置は、例えば、装置の種別を示すデータと範囲の調整量とが対応付けられたテーブル(または、データベース)と、取得された装置の種別を示すデータとを用いて、取得された装置の種別を示すデータに対応する範囲の調整量を特定して、範囲情報が示す範囲を調整する。
なお、第3の例に係る評価値算出処理の第2の例に係る、範囲情報が示す範囲の調整方法が、上記に示す例に限られないことは、言うまでもない。
(1−3−3)第3の例に係る評価値算出処理の第3の例
本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報に対応する表示画面における位置と、ユーザの視線の位置に関する情報に対応するユーザとの距離に基づいて、範囲情報が示す範囲を調整する。また、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報に対応する実オブジェクトにおける位置と、ユーザの視線の位置に関する情報に対応するユーザとの距離に基づいて、範囲情報が示す範囲を調整してもよい。以下では、第3の例に係る評価値算出処理の第3の例に係る、“ユーザの視線の位置に関する情報に対応する表示画面における位置と、ユーザの視線の位置に関する情報に対応するユーザとの距離”と“ユーザの視線の位置に関する情報に対応する実オブジェクトにおける位置と、ユーザの視線の位置に関する情報に対応するユーザとの距離”とを、「第3の例に係る評価値算出処理の第3の例に係る距離」と示す場合がある。
ここで、第3の例に係る評価値算出処理の第3の例に係る距離は、例えば、ユーザの目の位置を基準として算出される。なお、上記距離の算出に係るユーザの基準位置は、目の位置に限られず、例えば、ユーザの頭部の中心位置など、ユーザに係る他の位置であってもよい。また、第3の例に係る評価値算出処理の第3の例に係る距離は、例えば、赤外線などを利用した深度センサの検出値に基づいて、外部装置、または、本実施形態に係る情報処理装置において算出される。なお、本実施形態に係る第3の例に係る評価値算出処理の第3の例に係る距離を得ることができれば、第3の例に係る評価値算出処理の第3の例に係る距離の取得方法は、限られない。
ユーザから視線の先までの距離が遠ければ遠い程、ユーザの視線の位置に関する情報に基づく視線の位置の誤差が大きくなる可能性が高い。
よって、本実施形態に係る情報処理装置は、例えば、第3の例に係る評価値算出処理の第3の例に係る距離が遠くなる程、範囲情報が示す範囲を、範囲が大きくなるように調整する。
具体例を挙げると、本実施形態に係る情報処理装置は、例えば、第3の例に係る評価値算出処理の第3の例に係る距離に比例して、範囲情報が示す範囲を、範囲が大きくなるように調整する。また、本実施形態に係る情報処理装置は、例えば、第3の例に係る評価値算出処理の第3の例に係る距離と、範囲の調整量とが対応付けられたテーブル(または、データベース)を用いて、第3の例に係る評価値算出処理の第3の例に係る距離に対応する範囲の調整量を特定することにより、範囲情報が示す範囲を、範囲が大きくなるように調整してもよい。なお、第3の例に係る評価値算出処理の第3の例に係る、範囲情報が示す範囲の調整方法が、上記に示す例に限られないことは、言うまでもない。
(1−3−4)第3の例に係る評価値算出処理の第4の例
本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報に対応する表示画面に対する、ユーザの視線の位置に関する情報に対応するユーザの位置に基づいて、範囲情報が示す範囲を調整する。また、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報に対応する実オブジェクトに対する、ユーザの視線の位置に関する情報に対応するユーザの位置に基づいて、範囲情報が示す範囲を調整してもよい。以下では、第3の例に係る評価値算出処理の第4の例に係る、“ユーザの視線の位置に関する情報に対応する表示画面に対する、ユーザの視線の位置に関する情報に対応するユーザの位置”と“ユーザの視線の位置に関する情報に対応する実オブジェクトに対する、ユーザの視線の位置に関する情報に対応するユーザの位置”とを、「第3の例に係る評価値算出処理の第4の例に係るユーザの位置」と示す場合がある。
例えば、ユーザの目の動きが同じであっても、ユーザが、表示画面や実オブジェクトに正対している場合よりも、表示画面や実オブジェクトに正対していない場合の方が、ユーザの視線の位置に関する情報に基づく視線の位置の移動量が大きくなる。つまり、ユーザが表示画面や実オブジェクトに正対していない程、ユーザの視線の位置に関する情報に基づく視線の位置の誤差が大きくなる可能性が高い。
よって、本実施形態に係る情報処理装置は、例えば、第3の例に係る評価値算出処理の第4の例に係るユーザの位置に基づいて、範囲情報が示す範囲の調整量を変える。本実施形態に係る情報処理装置は、例えば、ユーザが表示画面や実オブジェクトに正対していない程、範囲情報が示す範囲を、範囲が大きくなるように調整する。
ここで、第3の例に係る評価値算出処理の第4の例に係るユーザの位置は、例えば、位置検出センサの検出値や、撮像画像に基づいて、外部装置、または、本実施形態に係る情報処理装置において特定(または推定)される。なお、第3の例に係る評価値算出処理の第4の例に係るユーザの位置を得ることができれば、第3の例に係る評価値算出処理の第4の例に係るユーザの位置の取得方法は、限られない。
具体例を挙げると、本実施形態に係る情報処理装置は、例えば、第3の例に係る評価値算出処理の第4の例に係るユーザの位置に基づいて、表示画面や実オブジェクトに対して設定された基準方向に対する角度を特定(または推定)する。上記基準方向は、例えば、予め設定されていてもよいし、表示画面や実オブジェクトが含まれる撮像画像などに基づいて設定されてもよい。そして、本実施形態に係る情報処理装置は、例えば、角度と範囲の調整量とが対応付けられたテーブル(または、データベース)を用いて、特定された角度に対応する範囲の調整量を特定することにより、範囲情報が示す範囲を調整する。なお、第3の例に係る評価値算出処理の第4の例に係る、範囲情報が示す範囲の調整方法が、上記に示す例に限られないことは、言うまでもない。
(1−3−5)第3の例に係る評価値算出処理の第5の例
例えば、ユーザの視線の位置に関する情報の取得に係る方法や、ユーザの視線の位置に関する情報の取得に係るデバイスの機能(例えば、視線の位置の検出に係る分解能などの、当該デバイスの特性)によっては、ユーザの視線の位置に関する情報に基づく視線の位置の誤差が異なる場合がある。
そこで、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報の取得に係る方法と、ユーザの視線の位置に関する情報の取得に係るデバイスとのうちの、一方または双方に基づいて、範囲情報が示す範囲を調整してもよい。
具体例を挙げると、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報の取得に係る方法を示すデータ(例えば、当該方法を示すIDなど)や、ユーザの視線の位置に関する情報の取得に係るデバイスの種別を示すデータ(例えば、装置IDなど)を取得する。本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報の取得に係るデバイスや、ユーザの視線の位置に関する情報の取得に係るデバイスを管理するサーバなどと通信を行うことによって、ユーザの視線の位置に関する情報の取得に係る方法を示すデータ、および/または、ユーザの視線の位置に関する情報の取得に係るデバイスの種別を示すデータを取得する。なお、ユーザの視線の位置に関する情報の取得に係る方法を示すデータ、および/または、ユーザの視線の位置に関する情報の取得に係るデバイスの種別を示すデータを取得することができれば、ユーザの視線の位置に関する情報の取得に係る方法を示すデータ、ユーザの視線の位置に関する情報の取得に係るデバイスの種別を示すデータの取得方法は、限られない。
ユーザの視線の位置に関する情報の取得に係る方法を示すデータのみが取得された場合には、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報の取得に係る方法を示すデータと範囲の調整量とが対応付けられたテーブル(または、データベース)と、取得されたユーザの視線の位置に関する情報の取得に係る方法を示すデータとを用いて、取得されたユーザの視線の位置に関する情報の取得に係る方法を示すデータに対応する範囲の調整量を特定して、範囲情報が示す範囲を調整する。
また、ユーザの視線の位置に関する情報の取得に係るデバイスの種別を示すデータのみが取得された場合には、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報の取得に係るデバイスの種別を示すデータと範囲の調整量とが対応付けられたテーブル(または、データベース)と、取得されたユーザの視線の位置に関する情報の取得に係るデバイスの種別を示すデータとを用いて、取得されたユーザの視線の位置に関する情報の取得に係るデバイスの種別を示すデータに対応する範囲の調整量を特定して、範囲情報が示す範囲を調整する。
また、ユーザの視線の位置に関する情報の取得に係る方法を示すデータとユーザの視線の位置に関する情報の取得に係るデバイスの種別を示すデータとの双方が取得された場合には、本実施形態に係る情報処理装置は、例えば、“ユーザの視線の位置に関する情報の取得に係る方法を示すデータ、ユーザの視線の位置に関する情報の取得に係るデバイスの種別を示すデータ、および範囲の調整量とが対応付けられたテーブル(または、データベース)”と、取得された“ユーザの視線の位置に関する情報の取得に係る方法を示すデータ、およびユーザの視線の位置に関する情報の取得に係るデバイスの種別を示すデータ”とを用いて、取得された“ユーザの視線の位置に関する情報の取得に係る方法を示すデータ、およびユーザの視線の位置に関する情報の取得に係るデバイスの種別を示すデータ”に対応する範囲の調整量を特定して、範囲情報が示す範囲を調整する。
なお、第3の例に係る評価値算出処理の第5の例に係る、範囲情報が示す範囲の調整方法が、上記に示す例に限られないことは、言うまでもない。
(1−3−6)第3の例に係る評価値算出処理の第6の例
本実施形態に係る情報処理装置は、例えば、上記第3の例に係る評価値算出処理の第2の例〜上記第3の例に係る評価値算出処理の第5の例のうちの、2以上の処理を組み合わせた処理によって、範囲の調整量を特定して、範囲情報が示す範囲を調整することも可能である。また、複数の処理を組み合わせる場合、本実施形態に係る情報処理装置は、例えば、各処理に対して範囲の調整量に対する優先度や重み付けを付けてもよい。
(1−4)評価値算出処理の第4の例
本実施形態に係る情報処理装置は、例えば、上記(1−2)に示す第2の例に係る評価値算出処理と、上記(1−3)に示す第3の例に係る評価値算出処理とを組み合わせた処理を、本実施形態に係る評価値算出処理として行うことも可能である。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記(1−1)に示す第1の例に係る評価値算出処理〜上記(1−4)に示す第4の例に係る評価値算出処理に示すような本実施形態に係る評価値算出処理を行うことによって、ユーザの視線の位置に関する情報と、範囲情報とに基づいて、特定された本実施形態に係る評価値を算出する範囲ごとに評価値を算出する。
したがって、本実施形態に係る情報処理装置は、ユーザの視線の位置に基づいて、ユーザの視線に関する評価値を算出することができる。
なお、本実施形態に係る情報処理方法に係る処理は、上記(1)に示す処理(評価値算出処理)に限られない。例えば、本実施形態に係る情報処理装置は、本実施形態に係る範囲情報の生成に係る処理である生成処理、本実施形態に係る評価値を用いた処理である実行処理のうちの、一方または双方の処理を、本実施形態に係る情報処理方法に係る処理としてさらに行うことも可能である。
(2)生成処理
本実施形態に係る情報処理装置は、例えば、評価値を算出する範囲を設定し、設定された範囲に対応する範囲情報を生成する。
本実施形態に係る情報処理装置は、例えば、ユーザ操作に基づき指定された範囲を、本実施形態に係る範囲として設定する。ユーザ操作に基づく範囲の指定は、例えば、スライダや、タブ、ボタンなどのユーザ操作が可能な任意のインタフェースを用いて行うことが可能である。
一例を挙げると、本実施形態に係る範囲をユーザに設定させるためのユーザインタフェースとしては、例えば、評価値を算出する範囲が設定される対象に対応する画像(例えば、実際に表示される画像)を表示画面に表示させて、ユーザのポインティング操作を可能とするインタフェースが挙げられる。本実施形態に係るポインティング操作を可能とするインタフェースの具体例としては、例えば下記の(i)、(ii)に示す例が挙げられる。
(i)既に特定されている小領域の中からユーザにより選択された小領域に基づいて、小領域以上の大きさの領域を本実施形態に係る範囲として設定することが可能なインタフェース
(i)に係るインタフェースが用いられることによって、例えば“表示画面に設定されている複数の小領域である小領域A〜小領域Zの中から、ユーザにより選択された小領域である小領域A、小領域B、小領域Cが、本実施形態に係る範囲として設定されること”などが、実現される。
(ii)ユーザにより指定された範囲に対応する座標値に基づいて、ユーザにより指定された範囲を、本実施形態に係る範囲として設定することが可能なインタフェース
(ii)に係るインタフェースが用いられることによって、例えば“ユーザが、評価値を算出する範囲が設定される対象に対応する画像上において、矩形、円形、またはフリーフォームなどにより範囲を指定することによって、ユーザが自由に指定した範囲が、本実施形態に係る範囲として設定されること”などが、実現される。
また、本実施形態に係る情報処理装置は、評価値を算出する範囲が設定される対象を解析し、解析結果に基づいて本実施形態に係る範囲を設定することも可能である。解析結果に基づいて本実施形態に係る範囲が設定される例としては、例えば、図1のBや図1のCに示すように、ページ内に含まれる記事単位や、記事の構成要素単位で、本実施形態に係る範囲が設定される例が挙げられる。
本実施形態に係る生成処理が行われる場合、本実施形態に係る情報処理装置は、例えば、上記(1)の処理(評価値算出処理)において、生成された範囲情報を用いることが可能となる。
また、本実施形態に係る生成処理により生成された範囲情報は、記憶部(図示せず)や外部記録媒体などの記録媒体に記録されてもよい。本実施形態に係る情報処理装置は、例えば、上記(1)の処理(評価値算出処理)において、記録媒体に記憶されている範囲情報を用いることも可能である。
(3)実行処理
本実施形態に係る情報処理装置は、例えば、本実施形態に係る範囲ごとに算出された評価値に基づいて処理を行う。
(3−1)実行処理の第1の例
本実施形態に係る情報処理装置は、本実施形態に係る範囲ごとに算出された評価値をまとめたデータを生成する。また、本実施形態に係る情報処理装置は、生成した評価値をまとめたデータを、表示画面に表示させてもよい。本実施形態に係る情報処理装置が生成した評価値をまとめたデータを表示させる表示画面としては、例えば、本実施形態に係る情報処理装置が備える表示部(後述する)の表示画面や、外部の表示デバイスの表示画面が挙げられる。
図8は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る情報処理装置が生成した評価値をまとめたデータの一例を示している。
本実施形態に係る情報処理装置は、例えば図8に示すように、評価値が大きい順に本実施形態に係る範囲を並び替えたデータを生成する。ここで、評価値が大きい順とは、例えば、ユーザの注目度が高い順に相当する。
また、例えば、評価値を算出する範囲が設定される対象が、雑誌や書籍などの複数ページを有する媒体である場合を例に挙げると、本実施形態に係る情報処理装置は、例えば、複数ページ分の評価値をまとめたデータを生成してもよいし、任意の1ページ分の評価値をまとめたデータを生成してもよい。評価値を算出する範囲が設定される対象が動画像などの他の対象である場合においても、本実施形態に係る情報処理装置は、同様に、様々な単位で評価値をまとめたデータを生成することが可能である。
(3−2)実行処理の第2の例
本実施形態に係る情報処理装置は、例えば、本実施形態に係る範囲ごとに算出された評価値の解析に係るUI(User Interface)を表示画面に表示させる。本実施形態に係る評価値の解析に係るUIを表示させる表示画面としては、例えば、本実施形態に係る情報処理装置が備える表示部(後述する)の表示画面や、外部の表示デバイスの表示画面が挙げられる。
図9は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る情報処理装置が表示画面に表示させる、評価値の解析に係るUIの一例を示している。
図9に示す例を参照すると、評価値の解析に係るUIは、例えば、評価値を算出する範囲が設定される対象(図9に示すA)と、評価値をまとめたデータ(図9に示すB)と、評価値をまとめる単位を指定するタブ(図9に示すC)と、本実施形態に係る範囲の粒度を調整するスライダ(図9に示すD)とを有する。
ここで、例えば図9のCに示すタブが示す評価値をまとめる単位としては、例えば、“Overall(全体での集計)”や、“Page(ページごとの集計)”、“Content Type(コンテンツの種類ごとの集計)”などが挙げられる。また、図9のDに示すスライダにより、例えば図1を参照して示したような、様々な本実施形態に係る評価値を算出する範囲を指定することが可能である。また、評価値を算出する範囲が設定される対象(図9に示すA)と、評価値をまとめたデータ(図9に示すB)とは、例えば、図9のE1、E2に示すように、対応付けられてもよい。
また、本実施形態に係る情報処理装置は、例えば図9のA、図10、図11に示すように、評価値の算出に係るスコア値(評価値の算出に係る値)を、スコア値の大きさに応じた色により視覚化して、表示画面に表示させてもよい。
ここで、スコア値の大きさに応じた色による視覚化は、例えば、“ユーザの視線が、表示画面上や実オブジェクト上においてどのように分布し、どれだけの時間滞在したか”を、色分けして表現したものである。スコア値の大きさに応じた色による視覚化は、例えば、ユーザが注目した箇所を色によって視覚的に表すことに該当する。
よって、スコア値が視覚化されることによって、評価値の解析を行う解析者は、より直感的に評価値の解析を行うことができる。
なお、本実施形態に係る情報処理装置が表示画面に表示させる、評価値の解析に係るUIの例は、図9に示す例に限られない。
図10、図11は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る情報処理装置が表示画面に表示させる、評価値の解析に係るUIの他の例をそれぞれ示している。
例えば図10のA1、A2、B1、B2に示すように、評価値を算出する範囲が設定される対象と、評価値をまとめたデータとは、色によって対応付けられてもよい。
また、例えば図11に示すように、評価値を算出する範囲が設定される対象には、本実施形態に係る範囲に対して評価値をまとめたデータに基づくランキングの番号が表示されていてもよい。
本実施形態に係る評価値の解析に係るUIの例としては、例えば図9〜図11に示す例が挙げられる。なお、本実施形態に係る評価値の解析に係るUIの例が、図9〜図11に示す例に限られないことは、言うまでもない。
(3−3)実行処理の第3の例
本実施形態に係る情報処理装置は、例えば、評価値を算出する範囲が設定される対象と、評価値の算出に係るスコア値(評価値の算出に係る値)とに基づいて、評価値を算出する範囲が設定される対象に含まれるオブジェクトの中から、ユーザが注目しているオブジェクトを抽出する。そして、本実施形態に係る情報処理装置は、例えば、抽出されたオブジェクトに対応する商品を、おすすめの商品として表示画面に表示させる。本実施形態に係るおすすめの商品を表示させる表示画面としては、例えば、本実施形態に係る情報処理装置が備える表示部(後述する)の表示画面や、外部の表示デバイスの表示画面が挙げられる。
図12は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図12に示すAは、評価値を算出する範囲が設定される対象に対して、スコア値の大きさに応じた色によるユーザが注目した箇所が視覚化が行われた例を示している。また、図12に示すBは、本実施形態に係る情報処理装置が表示画面に表示させる、おすすめの商品の表示の一例を示している。
図12では、図12のAに示すI1〜I3に対応するブラウス、時計、ネックレスが、図12のBに示すように、おすすめの商品として表示画面に表示された例を示している。
(3−4)実行処理の第4の例
本実施形態に係る情報処理装置は、例えば、“評価値、および/または、評価値の算出に係るスコア値(評価値の算出に係る値)”と、“評価値を算出する範囲が設定される対象”とに基づいて、評価値を算出する範囲が設定される対象に含まれるユーザが注目したコンテンツを特定する。本実施形態に係る情報処理装置は、例えば、評価値を算出する範囲が設定される対象に含まれるコンテンツのうち、評価値が高いコンテンツ、および/または、評価値の算出に係るスコア値が高いコンテンツを、ユーザが注目したコンテンツとして特定する。
そして、本実施形態に係る情報処理装置は、例えば、特定されたユーザが注目したコンテンツに関連した、他のコンテンツをユーザに対して提示する。本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える表示部(後述する)の表示画面や、外部の表示デバイスの表示画面に、上記他のコンテンツに係る画像を表示させることによって、他のコンテンツをユーザに対して提示する。
図13は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る情報処理装置が、第4の例に係る実行処理によって提示する他のコンテンツの概要を示している。
例えば、ユーザが、キーワード「ABC」を含む記事(コンテンツの一例)に注目していると特定された場合には、本実施形態に係る情報処理装置は、キーワード「ABC」に関連する他のコンテンツを提示する。また、例えば、ユーザが、キーワード「XYZ」を含む記事(コンテンツの一例)に注目していると特定された場合には、本実施形態に係る情報処理装置は、キーワード「XYZ」に関連する他のコンテンツを提示する。
(3−5)実行処理の第5の例
本実施形態に係る情報処理装置は、例えば、上記(1)の処理(評価値算出処理)によって算出された評価値や、評価値の算出に係るスコア値(評価値の算出に係る値)を、サーバなどの外部装置に対して送信させる。また、本実施形態に係る情報処理装置は、評価値を算出する範囲が設定される対象を示すデータを、さらにサーバなどの外部装置に対して送信させてもよい。
本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える通信部(後述する)や、外部の通信デバイスに、評価値やスコア値などを示すデータを、サーバなどの外部装置に対して送信させる。
ここで、本実施形態に係る情報処理装置が送信する評価値やスコア値などを示すデータは、例えば、ユーザの視線に関するログの役目を果たす。以下では、本実施形態に係る情報処理装置が送信する評価値やスコア値などを示すデータを、「コンテンツ・視線ログ」と示す場合がある。
本実施形態に係る情報処理装置が、第5の例に係る実行処理を行う場合、例えば、下記に示すような情報処理システムを実現することが可能となる。
[本実施形態に係る情報処理システムの一例]
図14は、本実施形態に係る情報処理システムの一例を説明するための説明図である。図14では、“どの広告にどれだけ視線があったかが解析され、解析結果に応じて広告料金が決定される仕組み”を有する本実施形態に係る情報処理システムを示している。
本実施形態に係る情報処理システムは、本実施形態に係る情報処理装置と、コンテンツ・視線ログを管理するサーバと、コンテンツを提供するコンテンツプロバイダと、広告を提供する広告プロバイダとを有する。
なお、図14では、本実施形態に係る情報処理システムが、3つの本実施形態に係る情報処理装置を有する構成を示しているが、本実施形態に係る情報処理システムが有する本実施形態に係る情報処理装置の数は、3つに限られない。本実施形態に係る情報処理システムは、1または2以上の本実施形態に係る情報処理装置を有する構成をとることが可能である。
図14に示す本実施形態に係る情報処理システムでは、広告プロバイダがコンテンツプロバイダに対して広告を出稿する。また、図14に示す本実施形態に係る情報処理システムでは、コンテンツプロバイダが、出稿された広告についての視線データを、広告プロバイダに対して提供する。そして、広告プロバイダは、出稿した広告についての視線データに応じた料金を、広告料としてコンテンツプロバイダに対して支払う。
ここで、本実施形態に係る視線データとしては、例えば、本実施形態に係る情報処理装置が送信する評価値やスコア値などを示すデータを含むデータが挙げられる。また、本実施形態に係る視線データには、例えば、本実施形態に係る情報処理装置が送信する評価値やスコア値などを示すデータがサーバに記憶された時刻を示すデータが含まれていてもよい。
本実施形態に係る広告料の決定方法としては、例えば、下記に示すような方法が挙げられる。
・コンテンツプロバイダは、本実施形態に係る情報処理装置それぞれから収集した広告に対する視線に係るスコア値の集計を期間を区切って行う。
・広告プロバイダからコンテンツプロバイダに対して支払われる広告料は、例えば、スコア値の集計値に、スコア単価を乗算した料金とする。
ここで、本実施形態に係るスコア単価は、例えば、広告の大きさや、表示場所、色数、解像度などの1または2以上のパラメータに基づき設定される。また、広告が動画像で表される場合、本実施形態に係るスコア単価は、さらに再生時間に基づき設定されてもよい。
なお、本実施形態に係る広告料の決定方法は、上記に限られない。例えば、本実施形態に係る広告料は、スコア単価は固定として、上記に示すようなパラメータに応じた規定料金であってもよい。本実施形態に係る広告料が規定料金である場合、広告プロバイダは、例えば、規定料金を予めコンテンツプロバイダに対して支払うことも可能である。
例えば、図14に示す本実施形態に係る情報処理システムにおいて、本実施形態に係る視線データに基づき広告料が決定される場合には、コンテンツプロバイダが、本実施形態に係る視線データを得る必要がある。また、コンテンツプロバイダが、本実施形態に係る視線データを得るためには、例えば、テキストや画像などをみるユーザの視線の検出に係るデバイスの検出範囲内に、ユーザの顔が入るように誘導する必要がある。特に、ユーザが視線を向けるテキストや画像などが表示される機器が、タブレット型の装置や、スマートフォンなどの通信装置などの、いわゆるポータブル機器である場合には、顔が上記視線の検出に係るデバイスの検出範囲内に入るように、当該ポータブル機器を持ったり置いたりするように、ユーザを誘導する必要性が高い。
そこで、本実施形態に係る情報処理システムでは、例えば、ユーザに対してインセンティブを与えることによって、視線検出の状態を維持するように、ユーザを誘導する。
本実施形態に係る情報処理システムにおいてユーザに対して与えられるインセンティブとしては、例えば下記に示す例が挙げられる。
・従来は有料会員のみが閲覧や利用することができたコンテンツやアプリケーションについて、視線が検出できている間だけ利用できることを条件として、ユーザが、無料または値引きされた値段で、コンテンツの閲覧やアプリケーションの利用を行うことができるようにする。
・視線が検出できているときだけ表示される、特別なコンテンツを提供する。
・視線が検出された積算時間、またはコンテンツ閲覧時間のうち、視線を検出することができている時間が占める割合に応じて、ポイントなどの特典を与える。
また、コンテンツプロバイダは、本実施形態に係る情報処理システムにおいてユーザに対して与えられるインセンティブの予算を、例えば、広告プロバイダから受け取る見込みの広告料から、コンテンツ製作費やサーバー運用費、必要経費などを考慮して決定する。
また、本実施形態に係る情報処理システムにおける運用時のインセンティブの大きさ決定方法としては、例えば、下記に示す例が挙げられる。なお、下記に示す例は、特典ポイントがインセンティブとして与えらえる場合の例である。
・段階に分けて決定:例えば、3秒見たら1ポイント、8秒見たら3ポイント、15秒見たら6ポイントなど
・視線が検出される時間にポイント単位を乗算して決定:例えば、“付与ポイント数 =(視線が検出された時間)×(単位時間あたりのポイント数)
・上記段階に分けて決定する例、上記視線が検出される時間にポイント単位を乗算して決定する例それぞれにおいて、付与されるポイント数に上限を設ける。
本実施形態に係る情報処理システムの一例としては、例えば図14に示すような“どの広告にどれだけ視線があったかが解析され、解析結果に応じて広告料金が決定される仕組み”を有する情報処理システムが挙げられる。なお、本実施形態に係る情報処理システムの例が、図14に示す例に限られないことは、言うまでもない。
(本実施形態に係る情報処理装置)
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置の構成の一例について、説明する。
図15は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、通信部102と、制御部104とを備える。
また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、本実施形態に係る範囲情報などの本実施形態に係る情報処理方法に係るデータや、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
図16は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
MPU150は、例えば、MPU(Micro Processing Unit)などの演算回路で構成されるプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する制御部104として機能する。また、MPU150は、情報処理装置100において、例えば、後述する生成部110、評価値算出部112、および処理部114の役目を果たす。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、本実施形態に係る範囲情報などの本実施形態に係る情報処理方法に係るデータや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
また、表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース158が、情報処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の撮像デバイスや外部の表示デバイス、外部のセンサなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)や基地局を介した無線WAN(WWAN:Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
情報処理装置100は、例えば図16に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図16に示す構成に限られない。
例えば、情報処理装置100は、動画像または静止画像を撮像する撮像部(図示せず)の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、情報処理装置100は、例えば、撮像デバイスにおいて撮像により生成された撮像画像を処理して、ユーザの視線の位置に関する情報を得ることが可能となる。
ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ/撮像素子と信号処理回路とが挙げられる。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換する。また、信号処理回路は、例えば、White Balance補正処理や、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理など各種信号処理を行ってもよい。
また、情報処理装置100は、例えば、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータを得る検出部(図示せず)の役目を果たすセンサをさらに備えていてもよい。センサを備える場合には、情報処理装置100は、例えば、センサから得られるデータを用いて、ユーザの視線の位置の推定精度の向上を図ることが可能となる。
本実施形態に係るセンサとしては、例えば、赤外線センサなど、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る任意のセンサが挙げられる。
また、情報処理装置100は、例えば、スタンドアロンで処理を行う構成である場合には、通信デバイス164を備えていなくてもよい。また、情報処理装置100は、記憶媒体156や、操作デバイス160、表示デバイス162を備えない構成をとることも可能である。
再度図15を参照して、情報処理装置100の構成の一例について説明する。通信部102は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の撮像デバイスや外部の表示デバイス、外部のセンサなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。
ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
制御部104は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部104は、例えば、生成部110と、評価値算出部112と、処理部114とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
生成部110は、上記(2)の処理(生成処理)を主導的に行う役目を果たす。生成部110は、例えば、本実施形態に係る範囲を設定し、設定された範囲に対応する範囲情報を生成する。
評価値算出部112は、上記(1)の処理(評価値算出処理)を主導的に行う役目を果たし、ユーザの視線の位置に関する情報と、範囲情報とに基づいて、特定された本実施形態に係る範囲ごとに評価値を算出する。より具体的には、評価値算出部112は、例えば、上記(1−1)に示す第1の例に係る評価値算出処理〜上記(1−4)に示す第4の例に係る評価値算出処理のうちのいずれかの処理を行う。
評価値算出部112は、例えば、生成部110が生成した範囲情報、および/または、記憶部(図示せず)や外部記録媒体に記憶されている範囲情報を処理に用いる。また、評価値算出部112は、例えば、通信部102や、外部通信デバイスを介して外部装置から取得された範囲情報を処理に用いることも可能である。
処理部114は、上記(3)の処理(実行処理)を主導的に行う役目を果たし、例えば、本実施形態に範囲ごとに算出された評価値に基づいて処理を行う。また、処理部114は、例えば、評価値の算出に係るスコア値(評価値の算出に係る値)に基づいて処理を行うことも可能である。
より具体的には、処理部114は、例えば、上記(3−1)に示す第1の例に係る実行処理〜上記(3−5)に示す第5の例に係る評価値算出処理のうちの、1または2以上の処理を行う。
制御部104は、例えば、生成部110、評価値算出部112、および処理部114を備えることによって、本実施形態に係る情報処理方法に係る処理を主導的に行う。
情報処理装置100は、例えば図15に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、上記(1)の処理(評価値算出処理)〜上記(3)の処理(実行処理))を行う。
したがって、情報処理装置100は、例えば図15に示す構成によって、ユーザの視線の位置に基づいて、ユーザの視線に関する評価値を算出することができる。
また、例えば図15に示す構成によって、情報処理装置100は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
なお、本実施形態に係る情報処理装置の構成は、図15に示す構成に限られない。
例えば、本実施形態に係る情報処理装置は、図15に示す生成部110、評価値算出部112、および処理部114のうちの1または2以上を、制御部104とは個別に備える(例えば、別の処理回路で実現する)ことができる。
また、本実施形態に係る情報処理装置は、例えば、図15に示す生成部110、処理部114の一方または双方を備えない構成をとることも可能である。生成部110、処理部114の一方または双方を備えない構成であっても、本実施形態に係る情報処理装置は、上記(1)の処理(評価値算出処理)を行うことが可能である。よって、生成部110、処理部114の一方または双方を備えない構成であっても、本実施形態に係る情報処理装置は、ユーザの視線の位置に基づいて、ユーザの視線に関する評価値を算出することができる。
また、例えば、通信部102と同様の機能、構成を有する外部の通信デバイスを介して、外部のデバイスや外部装置と通信を行う場合や、スタンドアロンで処理を行う構成である場合には、本実施形態に係る情報処理装置は、通信部102を備えていなくてもよい。
また、本実施形態に係る情報処理装置は、例えば、撮像デバイスで構成される撮像部(図示せず)を、さらに備えていてもよい。撮像部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、例えば、撮像部(図示せず)において撮像により生成された撮像画像を処理して、ユーザの視線の位置に関する情報を得ることが可能となる。
また、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る任意のセンサで構成される検出部(図示せず)を、さらに備えていてもよい。検出部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、例えば、検出部(図示せず)から得られるデータを用いて、ユーザの視線の位置の推定精度の向上を図ることが可能となる。
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、テレビ受像機や、表示装置、タブレット型の装置、携帯電話やスマートフォンなどの通信装置、透過型や遮蔽型のHMD、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機、PC(Personal Computer)などのコンピュータなど、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理IC(Integrated Circuit)に適用することもできる。
また、本実施形態は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムにより実現されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、“上記(1)の処理(評価値算出処理)”や、“上記(1)の処理(評価値算出処理)、および上記(2)の処理(生成処理)、”、“上記(1)の処理(評価値算出処理)、および上記(3)の処理(実行処理)”、“上記(1)の処理(評価値算出処理)〜上記(3)の処理(実行処理)”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、ユーザの視線の位置に基づいて、ユーザの視線に関する評価値を算出することができる。
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの視線の位置に関する情報と、視線に関する評価値を算出する範囲を示す範囲情報とに基づいて、特定された前記範囲ごとに前記評価値を算出する評価値算出部を備える、情報処理装置。
(2)
前記評価値算出部は、特定された前記範囲に対して重み付けをつけて前記評価値を算出する、(1)に記載の情報処理装置。
(3)
前記評価値算出部は、特定された前記範囲に含まれるコンテンツの種類、前記コンテンツの属性のうちの、一方または双方に基づいて重み付けをつけて、前記評価値を算出する、(2)に記載の情報処理装置。
(4)
前記範囲情報が示す範囲が、表示画面に対応する領域のうちの一部の領域である場合、
前記評価値算出部は、前記範囲情報に基づき特定された前記範囲に対応する領域における、表示画面における基準位置からの距離に基づいて重み付けをつけて、前記評価値を算出する、(2)、または(3)に記載の情報処理装置。
(5)
前記基準位置は、前記範囲情報に基づき特定された前記範囲が設定されるコンテンツの種類に基づき設定される、(4)に記載の情報処理装置。
(6)
前記範囲情報が示す範囲が、表示画面に対応する領域のうちの一部の領域である場合、
前記評価値算出部は、前記範囲情報が示す範囲を、範囲ごとに範囲が大きくなるように調整して前記範囲を特定する、(1)〜(5)のいずれか1つに記載の情報処理装置。
(7)
前記評価値算出部は、前記ユーザの視線の位置に関する情報に対応する装置の種類に基づいて、前記範囲情報が示す範囲を調整する、(6)に記載の情報処理装置。
(8)
前記評価値算出部は、前記ユーザの視線の位置に関する情報に対応する表示画面における位置、または前記ユーザの視線の位置に関する情報に対応する実オブジェクトにおける位置と、前記ユーザの視線の位置に関する情報に対応するユーザとの距離に基づいて、前記範囲情報が示す範囲を調整する、(6)、または(7)に記載の情報処理装置。
(9)
前記評価値算出部は、前記ユーザの視線の位置に関する情報に対応する表示画面、または前記ユーザの視線の位置に関する情報に対応する実オブジェクトに対する、前記ユーザの視線の位置に関する情報に対応するユーザの位置に基づいて、前記範囲情報が示す範囲を調整する、(6)〜(8)のいずれか1つに記載の情報処理装置。
(10)
前記評価値算出部は、前記ユーザの視線の位置に関する情報の取得に係る方法と、前記ユーザの視線の位置に関する情報の取得に係るデバイスとのうちの、一方または双方に基づいて、前記範囲情報が示す範囲を調整する、(6)〜(9)のいずれか1つに記載の情報処理装置。
(11)
前記評価値算出部は、調整されることにより前記範囲が特定された場合、
調整された範囲のうち、調整された範囲と前記範囲情報が示す範囲との差分に対応する範囲に対して重み付けをつけて、前記評価値を算出する、(6)〜(10)のいずれか1つに記載の情報処理装置。
(12)
前記評価値算出部は、前記範囲情報が示す範囲を、前記範囲として特定する、(1)〜(5)のいずれか1つに記載の情報処理装置。
(13)
前記評価値を算出する範囲を設定し、設定された範囲に対応する前記範囲情報を生成する生成部をさらに備え、
前記評価値算出部は、生成された前記範囲情報に基づいて、前記評価値を算出する、(1)〜(12)のいずれか1つに記載の情報処理装置。
(14)
前記範囲ごとに算出された評価値に基づいて処理を行う処理部をさらに備える、(1)〜(13)のいずれか1つに記載の情報処理装置。
(15)
前記処理部は、前記評価値の算出に係る値を、前記評価値の算出に係る値の大きさに応じた色により視覚化して、表示画面に表示させる、(14)に記載の情報処理装置。
(16)
ユーザの視線の位置に関する情報と、視線に関する評価値を算出する範囲を示す範囲情報とに基づいて、特定された前記範囲ごとに前記評価値を算出するステップを有する、情報処理装置により実行される情報処理方法。
(17)
ユーザの視線の位置に関する情報と、視線に関する評価値を算出する範囲を示す範囲情報とに基づいて、特定された前記範囲ごとに前記評価値を算出するステップを、コンピュータに実行させるためのプログラム。
100 情報処理装置
102 通信部
104 制御部
110 生成部
112 評価値算出部
114 処理部

Claims (17)

  1. ユーザの視線の位置に関する情報と、視線に関する評価値を算出する範囲を示す範囲情報とに基づいて、特定された前記範囲ごとに前記評価値を算出する評価値算出部を備える、情報処理装置。
  2. 前記評価値算出部は、特定された前記範囲に対して重み付けをつけて前記評価値を算出する、請求項1に記載の情報処理装置。
  3. 前記評価値算出部は、特定された前記範囲に含まれるコンテンツの種類、前記コンテンツの属性のうちの、一方または双方に基づいて重み付けをつけて、前記評価値を算出する、請求項2に記載の情報処理装置。
  4. 前記範囲情報が示す範囲が、表示画面に対応する領域のうちの一部の領域である場合、
    前記評価値算出部は、前記範囲情報に基づき特定された前記範囲に対応する領域における、表示画面における基準位置からの距離に基づいて重み付けをつけて、前記評価値を算出する、請求項2に記載の情報処理装置。
  5. 前記基準位置は、前記範囲情報に基づき特定された前記範囲が設定されるコンテンツの種類に基づき設定される、請求項4に記載の情報処理装置。
  6. 前記範囲情報が示す範囲が、表示画面に対応する領域のうちの一部の領域である場合、
    前記評価値算出部は、前記範囲情報が示す範囲を、範囲ごとに範囲が大きくなるように調整して前記範囲を特定する、請求項1に記載の情報処理装置。
  7. 前記評価値算出部は、前記ユーザの視線の位置に関する情報に対応する装置の種類に基づいて、前記範囲情報が示す範囲を調整する、請求項6に記載の情報処理装置。
  8. 前記評価値算出部は、前記ユーザの視線の位置に関する情報に対応する表示画面における位置、または前記ユーザの視線の位置に関する情報に対応する実オブジェクトにおける位置と、前記ユーザの視線の位置に関する情報に対応するユーザとの距離に基づいて、前記範囲情報が示す範囲を調整する、請求項6に記載の情報処理装置。
  9. 前記評価値算出部は、前記ユーザの視線の位置に関する情報に対応する表示画面、または前記ユーザの視線の位置に関する情報に対応する実オブジェクトに対する、前記ユーザの視線の位置に関する情報に対応するユーザの位置に基づいて、前記範囲情報が示す範囲を調整する、請求項6に記載の情報処理装置。
  10. 前記評価値算出部は、前記ユーザの視線の位置に関する情報の取得に係る方法と、前記ユーザの視線の位置に関する情報の取得に係るデバイスとのうちの、一方または双方に基づいて、前記範囲情報が示す範囲を調整する、請求項6に記載の情報処理装置。
  11. 前記評価値算出部は、調整されることにより前記範囲が特定された場合、
    調整された範囲のうち、調整された範囲と前記範囲情報が示す範囲との差分に対応する範囲に対して重み付けをつけて、前記評価値を算出する、請求項6に記載の情報処理装置。
  12. 前記評価値算出部は、前記範囲情報が示す範囲を、前記範囲として特定する、請求項1に記載の情報処理装置。
  13. 前記評価値を算出する範囲を設定し、設定された範囲に対応する前記範囲情報を生成する生成部をさらに備え、
    前記評価値算出部は、生成された前記範囲情報に基づいて、前記評価値を算出する、請求項1に記載の情報処理装置。
  14. 前記範囲ごとに算出された評価値に基づいて処理を行う処理部をさらに備える、請求項1に記載の情報処理装置。
  15. 前記処理部は、前記評価値の算出に係る値を、前記評価値の算出に係る値の大きさに応じた色により視覚化して、表示画面に表示させる、請求項14に記載の情報処理装置。
  16. ユーザの視線の位置に関する情報と、視線に関する評価値を算出する範囲を示す範囲情報とに基づいて、特定された前記範囲ごとに前記評価値を算出するステップを有する、情報処理装置により実行される情報処理方法。
  17. ユーザの視線の位置に関する情報と、視線に関する評価値を算出する範囲を示す範囲情報とに基づいて、特定された前記範囲ごとに前記評価値を算出するステップを、コンピュータに実行させるためのプログラム。
JP2013224418A 2013-10-29 2013-10-29 情報処理装置、情報処理方法、およびプログラム Pending JP2015088828A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013224418A JP2015088828A (ja) 2013-10-29 2013-10-29 情報処理装置、情報処理方法、およびプログラム
US14/488,598 US20150116473A1 (en) 2013-10-29 2014-09-17 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013224418A JP2015088828A (ja) 2013-10-29 2013-10-29 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2015088828A true JP2015088828A (ja) 2015-05-07

Family

ID=52994943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013224418A Pending JP2015088828A (ja) 2013-10-29 2013-10-29 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US20150116473A1 (ja)
JP (1) JP2015088828A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101855105B1 (ko) * 2017-01-13 2018-05-08 주식회사 살린 헤드 마운트 디스플레이에서의 눈의 초점 위치 분석 시스템 및 그 방법
CN111208904A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种视线估计设备性能评估方法、***和设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6474278B2 (ja) * 2015-02-27 2019-02-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
JP2017134558A (ja) * 2016-01-27 2017-08-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI394121B (zh) * 2006-12-18 2013-04-21 Sony Corp An image processing apparatus, an image processing method, and a recording medium
JP2008178075A (ja) * 2006-12-18 2008-07-31 Sony Corp 表示制御装置、表示制御方法、及びプログラム
US8539560B2 (en) * 2010-06-24 2013-09-17 International Business Machines Corporation Content protection using automatically selectable display surfaces
JP5992210B2 (ja) * 2012-06-01 2016-09-14 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US20140003654A1 (en) * 2012-06-29 2014-01-02 Nokia Corporation Method and apparatus for identifying line-of-sight and related objects of subjects in images and videos
KR101974867B1 (ko) * 2012-08-24 2019-08-23 삼성전자주식회사 컨텐츠의 스테이 값을 계산하여 유알엘을 자동 저장하는 전자 장치 및 방법
US10062209B2 (en) * 2013-05-02 2018-08-28 Nintendo Co., Ltd. Displaying an object in a panoramic image based upon a line-of-sight direction
JP6329343B2 (ja) * 2013-06-13 2018-05-23 任天堂株式会社 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
JP5787949B2 (ja) * 2013-08-28 2015-09-30 ヤフー株式会社 情報処理装置、特定方法および特定プログラム
JP6122735B2 (ja) * 2013-08-28 2017-04-26 ヤフー株式会社 情報処理装置、判定方法および判定プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101855105B1 (ko) * 2017-01-13 2018-05-08 주식회사 살린 헤드 마운트 디스플레이에서의 눈의 초점 위치 분석 시스템 및 그 방법
CN111208904A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种视线估计设备性能评估方法、***和设备

Also Published As

Publication number Publication date
US20150116473A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
US10845976B2 (en) Systems and methods for representing data, media, and time using spatial levels of detail in 2D and 3D digital applications
US10702745B2 (en) Facilitating dynamic monitoring of body dimensions over periods of time based on three-dimensional depth and disparity
US20170097679A1 (en) System and method for content provision using gaze analysis
US10019779B2 (en) Browsing interface for item counterparts having different scales and lengths
US9024842B1 (en) Hand gestures to signify what is important
US20230419537A1 (en) Computerized system and method for providing a mobile augmented reality item display and selection experience
US11237702B2 (en) Carousel interface for post-capture processing in a messaging system
CN102867169B (zh) 图像处理设备和显示控制方法
US8823794B2 (en) Measuring device user experience through display outputs
WO2019117893A1 (en) Providing a digital model of a corresponding product in a camera feed
JP2018010305A (ja) 顔表情採点装置、ダンス採点装置、カラオケ装置、およびゲーム装置
US20210041945A1 (en) Machine learning based gaze estimation with confidence
US20220214797A1 (en) Virtual image control method, apparatus, electronic device and storage medium
US9619707B2 (en) Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium
US20230377233A1 (en) Layering of post-capture processing in a messaging system
US10026176B2 (en) Browsing interface for item counterparts having different scales and lengths
US11995108B2 (en) Systems, devices, and methods for content selection
CN106610781B (zh) 一种智能穿戴设备
JP2015088828A (ja) 情報処理装置、情報処理方法、およびプログラム
US20220318551A1 (en) Systems, devices, and/or processes for dynamic surface marking
JP2017182247A (ja) 情報処理装置、情報処理方法、およびプログラム
CN111768377A (zh) 图像色彩评估方法、装置、电子设备及存储介质
JP6011154B2 (ja) 画像処理装置、画像処理方法
CN107209774B (zh) 统计数据提供方法及统计数据提供装置
US20150181288A1 (en) Video sales and marketing system