JP2012196279A - 注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム - Google Patents
注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム Download PDFInfo
- Publication number
- JP2012196279A JP2012196279A JP2011061522A JP2011061522A JP2012196279A JP 2012196279 A JP2012196279 A JP 2012196279A JP 2011061522 A JP2011061522 A JP 2011061522A JP 2011061522 A JP2011061522 A JP 2011061522A JP 2012196279 A JP2012196279 A JP 2012196279A
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- attention
- eye movement
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001747 pupil Anatomy 0.000 claims abstract description 52
- 230000004424 eye movement Effects 0.000 claims description 54
- 238000005259 measurement Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 22
- 210000001508 eye Anatomy 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 12
- 230000002123 temporal effect Effects 0.000 claims description 12
- 241000287181 Sturnus vulgaris Species 0.000 claims 1
- 210000005252 bulbus oculi Anatomy 0.000 abstract description 6
- 238000009499 grossing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【解決手段】注目度検出システム10は、画像を表示する表示装置12と、表示装置12に表示された画像を見ている対象者の眼球運動データを所定時間毎に取得する眼球運動計測装置13と、眼球運動計測装置13で取得した眼球運動データから、画像における対象者の注目度を判定する注目度判定装置14とを備えている。注目度判定装置14では、予め記憶された数式を用い、眼球運動データとして画像内の注視点の位置と瞳孔径を取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づいて前記注目度が特定される。
【選択図】 図1
Description
(第1実施形態)
先ず、現時刻において、過去に比べて対象者の瞳孔が収縮していると判断される第1の場合、つまり、di−M+1−di M>0で、且つ、di−di M<0で、且つ、σi d>Tdの場合には、λi=1とされる。
ここで、Tdは、実験等によって予め定められた一定の閾値であり、この閾値による判別処理(σi d>Td)は、細かな瞳孔径の変化を除外するためのフィルタの役割を果たしている。
すなわち、λi=1で、且つ、δi M<Tδで、且つ、σi M<Tσのときは、時刻t=iのときのフレーム内の注視点において、対象者の注目度が高いと判定される。ここで、Tδ、Tσは、実験等によって予め定められた一定の閾値である。すなわち、ここでは、経時的な注視点間距離とそのばらつきとが、前記閾値よりも小さいときは、注視点を凝視していると判定される。
この時間移動平均di Nについても、前述と同様に、瞳孔径の座標の測定開始からN個のサンプルが得られた後、測定時刻毎に求められ、データ記憶部16に記憶される。なお、ここでも、瞳孔径をdiのノイズを除去可能であれば、前述と同様、他のフィルタを代わりに採用することもできる。
すなわち、前述の両眼タイプで説明した第1の場合の条件式に該当するときには、λi=1とされ、同第2の場合の条件式に該当するときには、λi=−1とされる。また、これら何れの場合にも該当しないときには、λiの値が、前回の時刻t=i−1のときの数値λi−1と同一とされる。
(第2実施形態)
12 表示装置
13 眼球運動計測装置
14 注目度判定装置
16 データ記憶部
17 演算判定部
50 画像配信システム
51 クライアント側装置
52 サーバ
54 画像配信装置
56 データ集計処理装置
Claims (8)
- 画像を表示する表示装置と、当該表示装置に表示された画像を見ている対象者の眼球運動データを所定時間毎に取得する眼球運動計測装置と、当該眼球運動計測装置で取得した眼球運動データから、前記画像における対象者の注目度を判定する注目度判定装置とを備えた注目度検出システムであって、
前記眼球運動計測装置は、前記眼球運動データとして、前記画像内の注視点の位置と瞳孔径とを少なくとも取得可能に設けられ、
前記注目度判定装置では、予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づいて前記注目度が特定されることを特徴とする注目度検出システム。 - 前記注目度判定装置では、前記瞳孔径に関する経時的変化から、過去に比べて前記瞳孔が収縮しているか否かが判定されるとともに、前記注視点に関する経時的変化から、前記注視点を凝視しているか否かが判定され、過去に比べて前記瞳孔が収縮し、且つ、前記注視点を凝視していると判定されたときに、前記対象者が前記注視点を意識的に見ていたと判定されることを特徴とする請求項1記載の注目度検出システム。
- 前記注目度判定装置では、前記瞳孔径に関する経時的変化から、前記対象者が前記注視点を意識的に見ていると思われる注目時間が特定されるとともに、予め設定された閾値に基づき、前記注視点に関して経時的変化が少ないか否かが判定され、前記注目時間の中で、前記注視点に関して経時的変化が少ないと判定されたときに、前記対象者が前記注視点を意識的に見ていたと判定されることを特徴とする請求項1記載の注目度検出システム。
- 前記眼球運動計測装置は、前記対象者の両眼の眼球運動データを取得可能に設けられ、
前記注目度判定装置では、前記両眼の注視点間距離と前記両眼の平均瞳孔径との経時的変化に基づいて、前記対象者が前記注視点を意識的に見ていたか否かが判定されることを特徴とする請求項1、2又は3記載の注目度検出システム。 - 前記眼球運動計測装置は、前記対象者の左右何れか一方の眼の眼球運動データを取得可能に設けられ、
前記注目度判定装置では、前記眼の注視点座標と前記眼の瞳孔径との経時的変化に基づいて、前記対象者が前記注視点を意識的に見ていたか否かが判定されることを特徴とする請求項1、2又は3記載の注目度検出システム。 - 画像を見ている対象者の眼球運動データに基づき、前記画像における対象者の注目度を判定する注目度判定装置であって、
前記眼球運動データとして、前記画像内の注視点の位置と瞳孔径とを記憶するデータ記憶部と、
予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づき、前記注目度を特定する演算判定部とを備えたことを特徴とする注目度判定装置。 - 画像を見ている対象者の所定時間毎の眼球運動データに基づき、前記画像における対象者の注目度を判定するコンピュータを含む注目度判定装置用のプログラムであって、
予め記憶された数式を用い、前記画像内の前記対象者の注視点に関する経時的変化に着目した指標値を求める注視点演算処理と、予め記憶された数式を用い、前記画像内の前記対象者の瞳孔径に関する経時的変化に着目した指標値を求める瞳孔径演算処理と、前記注視点演算処理及び瞳孔径演算処理で求めた各指標値に基づき、前記注目度を特定する注目度判定処理とを前記コンピュータに実行させることを特徴とする注目度判定装置用のプログラム。 - 画像を表示可能な複数のクライアント側装置と、当該クライアント側装置に接続されて前記画像を含む各種情報の送受信を行うとともに、各種のデータ処理を行うサーバとを備えた画像配信システムにおいて、
前記クライアント側装置は、画像を表示する表示装置と、当該表示装置に表示された画像を見ている対象者の眼球運動データを所定時間毎に取得する眼球運動計測装置とを備え、
前記眼球運動計測装置は、前記眼球運動データとして、前記画像内の注視点と瞳孔径とを少なくとも取得可能に設けられ、
前記サーバは、前記各クライアント側装置に、前記画像及び当該画像の付随情報を配信する画像配信装置と、各対象者が前記画像を見たときに前記眼球運動計測装置から得られた前記各対象者の眼球運動データから、前記各対象者それぞれについて、前記画像における注目度を判定する注目度判定装置と、当該注目度判定装置での前記各対象者の判定結果を集計し、当該集計結果を前記付随情報の一つとして前記画像配信装置に送信するデータ集計処理装置とを備え、
前記注目度判定装置では、予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づいて前記注目度が特定されることを特徴とする画像配信システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011061522A JP5733658B2 (ja) | 2011-03-18 | 2011-03-18 | 注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011061522A JP5733658B2 (ja) | 2011-03-18 | 2011-03-18 | 注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012196279A true JP2012196279A (ja) | 2012-10-18 |
JP5733658B2 JP5733658B2 (ja) | 2015-06-10 |
Family
ID=47179155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011061522A Active JP5733658B2 (ja) | 2011-03-18 | 2011-03-18 | 注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5733658B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016046730A (ja) * | 2014-08-25 | 2016-04-04 | 学校法人早稲田大学 | 視聴者注目情報提供システム、時空間マーカ設定装置及びそのプログラム、並びに、情報提供装置及びそのプログラム |
WO2017033516A1 (ja) * | 2015-08-24 | 2017-03-02 | 富士フイルム株式会社 | 読影支援装置及び方法 |
JP2017188715A (ja) * | 2016-04-01 | 2017-10-12 | 富士通フロンテック株式会社 | 映像表示システム及び映像表示方法 |
CN110090037A (zh) * | 2019-04-22 | 2019-08-06 | 深圳安泰创新科技股份有限公司 | 医学影像胶片排版方法、装置、电子设备及可读存储介质 |
CN112331003A (zh) * | 2021-01-06 | 2021-02-05 | 湖南贝尔安亲云教育有限公司 | 一种基于差异化教学的习题生成方法和*** |
CN113271852A (zh) * | 2019-01-21 | 2021-08-17 | 三菱电机株式会社 | 注意力判定装置、注意力判定***、注意力判定方法和程序 |
CN116091132A (zh) * | 2023-04-06 | 2023-05-09 | 深圳市亲邻科技有限公司 | 广告投放效果确定方法、装置、介质及设备 |
CN116719418A (zh) * | 2023-08-09 | 2023-09-08 | 湖南马栏山视频先进技术研究院有限公司 | 一种注视点预测模型的检验方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002367100A (ja) * | 2001-06-12 | 2002-12-20 | Nissan Motor Co Ltd | 運転者状態検出装置 |
JP2004282471A (ja) * | 2003-03-17 | 2004-10-07 | Media Glue Corp | 映像コンテンツの評価装置 |
JP2006277192A (ja) * | 2005-03-29 | 2006-10-12 | Advanced Telecommunication Research Institute International | 映像表示システム |
JP2009005094A (ja) * | 2007-06-21 | 2009-01-08 | Mitsubishi Electric Corp | 携帯端末 |
JP2009232945A (ja) * | 2008-03-26 | 2009-10-15 | Toyota Motor Corp | 運転者状態検出装置、意識状態検出方法 |
JP2010094493A (ja) * | 2008-09-22 | 2010-04-30 | Koichi Kikuchi | 視認情景に対する視認者情感判定装置 |
JP2010268900A (ja) * | 2009-05-20 | 2010-12-02 | Kitasato Institute | 瞳孔径の測定方法及び瞳孔撮影装置 |
-
2011
- 2011-03-18 JP JP2011061522A patent/JP5733658B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002367100A (ja) * | 2001-06-12 | 2002-12-20 | Nissan Motor Co Ltd | 運転者状態検出装置 |
JP2004282471A (ja) * | 2003-03-17 | 2004-10-07 | Media Glue Corp | 映像コンテンツの評価装置 |
JP2006277192A (ja) * | 2005-03-29 | 2006-10-12 | Advanced Telecommunication Research Institute International | 映像表示システム |
JP2009005094A (ja) * | 2007-06-21 | 2009-01-08 | Mitsubishi Electric Corp | 携帯端末 |
JP2009232945A (ja) * | 2008-03-26 | 2009-10-15 | Toyota Motor Corp | 運転者状態検出装置、意識状態検出方法 |
JP2010094493A (ja) * | 2008-09-22 | 2010-04-30 | Koichi Kikuchi | 視認情景に対する視認者情感判定装置 |
JP2010268900A (ja) * | 2009-05-20 | 2010-12-02 | Kitasato Institute | 瞳孔径の測定方法及び瞳孔撮影装置 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016046730A (ja) * | 2014-08-25 | 2016-04-04 | 学校法人早稲田大学 | 視聴者注目情報提供システム、時空間マーカ設定装置及びそのプログラム、並びに、情報提供装置及びそのプログラム |
WO2017033516A1 (ja) * | 2015-08-24 | 2017-03-02 | 富士フイルム株式会社 | 読影支援装置及び方法 |
JPWO2017033516A1 (ja) * | 2015-08-24 | 2018-06-07 | 富士フイルム株式会社 | 読影支援装置及び方法 |
US10456072B2 (en) | 2015-08-24 | 2019-10-29 | Fujifilm Corporation | Image interpretation support apparatus and method |
JP2017188715A (ja) * | 2016-04-01 | 2017-10-12 | 富士通フロンテック株式会社 | 映像表示システム及び映像表示方法 |
CN113271852A (zh) * | 2019-01-21 | 2021-08-17 | 三菱电机株式会社 | 注意力判定装置、注意力判定***、注意力判定方法和程序 |
CN110090037A (zh) * | 2019-04-22 | 2019-08-06 | 深圳安泰创新科技股份有限公司 | 医学影像胶片排版方法、装置、电子设备及可读存储介质 |
CN112331003A (zh) * | 2021-01-06 | 2021-02-05 | 湖南贝尔安亲云教育有限公司 | 一种基于差异化教学的习题生成方法和*** |
CN112331003B (zh) * | 2021-01-06 | 2021-03-23 | 湖南贝尔安亲云教育有限公司 | 一种基于差异化教学的习题生成方法和*** |
CN116091132A (zh) * | 2023-04-06 | 2023-05-09 | 深圳市亲邻科技有限公司 | 广告投放效果确定方法、装置、介质及设备 |
CN116719418A (zh) * | 2023-08-09 | 2023-09-08 | 湖南马栏山视频先进技术研究院有限公司 | 一种注视点预测模型的检验方法及装置 |
CN116719418B (zh) * | 2023-08-09 | 2023-10-27 | 湖南马栏山视频先进技术研究院有限公司 | 一种注视点预测模型的检验方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5733658B2 (ja) | 2015-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5733658B2 (ja) | 注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム | |
Le Meur et al. | Overt visual attention for free-viewing and quality assessment tasks: Impact of the regions of interest on a video quality metric | |
Li et al. | Content-weighted video quality assessment using a three-component image model | |
Song et al. | QoE evaluation of multimedia services based on audiovisual quality and user interest | |
CN110866450B (zh) | 一种帕金森病监测方法、装置及存储介质 | |
Mustafa et al. | Single-trial EEG classification of artifacts in videos | |
CN113554597B (zh) | 一种基于脑电特征的图像质量评价方法及装置 | |
CA3089584C (en) | Techniques for predicting perceptual video quality based on complementary perceptual quality models | |
JP5751648B2 (ja) | ビデオ品質を測定する方法および装置 | |
KR101595546B1 (ko) | 시각 피로도 측정 장치, 방법 및 컴퓨터프로그램 | |
Janowski et al. | Content driven QoE assessment for video frame rate and frame resolution reduction | |
JP5829590B2 (ja) | 疲労感評価装置、疲労感評価方法、及びプログラム | |
JP5775837B2 (ja) | 興味度合い推定装置、方法及びプログラム | |
JP2006020131A (ja) | 関心度測定装置および関心度測定方法 | |
Ghadiyaram et al. | Subjective and objective quality assessment of mobile videos with in-capture distortions | |
Zeng et al. | Perceptual evaluation of image denoising algorithms | |
Oh et al. | Blind sharpness prediction based on image-based motion blur analysis | |
US20160196576A1 (en) | Systems, devices, and methods of measuring an advertising campaign | |
Valeriani et al. | Augmenting group performance in target-face recognition via collaborative brain-computer interfaces for surveillance applications | |
Mahmoudpour et al. | Omnidirectional video quality index accounting for judder | |
Antsiferova et al. | The influence of 3D video artifacts on discomfort of 302 viewers | |
Albanesi et al. | A new algorithm for objective video quality assessment on eye tracking data | |
JP2018026692A (ja) | 作業支援システム、撮影装置、及び表示装置 | |
Hadizadeh | Visual saliency in video compression and transmission | |
CN109194981B (zh) | 远程视频追踪方法、装置、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140313 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5733658 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |