JP2007310454A - Image evaluation device, subject concentration ratio calculation device, image evaluation program, and subject concentration ratio calculation program - Google Patents
Image evaluation device, subject concentration ratio calculation device, image evaluation program, and subject concentration ratio calculation program Download PDFInfo
- Publication number
- JP2007310454A JP2007310454A JP2006136301A JP2006136301A JP2007310454A JP 2007310454 A JP2007310454 A JP 2007310454A JP 2006136301 A JP2006136301 A JP 2006136301A JP 2006136301 A JP2006136301 A JP 2006136301A JP 2007310454 A JP2007310454 A JP 2007310454A
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- probability density
- density function
- arbitrary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、観視者が動画像を注視した注視点によって当該動画像の客観的な評価を行う画像評価装置および画像評価プログラム、並びに、被験者が動画像を注視した注視点によって当該動画像を集中して観ているか否かを評価する被験者集中度算出装置および被験者集中度算出プログラムに関する。 The present invention relates to an image evaluation apparatus and an image evaluation program for objectively evaluating a moving image based on a gazing point at which a viewer gazes at the moving image, and a moving image obtained by observing the moving image. The present invention relates to a subject concentration calculation device and a subject concentration calculation program for evaluating whether or not the user is watching in a concentrated manner.
従来、コンテンツを観ている観視者の視線に基づき、当該コンテンツの評価を行う評価方法では、評価対象となるコンテンツの任意の画像領域内における当該視線の停留率、停留回数、移動軌跡の形状等から、当該画像領域内のレイアウトや色等が観視者の注意を引いているか否かを評価していた。 Conventionally, in the evaluation method for evaluating the content based on the line of sight of the viewer who is watching the content, the rate of stop of the line of sight, the number of stops, and the shape of the movement locus in an arbitrary image area of the content to be evaluated From the above, it was evaluated whether the layout, color, etc. in the image area attracted the attention of the viewer.
また、コンテンツの評価を行う評価方法（例えば、特許文献１参照）として、コンテンツを観ている観視者がどれだけ集中しているか否かに基づいて行うものがあり、集中しているか否かを判定するために、観視後に、当該コンテンツに関する印象等についてアンケート調査を行って、このアンケート調査した結果に統計的な処理を施して評価値を算出することが一般的に行われていた。
しかしながら、従来、コンテンツを観ている観視者の視線による評価方法では、評価前に予め画像内の各領域について、「意味のある領域に分割しておく」（セグメンテーションする）必要があった。例えば、テレビ番組のように当該番組を構成している各画像が時間的に大きく変化するような場合、この変化にあわせてフレームごとに最適なセグメンテーションを行う必要がある。 However, conventionally, in the evaluation method based on the line of sight of the viewer who is watching the content, each area in the image has to be “divided into meaningful areas” (segmentation) in advance before the evaluation. For example, when each image constituting the program changes greatly in time like a television program, it is necessary to perform optimum segmentation for each frame in accordance with this change.
この最適なセグメンテーションを行うためには、評価者（評価方法を複数の観視者に実践させて評価する者）が異なる認識精度（または認識感覚）を有している複数の観視者と、同じ認識精度を有する必要、つまり、異なる認識精度を何らかの方法で均一化した認識精度を有する必要があり、この均一化した認識精度を得るためにオブジェクト認識技術を用いる必要があるが、このようなイメージング技術は未だ十分には確立されていない。 In order to perform this optimal segmentation, a plurality of viewers who have different recognition accuracy (or recognition sensation) are evaluated by an evaluator (a person who evaluates a plurality of viewers by practicing the evaluation method) It is necessary to have the same recognition accuracy, that is, it is necessary to have different recognition accuracy made uniform in some way, and it is necessary to use object recognition technology to obtain this uniform recognition accuracy. Imaging technology is not yet well established.
また、このコンテンツを観ている観視者の視線による評価方法では、各観視者の視線を測定した測定データから個人差等のノイズ成分を除去するため、多くの観視者の測定データを用いて加算平均をとるなどしていたが、当該加算平均をとることは、複数の観視者の視線から当該コンテンツを評価することを目的とした場合、不適切な場合がある。 In addition, in the evaluation method based on the gaze of the viewer who is watching this content, in order to remove noise components such as individual differences from the measurement data obtained by measuring the gaze of each viewer, the measurement data of many viewers is used. However, it is sometimes inappropriate to take the average for the purpose of evaluating the content from the eyes of a plurality of viewers.
この不適切な場合とは、例えば、視線の集中する対象である注視対象が１つの画像内に２カ所以上存在している場合、各観視者の視線が画像上に注がれる点である注視点は当該注視対象の周りにそれぞれ分布することとなり、加算平均をとると２カ所以上の注視対象が存在していたという情報が無くなってしまう場合である。すなわち、当該評価方法において、加算平均をとって適切な場合とは、測定データから導き出せる事象が“１カ所の注視対象とこの注視対象からのズレ（誤差）”ということに限定されることになり、このような事象が成立する場合でなければ、複数の観視者の視線によってコンテンツを評価することは適切ではないことになる。 This inappropriate case is, for example, a point where the line of sight of each viewer is poured onto the image when there are two or more gaze targets in one image. The gaze points are distributed around the gaze target, and when the average is taken, there is no information that there are two or more gaze targets. In other words, in the evaluation method, the case where it is appropriate to take an arithmetic mean is limited to the fact that the event that can be derived from the measurement data is “one gaze target and a deviation (error) from this gaze target”. Unless such an event is established, it is not appropriate to evaluate the content based on the line of sight of a plurality of viewers.
さらに、従来のコンテンツの評価を行う評価方法として、アンケート調査を行う場合、一般的に、該当するコンテンツを観視した後に実施するため、当該コンテンツ全体の主観的な印象を評価することは可能であるが、例えば、当該コンテンツ中の特定のシーンやカットについて個別に評価を行うことやこれらを観視した時の興味の変化について評価を行うことは記憶の忘却等により困難である。 Furthermore, as a conventional evaluation method for evaluating content, when conducting a questionnaire survey, since it is generally performed after viewing the corresponding content, it is possible to evaluate the subjective impression of the content as a whole. However, for example, it is difficult to individually evaluate specific scenes and cuts in the content or to evaluate changes in interest when viewing these scenes due to forgetting of memory or the like.
なお、観視中の興味の変化をリアルタイムに観視者に主観評価させる方法もあるが、主観評価それ自体が観視者の集中の妨げとなり、正確に興味の変化について評価することは困難である。 Although there is a method that allows the viewer to subjectively evaluate changes in interest during viewing, it is difficult to accurately evaluate changes in interest because subjective assessment itself hinders the concentration of the viewer. is there.
そこで、本発明では、前記した問題を解決し、予めコンテンツのセグメンテーションを行うことなく、当該コンテンツを視線によって評価することができる画像評価装置および画像評価プログラム、並びに、コンテンツを観視する観視者の集中の妨げとなることなく、正確に興味の変化について評価することができる被験者集中度算出装置および被験者集中度算出プログラムを提供することを目的とする。 Therefore, in the present invention, an image evaluation apparatus and an image evaluation program that can solve the above-described problems and can evaluate the content by line of sight without performing content segmentation in advance, and a viewer who views the content It is an object of the present invention to provide a subject concentration calculation device and a subject concentration calculation program that can accurately evaluate changes in interest without hindering the concentration of subjects.
前記課題を解決するため、請求項１に記載の画像評価装置は、表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、前記注視点の確率密度関数を求め、各画像の全領域に亘る前記確率密度関数から、前記動画像を評価する基準となる各画像のエントロピーを計算する画像評価装置であって、視線データ取得手段と、階層クラスタリング手段と、クラスタ数評価手段と、確率密度関数計算手段と、エントロピー計算手段と、を備える構成とした。
In order to solve the above problem, the image evaluation apparatus according to
かかる構成によれば、画像評価装置は、視線データ取得手段によって、動画像に付されたタイムコードと、注視点の画像上の座標とが同期した視線データを、観視者の人数分取得する。続いて、画像評価装置は、階層クラスタリング手段によって、視線データ取得手段で取得された視線データの示す注視点が任意個数含まれるように、各画像の全領域を任意領域それぞれにクラスタリングし、当該任意領域と、当該注視点の任意個数および座標とを対応付けた階層化データを出力する。 According to such a configuration, the image evaluation device acquires line-of-sight data in which the time code attached to the moving image and the coordinates on the image of the gazing point are synchronized by the line-of-sight data acquisition unit for the number of viewers. . Subsequently, the image evaluation apparatus clusters all regions of each image into each arbitrary region so that an arbitrary number of gazing points indicated by the line-of-sight data acquired by the line-of-sight data acquisition unit are included by the hierarchical clustering unit, Hierarchical data in which an area is associated with an arbitrary number and coordinates of the gaze point is output.
そして、画像評価装置は、クラスタ数評価手段によって、階層クラスタリング手段でクラスタリングされた任意領域の個数に対して、当該任意領域内に存在する注視点の任意個数が予め設定した設定数を満たすための最適クラスタ数を出力する。そして、画像評価装置は、確率密度関数計算手段によって、階層クラスタリング手段で出力された階層化データと、クラスタ数評価手段で出力された最適クラスタ数とに基づいて、確率密度関数を計算する。その後、画像評価装置は、エントロピー計算手段によって、確率密度関数計算手段で計算された確率密度関数に基づいて、各画像の前記エントロピーを計算する。 Then, the image evaluation apparatus is configured so that, for the number of arbitrary regions clustered by the hierarchical clustering unit by the cluster number evaluation unit, the arbitrary number of gazing points existing in the arbitrary region satisfies a preset number. Output the optimal number of clusters. Then, the image evaluation apparatus calculates a probability density function by the probability density function calculation means based on the hierarchized data output by the hierarchical clustering means and the optimum cluster number output by the cluster number evaluation means. Thereafter, the image evaluation device calculates the entropy of each image based on the probability density function calculated by the probability density function calculating unit by the entropy calculating unit.
請求項２に記載の画像評価装置は、請求項１に記載の画像評価装置において、作画手段を備えることを特徴とする。
かかる構成によれば、画像評価装置は、作画手段によって、確率密度関数計算手段で計算された確率密度関数を、各画像に対応させた等高線図として作画する。
An image evaluation apparatus according to a second aspect is the image evaluation apparatus according to the first aspect, further comprising a drawing unit.
According to such a configuration, the image evaluation apparatus draws the probability density function calculated by the probability density function calculating means as a contour map corresponding to each image by the drawing means.
請求項３に記載の被験者集中度算出装置は、表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、前記注視点の確率密度関数を求めた動画像を、被験者に観視させ、当該被験者が当該動画像を集中して観視している度合いを数値化した集中度を算出する被験者集中度算出装置であって、視線データ取得手段と、集中度算出手段と、を備える構成とした。
The subject concentration calculation device according to
かかる構成によれば、被験者集中度算出装置は、視線データ取得手段によって、動画像に付されたタイムコードと、注視点の画像上の座標とが同期した被験者の視線データを取得する。そして、被験者集中度算出装置は、集中度算出手段によって、視線データ取得手段で取得された被験者の視線データの示す注視点の座標を、確率密度関数に代入することで得られた確率を、集中度として算出する。 According to such a configuration, the subject concentration degree calculating device acquires gaze data of the subject in which the time code attached to the moving image and the coordinates on the image of the point of sight are synchronized by the gaze data acquisition unit. Then, the subject concentration degree calculating device concentrates the probability obtained by substituting the coordinates of the gazing point indicated by the eye gaze data of the subject acquired by the eye gaze data acquiring means into the probability density function by the concentration degree calculating means. Calculate as degrees.
請求項４に記載の画像評価プログラムは、表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、前記注視点の確率密度関数を求め、各画像の全領域に亘る前記確率密度関数から、前記動画像を評価する基準となる各画像のエントロピーを計算するために、コンピュータを、視線データ取得手段、階層クラスタリング手段、クラスタ数評価手段、確率密度関数計算手段、エントロピー計算手段、として機能させる構成とした。
The image evaluation program according to
かかる構成によれば、画像評価プログラムは、視線データ取得手段によって、動画像に付されたタイムコードと、注視点の画像上の座標とが同期した視線データを、観視者の人数分取得し、階層クラスタリング手段によって、視線データ取得手段で取得された視線データの示す注視点が任意個数含まれるように、各画像の全領域を任意領域それぞれにクラスタリングし、当該任意領域と、当該注視点の任意個数および座標とを対応付けた階層化データを出力する。 According to such a configuration, the image evaluation program acquires, by the line-of-sight data acquisition means, line-of-sight data in which the time code attached to the moving image and the coordinates on the image of the gazing point are synchronized for the number of viewers. The clustering unit clusters all regions of each image into arbitrary regions so that an arbitrary number of gazing points indicated by the line-of-sight data acquired by the line-of-sight data acquisition unit is included. Hierarchical data in which an arbitrary number and coordinates are associated is output.
そして、画像評価プログラムは、クラスタ数評価手段によって、階層クラスタリング手段でクラスタリングされた任意領域の個数に対して、当該任意領域内に存在する注視点の任意個数が予め設定した設定数を満たすための最適クラスタ数を出力し、確率密度関数計算手段によって、階層クラスタリング手段で出力された階層化データと、クラスタ数評価手段で出力された最適クラスタ数とに基づいて、確率密度関数を計算する。その後、画像評価プログラムは、エントロピー計算手段によって、確率密度関数計算手段で計算された確率密度関数に基づいて、各画像の前記エントロピーを計算する。 Then, the image evaluation program is configured so that the arbitrary number of gazing points existing in the arbitrary area satisfies a preset number for the number of arbitrary areas clustered by the hierarchical clustering means by the cluster number evaluating means. The optimal cluster number is output, and the probability density function calculating unit calculates the probability density function based on the hierarchical data output by the hierarchical clustering unit and the optimal cluster number output by the cluster number evaluating unit. Thereafter, the image evaluation program calculates the entropy of each image based on the probability density function calculated by the probability density function calculating unit by the entropy calculating unit.
請求項５に記載の被験者集中度算出プログラムは、表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、前記注視点の確率密度関数を求めた動画像を、被験者に観視させ、当該被験者が当該動画像を集中して観視している度合いを数値化した集中度を算出するために、コンピュータを、視線データ取得手段、集中度算出手段、として機能させる構成とした。
The subject concentration calculation program according to
かかる構成によれば、被験者集中度算出プログラムは、視線データ取得手段によって、動画像に付されたタイムコードと、注視点の画像上の座標とが同期した被験者の視線データを取得し、集中度算出手段によって、視線データ取得手段で取得された被験者の視線データの示す注視点の座標を、確率密度関数に代入することで得られた確率を、集中度として算出する。 According to such a configuration, the subject concentration calculation program acquires the gaze data of the subject in which the time code attached to the moving image and the coordinates on the image of the gazing point are synchronized by the gaze data acquisition unit, and the concentration degree The calculation means calculates a probability obtained by substituting the coordinates of the gazing point indicated by the gaze data of the subject acquired by the gaze data acquisition means into the probability density function as the degree of concentration.
請求項１または請求項４に記載の発明によれば、視線データの示す注視点がコンテンツの画像上のどの位置に、どれだけ集まっているのかを確率として表している確率密度関数に基づいてエントロピーを計算しているので、このエントロピーに従って、当該コンテンツに含まれている画像を評価する基準とすることができ、予めコンテンツのセグメンテーションを行うことなく、当該コンテンツを視線データによって評価することができる。 According to the first or fourth aspect of the present invention, the entropy is based on a probability density function that expresses, as a probability, at which position on the content image the gaze point indicated by the line-of-sight data is gathered. Therefore, according to this entropy, it can be used as a reference for evaluating an image included in the content, and the content can be evaluated based on the line-of-sight data without segmenting the content in advance.
請求項２に記載の発明によれば、計算された確率密度関数を、各画像に対応させた等高線図として作画することで、画像上のどこに注視点が集中したのかを目視で確認することができる。 According to the second aspect of the present invention, by drawing the calculated probability density function as a contour map corresponding to each image, it is possible to visually confirm where the gazing points are concentrated on the image. it can.
請求項３または請求項５に記載の発明によれば、コンテンツに含まれている画像のどこを被験者が注視しているのかによって、当該被験者が集中して当該コンテンツを視認しているか否かが判定でき、正確に興味の変化について評価することができる。
According to the invention described in
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（画像評価装置の構成）
図１は、画像評価装置のブロック図である。図１に示すように画像評価装置１は、コンテンツを観視した複数の観視者の視線によって当該コンテンツを評価するもので、視線データ取得手段３と、視線データ蓄積手段５と、階層クラスタリング手段７と、クラスタ数評価手段９と、確率密度関数計算手段１１と、エントロピー計算手段１３と、作画手段１５とを備えている。
Next, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
(Configuration of image evaluation device)
FIG. 1 is a block diagram of an image evaluation apparatus. As shown in FIG. 1, the
視線データ取得手段３は、コンテンツを観ている観視者が注視している当該コンテンツに含まれている画像上の座標（１フレームごとの座標）と、当該コンテンツに付されているタイムコードとが同期した視線データを、観視者数分取得するものである。この実施形態では、観視者の人数は２０名から３０名程度としている。また、画像上の座標は、コンテンツを観ている観視者の注視点を示すものであり、当該観視者の両眼部分を撮影する視線測定器（図示せず）によって求めたものを用いている。 The line-of-sight data acquisition means 3 includes coordinates on the image (coordinates for each frame) included in the content being watched by the viewer watching the content, and a time code attached to the content. Are obtained for the number of viewers. In this embodiment, the number of viewers is about 20 to 30. In addition, the coordinates on the image indicate the gaze point of the viewer who is watching the content, and are obtained by a line-of-sight measuring device (not shown) that captures the binocular portion of the viewer. ing.
なお、この視線測定器は従来のものでよく、例えば、視線測定器は、コンテンツを表示させる表示装置（図示せず）から所定距離離れた座席に着席した観視者の両眼部分を撮影する、位置を固定した撮影カメラ（図示せず）と、注視点を計算する計算手段（図示せず）とから構成されている。 Note that this line-of-sight measuring device may be a conventional one. For example, the line-of-sight measuring device captures both eyes of a viewer seated in a seat a predetermined distance away from a display device (not shown) that displays content. The camera is composed of a photographing camera (not shown) having a fixed position and a calculation means (not shown) for calculating a gazing point.
計算手段（図示せず）は、撮影カメラ（図示せず）で撮影した両眼部分により、コンテンツを観ている観視者の瞳孔の中心位置を求め、この中心位置と表示装置（図示せず）の表示面とを結ぶ視線から、注視点を求めるものである。 The calculation means (not shown) obtains the center position of the pupil of the viewer watching the content from the binocular portion photographed by the photographing camera (not shown), and this center position and a display device (not shown). ) Is determined from the line of sight connecting the display surface.
ここで、視線データの例を図２に示す。この図２は複数の観視者（ｓｂｊ１〜ｓｂｊＮ）の視線データを示したものである。この図２に示したように、観視者ｓｂｊ１は、タイムコード（ＴｉｍｅＣｏｄｅ）１０：００：００．００では画像上の座標（１２１，２５４）を、タイムコード（ＴｉｍｅＣｏｄｅ）１０：００：００．０１では画像上の座標（２４３，２３４）を注視していることが読みとれる。図１に戻る。 Here, an example of the line-of-sight data is shown in FIG. FIG. 2 shows line-of-sight data of a plurality of viewers (sbj1 to sbjN). As shown in FIG. 2, the viewer sbj1 uses the time code (TimeCode) 10: 00: 00.00 to change the coordinates (121,254) on the image to the time code (TimeCode) 10: 00: 00: 00. In 01, it can be read that the user is watching the coordinates (243, 234) on the image. Returning to FIG.
視線データ蓄積手段５は、視線データ取得手段３で取得された複数の観視者の視線データを蓄積するもので、一般的なメモリ、ハードディスク等によって構成されている。この視線データ蓄積手段５に蓄積されている視線データは、当該装置１の操作者による操作に従って、階層クラスタリング手段７に出力される。
The line-of-sight
階層クラスタリング手段７は、視線データの示す注視点が任意個数含まれるように、各画像（それぞれのフレーム）の全領域を任意領域（クラスタ）それぞれにクラスタリングし、当該任意領域と、注視点の任意個数および座標とを対応付けた階層化データを出力するものである。 The hierarchical clustering means 7 clusters all regions of each image (each frame) into arbitrary regions (clusters) so that an arbitrary number of gazing points indicated by the line-of-sight data are included, and the arbitrary regions and arbitrary gazing points The hierarchized data in which the number and coordinates are associated is output.
この階層クラスタリング手段７による注視点のクラスタリング手法は、仮想のモデルに基づいた階層的クラスタリング法を用いている。仮想のモデルは、「複数の注視点は、ある注視点の存在する位置を中心に分布する」という仮定に基づいたものであり、ある注視点を中心とする同一半径の円形を任意領域とする。この円形の中心となる注視点をどれにするのかおよび円形の半径の長さをどのようにとるかによって、当該円形の位置および当該円形内に収まる注視点の個数が決定されることになる。 The gaze point clustering method by the hierarchical clustering means 7 uses a hierarchical clustering method based on a virtual model. The virtual model is based on the assumption that "a plurality of gazing points are distributed around the position where a certain gazing point exists", and a circle with the same radius centered on a certain gazing point is an arbitrary region. . The position of the circle and the number of points of interest that fall within the circle are determined depending on which point of interest is the center of the circle and how the radius of the circle is taken.
ここで、階層化データの例を図３に示す。この図３はクラスタリングするクラスタの個数と画像上の座標との関連を示したものである。この図３に示したように、例えば、クラスタ数１の場合、１つの画像上のすべての注視点が１つのクラスタに収まることとなり、クラスタ数４の場合、１つの画像上の注視点が４つのクラスタに収まることとなる。図１に戻る。 Here, an example of the hierarchical data is shown in FIG. FIG. 3 shows the relationship between the number of clusters to be clustered and the coordinates on the image. As shown in FIG. 3, for example, when the number of clusters is 1, all the gazing points on one image fit in one cluster. When the number of clusters is 4, the gazing point on one image is 4 Will fit in one cluster. Returning to FIG.
クラスタ数評価手段９は、階層クラスタリング手段７でクラスタリングされたクラスタの個数（クラスタ数）が最適となる最適クラスタ数を計算して、確率密度関数計算手段１１に出力するものである。この最適クラスタ数は、ＢＩＣ（Ｂａｙｅｓｉａｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｒｉｔｅｒｉｏｎ）値を計算し、このＢＩＣ値が最大値（予め設定した設定数）を示すようなクラスタ数である。 The cluster number evaluation means 9 calculates the optimum number of clusters for which the number of clusters clustered by the hierarchical clustering means 7 (the number of clusters) is optimal, and outputs the result to the probability density function calculation means 11. This optimal number of clusters is such a number of clusters that a BIC (Baysian Information Criterion) value is calculated and this BIC value shows a maximum value (a preset number of settings).
このＢＩＣ値の計算について説明する。まず、注視点データの分布が次に示す一般的な二次元混合正規分布式に従うとする。 The calculation of this BIC value will be described. First, it is assumed that the distribution of gazing point data follows the following general two-dimensional mixed normal distribution formula.
この数式（１）において、（ｘ，ｙ）は視線データの画像上の注視点、ｃはクラスタ数、ａｉ，ρｉ，μｘｉ，μｙｉ，σｘｉ，σｙｉはパラメータΘｉであり、Ｎ人分の視線データ（ｘ１，・・・，ｘＮ，ｙ１，・・・，ｙＮ）があるとする。 In this equation (1), (x, y) is a gaze point on the line-of-sight data image, c is the number of clusters, a i , ρ i , μ xi , μ yi , σ xi , and σ yi are parameters Θ i . , It is assumed that there is line-of-sight data (x 1 ,..., X N , y 1 ,..., Y N ) for N persons.
そして、ｐ（ｘ，ｙ）が視線データにとって、次の数式（２）に示す対数尤度Ｌ（Θ）が最大になるように、パラメータΘｉを決定する。 Then, the parameter Θ i is determined so that the log likelihood L (Θ) shown in the following equation (2) becomes the maximum for the line-of-sight data of p (x, y).
つまり、数式（２）において、Ｌ（Θ）が最大となるようにΘを決定する。実際の決定方法は、ＥＭアルゴリズムを用いる。求めたパラメータをΘ＊（最尤推定値）とする。
このときのＢＩＣ値は、ＢＩＣ＝−２ｌｏｇＬ（Θ＊）＋（６Ｃ−１）ｌｏｇＮとなる。なお、この式において、（６Ｃ−１）は自由パラメータ数（階層クラスタリング手段７におけるクラスタリングした際のモデルの自由度）である。
That is, in Equation (2), Θ is determined so that L (Θ) is maximized. The actual determination method uses the EM algorithm. Let the obtained parameter be Θ * (maximum likelihood estimate).
The BIC value at this time is BIC = −2 logL (Θ * ) + (6C−1) logN. In this equation, (6C-1) is the number of free parameters (the degree of freedom of the model when clustering is performed in the hierarchical clustering means 7).
なお、階層クラスタリング手段７において、クラスタリングした際の仮想のモデルを円形・同一半径とした場合は、任意のｉについて｛ρｉ＝０，σｘｉ＝σｘｊ，σｚｉ＝σｙｉ，σｙｉ＝σｙｊ｝（仮想のモデルの自由度は３Ｃ）となり、ＢＩＣ＝−２ｌｏｇＬ（Θ＊）＋３ＣｌｏｇＮとなる。 In the hierarchical clustering means 7, when the virtual model when clustering is circular and has the same radius, {ρ i = 0, σ xi = σ xj , σ zi = σ yi , σ yi = σ yj } (the degree of freedom of the virtual model is 3C), and BIC = −2 logL (Θ * ) + 3ClogN.
ここで、ＢＩＣ値の例を図４に示す。この図４はクラスタ数（図４中、ｎｕｍｂｅｒ ｏｆ ｃｌｕｓｔｅｒｓ）とＢＩＣ値（図４中、ＢＩＣ）との関係を示したものである。この図４に示したように、概ねの傾向として、クラスタ数が２，４，６，８と増加するにつれＢＩＣ値は−６１０から−６４０に減少しているが、厳密に見るとクラスタ数２でＢＩＣ値が最大となっていると共に、クラスタ数５のときのＢＩＣ値よりもクラスタ数６のときのＢＩＣ値が大きくなっている。図１に戻る。 Here, an example of the BIC value is shown in FIG. FIG. 4 shows the relationship between the number of clusters (number of clusters in FIG. 4) and the BIC value (BIC in FIG. 4). As shown in FIG. 4, as a general tendency, the BIC value decreases from −610 to −640 as the number of clusters increases to 2, 4, 6, and 8, but strictly speaking, the number of clusters is 2 The BIC value is maximum, and the BIC value when the number of clusters is 6 is larger than the BIC value when the number of clusters is 5. Returning to FIG.
確率密度関数計算手段１１は、階層クラスタリング手段７から出力された階層化データと、クラスタ数評価手段９から出力された最適クラスタ数とに基づいて、各クラスタ内の注視点について、当該注視点の分布が二次元正規分布に従うと仮定し、各クラスタ内の注視点の平均・分散・相関等を求め、これらを用いてクラスタごとの確率密度関数を計算するものである。
The probability density
ここで、各クラスタ内の注視点の平均・分散・相関の例を図５に示す。図５（ａ）はクラスタの概略を示したものであり、図５（ｂ）は図５（ａ）に示した２個のクラスタ（クラスタＡ、クラスタＢ）について平均・分散・相関の具体的な値を示したものである。なお、図５（ａ）はある瞬間にクラスタ数が２個になったことを示している。また、図５（ｂ）では、クラスタ数ｃ、注視点数ｎ、平均（ｘ−，ｙ−）、分散（σｘ，σｙ）、相関ρを示しており、これらのそれぞれに付されている添え字は、クラスタＡでは“１”クラスタＢでは“２”である。 Here, FIG. 5 shows an example of the mean / dispersion / correlation of the gazing point in each cluster. FIG. 5 (a) shows an outline of the cluster, and FIG. 5 (b) shows specific examples of the average, variance, and correlation for the two clusters (cluster A and cluster B) shown in FIG. 5 (a). This shows the correct value. FIG. 5A shows that the number of clusters becomes two at a certain moment. FIG. 5B shows the number of clusters c, the number of gazing points n, the average (x − , y − ), the variance (σ x , σ y ), and the correlation ρ, which are attached to each of these. The subscript is “1” for cluster A and “2” for cluster B.
これら図５（ａ）、図５（ｂ）に示したように、コンテンツの経過時間を示しているＴｉｍｅＣｏｄｅ）に伴って、クラスタ数ｃが刻々と変化し、これにより、注視点数ｎ、平均（ｘ−，ｙ−）、分散（σｘ，σｙ）、相関ρも刻々と変化している。図１に戻る。 As shown in FIGS. 5 (a) and 5 (b), the number of clusters c changes with time according to the time code indicating the elapsed time of the content. x − , y − ), variance (σ x , σ y ), and correlation ρ change every moment. Returning to FIG.
そして、確率密度関数計算手段１１は、次に示す数式（３）により確率密度関数ｐ（ｘ，ｙ）を計算している。 Then, the probability density function calculating means 11 calculates the probability density function p (x, y) by the following formula (3).
この数式（３）において、ｃはクラスタ数であり、ｎｉはクラスタｉにおける注視点の数を、σｘｉ，σｙｉはクラスタｉにおける注視点の標準偏差（分散σｘ，σｙと同じ）を、ｘ− ｉ，ｙ− ｉはクラスタｉにおける注視点の平均値を、ρｉはクラスタｉにおける注視点の相関値を示している。 In this formula (3), c is the number of clusters, n i is the cluster number of the gazing point in the i, σ xi, σ yi is the standard deviation of the focus point in cluster i (variance sigma x, same as sigma y) the, x - i, y - i is the average value of the gazing point in the cluster i, [rho i denotes the correlation value of the gazing point in the cluster i.
なお、確率密度関数計算手段１１は、クラスタ数評価手段９から出力された最適クラスタ数に対応する最尤推定値Θ＊を用いて、数式（１）のパラメータに代入することで確率密度関数ｐ（ｘ，ｙ）を求めることができる。
The probability density function calculating means 11 uses the maximum likelihood estimated value Θ * corresponding to the optimum number of clusters output from the cluster
エントロピー計算手段１３は、確率密度関数計算手段１１で計算された確率密度関数に基づいて各画像（フレームごと）のエントロピーを計算するものである。この実施形態では、次に示す数式（４）によりエントロピーＨ（Ｘ）を計算している。 The entropy calculating means 13 calculates the entropy of each image (for each frame) based on the probability density function calculated by the probability density function calculating means 11. In this embodiment, entropy H (X) is calculated by the following mathematical formula (4).
ここで、エントロピーの例を図６に示す。この図６はエントロピーの値を示すと共に、画像上の位置における確率密度関数による確率、つまり、注視点が画像上のどこの位置、どのように（１カ所に集中して、数カ所にそれぞれ集中して、１カ所にまばらに等）集まることが多かったか否かを示したものである。なお、図６において、水平方向（Ｈ）が画像上のｘ軸に、垂直方向（Ｖ）が画像上のｙ軸に該当している。 Here, an example of entropy is shown in FIG. FIG. 6 shows the entropy value and the probability based on the probability density function at the position on the image, that is, where and how the gazing point is focused on the image (concentrated at one location and concentrated at several locations). In other words, it indicates whether there were many gatherings in one place. In FIG. 6, the horizontal direction (H) corresponds to the x axis on the image, and the vertical direction (V) corresponds to the y axis on the image.
この図６に示したように、図６（ａ）では注視点が画像上の１カ所に集中しておりエントロピーＨが９．１１と最も低く、図６（ｂ）では、注視点が画像上の４カ所にそれぞれ集中しておりエントロピーＨが１１．０と最も高く、図６（ｃ）では注視点が画像上の１カ所にまばらに集まっておりエントロピーＨが１０．６と図６（ａ）および図６（ｂ）の場合の間にエントロピーＨの値が収まっている。 As shown in FIG. 6, in FIG. 6A, the gazing point is concentrated at one place on the image and the entropy H is the lowest at 9.11. In FIG. 6B, the gazing point is on the image. The entropy H is the highest at 11.0. In FIG. 6C, the gazing points are sparsely gathered at one place on the image, and the entropy H is 10.6. ) And the value of entropy H falls between the cases of FIG.
なお、図６（ｂ）に示す状態は、画像内に観視する対象であるオブジェクトの数が多いときに生じやすく、図６（ｃ）に示す状態は、コンテンツが風景等を撮像した動画像からなる場合に生じやすい。 Note that the state shown in FIG. 6B is likely to occur when the number of objects to be viewed in the image is large, and the state shown in FIG. 6C is a moving image in which the content is taken of a landscape or the like. It is likely to occur when it consists of.
それゆえ、図６（ｃ）に示す状態が生じている場合であり、コンテンツが風景等を撮像した動画像でない場合には、当該画像の示す構造自体（いわゆる“絵作り”）に問題があることが考えられる。 Therefore, in the case where the state shown in FIG. 6C has occurred, and the content is not a moving image obtained by capturing a landscape or the like, there is a problem with the structure itself (so-called “picture making”) indicated by the image. It is possible.
また、図６（ａ）に示す状態の方が「被験者がコンテンツの内容を正しく把握している」といった基準を設けた場合、画像上の１カ所に注視点が集中し、エントロピーＨの値の低いことが、コンテンツの制作の仕方として、優れているということが実験的に確認されている。すなわち、画像上の観視対象が被験者によらずに一定となるコンテンツは評価が高くなる。図１に戻る。 In the case of the state shown in FIG. 6A, when a criterion such as “the subject correctly understands the contents of the content” is set, the gazing point concentrates on one place on the image, and the value of the entropy H is It has been experimentally confirmed that low is an excellent way to create content. That is, the evaluation is high for content in which the object to be viewed on the image is constant regardless of the subject. Returning to FIG.
作画手段１５は、確率密度関数計算手段１１で計算された確率密度関数に基づいて、コンテテンツに含まれている画像に対応させて、当該画像のどこの位置に注視点がどのように集まっているのかを示した図（等高線図）を作画するものである。なお、この等高線図は、当該等高線図の底面を当該画像に投影した部分を含んで構成されている。
Based on the probability density function calculated by the probability density
ここで、この作画手段１５で作画した図の例を図７に示す。この図７は画像と注視点とを対応させて示したものである。この図７に示したように、二人のキャスターの顔面付近それぞれに注視点が集中していることがわかる。図１に戻る。 Here, FIG. 7 shows an example of a drawing drawn by the drawing means 15. FIG. 7 shows an image and a gazing point in association with each other. As shown in FIG. 7, it can be seen that the gazing points are concentrated near the faces of the two casters. Returning to FIG.
この画像評価装置１によれば、エントロピー計算手段１３によって、視線データの示す注視点がコンテンツの画像上のどの位置に、どれだけ集まっているのかを確率として表している確率密度関数に基づいてエントロピーを計算しているので、このエントロピーに従って、当該コンテンツに含まれている画像を評価する基準とすることができ、予めコンテンツのセグメンテーションを行うことなく、当該コンテンツを視線データによって評価することができる。
According to this
また、この画像評価装置１によれば、作画手段１５によって、計算された確率密度関数を、各画像に対応させた等高線図として作画することで、画像上のどこに注視点が集中したのかを目視で確認することができる。
Further, according to this
（画像評価装置の動作）
次に、図８に示すフローチャートを参照して、画像評価装置１の動作を説明する（適宜、図１参照）。
まず、画像評価装置１は、複数の観視者がそれぞれ評価対象となるコンテンツを観視した結果である注視点（画像上の座標）と当該コンテンツに付されているタイムコードとを同期させた視線データを、視線データ取得手段３によって観視者数分取得し、視線データ蓄積手段５に蓄積する（ステップＳ１）。
(Operation of image evaluation device)
Next, the operation of the
First, the
続いて、画像評価装置１は、階層クラスタリング手段７によって、タイムコードで対応付けられる複数の視線データをクラスタリングした階層化データを確率密度関数計算手段１１に出力する（ステップＳ２）。
Subsequently, the
また、画像評価装置１は、クラスタ数評価手段９によって、クラスタ（任意領域）の個数を評価して最適となる最適クラスタ数を計算し、確率密度関数計算手段１１に出力する（ステップＳ３）。
Further, the
そして、画像評価装置１は、確率密度関数計算手段１１によって、階層クラスタリング手段７から出力された階層化データと、クラスタ数評価手段９から出力された最適クラスタ数とに基づいて、確率密度関数を計算する（ステップＳ４）。
その後、画像評価装置１は、エントロピー計算手段１３によって、確率密度関数計算手段１１から出力された確率密度関数に基づいて、エントロピーを計算して出力する（ステップＳ５）。
Then, the
Thereafter, the
（被験者集中度算出装置の構成）
図９は、被験者集中度算出装置のブロック図である。この図９に示すように、被験者集中度算出装置２１は、コンテンツを観視した被験者の集中度を算出するもので、視線データ取得手段３と、視線データ蓄積手段５と、集中度算出手段２３とを備えている。なお、この被験者集中度算出装置２１の構成の中で、画像評価装置１の構成と同様なものは同一の符号を付して説明を省略する。
(Configuration of subject concentration calculation device)
FIG. 9 is a block diagram of the subject concentration calculation device. As shown in FIG. 9, the subject
また、この被験者集中度算出装置２１では、観視対象となるコンテンツに関して、予め当該コンテンツに含まれている画像それぞれについて、注視点の確率密度関数が求められており、この確率密度関数が入力されている。この注視点の確率密度関数は、画像評価装置１の確率密度関数計算手段１１（図１参照）から出力されたものを用いることができる。
Further, in the subject
集中度算出手段２３は、被験者の視線データの示す画像上の座標（注視点の座標）を、入力された確率密度関数に代入することで得られた確率（注視確率）を集中度として算出するものである。 The degree-of-concentration calculation means 23 calculates a probability (gaze probability) obtained by substituting coordinates on the image (gaze point coordinates) indicated by the subject's line-of-sight data into the input probability density function as the degree of concentration. Is.
ここで、注視確率の例を図１０に示す。この図１０（ａ）はタイムコードと注視点との対応関係を、図１０（ｂ）はタイムコードと注視点と注視確率との対応関係を示したものである。この図１０に示したように、被験者がコンテンツを観視した際の画像それぞれについて注視確率が求められている。 Here, an example of the gaze probability is shown in FIG. FIG. 10A shows the correspondence between time code and gaze point, and FIG. 10B shows the correspondence between time code, gaze point and gaze probability. As shown in FIG. 10, the gaze probability is calculated for each image when the subject views the content.
また、コンテンツの経過時間に伴って注視確率（集中度）が変化した例を図１１に示す。この図１１は集中度を視聴集中度と表し、視聴集中度の時間変化を示したものである。この図１１では、０秒から３００秒強までの経過時間に伴う視聴集中度の変化を示している。ここでは、５シーン（５カット）について、１シーン（１カット）ごとの視聴集中度の平均値を算出しており、枠で囲んだ箇所を「シーン１」、「シーン２」としている。ただし、図１１では「シーン１」、「シーン２」のみ平均値を表示している。
FIG. 11 shows an example in which the gaze probability (concentration) changes with the elapsed time of the content. In FIG. 11, the degree of concentration is expressed as a viewing concentration, and the time variation of the viewing concentration is shown. FIG. 11 shows a change in the viewing concentration with the lapse of time from 0 seconds to over 300 seconds. Here, for five scenes (5 cuts), the average value of the viewing concentration for each scene (1 cut) is calculated, and the portions surrounded by a frame are “
図１１に示したように、「シーン１」および「シーン２」の視聴集中度の平均値は、それぞれ「シーン１」の平均値＝０．０８９、「シーン２」の平均値＝０．５３３であり、「シーン２」における視聴集中度は、「シーン１」における視聴集中度よりも高いことがわかる。
As shown in FIG. 11, the average values of the viewing concentration levels of “
（被験者集中度算出装置の動作）
次に、図１２に示すフローチャートを参照して、被験者集中度算出装置２１の動作を説明する（適宜、図９参照）。
まず、被験者集中度算出装置２１は、被験者がコンテンツを観視した結果である注視点（画像上の座標）と当該コンテンツに付されているタイムコードとを同期させた視線データを、視線データ取得手段３によって取得し、視線データ蓄積手段５に蓄積する（ステップＳ１１）。
(Operation of subject concentration calculation device)
Next, the operation of the subject
First, the subject
そして、被験者集中度算出装置２１は、集中度算出手段２３によって、入力された確率密度関数（被験者が観視したコンテンツに含まれている各画像の確率密度関数）に、視線データ蓄積手段５に蓄積された視線データの示す注視点の座標を代入し、注視確率を算出し、この注視確率を当該被験者の集中度として出力する（ステップＳ１２）。
Then, the subject
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、画像評価装置１、被験者集中度算出装置２１として説明したが、当該装置１、当該装置２１の各構成の処理を実行可能に汎用または特殊なコンピュータ言語によって記述した画像評価プログラム、被験者集中度算出プログラムとして構成することも可能である。これらの場合、画像評価装置１、被験者集中度算出装置２１と同様の効果を奏する。
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. For example, in the present embodiment, the
また、画像評価装置１、被験者集中度算出装置２１では、観視対象をコンテンツに含まれる画像（動画像）としているが、当該コンテンツに音声等が含まれている場合、観視者および被験者の視線データは、当該音声による影響を受けることが予測される。それゆえ、タイムコードと共に、コンテンツに含まれている音声、効果音と画像上のオブジェクトとの位置関係や、当該音声、効果音の強弱等を示す音声情報を、視線データの一部として取得しておくことも有効である。
Further, in the
１ 画像評価装置
３ 視線データ取得手段
５ 視線データ蓄積手段
７ 階層クラスタリング手段
９ クラスタ数評価手段
１１ 確率密度関数計算手段
１３ エントロピー計算手段
１５ 作画手段
２１ 被験者集中度算出装置
２３ 集中度算出手段
DESCRIPTION OF
Claims (5)
前記動画像に付されたタイムコードと、前記注視点の画像上の座標とが同期した視線データを、前記観視者の人数分取得する視線データ取得手段と、
この視線データ取得手段で取得された視線データの示す注視点が任意個数含まれるように、各画像の全領域を任意領域それぞれにクラスタリングし、当該任意領域と、当該注視点の任意個数および座標とを対応付けた階層化データを出力する階層クラスタリング手段と、
この階層クラスタリング手段でクラスタリングされた任意領域の個数に対して、当該任意領域内に存在する注視点の任意個数が予め設定した設定数を満たすための最適クラスタ数を出力するクラスタ数評価手段と、
前記階層クラスタリング手段で出力された階層化データと、前記クラスタ数評価手段で出力された最適クラスタ数とに基づいて、前記確率密度関数を計算する確率密度関数計算手段と、
この確率密度関数計算手段で計算された確率密度関数に基づいて、各画像の前記エントロピーを計算するエントロピー計算手段と、
を備えることを特徴とする画像評価装置。 For a plurality of viewers who viewed the displayed moving image, based on the line-of-sight data obtained by measuring the coordinates on the image of the gazing point of the viewer and converting it to data, An image evaluation device that calculates a probability density function of the gazing point for each arbitrary region and calculates entropy of each image serving as a reference for evaluating the moving image from the probability density function over the entire region of each image. ,
Line-of-sight data acquisition means for acquiring line-of-sight data in which the time code attached to the moving image and coordinates on the image of the gazing point are synchronized;
All regions of each image are clustered into arbitrary regions so that an arbitrary number of points of sight indicated by the line-of-sight data acquired by the line-of-sight data acquisition means are included, the arbitrary regions, an arbitrary number and coordinates of the points of interest, A hierarchical clustering means for outputting hierarchical data in which
For the number of arbitrary areas clustered by this hierarchical clustering means, the cluster number evaluation means for outputting the optimum number of clusters for the arbitrary number of gazing points existing in the arbitrary area to satisfy the preset number of sets,
A probability density function calculating means for calculating the probability density function based on the hierarchical data output by the hierarchical clustering means and the optimum number of clusters output by the cluster number evaluating means;
Entropy calculating means for calculating the entropy of each image based on the probability density function calculated by the probability density function calculating means;
An image evaluation apparatus comprising:
前記動画像に付されたタイムコードと、前記注視点の画像上の座標とが同期した被験者の視線データを取得する視線データ取得手段と、
この視線データ取得手段で取得された被験者の視線データの示す注視点の座標を、前記確率密度関数に代入することで得られた確率を、前記集中度として算出する集中度算出手段と、
を備えることを特徴とする被験者集中度算出装置。 For a plurality of viewers who viewed the displayed moving image, based on the line-of-sight data obtained by measuring the coordinates on the image of the gazing point of the viewer and converting it to data, For each arbitrary region, the subject views the moving image for which the probability density function of the gazing point is obtained, and calculates the degree of concentration by quantifying the degree of the subject concentrating on the moving image. A subject concentration calculation device,
Line-of-sight data acquisition means for acquiring line-of-sight data of the subject in which the time code attached to the moving image and the coordinates on the image of the gazing point are synchronized,
A degree-of-concentration calculating means for calculating, as the degree of concentration, a probability obtained by substituting the coordinates of the gazing point indicated by the line-of-sight data of the subject acquired by the line-of-sight data acquiring means into the probability density function;
A subject concentration calculation device comprising:
前記動画像に付されたタイムコードと、前記注視点の画像上の座標とが同期した視線データを、前記観視者の人数分取得する視線データ取得手段、
この視線データ取得手段で取得された視線データの示す注視点が任意個数含まれるように、各画像の全領域を任意領域それぞれにクラスタリングし、当該任意領域と、当該注視点の任意個数および座標とを対応付けた階層化データを出力する階層クラスタリング手段、
この階層クラスタリング手段でクラスタリングされた任意領域の個数に対して、当該任意領域内に存在する注視点の任意個数が予め設定した設定数を満たすための最適クラスタ数を出力するクラスタ数評価手段、
前記階層クラスタリング手段で出力された階層化データと、前記クラスタ数評価手段で出力された最適クラスタ数とに基づいて、前記確率密度関数を計算する確率密度関数計算手段、
この確率密度関数計算手段で計算された確率密度関数に基づいて、各画像の前記エントロピーを計算するエントロピー計算手段、
として機能させることを特徴とする画像評価プログラム。 For a plurality of viewers who viewed the displayed moving image, based on the line-of-sight data obtained by measuring the coordinates on the image of the gazing point of the viewer and converting it to data, In order to calculate the entropy of each image serving as a reference for evaluating the moving image from the probability density function over the entire region of each image, for each arbitrary region, the probability density function of the gazing point is calculated.
Line-of-sight data acquisition means for acquiring line-of-sight data in which the time code attached to the moving image and the coordinates on the image of the gazing point are synchronized, for the number of viewers,
All regions of each image are clustered into arbitrary regions so that an arbitrary number of points of sight indicated by the line-of-sight data acquired by the line-of-sight data acquisition means are included, the arbitrary regions, an arbitrary number and coordinates of the points of interest, A hierarchical clustering means for outputting hierarchical data in which
Cluster number evaluation means for outputting the optimal number of clusters for the arbitrary number of gazing points existing in the arbitrary area to satisfy a preset number of sets, with respect to the number of arbitrary areas clustered by the hierarchical clustering means,
A probability density function calculating means for calculating the probability density function based on the hierarchical data output by the hierarchical clustering means and the optimum number of clusters output by the cluster number evaluating means;
Entropy calculating means for calculating the entropy of each image based on the probability density function calculated by the probability density function calculating means;
An image evaluation program characterized by functioning as
前記動画像に付されたタイムコードと、前記注視点の画像上の座標とが同期した被験者の視線データを取得する視線データ取得手段、
この視線データ取得手段で取得された被験者の視線データの示す注視点の座標を、前記確率密度関数に代入することで得られた確率を、前記集中度として算出する集中度算出手段、
として機能させることを特徴とする被験者集中度算出プログラム。 For a plurality of viewers who viewed the displayed moving image, based on the line-of-sight data obtained by measuring the coordinates on the image of the gazing point of the viewer and converting it to data, For each arbitrary region, the subject views the moving image for which the probability density function of the gazing point is obtained, and calculates the degree of concentration by quantifying the degree of the subject concentrating on the moving image. For the computer,
Line-of-sight data acquisition means for acquiring line-of-sight data of a subject in which the time code attached to the moving image and the coordinates on the image of the gazing point are synchronized;
A degree-of-concentration calculating means for calculating, as the degree of concentration, a probability obtained by substituting the coordinates of the gazing point indicated by the line-of-sight data of the subject acquired by the line-of-sight data acquiring means into the probability density function;
It is made to function as a subject concentration degree calculation program characterized by the above-mentioned.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006136301A JP2007310454A (en) | 2006-05-16 | 2006-05-16 | Image evaluation device, subject concentration ratio calculation device, image evaluation program, and subject concentration ratio calculation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006136301A JP2007310454A (en) | 2006-05-16 | 2006-05-16 | Image evaluation device, subject concentration ratio calculation device, image evaluation program, and subject concentration ratio calculation program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007310454A true JP2007310454A (en) | 2007-11-29 |
Family
ID=38843274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006136301A Pending JP2007310454A (en) | 2006-05-16 | 2006-05-16 | Image evaluation device, subject concentration ratio calculation device, image evaluation program, and subject concentration ratio calculation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007310454A (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009290586A (en) * | 2008-05-29 | 2009-12-10 | Mitsubishi Electric Corp | Video quality evaluation method and video quality evaluation apparatus |
| JP2012022353A (en) * | 2010-07-12 | 2012-02-02 | Nippon Hoso Kyokai <Nhk> | Image evaluation device and image evaluation program |
| JP2012524458A (en) * | 2009-04-19 | 2012-10-11 | インナースコープ リサーチ， インコーポレイテッド | Method and system for measuring user experience related to interactive activities |
| US9514436B2 (en) | 2006-09-05 | 2016-12-06 | The Nielsen Company (Us), Llc | Method and system for predicting audience viewing behavior |
| US9514439B2 (en) | 2006-09-05 | 2016-12-06 | The Nielsen Company (Us), Llc | Method and system for determining audience response to a sensory stimulus |
| US10987015B2 (en) | 2009-08-24 | 2021-04-27 | Nielsen Consumer Llc | Dry electrodes for electroencephalography |
| US11049134B2 (en) | 2007-05-16 | 2021-06-29 | Nielsen Consumer Llc | Neuro-physiology and neuro-behavioral based stimulus targeting system |
| JP2021518026A (en) * | 2018-03-12 | 2021-07-29 | ヘッドスピン，インコーポレイテッド | A system that determines performance based on the entropy value |
| US11170400B2 (en) | 2009-10-29 | 2021-11-09 | Nielsen Consumer Llc | Analysis of controlled and automatic attention for introduction of stimulus material |
| US11200964B2 (en) | 2010-04-19 | 2021-12-14 | Nielsen Consumer Llc | Short imagery task (SIT) research method |
| US11244345B2 (en) | 2007-07-30 | 2022-02-08 | Nielsen Consumer Llc | Neuro-response stimulus and stimulus attribute resonance estimator |
| US11250465B2 (en) | 2007-03-29 | 2022-02-15 | Nielsen Consumer Llc | Analysis of marketing and entertainment effectiveness using central nervous system, autonomic nervous sytem, and effector data |
| WO2022208720A1 (en) * | 2021-03-31 | 2022-10-06 | 日本電気株式会社 | Product-design generation support device, product-design generation support method, and program storage medium |
| US11481788B2 (en) | 2009-10-29 | 2022-10-25 | Nielsen Consumer Llc | Generating ratings predictions using neuro-response data |
| US11488198B2 (en) | 2007-08-28 | 2022-11-01 | Nielsen Consumer Llc | Stimulus placement system using subject neuro-response measurements |
| CN115825316A (en) * | 2023-02-15 | 2023-03-21 | 武汉宏韧生物医药股份有限公司 | Method and device for analyzing active ingredients of medicine based on supercritical chromatography |
| US11704681B2 (en) | 2009-03-24 | 2023-07-18 | Nielsen Consumer Llc | Neurological profiles for market matching and stimulus presentation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001037733A (en) * | 1999-07-29 | 2001-02-13 | Kansai Research Institute | Brain function measurement system |
| JP2003202850A (en) * | 2001-10-04 | 2003-07-18 | Eastman Kodak Co | Method and system for displaying image |
| JP2004109105A (en) * | 2002-07-23 | 2004-04-08 | Jfe Steel Kk | Flaw type classification boundary setting method in surface defect detection, and defect detection method |
-
2006
- 2006-05-16 JP JP2006136301A patent/JP2007310454A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001037733A (en) * | 1999-07-29 | 2001-02-13 | Kansai Research Institute | Brain function measurement system |
| JP2003202850A (en) * | 2001-10-04 | 2003-07-18 | Eastman Kodak Co | Method and system for displaying image |
| JP2004109105A (en) * | 2002-07-23 | 2004-04-08 | Jfe Steel Kk | Flaw type classification boundary setting method in surface defect detection, and defect detection method |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10839350B2 (en) | 2006-09-05 | 2020-11-17 | The Nielsen Company (Us), Llc | Method and system for predicting audience viewing behavior |
| US9514436B2 (en) | 2006-09-05 | 2016-12-06 | The Nielsen Company (Us), Llc | Method and system for predicting audience viewing behavior |
| US9514439B2 (en) | 2006-09-05 | 2016-12-06 | The Nielsen Company (Us), Llc | Method and system for determining audience response to a sensory stimulus |
| US10198713B2 (en) | 2006-09-05 | 2019-02-05 | The Nielsen Company (Us), Llc | Method and system for predicting audience viewing behavior |
| US11250465B2 (en) | 2007-03-29 | 2022-02-15 | Nielsen Consumer Llc | Analysis of marketing and entertainment effectiveness using central nervous system, autonomic nervous sytem, and effector data |
| US11049134B2 (en) | 2007-05-16 | 2021-06-29 | Nielsen Consumer Llc | Neuro-physiology and neuro-behavioral based stimulus targeting system |
| US11763340B2 (en) | 2007-07-30 | 2023-09-19 | Nielsen Consumer Llc | Neuro-response stimulus and stimulus attribute resonance estimator |
| US11244345B2 (en) | 2007-07-30 | 2022-02-08 | Nielsen Consumer Llc | Neuro-response stimulus and stimulus attribute resonance estimator |
| US11488198B2 (en) | 2007-08-28 | 2022-11-01 | Nielsen Consumer Llc | Stimulus placement system using subject neuro-response measurements |
| JP2009290586A (en) * | 2008-05-29 | 2009-12-10 | Mitsubishi Electric Corp | Video quality evaluation method and video quality evaluation apparatus |
| US11704681B2 (en) | 2009-03-24 | 2023-07-18 | Nielsen Consumer Llc | Neurological profiles for market matching and stimulus presentation |
| JP2012524458A (en) * | 2009-04-19 | 2012-10-11 | インナースコープ リサーチ， インコーポレイテッド | Method and system for measuring user experience related to interactive activities |
| US10987015B2 (en) | 2009-08-24 | 2021-04-27 | Nielsen Consumer Llc | Dry electrodes for electroencephalography |
| US11170400B2 (en) | 2009-10-29 | 2021-11-09 | Nielsen Consumer Llc | Analysis of controlled and automatic attention for introduction of stimulus material |
| US11481788B2 (en) | 2009-10-29 | 2022-10-25 | Nielsen Consumer Llc | Generating ratings predictions using neuro-response data |
| US11669858B2 (en) | 2009-10-29 | 2023-06-06 | Nielsen Consumer Llc | Analysis of controlled and automatic attention for introduction of stimulus material |
| US11200964B2 (en) | 2010-04-19 | 2021-12-14 | Nielsen Consumer Llc | Short imagery task (SIT) research method |
| JP2012022353A (en) * | 2010-07-12 | 2012-02-02 | Nippon Hoso Kyokai <Nhk> | Image evaluation device and image evaluation program |
| JP2021518026A (en) * | 2018-03-12 | 2021-07-29 | ヘッドスピン，インコーポレイテッド | A system that determines performance based on the entropy value |
| WO2022208720A1 (en) * | 2021-03-31 | 2022-10-06 | 日本電気株式会社 | Product-design generation support device, product-design generation support method, and program storage medium |
| CN115825316A (en) * | 2023-02-15 | 2023-03-21 | 武汉宏韧生物医药股份有限公司 | Method and device for analyzing active ingredients of medicine based on supercritical chromatography |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2007310454A (en) | Image evaluation device, subject concentration ratio calculation device, image evaluation program, and subject concentration ratio calculation program | |
| US8667519B2 (en) | Automatic passive and anonymous feedback system | |
| JP4934861B2 (en) | Display system, display method, display effect measurement system, and display effect measurement method | |
| US20120133754A1 (en) | Gaze tracking system and method for controlling internet protocol tv at a distance | |
| Oh et al. | Stereoscopic 3D visual discomfort prediction: A dynamic accommodation and vergence interaction model | |
| KR101766347B1 (en) | Concentrativeness evaluating system | |
| US20190304112A1 (en) | Methods and systems for providing selective disparity refinement | |
| JP6651536B2 (en) | Viewer's emotion determination device and program for determining viewer's emotion | |
| JP2005142819A (en) | Stereoscopic video evaluation device and stereoscopic video tuner | |
| KR101835578B1 (en) | Concentrativeness evaluating system | |
| JP2017522104A (en) | Eye state determination system | |
| KR20170136160A (en) | Audience engagement evaluating system | |
| JP5489197B2 (en) | Electronic advertisement apparatus / method and program | |
| Akamine et al. | Video quality assessment using visual attention computational models | |
| Alers et al. | Studying the effect of optimizing image quality in salient regions at the expense of background content | |
| JP5370380B2 (en) | Video display method and video display device | |
| JP6214334B2 (en) | Electronic device, determination method and program | |
| US20220189200A1 (en) | Information processing system and information processing method | |
| Egorova et al. | Methodology of Researching Perception Identity of Regions of Users' Interests While Viewing Streaming Video Containing Various Content and Compression Artefacts | |
| US9679505B2 (en) | Method and device for calibrating a projector | |
| JP5912706B2 (en) | Image output apparatus, video output method, and program | |
| Hough et al. | Measurements of live actor motion in mixed reality interaction | |
| JP7284401B2 (en) | Line-of-sight information processing program, information processing device, and line-of-sight information processing method | |
| JP2017029401A (en) | Determination device for change in pupil diameter by light stimulus, determination method and program | |
| JP7233631B1 (en) | posture improvement system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081029 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110322 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110823 |