JP2005318372A - Method, device, and program for degree-of-attention estimation - Google Patents
Method, device, and program for degree-of-attention estimation Download PDFInfo
- Publication number
- JP2005318372A JP2005318372A JP2004135335A JP2004135335A JP2005318372A JP 2005318372 A JP2005318372 A JP 2005318372A JP 2004135335 A JP2004135335 A JP 2004135335A JP 2004135335 A JP2004135335 A JP 2004135335A JP 2005318372 A JP2005318372 A JP 2005318372A
- Authority
- JP
- Japan
- Prior art keywords
- blink
- attention
- attention level
- viewer
- time interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、映像コンテンツ視聴時における視聴者の瞬目時間間隔から、その映像コンテンツに対する注目度を正確かつ容易に推定する注目度推定方法およびその装置と、その注目度推定方法の実現に用いられる注目度推定プログラムとに関する。 INDUSTRIAL APPLICABILITY The present invention is used for realizing an attention level estimation method and apparatus for accurately and easily estimating a degree of attention to a video content from a viewer's blink time interval when viewing the video content, and the attention level estimation method. The present invention relates to an attention degree estimation program.
従来、例えば、映像コンテンツに対する評価指標として視聴率が用いられており、赤外線ビデオカメラを用いて人の瞳孔検出を行うことにより、視聴者人数および実際に人がテレビジョンを観ているかどうかの自動判定を可能としている（例えば、特許文献１参照）。 Conventionally, for example, audience rating has been used as an evaluation index for video content. By detecting a human pupil using an infrared video camera, the number of viewers and whether or not a person is actually watching television can be automatically detected. Determination is possible (for example, refer patent document 1).
また、インターネットを使ったテレビ番組に関する調査を行うＷｅｂサイト「テレビ番組視聴質調査 リサーチＱ」がある。このサイトでは、テレビ番組がどのように観られているかという視聴の質を調査し、結果を番組制作・編成に生かすことを目的としている（例えば、非特許文献１参照）。
しかしながら、視聴率を測定する従来の技術では、「映像コンテンツのどの映像シーンが注目されて観られているか」ということを正確に把握することができない。 However, with the conventional technique for measuring the audience rating, it is impossible to accurately grasp “which video scene of video content is being watched and watched”.
例えば、視聴者の視線が映像コンテンツに向けられている場合でも、その視聴者が考えごとをしているか否か、すなわち、映像コンテンツに注目しているか否かを判別することができない。 For example, even when the viewer's line of sight is directed to the video content, it cannot be determined whether the viewer is thinking or not, that is, whether the viewer is paying attention to the video content.
一方、上述した「リサーチＱ」では、アンケート内容や質問項目によるが、「映像コンテンツのどの映像シーンが注目されて観られているか」ということをそれなりに把握することができると考えられる。 On the other hand, in the above-mentioned “Research Q”, although it depends on the contents of the questionnaire and the question items, it is thought that “which video scene of the video content is being watched and watched” can be grasped as it is.
しかしながら、ＰＣを起動し、インターネットに接続、それからＷｅｂサイト上でアンケートに回答する手間、あるいは、携帯電話専用のＷｅｂサイトにアクセスし、コメント文を入力する煩わしさを考えると、利用者の負担が少ないとは言いがたい。 However, considering the hassle of starting up a PC, connecting to the Internet, then answering a questionnaire on the website, or accessing a website dedicated to mobile phones and entering comment text, the burden on the user is reduced. It is hard to say that there are few.
本発明は、上述の点に鑑み、従来の問題を解決するためのものであり、映像コンテンツに対する注目度を正確かつ容易に推定する新たな注目度推定技術の提供を目的とする。 In view of the above-described points, the present invention is to solve a conventional problem, and an object of the present invention is to provide a new attention level estimation technique that accurately and easily estimates a level of attention to video content.
この目的を達成するために、本発明は、映像コンテンツ視聴時における視聴者の瞬目の時間間隔に基づいて、その映像コンテンツに対する視聴者の注目度を推定することを特徴とする。 In order to achieve this object, the present invention is characterized in that the degree of attention of a viewer to the video content is estimated based on the time interval of the viewer's blink when viewing the video content.
この構成を採るときに、本発明は、視聴者の瞬目時間間隔の平均と標準偏差とを算出し、それらから瞬目時間間隔を標準化して、それに基づいて、映像コンテンツに対する視聴者の注目度を推定することを特徴とする。 When adopting this configuration, the present invention calculates the average and standard deviation of the viewer's blink time interval, standardizes the blink time interval from them, and based on that, the viewer's attention to the video content It is characterized by estimating the degree.
そして、この構成を採るときに、本発明は、視聴者の瞬目時間間隔の生起順序パターンに基づいて、映像コンテンツに対する視聴者の注目度を推定することを特徴とする。 And when this structure is taken, this invention estimates the viewer's attention level with respect to video content based on the occurrence order pattern of a viewer's blink time interval.
そして、この構成を採るときに、本発明は、視聴者の瞬目時間間隔の微分値を使って、視聴者の瞬目時間間隔の生起順序パターンを判定するとともに、その判定結果とその微分値とに基づいて、映像コンテンツに対する視聴者の注目度を推定することを特徴とする。 Then, when adopting this configuration, the present invention uses the differential value of the viewer's blink time interval to determine the occurrence order pattern of the viewer's blink time interval, and the determination result and its differential value. Based on the above, the viewer's attention level to the video content is estimated.
そして、この構成を採るときに、本発明は、ある瞬目生起時刻における注目度を、そのある瞬目生起時刻で求められる値と、その一つ後の瞬目生起時刻で求められる値とに基づいて推定することを特徴とする。 Then, when adopting this configuration, the present invention converts the attention degree at a certain blink occurrence time into a value obtained at the certain blink occurrence time and a value obtained at the next blink occurrence time. It is characterized by estimating based on.
そして、この構成を採るときに、本発明は、ある瞬目生起時刻とその一つ前の瞬目生起時刻との間の注目度を、そのある瞬目生起時刻における注目度で補完することで推定することを特徴とする。 And when this structure is taken, this invention complements the attention degree between a certain blink occurrence time and the previous blink occurrence time with the attention degree in the certain blink occurrence time. It is characterized by estimating.
このような処理を行う本発明を実現する本発明の注目度推定装置は、映像コンテンツに対する視聴者の注目度を推定する処理を行うために、（１）映像コンテンツ視聴時における視聴者の瞬目の生起時刻を取得する取得手段と、（２）取得手段の取得した瞬目生起時刻の時間間隔を算出することで瞬目時間間隔を算出する算出手段と、（３）算出手段の算出した瞬目時間間隔に基づいて、映像コンテンツに対する視聴者の注目度を推定する推定手段とを備える。 The attention level estimation apparatus of the present invention that realizes the present invention that performs such processing performs (1) a viewer's blink when viewing video content in order to perform processing for estimating the viewer's attention level to the video content. Acquisition means for acquiring the occurrence time of the eye, (2) calculation means for calculating the blink time interval by calculating the time interval of the blink occurrence time acquired by the acquisition means, and (3) the instantaneous value calculated by the calculation means Estimating means for estimating the degree of attention of the viewer to the video content based on the eye time interval.
この構成を採るときに、本発明の注目度推定装置は、さらに、算出手段の算出した瞬目時間間隔の平均と標準偏差とを算出し、それらから注目度の推定に用いる瞬目時間間隔を標準化する標準化手段を備えることがある。 When adopting this configuration, the attention level estimation device of the present invention further calculates the average and standard deviation of the blink time intervals calculated by the calculation means, and determines the blink time interval used for estimation of the attention level from them. A standardization means for standardization may be provided.
この構成に従って、本発明の注目度推定装置は、映像コンテンツ視聴時における視聴者の瞬目時間間隔から、その映像コンテンツに対する視聴者の注目度を推定することができるようになることで、その映像コンテンツに対する視聴者の注目度を正確かつ容易に推定することができるようになる。 In accordance with this configuration, the attention level estimation device of the present invention can estimate the viewer's attention level for the video content from the blink time interval of the viewer when viewing the video content. It becomes possible to accurately and easily estimate the degree of attention of the viewer with respect to the content.
以上述べたように、本発明によれば、映像コンテンツに対する視聴者の注目度を正確かつ容易に推定できるようになる。さらに、映像コンテンツのシーン毎に注目度を得ることができるようになる。 As described above, according to the present invention, it is possible to accurately and easily estimate the degree of viewer's attention to video content. Furthermore, the attention level can be obtained for each scene of the video content.
また、カメラ等の非接触デバイスを用いて視聴者の瞬目を認識すれば、視聴者に負担をかけることなく、視聴映像コンテンツの注目度を得ることができるようになる。 Further, if the viewer's blink is recognized using a non-contact device such as a camera, the attention level of the viewed video content can be obtained without imposing a burden on the viewer.
したがって、本発明を映像コンテンツ評価に適用すれば、映像コンテンツ制作者に対し、「映像コンテンツのどの映像シーンが注目されて観られているか」ということをフィードバックすることができるようになる。また、映像コンテンツの定量的な評価尺度を提供することができるようになる。 Therefore, when the present invention is applied to video content evaluation, it becomes possible to feed back to the video content creator “what video scene of the video content is being watched and watched”. In addition, a quantitative evaluation scale for video content can be provided.
以下、映像コンテンツ評価システムに適用した実施の形態に従って、本発明について詳細に説明する。 Hereinafter, the present invention will be described in detail according to an embodiment applied to a video content evaluation system.
図１に、本発明により実現される映像コンテンツ評価システムのシステム構成の一例を図示する。 FIG. 1 shows an example of the system configuration of a video content evaluation system realized by the present invention.
この図に示すように、本発明により実現される映像コンテンツ評価システムは、映像コンテンツに対する視聴者１３の注目度を推定することで映像コンテンツを評価し、その評価情報を評価者４３に提示するという処理を行うものであって、この処理を実現するために、映像表示装置１０と、瞬目センシング装置２０と、注目度推定装置３０と、注目映像シーン表示装置４０とを備える。
As shown in this figure, the video content evaluation system realized by the present invention evaluates video content by estimating the degree of attention of the
この映像表示装置１０は、映像記録部１２に記録される評価対象の映像コンテンツを映像表示部１１で表示する処理を行うものであって、例えば、ＣＲＴとパーソナルコンピュータ等で構成される。
The
瞬目センシング装置２０は、瞬目センシング部２１において、評価対象の映像コンテンツを視聴する人物の瞬目（“まばたき”のこと）を検知して、その瞬目の生起時刻を瞬目記録部２２に記録する処理を行うものであって、例えば、ＣＣＤカメラとパーソナルコンピュータ等で構成される。ただし、このパーソナルコンピュータについては、映像表示装置１０とで兼用することもある。
In the
注目度推定装置３０は、瞬目センシング装置２０の瞬目記録部２２と接続され、注目度推定部３１において、瞬目記録部２２の瞬目生起時刻列情報を用いて評価映像に対する注目度を推定して、その注目度の時系列情報を注目度記録部３２に記録する処理を行うものであって、例えば、パーソナルコンピュータ等で構成される。
The attention
注目映像シーン表示装置４０は、注目度推定装置３０の注目度記録部３２と映像表示装置１０の映像記録部１２とに接続され、表示制御部４１において、注目度記録部３２の記録する注目度の時系列情報に含まれる当該映像再生時刻に基づいて、映像シーン表示部４２に対して、注目映像シーンの表示指示を行い、映像シーン表示部４２において、表示制御部４１からの指示に基づいて、注目映像シーンを映像表示装置１０の映像記録部１２から抽出して表示する処理を行うものであって、例えば、ＣＲＴとパーソナルコンピュータ等で構成される。ただし、このパーソナルコンピュータについては、注目度推定装置３０とで兼用することもある。
The attention video
ここで、本発明を実現すべく備えられる注目度推定装置３０はコンピュータとプログラムとによっても実現できるものであり、このプログラムについては記録媒体に記録することで提供することも可能であるし、ネットワークを通じて提供することも可能である。
Here, the attention
次に、このように構成される映像コンテンツ評価システムの具体的な動作例について説明する。 Next, a specific operation example of the video content evaluation system configured as described above will be described.
まず、視聴者１３は、映像表示装置１０の映像記録部１２から評価対象映像ＩＤをキーにして評価対象映像を読み出し、映像表示装置１０の映像表示部１１に、その評価対象映像を再生させて視聴する。
First, the
それと同時に、瞬目センシング装置２０は、瞬目センシング部２１を用いて、視聴者１３の映像の再生開始時刻を基準とする瞬目生起時刻を検出して、評価対象映像ＩＤと視聴者ＩＤとをキーにして瞬目記録部２２に記録する。
At the same time, the
人物の瞬目認識に関しては、人物の顔画像からまぶたの開度を検出し、閾値処理によって瞬目を高精度に認識する手段について、例えば、特開平７−３１３４５９号公報に記載されている。 Regarding human blink recognition, for example, Japanese Patent Application Laid-Open No. 7-313459 discloses means for detecting eyelid opening from a person's face image and recognizing blinks with high accuracy by threshold processing.
また、顔画像から鼻孔及び上まぶたを抽出し、鼻孔を基準位置として上まぶたまでの距離を算出し、鼻孔と上まぶたとの間の顔縦方向の距離の変位量に基いて瞬目を高精度に認識する手段について、例えば、特開２００１−５９５２公報に記載されている。 In addition, the nostril and upper eyelid are extracted from the face image, the distance to the upper eyelid is calculated using the nostril as a reference position, and the blink is increased based on the amount of displacement in the vertical distance between the nostril and the upper eyelid. Means for accurately recognizing is described in, for example, Japanese Patent Laid-Open No. 2001-5952.
次に、評価者４３は、視聴者１３の映像視聴終了後、注目度推定装置３０を用いて評価対象映像に対する当該視聴者の注目度を推定し、記録する。
Next, after the
図２は、図１のように構成される映像コンテンツ評価システムにおける注目度推定装置３０で行われる注目度推定処理の詳細なフロー図である。このフロー図では、以下のような観点から注目度を推定する。
FIG. 2 is a detailed flowchart of attention level estimation processing performed by the attention
すなわち、視聴映像に対する視聴者の注目度を高精度に推定するためには、視聴者が映像内容を理解するために映像に注意を集中する映像認知プロセスを同定し、それ以外の非映像認知プロセスと識別することが重要である。なぜなら、非映像認知プロセスでは、視聴者が映像喚起の有無によらず考えごとをしたり、眠気を催し覚醒度が低下しているときでも映像が進行し、その間の映像に対する注目度が低下しているためである。 In other words, in order to accurately estimate the viewer's attention level to the viewed video, a video recognition process in which the viewer focuses attention on the video to understand the video content is identified, and other non-video recognition processes It is important to identify This is because in the non-video recognition process, the video proceeds even when the viewer makes a thought regardless of whether or not the video is awakened, or when the arousal level is low due to drowsiness, and the degree of attention to the video during that time decreases. Because it is.
しかしながら、１分間あたりの瞬目数で定義される瞬目率の大小や、特定の瞬目とその次に生起する瞬目との時間間隔で定義される瞬目時間間隔の長短を比べても、いずれの認知プロセス（映像認知プロセス、非映像認知プロセス）でも瞬目が抑制されているため、それらを判別することができない。 However, even if you compare the size of the blink rate defined by the number of blinks per minute or the length of the blink time interval defined by the time interval between a specific blink and the next occurring blink In any cognitive process (video cognitive process, non-video cognitive process), since blink is suppressed, it is not possible to discriminate them.
一方、視認性等の視覚的負荷の大小に比例して瞬目時間間隔が長くなり、その視覚的負荷が解消された後に時間間隔が短かい瞬目が発生することが、『田多英興，山田登美雄，福田恭介 「まばたきの心理学」 北大路書房 1991.』等により知られている。 On the other hand, the blinking time interval increases in proportion to the visual load such as visibility, and after the visual load is eliminated, a blink with a short time interval occurs. Tomio Yamada, Keisuke Fukuda "Psychology of blinking" Kitaoji Shobo 1991.
すなわち、映像認知プロセスでは、視聴映像によって視覚的負荷が生じる。また、視聴映像に対する注目度が高い場合、凝視や注視等の視聴行動によって視覚的負荷が大きくなり、瞬目時間間隔が長くなる。その後に注目度が低下し、視覚的負荷が解消されると、時間間隔が短かい瞬目が発生することになる。 That is, in the video recognition process, a visual load is generated by the viewing video. Further, when the degree of attention with respect to the viewing video is high, the visual load increases due to viewing behavior such as gaze and gaze, and the blink time interval becomes long. After that, when the degree of attention is reduced and the visual load is eliminated, a blink with a short time interval occurs.
したがって、長い瞬目時間間隔と、その後の短い瞬目時間間隔とからなる瞬目の生起順序パターンを検出することによって注目度の高い映像認知プロセスを同定できることになる。 Therefore, it is possible to identify a video recognition process with a high degree of attention by detecting an occurrence sequence pattern of a blink including a long blink time interval and a short blink time interval thereafter.
図２のフロー図は、この原理に基づいて注目度の高い映像認知プロセスを同定するように処理するものである。 The flow chart of FIG. 2 is processed so as to identify a video recognition process with a high degree of attention based on this principle.
次に、図２のフロー図に示された注目度推定処理について詳細に説明する。 Next, the attention level estimation process shown in the flowchart of FIG. 2 will be described in detail.
注目度推定装置３０の注目度推定部３１は、評価対象映像に対する注目度推定要求が発行されると、図２のフロー図に示すように、先ず最初に、ステップ１０１で、瞬目センシング装置２０の瞬目記録部２２から、評価対象映像ＩＤと視聴者ＩＤとをキーにして評価対象映像視聴中における視聴者１３の瞬目回数Ｎの瞬目生起時刻列情報を入力する。
When the attention
続いて、ステップ１０２で、その取得した瞬目生起時刻列情報から、瞬目生起時刻Ｔ（ｉ）の瞬目時間間隔Ｉ［Ｔ（ｉ）］を、下式に従って、
Ｉ［Ｔ（ｉ）］＝Ｔ（ｉ）−Ｔ（ｉ−１）
というように算出する。
Subsequently, in step 102, the blink time interval I [T (i)] of the blink occurrence time T (i) is obtained from the obtained blink occurrence time sequence information according to the following equation:
I [T (i)] = T (i) -T (i-1)
And so on.
続いて、ステップ１０３で、瞬目時間間隔は視聴者によって異なり、また、同じ視聴者でも環境や時間によって変化することを考慮して、標準化を行う。すなわち、これら個人特性や観測状況の影響を低減するために、例えば、ステップ１０２で算出した特定の視聴者から連続して得られた瞬目時間間隔Ｉ［Ｔ（ｉ）］から平均ＡＶＥと標準偏差ＳＤとを算出し、瞬目時間間隔Ｉ［Ｔ（ｉ）］が平均５０、標準偏差１０となるようにと標準化すべく、瞬目時間間隔標準値ＳＩ［Ｔ（ｉ）］を、下式に従って、
ＳＩ［Ｔ（ｉ）］＝（（Ｉ［Ｔ（ｉ）］−ＡＶＥ）／ＳＤ）×１０＋５０
というように算出する。
Subsequently, in step 103, the blink time interval varies depending on the viewer, and standardization is performed in consideration of the fact that the same viewer changes depending on the environment and time. That is, in order to reduce the influence of these personal characteristics and observation conditions, for example, from the blink time interval I [T (i)] continuously obtained from the specific viewer calculated in step 102, the average AVE and the standard The deviation SD is calculated, and the blink time interval standard value SI [T (i)] is reduced to standardize the blink time interval I [T (i)] to an average of 50 and a standard deviation of 10. According to the formula
SI [T (i)] = ((I [T (i)] − AVE) / SD) × 10 + 50
And so on.
続いて、ステップ１０４で、一般に瞬目は不規則に生起することで、瞬目時間間隔Ｉ及び瞬目時間間隔標準値ＳＩはサンプリング周期の異なる時系列情報となることを考慮して、補完を行う。すなわち、瞬目時間間隔標準値の時系列情報を一定の周期、例えば１ミリ秒毎の時系列情報ＳＩ（ｔ）とするために、ｎ番目とｎ＋１番目の瞬目生起時刻の間を、１ミリ秒毎にｎ＋１番目の瞬目時間間隔標準値で補完（設定）するのである。 Subsequently, in Step 104, in general, blinks occur irregularly, and the blink time interval I and the blink time interval standard value SI become time series information with different sampling periods. Do. That is, in order to set the time series information of the blink time interval standard value to a certain period, for example, time series information SI (t) every 1 millisecond, the interval between the nth and n + 1th blink occurrence times is 1 It is complemented (set) with the standard value of the (n + 1) th blink time interval every millisecond.
続いて、ステップ１０５で、瞬目時間間隔の経時変化を表すために、補完により得られた瞬目時間間隔標準値ＳＩ（ｔ）の時系列情報から微分値ＤＳＩ（ｔ）を、下式に従って、
ＤＳＩ（ｔ）＝ＳＩ（ｔ＋１）−ＳＩ（ｔ）
というように算出する。
Subsequently, in step 105, in order to represent the temporal change of the blink time interval, the differential value DSI (t) is obtained from the time series information of the blink time interval standard value SI (t) obtained by the complement according to the following equation. ,
DSI (t) = SI (t + 1) −SI (t)
And so on.
このようにして得られた微分値ＤＳＩ（ｔ）は、その絶対値と正負の符号によって瞬目時間間隔の生起パターンを表す。 The differential value DSI (t) obtained in this way represents the occurrence pattern of the blink time interval by its absolute value and positive / negative sign.
例えば、図３に示すように、長い瞬目時間間隔の後に短い瞬目時間間隔が生起するパターンの場合には、微分値ＤＳＩ（ｔ）が負で、かつ値の絶対値が大きくなる。また、図４に示すように、長い瞬目時間間隔が連続して生起するパターンの場合には、微分値ＤＳＩ（ｔ）の絶対値が小さくなる。また、図５に示すように、短い瞬目時間間隔の後に長い瞬目時間間隔が生起するパターンの場合には、微分値ＤＳＩ（ｔ）が正で、かつ値の絶対値が大きくなる。 For example, as shown in FIG. 3, in the case of a pattern in which a short blink time interval occurs after a long blink time interval, the differential value DSI (t) is negative and the absolute value of the value is large. Also, as shown in FIG. 4, in the case of a pattern in which long blink time intervals occur continuously, the absolute value of the differential value DSI (t) becomes small. Further, as shown in FIG. 5, in the case of a pattern in which a long blink time interval occurs after a short blink time interval, the differential value DSI (t) is positive and the absolute value of the value is large.
以上の手順によって、瞬目の抑制及び促進の程度を表す瞬目時間間隔標準値ＳＩ（ｔ）と、瞬目の生起順序パターンを表す微分値ＤＳＩ（ｔ）の各々の時系列情報が得られることになる。 By the above procedure, time series information of the blink time interval standard value SI (t) representing the degree of suppression and promotion of blink and the differential value DSI (t) representing the occurrence sequence pattern of blinks is obtained. It will be.
続いて、ステップ１０６で、瞬目時間間隔標準値ＳＩ（ｔ）と、微分値ＤＳＩ（ｔ）と、予め定めておいた係数ａ，ｂ，ｃと、整数の閾値ｔｈとを用いて、単位時間毎の注目度Ｖ（ｔ）を、下式に従って、
Ｖ（ｔ）＝ａ・ＳＩ（ｔ）＋ｂ・｜ＤＳＩ（ｔ）｜ ：ＤＳＩ（ｔ）＜ｔｈ
＝Ｖ（ｔ＋１） ：ＤＳＩ（ｔ）＝０
＝ｃ・Ｖ（ｔ＋１）−｜ＤＳＩ（ｔ）｜ ：その他
ただし、０＜ｃ≦１，ｔｈ＜０，０≦Ｖ（ｔ）≦１００
というように算出する。
Subsequently, in step 106, the blink time interval standard value SI (t), the differential value DSI (t), the predetermined coefficients a, b, c, and the integer threshold th are used as units. The attention level V (t) for each hour is calculated according to the following formula:
V (t) = a · SI (t) + b · | DSI (t) |: DSI (t) <th
= V (t + 1): DSI (t) = 0
= C · V (t + 1) − | DSI (t) |
However, 0 <c ≦ 1, th <0, 0 ≦ V (t) ≦ 100
And so on.
ここで、現単位時刻ｔの注目度Ｖ（ｔ）を算出する際に１単位時間後の注目度Ｖ（ｔ＋１）を用いることから、注目度の算出は、最後に生起した瞬目の１単位時間前に生起した瞬目から降順に行うことになる。 Here, since the attention level V (t + 1) after one unit time is used when calculating the attention level V (t) at the current unit time t, the attention level is calculated by one unit of the last blink. It will be performed in descending order from the blink that occurred before the time.
すなわち、この式から分かるように、現時点の注目度Ｖ（ｔ）を算出するには、現時点の瞬目時間間隔標準値ＳＩ（ｔ）と、１単位時間後の瞬目時間間隔標準値ＳＩ（ｔ＋１)(これはＤＳＩ（ｔ）を算出するために必要となる）と、１単位時間後の注目度Ｖ（ｔ＋１）とが必要となるが、注目度の算出を昇順に行うようにすると、現時点の注目度Ｖ（ｔ）を算出する際に１単位時間後の注目度Ｖ（ｔ＋１）が求められていない。これから、注目度の算出を降順に行うようにするのである。 That is, as can be seen from this equation, to calculate the current attention level V (t), the current blink time interval standard value SI (t) and the blink time interval standard value SI (1 unit time after) t + 1) (this is necessary for calculating DSI (t)) and the attention level V (t + 1) after one unit time, but if the attention level is calculated in ascending order, When calculating the current attention level V (t), the attention level V (t + 1) after one unit time is not obtained. From now on, the attention level is calculated in descending order.
もちろん、注目度の算出を昇順に行うことは可能である。ただ、１単位時間後の瞬目時間間隔標準値で瞬目の生起順序パターンを特定できない場合には、その後の時刻の瞬目時間間隔標準値を参照するということを続けていかなくてはならないことから、注目度の算出を降順に行うことに比べて、計算コストが大きくなるという問題がある。 Of course, it is possible to calculate the attention level in ascending order. However, if the blink occurrence order pattern cannot be specified by the blink time interval standard value after one unit time, it must continue to refer to the blink time interval standard value of the subsequent time. For this reason, there is a problem in that the calculation cost is higher than when the attention level is calculated in descending order.
この式では、上述した瞬目生起順序パターンを閾値ｔｈによって判定して、その判定結果に応じて現時点の注目度Ｖ（ｔ）を算出するようにしている。 In this equation, the blink occurrence order pattern described above is determined by the threshold th, and the current attention level V (t) is calculated according to the determination result.
すなわち、ＤＳＩ（ｔ）がｔｈより小さい場合には、長い瞬目時間間隔の後に短い瞬目時間間隔の瞬目が生起する瞬目生起順序パターンであると同定して（すなわち、映像認知状態であると同定して）、ＳＩ（ｔ）とＤＳＩ（ｔ）の絶対値に比例した値を注目度Ｖ（ｔ）とする。 That is, when DSI (t) is smaller than th, it is identified as a blink occurrence sequence pattern in which a blink with a short blink time interval occurs after a long blink time interval (that is, in a video recognition state). A value proportional to the absolute value of SI (t) and DSI (t) is set as the degree of attention V (t).
また、ＤＳＩ（ｔ）が０の場合には、現単位時刻ｔと１単位時間後ｔ＋１の注目度が等しいと考えて、１単位時間後の決定済みの注目度Ｖ（ｔ＋１）を現単位時刻の注目度Ｖ（ｔ）とする。 Further, when DSI (t) is 0, it is assumed that the current unit time t and the attention level of t + 1 after one unit time are equal, and the determined attention level V (t + 1) after one unit time is set as the current unit time. The degree of attention V (t).
また、その他の場合には、１単位時間後の決定済みの注目度Ｖ（ｔ＋１）の値をｃの分減少させることで、現単位時刻ｔの注目度Ｖ（ｔ）の値を減少させ、これにより決定済みの注目度Ｖ（ｔ＋１）との差が大きくなることで映像認知状態の時間経過による注目度の上昇が表現可能となる。このときには、ＤＳＩ（ｔ）の絶対値に比例して現単位時刻ｔと１単位時間後との注目度の相関が少なくなると考え、１単位時間後の決定済みの注目度Ｖ（ｔ＋１）の値をＤＳＩ（ｔ）の絶対値分減少させるようにしている。 In other cases, the value of the attention degree V (t + 1) determined after one unit time is decreased by c, thereby reducing the value of the attention degree V (t) at the current unit time t, As a result, the difference from the determined attention level V (t + 1) is increased, so that an increase in the attention level due to the passage of time in the video recognition state can be expressed. At this time, it is considered that the attention level correlation between the current unit time t and one unit time later decreases in proportion to the absolute value of DSI (t), and the value of the determined attention level V (t + 1) after one unit time Is reduced by the absolute value of DSI (t).
続いて、ステップ１０７で、このようにして得られた注目度Ｖ（ｔ）の時系列情報を、評価対象映像ＩＤと視聴者ＩＤとをキーにして、注目度推定装置３０の注目度記録部３２に出力して、処理を終了する。
Subsequently, in step 107, the attention level recording unit of the attention
最後に、評価者４３は、注目映像シーン表示装置４０の表示制御部４１を用いて、評価対象映像ＩＤと視聴者ＩＤとをキーにして注目度推定装置３０の注目度記録部３２を参照することで、例えば注目度５０以上の時刻情報を読み出す。
Finally, the
そして、注目映像シーン表示装置４０の映像シーン表示部４２を用いて、評価対象映像ＩＤをキーとして映像表示装置１０の映像記録部１２を参照することで評価対象映像を特定し、表示制御部４１により読み出される注目度５０以上の時刻情報を含む映像シーンを再生する。
Then, using the video
これにより、評価者４３は、評価対象となる映像コンテンツの注目度が高い映像シーンを把握することが可能になることで、その映像コンテンツを評価することができるようになる。
As a result, the
図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では、瞬目時間間隔を標準化して、それを使って注目度を推定するようにしているが、視聴者が変わらないような場合などには、このような標準化を行わずに、瞬目時間間隔そのものを使って注目度を推定することも可能である。 Although the present invention has been described according to the illustrated embodiment, the present invention is not limited to this. For example, in the embodiment, the blink time interval is standardized and the attention level is estimated using the standard, but such standardization is not performed when the viewer does not change. It is also possible to estimate the attention level using the blink time interval itself.
１０ 映像表示装置
１１ 映像表示部
１２ 映像記録部
１３ 視聴者
２０ 瞬目センシング装置
２１ 瞬目センシング部
２２ 瞬目記録部
３０ 注目度推定装置
３１ 注目度推定部
３２ 注目度記録部
４０ 注目映像シーン表示装置
４１ 表示制御部
４２ 映像シーン表示部
４３ 評価者
DESCRIPTION OF
Claims (13)
特徴とする注目度推定方法。 Estimating the viewer's attention to the video content based on the viewer's blink time interval when viewing the video content,
A method of estimating the attention level as a feature.
上記瞬目時間間隔の平均と標準偏差とを算出し、それらから上記瞬目時間間隔を標準化して、それに基づいて、映像コンテンツに対する視聴者の注目度を推定することを、
特徴とする注目度推定方法。 The attention level estimation method according to claim 1,
Calculating the average and standard deviation of the blink time interval, standardizing the blink time interval from them, and estimating the viewer's attention to the video content based thereon,
A method of estimating the attention level as a feature.
上記瞬目時間間隔の生起順序パターンに基づいて、映像コンテンツに対する視聴者の注目度を推定することを、
特徴とする注目度推定方法。 In the attention degree estimation method according to claim 1 or 2,
Based on the occurrence order pattern of the blink time interval, estimating the viewer's attention to the video content,
A method of estimating the attention level as a feature.
上記瞬目時間間隔の微分値を使って、上記瞬目時間間隔の生起順序パターンを判定するとともに、その判定結果とその微分値とに基づいて、映像コンテンツに対する視聴者の注目度を推定することを、
特徴とする注目度推定方法。 In the attention degree estimation method according to claim 3,
Using the differential value of the blink time interval to determine the occurrence order pattern of the blink time interval, and estimating the viewer's attention to the video content based on the determination result and the differential value The
A method of estimating the attention level as a feature.
ある瞬目生起時刻における注目度を、そのある瞬目生起時刻で求められる値と、その一つ後の瞬目生起時刻で求められる値とに基づいて推定することを、
特徴とする注目度推定方法。 In the attention degree estimation method according to claim 1 or 2,
Estimating the degree of attention at a certain blink occurrence time based on the value obtained at that blink occurrence time and the value obtained at the next blink occurrence time,
A method of estimating the attention level as a feature.
ある瞬目生起時刻とその一つ前の瞬目生起時刻との間の注目度を、そのある瞬目生起時刻における注目度で補完することで推定することを、
特徴とする注目度推定方法。 The attention level estimation method according to claim 5,
Estimating the degree of attention between a certain blink occurrence time and the previous blink occurrence time by complementing the attention degree at that blink occurrence time,
A method of estimating the attention level as a feature.
映像コンテンツ視聴時における視聴者の瞬目の生起時刻を取得する手段と、
上記瞬目生起時刻の時間間隔を算出することで瞬目時間間隔を算出する手段と、
上記瞬目時間間隔に基づいて、映像コンテンツに対する視聴者の注目度を推定する手段とを備えることを、
特徴とする注目度推定装置。 An attention level estimation device that estimates a viewer's attention level to video content,
Means for acquiring the occurrence time of the blink of the viewer when viewing the video content;
Means for calculating a blink time interval by calculating a time interval of the blink occurrence time;
And a means for estimating a viewer's attention level to the video content based on the blink time interval.
Featured attention level estimation device.
上記算出した瞬目時間間隔の平均と標準偏差とを算出し、それらから注目度の推定に用いる上記瞬目時間間隔を標準化する手段を備えることを、
特徴とする注目度推定装置。 In the attention level estimation device according to claim 7,
Calculating a mean and standard deviation of the calculated blink time interval, and comprising means for standardizing the blink time interval used for estimating the attention degree therefrom.
Featured attention level estimation device.
上記推定する手段は、上記瞬目時間間隔の生起順序パターンに基づいて、映像コンテンツに対する視聴者の注目度を推定することを、
特徴とする注目度推定装置。 In the attention level estimation device according to claim 7 or 8,
The estimating means estimates the viewer's attention level to the video content based on the occurrence order pattern of the blink time interval.
Featured attention level estimation device.
上記推定する手段は、上記瞬目時間間隔の微分値を使って、上記瞬目時間間隔の生起順序パターンを判定するとともに、その判定結果とその微分値とに基づいて、映像コンテンツに対する視聴者の注目度を推定することを、
特徴とする注目度推定装置。 In the attention level estimation device according to claim 9,
The estimating means uses the differential value of the blink time interval to determine the occurrence order pattern of the blink time interval, and based on the determination result and the differential value, the viewer of the video content Estimating the degree of attention,
Featured attention level estimation device.
上記推定する手段は、ある瞬目生起時刻における注目度を、そのある瞬目生起時刻で求められる値と、その一つ後の瞬目生起時刻で求められる値とに基づいて推定することを、
特徴とする注目度推定装置。 In the attention level estimation device according to claim 7 or 8,
The estimating means estimates the degree of attention at a certain blink occurrence time based on a value obtained at the certain blink occurrence time and a value obtained at the next blink occurrence time.
Featured attention level estimation device.
上記推定する手段は、ある瞬目生起時刻とその一つ前の瞬目生起時刻との間の注目度を、そのある瞬目生起時刻における注目度で補完することで推定することを、
特徴とする注目度推定装置。 In the attention level estimation device according to claim 11,
The estimation means is to estimate the degree of attention between a certain blink occurrence time and the previous blink occurrence time by complementing the attention degree at the certain blink occurrence time,
Featured attention level estimation device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004135335A JP2005318372A (en) | 2004-04-30 | 2004-04-30 | Method, device, and program for degree-of-attention estimation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004135335A JP2005318372A (en) | 2004-04-30 | 2004-04-30 | Method, device, and program for degree-of-attention estimation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005318372A true JP2005318372A (en) | 2005-11-10 |
Family
ID=35445326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004135335A Pending JP2005318372A (en) | 2004-04-30 | 2004-04-30 | Method, device, and program for degree-of-attention estimation |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005318372A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120195370A1 (en) * | 2011-01-28 | 2012-08-02 | Rodolfo Vargas Guerrero | Encoding of Video Stream Based on Scene Type |
| JP2013105384A (en) * | 2011-11-15 | 2013-05-30 | Nippon Hoso Kyokai <Nhk> | Attention degree estimating device and program thereof |
| US8576081B2 (en) | 2009-02-13 | 2013-11-05 | Toyota Jidosha Kabushiki Kaisha | Physiological condition estimation device and vehicle control device |
| US20170099485A1 (en) * | 2011-01-28 | 2017-04-06 | Eye IO, LLC | Encoding of Video Stream Based on Scene Type |
| CN110009210A (en) * | 2019-03-26 | 2019-07-12 | 北京师范大学珠海分校 | A kind of student based on attention rate and focus listens to the teacher level comprehensive appraisal procedure |
| US11219395B2 (en) | 2017-07-19 | 2022-01-11 | Panasonic Intellectual Property Management Co., Ltd. | Sleepiness estimating device and wakefulness inducing device |
-
2004
- 2004-04-30 JP JP2004135335A patent/JP2005318372A/en active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8576081B2 (en) | 2009-02-13 | 2013-11-05 | Toyota Jidosha Kabushiki Kaisha | Physiological condition estimation device and vehicle control device |
| US20120195370A1 (en) * | 2011-01-28 | 2012-08-02 | Rodolfo Vargas Guerrero | Encoding of Video Stream Based on Scene Type |
| US9554142B2 (en) * | 2011-01-28 | 2017-01-24 | Eye IO, LLC | Encoding of video stream based on scene type |
| US20170099485A1 (en) * | 2011-01-28 | 2017-04-06 | Eye IO, LLC | Encoding of Video Stream Based on Scene Type |
| US10165274B2 (en) * | 2011-01-28 | 2018-12-25 | Eye IO, LLC | Encoding of video stream based on scene type |
| JP2013105384A (en) * | 2011-11-15 | 2013-05-30 | Nippon Hoso Kyokai <Nhk> | Attention degree estimating device and program thereof |
| US11219395B2 (en) | 2017-07-19 | 2022-01-11 | Panasonic Intellectual Property Management Co., Ltd. | Sleepiness estimating device and wakefulness inducing device |
| US11576597B2 (en) | 2017-07-19 | 2023-02-14 | Panasonic Intellectual Property Management Co., Ltd. | Sleepiness estimating device and wakefulness inducing device |
| CN110009210A (en) * | 2019-03-26 | 2019-07-12 | 北京师范大学珠海分校 | A kind of student based on attention rate and focus listens to the teacher level comprehensive appraisal procedure |
| CN110009210B (en) * | 2019-03-26 | 2023-05-26 | 北京师范大学珠海分校 | Comprehensive assessment method for student class listening level based on attention degree and concentration degree |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190340780A1 (en) | Engagement value processing system and engagement value processing apparatus | |
| CN111726689B (en) | Video playing control method and device | |
| US11763720B2 (en) | Methods, systems, and media for detecting a presentation of media content on a display device | |
| US20180242898A1 (en) | Viewing state detection device, viewing state detection system and viewing state detection method | |
| US20180288478A1 (en) | Aggregated stress monitoring to guide user interaction | |
| JP2008112401A (en) | Advertisement effect measurement apparatus | |
| EP3345400A1 (en) | Methods, systems and apparatus for media content control based on attention detection | |
| JP5733658B2 (en) | Attention level detection system, attention level determination device, program for attention level determination device, and image distribution system | |
| JP2007265125A (en) | Content display | |
| US20180299671A1 (en) | Information processing apparatus, fatigue degree evaluating method, and program | |
| JP2013109537A (en) | Interest degree estimation device and program thereof | |
| JP2010104754A (en) | Emotion analyzer | |
| JP2007219161A (en) | Presentation evaluation device and presentation evaluation method | |
| JP2009251303A (en) | Image signal generating apparatus, image signal generation method, program, and storage medium | |
| KR20130088493A (en) | Method for providing user interface and video receving apparatus thereof | |
| JP2016131288A (en) | Information processing apparatus and program | |
| JP5111934B2 (en) | Monitoring device | |
| JP2005318372A (en) | Method, device, and program for degree-of-attention estimation | |
| JP5115763B2 (en) | Image processing apparatus, content distribution system, image processing method, and program | |
| JP2014050649A (en) | Feebleness evaluation device, feebleness evaluation method, and program | |
| US20100150447A1 (en) | Description based video searching system and method | |
| JP2011239158A (en) | User reaction estimation apparatus, user reaction estimation method and user reaction estimation program | |
| US20210058670A1 (en) | Method for broadcast of multimedia content measuring the attention of a user | |
| JP2018036734A (en) | Expression change detector and program | |
| JP7284401B2 (en) | Line-of-sight information processing program, information processing device, and line-of-sight information processing method |