JP2014060642A - Display device and display system - Google Patents

Display device and display system Download PDF

Info

Publication number
JP2014060642A
JP2014060642A JP2012205351A JP2012205351A JP2014060642A JP 2014060642 A JP2014060642 A JP 2014060642A JP 2012205351 A JP2012205351 A JP 2012205351A JP 2012205351 A JP2012205351 A JP 2012205351A JP 2014060642 A JP2014060642 A JP 2014060642A
Authority
JP
Japan
Prior art keywords
content
unit
user
display device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012205351A
Other languages
Japanese (ja)
Inventor
Daisuke Kamata
大介 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012205351A priority Critical patent/JP2014060642A/en
Publication of JP2014060642A publication Critical patent/JP2014060642A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To reliably and accurately obtain, collect and manage user's evaluation without putting on the user a load for input of evaluation information on a content.SOLUTION: A display device 10 comprises: a display unit 18 for displaying a content to reproduce; an evaluation information generating unit 26b for generating the evaluation information on the content to display on the display unit 18; and a determination unit 26a for determining the result of the evaluation on the content to reproduce on the display unit 18, by predetermined determination processing. The determination unit 26a recognizes the state of the user in the periphery of the display device 10 with a specific timing during reproduction of the content, and determines the result of the evaluation of the content by the user on the basis of the result of the recognition. The evaluation information generating unit 26b summarizes the results of the determination by the determination unit 26a to generate evaluation information on the content.

Description

本発明は、表示装置及び表示システムに関し、より詳細には、コンテンツを再生してそのコンテンツのユーザによる評価情報を生成する表示装置、及び該表示装置と表示装置で生成した評価情報を蓄積するサーバ装置とからなる表示システムに関する。   The present invention relates to a display device and a display system, and more specifically, a display device that reproduces content and generates evaluation information by a user of the content, and a server that accumulates evaluation information generated by the display device and the display device The present invention relates to a display system comprising an apparatus.

例えばテレビ受像機などの表示装置を使用してコンテンツを再生し、これを視聴することができる。このような再生コンテンツには、例えば放送番組として放送されたコンテンツや、可搬型の記録媒体から読み出されたコンテンツ、通信回線を介して外部から入力されたコンテンツ、あるいはこれらコンテンツを特定の記憶手段に記憶し、その後読み出して再生するコンテンツなどがある。   For example, content can be played back and viewed using a display device such as a television receiver. Such playback content includes, for example, content broadcast as a broadcast program, content read from a portable recording medium, content input from the outside via a communication line, or specific storage means for storing these content Content that is stored in the memory and then read out and played back.

ユーザにコンテンツを提供する提供者は、そのコンテンツが視聴者にどのように評価されているかを調査し、ユーザの嗜好を判断してコンテンツの提供事業に役立てたいという要求をもつ。ユーザによるコンテンツの評価をコンテンツ提供者が知る手法として、例えば視聴率調査がある。放送コンテンツの視聴率を調査することで、提供しているコンテンツのユーザによる評価を判断することができる。   A provider who provides content to a user has a request to investigate how the content is evaluated by viewers and to determine the user's preference and to use it for the content providing business. As a method for the content provider to know the content evaluation by the user, for example, there is an audience rating survey. By examining the audience rating of the broadcast content, the user's evaluation of the provided content can be determined.

また、従来知られている技術においては、カメラによってコンテンツを視聴しているユーザを撮影し、その撮影画像を解析することでユーザがコンテンツをどのように評価しているかを判断するものがある。   In addition, in a conventionally known technique, there is a technique in which a user who is viewing content is photographed by a camera and the captured image is analyzed to determine how the user evaluates the content.

例えば特許文献1では、視聴者の操作を伴わずに、視聴者の好みを認識し、視聴者に対して、他の視聴者の評価に応じたコンテンツを薦めるための評価情報管理技術が開示されている。ここでは番組を視聴している視聴者の表情を撮影して得られた画像データを解析することにより、その番組に対する反応情報を判定し、評価サーバがその反応情報を取得する。そして評価サーバは、ある視聴者に対して、その番組に対する他の視聴者の評価情報を作成し、他の視聴者の評価情報を、番組を視聴している視聴者に通知する。   For example, Patent Document 1 discloses an evaluation information management technique for recognizing a viewer's preference without recommending the viewer's operation and recommending content to the viewer according to the evaluation of other viewers. ing. Here, by analyzing the image data obtained by photographing the facial expression of the viewer watching the program, the reaction information for the program is determined, and the evaluation server acquires the reaction information. Then, the evaluation server creates evaluation information of other viewers for the program for a certain viewer, and notifies the viewers who are watching the program of the evaluation information of other viewers.

また、特許文献2には、生活中の様々な行動全般から個々のユーザの嗜好情報を生成し、情報検索や推薦などの提示順位を個々のユーザに対して最適化する嗜好情報取集システムが開示されている。このシステムは、行動検出部でユーザの特徴的な行動を検出すると、情報取得部にて、そのような行動を引き起こした情報を取得する。また、情報取得部でユーザに影響を与えた情報が特定されると、評価取得部ではその情報に対するユーザの評価を取得する。そして、DB登録部を介してユーザ嗜好DBに情報取得部から得られた情報と、評価取得部から得られた情報が蓄積される。   Patent Document 2 discloses a preference information collecting system that generates preference information of individual users from various behaviors in daily life and optimizes the order of information retrieval and recommendation for each user. It is disclosed. When this behavior detection unit detects a user's characteristic behavior, the information acquisition unit acquires information that causes such behavior. Further, when information that has influenced the user is specified by the information acquisition unit, the evaluation acquisition unit acquires the user's evaluation for the information. Then, the information obtained from the information acquisition unit and the information obtained from the evaluation acquisition unit are accumulated in the user preference DB via the DB registration unit.

特許文献3には、再生されるコンテンツに対する視聴者反応の情報を収集する視聴者反応情報収集方法が開示されている。ここでは、視聴者についてのセンシングデータとそれを認識処理することで得られる視聴者についての認識データのいずれか一方又は双方を収集することで、再生コンテンツに対しての視聴者の反応を示す視聴者反応データを収集し、画面操作履歴の情報を含む再生コンテンツについての視聴データを収集する。そして視聴者反応データと視聴データとの事後統合を実現すべく、視聴者反応データが収集された際に割り付けられたタイムスタンプと、視聴データが収集された際に割り付けられたタイムスタンプとを使って、視聴者反応データと視聴データとを時間同期させて統合する。さらに統合データに基づいて、再生コンテンツに対しての視聴者の質的な反応を示す視聴質データを生成して、その生成した視聴質データの流通用の視聴メタデータを作成する。   Patent Document 3 discloses a viewer response information collecting method for collecting viewer response information for content to be played back. Here, the viewer shows the viewer's response to the playback content by collecting either or both of the sensing data about the viewer and the recognition data about the viewer obtained by recognizing the sensing data. The user response data is collected, and the viewing data regarding the playback content including the information of the screen operation history is collected. In order to achieve post-integration of viewer response data and viewing data, the time stamp assigned when the viewer response data was collected and the time stamp assigned when the viewer data was collected are used. Thus, the viewer response data and the viewing data are integrated in time synchronization. Further, based on the integrated data, audience quality data indicating a qualitative reaction of the viewer to the reproduction content is generated, and viewing metadata for distribution of the generated audience quality data is created.

特許文献4では、放送されている番組をユーザが本当に視聴しているのか否かを判断し、分析し、好みの番組を推定するための装置が開示されている。この装置は、番組視聴手段に表示された番組を視聴するユーザを撮影するための撮影手段と、撮影手段により撮影された画像から番組に対する視聴態度を番組に関連づけて記録する記録手段と、視聴態度に基づいてユーザの好みの番組を推定する推定手段と、を備えている。   Patent Document 4 discloses an apparatus for determining whether a user is actually viewing a broadcast program, analyzing it, and estimating a favorite program. The apparatus includes a photographing unit for photographing a user who views the program displayed on the program viewing unit, a recording unit that records a viewing attitude of the program in association with the program from an image photographed by the photographing unit, and a viewing attitude. And estimating means for estimating a user's favorite program based on.

特開2012−009957号公報JP 2012-0099957 A 特開2008−191702号公報JP 2008-191702 A 特許04335642号公報Japanese Patent No. 04335642 特開2011−1966572号公報JP 2011-1966572 A

表示装置を使用してコンテンツを視聴するユーザの嗜好を調査するために、上記のように放送番組の視聴率を用いることができるが、視聴率は、単にユーザがその放送番組を表示装置で視聴しているか否かがわかるだけであり、そのコンテンツに対する評価がどの程度のものなのかは視聴率だけでは知ることはできない。また、複数のユーザがコンテンツを視聴している場合に、それぞれのユーザがコンテンツの感想を表明することは難しい。   In order to investigate the user's preference for viewing content using a display device, the audience rating of the broadcast program can be used as described above, but the audience rating is simply that the user views the broadcast program on the display device. It is only possible to know whether or not the content is evaluated, and it is not possible to know how much the evaluation for the content is based on the audience rating alone. In addition, when a plurality of users are viewing content, it is difficult for each user to express his / her impression of the content.

また、カメラを使用してユーザを撮影し、その撮影した画像を解析してユーザの嗜好を判断する場合、無作為にユーザの撮影画像を解析し、その嗜好を判断しようとしても、そのときのユーザの動作が視聴中のコンテンツに対する反応によるものかどうかは曖昧であり判別できない。また、コンテンツの視聴中には、ユーザは相反する感想を持つこともあり、ユーザがコンテンツの評価中であることを意識していないときにユーザの嗜好を判断しようとしても、正確な評価を得ることができない。   In addition, when a user is photographed using a camera and the photographed image is analyzed to determine the user's preference, even if the user's photographed image is randomly analyzed to determine the preference, Whether the user's action is due to a reaction to the content being viewed is ambiguous and cannot be determined. In addition, while viewing content, the user may have conflicting impressions, and even when trying to determine the user's preference when the user is not aware that the content is being evaluated, an accurate evaluation is obtained. I can't.

また、コンテンツを再生中に、操作入力手段を使用してユーザの感想や嗜好等の評価情報を入力させるようにすることもできるが、コンテンツの再生中にユーザにそのコンテンツの感想の入力を継続させることはユーザにとって負担となる。   In addition, while the content is being played, the operation input means can be used to input evaluation information such as the user's impressions and preferences, but the user continues to input the content's impressions during the playback of the content. This is a burden on the user.

本発明は、上述のごとき実情に鑑みてなされたものであり、コンテンツに対する評価情報の入力に係る負担をユーザに強いることなく、ユーザの評価を確実にかつ正確に取得して収集し、管理できるようにするための表示装置及び表示システムを提供することを目的とする。   The present invention has been made in view of the above circumstances, and can acquire, collect and manage user evaluations reliably and accurately without imposing the burden on inputting evaluation information for content. An object of the present invention is to provide a display device and a display system.

上記課題を解決するために、本発明の第1の技術手段は、再生するコンテンツを表示する表示部と、該表示部に表示されるコンテンツの評価情報を生成する評価情報生成部と、を有する表示装置であって、該表示部で再生するコンテンツの評価結果を所定の判定処理により判定する判定部を有し、該判定部は、前記コンテンツの再生中に、特定のタイミングで前記表示装置の周囲のユーザの状態を認識し、該認識した結果に基づきユーザによる前記コンテンツの評価結果を判定し、前記評価情報生成部は、前記判定部が判定した結果を集計して前記コンテンツの評価情報を生成することを特徴としたものである。   In order to solve the above-described problem, a first technical means of the present invention includes a display unit that displays content to be played back, and an evaluation information generation unit that generates evaluation information of the content displayed on the display unit. A display device, comprising: a determination unit configured to determine an evaluation result of content to be reproduced on the display unit by a predetermined determination process, wherein the determination unit is configured to display the content of the display device at a specific timing during reproduction of the content. Recognizing the state of surrounding users, determining the evaluation result of the content by the user based on the recognized result, the evaluation information generating unit summing up the determination results of the determination unit, and obtaining the evaluation information of the content It is characterized by generating.

第2の技術手段は、第1の技術手段において、前記表示部の表示を制御する表示制御部を備え、該表示制御部は、前記特定のタイミングに合わせて、前記コンテンツを評価するために予め定められた動作を行うよう前記視聴者に要求する要求画面を前記表示部に表示させることを特徴としたものである。   A second technical means includes a display control unit that controls display of the display unit in the first technical means, and the display control unit preliminarily evaluates the content in accordance with the specific timing. A request screen for requesting the viewer to perform a predetermined operation is displayed on the display unit.

第3の技術手段は、第1または2の技術手段において、ユーザを撮像するための撮像部を有し、前記判定部は、該撮像部で撮像した画像を前記ユーザの状態を認識する情報として使用し、前記撮像部で撮像した画像によりユーザの状態を解析して、該解析した結果に従って前記ユーザの状態を認識することを特徴としたものである。   A 3rd technical means has an imaging part for imaging a user in the 1st or 2nd technical means, and the said determination part uses the image imaged by this imaging part as information which recognizes the said user's state. And using the image captured by the imaging unit to analyze the user's state and recognizing the user's state according to the analysis result.

第4の技術手段は、第1または2の技術手段において、ユーザの音声を取得する音声取得部を備え、前記判定部は、前記音声取得部により取得された音声を前記ユーザの状態を認識するための情報として使用し、前記音声取得部により取得された音声に基づいて前記ユーザの状態を認識することを特徴としたものである。   According to a fourth technical means, in the first or second technical means, a voice acquisition unit that acquires a user's voice is provided, and the determination unit recognizes the voice acquired by the voice acquisition unit based on the state of the user. It is used as information for the purpose, and the state of the user is recognized based on the voice acquired by the voice acquisition unit.

第5の技術手段は、第1または2の技術手段において、ユーザによる所定の操作入力を受け付ける操作入力部を有し、前記判定部は、前記操作入力部に対する操作入力を前記ユーザの状態を認識するための情報として使用し、前記操作入力部に対する操作入力に従って、前記ユーザの状態を認識することを特徴としたものである。   A fifth technical means includes an operation input unit that receives a predetermined operation input by a user in the first or second technical means, and the determination unit recognizes an operation input to the operation input unit based on the state of the user. The information is used as information for recognizing the user's state according to an operation input to the operation input unit.

第6の技術手段は、第3〜5のいずれか1の技術手段において、前記判定部は、前記ユーザの状態を認識することができなかった場合、所定の入力手段を使用して入力されたユーザの状態を示す情報を取得し、前記ユーザの状態を認識するための情報と、前記入力手段を使用して入力されたユーザの状態を示す情報との関連付けを学習する機能を有することを特徴としたものである。   In a sixth technical means, in any one of the third to fifth technical means, if the determination unit cannot recognize the state of the user, it is input using a predetermined input means. It has a function of acquiring information indicating a user state and learning an association between information for recognizing the user state and information indicating a user state input using the input unit. It is what.

第7の技術手段は、第3の技術手段において、前記撮像部により撮像された画像を解析する撮像画像解析部を有し、前記特定のタイミングは、前記撮像画像解析部が、前記撮像部により撮像された画像に所定の画像が含まれていると判断したタイミングを含むことを特徴としたものである。   A seventh technical means includes a captured image analysis unit that analyzes an image captured by the imaging unit in the third technical means, and the specific timing is determined by the captured image analysis unit by the imaging unit. This includes a timing at which it is determined that a predetermined image is included in the captured image.

第8の技術手段は、第1〜6のいずれか1の技術手段において、前記再生するコンテンツに含まれるメタデータを解析するメタデータ解析部を有し、前記特定のタイミングは、前記メタデータ解析部が、前記再生するコンテンツに所定のメタデータ含まれていると判断したとき、該メタデータに従うタイミングを含むことを特徴としたものである。   The eighth technical means includes a metadata analysis unit that analyzes metadata included in the content to be played back in any one of the first to sixth technical means, and the specific timing is determined based on the metadata analysis. When the unit determines that predetermined metadata is included in the content to be reproduced, it includes a timing according to the metadata.

第9の技術手段は、第1〜6のいずれか1の技術手段において、前記再生するコンテンツの画像を解析するコンテンツ画像解析部を有し、前記特定のタイミングは、前記コンテンツ画像解析部が、前記再生するコンテンツの画像に所定の画像が含まれていると判断したタイミングを含むことを特徴としたものである。   A ninth technical means includes a content image analyzing unit that analyzes an image of the content to be reproduced in any one of the first to sixth technical means, and the specific timing is determined by the content image analyzing unit, The timing of determining that a predetermined image is included in the image of the content to be reproduced is included.

第10の技術手段は、第4の技術手段において、前記音声取得部が取得した音声を解析する取得音声解析部を有し、前記特定のタイミングは、前記取得音声解析部が、前記音声取得部により取得した音声信号に所定の音声情報が含まれていると判断したタイミングを含むことを特徴としたものである。   A tenth technical means includes, in the fourth technical means, an acquired voice analysis unit that analyzes the voice acquired by the voice acquisition unit, and the specific voice is acquired by the acquired voice analysis unit. Includes a timing at which it is determined that predetermined audio information is included in the audio signal acquired by the above.

第11の技術手段は、第1〜6のいずれか1の技術手段において、前記コンテンツを再生中に、CMが再生されているか否かを検出するCM検出部を有し、前記特定のタイミングは、前記CM検出部が、前記CMが再生されていると判断したタイミングを含むことを特徴としたものである。   An eleventh technical means includes a CM detection unit for detecting whether or not a CM is being reproduced during reproduction of the content in any one of the first to sixth technical means, and the specific timing is , Including a timing at which the CM detection unit determines that the CM is being reproduced.

第12の技術手段は、第1〜6のいずれか1の技術手段において、コンテンツを再生中の出力音声を解析する出力音声解析部を有し、前記特定のタイミングは、前記出力音声解析部が、出力する音声信号の音量または音質が所定の条件に該当すると判断したタイミングを含むことを特徴としたものである。   A twelfth technical means includes any one of the first to sixth technical means, including an output sound analysis unit that analyzes an output sound during reproduction of content, and the specific timing is determined by the output sound analysis unit. , Including a timing at which the volume or sound quality of the output audio signal is determined to satisfy a predetermined condition.

第13の技術手段は、第1〜6のいずれか1の技術手段において、前記再生するコンテンツの画像を解析するコンテンツ画像解析部を有し、前記特定のタイミングは、前記コンテンツ画像解析部が、再生されているコンテンツの映像信号の色調または輝度が所定の条件に該当すると判断したタイミングを含むことを特徴としたものである。   A thirteenth technical means includes a content image analysis unit that analyzes an image of the content to be reproduced in any one of the first to sixth technical means, and the specific timing is determined by the content image analysis unit, It includes a timing at which it is determined that the color tone or luminance of the video signal of the content being reproduced meets a predetermined condition.

第14の技術手段は、第1〜13のいずれか1の技術手段において、外部機器と通信を行う通信部を有し、前記評価情報生成部は、前記コンテンツの評価情報を前記通信部を介して所定のサーバ装置に送信し、前記通信部は、サーバ装置が蓄積したコンテンツの評価情報を受信し、前記表示部は、前記通信部が受信したコンテンツの評価情報を表示することを特徴としたものである。   A fourteenth technical means according to any one of the first to thirteenth technical means includes a communication unit that communicates with an external device, and the evaluation information generation unit transmits the evaluation information of the content via the communication unit. The communication unit receives content evaluation information accumulated by the server device, and the display unit displays content evaluation information received by the communication unit. Is.

第15の技術手段は、第1〜14のいずれか1の技術手段の表示装置と、該表示装置と通信可能に接続されたサーバ装置とを備え、前記サーバ装置は、前記表示装置の評価情報生成部が生成したコンテンツの評価情報を通信により取得し、コンテンツの評価情報のデータベースとして蓄積し、該蓄積した評価情報を前記表示装置に送信することを特徴とした表示システムである。   A fifteenth technical means includes a display device according to any one of the first to fourteenth technical means, and a server device that is communicably connected to the display device, and the server device has evaluation information of the display device. The display system is characterized in that content evaluation information generated by a generation unit is acquired by communication, stored as a database of content evaluation information, and the stored evaluation information is transmitted to the display device.

本発明によれば、コンテンツに対する評価情報の入力に係る負担をユーザに強いることなく、ユーザの評価を確実にかつ正確に取得して収集し、管理できるようにするための表示装置及び表示システムを提供することができる。   According to the present invention, there is provided a display device and a display system that enable a user's evaluation to be acquired, collected, and managed reliably and accurately without imposing a burden on input of evaluation information for content. Can be provided.

本発明による表示システムの構成例を説明するための図である。It is a figure for demonstrating the structural example of the display system by this invention. 本発明に係る表示装置の構成例を示すブロック図ある。It is a block diagram which shows the structural example of the display apparatus which concerns on this invention. ユーザに対する動作の要求画面の一例を示す図である。It is a figure which shows an example of the operation | movement request | requirement screen with respect to a user. 本発明による表示装置の処理の流れと各動作を概念的に説明するための図である。It is a figure for demonstrating notionally the flow of a process of a display apparatus by this invention, and each operation | movement. 本発明による表示システムのサーバ装置に蓄積されたデータベースのデータ例を説明するための図である。It is a figure for demonstrating the example of the data of the database accumulate | stored in the server apparatus of the display system by this invention.

図1は、本発明による表示システムの構成例を説明するための図である。
表示システムの構成例では、コンテンツを再生して出力する表示装置10と、表示装置10と通信ネットワークを介して接続されるサーバ装置100とを有している。表示装置10は、本発明に係る表示装置の一例であり、表示装置10とサーバ装置100とにより、本発明の表示システムの実施形態が構成される。サーバ装置100には、複数の表示装置10が接続され、各表示装置10との通信が可能とされる。表示装置10には、例えば、テレビ受像機を適用することができる。
FIG. 1 is a diagram for explaining a configuration example of a display system according to the present invention.
The configuration example of the display system includes a display device 10 that reproduces and outputs content, and a server device 100 that is connected to the display device 10 via a communication network. The display device 10 is an example of a display device according to the present invention, and the display device 10 and the server device 100 constitute an embodiment of the display system of the present invention. A plurality of display devices 10 are connected to the server device 100, and communication with each display device 10 is enabled. For example, a television receiver can be applied to the display device 10.

表示装置10は、各種コンテンツの再生を行うものであり、再生するコンテンツとしては、例えば放送番組として放送されたコンテンツや、可搬型の記録媒体から読み出されたコンテンツ、通信回線を介して外部から入力されたコンテンツ、あるいはこれらコンテンツを特定の記憶手段に記憶し、その後記憶手段から読み出したコンテンツなどを適用することができる。ここでは表示装置10が受信し、あるいは記憶手段から読み出したコンテンツデータから映像データおよび音声データを取り出して再生することを、表示装置10がコンテンツを再生すると称する。   The display device 10 reproduces various types of content. Examples of content to be reproduced include content broadcast as a broadcast program, content read from a portable recording medium, and externally via a communication line. It is possible to apply the input content or the content stored in a specific storage unit and then read out from the storage unit. Here, taking out and playing back video data and audio data from content data received by the display device 10 or read from the storage means is referred to as playing back content.

表示装置10は、表示装置10の周囲のユーザ50の状態を所定の判定処理により認識し、その認識結果に基づいてユーザによるコンテンツの評価結果を判定する。ここでは、表示装置10は、コンテンツの再生中に、特定のタイミングでユーザ50の状態を認識し、認識した結果に基づき判定した評価結果を集計してコンテンツの評価情報を生成することができる。   The display device 10 recognizes the state of the user 50 around the display device 10 by a predetermined determination process, and determines the content evaluation result by the user based on the recognition result. Here, the display device 10 can recognize the state of the user 50 at a specific timing during the reproduction of the content, and aggregate the evaluation results determined based on the recognized results to generate content evaluation information.

ユーザ50の状態を判定する判定処理には、種々の手法を用いることができる。例えば、表示装置10に撮像部23を設け、撮像部23で撮像した画像を解析することによりユーザ50の状態を認識して、その認識結果に従ってユーザによるコンテンツの評価結果を判定することができる。例えば、撮像部23で撮像した画像からユーザ50を識別し、所定のジェスチャを認識してユーザ50の動作に応じた評価結果を判定することができる。またユーザ50の座っている位置や、顔や手の大きさ、表情などから評価結果を判定するようにすることもできる。
あるいは、表示装置10にユーザの音声を取得する音声取得部24を設け、その音声取得部24により取得された音声を解析して、ユーザ50の状態を認識するようにしてもよい。あるいは、ユーザによる所定の操作入力に従って、ユーザ50の状態を認識することもできる。そして認識したユーザの状態に基づいてユーザ50によるコンテンツの評価結果を判定する。
Various methods can be used for the determination process for determining the state of the user 50. For example, the imaging device 23 is provided in the display device 10, the state of the user 50 is recognized by analyzing the image captured by the imaging unit 23, and the content evaluation result by the user can be determined according to the recognition result. For example, the user 50 can be identified from the image captured by the imaging unit 23, a predetermined gesture can be recognized, and an evaluation result corresponding to the operation of the user 50 can be determined. Also, the evaluation result can be determined from the sitting position of the user 50, the size of the face and hands, the facial expression, and the like.
Or the audio | voice acquisition part 24 which acquires a user's audio | voice is provided in the display apparatus 10, and the audio | voice acquired by the audio | voice acquisition part 24 is analyzed, and you may make it recognize the state of the user 50. FIG. Alternatively, the state of the user 50 can be recognized in accordance with a predetermined operation input by the user. Then, the content evaluation result by the user 50 is determined based on the recognized user state.

表示装置10は、上記のような所定の判定処理によりユーザの評価結果を判定すると、その判定結果を集計し、コンテンツの評価情報を生成する。生成した評価情報は、適宜サーバ装置100に送信される。評価情報には、ユーザによるコンテンツの評価結果として、例えば、コンテンツの支持/不支持、CM商品の希望/不希望などの情報を含めることができる。また、評価結果には、コンテンツを視聴するユーザの数や内訳(性別)の情報、ユーザの識別情報、コンテンツの視聴時間や放送チャンネル情報等を含ませることができる。
サーバ装置100では、複数の表示装置10から送信された評価情報をデータベースにして蓄積する。蓄積した評価情報は、例えばコンテンツ提供者などに所定条件下でアクセス権を与えてアクセスを許可することで、コンテンツの評価情報を利用可能とすることができる。
When the display device 10 determines the user's evaluation results by the predetermined determination processing as described above, the display device 10 aggregates the determination results and generates content evaluation information. The generated evaluation information is transmitted to the server apparatus 100 as appropriate. The evaluation information can include, for example, information such as support / non-support of content, hope / disappointment of CM merchandise, etc. as a result of content evaluation by the user. In addition, the evaluation result can include the number of users who view the content, information on the breakdown (gender), user identification information, content viewing time, broadcast channel information, and the like.
In the server apparatus 100, the evaluation information transmitted from the plurality of display apparatuses 10 is stored as a database. The accumulated evaluation information can be used by giving access rights to the content provider or the like under predetermined conditions and permitting access.

表示装置10がユーザの状態を認識し、ユーザによるコンテンツの評価結果を判定する特定のタイミングは、予め設定された条件に従う。例えば特定のタイミングとして、撮像部23により撮像された画像に所定の画像が含まれていると判断したタイミングや、再生するコンテンツに所定のメタデータ含まれているとき、そのメタデータに従うタイミングを含むことができる。あるいは、再生するコンテンツの画像に特定の画像が含まれていると判断したタイミングや、コンテンツの画像の色調ないし輝度が所定の条件に該当すると判断したときのタイミングとすることができる。さらには、コンテンツの再生中にCMが再生されていることが検出されたタイミング、コンテンツを再生中の出力する音声信号の音量ないし音質が所定の条件に該当するタイミングなどを適宜予め定めておくことができる。   The specific timing at which the display device 10 recognizes the state of the user and determines the content evaluation result by the user follows a preset condition. For example, the specific timing includes a timing at which it is determined that a predetermined image is included in the image captured by the imaging unit 23, and a timing according to the metadata when the content to be reproduced includes predetermined metadata. be able to. Alternatively, it may be the timing when it is determined that a specific image is included in the content image to be reproduced, or the timing when it is determined that the color tone or luminance of the content image meets a predetermined condition. Furthermore, the timing at which the CM is detected during playback of the content, the timing at which the volume or quality of the audio signal output during playback of the content meets a predetermined condition, and the like are appropriately determined in advance. Can do.

特定のタイミングでユーザの状態を認識し、コンテンツの評価結果を判定することで、
コンテンツに対する評価情報の入力に係る負担をユーザに強いることなく、ユーザの評価を確実にかつ正確に取得して収集し、管理することができる。
By recognizing the user's state at a specific timing and determining the content evaluation result,
The user's evaluation can be acquired, collected, and managed reliably and accurately without imposing the burden on the input of the evaluation information on the content.

図2は、本発明に係る表示装置の構成例を示すブロック図で、本発明の表示装置をテレビ受像機として構成した例を示すものである。
表示装置10の各部の動作は、制御部26により制御される。制御部26は、CPU(Central Processing Unit)により構成することができる。記憶部27は、装置各部を制御し、本発明に係る実施形態の処理を実行するための各種制御プログラムが記憶されたメモリであり、制御部26は、この制御プログラムを読み出して実行することで本発明の実施形態の機能が実現される。すなわち、表示装置10は、制御部26を含むコンピュータ・システムによって制御されている。
FIG. 2 is a block diagram showing a configuration example of a display device according to the present invention, and shows an example in which the display device of the present invention is configured as a television receiver.
The operation of each unit of the display device 10 is controlled by the control unit 26. The control unit 26 can be configured by a CPU (Central Processing Unit). The storage unit 27 is a memory in which various control programs for controlling each unit of the apparatus and executing the processing according to the embodiment of the present invention are stored. The control unit 26 reads and executes the control program. The functions of the embodiment of the present invention are realized. That is, the display device 10 is controlled by a computer system including the control unit 26.

チューナ部11は、放送受信用アンテナ30を介して受信したテレビ放送信号を、選局部15による選局指示に応じて選局する。チューナ部11から出力された受信信号は、復調部12にて復調され、分離部14に送られる。分離部14は、復調部12またはIP放送チューナ部13からの受信信号を受け取り、多重化された映像データおよび音声データを分離して、映像データを映像処理部16に送るとともに、音声データを音声処理部19に送る。   The tuner unit 11 selects a television broadcast signal received via the broadcast receiving antenna 30 in accordance with a channel selection instruction from the channel selection unit 15. The reception signal output from the tuner unit 11 is demodulated by the demodulation unit 12 and sent to the separation unit 14. The separation unit 14 receives a reception signal from the demodulation unit 12 or the IP broadcast tuner unit 13, separates the multiplexed video data and audio data, sends the video data to the video processing unit 16, and converts the audio data into audio The data is sent to the processing unit 19.

映像処理部16は、分離部14によって分離された映像データをデコードし、各種の映像処理、例えばノイズリダクション、シャープネス、コントラスト等を調整する映像処理を行い、表示部18に表示させる最適な映像信号となるように映像データを変換する。
表示制御部17は、受信した映像データを表示部18に表示させるための駆動回路を含み、表示部18の表示を制御する。表示部18は、例えば液晶パネルなどの表示デバイスを含み、表示制御部17から出力された映像データを画面に表示する。
The video processing unit 16 decodes the video data separated by the separation unit 14, performs various video processing, for example, video processing for adjusting noise reduction, sharpness, contrast, and the like, and an optimal video signal to be displayed on the display unit 18. The video data is converted so that
The display control unit 17 includes a drive circuit for displaying the received video data on the display unit 18, and controls the display of the display unit 18. The display unit 18 includes a display device such as a liquid crystal panel, and displays video data output from the display control unit 17 on the screen.

音声処理部19は、分離部14によって分離された音声データをデコードし、得られた音声信号をスピーカ20による再生に最適な信号に変換してスピーカ20に供給する。スピーカ20からは音声が出力される。   The audio processing unit 19 decodes the audio data separated by the separation unit 14, converts the obtained audio signal into a signal optimal for reproduction by the speaker 20, and supplies the signal to the speaker 20. Sound is output from the speaker 20.

通信部21は、電話回線、LAN、インターネット等のネットワーク網を介して通信を確立させるように制御を行う。
操作入力部22は、ユーザによる操作入力を受け付ける。例えば、特定のリモコンからの光信号を受信して、制御信号を受け付けるリモコン受光部を含むことができる。また、ユーザ操作が可能に設けられたタッチパネル、キー、ボタンなどにより、ユーザの操作入力を受け付けるように構成することができる。
The communication unit 21 performs control so as to establish communication via a network such as a telephone line, a LAN, and the Internet.
The operation input unit 22 receives an operation input by a user. For example, a remote control light receiving unit that receives an optical signal from a specific remote control and receives a control signal can be included. Moreover, it can comprise so that a user's operation input may be received with the touch panel, key, button, etc. which were provided so that user operation was possible.

撮像部23は、ユーザを撮像するためのものであり、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)を撮像素子として有する公知のデジタルカメラを用いることができる。撮像部23は、撮像した画像データを制御部26に送信する。
音声取得部24は、表示装置10の周囲で発せられた音声を取得するマイクロホンを有する。音声取得部24により取得した音声信号は、制御部26に送信される。
The imaging unit 23 is for imaging a user. For example, a known digital camera having a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) as an imaging element can be used. The imaging unit 23 transmits the captured image data to the control unit 26.
The sound acquisition unit 24 includes a microphone that acquires sound emitted around the display device 10. The audio signal acquired by the audio acquisition unit 24 is transmitted to the control unit 26.

制御部26は、本発明に係る実施形態の機能を実現するための制御を行う。例えば制御部26の機能として、表示装置10で再生するコンテンツの評価結果を所定の判定処理により判定する判定部26aと、判定部26aで判定された評価結果に基づき、コンテンツの評価情報を生成する評価情報生成部26bとを備える。
判定部26aは、コンテンツの再生中に特定のタイミングで表示装置10の周囲のユーザの状態を認識し、認識した結果に基づきユーザによるコンテンツの評価結果を判定する。評価情報生成部26bは、判定部26aが判定した結果を集計してコンテンツの評価情報を生成する。
The control unit 26 performs control for realizing the functions of the embodiment according to the present invention. For example, as a function of the control unit 26, content evaluation information is generated based on a determination unit 26 a that determines an evaluation result of content to be reproduced on the display device 10 by a predetermined determination process, and an evaluation result determined by the determination unit 26 a. And an evaluation information generation unit 26b.
The determination unit 26a recognizes the state of the user around the display device 10 at a specific timing during the reproduction of the content, and determines the content evaluation result by the user based on the recognized result. The evaluation information generation unit 26b aggregates the results determined by the determination unit 26a and generates content evaluation information.

判定部26aでは、例えば、撮像部23が撮像した画像によりユーザの状態を解析し、その解析結果に従ってユーザの状態を認識する。例えば、撮像されたユーザのジェスチャが所定の動作であるかに応じてユーザの状態を認識し、その認識結果に従ってユーザの評価結果を判定する。また、撮像部23が撮像した画像に複数のユーザが含まれている場合、それぞれのユーザの動作を認識して、複数の評価結果を得るようにすることができる。また、ユーザのジェスチャ動作などの積極的で明示的な行動だけでなく、暗黙的な動作を認識して評価結果を判定するようにしてもよい。   In the determination unit 26a, for example, the user's state is analyzed based on the image captured by the imaging unit 23, and the user's state is recognized according to the analysis result. For example, the user's state is recognized according to whether the captured user's gesture is a predetermined action, and the user's evaluation result is determined according to the recognition result. Further, when a plurality of users are included in the image captured by the imaging unit 23, it is possible to recognize each user's operation and obtain a plurality of evaluation results. In addition, the evaluation result may be determined by recognizing not only a positive and explicit action such as a user gesture action but also an implicit action.

暗黙的な動作としては、例えば、表示装置10の周囲でユーザが座っている位置や、パターン認識等により識別するユーザの座り方、撮像画面におけるユーザの顔や手の大きさ、ユーザの表情(泣き顔や笑い顔)などを認識して、評価結果を判定するようにしてもよい。画像内におけるユーザの顔や手の大きさを認識する場合は、その大きさが大きいほど表示装置の近くにいて、コンテンツに興味を持っていることが推定できる。この場合、表示装置10に赤外線等による距離センサを設け、検出した顔や手の大きさを距離に応じて補正するようにしてもよい。   As the implicit operation, for example, the position where the user is sitting around the display device 10, the user's sitting position identified by pattern recognition, the size of the user's face and hand on the imaging screen, the user's facial expression ( The evaluation result may be determined by recognizing a crying face or a laughing face). When recognizing the size of the user's face or hand in the image, it can be estimated that the larger the size, the closer to the display device, the more interested in the content. In this case, a distance sensor using infrared rays or the like may be provided in the display device 10 so that the detected size of the face or hand is corrected according to the distance.

また、ユーザが行うジェスチャに対応する評価結果が判定できなかった場合、ジェスチャに対応する評価結果をユーザに再度確認することもできる。この場合、確認画面を表示させてユーザに再度ジェスチャを行わせたり、他の入力手法で応答させるようにすることができる。そしてこの場合、判定部26aに学習機能を設け、曖昧で判定できなかったジェスチャ動作に対して、次回から評価結果を判定できるようにすることができる。判定部26aの学習機能は、上記のジェスチャ判定だけでなく、判定部26aにおける種々の判定処理に適用することができる。   Moreover, when the evaluation result corresponding to the gesture performed by the user cannot be determined, the evaluation result corresponding to the gesture can be confirmed again by the user. In this case, it is possible to display a confirmation screen and cause the user to perform a gesture again or to respond using another input method. In this case, the determination unit 26a can be provided with a learning function so that the evaluation result can be determined from the next time for the gesture operation that is ambiguous and cannot be determined. The learning function of the determination unit 26a can be applied not only to the above-described gesture determination but also to various determination processes in the determination unit 26a.

つまり判定部26aは、ユーザの状態を認識するための情報として、ジェスチャ動作やユーザの表情、その他の暗黙的動作、あるいは後述するユーザの音声や所定の操作入力の情報を取得し、これらのユーザの状態を認識するための情報に従ってユーザの状態を認識する。このときこれらのユーザの状態を認識するための情報によりユーザの状態を認識することができなかった場合、所定の入力手段を使用して入力されたユーザの状態を示す情報を取得する。所定の入力手段は、再度ジェスチャを行わせるときの撮像部23であったり、音声を再入力させる音声取得部24であったり、操作入力を行わせる操作入力部22であったりする。ユーザの状態を示す情報は、ジャスチャなどの明示的情報だけでなく、ユーザの位置や形態などの暗黙的情報であってもよい。そして上記のユーザの状態を認識するための情報と、上記の所定の入力手段を使用して入力されたユーザの状態を示す情報との関連付けを学習し、以後その学習結果を使用して、ユーザの状態を認識するための情報に基づいて、ユーザの状態を認識することができる。   That is, the determination unit 26a acquires gesture information, a user's facial expression, other implicit actions, or a user's voice and information on a predetermined operation input, which will be described later, as information for recognizing the user's state. The user status is recognized according to the information for recognizing the status of the user. At this time, when the user state cannot be recognized by the information for recognizing the user state, information indicating the user state input using a predetermined input unit is acquired. The predetermined input means may be the imaging unit 23 for performing a gesture again, the voice acquisition unit 24 for re-inputting a voice, or the operation input unit 22 for performing an operation input. The information indicating the state of the user may be not only explicit information such as a gesture but also implicit information such as the position and form of the user. Then, the association between the information for recognizing the state of the user and the information indicating the state of the user input using the predetermined input means is learned, and the learning result is used thereafter to The user's state can be recognized based on the information for recognizing the state.

判定部26aでは、音声取得部24により取得された音声に基づいてユーザの状態を認識し、ユーザの評価結果を判定することができる。例えば、ユーザにより発生された音声を音声認識し、音声認識した結果に応じてユーザの評価結果を判定することができる。この場合にも複数のユーザによる音声が認識された場合、それぞれのユーザの音声認識に従って複数の評価結果を判定させるようにすることができる。   The determination unit 26a can recognize the user's state based on the voice acquired by the voice acquisition unit 24 and determine the user's evaluation result. For example, the voice generated by the user can be recognized and the evaluation result of the user can be determined according to the result of the speech recognition. Also in this case, when voices from a plurality of users are recognized, a plurality of evaluation results can be determined according to the voice recognition of each user.

あるいは、判定部26aは、操作入力部22に対する操作入力に従って、ユーザの状態を認識し、その認識結果に応じてユーザの評価結果を判定することができる。例えば、リモコンキーに応じて評価結果を定めておき、特定のタイミングで操作されたリモコンキーに応じてユーザの評価結果を判定することができる。   Or the determination part 26a can recognize a user's state according to the operation input with respect to the operation input part 22, and can determine a user's evaluation result according to the recognition result. For example, an evaluation result can be determined according to a remote control key, and a user's evaluation result can be determined according to a remote control key operated at a specific timing.

ユーザの評価結果としては、例えば、コンテンツの賛否、例えばコンテンツAや広告Aを支持する、あるいは支持しない、などの結果を判定させることができる。あるいは、広告Aで提供される商品が欲しい、欲しくないなどの評価として判定させることもできる。この場合、Yes、No、どちらでもない、等の3つの選択肢程度をユーザがジェスチャ等で選択できるようにすることが好ましいが、この手法に限定されない。これらの評価結果は、上記のユーザの状態に認識結果に応じて、予め適宜定めておくことができる。また、コンテンツの評価結果を操作入力部を使用した自由入力文で入力させることも可能とすることができる。   As the evaluation result of the user, for example, it is possible to determine a result such as approval or disapproval of the content, for example, support of content A or advertisement A or not support. Or it can also be made to judge as evaluation, such as wanting the goods offered by advertisement A, or not wanting. In this case, it is preferable that the user can select about three options such as Yes, No, or the like by a gesture or the like, but the method is not limited to this. These evaluation results can be appropriately determined in advance according to the recognition result in the above-described user state. In addition, it is possible to input the content evaluation result with a free input sentence using the operation input unit.

上記の判定処理においては、上記の複数の判定処理のいずれか1つを使用して評価結果を判定するようにしてもよく、あるいは複数の判定処理を組み合わせて使用してもよい。複数の判定処理を使用する場合、例えばその判定処理に優先順位をつけて判定を行わせることができる。例えば、操作入力に応じた判定処理、ユーザのジェスチャに応じた判定処理、音声の解析による判定処理の順に優先順位を付けて判定処理を行うようにすることができる。
また、上記のような操作入力判定、ジェスチャ判定、音声解析などの明示的な動作と、ユーザの座る位置などの暗黙的動作とを組わせて判定処理を行うようにすることで、例えば、明示的な動作が曖昧であり判定が難しい場合には、暗黙的動作に基づき自動判定することができる。この場合、アクションを行ったのに判定されない、という認識をユーザに持たせることなく、ユーザの暗黙的動作から判定処理を実行することができる。
In the determination process, the evaluation result may be determined using any one of the plurality of determination processes, or a plurality of determination processes may be used in combination. In the case of using a plurality of determination processes, for example, the determination process can be given a priority order to make a determination. For example, the determination process can be performed with priorities in the order of a determination process according to an operation input, a determination process according to a user's gesture, and a determination process based on voice analysis.
Further, by performing the determination process by combining the explicit operation such as the operation input determination, the gesture determination, and the voice analysis as described above and the implicit operation such as the user's sitting position, for example, an explicit operation is performed. When a typical operation is ambiguous and difficult to determine, automatic determination can be made based on an implicit operation. In this case, the determination process can be executed based on the implicit operation of the user without causing the user to recognize that the action has been performed but not determined.

上記の判定部26aの機能は、ユーザの評価結果を判定するための機能を実現するための例であり、制御部26ではこれら全ての機能を備えることは必須ではなく、採用する判定処理に応じて、その判定処理を実施するための機能を設けるようにすることができる。   The function of the determination unit 26a is an example for realizing a function for determining a user's evaluation result, and the control unit 26 is not necessarily provided with all these functions, and depends on the determination process to be employed. Thus, it is possible to provide a function for performing the determination process.

また、判定部26aによってユーザの評価結果を判定する特定のタイミングは、制御部26の処理により判断することができる。例えば、制御部26の機能として、再生するコンテンツの画像を解析して、解析した画像に特定の画像が含まれているか否かを判断するコンテンツ画像解析部26cを設ける。特定の画像は、例えば特定の文字列であったり、特定の物体などを予め定めておくことができる。
画像解析は、公知の手法により実施することができ、例えばパターンマッチングなどにより画像解析を行う。制御部26では、コンテンツ画像解析部26cにより特定の画像が再生コンテンツに含まれると判断されたときを特定のタイミングとして、判定部26aにより、ユーザによるコンテンツの評価を判定する。
The specific timing for determining the user evaluation result by the determination unit 26 a can be determined by the processing of the control unit 26. For example, as a function of the control unit 26, a content image analysis unit 26c that analyzes an image of content to be reproduced and determines whether or not a specific image is included in the analyzed image is provided. The specific image may be a specific character string or a specific object, for example.
The image analysis can be performed by a known method. For example, the image analysis is performed by pattern matching or the like. In the control unit 26, when the content image analysis unit 26c determines that the specific image is included in the reproduction content, the determination unit 26a determines the evaluation of the content by the user.

また、コンテンツ画像解析部26cが、再生するコンテンツの映像信号から映像の明るさ(輝度)ないし色調(色度)を抽出し、その明るさまたは色調の変化が所定条件に該当すると判断したときを特定のタイミングとすることができる。所定の条件としては、例えば、映像の明るさの変化量、あるいは色度の変化量が所定レベル以上で、画面が大きく切り換えられたと判断されるときを特定のタイミングとして判定することができる。   Further, when the content image analysis unit 26c extracts the brightness (brightness) or color tone (chromaticity) of the video from the video signal of the content to be reproduced and determines that the change in brightness or color tone meets a predetermined condition. It can be a specific timing. As the predetermined condition, for example, when the amount of change in brightness of the video or the amount of change in chromaticity is equal to or higher than a predetermined level and it is determined that the screen is largely switched, it can be determined as a specific timing.

また、特定のタイミングを判定する制御部26の他の機能として、撮像部23で撮像された画像を解析して、解析した画像に所定の画像が含まれているか否かを判断する撮像画像解析部26d設ける。画像解析は、公知の手法により実施することができ、例えばパターンマッチングなどにより画像解析を行う。制御部26では、撮像画像解析部26dにより所定の画像が再生コンテンツに含まれると判断されたときを特定のタイミングとして、判定部26aにより、ユーザによるコンテンツの評価を判定する。もしくは、特定の物体をユーザが手に持ったときなど、予めトリガを決めておき、それを特定のタイミングとすることも可能である。具体例としては、ユーザが赤紙を表示装置に向けた場合、ユーザは、再生中のコンテンツやCMなどに対して拒絶反応を示しているとして評価することができる。   In addition, as another function of the control unit 26 that determines a specific timing, a captured image analysis that analyzes an image captured by the imaging unit 23 and determines whether or not a predetermined image is included in the analyzed image. A portion 26d is provided. The image analysis can be performed by a known method. For example, the image analysis is performed by pattern matching or the like. In the control unit 26, when the captured image analysis unit 26d determines that the predetermined image is included in the reproduction content, the determination unit 26a determines the evaluation of the content by the user. Or, when the user holds a specific object in his / her hand, a trigger can be determined in advance and set as a specific timing. As a specific example, when the user points red paper to the display device, the user can evaluate that the content or CM being reproduced is showing rejection.

また、特定のタイミングを判定する制御部26の他の機能として、再生するコンテンツに所定のメタデータ含まれているか否かを判別し、またメタデータの内容を解析するメタデータ解析部26eを設ける。制御部26では、メタデータ解析部26eにより所定のメタデータが再生コンテンツに含まれると判断されたとき、そのメタデータに従うタイミングとして、判定部26aにより、ユーザによるコンテンツの評価を判定する。   Further, as another function of the control unit 26 for determining a specific timing, a metadata analysis unit 26e for determining whether or not the content to be reproduced includes predetermined metadata and analyzing the content of the metadata is provided. . In the control unit 26, when the metadata analysis unit 26e determines that the predetermined metadata is included in the reproduction content, the determination unit 26a determines the evaluation of the content by the user as the timing according to the metadata.

また、特定のタイミングを判定する制御部26の他の機能として、音声取得部24により取得した音声信号に所定の音声情報が含まれているか否かを解析する取得音声解析部26fを設ける。制御部26では、取得音声解析部26fにより所定の音声情報が取得されたと判断されたときを特定のタイミングとして、判定部26aにより、ユーザによるコンテンツの評価を判定する。この場合、取得音声解析部26fにて、特定のタイミングであることを判定し、特定のタイミングであるときに判定部26aによる音声認識処理を行うことにより、ユーザの評価結果を判定させることができる。   In addition, as another function of the control unit 26 that determines a specific timing, an acquired voice analysis unit 26f that analyzes whether or not predetermined voice information is included in the voice signal acquired by the voice acquisition unit 24 is provided. In the control unit 26, the determination unit 26a determines the evaluation of the content by the user with a specific timing when the acquired audio analysis unit 26f determines that the predetermined audio information has been acquired. In this case, it is possible to determine the user's evaluation result by determining that it is a specific timing in the acquired voice analysis unit 26f and performing a voice recognition process by the determination unit 26a at the specific timing. .

また、特定のタイミングを判定する制御部26の他の機能として、コンテンツを再生中に、CM(commercial message)が再生されているか否かを検出するCM検出部26gを設ける。CM検出部26gによるCM検出には公知の技術を採用することができる。
例えば、放送番組等では、CMの前後に同一のシーンを繰り返して放送するケースが多く、表示装置で放送コンテンツを再生する際に、所定時間内で同一のシーンが繰り返して再生されたことを検出し、検出された場合には、その間にCMが放送されたことを検出することができる。
In addition, as another function of the control unit 26 that determines a specific timing, a CM detection unit 26g that detects whether or not a CM (commercial message) is being reproduced while the content is being reproduced is provided. A known technique can be adopted for the CM detection by the CM detection unit 26g.
For example, in broadcast programs and the like, there are many cases where the same scene is repeatedly broadcast before and after the CM, and when the broadcast content is reproduced on the display device, it is detected that the same scene is repeatedly reproduced within a predetermined time. If it is detected, it can be detected that the CM has been broadcast during that time.

また、CM検出の他の例として、放送局側で、放送信号のPSI/SI情報、または番組の映像データに対してCMであることを区別できる識別情報を付加して放送することにより、表示装置10のCM検出部26gは、その識別情報を識別することで再生コンテンツのCMを検出することができる。   As another example of CM detection, the broadcast station displays a broadcast signal by adding PSI / SI information of a broadcast signal or identification information that can identify that it is CM to video data of a program, and broadcasting it. The CM detection unit 26g of the device 10 can detect the CM of the playback content by identifying the identification information.

また、CM検出の他の例として、出力形式の相違によりCM判定を行うようにしてもよい。一つの番組として完成されたコンテンツはその出力形式が統一されている。出力形式は、コンテンツの番組データに含まれるPSI/SI情報の番組情報から取得することができ、例えばアスペクト比や、解像度、音声情報等の出力形式を特定できる情報が取得できる。CM検出部26gは、この出力形式を特定できる情報を取得し、コンテンツの再生中に番組データから取得された出力形式とは異なる出力形式が取得されたときに、CMが再生中であることを検出することができる。   As another example of CM detection, CM determination may be performed based on a difference in output format. The output format of the content completed as one program is unified. The output format can be acquired from the program information of the PSI / SI information included in the program data of the content. For example, information that can specify the output format such as aspect ratio, resolution, and audio information can be acquired. The CM detection unit 26g acquires information that can specify the output format, and when the output format different from the output format acquired from the program data is acquired during the playback of the content, the CM is being played back. Can be detected.

この他、CM検出部26gでは、例えば、毎時00分、15分、30分、45分などの所定時刻を含む所定の時間帯をCMの放送時間であると推定し、その放送時間にCMが再生されているものとしてCM検出を行うようにしてもよい。
もしくは、CMは番組コンテンツと比較して音量が大きく、明るい傾向があるため、音量や輝度の情報が一定以上であれば、CMが再生されているものとして検出してもよい。
制御部26では、CM検出部26gよりCMが再生されていることが検出されたときを特定のタイミングとして、判定部26aにより、ユーザによるコンテンツの評価を判定する。
In addition, the CM detection unit 26g estimates a predetermined time zone including a predetermined time such as 00 minutes, 15 minutes, 30 minutes, and 45 minutes per hour as the CM broadcast time. CM may be detected as being reproduced.
Alternatively, since the CM tends to be louder and brighter than the program content, the CM may be detected as being reproduced if the volume or luminance information is above a certain level.
In the control unit 26, when the CM detection unit 26g detects that the CM is being reproduced, the determination unit 26a determines content evaluation by the user with a specific timing.

また、特定のタイミングを判定する制御部26の他の機能として、コンテンツの再生中にスピーカから出力させる出力音声のボリューム値や音質が所定の条件に該当するか否かを判定する出力音声解析部26hを設ける。
制御部26は、出力音声解析部26hによって出力する音声が所定条件に該当すると判定されたときを特定のタイミングとして、判定部26aにより、ユーザによるコンテンツの評価を判定させる。所定の条件としては、例えば、コンテンツなにおける音量変化の状態を定めておくことができる。ここでは例えば、一定時間における音量レベルを示す特定のパラメータの積分値、あるいは音質を示す特定のパラメータの積分値を計算し、その積分値が所定条件に該当するときに特定のタイミングとして判定することができる。
Further, as another function of the control unit 26 that determines a specific timing, an output audio analysis unit that determines whether or not the volume value or sound quality of the output audio output from the speaker during the reproduction of content meets a predetermined condition 26h is provided.
The control unit 26 causes the determination unit 26a to determine the content evaluation by the user with a specific timing when the sound output by the output sound analysis unit 26h is determined to satisfy the predetermined condition. As the predetermined condition, for example, the state of volume change in content can be determined. Here, for example, the integral value of a specific parameter indicating the volume level at a certain time or the integral value of a specific parameter indicating the sound quality is calculated and determined as a specific timing when the integral value satisfies a predetermined condition. Can do.

また、特定のタイミングを判定する制御部26の他の機能として、図示しないタイマにより時間をカウントすることで、所定の時間間隔で特定のタイミングを設定し、判定部26aによりコンテンツのユーザ評価を判定するようにしてもよい。   Further, as another function of the control unit 26 for determining a specific timing, a specific timing is set at a predetermined time interval by counting time with a timer (not shown), and the user evaluation of the content is determined by the determination unit 26a. You may make it do.

上記の特定のタイミングの判定機能は、ユーザの評価情報を生成する特定のタイミングを判定するための機能を実現する例であり、表示装置10では、これら全ての機能を備えることは必須ではなく、採用する特定のタイミングの判定処理に応じて、その判定処理を実施するための機能を設けるようにすればよい。   The specific timing determination function is an example of realizing a function for determining a specific timing for generating user evaluation information, and the display device 10 is not necessarily provided with all these functions. A function for performing the determination process may be provided according to the determination process at a specific timing to be adopted.

上記のように制御部26の判定部26aでは、特定のタイミングで所定の判定処理によりユーザの状態を認識し、コンテンツに対するユーザの評価を判定する。
例えば、コンテンツの再生中に長時間にわたってユーザの状態を認識して、評価結果を判定したとしても、局所的にはユーザは相反する評価を行うこともあり、評価結果を正しく判定することができない場合もある。また、ユーザに評価結果を入力させる場合には、長時間のコンテンツの再生中に入力を続けることはユーザの負担を招く。
特定のタイミングでユーザの評価結果を判定することにより、ユーザに過度の負担をかけることなく、ユーザの評価を確実にかつ正確に取得して収集して管理することができるようになる。
As described above, the determination unit 26a of the control unit 26 recognizes the user's state by a predetermined determination process at a specific timing, and determines the user's evaluation on the content.
For example, even if the user's state is recognized over a long period of time during content reproduction and the evaluation result is determined, the user may locally make a conflicting evaluation and the evaluation result cannot be correctly determined. In some cases. Further, when the user inputs the evaluation result, it is burdened on the user to keep inputting during the reproduction of the content for a long time.
By determining the user's evaluation result at a specific timing, the user's evaluation can be acquired and collected reliably and accurately without imposing an excessive burden on the user.

なお、特定のタイミングでユーザの評価結果を判定するときに、制御部26は、特定のタイミングに合わせて表示制御部17を制御して、評価結果を集計中であることを表示するともに、コンテンツを評価するために予め定められた動作を行うようユーザに要求する要求画面を表示部18に表示させることができる。   When determining the user's evaluation result at a specific timing, the control unit 26 controls the display control unit 17 in accordance with the specific timing to display that the evaluation results are being aggregated and to display the content. A request screen for requesting the user to perform a predetermined operation for evaluating can be displayed on the display unit 18.

図3は、ユーザに対する動作の要求画面の一例を示す図である。特定のタイミングであることが判断されると、表示制御部17は、表示部18に対して図3のような画面を表示させることができる。この例では、ユーザに対して特定のジェスチャである“万歳”、または“片方の手を上げる”動作を行うよう要求する表示を行う。この表示を見たユーザは、再生中のコンテンツに関して、自己の評価に応じてジェスチャ動作を行う。   FIG. 3 is a diagram showing an example of an operation request screen for the user. When it is determined that it is a specific timing, the display control unit 17 can display a screen as shown in FIG. 3 on the display unit 18. In this example, a display requesting the user to perform a “gesture” or “raise one hand” which is a specific gesture is performed. The user who sees this display performs a gesture operation according to his / her own evaluation regarding the content being reproduced.

また、例えばCM検出によりCMが再生されていることを検出したときには、CMにより提供される商品等を希望するか、希望しないかなどを質問する表示を行って、ユーザに動作を要求するなどの処理を行うものであってもよい。
表示装置10の撮像部23は、この画像を撮像し、判定部26aにてジェスチャの動作を認識して、ユーザの評価結果を判定する。判定処理は所定の時間内に行うようにするが、例えば同じシーンが繰り返し再生されてCMであると判定されたときに、前回と同じシーンが再生されている間、ユーザによるジェスチャ動作等を判定するようにしてもよい。この場合、所定の時間内では、評価結果のカウンタをリセットすることなく、カウントを継続して行うようにする。例えば所定の時間内に複数のユーザがそれぞれ所定のジェスチャを行った場合には、所定の時間内であればそれぞれの評価結果を累積してカウントする。
Also, for example, when it is detected by CM detection that a CM is being played back, a display asking whether or not a product provided by the CM is desired or not is displayed, and an operation is requested from the user. Processing may be performed.
The imaging unit 23 of the display device 10 captures this image, recognizes the gesture operation by the determination unit 26a, and determines the user's evaluation result. The determination process is performed within a predetermined time. For example, when the same scene is repeatedly reproduced and determined to be a CM, the gesture operation by the user is determined while the same scene as the previous scene is being reproduced. You may make it do. In this case, the counting is continued within a predetermined time without resetting the evaluation result counter. For example, when a plurality of users each perform a predetermined gesture within a predetermined time, each evaluation result is accumulated and counted within the predetermined time.

要求画面は、このような特定のジェスチャを行うことを要求する画面だけでなく、判定部26aの機能に応じて、例えば、特定の音声を発するようユーザに要求したり、特定の操作入力を行うようユーザに要求したりするように定めることができる。
このような要求画面の表示を行うことで、ユーザは、その要求画面が表示されたときに、コンテンツを評価する動作を行えばよく、コンテンツ評価のためのユーザの負担を過度に増大させることなく、確実に評価結果を得ることができるようになる。
The request screen is not only a screen for requesting such a specific gesture, but also requests the user to emit a specific voice or performs a specific operation input according to the function of the determination unit 26a, for example. Or requesting the user to do so.
By displaying such a request screen, the user only needs to perform an operation for evaluating the content when the request screen is displayed without excessively increasing the burden on the user for content evaluation. As a result, an evaluation result can be obtained with certainty.

図4は、本発明による表示装置の処理の流れと各動作を概念的に説明するための図である。表示装置10では、特定のタイミングを検出することにより、表示装置10の周囲のユーザの状態を認識し、ユーザによるコンテンツの評価結果を判定する処理を開始する。
特定のタイミングの判定処理201では、検出処理210に示す各検出処理210による検出結果により、特定のタイミングであることが判定される。
特定のタイミングは、上記のように予め定められたタイミングとし、特定のタイミングの検出処理にその処理例が示される。検出処理の期間は適宜定めことができるが、例えば、ユーザが所定のジェスチャを行ったり、音声を発声したり、所定の操作入力を行う期間として数分の期間を設定することができる。表示装置10には、この特定のタイミングを検出するための必要な構成が備えられる。
FIG. 4 is a diagram for conceptually explaining the processing flow and each operation of the display device according to the present invention. In the display device 10, by detecting a specific timing, the state of the user around the display device 10 is recognized, and processing for determining the content evaluation result by the user is started.
In the specific timing determination process 201, it is determined based on the detection result of each detection process 210 shown in the detection process 210 that the specific timing is reached.
The specific timing is determined in advance as described above, and an example of the process is shown in the specific timing detection process. The period of the detection process can be determined as appropriate. For example, a period of several minutes can be set as a period during which the user performs a predetermined gesture, utters a voice, or performs a predetermined operation input. The display device 10 is provided with a necessary configuration for detecting this specific timing.

検出処理210に示されるように、特定のタイミングは、再生コンテンツに所定の画像が含まれるタイミングであり、ここでは、例えば画像内泣き顔検出211や画像内笑い顔検出212により、画像内の人物の泣きや笑い顔が検出されたときに、特定のタイミングと判断することができる。
画像内の人物の表情を解析する技術は、各種の技術が知られている。本発明では表情解析技術自体を特徴付けるものではなく、適宜公知の技術を適用して画像内の人物の表情解析を行わせることができる。
As shown in the detection process 210, the specific timing is a timing at which a predetermined image is included in the reproduction content. Here, for example, the crying face detection 211 in the image or the laughing face detection 212 in the image detects the person in the image. When a crying or laughing face is detected, it can be determined as a specific timing.
Various techniques for analyzing the facial expression of a person in an image are known. The present invention does not characterize the facial expression analysis technique itself, but can appropriately perform well-known techniques to perform facial expression analysis of a person in an image.

一例として、例えば特許2839855号公報には、入力映像から静止画を抽出し、その特徴ベクトルを輝度哀楽などのカテゴリ別に量子化し、各カテゴリの表情を高精度に認識するための技術が開示されている。あるいは、特許2839855号公報には、顔の表情を認識する装置が開示されている。あるいは、特許2962549号公報には、不特定多数の人物の顔画像から、その表情を認識するための技術が開示されている。
特定のタイミングの判定処理201では、上記のような表情解析より、例えば画像内の人物の泣き顔が検出された場合や、あるいは人物の目尻が下がっているなどの特徴を検出した場合、笑い顔が検出された場合、等を特定のタイミングとして判定する。笑い顔を判定する場合には、画像解析のみならず、例えばコンテンツの音声データを解析して音声のトーンのレベルや変化パターン等から笑い声であることを検出して特定のタイミングとして判定するようにしてもよい。
As an example, for example, Japanese Patent No. 2839855 discloses a technique for extracting a still image from an input video, quantizing the feature vector for each category such as luminance and so on, and recognizing facial expressions in each category with high accuracy. Yes. Alternatively, Japanese Patent No. 2839855 discloses an apparatus for recognizing facial expressions. Alternatively, Japanese Patent No. 2962549 discloses a technique for recognizing facial expressions from face images of an unspecified number of persons.
In the specific timing determination process 201, when a facial expression of the person in the image is detected or a feature such as a person's lower corner of the eye is detected from the facial expression analysis as described above, a laughing face is detected. If detected, etc. is determined as a specific timing. When determining a laughing face, not only image analysis, but also, for example, by analyzing the audio data of the content and detecting that it is a laughing voice from the tone level or change pattern of the audio, it is determined as a specific timing. May be.

また、画像内の所定の画像として、特定の文字列を検出したときに特定のタイミングと判定することもできる。例えば、スポンサー表示検出213により、再生するコンテンツの画像に、“提供”、あるいは“スポンサー名“などの予め定めたスポンサー表示に関連する特定の文字列が含まれていることを検出したときに、特定のタイミングであるとして判定する。これにより例えばスポンサーが提供する放送コンテンツの評価結果を、そのスポンサーに関連する表示が行われているときに取得することができる。   Further, it is possible to determine a specific timing when a specific character string is detected as a predetermined image in the image. For example, when it is detected by the sponsor display detection 213 that the content image to be played back includes a specific character string related to a predetermined sponsor display such as “provide” or “sponsor name”. It is determined that it is a specific timing. Thereby, for example, the evaluation result of the broadcast content provided by the sponsor can be acquired when the display related to the sponsor is performed.

あるいは、特定物体検出214により、画像内の所定の画像として特定の物体を検出したときに特定のタイミングと判定することもできる。特定の物体としては、例えば“特定メーカの清涼飲料水の缶”や“ビールの缶”などの物体を事前に登録しておくことができる。このような物体は、例えばステルスマーケティングなどに用いられる可能性があり、このような物体の表示時にコンテンツの評価結果を取得することで、スポンサーに関連する場面での評価結果を取得することができる。   Alternatively, the specific object detection 214 may determine a specific timing when a specific object is detected as a predetermined image in the image. As the specific object, for example, an object such as “can of a specific manufacturer's soft drink” or “can of beer” can be registered in advance. Such an object may be used for stealth marketing, for example, and by acquiring the evaluation result of the content when such an object is displayed, the evaluation result in a scene related to the sponsor can be acquired. .

検出処理210の他の例では、CM検出215によりコンテンツの再生中にCMが再生されたことを検出したときに、特定のタイミングであると判定することができる。CM検出は上述したように、同一シーンが繰り返し再生された場合や、放送コンテンツにCMを示す識別情報が含まれていた場合、あるいは出力形式の変化、所定時刻を含む時間帯などに基づきCM検出を行うことができる。   In another example of the detection process 210, when it is detected by the CM detection 215 that the CM has been played back during the playback of the content, it can be determined that the specific timing is reached. As described above, the CM detection is based on the case where the same scene is repeatedly played back, when the broadcast content includes identification information indicating the CM, the change of the output format, the time zone including the predetermined time, etc. It can be performed.

検出処理210の他の例では、タイマ検出216により、一定の時間間隔で特定のタイミングであることを検出することができる。ここでは図示するように、特定のタイミングの判定処理201は、タイマによりカウントされた時間情報222を使用して特定のタイミングであることを判定する。また、特定の時刻を特定のタイミングとして設定するようにしてもよい。
また、検出処理210の更に他の例では、音声ボリューム検出217により、コンテンツを再生中の音声信号の音量(ボリューム)が所定の条件にある場合、あるいは音質が所定の条件にある場合に、特定のタイミングであると判定することができる。
In another example of the detection process 210, the timer detection 216 can detect a specific timing at a constant time interval. Here, as shown in the figure, the specific timing determination process 201 uses the time information 222 counted by the timer to determine the specific timing. Also, a specific time may be set as a specific timing.
In still another example of the detection processing 210, the audio volume detection 217 specifies that the volume (volume) of the audio signal that is playing the content is in a predetermined condition or the sound quality is in a predetermined condition. It can be determined that it is the timing.

検出処理210の他の例では、メタデータ検出218により、再生するコンテンツに所定のメタデータが含まれている場合、メタデータに従うタイミングを特定のタイミングであると判定することができる。ここでは図示するように、特定のタイミングの判定処理201は、放送波に含まれる放送波情報221により、特定のタイミングであることを判定する。   In another example of the detection process 210, the metadata detection 218 can determine that the timing according to the metadata is a specific timing when the content to be played back includes predetermined metadata. Here, as shown in the figure, the specific timing determination process 201 determines that it is a specific timing based on the broadcast wave information 221 included in the broadcast wave.

ここで特定のタイミングは、メタデータ検出218により特定のメタデータが検出されたときとすることができるが、この他、メタデータにより指定されたタイミングを特定のタイミングとすることもできる。例えば、メタデータにより、コンテンツの章の終わりや、クライマックスシーンの後などのタイミングを特定のタイミングとして定めることができる。特定のメタデータとしては、例えば特定のキーワードや質問文を予め定めておくことができる。コンテンツをユーザに提供する放送事業者やコンテンツ制作者等は、コンテンツの所定の位置に、ユーザの感想を求めるメタデータを適宜含ませておくことができる。そしてその所定の位置が再生されれば、表示装置では特定のタイミングであると判定され、ユーザの状態を認識して評価結果を判定する処理が行われる。   Here, the specific timing can be the time when the specific metadata is detected by the metadata detection 218, but the timing specified by the metadata can also be the specific timing. For example, the timing such as the end of the chapter of the content or after the climax scene can be determined as the specific timing by the metadata. As specific metadata, for example, specific keywords and question sentences can be determined in advance. Broadcasters, content creators, and the like who provide content to the user can appropriately include metadata for requesting the user's impression at a predetermined position of the content. If the predetermined position is reproduced, the display device determines that it is a specific timing, and performs a process of recognizing the user state and determining the evaluation result.

検出処理210の他の例では、映像明るさ検出処理219により、再生するコンテンツの映像信号の明るさや色調が所定の条件に該当するときに、特定のタイミングと判断することができる。   In another example of the detection process 210, the video brightness detection process 219 can determine that the timing is specific when the brightness or color tone of the video signal of the content to be played corresponds to a predetermined condition.

上記のような検出処理210により、特定のタイミングであることが検出されると、表示装置では、集計開始の表示処理202を行う。集計開始の表示は、ユーザによるコンテンツの評価情報を集計する処理を実行していることを示す表示を行う。ここでは例えば表示部18の表示画面に、“集計中”との表示を行わせることができる。集計中を表示する表示画面では、図3に示すようなユーザに対する所定の動作を要求する表示を行うことができる。   When it is detected by the detection process 210 as described above that the specific timing is reached, the display device performs a display process 202 for starting counting. The display of the aggregation start is a display indicating that a process for aggregating content evaluation information by the user is being executed. In this case, for example, “Totalizing” can be displayed on the display screen of the display unit 18. On the display screen that displays the totaling, a display requesting a predetermined operation for the user as shown in FIG. 3 can be performed.

次に表示装置10では、判定処理203によりユーザの状態を認識し、その認識結果に従ってユーザによるコンテンツの評価結果を判定する。判定処理203は、上述したように、ユーザによるジェスチャ動作や、ユーザによる音声入力、ユーザによるリモコン等に対する操作入力などに基づいて実行することができる。従ってこの判定処理203では、図示するようにリモコン情報223、カメラ情報224、マイク情報225などによりユーザの評価結果を判定することができる。   Next, the display device 10 recognizes the state of the user by the determination process 203 and determines the content evaluation result by the user according to the recognition result. As described above, the determination process 203 can be executed based on a gesture operation by the user, a voice input by the user, an operation input by the user to the remote control, or the like. Therefore, in this determination process 203, the user's evaluation result can be determined based on the remote control information 223, the camera information 224, the microphone information 225, etc. as shown in the figure.

また、判定処理203により、評価結果を判定するときに、撮像部23により撮像した画像を解析することで、コンテンツを視聴しているユーザの数や内訳(性別)を判定し、評価結果の一部として使用するようにしてもよい。   Further, when the evaluation result is determined by the determination process 203, the number and breakdown (gender) of the users who are viewing the content are determined by analyzing the image captured by the imaging unit 23, and one of the evaluation results. You may make it use as a part.

上記の判定処理203により評価結果が判定されると、集計処理204により評価結果の集計を行う。集計では、その表示装置10で評価されたコンテンツの評価結果を集計する処理を行う。また、上記のように、コンテンツを視聴しているユーザの数や内訳を集計する処理を行うことができる。   When the evaluation result is determined by the determination process 203, the evaluation result is totaled by a totaling process 204. In the aggregation, a process for aggregating the evaluation results of the content evaluated by the display device 10 is performed. Further, as described above, it is possible to perform a process of counting the number and breakdown of users who are viewing content.

集計処理204により集計された評価結果は、結果表示処理205により、表示部18の表示画面に表示される。ここでは、例えば“ただ今の集計結果は・・”との表示を行った後、集計結果を表示させるようにすることもできる。   The evaluation results aggregated by the aggregation process 204 are displayed on the display screen of the display unit 18 by the result display process 205. In this case, for example, the display may be made after displaying “currently totaled result is ...”.

集計処理204により集計された評価結果は、データ通信206によってネットワークデータ226とされ、所定のサーバ装置に送信することができる。サーバ装置では、複数の表示装置10から送信された評価結果をデータベースに蓄積し、ユーザから利用可能とする。
また、データベースに蓄積された評価結果は、ネットワークデータ226としてデータ通信206により各表示装置10に送信され、表示装置10で、結果表示処理205により表示させることができる。
The evaluation results aggregated by the aggregation process 204 are converted into network data 226 by the data communication 206 and can be transmitted to a predetermined server device. In the server device, the evaluation results transmitted from the plurality of display devices 10 are accumulated in a database and made available to the user.
The evaluation results stored in the database are transmitted as network data 226 to each display device 10 by data communication 206, and can be displayed by the result display processing 205 on the display device 10.

評価結果の集計とその集計結果の表示は、コンテンツの評価結果が判定されるごとに行ってもよく、あるいはコンテンツの再生終了時などの所定のタイミング、もしくは所定のユーザ操作に基づくタイミングで行うようにしてもよい。
ここでは、タイマ装置により現在の時刻や前回の処理からの経過時間等を計測し、処理のタイミングを判断することができる。例えば、集計処理の実行、集計結果の表示、データベースの評価結果の表示等を予め定めたタイミングで実行することができる。
The aggregation of the evaluation results and the display of the aggregation results may be performed every time the evaluation result of the content is determined, or may be performed at a predetermined timing such as at the end of reproduction of the content or at a timing based on a predetermined user operation. It may be.
Here, the current time, the elapsed time from the previous process, and the like can be measured by the timer device to determine the process timing. For example, execution of the aggregation process, display of the aggregation result, display of the evaluation result of the database, and the like can be executed at a predetermined timing.

図5は、本発明による表示システムのサーバ装置に蓄積されたデータベースのデータ例を説明するための図である。上記のようにサーバ装置には、複数の表示装置から送信されたコンテンツの評価情報が蓄積される。
蓄積された評価情報は、例えば図5の例にように構成されて管理される。この例では、データベースには、コンテンツの視聴者(ユーザ)の視聴人数・構成(図5(A))と、ユーザによるコンテンツの支持、不支持の結果(図5(B))、及び広告により提供される商品の希望・不希望の結果(図5(C))が記録されている。
FIG. 5 is a diagram for explaining an example of database data stored in the server device of the display system according to the present invention. As described above, content evaluation information transmitted from a plurality of display devices is stored in the server device.
The accumulated evaluation information is configured and managed as shown in the example of FIG. In this example, the database includes the number of viewers / structures of content viewers (users) (FIG. 5A), the results of content support by users and the results of non-support (FIG. 5B), and advertisements. The desired / undesired result (FIG. 5C) of the provided product is recorded.

例えば図5(A)の視聴者人数・構成では、サーバ装置に接続される表示装置(ここではテレビ)ごとに、再生されたコンテンツを視聴している視聴者の人数と、その性別が記録されている。なお、広告Aとして示されるCMについても評価対象のコンテンツの一種であるものとする。視聴者の人数やその性別は、表示装置10における撮像画像を、表示装置10で解析することで判定された情報を用いることができる。   For example, in the number and configuration of viewers shown in FIG. 5A, the number of viewers viewing the reproduced content and the gender thereof are recorded for each display device (here, a television) connected to the server device. ing. Note that the CM shown as the advertisement A is also a kind of content to be evaluated. For the number of viewers and their gender, information determined by analyzing a captured image on the display device 10 with the display device 10 can be used.

図5(B)のコンテンツの支持、不支持の結果では、テレビごとに、再生コンテンツ(広告も含む)に対するユーザの支持・不支持の情報が蓄積される。支持・不支持の情報は、表示装置10にてユーザのジェスチャ動作の解析や音声解析、所定の操作入力等に基づいて判定された情報である。
また、図5(C)の広告により提供される商品の希望・不希望の結果では、テレビごとに、広告コンテンツ(CM)により提供される商品等をユーザが希望するか否か、つまりその商品等をユーザが欲しいか否かの情報が蓄積される。この情報についても、表示装置10にてユーザのジェスチャ動作の解析や音声解析、所定の操作入力等に基づいて判定された情報が用いられる。
As a result of the support or non-support of the content in FIG. 5B, information on the support or non-support of the user for the playback content (including advertisements) is accumulated for each television. The support / non-support information is information determined by the display device 10 based on analysis of a user's gesture motion, voice analysis, predetermined operation input, and the like.
Further, in the result of hope / disappointment of the product provided by the advertisement in FIG. 5C, whether or not the user desires the product etc. provided by the advertisement content (CM) for each TV, that is, the product. Or the like is stored. Also for this information, information determined by the display device 10 based on analysis of the gesture operation of the user, voice analysis, predetermined operation input, and the like is used.

サーバ装置では、データベースへのアクセス権を設定し、アクセス権が付与された利用者やシステムに対して、データベースの蓄積データを提供できるようにすることができる。アクセス権は、例えば、コンテンツを放送する放送事業者や、放送番組を提供する広告主などに与えることができる。これにより放送事業者が視聴率を判断したり、広告主が広告効果を判断したり、あるいはコンテンツ制作者がコンテンツ自体の評価を知ることができ、表示システムの運用における満足度を向上させることができる。また、表示システムの運営主体は、データベースへのアクセス権を販売することもできる。
データベースへのアクセス権については、例えば図5(A)〜図5(C)の全ての蓄積データに対してではなく、部分的に特定の利用者に与えることもできる。例えば、放送事業者に対しては、図5(A)の視聴人数・構成に係る蓄積データのみをアクセス可能とし、広告主には、図5(C)の商品の希望・不希望の結果のみにアクセス可能とするように設定することができる。
In the server device, the access right to the database can be set, and the stored data of the database can be provided to the user or system to which the access right is given. The access right can be given to, for example, a broadcaster who broadcasts content, an advertiser who provides a broadcast program, and the like. This allows broadcasters to judge audience ratings, advertisers to judge advertising effectiveness, or content creators to know the content's own evaluation, which can improve the satisfaction of display system operations. it can. In addition, the operating entity of the display system can sell access rights to the database.
For example, the access right to the database may be given to a specific user in part, not for all the stored data in FIGS. 5 (A) to 5 (C). For example, a broadcaster can access only the stored data related to the number of viewers and configuration shown in FIG. 5 (A), and the advertiser can receive only the desired / undesired results of the product shown in FIG. 5 (C). Can be set to be accessible.

そして、データベースに蓄積された評価結果を表示装置10で表示できるようにすることにより、表示装置10のユーザは、他のユーザの評価結果を知ることができる。これにより、ユーザ間での一体間を感じたり、世論を肌で感じることができるという効果が得られる。そしてユーザは、世の中に対して自分の意見を発信しているという気分になることもでき、ジェスチャ等により評価結果を入力することにインセンティブを与えることにもつながる。
また、ユーザに対してコンテンツの評価に関する興味を抱かせることで、CMによる広告効果が向上するなども期待できる。あるいは、コンテンツを評価することがユーザにとって楽しみとなる、という効果により、放送コンテンツをリアルタイムでユーザが視聴する機会が増え、コンテンツの視聴率を高くしたり、録画視聴を減少させることが期待でき、コンテンツ配信に関わる業界の利益に寄与することができる。
Then, by allowing the display device 10 to display the evaluation results accumulated in the database, the user of the display device 10 can know the evaluation results of other users. Accordingly, it is possible to obtain an effect that it is possible to feel a sense of unity among users or to feel public opinion with skin. The user can also feel that he / she is sending his / her opinion to the world, which leads to giving an incentive to input the evaluation result by gesture or the like.
In addition, it can be expected that the advertisement effect by CM is improved by making the user interested in content evaluation. Or, it is expected that users will enjoy watching broadcast content in real time due to the effect that content evaluation will be enjoyed by users, and it can be expected to increase the audience rating of the content or reduce the recording viewing. It can contribute to the profits of the industry related to content distribution.

評価結果の集計とその集計結果の表示は、コンテンツの評価結果が判定されるごとに行ってもよく、あるいはコンテンツの再生終了時などの所定のタイミング、もしくは所定のユーザ操作に基づくタイミングで行うようにしてもよい。
ここでは、タイマ装置により時刻や、前回の処理からの経過時間等を計測し、処理のタイミングを判断することができる。例えば、集計処理の実行、集計結果の表示、データベースの評価結果の表示等を予め定めたタイミングで実行することができる。
The aggregation of the evaluation results and the display of the aggregation results may be performed every time the evaluation result of the content is determined, or may be performed at a predetermined timing such as at the end of reproduction of the content or at a timing based on a predetermined user operation. It may be.
Here, the time, the elapsed time from the previous process, and the like can be measured by the timer device to determine the process timing. For example, execution of the aggregation process, display of the aggregation result, display of the evaluation result of the database, and the like can be executed at a predetermined timing.

本発明の実施形態を構成する上記の各技術的特徴は、任意に組み合わせが可能であり、組わせることにより、それぞれ新しい技術的特徴を形成することができる。   The above-mentioned technical features constituting the embodiment of the present invention can be arbitrarily combined, and by combining them, new technical features can be formed respectively.

10…表示装置、11…チューナ部、12…復調部、13…IP放送チューナ部、14…分離部、15…選局部、16…映像処理部、17…表示制御部、18…表示部、19…音声処理部、20…スピーカ、21…通信部、22…操作入力部、23…撮像部、24…音声取得部、26…制御部、26a…判定部、26b…評価情報生成部、26c…コンテンツ画像解析部、26d…撮像画像解析部、26e…メタデータ解析部、26f…取得音声解析部、26g…CM検出部、26h…出力音声解析部、27…記憶部、30…放送受信用アンテナ、50…ユーザ、100…サーバ装置、200…検出処理、201…特定タイミングの判定処理、202…表示処理、203…判定処理、204…集計処理、205…結果表示処理、206…データ通信、210…検出処理、211…画像内泣き顔検出、212…画像内笑い顔検出、213…スポンサー表示検出、214…特定物体検出、215…CM検出、216…タイマ検出、217…音声ボリューム検出、218…メタデータ検出、219…検出処理、221…放送波情報、222…時間情報、223…リモコン情報、224…カメラ情報、225…マイク情報、226…ネットワークデータ。 DESCRIPTION OF SYMBOLS 10 ... Display apparatus, 11 ... Tuner part, 12 ... Demodulation part, 13 ... IP broadcast tuner part, 14 ... Separation part, 15 ... Channel selection part, 16 ... Image processing part, 17 ... Display control part, 18 ... Display part, 19 ... Audio processing unit, 20 ... Speaker, 21 ... Communication unit, 22 ... Operation input unit, 23 ... Imaging unit, 24 ... Audio acquisition unit, 26 ... Control unit, 26a ... Determination unit, 26b ... Evaluation information generation unit, 26c ... Content image analysis unit, 26d ... captured image analysis unit, 26e ... metadata analysis unit, 26f ... acquired voice analysis unit, 26g ... CM detection unit, 26h ... output voice analysis unit, 27 ... storage unit, 30 ... broadcast receiving antenna , 50 ... user, 100 ... server device, 200 ... detection process, 201 ... specific timing determination process, 202 ... display process, 203 ... determination process, 204 ... aggregation process, 205 ... result display process, 206 ... data Communication 210 ... Detection processing 211 ... Crying face detection in image 212 ... Laughing face detection in image 213 ... Sponsor display detection 214 ... Specific object detection 215 ... CM detection 216 ... Timer detection 217 ... Audio volume detection, 218 ... Metadata detection, 219 ... Detection processing, 221 ... Broadcast wave information, 222 ... Time information, 223 ... Remote control information, 224 ... Camera information, 225 ... Microphone information, 226 ... Network data.

Claims (15)

再生するコンテンツを表示する表示部と、
該表示部に表示されるコンテンツの評価情報を生成する評価情報生成部と、を有する表示装置であって、
該表示部で再生するコンテンツの評価結果を所定の判定処理により判定する判定部を有し、
該判定部は、前記コンテンツの再生中に、特定のタイミングで前記表示装置の周囲のユーザの状態を認識し、該認識した結果に基づきユーザによる前記コンテンツの評価結果を判定し、
前記評価情報生成部は、前記判定部が判定した結果を集計して前記コンテンツの評価情報を生成することを特徴とする表示装置。
A display for displaying the content to be played,
An evaluation information generation unit that generates evaluation information of content displayed on the display unit,
A determination unit for determining an evaluation result of the content to be reproduced on the display unit by a predetermined determination process;
The determination unit recognizes the state of the user around the display device at a specific timing during the reproduction of the content, determines the evaluation result of the content by the user based on the recognized result,
The display device characterized in that the evaluation information generation unit aggregates the results determined by the determination unit and generates evaluation information of the content.
請求項1に記載の表示装置において、
前記表示部の表示を制御する表示制御部を備え、
該表示制御部は、前記特定のタイミングに合わせて、前記コンテンツを評価するために予め定められた動作を行うよう前記視聴者に要求する要求画面を前記表示部に表示させることを特徴とする表示装置。
The display device according to claim 1,
A display control unit for controlling display of the display unit;
The display control unit causes the display unit to display a request screen for requesting the viewer to perform a predetermined operation for evaluating the content in accordance with the specific timing. apparatus.
請求項1または2に記載の表示装置において、
ユーザを撮像するための撮像部を有し、
前記判定部は、該撮像部で撮像した画像を前記ユーザの状態を認識するための情報として使用し、前記撮像部で撮像した画像によりユーザの状態を解析して、該解析した結果に従って前記ユーザの状態を認識することを特徴とする表示装置。
The display device according to claim 1 or 2,
Having an imaging unit for imaging the user;
The determination unit uses an image captured by the imaging unit as information for recognizing the state of the user, analyzes the user state based on the image captured by the imaging unit, and determines the user according to the analysis result. A display device characterized by recognizing the state.
請求項1または2に記載の表示装置において、
ユーザの音声を取得する音声取得部を備え、
前記判定部は、前記音声取得部により取得された音声を前記ユーザの状態を認識するための情報として使用し、前記音声取得部により取得された音声に基づいて前記ユーザの状態を認識することを特徴とする表示装置。
The display device according to claim 1 or 2,
A voice acquisition unit for acquiring the user's voice;
The determination unit uses the voice acquired by the voice acquisition unit as information for recognizing the state of the user, and recognizes the state of the user based on the voice acquired by the voice acquisition unit. Characteristic display device.
請求項1または2に記載の表示装置において、
ユーザによる所定の操作入力を受け付ける操作入力部を有し、
前記判定部は、前記操作入力部に対する操作入力を前記ユーザの状態を認識するための情報として使用し、前記操作入力部に対する操作入力に従って、前記ユーザの状態を認識することを特徴とする表示装置。
The display device according to claim 1 or 2,
An operation input unit for receiving a predetermined operation input by a user;
The determination unit uses an operation input to the operation input unit as information for recognizing the state of the user, and recognizes the user state according to the operation input to the operation input unit. .
請求項3〜5のいずれか1に記載の表示装置において、
前記判定部は、前記ユーザの状態を認識することができなかった場合、所定の入力手段を使用して入力されたユーザの状態を示す情報を取得し、
前記ユーザの状態を認識するための情報と、前記入力手段を使用して入力されたユーザの状態を示す情報との関連付けを学習する機能を有することを特徴とする表示装置。
The display device according to any one of claims 3 to 5,
When the determination unit cannot recognize the state of the user, the determination unit acquires information indicating the state of the user input using a predetermined input unit;
A display device having a function of learning an association between information for recognizing the user state and information indicating the user state input using the input unit.
請求項3に記載の表示装置において、
前記撮像部により撮像された画像を解析する撮像画像解析部を有し、
前記特定のタイミングは、前記撮像画像解析部が、前記撮像部により撮像された画像に所定の画像が含まれていると判断したタイミングを含むことを特徴とする表示装置。
The display device according to claim 3,
A captured image analysis unit that analyzes an image captured by the imaging unit;
The display device according to claim 1, wherein the specific timing includes a timing at which the captured image analysis unit determines that a predetermined image is included in an image captured by the imaging unit.
請求項1〜6のいずれか1に記載の表示装置において、
前記再生するコンテンツに含まれるメタデータを解析するメタデータ解析部を有し、
前記特定のタイミングは、前記メタデータ解析部が、前記再生するコンテンツに所定のメタデータ含まれていると判断したとき、該メタデータに従うタイミングを含むことを特徴とする表示装置。
The display device according to any one of claims 1 to 6,
A metadata analysis unit that analyzes metadata included in the content to be reproduced;
The display device according to claim 1, wherein the specific timing includes a timing according to the metadata when the metadata analysis unit determines that the content to be reproduced includes predetermined metadata.
請求項1〜6のいずれか1に記載の表示装置において、
前記再生するコンテンツの画像を解析するコンテンツ画像解析部を有し、
前記特定のタイミングは、前記コンテンツ画像解析部が、前記再生するコンテンツの画像に所定の画像が含まれていると判断したタイミングを含むことを特徴とする表示装置。
The display device according to any one of claims 1 to 6,
A content image analysis unit that analyzes an image of the content to be reproduced;
The display device according to claim 1, wherein the specific timing includes a timing at which the content image analysis unit determines that a predetermined image is included in the content image to be reproduced.
請求項4に記載の表示装置において、
前記音声取得部が取得した音声を解析する取得音声解析部を有し、
前記特定のタイミングは、前記取得音声解析部が、前記音声取得部により取得した音声信号に所定の音声情報が含まれていると判断したタイミングを含むことを特徴とする表示装置。
The display device according to claim 4,
An acquisition voice analysis unit for analyzing the voice acquired by the voice acquisition unit;
The display device according to claim 1, wherein the specific timing includes a timing at which the acquired audio analysis unit determines that predetermined audio information is included in the audio signal acquired by the audio acquisition unit.
請求項1〜6のいずれか1に記載の表示装置において、
前記コンテンツを再生中に、CMが再生されているか否かを検出するCM検出部を有し、
前記特定のタイミングは、前記CM検出部が、前記CMが再生されていると判断したタイミングを含むことを特徴とする表示装置。
The display device according to any one of claims 1 to 6,
A CM detection unit for detecting whether or not a CM is being played back during playback of the content;
The specific timing includes a timing at which the CM detection unit determines that the CM is being reproduced.
請求項1〜6のいずれか1に記載の表示装置において、
コンテンツを再生中の出力音声を解析する出力音声解析部を有し、
前記特定のタイミングは、前記出力音声解析部が、出力する音声信号の音量または音質が所定の条件に該当すると判断したタイミングを含むことを特徴とする表示装置。
The display device according to any one of claims 1 to 6,
It has an output audio analysis unit that analyzes the output audio during content playback,
The display device according to claim 1, wherein the specific timing includes a timing at which the output audio analysis unit determines that a volume or sound quality of an output audio signal satisfies a predetermined condition.
請求項1〜6のいずれか1に記載の表示装置において、
前記再生するコンテンツの画像を解析するコンテンツ画像解析部を有し、
前記特定のタイミングは、前記コンテンツ画像解析部が、再生されているコンテンツの映像信号の色調または輝度が所定の条件に該当すると判断したタイミングを含むことを特徴とする表示装置。
The display device according to any one of claims 1 to 6,
A content image analysis unit that analyzes an image of the content to be reproduced;
The display device according to claim 1, wherein the specific timing includes a timing when the content image analysis unit determines that a color tone or luminance of a video signal of the content being reproduced satisfies a predetermined condition.
請求項1〜13のいずれか1に記載の表示装置において、
外部機器と通信を行う通信部を有し、
前記評価情報生成部は、前記コンテンツの評価情報を前記通信部を介して所定のサーバ装置に送信し、
前記通信部は、サーバ装置が蓄積したコンテンツの評価情報を受信し、前記表示部は、前記通信部が受信したコンテンツの評価情報を表示することを特徴とする表示装置。
The display device according to claim 1,
It has a communication unit that communicates with external devices,
The evaluation information generation unit transmits the evaluation information of the content to a predetermined server device via the communication unit,
The display device, wherein the communication unit receives content evaluation information accumulated by a server device, and the display unit displays content evaluation information received by the communication unit.
請求項1〜14のいずれか1に記載の表示装置と、該表示装置と通信可能に接続されたサーバ装置とを備え、
前記サーバ装置は、前記表示装置の評価情報生成部が生成したコンテンツの評価情報を通信により取得し、コンテンツの評価情報のデータベースとして蓄積し、該蓄積した評価情報を前記表示装置に送信することを特徴とする表示システム。
A display device according to any one of claims 1 to 14, and a server device communicably connected to the display device,
The server device obtains the content evaluation information generated by the evaluation information generation unit of the display device by communication, stores the content evaluation information as a database of content evaluation information, and transmits the stored evaluation information to the display device. Characteristic display system.
JP2012205351A 2012-09-19 2012-09-19 Display device and display system Pending JP2014060642A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012205351A JP2014060642A (en) 2012-09-19 2012-09-19 Display device and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012205351A JP2014060642A (en) 2012-09-19 2012-09-19 Display device and display system

Publications (1)

Publication Number Publication Date
JP2014060642A true JP2014060642A (en) 2014-04-03

Family

ID=50616722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012205351A Pending JP2014060642A (en) 2012-09-19 2012-09-19 Display device and display system

Country Status (1)

Country Link
JP (1) JP2014060642A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016046906A1 (en) * 2014-09-24 2016-03-31 株式会社Gfl Moving image evaluation apparatus, moving image evaluation method, and moving image evaluation system
CN106781714A (en) * 2016-12-29 2017-05-31 武汉华育诺为信息技术有限公司 A kind of automatic examination practical traning platform based on image recognition
WO2019235137A1 (en) * 2018-06-05 2019-12-12 日本電信電話株式会社 Sponsorship credit display detection device, sponsorship credit display detection method and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344904A (en) * 2001-02-06 2002-11-29 Sony Corp Device for reproducing content, device for receiving content, method for controlling content display, method for collecting and analyzing content evaluation, device for collecting and analyzing content evaluation, method for managing collection of content evaluation, and device for managing collection of content evaluation
JP2003030105A (en) * 2001-07-11 2003-01-31 Sony Corp System, device, method, and program for contents evaluation, and contents evaluating program storage medium
JP2004515143A (en) * 2000-11-22 2004-05-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and apparatus for obtaining auditory or gestural feedback in a recommendation system
JP2011205353A (en) * 2010-03-25 2011-10-13 Yamaha Corp Viewing situation recognition device, and viewing situation recognition system
JP2011237970A (en) * 2010-05-10 2011-11-24 Nippon Hoso Kyokai <Nhk> Facial expression variation measurement device, program thereof and broadcast interest level measurement device
JP2013070155A (en) * 2011-09-21 2013-04-18 Nec Casio Mobile Communications Ltd Moving image scoring system, server device, moving image scoring method, and moving image scoring program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004515143A (en) * 2000-11-22 2004-05-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and apparatus for obtaining auditory or gestural feedback in a recommendation system
JP2002344904A (en) * 2001-02-06 2002-11-29 Sony Corp Device for reproducing content, device for receiving content, method for controlling content display, method for collecting and analyzing content evaluation, device for collecting and analyzing content evaluation, method for managing collection of content evaluation, and device for managing collection of content evaluation
JP2003030105A (en) * 2001-07-11 2003-01-31 Sony Corp System, device, method, and program for contents evaluation, and contents evaluating program storage medium
JP2011205353A (en) * 2010-03-25 2011-10-13 Yamaha Corp Viewing situation recognition device, and viewing situation recognition system
JP2011237970A (en) * 2010-05-10 2011-11-24 Nippon Hoso Kyokai <Nhk> Facial expression variation measurement device, program thereof and broadcast interest level measurement device
JP2013070155A (en) * 2011-09-21 2013-04-18 Nec Casio Mobile Communications Ltd Moving image scoring system, server device, moving image scoring method, and moving image scoring program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016046906A1 (en) * 2014-09-24 2016-03-31 株式会社Gfl Moving image evaluation apparatus, moving image evaluation method, and moving image evaluation system
CN106781714A (en) * 2016-12-29 2017-05-31 武汉华育诺为信息技术有限公司 A kind of automatic examination practical traning platform based on image recognition
WO2019235137A1 (en) * 2018-06-05 2019-12-12 日本電信電話株式会社 Sponsorship credit display detection device, sponsorship credit display detection method and program
JP2019213065A (en) * 2018-06-05 2019-12-12 日本電信電話株式会社 Provided credit display detection device, provided credit display detection method, and program
JP7011170B2 (en) 2018-06-05 2022-01-26 日本電信電話株式会社 Provided credit display detection device, provided credit display detection method and program

Similar Documents

Publication Publication Date Title
US8726304B2 (en) Time varying evaluation of multimedia content
JP4335642B2 (en) Viewer reaction information collecting method, user terminal and viewer reaction information providing device used in the viewer reaction information collecting system, and program for creating viewer reaction information used for realizing the user terminal / viewer reaction information providing device
US9270918B2 (en) Method of recommending broadcasting contents and recommending apparatus therefor
US8510156B2 (en) Viewing terminal apparatus, viewing statistics-gathering apparatus, viewing statistics-processing system, and viewing statistics-processing method
CN103686235B (en) System and method for correlating audio and/or images presented to a user with facial characteristics and expressions of the user
JP7440020B2 (en) Information processing method, terminal device, information processing device, and information processing system
US20140052696A1 (en) Systems and methods for visual categorization of multimedia data
TWI527442B (en) Information extracting method and apparatus and computer readable media therefor
JP2009140010A (en) Information processing device, information processing terminal, information processing method, and program
KR20100039706A (en) Method for providing dynamic contents service using analysis of user&#39;s response and apparatus thereof
WO2015056742A1 (en) Device for measuring visual efficacy
KR101372100B1 (en) EPG display device and this method
WO2008072739A1 (en) View tendency managing device, system, and program
KR20090121016A (en) Viewer response measurement method and system
JP2012009957A (en) Evaluation information report device, content presentation device, content evaluation system, evaluation information report device control method, evaluation information report device control program, and computer-readable recording medium
KR20140072720A (en) Apparatus for Providing Content, Method for Providing Content, Image Dispalying Apparatus and Computer-Readable Recording Medium
KR20160090123A (en) Apparatus and method for providing preferred channel service
JP2014060642A (en) Display device and display system
KR101867950B1 (en) Real Time Display System of Additional Information for Live Broadcasting and Image Service
KR20160017467A (en) Method and apparatus for providing product information related to video contents
KR20110047718A (en) The apparatus of customized tv advertisements and the method thereof
KR20180049639A (en) Electronic Apparatus and Controlling Method thereof
CN115866339A (en) Television program recommendation method and device, intelligent device and readable storage medium
KR20150011697A (en) Method and apparatus for providing information about broadcasting program and medium thereof
JP6567715B2 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160614

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161206