JP2009005094A - Mobile terminal - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a mobile terminal capable of recognizing movements on the side of viewing display images such as a part or contents under consideration within the display images. <P>SOLUTION: A display means 1 displays image information 7, and an imaging means 3 photographs the image of a viewer. A line-of-sight detection means 4 detects a line of sight to the image information displayed in the display means 1 from the image photographed in the imaging means 3. An information-under-consideration judgement means 5 judges the information under consideration on the basis of the image information displayed in the display means 1 and line-of-sight information. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、視聴率やアクセスログだけでは判らない、コンテンツ内で注目している箇所、内容など、コンテンツを視聴する側の動向を取得することのできる携帯端末に関するものである。   The present invention relates to a mobile terminal capable of acquiring trends on the content viewing side, such as a point and content of interest in the content, which cannot be understood only from the audience rating and the access log.

テレビ放送の視聴率調査は、主に世帯視聴率と個人視聴率がある。世帯視聴率とは調査対象のテレビ所有世帯のうち、どれくらいの世帯がテレビをつけていたかを示す割合であり、一般的に使われる「視聴率」とは、この世帯視聴率である。また、個人視聴率とは、どのような人がどれくらいテレビを視聴したかを示す割合であり、視聴者を、性別・年齢別・職業別などに分けて、どれくらい見られていたかを知りたいときに利用される。
これらの調査には、主にピープルメータを用いて行われ、各世帯で収集されたデータは、電話回線を通して調査会社に送られる。収集されたデータは、毎分視聴率、世帯単位や年齢区分毎の番組視聴率や時間区分視聴率として集計され、テレビ局や広告会社、広告主にマーケティング情報として提供される。 Television broadcast audience ratings are mainly household ratings and individual ratings. The household audience rating is a ratio indicating how many of the TV-owned households surveyed have turned on the TV, and the commonly used “audience” is this household audience rating. In addition, the individual audience rating is the ratio of how many people watched the TV, and when you want to know how many people were seen by gender, age, occupation, etc. Used for
These surveys are mainly performed using people meters, and the data collected in each household is sent to the survey company through a telephone line. The collected data is aggregated as an audience rating per minute, a program audience rating for each household or age group, and an audience rating for each time segment, and is provided as marketing information to television stations, advertising companies, and advertisers.

従来、このような視聴率を調査する方法として、コンテンツの再生情報に基づいて、マーケティング情報を生成するようにしたものがあった（例えば、特許文献１参照）。
また、ネットワークを介してテレビ番組に関する調査を行うようにしたものがあった（例えば、非特許文献１参照）。 Conventionally, as a method for investigating such audience rating, there has been a method in which marketing information is generated based on content reproduction information (see, for example, Patent Document 1).
In addition, there has been an investigation related to television programs via a network (for example, see Non-Patent Document 1).

特開２００５−１１７１１８号公報JP 2005-117118 A テレビ番組視聴質調査 リサーチＱ、［平成１９年５月２８日検索］、インターネット＜ＵＲＬ：http://www.rq-tv.com/＞TV Program Audience Quality Survey Research Q, [Search May 28, 2007], Internet <URL: http://www.rq-tv.com/>

近年、携帯電話機、カーナビゲーションなどを対象とした移動体向け放送サービスの開始し、映像や音声以外のデータ放送も行われ、ディスプレイ上には、映像以外にデータ放送の各種データが表示されるようになった。
従来の調査方法では、視聴率などのマーケティング情報は、そのコンテンツ番組を見たか見ていないかだけの情報であり、１画面中に様々な情報があるコンテンツの場合、視聴者がどの情報に注目しているかまでは測定できない。
また、ネットワークを用いてテレビ番組に関する調査を行う方法では、視聴率だけではわからない「番組がどのように見られているのか」という視聴の質をアンケート式で調査を行っている。しかしながら、アンケートの内容、質問項目にもよるが、番組全体に対する「期待度」「満足度」「集中度」の３つの要素に、番組全体の質を測定しているため、１画面中に様々な情報があるコンテンツの場合、視聴者がどこに注目しているかまでは測定することができなかった。 In recent years, broadcasting services for mobiles for mobile phones, car navigation systems, etc. have started, data broadcasting other than video and audio has also been performed, and various data of data broadcasting can be displayed on the display in addition to video Became.
In the conventional survey method, the marketing information such as audience rating is only information whether the content program has been viewed or not, and in the case of content with various information in one screen, what information the viewer pays attention to It cannot be measured until it is done.
Also, in the method of surveying TV programs using a network, the quality of viewing, “how the program is viewed”, which is unknown only by the audience rating, is surveyed using a questionnaire. However, depending on the contents of the questionnaire and the question items, the quality of the entire program is measured by the three elements of “expectation”, “satisfaction”, and “concentration” for the entire program. In the case of content with a lot of information, it was not possible to measure where the viewer was paying attention.

即ち、従来の調査方法では、例えば、データ放送の一部に情報や広告を掲載した場合でも、コンテンツ全体の視聴率などの情報を測定するだけであり、コンテンツ内に記載された情報や広告に対し、どれだけの視聴者が注目したかといったことまでは測定できず、その情報や広告による効果を見極めることが困難であった。   In other words, the conventional survey method only measures information such as the audience rating of the entire content even when information or advertisements are posted on a part of the data broadcast. On the other hand, it was difficult to determine the effect of the information and advertisement because it was not possible to measure how many viewers were paying attention.

この発明は上記のような課題を解決するためになされたもので、視聴率やアンケート形式の調査だけでは判らない、表示画像内で注目している箇所や内容など、表示画像を視聴する側の動向を把握することのできる携帯端末を得ることを目的とする。   The present invention has been made to solve the above-mentioned problems, and it is not possible to understand only by surveying the audience rating or the questionnaire format. The purpose is to obtain a portable terminal capable of grasping the trend.

この発明に係る携帯端末は、表示手段の視聴者の画像を撮影する撮像手段と、撮像手段で撮影された画像から、表示手段で表示されている画像情報への視線を検出する視線検出手段と、表示手段で表示されている画像情報と視線情報とに基づいて、注目している情報を判定する注目情報判定手段とを備えたものである。   The portable terminal according to the present invention includes an imaging unit that captures an image of a viewer on the display unit, and a line-of-sight detection unit that detects a line of sight to the image information displayed on the display unit from the image captured by the imaging unit. And attention information determination means for determining information of interest based on the image information and line-of-sight information displayed on the display means.

この発明の携帯端末は、表示手段で表示されている画像情報と視聴者の視線情報とに基づいて、注目している情報を判定するようにしたので、表示画像内で注目している箇所や内容など表示画像を視聴する側の動向を把握することができる。   Since the mobile terminal of the present invention is configured to determine the information of interest based on the image information displayed on the display means and the viewer's line-of-sight information, It is possible to grasp the trend of viewing the display image such as contents.

実施の形態１．
図１は、この発明の実施の形態１による携帯端末を示す機能ブロック図である。
図において、携帯端末は、表示手段１、表示制御手段２、撮像手段３、視線検出手段４、注目情報判定手段５、感情情報抽出手段６を備えている。表示手段１は、表示制御手段２によって制御され、画像情報７を表示する手段である。表示制御手段２は、与えられた画像情報７を表示手段１に表示すると共に、表示手段１に表示している画像の情報を注目情報判定手段５に通知する手段である。撮像手段３は、表示手段１で表示されている画像情報の視聴者を撮影する手段であり、表示手段１の前面側の画像を撮影するよう構成されている。視線検出手段４は、撮像手段３で撮影された画像から、表示手段１で表示されている画像情報への視線を検出する手段である。注目情報判定手段５は、視線検出手段４で検出された視線情報と、表示制御手段２から取得した表示手段１で表示されている画像情報に基づいて、注目している情報を判定する手段である。感情情報抽出手段６は、撮像手段３で撮影された画像から、視聴者の感情情報を抽出する手段である。また、画像情報７は、テレビ放送から取得したコンテンツや後述する携帯端末内の記憶部に記憶されたコンテンツおよび広告情報等を含む全ての画像の情報である。 Embodiment 1 FIG.
FIG. 1 is a functional block diagram showing a portable terminal according to Embodiment 1 of the present invention.
In the figure, the portable terminal includes a display unit 1, a display control unit 2, an image pickup unit 3, a line-of-sight detection unit 4, an attention information determination unit 5, and an emotion information extraction unit 6. The display unit 1 is a unit that is controlled by the display control unit 2 and displays the image information 7. The display control unit 2 is a unit that displays the given image information 7 on the display unit 1 and notifies the attention information determination unit 5 of information on the image displayed on the display unit 1. The imaging unit 3 is a unit that captures a viewer of the image information displayed on the display unit 1 and is configured to capture an image on the front side of the display unit 1. The line-of-sight detection unit 4 is a unit that detects a line of sight to the image information displayed on the display unit 1 from the image captured by the imaging unit 3. The attention information determination unit 5 is a unit that determines information of interest based on the line-of-sight information detected by the line-of-sight detection unit 4 and the image information displayed on the display unit 1 acquired from the display control unit 2. is there. The emotion information extraction means 6 is means for extracting viewer emotion information from the image taken by the imaging means 3. Further, the image information 7 is information on all images including content acquired from television broadcasting, content stored in a storage unit in a portable terminal described later, advertisement information, and the like.

図２は、図１の携帯端末における各機能ブロックを実現するための構成を示す図である。また、図３は、携帯端末の正面図である。
図示の携帯端末１０１は、撮像手段３としての自画像を撮影できるインカメラ１１、視線検出手段４と感情情報抽出手段６を実現し、顔検出と視線検出および感情情報の抽出を行う画像処理部１２、表示制御手段２および注目情報判定手段５を実現するための制御部１３、制御部１３を制御するためのプログラムおよびデータの記憶手段としての内部メモリ部１４、メモリカードといった携帯端末１０１に対して着脱自在な記憶部である外部メモリ部１５、各種の操作を行うためのキー等からなる操作部１６、携帯端末１０１を振動させるためのバイブレータ１７、通信データの送受信およびインターネット接続手段としての通信制御部１８、通信用アンテナ１９、表示制御手段２を構成し、表示するデータを作成する表示処理部２０、画像やデータを表示する表示手段１であるＬＣＤ部（液晶表示装置）２１、音声の入出力の処理手段としての音声処理部２２、音声表示手段としてのスピーカ２３、音声入力手段としてのマイク２４、テレビ放送受信手段としてのテレビ放送信号受信部２５を備え、テレビ放送信号受信部２５は、テレビ用アンテナ部２６、チューニングおよび復調手段としてのフロントエンド部２７、受信したテレビ放送信号を音声データ、映像データおよびデータ放送用データに分離するバックエンド部２８、音声デコーダ２９、映像デコーダ３０から構成されている。 FIG. 2 is a diagram showing a configuration for realizing each functional block in the mobile terminal of FIG. FIG. 3 is a front view of the mobile terminal.
The illustrated mobile terminal 101 implements an in-camera 11 that can capture a self-portrait as the imaging unit 3, a line-of-sight detection unit 4, and emotion information extraction unit 6, and an image processing unit 12 that performs face detection, line-of-sight detection, and emotion information extraction. Control unit 13 for realizing display control means 2 and attention information determination means 5, program for controlling control unit 13 and internal memory part 14 as data storage means, and portable terminal 101 such as a memory card External memory unit 15 which is a detachable storage unit, operation unit 16 including keys for performing various operations, vibrator 17 for vibrating portable terminal 101, communication data transmission / reception, and communication control as Internet connection means Unit 18, communication antenna 19, display control means 2, display processing unit 20 for creating data to be displayed, image LCD unit (liquid crystal display device) 21 as display means 1 for displaying data, audio processing unit 22 as audio input / output processing means, speaker 23 as audio display means, microphone 24 as audio input means, television broadcasting A television broadcast signal receiving unit 25 as a receiving unit is provided. The television broadcast signal receiving unit 25 includes a television antenna unit 26, a front end unit 27 as tuning and demodulating unit, and the received television broadcast signal as audio data, video data, and It comprises a back-end unit 28, an audio decoder 29, and a video decoder 30 that are separated into data for data broadcasting.

インカメラ１１は、図３に示すように、ＬＣＤ部２１と同じ側に設けられ、制御部１３の指示により制御され、視聴者の顔画像の撮影を行う。画像処理部１２は、インカメラ１１にて撮影された画像を取り込み、視聴者の視線の抽出を行うと共に、視聴者がＬＣＤ部２１上のどこを見ているかを検出し、制御部１３へ視線情報として渡す。また、視聴者の表情から感情を推測し、感情情報として制御部１３へ渡す。ここで、視聴者の視線情報の抽出方法としては、例えば、特開２００６−２０４８５５号公報等に示される視線検出方法を用いることができる。また、視聴者の表情から感情を推測する方法としては、例えば、特許２８３９８５５号公報等に示される方法を用いることができる。   As shown in FIG. 3, the in-camera 11 is provided on the same side as the LCD unit 21 and is controlled by an instruction from the control unit 13 to capture a face image of the viewer. The image processing unit 12 captures an image captured by the in-camera 11, extracts the viewer's line of sight, detects where the viewer is looking on the LCD unit 21, and looks to the control unit 13. Pass as information. In addition, an emotion is estimated from the viewer's facial expression and is passed to the control unit 13 as emotion information. Here, as a method for extracting the viewer's line-of-sight information, for example, the line-of-sight detection method disclosed in JP-A-2006-204855 can be used. Moreover, as a method of estimating an emotion from a viewer's facial expression, for example, a method disclosed in Japanese Patent No. 2839855 can be used.

制御部１３は、内部メモリ部１４に記憶されているプログラムおよび操作部１６からの入力操作に従って各種の処理を行う。内部メモリ部１４は、通常の端末で必要とされるプログラムや設定情報および画像処理部１２で検出された視線情報や感情情報を記憶する。また、操作部１６からの入力操作により、通信制御部１８による電子メールやインターネットなどで取得した文字情報、制御情報、テレビ放送信号受信部２５により取得した映像データ、音声データおよび、データ放送用データなどの情報を記憶する。
外部メモリ部１５は、他の端末や図示しないビデオレコーダといった外部装置とデータ交換を行うための可搬性の着脱自在なメモリである。この外部メモリ部１５は、他の端末やビデオレコーダにて再生を行うために、テレビ放送信号受信部２５により取得したテレビ放送を記録したり、他の端末やビデオレコーダにて記録されたテレビ放送を携帯端末で再生するためのデータを記録したりする。 The control unit 13 performs various processes according to a program stored in the internal memory unit 14 and an input operation from the operation unit 16. The internal memory unit 14 stores programs and setting information required by a normal terminal, and line-of-sight information and emotion information detected by the image processing unit 12. In addition, text information, control information, video data, audio data, and data broadcasting data acquired by the television broadcast signal receiving unit 25 by the input operation from the operation unit 16 by the communication control unit 18 via e-mail or the Internet. Such information is memorized.
The external memory unit 15 is a portable removable memory for exchanging data with an external device such as another terminal or a video recorder (not shown). The external memory unit 15 records the television broadcast acquired by the television broadcast signal receiving unit 25 or the television broadcast recorded by the other terminal or video recorder for reproduction by another terminal or video recorder. Or record data for playback on a mobile device.

操作部１６は、「０」キーから「９」キーのテンキーや、「上」キー、「下」キー、「左」キー、「右」キーといった一般的な携帯電話等の携帯端末が備えている各種キー（ボタン）を備え、ＬＣＤ部２１に表示される操作画面と連動して、入力操作に応じたキー入力信号を出力し、制御部１３に指示を送る。バイブレータ１７は、制御部１３からの指示により振動モータを回転し、携帯端末を振動させる。
通信制御部１８は、操作部１６からの入力操作により、通信用アンテナ１９を通して、電話や電子メール、ブラウザなどの通信データとして、音声情報、文字情報、静止画情報、動画情報の送受信を行うと共に、画像処理部１２にて検出された視線情報や感情情報を、通信用アンテナ１９を通して、調査センタ（これについては後述する）宛に送信する。表示処理部２０は、通信制御部１８で受信された文字情報、静止画情報、動画情報および、テレビ放送信号受信部２５で受信された映像データやデータ放送データを復号、合成し、ＬＣＤ部２１に表示するためデータを生成する。生成されたデータは、ＬＣＤ部２１にて表示される。 The operation unit 16 is provided with a mobile terminal such as a general mobile phone such as a numeric keypad of “0” key to “9” key, “up” key, “down” key, “left” key, and “right” key. Various key (buttons) are provided, and in conjunction with the operation screen displayed on the LCD unit 21, a key input signal corresponding to the input operation is output and an instruction is sent to the control unit 13. The vibrator 17 rotates the vibration motor according to an instruction from the control unit 13 to vibrate the mobile terminal.
The communication control unit 18 transmits and receives voice information, text information, still image information, and moving image information as communication data such as a telephone, an e-mail, and a browser through the communication antenna 19 by an input operation from the operation unit 16. The line-of-sight information and emotion information detected by the image processing unit 12 are transmitted to the investigation center (which will be described later) through the communication antenna 19. The display processing unit 20 decodes and synthesizes the character information, still image information, moving image information received by the communication control unit 18 and the video data and data broadcast data received by the television broadcast signal receiving unit 25, and the LCD unit 21. Generate data for display on The generated data is displayed on the LCD unit 21.

音声処理部２２は、通信制御部１８を介して受信された音声情報や、テレビ放送信号受信部２５で受信された音声データに対して復号、合成、Ｄ／Ａ変換処理を実施する。Ｄ／Ａ変換された音声データは、スピーカ２３から再生される。また、マイク２４から入力された音声は、音声処理部２２にて、Ａ／Ｄ変換され、符号化後、通信制御部１８によって送信される。
テレビ放送信号受信部２５は、操作部１６からの入力操作により、テレビ用アンテナ部２６を通してテレビ放送を受信し、受信した放送波をフロントエンド部２７にて復調後、バックエンド部２８にて、映像データ、音声データ、データ放送用データに分離する。テレビ放送信号受信部２５で分離された映像データは、表示処理部２０にてデコードされ、ＬＣＤ部２１にて表示され、音声データは、音声処理部２２にてデコード後、スピーカ２３から出力され、データ放送用データは、制御部１３にて解析され、各種制御が行われる。 The audio processing unit 22 performs decoding, synthesis, and D / A conversion processing on audio information received via the communication control unit 18 and audio data received by the television broadcast signal receiving unit 25. The D / A converted audio data is reproduced from the speaker 23. The voice input from the microphone 24 is A / D converted by the voice processing unit 22, encoded, and transmitted by the communication control unit 18.
The TV broadcast signal receiving unit 25 receives a TV broadcast through the TV antenna unit 26 by an input operation from the operation unit 16, demodulates the received broadcast wave at the front end unit 27, and then at the back end unit 28. Separated into video data, audio data, and data for data broadcasting. The video data separated by the TV broadcast signal receiving unit 25 is decoded by the display processing unit 20 and displayed on the LCD unit 21, and the audio data is output from the speaker 23 after being decoded by the audio processing unit 22. The data broadcasting data is analyzed by the control unit 13 and various controls are performed.

次に、本実施の形態１の携帯端末における具体的な動作について説明する。
先ず、図４のフローチャートに従い、テレビ放送を視聴する場合について説明する。
携帯端末１０１は、操作部１６の一つの電源ボタンからの入力操作により、電源をＯＮにして、待受け状態にある。この状態で、操作部１６からの入力操作により、テレビ放送の視聴が指示されると、制御部１３はテレビ放送視聴用アプリケーションを起動し（ステップＳＴ１０１）、テレビ放送のコンテンツをＬＣＤ部２１にて表示する。
続いて、インカメラ１１を起動し（ステップＳＴ１０２）、インカメラ１１より画像処理部１２に映像を取り込み（ステップＳＴ１０３）、視聴者の視線と表情の解析を開始する（ステップＳＴ１０４）。
解析された結果は、時刻データや画像の識別情報と共に、視聴情報として内部メモリ部１４に保存される。そして、保存された視聴情報は、その都度、または、ある程度まとまってから、通信制御部１８を通して、調査センタに送信される（ステップＳＴ１０５）。尚、ステップＳＴ１０３からステップＳＴ１０５までの作業は、テレビの視聴中、定期的に繰り返し実施される（ステップＳＴ１０６）。 Next, a specific operation in the mobile terminal according to the first embodiment will be described.
First, the case of viewing a television broadcast will be described with reference to the flowchart of FIG.
The portable terminal 101 is in a standby state with the power turned on by an input operation from one power button of the operation unit 16. In this state, when viewing of a television broadcast is instructed by an input operation from the operation unit 16, the control unit 13 activates a television broadcast viewing application (step ST101), and the content of the television broadcast is displayed on the LCD unit 21. indicate.
Subsequently, the in-camera 11 is activated (step ST102), video is captured from the in-camera 11 into the image processing unit 12 (step ST103), and analysis of the viewer's line of sight and facial expression is started (step ST104).
The analyzed result is stored in the internal memory unit 14 as viewing information together with time data and image identification information. The stored viewing information is transmitted to the investigation center through the communication control unit 18 each time or after being collected to some extent (step ST105). Note that the operations from step ST103 to step ST105 are periodically repeated during viewing of the television (step ST106).

ステップＳＴ１０６において、操作部１６からの入力操作により、テレビ放送の視聴終了が指示されると、制御部１３は、インカメラの終了処理（ステップＳＴ１０７）、テレビ放送視聴用アプリケーションの終了処理を実施する（ステップＳＴ１０８）。   In step ST106, when an instruction to terminate viewing of the television broadcast is given by an input operation from the operation unit 16, the control unit 13 performs an in-camera termination process (step ST107) and a television broadcast viewing application termination process. (Step ST108).

図５は、本実施の形態１における視聴者１００、携帯端末１０１、通信事業者１０２、調査センタ１０３、放送事業者１０４、広告主１０５の関係を示す説明図である。
ここで、通信事業者１０２とは、携帯端末１０１の電話通信サービスを提供する事業者であり、調査センタ１０３は、視聴率の調査を行う事業者である。また放送事業者１０４は、テレビ放送を行う事業者であり、広告主１０５は、放送されるテレビ放送に含まれる広告を放送事業者１０４に依頼する事業者である。また、通信事業者１０２と調査センタ１０３および放送事業者１０４は、ネットワーク（インターネット）１０６を介して相互に通信接続されている。 FIG. 5 is an explanatory diagram showing the relationship among the viewer 100, the mobile terminal 101, the communication carrier 102, the survey center 103, the broadcaster 104, and the advertiser 105 in the first embodiment.
Here, the communication carrier 102 is a carrier that provides a telephone communication service of the portable terminal 101, and the survey center 103 is a carrier that conducts a viewership rate survey. The broadcaster 104 is a broadcaster, and the advertiser 105 is a provider who requests the broadcaster 104 for an advertisement included in the broadcasted television broadcast. The communication carrier 102, the survey center 103, and the broadcaster 104 are connected to each other via a network (Internet) 106.

携帯端末１０１にて、視聴者１００の視聴情報と感情情報を抽出し、これらの情報は通信事業者１０２を介して調査センタ１０３に送信される。調査センタ１０３では、送られてきたデータを解析し、解析結果を放送事業者１０４や広告主１０５へ調査報告として提示する。
図６に、報告書の一例として、画面を９分割し、分割画面毎の注目度について、時間単位で集計した結果を示す。
このような視線情報と感情情報とを取得することにより、放送事業者１０４は、テレビ番組、コマーシャルなどのコンテンツの質の定量的な調査が可能となる。例えば、テレビドラマ内で感動させたいシーンでは、視聴者の感情と注目する領域を同時に測定することにより、視聴者が感動する前後の行動（視線の動き）を客観的に測定することが可能となる。このとき、どのような演出効果により、視聴者が感動し始めたか、逆に感動していない視聴者は、どの辺りから醒めた感じで見ていたかだけでなく、画面上のどの部分を見ていたか（例えば、ドラマではなく、データ放送を見ていた）など、注目する領域と感情情報を同時に解析することにより演出の効果を知ることができ、番組の演出や質の改善に役立てることができる。 Viewing information and emotion information of the viewer 100 are extracted by the portable terminal 101, and the information is transmitted to the survey center 103 via the communication carrier 102. The survey center 103 analyzes the sent data and presents the analysis result to the broadcaster 104 and the advertiser 105 as a survey report.
As an example of the report, FIG. 6 shows a result obtained by dividing the screen into nine parts and totaling the attention degree for each divided screen in time units.
By acquiring such line-of-sight information and emotion information, the broadcaster 104 can quantitatively investigate the quality of content such as television programs and commercials. For example, in a scene you want to impress in a TV drama, you can objectively measure the behavior before and after the viewer is moved (gaze movement) by measuring the viewer's emotion and the area of interest at the same time. Become. At this time, not only what kind of production effect the viewer started to be impressed, but also the viewer who was not impressed, not only from which area the viewer was awakened, but also what part of the screen was being viewed. By analyzing the area of interest and emotion information at the same time, such as Taka (for example, watching a data broadcast rather than a drama), the effect of the production can be known, which can be used to improve the production and quality of the program .

また、分割画面毎の注目度、即ち、視聴者が画面上のどこに注目しているかを知ることができることにより、複数の出演者が出ている場合、視聴者は、どの出演者に注目しているかといったことも測定することができる。その結果、出演者毎の注目度を測定することができ、これを用いて出演者（俳優）のランク付けをするといったことも可能となる。また、テレビ放送とデータ放送とを同時表示している場合、視聴者が注目している情報に対し、適切な情報を提供することができる。
更に、画面内に広告を表示している場合、その広告の注目度を測定することも可能である。これにより、広告主１０５は、表示する広告がどの程度効果的であるかを知ることができ、広告の質の向上に役立てることができる。
尚、ここでは画面を９分割したが、分割数や分割の形状（領域）は、調査の対象等に基づいてどのようなものであってもよい。 In addition, when a plurality of performers appear by being able to know the degree of attention for each divided screen, that is, where the viewer is paying attention on the screen, the viewer pays attention to which performer. It can also be measured. As a result, the degree of attention for each performer can be measured, and it is possible to rank performers (actors) using this. Further, when the television broadcast and the data broadcast are simultaneously displayed, it is possible to provide appropriate information for the information that the viewer is paying attention to.
Furthermore, when an advertisement is displayed on the screen, it is also possible to measure the degree of attention of the advertisement. Thereby, the advertiser 105 can know how effective the advertisement to be displayed is, and can help to improve the quality of the advertisement.
Here, the screen is divided into nine, but the number of divisions and the shape (area) of division may be any based on the subject of investigation.

このように、実施の形態１では、従来の調査方法では不可能であったテレビ視聴時の視聴者の動向を調査できるようになり、テレビ番組や広告の質の向上や演出効果の確認、広告の効果確認につながる。一方、視聴者は、視聴データを提供する対価として、ポイントを貯めて、ポイントサービスの提供を受けたり、換金したりする事ができる。   As described above, in the first embodiment, it becomes possible to investigate the trend of viewers at the time of watching TV, which has been impossible with the conventional investigation method. This leads to confirmation of the effect. On the other hand, as a consideration for providing viewing data, the viewer can accumulate points and receive provision of point services or cash.

尚、上記実施の形態１では、画面情報７がテレビ放送によって提供される例を説明したがこれに限定されるものではない。これ以外にも、例えば、外部メモリ部１５といった記憶部に所定のコンテンツ配信事業者から配信されるコンテンツを保存すると共に、携帯端末１０１がコンテンツ再生用アプリケーションの実行機能を備え、このコンテンツ再生用アプリケーションを実行した場合の画面情報を用いてもよい。   In the first embodiment, the example in which the screen information 7 is provided by television broadcasting has been described. However, the present invention is not limited to this. In addition to this, for example, the content distributed from a predetermined content distributor is stored in a storage unit such as the external memory unit 15, and the portable terminal 101 has a function for executing a content reproduction application. You may use the screen information at the time of performing.

また、携帯端末１０１が、ゲームアプリケーションとこのゲームアプリケーションの実行機能を備え、画像情報７としてゲーム画面情報を含むよう構成してもよい。例えば、ゲーム画面としてロールプレイングゲームやレースゲームがＬＣＤ部２１で表示され、その背景に広告を表示しているような場合、広告への注目度を測定することができる。   Further, the mobile terminal 101 may be configured to include a game application and a function for executing the game application, and to include game screen information as the image information 7. For example, when a role playing game or a race game is displayed on the LCD unit 21 as a game screen and an advertisement is displayed on the background, the degree of attention to the advertisement can be measured.

更に、携帯端末１０１がインターネット（ＩＰプロトコルを用いたネットワーク）への接続機能とＷｅｂページの閲覧機能とを備え、インターネットから画像情報７を取得するよう構成してもよい。このように構成することにより、インターネットを介した種々のコンテンツに対しても、視聴する側の動向を把握することができる。   Furthermore, the mobile terminal 101 may be configured to have a function of connecting to the Internet (network using the IP protocol) and a Web page browsing function, and to acquire the image information 7 from the Internet. By configuring in this way, it is possible to grasp trends on the viewing side for various contents via the Internet.

また、テレビ放送だけでなく、デジタルラジオ放送に対して適用してもよい。即ち、デジタルラジオ放送では、音声だけでなく、文字や画像も受信できるため、例えば、ラジオ番組内で商品の紹介を画像表示しながら実施しているような場合、視聴者が画像（商品）をどれだけ注目したかを測定することができる。   Further, the present invention may be applied not only to television broadcasting but also to digital radio broadcasting. That is, in digital radio broadcasting, not only voice but also text and images can be received. For example, when an introduction of a product is performed while displaying an image in a radio program, the viewer can display an image (product). You can measure how much attention you paid.

以上のように、実施の形態１の携帯端末によれば、画像情報を表示する表示手段と、表示手段の視聴者の画像を撮影する撮像手段と、撮像手段で撮影された画像から、表示手段で表示されている画像情報への視線を検出する視線検出手段と、表示手段で表示されている画像情報と視線情報とに基づいて、注目している情報を判定する注目情報判定手段とを備えたので、視聴率やアンケート形式の調査だけでは判らない、表示画像内で注目している箇所や内容など、表示画像を視聴する側の動向を把握することができる。   As described above, according to the mobile terminal of the first embodiment, the display unit displays the image information, the imaging unit that captures the image of the viewer of the display unit, and the image captured by the imaging unit. Line-of-sight detection means for detecting line-of-sight to the image information displayed on the screen, and attention information determination means for determining information of interest based on the image information and line-of-sight information displayed on the display means. Therefore, it is possible to grasp the trend on the side of viewing the display image, such as the location and contents of interest in the display image, which cannot be understood only by the survey of the audience rating or the questionnaire format.

また、実施の形態１の携帯端末によれば、撮像手段で撮影された画像から、視聴者の感情情報を抽出する感情情報抽出手段を備えたので、視聴者の感情の変化といったことも取得することができ、その結果、画像情報を提供する側にとって、提供する画像情報の質の向上といったことに役立てることができる。   Further, according to the mobile terminal of the first embodiment, since the emotion information extracting means for extracting the viewer's emotion information from the image taken by the imaging means is provided, the change of the viewer's emotion is also acquired. As a result, it is useful for the side providing image information to improve the quality of the provided image information.

また、実施の形態１の携帯端末によれば、テレビ放送を受信するテレビ放送受信手段を備え、画像情報はテレビ放送受信手段で受信した情報としたので、テレビ放送で提供される画像情報に対して、視聴する側の動向を把握することができ、画像情報を提供するテレビ放送事業者にとって、提供する番組等の質の向上に役立てることができる。   Further, according to the mobile terminal of the first embodiment, the television broadcast receiving means for receiving the television broadcast is provided, and the image information is the information received by the television broadcast receiving means. Thus, it is possible to grasp the trend on the viewer side, which can be used for improving the quality of the program to be provided for the television broadcaster that provides the image information.

また、実施の形態１の携帯端末によれば、コンテンツを格納するコンテンツ格納部を備え、画像情報はコンテンツの表示情報としたので、保存されたコンテンツを再生する場合の視聴する側の動向を把握することができ、画像情報を提供するコンテンツ配信事業者にとって、提供するコンテンツの質の向上に役立てることができる。   In addition, according to the mobile terminal of the first embodiment, since the content storage unit that stores the content is provided and the image information is the display information of the content, the trend of the viewing side when the stored content is played back is grasped. Therefore, it is possible for a content distribution company that provides image information to help improve the quality of the content to be provided.

また、実施の形態１の携帯端末によれば、画像情報は、ゲーム画面情報を含むようにしたので、例えば、ゲーム画面と共に広告情報を表示している場合に、その広告への注目度といった情報を取得することができる。   Further, according to the mobile terminal of the first embodiment, the image information includes the game screen information. For example, when advertising information is displayed together with the game screen, information such as the degree of attention to the advertisement is displayed. Can be obtained.

また、実施の形態１の携帯端末によれば、画像情報をインターネットを介して受け取るようにしたので、インターネットを介した種々の画像情報に対しても、視聴する側の動向を把握することができる。   In addition, according to the mobile terminal of the first embodiment, since image information is received via the Internet, it is possible to grasp the trend on the viewing side for various image information via the Internet. .

実施の形態２．
実施の形態１の場合、視聴者がテレビをつけている間は、常に視聴者の動向をチェックし、視聴者の視線および表情の解析を実施することになる。そのため、視聴情報が膨大になり、通信ネットワークの負荷や調査センタの処理負荷が大きい。また、各放送事業者や広告主は、膨大な量の調査結果全てが有益な情報とは限らないため、有益な情報を取り出さなければならない。
これを回避する手段として、実施の形態２では、テレビ放送のデータ部にインカメラ１１を制御するスクリプトを埋め込み、各放送事業者や広告主による任意のタイミングで視聴者の反応を調査するようにしたものである。即ち、実施の形態２の注目情報判定手段５は、注目している情報を判定するための情報収集の開始および終了を、テレビ放送から受信した制御情報に基づいて行うよう構成されている。これ以外の構成は、実施の形態１と同様であるため、図１〜３、５、６を援用して説明する。 Embodiment 2. FIG.
In the case of the first embodiment, while the viewer turns on the television, the viewer's trend is always checked, and the viewer's line of sight and facial expression are analyzed. Therefore, viewing information becomes enormous, and the load on the communication network and the processing load on the research center are large. In addition, each broadcaster and advertiser must extract useful information because not all of the huge amount of survey results are useful information.
As a means for avoiding this, in the second embodiment, a script for controlling the in-camera 11 is embedded in the data portion of the television broadcast, and the viewer's reaction is investigated at an arbitrary timing by each broadcaster or advertiser. It is a thing. That is, the attention information determination unit 5 of the second embodiment is configured to start and end information collection for determining the information of interest based on control information received from a television broadcast. Since the other configuration is the same as that of the first embodiment, it will be described with reference to FIGS.

次に、図７のフローチャートに従い実施の形態２の動作を説明する。
携帯端末１０１は、操作部１６の一つの電源ボタンからの入力操作により、電源をＯＮにして、待受け状態にある。
テレビ放送の視聴が、操作部１６からの入力操作により指示されると、制御部１３はテレビ放送視聴用アプリケーションを起動し（ステップＳＴ２０１）、テレビ放送の内容をＬＣＤ部２１に表示する。続いて、インカメラ１１を起動する（ステップＳＴ２０２）。
制御部１３では、バックエンド部２８にて分離されたデータ放送のデータの解析を行い（ステップＳＴ２０３）、視聴情報の調査開始指示があるかどうかを確認する（ステップＳＴ２０４）。視聴情報の調査開始指示があれば、インカメラ１１より映像を取り込み（ステップＳＴ２０５）、画像処理部１２にて、視聴者の視線および表情の解析を開始する（ステップＳＴ２０６）。 Next, the operation of the second embodiment will be described with reference to the flowchart of FIG.
The portable terminal 101 is in a standby state with the power turned on by an input operation from one power button of the operation unit 16.
When viewing of the television broadcast is instructed by an input operation from the operation unit 16, the control unit 13 activates the television broadcast viewing application (step ST201), and displays the content of the television broadcast on the LCD unit 21. Subsequently, the in-camera 11 is activated (step ST202).
The control unit 13 analyzes the data broadcast data separated by the back-end unit 28 (step ST203), and confirms whether there is an instruction to start viewing information investigation (step ST204). If there is an instruction to start investigating viewing information, a video is captured from the in-camera 11 (step ST205), and analysis of the viewer's gaze and facial expression is started in the image processing unit 12 (step ST206).

ステップＳＴ２０６において解析された結果は、時刻データと共に、視聴情報として内部メモリ部１４に保存され、その都度、またはある程度纏め、通信制御部１８を通して、調査センタ宛に送信される（ステップＳＴ２０７）。尚、ステップＳＴ２０５からステップＳＴ２０７までの作業は、視聴情報の調査中、繰り返し、実施される（ステップＳＴ２０８）。   The result analyzed in step ST206 is stored in the internal memory unit 14 as viewing information together with time data, and is sent to the investigation center through the communication control unit 18 each time or to some extent, (step ST207). Note that the operations from step ST205 to step ST207 are repeatedly performed during the viewing information investigation (step ST208).

操作部１６からの入力操作により、テレビ放送の視聴終了指示が指示されると、制御部１３は、インカメラ１１の終了処理（ステップＳＴ２０９）、テレビ放送視聴用アプリケーションの終了処理を実施する（ステップＳＴ２１０）。   When a television broadcast viewing end instruction is instructed by an input operation from the operation unit 16, the control unit 13 performs a termination process for the in-camera 11 (step ST209) and a termination process for the television broadcast viewing application (step ST209). ST210).

尚、本実施の形態は、テレビ放送視聴時やラジオ放送受信時だけでなく、起動するアプリケーションをテレビ放送視聴用アプリケーションから、コンテンツ再生用アプリケーション、インターネット閲覧用アプリケーション、ゲームアプリケーションなどとすることにより、これらのアプリケーションが実行された場合の画像情報に対しても同様に適用可能である。   In this embodiment, not only when watching TV broadcasts or receiving radio broadcasts, but also by starting applications that are started from TV broadcast viewing applications, content playback applications, Internet browsing applications, game applications, etc. The same applies to image information when these applications are executed.

本実施の形態では、以上のように構成されているため、放送事業者１０４やコンテンツ配信事業者、広告主１０５による任意のタイミングで視聴者の反応を調査できるようになり、コンテンツやゲームの質の向上や、広告の質の向上や演出効果の確認、広告の効果確認が容易にできるようになる。一方、視聴者は、視聴データを提供する対価として、ポイントを貯めて、ポイントサービスの提供を受けたり、換金したりする事ができる。
また、本実施の形態は、また、ネットワーク１０６や調査センタ１０３の負荷が分散化され、設備の効率的な投資と運用が可能である。 In this embodiment, since it is configured as described above, the viewer's reaction can be investigated at any timing by the broadcaster 104, the content distributor, and the advertiser 105, and the quality of the content or game , Improvement of advertisement quality, confirmation of production effect, and confirmation of advertisement effect can be facilitated. On the other hand, as a consideration for providing viewing data, the viewer can accumulate points and receive provision of point services or cash.
Further, according to the present embodiment, the load on the network 106 and the research center 103 is distributed, so that efficient investment and operation of facilities can be performed.

以上のように、実施の形態２の携帯端末によれば、注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、テレビ放送から受信した制御情報に基づいて行うようにしたので、テレビ放送において、注目度を取得したい部分を指定することができるため、効率的な視聴データの収集を行うことができる。   As described above, according to the mobile terminal of the second embodiment, the attention information determination unit determines the start and end of information collection for determining the information of interest based on the control information received from the television broadcast. Since this is done, it is possible to specify a portion for which attention level is to be acquired in television broadcasting, and thus it is possible to efficiently collect viewing data.

また、実施の形態２の携帯端末によれば、注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、コンテンツに含まれた制御情報に基づいて行うようにしたので、コンテンツを配信する側が、注目度を取得したい部分を指定することができるため、効率的な視聴データの収集を行うことができる。   Further, according to the mobile terminal of the second embodiment, the attention information determination unit performs the start and end of information collection for determining the information of interest based on the control information included in the content. As a result, the content delivery side can specify the portion for which the degree of attention is to be acquired, so that efficient viewing data can be collected.

また、実施の形態２の携帯端末によれば、注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、ゲーム画面情報と共に与えられる制御情報に基づいて行うようにしたので、ゲーム画面と広告等の情報が表示される場合の注目度を取得したい部分を指定することができるため、広告等の情報に対する注目度の情報収集を効率的に行うことができる。   Further, according to the mobile terminal of the second embodiment, the attention information determination means starts and ends information collection for determining the information of interest based on the control information given together with the game screen information. Therefore, it is possible to designate a portion for which the degree of attention is to be acquired when information such as a game screen and advertisement is displayed, and thus it is possible to efficiently collect information on the degree of attention with respect to information such as advertisement.

実施の形態３．
実施の形態３では、画面に注目していない視聴者に対し、画面に注目することを促すための通知手段を設けたものである。図面上の構成は、実施の形態１と同様であるため、図１〜３、５、６を援用して説明する。 Embodiment 3 FIG.
In the third embodiment, notifying means is provided for urging viewers who are not paying attention to the screen to pay attention to the screen. Since the configuration on the drawing is the same as that of the first embodiment, the description will be made with reference to FIGS.

実施の形態３における通知手段は、図２におけるバイブレータ１７を用いて構成する。即ち、通知手段は、視聴者に対して表示手段１への視認操作を促すための手段である。また、注目情報判定手段５は、通知手段による通知時に視線情報や感情情報を判定するよう構成されている。これ以外の構成は、実施の形態１または２と同様であるため、ここでの説明は省略する。   The notification means in the third embodiment is configured using the vibrator 17 in FIG. That is, the notification unit is a unit for prompting the viewer to perform a visual recognition operation on the display unit 1. The attention information determination unit 5 is configured to determine line-of-sight information and emotion information at the time of notification by the notification unit. Since the configuration other than this is the same as that of the first or second embodiment, the description thereof is omitted here.

次に、実施の形態３の動作について説明する。
図８は、実施の形態３の携帯端末の動作を示すフローチャートである。
携帯端末１０１は、操作部１６の一つの電源ボタンからの入力操作により、電源をＯＮにして、待受け状態にある。このような状態で、テレビ放送の視聴が、操作部１６からの入力操作により指示されると、制御部１３はテレビ放送視聴用アプリケーションを起動し（ステップＳＴ３０１）、テレビ放送のコンテンツをＬＣＤ部２１に表示する。続いて、インカメラ１１を起動する（ステップＳＴ３０２）。 Next, the operation of the third embodiment will be described.
FIG. 8 is a flowchart illustrating the operation of the mobile terminal according to the third embodiment.
The portable terminal 101 is in a standby state with the power turned on by an input operation from one power button of the operation unit 16. In this state, when viewing of the television broadcast is instructed by an input operation from the operation unit 16, the control unit 13 activates the television broadcast viewing application (step ST301), and the television broadcast content is displayed on the LCD unit 21. To display. Subsequently, the in-camera 11 is activated (step ST302).

制御部１３では、バックエンド部２８にて分離されたデータ放送のデータの解析を行い（ステップＳＴ３０３）、視聴者に画面に注目をさせる指示があるかどうかを確認する（ステップＳＴ３０４）。視聴者に画面に注目をさせる指示があれば、インカメラ１１より映像を取り込み（ステップＳＴ３０５）、画像処理部１２にて、視聴者の視線の解析を開始し（ステップＳＴ３０６）、画面に注目しているかを判定する（ステップＳＴ３０７）。解析された結果、視聴者が画面に注目をしていないと判断された場合、画面に注目を促す手段として、バイブレータを振動させる（ステップＳＴ３０８）。尚、ステップＳＴ３０５からステップＳＴ３０８までの作業は、視聴者が画面に注目したと判断されるか、視聴者に画面に注目をさせる指示がある間、繰り返し、実施される（ステップＳＴ３０９）。
視聴者が画面に注目したかどうかを、視聴情報として内部メモリ部１４に格納し、通信制御部１８を通して、調査センタ宛に送信する（ステップＳＴ３１０）。
操作部１６からの入力操作によりテレビ放送の視聴終了指示が指示されると、制御部１３は、インカメラ１１の終了処理（ステップＳＴ３１１）、テレビ放送視聴用アプリケーションの終了処理を実施する（ステップＳＴ３１２）。 The control unit 13 analyzes the data broadcast data separated by the back-end unit 28 (step ST303), and confirms whether there is an instruction to make the viewer pay attention to the screen (step ST304). If there is an instruction for the viewer to pay attention to the screen, the video is captured from the in-camera 11 (step ST305), and the analysis of the viewer's line of sight is started by the image processing unit 12 (step ST306). Is determined (step ST307). As a result of the analysis, when it is determined that the viewer is not paying attention to the screen, the vibrator is vibrated as means for prompting attention to the screen (step ST308). Note that the operations from step ST305 to step ST308 are repeatedly performed while it is determined that the viewer has paid attention to the screen or the viewer is instructed to pay attention to the screen (step ST309).
Whether or not the viewer has focused on the screen is stored in the internal memory unit 14 as viewing information and transmitted to the investigation center through the communication control unit 18 (step ST310).
When a television broadcast viewing end instruction is instructed by an input operation from the operation unit 16, the control unit 13 performs an in-camera 11 termination process (step ST311) and a television broadcast viewing application termination process (step ST312). ).

このように、本実施の形態では、携帯端末１０１をバイブレータ１７により振動させ、視聴者に視聴を促すことにより、注目してほしい内容を伝達する事ができ、テレビ番組や広告効果の向上につながる。また、緊急放送やニュース速報においても画面に注目させることを促すことが可能である。
例えば、遊園地、博物館、大学等で地区を限定して構内案内やショッピングの案内を行うコミュニティ放送にて、ある場所で特別な情報を提供する場合、視聴者が画面に注目したとき、情報の提供を開始し、視聴者が最後までその情報を注目したかを調査し、視聴者にとっての情報の有用性や提供方法の問題点を確認することができる。 As described above, in the present embodiment, the mobile terminal 101 is vibrated by the vibrator 17 and the viewer is encouraged to view the content, so that the content that the user wants to pay attention can be transmitted, leading to an improvement in the TV program and the advertising effect. . It is also possible to prompt attention to the screen in emergency broadcasting and breaking news.
For example, when providing special information at a certain place in a community broadcast that provides guidance on the premises and shopping in amusement parks, museums, universities, etc., when the viewer pays attention to the screen, It is possible to start providing the information, investigate whether the viewer has focused on the information until the end, and confirm the usefulness of the information for the viewer and the problem of the providing method.

尚、本実施の形態は、テレビ放送視聴時やラジオ放送受信時だけでなく、起動するアプリケーションをテレビ放送視聴用アプリケーションから、コンテンツ再生用アプリケーション、インターネット閲覧用アプリケーション、ゲームアプリケーションなどとすることにより、これらのアプリケーションが実行された場合の画像情報に対しても同様に適用可能である。   In this embodiment, not only when watching TV broadcasts or receiving radio broadcasts, but also by starting applications that are started from TV broadcast viewing applications, content playback applications, Internet browsing applications, game applications, etc. The same applies to image information when these applications are executed.

以上のように、実施の形態３の携帯端末によれば、表示手段への視認操作を促すための通知手段を備え、注目情報判定手段は、通知手段による通知時に、注目している情報を判定するようにしたので、視聴者に対して確実に表示情報を伝えることができると共に、通知手段で通知したことによる視聴の効果を知ることができる。   As described above, according to the mobile terminal of the third embodiment, the notification means for prompting the visual recognition operation to the display means is provided, and the attention information determination means determines the information of interest at the time of notification by the notification means. Thus, the display information can be reliably transmitted to the viewer, and the viewing effect by the notification by the notification means can be known.

尚、上記各実施の形態では、携帯端末１０１として携帯電話を例として説明したが、携帯電話以外にも、ＰＤＡ（Personal Digital Assistants）やノートパソコン、携帯型ゲーム機等であってもよい。また、インカメラ１１やテレビ放送信号受信部２５は、本体に対して外付けされるタイプであってもよい。   In each of the above embodiments, a mobile phone has been described as an example of the mobile terminal 101. However, in addition to the mobile phone, a PDA (Personal Digital Assistants), a notebook personal computer, a portable game machine, or the like may be used. Further, the in-camera 11 and the television broadcast signal receiving unit 25 may be of a type externally attached to the main body.

この発明の実施の形態１による携帯端末を示す機能ブロック図である。It is a functional block diagram which shows the portable terminal by Embodiment 1 of this invention. この発明の実施の形態１による携帯端末の構成図である。It is a block diagram of the portable terminal by Embodiment 1 of this invention. この発明の実施の形態１による携帯端末の正面図である。It is a front view of the portable terminal by Embodiment 1 of this invention. この発明の実施の形態１による携帯端末の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the portable terminal by Embodiment 1 of this invention. この発明の実施の形態１による携帯端末を用いたデータの流れを示す説明図である。It is explanatory drawing which shows the flow of the data using the portable terminal by Embodiment 1 of this invention. この発明の実施の形態１による携帯端末の分割画面と注目度の説明図である。It is explanatory drawing of the split screen and attention degree of the portable terminal by Embodiment 1 of this invention. この発明の実施の形態２による携帯端末の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the portable terminal by Embodiment 2 of this invention. この発明の実施の形態３による携帯端末の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the portable terminal by Embodiment 3 of this invention.

符号の説明Explanation of symbols

１ 表示手段、２ 表示制御手段、３ 撮像手段、４ 視線検出手段、５ 注目情報判定手段、６ 感情情報抽出手段、７ 画像情報、１１ インカメラ、１２ 画像処理部、１３ 制御部、１５ 外部メモリ部、１７ バイブレータ、２０ 表示処理部、２１ ＬＣＤ部、２５ テレビ放送信号受信部。   DESCRIPTION OF SYMBOLS 1 Display means, 2 Display control means, 3 Imaging means, 4 Eye-gaze detection means, 5 Attention information determination means, 6 Emotion information extraction means, 7 Image information, 11 In camera, 12 Image processing part, 13 Control part, 15 External memory Unit, 17 vibrator, 20 display processing unit, 21 LCD unit, 25 TV broadcast signal receiving unit.

Claims (10)

画像情報を表示する表示手段と、
前記表示手段の視聴者の画像を撮影する撮像手段と、
前記撮像手段で撮影された画像から、前記表示手段で表示されている画像情報への視線を検出する視線検出手段と、
前記表示手段で表示されている画像情報と前記視線情報とに基づいて、注目している情報を判定する注目情報判定手段とを備えた携帯端末。 Display means for displaying image information;
Imaging means for taking an image of a viewer of the display means;
A line-of-sight detection means for detecting a line of sight to the image information displayed on the display means from the image photographed by the imaging means;
A portable terminal comprising attention information determination means for determining information of interest based on the image information displayed on the display means and the line-of-sight information. 撮像手段で撮影された画像から、視聴者の感情情報を抽出する感情情報抽出手段を備えたことを特徴とする請求項１記載の携帯端末。   The portable terminal according to claim 1, further comprising emotion information extracting means for extracting emotion information of the viewer from an image photographed by the imaging means. テレビ放送を受信するテレビ放送受信手段を備え、画像情報は当該テレビ放送受信手段で受信した情報であることを特徴とする請求項１または請求項２記載の携帯端末。   3. The portable terminal according to claim 1, further comprising a television broadcast receiving unit for receiving a television broadcast, wherein the image information is information received by the television broadcast receiving unit. 注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、テレビ放送から受信した制御情報に基づいて行うことを特徴とする請求項３記載の携帯端末。   4. The portable terminal according to claim 3, wherein the attention information determination unit performs start and end of information collection for determining information of interest based on control information received from a television broadcast. コンテンツを格納するコンテンツ格納部を備え、画像情報は前記コンテンツの表示情報であることを特徴とする請求項１または請求項２記載の携帯端末。   The mobile terminal according to claim 1, further comprising a content storage unit that stores content, wherein the image information is display information of the content. 注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、コンテンツに含まれた制御情報に基づいて行うことを特徴とする請求項５記載の携帯端末。   6. The mobile terminal according to claim 5, wherein the attention information determination means starts and ends information collection for determining information of interest based on control information included in the content. 画像情報は、ゲーム画面情報を含むことを特徴とする請求項１または請求項２記載の携帯端末。   The mobile terminal according to claim 1, wherein the image information includes game screen information. 注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、ゲーム画面情報と共に与えられる制御情報に基づいて行うことを特徴とする請求項７記載の携帯端末。   8. The mobile terminal according to claim 7, wherein the attention information determination means starts and ends information collection for determining information of interest based on control information given together with game screen information. 画像情報は、インターネットを介して受け取ることを特徴とする請求項１または請求項２記載の携帯端末。   The mobile terminal according to claim 1 or 2, wherein the image information is received via the Internet. 表示手段への視認操作を促すための通知手段を備え、注目情報判定手段は、前記通知手段による通知時に注目している情報を判定することを特徴とする請求項１または請求項２記載の携帯端末。   3. The portable device according to claim 1, further comprising a notification unit for prompting a visual recognition operation to the display unit, wherein the attention information determination unit determines information that is noticed at the time of notification by the notification unit. Terminal.

Images