JP2007036874A - 視聴者情報測定システム及びこれを用いたマッチングシステム - Google Patents

視聴者情報測定システム及びこれを用いたマッチングシステム Download PDF

Info

Publication number
JP2007036874A
JP2007036874A JP2005219382A JP2005219382A JP2007036874A JP 2007036874 A JP2007036874 A JP 2007036874A JP 2005219382 A JP2005219382 A JP 2005219382A JP 2005219382 A JP2005219382 A JP 2005219382A JP 2007036874 A JP2007036874 A JP 2007036874A
Authority
JP
Japan
Prior art keywords
viewer
information
terminal
matching
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005219382A
Other languages
English (en)
Inventor
Terumasa Aoki
輝勝 青木
Hiroshi Yasuda
浩 安田
Kowalik Uwe
コワァリク ウーウェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to JP2005219382A priority Critical patent/JP2007036874A/ja
Priority to PCT/JP2006/314053 priority patent/WO2007013312A1/ja
Publication of JP2007036874A publication Critical patent/JP2007036874A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4663—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving probabilistic networks, e.g. Bayesian networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】 視聴者の感性を反映した視聴質を測定できるシステムを提供する。
【解決手段】
以下のステップを実行することにより、視聴者情報を測定することができる：
（１）端末を視聴する視聴者の画像を取得するステップ；
（２）前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得するステップ；
（３）前記視聴者の画像に基づいて、前記視聴者による、端末の表示画面における興味領域を示す興味データを取得するステップ；
（４）前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成するステップ。
さらに、このように測定された視聴者情報を用いて、視聴者どうしのマッチングも可能となる。
【選択図】図４

Description

本発明は、視聴者の情報（特に感性に関する情報）を測定するシステム、及び、これを用いたマッチングシステムに関するものである。
従来、例えば放送の分野では、視聴の「量」を示す指標として、視聴率が用いられている。
ところで、近年、視聴者の詳しい視聴状態を把握することの要求が高まっている。そこで、視聴の「質」（「視聴質」）を測定することが望まれる。
本発明は、このような状況に鑑みてなされたものである。本発明の一つの目的は、視聴者の感性を反映した視聴質を測定できるシステムを提供することである。本発明の他の目的は、このような測定システムで取得された視聴質の情報を用いて、ユーザどうしのマッチングを行うことができるシステムを提供することである。
本発明は、前記の課題に対応して、下記の項目に示される解決手段を採用している。
（項目１）
カメラと、感情取得部と、興味取得部と、データ統合部とを備え、
前記カメラは、端末を視聴する視聴者の画像を取得する構成となっており、
前記感情取得部は、前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得する構成となっており、
前記興味取得部は、前記視聴者の画像に基づいて、前記視聴者による、前記端末の表示画面における興味領域を示す興味データを取得する構成となっており、
前記データ統合部は、前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成する構成となっている
ことを特徴とする視聴者情報測定システム。
（項目２）
前記感情データは、前記視聴者の笑いの強さを示すものであることを特徴とする、項目１に記載の視聴者情報測定システム。
（項目３）
前記感情取得部は、前記視聴者の画像における顔の特徴点を用いて、前記視聴者の感情を推定するものであることを特徴とする、項目１又は２に記載の視聴者情報測定システム。
（項目４）
前記コンテンツの情報は、少なくともコンテンツ時刻情報を含んでいることを特徴とする、項目１〜３のいずれか１項に記載の視聴者情報測定システム。
（項目５）
前記コンテンツの情報は、さらに、コンテンツを特定するための情報を含んでいることを特徴とする、項目４に記載の視聴者情報測定システム。
（項目６）
項目１〜５のいずれかに記載の視聴者情報測定システムと、マッチング部と、類似度測定部とを備え、
前記視聴者情報測定システムは、このシステムで測定された視聴者情報を格納する記憶部をさらに備えており、
前記マッチング部は、他の端末における前記視聴者情報と、前記記憶部に格納された視聴者情報とのマッチングの程度を算出する構成となっており、
前記類似度測定部は、前記マッチングの程度と、設定された水準との比較結果を出力する構成となっている
ことを特徴とするマッチングシステム。
（項目７）
項目６に記載のマッチングシステムによって出力された前記比較結果を、ネットワークを介して他の端末が受け取り、この比較結果を用いて、前記他の端末において相互通信の相手を表示又は選択する構成となっていることを特徴とする相互通信システム。
（項目８）
以下のステップを備えることを特徴とする、視聴者情報測定方法：
（１）端末を視聴する視聴者の画像を取得するステップ；
（２）前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得するステップ；
（３）前記視聴者の画像に基づいて、前記視聴者による、端末の表示画面における興味領域を示す興味データを取得するステップ；
（４）前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成するステップ。
（項目９）
以下のステップを備えることを特徴とするマッチング方法：
（１）項目８に記載の方法で測定された視聴者情報を記憶部に格納するステップ；
（２）他の端末における前記視聴者情報と、前記記憶部に格納された前記視聴者情報とのマッチングの程度を算出するステップ；
（３）前記マッチングの程度と、設定された水準との比較結果を出力するステップ。
（項目１０）
コンピュータに以下のステップを実行させることを特徴とする、視聴者情報測定用のコンピュータプログラム：
（１）端末を視聴する視聴者の画像を取得するステップ；
（２）前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得するステップ；
（３）前記視聴者の画像に基づいて、前記視聴者による、端末の表示画面における興味領域を示す興味データを取得するステップ；
（４）前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成するステップ。
（項目１１）
コンピュータに以下のステップを実行させることを特徴とする、視聴者のマッチング用のコンピュータプログラム：
（１）項目８に記載の方法（あるいは項目１０に記載のコンピュータプログラム）を用いて測定された視聴者情報を記憶部に格納するステップ；
（２）他の端末における前記視聴者情報と、前記記憶部に格納された前記視聴者情報とのマッチングの程度を算出するステップ；
（３）前記マッチングの程度と、設定された水準との比較結果を出力するステップ。
本発明の視聴者情報測定システムによれば、視聴者の感性を反映した視聴質を測定できるシステムを提供することができる。本発明のマッチングシステムによれば、このような測定システムで取得された視聴質の情報を用いて、ユーザどうしのマッチングを行うことが可能となる。
以下、本発明の一実施形態に係る視聴者情報測定システムを用いたマッチングシステムを、添付図面を参照して説明する。
（実施形態の構成）
まず、本実施形態のマッチングシステムが適用されるネットワークシステム全体の構成例を、図１により説明する。このシステムは、インターネットなどのネットワーク１と、ブロードキャスト端末２と、複数のユーザ端末３とを備えている。
ブロードキャスト端末２は、ネットワーク１を介して、複数のユーザ端末３に向けてブロードキャストを行うことができるように構成されている。ブロードキャストを行うためのプロトコルとしては、例えば、インターネットにおける標準的なものを利用することができる。また、ブロードキャストされるコンテンツとしては、特に限定はなく、種々のものを送信することができる。
各ユーザ端末３は、図２に示されるように、コンテンツを表示するための画面と、ユーザ間のマッチングを行うためのマッチングシステム４と、Ｉ／Ｆ部５とを備えている（後述）。ユーザ端末３どうしは、ネットワーク１を介して、あるいは直接に、Ｉ／Ｆ部５を用いて通信できるように構成されている。
（マッチングシステムの構成）
マッチングシステム４は、本発明の一実施形態に対応するものである。マッチングシステム４は、視聴者情報測定システム４１と、記憶部４２と、マッチング部４３と、類似度測定部４４とを備えている（図２参照）。
視聴者情報測定システム４１は、本発明の一実施形態に対応するものであり、その構成については後述する。記憶部４２は、このシステムで測定された視聴者情報を格納するものである。記憶部４２としては、コンピュータの内部記憶装置又は外部記憶装置を用いることができる。あるいは、ネットワークを介して接続された他のノードにおける記憶装置であってもよい。
マッチング部４３は、他の視聴者から送られてきた視聴者情報と、記憶部４２に格納された視聴者情報とのマッチングの程度を算出するものである。このようなマッチング部４３は、コンピュータのハードウエア又はソフトウエアを用いて構成することができる。本実施形態における他の機能要素についても同様である。
類似度測定部４４は、マッチングの程度と、設定された水準との比較結果を出力する構成となっているものである。
マッチングシステム４の詳しい説明は、後述する動作の説明において行う。
（測定システムの構成）
測定システム４１は、カメラ４１１と、感情取得部４１２と、興味取得部４１３と、データ統合部４１４とを備えている。
カメラ４１１は、端末３を視聴する視聴者の画像を取得する構成となっている。カメラ４１１は、例えば端末３の近傍に、視聴者を向くようにして設置することが好ましい。ただし、カメラ４１１を、部屋の天井や壁面などの位置に取り付けることも可能である。カメラ４１１は、視聴者の顔の画像を取得できるように設定されていることが好ましい。
カメラ４１１としては、例えば、ＣＣＤやＣＭＯＳを用いたデジタルカメラとすることが通常は好ましい。また、カメラ４１１としては、可視光カメラ以外にも、赤外線カメラやレンジファインダとすることが可能である。カメラ４１１としては、視聴者の顔の構造情報を取得できるものであれば、各種のものを使用できる。また、カメラ４１１で取得する画像としては、動画でも静止画でも良い。
感情取得部４１２は、カメラ４１１で取得した、視聴者の画像に基づいて、視聴者の感情を示す感情データを取得する構成となっている。
興味取得部４１３は、カメラ４１１で取得した、視聴者の画像に基づいて、視聴者による、端末３の表示画面における興味領域を示す興味データを取得する構成となっている。
データ統合部４１４は、感情データと興味データとに加えて、端末３で表示されるコンテンツの情報を統合して視聴者情報を生成する構成となっている。
測定システム４１の詳しい説明も、後述する動作の説明において行う。
（実施形態の動作）
（測定システムの動作…視聴者情報測定方法）
次に、主に図４を参照して、本実施形態の測定システム４１を用いて視聴者情報を測定する方法の一例を説明する。
（図４のステップＳａ−１）
カメラ４１１により、端末３を視聴する視聴者の画像を取得する。取得された画像は、通常は、何らかの記憶装置に格納される。もちろん、画像を感情取得部４１２に直接送っても良い。
（図４のステップＳａ−２）
感情取得部４１２は、カメラ４１１で取得された画像から、顔の領域がどこであるか（つまり、どこに顔があるか）を検出する。検出された顔領域の情報は、興味取得部４１３に、直接又は記憶装置を介して送られる。なお、本実施形態では、感情取得部４１２により顔を検出しているが、顔検出のための単独の機能ブロックによりこの処理を行っても良いし、他の機能ブロックによりこの処理を行っても良い。
（図４のステップＳａ−３）
ついで、感情取得部４１２は、検出された顔領域において、顔特徴（すなわち、顔との特徴を表す特徴点）を検出する。顔特徴の検出手法は、既に知られた方法を用いることができるので、詳しい説明は省略する。
（図４のステップＳａ−４）
ついで、感情取得部４１２は、顔特徴を分類し、視聴者の感情の状態を推定する。例えば、顔特徴を、データベースに記録された状態と照合することにより推定ができる。顔特徴を分類する手法も、既に知られた方法を用いることができるので、詳しい説明は省略する。本実施形態では、視聴者が笑っていると推定される場合のみ、以降の動作を行う。笑い以外の状態であると推定された場合は、最初のステップに戻って動作を繰り返す。もちろん、終了コマンドやタイマによる終了は可能である。
（図４のステップＳａ−５）
ついで、感情取得部４１２は、感情の強さを推定する。この推定においても、既に知られた方法を用いることもできるが、本実施形態では以下のような方法を用いる。
まず、感情の強さを推定するためにニューラルネットワークを用いる。具体的には、動きならびに回転の補償がなされた口形状の特徴点８点が入力として使われる。この８点の口形状特徴点は16次元ベクトルとなる（8特徴点それぞれのｘ、ｙの座標値）。本システムで用いるニューラルネットワークは３層構造のfeed-forwardネットワークであり、入力層、中間層、出力層から構成される（図示せず）。入力層は16次元ベクトルを扱うために16個のニューロンから構成され、中間層は10個のニューロン、出力層は1個のニューロンから構成されることとする。ニューラルネットワークは、あらかじめ300程度のサンプルデータを用いて学習させておくことにより、非常に高い精度で感情の強さを推定できるようになる。
本実施形態では、このようにして、視聴者の画像に基づいて、視聴者の感情を示す感情データを取得することができる。得られる感情データの一例を図５に示す。このデータは、コンテンツ表示の時間経過に対応する、感情度（感情の強さ）の変化を示している。具体的には、このデータは、視聴者の笑いの強さを示すものである。
（図４のステップＳａ−６）
一方、興味取得部４１３は、感情取得部４１２で得られた顔の情報を用いて検出された顔における視線を検出する。この手法としても従来のものを用いることができるが、本実施形態では以下の手法を用いる。
視線検出は、６個の特徴点（１つの目あたり３つの特徴点）のデータセットを用いて行う。６個の特徴点とは、具体的には、２つの目の内側、外側、瞳孔（中央部）であり、まず第一ステップとして、"メインの目"をそれぞれの目の投射面での目の長さを計算することによって決定する。目の長さは目の内側と外側の間の距離であり、最大長の目を"メインの目"とみなすことにする。そうすることによって、頭部の回転による目の特徴のオクルージョンも扱うことが可能となる。
続いて第二ステップとして、目の内側と中央、中央と外側の距離を計算し、それから垂直方向の目の中心線からの瞳孔のずれが計算できる（下記参照）。
innerDistance = mainEyeInnerX - mainEyeCenterX;
outerDistance = mainEyeCenterX - mainEyeOuterX;
displacement = (innerDistance - outerDistance)/mainEyeLength
そして、第三ステップとして、眼球の半径（通常直径2.5cmと言われているため本例でもこの値を用いる）と上記で算出したずれ量から目（眼球）の回転角度を計算する。
このようにして、回転角が頭部回転によって補償されることになり、正面から見た時の最終的な絶対角が得られる。そして、最後に、以上の情報を元に視線情報とスクリーン面の交点を求めることによって画面上の興味領域を算出する。
（図４のステップＳａ−７）
ついで、興味取得部４１３は、視線の情報を用いて、視聴者が、端末３の画面におけるどの領域を見ているかを検出する。本実施形態では、図６に示すように、端末３の画面３１を、５個の領域３２ａ〜３２ｅに仮想的に分割している。興味取得部４１３は、これらの領域のうちのどれを視聴者が見ているかを検出する。もちろん、領域の数は、５より多くても少なくても良い。
本実施形態では、このようにして、視聴者の画像に基づいて、視聴者による、端末３の表示画面３１における興味領域を示す興味データを取得することができる。
（図４のステップＳａ−８）
ついで、データ統合部４１４は、前記のようにして得られた感情データと興味データとに加えて、端末３で表示されるコンテンツの情報（図２〜図４のメディア情報）を統合して視聴者情報を生成する。コンテンツの情報としては、例えば、コンテンツ時刻情報（コンテンツの送信時間など）や、コンテンツを特定するための情報（チャンネル情報など）である。もちろん、これらの情報に加えて、ユーザを特定するための情報を付加しても良い。このようにして、視聴者の感性を反映した視聴質を測定することができる。
（図４のステップＳａ−９）
ついで、データ統合部４１４は、Ｉ／Ｆ部５を介して、視聴者情報を転送する。図７に、視聴者情報を含むパケットの一例を示した。例えば、このようなパケットを、Ｉ／Ｆ部５を介してネットワークに送信することができる。このような情報をブロードキャスト端末２やセンターサーバ（図示せず）で受信して解析することにより、視聴者の感性（本例では笑い）を反映した視聴質を取得することができる。すると、どのような画面領域を注視した視聴者がどのような笑いを生じたかというような分析が可能となる。この分析を用いて、番組製作や、視聴者への情報配信を行うことができる。
（マッチングシステムの動作）
つぎに、前記した測定システム４１を利用したマッチングシステム４の動作を、図８を主に参照しながら説明する。
（図８のステップＳｂ−１）
まず、ネットワーク全体の動作としては、ブロードキャスト端末２が、ネットワークを介して、各ユーザ端末３に、コンテンツを配信する。この配信は、オンデマンド配信を前提とすれば、異なった時点で行われるのが通常である。もちろん、同時に配信が行われてもよい。
また、ユーザ端末３の数は特に限定されないが、図８では、二つの端末３Ａと３Ｂとを図示している。また、ユーザ端末３Ａと３Ｂは、同様に動作するものであるが、図８では、記載の煩雑化を避けるため、重複する動作についてはどちらかの端末側の動作として記載している。もちろん、各端末３における同様のステップは、同時に実行されてもよいが、異なる時点で実行されるのが通常である。
コンテンツを受信したユーザ端末３Ａ（端末３Ｂにおいても同様の処理が行われる。以下同様）は、当該コンテンツを、端末３Ａの画面に表示する。
（図８のステップＳｂ−２）
ついで、ユーザ端末３Ａは、表示されたコンテンツを視聴した視聴者の情報を、前記した視聴者情報測定方法によって測定する。測定された視聴者情報は、前記したとおり、当該のユーザ端末３Ａの記憶部４２格納される。また、この視聴者情報（ユーザのパラメータ）は、他の端末（図８の例ではブロードキャスト端末２と他のユーザ端末３Ｂ）に送信される。
（図８のステップＳｂ−３）
本実施形態では、視聴者情報（ユーザのパラメータ）を受け取ったブロードキャスト端末２は、この情報を記憶装置に格納して保存する。
（図８のステップＳｂ−４）
視聴者情報を受け取ったユーザ端末３Ｂは、この端末３Ｂからみて他の端末である端末３Ａから送られた視聴者情報と、当該ユーザ端末３Ｂにおける記憶部４２に格納された視聴者情報とのマッチングの程度を算出する。この算出は、ユーザ端末３Ｂにおけるマッチングシステム４のマッチング部４３により行われる。また、ユーザ端末３Ｂにおいても、ユーザ端末３Ａと同様に視聴者情報を取得し、その情報を、当該端末３Ｂの記憶部４２に予め格納しているものとする。
マッチングの程度を算出する方法としては、例えば、ユーザ端末３Ａから送られてきた視聴者情報（時系列データ）と、ユーザ端末３Ｂに格納されている視聴者情報（時系列データ）との相互相関(cross-correlation)によって求めることができる。
相互相関Ｃ（ｎ）は、例えば下記の式（１）により求めることができる。
Figure 2007036874
ここで、
ｋ：サンプルのインデックス；
Ｎ：サンプルの個数；
Ｓ（ｋ）：ユーザ端末３Ｂに格納された視聴者情報の時間波形；
Ｂ（ｋ）：ユーザ端末３Ａから送られた視聴者情報の時間波形；
ｎ：Ｓ（ｋ）とＢ（ｋ）のコンテンツ時刻の差（本実施形態においては、原則として、同一コンテンツを視聴したときの類似度を算出しているために、ｎ＝０と考えても問題ないが、視聴者によって感情が表情に出るまでの速度に個人差がある場合には、ｎは０とはならない）；
である。
本実施形態においては、視聴者情報が、コンテンツ時刻情報を含んでいる。このため、コンテンツの進行（時間軸）が共通した視聴者情報どうしの相互相関を算出することができる。よって、本実施形態によれば、視聴者情報の一致の度合い（つまり、マッチングの程度）を、単純かつ正確に算出することが可能となる。
ついで、ユーザ端末３Ｂは、類似度測定部４４により、マッチングの程度と、設定された水準との比較結果を出力する。例えば、得られたマッチングの程度が、予め設定されたしきい値を超えた場合は、一致を示す情報を出力する。また、マッチングの程度が、予め設定された閾値を越えない場合は、不一致を示す情報を出力する。一致情報と不一致情報とをまとめて、この明細書では、比較結果と称する。ただし、比較結果としては、一致情報のみ、あるいは、不一致情報のみであってもよい。また、比較結果としては、二値情報でなく、３値以上の情報であっても良いし、あるいは、比較結果に対応するものであれば、何らかのアナログ情報であってもよい。
ついで、ユーザ端末３Ｂは、そのＩ／Ｆ部５を介して、比較結果（図８ではマッチング結果）を、ネットワーク１経由で、ユーザ端末３Ａに送る。
ユーザ端末３Ａは、ユーザ端末３Ｂにおける比較結果を、ネットワーク１を介して受け取る。
なお、前記したような、ユーザ端末から他のユーザ端末に問い合わせを発し、返信を得るためのプロトコルとしては、ＳＡＰ（Session Announcement Protocol）やＳＤＰ（Session Description Protocol）を用いることができる。他の端末に送るための視聴者情報は、これらのプロトコルて使われるパケットの空き領域を用いて送ることができる。
（図８のステップＳｂ−５及びＳｂ−６）
ユーザ端末３Ａは、この比較結果を用いて、相互通信（例えばチャットやＩＰ電話）の相手を表示又は選択することができる。
従来のブロードキャストシステム（例えば視聴者参加型テレビジョン放送）では、局と視聴者との関係は生じるものの、視聴者相互間の関係を構築することは難しい。これに対して、本実施形態では、マッチングの比較結果を各ユーザが把握できる。よって、各ユーザは、自分と好みが近いユーザの情報を収集して端末に表示し、そこから、相互通信の相手を選択することができる。さらに、各ユーザは、相手が同意すれば、選択したユーザと相互通信することができる。すなわち、本システムによれば、類似する感性データを持つユーザどうしでグループを容易に生成することが可能となるという利点がある。チャットやＩＰ電話のシステムは、従来の技術を用いることができるので、説明を省略する。
なお、前記各実施形態の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。
例えば、前記実施形態では、各端末にカメラを設置して視聴者情報を取得することとしている。しかし、一つの端末を多数の視聴者で見るシステムであってもよい。この場合は、図４のステップＳａ−２において、各個人ごとの顔を検出する処理を行う。それぞれの顔を認識した後の処理は、前記した実施形態と同様である。この場合には、複数の視聴者情報を一つの端末で収集できるので、個人を特定しないで視聴者情報を取得する用途として好適である。
また、前記実施形態では、マッチングシステムの一部として視聴者情報測定システムを組み込んだが、マッチングシステムを前提としないで、視聴者情報測定システムを用いることも可能である。また、この測定システムは、ネットワークに接続されていなくてもよい。
さらに、各実施形態を実現するための各部（機能ブロックを含む）の具体的手段は、ハードウエア、ソフトウエア、ネットワーク、これらの組み合わせ、その他の任意の手段を用いることができ、このこと自体は当業者において自明である。また、機能ブロックどうしが複合して一つの機能ブロックに集約されても良い。さらに、機能ブロックが複数のハードウエアまたはソフトウエアの協働によって実現されても良い。
本発明の一実施形態におけるマッチングシステムが適用されるネットワークの全体図である。 本発明の一実施形態におけるマッチングシステムの概略を示すブロック図である。 本発明野市実施形態における測定システムの概略を示すブロック図である。 測定方法の概略を示すためのフローチャートである。 視聴者情報の一例を示すグラフであって、縦軸は感情度、横軸はメディア時刻である。 端末の画面上における領域の例を示すための説明図である。 視聴者情報を含むパケットの一例を示す説明図である。 マッチング方法の概略を示すためのフローチャートである。
符号の説明
１ ネットワーク
２ ブロードキャスト端末
３ ユーザ端末
３１ ユーザ端末の画面
３２ａ〜３２ｅ 画面上の領域
４ マッチングシステム
４１ 測定システム
４１１ カメラ
４１２ 感情取得部
４１３ 興味取得部
４１４ データ統合部
４２ 記憶部
４３ マッチング部
４４ 類似度測定部
５ Ｉ／Ｆ部

Claims (11)

  1. カメラと、感情取得部と、興味取得部と、データ統合部とを備え、
    前記カメラは、端末を視聴する視聴者の画像を取得する構成となっており、
    前記感情取得部は、前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得する構成となっており、
    前記興味取得部は、前記視聴者の画像に基づいて、前記視聴者による、前記端末の表示画面における興味領域を示す興味データを取得する構成となっており、
    前記データ統合部は、前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成する構成となっている
    ことを特徴とする視聴者情報測定システム。
  2. 前記感情データは、前記視聴者の笑いの強さを示すものであることを特徴とする、請求項１に記載の視聴者情報測定システム。
  3. 前記感情取得部は、前記視聴者の画像における顔の特徴点を用いて、前記視聴者の感情を推定するものであることを特徴とする、請求項１又は２に記載の視聴者情報測定システム。
  4. 前記コンテンツの情報は、少なくともコンテンツ時刻情報を含んでいることを特徴とする、請求項１〜３のいずれか１項に記載の視聴者情報測定システム。
  5. 前記コンテンツの情報は、さらに、コンテンツを特定するための情報を含んでいることを特徴とする、請求項４に記載の視聴者情報測定システム。
  6. 請求項１〜５のいずれかに記載の視聴者情報測定システムと、マッチング部と、類似度測定部とを備え、
    前記視聴者情報測定システムは、このシステムで測定された視聴者情報を格納する記憶部をさらに備えており、
    前記マッチング部は、他の端末における前記視聴者情報と、前記記憶部に格納された視聴者情報とのマッチングの程度を算出する構成となっており、
    前記類似度測定部は、前記マッチングの程度と、設定された水準との比較結果を出力する構成となっている
    ことを特徴とするマッチングシステム。
  7. 請求項６に記載のマッチングシステムによって出力された前記比較結果を、ネットワークを介して他の端末が受け取り、この比較結果を用いて、前記他の端末において相互通信の相手を表示又は選択する構成となっていることを特徴とする相互通信システム。
  8. 以下のステップを備えることを特徴とする、視聴者情報測定方法：
    （１）端末を視聴する視聴者の画像を取得するステップ；
    （２）前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得するステップ；
    （３）前記視聴者の画像に基づいて、前記視聴者による、端末の表示画面における興味領域を示す興味データを取得するステップ；
    （４）前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成するステップ。
  9. 以下のステップを備えることを特徴とするマッチング方法：
    （１）請求項８に記載の方法で測定された視聴者情報を記憶部に格納するステップ；
    （２）他の端末における前記視聴者情報と、前記記憶部に格納された前記視聴者情報とのマッチングの程度を算出するステップ；
    （３）前記マッチングの程度と、設定された水準との比較結果を出力するステップ。
  10. コンピュータに以下のステップを実行させることを特徴とする、視聴者情報測定用のコンピュータプログラム：
    （１）端末を視聴する視聴者の画像を取得するステップ；
    （２）前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得するステップ；
    （３）前記視聴者の画像に基づいて、前記視聴者による、端末の表示画面における興味領域を示す興味データを取得するステップ；
    （４）前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成するステップ。
  11. コンピュータに以下のステップを実行させることを特徴とする、視聴者のマッチング用のコンピュータプログラム：
    （１）請求項８に記載の方法で測定された視聴者情報を記憶部に格納するステップ；
    （２）他の端末における前記視聴者情報と、前記記憶部に格納された前記視聴者情報とのマッチングの程度を算出するステップ；
    （３）前記マッチングの程度と、設定された水準との比較結果を出力するステップ。
JP2005219382A 2005-07-28 2005-07-28 視聴者情報測定システム及びこれを用いたマッチングシステム Withdrawn JP2007036874A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005219382A JP2007036874A (ja) 2005-07-28 2005-07-28 視聴者情報測定システム及びこれを用いたマッチングシステム
PCT/JP2006/314053 WO2007013312A1 (ja) 2005-07-28 2006-07-14 視聴者情報測定システム及びこれを用いたマッチングシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005219382A JP2007036874A (ja) 2005-07-28 2005-07-28 視聴者情報測定システム及びこれを用いたマッチングシステム

Publications (1)

Publication Number Publication Date
JP2007036874A true JP2007036874A (ja) 2007-02-08

Family

ID=37683213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005219382A Withdrawn JP2007036874A (ja) 2005-07-28 2005-07-28 視聴者情報測定システム及びこれを用いたマッチングシステム

Country Status (2)

Country Link
JP (1) JP2007036874A (ja)
WO (1) WO2007013312A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102533A1 (ja) * 2007-02-20 2008-08-28 Panasonic Corporation 視聴質判定装置、視聴質判定方法、視聴質判定プログラム、および記録媒体
JP2011505721A (ja) * 2007-11-20 2011-02-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 省電力透過ディスプレイ
JP2011129997A (ja) * 2009-12-15 2011-06-30 Victor Co Of Japan Ltd ユーザ情報処理プログラム、再生プログラム、ユーザ情報処理装置、再生装置、ユーザ情報処理方法、及び、再生方法
JP2011239158A (ja) * 2010-05-10 2011-11-24 Nippon Hoso Kyokai <Nhk> ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム
JP2012089909A (ja) * 2010-10-15 2012-05-10 Sony Corp 情報処理装置、同期方法およびプログラム
JP2012244361A (ja) * 2011-05-18 2012-12-10 Nippon Hoso Kyokai <Nhk> 受信機及びプログラム
JP2013153349A (ja) * 2012-01-25 2013-08-08 Nippon Hoso Kyokai <Nhk> 視聴状況認識装置及び視聴状況認識プログラム
JP2013183373A (ja) * 2012-03-02 2013-09-12 Nippon Telegr & Teleph Corp <Ntt> 興味度合い推定装置、方法及びプログラム
JP2014504460A (ja) * 2010-09-30 2014-02-20 アフェクティヴァ，インコーポレイテッド ウェブ対応アプリケーションに対する感情データの測定
KR20140089454A (ko) * 2013-01-04 2014-07-15 삼성전자주식회사 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
US10219018B2 (en) 2013-12-30 2019-02-26 Samsung Electronics Co., Ltd. Method of controlling display device for providing content and display device performing the same
JP6905775B1 (ja) * 2020-10-27 2021-07-21 株式会社Ｔｈｅａｔｅｒ Ｇｕｉｌｄ プログラム、情報処理装置及び方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010094493A (ja) * 2008-09-22 2010-04-30 Koichi Kikuchi 視認情景に対する視認者情感判定装置
US9584793B2 (en) 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3777222D1 (de) * 1986-04-04 1992-04-16 Applied Science Group Inc Verfahren und geraet zur entwicklung der darstellung der sehzeitverteilung wenn leute fernsehwerbung beobachten.
US6931147B2 (en) * 2001-12-11 2005-08-16 Koninklijke Philips Electronics N.V. Mood based virtual photo album
JP4162041B2 (ja) * 2002-12-24 2008-10-08 松下電器産業株式会社 番組視聴通知装置
JP4335642B2 (ja) * 2003-11-10 2009-09-30 日本電信電話株式会社 視聴者反応情報収集方法と、視聴者反応情報収集システムで用いられるユーザ端末及び視聴者反応情報提供装置と、そのユーザ端末・視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008205861A (ja) * 2007-02-20 2008-09-04 Matsushita Electric Ind Co Ltd 視聴質判定装置、視聴質判定方法、視聴質判定プログラム、および記録媒体
WO2008102533A1 (ja) * 2007-02-20 2008-08-28 Panasonic Corporation 視聴質判定装置、視聴質判定方法、視聴質判定プログラム、および記録媒体
US8648844B2 (en) 2007-11-20 2014-02-11 Koninklijke Philips N.V. Power saving transmissive display
JP2011505721A (ja) * 2007-11-20 2011-02-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 省電力透過ディスプレイ
KR101572813B1 (ko) * 2007-11-20 2015-12-01 코닌클리케 필립스 엔.브이. 파워 절약 투과형 디스플레이
JP2011129997A (ja) * 2009-12-15 2011-06-30 Victor Co Of Japan Ltd ユーザ情報処理プログラム、再生プログラム、ユーザ情報処理装置、再生装置、ユーザ情報処理方法、及び、再生方法
JP2011239158A (ja) * 2010-05-10 2011-11-24 Nippon Hoso Kyokai <Nhk> ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム
JP2014504460A (ja) * 2010-09-30 2014-02-20 アフェクティヴァ，インコーポレイテッド ウェブ対応アプリケーションに対する感情データの測定
JP2012089909A (ja) * 2010-10-15 2012-05-10 Sony Corp 情報処理装置、同期方法およびプログラム
JP2012244361A (ja) * 2011-05-18 2012-12-10 Nippon Hoso Kyokai <Nhk> 受信機及びプログラム
JP2013153349A (ja) * 2012-01-25 2013-08-08 Nippon Hoso Kyokai <Nhk> 視聴状況認識装置及び視聴状況認識プログラム
JP2013183373A (ja) * 2012-03-02 2013-09-12 Nippon Telegr & Teleph Corp <Ntt> 興味度合い推定装置、方法及びプログラム
KR20140089454A (ko) * 2013-01-04 2014-07-15 삼성전자주식회사 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
KR102091848B1 (ko) 2013-01-04 2020-03-20 삼성전자주식회사 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
US10219018B2 (en) 2013-12-30 2019-02-26 Samsung Electronics Co., Ltd. Method of controlling display device for providing content and display device performing the same
JP6905775B1 (ja) * 2020-10-27 2021-07-21 株式会社Ｔｈｅａｔｅｒ Ｇｕｉｌｄ プログラム、情報処理装置及び方法
WO2022091493A1 (ja) * 2020-10-27 2022-05-05 株式会社Theater Guild プログラム、情報処理装置及び方法
JP2022070404A (ja) * 2020-10-27 2022-05-13 株式会社Theater Guild プログラム、情報処理装置及び方法

Also Published As

Publication number Publication date
WO2007013312A1 (ja) 2007-02-01

Similar Documents

Publication Publication Date Title
JP2007036874A (ja) 視聴者情報測定システム及びこれを用いたマッチングシステム
US10270972B2 (en) Portable video communication system
CN113168231A (zh) 用于跟踪真实世界对象的移动以改进虚拟对象定位的增强技术
US9100667B2 (en) Life streaming
US9842434B2 (en) System and method for reproducing objects in 3D scene
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
RU2598598C2 (ru) Устройство обработки информации, система обработки информации и способ обработки информации
US20090241039A1 (en) System and method for avatar viewing
JP2008140271A (ja) 対話装置及びその方法
JP2015075908A (ja) 感情情報表示制御装置、その方法及びプログラム
WO2021047069A1 (zh) 人脸识别方法和电子终端设备
JP2006262010A (ja) 遠隔会議・教育システム
AU2020309094B2 (en) Image processing method and apparatus, electronic device, and storage medium
JPWO2009119288A1 (ja) コミュニケーションシステム及びコミュニケーションプログラム
JP2011113206A (ja) 映像コミュニケーションシステム、及び映像コミュニケーション方法
CN109040837A (zh) 视频处理方法及装置、电子设备和存储介质
CN109788227A (zh) 一种图像处理方法及其装置、设备和存储介质
EP1372341A2 (en) Information display system and portable information terminal
Choi et al. Improving the usability of remote eye gaze tracking for human-device interaction
CN109740557A (zh) 对象检测方法及装置、电子设备和存储介质
JP4287770B2 (ja) 情報伝達方法及びこの方法を実現するための通信装置とそのプログラム
JP3389102B2 (ja) ネットワーク会議画像処理装置
JP2017175544A (ja) 対話システム及び対話システムの制御方法
JP2017130046A (ja) 視線一致顔画像合成方法、テレビ会議システム、及びプログラム
JP2005123750A (ja) 映像・地図連動システム及びその連動方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20081007