JP2011128790A - User information processing program, user information processor and user information processing method - Google Patents
User information processing program, user information processor and user information processing method Download PDFInfo
- Publication number
- JP2011128790A JP2011128790A JP2009285402A JP2009285402A JP2011128790A JP 2011128790 A JP2011128790 A JP 2011128790A JP 2009285402 A JP2009285402 A JP 2009285402A JP 2009285402 A JP2009285402 A JP 2009285402A JP 2011128790 A JP2011128790 A JP 2011128790A
- Authority
- JP
- Japan
- Prior art keywords
- user
- data
- frame
- information
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 56
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000006243 chemical reaction Methods 0.000 claims abstract description 188
- 238000004364 calculation method Methods 0.000 claims abstract description 78
- 238000000034 method Methods 0.000 claims description 139
- 230000004044 response Effects 0.000 claims description 68
- 239000013598 vector Substances 0.000 claims description 35
- 238000009826 distribution Methods 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000000491 multivariate analysis Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 39
- 238000012937 correction Methods 0.000 description 32
- 238000013500 data storage Methods 0.000 description 29
- 238000012545 processing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 12
- 230000008451 emotion Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000010187 selection method Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 206010021703 Indifference Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 240000007643 Phytolacca americana Species 0.000 description 1
- 235000009074 Phytolacca americana Nutrition 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、コンテンツに係るユーザの反応情報を処理する技術に関するものであり、特にコンテンツに対する興味の似たユーザ同士を特定する技術に関するものである。 The present invention relates to a technique for processing user reaction information related to content, and particularly to a technique for identifying users having similar interests in content.
近年、コンピュータ技術やネットワーク技術の進展を背景に、大量のコンテンツが制作され、流通している。また、ネットワークを介したユーザ間のコミュニケーションも盛んになっている。このためユーザの所望のコンテンツを検索する技術や、ユーザ間のコミュニケーションを促進する技術へのニーズが高まっている。コンテンツに対するユーザの興味や嗜好を把握するために、コンテンツに対するユーザの反応情報を収集することは有効であり、このような技術が開発されている。 In recent years, with the progress of computer technology and network technology, a large amount of content has been produced and distributed. In addition, communication between users via a network is also popular. For this reason, there is an increasing need for a technique for searching content desired by a user and a technique for promoting communication between users. In order to grasp the user's interest and preference for the content, it is effective to collect user reaction information for the content, and such a technique has been developed.
例えば特許文献１には、コンテンツ再生中のユーザの表情、視線パターン、目の瞳孔直径、瞬き、体温、心拍数などの情報を計測し、それらのセンシングデータを収集するシステムが開示されている。
For example,
特許文献２には、コンテンツ視聴中のユーザの顔画像などから感情データを生成するシステムが開示されている。また特許文献２には、そのような感情データを使ってユーザ同士のマッチングを行う技術も開示されている。
ところで、コンテンツに対するユーザの反応や、ユーザが抱く感情は、一般的には人によってそれぞれ異なる。例えば、同じ映画の同じシーンを見たとしても、あるユーザは、「楽しい」と感じ、別のユーザは「腹立たしい」と感じることがある。このような反応の違いは、ユーザの興味や価値観の違いに基づいて生じることが多い。すなわち、コンテンツ再生時にユーザが無意識で示す反応や、ユーザが自然に抱く感情には、そのユーザの個性（興味、嗜好、センス、考え方、価値観など）が顕著に現れるものであり、コンテンツ再生時のユーザの反応情報を収集して分析することにより、ユーザの個性を的確に捕えることが可能になる。ユーザの個性を的確に把握できれば、これを基にして、ユーザ同士のマッチングを精度良く行うことができる。このためには、複数のユーザの反応情報を収集して分析する必要がある。 By the way, the reaction of the user to the content and the emotion that the user has generally differ from person to person. For example, even if the same scene of the same movie is viewed, one user may feel “fun” and another user may feel “angry”. Such a difference in reaction often occurs based on a difference in user's interests and values. In other words, the user's personality (interest, preference, sense, way of thinking, values, etc.) appears prominently in the reactions that the user unconsciously displays during content playback and the emotions that the user naturally has. By collecting and analyzing user reaction information, it becomes possible to accurately capture the individuality of the user. If the user's individuality can be accurately grasped, matching between users can be performed with accuracy based on this. For this purpose, it is necessary to collect and analyze reaction information of a plurality of users.
上記の特許文献１では、複数のユーザの反応情報を収集しているが、それらの活用方法は必ずしも十分には考慮されていなかった。特に、複数のユーザ間の違いを利用した処理は行われていなかった。
In the above-mentioned
上記の特許文献２では、コンテンツ再生時のユーザの反応情報を使って、ユーザ同士のマッチングの程度（類似度）を算出している。しかしながら、十分な精度で類似度を算出できない場合があった。また、サンプルの取り方によっては、必要以上に処理量が多くなる場合があった。
In
そこで本発明は、コンテンツ再生時のユーザの反応情報を用いて、ユーザ間の類似度を精度良く算出することを目的とする。また、ユーザ間の類似度を効率よく算出することを目的とする。 Therefore, an object of the present invention is to calculate the similarity between users with high accuracy by using user reaction information at the time of content reproduction. Moreover, it aims at calculating the similarity between users efficiently.
上記目的を達成するため、本発明のユーザ情報処理プログラムは、コンピュータを、ユーザを識別するためのユーザ識別情報と、コンテンツの再生位置を示す位置情報と、その位置情報に対応する前記ユーザの状態情報とを関連付けた反応データを読み込んで、前記位置情報を所定の開始位置と所定の終了位置を持つ各フレームに対応させると共に、前記フレームごとに複数のユーザの前記反応データを集計した反応データ集計値を算出する反応データ集計手段、前記反応データ集計値の分布情報を用いて、１つ以上の前記フレームをグループ化し、各グループの先頭のフレームの前記開始位置と末尾のフレーム前記終了位置との間にある前記位置情報を同一のブロックに対応させるためのブロック情報を生成するブロック情報生成手段、前記ブロック情報に基づいて、前記反応データの前記位置情報をブロックに対応させて、前記ユーザ識別情報ごとに、前記ブロックごとに複数の前記反応データを集約した集約データを計算する集約データ計算手段、一のユーザの前記集約データと、他のユーザの前記集約データとを用いて、一のユーザと他のユーザとの類似度を計算する類似度計算手段、として機能させる。 In order to achieve the above object, a user information processing program according to the present invention provides a computer with user identification information for identifying a user, position information indicating a reproduction position of content, and the state of the user corresponding to the position information. Reaction data aggregation in which reaction data associated with information is read, the position information is associated with each frame having a predetermined start position and a predetermined end position, and the reaction data of a plurality of users is aggregated for each frame Reaction data totaling means for calculating a value, grouping one or more of the frames using distribution information of the reaction data total value, and adding the start position of the first frame and the end frame to the end position of each group Block information generating means for generating block information for associating the position information between them with the same block, Based on block information, an aggregated data calculation means for associating the position information of the reaction data with a block and calculating aggregated data obtained by aggregating a plurality of the reaction data for each block for each of the user identification information, It is made to function as a similarity calculation means for calculating the similarity between one user and another user using the aggregated data of the other user and the aggregated data of the other user.
本発明のユーザ情報処理装置は、ユーザを識別するためのユーザ識別情報と、コンテンツの再生位置を示す位置情報と、その位置情報に対応する前記ユーザの状態情報とを関連付けた反応データを読み込んで、前記位置情報を所定の開始位置と所定の終了位置を持つ各フレームに対応させると共に、前記フレームごとに複数のユーザの前記反応データを集計した反応データ集計値を算出する反応データ集計手段と、前記反応データ集計値の分布情報を用いて、１つ以上の前記フレームをグループ化し、各グループの先頭のフレームの前記開始位置と末尾のフレーム前記終了位置との間にある前記位置情報を同一のブロックに対応させるためのブロック情報を生成するブロック情報生成手段と、前記ブロック情報に基づいて、前記反応データの前記位置情報をブロックに対応させて、前記ユーザ識別情報ごとに、前記ブロックごとに複数の前記反応データを集約した集約データを計算する集約データ計算手段と、一のユーザの前記集約データと、他のユーザの前記集約データとを用いて、一のユーザと他のユーザとの類似度を計算する類似度計算手段と、を有する。 The user information processing apparatus of the present invention reads reaction data in which user identification information for identifying a user, position information indicating a reproduction position of content, and the user status information corresponding to the position information are associated with each other. Reaction data totaling means for associating the position information with each frame having a predetermined start position and a predetermined end position, and calculating a reaction data total value obtained by totaling the reaction data of a plurality of users for each frame; One or more of the frames are grouped using the distribution information of the reaction data aggregate value, and the position information between the start position and the end frame of the first frame of each group is the same. Block information generating means for generating block information to correspond to the block, and based on the block information, the reaction data Corresponding position information corresponding to a block, for each of the user identification information, aggregated data calculation means for calculating aggregated data obtained by aggregating a plurality of the reaction data for each block, the aggregated data of one user, and other Similarity calculation means for calculating the similarity between one user and another user using the aggregated data of the other users.
本発明のユーザ情報処理方法は、ユーザを識別するためのユーザ識別情報と、コンテンツの再生位置を示す位置情報と、その位置情報に対応する前記ユーザの状態情報とを関連付けた反応データを読み込んで、前記位置情報を所定の開始位置と所定の終了位置を持つ各フレームに対応させると共に、前記フレームごとに複数のユーザの前記反応データを集計した反応データ集計値を算出するステップと、前記反応データ集計値の分布情報を用いて、１つ以上の前記フレームをグループ化し、各グループの先頭のフレームの前記開始位置と末尾のフレーム前記終了位置との間にある前記位置情報を同一のブロックに対応させるためのブロック情報を生成するステップと、前記ブロック情報に基づいて、前記反応データの前記位置情報をブロックに対応させて、前記ユーザ識別情報ごとに、前記ブロックごとに複数の前記反応データを集約した集約データを計算するステップと、一のユーザの前記集約データと、他のユーザの前記集約データとを用いて、一のユーザと他のユーザとの類似度を計算するステップと、を含む。 The user information processing method of the present invention reads reaction data in which user identification information for identifying a user, position information indicating a reproduction position of content, and state information of the user corresponding to the position information are associated with each other. A step of associating the position information with each frame having a predetermined start position and a predetermined end position, and calculating a reaction data total value obtained by totaling the reaction data of a plurality of users for each frame; One or more frames are grouped using the distribution information of the aggregate value, and the position information between the start position and the end frame of the first frame of each group corresponds to the same block Generating block information for causing the position information of the reaction data to be blocked based on the block information. Correspondingly, for each of the user identification information, using the step of calculating aggregate data obtained by aggregating a plurality of the reaction data for each block, using the aggregate data of one user and the aggregate data of another user Calculating the degree of similarity between one user and another user.
本発明のユーザ情報処理プログラム、ユーザ情報処理装置、及び、ユーザ情報処理方法によれば、コンテンツ再生に係るユーザの状態を利用して、ユーザ間の類似度を精度良く、かつ少ない処理量で効率的に計算することができる。このため他のユーザの情報を希望する一のユーザに対して、類似するユーザの情報を十分な精度で選択して提供することが出来る。 According to the user information processing program, the user information processing apparatus, and the user information processing method of the present invention, the degree of similarity between users can be accurately and efficiently processed with a small amount of processing by using the user state related to content reproduction. Can be calculated automatically. For this reason, it is possible to select and provide similar user information with sufficient accuracy to one user who desires other user information.
また、コンテンツの再生位置をブロックに対応させるためのブロック情報をあらかじめ準備しておく必要がないため、どのようなコンテンツもユーザ間類似度の計算に利用することが可能になる。 In addition, since it is not necessary to prepare block information for associating the playback position of the content with the block in advance, any content can be used for calculating the similarity between users.
本発明の実施例１におけるシステム全体の構成を図１に示す。ユーザ情報処理装置１と、１つ以上の再生装置２（２ａ〜２ｎ）がネットワーク３を介して接続されている。図１ではユーザ情報処理装置１は１つであるが、複数のユーザ情報処理装置１（１ａ〜１ｎ）を用意し、各々のユーザ情報処理装置１の間で、データ交換を行って処理をするようにしてもよい。
FIG. 1 shows the configuration of the entire system according to the first embodiment of the present invention. A user
次に、再生装置２の構成を図２に示す。再生装置２は、コンテンツを再生するコンテンツ再生手段２１と、ユーザの状態を認識するユーザ状態認識手段２２と、コンテンツ再生位置とユーザ状態とを関連付けたユーザ反応データを作成するユーザ反応データ作成手段２３と、ユーザ情報処理装置１との間でデータの送受信を行う送受信手段２４と、再生装置２全体の制御を行う制御手段２５と、ユーザ属性データを格納するユーザ属性格納手段２６と、により構成されている。また再生装置２には、表示装置２７、スピーカ等の音声出力装置２８、キーボード、マウス、トラックボール、リモコン等の入力装置２９、ユーザの状態を認識するためのセンサ装置３０が接続されている。
Next, the configuration of the
再生装置２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスクドライブ、ネットワークインタフェース等を備える一般的なコンピュータを用いて、ソフトウェア（プログラム）処理を実行する形態により実現することも可能である。
The
再生装置２の動作を図３のフローチャートを用いて説明する。
The operation of the
まずステップＳ１００では、制御手段２５がユーザの認証を行なう。再生装置２を使用するユーザには、ユーザ情報処理装置１でユーザを一意に識別可能なユーザ識別情報（ユーザＩＤ）があらかじめ割当られている。ユーザはあらかじめ登録されたユーザＩＤ、パスワードを入力装置２９を用いて再生装置２に入力し、この情報を用いて制御手段２５はユーザを認証する。
First, in step S100, the control means 25 performs user authentication. User identification information (user ID) that allows the user
ただし、ユーザ情報処理装置１において、ユーザを識別する処理を行なわず、再生装置２を識別する処理を行なう場合には、ステップＳ１００のユーザ認証処理を省略する。また後述するように、ユーザ状態認識手段２２においてユーザの個人識別を行なう場合にもステップＳ１００を省略してよい。
However, when the user
次にステップＳ１１０では、入力装置２９を介したユーザの指示に従って、コンテンツ再生手段２１が、コンテンツを再生する。本実施例におけるコンテンツは、動画、音声、音楽等の時間情報を伴うコンテンツである。コンテンツは再生装置２に格納されていてもよいし、ネットワーク３を介して外部から供給されてもよい。また放送受信手段（図示せず）を用いて放送コンテンツを受信してもよい。またコンテンツが格納されたディスク、可搬型メモリ等をメディアドライブ装置（図示せず）に装着し、メディアドライブ装置を介してコンテンツを読み取るようにしてもよい。
In step S110, the content reproduction unit 21 reproduces the content in accordance with a user instruction via the
次にステップＳ１２０では、ユーザ状態認識手段２２が、センサ装置３０の出力を用いて、コンテンツ再生中（視聴中）のユーザの状態を認識する。
Next, in step S120, the user state recognition means 22 recognizes the state of the user who is playing back (viewing) content using the output of the
センサ装置３０は、ユーザの状態を検知し、ユーザに係る信号／データを出力する。出力する信号／データは、ユーザの顔を撮影した画像データ、ユーザの発する音声の音声データ、表示装置２７または音声出力装置２８とユーザとの間の距離データ、ユーザの姿勢に関するデータ、心拍数、血圧などの生体データなどである。またセンサ装置３０は、上記の内の一部（例えば、ユーザの発する音声のみ）を検知し出力するようにしてもよい。
The
ユーザ状態認識手段２２が認識するユーザの感情等の状態は、１種類または複数種類である。 The state of the user's emotion and the like recognized by the user state recognition means 22 is one type or a plurality of types.
１種類の状態を認識する場合、例えば、ユーザのコンテンツに対する注目度を認識する。例えば、ユーザの顔画像から視線方向を検出し、それが表示装置２７に向いている場合は、注目度が高い、そうでない場合は注目度が低いと認識する。また、ユーザの発する音声の音声データからユーザの声の大きさや興奮の程度を認識し、それを注目度としてもよい。ユーザの音声を利用する方法は、スポーツ・コンテンツやお笑い系コンテンツなどで特に有効である。また、表示装置２７または音声出力装置２８とユーザとの距離が近ければ注目度が高い、距離が遠ければ注目度が低いと認識してもよい。また、心拍数や血圧が上昇する場合に注目度が高いとしてもよい。また、机、椅子、床などにかかるユーザの体重分布を計測し、表示装置２７または音声出力装置２８に近い側に体重がかかっている場合に注目度が高く、そうでない場合に注目度が低いと認識してもよい。
When recognizing one type of state, for example, the user's attention to content is recognized. For example, when the line-of-sight direction is detected from the face image of the user and is directed to the
また１種類の状態を認識する別の例として、ユーザの「笑い」を認識するようにしてもよい。ユーザの「笑い」を認識する方法として、公知の技術を用いることができる。例えば、ユーザの顔画像から「笑い」の表情を認識する場合、特開２００４−４６５９１号公報に記載の技術を用いることができる。また、音声から笑い等の感情を認識する場合、特開平９−２０６２９１号公報に記載の技術を用いることができる。 As another example of recognizing one type of state, a user's “laughter” may be recognized. A known technique can be used as a method of recognizing the user's “laughter”. For example, when recognizing a “laughing” facial expression from a user's face image, the technique described in Japanese Patent Application Laid-Open No. 2004-46591 can be used. Moreover, when recognizing emotions such as laughter from voice, the technique described in Japanese Patent Laid-Open No. 9-206291 can be used.
複数種類の状態を認識する場合、「喜び／笑い」、「怒り／不満」、「悲しみ」、「平常」、「無関心」など複数種類の状態を認識する。センサ装置３０の出力である画像、音声、生体情報などから、このようなユーザの状態を認識するために公知の技術を用いることができる。また、音声認識技術を用いて、ユーザが発する特定の単語やフレーズを認識してもよい。例えば、「へぇー」、「面白い」、「いいね」、「ちょ〜うける」、「ふざけるな」、「くだらない」、「またかよ」等の単語やフレーズである。また、ユーザの舌打ちや涙などを認識するようにしてもよい。更に、センサ装置３０の出力する音声データを用いてユーザの状態を認識する場合、音声出力装置２８で発生させたコンテンツ再生音の成分をキャンセルする処理を行なって、センサ装置３０の出力を利用するようにしてもよい。このようにすると、ユーザの音声をより精度良く認識できる。
When recognizing a plurality of states, a plurality of states such as “joy / laughter”, “anger / dissatisfaction”, “sadness”, “normal”, “indifference” are recognized. A well-known technique can be used for recognizing such a user state from images, sounds, biological information, and the like, which are outputs of the
１台の再生装置２を使って、同時に複数のユーザがコンテンツを視聴する場合の処理としては、以下の方法を用いることができる。
The following method can be used as processing when a plurality of users view content simultaneously using one
第１の方法は、ユーザ状態認識手段２２で、ユーザの個人識別を行なった上で、個々のユーザ毎に状態を認識する方法である。例えば、ユーザの顔画像や音声データを使って個人識別を行なう。この場合はステップＳ１００のユーザ認証処理は省略できる。 The first method is a method of recognizing the state for each individual user after the user state recognition means 22 performs personal identification of the user. For example, personal identification is performed using a user's face image or voice data. In this case, the user authentication process in step S100 can be omitted.
第２の方法は、個人識別を行なわず、複数のユーザの状態を合わせて、ステップＳ１００で認証した１人のユーザの状態として扱う方法である。例えば、「ユーザＡ」と「ユーザＢ」の２人が視聴していて、「再生位置＝５分」で「ユーザＡ」が笑い、「再生位置＝１０分」で「ユーザＢ」が「ふざけるな」、「くだらない」等の不満を表した場合、１人のユーザが「再生位置＝５分」で笑い、「再生位置＝１０分」で不満を表したとして処理する。 The second method is a method in which personal identification is not performed and the states of a plurality of users are combined and handled as the state of one user authenticated in step S100. For example, two users “User A” and “User B” are watching, “User A” laughs at “Playback position = 5 minutes”, and “User B” “Pokes up” at “Playback position = 10 minutes”. When dissatisfaction such as “na” or “sloppy” is expressed, processing is performed assuming that one user laughs at “reproduction position = 5 minutes” and expresses dissatisfaction at “reproduction position = 10 minutes”.
またユーザ状態認識手段２２は、コンテンツ再生時のユーザの状態を認識するだけでなく、コンテンツ再生前およびコンテンツ再生後のユーザの状態を認識して、ユーザ反応データ作成手段２３における処理で利用するようにしてもよい。 Further, the user status recognition means 22 recognizes not only the user status at the time of content playback, but also recognizes the user status before and after the content playback, and uses it in the processing in the user reaction data creation means 23. It may be.
再生装置２の別の一例として、センサ装置３０を使用しない構成を用いてもよい。この場合、制御手段２５が、コンテンツ再生中にユーザの感情に関する選択肢を表示装置２７に表示し、入力装置２９を介してユーザからの反応を取得し、その情報をユーザ状態認識手段２２に転送する。例えば、「面白い」、「腹立たしい」、「悲しい」、などの選択肢が表示装置２７に表示され、入力装置２９を用いて、ユーザがその中からその時の自分の気持ちに近いものを選ぶと、それがユーザ状態認識手段２２に伝えられる。
As another example of the
更に別の一例として、コンテンツ再生に係るユーザ操作情報を用いてユーザ状態を認識してもよい。すなわち、ユーザが入力装置２９を用いて入力する、「再生開始」、「再生停止」、「一時停止」、「巻き戻し」、「早送り」、「チャネル切換え」、「音量変更」などの操作情報を制御手段２５が収集し、ユーザ状態認識手段２２に転送する。ユーザ状態認識手段２２は、これらの情報をもとに注目度を判定する。例えば、「巻き戻し」操作を行なって、コンテンツの同じ位置を繰り返し再生した場合は、その再生位置の注目度が高いと判定する。また、「早送り」操作を行なった箇所は、注目度が低いと判定する。
As yet another example, the user status may be recognized using user operation information related to content reproduction. That is, operation information such as “start playback”, “stop playback”, “pause”, “rewind”, “fast forward”, “channel switching”, “volume change”, etc., input by the user using the
次にステップＳ１３０では、ユーザ反応データ作成手段２３が、コンテンツ再生位置とユーザ状態とを関連付けたユーザ反応データ（ユーザ履歴）を作成する。コンテンツ再生位置は通常、コンテンツ先頭からの相対時間で表す。ただし、放送日時が決まっているテレビ番組やネットのライブ配信などのコンテンツでは、受信日時を再生位置として用いてもよい。
Next, in step S130, the user reaction
ユーザ反応データの形式を図４に示す。 The format of user reaction data is shown in FIG.
図４（Ａ）は、再生装置２を使用するユーザが１人であり、１種類の状態を認識する場合のユーザ反応データの形式の一例を示す図である。ユーザＩＤと、認識するユーザ状態の種類と、コンテンツＩＤと再生位置と反応度合いとを対応させたテーブルが記録されている。コンテンツＩＤは、ユーザ情報処理装置１でコンテンツを一意に識別可能な数値または文字列であり、コンテンツ制作者や販売事業者によってあらかじめ付与されている場合はそれを用いればよい。そうでない場合は、コンテンツのタイトル等を用いてコンテンツＩＤを生成する。放送番組であれば、放送局名、放送日時等を組み合わせてコンテンツＩＤを生成してもよい。再生位置はそのコンテンツの先頭からの経過時間を「時間：分：秒」の形式で表したものであり、例えば「００：０３：１０」は、先頭から「３分１０秒」を表している。この例では、一定の時間間隔（１０秒）ごとの反応度合いを記録している。記録する時間間隔は、もちろん１０秒とは異なった間隔、例えば１秒や５秒であってもよい。反応度合いは、最小「０．０」、最大「１．０」の数値であり、数値が大きいほど、その状態（感情等）の程度が強いことを示している。例えば、音声で「笑い」を認識する場合、笑い声の大きさにより反応度合いを算出する。なお、ユーザ情報処理装置１でユーザを識別する処理を行なわずに、再生装置２を識別する処理を行なう場合は、ユーザＩＤの代わりに再生装置２を識別する再生装置ＩＤを含めてユーザ反応データを作成する。
FIG. 4A is a diagram illustrating an example of a format of user reaction data when one user uses the
図４（Ｂ）は、同様に再生装置２を使用するユーザが１人であり、１種類の状態を認識する場合のユーザ反応データの形式の別の一例を示す図である。ユーザＩＤと、認識対象の状態と、コンテンツＩＤと再生位置を対応させたテーブルが記録されている。この例では、再生装置２を使用するユーザのユーザＩＤが「Ｕ５５１０」であり、ユーザの「注目度」を認識していることを示している。図４（Ｂ）では、ユーザの反応度合いが所定値以上の箇所のみを記録しており、反応度合いそのものは省略している。すなわち、再生位置が記録されている箇所で、ユーザの注目度が高いことを示している。この例では、「Ｃ００１」コンテンツに対して、「３分１０秒」と「５分２１秒」の２カ所でユーザの注目度が高まったことになる。なお、一般的にはユーザの注目度が高い状態はある程度の時間持続するが、この例では、注目度が高い状態の最初の再生位置（時間）を記録している。その時間から一定の時間が経過して再び注目度が高くなった再生位置をテーブルの次の行に追加している。図４（Ｂ）の形式により、ユーザ反応データのデータ容量を少なくして、効率的に処理することが可能である。
FIG. 4B is a diagram showing another example of the format of the user reaction data when there is one user who similarly uses the
図４（Ｃ）は、再生装置２を複数のユーザが利用し、ユーザの複数種類の状態（感情等）を認識する場合の例である。ユーザＩＤと、コンテンツＩＤと、再生位置と、ユーザ状態の種類とを関連付けて記録する。この例のテーブルの１行目では、「Ｃ００２」のコンテンツの再生位置「４分２６秒」でユーザ「Ｕ５５１０」の「笑い」を認識したことを示している。図４（Ｃ）では、反応度合いが反応の種類に応じて決められた所定値以上の箇所のみのデータを作成し、反応度合いはデータに含めずに省略している。
FIG. 4C is an example in the case where a plurality of users use the
ユーザ反応データの別の一例を図４（Ｄ）に示す。図４（Ｃ）との違いは、状態の先頭再生位置に加えて、状態の末尾再生位置を記録していることと、反応度合いを記録している点である。反応の先頭再生位置は、その状態が最初に認識された再生位置である。反応の末尾再生位置は、同一の状態と見なせる最後の再生位置である。なお一般的には、状態の先頭から状態の末尾までの間で、反応度合いは変化するが、その区間の平均値、または最大値を記録すればよい。 Another example of user reaction data is shown in FIG. The difference from FIG. 4 (C) is that in addition to the top playback position of the state, the end playback position of the state is recorded and the degree of reaction is recorded. The start reproduction position of the reaction is the reproduction position where the state is first recognized. The last playback position of the reaction is the last playback position that can be regarded as the same state. In general, the degree of response changes from the beginning of the state to the end of the state, but the average value or the maximum value of the section may be recorded.
図４（Ａ）〜（Ｄ）に示した形式はあくまでも一例であり、この他にも例えば、図４（Ａ）と同様に一定の時間間隔で、ユーザＩＤと、コンテンツＩＤと、ユーザ状態の種類と、反応度合いとを関連付けて記録するようにしてもよい。 The formats shown in FIGS. 4A to 4D are merely examples, and other than this, for example, the user ID, the content ID, and the user status at regular time intervals as in FIG. 4A. The type and the degree of reaction may be recorded in association with each other.
以上の説明では、コンテンツ再生中のユーザの状態を認識するものとしたが、更にコンテンツの再生前、またはコンテンツ再生後のユーザの状態を認識してユーザ反応データを作成するようにしてもよい。コンテンツ再生中にユーザが同じように笑った場合でも、コンテンツ再生前にユーザが怒ったり、悲しんでいた場合は、コンテンツ再生前に既にユーザが笑っていた場合よりも、笑いの度合いを大きくする、といった処理を行なう。コンテンツ再生前のユーザの状態種類と、コンテンツ再生後の最初のユーザ状態の種類が正反対である場合には、コンテンツ再生後の最初のユーザの状態の反応の度合いを強くする。また、コンテンツ再生中の最後の状態と、コンテンツ再生後の状態が同じであり、コンテンツ再生後の状態が長時間持続する場合には、コンテンツ再生中の最後の状態の反応の度合いを強くする。 In the above description, the user state during content reproduction is recognized. However, user reaction data may be generated by recognizing the user state before or after content reproduction. Even if the user laughs in the same way during content playback, if the user is angry or sad before content playback, the degree of laughter will be greater than if the user was already laughing before content playback. The process is performed. When the state type of the user before the content reproduction is opposite to the type of the first user state after the content reproduction, the degree of reaction of the state of the first user after the content reproduction is increased. Further, when the last state during content reproduction is the same as the state after content reproduction and the state after content reproduction lasts for a long time, the degree of reaction of the last state during content reproduction is increased.
このような処理を行なう場合のユーザ反応データ作成の処理を図５のフローチャートで説明する。 The process of creating user reaction data when such a process is performed will be described with reference to the flowchart of FIG.
まずステップＳ２００では、ユーザ状態認識手段２２が、コンテンツ再生前に所定の時間ユーザ状態を認識し、結果を保持しておく。 First, in step S200, the user state recognizing means 22 recognizes the user state for a predetermined time before reproducing the content and holds the result.
次にステップＳ２１０では、ユーザ状態認識手段２２が、コンテンツ再生中のユーザ状態を認識し、結果を保持しておく。
Next, in step S210, the user
次にステップＳ２２０では、ユーザ状態認識手段２２が、コンテンツ再生後も引き続き所定の時間ユーザ状態を認識し、結果を保持しておく。 Next, in step S220, the user state recognition means 22 continues to recognize the user state for a predetermined time after the content reproduction, and holds the result.
次にステップＳ２３０では、コンテンツ再生後に所定の時間が経過した後に、ユーザ反応データ作成手段２３が、補正前のユーザ反応データを作成する。
Next, in step S230, after a predetermined time elapses after the content is reproduced, the user response
次にステップＳ２４０では、ユーザ反応データ作成手段２３が、補正前のユーザ反応データを対象として、コンテンツ再生中のデータの中に、再生前と同じ種類のデータが存在するか否か判定する。「ＹＥＳ」であれば、該当データをマークしてステップＳ２５０に進み、「ＮＯ」であればステップＳ２６０に進む。なお、この際に、再生前にある状態が認識された時間（マイナスの再生位置）、あるいは再生開始の時間から所定時間（例えば１０分）以内のデータを処理対象にしてもよい。
Next, in step S240, the user response
ステップＳ２５０では、ユーザ反応データ作成手段２３が、ステップＳ２４０でマークされたデータを対象にして、反応度合いの数値を減少させる。コンテンツ再生前から同じ種類の状態（感情等）であれば、そのコンテンツの影響力は実際には、補正前の数値として現れたものより小さいためである。反応度合いの変更の方法としてはいくつかの方法がある。 In step S250, the user reaction data creating means 23 decreases the numerical value of the reaction degree for the data marked in step S240. This is because, if the same type of state (emotion, etc.) is present before the content is reproduced, the influence of the content is actually smaller than what appears as the value before correction. There are several methods for changing the degree of reaction.
第１の方法は、補正前の数値に「１」より小さい係数を乗算する方法である。例えば、係数が「０．８」で、補正前の数値が「０．５」である場合、補正後の数値は「０．４」となる。 The first method is to multiply the numerical value before correction by a coefficient smaller than “1”. For example, when the coefficient is “0.8” and the numerical value before correction is “0.5”, the corrected numerical value is “0.4”.
第２の方法は、補正前の数値から所定値を減算する方法である。 The second method is a method of subtracting a predetermined value from the numerical value before correction.
第３の方法は、再生前の数値に所定係数を乗算した値を、補正前の反応度合いから減算する方法である。例えば、再生前の数値が「０．５」であり、所定係数が「０．２」で、補正前の反応度合いが「０．７」である場合、「０．７−０．５×０．２＝０．６」となり、補正後の数値は「０．６」となる。 The third method is a method of subtracting a value obtained by multiplying a numerical value before reproduction by a predetermined coefficient from a reaction degree before correction. For example, when the numerical value before reproduction is “0.5”, the predetermined coefficient is “0.2”, and the response level before correction is “0.7”, “0.7−0.5 × 0 .2 = 0.6 ”, and the corrected numerical value is“ 0.6 ”.
次にＳ２６０では、ユーザ反応データ作成手段２３が、補正前のユーザ反応データを対象として、コンテンツ中のデータの中に、再生前と異なる種類のデータが存在するか否か判定する。「ＹＥＳ」であれば、該当データをマークしてステップＳ２７０に進み、「ＮＯ」であればステップＳ２８０に進む。なお、この際に、再生前にある状態が認識された時間（マイナスの再生位置）、あるいは再生開始の時間から所定時間（例えば１０分）以内のデータを処理対象にしてもよい。
Next, in S260, the user response
ステップＳ２７０では、ユーザ反応データ作成手段２３が、ステップＳ２６０でマークされたデータを対象にして、反応度合いの数値を増加させる。コンテンツ再生前とは異なる種類の状態（感情等）であれば、そのコンテンツの影響力は実際には、補正前の数値として現れたものより大きいためである。反応度合いの変更の方法としてはいくつかの方法がある。 In step S270, the user reaction data creation means 23 increases the numerical value of the reaction degree for the data marked in step S260. This is because, if the state is different from the state before the content reproduction (emotion or the like), the influence of the content is actually larger than what appears as the value before correction. There are several methods for changing the degree of reaction.
第１の方法は、補正前の数値に「１」より大きい係数を乗算する方法である。例えば、係数が「１．２」で、補正前の数値が「０．５」である場合、補正後の数値は「０．６」となる。 The first method is a method of multiplying the numerical value before correction by a coefficient larger than “1”. For example, when the coefficient is “1.2” and the numerical value before correction is “0.5”, the numerical value after correction is “0.6”.
第２の方法は、補正前の数値に所定値を加算する方法である。 The second method is a method of adding a predetermined value to the numerical value before correction.
第３の方法は、再生前の数値に所定係数を乗算した値を、補正前の反応度合いに加算する方法である。例えば、再生前の数値が「０．５」であり、所定係数が「０．２」で、補正前の反応度合いが「０．７」である場合、「０．７＋０．５×０．２＝０．８」となり、補正後の数値は「０．８」となる。 The third method is a method of adding a value obtained by multiplying a numerical value before reproduction by a predetermined coefficient to a reaction degree before correction. For example, when the numerical value before reproduction is “0.5”, the predetermined coefficient is “0.2”, and the response level before correction is “0.7”, “0.7 + 0.5 × 0.2 = 0.8 ", and the corrected numerical value is" 0.8 ".
また、これら第１〜第３の方法において、再生前のユーザ状態の種類と、再生中のユーザ状態の種類の組合せに応じて、加算値や、乗算の係数を適宜変えるようにしてもよい。例えば、再生前に「リラックス」で、再生中に「笑い」の場合より、再生前に「怒り」で、再生中に「笑い」の場合の方が、２つの状態の性質の違いが大きいので、後者の加算値や乗算係数をより大きなものにしてもよい。 In the first to third methods, the addition value and the multiplication coefficient may be appropriately changed according to the combination of the type of user state before reproduction and the type of user state being reproduced. For example, the difference between the properties of the two states is greater in the case of “relaxed” before playback and “laughter” during playback than in “anger” before playback and “laughter” during playback. The latter addition value or multiplication coefficient may be made larger.
次にＳ２８０では、ユーザ反応データ作成手段２３が、補正前のユーザ反応データを対象として、コンテンツ再生中のデータの中に、再生後と同じ種類のデータが存在するか否か判定する。「ＹＥＳ」であれば、該当データをマークしてステップＳ２９０に進み、「ＮＯ」であればステップＳ３００に進む。なお、この際に、再生後にある状態が認識された時間、あるいは再生終了の時間より所定時間（例えば１０分）だけ前の範囲にあるデータを処理対象にしてもよい。
Next, in S280, the user response
ステップＳ２９０では、ユーザ反応データ作成手段２３が、ステップＳ２８０でマークされたデータを対象にして、反応度合いの数値を増加させる。 In step S290, the user reaction data creation means 23 increases the numerical value of the reaction degree for the data marked in step S280.
次にステップＳ３００では、補正前のユーザ反応データから、コンテンツ再生前および再生後のデータを削除する。 Next, in step S300, the data before and after the content reproduction are deleted from the user response data before the correction.
以上の処理により、補正後のユーザ反応データが作成される。補正後のデータは、コンテンツに対するユーザの反応をより精度良く表したものである。補正前と補正後のユーザ反応データの一例を図６に示す。 Through the above processing, corrected user response data is created. The corrected data represents the user's reaction to the content with higher accuracy. An example of user response data before and after correction is shown in FIG.
図６（Ａ）は、ステップＳ２３０で作成された、補正前のユーザ反応データを示している。図６（Ａ）の１行目では、状態の先頭再生位置および状態の末尾再生位置の値がマイナスとなっている。これはコンテンツ再生前という意味である。例えば「−００：０２:２０」は、コンテンツ再生の２分２０秒前の時間を示している。また５行目の再生位置の値には「＃（シャープ）」記号が付加されているが、これはコンテンツ再生終了後の時間の意味である。例えば、「＃００：０５：２０」はコンテンツの再生が終了してから５分２０秒後の時間を示している。
FIG. 6A shows the user response data before correction created in step S230. In the first line of FIG. 6 (A), the value of the first playback position in the state and the last playback position in the state are negative. This means before content reproduction. For example, “−00: 02: 20” indicates a
図６（Ｂ）は、補正後のユーザ反応データを示している。補正後のユーザ反応データからは、コンテンツ再生前およびコンテンツ再生後の行は削除されている。補正後の１行目は、補正前の２行目に対応するが、反応度合いが「０．８０」から「０．６４」に減少している。これは、補正前の１行目に示したように、コンテンツ再生前に同じ「笑い」のデータが存在した為である。また、補正後の３行目は、補正前の４行目に対応するが、反応度合いが「０．７３」から「０．８５」に増加している。これは、補正前の５行目に示したように、コンテンツ再生後にも同じ「悲しみ」という状態が持続している為である。また、補正後の４行目は、補正前の７行目に対応するが、反応度合いが「０．８」から「１．０」に増加している。これは、補正前の６行目に示したように、コンテンツ再生前の状態が「怒り」であり、これと性質の異なる状態（「笑い」）がコンテンツ再生中に認識された為である。このような補正処理を行なう場合には、補正後のデータをユーザ反応データとして利用する。 FIG. 6B shows the user response data after correction. From the corrected user response data, the lines before and after the content reproduction are deleted. The first line after the correction corresponds to the second line before the correction, but the degree of response is reduced from “0.80” to “0.64”. This is because, as shown in the first line before correction, the same “laughter” data existed before the content reproduction. The third line after the correction corresponds to the fourth line before the correction, but the reaction degree is increased from “0.73” to “0.85”. This is because, as shown in the fifth line before correction, the same “sadness” state persists after the content is reproduced. The fourth line after correction corresponds to the seventh line before correction, but the degree of response increases from “0.8” to “1.0”. This is because, as shown in the sixth line before correction, the state before the content reproduction is “angry”, and a state (“laughter”) having a different property from this is recognized during the content reproduction. When such correction processing is performed, the corrected data is used as user response data.
以上がステップＳ１３０およびユーザ反応データ作成手段２３の詳細な説明である。 The above is the detailed description of step S130 and the user reaction data creation means 23.
図３のフローチャートの説明に戻ると、次にステップＳ１４０において、制御手段２５が、ステップＳ１３０で作成されたユーザ反応データと、ユーザ属性格納手段２６に格納されているユーザ属性データを送受信手段２４を介してユーザ情報処理装置１に送信する。ユーザ属性格納手段２６には、ユーザＩＤと対応させて、他のユーザに自己紹介するための情報、および他のユーザがコンタクトをとるための情報が格納されている。例えば、ユーザの年齢、性別、血液型、星座、容姿に関する情報、趣味、好きなアーティスト、住所、電話番号、メールアドレス等であるが、これらに限定される訳ではない。また、紹介を希望する他のユーザに関する条件、例えば、年齢層、性別、血液型、星座、容姿、趣味、好きなアーティスト、地域などの情報を合わせて格納し、ユーザ属性データとしてユーザ情報処理装置１に送信してもよい。
Returning to the description of the flowchart of FIG. 3, in step S140, the
以上が再生装置２の動作の説明である。
The above is the description of the operation of the
次にユーザ情報処理装置１について説明する。ユーザ情報処理装置１の構成を図７に示す。再生装置２で作成されたユーザ反応データを格納するユーザ反応データ格納手段１１と、集約データ計算手段１２と、類似度計算手段１３と、再生装置２との間でデータの送受信を行なう送受信手段１４と、ユーザ情報処理装置１全体の制御を行なう制御手段１５と、ユーザ属性データを格納するユーザ属性格納手段１６と、反応データ集計手段１８と、ブロック情報生成手段１９と、により構成されている。またユーザ情報処理装置１には、表示装置４１、キーボード、マウス、トラックボール、リモコン等の入力装置４２が接続されている。
Next, the user
ユーザ情報処理装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスクドライブ、ネットワークインタフェース等を備える一般的なコンピュータを用いて、ソフトウェア（プログラム）処理を実行する形態により実現することも可能である。
The user
ユーザ属性格納手段１６は、送受信手段１４を介して、各々の再生装置２（２ａ〜２ｎ）からユーザ属性データを受信し、それを格納する。ユーザ属性データには、ユーザＩＤと他のユーザに自己紹介するための情報、および他のユーザがコンタクトをとるための情報が含まれている。さらに上述したように、紹介希望の相手の条件に関する情報を含んでいてもよい。 The user attribute storage means 16 receives user attribute data from each playback device 2 (2a to 2n) via the transmission / reception means 14, and stores it. The user attribute data includes a user ID, information for introducing itself to other users, and information for other users to contact. Further, as described above, it may include information on the condition of the partner who wants to introduce.
ユーザ反応データ格納手段１１は、送受信手段１４を介して、各々の再生装置２（２ａ〜２ｎ）からユーザ反応データを受信し、それを格納する。図４に示したように、ユーザ反応データは、いくつかの形式を取り得るが、ユーザ反応データ格納手段１１は、それら全てに対応している。以下では、ユーザ反応データが図４（Ｄ）の形式である場合を主に説明するが、他の形式の場合についても同様である。 The user response data storage means 11 receives user response data from each playback device 2 (2a to 2n) via the transmission / reception means 14, and stores it. As shown in FIG. 4, the user response data can take several forms, but the user response data storage means 11 supports all of them. Hereinafter, the case where the user reaction data is in the format of FIG. 4D will be mainly described, but the same applies to the case of other formats.
制御手段１５は、ユーザ反応データがユーザ反応データ格納手段１１に格納された後に、反応データ集計手段１８に対して、動作開始の指示を与える。
After the user response data is stored in the user response
反応データ集計手段１８は、ユーザ反応データ格納手段１１に格納されている複数のユーザのユーザ反応データを用いて、ユーザ状態の種類ごとに反応データ集計値を算出する。反応データ集計手段１８は、ユーザ反応データにおける位置情報（コンテンツの再生位置）を所定の時間幅を持つフレームに対応させて処理を行う。図８の例は、あるコンテンツに対する、あるユーザ状態の種類（例えば「笑い」）のユーザ反応データの様子を２人のユーザについて示したものである。グラフの横軸は再生位置であり、再生位置の１秒ごとにフレームが対応している。すなわち、０〜１秒の再生位置がフレーム１、１〜２秒再生位置がフレーム２、２〜３秒の再生位置がフレーム３、というように対応している。フレームの長さはもちろん１秒に限定される訳ではなく、他の長さを用いてもよい。また、全てのフレームの長さが必ずしも同じでなくてもよい。グラフの縦軸は、反応度合いを示している。 The reaction data totaling means 18 calculates a reaction data total value for each type of user state using user response data of a plurality of users stored in the user response data storage means 11. The reaction data totaling means 18 performs processing by associating position information (content reproduction position) in the user reaction data with a frame having a predetermined time width. The example of FIG. 8 shows the state of user reaction data of a certain user state type (for example, “laughter”) for a certain content for two users. The horizontal axis of the graph is the playback position, and a frame corresponds to every second of the playback position. That is, the playback position of 0 to 1 second corresponds to frame 1, the playback position of 1 to 2 seconds corresponds to frame 2, the playback position of 2 to 3 seconds corresponds to frame 3, and so on. Of course, the length of the frame is not limited to one second, and other lengths may be used. Moreover, the length of all the frames is not necessarily the same. The vertical axis of the graph indicates the degree of reaction.
ユーザＡは、２秒〜７秒の間で、ある種類の反応を示しており、反応の強さは、その区間一定で「０．２」である。ユーザＢは、４秒から８．５秒まで同じ種類の反応を示している。４〜６秒の間は直線的に反応度合いが強まり、６秒〜８．５秒で最も反応度合いが強く、「０．４」となっている。 User A shows a certain type of reaction between 2 seconds and 7 seconds, and the intensity of the reaction is “0.2” at a constant interval. User B shows the same type of reaction from 4 seconds to 8.5 seconds. The degree of reaction increases linearly between 4 and 6 seconds, and the degree of reaction is strongest between 6 and 8.5 seconds, which is “0.4”.
反応データ集計手段１８における反応データ集計値の算出方法として、以下の方法を用いることができる。 As a method for calculating the reaction data total value in the reaction data totaling means 18, the following method can be used.
集計値算出の第１の方法は、反応を示したユーザ数をフレームごとに集計する方法である。図８の例で示したユーザ反応データに対しては、図９に示すような反応データ集計値を算出する。図９において、フレーム１〜２の集計値は、反応を示したユーザが１人もいないため「０」、フレーム３〜４の集計値は、ユーザＡのみ反応したので「１」、フレーム５〜８の集計値は、ユーザＡとユーザＢが反応したので「２」となる。またフレーム９（再生位置８〜９秒）では、ユーザＢが反応しているが、フレーム時間幅の１秒ではなく、０．５秒しか反応していないので、フレーム時間幅に対する反応時間の割合である「０．５」を集計値としている。また、図９の例では、反応度合いの値に関わらず、「０」を超える反応度合いを全て「反応有り」として処理しているが、反応度合いが所定のしきい値以上である場合のみ「反応有り」とみなしてもよい。例えば、しきい値として「０．１」を用いてもよい。第１の方法は簡便な方法であり、処理量が少なくて済む。
The first method of calculating the total value is a method of counting the number of users who have shown a reaction for each frame. For the user reaction data shown in the example of FIG. 8, reaction data total values as shown in FIG. 9 are calculated. In FIG. 9, the total value of
集計値算出の第２の方法は、反応度合いの値をフレームごとに加算して集計する方法である。図８の例で示したユーザ反応データに対しては、図１０に示すような反応データ集計値を算出する。図１０において、フレーム１〜２の集計値は、どのユーザの反応も存在しないため「０」、フレーム３〜４の集計値は、ユーザＡの反応度合い「０．２」がそのまま集計値となる。フレーム５の区間（４〜５秒）において、ユーザＢの反応度合いは変化しているが、この区間のユーザＢの反応度合いの平均値は「０．１」であるため、この値とユーザＡの反応度合い「０．２」を加算した値「０．３」が集計値となる。フレーム６においても、ユーザＢの反応度合いの平均値が「０．３」になるため、ユーザＡの反応度合い「０．２」を加算した値「０．５」が集計値となる。このように、フレーム区間の途中で反応度合いが変化している場合は、反応度合いの平均値（図８のグラフ上の面積に相当）を用いればよい。フレーム７では、ユーザＡの「０．２」とユーザＢの「０．４」を加算した値「０．６」が集計値となる。フレーム８では、ユーザＢしか反応していないので、「０．４」となる。フレーム９では、ユーザＢが反応しているが、フレーム時間幅の１秒ではなく、０．５秒しか反応していないので、フレーム時間幅に対する反応時間の割合「０．５」を反応度合い「０．４」に乗じた値「０．２」を集計値としている。このように、フレーム区間の一部しか反応していない場合は、その時間割合を反応度合いに乗じた値を用いればよい。この値は、図８においてフレーム区間におけるグラフの面積に相当する。
The second method for calculating the total value is a method of adding the values of the degree of reaction for each frame and totaling them. For the user response data shown in the example of FIG. 8, a response data total value as shown in FIG. 10 is calculated. In FIG. 10, the total value of
反応データ集計手段１８は、以上のように反応データ集計値を算出した後に、制御手段１５に対して処理終了を通知する。
The reaction data totaling unit 18 notifies the
制御手段１５は、反応データ集計手段１８からの通知を受けると、ブロック情報生成手段１９に対して、動作開始の指示を与える。
When receiving the notification from the reaction data totaling unit 18, the
ブロック情報生成手段１９は、反応データ集計手段１８で算出された反応データ集計値を用いて、コンテンツの再生位置をブロックに対応させるためのブロック情報をユーザ状態の種類ごとに生成する。本実施例においてブロックとは、１つ以上のフレームをグループ化したものであり、ユーザ反応データにおいて、再生位置が多少異なるデータでも同じ再生位置のデータとして扱うために用いる。本実施例では、ブロックは１つ以上のフレームにより構成される。
The block
ブロック情報は、以下に説明する方法により生成される。 The block information is generated by the method described below.
ブロック情報生成の第１の方法は、反応データ集計値が所定値以下になる箇所を分割点として、その前のフレームと後のフレームが別々のブロックになるようにブロックを生成する方法である。図１１は、この方法を説明するための模式図である。図１０と同様にフレームの時間幅を１秒とした例である。図１１の点線は、所定のしきい値を示しており、反応データ集計値がこれ以下のフレームをブロックの分割点とする。再生位置０〜２秒に対応するフレーム１〜２と、再生位置６〜８秒に対応するフレーム７〜８と、再生位置１０〜１１秒に対応するフレーム１１が、ブロックの分割点となる。そして、分割点の前後のフレームが別々のブロックに属するようにブロックを生成する。この例では、フレーム３〜６（再生位置２〜６秒）がブロック１、フレーム９〜１０（再生位置８〜１０秒）がブロック２、フレーム１２（再生位置１１〜１２秒）がブロック３に対応する。なお、しきい値として「０」を用いてもよい。また図の例では、分割箇所のフレームは、どのブロックにも対応していないが、いずれかのブロックに対応させるようにしてもよい。例えば、分割箇所のフレームをその直前のブロックに対応させるようにして、フレーム７〜８をブロック１に含ませてもよい。
The first method for generating block information is a method for generating a block so that the previous frame and the subsequent frame become separate blocks by using a point where the reaction data total value is a predetermined value or less as a division point. FIG. 11 is a schematic diagram for explaining this method. This is an example in which the time width of the frame is 1 second as in FIG. A dotted line in FIG. 11 indicates a predetermined threshold value, and a frame whose reaction data total value is less than this is set as a block division point.
ブロック情報生成の第２の方法は、反応データ集計値が所定値以下になるフレームが所定個数以上連続する箇所を分割点として、その前のフレームと後のフレームが別々のブロックになるようにブロックを生成する方法である。図１２は、この方法を説明するための模式図である。図１２の点線は、所定のしきい値を示しており、反応データ集計値がこれ以下のフレームが２個以上連続している箇所をブロックの分割点とする。再生位置０〜２秒に対応するフレーム１〜２と、再生位置６〜８秒に対応するフレーム７〜８は、ブロックの分割点になるが、再生位置１０〜１１秒に対応するフレーム１１は、ブロックの分割点にはならない。そして、分割点の前後のフレームが別々のブロックに属するようにブロックを生成する。この例では、フレーム３〜６（再生位置２〜６秒）がブロック１、フレーム９〜１２（再生位置８〜１２秒）がブロック２に対応する。なお、しきい値として「０」を用いてもよい。
The second method of generating block information is to block the points where the number of frames whose reaction data total value is less than or equal to a predetermined value continues for a predetermined number of times, and the previous and subsequent frames become separate blocks. Is a method of generating FIG. 12 is a schematic diagram for explaining this method. The dotted line in FIG. 12 indicates a predetermined threshold value, and a block division point is a location where two or more frames having reaction data total values below this value are continuous.
ブロック情報生成の第３の方法は、反応データ集計値が極小となる箇所を検出し、それを分割点として、その前のフレームと後のフレームが別々のブロックになるようにブロックを生成する方法である。図１３は、この方法を説明するための模式図である。フレームｋが極小フレームか否かを判定するには、フレームｋの反応データ集計値をＳ[ｋ]として、（Ｓ[ｋ−１]≧Ｓ[ｋ]∩Ｓ[ｋ＋１]≧Ｓ[ｋ]）という条件を満たすかを判定し、条件を満たせば極小フレームとする。図１３の例では、フレーム８とフレーム１０が極小フレームであり、分割点となる。そして、分割点の前後のフレームが別々のブロックに属するようにブロックを生成する。この例では、フレーム３〜７（再生位置２〜７秒）がブロック１、フレーム９（再生位置８〜９秒）がブロック２、フレーム１１〜１２（再生時間１０〜１２秒）がブロック３に対応する。なお、図１３の例では、極小フレームは、いずれのブロックにも対応しないが、いずれかのブロックに対応させてもよい。例えば、極小フレームをその直前のブロックに含ませるようにして、フレーム８をブロック１に対応させ、フレーム１０をブロック２に対応させてもよい。
A third method of block information generation is a method of detecting a point where a reaction data total value is minimum, and using that as a division point to generate a block so that the previous frame and the subsequent frame are separate blocks. It is. FIG. 13 is a schematic diagram for explaining this method. To determine whether or not the frame k is a minimal frame, the reaction data total value of the frame k is set to S [k], and (S [k−1] ≧ S [k] ｋS [k + 1] ≧ S [k] ) Is satisfied, and if the condition is satisfied, a minimal frame is determined. In the example of FIG. 13, the
ブロック情報生成の第４の方法は、反応データ集計値が所定値以下で、かつ極小となる箇所を検出し、それを分割点として、その前のフレームと後のフレームが別々のブロックになるようにブロックを生成する方法である。図１４は、この方法を説明するための模式図である。図１４の点線は、所定のしきい値を示している。図１４の例では、フレーム８は、極小フレームであり、かつしきい値以下であるため分割点になるが、フレーム１０は、極小フレームではあるが、しきい値より大きいため、分割点とならない。そして、分割点の前後のフレームが別々のブロックに属するようにブロックを生成する。この例では、フレーム３〜７（再生位置２〜７秒）がブロック１、フレーム９〜１２（再生時間８〜１２秒）がブロック２に対応する。なお、図１４の例では、極小フレームは、いずれのブロックにも対応しないが、いずれかのブロックに対応させてもよい。例えば、極小フレームをその直前のブロックに含ませるようにして、フレーム８をブロック１に対応させてもよい。
The fourth method of block information generation is to detect a point where the reaction data total value is less than or equal to a predetermined value and becomes a minimum, and use it as a dividing point so that the previous frame and the subsequent frame become separate blocks. This is a method for generating a block. FIG. 14 is a schematic diagram for explaining this method. A dotted line in FIG. 14 indicates a predetermined threshold value. In the example of FIG. 14, the
ブロック情報生成の第５の方法は、反応データ集計値が極小となるフレーム（箇所）、および極大となるフレーム（箇所）を検出し、ある極小フレームと、その極小フレームの両側にある極大フレームとの距離（フレーム差、時間差）を算出し、その２つの距離のうちの少なくとも一方の距離が所定値以上である場合に、その極小フレームを分割点として、その前のフレームと後のフレームが別々のブロックになるようにブロックを生成する方法である。図１５は、この方法を説明するための模式図である。図１５の例では、フレーム４、７、１０が極小フレームであり、フレーム２、５、９、１１が極大フレームである。フレームｋが極大フレームか否かを判定するには、フレームｋの反応データ集計値をＳ[ｋ]として、（Ｓ[ｋ−１]≦Ｓ[ｋ]∩Ｓ[ｋ＋１]≦Ｓ[ｋ]）という条件を満たすかを判定し、条件を満たせば極大フレームとする。極小フレーム４の両側の極大フレームは２および５であり、それらとの距離（フレームの差）は、４−２＝２および５−４＝１である。ここで、極大フレームと極小フレーム間の少なくとも一方の距離が２以上の箇所を分割点にするという条件を設定すると、前者はこの条件を満たすので、フレーム４は分割点になる。同様に、極小フレーム７について判定を行うと、両側の極大フレームが５および９なので、極小フレームと極大フレームの間の距離は共に２となり、この条件を満たす。極小フレーム１０については、両側の極大フレームが９および１１となって、距離が１になるため、この条件を満たさず、分割点にならない。この例では、フレーム４とフレーム７が分割点になり、分割点の前後のフレームが異なるブロックに属するようにブロックを生成する（フレーム１〜３がブロック１、フレーム５〜６がブロック２、フレーム８〜１２がブロック３となる）。図１５の例では、極小フレームは、いずれのブロックにも対応しないが、いずれかのブロックに対応させてもよい。例えば、極小フレームをその直前のブロックに含ませるようにして、フレーム４をブロック１に対応させてもよい。また、極小フレームの両側にある極大フレームとの２つの距離の両方ともが所定値以上である場合に、その極小フレームを分割点とするようにしてもよい。例えば、極大フレームと極小フレーム間の両方の距離が２以上の箇所を分割点にしてもよい。この条件を図１５に示したデータに適用すると、フレーム４は分割点ではなくなり、フレーム７のみが分割点となる。そして、フレーム１〜６をブロック１、フレーム８〜１２をブロック２に対応させることになる。更に、分割点とする条件として、極小フレームの極小値が所定値以下であることを加えてもよい。
The fifth method of block information generation is to detect a frame (location) where the reaction data aggregate value is a minimum and a frame (location) where the response data total value is minimum, and a certain minimum frame and maximum frames on both sides of the minimum frame. When the distance (frame difference, time difference) is calculated and at least one of the two distances is equal to or greater than a predetermined value, the previous frame and the subsequent frame are separated from each other using the minimum frame as a dividing point. This is a method of generating a block so as to be a block. FIG. 15 is a schematic diagram for explaining this method. In the example of FIG. 15, frames 4, 7, and 10 are minimal frames, and frames 2, 5, 9, and 11 are maximal frames. To determine whether or not the frame k is a maximal frame, the reaction data total value of the frame k is set to S [k], and (S [k−1] ≦ S [k] ∩S [k + 1] ≦ S [k] ) Is satisfied, and if the condition is satisfied, the maximum frame is determined. The maximum frames on both sides of the
ブロック情報生成の第６の方法は、反応データ集計値が極小となるフレーム（箇所）、および極大となるフレーム（箇所）を検出し、ある極小フレームの極小値と、その極小フレームの両側にある極大フレームの極大値との差を算出し、その２つの差のうちの少なくとも一方が所定値以上である場合に、その極小フレームを分割点として、その前のフレームと後のフレームが別々のブロックになるようにブロックを生成する方法である。図１６は、この方法を説明するための模式図である。図１６の例では、フレーム４、７、１０が極小フレームであり、フレーム２、５、９、１１が極大フレームである。また、極大値と極小値との差が図１６のしきい値以上である場合に、極小フレームを分割点にする。極小フレーム４の両側の極大フレームは２および５であり、フレーム４と２の差はしきい値未満であるが、フレーム４と５の差はしきい値以上であるため、フレーム４は分割点になる。同様に、極小フレーム７について判定を行うと、両側の極大フレームが５および９であり、フレーム７と５の差、フレーム７と９との差は、両方ともしきい値以上なので、フレーム７は分割点になる。極小フレーム１０については、両側の極大フレームが９および１１となり、これらとの差がいずれもしきい値未満なので、分割点にならない。この例では、フレーム４とフレーム７が分割点になり、分割点の前後のフレームが異なるブロックに属するようにブロックを生成する（フレーム１〜３がブロック１、フレーム５〜６がブロック２、フレーム８〜１２がブロック３となる）。図１６の例では、極小フレームは、いずれのブロックにも対応しないが、いずれかのブロックに対応させてもよい。例えば、極小フレームをその直前のブロックに含ませるようにして、フレーム４をブロック１に対応させてもよい。また、極小フレームの両側にある極大フレームの極大値と極小値との２つの差が両方とも所定値以上である場合に、その極小フレームを分割点とするようにしてもよい。この条件を図１６に示したデータに適用すると、フレーム４は分割点ではなくなり、フレーム７のみが分割点となる。そして、フレーム１〜６をブロック１、フレーム８〜１２をブロック２に対応させることになる。更に、分割点とする条件として、極小フレームの極小値が所定値以下であることを加えてもよい。
The sixth method for generating block information is to detect a frame (location) at which the reaction data total value becomes a minimum and a frame (location) at which the response data total value becomes a maximum, and have a minimum value of a certain minimum frame and both sides of the minimum frame. When the difference between the maximum value of the maximum frame is calculated and at least one of the two differences is equal to or greater than a predetermined value, the previous frame and the subsequent frame are separated from each other using the minimum frame as a dividing point. This is a method of generating a block so that FIG. 16 is a schematic diagram for explaining this method. In the example of FIG. 16, frames 4, 7, and 10 are minimum frames, and frames 2, 5, 9, and 11 are maximum frames. When the difference between the maximum value and the minimum value is equal to or greater than the threshold value in FIG. The maximum frames on both sides of the
ブロック情報生成の第７の方法は、ブロック情報生成の第６の方法における極大値と極小値との差の代わりに、極大値と極小値との比率を用いる方法である。すなわち、反応データ集計値が極小となるフレーム（箇所）、および極大となるフレーム（箇所）を検出し、ある極小フレームの極小値に対する、その極小フレームの両側にある極大フレームの極大値の比率を算出し、その２つの比率のうちの少なくとも一方が所定値以上である場合に、その極小フレームを分割点として、その前のフレームと後のフレームが別々のブロックになるようにブロックを生成する方法である。この比率として、極大値÷極小値を算出して用いるが、極小値が０の場合は、比率を無限大、またはあらかじめ設定した値 にする。また、極小フレームの極小値と、極小フレームの両側にある極大フレームの極大値との２つの比率が両方とも所定値以上である場合に、分割点とするようにしてもよい。更に、分割点とする条件として、極小フレームの極小値が所定値以下であることを加えてもよい。なお、以上の説明では、極大値÷極小値を比率として用いたが、極小値÷極大値を比率として用いてもよい。この場合は、比率が所定値以下である場合に、該当する極小フレームを分割点とする。 The seventh method of block information generation is a method of using the ratio between the maximum value and the minimum value instead of the difference between the maximum value and the minimum value in the sixth method of block information generation. That is, the frame (location) where the reaction data aggregate value becomes the minimum and the frame (location) where the maximum value is detected are detected, and the ratio of the maximum value of the maximum frames on both sides of the minimum frame to the minimum value of a certain minimum frame is calculated. A method of calculating and generating a block so that the previous frame and the subsequent frame become separate blocks with the minimum frame as a division point when at least one of the two ratios is equal to or greater than a predetermined value It is. As this ratio, the maximum value / minimum value is calculated and used. When the minimum value is 0, the ratio is set to infinity or a preset value. Further, when the two ratios between the minimum value of the minimum frame and the maximum values of the maximum frames on both sides of the minimum frame are both equal to or larger than a predetermined value, the dividing point may be used. Further, as a condition for the division point, it may be added that the minimum value of the minimum frame is equal to or less than a predetermined value. In the above description, the local maximum value / local minimum value is used as the ratio, but the local minimum value / local maximum value may be used as the ratio. In this case, when the ratio is equal to or less than a predetermined value, the corresponding minimal frame is set as a division point.
ブロック情報生成の第８の方法は、一の種類のユーザ状態（例えば、「悲しみ」）の反応データ集計値が、所定値未満から所定以上に変化する箇所、または所定値以上から所定値未満に変化する箇所を中間点として検出し、一の種類以外のあるユーザ状態（例えば「笑い」）のブロック情報を生成する際に、検出した中間点の前後のフレームが別々のブロックになるように、ブロックを生成する方法である。図１７は、ユーザ状態が「笑い」（実線）と「悲しみ」（破線）である２種類の反応データ集計値の様子を示したものである。「悲しみ」の集計値が所定値未満から所定値以上に変化する箇所（図のＡ点）、および所定値以上から所定値未満に変化する箇所（図のＢ点）を中間点として検出する。中間点（中間フレーム）においては、隣接する２つのフレームの一方の集計値が所定値未満であり、もう一方の集計値が所定値以上になっている。そして、ユーザ状態が「笑い」であるブロック情報を生成する際に、検出した中間フレームを分割点として、その前後のフレームが別々のブロックとなるように、ブロック１、ブロック２、ブロック３を生成している。
The eighth method of block information generation is that a reaction data total value of one type of user state (for example, “sadness”) changes from less than a predetermined value to a predetermined value or from a predetermined value to a predetermined value. When detecting a changing point as an intermediate point and generating block information of a certain user state (for example, “laughter”) other than one type, so that the frames before and after the detected intermediate point are separate blocks, This is a method for generating a block. FIG. 17 shows two types of reaction data total values in which the user status is “laughter” (solid line) and “sadness” (broken line). A point where the total value of “sadness” changes from less than a predetermined value to a predetermined value or more (point A in the figure) and a point where the total value changes from a predetermined value to less than the predetermined value (point B in the figure) are detected as intermediate points. At an intermediate point (intermediate frame), one aggregate value of two adjacent frames is less than a predetermined value, and the other aggregate value is greater than or equal to a predetermined value. Then, when generating block information in which the user status is “laughter”,
更に、上記のブロック情報生成の第１〜第８の方法を適宜組合せてもよい。この場合、各々の方法における分割点の条件をＡＮＤ論理（論理積）で組み合わせる。例えば、第１の方法と第６の方法を組合せて、極小フレームの極小値と、その極小フレームの両側にある極大フレームの極大値との差を算出し、その２つの差のうちの少なくとも一方が第１の所定値以上であり、かつ極小値が第２の所定値以下である場合に、分割点とするようにしてもよい。また、第５の方法と第６の方法を組合せてもよい。すなわち、反応データ集計値の極小フレームの両側にある極大フレームとの距離のうちの少なくとも一方の距離が所定値以上であり、かつ極大値と極小値との２つの差の少なくとも一方の差が所定値以上である場合に、その極小フレームを分割点としてもよい。また、第５の方法と第７の方法を組合せてもよい。すなわち、反応データ集計値の極小フレームの両側にある極大フレームとの距離のうちの少なくとも一方の距離が所定値以上であり、かつ極大値と極小値との２つの比率の少なくとも一方の比率が所定値以上である場合に、その極小フレームを分割点としてもよい。 Furthermore, the first to eighth methods for generating the block information may be appropriately combined. In this case, the conditions of the dividing points in each method are combined by AND logic (logical product). For example, by combining the first method and the sixth method, the difference between the minimum value of the minimum frame and the maximum value of the maximum frame on both sides of the minimum frame is calculated, and at least one of the two differences is calculated. May be set as a dividing point when the minimum value is equal to or greater than the first predetermined value and the minimum value is equal to or less than the second predetermined value. Further, the fifth method and the sixth method may be combined. That is, at least one of the distances between the maximum frames on both sides of the minimum frame of the reaction data total value is equal to or greater than a predetermined value, and at least one of the two differences between the maximum value and the minimum value is predetermined. When the value is equal to or greater than the value, the minimum frame may be used as the dividing point. Further, the fifth method and the seventh method may be combined. That is, at least one of the distances between the maximum frames on both sides of the minimum frame of the reaction data total value is a predetermined value or more, and at least one of the two ratios of the maximum value and the minimum value is predetermined. When the value is equal to or greater than the value, the minimum frame may be used as the dividing point.
以上の処理により、フレーム番号とブロックが対応したブロック情報が得られる。ブロック情報生成手段１９は、その結果を図１８に示す形式で格納する。フレーム番号は、それぞれ再生位置に対応しているので、フレーム番号を再生位置に換算した後に、コンテンツＩＤと、ユーザ状態の種類と、ブロック先頭の再生位置と、ブロック末尾の再生位置と、ブロック番号とを対応させて格納する。図１８において、ユーザ状態の種類ごとに、異なる数のブロックが設定されている。コンテンツ「Ｃ００１」の場合、「笑い」に対して「Ｎｆ」個、「怒り」に対して「Ｎｇ」個、「悲しみ」に対して「１」個のブロックが設定されている。コンテンツ「Ｃ００１」では、合計「Ｎｆ＋Ｎｇ＋１」個のブロックが作成される。ブロック番号は、コンテンツごとに１から始まる続き番号である。なお、ユーザ反応データ格納手段１１に格納されたユーザ反応データにおいて、情報の種類が１種類のみである場合は、図１８の「ユーザ状態の種類」を省略できる。
Through the above processing, block information corresponding to the frame number and the block is obtained. The block information generation means 19 stores the result in the format shown in FIG. Since each frame number corresponds to the playback position, after converting the frame number to the playback position, the content ID, the user status type, the playback position at the beginning of the block, the playback position at the end of the block, and the block number Are stored in correspondence with each other. In FIG. 18, a different number of blocks are set for each type of user state. In the case of the content “C001”, “Nf” blocks are set for “laughter”, “Ng” blocks for “anger”, and “1” blocks for “sadness”. In the content “C001”, a total of “Nf + Ng + 1” blocks are created. The block number is a continuous number starting from 1 for each content. In addition, in the user reaction data stored in the user reaction
ブロック情報生成手段１９は、ブロック情報の格納を終了すると、動作終了を制御手段１５に通知する。
When the block
制御手段１５は、ブロック情報生成手段１９からの通知を受けると、集約データ計算手段１２に対して、動作開始の指示を与える。
Upon receiving the notification from the block
次に、図１９のフローチャートを用いて、集約データ計算手段１２の動作を説明する。集約データ計算手段１２は、ブロック情報生成手段１９に格納されたブロック情報を参照しながら、ユーザ反応データ格納手段１１に格納されているユーザ反応データから集約データを計算する。 Next, the operation of the aggregated data calculation means 12 will be described using the flowchart of FIG. The aggregate data calculation means 12 calculates aggregate data from the user reaction data stored in the user reaction data storage means 11 while referring to the block information stored in the block information generation means 19.
まずステップＳ５００において、集約データ計算手段１２は、計算過程で集約データを一時的に保持するためのバッファを初期化する。このバッファは、ユーザＩＤ（以下では「Ｕ」と表記）と、コンテンツＩＤ（以下では「Ｃ」と表記）と、ブロック番号（以下では「Ｂ」と表記）の３つの引数を指定して、値の読み書きが可能なものである。以下では、「Ｐ(Ｕ, Ｃ, Ｂ)」という表記で、その値を表わす。またこのバッファは、必要に応じて記憶領域を自動的に拡張する機能を持つ。初期状態では、全てのユーザ、全てのコンテンツ、全てのブロック番号に対して、バッファの値は「０」である。
First, in step S500, the aggregated
次にステップＳ５１０において、集約データ計算手段１２は、ユーザ反応データ格納手段１１を参照し、ユーザ反応データに記録されているユーザＩＤの中から、まだ処理を行っていないユーザＩＤを１つ選ぶ。このユーザＩＤを以下では、「Ｕｘ」と表記する。
Next, in step S510, the aggregated
次にステップＳ５２０において、集約データ計算手段１２は、ユーザ反応データ格納手段１１を参照し、ユーザＵｘに関してまだ処理を行っていないコンテンツＩＤを１つ選ぶ。このコンテンツＩＤを以下では、「Ｃｘ」と表記する。
Next, in step S520, the aggregate
次にステップＳ５３０において、集約データ計算手段１２は、ユーザ反応データ格納手段１１を参照し、ユーザＵｘがコンテンツＣｘを利用した際のユーザ状態の中から、まだ処理に使用していないユーザ状態を１つ選ぶ。このユーザ状態を以下では、「Ｍｘ」と表記する。
Next, in step S530, the aggregated
次にステップＳ５４０において、集約データ計算手段１２は、ユーザ反応データ格納手段１１を参照し、ユーザがＵｘで、コンテンツがＣｘで、ユーザ状態がＭｘである条件を満たすユーザ反応データの中から、まだ処理していないデータを１つ選ぶ。図４（Ｄ）に示す形式の場合であれば、テーブルの１行を読み出す。この選択したユーザ反応データを以下では「Ｒｘ」と表記する。
Next, in step S540, the aggregated
次にステップＳ５５０において、集約データ計算手段１２は、ブロック情報生成手段１９のブロック情報を参照しながら、Ｃｘ、Ｍｘ、Ｒｘの再生位置を用いて、Ｒｘに対応するブロックを判定する。
In step S550, the aggregated
具体的には、ブロック情報のコンテンツＩＤが「Ｃｘ」であり、「Ｒｘの再生位置」が「ブロック先頭再生位置」以上かつ「ブロック末尾再生位置」未満であり、ブロック情報の中の状態の種類が「Ｍｘ」であるブロック番号を判定する。また、Ｒｘに対応するブロック番号は、１つだけではなく複数存在する場合がある。例えば、ユーザ反応データが図４（Ｄ)に示すように状態区間の情報、すなわち「状態の先頭再生位置」と「状態の末尾再生位置」の情報を持っており、状態区間が複数のブロックにまたがっている場合である。このステップで判定されたブロック番号を「Ｂｘ」とする。 Specifically, the content ID of the block information is “Cx”, the “Rx playback position” is greater than or equal to the “block head playback position” and less than the “block end playback position”, and the type of state in the block information The block number having “Mx” is determined. Further, there may be a plurality of block numbers corresponding to Rx instead of only one. For example, as shown in FIG. 4D, the user response data includes state section information, that is, “state start playback position” and “state end playback position” information, and the state section is divided into a plurality of blocks. This is the case when straddling. The block number determined in this step is “Bx”.
次にステップＳ５６０において、集約データ計算手段１２は、ユーザ反応データＲｘにおける反応度合い（以下では「Ｄｘ」と表記する）を下記の数式（１）に示すように加算して、その時点での集計データ（集約値）であるＰ（Ｃｘ，Ｕｘ，Ｂｘ）を更新する。ユーザ反応データＲｘの中に、反応度合いが存在しない場合には、所定の数値をＰ（Ｃｘ，Ｕｘ，Ｂｘ）に加算する。例えば、「１．０」や「０．７」といった所定の数値を加算すればよい。ステップＳ５５０で判定されたブロック番号が複数存在する場合は、ステップＳ５６０の処理を該当する全てのブロック番号に対して行う。
次にステップＳ５７０において、集約データ計算手段１２は、ユーザ反応データ格納手段１１を参照し、ユーザがＵｘで、コンテンツがＣｘで、ユーザ状態がＭｘである全てのユーザ反応データを処理したか否か判定する。未処理のデータが存在する場合はステップＳ５４０に進み、未処理のデータが存在しない場合はステップＳ５８０に進む。
Next, in step S570, the aggregated
次にステップＳ５８０において、集約データ計算手段１２は、ユーザ反応データ格納手段１１を参照し、ユーザＵｘがコンテンツＣｘを利用した際のユーザ状態の中から、まだ処理していないユーザ状態があるか否か判定する。未処理のユーザ状態が存在する場合はステップＳ５３０に進み、未処理のユーザ状態が存在しない場合はステップＳ５９０に進む。
Next, in step S580, the aggregated
次にステップＳ５９０において、集約データ計算手段１２は、ユーザ反応データ格納手段１１を参照し、ユーザＵｘに関してまだ処理を行っていないコンテンツがあるか否か判定する。未処理のコンテンツが存在する場合はステップＳ５２０に進み、未処理のコンテンツが存在しない場合はステップＳ６００に進む。
In step S590, the aggregated
次にステップＳ６００において、集約データ計算手段１２は、ユーザ反応データ格納手段１１を参照し、ユーザ反応データに記録されているユーザＩＤの中から、まだ処理を行っていないユーザがいるか否か判定する。未処理のユーザが存在する場合はステップＳ５１０に進み、未処理のユーザが存在しない場合はステップＳ６１０に進む。
Next, in step S600, the aggregated
次にステップＳ６１０において、集約データ計算手段１２は、バッファ「Ｐ(Ｕ, Ｃ, Ｂ)」の全てのデータを集約データ計算手段１２の集約データ格納部３３（図示せず）に格納する。
In step S <b> 610, the aggregate
本実施例では以上の処理の結果、ユーザが反応を示したブロックの集約値は正の値（０より大きな値）となる。またユーザが反応していないブロックの集約値は、初期状態の「０」になっている。またユーザが利用していないコンテンツのブロックは、全て初期状態の「０」になっている。 In the present embodiment, as a result of the above processing, the aggregate value of the blocks for which the user has reacted becomes a positive value (a value greater than 0). The aggregate value of the blocks that the user is not responding to is “0” in the initial state. All blocks of content not used by the user are in the initial state “0”.
集約データ計算手段１２の集約データ格納部３３には、図２０に示す形式でデータが格納される。ユーザＩＤと、コンテンツＩＤと、ブロック番号と、グローバルブロック番号と、バッファ「Ｐ(Ｕ, Ｃ, Ｂ)」の値である集約値とが関連づけられて格納されている。図２０の例では、Ｋ個のユーザＩＤと、Ｌ個のコンテンツＩＤが格納されている様子を示している。以下の説明では、このように集約データ格納部にＫ個のユーザＩＤと、Ｌ個のコンテンツＩＤおよび統合コンテンツＩＤが格納されているものとする。
Data is stored in the aggregate
ブロック番号は、コンテンツ毎に付けられた１から始まる通し番号である。グローバルブロック番号は、集約データ格納部３３に格納されている全てのコンテンツの全てのブロックを一意に識別できる番号である。具体的には、最初のコンテンツに対して、そのコンテンツのブロック番号と同じ１〜Ｎ１までの番号をグローバルブロック番号として付与し、２番目のコンテンツに対しては、Ｎ１＋１〜Ｎ１＋Ｎ２までの番号をグローバルブロック番号として付与する（ただし、Ｎ２は２番目のコンテンツのブロック数）。このような処理を全てのコンテンツに対して行う。本実施例では、１からＮｚまでのグローバルブロック番号があるものとする。コンテンツＩＤとブロック番号の組み合わせで、全てのコンテンツのブロックを特定することもできるが、グローバルブロック番号を用いることにより、１種類の番号で、全てのコンテンツのブロックを特定できる。なお、集約データ格納部３３に、ユーザＩＤと、グローバルブロック番号と、集約値とを格納するようにして、コンテンツＩＤとブロック番号の格納を省略してもよい。
The block number is a serial number starting from 1 assigned to each content. The global block number is a number that can uniquely identify all the blocks of all the contents stored in the aggregate
集約データ計算手段１２は、以上のように集約データを計算して格納した後に、制御手段１５に対して処理終了を通知する。
The aggregate
本実施例においては、類似度計算手段１３が、集約データ計算手段１２の集約データ格納部３３に格納された集約データを用いて、ユーザ間の類似度を計算する。この理由を以下に説明する。
In the present embodiment, the
本発明と異なる方法として、ユーザ反応データそのものを使って、ユーザ間の類似度を計算することも考えられる。例えば、従来技術の特許文献２においては、図４（Ａ）の形式のユーザ反応データをそのまま用いて、ユーザ間の類似度を算出していると解釈できる。しかしながら、この方法には、ユーザの反応を計測する時間間隔を適切に設定することが難しいという問題がある。
As a method different from the present invention, it is conceivable to calculate the similarity between users using the user reaction data itself. For example, in
ユーザの反応を短い時間間隔で計測し、それを類似度計算に用いると、データ量が増えるので、ユーザ間の類似度計算の処理量も増える。一般的には、収集したサンプルの大半は、ユーザが反応を示さないデータ（ゼロデータ）になる。更に、２人のユーザがほぼ同時に反応を示した場合であっても、異なる位置（時間）での反応扱いになることが多く、実際よりも類似度が低い値で計算される傾向がある。 If the user's reaction is measured at short time intervals and used for similarity calculation, the amount of data increases, so the processing amount of similarity calculation between users also increases. In general, most of the collected samples are data that the user does not respond (zero data). Furthermore, even when two users show responses at almost the same time, they are often handled at different positions (time), and tend to be calculated with values that are lower than the actual ones.
ユーザの反応を長い時間間隔で計測し、それを類似度計算に用いると、計算量は少なくて済む。しかし、ユーザが反応しても、サンプル点とサンプル点の間の位置になってしまい、類似度に反映されない可能性が出てくる。またそれを回避するために、反応を時間方向に積分する処理を入れると、本来時間的に区別すべき反応も同じ時間の反応として処理してしまうので、類似度の精度が低くなる場合がある。すなわち、従来技術のように、ユーザ反応データをそのまま使って類似度を計算する方法では、ユーザ間の類似度を精度良く、かつ少ない計算量で効率的に計算することが難しい。 If the user's reaction is measured at a long time interval and used for similarity calculation, the calculation amount is small. However, even if the user reacts, the position becomes between the sample points and may not be reflected in the similarity. In order to avoid this, if the process of integrating the reactions in the time direction is added, the reactions that should be distinguished in terms of time are also processed as reactions of the same time, so the accuracy of similarity may be reduced. . That is, in the method of calculating the similarity using the user reaction data as it is as in the prior art, it is difficult to calculate the similarity between users accurately and efficiently with a small amount of calculation.
本発明では、反応データ集計手段１８と、ブロック情報生成手段１９と、集約データ計算手段１２を組み合わせた処理により、ユーザ反応データから集約データを計算し、集約データを用いてユーザ間の類似度を計算するので、ユーザ間の類似度を精度良く、かつ少ない計算量で効率的に計算することが可能である。また本発明は、ユーザ反応データからブロック情報を生成しているため、あらかじめコンテンツごとのブロック情報を用意しておく必要がない。このため、コンテンツの種類が非常に多い場合であっても、容易に対応できるという優れた特徴を有している。
In the present invention, the aggregated data is calculated from the user reaction data by the process combining the reaction data totaling unit 18, the block
次にユーザ情報処理装置１が再生装置２に対して提供する類似ユーザ情報を作成する方法について説明する。あるユーザ（一のユーザ）が利用する再生装置２において、一のユーザが入力装置２９を操作して、類似ユーザ情報の取得を指示すると、制御手段２５はステップＳ１００と同様のユーザ認証処理を行った後、送受信手段２４を介して、類似ユーザ情報リクエストとユーザＩＤとをユーザ情報処理装置１に送信する。なお、ユーザ情報処理装置１において、ユーザを識別する処理を行なわず、再生装置２を識別する処理を行なう場合には、ユーザＩＤの代わりに、再生装置２を識別する情報を送信すればよい。ユーザ情報処理装置１の送受信手段１４は、この類似ユーザ情報リクエストとユーザＩＤとを受信し、類似度計算手段１３に通知することにより、類似度計算手段１３が一のユーザに対する類似ユーザ情報を作成する。
Next, a method for creating similar user information provided by the user
類似度計算手段１３の動作を図２１のフローチャートを用いて説明する。 The operation of the similarity calculation means 13 will be described using the flowchart of FIG.
まずステップＳ７００において、類似度計算手段１３は、類似ユーザ情報リクエストを発行したユーザ（一のユーザ）のユーザＩＤ（一のユーザＩＤ）に対応する集約データを集約データ計算手段１２の集約データ格納部３３から読み出す。以下では一のユーザＩＤをＵａとする。Ｕａの集約値をグローバルブロック番号に対応させて読み出し、ベクトル形式のデータとして保持する。以下ではこのベクトルをＶａ［ｉ］（ｉはグローバルブロック番号で、ｉ＝１〜Ｎｚ）で表わす。
First, in step S700, the
次にステップＳ７１０において、類似度計算手段１３は、集約データ格納部３３を参照しながら、Ｕａ以外のユーザＩＤの内から、まだ処理を行っていないユーザＩＤを１つ選択する。このユーザＩＤをＵｂとする。
Next, in step S710, the
次にステップＳ７２０において、類似度計算手段１３は、Ｕｂの集約データを集約データ格納部３３から読み出す。Ｕｂの集約値をグローバルブロック番号に対応させて読み出し、ベクトル形式のデータとして保持する。以下ではこのベクトルをＶｂ［ｉ］（ｉはグローバルブロック番号で、ｉ＝１〜Ｎｚ）で表わす。
Next, in step S720, the
次にステップＳ７３０において、類似度計算手段１３は、ＶａとＶｂを用いて、ユーザＵａとユーザＵｂとの類似度Ｓａｂを計算し、ＵｂとＳａｂを対応させた結果をバッファＱに格納する。類似度の計算方法としては以下に示す種々の方法を用いることができる。以下ではＳａｂの値が大きいほど、ユーザ間の類似度が高いと判断できる。
Next, in step S730, the
第１の計算方法は、下記の数式（２）に従って、ＶａとＶｂが共に正の値（０より大きな値）となるベクトル要素の数をカウントする方法である。コンテンツの同じブロックに対して反応を示すユーザは類似性が高いという判断に基づく処理である。
第２の計算方法は、下記の数式（３）に従って、ＶａとＶｂのコサイン尺度（２つのベクトルのコサイン角度）を計算する方法である。数 式（３）の分子は、ＶａとＶｂの内積であり、分母はＶａのノルムとＶｂのノルムの積である。
第３の計算方法は、下記の数式（４）に従って、ＶａとＶｂの相関係数を計算する方法である。数式（４）において、Ｖａｍは、Ｖａ［ｉ］（ｉ＝１〜Ｎｚ）の平均値、Ｖｂｍは、Ｖｂ［ｉ］（ｉ＝１〜Ｎｚ）の平均値である。なお、数式（４）では、ｉ＝１〜Ｎｚの全てのグローバルブロックの集約値を用いて、相関係数を計算しているが、一部のグローバルブロックの集約値のみを用いて相関係数を計算してもよい。例えば、ＶａとＶｂが共に正の値となるグローバルブロックの集合を作成し、この集合を対象としてＶａの平均値ＶａｍとＶｂの平均値Ｖｂｍをそれぞれ計算した後、数式（４）の各々のΣで示されている加算演算を前記集合を対象として行い、相関係数を計算してもよい。
第４の計算方法は、下記の数式（５）に従って、ＶａとＶｂの距離を計算し、これを用いて類似度を計算する方法である。広義の意味では、距離も類似度の内に入るが、距離が小さいほど類似性が高くなる。Ｓａｂの値が大きいほど類似性が高くなるようにした方が都合がよいので、数式（５）を用いる。ここでαは定数である。なお、ここではユークリッド距離を用いているが、マハラノビス距離を用いてもよい。また、ＶａとＶｂの差の２乗の代わりに、ＶａとＶｂの差の絶対値を計算して用いてもよい。
第５の計算方法は、下記の数式（６）に従って、ＶａとＶｂの距離を計算し、これを用いて類似度を計算する方法である。β、γ、λは定数であり、γは通常１未満である。なお、ここではユークリッド距離を用いているが、マハラノビス距離を用いてもよい。また、ＶａとＶｂの差の２乗の代わりに、ＶａとＶｂの差の絶対値を計算して用いてもよい。
第６の計算方法は、下記の数式（７）に従って、ＶａとＶｂの内積と、Ｖａ、Ｖｂそれぞれの２乗和を用いて計算する方法である。
さらに、上記第１〜第６の計算方法を組合せて類似度Ｓａｂを計算してもよい。例えば、第２の計算方法と、第４の計算方法を組合せて、下記の数式（８）に従って計算してもよい。ここで、μ、νは定数である。
以上が類似度Ｓａｂの計算方法の説明である。 The above is the description of the method for calculating the similarity Sab.
次にステップＳ７４０において、類似度計算手段１３は、集約データ格納部３３を参照しながら、Ｕａ以外のユーザＩＤで、まだ処理を行っていないユーザＩＤがあるか否か判定する。未処理のユーザＩＤが存在する場合はステップＳ７１０に進み、未処理のユーザＩＤが存在しなければ、ステップＳ７５０に進む。
Next, in step S740, the
次にステップＳ７５０において、類似度計算手段１３は、一のユーザを除く他のユーザのユーザＩＤと類似度Ｓａｂとがそれぞれ記憶されているバッファＱを参照し、類似度の高いユーザを以下の方法で選ぶ。 Next, in step S750, the similarity calculation means 13 refers to the buffer Q in which the user IDs and similarity Sabs of other users other than one user are stored, and uses the following method to identify users with high similarity. Select with.
第１の選択方法は、類似度Ｓａｂが所定値以上のユーザを選ぶ方法である。また、所定値以上のユーザの人数が多すぎる場合や、人数が少なすぎる場合には、所定値を変更してユーザを選択し直してもよい。 The first selection method is a method of selecting a user whose similarity Sab is a predetermined value or more. In addition, when the number of users equal to or greater than the predetermined value is too large or the number of users is too small, the predetermined value may be changed and the user may be selected again.
第２の選択方法は、類似度Ｓａｂを大きい順に並べた場合の上位から所定の人数を超えない人数だけ選択する方法である。バッファＱに所定数より多いユーザが存在する場合は、Ｓａｂの大きい順に所定数だけユーザを選択し、そうでない場合は、バッファＱに存在する全てのユーザを選択する。 The second selection method is a method of selecting only the number of people that does not exceed a predetermined number from the top when the similarity Sab is arranged in descending order. When there are more users than the predetermined number in the buffer Q, a predetermined number of users are selected in descending order of Sab. Otherwise, all the users existing in the buffer Q are selected.
また、第１の選択方法と第２の選択方法を組合せてもよい。例えば、類似度Ｓａｂが所定値以上のユーザを候補として、その中から類似度の高い順に所定の人数を超えない人数だけ選択してもよい。すなわち、類似度Ｓａｂが所定値以上のユーザの人数が所定の人数よりも多い場合は、Ｓａｂの大きい順に所定の人数を選択し、そうでない場合は、Ｓａｂが所定値以上の全てのユーザを選択する。更に、ユーザ属性格納手段１６に格納されているユーザ属性データの中に、一のユーザが紹介を希望する他のユーザに関する条件が含まれている場合には、それに合致するユーザを対象にして、第１の選択方法、または第２の選択方法、または第１の選択方法と第２の選択方法を組合せた方法などにより、類似度の高いユーザを選択しても良い。 Further, the first selection method and the second selection method may be combined. For example, users whose similarity Sab is equal to or greater than a predetermined value may be selected as candidates, and only those who do not exceed a predetermined number may be selected in descending order of similarity. In other words, if the number of users whose similarity Sab is greater than or equal to a predetermined value is greater than the predetermined number, select the predetermined number of people in descending order of Sab, otherwise select all users whose Sab is greater than or equal to the predetermined value. To do. Furthermore, in the case where the user attribute data stored in the user attribute storage means 16 includes a condition regarding another user that one user wants to introduce, the user who matches the condition is targeted. A user with a high degree of similarity may be selected by the first selection method, the second selection method, or a combination of the first selection method and the second selection method.
次にステップＳ７６０において、類似度計算手段１３は、ステップＳ７５０で選択されたユーザのユーザＩＤに対応するユーザ属性データをユーザ属性格納手段１６から読み出し、送受信手段１４を介して、一のユーザの利用する再生装置２に送信する。
Next, in step S760, the
また上記とは別の方法として、類似度計算手段１３において特開２００５−７１１２６号公報などに記載の方法をベースに更に変形して用いてもよい。すなわち、ユーザＩＤを行列の行または列に対応させ、グローバルブロック番号をもう一方の列または行に対応させ、行列要素が集約値である行列を形成する。そして、この行列に対して数量化３類や主成分分析などの多変量解析手法を適用し、グローバルブロック数Ｎｚよりも小さな次元を持つ低次元ベクトル（スコアベクトル）を形成し、一のユーザの低次元ベクトルと他のユーザの低次元ベクトルの類似度を上記のステップＳ７３０と同様に計算して、類似度の高いユーザを選択してもよい。これにより、ユーザ間の類似度をさらに精度よく計算することができる。また、計算量をさらに削減することができる。
As another method different from the above, the similarity calculation means 13 may be further modified based on the method described in JP-A-2005-71126. That is, the user ID is made to correspond to the row or column of the matrix, the global block number is made to correspond to the other column or row, and a matrix whose matrix elements are aggregate values is formed. Then, a multivariate analysis method such as
以上が類似度計算手段１３の動作の説明である。
The above is the description of the operation of the
再生装置２の制御手段２５は、ユーザ情報処理装置１から類似ユーザの属性情報を送受信手段２４を介して受信し、表示装置２７にその情報を表示させる。これにより、一のユーザは自分とコンテンツに対する興味、嗜好、センスが類似するユーザの情報を知ることができ、そのユーザとコンタクトを取ることも可能になる。
The
また、一のユーザに対して、類似ユーザの情報を提供するだけでなく、他の情報を提供してもよい。例えば、ユーザ情報処理装置１が、コンテンツＩＤに対応させてコンテンツのタイトル、制作者、ジャンル、制作年、説明文等のコンテンツ属性情報を格納すると共に、ユーザ反応データ格納手段１１の中から、類似ユーザの利用頻度が高く、かつ一のユーザの利用頻度が少ない（または利用していない）コンテンツのコンテンツＩＤを選択し、選択したコンテンツＩＤに対応するコンテンツ属性情報を一のユーザに対して提供してもよい。
Further, not only information on similar users but also other information may be provided to one user. For example, the user
実施例２のシステム全体の構成を図２２に示す。実施例１では、ユーザ情報処理装置１と再生装置２が別々の装置であったが、実施例２においては、この２つの装置の機能を併せ持つ統合装置５を用いる。複数の統合装置５がネットワーク３を介して、ピアツーピアでお互いに接続可能なシステムである。統合装置５は、ユーザ情報処理部５１と、再生部５２で構成されている。ユーザ情報処理部５１の構成および動作は、実施例１におけるユーザ情報処理装置１と同様である。また再生部５２の構成および動作は、実施例１における再生装置２と同様である。
The overall system configuration of the second embodiment is shown in FIG. In the first embodiment, the user
１ ユーザ情報処理装置
２（２ａ〜２ｎ） 再生装置
３ ネットワーク
５（５ａ〜５ｎ） 統合装置
１１ ユーザ反応データ格納手段
１２ 集約データ計算手段
１３ 類似度計算手段
１４ 送受信手段
１５ 制御手段
１６ ユーザ属性格納手段
１８ 反応データ集計手段
１９ ブロック情報生成手段
２１ コンテンツ再生手段
２２ ユーザ状態認識手段
２３ ユーザ反応データ作成手段
２４ 送受信手段
２５ 制御手段
２６ ユーザ属性格納手段
２７ 表示装置
２８ 音声出力装置
２９ 入力装置
３０ センサ装置
３３ 集約データ格納部
４１ 表示装置
４２ 入力装置
DESCRIPTION OF
Claims (20)
ユーザを識別するためのユーザ識別情報と、コンテンツの再生位置を示す位置情報と、その位置情報に対応する前記ユーザの状態情報とを関連付けた反応データを読み込んで、前記位置情報を所定の開始位置と所定の終了位置を持つ各フレームに対応させると共に、前記フレームごとに複数のユーザの前記反応データを集計した反応データ集計値を算出する反応データ集計手段、
前記反応データ集計値の分布情報を用いて、１つ以上の前記フレームをグループ化し、各グループの先頭のフレームの前記開始位置と末尾のフレーム前記終了位置との間にある前記位置情報を同一のブロックに対応させるためのブロック情報を生成するブロック情報生成手段、
前記ブロック情報に基づいて、前記反応データの前記位置情報をブロックに対応させて、前記ユーザ識別情報ごとに、前記ブロックごとに複数の前記反応データを集約した集約データを計算する集約データ計算手段、
一のユーザの前記集約データと、他のユーザの前記集約データとを用いて、一のユーザと他のユーザとの類似度を計算する類似度計算手段、
として機能させるためのユーザ情報処理プログラム。 Computer
Read reaction data associating user identification information for identifying the user, position information indicating the reproduction position of the content, and the user status information corresponding to the position information, and the position information is set to a predetermined start position. And reaction data totaling means for calculating a reaction data total value obtained by totaling the reaction data of a plurality of users for each frame, and corresponding to each frame having a predetermined end position,
One or more of the frames are grouped using the distribution information of the reaction data aggregate value, and the position information between the start position and the end frame of the first frame of each group is the same. Block information generating means for generating block information to correspond to the block;
Based on the block information, the position information of the reaction data is associated with the block, and for each of the user identification information, aggregated data calculation means for calculating aggregated data by aggregating a plurality of the reaction data for each block,
Similarity calculation means for calculating the similarity between one user and another user using the aggregated data of one user and the aggregated data of another user;
User information processing program for functioning as
請求項１に記載のユーザ情報処理プログラム。 The block information generating means generates the block information by controlling the frame before and after the frame whose reaction data total value is a predetermined value or less to correspond to different blocks.
The user information processing program according to claim 1.
請求項１に記載のユーザ情報処理プログラム。 The block information generation means detects a section in which a predetermined number or more of frames whose reaction data total value is less than or equal to a predetermined value is detected, and controls so that a frame before and after the section corresponds to different blocks. To generate the block information,
The user information processing program according to claim 1.
請求項１に記載のユーザ情報処理プログラム。 The block information generating means detects a section where a predetermined number or more of frames whose reaction data total value is less than or equal to a first predetermined value is detected, and in that section, the reaction data total value is greater than the first predetermined value. When there is a small frame equal to or smaller than the second predetermined value, the block information is generated by controlling the previous frame and the subsequent frame of the section to correspond to different blocks.
The user information processing program according to claim 1.
請求項１から４のいずれかに記載のユーザ情報処理プログラム。 The block information generating means detects a minimal frame where the reaction data total value is minimized, and generates the block information by controlling so that a frame before and after the minimal frame correspond to different blocks. To
The user information processing program according to any one of claims 1 to 4.
請求項１から５のいずれかに記載のユーザ情報処理プログラム。 The block information generating means detects a minimum frame in which the reaction data total value is minimum, and a maximum frame in which the reaction data total value is maximum, and detects one minimum frame and the one minimum frame. The distance between the two nearest maximum frames on both sides is calculated, and when at least one of the distances is equal to or greater than a predetermined value, the previous frame and the subsequent frame of the one minimum frame correspond to different blocks. Control to generate the block information,
The user information processing program according to any one of claims 1 to 5.
請求項１から６のいずれかに記載のユーザ情報処理プログラム。 The block information generating means detects a minimum frame in which the reaction data total value is minimum, and a maximum frame in which the reaction data total value is maximum, and the detected minimum value of one minimum frame, When the difference between the maximum values of the two nearest maximum frames on both sides of the minimum frame is calculated and at least one of the differences is equal to or greater than a predetermined value, the previous frame and the subsequent frame of the one minimum frame are The block information is generated by controlling to correspond to different blocks.
The user information processing program according to any one of claims 1 to 6.
請求項１から７のいずれかに記載のユーザ情報処理プログラム。 The block information generating means detects a minimum frame in which the reaction data total value is minimum, and a maximum frame in which the reaction data total value is maximum, and the detected minimum value of one minimum frame, When the ratio between the local maximum values of the two nearest local maximum frames on both sides of the local minimum frame is calculated and at least one of the ratios is equal to or larger than a predetermined value, The block information is generated by controlling to correspond to different blocks.
The user information processing program according to claim 1.
請求項１から８のいずれかに記載のユーザ情報処理プログラム。 The reaction data totaling means sets the value obtained by totaling the number of users having user response data for each frame as the reaction data total value.
The user information processing program according to claim 1.
請求項１から８のいずれかに記載のユーザ情報処理プログラム。 The reaction data totaling means sets the value obtained by adding the reaction degree of user response data for each frame as the reaction data total value.
The user information processing program according to claim 1.
前記ブロック情報生成手段は、前記状態情報の種類ごとに前記ブロック情報を生成す る、
請求項１から１０のいずれかに記載のユーザ情報処理プログラム。 The reaction data totaling unit reads the reaction data including a plurality of types of state information, calculates the reaction data total value for each type of the state information,
The block information generating means generates the block information for each type of the state information;
The user information processing program according to claim 1.
請求項１１に記載のユーザ情報処理プログラム。 The block information generation means, for the reaction data total value of one type of the state information, targets one of the adjacent frames that is less than a predetermined value and the other of the adjacent frames is a predetermined value or more. Detecting as an intermediate frame, controlling the previous frame and the subsequent frame of the intermediate frame to correspond to different blocks, and the block information corresponding to the status information of another type other than the one type Generate,
The user information processing program according to claim 11.
請求項１から１２のいずれかに記載のユーザ情報処理プログラム。 The similarity calculation means calculates the similarity using one vector data composed of the aggregated data of one user and other vector data composed of the aggregated data of another user. ,
The user information processing program according to claim 1.
請求項１から１２のいずれかに記載のユーザ情報処理プログラム。 The similarity calculation means applies a multivariate analysis method to the aggregate data calculated by the aggregate data calculation means, calculates a low-dimensional vector having a number of dimensions smaller than the number of dimensions of the aggregate data, The similarity is calculated using one vector data that is the low-dimensional vector of one user and another vector data that is the low-dimensional vector of another user.
The user information processing program according to claim 1.
前記一のベクトルデータと、前記他のベクトルデータが共に正の値であるベクトル要素の数を用いて、
または、前記一のベクトルデータと、前記他のベクトルデータとの内 積を用いて、
または、前記一のベクトルデータと、前記他のベクトルデータとの相関係数を用いて、
または、前記一のベクトルデータと、前記他のベクトルデータとの距離を用いて、
前記類似度を計算する、
請求項１３または１４に記載のユーザ情報処理プログラム。 The similarity calculation means includes:
Using the number of vector elements in which the one vector data and the other vector data are both positive values,
Alternatively, using the inner product of the one vector data and the other vector data,
Alternatively, using a correlation coefficient between the one vector data and the other vector data,
Alternatively, using the distance between the one vector data and the other vector data,
Calculating the similarity,
The user information processing program according to claim 13 or 14.
前記一のベクトルデータと、前記他のベクトルデータが共に正の値であるベクトル要素の数と、
前記一のベクトルデータと、前記他のベクトルデータとの内 積と、
前記一のベクトルデータと、前記他のベクトルデータとの相関係数と、
前記一のベクトルデータと、前記他のベクトルデータとの距離と、
のうちの１つ以上を用いて 複数の値を算出し、算出されたそれぞれの値に所定の重み係数を乗算した値を加算して、前記類似度を計算する、
請求項１３または１４に記載のユーザ情報処理プログラム。 The similarity calculation means includes:
The number of vector elements in which the one vector data and the other vector data are both positive values;
An inner product of the one vector data and the other vector data;
A correlation coefficient between the one vector data and the other vector data;
A distance between the one vector data and the other vector data;
Calculating a plurality of values using one or more of them, adding a value obtained by multiplying each calculated value by a predetermined weighting factor, and calculating the similarity.
The user information processing program according to claim 13 or 14.
請求項１から１６のいずれかに記載のユーザ情報処理プログラム。 The similarity calculation means further selects, for one user, another user whose similarity is equal to or greater than a predetermined value, or another user whose number does not exceed a predetermined number in descending order of the similarity.
The user information processing program according to any one of claims 1 to 16.
請求項１から１７のいずれかに記載のユーザ情報処理プログラム。 The similarity calculation means further targets another user having a user attribute that matches a condition desired by one user, another user whose similarity is a predetermined value or more, or predetermined in descending order of similarity. Select a number of other users that do not exceed the number,
The user information processing program according to claim 1.
前記反応データ集計値の分布情報を用いて、１つ以上の前記フレームをグループ化し、各グループの先頭のフレームの前記開始位置と末尾のフレーム前記終了位置との間にある前記位置情報を同一のブロックに対応させるためのブロック情報を生成するブロック情報生成手段と、
前記ブロック情報に基づいて、前記反応データの前記位置情報をブロックに対応させて、前記ユーザ識別情報ごとに、前記ブロックごとに複数の前記反応データを集約した集約データを計算する集約データ計算手段と、
一のユーザの前記集約データと、他のユーザの前記集約データとを用いて、一のユーザと他のユーザとの類似度を計算する類似度計算手段と、
を備えるユーザ情報処理装置。 Read reaction data associating user identification information for identifying the user, position information indicating the reproduction position of the content, and the user status information corresponding to the position information, and the position information is set to a predetermined start position. Corresponding to each frame having a predetermined end position, and reaction data totaling means for calculating a reaction data total value obtained by totaling the reaction data of a plurality of users for each frame,
One or more of the frames are grouped using the distribution information of the reaction data aggregate value, and the position information between the start position and the end frame of the first frame of each group is the same. Block information generating means for generating block information to correspond to the block;
Based on the block information, an aggregated data calculation means for calculating the aggregated data obtained by aggregating a plurality of the reaction data for each block for each of the user identification information by associating the position information of the reaction data with the block. ,
Similarity calculation means for calculating the similarity between one user and another user using the aggregated data of one user and the aggregated data of another user;
A user information processing apparatus comprising:
前記反応データ集計値の分布情報を用いて、１つ以上の前記フレームをグループ化し、各グループの先頭のフレームの前記開始位置と末尾のフレーム前記終了位置との間にある前記位置情報を同一のブロックに対応させるためのブロック情報を生成するステップと、
前記ブロック情報に基づいて、前記反応データの前記位置情報をブロックに対応させて、前記ユーザ識別情報ごとに、前記ブロックごとに複数の前記反応データを集約した集約データを計算するステップと、
一のユーザの前記集約データと、他のユーザの前記集約データとを用いて、一のユーザと他のユーザとの類似度を計算するステップと、
を含むユーザ情報処理方法。 Read reaction data associating user identification information for identifying the user, position information indicating the reproduction position of the content, and the user status information corresponding to the position information, and the position information is set to a predetermined start position. Corresponding to each frame having a predetermined end position, and calculating a reaction data total value obtained by totaling the reaction data of a plurality of users for each frame;
One or more of the frames are grouped using the distribution information of the reaction data aggregate value, and the position information between the start position and the end frame of the first frame of each group is the same. Generating block information to correspond to the block;
Based on the block information, associating the position information of the reaction data with a block, for each of the user identification information, calculating aggregated data obtained by aggregating a plurality of the reaction data for each block;
Calculating the degree of similarity between one user and another user using the aggregated data of one user and the aggregated data of another user;
User information processing method including
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009285402A JP2011128790A (en) | 2009-12-16 | 2009-12-16 | User information processing program, user information processor and user information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009285402A JP2011128790A (en) | 2009-12-16 | 2009-12-16 | User information processing program, user information processor and user information processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011128790A true JP2011128790A (en) | 2011-06-30 |
Family
ID=44291345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009285402A Pending JP2011128790A (en) | 2009-12-16 | 2009-12-16 | User information processing program, user information processor and user information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011128790A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014222397A (en) * | 2013-05-13 | 2014-11-27 | 日本電信電話株式会社 | Feeling estimation method, device, and program |
| JP2015162015A (en) * | 2014-02-26 | 2015-09-07 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Information acquisition system, information acquisition method, and computer program |
| WO2017064891A1 (en) * | 2015-10-13 | 2017-04-20 | ソニー株式会社 | Information processing system, information processing method, and storage medium |
| JP2017533106A (en) * | 2014-10-24 | 2017-11-09 | フェロー，インコーポレイテッド | Customer service robot and related systems and methods |
| US10311400B2 (en) | 2014-10-24 | 2019-06-04 | Fellow, Inc. | Intelligent service robot and related systems and methods |
| US10373116B2 (en) | 2014-10-24 | 2019-08-06 | Fellow, Inc. | Intelligent inventory management and related systems and methods |
| US10586082B1 (en) | 2019-05-29 | 2020-03-10 | Fellow, Inc. | Advanced micro-location of RFID tags in spatial environments |
| JP6905775B1 (en) * | 2020-10-27 | 2021-07-21 | 株式会社Ｔｈｅａｔｅｒ Ｇｕｉｌｄ | Programs, information processing equipment and methods |
-
2009
- 2009-12-16 JP JP2009285402A patent/JP2011128790A/en active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014222397A (en) * | 2013-05-13 | 2014-11-27 | 日本電信電話株式会社 | Feeling estimation method, device, and program |
| JP2015162015A (en) * | 2014-02-26 | 2015-09-07 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Information acquisition system, information acquisition method, and computer program |
| US10373116B2 (en) | 2014-10-24 | 2019-08-06 | Fellow, Inc. | Intelligent inventory management and related systems and methods |
| JP2017533106A (en) * | 2014-10-24 | 2017-11-09 | フェロー，インコーポレイテッド | Customer service robot and related systems and methods |
| US10311400B2 (en) | 2014-10-24 | 2019-06-04 | Fellow, Inc. | Intelligent service robot and related systems and methods |
| JPWO2017064891A1 (en) * | 2015-10-13 | 2018-08-02 | ソニー株式会社 | Information processing system, information processing method, and storage medium |
| WO2017064891A1 (en) * | 2015-10-13 | 2017-04-20 | ソニー株式会社 | Information processing system, information processing method, and storage medium |
| US10754864B2 (en) | 2015-10-13 | 2020-08-25 | Sony Corporation | Information processing system and information processing method to specify persons with good affinity toward each other |
| US11341148B2 (en) | 2015-10-13 | 2022-05-24 | Sony Corporation | Information processing system and information processing method to specify persons with good affinity toward each other |
| US10586082B1 (en) | 2019-05-29 | 2020-03-10 | Fellow, Inc. | Advanced micro-location of RFID tags in spatial environments |
| JP6905775B1 (en) * | 2020-10-27 | 2021-07-21 | 株式会社Ｔｈｅａｔｅｒ Ｇｕｉｌｄ | Programs, information processing equipment and methods |
| WO2022091493A1 (en) * | 2020-10-27 | 2022-05-05 | 株式会社Theater Guild | Program, information processing device, and method |
| JP2022070404A (en) * | 2020-10-27 | 2022-05-13 | 株式会社Theater Guild | Program, information processing device and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011129997A (en) | User information processing program, reproducing program, user information processor, reproducing device, user information processing method, and reproducing method | |
| JP2011128790A (en) | User information processing program, user information processor and user information processing method | |
| JP4965322B2 (en) | User support method, user support device, and user support program | |
| US9342576B2 (en) | Information processing device, information processing terminal, information processing method, and program | |
| US20090089833A1 (en) | Information processing terminal, information processing method, and program | |
| US8407055B2 (en) | Information processing apparatus and method for recognizing a user's emotion | |
| JP5359534B2 (en) | Information processing apparatus and method, and program | |
| WO2019007249A1 (en) | Interaction method, electronic device, and server | |
| US20090089265A1 (en) | Information processing apparatus, information processing method, and program | |
| KR20150005574A (en) | Controlling the presentation of a media program based on passively sensed audience reaction | |
| US7804016B2 (en) | Method and device for selecting music to be recommended for user by using music reproduction device | |
| US20090144071A1 (en) | Information processing terminal, method for information processing, and program | |
| US11355099B2 (en) | Word extraction device, related conference extraction system, and word extraction method | |
| WO2008032787A1 (en) | Feeling detection method, feeling detection device, feeling detection program containing the method, and recording medium containing the program | |
| JP6535497B2 (en) | Music recommendation system, program and music recommendation method | |
| CN106462646A (en) | Control device, control method, and computer program | |
| JP2019036191A (en) | Determination device, method for determination, and determination program | |
| JP2009134669A (en) | Information processor, information processing terminal, information processing method, and program | |
| WO2022218027A1 (en) | Audio playing method and apparatus, and computer-readable storage medium and electronic device | |
| JP2006099195A (en) | Viewing and listening content provision system and viewing and listening content provision method | |
| JP7136099B2 (en) | Information processing device, information processing method, and program | |
| WO2019021553A1 (en) | Information processing device, information processing method, and program | |
| US20100329505A1 (en) | Image processing apparatus and method for processing image | |
| JP2021026261A (en) | Information processing system, method and program | |
| JP2023175013A (en) | Taste determination system, taste determination method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120329 |
|
| A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20130730 |