JP5834514B2 - Information processing apparatus, information processing system, information processing method, and program - Google Patents

Information processing apparatus, information processing system, information processing method, and program Download PDF

Info

Publication number
JP5834514B2
JP5834514B2 JP2011131671A JP2011131671A JP5834514B2 JP 5834514 B2 JP5834514 B2 JP 5834514B2 JP 2011131671 A JP2011131671 A JP 2011131671A JP 2011131671 A JP2011131671 A JP 2011131671A JP 5834514 B2 JP5834514 B2 JP 5834514B2
Authority
JP
Japan
Prior art keywords
segment
unit
information
content
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011131671A
Other languages
Japanese (ja)
Other versions
JP2013003684A (en
JP2013003684A5 (en
Inventor
真里 斎藤
真里 斎藤
舘野 啓
啓 舘野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011131671A priority Critical patent/JP5834514B2/en
Priority to CN201280028072.6A priority patent/CN103597477A/en
Priority to US14/124,027 priority patent/US20140122606A1/en
Priority to EP12801095.6A priority patent/EP2720155A4/en
Priority to PCT/JP2012/064536 priority patent/WO2012173021A1/en
Publication of JP2013003684A publication Critical patent/JP2013003684A/en
Publication of JP2013003684A5 publication Critical patent/JP2013003684A5/ja
Application granted granted Critical
Publication of JP5834514B2 publication Critical patent/JP5834514B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本技術は、情報処理装置、情報処理システム、情報処理方法、および、プログラムに関し、特に、コンテンツの推薦を行う場合に用いて好適な情報処理装置、情報処理システム、情報処理方法、および、プログラムに関する。   The present technology relates to an information processing device, an information processing system, an information processing method, and a program, and more particularly, to an information processing device, an information processing system, an information processing method, and a program suitable for use in content recommendation. .

従来、ユーザの体動と楽曲のビート情報の周期の一致度、ユーザの体動と楽曲のビート情報の位相の一致度、および、ユーザの体動の大きさに基づいて、楽曲内でのユーザの嗜好度の変化を検出することが提案されている。また、楽曲の嗜好度が高い部分のみを順次再生したり、最高嗜好度が大きい順に楽曲を再生することが提案されている(例えば、特許文献1参照)。   Conventionally, based on the degree of coincidence between the user's body movement and the beat information of the music, the degree of coincidence between the user's body movement and the beat information of the music, and the magnitude of the user's body movement, the user within the music It has been proposed to detect changes in the degree of preference. In addition, it has been proposed to sequentially reproduce only a portion where the degree of preference of music is high, or to reproduce music in order of highest degree of preference (see, for example, Patent Document 1).

特開2007−86835号公報JP 2007-86835 A

しかしながら、特許文献1に記載の発明では、楽曲の嗜好度が高い部分のみを順次再生することはできるが、楽曲の一部を推薦することはできなかった。   However, in the invention described in Patent Document 1, it is possible to sequentially reproduce only a portion having a high degree of preference for music, but it is not possible to recommend a part of the music.

本技術は、楽曲などのコンテンツの一部を推薦できるようにするものである。   This technique makes it possible to recommend a part of content such as music.

本技術の第1の側面の情報処理装置は、ユーザにより指定された楽曲のセグメントを示す情報、および、前記指定されたセグメントに付与された画像を含む付与情報を含む指定情報を取得する取得部と、前記指定されたセグメントの特徴量と前記付与された画像の特徴量との相関関係を分析する分析部と、前記相関関係の分析結果に基づいて、楽曲のセグメントと画像の組み合わせを選択する選択部とを含む。 The information processing apparatus according to the first aspect of the present technology obtains designation information including information indicating a segment of a music piece designated by a user and grant information including an image assigned to the designated segment. And an analysis unit for analyzing a correlation between the feature amount of the designated segment and the feature amount of the assigned image, and a combination of the music segment and the image is selected based on the analysis result of the correlation And a selection unit.

前記分析部には、さらに楽曲をセグメントに分解し、各セグメントの特徴量を分析させ、前記選択部には、前記相関関係の分析結果および各セグメントの特徴量の分析結果に基づいて、各セグメントに組み合わせる画像を選択させることができる。
前記分析部には、さらに画像の特徴量を分析させ、前記選択部には、前記相関関係の分析結果および画像の特徴量の分析結果に基づいて、画像に組み合わせる楽曲のセグメントを選択させることができる。
前記選択部には、選択した楽曲のセグメントと画像を組み合わせて再生するスライドショーを生成させることができる。
収集した前記指定情報に基づいて、セグメント単位で楽曲を推薦する推薦部をさらに設けることができる。
The analysis unit further divides the music into segments and analyzes the feature amount of each segment, and the selection unit analyzes each segment based on the analysis result of the correlation and the analysis result of the feature amount of each segment. Images to be combined can be selected.
The analysis unit may further analyze an image feature amount, and the selection unit may select a music segment to be combined with the image based on the correlation analysis result and the image feature amount analysis result. it can.
The selection unit can generate a slide show that combines and reproduces the selected music segment and image.
Based on the collected designation information, a recommendation unit for recommending music in segment units can be further provided.

前記付与情報に、テキストデータを含め、前記推薦部には、ユーザが付与したテキストデータと類似するテキストデータが付与されているセグメントを推薦させることができる。   The provision information may include text data, and the recommendation unit may recommend a segment to which text data similar to the text data provided by the user is provided.

楽曲の再生を行う再生部と、楽曲の再生中に、その楽曲のセグメントに付与されている付与情報を、そのセグメントの楽曲内の位置に合わせて表示するように制御する表示制御部とをさらに設けることができる。 A reproducing unit for reproducing music, during the replay of the music, the grant information assigned to the segment of the music, and a display control unit that controls to display in accordance with the position of the music of the segment more Can be provided.

再生中の楽曲に対してセグメントを指定するための操作部をさらに設けることができる。 An operation unit for designating a segment for the music being reproduced can be further provided.

前記付与情報には、テキストデータ、ファイル、セグメントに対する評価、および、他のセグメントへのリンク情報のうち少なくとも1つを含めることができる。   The grant information can include at least one of text data, a file, an evaluation for a segment, and link information to another segment.

前記推薦部には、ユーザが指定したセグメントの特徴量に基づいて、セグメント単位で楽曲を推薦させることができる。 The recommendation unit can recommend music in segment units based on the segment feature amount designated by the user.

前記推薦部には、ユーザが指定したセグメントの特徴量と類似する特徴量を有するセグメントを推薦させることができる。   The recommendation unit can recommend a segment having a feature value similar to the feature value of the segment specified by the user.

前記取得部には、複数の他の情報処理装置から前記指定情報を取得させ、前記推薦部には、複数の前記他の情報処理装置から取得した前記指定情報に基づいて、セグメント単位で楽曲を推薦させることができる。 The acquisition unit causes the designation information to be obtained from a plurality of other information processing devices, and the recommendation unit obtains music pieces in segment units based on the designation information obtained from the plurality of other information processing devices. Can be recommended.

前記指定情報には、セグメントを指定したユーザを示す情報をさらに含ませ、前記推薦部には、各ユーザが指定したセグメントの履歴に基づいて、セグメント単位で楽曲を推薦させることができる。 The designation information may further include information indicating a user who designates a segment, and the recommendation unit may recommend a music piece by segment based on the history of the segment designated by each user.

前記推薦部には、セグメントを推薦する対象となる対象ユーザが指定したセグメントと同じセグメントを指定した他のユーザにより指定された他のセグメントを前記対象ユーザに推薦させることができる。   The recommendation unit can make the target user recommend another segment specified by another user who specified the same segment as the segment specified by the target user who is the target of recommending the segment.

前記推薦部には、セグメントを推薦する対象となる対象ユーザが指定したセグメントと指定したユーザが類似する他のセグメントを前記対象ユーザに推薦させることができる。   The recommendation unit can make the target user recommend another segment similar to the segment specified by the target user who is the target of recommending the segment.

本技術の第1の側面の情報処理方法は、情報処理装置が、ユーザにより指定された楽曲のセグメントを示す情報、および、前記指定されたセグメントに付与された画像を含む付与情報を含む指定情報を取得し、前記指定されたセグメントの特徴量と前記付与された画像の特徴量との相関関係を分析し、前記相関関係の分析結果に基づいて、楽曲のセグメントと画像の組み合わせを選択するステップを含む。 In the information processing method according to the first aspect of the present technology, the information processing apparatus includes information indicating the segment of the music specified by the user and designation information including grant information including an image assigned to the designated segment. And analyzing the correlation between the feature quantity of the designated segment and the feature quantity of the assigned image, and selecting a combination of the music segment and the image based on the analysis result of the correlation including.

本技術の第1の側面のプログラムは、ユーザにより指定された楽曲の一部のセグメントを示す情報、および、前記指定されたセグメントに付与された画像を含む付与情報を含む指定情報を取得し、前記指定されたセグメントの特徴量と前記付与された画像の特徴量との相関関係を分析し、前記相関関係の分析結果に基づいて、楽曲のセグメントと画像の組み合わせを選択するステップを含む処理をコンピュータに実行させる。 The program according to the first aspect of the present technology obtains designation information including information indicating a partial segment of a piece of music designated by the user and grant information including an image assigned to the designated segment. Analyzing the correlation between the feature quantity of the designated segment and the feature quantity of the assigned image, and selecting a combination of a segment of music and an image based on the analysis result of the correlation; Let the computer run.

本技術の第2の側面の情報処理システムは、サーバとクライアントにより構成され、前記サーバは、前記クライアントに楽曲を配信する配信部と、前記クライアントにおいてユーザにより指定された楽曲のセグメントを示す情報、および、前記指定されたセグメントに付与された画像を含む付与情報を含む指定情報を受信する第1の受信部と、前記指定されたセグメントの特徴量と前記付与された画像の特徴量との相関関係を分析する分析部と、前記相関関係の分析結果に基づいて、楽曲のセグメントと画像の組み合わせを選択する選択部とを含み、前記クライアントは、前記サーバから楽曲を受信する第2の受信部と、受信した楽曲の再生を行う再生部と、ユーザにより指定された楽曲のセグメントを示す情報および前記付与情報を取得する取得部と、ユーザにより指定されたセグメントを示す情報および前記付与情報を含む前記指定情報を前記サーバに送信する送信部とを含む。 An information processing system according to a second aspect of the present technology includes a server and a client, and the server includes a distribution unit that distributes music to the client, information indicating a segment of the music specified by the user in the client, and, a correlation between the feature quantity of the first receiving portion and, said specified segment feature quantity and the applied image receiving designation information including imparting information including the granted image segments the specified A second receiving unit that receives a song from the server; and an analysis unit that analyzes the relationship; and a selection unit that selects a combination of music segments and images based on the analysis result of the correlation. If, to acquire a reproduction unit for reproducing received music, information and the issuance information indicating the segment of the specified music by the user Including an acquisition unit, and a transmitting unit that the designation information including information and the issuance information indicating the designated segment by the user is transmitted to the server.

本技術の第2の側面の情報処理方法は、サーバが、クライアントに楽曲を配信し、前記クライアントが、前記サーバから受信した楽曲の再生を行い、ユーザにより指定された楽曲のセグメントを示す情報、および、前記指定されたセグメントに付与された画像を含む付与情報を取得し、取得した情報を含む指定情報を前記サーバに送信し、前記サーバが、前記指定されたセグメントの特徴量と前記付与された画像の特徴量との相関関係を分析し、前記相関関係の分析結果に基づいて、楽曲のセグメントと画像の組み合わせを選択するステップを含む。 In the information processing method according to the second aspect of the present technology, a server distributes music to a client, the client reproduces the music received from the server, and information indicating a segment of the music specified by the user, And acquisition information including an image assigned to the designated segment is transmitted to the server, and the server sends the designation information including the obtained information to the feature amount of the designated segment. It was analyzed the correlation between the feature quantity of the image, on the basis of the analysis result of the correlation, comprising the step of selecting a combination of music segments and images.

本技術の第1の側面においては、ユーザにより指定された楽曲のセグメントを示す情報、および、前記指定されたセグメントに付与された画像を含む付与情報を含む指定情報が取得され、前記指定されたセグメントの特徴量と前記付与された画像の特徴量との相関関係が分析され、前記相関関係の分析結果に基づいて、楽曲のセグメントと画像の組み合わせが選択される。 In the first aspect of the present technology, specification information including information indicating a segment of a music specified by a user and grant information including an image assigned to the specified segment is acquired and the specified A correlation between the feature quantity of the segment and the feature quantity of the assigned image is analyzed, and a combination of the music segment and the image is selected based on the analysis result of the correlation.

本技術の第2の側面においては、サーバにより、クライアントに楽曲が配信され、前記クライアントにより、前記サーバから受信した楽曲の再生が行われ、ユーザにより指定された楽曲のセグメントを示す情報、および、前記指定されたセグメントに付与された画像を含む付与情報が取得され、取得した情報を含む指定情報が前記サーバに送信され、前記サーバにより、前記指定されたセグメントの特徴量と前記付与された画像の特徴量との相関関係が分析され、前記相関関係の分析結果に基づいて、楽曲のセグメントと画像の組み合わせが選択される。 In the second aspect of the present technology, music is delivered to the client by the server, the music received from the server is played by the client, and information indicating a segment of the music specified by the user, and Grant information including an image assigned to the specified segment is acquired, specification information including the acquired information is transmitted to the server, and the server provides the feature amount of the specified segment and the assigned image. A correlation with the feature amount of the music is analyzed, and a combination of the music segment and the image is selected based on the analysis result of the correlation.

本技術の第1の側面または第2の側面によれば、コンテンツの一部を推薦することができる。   According to the first aspect or the second aspect of the present technology, a part of content can be recommended.

本技術を適用した情報処理システムの一実施の形態を示すブロック図である。1 is a block diagram illustrating an embodiment of an information processing system to which the present technology is applied. サーバの機能の構成例を示すブロック図である。It is a block diagram which shows the structural example of the function of a server. クライアントの機能の構成例を示すブロック図である。It is a block diagram which shows the structural example of the function of a client. クライアントにより実行されるコンテンツ再生処理を説明するためのフローチャートである。It is a flowchart for demonstrating the content reproduction process performed by a client. コンテンツ再生画面の第1の例を示す図である。It is a figure which shows the 1st example of a content reproduction screen. コンテンツ再生画面の第2の例を示す図である。It is a figure which shows the 2nd example of a content reproduction screen. チェックイン区間の設定を行うための操作画面の第1の例を示す図である。It is a figure which shows the 1st example of the operation screen for performing the setting of a check-in area. チェックイン区間の設定を行うための操作画面の第2の例を示す図である。It is a figure which shows the 2nd example of the operation screen for performing the setting of a check-in area. チェックイン区間の設定を行うための操作画面の第3の例を示す図である。It is a figure which shows the 3rd example of the operation screen for performing the setting of a check-in area. セグメント付与情報の入力画面の第1の例を示す図である。It is a figure which shows the 1st example of the input screen of segment provision information. セグメント付与情報の入力画面の第2の例を示す図である。It is a figure which shows the 2nd example of the input screen of segment provision information. セグメント付与情報の入力に伴い図5のコンテンツ再生画面を更新した例を示す図である。It is a figure which shows the example which updated the content reproduction screen of FIG. 5 with the input of segment provision information. サーバにより実行されるコンテンツ配信処理を説明するためのフローチャートである。It is a flowchart for demonstrating the content delivery process performed by the server. コンテンツ再生画面の第1の変形例を示す図である。It is a figure which shows the 1st modification of a content reproduction screen. チェックイン区間の表示例を示す図である。It is a figure which shows the example of a display of a check-in area. 他のセグメントへのリンク情報の表示例を示す図である。It is a figure which shows the example of a display of the link information to another segment. コンテンツ再生画面の第2の変形例を示す図である。It is a figure which shows the 2nd modification of a content reproduction screen. サーバにより実行されるCFを用いたセグメント推薦処理を説明するためのフローチャートである。It is a flowchart for demonstrating the segment recommendation process using CF performed by the server. サーバにより実行されるCFを用いたプレイリスト生成処理を説明するためのフローチャートである。It is a flowchart for demonstrating the play list production | generation process using CF performed by the server. プレイリストに用いるセグメントの抽出方法を説明するための図である。It is a figure for demonstrating the extraction method of the segment used for a play list. サーバにより実行されるCBFを用いたセグメント推薦処理を説明するためのフローチャートである。It is a flowchart for demonstrating the segment recommendation process using CBF performed by the server. サーバにより実行されるCBFを用いたプレイリスト生成処理の第1の実施の形態を説明するためのフローチャートである。It is a flowchart for demonstrating 1st Embodiment of the play list production | generation process using CBF performed by the server. プレイリストの具体例について説明するための図である。It is a figure for demonstrating the specific example of a playlist. サーバにより実行されるCBFを用いたプレイリスト生成処理の第2の実施の形態を説明するためのフローチャートである。It is a flowchart for demonstrating 2nd Embodiment of the play list production | generation process using CBF performed by the server. プレイリストの一覧の表示例を示す図である。It is a figure which shows the example of a display of the list of play lists. サーバにより実行されるセグメントに付与されたコメントを用いたセグメント推薦処理を説明するためのフローチャートである。It is a flowchart for demonstrating the segment recommendation process using the comment provided to the segment performed by the server. サーバにより実行されるセグメントに付与されたコメントを用いたプレイリスト生成処理の第1の実施の形態を説明するためのフローチャートである。It is a flowchart for demonstrating 1st Embodiment of the play list production | generation process using the comment provided to the segment performed by the server. サーバにより実行されるセグメントに付与されたコメントを用いたプレイリスト生成処理の第2の実施の形態を説明するためのフローチャートである。It is a flowchart for demonstrating 2nd Embodiment of the play list production | generation process using the comment provided to the segment performed by the server. コメントテーブルの例を示す図である。It is a figure which shows the example of a comment table. 図29のコメントテーブルのコメントをコメントラベルに置き換えた後の例を示す図である。It is a figure which shows the example after replacing the comment of the comment table of FIG. 29 with the comment label. 特徴量テーブルの例を示す図である。It is a figure which shows the example of a feature-value table. 図31の特徴量テーブルの特徴量を特徴量ラベルに置き換えた後の例を示す図である。It is a figure which shows the example after replacing the feature-value of the feature-value table of FIG. 31 with the feature-value label. サーバにより実行されるランキングに基づくセグメント推薦処理を説明するためのフローチャートである。It is a flowchart for demonstrating the segment recommendation process based on the ranking performed by the server. サーバにより実行されるセグメントと画像の相関関係の学習処理を説明するためのフローチャートである。It is a flowchart for demonstrating the learning process of the correlation of the segment and image performed by the server. サーバにより実行されるスライドショー生成処理の第1の実施の形態を説明するためのフローチャートである。It is a flowchart for demonstrating 1st Embodiment of the slide show production | generation process performed by the server. サーバにより実行されるスライドショー生成処理の第2の実施の形態を説明するためのフローチャートである。It is a flowchart for demonstrating 2nd Embodiment of the slide show production | generation process performed by the server. コンピュータの構成例を示すブロック図である。It is a block diagram which shows the structural example of a computer.

以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
Hereinafter, modes for carrying out the present technology (hereinafter referred to as embodiments) will be described. The description will be given in the following order.
1. Embodiment 2. FIG. Modified example

<1.実施の形態>
[情報処理システム1の構成例]
図1は、本技術を適用した情報処理システム1の一実施の形態を示すブロック図である。
<1. Embodiment>
[Configuration Example of Information Processing System 1]
FIG. 1 is a block diagram illustrating an embodiment of an information processing system 1 to which the present technology is applied.

情報処理システム1は、サーバ11、および、クライアント12−1乃至12−nを含むように構成される。サーバ11とクライアント12−1乃至12−nは、ネットワーク13を介して相互に接続されている。   The information processing system 1 is configured to include a server 11 and clients 12-1 to 12-n. The server 11 and the clients 12-1 to 12-n are connected to each other via the network 13.

サーバ11は、ネットワーク13を介して、クライアント12−1乃至12−nに対してコンテンツの推薦や配信等を行う。なお、サーバ11は、コンテンツ全体だけでなく、コンテンツの一部の区間であるセグメント単位でコンテンツの推薦や配信等を行う。   The server 11 recommends or distributes content to the clients 12-1 to 12-n via the network 13. The server 11 recommends and distributes content not only for the entire content but also for each segment that is a section of the content.

クライアント12−1乃至12−nは、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機、オーディオプレイヤー等のコンテンツの利用が可能な装置により構成される。そして、ユーザは、クライアント12−1乃至12−nを用いて、サーバ11から配信されるコンテンツを利用する。   The clients 12-1 to 12-n are configured by devices capable of using content such as personal computers, portable information terminals, mobile phones, and audio players, for example. Then, the user uses the content distributed from the server 11 using the clients 12-1 to 12-n.

また、クライアント12−1乃至12−nでは、ユーザがコンテンツの任意の区間(セグメント)を指定したり、指定したセグメントに対してコメント等の情報を付与することができる。なお、以下、ユーザがコンテンツの任意のセグメントを指定することを、チェックインすると称する。   Further, in the clients 12-1 to 12-n, the user can specify an arbitrary section (segment) of the content, and can add information such as a comment to the specified segment. Hereinafter, it is referred to as check-in that the user designates an arbitrary segment of content.

そして、クライアント12−1乃至12−nは、チェックインしたユーザおよびセグメントを示す情報、並びに、セグメントに付与された情報(以下、セグメント付与情報と称する)等を含むチェックイン情報を、ネットワーク13を介して、サーバ11に送信する。   Then, the clients 12-1 to 12-n send the check-in information including the information indicating the checked-in user and the segment and the information given to the segment (hereinafter referred to as segment grant information) to the network 13. To the server 11.

これに対して、サーバ11は、後述するように、クライアント12−1乃至12−nから収集したチェックイン情報に基づいて、セグメント単位でコンテンツの推薦や配信等を行う。   On the other hand, as will be described later, the server 11 recommends and distributes content in units of segments based on the check-in information collected from the clients 12-1 to 12-n.

なお、以下、クライアント12−1乃至12−nを個々に区別する必要がない場合、単に、クライアント12と称する。   Hereinafter, the clients 12-1 to 12-n are simply referred to as clients 12 when it is not necessary to individually distinguish the clients 12-1 to 12-n.

また、以下、情報処理システム1が楽曲の配信や推薦等を行う例について説明する。従って、以下、特に断りがない限り、コンテンツの語は、楽曲またはそのデータ(楽曲データ)を指すものとする。   Hereinafter, an example in which the information processing system 1 performs distribution and recommendation of music will be described. Therefore, hereinafter, unless otherwise specified, the term “content” refers to music or its data (music data).

[サーバ11の構成例]
図2は、サーバ11の構成例を示すブロック図である。
[Configuration Example of Server 11]
FIG. 2 is a block diagram illustrating a configuration example of the server 11.

サーバ11は、記憶部31、分析部32、コメントラベル判別部33、特徴量ラベル判別部34、推薦部35、スライドショー生成部36、配信部37、送信部38、受信部39、および、チェックイン情報取得部40を含むように構成される。   The server 11 includes a storage unit 31, an analysis unit 32, a comment label determination unit 33, a feature amount label determination unit 34, a recommendation unit 35, a slide show generation unit 36, a distribution unit 37, a transmission unit 38, a reception unit 39, and a check-in. It is comprised so that the information acquisition part 40 may be included.

記憶部31は、コンテンツデータベース(DB)51、チェックイン情報データベース(DB)52、ユーザデータベース(DB)53、類義語辞書54、ラベルデータベース(DB)55、および、記憶装置56を含むように構成される。   The storage unit 31 includes a content database (DB) 51, a check-in information database (DB) 52, a user database (DB) 53, a synonym dictionary 54, a label database (DB) 55, and a storage device 56. The

コンテンツDB51は、サーバ11が配信するコンテンツ、および、各コンテンツの特徴量等を格納するデータベースである。   The content DB 51 is a database that stores the content distributed by the server 11 and the feature amount of each content.

なお、格納するコンテンツの特徴量の種類や数は任意に設定することができる。例えば、波形、音量、メロディ、リズム、コード進行、楽器構成、歌詞等の特徴量を用いることができる。   Note that the type and number of feature quantities of content to be stored can be arbitrarily set. For example, feature quantities such as waveform, volume, melody, rhythm, chord progression, instrument configuration, and lyrics can be used.

チェックイン情報DB52は、各クライアント12においてユーザがチェックインした履歴を格納するデータベースである。より具体的には、チェックイン情報DB52は、チェックインしたユーザおよびセグメントを示す情報、並びに、セグメントに付与されたセグメント付与情報等を含むチェックイン情報を格納する。すなわち、チェックイン情報DB52は、各クライアント12から送信されてくるチェックイン情報を収集する。   The check-in information DB 52 is a database that stores a history of check-in by the user in each client 12. More specifically, the check-in information DB 52 stores check-in information including information indicating the checked-in user and segment, and segment grant information assigned to the segment. That is, the check-in information DB 52 collects check-in information transmitted from each client 12.

ユーザDB53は、情報処理システム1を利用するユーザの個人情報等を格納するデータベースである。   The user DB 53 is a database that stores personal information of users who use the information processing system 1.

類義語辞書54は、各種の類義語のデータを格納している。   The synonym dictionary 54 stores data of various synonyms.

ラベルDB55は、コンテンツやセグメントの特徴を簡潔に表すラベルを格納するデータベースである。   The label DB 55 is a database that stores labels that briefly represent the features of the content and segments.

記憶装置56は、例えば、コンテンツの再生用のソフトウエア等、コンテンツDB51乃至ラベルDB55に格納されない各種のデータ等を格納する。   The storage device 56 stores, for example, various data that is not stored in the content DB 51 to the label DB 55, such as software for reproducing content.

分析部32は、記憶部31の各部に記憶されているデータ等を利用して各種の分析処理を行う。そして、分析部32は、分析結果を、推薦部35およびスライドショー生成部36に通知したり、記憶装置56に記憶させたりする。   The analysis unit 32 performs various analysis processes using data stored in each unit of the storage unit 31. Then, the analysis unit 32 notifies the recommendation unit 35 and the slide show generation unit 36 of the analysis result, or causes the storage device 56 to store the analysis result.

分析部32は、セグメント分析部61、ユーザ分析部62、付与情報分析部63、相関分析部64、および、統計分析部65を含むように構成される。   The analysis unit 32 is configured to include a segment analysis unit 61, a user analysis unit 62, a given information analysis unit 63, a correlation analysis unit 64, and a statistical analysis unit 65.

セグメント分析部61は、記憶部31の各部に記憶されているデータ等を利用して、セグメントに関する各種の分析を行う。例えば、セグメント分析部61は、各セグメントの特徴量や、セグメント間の類似度等の分析を行う。   The segment analysis unit 61 uses the data stored in each unit of the storage unit 31 to perform various types of analysis regarding the segment. For example, the segment analysis unit 61 analyzes the feature amount of each segment, the similarity between segments, and the like.

ユーザ分析部62は、記憶部31の各部に記憶されているデータ等を利用して、情報処理システム1を利用するユーザに関する各種の分析を行う。例えば、ユーザ分析部62は、各ユーザの嗜好や、ユーザ間の類似度等の分析を行う。   The user analysis unit 62 performs various types of analysis regarding the user who uses the information processing system 1 by using data stored in each unit of the storage unit 31. For example, the user analysis unit 62 analyzes each user's preference, similarity between users, and the like.

付与情報分析部63は、記憶部31の各部に記憶されているデータ等を利用して、セグメント付与情報に関する各種の分析を行う。例えば、付与情報分析部63は、セグメント付与情報に含まれるコメントや画像等の特徴量や、コメント間または画像間の類似度等の分析を行う。   The assignment information analysis unit 63 performs various analyzes on the segment assignment information by using data stored in each unit of the storage unit 31. For example, the assignment information analysis unit 63 analyzes a feature amount such as a comment or an image included in the segment assignment information, a degree of similarity between comments or images, and the like.

相関分析部64は、セグメント分析部61、ユーザ分析部62、および、付与情報分析部63による各種の分析結果の相関関係を分析する。   The correlation analysis unit 64 analyzes the correlation between various analysis results obtained by the segment analysis unit 61, the user analysis unit 62, and the assigned information analysis unit 63.

統計分析部65は、チェックインされたセグメントやユーザ等の統計を集計したり、その分析を行い、例えば、セグメントの各種のランキングの生成を行う。   The statistical analysis unit 65 aggregates or analyzes statistics of checked-in segments, users, and the like, and generates various rankings of segments, for example.

コメントラベル判別部33は、事前に学習処理を行うことにより、各セグメントに付与されるコメントに適合するラベル(以下、コメントラベルと称する)を判別する機能を備える。なお、コメントラベル判別部33の学習方法には、任意の方法を採用することができる。   The comment label discriminating unit 33 has a function of discriminating a label (hereinafter referred to as a comment label) suitable for a comment given to each segment by performing learning processing in advance. Note that any method can be adopted as a learning method of the comment label determination unit 33.

そして、コメントラベル判別部33は、チェックイン情報DB52から、コメントが付与されているセグメントを抽出し、抽出したセグメントに付与されているコメントに適合するコメントラベルを、ラベルDB55に格納されているラベルの中から選択する。コメントラベル判別部33は、抽出したセグメント、コメントを付与したユーザ、および、コメントラベルの組み合わせを示す情報を推薦部35に供給する。   Then, the comment label determination unit 33 extracts a segment to which a comment is attached from the check-in information DB 52, and a comment label that matches the comment attached to the extracted segment is stored in the label DB 55. Choose from. The comment label determination unit 33 supplies the recommendation unit 35 with information indicating a combination of the extracted segment, the user to which the comment is added, and the comment label.

特徴量ラベル判別部34は、事前に学習処理を行うことにより、各セグメントの特徴量に基づいて、各セグメントに適合するラベル(以下、特徴量ラベルと称する)を判別する機能を備える。なお、特徴量ラベル判別部34の学習方法には、任意の方法を採用することができる。   The feature amount label discriminating unit 34 has a function of discriminating a label (hereinafter referred to as a feature amount label) suitable for each segment based on the feature amount of each segment by performing learning processing in advance. An arbitrary method can be adopted as the learning method of the feature amount label discriminating unit 34.

そして、特徴量ラベル判別部34は、コンテンツDB51およびチェックイン情報DB52を用いて、ユーザによりチェックインされた各セグメントの特徴量を求め、各セグメントの特徴量に基づいて、各セグメントに適合する特徴量ラベルを、ラベルDB55に格納されているラベルの中から選択する。特徴量ラベル判別部34は、各セグメントの特徴量ラベルを示す情報を推薦部35に供給する。   Then, the feature amount label discriminating unit 34 uses the content DB 51 and the check-in information DB 52 to obtain the feature amount of each segment checked in by the user, and based on the feature amount of each segment, the feature conforming to each segment The quantity label is selected from the labels stored in the label DB 55. The feature amount label determination unit 34 supplies information indicating the feature amount label of each segment to the recommendation unit 35.

推薦部35は、ユーザに推薦するセグメントを抽出し、推薦する処理を行う。推薦部35は、セグメント抽出部71、セグメント推薦部72、および、プレイリスト生成部73を含むように構成される。   The recommendation unit 35 extracts a segment recommended for the user and performs a recommendation process. The recommendation unit 35 is configured to include a segment extraction unit 71, a segment recommendation unit 72, and a playlist generation unit 73.

セグメント抽出部71は、分析部32による分析結果、コメントラベル判別部33によりセグメントに付与されたコメントラベル、特徴量ラベル判別部34によりセグメントに付与された特徴量ラベル等に基づいて、ユーザに推薦するセグメントを抽出する。   The segment extraction unit 71 recommends to the user based on the analysis result of the analysis unit 32, the comment label given to the segment by the comment label discrimination unit 33, the feature amount label given to the segment by the feature amount label discrimination unit 34, and the like. To extract the segment.

セグメント推薦部72は、セグメント抽出部71により抽出されたセグメントに基づいて、ユーザにセグメントを推薦するためのセグメント推薦情報を生成する。より具体的には、セグメント推薦部72は、コンテンツDB51やチェックイン情報DB52等を用いて、抽出されたセグメントに関する情報および推薦理由等を含むセグメント推薦情報を生成する。そして、セグメント推薦部72は、生成したセグメント推薦情報を、送信部38およびネットワーク13を介して、クライアント12に送信する。   The segment recommendation unit 72 generates segment recommendation information for recommending a segment to the user based on the segment extracted by the segment extraction unit 71. More specifically, the segment recommendation unit 72 uses the content DB 51, the check-in information DB 52, and the like to generate segment recommendation information including information on the extracted segment, the recommendation reason, and the like. Then, the segment recommendation unit 72 transmits the generated segment recommendation information to the client 12 via the transmission unit 38 and the network 13.

また、セグメント推薦部72は、コンテンツDB51やチェックイン情報DB52等を用いて、統計分析部65により生成されたセグメントのランキングの上位のセグメントに関する情報を含む情報(以下、ランキング情報と称する)を生成する。そして、セグメント推薦部72は、生成したランキング情報を、送信部38およびネットワーク13を介して、クライアント12に送信する。   Further, the segment recommendation unit 72 generates information (hereinafter referred to as ranking information) including information related to the segments higher in the ranking of the segments generated by the statistical analysis unit 65 using the content DB 51, the check-in information DB 52, and the like. To do. Then, the segment recommendation unit 72 transmits the generated ranking information to the client 12 via the transmission unit 38 and the network 13.

プレイリスト生成部73は、セグメント抽出部71により抽出されたセグメントに基づいて、ユーザにセグメントを推薦するためのプレイリストを生成する。ここで、プレイリストとは、抽出されたセグメントを再生順に並べたリストである。このプレイリストを用いて、クライアント12において、プレイリスト内のセグメントを指定された再生順で自動再生することができる。   The playlist generation unit 73 generates a playlist for recommending a segment to the user based on the segment extracted by the segment extraction unit 71. Here, the play list is a list in which extracted segments are arranged in the order of reproduction. Using this playlist, the client 12 can automatically reproduce the segments in the playlist in the designated reproduction order.

プレイリスト生成部73は、コンテンツDB51やチェックイン情報DB52等を用いて、抽出されたセグメントを所定のルールに従って再生順に配列するとともに、各セグメントに関する情報を一覧にした情報(以下、プレイリスト情報と称する)を生成する。そして、プレイリスト生成部73は、生成したプレイリスト情報を、送信部38およびネットワーク13を介して、クライアント12に送信する。   The playlist generation unit 73 uses the content DB 51, the check-in information DB 52, and the like to arrange the extracted segments in the order of playback according to a predetermined rule, and information that lists information about each segment (hereinafter referred to as playlist information and To generate). Then, the playlist generation unit 73 transmits the generated playlist information to the client 12 via the transmission unit 38 and the network 13.

スライドショー生成部36は、BGM(Back Ground Music)とともに画像を切り替えながら表示するスライドショーを生成する。具体的には、スライドショー生成部36は、スライドショーに用いるコンテンツの各セグメントの特徴量の分析をセグメント分析部61に指令し、分析結果を取得する。また、スライドショー生成部36は、スライドショーに用いる画像の特徴量の分析を付与情報分析部63に指令し、分析結果を取得する。そして、スライドショー生成部36は、取得した分析結果に基づいて、各セグメントと画像の適切な組み合わせを選択し、スライドショーを生成する。   The slide show generation unit 36 generates a slide show to be displayed while switching images together with BGM (Back Ground Music). Specifically, the slide show generation unit 36 instructs the segment analysis unit 61 to analyze the feature amount of each segment of the content used for the slide show, and acquires the analysis result. Further, the slide show generation unit 36 instructs the assigned information analysis unit 63 to analyze the feature amount of the image used for the slide show, and acquires the analysis result. Then, the slide show generation unit 36 selects an appropriate combination of each segment and image based on the acquired analysis result, and generates a slide show.

スライドショー生成部36は、記憶部31の各部に記憶されているデータ等を用いて、生成したスライドショーを再生するためのデータ(以下、スライドショーデータと称する)を生成し、配信部37に供給する。   The slide show generation unit 36 generates data for reproducing the generated slide show (hereinafter referred to as slide show data) using data stored in each unit of the storage unit 31 and supplies the data to the distribution unit 37.

配信部37は、ネットワーク13および受信部39を介して、コンテンツ(または、そのセグメント)を再生するためのデータ(以下、コンテンツ再生データと称する)の送信の要求をクライアント12から受信する。配信部37は、クライアント12から指定されたコンテンツのコンテンツデータをコンテンツDB51から読み出し、指定されたコンテンツに対応付けられているチェックイン情報をチェックイン情報DB52から読み出す。そして、配信部37は、送信部38およびネットワーク13を介して、読み出したコンテンツデータおよびチェックイン情報を含むコンテンツ再生データを要求元のクライアント12に送信する。   The distribution unit 37 receives a request for transmission of data (hereinafter referred to as content reproduction data) for reproducing the content (or its segment) from the client 12 via the network 13 and the reception unit 39. The distribution unit 37 reads content data of the content designated from the client 12 from the content DB 51 and reads check-in information associated with the designated content from the check-in information DB 52. Then, the distribution unit 37 transmits the read content data and the content reproduction data including the check-in information to the requesting client 12 via the transmission unit 38 and the network 13.

また、配信部37は、ネットワーク13および受信部39を介して、スライドショーの配信の要求をクライアント12から受信する。配信部37は、その際にクライアント12から受信した情報をスライドショー生成部36に供給し、スライドショーの生成を指令する。そして、配信部37は、スライドショーデータをスライドショー生成部36から取得し、送信部38およびネットワーク13を介して、要求元のクライアント12に送信する。   The distribution unit 37 receives a slide show distribution request from the client 12 via the network 13 and the reception unit 39. The distribution unit 37 supplies the information received from the client 12 at that time to the slide show generation unit 36 and instructs the generation of the slide show. The distribution unit 37 acquires slide show data from the slide show generation unit 36 and transmits the slide show data to the requesting client 12 via the transmission unit 38 and the network 13.

送信部38は、ネットワーク13を介して、所定の通信方式に従って、各種の情報、データ、指令等をクライアント12に送信する。   The transmission unit 38 transmits various information, data, instructions, and the like to the client 12 via the network 13 according to a predetermined communication method.

受信部39は、ネットワーク13を介して、所定の通信方式に従って、各種の情報、データ、指令等をクライアント12から受信する。受信部39は、受信した情報、データ、指令等を、必要に応じて、推薦部35、配信部37、および、チェックイン情報取得部40に供給する。   The receiving unit 39 receives various information, data, instructions, and the like from the client 12 via the network 13 according to a predetermined communication method. The receiving unit 39 supplies the received information, data, instructions, and the like to the recommendation unit 35, the distribution unit 37, and the check-in information acquisition unit 40 as necessary.

チェックイン情報取得部40は、ネットワーク13および受信部39を介して、クライアント12からチェックイン情報を受信し、チェックイン情報DB52に格納する。   The check-in information acquisition unit 40 receives check-in information from the client 12 via the network 13 and the reception unit 39 and stores the check-in information in the check-in information DB 52.

[クライアント12の構成例]
図3は、クライアント12の構成例を示すブロック図である。
[Configuration example of client 12]
FIG. 3 is a block diagram illustrating a configuration example of the client 12.

クライアント12は、受信部101、記憶部102、UI制御部103、再生部104、表示部105、音声出力部106、操作部107、チェックイン情報生成部108、および、送信部109を含むように構成される。   The client 12 includes a reception unit 101, a storage unit 102, a UI control unit 103, a playback unit 104, a display unit 105, an audio output unit 106, an operation unit 107, a check-in information generation unit 108, and a transmission unit 109. Composed.

受信部101は、ネットワーク13を介して、所定の通信方式に従って、各種の情報、データ、指令等をサーバ11から受信する。受信部101は、受信した情報、データ、指令等を、必要に応じて記憶部102に記憶させたり、UI制御部103および再生部104に供給したりする。   The receiving unit 101 receives various information, data, instructions, and the like from the server 11 via the network 13 according to a predetermined communication method. The receiving unit 101 stores the received information, data, commands, and the like in the storage unit 102 as necessary, or supplies the UI control unit 103 and the playback unit 104 to the information.

記憶部102は、サーバ11から受信した情報、データ等を適宜記憶する。   The storage unit 102 appropriately stores information, data, etc. received from the server 11.

UI制御部103は、操作部107を介してユーザにより入力される指令等に従って、表示部105および音声出力部106を制御することにより、ユーザインタフェースの制御を行う。例えば、UI制御部103は、受信部101を介してサーバ11から受信した情報やデータ、記憶部102に記憶されている情報やデータ、再生部104から供給されるコンテンツに関する情報等に基づいて、コンテンツの再生画面や操作画面等を表示部105に表示させたり、それらに伴う音声を音声出力部106から出力させたりする。   The UI control unit 103 controls the user interface by controlling the display unit 105 and the audio output unit 106 according to a command input by the user via the operation unit 107. For example, the UI control unit 103 is based on information and data received from the server 11 via the reception unit 101, information and data stored in the storage unit 102, information on content supplied from the reproduction unit 104, and the like. A content reproduction screen, an operation screen, and the like are displayed on the display unit 105, and sound associated therewith is output from the audio output unit 106.

また、UI制御部103は、操作部107を介してユーザにより入力されるサーバ11への指令を、送信部109およびネットワーク13を介して、サーバ11に送信する。さらに、UI制御部103は、コンテンツの再生および再生の停止を再生部104に指令する。また、UI制御部103は、ユーザによりチェックインされたセグメントを示す情報、および、そのセグメントに付与されたセグメント付与情報をチェックイン情報生成部108に供給する。   Also, the UI control unit 103 transmits a command to the server 11 input by the user via the operation unit 107 to the server 11 via the transmission unit 109 and the network 13. Furthermore, the UI control unit 103 instructs the playback unit 104 to play back content and stop playback. In addition, the UI control unit 103 supplies information indicating the segment checked in by the user and the segment assignment information assigned to the segment to the check-in information generation unit 108.

再生部104は、受信部101を介して受信したコンテンツデータ、または、記憶部102に記憶されているコンテンツデータの再生を行い、その結果得られる音声を音声出力部106に供給する。また、再生部104は、コンテンツデータの再生の結果得られるコンテンツに関する情報をUI制御部103に供給する。   The reproduction unit 104 reproduces the content data received via the reception unit 101 or the content data stored in the storage unit 102, and supplies the resulting audio to the audio output unit 106. In addition, the playback unit 104 supplies information related to content obtained as a result of playback of content data to the UI control unit 103.

表示部105は、UI制御部103の制御の基に、コンテンツの再生画面や操作画面等の各種の画面の表示を行う。   The display unit 105 displays various screens such as a content playback screen and an operation screen under the control of the UI control unit 103.

音声出力部106は、例えば、スピーカ、または、音声出力端子等により構成され、UI制御部103および再生部104から供給される音声の出力を行う。   The audio output unit 106 includes, for example, a speaker or an audio output terminal, and outputs audio supplied from the UI control unit 103 and the playback unit 104.

操作部107は、例えば、キーボード、ボタン、スイッチ、ポインティングデバイス等の各種の入力デバイスにより構成される。ユーザは、操作部107を操作することにより、クライアント12に各種の指令を与えたり、情報やデータ等の入力を行ったりする。そして、操作部107は、入力された情報、データ、指令等をUI制御部103に供給する。   The operation unit 107 includes various input devices such as a keyboard, buttons, switches, and pointing devices, for example. The user operates the operation unit 107 to give various commands to the client 12 and input information, data, and the like. Then, the operation unit 107 supplies the input information, data, command, and the like to the UI control unit 103.

チェックイン情報生成部108は、ユーザによりコンテンツのセグメントへのチェックインが行われた場合、チェックインしたユーザおよびセグメントを示す情報、並びに、セグメントに付与されたセグメント付与情報等を含むチェックイン情報を生成する。そして、チェックイン情報生成部108は、生成したチェックイン情報を、送信部109を介してサーバ11に送信する。   When a user checks in a content segment, the check-in information generation unit 108 displays check-in information including information indicating the checked-in user and the segment, segment grant information assigned to the segment, and the like. Generate. Then, the check-in information generation unit 108 transmits the generated check-in information to the server 11 via the transmission unit 109.

送信部109は、ネットワーク13を介して、所定の通信方式に従って、各種の情報、データ、指令等をサーバ11に送信する。   The transmission unit 109 transmits various information, data, commands, and the like to the server 11 via the network 13 according to a predetermined communication method.

[情報処理システム1の処理]
次に、図4乃至図36を参照して、情報処理システム1の処理について説明する。
[Processing of information processing system 1]
Next, processing of the information processing system 1 will be described with reference to FIGS.

[コンテンツ再生処理]
まず、図4のフローチャートを参照して、クライアント12により実行されるコンテンツ再生処理について説明する。
[Content playback processing]
First, content reproduction processing executed by the client 12 will be described with reference to the flowchart of FIG.

なお、この処理は、例えば、ユーザが、クライアント12の操作部107を操作して、コンテンツの再生の指令を入力し、その指令がUI制御部103に通知されたとき開始される。   This process is started when, for example, the user operates the operation unit 107 of the client 12 to input a content reproduction command and the UI control unit 103 is notified of the command.

ステップS1において、UI制御部103は、送信部109およびネットワーク13を介して、指定されたコンテンツを再生するためのコンテンツ再生データの送信をサーバ11に要求する。   In step S <b> 1, the UI control unit 103 requests the server 11 to transmit content reproduction data for reproducing the specified content via the transmission unit 109 and the network 13.

これに対して、サーバ11は、後述する図13のステップS52において、ネットワーク13を介して、要求元のクライアント12へのコンテンツ再生データの送信を開始する。   In response to this, the server 11 starts transmitting content reproduction data to the requesting client 12 via the network 13 in step S52 of FIG.

ステップS2において、クライアント12の受信部101は、ネットワーク13を介してサーバ11から送信されてくるコンテンツ再生データの受信を開始する。   In step S <b> 2, the reception unit 101 of the client 12 starts receiving content reproduction data transmitted from the server 11 via the network 13.

なお、サーバ11からクライアント12にコンテンツを配信する方式は、所定の方式に限定されるものではないが、以下、ストリーミング方式によりコンテンツを配信する例について説明する。   Note that the method for distributing content from the server 11 to the client 12 is not limited to a predetermined method, but an example in which content is distributed by a streaming method will be described below.

ステップS3において、クライアント12は、コンテンツの再生を開始する。具体的には、受信部101は、受信したコンテンツ再生データに含まれるコンテンツデータの再生部104への供給を開始する。再生部104は、コンテンツデータの再生を開始し、その結果得られる音声(すなわち、楽曲)を音声出力部106から出力させる。また、再生部104は、コンテンツデータの再生の結果得られるコンテンツに関する情報をUI制御部103に供給する。ここで、コンテンツに関する情報には、例えば、コンテンツの曲名、並びに、コンテンツが収録されているアルバム名およびアルバムジャケットの画像等が含まれる。   In step S3, the client 12 starts reproduction of the content. Specifically, the reception unit 101 starts supplying content data included in the received content reproduction data to the reproduction unit 104. The reproduction unit 104 starts reproduction of the content data, and causes the audio output unit 106 to output sound (that is, music) obtained as a result. In addition, the playback unit 104 supplies information related to content obtained as a result of playback of content data to the UI control unit 103. Here, the information regarding the content includes, for example, the title of the content, the name of the album in which the content is recorded, the image of the album jacket, and the like.

また、受信部101は、受信したコンテンツ再生データに含まれるチェックイン情報のUI制御部103への供給を開始する。UI制御部103は、受信部101から供給されるチェックイン情報、および、再生部104から供給されるコンテンツに関する情報に基づいて、コンテンツの再生に同期させて、コンテンツ再生画面を表示部105に表示させる。   In addition, the reception unit 101 starts supplying check-in information included in the received content reproduction data to the UI control unit 103. The UI control unit 103 displays the content reproduction screen on the display unit 105 in synchronization with the reproduction of the content based on the check-in information supplied from the reception unit 101 and the information about the content supplied from the reproduction unit 104. Let

[コンテンツ再生画面の例]
図5は、コンテンツ再生画面の一例を示している。
[Example of content playback screen]
FIG. 5 shows an example of a content playback screen.

このコンテンツ再生画面は、領域R1、領域R2、および、領域R3に大きく分かれる。   This content reproduction screen is largely divided into a region R1, a region R2, and a region R3.

領域R1には、再生中のコンテンツに関する情報が表示される。例えば、再生中のコンテンツのアーティスト名、曲名、収録されているアルバム名、および、アルバムジャケット等が表示される。   In the area R1, information related to the content being reproduced is displayed. For example, the artist name, song name, recorded album name, album jacket, etc. of the content being reproduced are displayed.

領域R2の下部には、コンテンツの再生を操作するためのボタン等が表示される。具体的には、コンテンツの再生を行うための再生ボタン151、巻き戻しを行うための巻き戻しボタン152、早送りを行うための早送りボタン153、および、コンテンツの再生位置を指定するためのプログレスバー154が表示される。   Buttons and the like for operating content reproduction are displayed at the bottom of the region R2. Specifically, a playback button 151 for playing content, a rewind button 152 for rewinding, a fast-forward button 153 for fast-forwarding, and a progress bar 154 for specifying the playback position of the content Is displayed.

また、領域R2には、コンテンツの再生の進行に従って、コンテンツの各セグメントにチェックインしたユーザおよび付与されているセグメント付与情報が、そのセグメントのコンテンツ内の位置(コンテンツの時間軸上の位置)に合わせて表示される。   Further, in the region R2, as the playback of the content progresses, the user who has checked in each segment of the content and the provided segment assignment information are located at the position (position on the time axis of the content) of the segment. Displayed together.

具体的には、領域R2の左端には、コンテンツの再生位置を示す目盛りが表示される。   Specifically, a scale indicating the content playback position is displayed at the left end of the region R2.

また、領域R2には、再生中のコンテンツにチェックインしたユーザを示すアイコン171a乃至171dが表示されている。アイコン171a乃至171dは、それぞれ、再生中のコンテンツの時間軸上において、各ユーザがチェックインした時間付近に表示される。また、チェックインしたセグメントにセグメント付与情報が付与されている場合、そのセグメント付与情報が各アイコンの右の吹き出し内に表示される。   In the area R2, icons 171a to 171d indicating the user who has checked in the content being reproduced are displayed. The icons 171a to 171d are displayed around the time when each user checked in on the time axis of the content being played back. In addition, when segment grant information is given to a checked-in segment, the segment grant information is displayed in a balloon to the right of each icon.

例えば、アイコン171bの右に、コメントを含む吹き出し172bが表示されている。すなわち、アイコン171bにより示されるユーザが、チェックインしたセグメントに対して「かっこいい」というコメントを付与したことが示されている。   For example, a balloon 172b including a comment is displayed to the right of the icon 171b. That is, it is indicated that the user indicated by the icon 171b gives a comment “cool” to the checked-in segment.

また、アイコン171cの右に、コメントを含む吹き出し172cが表示されている。すなわち、アイコン171cにより示されるユーザが、チェックインしたセグメントに対して「ここの歌詞聴くといつも昔の彼氏を思い出す・・・」というコメントを付与したことが示されている。   A balloon 172c including a comment is displayed on the right side of the icon 171c. In other words, it is indicated that the user indicated by the icon 171c gives a comment “When you listen to the lyrics here, you always remember your boyfriend ...” to the checked-in segment.

さらに、アイコン171dの右に、画像を含む吹き出し172dが表示されている。すなわち、アイコン171dにより示されるユーザが、チェックインしたセグメントに対して吹き出し172d内の画像を付与したことが示されている。   Further, a balloon 172d including an image is displayed to the right of the icon 171d. That is, it is indicated that the user indicated by the icon 171d has given the image in the balloon 172d to the checked-in segment.

また、アイコン171cの左には、チェックインした区間を示すスケール173が表示されている。後述するように、ユーザは、コンテンツの任意の位置にピンポイントでチェックインすることもできるし、任意の長さの区間を指定してチェックインすることもできる。すなわち、ユーザは、ピンポイントでセグメントを指定することもできるし、任意の時間幅のセグメントを指定することもできる。   In addition, a scale 173 indicating a checked-in section is displayed on the left of the icon 171c. As will be described later, the user can check in at an arbitrary position of the content by pinpointing, or can also check in by specifying a section of an arbitrary length. That is, the user can specify a segment by pinpointing, or can specify a segment having an arbitrary time width.

そして、このスケール173により、アイコン171cにより示されるユーザがチェックインしたコンテンツ内のセグメント(区間)、および、吹き出し172c内のセグメント付与情報が付与されたコンテンツ内のセグメント(区間)が示される。   The scale 173 indicates the segment (section) in the content checked in by the user indicated by the icon 171c and the segment (section) in the content to which the segment assignment information in the balloon 172c is assigned.

また、ユーザは、各セグメントに付与されているセグメント付与情報に対して投票することができる。例えば、ユーザは、共感したり、気になったりするセグメント付与情報が表示された場合、そのセグメント付与情報が表示されている吹き出し、または、吹き出しの横のアイコンを、クリックやタッチ等により指定することにより、投票することができる。   Further, the user can vote for the segment assignment information given to each segment. For example, when segment giving information that is sympathetic or worrisome is displayed, the user designates a speech bubble in which the segment grant information is displayed or an icon next to the speech bubble by clicking, touching, or the like. Can vote.

そして、各セグメント付与情報への投票数は、所定のマークとともに吹き出し内に表示される。例えば、この例では、吹き出し172b乃至172d内のセグメント付与情報に対して、それぞれ0、6、22の数の投票が行われている。   The number of votes for each segment assignment information is displayed in a balloon together with a predetermined mark. For example, in this example, votes of 0, 6, and 22 are respectively given to the segment assignment information in the balloons 172b to 172d.

領域R2内の表示は、再生ボタン151乃至プログレスバー154を除いて、コンテンツの再生の進行に従って、全体的に下方向にスクロールする。また、領域R2内の背景色が変化する境界B1が、現在のコンテンツの再生位置を示している。   The display in the region R2 is scrolled downward as a whole as content playback progresses, except for the playback button 151 to the progress bar 154. In addition, a boundary B1 in which the background color in the region R2 changes indicates the current content reproduction position.

従って、アイコン171a乃至171d、および、吹き出し172b乃至dは、対応するセグメントの時間幅に関わらず、領域R2内に所定の期間表示される。すなわち、アイコン171a乃至171d、および、吹き出し172b乃至dは、それぞれ対応するセグメントの先頭が再生されるより所定の時間前に領域R2内に現れ、対応するセグメントの先頭が再生されてから所定の時間後に領域R2内から消える。   Accordingly, the icons 171a to 171d and the balloons 172b to 172d are displayed in the region R2 for a predetermined period regardless of the time width of the corresponding segment. That is, the icons 171a to 171d and the balloons 172b to 172d appear in the region R2 a predetermined time before the head of the corresponding segment is played back, and a predetermined time after the head of the corresponding segment is played back. It will disappear from the area R2 later.

領域R3には、コンテンツの再生以外の各種の操作を行うためのボタン155乃至158が表示されている。これらのボタンは、例えば、チェックインを行ったり、表示モードを切り替えたりしたりするための操作に用いられる。   In the region R3, buttons 155 to 158 for performing various operations other than the content reproduction are displayed. These buttons are used, for example, for operations for performing check-in and switching display modes.

例えば、ユーザは、ボタン155乃至158のいずれかを操作することにより、表示モードを切り替え、図6に示されるコンテンツ再生画面を表示部105に表示させることができる。   For example, the user can switch the display mode by operating any one of the buttons 155 to 158, and can display the content reproduction screen shown in FIG. 6 on the display unit 105.

図6のコンテンツ再生画面は、図5のコンテンツ再生画面と比較して、領域R2内の表示が異なっている。具体的には、領域R2には、現在再生されているコンテンツの部分(時刻)に過去にチェックインしたユーザを示すアイコン、セグメント付与情報を示す吹き出し等が表示される。   The content playback screen in FIG. 6 is different in display in the region R2 from the content playback screen in FIG. Specifically, in the area R2, an icon indicating a user who has checked in in the past (time) of the currently reproduced content, a balloon indicating segment assignment information, and the like are displayed.

この例では、コンテンツの40秒過ぎの部分を再生しているときの画面を示している。従って、図5の領域R2に表示されているアイコン等のうち、コンテンツの40秒過ぎへのチェックインに関わるアイコン171cおよび吹き出し172c、並びに、アイコン171dおよび吹き出し172dのみが表示されている。   In this example, a screen is shown when a portion of content that is 40 seconds past is being played. Accordingly, among the icons and the like displayed in the region R2 of FIG. 5, only the icon 171c and the balloon 172c related to the check-in of the content after 40 seconds, and the icon 171d and the balloon 172d are displayed.

なお、アイコン171cおよび吹き出し172c、並びに、アイコン171dおよび吹き出し172dは、それぞれ対応するセグメントを少なくとも含む区間のみ、図6の領域R2内に表示される。   Note that the icon 171c and the balloon 172c, and the icon 171d and the balloon 172d are displayed in the region R2 in FIG. 6 only in a section including at least the corresponding segment.

例えば、アイコン171cおよび吹き出し172cは、対応するセグメントの先頭が再生されるより所定の時間前(例えば、1秒前)に領域R2内に現れる。そして、アイコン171cおよび吹き出し172cは、対応するセグメントの末尾が再生されてから所定の時間後(例えば、1秒後)に領域R2内から消える。   For example, the icon 171c and the balloon 172c appear in the region R2 a predetermined time (for example, one second) before the head of the corresponding segment is reproduced. The icon 171c and the balloon 172c disappear from the area R2 after a predetermined time (for example, 1 second) after the end of the corresponding segment is reproduced.

同様に、アイコン171dおよび吹き出し172dは、対応するピンポイントのセグメントが再生されるより所定の時間前に領域R2内に表示され、対応するセグメントが再生されてから所定の時間後に領域R2内から消える。   Similarly, the icon 171d and the balloon 172d are displayed in the region R2 a predetermined time before the corresponding pinpoint segment is reproduced, and disappear from the region R2 a predetermined time after the corresponding segment is reproduced. .

このように、各吹き出し内のセグメント付与情報は、その情報が付与されているセグメントを少なくとも含む区間のみ、図6の領域R2内に表示される。従って、図6のコンテンツ再生画面では、図5のコンテンツ再生画面と比較して、コンテンツのどの部分にセグメント付与情報が付与されているかを、より直感的に、容易かつ正確に認識することができる。   As described above, the segment assignment information in each balloon is displayed in the region R2 of FIG. 6 only in a section including at least the segment to which the information is assigned. Therefore, in the content reproduction screen of FIG. 6, compared to the content reproduction screen of FIG. 5, it is possible to recognize more intuitively, easily and accurately which part of the content is provided with the segment assignment information. .

なお、図6のコンテンツ再生画面において、例えば、各アイコンおよび吹き出しを表示の開始時にフェードインさせるとともに、終了時にフェードアウトさせるようにしてもよい。   In the content playback screen of FIG. 6, for example, each icon and balloon may be faded in at the start of display and faded out at the end.

また、例えば、クライアント12が、表示部105の画面上で2本の指を用いたピンチ操作が可能なタブレット型の端末により構成される場合、図5または図6のコンテンツ再生画面において、ピンチ操作により表示範囲を拡大または縮小できるようにしてもよい。   Further, for example, when the client 12 is configured by a tablet terminal that can perform a pinch operation using two fingers on the screen of the display unit 105, the pinch operation is performed on the content reproduction screen of FIG. 5 or FIG. Thus, the display range may be enlarged or reduced.

これにより、例えば、アイコンや吹き出しが多すぎて、デフォルトの表示サイズでは画面が見づらい場合、アイコンや吹き出しが集中している部分を容易に拡大して、詳細を確認することができる。また、逆にアイコンや吹き出しがあまり表示されていない場合、例えば、図5のコンテンツ再生画面の表示サイズをデフォルトより縮小することにより、画面内に表示されるコンテンツの時間幅を広げることができる。   Thereby, for example, when there are too many icons and speech bubbles, and it is difficult to see the screen with the default display size, it is possible to easily enlarge the portion where the icons and speech bubbles are concentrated and confirm the details. On the other hand, when icons and balloons are not displayed so much, for example, by reducing the display size of the content playback screen in FIG. 5 from the default, the time width of the content displayed on the screen can be expanded.

図4に戻り、ステップS4において、UI制御部103は、操作部107に対してチェックインの操作がなされたか否かを判定する。チェックインの操作がなされたと判定された場合、処理はステップS5に進む。   Returning to FIG. 4, in step S <b> 4, the UI control unit 103 determines whether a check-in operation has been performed on the operation unit 107. If it is determined that a check-in operation has been performed, the process proceeds to step S5.

なお、このとき、チェックインする前に、チェックインする区間を設定することが可能である。   At this time, it is possible to set a section to check in before checking in.

[チェックイン区間の設定方法]
ここで、図7乃至図9を参照して、チェックイン区間の設定方法の例について説明する。
[Check-in section setting method]
Here, an example of a check-in section setting method will be described with reference to FIGS.

例えば、図7に示されるように、プログレスバー201およびカーソル202を用いて、再生中のコンテンツの任意の位置に始点と終点を設定することにより、チェックイン区間を設定するようにしてもよい。   For example, as shown in FIG. 7, the check-in section may be set by setting a start point and an end point at an arbitrary position of the content being played using the progress bar 201 and the cursor 202.

また、例えば、図8に示されるように、再生中のコンテンツを所定の単位(例えば、小節単位)の最小セグメントに分割して提示し、カーソル211等により1つ以上の最小セグメントを選択することにより、チェックイン区間を設定するようにしてもよい。   Further, for example, as shown in FIG. 8, the content being played is divided into a minimum unit of a predetermined unit (for example, measure unit) and presented, and one or more minimum segments are selected by the cursor 211 or the like. Thus, a check-in section may be set.

さらに、例えば、図9に示されるように、再生中のコンテンツを、Aメロ、Bメロ、サビ等の曲構造に基づくセグメントに分割して提示し、カーソル221等により1つ以上のセグメントを選択することにより、チェックイン区間を設定するようにしてもよい。   Furthermore, for example, as shown in FIG. 9, the content being played is divided into segments based on the music structure such as A melody, B melody, and chorus, and one or more segments are selected using the cursor 221 or the like. By doing so, a check-in section may be set.

これにより、ユーザは、チェックイン区間(セグメントの時間幅および位置)を所望の区間に容易に設定することができる。   Thereby, the user can easily set the check-in section (segment time width and position) to a desired section.

なお、携帯電話機や携帯情報端末のような小型の機器では、表示部105の画面が小さいため、図7乃至図9に示される方法では、操作が困難になる場合が考えられる。   Note that in a small device such as a mobile phone or a portable information terminal, the screen of the display unit 105 is small, and thus it may be difficult to operate with the method illustrated in FIGS.

そこで、例えば、表示部105の画面をタップしてチェックイン区間の始点を指定し、もう一度画面をタップして終点を指定するようにしてもよい。   Therefore, for example, the screen of the display unit 105 may be tapped to specify the start point of the check-in section, and the screen may be tapped again to specify the end point.

あるいは、例えば、表示部105の画面をタップしてチェックイン区間の始点を指定し、始点から所定の時間後(例えば、10秒後)までの区間をチェックイン区間に設定するようにしてもよい。   Alternatively, for example, the start point of the check-in section may be specified by tapping the screen of the display unit 105, and the section from the start point to a predetermined time (for example, after 10 seconds) may be set as the check-in section. .

また、例えば、表示部105の画面上で2本の指を用いて、いわゆるピンチ操作により、指を画面にタッチする位置や間隔等により、チェックイン区間を設定するようにしてもよい。   Further, for example, the check-in section may be set by using a two-finger on the screen of the display unit 105 and a so-called pinch operation according to a position or interval at which the finger touches the screen.

このようにして、チェックイン区間を設定することにより、ユーザはコンテンツの任意の位置および時間幅のセグメントを指定することができる。   In this way, by setting the check-in section, the user can specify an arbitrary position of content and a segment of time width.

なお、チェックイン区間の設定が行われない場合には、例えば、チェックインの操作がなされたときのコンテンツの再生位置が始点および終点に設定される。すなわち、チェックイン区間が、コンテンツの再生位置にピンポイントで設定される。   When the check-in section is not set, for example, the content playback position when the check-in operation is performed is set as the start point and the end point. That is, the check-in section is set as a pinpoint at the content playback position.

また、例えば、コンテンツ全体をチェックイン区間に設定することにより、コンテンツ全体を指定することも可能である。すなわち、コンテンツ全体にチェックインすることも可能である。   Further, for example, the entire content can be specified by setting the entire content in the check-in section. That is, it is possible to check in the entire content.

そして、UI制御部103は、操作部107を介して設定されたチェックイン区間を示す情報を取得する。   Then, the UI control unit 103 acquires information indicating the check-in section set via the operation unit 107.

なお、図7に示される操作により、ユーザが任意にチェックイン区間を設定できるようにした場合、後述するセグメント推薦処理やプレイリスト生成処理等で、処理単位となるセグメントがユーザ間でばらついてしまい、処理が煩雑になる可能性がある。   If the user can arbitrarily set the check-in section by the operation shown in FIG. 7, the segment serving as a processing unit varies between users in the segment recommendation process and the playlist generation process described later. The processing may become complicated.

そこで、例えば、ユーザにより設定されたチェックイン区間を、予め設定されている最小セグメントを基準とする区間に近似し、近似された区間をユーザにより指定されたセグメント(以下、近似セグメントと称する)に設定するようにしてもよい。   Therefore, for example, a check-in section set by the user is approximated to a section based on a preset minimum segment, and the approximated section is a segment designated by the user (hereinafter referred to as an approximate segment). You may make it set.

あるいは、例えば、複数のユーザが設定したチェックイン区間が重なっている場合、統計的な処理により、近似セグメントを設定するようにしてもよい。具体的には、例えば、複数のユーザのチェックイン区間が最も重なる部分を近似セグメントに設定するようにしてもよい。   Alternatively, for example, when check-in sections set by a plurality of users overlap, an approximate segment may be set by statistical processing. Specifically, for example, a portion where check-in sections of a plurality of users overlap most may be set as an approximate segment.

なお、セグメントの近似を行う場合、例えば、内部では近似セグメントを用いて処理を行い、外部に表示する場合には、近似する前の元のチェックイン区間を用いるようにしてもよい。   In addition, when performing segment approximation, for example, processing is performed using the approximate segment internally, and when displaying outside, the original check-in section before approximation may be used.

図4に戻り、ステップS5において、クライアント12は、セグメント付与情報の入力を受け付ける。具体的には、例えば、UI制御部103は、図10に示される入力画面を表示部105に表示させる。   Returning to FIG. 4, in step S <b> 5, the client 12 receives an input of segment assignment information. Specifically, for example, the UI control unit 103 causes the display unit 105 to display the input screen illustrated in FIG.

図10の入力画面は、図5のコンテンツ再生画面と比較して、領域R2内にセグメント付与情報の入力画面が表示されている点が異なる。具体的には、領域R2内には、コメント入力欄231、プルダウンメニュー232、プルダウンメニュー233、セグメント付与ボタン234、ファイル付与ボタン235、評価入力欄236、および、送信ボタン237が表示されている。   The input screen of FIG. 10 differs from the content playback screen of FIG. 5 in that an input screen for segment assignment information is displayed in the region R2. Specifically, a comment input field 231, a pull-down menu 232, a pull-down menu 233, a segment assignment button 234, a file assignment button 235, an evaluation input field 236, and a send button 237 are displayed in the region R2.

コメント入力欄231は、チェックインしたコンテンツのセグメントに対するコメント等のテキストデータを入力するための欄である。   The comment input field 231 is a field for inputting text data such as a comment for the checked-in content segment.

プルダウンメニュー232およびプルダウンメニュー233は、指定したコンテンツのセグメントに対してコメントを簡易に付与できるようにするものである。例えば、プルダウンメニュー232またはプルダウンメニュー233を、それぞれタッチまたはクリック等により指定することにより、図10の左側に示される項目が表示される。そして各メニュー内に表示された項目の中から所望のものを選択することにより、”AがB”(例えば、歌詞が過激)という表現のコメントを迅速かつ簡単に入力することができる。   The pull-down menu 232 and the pull-down menu 233 allow a comment to be easily given to a specified content segment. For example, the items shown on the left side of FIG. 10 are displayed by designating the pull-down menu 232 or the pull-down menu 233 by touching or clicking, respectively. Then, by selecting a desired item from the items displayed in each menu, it is possible to quickly and easily input a comment expressing “A is B” (for example, lyrics are radical).

なお、上記の”AがB”のAはプルダウンメニュー232から選択された項目を示し、Bはプルダウンメニュー233から選択された項目を示す。   Note that A in the above “A is B” indicates an item selected from the pull-down menu 232, and B indicates an item selected from the pull-down menu 233.

なお、例えば、ユーザが付与したコメントにおいてよく使用される語句を抽出して、プルダウンメニュー232およびプルダウンメニュー233の選択項目に設定するようにしてもよい。このとき、他のユーザのコメントも含めて頻出語句を抽出し、選択項目を設定するようにしてもよいし、ユーザ別に頻出語句を抽出し、ユーザ毎に選択項目をカスタマイズするようにしてもよい。   For example, words frequently used in comments given by the user may be extracted and set as selection items of the pull-down menu 232 and the pull-down menu 233. At this time, it is possible to extract frequently used phrases including comments of other users and set selection items, or extract frequently used phrases for each user and customize the selected items for each user. .

セグメント付与ボタン234は、チェックインしたコンテンツのセグメントに他のセグメントをリンクさせる場合に操作される。   The segment assignment button 234 is operated when another segment is linked to the checked-in content segment.

ここで、チェックインしたコンテンツのセグメントに他のセグメントをリンクさせる操作の具体例について説明する。   Here, a specific example of the operation of linking another segment to the checked-in content segment will be described.

例えば、セグメント付与ボタン234が押下されると、リンク先のコンテンツを選択するための画面が表示される。そして、コンテンツが選択されると、選択されたコンテンツの再生が開始され、図5を参照して上述したコンテンツ再生画面が表示される。そして、例えば、図7乃至図9を参照して上述した操作と同様の操作により、再生中のコンテンツの区間を指定することにより、リンク先のセグメントが指定される。   For example, when the segment assignment button 234 is pressed, a screen for selecting linked content is displayed. When the content is selected, reproduction of the selected content is started, and the content reproduction screen described above with reference to FIG. 5 is displayed. Then, for example, the segment of the link destination is specified by specifying the section of the content being reproduced by the same operation as described above with reference to FIGS. 7 to 9.

なお、このとき、再生中のコンテンツと異なるコンテンツのセグメントにリンクさせるだけでなく、再生中のコンテンツのセグメントをリンクさせることも可能である。   At this time, it is possible not only to link to a segment of content different from the content being played back, but also to link a segment of content being played back.

ファイル付与ボタン235は、チェックインしたコンテンツのセグメントにファイルを付与する場合に操作される。例えば、ファイル付与ボタン235を操作することにより、付与するファイルを選択する画面が表示され、ユーザは、付与するファイルを選択することができる。   The file assignment button 235 is operated when a file is assigned to the checked-in content segment. For example, by operating the file grant button 235, a screen for selecting a file to be given is displayed, and the user can select the file to be given.

なお、付与するファイルの種類は特に限定されるものではなく、例えば、画像、音声、文書等のファイルを付与することができる。   Note that the type of file to be added is not particularly limited, and for example, a file such as an image, a sound, or a document can be added.

評価入力欄236は、チェックインしたコンテンツのセグメントに5段階の評価を付与するためのものである。評価は星の数により表され、ユーザは、星の数を指定することにより、チェックインしたコンテンツのセグメントに対する評価を付与することができる。   The evaluation input field 236 is used to give a five-stage evaluation to the checked-in content segment. Ratings are represented by the number of stars, and the user can assign a rating to a segment of the checked-in content by specifying the number of stars.

なお、例えば、5段階未満または以上の評価を付与するようにしてもよいし、好き嫌いを選択するようにしてもよい。   Note that, for example, evaluations of less than five levels or more may be given, and likes and dislikes may be selected.

送信ボタン237は、コメント入力欄231乃至評価入力欄236により入力したセグメント付与情報をサーバ11に送信するためのボタンである。   The transmission button 237 is a button for transmitting the segment assignment information input from the comment input field 231 to the evaluation input field 236 to the server 11.

ユーザは、図10の入力画面から、操作部107を用いて、コメント、リンク先のセグメント、ファイル、評価のうち所望の項目の入力または設定を行う。そして、UI制御部103は、入力または設定されたセグメント付与情報を取得する。   The user uses the operation unit 107 to input or set a desired item from the comment, the link destination segment, the file, and the evaluation from the input screen of FIG. Then, the UI control unit 103 acquires the segment assignment information that is input or set.

なお、例えば、図11に示されるように、コンテンツ再生画面にプルダウンメニュー241を表示し、その中から所望のコメントを選択し、チェックインしたセグメントに簡易にコメントを付与できるようにしてもよい。   For example, as shown in FIG. 11, a pull-down menu 241 may be displayed on the content playback screen, a desired comment may be selected from the pull-down menu 241, and a comment may be easily added to the checked-in segment.

このとき、図10のプルダウンメニュー232,233と同様に、各ユーザが付与したコメントにおける頻出語句に基づいて、プルダウンメニュー241の選択項目を設定するようにしてもよい。   At this time, similarly to the pull-down menus 232 and 233 in FIG. 10, the selection items of the pull-down menu 241 may be set based on the frequently used phrases in the comments given by each user.

また、詳細な説明は省略するが、特にセグメントを指定せずに、コンテンツ全体に対して、上述したセグメント付与情報と同様の情報を付与することも可能である。   Although detailed description is omitted, it is also possible to give the same information as the above-described segment assignment information to the entire content without particularly specifying a segment.

図4に戻り、ステップS6において、クライアント12は、チェックイン情報を送信する。具体的には、図10の入力画面において送信ボタン237が押下された場合、操作部107は、チェックイン情報の送信が指令されたことをUI制御部103に通知する。UI制御部103は、ユーザによりチェックインされたセグメントを示す情報(例えば、コンテンツにおけるセグメントの時間等)、および、そのセグメントに付与されたセグメント付与情報をチェックイン情報生成部108に供給する。   Returning to FIG. 4, in step S6, the client 12 transmits check-in information. Specifically, when the transmission button 237 is pressed on the input screen of FIG. 10, the operation unit 107 notifies the UI control unit 103 that the transmission of check-in information has been commanded. The UI control unit 103 supplies the check-in information generation unit 108 with information indicating the segment checked in by the user (for example, the segment time in the content) and the segment assignment information assigned to the segment.

チェックイン情報生成部108は、チェックインされたセグメントおよびチェックインしたユーザを示す情報、並びに、付与されたセグメント付与情報を含むチェックイン情報を生成する。そして、チェックイン情報生成部108は、送信部109およびネットワーク13を介して、生成したチェックイン情報をサーバ11に送信する。   The check-in information generation unit 108 generates check-in information including information indicating the checked-in segment and the checked-in user, and the given segment assignment information. Then, the check-in information generation unit 108 transmits the generated check-in information to the server 11 via the transmission unit 109 and the network 13.

その後、処理はステップS7に進む。   Thereafter, the process proceeds to step S7.

これに対して、サーバ11は、後述する図13のステップS53において、クライアント12から送信されたチェックイン情報を受信し、ステップS54において、チェックイン情報DB52を更新する。   In response to this, the server 11 receives the check-in information transmitted from the client 12 in step S53 of FIG. 13 described later, and updates the check-in information DB 52 in step S54.

このとき、チェックインされたコンテンツを再生中の各クライアント12において、チェックインしたユーザ、および、付与されたセグメント付与情報をリアルタイムに表示するようにしてもよい。   At this time, in each client 12 that is playing back the checked-in content, the checked-in user and the given segment assignment information may be displayed in real time.

例えば、図12は、チェックインが行われることにより、図5のコンテンツ再生画面を更新した例を示している。図12のコンテンツ再生画面では、図5のコンテンツ再生画面と比較して、アイコン171eおよび吹き出し172eが追加されている。すなわち、アイコン171eにより示されるユーザによりチェックインが行われ、チェックインされたセグメントに対して吹き出し172e内に示されるセグメント付与情報が付与されたことが示されている。   For example, FIG. 12 shows an example in which the content reproduction screen of FIG. 5 is updated by performing check-in. In the content reproduction screen of FIG. 12, an icon 171e and a balloon 172e are added as compared to the content reproduction screen of FIG. That is, it is shown that the user indicated by the icon 171e has checked in, and the segment assignment information shown in the balloon 172e is given to the checked-in segment.

また、吹き出し172e内には、チェックインされたセグメントにリンクされている他のコンテンツ(のセグメント)を示す画像(例えば、ジャケット等)、および、コメントが表示されている。この例では、再生中のコンテンツの40秒付近が、吹き出し172e内のジャケットのアルバムに含まれるコンテンツの一部に類似している旨を示すコメントが示されている。   In the balloon 172e, an image (for example, a jacket or the like) indicating other content (segment) linked to the checked-in segment and a comment are displayed. In this example, a comment indicating that the vicinity of 40 seconds of the content being reproduced is similar to a part of the content included in the album of the jacket in the balloon 172e is shown.

図4に戻り、一方、ステップS4において、チェックインの操作がなされていないと判定された場合、ステップS5およびS6の処理はスキップされ、処理はステップS7に進む。   Returning to FIG. 4, if it is determined in step S4 that the check-in operation has not been performed, the processes in steps S5 and S6 are skipped, and the process proceeds to step S7.

ステップS7において、UI制御部103は、コンテンツの再生の停止が指令されたか否かを判定する。コンテンツの再生の停止が指令されていないと判定された場合、処理はステップS8に進む。   In step S <b> 7, the UI control unit 103 determines whether or not a stop of content reproduction is instructed. If it is determined that the stop of content reproduction has not been instructed, the process proceeds to step S8.

ステップS8において、UI制御部103は、コンテンツの再生が終了したか否かを判定する。コンテンツの再生が終了していないと判定された場合、処理はステップS4に戻る。   In step S <b> 8, the UI control unit 103 determines whether or not the content reproduction has ended. If it is determined that the content reproduction has not ended, the process returns to step S4.

その後、ステップS7において、コンテンツの再生の停止が指令されたと判定されるか、ステップS8において、コンテンツの再生が終了したと判定されるまで、ステップS4乃至S8の処理が繰り返し実行される。   Thereafter, the processes in steps S4 to S8 are repeatedly executed until it is determined in step S7 that a stop of content reproduction has been instructed, or in step S8, it is determined that the reproduction of content has ended.

一方、ステップS8において、コンテンツの再生が終了したと判定された場合、処理はステップS9に進む。   On the other hand, if it is determined in step S8 that the content reproduction has ended, the process proceeds to step S9.

ステップS9において、UI制御部103は、次に再生するコンテンツがあるか否かを判定する。例えば、プレイリストの再生中などにおいて、再生が終了したコンテンツの次にまだ再生するコンテンツがあると判定された場合、処理はステップS1に戻り、ステップS1以降の処理が実行される。すなわち、次に再生するコンテンツのコンテンツ再生データの受信が開始され、そのコンテンツの再生が開始される。   In step S9, the UI control unit 103 determines whether there is content to be reproduced next. For example, when it is determined that there is content to be reproduced next to content that has been reproduced, for example, during reproduction of a playlist, the process returns to step S1, and the processes after step S1 are executed. That is, reception of content reproduction data of the content to be reproduced next is started, and reproduction of the content is started.

一方、ステップS9において、次に再生するコンテンツがないと判定された場合、処理はステップS11に進む。   On the other hand, if it is determined in step S9 that there is no content to be reproduced next, the process proceeds to step S11.

また、ステップS7において、ユーザが操作部107を介してコンテンツの再生の停止の指令を入力し、その指令がUI制御部103に通知された場合、UI制御部103は、コンテンツの再生の停止が指令されたと判定し、処理はステップS10に進む。   In step S <b> 7, when the user inputs a content playback stop command via the operation unit 107 and the command is notified to the UI control unit 103, the UI control unit 103 stops the content playback. It determines with having been instruct | indicated and a process progresses to step S10.

ステップS10において、クライアント12は、コンテンツの再生を停止する。具体的には、UI制御部103は、再生部104にコンテンツの再生の停止を指令し、再生部104は、コンテンツの再生を停止する。また、UI制御部103は、コンテンツの再生に同期したコンテンツ再生画面の更新を停止する。   In step S10, the client 12 stops the reproduction of the content. Specifically, the UI control unit 103 instructs the playback unit 104 to stop the content playback, and the playback unit 104 stops the content playback. Also, the UI control unit 103 stops updating the content playback screen synchronized with the content playback.

その後、処理はステップS11に進む。   Thereafter, the process proceeds to step S11.

ステップS11において、UI制御部103は、送信部109およびネットワーク13を介して、コンテンツ再生データの送信の停止を要求する。   In step S <b> 11, the UI control unit 103 requests to stop transmission of content reproduction data via the transmission unit 109 and the network 13.

これに対して、サーバ11は、後述する図13のステップS56において、コンテンツ再生データの送信を停止する。   On the other hand, the server 11 stops the transmission of the content reproduction data in step S56 of FIG.

そして、コンテンツ再生処理は終了する。   Then, the content reproduction process ends.

[コンテンツ配信処理]
次に、図13のフローチャートを参照して、図4のクライアント12によるコンテンツ再生処理に対応してサーバ11により実行されるコンテンツ配信処理について説明する。
[Content delivery processing]
Next, content distribution processing executed by the server 11 in response to content reproduction processing by the client 12 of FIG. 4 will be described with reference to the flowchart of FIG.

ステップS51において、配信部37は、コンテンツ再生データの送信が要求されたか否かを判定する。そして、配信部37が、ネットワーク13および受信部39を介してクライアント12からコンテンツ再生データの送信の要求を受信したとき、処理はステップS52に進む。   In step S51, the distribution unit 37 determines whether transmission of content reproduction data is requested. When the distribution unit 37 receives a request for transmitting content reproduction data from the client 12 via the network 13 and the reception unit 39, the process proceeds to step S52.

ステップS52において、サーバ11は、コンテンツ再生データの送信を開始する。具体的には、配信部37は、クライアント12から指定されたコンテンツのコンテンツデータをコンテンツDB51から読み出す。また、配信部37は、クライアント12から指定されたコンテンツに対応付けられているチェックイン情報をチェックイン情報DB52から読み出す。そして、配信部37は、送信部38およびネットワーク13を介して、読み出したコンテンツデータおよびチェックイン情報を含むコンテンツ再生データの要求元のクライアント12への送信を開始する。   In step S52, the server 11 starts transmitting content reproduction data. Specifically, the distribution unit 37 reads content data of content designated from the client 12 from the content DB 51. Further, the distribution unit 37 reads check-in information associated with the content designated by the client 12 from the check-in information DB 52. Then, the distribution unit 37 starts transmission of the read content data and the content reproduction data including the check-in information to the requesting client 12 via the transmission unit 38 and the network 13.

その後、処理はステップS53に進む。   Thereafter, the process proceeds to step S53.

一方、ステップS51において、コンテンツ再生データの送信が要求されていないと判定された場合、ステップS52の処理はスキップされ、処理はステップS53に進む。   On the other hand, if it is determined in step S51 that transmission of content reproduction data is not requested, the process of step S52 is skipped, and the process proceeds to step S53.

ステップS53において、チェックイン情報取得部40は、チェックイン情報を受信したか否かを判定する。そして、チェックイン情報取得部40が、ネットワーク13および受信部39を介してクライアント12からチェックイン情報を受信したとき、処理はステップS54に進む。   In step S53, the check-in information acquisition unit 40 determines whether check-in information has been received. When the check-in information acquisition unit 40 receives the check-in information from the client 12 via the network 13 and the reception unit 39, the process proceeds to step S54.

ステップS54において、チェックイン情報取得部40は、チェックイン情報DB52を更新する。すなわち、チェックイン情報取得部40は、受信したチェックイン情報をチェックイン情報DB52に格納することにより、チェックイン情報DB52を更新する。   In step S54, the check-in information acquisition unit 40 updates the check-in information DB 52. That is, the check-in information acquisition unit 40 updates the check-in information DB 52 by storing the received check-in information in the check-in information DB 52.

その後、処理はステップS55に進む。   Thereafter, the process proceeds to step S55.

一方、ステップS53において、チェックイン情報を受信していないと判定された場合、ステップS54の処理はスキップされ、処理はステップS55に進む。   On the other hand, if it is determined in step S53 that check-in information has not been received, the process of step S54 is skipped, and the process proceeds to step S55.

ステップS55において、配信部37は、コンテンツ再生データの送信の停止が要求されたか否かを判定する。そして、配信部37が、ネットワーク13および受信部39を介してクライアント12からコンテンツ再生データの送信の停止の要求を受信したとき、処理はステップS56に進む。   In step S55, the distribution unit 37 determines whether or not a stop of transmission of the content reproduction data is requested. When the distribution unit 37 receives a request to stop transmission of content reproduction data from the client 12 via the network 13 and the reception unit 39, the process proceeds to step S56.

ステップS56において、配信部37は、要求元のクライアント12へのコンテンツ再生データの送信を停止する。   In step S <b> 56, the distribution unit 37 stops transmitting the content reproduction data to the requesting client 12.

その後、処理はステップS51に戻り、ステップS51以降の処理が実行される。   Thereafter, the process returns to step S51, and the processes after step S51 are executed.

一方、ステップS55において、コンテンツ再生データの送信の停止が要求されていないと判定された場合、処理はステップS51に戻り、ステップS51以降の処理が実行される。   On the other hand, when it is determined in step S55 that the stop of transmission of the content reproduction data is not requested, the process returns to step S51, and the processes after step S51 are executed.

以上のようにして、クライアント12において、再生中のコンテンツの任意の区間を指定してチェックインし、チェックインした区間(セグメント)に対して、各種の情報(セグメント付与情報)を付与することができる。これにより、ユーザは、コンテンツ全体だけでなく、コンテンツ内の任意のセグメントに対して、ユーザの主観を表す表現等を付与することができる。   As described above, the client 12 can specify an arbitrary section of the content being played back and check it in, and give various information (segment assignment information) to the checked-in section (segment). it can. Thereby, the user can give the expression etc. which represent a user's subjectivity to not only the whole content but arbitrary segments in the content.

また、クライアント12において、コンテンツの再生に同期して、各セグメントに付与されているセグメント付与情報を、そのセグメントのコンテンツ内の位置に合わせて表示することができる。これにより、セグメント付与情報が付与されている部分を直感的に正確に認識することが可能になる。従って、各ユーザによりコンテンツの任意の区間に付与されている情報が、より正確に各ユーザに伝わるようになる。   In addition, the client 12 can display the segment assignment information assigned to each segment in synchronization with the reproduction of the content in accordance with the position of the segment in the content. This makes it possible to intuitively and accurately recognize the portion to which segment assignment information is assigned. Therefore, information given to an arbitrary section of content by each user can be transmitted to each user more accurately.

[コンテンツ再生画面の変形例]
ここで、図14乃至図17を参照して、クライアント12におけるコンテンツ再生画面の変形例について説明する。
[Modification of content playback screen]
Here, a modified example of the content reproduction screen in the client 12 will be described with reference to FIGS.

[コンテンツ再生画面の変形例1]
例えば、図5または図6のコンテンツ再生画面を表示中に、ユーザ操作等により、図14に示されるコンテンツ画面を表示するようにしてもよい。
[Modification 1 of content playback screen]
For example, the content screen shown in FIG. 14 may be displayed by a user operation or the like while the content playback screen of FIG. 5 or 6 is displayed.

図14のコンテンツ再生画面は、図5または図6のコンテンツ再生画面と比較して、領域R2内の表示が異なっている。具体的には、領域R2には、再生中のコンテンツとは無関係に、各クライアント12において各コンテンツのセグメントに付与されたコメント等が、最新のものから順に時系列に並べて表示されている。そして、クライアント12は、各クライアント12において各コンテンツのセグメントに付与されたコメント等をサーバ11から逐次受信し、領域R2内の表示を逐次更新する。すなわち、最新のコメント等が領域R2のいちばん上の欄に追加され、それに伴い、表示中のコメント等が下方向にスクロールし、古くなったものが消去される。   The content playback screen in FIG. 14 is different in display in the region R2 from the content playback screen in FIG. 5 or FIG. Specifically, in the area R2, comments and the like given to the segments of each content in each client 12 are displayed in time series in order from the latest, regardless of the content being reproduced. Then, the client 12 sequentially receives a comment or the like given to each content segment in each client 12 from the server 11, and sequentially updates the display in the region R2. That is, the latest comment or the like is added to the uppermost column of the region R2, and accordingly, the comment or the like being displayed is scrolled downward and the old one is deleted.

各欄には、チェックインしたユーザ名、ユーザを示すアイコン、チェックインしたコンテンツのアーティスト名および曲名、付与したコメント、コメントを付与した日時等が表示される。   Each column displays the name of the user who checked in, the icon indicating the user, the artist name and song name of the checked-in content, the added comment, the date and time when the comment was added, and the like.

なお、始点と終点(チェックイン区間)を設定したセグメントに対してコメントが付与されている場合、図15の丸で囲んだ領域R11内に示されるように、始点と終点のコンテンツの時間軸上の位置が表示される。   When a comment is given to a segment for which a start point and an end point (check-in section) are set, as shown in a circled area R11 in FIG. 15, the start point and end point contents are on the time axis. The position of is displayed.

また、他のセグメントにリンクされているセグメントに対してコメントが付与されている場合、図16の丸で囲んだ領域R12内に示されるように、リンク先のコンテンツの曲名およびアーティスト名、並びに、リンク先のセグメントの始点と終点のコンテンツの時間軸上の位置が表示される。   When a comment is given to a segment linked to another segment, as shown in a circled region R12 in FIG. 16, the song title and artist name of the linked content, and The start point and end point contents of the linked segment on the time axis are displayed.

[コンテンツ再生画面の変形例2]
また、図5、図6または図14のコンテンツ再生画面を表示中に、ユーザ操作等により、図17に示されるコンテンツ画面を表示するようにしてもよい。すなわち、領域R2内において、図5の領域R2内の画面と図14の領域R2内の画面を並べて表示するようにしてもよい。
[Modification 2 of content playback screen]
Further, the content screen shown in FIG. 17 may be displayed by a user operation or the like while the content reproduction screen of FIG. 5, FIG. 6, or FIG. 14 is displayed. That is, in the region R2, the screen in the region R2 in FIG. 5 and the screen in the region R2 in FIG. 14 may be displayed side by side.

これにより、再生中のコンテンツのセグメントに付与されているコメント等を確認しながら、各クライアント12において各コンテンツのセグメントに付与されたコメント等をリアルタイムに確認することができる。   Accordingly, it is possible to confirm in real time the comment or the like given to each content segment in each client 12 while confirming the comment or the like given to the content segment being reproduced.

なお、図17の領域R2内において、図5の領域R2内の画面の代わりに図6の領域R2内の画面を表示するようにしてもよい。   In addition, in the area | region R2 of FIG. 17, you may make it display the screen in area | region R2 of FIG. 6 instead of the screen in area | region R2 of FIG.

また、表示部105が複数の画面を有する場合、図5または図6のコンテンツ再生画面と図14のコンテンツ再生画面をそれぞれ別の画面に表示するようにしてもよい。   When the display unit 105 has a plurality of screens, the content playback screen of FIG. 5 or 6 and the content playback screen of FIG. 14 may be displayed on different screens.

[情報処理システム1による推薦処理等]
次に、情報処理システム1により実行されるコンテンツの推薦処理等について説明する。
[Recommendation processing by information processing system 1]
Next, content recommendation processing executed by the information processing system 1 will be described.

情報処理システム1では、ユーザがチェックインしたコンテンツの各セグメント、および、各セグメントに付与したセグメント付与情報等に基づいて、セグメント単位でコンテンツの推薦等を行うことができる。以下、情報処理システム1による推薦処理等の具体例について説明する。   In the information processing system 1, content recommendation or the like can be performed for each segment based on each segment of the content checked in by the user, segment assignment information assigned to each segment, and the like. Hereinafter, a specific example of recommendation processing by the information processing system 1 will be described.

[CFを用いたセグメント推薦処理]
まず、図18のフローチャートを参照して、サーバ11により実行されるCF(協調フィルタリング)を用いたセグメント推薦処理について説明する。
[Segment recommendation processing using CF]
First, the segment recommendation process using CF (collaborative filtering) executed by the server 11 will be described with reference to the flowchart of FIG.

なお、以下、セグメントを推薦する対象となるユーザを対象ユーザと称する。   Hereinafter, a user who recommends a segment is referred to as a target user.

ステップS101において、ユーザ分析部62は、対象ユーザに類似するユーザを検索する。例えば、ユーザ分析部62は、チェックイン情報DB52を用いて、対象ユーザとチェックインしたセグメントの傾向が類似するユーザを検索する。ユーザ分析部62は、検索結果をセグメント抽出部71に通知する。   In step S101, the user analysis unit 62 searches for a user similar to the target user. For example, the user analysis unit 62 uses the check-in information DB 52 to search for users whose target user has a similar tendency to the checked-in segment. The user analysis unit 62 notifies the segment extraction unit 71 of the search result.

なお、対象ユーザとチェックインしたセグメントが類似するユーザを検索する手法は、特定のものに限定されず、任意の手法を採用することが可能である。   Note that the method of searching for a user whose segment checked in with the target user is not limited to a specific one, and any method can be employed.

ステップS102において、セグメント抽出部71は、類似ユーザのチェックイン履歴に基づいて、推薦するセグメントを抽出する。具体的には、セグメント抽出部71は、チェックイン情報DB52から、類似ユーザが過去にチェックインしたセグメントの履歴を抽出する。そして、セグメント抽出部71は、例えば、類似ユーザが過去にチェックインしたセグメントのうち、対象ユーザがチェックインしてないセグメントを、推薦するセグメントとして抽出する。   In step S102, the segment extraction unit 71 extracts recommended segments based on the check-in history of similar users. Specifically, the segment extraction unit 71 extracts, from the check-in information DB 52, a history of segments that have been checked in by similar users in the past. Then, for example, the segment extraction unit 71 extracts, as recommended segments, segments that the target user has not checked in among the segments that have been checked in by the similar user in the past.

ステップS103において、セグメント推薦部72は、抽出したセグメントを推薦する。具体的には、セグメント推薦部72は、コンテンツDB51やチェックイン情報DB52等を用いて、セグメント抽出部71により抽出されたセグメントに関する情報および推薦理由等を含むセグメント推薦情報を生成する。セグメント推薦部72は、生成したセグメント推薦情報を、送信部38およびネットワーク13を介して、対象ユーザのクライアント12に送信する。   In step S103, the segment recommendation unit 72 recommends the extracted segment. Specifically, the segment recommendation unit 72 uses the content DB 51, the check-in information DB 52, and the like to generate segment recommendation information including information about the segment extracted by the segment extraction unit 71, a recommendation reason, and the like. The segment recommendation unit 72 transmits the generated segment recommendation information to the client 12 of the target user via the transmission unit 38 and the network 13.

対象ユーザのクライアント12のUI制御部103は、受信部101を介して、セグメント推薦情報を受信する。そして、UI制御部103は、セグメント推薦情報に基づいて、対象ユーザにセグメントを推薦する画面を表示部105に表示させる。例えば、推薦するセグメントが属するコンテンツのコンテンツ名、アーティスト名、アルバム名、アルバムジャケット等とともに、コンテンツ内でのセグメントの位置や推薦理由等が示される。   The UI control unit 103 of the target user's client 12 receives the segment recommendation information via the receiving unit 101. Then, the UI control unit 103 causes the display unit 105 to display a screen for recommending a segment to the target user based on the segment recommendation information. For example, the content name, artist name, album name, album jacket, etc. of the content to which the segment to be recommended belongs, as well as the position of the segment in the content, the reason for recommendation, etc. are shown.

なお、コンテンツ内でのセグメントの位置を示す方法は、その位置がユーザに正確に伝わるのであれば、特定の方法に限定されるものではない。例えば、セグメントのコンテンツの時間軸上での時間、セグメントに該当する曲構造(例えば、Aメロ、Bメロ等)、セグメントに含まれる歌詞等を用いて、コンテンツ内でのセグメントの位置を示すことができる。   The method for indicating the position of the segment in the content is not limited to a specific method as long as the position is accurately transmitted to the user. For example, using the time on the time axis of the content of the segment, the music structure corresponding to the segment (for example, A melody, B melody, etc.), the lyrics included in the segment, etc., to indicate the position of the segment in the content Can do.

また、推薦理由として、例えば、「この部分にチェックインしているユーザは、この部分にもチェックしています。」、「あなたに似たユーザは、こんな曲のこの部分にもチェックインしています。」というような文章を表示することが考えられる。   In addition, as a reason for recommendation, for example, “A user who has checked in this part also checks this part.”, “A user similar to you has also checked in this part of such a song. It may be possible to display a sentence such as “

そして、対象ユーザは、例えば、推薦されたセグメントを指定することにより、指定したセグメントを再生させることができる。   Then, the target user can reproduce the designated segment by designating the recommended segment, for example.

このようにして、ユーザにセグメント単位でコンテンツを推薦することができる。すなわち、CFを用いて、個々のユーザの嗜好に応じた個人化されたセグメント群を推薦することができる。従って、より精緻かつ適切にユーザの嗜好に応じたコンテンツ(のセグメント)の推薦を行うことができる。例えば、コンテンツ全体としてはユーザの嗜好と合致しないが、そのコンテンツ内のユーザの嗜好と合致する部分のみを抽出して推薦することができる。また、ユーザは、コンテンツ内の自分の嗜好と合致する部分のみを容易に楽しむことができる。   In this way, content can be recommended to the user in units of segments. In other words, using the CF, it is possible to recommend a personalized segment group according to individual user preferences. Therefore, it is possible to recommend content (segments) according to the user's preference more precisely and appropriately. For example, although the content as a whole does not match the user's preference, only the portion of the content that matches the user's preference can be extracted and recommended. In addition, the user can easily enjoy only the portion in the content that matches his / her preference.

[CFを用いたプレイリスト生成処理]
次に、図19のフローチャートを参照して、サーバ11により実行されるCF(協調フィルタリング)を用いたプレイリスト生成処理について説明する。
[Playlist generation processing using CF]
Next, playlist generation processing using CF (collaborative filtering) executed by the server 11 will be described with reference to the flowchart of FIG.

ステップS121において、セグメント分析部61は、チェックイン情報DB52を用いて、チェックインしたユーザに基づいて、セグメント間の類似度を算出する。   In step S121, the segment analysis unit 61 uses the check-in information DB 52 to calculate the similarity between segments based on the checked-in user.

具体的には、セグメント分析部61は、例えば図20に示されるように、各コンテンツの各セグメントにチェックインしたユーザの統計をとる。この例では、例えば、コンテンツ1のセグメント1には、ユーザ2およびユーザ3がチェックインしており、セグメント2には、ユーザ1がチェックインしていることが示されている。   Specifically, as shown in FIG. 20, for example, the segment analysis unit 61 collects statistics of users who have checked in each segment of each content. In this example, for example, user 2 and user 3 are checking in segment 1 of content 1, and segment 2 indicates that user 1 is checking in.

そして、セグメント分析部61は、各セグメントにチェックインしたユーザに基づいて、セグメント間の類似度を算出する。   Then, the segment analysis unit 61 calculates the similarity between segments based on the user who checked in each segment.

例えば、図20の例において、ユーザ2が対象ユーザであり、ユーザ2がチェックインしたコンテンツ1のセグメント1に基づいて、セグメントを抽出する場合について説明する。   For example, in the example of FIG. 20, a case where the user 2 is the target user and the segment is extracted based on the segment 1 of the content 1 checked in by the user 2 will be described.

この場合、コンテンツ1のセグメント1にチェックインしたユーザと、他のセグメントにチェックインしたユーザとを比較することにより、セグメント間の類似度が算出される。この例では、コンテンツ1のセグメント1にチェックインしたユーザと、コンテンツ2のセグメント1にチェックインしたユーザが一致するため、当該セグメント間の類似度が高くなる。   In this case, the similarity between the segments is calculated by comparing the user who has checked in the segment 1 of the content 1 with the user who has checked in the other segment. In this example, the user who checked in segment 1 of content 1 and the user who checked in segment 1 of content 2 match, so the similarity between the segments increases.

そして、セグメント分析部61は、各セグメント間の類似度を推薦部35に通知する。   Then, the segment analysis unit 61 notifies the recommendation unit 35 of the similarity between the segments.

ステップS122において、セグメント抽出部71は、チェックインしたユーザが類似するセグメントを抽出する。すなわち、セグメント抽出部71は、基準となるセグメント(例えば、図20のコンテンツ1のセグメント1)との類似度が所定の閾値以上となるセグメントを抽出する。   In step S122, the segment extraction unit 71 extracts segments similar to the user who checked in. That is, the segment extraction unit 71 extracts a segment whose similarity with a reference segment (for example, the segment 1 of the content 1 in FIG. 20) is equal to or greater than a predetermined threshold.

ステップS123において、プレイリスト生成部73は、抽出したセグメントに基づいてプレイリストを生成する。例えば、プレイリスト生成部73は、コンテンツDB51やチェックイン情報DB52等を用いて、抽出したセグメントを所定の順番に配列するとともに、各セグメントに関する情報を一覧にしたプレイリスト情報を生成する。なお、各セグメントに関する情報には、例えば、各セグメントが属するコンテンツのコンテンツ名、アーティスト名、アルバム名、並びに、各セグメントのコンテンツ内での位置を示す情報などが含まれる。   In step S123, the playlist generation unit 73 generates a playlist based on the extracted segments. For example, the playlist generation unit 73 uses the content DB 51, the check-in information DB 52, and the like to arrange the extracted segments in a predetermined order and generate playlist information that lists information on each segment. The information regarding each segment includes, for example, the content name, artist name, album name of the content to which each segment belongs, and information indicating the position of each segment within the content.

ステップS124において、プレイリスト生成部73は、プレイリストを配信する。具体的には、プレイリスト生成部73は、送信部38およびネットワーク13を介して、生成したプレイリスト情報を対象ユーザのクライアント12に送信する。   In step S124, the playlist generation unit 73 distributes the playlist. Specifically, the playlist generation unit 73 transmits the generated playlist information to the client 12 of the target user via the transmission unit 38 and the network 13.

対象ユーザのクライアント12のUI制御部103は、受信部101を介して、プレイリスト情報を受信する。そして、UI制御部103は、プレイリスト情報に基づいて、例えば、プレイリストに含まれるセグメントの一覧を表示部105に表示させる。   The UI control unit 103 of the client 12 of the target user receives playlist information via the reception unit 101. Then, the UI control unit 103 causes the display unit 105 to display a list of segments included in the playlist based on the playlist information, for example.

そして、対象ユーザは、提示されたプレイリストの再生を指令することにより、プレイリストに登録されているセグメントを順番に再生させることができる。   Then, the target user can reproduce the segments registered in the playlist in order by instructing the reproduction of the presented playlist.

このようにして、CFを用いて、個々のユーザの嗜好に応じた個人化されたセグメント群からなるプレイリストを生成し、配信することができる。   In this way, it is possible to generate and distribute a playlist composed of personalized segment groups according to individual user preferences using CF.

なお、例えば、対象ユーザを限定せずに、単にチェックインしたユーザが類似するセグメントを集めてプレイリストを生成し、配信するようにしてもよい。   In addition, for example, without limiting the target user, segments that are simply checked-in by users who are similar may be collected and a playlist may be generated and distributed.

また、例えば、対象ユーザがチェックインしたセグメントのみからなるプレイリストを生成し、配信するようにしてもよい。これにより、対象ユーザがチェックインしたコンテンツの部分(例えば、サビの部分)のみのダイジェスト再生を容易に行うことができる。   Further, for example, a playlist including only segments checked in by the target user may be generated and distributed. Thereby, it is possible to easily perform the digest reproduction of only the content portion (for example, the rust portion) checked in by the target user.

[CBFを用いたセグメント推薦処理]
次に、図21のフローチャートを参照して、サーバ11により実行されるCBF(Content Based Filtering)を用いたセグメント推薦処理について説明する。
[Segment recommendation processing using CBF]
Next, a segment recommendation process using CBF (Content Based Filtering) executed by the server 11 will be described with reference to the flowchart of FIG.

ステップS141において、セグメント分析部61は、対象ユーザがチェックインしたセグメントの特徴量を分析する。具体的には、セグメント分析部61は、チェックイン情報DB52から、対象ユーザの過去のチェックイン履歴を抽出する。また、セグメント分析部61は、抽出した対象ユーザのチェックイン履歴に基づいて、対象ユーザがチェックインした各セグメントの特徴量を、コンテンツDB51から抽出する。   In step S141, the segment analysis unit 61 analyzes the feature amount of the segment checked in by the target user. Specifically, the segment analysis unit 61 extracts the past check-in history of the target user from the check-in information DB 52. Further, the segment analysis unit 61 extracts the feature amount of each segment checked in by the target user from the content DB 51 based on the extracted check-in history of the target user.

さらに、セグメント分析部61は、対象ユーザがチェックインした各セグメントの特徴量の中から、特に顕著な特徴量、例えば、出現頻度が高いコード進行や歌詞などを抽出する。そして、セグメント分析部61は、抽出した特徴量を推薦部35に通知する。   Further, the segment analysis unit 61 extracts particularly remarkable feature amounts, for example, chord progressions and lyrics having high appearance frequency from the feature amounts of the segments checked in by the target user. Then, the segment analysis unit 61 notifies the recommendation unit 35 of the extracted feature amount.

ステップS142において、セグメント抽出部71は、対象ユーザがチェックインしたセグメントと特徴が似たセグメントを抽出する。例えば、セグメント抽出部71は、セグメント分析部61により抽出された特徴量との類似度が所定の閾値以上の特徴量を有するセグメントを、コンテンツDB51から抽出する。   In step S142, the segment extraction unit 71 extracts a segment whose characteristics are similar to the segment checked in by the target user. For example, the segment extraction unit 71 extracts, from the content DB 51, a segment having a feature amount whose similarity to the feature amount extracted by the segment analysis unit 61 is equal to or greater than a predetermined threshold.

ステップS143において、図18のステップS101の処理と同様に、抽出したセグメントが推薦される。   In step S143, the extracted segment is recommended in the same manner as in step S101 of FIG.

このようにして、CBFを用いて、個々のユーザの嗜好に応じた個人化されたセグメント群を推薦することができる。   In this way, it is possible to recommend a group of personalized segments according to individual user preferences using CBF.

[CBFを用いたプレイリスト生成処理1]
次に、図22のフローチャートを参照して、サーバ11により実行されるCBFを用いたプレイリスト生成処理の第1の実施の形態について説明する。
[Playlist generation process 1 using CBF]
Next, a first embodiment of a playlist generation process using CBF executed by the server 11 will be described with reference to a flowchart of FIG.

ステップS161において、図21のステップS141の処理と同様に、対象ユーザがチェックインしたセグメントの特徴量が分析される。   In step S161, the feature amount of the segment checked in by the target user is analyzed in the same manner as in step S141 of FIG.

ステップS162において、図21のステップS142の処理と同様に、対象ユーザがチェックインしたセグメントと特徴が類似するセグメントが抽出される。   In step S162, as in the process of step S142 in FIG. 21, a segment whose characteristics are similar to the segment checked in by the target user is extracted.

ステップS163において、図19のステップS123の処理と同様に、抽出したセグメントに基づいてプレイリストが生成される。   In step S163, a playlist is generated based on the extracted segments, as in the process of step S123 of FIG.

ステップS164において、図19のステップS124の処理と同様に、プレイリストが配信される。   In step S164, the playlist is distributed in the same manner as in step S124 of FIG.

ここで、図23を参照して、図22の処理で生成されるプレイリストの具体例について説明する。   Here, with reference to FIG. 23, a specific example of the playlist generated by the processing of FIG. 22 will be described.

例えば、対象ユーザが過去にチェックインしたコンテンツA乃至CのセグメントSa乃至Scの特徴量の分析が行われる。その結果、セグメントSa乃至Scが、全て高音部でコード進行がG7からCに変化している一方、曲の速度については共通する特徴がないことが検出されたものとする。   For example, the feature amount analysis of the segments Sa to Sc of the contents A to C checked in by the target user in the past is performed. As a result, it is assumed that it is detected that the segments Sa to Sc are all high-pitched portions and the chord progression is changed from G7 to C, but there is no common feature regarding the speed of music.

この場合、他のコンテンツを対象に、高音部でコード進行がG7からCに変化しているセグメントの抽出が行われ、抽出したセグメントからなるプレイリストが生成される。   In this case, for other contents, a segment in which the chord progression changes from G7 to C in the treble part is extracted, and a playlist including the extracted segments is generated.

そして、例えば、対象ユーザのクライアント12では、高音部でコード進行がG7からCに変化しているセグメントからなるプレイリスト(チャンネル)を示すボタン301が表示される。対象ユーザは、このボタン301を押下することにより、プレイリストに含まれるセグメントを順次再生させることができる。   Then, for example, on the client 12 of the target user, a button 301 indicating a playlist (channel) composed of segments in which the chord progression changes from G7 to C in the treble portion is displayed. The target user can sequentially play back the segments included in the playlist by pressing this button 301.

このようにして、CBFを用いて、個々のユーザの嗜好に応じた個人化されたセグメント群からなるプレイリストを生成し、配信することができる。   In this way, it is possible to generate and distribute a playlist composed of personalized segment groups according to individual user preferences using CBF.

なお、通常、同じユーザでも、リズム感のある元気な楽曲やゆったりしたバラード調の楽曲など、異なるタイプのコンテンツを好むため、チェックインするセグメントの特徴量は多種多様にわたる。   Usually, even the same user prefers different types of content such as rhythmic and cheerful music or loose ballad-like music, so the feature amount of the segment to be checked in varies widely.

そこで、ステップS161でセグメント分析部61により抽出された特徴量を、特徴量間の類似度等に基づいてクラスタリングし、得られた特徴量のグループ毎に、プレイリストを生成し、配信するようにしてもよい。これにより、互いに特徴が異なる複数のプレイリストを生成し、配信することができる。   Therefore, the feature quantities extracted by the segment analysis unit 61 in step S161 are clustered based on the similarity between the feature quantities, and a playlist is generated and distributed for each group of obtained feature quantities. May be. Thereby, a plurality of playlists having different characteristics can be generated and distributed.

[CBFを用いたプレイリスト生成処理2]
次に、図24のフローチャートを参照して、サーバ11により実行されるCBFを用いたプレイリスト生成処理の第2の実施の形態について説明する。
[Playlist generation process 2 using CBF]
Next, a second embodiment of playlist generation processing using CBF executed by the server 11 will be described with reference to the flowchart of FIG.

ステップS181において、セグメント分析部61は、各ユーザがチェックインしたセグメントの特徴量のうち特徴的なものを抽出する。具体的には、セグメント分析部61は、チェックイン情報DB52から、各ユーザの過去のチェックイン履歴を抽出する。また、セグメント分析部61は、抽出した各ユーザのチェックイン履歴に基づいて、各ユーザがチェックインした各セグメントの特徴量をコンテンツDB51から抽出する。   In step S181, the segment analysis unit 61 extracts characteristic features from the feature amounts of the segments checked in by each user. Specifically, the segment analysis unit 61 extracts the past check-in history of each user from the check-in information DB 52. Further, the segment analysis unit 61 extracts the feature amount of each segment checked in by each user from the content DB 51 based on the extracted check-in history of each user.

さらに、セグメント分析部61は、抽出した全てのセグメントの特徴量の集合において特徴的なもの、例えば、出現頻度が高い特徴量を所定の数だけ抽出する。セグメント分析部61は、抽出した特徴量を推薦部35に通知する。   Furthermore, the segment analysis unit 61 extracts a predetermined number of features that are characteristic in the set of feature amounts of all the extracted segments, for example, feature amounts having a high appearance frequency. The segment analysis unit 61 notifies the recommendation unit 35 of the extracted feature amount.

ステップS182において、セグメント抽出部71は、コンテンツDB51から、セグメント分析部61が抽出した特徴量を有するセグメントを抽出する。   In step S182, the segment extraction unit 71 extracts a segment having the feature amount extracted by the segment analysis unit 61 from the content DB 51.

なお、このとき、過去に1人以上のユーザがチェックインしたセグメントのみを抽出対象にするようにしてもよいし、まだ1人のユーザもチェックインしていないセグメントも抽出対象に含めるようにしてもよい。後者の場合、例えば、リリース直後のコンテンツのセグメントを抽出対象に含めることができる。   At this time, only segments that have been checked in by one or more users in the past may be included in the extraction target, or segments that have not yet been checked in by one user may also be included in the extraction target. Also good. In the latter case, for example, a segment of content immediately after release can be included in the extraction target.

ステップS183において、プレイリスト生成部73は、抽出したセグメントに基づいてプレイリストを生成する。具体的には、プレイリスト生成部73は、セグメント抽出部71が抽出したセグメントを、抽出条件となった特徴量毎に分類する。そして、プレイリスト生成部73は、コンテンツDB51やチェックイン情報DB52等を用いて、分類したグループ毎に、セグメントを所定の順番に配列するとともに、各セグメントに関する情報を一覧にしたプレイリスト情報を生成する。また、プレイリスト生成部73は、各プレイリストに対応する特徴量に基づいて、プレイリストに名称を付与する。   In step S183, the playlist generation unit 73 generates a playlist based on the extracted segments. Specifically, the playlist generation unit 73 classifies the segments extracted by the segment extraction unit 71 for each feature amount that is an extraction condition. Then, the playlist generation unit 73 uses the content DB 51, the check-in information DB 52, and the like to arrange the segments in a predetermined order for each classified group and generate playlist information that lists information on each segment. To do. Further, the playlist generation unit 73 assigns a name to the playlist based on the feature amount corresponding to each playlist.

ステップS184において、図19のステップS124の処理と同様に、プレイリストが配信される。   In step S184, the playlist is distributed in the same manner as in step S124 in FIG.

配信先のクライアント12のUI制御部103は、受信部101を介して、プレイリスト情報を受信する。そして、UI制御部103は、受信したプレイリスト情報に基づいて、プレイリストの一覧を表示部105に表示させる。   The UI control unit 103 of the distribution destination client 12 receives the playlist information via the reception unit 101. Then, the UI control unit 103 causes the display unit 105 to display a list of playlists based on the received playlist information.

図25は、このとき表示されるプレイリストの一覧の例を示している。この例では、ボタン321乃至325が、それぞれ異なるプレイリストに対応付けられ、各ボタンに対応するプレイリストの名称が表示されている。   FIG. 25 shows an example of a list of playlists displayed at this time. In this example, the buttons 321 to 325 are associated with different playlists, and the names of the playlists corresponding to the buttons are displayed.

例えば、ボタン321に対応するプレイリストは、転調Channelの名称が付けられており、コンテンツの転調部分を含むセグメント群からなる。   For example, the playlist corresponding to the button 321 has a modulation channel name, and includes a segment group including a modulation portion of the content.

ボタン322に対応するプレイリストは、クレッシェンドCh.の名称が付けられており、コンテンツの音がだんだん強くなる部分を含むセグメント群からなる。   The playlist corresponding to the button 322 is named Crescendo Ch. And includes a segment group including a portion where the sound of the content becomes stronger.

ボタン323に対応するプレイリストは、打楽器大解放Ch.の名称が付けられており、コンテンツの打楽器の大解放が行われている部分を含むセグメント群からなる。   The playlist corresponding to the button 323 has a name of percussion instrument large release Ch., And includes a segment group including a portion where the content percussion instrument is largely released.

ボタン324に対応するプレイリストは、メロディ上昇Ch.の名称が付けられており、コンテンツのメロディが上昇する部分を含むセグメント群からなる。   The playlist corresponding to the button 324 is named “Melody rise Ch.” And includes a segment group including a portion where the melody of the content rises.

ボタン325に対応するプレイリストは、(歌詞)「二度と会えない」Ch.の名称が付けられており、コンテンツの「二度と会えない」という歌詞を含むセグメント群からなる。   The playlist corresponding to the button 325 is named (Lyrics) “I can't see you again” Ch., And consists of a segment group that includes the lyrics of the content “I can't see you again”.

例えば、ユーザは、ボタン321乃至325のいずれかを選択することにより、選択したボタンに対応するプレイリストを再生させることができる。   For example, the user can reproduce a playlist corresponding to the selected button by selecting any of the buttons 321 to 325.

なお、このとき、特徴量の出現頻度等に基づいて、各プレイリストのランキング付けを行うようにしてもよい。例えば、最も出現頻度の多い特徴量に基づいて生成されたプレイリストを1位とし、以下、対応する特徴量の出現頻度の多い順にプレイリストを並べて、ユーザに提示するようにしてもよい。   At this time, ranking of each playlist may be performed based on the appearance frequency of the feature amount. For example, the playlist generated based on the feature quantity having the highest appearance frequency may be ranked first, and the playlist may be arranged in the order of appearance frequency of the corresponding feature quantity and presented to the user.

このようにして、CBFを用いて、多くのユーザが嗜好する特徴量を有するセグメント群からなるプレイリストを生成し、配信することができる。   In this way, it is possible to generate and distribute a playlist including a group of segments having feature quantities that many users like using CBF.

[セグメントに付与したコメントを用いたセグメント推薦処理]
次に、図26のフローチャートを参照して、サーバ11により実行される、セグメントに付与されたコメント(すなわち、テキストデータ)を用いたセグメント推薦処理について説明する。
[Segment recommendation processing using comments assigned to segments]
Next, with reference to the flowchart of FIG. 26, the segment recommendation process using the comment (that is, text data) given to the segment executed by the server 11 will be described.

ステップS201において、付与情報分析部63は、対象ユーザが付与したコメントを分析する。そして、付与情報分析部63は、分析結果を推薦部35に通知する。   In step S201, the assignment information analysis unit 63 analyzes the comment assigned by the target user. Then, the assigned information analysis unit 63 notifies the recommendation unit 35 of the analysis result.

例えば、付与情報分析部63は、対象ユーザが再生中のコンテンツのセグメントにチェックインし、コメントを付与したとき、そのコメントを分析し、特徴的な語句(例えば、セグメントの特徴を端的に表す語句など)を抽出する。付与情報分析部63は、抽出した語句を推薦部35に通知する。   For example, when the target user checks in a segment of the content being played and adds a comment, the target information analysis unit 63 analyzes the comment, and analyzes a characteristic word (for example, a word or phrase that directly represents the feature of the segment). Etc.). The assignment information analysis unit 63 notifies the recommendation unit 35 of the extracted word / phrase.

あるいは、例えば、付与情報分析部63は、チェックイン情報DB52から、対象ユーザが過去にセグメントに付与したコメントを抽出する。そして、付与情報分析部63は、抽出したコメントを分析し、特徴的な語句(例えば、出現頻度が最も多い語句など)を抽出する。付与情報分析部63は、抽出した語句を推薦部35に通知する。   Alternatively, for example, the assignment information analysis unit 63 extracts, from the check-in information DB 52, comments previously assigned to the segment by the target user. Then, the assigned information analysis unit 63 analyzes the extracted comments and extracts characteristic words (for example, words having the highest appearance frequency). The assignment information analysis unit 63 notifies the recommendation unit 35 of the extracted word / phrase.

ステップS202において、セグメント抽出部71は、付与情報分析部63による分析結果に基づいて、対象ユーザが付与したコメントと類似するコメントが付与されているセグメントを抽出する。   In step S202, the segment extraction unit 71 extracts a segment to which a comment similar to the comment provided by the target user is assigned based on the analysis result by the assignment information analysis unit 63.

例えば、セグメント抽出部71は、チェックイン情報DB52から、分析部32により抽出された語句を含むコメントが付与されているセグメントを抽出する。このとき、例えば、類義語辞書54を用いて、抽出された語句と類似する語句を含むコメントが付与されているセグメントまで抽出範囲を広げるようにしてもよい。   For example, the segment extraction unit 71 extracts a segment to which a comment including the phrase extracted by the analysis unit 32 is given from the check-in information DB 52. At this time, for example, the synonym dictionary 54 may be used to extend the extraction range to a segment to which a comment including a phrase similar to the extracted phrase is given.

ステップS203において、図18のステップS103の処理と同様に、抽出したセグメントが推薦される。   In step S203, the extracted segment is recommended as in the process of step S103 of FIG.

このようにして、対象ユーザが付与したコメントと類似するコメントが他のユーザから付与されているセグメントを、対象ユーザに推薦することができる。これにより、例えば、対象ユーザがあるセグメントに与えた評価や感想と同様の評価や感想が与えられている他のセグメントを、対象ユーザに推薦することができる。   In this manner, a segment to which a comment similar to the comment given by the target user is given by another user can be recommended to the target user. Thereby, for example, the other segment to which evaluation and impression similar to the evaluation and impression given to a certain segment are given can be recommended to the target user.

[セグメントに付与されたコメントを用いたプレイリスト生成処理1]
次に、図27のフローチャートを参照して、サーバ11により実行される、セグメントに付与されたコメントを用いたプレイリスト生成処理の第1の実施の形態について説明する。
[Playlist generation process 1 using comments assigned to segments]
Next, with reference to the flowchart of FIG. 27, a description will be given of a first embodiment of a playlist generation process that is executed by the server 11 and uses a comment given to a segment.

ステップS221において、図26のステップS201の処理と同様に、対象ユーザが付与したコメントが分析される。   In step S221, the comment given by the target user is analyzed in the same manner as in step S201 of FIG.

ステップS222において、図26のステップS202の処理と同様に、対象ユーザが付与したコメントと類似するコメントが付与されているセグメントが抽出される。   In step S222, as in the process of step S202 of FIG. 26, a segment to which a comment similar to the comment given by the target user is given is extracted.

ステップS223において、図19のステップS123の処理と同様に、抽出したセグメントに基づいてプレイリストが生成される。   In step S223, a playlist is generated based on the extracted segments, similar to the process in step S123 of FIG.

ステップS224において、図19のステップS124の処理と同様に、プレイリストが配信される。   In step S224, the playlist is distributed in the same manner as in step S124 of FIG.

なお、このとき対象ユーザのコメントから抽出された語句を用いて、プレイリストの名称を付けるようにしてもよい。例えば、「さわやか」という語句が抽出されている場合、「さわやかチャンネル」といったようなプレイリスト名を付与するようにしてもよい。   At this time, the name of the playlist may be given using a word extracted from the comment of the target user. For example, when the phrase “Sawayaka” is extracted, a playlist name such as “Sawayaka Channel” may be given.

また、例えば、ステップS222の処理で抽出されたセグメントを、さらにセグメントの特徴量に基づいて分類し、特徴量が類似するセグメント毎に複数のプレイリストを生成するようにしてもよい。さらに、この場合、例えば、対象ユーザのコメントから抽出された語句と特徴量とを組み合わせて、プレイリストの名称を付けるようにしてもよい。例えば、「さわやか」という語句を用いて抽出されたセグメントを楽曲のスピードに基づいて分類してプレイリストを生成した場合、「さわやか&遅いチャンネル」「さわやか&速いチャンネル」等のプレイリスト名を付与するようにしてもよい。   Further, for example, the segments extracted in the process of step S222 may be further classified based on the segment feature amount, and a plurality of playlists may be generated for each segment having a similar feature amount. Furthermore, in this case, for example, the name of the playlist may be given by combining the phrase extracted from the comment of the target user and the feature amount. For example, when a playlist is created by classifying segments extracted using the phrase “sawayaka” based on the speed of the song, a playlist name such as “fresh & slow channel” or “fresh & fast channel” is given. You may make it do.

このようにして、対象ユーザが付与したコメントと類似するコメントが他のユーザから付与されているセグメント群からなるプレイリストを生成し、提示することができる。   In this way, it is possible to generate and present a playlist including a segment group to which comments similar to the comments given by the target user are given by other users.

[セグメントに付与されたコメントを用いたプレイリスト生成処理2]
次に、図28のフローチャートを参照して、サーバ11により実行される、セグメントに付与されたコメントを用いたプレイリスト生成処理の第2の実施の形態について説明する。
[Playlist generation process 2 using comments assigned to segments]
Next, with reference to the flowchart of FIG. 28, the second embodiment of the playlist generation process using the comments given to the segments executed by the server 11 will be described.

ステップS241において、コメントラベル判別部33は、付与されているコメントに基づいて、各セグメントにコメントラベルを付与する。具体的には、コメントラベル判別部33は、チェックイン情報DB52から、コメントが付与されているセグメントを抽出する。そして、コメントラベル判別部33は、抽出したセグメント、コメントを付与したユーザ、および、付与されているコメントの関係を示すテーブル(以下、コメントテーブルと称する)を生成する。   In step S241, the comment label determination unit 33 assigns a comment label to each segment based on the assigned comment. Specifically, the comment label determination unit 33 extracts a segment to which a comment is given from the check-in information DB 52. And the comment label discrimination | determination part 33 produces | generates the table (henceforth a comment table) which shows the relationship between the extracted segment, the user who provided the comment, and the provided comment.

図29は、コメントテーブルの例を示している。この例では、セグメントS1乃至S3に対して、ユーザU1乃至U3からコメントが付与されていることが示されている。例えば、セグメントS1に対して、ユーザU1により「この曲かっこいい!」というコメントが付与されていることが示されている。   FIG. 29 shows an example of a comment table. In this example, it is shown that comments are given from the users U1 to U3 to the segments S1 to S3. For example, it is shown that the comment “This song is cool!” Is given to the segment S1 by the user U1.

次に、コメントラベル判別部33は、ラベルDB55に格納されているラベルの中から、各セグメントに付与されているコメントに最も適合するラベルを選択する。そして、コメントラベル判別部33は、コメントテーブルの各コメントを、選択したラベル(コメントラベル)に置き換える。   Next, the comment label discriminating unit 33 selects a label that best matches the comment assigned to each segment from the labels stored in the label DB 55. Then, the comment label determination unit 33 replaces each comment in the comment table with the selected label (comment label).

図30は、図29のコメントテーブルのコメントをコメントラベルに置き換えた後の例を示している。例えば、ユーザU1がセグメントS1に付与した「この曲かっこいい!」というコメントが、”かっこいい”というコメントラベルに置き換えられている。また、例えば、ユーザU3がセグメントS3に付与した「coolだ・・・」というコメントも同様に、”かっこいい”というコメントラベルに置き換えられている。   FIG. 30 shows an example after the comments in the comment table of FIG. 29 are replaced with comment labels. For example, the comment “This song is cool!” Given to the segment S1 by the user U1 is replaced with a comment label “cool”. For example, the comment “cool is ...” given to the segment S3 by the user U3 is also replaced with a comment label “cool”.

コメントを自由に入力できる場合、各ユーザが同じような主観をセグメントに持ったとしても、付与するコメントの表現はそれぞれ異なる。そこで、コメントラベル判別器33によりコメントをコメントラベルに置き換えることにより、コメントの表現は異なるが、互いに類似するユーザの主観を集約することができる。   When comments can be freely input, even if each user has the same subjectivity in the segment, the expression of the comment to be given is different. Therefore, by replacing the comment with the comment label by the comment label discriminator 33, although the expression of the comment is different, the subjectivity of users who are similar to each other can be collected.

なお、同じセグメントに対して各ユーザが自由に異なるコメントを付与することができるため、図30のセグメントS1のように、同じセグメントに対して異なるコメントラベルが付与される場合がある。   In addition, since each user can give a different comment freely with respect to the same segment, a different comment label may be provided with respect to the same segment like segment S1 of FIG.

そして、コメントラベル判別部33は、コメントをコメントラベルに置き換えた後のコメントテーブルを推薦部35に供給する。   Then, the comment label determination unit 33 supplies the comment table after the comment is replaced with the comment label to the recommendation unit 35.

ステップS242において、特徴量ラベル判別部34は、特徴量に基づいて、各セグメントに特徴量ラベルを付与する。具体的には、特徴量ラベル判別部34は、コンテンツDB51およびチェックイン情報DB52を用いて、各セグメントと特徴量の関係を示すテーブル(以下、特徴量テーブルと称する)を生成する。   In step S242, the feature amount label determination unit 34 assigns a feature amount label to each segment based on the feature amount. Specifically, the feature quantity label discriminating unit 34 uses the content DB 51 and the check-in information DB 52 to generate a table indicating the relationship between each segment and the feature quantity (hereinafter referred to as a feature quantity table).

図31は、特徴量テーブルの例を示している。なお、図31では、セグメントS1乃至S5から特徴量1乃至3が抽出されている例を示している。   FIG. 31 shows an example of the feature amount table. FIG. 31 shows an example in which feature amounts 1 to 3 are extracted from the segments S1 to S5.

次に、特徴量ラベル判別部34は、ラベルDB55に格納されているラベルの中から、各セグメントの特徴量に最も適合するラベルを選択する。そして、特徴量ラベル判別部34は、特徴量テーブルの特徴量を、選択したラベル(特徴量ラベル)に置き換える。   Next, the feature amount label discriminating unit 34 selects a label that best matches the feature amount of each segment from the labels stored in the label DB 55. Then, the feature quantity label determination unit 34 replaces the feature quantity in the feature quantity table with the selected label (feature quantity label).

図32は、図31の特徴量テーブルの特徴量を特徴量ラベルに置き換えた後の例を示している。例えば、セグメントS1の特徴量が、”かっこいい”という特徴量ラベルに置き換えられている。   FIG. 32 shows an example after the feature quantity in the feature quantity table of FIG. 31 is replaced with a feature quantity label. For example, the feature amount of the segment S1 is replaced with a feature amount label “cool”.

このように、特徴量ラベルは、コメントラベルと同様にラベルDB55を用いて、同じ種類のラベルの候補の中から選択され、各セグメントに付与される。ただし、同じセグメントに付与されるコメントラベルと特徴量ラベルとが、必ずしも一致するとは限らない。   In this way, the feature amount label is selected from the same type of label candidates using the label DB 55 as in the case of the comment label, and is given to each segment. However, the comment label and the feature amount label given to the same segment do not always match.

そして、特徴量ラベル判別部34は、特徴量を特徴量ラベルに置き換えた後の特徴量テーブルを推薦部35に供給する。   Then, the feature amount label determination unit 34 supplies the feature amount table after the feature amount is replaced with the feature amount label to the recommendation unit 35.

ステップS243において、セグメント抽出部71は、対象ユーザが付与したコメントに対応するコメントラベルに基づいて、セグメントを抽出する。   In step S243, the segment extraction unit 71 extracts a segment based on the comment label corresponding to the comment given by the target user.

ここで、図29乃至図32の例を用いて、ユーザU1がセグメントS1に対して付与した「この曲かっこいい!」というコメントに対応するコメントラベル”かっこいい”に基づいて、セグメントを抽出する場合について説明する。   Here, a case where a segment is extracted based on the comment label “cool” corresponding to the comment “this song is cool!” Given to the segment S1 by the user U1 using the example of FIGS. explain.

まず、セグメント抽出部71は、コメントテーブルおよび特徴量テーブルの中から、”かっこいい”というコメントラベルまたは特徴量ラベルが付与されているセグメントを抽出する。その結果、コメントテーブルからセグメントS3が抽出され、特徴量テーブルからセグメントS4,S5が抽出される。   First, the segment extraction unit 71 extracts a segment to which a comment label or feature amount label “cool” is attached from the comment table and the feature amount table. As a result, the segment S3 is extracted from the comment table, and the segments S4 and S5 are extracted from the feature amount table.

さらに、セグメント抽出部71は、抽出したセグメントの中からセグメントS1と類似するセグメント(例えば、セグメントS1との特徴量の類似度が所定の値以上のセグメント)を抽出する。   Further, the segment extraction unit 71 extracts a segment similar to the segment S1 from the extracted segments (for example, a segment whose feature amount similarity with the segment S1 is a predetermined value or more).

ステップS244において、図19のステップS123の処理と同様に、抽出したセグメントに基づいてプレイリストが生成される。   In step S244, a playlist is generated based on the extracted segments, similar to the process in step S123 of FIG.

ステップS245において、図19のステップS124の処理と同様に、プレイリストが配信される。   In step S245, the playlist is distributed in the same manner as in step S124 in FIG.

このようにして、対象ユーザが付与したコメントに基づいて、付与したコメントと類似するコメントが付与されているセグメント、および、付与したコメントにより表される特徴を有するセグメント群からなるプレイリストを生成し、配信することができる。   In this way, based on the comment given by the target user, a playlist is created that includes a segment to which a comment similar to the given comment is given, and a segment group having the characteristics represented by the given comment. Can be delivered.

なお、クライアント12においてプレイリストを提示する際に、コメントラベルに基づいて抽出されたセグメントについては、例えば、元のコメントとコメントを付与したユーザの情報もあわせて提示するようにしてもよい。   When the playlist is presented by the client 12, the segment extracted based on the comment label may be presented together with, for example, the original comment and the information of the user who added the comment.

また、例えば、コメントラベルに基づいてセグメントを抽出する際に、対象ユーザと類似するユーザが付与したコメントに対応するコメントラベルのみを用いるようにしてもよい。ここで、類似するユーザとは、例えば、セグメントの評価傾向、コメントの付与傾向、セグメントの再生履歴等が対象ユーザと類似するユーザのことである。   For example, when extracting a segment based on a comment label, only a comment label corresponding to a comment given by a user similar to the target user may be used. Here, a similar user is a user whose segment evaluation tendency, comment application tendency, segment reproduction history, and the like are similar to the target user, for example.

[ランキングによるセグメント推薦処理]
次に、図33のフローチャートを参照して、サーバ11により実行される、ランキングに基づくセグメント推薦処理について説明する。
[Segment recommendation by ranking]
Next, segment recommendation processing based on ranking executed by the server 11 will be described with reference to the flowchart of FIG.

ステップS261において、統計分析部65は、チェックイン情報DB52を用いて、チェックインされたセグメントの統計をとる。   In step S261, the statistical analysis unit 65 uses the check-in information DB 52 to take statistics of the checked-in segment.

ステップS262において、統計分析部65は、統計結果に基づいて、セグメントのランキングを生成する。すなわち、統計分析部65は、チェックインしたユーザが多い順にセグメントを並べることにより、セグメントのランキング付けを行う。   In step S262, the statistical analysis unit 65 generates a segment ranking based on the statistical result. In other words, the statistical analysis unit 65 ranks the segments by arranging the segments in the descending order of the number of checked-in users.

このとき、例えば、セグメントが属するコンテンツのジャンル別にランキング付けを行うようにしてもよい。   At this time, for example, ranking may be performed according to the genre of the content to which the segment belongs.

あるいは、例えば、コンテクスト別にランキング付けを行うようにしてもよい。例えば、チェックインが行われた場所や地域別にランキング付けを行ったり、チェックインが行われた時間帯別にランキング付けを行うようにしてもよい。   Alternatively, for example, ranking may be performed for each context. For example, the ranking may be performed according to the place or area where the check-in is performed, or may be performed according to the time zone when the check-in is performed.

また、例えば、チェックインしたユーザの地域別、年代別、または、国籍別にランキング付けを行うようにしてもよい。   Further, for example, ranking may be performed by region, age, or nationality of the user who checked in.

そして、統計分析部65は、生成したランキングを示す情報を推薦部35に供給する。   Then, the statistical analysis unit 65 supplies information indicating the generated ranking to the recommendation unit 35.

ステップS263において、セグメント推薦部72は、ランキングを配信する。具体的には、セグメント推薦部72は、コンテンツDB51やチェックイン情報DB52等を用いて、統計分析部65により生成されたランキングの上位のセグメントに関する情報を含むランキング情報を生成する。セグメント推薦部72は、生成したランキング情報を、送信部38およびネットワーク13を介して、クライアント12に送信する。   In step S263, the segment recommendation unit 72 distributes the ranking. Specifically, the segment recommendation unit 72 uses the content DB 51, the check-in information DB 52, and the like to generate ranking information that includes information related to higher-ranked segments generated by the statistical analysis unit 65. The segment recommendation unit 72 transmits the generated ranking information to the client 12 via the transmission unit 38 and the network 13.

配信先のクライアント12のUI制御部103は、受信部101を介して、ランキング情報を受信する。そして、UI制御部103は、ランキング情報を表示部105に表示させる。   The UI control unit 103 of the distribution destination client 12 receives the ranking information via the reception unit 101. Then, the UI control unit 103 causes the display unit 105 to display ranking information.

このようにして、チェックインしたユーザが多い人気のセグメントをユーザに推薦することができる。   In this way, popular segments with many users who have checked in can be recommended to users.

[スライドショーに関する処理]
次に、図34乃至図36を参照して、サーバ11により実行されるスライドショーに関する処理について説明する。
[Slide show processing]
Next, with reference to FIG. 34 to FIG. 36, processing related to a slide show executed by the server 11 will be described.

[セグメントと画像の相関関係の学習処理]
まず、図34のフローチャートを参照して、セグメントと画像の相関関係の学習処理について説明する。
[Learn the correlation between segments and images]
First, the learning process of the correlation between the segment and the image will be described with reference to the flowchart of FIG.

ステップS281において、セグメント分析部61は、画像が付与されているセグメントの特徴量を分析する。具体的には、セグメント分析部61は、チェックイン情報DB52から、画像が付与されているセグメントを抽出する。そして、セグメント分析部61は、コンテンツDB51を用いて、抽出した各セグメントの特徴量を分析する。   In step S281, the segment analysis unit 61 analyzes the feature amount of the segment to which the image is added. Specifically, the segment analysis unit 61 extracts a segment to which an image is assigned from the check-in information DB 52. Then, the segment analysis unit 61 analyzes the extracted feature quantity of each segment using the content DB 51.

ここで、分析する特徴量の種類や数は、任意に設定することができる。   Here, the type and number of feature quantities to be analyzed can be arbitrarily set.

ステップS282において、付与情報分析部63は、セグメントに付与されている画像の特徴量を分析する。具体的には、付与情報分析部63は、チェックイン情報DB52から、ステップS281において抽出されたセグメントに付与されている画像を抽出し、抽出した各画像の特徴量を分析する。   In step S282, the assignment information analysis unit 63 analyzes the feature amount of the image assigned to the segment. Specifically, the assignment information analysis unit 63 extracts the image attached to the segment extracted in step S281 from the check-in information DB 52, and analyzes the feature amount of each extracted image.

ここで、分析する特徴量の種類や数は、任意に設定することができる。例えば、画像の色、テクスチャーなどの低レベルの特徴量を分析したり、物体認識などを用いて、画像内の物体やその特徴量などの高レベルの特徴量を分析したりすることが可能である。   Here, the type and number of feature quantities to be analyzed can be arbitrarily set. For example, it is possible to analyze low-level feature quantities such as image colors and textures, and to analyze high-level feature quantities such as objects in the image and their feature quantities using object recognition. is there.

ステップS283において、相関分析部64は、セグメントと付与されている画像の特徴量の相関関係を分析する。すなわち、相関分析部64は、セグメント分析部61および付与情報分析部63の分析結果に基づいて、画像が付与されているセグメントの特徴量と付与されている画像の特徴量との相関関係を分析する。そして、相関分析部64は、得られた分析結果を記憶装置56に記憶させる。   In step S283, the correlation analysis unit 64 analyzes the correlation between the segment and the feature amount of the attached image. That is, the correlation analysis unit 64 analyzes the correlation between the feature amount of the segment to which the image is assigned and the feature amount of the assigned image, based on the analysis results of the segment analysis unit 61 and the assigned information analysis unit 63. To do. Then, the correlation analysis unit 64 stores the obtained analysis result in the storage device 56.

[スライドショー生成処理の第1の実施の形態]
次に、図35のフローチャートを参照して、サーバ11により実行されるスライドショー生成処理の第1の実施の形態について説明する。なお、この処理では、指定されたコンテンツ(楽曲)に画像を割り当てることによりスライドショーが生成される。すなわち、指定されたコンテンツの再生に合わせて画像を順次切り替えるスライドショーが生成される。
[First embodiment of slide show generation processing]
Next, a first embodiment of the slide show generation process executed by the server 11 will be described with reference to the flowchart of FIG. In this process, a slide show is generated by assigning images to designated content (music). That is, a slide show is generated in which images are sequentially switched in accordance with reproduction of designated content.

ステップS301において、サーバ11は、スライドショーに用いるコンテンツの特徴量をセグメント単位で分析する。   In step S301, the server 11 analyzes the feature amount of the content used for the slide show in units of segments.

例えば、クライアント12は、スライドショーの生成対象となるコンテンツ、および、スライドショーに用いる画像の候補を示す情報を、ネットワーク13を介してサーバ11に送信し、スライドショーの配信を要求する。   For example, the client 12 transmits information indicating content to be generated for the slide show and information indicating image candidates used for the slide show to the server 11 via the network 13 and requests distribution of the slide show.

配信部37は、受信部39を介してクライアント12から送信された情報を受信し、受信した情報をスライドショー生成部36に供給し、スライドショーの生成を指令する。スライドショー生成部36は、スライドショーに用いるコンテンツの特徴量の分析をセグメント分析部61に指令する。   The distribution unit 37 receives information transmitted from the client 12 via the reception unit 39, supplies the received information to the slide show generation unit 36, and instructs the generation of the slide show. The slide show generation unit 36 instructs the segment analysis unit 61 to analyze the feature amount of the content used for the slide show.

セグメント分析部61は、スライドショーに用いるコンテンツデータをコンテンツDB51から取得し、所定の単位(例えば、小節単位、楽曲構造単位等)のセグメントに分解する。そして、セグメント分析部61は、各セグメントの特徴量を分析し、分析結果をスライドショー生成部36に通知する。   The segment analysis unit 61 acquires content data used for the slide show from the content DB 51 and breaks it down into segments of a predetermined unit (for example, a measure unit, a music structure unit, etc.). Then, the segment analysis unit 61 analyzes the feature amount of each segment, and notifies the slide show generation unit 36 of the analysis result.

ステップS302において、サーバ11は、スライドショーに用いる画像の候補の特徴量を分析する。具体的には、スライドショー生成部36は、スライドショーに用いる画像の候補の特徴量の分析を付与情報分析部63に指令する。付与情報分析部63は、スライドショーに用いる画像の候補を、チェックイン情報DB52や記憶装置56から読み出し、各画像の特徴量を分析する。そして、付与情報分析部63は、分析結果をスライドショー生成部36に通知する。   In step S <b> 302, the server 11 analyzes feature amounts of image candidates used for the slide show. Specifically, the slide show generation unit 36 instructs the attached information analysis unit 63 to analyze the feature amount of the image candidates used for the slide show. The assigned information analysis unit 63 reads out image candidates used for the slide show from the check-in information DB 52 and the storage device 56, and analyzes the feature amount of each image. Then, the assignment information analysis unit 63 notifies the slide show generation unit 36 of the analysis result.

ステップS303において、スライドショー生成部36は、各セグメントに組み合わせる画像を選択する。具体的には、スライドショー生成部36は、セグメントと画像の特徴量の相関関係の分析結果を記憶装置56から読み出す。   In step S303, the slide show generating unit 36 selects an image to be combined with each segment. Specifically, the slide show generation unit 36 reads the analysis result of the correlation between the segment and the image feature amount from the storage device 56.

スライドショー生成部36は、取得した分析結果に基づいて、スライドショー用の画像の候補の中から、スライドショーに使用するコンテンツの各セグメントの再生中に表示する画像を選択する。例えば、スライドショー生成部36は、スライドショーに使用するコンテンツの各セグメントに対して、スライドショー用の画像の候補の中から最も相関が高い画像を選択する。   Based on the acquired analysis result, the slide show generation unit 36 selects an image to be displayed during playback of each segment of content used for the slide show, from slide show image candidates. For example, the slide show generation unit 36 selects an image having the highest correlation from slide show image candidates for each segment of content used for the slide show.

ステップS304において、スライドショー生成部36は、スライドショーを生成する。具体的には、スライドショー生成部36は、各セグメントの順番および再生時間に基づいて、各セグメントと組み合わせる画像の再生順および再生時間を設定する。そして、スライドショー生成部36は、スライドショーに用いるコンテンツデータおよび画像、並びに、各画像の再生順と再生時間を示す情報を含むスライドショーデータを生成する。スライドショー生成部36は、生成したスライドショーデータを配信部37に供給する。   In step S304, the slide show generator 36 generates a slide show. Specifically, the slide show generating unit 36 sets the playback order and playback time of images combined with each segment based on the order and playback time of each segment. Then, the slide show generating unit 36 generates slide show data including content data and images used for the slide show and information indicating the playback order and playback time of each image. The slide show generation unit 36 supplies the generated slide show data to the distribution unit 37.

ステップS305において、配信部37は、スライドショーを配信する。すなわち、配信部37は、送信部38およびネットワーク13を介して、スライドショーデータを要求元のクライアント12に送信する。   In step S305, the distribution unit 37 distributes the slide show. That is, the distribution unit 37 transmits the slide show data to the requesting client 12 via the transmission unit 38 and the network 13.

要求元のクライアント12の受信部101は、スライドショーデータを受信し、受信したスライドショーデータに含まれるコンテンツデータを再生部104に供給し、残りをUI制御部103に供給する。   The receiving unit 101 of the requesting client 12 receives the slide show data, supplies the content data included in the received slide show data to the reproducing unit 104, and supplies the rest to the UI control unit 103.

再生部104は、コンテンツデータの再生を開始し、その結果得られる音声を音声出力部106から出力させる。また、UI制御部103は、コンテンツ内の各セグメントの再生に同期して、スライドショーデータに含まれる各画像を表示部105に表示させる。   The playback unit 104 starts playback of the content data and causes the audio output unit 106 to output the resulting audio. Also, the UI control unit 103 causes the display unit 105 to display each image included in the slide show data in synchronization with the reproduction of each segment in the content.

なお、スライドショーの再生をすぐに行わずに、受信したスライドショーデータを記憶部102に記憶させるようにしてもよい。   The received slide show data may be stored in the storage unit 102 without immediately reproducing the slide show.

このようにして、コンテンツの再生に合わせて、コンテンツ内の各セグメントに適した画像を順次表示することができる。これにより、例えば、ユーザは、コンテンツ(楽曲)を聴きながら、コンテンツの各セグメントに合った風景写真等を見て楽しむことができる。   In this way, it is possible to sequentially display images suitable for each segment in the content in accordance with the reproduction of the content. Thereby, for example, the user can enjoy watching a landscape photograph suitable for each segment of the content while listening to the content (music).

なお、各セグメントの時間が短い場合、画像が頻繁に切り替わり、ユーザに違和感や不快感を与えることが想定される。これを防止するために、例えば、隣接するセグメント間の特徴量の類似度を計算し、類似度が所定の閾値を超えるセグメントを1つにまとめるようにしてもよい。   In addition, when the time of each segment is short, it is assumed that an image switches frequently and gives a user discomfort and discomfort. In order to prevent this, for example, the similarity of feature amounts between adjacent segments may be calculated, and the segments whose similarity exceeds a predetermined threshold may be combined into one.

また、例えば、スライドショーに使用するコンテンツや画像の候補が予め決まっているとき、それらの特徴量を先に分析しておき、ステップS301およびS302の処理を省略するようにすることも可能である。あるいは、図34のステップS281およびS282の分析結果を用いるようにすることも可能である。これにより、スライドショーをより迅速に配信することができ、ユーザの利便性が向上する。   Further, for example, when content and image candidates to be used in the slide show are determined in advance, it is possible to analyze those feature amounts in advance and to omit the processing in steps S301 and S302. Alternatively, it is possible to use the analysis results of steps S281 and S282 in FIG. As a result, the slide show can be distributed more quickly, and the convenience for the user is improved.

[スライドショー生成処理の第2の実施の形態]
次に、図36のフローチャートを参照して、サーバ11により実行されるスライドショー生成処理の第2の実施の形態について説明する。なお、この処理では、複数の画像からなるグループの各画像にコンテンツのセグメントを割り当てることによりスライドショーが生成される。すなわち、複数の画像をBGMとともに順次再生するスライドショーが生成される。
[Second embodiment of slide show generation processing]
Next, a second embodiment of the slide show generation process executed by the server 11 will be described with reference to the flowchart of FIG. In this process, a slide show is generated by assigning a content segment to each image of a group of a plurality of images. That is, a slide show that sequentially reproduces a plurality of images together with BGM is generated.

ステップS321において、サーバ11は、スライドショーに用いる各画像の特徴量を分析する。   In step S321, the server 11 analyzes the feature amount of each image used for the slide show.

例えば、クライアント12は、スライドショーの生成対象となる複数の画像および表示順、並びに、スライドショーに用いるコンテンツの候補を示す情報を、ネットワーク13を介してサーバ11に送信し、スライドショーの配信を要求する。このとき、クライアント12は、各画像の表示時間を指定することも可能である。   For example, the client 12 transmits information indicating a plurality of images to be generated for the slide show, a display order, and content candidates used for the slide show to the server 11 via the network 13 and requests distribution of the slide show. At this time, the client 12 can also specify the display time of each image.

配信部37は、受信部39を介してクライアント12から送信された情報を受信し、受信した情報をスライドショー生成部36に供給する。そして、スライドショー生成部36は、スライドショーに用いる各画像の特徴量の分析を付与情報分析部63に指令する。   The distribution unit 37 receives information transmitted from the client 12 via the reception unit 39 and supplies the received information to the slide show generation unit 36. Then, the slide show generation unit 36 instructs the assigned information analysis unit 63 to analyze the feature amount of each image used in the slide show.

付与情報分析部63は、スライドショーに用いる各画像の特徴量を分析し、分析結果をスライドショー生成部36に通知する。   The assigned information analysis unit 63 analyzes the feature amount of each image used for the slide show, and notifies the slide show generation unit 36 of the analysis result.

ステップS322において、図35のステップS301の処理と同様にして、スライドショーに用いるコンテンツの候補の特徴量がセグメント単位で分析される。そして、分析結果が、セグメント分析部61からスライドショー生成部36に通知される。   In step S322, similar to the processing in step S301 in FIG. 35, the feature quantities of content candidates used in the slide show are analyzed in units of segments. Then, the analysis result is notified from the segment analysis unit 61 to the slide show generation unit 36.

ステップS323において、スライドショー生成部36は、各画像に組み合わせるセグメントを選択する。具体的には、スライドショー生成部36は、セグメントと画像の特徴量の相関関係の分析結果を記憶装置56から読み出す。   In step S323, the slide show generating unit 36 selects a segment to be combined with each image. Specifically, the slide show generation unit 36 reads the analysis result of the correlation between the segment and the image feature amount from the storage device 56.

スライドショー生成部36は、取得した分析結果に基づいて、スライドショー用のコンテンツの候補の各セグメントの中から、スライドショーに使用する各画像の表示中に再生するセグメントを選択する。例えば、スライドショー生成部36は、スライドショーに使用する各画像に対して、スライドショー用のコンテンツの候補の各セグメントの中から最も相関が高いセグメントを選択する。   The slide show generation unit 36 selects a segment to be reproduced during display of each image used for the slide show, from each segment of the slide show content candidates based on the acquired analysis result. For example, the slide show generation unit 36 selects a segment having the highest correlation from the respective segments of content candidates for the slide show for each image used for the slide show.

なお、画像の切り替わり時にコンテンツの雰囲気が大きく変化し、ユーザに違和感や不快感を与えることを防止するために、例えば、対象となる画像だけでなく隣接する画像とも相関が高いセグメントを選択するようにしてもよい。   In order to prevent the atmosphere of the content from changing greatly when the images are switched and causing the user to feel uncomfortable or uncomfortable, for example, select a segment having a high correlation with not only the target image but also the adjacent image. It may be.

また、BGMの雰囲気を一貫させたい場合、例えば、セグメント単位ではなく、全ての画像と相関が高いコンテンツを1つ選択するようにしてもよい。   Further, when it is desired to make the BGM atmosphere consistent, for example, one content having a high correlation with all images may be selected instead of the segment unit.

さらに、例えば、各画像の表示時間が指定されており、表示時間が長いため1つの画像に対して複数のセグメントが割り当てられる場合、途中でBGMの雰囲気が変わらないように、特徴量が類似する複数のセグメントを選択して、割り当てるようにしてもよい。   Further, for example, when the display time of each image is specified and the display time is long, when a plurality of segments are assigned to one image, the feature amounts are similar so that the BGM atmosphere does not change in the middle. A plurality of segments may be selected and assigned.

ステップS324において、スライドショー生成部36は、スライドショーを生成する。具体的には、スライドショー生成部36は、各画像の表示時間が指定されていない場合、各画像に割り当てられているセグメントの再生時間を各画像の表示時間に設定する。   In step S324, the slide show generator 36 generates a slide show. Specifically, when the display time of each image is not designated, the slide show generating unit 36 sets the playback time of the segment assigned to each image as the display time of each image.

そして、スライドショー生成部36は、スライドショーに用いる画像およびセグメント、各画像の再生順と表示時間、並びに、各セグメントの再生順を示す情報を含むスライドショーデータを生成する。スライドショー生成部36は、生成したスライドショーデータを配信部37に供給する。   Then, the slide show generating unit 36 generates slide show data including information indicating the images and segments used in the slide show, the playback order and display time of each image, and the playback order of each segment. The slide show generation unit 36 supplies the generated slide show data to the distribution unit 37.

ステップS325において、図35のステップS305の処理と同様に、スライドショーが配信される。そして、要求元のクライアント12は、例えば、スライドショーを再生したり、スライドショーデータを記憶したりする。   In step S325, a slide show is distributed in the same manner as in step S305 in FIG. Then, the requesting client 12 reproduces a slide show or stores slide show data, for example.

なお、スライドショーの再生時に、各セグメントが自然につながって聞こえるように、セグメントの切り替え時にフェードイン、フェードアウト、クロスフェード等を行うようにしてもよい。   It should be noted that fade-in, fade-out, cross-fade, etc. may be performed at the time of segment switching so that each segment can be heard naturally when a slide show is played.

このようにして、画像の表示に合わせて、各画像に適したセグメントを順次再生することができる。これにより、例えば、旅行等で撮影した写真を用いてスライドショーを作成したり、撮りためた写真をデジタルフォトフレームなどで順次再生したりする場合に、簡単に各々の写真の雰囲気にあったBGMをつけることができる。   In this way, segments suitable for each image can be sequentially reproduced in accordance with the display of the image. Thus, for example, when a slide show is created using photos taken during a trip, or when the taken photos are sequentially played back with a digital photo frame or the like, a BGM that matches the atmosphere of each photo can be easily obtained. You can turn it on.

なお、同様の処理により、動画にBGMをつけることができる。例えば、いくつかの動画のシーン毎の特徴量とコンテンツのセグメントの特徴量との相関関係を分析しておく。そして、BGMを付与する動画のシーンの切り替わりを手動または自動で設定し、上述した処理と同様にして、シーン毎にセグメントを割り当てることが可能である。   Note that BGM can be added to the moving image by the same processing. For example, the correlation between the feature amount of each scene of several moving images and the feature amount of the content segment is analyzed. Then, it is possible to set the switching of the scene of the moving image to which the BGM is added manually or automatically, and assign a segment for each scene in the same manner as the above-described processing.

以上のようにして、ユーザは、コンテンツの任意のセグメントにチェックインし、チェックインしたセグメントに対して、コメント、ファイル等の情報を付与することができる。   As described above, the user can check in an arbitrary segment of the content and give information such as a comment and a file to the checked-in segment.

また、ユーザの各セグメントに対する嗜好に基づいて、セグメント単位でコンテンツを推薦したり、プレイリストやスライドショーを配信したりすることができる。従って、ユーザは、例えば、未知のタイプのコンテンツや嫌いなタイプのコンテンツの中から、好みのセグメントを発見することできる。また、ユーザは、例えば、同じコンテンツ内の異なるセグメント間の印象の違いや、同一ジャンルのコンテンツのセグメント間の特徴の差などを楽しむことができる。   Further, based on the user's preference for each segment, it is possible to recommend content in units of segments, and to distribute playlists and slide shows. Accordingly, the user can find a favorite segment from, for example, an unknown type of content or a disliked type of content. In addition, the user can enjoy, for example, a difference in impression between different segments in the same content, a difference in characteristics between segments of content of the same genre, and the like.

<2.変形例>
以下、本技術の実施の形態の変形例について説明する。
<2. Modification>
Hereinafter, modifications of the embodiment of the present technology will be described.

[変形例1]
本技術は、上述した楽曲以外にも、例えば、動画(映画やTV番組など)や電子書籍など、複数のセグメントに分解できるコンテンツの推薦等を行う場合にも適用することが可能である。例えば、動画の場合、ユーザの好みのシーンを推薦したり、電子書籍の場合、ユーザの好みの文章やセクション等を推薦したりすることが可能である。
[Modification 1]
In addition to the music described above, the present technology can also be applied to, for example, recommending content that can be decomposed into a plurality of segments, such as moving images (movies, TV programs, etc.) and electronic books. For example, in the case of a moving image, it is possible to recommend a user's favorite scene, and in the case of an electronic book, it is possible to recommend a user's favorite sentence or section.

[変形例2]
また、セグメント単位の推薦とコンテンツ単位の推薦を切り替えたり、同時に行うようにしてもよい。また、セグメント単位とコンテンツ単位が混在するプレイリストを生成できるようにしてもよい。
[Modification 2]
Also, segment unit recommendation and content unit recommendation may be switched or performed simultaneously. Further, a playlist in which segment units and content units are mixed may be generated.

さらに、ユーザの嗜好等により抽出されたセグメントを含むコンテンツからなるプレイリストを生成して、配信するようにしてもよい。この場合、例えば、抽出されたセグメントのコンテンツ内における位置をマーキング等によりユーザに提示して、プレイリスト内のコンテンツが選択された理由等を示すようにしてもよい。   Furthermore, a playlist including contents including segments extracted based on user's preference may be generated and distributed. In this case, for example, the position of the extracted segment in the content may be presented to the user by marking or the like to indicate the reason for selecting the content in the playlist.

[変形例3]
また、図1では、サーバ11を1台とする例を示したが、2台以上設けるようにすることも可能である。例えば、コンテンツを推薦するサーバと、実際にコンテンツデータを送信するサーバを分けるようにしてもよい。
[Modification 3]
In addition, FIG. 1 shows an example in which one server 11 is provided, but two or more servers may be provided. For example, a server that recommends content may be separated from a server that actually transmits content data.

[変形例4]
さらに、本技術は、上述した配信型のサービスだけでなく、ユーザが保有する装置や家庭内のネットワーク等においてユーザが保有するコンテンツを利用する場合にも適用することができる。
[Modification 4]
Furthermore, the present technology can be applied not only to the above-described distribution-type service but also to the case where content held by the user is used in a device owned by the user, a home network, or the like.

例えば、サーバ11の機能をクライアント12に持たせて、ユーザが、クライアント12が保有するコンテンツのセグメントにチェックインしたり、セグメント付与情報を付与したりするようにすることが可能である。また、チェックインしたセグメントや、付与したセグメント付与情報に基づいて、クライアント12が保有するコンテンツを用いて、セグメントの推薦を行ったり、プレイリストやスライドショーの生成を行ったりすることが可能である。   For example, the function of the server 11 can be provided to the client 12 so that the user can check in the content segment held by the client 12 or add segment assignment information. Further, based on the checked-in segments and the provided segment assignment information, it is possible to recommend segments and generate playlists and slide shows using content held by the client 12.

これにより、ユーザは、自らが保有するコンテンツを、コンテンツ単位だけでなく、セグメント単位で楽しむことができる。   Thereby, the user can enjoy the content he owns not only in content units but also in segment units.

[変形例5]
また、上述したコンテンツ再生画面はその一例であり、他の形態にすることも可能である。例えば、セグメント付与情報が付与されているセグメントのコンテンツ内での位置が容易に認識できるのであれば、セグメント付与情報の表示方法は、上述した方法に限定されるものではない。
[Modification 5]
Moreover, the content reproduction screen described above is an example, and other forms are possible. For example, as long as the position in the content of the segment to which the segment assignment information is assigned can be easily recognized, the method for displaying the segment assignment information is not limited to the method described above.

[変形例6]
さらに、上述したセグメント付与情報の種類は、その一例であり、セグメントに付与する情報の種類や数は任意に設定することができる。また、上述したセグメント付与情報の入力方法も、その一例であり、他の方法や他の入力画面を用いて入力するようにしてもよい。
[Modification 6]
Furthermore, the kind of segment provision information mentioned above is the example, and the kind and number of information provided to a segment can be set arbitrarily. Moreover, the input method of the segment provision information mentioned above is the example, and you may make it input using another method and another input screen.

[コンピュータの構成例]
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
[Computer configuration example]
The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software is installed in the computer. Here, the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.

図37は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。   FIG. 37 is a block diagram illustrating an example of a hardware configuration of a computer that executes the above-described series of processes using a program.

コンピュータにおいて、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。   In a computer, a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, and a RAM (Random Access Memory) 503 are connected to each other by a bus 504.

バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、入力部506、出力部507、記憶部508、通信部509、及びドライブ510が接続されている。   An input / output interface 505 is further connected to the bus 504. An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.

入力部506は、キーボード、マウス、マイクロフォンなどよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記憶部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインタフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア511を駆動する。   The input unit 506 includes a keyboard, a mouse, a microphone, and the like. The output unit 507 includes a display, a speaker, and the like. The storage unit 508 includes a hard disk, a nonvolatile memory, and the like. The communication unit 509 includes a network interface or the like. The drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.

以上のように構成されるコンピュータでは、CPU501が、例えば、記憶部508に記憶されているプログラムを、入出力インタフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。   In the computer configured as described above, the CPU 501 loads the program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.

コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。   The program executed by the computer (CPU 501) can be provided by being recorded on a removable medium 511 as a package medium or the like, for example. The program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.

コンピュータでは、プログラムは、リムーバブルメディア511をドライブ510に装着することにより、入出力インタフェース505を介して、記憶部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記憶部508にインストールすることができる。その他、プログラムは、ROM502や記憶部508に、あらかじめインストールしておくことができる。   In the computer, the program can be installed in the storage unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。   The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.

また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。   Further, in the present specification, the term “system” means an overall apparatus composed of a plurality of apparatuses and means.

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。   Furthermore, the embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.

また、例えば、本技術は以下のような構成も取ることができる。   For example, this technique can also take the following structures.

(1)
ユーザにより指定されたコンテンツの一部のセグメントを示す情報を含む指定情報を取得する取得部と、
収集した前記指定情報に基づいて、セグメント単位でコンテンツを推薦する推薦部と
を含む情報処理装置。
(2)
前記指定情報は、ユーザが指定したセグメントに付与した情報である付与情報を含み、
前記推薦部は、前記付与情報に基づいて、セグメント単位でコンテンツを推薦する
前記(1)に記載の情報処理装置。
(3)
前記付与情報は、テキストデータを含み、
前記推薦部は、ユーザが付与したテキストデータと類似するテキストデータが付与されているセグメントを推薦する
前記(2)に記載の情報処理装置。
(4)
前記コンテンツは楽曲であり、
前記付与情報は画像を含み、
セグメントの特徴量とセグメントに付与されている画像の特徴量との相関関係を分析する分析部と、
前記相関関係の分析結果に基づいて、セグメントと画像の組み合わせを選択する選択部と
をさらに含む前記(2)または(3)に記載の情報処理装置。
(5)
コンテンツの再生を行う再生部と、
コンテンツの再生中に、そのコンテンツのセグメントに付与されている付与情報を、そのセグメントのコンテンツ内の位置に合わせて表示するように制御する表示制御部と
をさらに含む前記(2)乃至(4)のいずれかに記載の情報処理装置。
(6)
再生中のコンテンツに対してセグメントを指定するための操作部を
さらに含む前記(5)に記載の情報処理装置。
(7)
前記付与情報は、テキストデータ、ファイル、セグメントに対する評価、および、他のセグメントへのリンク情報のうち少なくとも1つを含む
前記(2)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記推薦部は、ユーザが指定したセグメントの特徴量に基づいて、セグメント単位でコンテンツを推薦する
前記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記推薦部は、ユーザが指定したセグメントの特徴量と類似する特徴量を有するセグメントを推薦する
前記(8)に記載の情報処理装置。
(10)
前記取得部は、複数の他の情報処理装置から前記指定情報を取得し、
前記推薦部は、複数の前記他の情報処理装置から取得した前記指定情報に基づいて、セグメント単位でコンテンツを推薦する
前記(1)乃至(4)および(7)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記指定情報は、セグメントを指定したユーザを示す情報をさらに含み、
前記推薦部は、各ユーザが指定したセグメントの履歴に基づいて、セグメント単位でコンテンツを推薦する
前記(10)に記載の情報処理装置。
(12)
前記推薦部は、セグメントを推薦する対象となる対象ユーザが指定したセグメントと同じセグメントを指定した他のユーザにより指定された他のセグメントを前記対象ユーザに推薦する
前記(11)に記載の情報処理装置。
(13)
前記推薦部は、セグメントを推薦する対象となる対象ユーザが指定したセグメントと指定したユーザが類似する他のセグメントを前記対象ユーザに推薦する
前記(11)または(12)に記載の情報処理装置。
(14)
コンテンツの推薦を行う情報処理装置が、
ユーザにより指定されたコンテンツの一部のセグメントを示す情報を含む指定情報を取得し、
収集した前記指定情報に基づいて、セグメント単位でコンテンツを推薦する
ステップを含む情報処理方法。
(15)
ユーザにより指定されたコンテンツの一部のセグメントを示す情報を含む指定情報を取得し、
収集した前記指定情報に基づいて、セグメント単位でコンテンツを推薦する
ステップを含む処理をコンピュータに実行させるためのプログラム。
(16)
サーバとクライアントにより構成され、
前記サーバは、
前記クライアントにコンテンツを配信する配信部と、
前記クライアントにおいてユーザにより指定されたコンテンツの一部のセグメントを示す情報を含む指定情報を受信する第1の受信部と、
前記クライアントから収集した前記指定情報に基づいて、前記クライアントにセグメント単位でコンテンツを推薦する推薦部と
を含み、
前記クライアントは、
前記サーバからコンテンツを受信する第2の受信部と、
受信したコンテンツの再生を行う再生部と、
ユーザにより指定されたコンテンツのセグメントを示す情報を取得する取得部と、
ユーザにより指定されたセグメントを示す情報を含む前記指定情報を前記サーバに送信する送信部と
を含む情報処理システム。
(17)
サーバが、クライアントにコンテンツを配信し、
前記クライアントが、サーバから受信したコンテンツの再生を行い、ユーザにより指定されたコンテンツの一部のセグメントを示す情報を取得し、取得した情報を含む指定情報を前記サーバに送信し、
前記サーバが、前記クライアントから収集した前記指定情報に基づいて、前記クライアントにセグメント単位でコンテンツを推薦する
ステップを含む情報処理方法。
(1)
An acquisition unit for acquiring specified information including information indicating a partial segment of the content specified by the user;
An information processing apparatus comprising: a recommendation unit that recommends content in units of segments based on the collected designation information.
(2)
The designation information includes grant information that is information assigned to a segment designated by the user,
The information processing apparatus according to (1), wherein the recommendation unit recommends content in segment units based on the grant information.
(3)
The grant information includes text data,
The information processing apparatus according to (2), wherein the recommendation unit recommends a segment to which text data similar to text data provided by a user is assigned.
(4)
The content is a song,
The grant information includes an image,
An analysis unit that analyzes the correlation between the segment feature value and the image feature value assigned to the segment;
The information processing apparatus according to (2) or (3), further including: a selection unit that selects a combination of a segment and an image based on the analysis result of the correlation.
(5)
A playback unit for playing back content,
(2) to (4), further comprising: a display control unit that controls to display the attached information given to the segment of the content in accordance with the position in the content of the segment during the reproduction of the content. The information processing apparatus according to any one of the above.
(6)
The information processing apparatus according to (5), further including an operation unit for designating a segment for the content being reproduced.
(7)
The information processing apparatus according to any one of (2) to (6), wherein the assignment information includes at least one of text data, a file, an evaluation for a segment, and link information to another segment.
(8)
The information processing apparatus according to any one of (1) to (7), wherein the recommendation unit recommends content in units of segments based on a segment feature amount designated by a user.
(9)
The information processing apparatus according to (8), wherein the recommendation unit recommends a segment having a feature amount similar to the feature amount of the segment specified by the user.
(10)
The acquisition unit acquires the designation information from a plurality of other information processing devices,
The recommendation unit recommends content in segment units based on the designation information acquired from a plurality of the other information processing devices. (1) to (4) and (7) to (9) The information processing apparatus described.
(11)
The designation information further includes information indicating a user who designated the segment,
The information processing apparatus according to (10), wherein the recommendation unit recommends content in units of segments based on a history of segments designated by each user.
(12)
The information processing unit according to (11), wherein the recommendation unit recommends, to the target user, another segment specified by another user who has specified the same segment as the segment specified by the target user to be recommended for the segment. apparatus.
(13)
The information processing apparatus according to (11) or (12), wherein the recommendation unit recommends, to the target user, another segment that is similar to the segment specified by the target user who is to recommend the segment.
(14)
An information processing device that recommends content
Get specified information including information indicating some segments of content specified by the user,
An information processing method including a step of recommending content in units of segments based on the collected designation information.
(15)
Get specified information including information indicating some segments of content specified by the user,
A program for causing a computer to execute processing including a step of recommending content in units of segments based on the collected designation information.
(16)
Consists of server and client,
The server
A delivery unit for delivering content to the client;
A first receiving unit that receives designation information including information indicating a partial segment of content designated by a user in the client;
A recommendation unit that recommends content in units of segments to the client based on the designation information collected from the client;
The client
A second receiver for receiving content from the server;
A playback unit that plays back the received content;
An acquisition unit for acquiring information indicating a segment of content specified by the user;
An information processing system comprising: a transmission unit that transmits the designation information including information indicating a segment designated by a user to the server.
(17)
The server delivers the content to the client,
The client reproduces the content received from the server, acquires information indicating a partial segment of the content specified by the user, transmits the specified information including the acquired information to the server,
An information processing method comprising the step of recommending content in segment units to the client based on the designation information collected from the client.

1 情報処理システム, 11 サーバ, 12 クライアント, 31 記憶部, 32 分析部, 33 コメントラベル判別部, 34 特徴量ラベル判別部, 35 推薦部, 36 スライドショー生成部, 37 配信部, 38 送信部, 39 受信部, 40 チェックイン情報取得部, 51 コンテンツDB, 52 チェックイン情報DB, 53 ユーザDB, 54 類義語辞書, 55 ラベルDB, 61 セグメント分析部, 62 ユーザ分析部, 63 付与情報分析部, 64 相関分析部, 65 統計分析部, 71 セグメント抽出部, 72 セグメント推薦部, 73 プレイリスト生成部, 101 受信部, 103 UI制御部, 104 再生部, 105 表示部, 106 音声出力部, 107 操作部, 108 チェックイン情報生成部, 109 送信部   DESCRIPTION OF SYMBOLS 1 Information processing system, 11 Server, 12 Client, 31 Memory | storage part, 32 Analysis part, 33 Comment label discrimination | determination part, 34 Feature-value label discrimination | determination part, 35 Recommendation part, 36 Slide show production | generation part, 37 Distribution part, 38 Transmission part, 39 Receiving unit, 40 check-in information acquisition unit, 51 content DB, 52 check-in information DB, 53 user DB, 54 synonym dictionary, 55 label DB, 61 segment analysis unit, 62 user analysis unit, 63 added information analysis unit, 64 correlation Analysis unit, 65 statistical analysis unit, 71 segment extraction unit, 72 segment recommendation unit, 73 playlist generation unit, 101 reception unit, 103 UI control unit, 104 playback unit, 105 display unit, 106 audio output unit, 107 operation unit, 108 Check-in information generator, 109 transmitter

Claims (19)

ユーザにより指定された楽曲のセグメントを示す情報、および、前記指定されたセグメントに付与された画像を含む付与情報を含む指定情報を取得する取得部と、
前記指定されたセグメントの特徴量と前記付与された画像の特徴量との相関関係を分析する分析部と、
前記相関関係の分析結果に基づいて、楽曲のセグメントと画像の組み合わせを選択する選択部と
を含む情報処理装置。
An acquisition unit that acquires information indicating a segment of a music specified by a user and specified information including grant information including an image assigned to the specified segment;
An analysis unit that analyzes a correlation between a feature amount of the designated segment and a feature amount of the assigned image;
An information processing apparatus comprising: a selection unit that selects a combination of music segments and images based on the analysis result of the correlation.
前記分析部は、さらに楽曲をセグメントに分解し、各セグメントの特徴量を分析し、
前記選択部は、前記相関関係の分析結果および各セグメントの特徴量の分析結果に基づいて、各セグメントに組み合わせる画像を選択する
請求項1に記載の情報処理装置。
The analysis unit further divides the music into segments, analyzes the feature values of each segment,
The information processing apparatus according to claim 1, wherein the selection unit selects an image to be combined with each segment based on the analysis result of the correlation and the analysis result of the feature amount of each segment.
前記分析部は、さらに画像の特徴量を分析し、
前記選択部は、前記相関関係の分析結果および画像の特徴量の分析結果に基づいて、画像に組み合わせる楽曲のセグメントを選択する
請求項1または2に記載の情報処理装置。
The analysis unit further analyzes the feature amount of the image,
The information processing apparatus according to claim 1, wherein the selection unit selects a segment of music to be combined with an image based on the analysis result of the correlation and the analysis result of the feature amount of the image.
前記選択部は、選択した楽曲のセグメントと画像を組み合わせて再生するスライドショーを生成する
請求項1乃至3のいずれかに記載の情報処理装置。
The information processing apparatus according to any one of claims 1 to 3, wherein the selection unit generates a slide show that combines and reproduces a segment of the selected music piece and an image.
収集した前記指定情報に基づいて、セグメント単位で楽曲を推薦する推薦部を
さらに含む請求項1乃至4のいずれかに記載の情報処理装置。
The information processing apparatus according to claim 1, further comprising a recommendation unit that recommends music in segment units based on the collected designation information.
前記付与情報は、テキストデータを含み、
前記推薦部は、ユーザが付与したテキストデータと類似するテキストデータが付与されているセグメントを推薦する
請求項5に記載の情報処理装置。
The grant information includes text data,
The information processing apparatus according to claim 5, wherein the recommendation unit recommends a segment to which text data similar to text data provided by a user is assigned.
楽曲の再生を行う再生部と、
楽曲の再生中に、その楽曲のセグメントに付与されている付与情報を、そのセグメントの楽曲内の位置に合わせて表示するように制御する表示制御部と
をさらに含む請求項1乃至6のいずれかに記載の情報処理装置。
A playback unit for playing music , and
The display control part which controls so that the provision information provided to the segment of the music may be displayed according to the position in the music of the segment during the reproduction of the music . The information processing apparatus described in 1.
再生中の楽曲に対してセグメントを指定するための操作部を
さらに含む請求項7に記載の情報処理装置。
The information processing apparatus according to claim 7, further comprising an operation unit for designating a segment for the music being reproduced.
前記付与情報は、テキストデータ、ファイル、セグメントに対する評価、および、他のセグメントへのリンク情報のうち少なくとも1つを含む
請求項1乃至8のいずれかに記載の情報処理装置。
The information processing apparatus according to any one of claims 1 to 8, wherein the assignment information includes at least one of text data, a file, an evaluation for a segment, and link information to another segment.
前記推薦部は、ユーザが指定したセグメントの特徴量に基づいて、セグメント単位で楽曲を推薦する
請求項5乃至9のいずれかに記載の情報処理装置。
The information processing apparatus according to claim 5, wherein the recommendation unit recommends music in segment units based on a segment feature amount designated by a user.
前記推薦部は、ユーザが指定したセグメントの特徴量と類似する特徴量を有するセグメントを推薦する
請求項10に記載の情報処理装置。
The information processing apparatus according to claim 10, wherein the recommendation unit recommends a segment having a feature amount similar to the feature amount of the segment specified by the user.
前記取得部は、複数の他の情報処理装置から前記指定情報を取得し、
前記推薦部は、複数の前記他の情報処理装置から取得した前記指定情報に基づいて、セグメント単位で楽曲を推薦する
請求項5乃至11のいずれかに記載の情報処理装置。
The acquisition unit acquires the designation information from a plurality of other information processing devices,
The information processing apparatus according to any one of claims 5 to 11, wherein the recommendation unit recommends music in segment units based on the designation information acquired from the plurality of other information processing apparatuses.
前記指定情報は、セグメントを指定したユーザを示す情報をさらに含み、
前記推薦部は、各ユーザが指定したセグメントの履歴に基づいて、セグメント単位で楽曲を推薦する
請求項12に記載の情報処理装置。
The designation information further includes information indicating a user who designated the segment,
The information processing apparatus according to claim 12, wherein the recommendation unit recommends music in units of segments based on a history of segments designated by each user.
前記推薦部は、セグメントを推薦する対象となる対象ユーザが指定したセグメントと同じセグメントを指定した他のユーザにより指定された他のセグメントを前記対象ユーザに推薦する
請求項13に記載の情報処理装置。
The information processing apparatus according to claim 13, wherein the recommendation unit recommends, to the target user, another segment specified by another user who has specified the same segment as the segment specified by the target user who is to recommend the segment. .
前記推薦部は、セグメントを推薦する対象となる対象ユーザが指定したセグメントと指定したユーザが類似する他のセグメントを前記対象ユーザに推薦する
請求項13または14に記載の情報処理装置。
The information processing apparatus according to claim 13 or 14, wherein the recommendation unit recommends, to the target user, another segment similar to a segment specified by a target user who is a target for recommending a segment.
情報処理装置が、
ユーザにより指定された楽曲のセグメントを示す情報、および、前記指定されたセグメントに付与された画像を含む付与情報を含む指定情報を取得し、
前記指定されたセグメントの特徴量と前記付与された画像の特徴量との相関関係を分析し、
前記相関関係の分析結果に基づいて、楽曲のセグメントと画像の組み合わせを選択する
ステップを含む情報処理方法。
Information processing device
Obtaining information indicating the segment of the music designated by the user and designation information including grant information including an image assigned to the designated segment;
Analyzing the correlation between the feature amount of the designated segment and the feature amount of the assigned image;
An information processing method including a step of selecting a combination of music segments and images based on the correlation analysis result.
ユーザにより指定された楽曲のセグメントを示す情報、および、前記指定されたセグメントに付与された画像を含む付与情報を含む指定情報を取得し、
前記指定されたセグメントの特徴量と前記付与された画像の特徴量との相関関係を分析し、
前記相関関係の分析結果に基づいて、楽曲のセグメントと画像の組み合わせを選択する
ステップを含む処理をコンピュータに実行させるためのプログラム。
Obtaining information indicating the segment of the music designated by the user and designation information including grant information including an image assigned to the designated segment;
Analyzing the correlation between the feature amount of the designated segment and the feature amount of the assigned image;
A program for causing a computer to execute processing including a step of selecting a combination of music segments and images based on the analysis result of the correlation.
サーバとクライアントにより構成され、
前記サーバは、
前記クライアントに楽曲を配信する配信部と、
前記クライアントにおいてユーザにより指定された楽曲のセグメントを示す情報、および、前記指定されたセグメントに付与された画像を含む付与情報を含む指定情報を受信する第1の受信部と、
前記指定されたセグメントの特徴量と前記付与された画像の特徴量との相関関係を分析する分析部と、
前記相関関係の分析結果に基づいて、楽曲のセグメントと画像の組み合わせを選択する選択部と
を含み、
前記クライアントは、
前記サーバから楽曲を受信する第2の受信部と、
受信した楽曲の再生を行う再生部と、
ユーザにより指定された楽曲のセグメントを示す情報および前記付与情報を取得する取得部と、
ユーザにより指定されたセグメントを示す情報および前記付与情報を含む前記指定情報を前記サーバに送信する送信部と
を含む情報処理システム。
Consists of server and client,
The server
A distribution unit for distributing music to the client;
A first receiving unit that receives information indicating a segment of a music specified by a user in the client and designation information including grant information including an image assigned to the designated segment;
An analysis unit that analyzes a correlation between a feature amount of the designated segment and a feature amount of the assigned image;
A selection unit that selects a combination of music segments and images based on the correlation analysis result, and
The client
A second receiver for receiving music from the server;
A playback unit for playing the received music ;
An acquisition unit that acquires information indicating the segment of the music specified by the user and the grant information;
An information processing system comprising: a transmission unit that transmits information indicating a segment specified by a user and the specified information including the attached information to the server.
サーバが、クライアントに楽曲を配信し、
前記クライアントが、前記サーバから受信した楽曲の再生を行い、ユーザにより指定された楽曲のセグメントを示す情報、および、前記指定されたセグメントに付与された画像を含む付与情報を取得し、取得した情報を含む指定情報を前記サーバに送信し、
前記サーバが、前記指定されたセグメントの特徴量と前記付与された画像の特徴量との相関関係を分析し、前記相関関係の分析結果に基づいて、楽曲のセグメントと画像の組み合わせを選択する
ステップを含む情報処理方法。
The server delivers music to the client,
Information obtained by the client reproducing the music received from the server, obtaining information indicating the segment of the music designated by the user, and grant information including an image given to the designated segment. Sending the specified information including
The server analyzes a correlation between the feature quantity of the designated segment and the feature quantity of the assigned image, and selects a combination of a music segment and an image based on the analysis result of the correlation An information processing method including:
JP2011131671A 2011-06-13 2011-06-13 Information processing apparatus, information processing system, information processing method, and program Active JP5834514B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011131671A JP5834514B2 (en) 2011-06-13 2011-06-13 Information processing apparatus, information processing system, information processing method, and program
CN201280028072.6A CN103597477A (en) 2011-06-13 2012-06-06 Information processing device, information processing method and program
US14/124,027 US20140122606A1 (en) 2011-06-13 2012-06-06 Information processing device, information processing method, and program
EP12801095.6A EP2720155A4 (en) 2011-06-13 2012-06-06 Information processing device, information processing method and program
PCT/JP2012/064536 WO2012173021A1 (en) 2011-06-13 2012-06-06 Information processing device, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011131671A JP5834514B2 (en) 2011-06-13 2011-06-13 Information processing apparatus, information processing system, information processing method, and program

Publications (3)

Publication Number Publication Date
JP2013003684A JP2013003684A (en) 2013-01-07
JP2013003684A5 JP2013003684A5 (en) 2014-06-05
JP5834514B2 true JP5834514B2 (en) 2015-12-24

Family

ID=47672219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011131671A Active JP5834514B2 (en) 2011-06-13 2011-06-13 Information processing apparatus, information processing system, information processing method, and program

Country Status (1)

Country Link
JP (1) JP5834514B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105051820B (en) * 2013-03-29 2018-08-10 索尼公司 Information processing equipment and information processing method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075992A (en) * 1999-09-07 2001-03-23 Hitachi Ltd Method and system for sound retrieval and computer- readable recording medium
JP4981630B2 (en) * 2007-01-05 2012-07-25 ヤフー株式会社 Kansei matching method, apparatus and computer program
WO2008120638A1 (en) * 2007-03-30 2008-10-09 Dwango Co., Ltd. Comment delivery system, terminal, comment delivery method, and recording medium containing program

Also Published As

Publication number Publication date
JP2013003684A (en) 2013-01-07

Similar Documents

Publication Publication Date Title
KR101527370B1 (en) Method and appratus for searching recommended music using emotional information of music
JP4723481B2 (en) Content recommendation device having an array engine
US7680824B2 (en) Single action media playlist generation
JP5594532B2 (en) Information processing apparatus and method, information processing system, and program
JP4962067B2 (en) Music playback device, music playback method, and music playback program
US20080096174A1 (en) Tutorial generation unit, multimedia management system, portable apparatus, method of explanation of multimedia management behavior, computer program product
CN106468987B (en) Information processing method and client
CN111383669B (en) Multimedia file uploading method, device, equipment and computer readable storage medium
KR100978689B1 (en) A method and system for selecting media
JP2011107808A (en) Device, method and program for recommending content
JP2013210721A (en) Information processing device and program
WO2012173021A1 (en) Information processing device, information processing method and program
US20130024547A1 (en) Information processing apparatus, information processing system, information processing method, and program
JP2006268100A (en) Play list generation device, play list generation method, program, and recording medium
JP2013003685A (en) Information processing device, information processing method and program
JP5834514B2 (en) Information processing apparatus, information processing system, information processing method, and program
EP1840711A1 (en) One-click selection of music or other content
JP6993903B2 (en) Karaoke equipment
KR20110071749A (en) Appratus and method for management of contents information
US20220406280A1 (en) Information processing apparatus, information processing method, and information processing program
EP3399439A1 (en) Method for recommending music in playlist and apparatus using the same
JP5649607B2 (en) Terminal device and music playback device
JP5723308B2 (en) Terminal device and music playback device
WO2024075422A1 (en) Musical composition creation method and program
JP5061634B2 (en) Portable display device, display method and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140418

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151019

R151 Written notification of patent or utility model registration

Ref document number: 5834514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250