JP6986036B2

JP6986036B2 - Content playback program, content playback method and content playback system

Info

Publication number: JP6986036B2
Application number: JP2019036250A
Authority: JP
Inventors: 久晴鈴木; 康彦長友; 淳瀧川
Original assignee: EVIXAR INC.
Current assignee: EVIXAR INC.
Priority date: 2018-02-23
Filing date: 2019-02-28
Publication date: 2021-12-22
Anticipated expiration: 2038-02-23
Also published as: JP2019146174A

Description

本発明は、コンテンツ再生プログラム、コンテンツ再生方法及びコンテンツ再生システムに関する。 The present invention relates to a content reproduction program, a content reproduction method, and a content reproduction system.

近年、映像や音楽等の複数のコンテンツを複数の機器で再生させて、イベント等を総合的に演出するサービスが多く存在する。この様なサービスにおいては、当該複数のコンテンツの進行を、当該複数の機器間で同期させる必要がある。当該同期にあたっては、例えば、演出のメインとなるコンテンツ（以下、「メインコンテンツ」という）の進行に合わせて、その他のサブとなるコンテンツ（以下、「サブコンテンツ」という）の再生タイミングを予め機器等に設定し、当該設定されたタイミングで各サブコンテンツを再生させる方法が考えられる。 In recent years, there are many services that comprehensively produce an event or the like by playing back a plurality of contents such as video and music on a plurality of devices. In such a service, it is necessary to synchronize the progress of the plurality of contents among the plurality of devices. In the synchronization, for example, the playback timing of other sub-contents (hereinafter referred to as "sub-contents") is set in advance on the device or the like in accordance with the progress of the main content of the production (hereinafter referred to as "main content"). A method of setting and playing each sub-content at the set timing can be considered.

しかしながら、俳優や歌手が舞台で劇を演じたり歌ったりする実演等においては、上記の様な方法では、実演等の進行時間が本番に変動するため、実演等のメインコンテンツの進行に合わせて、ＢＧＭ等のサブコンテンツの再生タイミングを予め設定することが難しいという課題がある。 However, in a performance where an actor or singer plays or sings a play on the stage, the progress time of the performance changes to the actual performance by the above method, so the BGM is adjusted to the progress of the main content such as the performance. There is a problem that it is difficult to set the playback timing of sub-contents such as the above in advance.

当該課題に対して、特許文献１には、音声を伴った映像をメインコンテンツとして、また、当該映像に対するセカンドスクリーン情報（例えば、字幕等）をサブコンテンツとして、セカンドスクリーン情報を映像の進行に応じて携帯デバイスに出力させる方法が開示されている。 In response to this problem, Patent Document 1 describes video with audio as the main content, second screen information (for example, subtitles, etc.) for the video as sub-content, and second screen information according to the progress of the video. A method for outputting to a portable device is disclosed.

具体的には、当該開示された方法では、電子透かし技術を利用して、各映像シーンに対応づけられたセカンドスクリーン情報の識別情報を、映像の音声中に透かしデータとして埋め込み、当該映像の音声と共に出力させる。一方、携帯デバイスには、セカンドスクリーン情報のデータと当該識別情報とが対応付けられて格納されており、携帯デバイスに当該映像の音声が入力されると、当該透かしデータが検出されて、映像シーンに同期させてセカンドスクリーン情報を出力させることができる。ここで「電子透かし技術」とは、映像や音楽等のコンテンツに、透かしデータとして特定の情報を当該コンテンツの音等に埋め込む技術をいう。 Specifically, in the disclosed method, the digital watermarking technology is used to embed the identification information of the second screen information associated with each video scene as watermark data in the audio of the video, and the audio of the video. Output with. On the other hand, the data of the second screen information and the identification information are stored in association with each other in the mobile device, and when the audio of the video is input to the mobile device, the watermark data is detected and the video scene is recorded. The second screen information can be output in synchronization with. Here, the "digital watermarking technology" refers to a technology for embedding specific information as watermark data in the sound or the like of the content such as video or music.

この様な方法を用いれば、例えば、俳優や歌手が舞台で劇を演じたり歌ったりする実演等の進行時間が変動するメインコンテンツに対しても、実演に合わせて流すＢＧＭ等のサブコンテンツに透かしデータを埋め込み、当該サブコンテンツに合わせて当該透かしデータが入力されて、メインコンテンツの進行に応じて別のサブコンテンツであるセカンドスクリーン情報等を出力させることができる。 By using such a method, for example, even for the main content whose progress time fluctuates, such as a performance in which an actor or singer plays or sings a play on the stage, watermark data is added to the sub-content such as BGM to be played according to the performance. Is embedded, the watermark data is input according to the sub-content, and the second screen information or the like, which is another sub-content, can be output according to the progress of the main content.

特開２０１５−６１１１２号公報Japanese Unexamined Patent Publication No. 2015-61112

しかしながら、特許文献１に開示されている方法では、各映像シーンに埋め込まれた透かしデータと、セカンドスクリーン情報の識別情報とが１対１で対応付けられているため、各映像シーンに透かしデータが埋め込まれたタイミングでしかセカンドスクリーン情報を出力させることができない。このため、透かしデータの埋め込みタイミングと関係なく、各映像シーンの開始、途中又は終了といった様々なタイミングで字幕等のセカンドスクリーン情報を出力させることができないという問題がある。 However, in the method disclosed in Patent Document 1, since the watermark data embedded in each video scene and the identification information of the second screen information are associated with each other on a one-to-one basis, the watermark data is provided in each video scene. The second screen information can be output only at the embedded timing. Therefore, there is a problem that the second screen information such as subtitles cannot be output at various timings such as the start, the middle, or the end of each video scene regardless of the embedding timing of the watermark data.

そこで、本発明は、進行時間が変動してしまうコンテンツにおいても、コンテンツの透かしデータの埋め込みタイミングに限定されず任意のタイミングで、別のコンテンツの再生を制御するコンテンツ再生プログラム、コンテンツ再生システムを提供することを目的とする。 Therefore, the present invention provides a content reproduction program and a content reproduction system that control the reproduction of another content at an arbitrary timing, not limited to the embedding timing of the watermark data of the content, even for the content whose progress time fluctuates. The purpose is to do.

本発明の一態様に係るコンテンツ再生プログラムは、コンピュータに、透かしデータとして埋め込まれた同期ポイントＩＤと、メインコンテンツの同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて格納する第１テーブルと、同期基準タイミングを基準とした第１サブコンテンツの開始予定タイミングを格納する第２テーブルと、メインコンテンツの進行に応じて再生される第２サブコンテンツから、透かしデータとして埋め込まれている同期ポイントＩＤを検出する検出機能と、検出された同期ポイントＩＤと第１テーブルとに基づき、同期ポイントの予定タイミングを取得し、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントＩＤの検出タイミングとの差分を取得する取得機能と、取得された差分と第２テーブルとに基づき、第１サブコンテンツの開始タイミングを判定する判定機能と、判定された第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツの再生を制御する制御機能と、を実現させる。 The content reproduction program according to one aspect of the present invention is a first table that stores a synchronization point ID embedded as watermark data in a computer in association with the scheduled timing of the synchronization point based on the synchronization reference timing of the main content. The synchronization point ID embedded as watermark data from the second table that stores the scheduled start timing of the first sub-content based on the synchronization reference timing and the second sub-content that is played according to the progress of the main content. The scheduled timing of the synchronization point is acquired based on the detection function that detects Based on the acquisition function that acquires the difference from the detection timing, the determination function that determines the start timing of the first sub-content based on the acquired difference and the second table, and the determined start timing of the first sub-content. , A control function for controlling the reproduction of the first sub-content.

本発明の一態様に係るコンテンツ再生方法は、コンピュータが、透かしデータとして埋め込まれた同期ポイントＩＤと、メインコンテンツの同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて第１テーブルに格納するステップと、同期基準タイミングを基準とした第１サブコンテンツの開始予定タイミングを第２テーブルに格納するステップと、メインコンテンツの進行に応じて再生される第２サブコンテンツから、透かしデータとして埋め込まれている同期ポイントＩＤを検出するステップと、検出された同期ポイントＩＤと第１テーブルとに基づき、同期ポイントの予定タイミングを取得し、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントＩＤの検出タイミングとの差分を取得するステップと、取得された差分と第２テーブルとに基づき、第１サブコンテンツの開始タイミングを判定するステップと、判定された第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツの再生を制御するステップと、を含む。 In the content reproduction method according to one aspect of the present invention, the computer stores the synchronization point ID embedded as watermark data in the first table in association with the scheduled timing of the synchronization point based on the synchronization reference timing of the main content. The step to store the scheduled start timing of the first sub-content based on the synchronization reference timing in the second table, and the second sub-content to be played according to the progress of the main content are embedded as watermark data. Based on the step of detecting the existing synchronization point ID, the detected synchronization point ID, and the first table, the scheduled timing of the synchronization point is acquired, and the synchronization is based on the scheduled timing and the synchronization reference timing of the acquired synchronization point. At the step of acquiring the difference from the detection timing of the point ID, the step of determining the start timing of the first sub-content based on the acquired difference and the second table, and the start timing of the determined first sub-content. Based on, it includes a step of controlling the reproduction of the first sub-content.

本発明の一態様に係るコンテンツ再生システムは、ユーザ端末と、オペレータ端末とを含むコンテンツ再生システムであって、ユーザ端末は、透かしデータとして埋め込まれた同期ポイントＩＤと、メインコンテンツの同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて格納する第１テーブルと、同期基準タイミングを基準とした第１サブコンテンツの開始予定タイミングを格納する第２テーブルと、メインコンテンツの進行に応じて再生される第２サブコンテンツから、透かしデータとして埋め込まれている同期ポイントＩＤを検出する検出部と、検出された同期ポイントＩＤと第１テーブルとに基づき、同期ポイントの予定タイミングを取得し、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントＩＤの検出タイミングとの差分を取得する取得部と、取得された差分と第２テーブルとに基づき、第１サブコンテンツの開始タイミングを判定する判定部と、判定された第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツの再生を制御する制御部と、を備え、オペレータ端末は、オペレータからの第２サブコンテンツの再生に関する入力を受け付ける入力部と、受け付けた入力内容に基づいて、第２サブコンテンツの再生を制御する制御部と、を備える。 The content reproduction system according to one aspect of the present invention is a content reproduction system including a user terminal and an operator terminal, and the user terminal is based on a synchronization point ID embedded as watermark data and a synchronization reference timing of the main content. The first table that stores the scheduled timing of the synchronization point in association with the above, the second table that stores the scheduled start timing of the first sub-content based on the synchronization reference timing, and the second table that is played back according to the progress of the main content. Based on the detection unit that detects the synchronization point ID embedded as watermark data, the detected synchronization point ID, and the first table, the scheduled timing of the synchronization point is acquired from the second sub-content, and the acquisition is performed. The start timing of the first sub-content is determined based on the acquisition unit that acquires the difference between the scheduled timing of the synchronization point and the detection timing of the synchronization point ID based on the synchronization reference timing, and the acquired difference and the second table. The operator terminal includes a determination unit for controlling the reproduction of the first sub-content based on the determined start timing of the first sub-content, and the operator terminal inputs an input regarding the reproduction of the second sub-content from the operator. It includes a receiving input unit and a control unit that controls the reproduction of the second sub-content based on the received input content.

なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されてもよい。 In the present invention, the "part" does not simply mean a physical means, but also includes a case where the function of the "part" is realized by software. Further, even if the function of one "part" or device is realized by two or more physical means or devices, the function of two or more "parts" or devices is realized by one physical means or device. You may.

本発明によれば、進行時間が変動してしまうコンテンツにおいても、コンテンツの透かしデータの埋め込みタイミングに限定されず任意のタイミングで、別のコンテンツの再生を制御するコンテンツ再生プログラム、コンテンツ再生方法及びコンテンツ再生システムを提供することができる。 According to the present invention, a content reproduction program, a content reproduction method, and a content that control the reproduction of another content at an arbitrary timing, not limited to the embedding timing of the watermark data of the content, even for the content whose progress time fluctuates. A reproduction system can be provided.

本発明の一実施形態であるコンテンツ再生システムの構成を示す図である。It is a figure which shows the structure of the content reproduction system which is one Embodiment of this invention. ユーザ端末２００及びオペレータ端末１００のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of the user terminal 200 and the operator terminal 100. オペレータ端末１００の機能構成の一例を示す図である。It is a figure which shows an example of the functional structure of the operator terminal 100. ユーザ端末２００の機能構成の一例を示す図である。It is a figure which shows an example of the functional structure of a user terminal 200. コンテンツ再生システムにおけるコンテンツ再生処理の概要を示す図である。It is a figure which shows the outline of the content reproduction processing in a content reproduction system. コンテンツ再生システムにおけるコンテンツ再生処理の概要を示す図である。It is a figure which shows the outline of the content reproduction processing in a content reproduction system. コンテンツ再生システムにおけるテーブル構成の一例を示す図である。It is a figure which shows an example of the table structure in a content reproduction system. ユーザ端末２００におけるコンテンツ再生処理の一例を示すフローチャートである。It is a flowchart which shows an example of the content reproduction processing in a user terminal 200. コンテンツ再生における事象の一例の概要を示す図である。It is a figure which shows the outline of an example of the event in content reproduction. 図９の事象に対するコンテンツ再生システムにおけるコンテンツ再生制御の概要を示す図である。It is a figure which shows the outline of the content reproduction control in the content reproduction system with respect to the event of FIG. ユーザ端末２００におけるコンテンツ再生制御処理の一例を示すフローチャートである。It is a flowchart which shows an example of the content reproduction control processing in a user terminal 200. コンテンツ再生システムにおけるコンテンツ再生制御の概要を示す図である。It is a figure which shows the outline of the content reproduction control in a content reproduction system.

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。また、説明において、各タイミングにおける時刻を記載する場合、hh:mm:ss形式（時＝hh、分＝mm、秒＝ss）で記載する。なお、各タイミングを表す形式は、当該時刻情報に限られず、例えば、固定サイクルでインクリメントされるタイマー値等を用いてもよい。 Preferred embodiments of the present invention will be described with reference to the accompanying drawings. In each figure, those with the same reference numerals have the same or similar configurations. In the description, when the time at each timing is described, it is described in the hh: mm: ss format (hour = hh, minute = mm, second = ss). The format for expressing each timing is not limited to the time information, and for example, a timer value that is incremented in a fixed cycle may be used.

本実施形態では、本実施形態に係るコンテンツ再生システム（以下、単に「コンテンツ再生システム」という）を舞台で行われる実演を含むコンテンツに適用した場合を例に説明するが、これに限る趣旨ではない。 In the present embodiment, the case where the content reproduction system according to the present embodiment (hereinafter, simply referred to as “content reproduction system”) is applied to the content including the demonstration performed on the stage will be described as an example, but the present invention is not limited to this. ..

＜１．システム概要＞
図１は、コンテンツ再生システムの概略構成を示す図である。コンテンツ再生システムは、図１に示すように、オペレータ端末１００、ユーザ端末２００ａ、２００ｂ及び２００ｃ（コンテンツ再生装置）（以下、特に区別の必要がない場合、総称して「ユーザ端末２００」という）、及びスピーカ３００ａ、３００ｂ（以下、特に区別の必要がない場合、総称して「スピーカ３００」という）を備える。 <1. System overview>
FIG. 1 is a diagram showing a schematic configuration of a content reproduction system. As shown in FIG. 1, the content reproduction system includes an operator terminal 100, user terminals 200a, 200b and 200c (content reproduction device) (hereinafter, collectively referred to as "user terminal 200" when there is no particular need to distinguish). And speakers 300a and 300b (hereinafter, collectively referred to as "speaker 300" when there is no particular need to distinguish).

スピーカ３００は、劇場や球場等の実演の本番が行われる施設に設置され、オペレータ端末１００は、スピーカ３００から出力されるＢＧＭ等のコンテンツに対する人（オペレータ）の操作（例えば、ＢＧＭ等の再生操作等）に利用される。ユーザ端末２００では、当該コンテンツの再生に連動して、字幕や音声ガイド等の別のコンテンツが再生される。以降、舞台上で実演を行う演者やオペレータ端末１００又はスピーカ３００等の施設に設置されている機器等を総称して「舞台側」という。 The speaker 300 is installed in a facility such as a theater or a stadium where a demonstration is performed, and the operator terminal 100 is an operation of a person (operator) for the content such as BGM output from the speaker 300 (for example, a reproduction operation of BGM or the like). Etc.). On the user terminal 200, another content such as a subtitle or a voice guide is reproduced in conjunction with the reproduction of the content. Hereinafter, the performers performing on the stage and the devices installed in the facilities such as the operator terminal 100 or the speaker 300 are collectively referred to as the "stage side".

舞台で行われる実演を含むコンテンツに適用した場合の本例では、例えば、舞台上ではメインとなるコンテンツ（メインコンテンツ）である実演が行われ、ＢＧＭ等のサブコンテンツ（第２サブコンテンツ）が当該実演の進行に合わせてオペレータ端末１００におけるオペレータの操作で再生される。ユーザ端末２００では、実演の進行に合わせてＢＧＭと共に、実演の進行の変動によるずれを反映するための二つテーブルを用いて、字幕等の別のサブコンテンツ（第１サブコンテンツ）が自動で再生される。本例におけるコンテンツ再生システムの概要を次の（１）〜（３）で説明する。なお、コンテンツ再生システムに含まれるコンテンツは、前述のとおり、「メインコンテンツ」と、「第１サブコンテンツ」と、「第２サブコンテンツ」とに大きく分かれて構成されるが、各コンテンツの詳細は後述する。 In this example when applied to content including a demonstration performed on the stage, for example, a demonstration that is the main content (main content) is performed on the stage, and a sub-content (second sub-content) such as BGM is the demonstration. It is reproduced by the operation of the operator in the operator terminal 100 according to the progress of. On the user terminal 200, another sub-content (first sub-content) such as subtitles is automatically played back by using two tables for reflecting the deviation due to the fluctuation of the progress of the demonstration together with the BGM according to the progress of the demonstration. Will be done. The outline of the content reproduction system in this example will be described in the following (1) to (3). As described above, the content included in the content playback system is roughly divided into "main content", "first sub-content", and "second sub-content", and the details of each content will be described later. do.

（１）コンテンツ再生システムが適用される実演では、本番前に、舞台側において、先ず、メインコンテンツである実演が予定どおり進行した場合のＢＧＭや字幕の再生スケジュールが設定される。次に、ＢＧＭが再生される区間中に同期ポイントが設定される。具体的には、実演の開始時刻等の同期基準タイミングを基準としたＢＧＭ再生区間中の任意の再生タイミングに、透かしデータとして同期ポイントＩＤを埋め込む。なお、当該スケジュール及び同期ポイントの設定は、オペレータ端末１００等に当該設定の情報を登録し、オペレータの操作等によって適宜編集されてもよい。 (1) In the demonstration to which the content reproduction system is applied, the reproduction schedule of BGM and subtitles is set on the stage side before the actual performance when the demonstration which is the main content proceeds as scheduled. Next, a synchronization point is set during the section in which the BGM is reproduced. Specifically, the synchronization point ID is embedded as watermark data at an arbitrary reproduction timing in the BGM reproduction section based on the synchronization reference timing such as the start time of the demonstration. The schedule and synchronization point settings may be edited by registering the setting information in the operator terminal 100 or the like and operating the operator or the like.

ここで、「同期ポイント」とは、メインコンテンツの進行に対して、サブコンテンツの進行の同期を図るポイントをいう。また「同期ポイントＩＤ」とは、同期ポイントを特定するための識別情報である。また、「同期基準タイミング」とは、例えば、メインコンテンツの開始時刻や場面が切り替わるシーンの開始時刻等のタイミングである。以降の説明では、同期基準タイミングとしてメインコンテンツの開始時刻「00:00:00」を採用した場合について説明する。 Here, the "synchronization point" means a point for synchronizing the progress of the sub-content with the progress of the main content. Further, the "synchronization point ID" is identification information for specifying the synchronization point. Further, the "synchronization reference timing" is, for example, a timing such as a start time of the main content or a start time of a scene where the scene is switched. In the following description, a case where the start time "00:00:00" of the main content is adopted as the synchronization reference timing will be described.

（２）コンテンツ再生システムで用いられるユーザ端末２００には、同期ポイントＩＤと、同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて格納した第１テーブルと、同期基準タイミングを基準として実演の進行に合わせて再生する字幕等の第１サブコンテンツの開始予定タイミングを格納する第２テーブルとが予め記憶される（又は、アクセス可能に設定される）。 (2) In the user terminal 200 used in the content reproduction system, the first table in which the synchronization point ID and the scheduled timing of the synchronization point based on the synchronization reference timing are stored in association with each other and the synchronization reference timing are used as a reference. A second table that stores the scheduled start timing of the first sub-content such as subtitles to be played along with the progress of the demonstration is stored in advance (or is set to be accessible).

（３）実演の本番当日において、舞台側でオペレータは、メインコンテンツである実演が開始されると、当該メインコンテンツの進行をモニターし、遅延等が発生した場合は、それを考慮してＢＧＭの再生タイミングを修正して再生制御する。この結果、メインコンテンツの実際の進行に応じたタイミングでＢＧＭが再生され、当該ＢＧＭの再生と共に同期ポイントＩＤが出力される。ユーザ端末２００において、当該ＢＧＭがマイク等で集音されると、当該ＢＧＭに埋め込まれている同期ポイントＩＤを検出し、検出された同期ポイントＩＤと第１テーブルとに基づき、該当する同期ポイントの予定タイミングを取得する。コンテンツ再生システムは、当該取得された同期ポイントの予定タイミングと、当該同期ポイントＩＤが検出されたタイミングとの差分（進行の遅延等による予定とのずれ）を取得し、当該差分と第２テーブルに基づき、実演の進行予定とのずれを反映させて、字幕を実際に開始させるタイミングを判定する。コンテンツ再生システムは、当該判定した開始タイミングに基づき、ユーザ端末２００において字幕を再生させる。 (3) On the day of the performance, the operator on the stage side monitors the progress of the main content when the performance, which is the main content, is started, and if a delay occurs, the BGM playback timing is taken into consideration. Is modified to control playback. As a result, the BGM is reproduced at the timing corresponding to the actual progress of the main content, and the synchronization point ID is output together with the reproduction of the BGM. When the BGM is collected by a microphone or the like in the user terminal 200, the synchronization point ID embedded in the BGM is detected, and the synchronization point ID of the corresponding synchronization point is based on the detected synchronization point ID and the first table. Get the scheduled timing. The content playback system acquires the difference between the scheduled timing of the acquired synchronization point and the timing at which the synchronization point ID is detected (difference from the schedule due to a delay in progress, etc.), and displays the difference and the second table. Based on this, the timing to actually start the subtitle is determined by reflecting the deviation from the progress schedule of the demonstration. The content reproduction system reproduces the subtitles on the user terminal 200 based on the determined start timing.

上記構成によれば、進行時間が変動してしまう実演等のメインコンテンツにおいても、ＢＧＭ等の第２サブコンテンツの透かしデータの埋め込みタイミングに限定されず、任意のタイミングで、第１サブコンテンツの再生を制御することができる。 According to the above configuration, even in the main content such as a demonstration in which the progress time fluctuates, the reproduction of the first sub-content is performed at an arbitrary timing without being limited to the embedding timing of the watermark data of the second sub-content such as BGM. Can be controlled.

また、上記構成によれば、オペレータが張り付いて舞台の進行に合わせて字幕の再生操作を行わなくとも、少ない誤差で、舞台上の進行とユーザ端末２００の字幕の再生進行とを同期させることもできる。 Further, according to the above configuration, even if the operator does not stick and perform the subtitle playback operation according to the progress of the stage, the progress on the stage and the playback progress of the subtitle of the user terminal 200 can be synchronized with a small error. You can also.

＜２．ハードウェア構成＞
図２は、オペレータ端末１００及びユーザ端末２００（以下、「ユーザ端末２００等」という）のハードウェア構成の一例を示す図である。ユーザ端末２００等は、第１サブコンテンツを再生可能な端末であれば足り、例えば、スマートフォン、タブレット端末、ラップトップ端末、デスクトップ端末又はメガネ型やリストバンド型等のウェアラブル端末等の情報端末であってもよい。図２に示すように、ユーザ端末２００等は、プロセッサ１１０、記憶装置１１５、通信インタフェース（Ｉ／Ｆ）１２０、音声入力装置１２５、音声出力装置１３０、操作入力装置１３５及び表示出力装置１４０を備える。 <2. Hardware configuration>
FIG. 2 is a diagram showing an example of the hardware configuration of the operator terminal 100 and the user terminal 200 (hereinafter referred to as “user terminal 200 and the like”). The user terminal 200 or the like is sufficient as long as it is a terminal capable of playing the first sub-content, and is, for example, an information terminal such as a smartphone, a tablet terminal, a laptop terminal, a desktop terminal, or a wearable terminal such as a glasses type or a wristband type. You may. As shown in FIG. 2, the user terminal 200 and the like include a processor 110, a storage device 115, a communication interface (I / F) 120, a voice input device 125, a voice output device 130, an operation input device 135, and a display output device 140. ..

プロセッサ１１０は、データの演算、加工及び転送並びにプログラムの実行や他の装置の制御等を担う処理装置である。プロセッサ１１０は、記憶装置１１５に格納されているプログラムを実行することにより、ユーザ端末２００における様々な機能を実現することができる。 The processor 110 is a processing device that is responsible for data calculation, processing, transfer, program execution, control of other devices, and the like. The processor 110 can realize various functions in the user terminal 200 by executing a program stored in the storage device 115.

記憶装置１１５は、主記憶装置（例えば、揮発性メモリ、ランダムアクセスメモリ等）、補助記憶装置（例えば、不揮発性メモリ等）又は外部記憶装置等のプログラムやデータを記憶する装置である。 The storage device 115 is a device that stores programs and data such as a main storage device (for example, volatile memory, random access memory, etc.), an auxiliary storage device (for example, non-volatile memory, etc.), or an external storage device.

通信インタフェース１２０は、外部の装置との間でプログラムやデータの送受信を行うためのインタフェース装置である。通信インタフェース１２０は、例えば、携帯電話の通信網用のインタフェースや、無線ＬＡＮ（Local Area Network）用のインタフェースを含む。通信インタフェース１２０は、有線のインタフェースを含んでもよい。 The communication interface 120 is an interface device for transmitting and receiving programs and data to and from an external device. The communication interface 120 includes, for example, an interface for a communication network of a mobile phone and an interface for a wireless LAN (Local Area Network). The communication interface 120 may include a wired interface.

音声入力装置１２５は、周囲の音を検出するための入力装置である。音声入力装置１２５は、例えば、マイク等である。音声入力装置１２５は、可聴域の音に限らず、非可聴域の音も検出することができる。音声入力装置１２５は、ユーザ端末２００等の外部に設けられていてもよい。 The voice input device 125 is an input device for detecting ambient sound. The voice input device 125 is, for example, a microphone or the like. The voice input device 125 can detect not only the sound in the audible range but also the sound in the non-audible range. The voice input device 125 may be provided outside the user terminal 200 or the like.

音声出力装置１３０は、音を出力するための出力装置である。音声出力装置１３０は、例えば、スピーカ等である。また、音声出力装置１３０は、イヤホンに音を出力するための装置であってもよい。第１サブコンテンツが音（例えば音声ガイドや吹き替え音声）を含む場合、当該音は音声出力装置１３０から出力される。 The audio output device 130 is an output device for outputting sound. The audio output device 130 is, for example, a speaker or the like. Further, the audio output device 130 may be a device for outputting sound to the earphones. When the first sub-content includes a sound (for example, a voice guide or a dubbed voice), the sound is output from the voice output device 130.

操作入力装置１３５は、ユーザやオペレータからの操作入力を受け付けるための装置である。操作入力装置１３５は、例えば、表示出力装置１４０と一体的に形成されたタッチパネルであってもよい。操作入力装置１３５は、ユーザ端末２００等の外部に設けられてもよく、例えば、キーボードやマウスパット等でもよい。 The operation input device 135 is a device for receiving operation input from a user or an operator. The operation input device 135 may be, for example, a touch panel integrally formed with the display output device 140. The operation input device 135 may be provided outside the user terminal 200 or the like, and may be, for example, a keyboard, a mouse pad, or the like.

表示出力装置１４０は、画像（静止画又は動画）を表示するための出力装置である。表示出力装置１４０、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイである。表示出力装置１４０は、ユーザ端末２００等の外部に設けられていてもよい。第１サブコンテンツが画像（例えば字幕）を含む場合、当該画像はユーザ端末２００の表示出力装置１４０に表示される。 The display output device 140 is an output device for displaying an image (still image or moving image). The display output device 140, for example, a liquid crystal display or an organic EL (Electroluminescence) display. The display output device 140 may be provided outside the user terminal 200 or the like. When the first sub-content includes an image (for example, subtitles), the image is displayed on the display output device 140 of the user terminal 200.

＜３．機能構成＞
＜３．１オペレータ端末１００の機能構成＞
図３は、オペレータ端末１００の機能構成の一例を示す図である。オペレータ端末１００は、入力部１５０と、出力部１５５と、制御部１６０と、記憶部１６５とを備える。図３に示す各部は、例えば、記憶装置１１５の記憶領域を用いたり、記憶装置１１５に格納されたプログラム（コンテンツ再生プログラム）をプロセッサ１１０が実行したりすることにより実現することができる。 <3. Function configuration>
<3.1 Functional configuration of operator terminal 100>
FIG. 3 is a diagram showing an example of the functional configuration of the operator terminal 100. The operator terminal 100 includes an input unit 150, an output unit 155, a control unit 160, and a storage unit 165. Each part shown in FIG. 3 can be realized, for example, by using the storage area of the storage device 115 or by executing the program (content reproduction program) stored in the storage device 115 by the processor 110.

入力部１５０は、オペレータ端末１００において各種情報の入力を受け付ける。入力部１５０は、例えば、オペレータからの第２サブコンテンツの再生に関する入力を受け付けてもよい。入力部１５０は、オペレータ端末１００に接続されたキーボードへの操作入力を受け付けたり、オペレータ端末１００に内蔵されたマイクを用いて音声入力したりと、様々な入力態様を含む。 The input unit 150 receives input of various information in the operator terminal 100. The input unit 150 may accept, for example, an input regarding reproduction of the second sub-content from the operator. The input unit 150 includes various input modes such as receiving an operation input to a keyboard connected to the operator terminal 100 and inputting voice using a microphone built in the operator terminal 100.

出力部１５５は、オペレータ端末１００において各種情報を出力する。出力部１５５は、オペレータ端末１００の画面に表示したり、オペレータ端末１００に内蔵されたスピーカを用いて音声出力したりと、様々な出力態様を含む。また、出力部１５５は、例えば、第２サブコンテンツを出力してもよい。 The output unit 155 outputs various information in the operator terminal 100. The output unit 155 includes various output modes such as displaying on the screen of the operator terminal 100 and outputting voice by using the speaker built in the operator terminal 100. Further, the output unit 155 may output, for example, the second sub-content.

制御部１６０は、入力部１５０が受け付けた入力内容に基づいて、第２サブコンテンツの再生を制御する。 The control unit 160 controls the reproduction of the second sub-content based on the input content received by the input unit 150.

記憶部１６５は、例えば、第２サブコンテンツを記憶してもよい。また、記憶部１６５は、例えば、オペレータからの操作内容を示す操作データを記憶してもよい。 The storage unit 165 may store, for example, the second sub-content. Further, the storage unit 165 may store, for example, operation data indicating the operation content from the operator.

＜３．２ユーザ端末２００の機能構成及び再生制御の仕組み＞
最初に、図５〜６を用いて、コンテンツ再生システムの再生制御の仕組みについて説明する。図５〜６は、舞台側において、メインコンテンツとして実演が行われ、当該実演に合わせた第２サブコンテンツとして「ＢＧＭ１」〜「ＢＧＭ２」が再生される状況と、ユーザ端末２００において、当該実演に合わせてＢＧＭと共に、第１サブコンテンツとして「字幕１」〜「字幕２」が再生される状況とを表している。 <3.2 Functional configuration of user terminal 200 and mechanism of playback control>
First, the mechanism of the reproduction control of the content reproduction system will be described with reference to FIGS. 5 to 6. FIGS. 5 to 6 show a situation in which a demonstration is performed as the main content on the stage side and "BGM1" to "BGM2" are played as the second sub-contents in accordance with the demonstration, and in the user terminal 200, the demonstration is performed. It represents a situation in which "subtitle 1" to "subtitle 2" are played as the first sub-content together with the BGM.

ここで、「メインコンテンツ」とは、進行時間が変動するコンテンツである。この様なメインコンテンツとしては、例えば、人による演劇、ダンス若しくはパフォーマンス又は動物を用いたショー等の生物による実演等のコンテンツが考えられる。また、メインコンテンツは、各サブコンテンツの再生制御において基準となるコンテンツでもある。メインコンテンツは、具体的には、各サブコンテンツの再生を同期させるための基準とするタイミングを示す同期基準タイミングが設定されている。 Here, the "main content" is content whose progress time fluctuates. As such main content, for example, content such as a play by a person, a dance or a performance, or a demonstration by a living thing such as a show using animals can be considered. The main content is also a reference content in the reproduction control of each sub-content. Specifically, the main content is set with a synchronization reference timing indicating a reference timing for synchronizing the reproduction of each sub-content.

また、「第１サブコンテンツ」とは、メインコンテンツの進行に応じてユーザ端末２００等で再生されるコンテンツである。この様なサブコンテンツとしては、例えば、テキスト情報（例えば、字幕やガイド等）、音（例えば、音楽又は音声ガイド等）、画像（例えば、手話画像又は説明画像等）、光や振動等による演出（例えば、端末に内蔵されるランプの点滅、携帯のバイブレーション又は端末に接続されたペンライトによる発光等）等のコンテンツが考えられる。第１サブコンテンツは、例えば、メインコンテンツが実演の場合、当該実演に連動して再生される字幕等のテキスト情報であってもよい。 Further, the "first sub-content" is content to be played on the user terminal 200 or the like according to the progress of the main content. Such sub-content includes, for example, text information (for example, subtitles, guides, etc.), sound (for example, music or audio guide, etc.), images (for example, handwriting images or explanatory images, etc.), directing by light, vibration, or the like. Content such as (for example, blinking of a lamp built in the terminal, vibration of a mobile phone, light emission by a penlight connected to the terminal, etc.) can be considered. For example, when the main content is a demonstration, the first sub-content may be text information such as subtitles to be played in conjunction with the demonstration.

また、「第２サブコンテンツ」とは、第１サブコンテンツと共にメインコンテンツの進行に応じて再生されるコンテンツである。第２サブコンテンツは、例えば、オペレータ端末１００におけるオペレータの操作等に基づいて、スピーカ３００等の劇場等の施設に設置される機器によって再生される。この様なサブコンテンツとしては、例えば、音（例えば、ＢＧＭ又は効果音等）、画像（例えば、ライブ映像又はスクリーン映像等）、光による演出（例えば、スポットライトやサイリウム等による発光）等のコンテンツが考えられる。第２サブコンテンツには、第１サブコンテンツの再生を制御するための透かしデータが埋め込まれており、第２サブコンテンツの再生によって、第１サブコンテンツの再生を制御することができる。ここで「透かしデータ」とは、任意の電子透かし技術を利用して、画像や音楽等のコンテンツに埋め込まれる、特定の情報（本例の場合、「同期ポイントＩＤ」）を示すデータである。 Further, the "second sub-content" is content that is reproduced together with the first sub-content according to the progress of the main content. The second sub-content is reproduced by a device installed in a facility such as a theater such as a speaker 300, based on, for example, an operator's operation on the operator terminal 100. Such sub-content includes, for example, sound (for example, BGM or sound effect), image (for example, live image or screen image, etc.), light effect (for example, light emission by spotlight, psyllium, etc.) and the like. Can be considered. Watermark data for controlling the reproduction of the first sub-content is embedded in the second sub-content, and the reproduction of the first sub-content can be controlled by the reproduction of the second sub-content. Here, the "watermark data" is data indicating specific information (in this example, "synchronization point ID") embedded in content such as an image or music by using an arbitrary digital watermarking technique.

図５は、予め設定されたコンテンツ再生のスケジュールを示している。図５に示す例では、舞台側では、同期基準タイミングである実演開始時刻「00:00:00」を基準として、「ＢＧＭ１」は「00:05:00」、「ＢＧＭ２」は「00:30:00」の開始予定タイミングで再生されることがスケジューリングされている。 FIG. 5 shows a preset content reproduction schedule. In the example shown in FIG. 5, on the stage side, "BGM1" is "00:05:00" and "BGM2" is "00:30" based on the demonstration start time "00:00:00" which is the synchronization reference timing. It is scheduled to be played at the scheduled start timing of ": 00".

一方、ユーザ端末２００では、「字幕１」は「00:12:00」、「字幕２」は「00:43:00」の開始予定タイミングで再生されることがスケジューリングされている。また、図５において、実演における「字幕２」を開始させたいポイントについて、Ｐの丸マーク（以下、「ポイントＰ」という）を付与する。当該スケジュールにおいては、ポイントＰのタイミングと「字幕２」の開始予定タイミングが合うようにスケジューリングされている。 On the other hand, in the user terminal 200, it is scheduled that "subtitle 1" is played at "00:12:00" and "subtitle 2" is played at the scheduled start timing of "00:43:00". Further, in FIG. 5, a circle mark of P (hereinafter referred to as “point P”) is added to the point at which “subtitle 2” in the demonstration is desired to be started. In the schedule, the timing of the point P and the scheduled start timing of "subtitle 2" are scheduled to match.

図６の舞台側においては、実演の本番当日において、実演の進行が、実演者の演技が長引く等して予定より遅延している（本例では、１秒遅延しているものとする）状況を示している。遅延の発生以降のＢＧＭの再生は、オペレータが遅延を考慮して再生タイミングを修正する結果、予定より５分ずつおくれて再生される。図６では、遅延以降に再生されるＢＧＭの再生タイミングが予定されていた「00:30:00」より５分遅れて「00:35:00」に再生される様子が示されている。 On the stage side of FIG. 6, on the day of the performance, the progress of the performance is delayed from the schedule due to the performance of the performer being prolonged (in this example, it is assumed that the performance is delayed by 1 second). Is shown. As a result of the operator correcting the reproduction timing in consideration of the delay, the reproduction of the BGM after the occurrence of the delay is reproduced 5 minutes later than the schedule. FIG. 6 shows how the BGM to be reproduced after the delay is reproduced at “00:35:00”, which is 5 minutes later than the scheduled reproduction timing of “00:30:00”.

一方、図６のユーザ端末２００においては、コンテンツ再生システムが当該遅延による進行のずれを吸収し、実演の進行に「字幕２」の進行を同期させている状況を示している。具体的には、「ＢＧＭ２」に埋め込まれた透かしデータとして同期ポイントＩＤ「ID:002」が「ＢＧＭ２」と共に出力されると、ユーザ端末２００において、（１）当該同期ポイントＩＤを検出し、（２）当該検出された同期ポイントＩＤと同期ポイントＩＤと当該同期ポイントの予定タイミングとを対応付けて格納した第１テーブルとに基づき、同期ポイントＩＤ「ID:002」の予定タイミング「00:30:00」を取得し、当該取得された予定タイミングと当該同期ポイントＩＤが検出されたタイミング「00:35:00」との差分（遅延によるずれ５分）を取得し、（３）ユーザ端末２００は、「字幕２」の開始タイミングを、予め設定された開始予定タイミング「00:43:00」に対して当該差分を反映させることで「00:48:00」と判定し、当該開始タイミングで「字幕２」の再生を開始させる。 On the other hand, in the user terminal 200 of FIG. 6, the content reproduction system absorbs the deviation of the progress due to the delay and synchronizes the progress of the “subtitle 2” with the progress of the demonstration. Specifically, when the synchronization point ID "ID: 002" is output together with the "BGM2" as the watermark data embedded in the "BGM2", the user terminal 200 detects (1) the synchronization point ID and (1) 2) Based on the first table that stores the detected synchronization point ID, the synchronization point ID, and the scheduled timing of the synchronization point in association with each other, the scheduled timing "00:30:" of the synchronization point ID "ID: 002". "00" is acquired, and the difference (5 minutes due to delay) between the acquired scheduled timing and the timing "00:35:00" when the synchronization point ID is detected is acquired, and (3) the user terminal 200 , The start timing of "subtitle 2" is determined to be "00:48:00" by reflecting the difference with respect to the preset scheduled start timing "00:43:00", and "00:48:00" is determined at the start timing. Start playing "Subtitle 2".

上記構成によれば、舞台側の実演等のメインコンテンツにおいて遅延が発生し、予定より進行時間が変動しても、実演等のメインコンテンツの遅延の発生した進行に合わせた適切なタイミングで、字幕等の第１サブコンテンツの再生を開始させることができる。 According to the above configuration, even if a delay occurs in the main content such as a performance on the stage side and the progress time fluctuates from the schedule, subtitles etc. Playback of the first sub-content can be started.

図４は、ユーザ端末２００の機能構成の一例を示す図である。ユーザ端末２００は、検出部２１０と、取得部２１５と、判定部２２０と、制御部２２５と、記憶部２３０と、を備える。図４に示す各部は、例えば、記憶装置１１５の記憶領域を用いたり、記憶装置１１５に格納されたプログラム（コンテンツ再生プログラム）をプロセッサ１１０が実行したりすることにより実現することができる。 FIG. 4 is a diagram showing an example of the functional configuration of the user terminal 200. The user terminal 200 includes a detection unit 210, an acquisition unit 215, a determination unit 220, a control unit 225, and a storage unit 230. Each part shown in FIG. 4 can be realized, for example, by using the storage area of the storage device 115 or by executing the program (content reproduction program) stored in the storage device 115 by the processor 110.

検出部２１０は、メインコンテンツの進行に応じて再生される第２サブコンテンツから、透かしデータとして埋め込まれている同期ポイントＩＤを検出する。 The detection unit 210 detects the synchronization point ID embedded as the watermark data from the second sub-content that is reproduced as the main content progresses.

取得部２１５は、検出部２１０で検出された同期ポイントＩＤと第１テーブルとに基づき、同期ポイントのタイミングを取得する。取得部２１５は、当該取得した同期ポイントのタイミングと同期基準タイミングを基準とした同期ポイントＩＤの検出タイミングとの差分を取得する。 The acquisition unit 215 acquires the timing of the synchronization point based on the synchronization point ID detected by the detection unit 210 and the first table. The acquisition unit 215 acquires the difference between the timing of the acquired synchronization point and the detection timing of the synchronization point ID based on the synchronization reference timing.

判定部２２０は、取得部２１５で取得された差分と、第２テーブルとに基づき、第１サブコンテンツの開始タイミングを判定する。 The determination unit 220 determines the start timing of the first sub-content based on the difference acquired by the acquisition unit 215 and the second table.

制御部２２５は、判定部２２０で判定された第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツの再生を制御する。 The control unit 225 controls the reproduction of the first sub-content based on the start timing of the first sub-content determined by the determination unit 220.

記憶部２３０は、第１テーブルと、第２テーブルとを記憶する。記憶部２３０は、例えば、後述する第３テーブルを記憶してもよい。なお、記憶部２３０は、各テーブルの記憶にあたっては、ＲＤＢやＮｏＳＱＬ等のデータベースシステムを利用してもよいし、ファイルシステムを利用してもよい。記憶部２３０は、例えば、コンテンツ再生プログラムを記憶してもよい。 The storage unit 230 stores the first table and the second table. The storage unit 230 may store, for example, a third table described later. The storage unit 230 may use a database system such as RDB or NoSQL or a file system for storing each table. The storage unit 230 may store, for example, a content reproduction program.

＜テーブル構成＞
ここで、図７を用いて、第１テーブル４１０と、第２テーブル４２０とについて詳細に説明する。なお、各テーブルは理解を容易にするため、各情報を直接的に対応付けて一つのテーブルで格納するよう表現しているが、これに限定せず、複数のテーブルに渡って間接的に対応付けて格納するようにしてもよい。 <Table structure>
Here, the first table 410 and the second table 420 will be described in detail with reference to FIG. 7. In addition, in order to facilitate understanding, each table is expressed so that each information is directly associated and stored in one table, but it is not limited to this, and it corresponds indirectly across multiple tables. It may be attached and stored.

図７に示すように、第１テーブル４１０は、同期ポイントＩＤ４１２と、同期予定タイミング４１４とを対応付けて格納する。第１テーブル４１０は、例えば、同期ポイントＩＤ４１２「001」と、当該同期ポイントＩＤが特定する同期予定タイミング４１４「00:05:00」とを対応付けて格納する。なお、同期予定タイミング４１４は、同期基準タイミングを基準として、例えば、メインコンテンツに対する第１サブコンテンツの編成又は演出等に応じて任意のタイミング等を設定すればよい。同期予定タイミング４１４は、具体的には、同期基準タイミングから５秒、１０秒、１分等の等間隔で設定してもよいし、各ＢＧＭが再生開始となるタイミングで設定してもよい。 As shown in FIG. 7, the first table 410 stores the synchronization point ID 412 and the synchronization scheduled timing 414 in association with each other. The first table 410 stores, for example, the synchronization point ID 412 "001" and the synchronization schedule timing 414 "00:05:00" specified by the synchronization point ID in association with each other. The synchronization schedule timing 414 may be set to an arbitrary timing or the like according to, for example, the organization or production of the first sub-content with respect to the main content, with the synchronization reference timing as a reference. Specifically, the scheduled synchronization timing 414 may be set at equal intervals such as 5 seconds, 10 seconds, and 1 minute from the synchronization reference timing, or may be set at the timing when each BGM starts playback.

第２テーブル４２０は、同期基準タイミングを基準とした第１サブコンテンツの開始予定タイミング４２２を格納する。第２テーブル４２０は、例えば、開始予定タイミング４２２と、第１サブコンテンツを示す情報（以下、「第１サブコンテンツ情報」という）４２４とを対応付けて格納してもよい。第１サブコンテンツ情報は、例えば、第１サブコンテンツを特定するための識別情報等である。第１サブコンテンツ情報は、例えば、第１サブコンテンツＩＤ、第１サブコンテンツのタイトル名、第１サブコンテンツが実装されたファイル名、ファイルパス等を含んで構成してもよい。第２テーブル４２０は、例えば、第１サブコンテンツの開始予定タイミング４２２「00:45:00」と当該開始予定の第１サブコンテンツ情報「映像１」とを対応付けて格納してもよい。 The second table 420 stores the scheduled start timing 422 of the first sub-content based on the synchronization reference timing. In the second table 420, for example, the scheduled start timing 422 and the information indicating the first sub-content (hereinafter referred to as “first sub-content information”) 424 may be stored in association with each other. The first sub-content information is, for example, identification information for specifying the first sub-content. The first sub-content information may be configured to include, for example, a first sub-content ID, a title name of the first sub-content, a file name in which the first sub-content is implemented, a file path, and the like. In the second table 420, for example, the scheduled start timing 422 “00:45:00” of the first sub-content may be stored in association with the first sub-content information “video 1” scheduled to start.

ユーザ端末２００は、上記の各部の他に、コンテンツ取得部（不図示）を設けてもよい。コンテンツ取得部は、例えば、ユーザ端末２００で再生制御される第１サブコンテンツやユーザ端末２００で実行されるコンテンツ再生プログラムを、例えばインターネットや外部媒体を介して取得し、記憶部２３０に格納してもよい。なお、第１サブコンテンツは、ユーザ端末２００において、必ずしも、コンテンツ取得部によって取得され、記憶部２３０に格納等されなくてもよい。ユーザ端末２００は、例えば、他の端末に記憶されている第１サブコンテンツを、ユーザ端末２００からの再生制御メッセージの送信によって、再生させてもよい。 The user terminal 200 may be provided with a content acquisition unit (not shown) in addition to the above units. For example, the content acquisition unit acquires the first sub-content whose reproduction is controlled by the user terminal 200 and the content reproduction program executed by the user terminal 200 via the Internet or an external medium, and stores the content in the storage unit 230. May be good. The first sub-content does not necessarily have to be acquired by the content acquisition unit and stored in the storage unit 230 in the user terminal 200. The user terminal 200 may, for example, reproduce the first sub-content stored in another terminal by transmitting a reproduction control message from the user terminal 200.

＜４．処理の流れ＞
図８は、ユーザ端末２００におけるコンテンツ再生処理の一例を示すフローチャートである。図８に示す処理は、例えば、ユーザによるコンテンツ再生プログラムが実装されたアプリケーションに対するインストールリクエスト又は当該アプリケーションを起動したことをトリガーにより開始される。なお、以下に示す処理の順番は一例であって、適宜、変更されてもよい。 <4. Processing flow>
FIG. 8 is a flowchart showing an example of content reproduction processing in the user terminal 200. The process shown in FIG. 8 is started by, for example, an installation request for an application in which a content reproduction program is implemented by a user or a trigger that the application is started. The order of the processes shown below is an example and may be changed as appropriate.

図８に示すように、ユーザ端末２００は、メインコンテンツの進行に応じて再生される第２サブコンテンツから、透かしデータとして埋め込まれている同期ポイントＩＤを検出する（Ｓ７０１）。 As shown in FIG. 8, the user terminal 200 detects a synchronization point ID embedded as watermark data from the second sub-content that is reproduced as the main content progresses (S701).

ユーザ端末２００は、当該検出された同期ポイントＩＤと第１テーブルとに基づき、同期ポイントのタイミングを取得する（Ｓ７０２）。ユーザ端末２００は、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントＩＤの検出タイミングとの差分を取得する（Ｓ７０３）。ユーザ端末２００は、当該取得された差分と第２テーブルとに基づき、第１サブコンテンツの開始タイミングを判定する。（Ｓ７０４）。 The user terminal 200 acquires the timing of the synchronization point based on the detected synchronization point ID and the first table (S702). The user terminal 200 acquires the difference between the scheduled timing of the acquired synchronization point and the detection timing of the synchronization point ID based on the synchronization reference timing (S703). The user terminal 200 determines the start timing of the first sub-content based on the acquired difference and the second table. (S704).

ユーザ端末２００は、当該判定された第１サブコンテンツの開始タイミングに基づき第１サブコンテンツの再生を制御する（Ｓ７０５）。 The user terminal 200 controls the reproduction of the first sub-content based on the determined start timing of the first sub-content (S705).

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。 The embodiments described above are for facilitating the understanding of the present invention, and are not for limiting the interpretation of the present invention. Each element included in the embodiment and its arrangement, material, condition, shape, size, and the like are not limited to those exemplified, and can be appropriately changed. Further, it is possible to partially replace or combine the configurations shown in different embodiments.

（変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記実施の形態に限定されない。以下のような場合も本発明に含まれる。 (Modification example)
Although the present invention has been described based on the above-described embodiment, the present invention is not limited to the above-described embodiment. The following cases are also included in the present invention.

（１）上記実施の形態では、メインコンテンツとして進行時間が変動する実演等を例にしたが、本発明は、例えば、進行時間が実質的に変動しない映画やライブ映像等のコンテンツにおいても適用することが可能である。例えば、メインコンテンツが映画の場合、第１サブコンテンツは映画の字幕等としてもよい。メインコンテンツが、進行時間が変動しないコンテンツであっても、メインコンテンツを再生させる機器と、オペレータ端末１００と、ユーザ端末２００との間でシステム時刻のずれを生じることがあり、本発明を用いることで、各コンテンツ間のこの様なずれを実質的に解消することができる。なお、本発明を用いるにあたっては、ユーザ端末２００のシステム時刻を用いて、当該システム時刻から取得した同期ポイントＩＤの検出タイミングと、第１テーブル４１０に当該同期ポイントＩＤに対応付けられている同期ポイントの予定タイミングとの差分を用いて第１サブコンテンツを再生制御する。 (1) In the above embodiment, a demonstration or the like in which the progress time fluctuates is taken as an example of the main content, but the present invention can be applied to, for example, content such as a movie or a live video in which the progress time does not substantially fluctuate. Is possible. For example, when the main content is a movie, the first sub-content may be a subtitle of the movie or the like. Even if the main content is content whose progress time does not fluctuate, the system time may be different between the device for playing the main content, the operator terminal 100, and the user terminal 200. Such a gap between each content can be substantially eliminated. In using the present invention, the system time of the user terminal 200 is used, the detection timing of the synchronization point ID acquired from the system time, and the synchronization point associated with the synchronization point ID in the first table 410. The reproduction control of the first sub-content is performed using the difference from the scheduled timing of.

（２）上記実施の形態では、制御部２２５は、判定部２２０で判定された開始タイミングで第１サブコンテンツを再生制御するが、例えば、第１サブコンテンツに対して再生の前提となる少なくとも一つの第２サブコンテンツが設定されている場合、前提となる第２サブコンテンツに埋め込まれた同期ポイントＩＤが検出されたことを条件に、当該第１サブコンテンツを再生するように制御してもよい。 (2) In the above embodiment, the control unit 225 controls the reproduction of the first sub-content at the start timing determined by the determination unit 220, but for example, at least one that is a prerequisite for reproduction of the first sub-content. When two second sub-contents are set, the first sub-content may be controlled to be played on condition that the synchronization point ID embedded in the premise second sub-content is detected. ..

ここで、図９と図１０とを用いて、制御部２２５の上記構成について説明する。図９は、コンテンツ再生制御における事象の一例の概要を示す模式図である。図１０は、図９の事象に対するコンテンツ再生システムにおけるコンテンツ再生制御の概要を示す模式図である。 Here, the above configuration of the control unit 225 will be described with reference to FIGS. 9 and 10. FIG. 9 is a schematic diagram showing an outline of an example of an event in content reproduction control. FIG. 10 is a schematic diagram showing an outline of content reproduction control in the content reproduction system for the event of FIG.

図９に示すように、第１サブコンテンツにおける「字幕１」と「字幕２」について、「字幕１」に続いて、実演のポイントＰのタイミング及び第２サブコンテンツの「ＢＧＭ２」と合わせて「字幕２」を再生させるよう自走させていたとする。当該自走の間、メインコンテンツの実演において何らかの遅延（本例での遅延は３分とする）が発生した場合、ユーザ端末２００において第２サブコンテンツ「ＢＧＭ２」の同期ポイントＩＤが検出される前に「字幕２」が実演に対して「00:20:00」に先に出力されてしまう。その後、「ＢＧＭ２」が検出されると、当該検出タイミングにおいて遅延発生による差分を取得して、開始タイミングを判定するため、再度、「00:23:00」に「字幕２」が出力されてしまう事象が考えられる。なお、ここで「自走」とは、ユーザ端末２００等において、外部からの送信メッセージ等のトリガーなく、自端末内で各処理を開始し、実行させていくことをいい、例えば、スケジューラーに予め第１サブコンテンツの再生スケジュールを登録し、当該登録された再生スケジュールに基づき、第１サブコンテンツを順次再生させていくことをいう。 As shown in FIG. 9, regarding "subtitle 1" and "subtitle 2" in the first sub-content, following "subtitle 1", the timing of the demonstration point P and the second sub-content "BGM2" are combined with "BGM2". It is assumed that the user is running to play "Subtitle 2". If some delay occurs in the demonstration of the main content during the self-propelled operation (the delay in this example is 3 minutes), before the synchronization point ID of the second sub-content "BGM2" is detected in the user terminal 200. "Subtitle 2" is output earlier than "00:20:00" for the demonstration. After that, when "BGM2" is detected, "subtitle 2" is output again at "00:23:00" in order to acquire the difference due to the occurrence of delay at the detection timing and determine the start timing. An event is possible. Here, "self-propelled" means that each process is started and executed in the user terminal 200 or the like without a trigger such as a transmission message from the outside. For example, a scheduler is used in advance. It means that the reproduction schedule of the first sub-content is registered, and the first sub-content is sequentially reproduced based on the registered reproduction schedule.

当該事象に対し、図１０に示すように、制御部２２５は、第１サブコンテンツ「字幕２」に対して再生の前提となる第２サブコンテンツとして「ＢＧＭ２」を予め設定し、当該前提となる「ＢＧＭ２」の同期ポイント「ID:001」が検出部２１０で検出されたことを条件に、「字幕２」を再生するように制御する。当該制御によって、実演の進行が遅れてしまっても、「字幕２」の再生を待機させて、「ＢＧＭ２」の同期ポイントＩＤが検出されて初めて「字幕２」を再生させることができる。この様な態様によれば、第１サブコンテンツの再生を自走させている間において、メインコンテンツの再生で遅延が生じても、メインコンテンツの進行に応じた第２サブコンテンツの進行に合わせて第１サブコンテンツを再生することができる。このため、ユーザにとって使用性の高いコンテンツ再生システムを提供することができる。 In response to this event, as shown in FIG. 10, the control unit 225 presets "BGM2" as the second sub-content that is the premise of reproduction for the first sub-content "subtitle 2", and is the premise. Controlled to play "subtitle 2" on condition that the synchronization point "ID: 001" of "BGM2" is detected by the detection unit 210. By this control, even if the progress of the demonstration is delayed, the reproduction of the "subtitle 2" can be made to wait, and the "subtitle 2" can be reproduced only when the synchronization point ID of the "BGM2" is detected. According to such an aspect, even if there is a delay in the reproduction of the main content while the reproduction of the first sub-content is self-propelled, the first is in line with the progress of the second sub-content according to the progress of the main content. Sub-content can be played. Therefore, it is possible to provide a content reproduction system with high usability for the user.

また、図１１を用いて、制御部２２５の上記構成における再生制御処理の一例について説明する。図１１に示すように、イベントドリブン又は固定サイクルで、ユーザ端末２００は、現在時刻（例えば、ユーザ端末２００のシステム時刻等）を取得し、当該取得した現在時刻において開始タイミングとなっている第１サブコンテンツは存在するか判定する（Ｓ７１１）。当該開始タイミングとなっている第１サブコンテンツが存在しない場合（Ｓ７１１のＮＯ）、処理を終了する。 Further, with reference to FIG. 11, an example of the reproduction control process in the above configuration of the control unit 225 will be described. As shown in FIG. 11, in an event-driven or fixed cycle, the user terminal 200 acquires a current time (for example, the system time of the user terminal 200), and the first time is the start timing at the acquired current time. It is determined whether or not the sub-content exists (S711). If the first sub-content at the start timing does not exist (NO in S711), the process ends.

ユーザ端末２００は、当該開始タイミングとなっている第１サブコンテンツが存在する場合（Ｓ７１１のＹＥＳ）、当該第１サブコンテンツに対して再生の前提となる第２サブコンテンツが設定されているか判定する（Ｓ７１２）。当該前提となる第２サブコンテンツが設定されている場合（Ｓ７１２のＹＥＳ）、当該前提となる第２サブコンテンツに埋め込まれ同期ポイントＩＤが検出されたか判定する（Ｓ７１３）。ユーザ端末２００は、当該同期ポイントＩＤが検出されていると判定した場合（Ｓ７１３のＹＥＳ）、上記第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツを再生する（Ｓ７１４）。一方、当該同期ポイントＩＤが検出されていないと判定した場合（Ｓ７１３のＮＯ）、処理を終了する。 When the first sub-content which is the start timing exists (YES in S711), the user terminal 200 determines whether the second sub-content which is a premise of reproduction is set for the first sub-content. (S712). When the premise second sub-content is set (YES in S712), it is determined whether the synchronization point ID embedded in the premise second sub-content is detected (S713). When the user terminal 200 determines that the synchronization point ID has been detected (YES in S713), the user terminal 200 reproduces the first sub-content based on the start timing of the first sub-content (S714). On the other hand, when it is determined that the synchronization point ID has not been detected (NO in S713), the process ends.

ユーザ端末２００は、当該第１サブコンテンツに対して再生の前提となる第２サブコンテンツが設定されていない場合（Ｓ７１２のＮＯ）、上記第１サブコンテンツの開始タイミングに基づき、第１サブコンテンツを再生する（Ｓ７１４）。 When the second sub-content that is a prerequisite for reproduction is not set for the first sub-content (NO in S712), the user terminal 200 uses the first sub-content based on the start timing of the first sub-content. Play (S714).

（３）上記実施の形態では、検出部２１０が検出する透かしデータは、例えば、非可聴領域の音に埋め込まれたデータを含んでもよい。この様な態様によれば、ＢＧＭ等の第２サブコンテンツが配置されていない区間においても、当該非可聴音域の音であればユーザに気付かせることなく、当該音に埋め込んだ同期ポイントＩＤの透かしデータを出力させることもできる。 (3) In the above embodiment, the watermark data detected by the detection unit 210 may include, for example, data embedded in the sound in the inaudible region. According to such an aspect, even in a section where the second sub-content such as BGM is not arranged, if the sound is in the inaudible range, the watermark of the synchronization point ID embedded in the sound is not noticed by the user. It is also possible to output data.

（４）上記実施の形態では、第１テーブルと、第２テーブルとを用いて制御部２２５でコンテンツの再生制御をする例をしたが、本発明は、例えば、同期ポイントＩＤと、第１サブコンテンツ情報とを対応付けて格納する第３テーブルをさらに備え、当該検出された同期ポイントＩＤと第３テーブルとに基づき、当該同期ポイントＩＤに対応付けられた第１サブコンテンツ情報が示す第１サブコンテンツの再生を制御する第２制御部と、を備えてもよい。第２制御部は、例えば、第２テーブルに、当該検出された同期ポイントＩＤが格納されておらず、第３テーブルに当該検出された同期ポイントＩＤが格納されている場合に、当該検出された同期ポイントＩＤと第３テーブルとに基づき、当該同期ポイントＩＤに対応付けられた第１サブコンテンツの再生を制御してもよい。 (4) In the above embodiment, the control unit 225 controls the reproduction of the content by using the first table and the second table. However, in the present invention, for example, the synchronization point ID and the first sub A third table for storing the content information in association with the content information is further provided, and the first sub indicated by the first sub-content information associated with the synchronization point ID based on the detected synchronization point ID and the third table. A second control unit that controls the reproduction of the content may be provided. The second control unit is detected, for example, when the detected synchronization point ID is not stored in the second table and the detected synchronization point ID is stored in the third table. Based on the synchronization point ID and the third table, the reproduction of the first sub-content associated with the synchronization point ID may be controlled.

上記構成によれば、例えば、（１）従来技術のように、第１サブコンテンツを自走させたい区間においては、第１テーブル４１０及び第２テーブル４２０を用いて、一方、（２）第１サブコンテンツを第２サブコンテンツの再生タイミング（透かしデータの埋め込みタイミング等）に合わせて開始させたい区間においては、第１テーブル４１０及び第３テーブルを用いることで、二つの種類の第１サブコンテンツの再生制御を実現することができる。この様な構成によれば、様々なバリエーションのコンテンツ再生制御を、ユーザの操作入力なく実現することができる。 According to the above configuration, for example, in the section where the first sub-content is desired to run by itself as in (1) the prior art, the first table 410 and the second table 420 are used, while (2) the first. In the section where the sub-content is to be started in accordance with the reproduction timing of the second sub-content (such as the embedding timing of the watermark data), by using the first table 410 and the third table, two types of the first sub-content can be used. Playback control can be realized. According to such a configuration, various variations of content reproduction control can be realized without user operation input.

（５）上記変形例（４）では、第３テーブルは、第１テーブル４１０とは別途一つのテーブルとして構成しているが、例えば、第１テーブル４１０とまとめて一つのテーブルを構成してもよい。第３テーブルは、具体的には、第１テーブル４１０とまとめて、第１同期ポイントＩＤを主キーとして、同期予定タイミングと、第１サブコンテンツ情報との３つのカラムから構成してもよいし、同期予定タイミングと第１サブコンテンツ情報とを一つのカラムで共有するよう構成してもよい。この様な構成によれば、参照先のテーブル数を減らすことができ、処理効率のよいコンテンツ再生システムを提供することができる。 (5) In the above modification (4), the third table is configured as one table separately from the first table 410, but for example, one table may be configured together with the first table 410. good. Specifically, the third table may be combined with the first table 410 and may be composed of three columns, the synchronization schedule timing and the first sub-content information, with the first synchronization point ID as the primary key. , The synchronization schedule timing and the first sub-content information may be shared in one column. According to such a configuration, the number of referenced tables can be reduced, and a content reproduction system with high processing efficiency can be provided.

（６）上記実施の形態では、第１サブコンテンツ（字幕）を直列で再生する例について説明しているが、図１２で示すように、第１サブコンテンツを第１サブコンテンツ１と第１サブコンテンツ２とで大きく分けて、例えば、一つのユーザ端末２００において並列で複数の第１サブコンテンツを同時に再生するよう制御してもよい。また、別の例として、複数のユーザ端末２００の間で、ユーザ端末２００ａでは第１サブコンテンツ１を再生するように、また、他方のユーザ端末２００ｂでは第１サブコンテンツ２を再生するように、端末ごとに制御してもよい。また、図１２で示すように、舞台側において、なお、「ＢＧＭ１」には同期ポイントＩＤ「ID:001」及び「ID:002」が設定され、「ＢＧＭ２」には同期ポイントＩＤ「ID:003」が設定されているように、第２サブコンテンツの単位と、設定されている同期ポイントの数は１対１に限らず、１対他でも、他対１でも、他対他でもいずれでもよい。 (6) In the above embodiment, an example in which the first sub-content (subtitle) is reproduced in series is described, but as shown in FIG. 12, the first sub-content is the first sub-content 1 and the first sub. It may be roughly divided into the content 2 and controlled so that, for example, a plurality of first sub-contents are simultaneously played back in parallel on one user terminal 200. Further, as another example, among the plurality of user terminals 200, the first sub-content 1 is played on the user terminal 200a, and the first sub-content 2 is played on the other user terminal 200b. It may be controlled for each terminal. Further, as shown in FIG. 12, on the stage side, the synchronization point IDs "ID: 001" and "ID: 002" are set in "BGM1", and the synchronization point ID "ID: 003" is set in "BGM2". The unit of the second sub-content and the number of synchronization points set are not limited to one-to-one, but may be one-to-other, other-to-one, or other-to-other. ..

上記構成によれば、一つの透かしデータに対して、ユーザ端末２００側で多様に、かつ、柔軟に、第１サブコンテンツを再生することができるので、拡張性の高いコンテンツ再生システムを提供することができる。 According to the above configuration, the first sub-content can be reproduced in various ways and flexibly on the user terminal 200 side for one watermark data, so that a highly expandable content reproduction system can be provided. Can be done.

（７）上記実施の形態では示していないが、ユーザ端末２００は、例えば、スマートフォンの通知ランプやＬＥＤランプ等の発光装置を備えてもよい。発光装置は、例えば、第１サブコンテンツが光による演出を含む場合、当該演出のための光は、当該発光装置によって発光されてもよい。このような構成によれば、ユーザ端末２００を用いてメインコンテンツの進行に合わせて、ユーザにとって趣向性の高い、また、会場全体で様々な演出を実現することができるコンテンツ再生システムを提供することができる。 (7) Although not shown in the above embodiment, the user terminal 200 may include, for example, a light emitting device such as a notification lamp or an LED lamp of a smartphone. As for the light emitting device, for example, when the first sub-content includes an effect by light, the light for the effect may be emitted by the light emitting device. According to such a configuration, it is possible to provide a content reproduction system that is highly appealing to the user and can realize various effects in the entire venue according to the progress of the main content by using the user terminal 200. can.

（８）上記実施の形態では、電子透かし技術を用いて同期ポイントＩＤを検出させる例を説明したが、音声フィンガープリント技術を用いてもよい。「音声フィンガープリント技術」とは、オリジナルとなるデジタル音源から音声波形の特徴を電子的に抽出し、オリジナルの音源よりも小さなデータ（フィンガープリント）として当該抽出された特徴を扱うデジタル音声信号処理技術をいう。コンテンツ再生システムは、例えば、音声入力装置１２５が受け付けた音の波形等の特徴量を抽出し、記憶装置１１５に予め記憶させた音の波形の教師データと照合することで、同期ポイントＩＤを判定し、検出してもよい。 (8) In the above embodiment, the example of detecting the synchronization point ID by using the digital watermarking technique has been described, but the voice fingerprinting technique may be used. "Voice fingerprint technology" is a digital audio signal processing technology that electronically extracts the characteristics of an audio waveform from an original digital sound source and handles the extracted characteristics as data (fingerprint) smaller than the original sound source. To say. The content reproduction system determines the synchronization point ID by, for example, extracting a feature amount such as a sound waveform received by the voice input device 125 and collating it with the teacher data of the sound waveform stored in the storage device 115 in advance. And may be detected.

上記構成によれば、第２サブコンテンツのオリジナルから得られる識別性ある特徴を用いることができるため、第２サブコンテンツに透かしデータを埋め込むことなく、同期ポイントを検出することができる。これにより、汎用性の高いコンテンツ再生システムを提供することができる。 According to the above configuration, since the distinctive feature obtained from the original of the second sub-content can be used, the synchronization point can be detected without embedding the watermark data in the second sub-content. This makes it possible to provide a highly versatile content reproduction system.

１００…オペレータ端末、１１０…プロセッサ、１１５…記憶装置、１２０…通信インタフェース、１２５…音声入力装置、１３０…音声出力装置、１３５…操作入力装置、１４０…表示出力装置、１５０…入力部、１５５…出力部、１６０…制御部、１６５…記憶部、２００、２００ａ、２００ｂ、２００ｃ…ユーザ端末、２１０…検出部、２１５…取得部、２２０…判定部、２２５…制御部、２３０…記憶部、３００、３００ａ、３００ｂ…スピーカ、４１０…第１テーブル、４２０…第２テーブル 100 ... Operator terminal, 110 ... Processor, 115 ... Storage device, 120 ... Communication interface, 125 ... Voice input device, 130 ... Voice output device, 135 ... Operation input device, 140 ... Display output device, 150 ... Input unit, 155 ... Output unit, 160 ... Control unit, 165 ... Storage unit, 200, 200a, 200b, 200c ... User terminal, 210 ... Detection unit, 215 ... Acquisition unit, 220 ... Judgment unit, 225 ... Control unit, 230 ... Storage unit, 300 , 300a, 300b ... Speaker, 410 ... First table, 420 ... Second table

Claims

コンピュータに、
同期ポイントＩＤと、同期基準タイミングを基準とした第１のタイミングとを対応付けて格納する第１テーブルと、
第１サブコンテンツを示す情報と、前記同期基準タイミングを基準とした第２のタイミングとを対応づけて格納する第２テーブルであって、前記第２のタイミングは、前記第１のタイミングとは独立して設定される、第２テーブルと、
メインコンテンツの進行に応じて再生される第２サブコンテンツに基づいて、前記第２サブコンテンツに埋め込まれている前記同期ポイントＩＤ、又は前記第２サブコンテンツから抽出した特徴量に対応する前記同期ポイントＩＤを検出する検出機能と、
前記検出された同期ポイントＩＤと前記第１テーブルとに基づき、前記検出された同期ポイントＩＤに対応する前記第１のタイミングを取得し、当該取得した第１のタイミングと前記同期基準タイミングを基準とした前記同期ポイントＩＤの検出タイミングとの差分を取得する取得機能と、
前記第１サブコンテンツについて、前記取得された差分と、前記第２テーブルにおいて前記第１サブコンテンツを示す情報に対応する前記第２のタイミングとに基づき、開始タイミングを判定する判定機能と、
前記判定された第１サブコンテンツの開始タイミングに基づき、前記第１サブコンテンツの再生を制御する制御機能と、を実現させるための、
コンテンツ再生プログラム。 On the computer
A first table that stores the synchronization point ID and the first timing based on the synchronization reference timing in association with each other.
A second table in which information indicating the first sub-content and a second timing based on the synchronization reference timing are stored in association with each other, and the second timing is independent of the first timing. The second table, which is set in
Based on the second sub-content that is played according to the progress of the main content, the synchronization point ID embedded in the second sub-content or the synchronization point ID corresponding to the feature amount extracted from the second sub-content. With the detection function to detect
Based on the detected synchronization point ID and the first table, the first timing corresponding to the detected synchronization point ID is acquired, and the acquired first timing and the synchronization reference timing are used as a reference. The acquisition function to acquire the difference from the detection timing of the synchronization point ID,
A determination function for determining the start timing of the first sub-content based on the acquired difference and the second timing corresponding to the information indicating the first sub-content in the second table.
A control function for controlling the reproduction of the first sub-content based on the determined start timing of the first sub-content.
Content playback program.

前記制御機能は、前記第１サブコンテンツに対して再生の前提となる少なくとも一つの前記第２サブコンテンツが設定されている場合、前記前提となる第２サブコンテンツに基づいて前記同期ポイントＩＤが検出されたことを条件に、前記第１サブコンテンツを再生するように制御する
請求項１に記載のコンテンツ再生プログラム。 When at least one second sub-content that is a prerequisite for reproduction is set for the first sub-content, the control function detects the synchronization point ID based on the second sub-content that is the premise. The content reproduction program according to claim 1, which controls the reproduction of the first sub-content on the condition that the content is reproduced.

前記第１サブコンテンツは、前記第２サブコンテンツと共に前記メインコンテンツの進行に応じて再生されるテキスト情報、音、画像、又は光や振動による演出のコンテンツであり、前記第２サブコンテンツは、前記メインコンテンツの進行に応じて再生される音、画像、又は光による演出のコンテンツである、
請求項１又は２に記載のコンテンツ再生プログラム。 The first sub-content is text information, sound, image, or content produced by light or vibration, which is reproduced together with the second sub-content according to the progress of the main content, and the second sub-content is the main content. Content that is produced by sound, images, or light that is played according to the progress of
The content reproduction program according to claim 1 or 2.

前記同期ポイントＩＤと、前記第１サブコンテンツを示す情報とを対応付けて格納する第３テーブルと、
前記同期ポイントＩＤが前記検出機能で検出された場合、前記検出された同期ポイントＩＤと前記第３テーブルとに基づき、前記同期ポイントＩＤに対応付けられた前記情報が示す前記第１サブコンテンツの再生を制御する第２制御機能と、を実現させるための、
請求項１から３のいずれか１項に記載のコンテンツ再生プログラム。 A third table that stores the synchronization point ID and the information indicating the first sub-content in association with each other.
When the synchronization point ID is detected by the detection function, the reproduction of the first sub-content indicated by the information associated with the synchronization point ID based on the detected synchronization point ID and the third table. To realize the second control function that controls
The content reproduction program according to any one of claims 1 to 3.

前記第２サブコンテンツから抽出した特徴量は、前記第２サブコンテンツからフィンガープリントとして抽出した特徴量を含む、
請求項１から４のいずれか１項に記載のコンテンツ再生プログラム。 The feature amount extracted from the second sub-content includes the feature amount extracted as a fingerprint from the second sub-content.
The content reproduction program according to any one of claims 1 to 4.

前記第１サブコンテンツは、第１の種類の第１サブコンテンツと、第２の種類の第１サブコンテンツとを含み、
前記制御機能は、前記第１の種類の第１サブコンテンツと、前記第２の種類の第１サブコンテンツとを並列に再生するように制御する機能を含む、
請求項１から５のいずれか１項に記載のコンテンツ再生プログラム。 The first sub-content includes a first type of first sub-content and a second type of first sub-content.
The control function includes a function of controlling the first sub-content of the first type and the first sub-content of the second type to be reproduced in parallel.
The content reproduction program according to any one of claims 1 to 5.

前記制御機能は、前記コンピュータとは別の装置において前記第１サブコンテンツを再生させるように制御する機能を含む、
請求項１から６のいずれか１項に記載のコンテンツ再生プログラム。 The control function includes a function of controlling the first sub-content to be played on a device other than the computer.
The content reproduction program according to any one of claims 1 to 6.

同期ポイントＩＤと、同期基準タイミングを基準とした第１のタイミングとを対応付けて格納する第１テーブルと、
第１サブコンテンツを示す情報と、前記同期基準タイミングを基準とした第２のタイミングとを対応づけて格納する第２テーブルであって、前記第２のタイミングは、前記第１のタイミングとは独立して設定される、第２テーブルと、
メインコンテンツの進行に応じて再生される第２サブコンテンツに基づいて、前記第２サブコンテンツに埋め込まれている前記同期ポイントＩＤ、又は前記第２サブコンテンツから抽出した特徴量に対応する前記同期ポイントＩＤを検出する検出部と、
前記検出された同期ポイントＩＤと前記第１テーブルとに基づき、前記検出された同期ポイントＩＤに対応する前記第１のタイミングを取得し、当該取得した第１のタイミングと前記同期基準タイミングを基準とした前記同期ポイントＩＤの検出タイミングとの差分を取得する取得部と、
前記第１サブコンテンツについて、前記取得された差分と、前記第２テーブルにおいて前記第１サブコンテンツを示す情報に対応する前記第２のタイミングとに基づき、開始タイミングを判定する判定部と、
前記判定された第１サブコンテンツの開始タイミングに基づき、前記第１サブコンテンツの再生を制御する制御部と、
を備える装置。 A first table that stores the synchronization point ID and the first timing based on the synchronization reference timing in association with each other.
A second table in which information indicating the first sub-content and a second timing based on the synchronization reference timing are stored in association with each other, and the second timing is independent of the first timing. The second table, which is set in
Based on the second sub-content that is played according to the progress of the main content, the synchronization point ID embedded in the second sub-content or the synchronization point ID corresponding to the feature amount extracted from the second sub-content. With a detector that detects
Based on the detected synchronization point ID and the first table, the first timing corresponding to the detected synchronization point ID is acquired, and the acquired first timing and the synchronization reference timing are used as a reference. The acquisition unit that acquires the difference from the detection timing of the synchronization point ID,
A determination unit that determines the start timing of the first sub-content based on the acquired difference and the second timing corresponding to the information indicating the first sub-content in the second table.
Based on the determined start timing of the first sub-content, the control unit that controls the reproduction of the first sub-content, and the control unit.
A device equipped with.

コンピュータが、
同期ポイントＩＤと、同期基準タイミングを基準とした第１のタイミングとを対応付けて第１テーブルに格納するステップと、
第１サブコンテンツを示す情報と、前記同期基準タイミングを基準とした第２のタイミングとを対応づけて第２テーブルに格納するステップであって、前記第２のタイミングは、前記第１のタイミングとは独立して設定される、ステップと、
メインコンテンツの進行に応じて再生される第２サブコンテンツに基づいて、前記第２サブコンテンツに埋め込まれている前記同期ポイントＩＤ、又は前記第２サブコンテンツから抽出した特徴量に対応する前記同期ポイントＩＤを検出するステップと、
前記検出された同期ポイントＩＤと前記第１テーブルとに基づき、前記検出された同期ポイントＩＤに対応する前記第１のタイミングを取得し、当該取得した第１のタイミングと前記同期基準タイミングを基準とした前記同期ポイントＩＤの検出タイミングとの差分を取得するステップと、
前記第１サブコンテンツについて、前記取得された差分と、前記第２テーブルにおいて前記第１サブコンテンツを示す情報に対応する前記第２のタイミングとに基づき、開始タイミングを判定するステップと、
前記判定された第１サブコンテンツの開始タイミングに基づき、前記第１サブコンテンツの再生を制御するステップと、を含む、
コンテンツ再生方法。 The computer
A step of associating the synchronization point ID with the first timing based on the synchronization reference timing and storing it in the first table.
It is a step of associating the information indicating the first sub-content with the second timing based on the synchronization reference timing and storing it in the second table, and the second timing is the same as the first timing. Are set independently, steps and
Based on the second sub-content that is played according to the progress of the main content, the synchronization point ID embedded in the second sub-content or the synchronization point ID corresponding to the feature amount extracted from the second sub-content. And the steps to detect
Based on the detected synchronization point ID and the first table, the first timing corresponding to the detected synchronization point ID is acquired, and the acquired first timing and the synchronization reference timing are used as a reference. And the step of acquiring the difference from the detection timing of the synchronization point ID
A step of determining the start timing of the first sub-content based on the acquired difference and the second timing corresponding to the information indicating the first sub-content in the second table.
A step of controlling the reproduction of the first sub-content based on the determined start timing of the first sub-content is included.
Content playback method.