JP6986036B2 - Content playback program, content playback method and content playback system - Google Patents
Content playback program, content playback method and content playback system Download PDFInfo
- Publication number
- JP6986036B2 JP6986036B2 JP2019036250A JP2019036250A JP6986036B2 JP 6986036 B2 JP6986036 B2 JP 6986036B2 JP 2019036250 A JP2019036250 A JP 2019036250A JP 2019036250 A JP2019036250 A JP 2019036250A JP 6986036 B2 JP6986036 B2 JP 6986036B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- sub
- timing
- synchronization point
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、コンテンツ再生プログラム、コンテンツ再生方法及びコンテンツ再生システムに関する。 The present invention relates to a content reproduction program, a content reproduction method, and a content reproduction system.
近年、映像や音楽等の複数のコンテンツを複数の機器で再生させて、イベント等を総合的に演出するサービスが多く存在する。この様なサービスにおいては、当該複数のコンテンツの進行を、当該複数の機器間で同期させる必要がある。当該同期にあたっては、例えば、演出のメインとなるコンテンツ(以下、「メインコンテンツ」という)の進行に合わせて、その他のサブとなるコンテンツ(以下、「サブコンテンツ」という)の再生タイミングを予め機器等に設定し、当該設定されたタイミングで各サブコンテンツを再生させる方法が考えられる。 In recent years, there are many services that comprehensively produce an event or the like by playing back a plurality of contents such as video and music on a plurality of devices. In such a service, it is necessary to synchronize the progress of the plurality of contents among the plurality of devices. In the synchronization, for example, the playback timing of other sub-contents (hereinafter referred to as "sub-contents") is set in advance on the device or the like in accordance with the progress of the main content of the production (hereinafter referred to as "main content"). A method of setting and playing each sub-content at the set timing can be considered.
しかしながら、俳優や歌手が舞台で劇を演じたり歌ったりする実演等においては、上記の様な方法では、実演等の進行時間が本番に変動するため、実演等のメインコンテンツの進行に合わせて、BGM等のサブコンテンツの再生タイミングを予め設定することが難しいという課題がある。 However, in a performance where an actor or singer plays or sings a play on the stage, the progress time of the performance changes to the actual performance by the above method, so the BGM is adjusted to the progress of the main content such as the performance. There is a problem that it is difficult to set the playback timing of sub-contents such as the above in advance.
当該課題に対して、特許文献1には、音声を伴った映像をメインコンテンツとして、また、当該映像に対するセカンドスクリーン情報(例えば、字幕等)をサブコンテンツとして、セカンドスクリーン情報を映像の進行に応じて携帯デバイスに出力させる方法が開示されている。 In response to this problem, Patent Document 1 describes video with audio as the main content, second screen information (for example, subtitles, etc.) for the video as sub-content, and second screen information according to the progress of the video. A method for outputting to a portable device is disclosed.
具体的には、当該開示された方法では、電子透かし技術を利用して、各映像シーンに対応づけられたセカンドスクリーン情報の識別情報を、映像の音声中に透かしデータとして埋め込み、当該映像の音声と共に出力させる。一方、携帯デバイスには、セカンドスクリーン情報のデータと当該識別情報とが対応付けられて格納されており、携帯デバイスに当該映像の音声が入力されると、当該透かしデータが検出されて、映像シーンに同期させてセカンドスクリーン情報を出力させることができる。ここで「電子透かし技術」とは、映像や音楽等のコンテンツに、透かしデータとして特定の情報を当該コンテンツの音等に埋め込む技術をいう。 Specifically, in the disclosed method, the digital watermarking technology is used to embed the identification information of the second screen information associated with each video scene as watermark data in the audio of the video, and the audio of the video. Output with. On the other hand, the data of the second screen information and the identification information are stored in association with each other in the mobile device, and when the audio of the video is input to the mobile device, the watermark data is detected and the video scene is recorded. The second screen information can be output in synchronization with. Here, the "digital watermarking technology" refers to a technology for embedding specific information as watermark data in the sound or the like of the content such as video or music.
この様な方法を用いれば、例えば、俳優や歌手が舞台で劇を演じたり歌ったりする実演等の進行時間が変動するメインコンテンツに対しても、実演に合わせて流すBGM等のサブコンテンツに透かしデータを埋め込み、当該サブコンテンツに合わせて当該透かしデータが入力されて、メインコンテンツの進行に応じて別のサブコンテンツであるセカンドスクリーン情報等を出力させることができる。 By using such a method, for example, even for the main content whose progress time fluctuates, such as a performance in which an actor or singer plays or sings a play on the stage, watermark data is added to the sub-content such as BGM to be played according to the performance. Is embedded, the watermark data is input according to the sub-content, and the second screen information or the like, which is another sub-content, can be output according to the progress of the main content.
しかしながら、特許文献1に開示されている方法では、各映像シーンに埋め込まれた透かしデータと、セカンドスクリーン情報の識別情報とが1対1で対応付けられているため、各映像シーンに透かしデータが埋め込まれたタイミングでしかセカンドスクリーン情報を出力させることができない。このため、透かしデータの埋め込みタイミングと関係なく、各映像シーンの開始、途中又は終了といった様々なタイミングで字幕等のセカンドスクリーン情報を出力させることができないという問題がある。 However, in the method disclosed in Patent Document 1, since the watermark data embedded in each video scene and the identification information of the second screen information are associated with each other on a one-to-one basis, the watermark data is provided in each video scene. The second screen information can be output only at the embedded timing. Therefore, there is a problem that the second screen information such as subtitles cannot be output at various timings such as the start, the middle, or the end of each video scene regardless of the embedding timing of the watermark data.
そこで、本発明は、進行時間が変動してしまうコンテンツにおいても、コンテンツの透かしデータの埋め込みタイミングに限定されず任意のタイミングで、別のコンテンツの再生を制御するコンテンツ再生プログラム、コンテンツ再生システムを提供することを目的とする。 Therefore, the present invention provides a content reproduction program and a content reproduction system that control the reproduction of another content at an arbitrary timing, not limited to the embedding timing of the watermark data of the content, even for the content whose progress time fluctuates. The purpose is to do.
本発明の一態様に係るコンテンツ再生プログラムは、コンピュータに、透かしデータとして埋め込まれた同期ポイントIDと、メインコンテンツの同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて格納する第1テーブルと、同期基準タイミングを基準とした第1サブコンテンツの開始予定タイミングを格納する第2テーブルと、メインコンテンツの進行に応じて再生される第2サブコンテンツから、透かしデータとして埋め込まれている同期ポイントIDを検出する検出機能と、検出された同期ポイントIDと第1テーブルとに基づき、同期ポイントの予定タイミングを取得し、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントIDの検出タイミングとの差分を取得する取得機能と、取得された差分と第2テーブルとに基づき、第1サブコンテンツの開始タイミングを判定する判定機能と、判定された第1サブコンテンツの開始タイミングに基づき、第1サブコンテンツの再生を制御する制御機能と、を実現させる。 The content reproduction program according to one aspect of the present invention is a first table that stores a synchronization point ID embedded as watermark data in a computer in association with the scheduled timing of the synchronization point based on the synchronization reference timing of the main content. The synchronization point ID embedded as watermark data from the second table that stores the scheduled start timing of the first sub-content based on the synchronization reference timing and the second sub-content that is played according to the progress of the main content. The scheduled timing of the synchronization point is acquired based on the detection function that detects Based on the acquisition function that acquires the difference from the detection timing, the determination function that determines the start timing of the first sub-content based on the acquired difference and the second table, and the determined start timing of the first sub-content. , A control function for controlling the reproduction of the first sub-content.
本発明の一態様に係るコンテンツ再生方法は、コンピュータが、透かしデータとして埋め込まれた同期ポイントIDと、メインコンテンツの同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて第1テーブルに格納するステップと、同期基準タイミングを基準とした第1サブコンテンツの開始予定タイミングを第2テーブルに格納するステップと、メインコンテンツの進行に応じて再生される第2サブコンテンツから、透かしデータとして埋め込まれている同期ポイントIDを検出するステップと、検出された同期ポイントIDと第1テーブルとに基づき、同期ポイントの予定タイミングを取得し、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントIDの検出タイミングとの差分を取得するステップと、取得された差分と第2テーブルとに基づき、第1サブコンテンツの開始タイミングを判定するステップと、判定された第1サブコンテンツの開始タイミングに基づき、第1サブコンテンツの再生を制御するステップと、を含む。 In the content reproduction method according to one aspect of the present invention, the computer stores the synchronization point ID embedded as watermark data in the first table in association with the scheduled timing of the synchronization point based on the synchronization reference timing of the main content. The step to store the scheduled start timing of the first sub-content based on the synchronization reference timing in the second table, and the second sub-content to be played according to the progress of the main content are embedded as watermark data. Based on the step of detecting the existing synchronization point ID, the detected synchronization point ID, and the first table, the scheduled timing of the synchronization point is acquired, and the synchronization is based on the scheduled timing and the synchronization reference timing of the acquired synchronization point. At the step of acquiring the difference from the detection timing of the point ID, the step of determining the start timing of the first sub-content based on the acquired difference and the second table, and the start timing of the determined first sub-content. Based on, it includes a step of controlling the reproduction of the first sub-content.
本発明の一態様に係るコンテンツ再生システムは、ユーザ端末と、オペレータ端末とを含むコンテンツ再生システムであって、ユーザ端末は、透かしデータとして埋め込まれた同期ポイントIDと、メインコンテンツの同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて格納する第1テーブルと、同期基準タイミングを基準とした第1サブコンテンツの開始予定タイミングを格納する第2テーブルと、メインコンテンツの進行に応じて再生される第2サブコンテンツから、透かしデータとして埋め込まれている同期ポイントIDを検出する検出部と、検出された同期ポイントIDと第1テーブルとに基づき、同期ポイントの予定タイミングを取得し、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントIDの検出タイミングとの差分を取得する取得部と、取得された差分と第2テーブルとに基づき、第1サブコンテンツの開始タイミングを判定する判定部と、判定された第1サブコンテンツの開始タイミングに基づき、第1サブコンテンツの再生を制御する制御部と、を備え、オペレータ端末は、オペレータからの第2サブコンテンツの再生に関する入力を受け付ける入力部と、受け付けた入力内容に基づいて、第2サブコンテンツの再生を制御する制御部と、を備える。 The content reproduction system according to one aspect of the present invention is a content reproduction system including a user terminal and an operator terminal, and the user terminal is based on a synchronization point ID embedded as watermark data and a synchronization reference timing of the main content. The first table that stores the scheduled timing of the synchronization point in association with the above, the second table that stores the scheduled start timing of the first sub-content based on the synchronization reference timing, and the second table that is played back according to the progress of the main content. Based on the detection unit that detects the synchronization point ID embedded as watermark data, the detected synchronization point ID, and the first table, the scheduled timing of the synchronization point is acquired from the second sub-content, and the acquisition is performed. The start timing of the first sub-content is determined based on the acquisition unit that acquires the difference between the scheduled timing of the synchronization point and the detection timing of the synchronization point ID based on the synchronization reference timing, and the acquired difference and the second table. The operator terminal includes a determination unit for controlling the reproduction of the first sub-content based on the determined start timing of the first sub-content, and the operator terminal inputs an input regarding the reproduction of the second sub-content from the operator. It includes a receiving input unit and a control unit that controls the reproduction of the second sub-content based on the received input content.
なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や装置が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や装置の機能が1つの物理的手段や装置により実現されてもよい。 In the present invention, the "part" does not simply mean a physical means, but also includes a case where the function of the "part" is realized by software. Further, even if the function of one "part" or device is realized by two or more physical means or devices, the function of two or more "parts" or devices is realized by one physical means or device. You may.
本発明によれば、進行時間が変動してしまうコンテンツにおいても、コンテンツの透かしデータの埋め込みタイミングに限定されず任意のタイミングで、別のコンテンツの再生を制御するコンテンツ再生プログラム、コンテンツ再生方法及びコンテンツ再生システムを提供することができる。 According to the present invention, a content reproduction program, a content reproduction method, and a content that control the reproduction of another content at an arbitrary timing, not limited to the embedding timing of the watermark data of the content, even for the content whose progress time fluctuates. A reproduction system can be provided.
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。また、説明において、各タイミングにおける時刻を記載する場合、hh:mm:ss形式(時=hh、分=mm、秒=ss)で記載する。なお、各タイミングを表す形式は、当該時刻情報に限られず、例えば、固定サイクルでインクリメントされるタイマー値等を用いてもよい。 Preferred embodiments of the present invention will be described with reference to the accompanying drawings. In each figure, those with the same reference numerals have the same or similar configurations. In the description, when the time at each timing is described, it is described in the hh: mm: ss format (hour = hh, minute = mm, second = ss). The format for expressing each timing is not limited to the time information, and for example, a timer value that is incremented in a fixed cycle may be used.
本実施形態では、本実施形態に係るコンテンツ再生システム(以下、単に「コンテンツ再生システム」という)を舞台で行われる実演を含むコンテンツに適用した場合を例に説明するが、これに限る趣旨ではない。 In the present embodiment, the case where the content reproduction system according to the present embodiment (hereinafter, simply referred to as “content reproduction system”) is applied to the content including the demonstration performed on the stage will be described as an example, but the present invention is not limited to this. ..
<1.システム概要>
図1は、コンテンツ再生システムの概略構成を示す図である。コンテンツ再生システムは、図1に示すように、オペレータ端末100、ユーザ端末200a、200b及び200c(コンテンツ再生装置)(以下、特に区別の必要がない場合、総称して「ユーザ端末200」という)、及びスピーカ300a、300b(以下、特に区別の必要がない場合、総称して「スピーカ300」という)を備える。
<1. System overview>
FIG. 1 is a diagram showing a schematic configuration of a content reproduction system. As shown in FIG. 1, the content reproduction system includes an
スピーカ300は、劇場や球場等の実演の本番が行われる施設に設置され、オペレータ端末100は、スピーカ300から出力されるBGM等のコンテンツに対する人(オペレータ)の操作(例えば、BGM等の再生操作等)に利用される。ユーザ端末200では、当該コンテンツの再生に連動して、字幕や音声ガイド等の別のコンテンツが再生される。以降、舞台上で実演を行う演者やオペレータ端末100又はスピーカ300等の施設に設置されている機器等を総称して「舞台側」という。
The speaker 300 is installed in a facility such as a theater or a stadium where a demonstration is performed, and the
舞台で行われる実演を含むコンテンツに適用した場合の本例では、例えば、舞台上ではメインとなるコンテンツ(メインコンテンツ)である実演が行われ、BGM等のサブコンテンツ(第2サブコンテンツ)が当該実演の進行に合わせてオペレータ端末100におけるオペレータの操作で再生される。ユーザ端末200では、実演の進行に合わせてBGMと共に、実演の進行の変動によるずれを反映するための二つテーブルを用いて、字幕等の別のサブコンテンツ(第1サブコンテンツ)が自動で再生される。本例におけるコンテンツ再生システムの概要を次の(1)〜(3)で説明する。なお、コンテンツ再生システムに含まれるコンテンツは、前述のとおり、「メインコンテンツ」と、「第1サブコンテンツ」と、「第2サブコンテンツ」とに大きく分かれて構成されるが、各コンテンツの詳細は後述する。
In this example when applied to content including a demonstration performed on the stage, for example, a demonstration that is the main content (main content) is performed on the stage, and a sub-content (second sub-content) such as BGM is the demonstration. It is reproduced by the operation of the operator in the
(1)コンテンツ再生システムが適用される実演では、本番前に、舞台側において、先ず、メインコンテンツである実演が予定どおり進行した場合のBGMや字幕の再生スケジュールが設定される。次に、BGMが再生される区間中に同期ポイントが設定される。具体的には、実演の開始時刻等の同期基準タイミングを基準としたBGM再生区間中の任意の再生タイミングに、透かしデータとして同期ポイントIDを埋め込む。なお、当該スケジュール及び同期ポイントの設定は、オペレータ端末100等に当該設定の情報を登録し、オペレータの操作等によって適宜編集されてもよい。
(1) In the demonstration to which the content reproduction system is applied, the reproduction schedule of BGM and subtitles is set on the stage side before the actual performance when the demonstration which is the main content proceeds as scheduled. Next, a synchronization point is set during the section in which the BGM is reproduced. Specifically, the synchronization point ID is embedded as watermark data at an arbitrary reproduction timing in the BGM reproduction section based on the synchronization reference timing such as the start time of the demonstration. The schedule and synchronization point settings may be edited by registering the setting information in the
ここで、「同期ポイント」とは、メインコンテンツの進行に対して、サブコンテンツの進行の同期を図るポイントをいう。また「同期ポイントID」とは、同期ポイントを特定するための識別情報である。また、「同期基準タイミング」とは、例えば、メインコンテンツの開始時刻や場面が切り替わるシーンの開始時刻等のタイミングである。以降の説明では、同期基準タイミングとしてメインコンテンツの開始時刻「00:00:00」を採用した場合について説明する。 Here, the "synchronization point" means a point for synchronizing the progress of the sub-content with the progress of the main content. Further, the "synchronization point ID" is identification information for specifying the synchronization point. Further, the "synchronization reference timing" is, for example, a timing such as a start time of the main content or a start time of a scene where the scene is switched. In the following description, a case where the start time "00:00:00" of the main content is adopted as the synchronization reference timing will be described.
(2)コンテンツ再生システムで用いられるユーザ端末200には、同期ポイントIDと、同期基準タイミングを基準とした同期ポイントの予定タイミングとを対応付けて格納した第1テーブルと、同期基準タイミングを基準として実演の進行に合わせて再生する字幕等の第1サブコンテンツの開始予定タイミングを格納する第2テーブルとが予め記憶される(又は、アクセス可能に設定される)。
(2) In the
(3)実演の本番当日において、舞台側でオペレータは、メインコンテンツである実演が開始されると、当該メインコンテンツの進行をモニターし、遅延等が発生した場合は、それを考慮してBGMの再生タイミングを修正して再生制御する。この結果、メインコンテンツの実際の進行に応じたタイミングでBGMが再生され、当該BGMの再生と共に同期ポイントIDが出力される。ユーザ端末200において、当該BGMがマイク等で集音されると、当該BGMに埋め込まれている同期ポイントIDを検出し、検出された同期ポイントIDと第1テーブルとに基づき、該当する同期ポイントの予定タイミングを取得する。コンテンツ再生システムは、当該取得された同期ポイントの予定タイミングと、当該同期ポイントIDが検出されたタイミングとの差分(進行の遅延等による予定とのずれ)を取得し、当該差分と第2テーブルに基づき、実演の進行予定とのずれを反映させて、字幕を実際に開始させるタイミングを判定する。コンテンツ再生システムは、当該判定した開始タイミングに基づき、ユーザ端末200において字幕を再生させる。
(3) On the day of the performance, the operator on the stage side monitors the progress of the main content when the performance, which is the main content, is started, and if a delay occurs, the BGM playback timing is taken into consideration. Is modified to control playback. As a result, the BGM is reproduced at the timing corresponding to the actual progress of the main content, and the synchronization point ID is output together with the reproduction of the BGM. When the BGM is collected by a microphone or the like in the
上記構成によれば、進行時間が変動してしまう実演等のメインコンテンツにおいても、BGM等の第2サブコンテンツの透かしデータの埋め込みタイミングに限定されず、任意のタイミングで、第1サブコンテンツの再生を制御することができる。 According to the above configuration, even in the main content such as a demonstration in which the progress time fluctuates, the reproduction of the first sub-content is performed at an arbitrary timing without being limited to the embedding timing of the watermark data of the second sub-content such as BGM. Can be controlled.
また、上記構成によれば、オペレータが張り付いて舞台の進行に合わせて字幕の再生操作を行わなくとも、少ない誤差で、舞台上の進行とユーザ端末200の字幕の再生進行とを同期させることもできる。
Further, according to the above configuration, even if the operator does not stick and perform the subtitle playback operation according to the progress of the stage, the progress on the stage and the playback progress of the subtitle of the
<2.ハードウェア構成>
図2は、オペレータ端末100及びユーザ端末200(以下、「ユーザ端末200等」という)のハードウェア構成の一例を示す図である。ユーザ端末200等は、第1サブコンテンツを再生可能な端末であれば足り、例えば、スマートフォン、タブレット端末、ラップトップ端末、デスクトップ端末又はメガネ型やリストバンド型等のウェアラブル端末等の情報端末であってもよい。図2に示すように、ユーザ端末200等は、プロセッサ110、記憶装置115、通信インタフェース(I/F)120、音声入力装置125、音声出力装置130、操作入力装置135及び表示出力装置140を備える。
<2. Hardware configuration>
FIG. 2 is a diagram showing an example of the hardware configuration of the
プロセッサ110は、データの演算、加工及び転送並びにプログラムの実行や他の装置の制御等を担う処理装置である。プロセッサ110は、記憶装置115に格納されているプログラムを実行することにより、ユーザ端末200における様々な機能を実現することができる。
The
記憶装置115は、主記憶装置(例えば、揮発性メモリ、ランダムアクセスメモリ等)、補助記憶装置(例えば、不揮発性メモリ等)又は外部記憶装置等のプログラムやデータを記憶する装置である。
The
通信インタフェース120は、外部の装置との間でプログラムやデータの送受信を行うためのインタフェース装置である。通信インタフェース120は、例えば、携帯電話の通信網用のインタフェースや、無線LAN(Local Area Network)用のインタフェースを含む。通信インタフェース120は、有線のインタフェースを含んでもよい。
The
音声入力装置125は、周囲の音を検出するための入力装置である。音声入力装置125は、例えば、マイク等である。音声入力装置125は、可聴域の音に限らず、非可聴域の音も検出することができる。音声入力装置125は、ユーザ端末200等の外部に設けられていてもよい。
The
音声出力装置130は、音を出力するための出力装置である。音声出力装置130は、例えば、スピーカ等である。また、音声出力装置130は、イヤホンに音を出力するための装置であってもよい。第1サブコンテンツが音(例えば音声ガイドや吹き替え音声)を含む場合、当該音は音声出力装置130から出力される。
The
操作入力装置135は、ユーザやオペレータからの操作入力を受け付けるための装置である。操作入力装置135は、例えば、表示出力装置140と一体的に形成されたタッチパネルであってもよい。操作入力装置135は、ユーザ端末200等の外部に設けられてもよく、例えば、キーボードやマウスパット等でもよい。
The
表示出力装置140は、画像(静止画又は動画)を表示するための出力装置である。表示出力装置140、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイである。表示出力装置140は、ユーザ端末200等の外部に設けられていてもよい。第1サブコンテンツが画像(例えば字幕)を含む場合、当該画像はユーザ端末200の表示出力装置140に表示される。
The
<3.機能構成>
<3.1 オペレータ端末100の機能構成>
図3は、オペレータ端末100の機能構成の一例を示す図である。オペレータ端末100は、入力部150と、出力部155と、制御部160と、記憶部165とを備える。図3に示す各部は、例えば、記憶装置115の記憶領域を用いたり、記憶装置115に格納されたプログラム(コンテンツ再生プログラム)をプロセッサ110が実行したりすることにより実現することができる。
<3. Function configuration>
<3.1 Functional configuration of
FIG. 3 is a diagram showing an example of the functional configuration of the
入力部150は、オペレータ端末100において各種情報の入力を受け付ける。入力部150は、例えば、オペレータからの第2サブコンテンツの再生に関する入力を受け付けてもよい。入力部150は、オペレータ端末100に接続されたキーボードへの操作入力を受け付けたり、オペレータ端末100に内蔵されたマイクを用いて音声入力したりと、様々な入力態様を含む。
The
出力部155は、オペレータ端末100において各種情報を出力する。出力部155は、オペレータ端末100の画面に表示したり、オペレータ端末100に内蔵されたスピーカを用いて音声出力したりと、様々な出力態様を含む。また、出力部155は、例えば、第2サブコンテンツを出力してもよい。
The
制御部160は、入力部150が受け付けた入力内容に基づいて、第2サブコンテンツの再生を制御する。
The
記憶部165は、例えば、第2サブコンテンツを記憶してもよい。また、記憶部165は、例えば、オペレータからの操作内容を示す操作データを記憶してもよい。
The
<3.2 ユーザ端末200の機能構成及び再生制御の仕組み>
最初に、図5〜6を用いて、コンテンツ再生システムの再生制御の仕組みについて説明する。図5〜6は、舞台側において、メインコンテンツとして実演が行われ、当該実演に合わせた第2サブコンテンツとして「BGM1」〜「BGM2」が再生される状況と、ユーザ端末200において、当該実演に合わせてBGMと共に、第1サブコンテンツとして「字幕1」〜「字幕2」が再生される状況とを表している。
<3.2 Functional configuration of
First, the mechanism of the reproduction control of the content reproduction system will be described with reference to FIGS. 5 to 6. FIGS. 5 to 6 show a situation in which a demonstration is performed as the main content on the stage side and "BGM1" to "BGM2" are played as the second sub-contents in accordance with the demonstration, and in the
ここで、「メインコンテンツ」とは、進行時間が変動するコンテンツである。この様なメインコンテンツとしては、例えば、人による演劇、ダンス若しくはパフォーマンス又は動物を用いたショー等の生物による実演等のコンテンツが考えられる。また、メインコンテンツは、各サブコンテンツの再生制御において基準となるコンテンツでもある。メインコンテンツは、具体的には、各サブコンテンツの再生を同期させるための基準とするタイミングを示す同期基準タイミングが設定されている。 Here, the "main content" is content whose progress time fluctuates. As such main content, for example, content such as a play by a person, a dance or a performance, or a demonstration by a living thing such as a show using animals can be considered. The main content is also a reference content in the reproduction control of each sub-content. Specifically, the main content is set with a synchronization reference timing indicating a reference timing for synchronizing the reproduction of each sub-content.
また、「第1サブコンテンツ」とは、メインコンテンツの進行に応じてユーザ端末200等で再生されるコンテンツである。この様なサブコンテンツとしては、例えば、テキスト情報(例えば、字幕やガイド等)、音(例えば、音楽又は音声ガイド等)、画像(例えば、手話画像又は説明画像等)、光や振動等による演出(例えば、端末に内蔵されるランプの点滅、携帯のバイブレーション又は端末に接続されたペンライトによる発光等)等のコンテンツが考えられる。第1サブコンテンツは、例えば、メインコンテンツが実演の場合、当該実演に連動して再生される字幕等のテキスト情報であってもよい。
Further, the "first sub-content" is content to be played on the
また、「第2サブコンテンツ」とは、第1サブコンテンツと共にメインコンテンツの進行に応じて再生されるコンテンツである。第2サブコンテンツは、例えば、オペレータ端末100におけるオペレータの操作等に基づいて、スピーカ300等の劇場等の施設に設置される機器によって再生される。この様なサブコンテンツとしては、例えば、音(例えば、BGM又は効果音等)、画像(例えば、ライブ映像又はスクリーン映像等)、光による演出(例えば、スポットライトやサイリウム等による発光)等のコンテンツが考えられる。第2サブコンテンツには、第1サブコンテンツの再生を制御するための透かしデータが埋め込まれており、第2サブコンテンツの再生によって、第1サブコンテンツの再生を制御することができる。ここで「透かしデータ」とは、任意の電子透かし技術を利用して、画像や音楽等のコンテンツに埋め込まれる、特定の情報(本例の場合、「同期ポイントID」)を示すデータである。
Further, the "second sub-content" is content that is reproduced together with the first sub-content according to the progress of the main content. The second sub-content is reproduced by a device installed in a facility such as a theater such as a speaker 300, based on, for example, an operator's operation on the
図5は、予め設定されたコンテンツ再生のスケジュールを示している。図5に示す例では、舞台側では、同期基準タイミングである実演開始時刻「00:00:00」を基準として、「BGM1」は「00:05:00」、「BGM2」は「00:30:00」の開始予定タイミングで再生されることがスケジューリングされている。 FIG. 5 shows a preset content reproduction schedule. In the example shown in FIG. 5, on the stage side, "BGM1" is "00:05:00" and "BGM2" is "00:30" based on the demonstration start time "00:00:00" which is the synchronization reference timing. It is scheduled to be played at the scheduled start timing of ": 00".
一方、ユーザ端末200では、「字幕1」は「00:12:00」、「字幕2」は「00:43:00」の開始予定タイミングで再生されることがスケジューリングされている。また、図5において、実演における「字幕2」を開始させたいポイントについて、Pの丸マーク(以下、「ポイントP」という)を付与する。当該スケジュールにおいては、ポイントPのタイミングと「字幕2」の開始予定タイミングが合うようにスケジューリングされている。
On the other hand, in the
図6の舞台側においては、実演の本番当日において、実演の進行が、実演者の演技が長引く等して予定より遅延している(本例では、1秒遅延しているものとする)状況を示している。遅延の発生以降のBGMの再生は、オペレータが遅延を考慮して再生タイミングを修正する結果、予定より5分ずつおくれて再生される。図6では、遅延以降に再生されるBGMの再生タイミングが予定されていた「00:30:00」より5分遅れて「00:35:00」に再生される様子が示されている。 On the stage side of FIG. 6, on the day of the performance, the progress of the performance is delayed from the schedule due to the performance of the performer being prolonged (in this example, it is assumed that the performance is delayed by 1 second). Is shown. As a result of the operator correcting the reproduction timing in consideration of the delay, the reproduction of the BGM after the occurrence of the delay is reproduced 5 minutes later than the schedule. FIG. 6 shows how the BGM to be reproduced after the delay is reproduced at “00:35:00”, which is 5 minutes later than the scheduled reproduction timing of “00:30:00”.
一方、図6のユーザ端末200においては、コンテンツ再生システムが当該遅延による進行のずれを吸収し、実演の進行に「字幕2」の進行を同期させている状況を示している。具体的には、「BGM2」に埋め込まれた透かしデータとして同期ポイントID「ID:002」が「BGM2」と共に出力されると、ユーザ端末200において、(1)当該同期ポイントIDを検出し、(2)当該検出された同期ポイントIDと同期ポイントIDと当該同期ポイントの予定タイミングとを対応付けて格納した第1テーブルとに基づき、同期ポイントID「ID:002」の予定タイミング「00:30:00」を取得し、当該取得された予定タイミングと当該同期ポイントIDが検出されたタイミング「00:35:00」との差分(遅延によるずれ5分)を取得し、(3)ユーザ端末200は、「字幕2」の開始タイミングを、予め設定された開始予定タイミング「00:43:00」に対して当該差分を反映させることで「00:48:00」と判定し、当該開始タイミングで「字幕2」の再生を開始させる。
On the other hand, in the
上記構成によれば、舞台側の実演等のメインコンテンツにおいて遅延が発生し、予定より進行時間が変動しても、実演等のメインコンテンツの遅延の発生した進行に合わせた適切なタイミングで、字幕等の第1サブコンテンツの再生を開始させることができる。 According to the above configuration, even if a delay occurs in the main content such as a performance on the stage side and the progress time fluctuates from the schedule, subtitles etc. Playback of the first sub-content can be started.
図4は、ユーザ端末200の機能構成の一例を示す図である。ユーザ端末200は、検出部210と、取得部215と、判定部220と、制御部225と、記憶部230と、を備える。図4に示す各部は、例えば、記憶装置115の記憶領域を用いたり、記憶装置115に格納されたプログラム(コンテンツ再生プログラム)をプロセッサ110が実行したりすることにより実現することができる。
FIG. 4 is a diagram showing an example of the functional configuration of the
検出部210は、メインコンテンツの進行に応じて再生される第2サブコンテンツから、透かしデータとして埋め込まれている同期ポイントIDを検出する。
The
取得部215は、検出部210で検出された同期ポイントIDと第1テーブルとに基づき、同期ポイントのタイミングを取得する。取得部215は、当該取得した同期ポイントのタイミングと同期基準タイミングを基準とした同期ポイントIDの検出タイミングとの差分を取得する。
The
判定部220は、取得部215で取得された差分と、第2テーブルとに基づき、第1サブコンテンツの開始タイミングを判定する。
The
制御部225は、判定部220で判定された第1サブコンテンツの開始タイミングに基づき、第1サブコンテンツの再生を制御する。
The
記憶部230は、第1テーブルと、第2テーブルとを記憶する。記憶部230は、例えば、後述する第3テーブルを記憶してもよい。なお、記憶部230は、各テーブルの記憶にあたっては、RDBやNoSQL等のデータベースシステムを利用してもよいし、ファイルシステムを利用してもよい。記憶部230は、例えば、コンテンツ再生プログラムを記憶してもよい。
The
<テーブル構成>
ここで、図7を用いて、第1テーブル410と、第2テーブル420とについて詳細に説明する。なお、各テーブルは理解を容易にするため、各情報を直接的に対応付けて一つのテーブルで格納するよう表現しているが、これに限定せず、複数のテーブルに渡って間接的に対応付けて格納するようにしてもよい。
<Table structure>
Here, the first table 410 and the second table 420 will be described in detail with reference to FIG. 7. In addition, in order to facilitate understanding, each table is expressed so that each information is directly associated and stored in one table, but it is not limited to this, and it corresponds indirectly across multiple tables. It may be attached and stored.
図7に示すように、第1テーブル410は、同期ポイントID412と、同期予定タイミング414とを対応付けて格納する。第1テーブル410は、例えば、同期ポイントID412「001」と、当該同期ポイントIDが特定する同期予定タイミング414「00:05:00」とを対応付けて格納する。なお、同期予定タイミング414は、同期基準タイミングを基準として、例えば、メインコンテンツに対する第1サブコンテンツの編成又は演出等に応じて任意のタイミング等を設定すればよい。同期予定タイミング414は、具体的には、同期基準タイミングから5秒、10秒、1分等の等間隔で設定してもよいし、各BGMが再生開始となるタイミングで設定してもよい。 As shown in FIG. 7, the first table 410 stores the synchronization point ID 412 and the synchronization scheduled timing 414 in association with each other. The first table 410 stores, for example, the synchronization point ID 412 "001" and the synchronization schedule timing 414 "00:05:00" specified by the synchronization point ID in association with each other. The synchronization schedule timing 414 may be set to an arbitrary timing or the like according to, for example, the organization or production of the first sub-content with respect to the main content, with the synchronization reference timing as a reference. Specifically, the scheduled synchronization timing 414 may be set at equal intervals such as 5 seconds, 10 seconds, and 1 minute from the synchronization reference timing, or may be set at the timing when each BGM starts playback.
第2テーブル420は、同期基準タイミングを基準とした第1サブコンテンツの開始予定タイミング422を格納する。第2テーブル420は、例えば、開始予定タイミング422と、第1サブコンテンツを示す情報(以下、「第1サブコンテンツ情報」という)424とを対応付けて格納してもよい。第1サブコンテンツ情報は、例えば、第1サブコンテンツを特定するための識別情報等である。第1サブコンテンツ情報は、例えば、第1サブコンテンツID、第1サブコンテンツのタイトル名、第1サブコンテンツが実装されたファイル名、ファイルパス等を含んで構成してもよい。第2テーブル420は、例えば、第1サブコンテンツの開始予定タイミング422「00:45:00」と当該開始予定の第1サブコンテンツ情報「映像1」とを対応付けて格納してもよい。 The second table 420 stores the scheduled start timing 422 of the first sub-content based on the synchronization reference timing. In the second table 420, for example, the scheduled start timing 422 and the information indicating the first sub-content (hereinafter referred to as “first sub-content information”) 424 may be stored in association with each other. The first sub-content information is, for example, identification information for specifying the first sub-content. The first sub-content information may be configured to include, for example, a first sub-content ID, a title name of the first sub-content, a file name in which the first sub-content is implemented, a file path, and the like. In the second table 420, for example, the scheduled start timing 422 “00:45:00” of the first sub-content may be stored in association with the first sub-content information “video 1” scheduled to start.
ユーザ端末200は、上記の各部の他に、コンテンツ取得部(不図示)を設けてもよい。コンテンツ取得部は、例えば、ユーザ端末200で再生制御される第1サブコンテンツやユーザ端末200で実行されるコンテンツ再生プログラムを、例えばインターネットや外部媒体を介して取得し、記憶部230に格納してもよい。なお、第1サブコンテンツは、ユーザ端末200において、必ずしも、コンテンツ取得部によって取得され、記憶部230に格納等されなくてもよい。ユーザ端末200は、例えば、他の端末に記憶されている第1サブコンテンツを、ユーザ端末200からの再生制御メッセージの送信によって、再生させてもよい。
The
<4.処理の流れ>
図8は、ユーザ端末200におけるコンテンツ再生処理の一例を示すフローチャートである。図8に示す処理は、例えば、ユーザによるコンテンツ再生プログラムが実装されたアプリケーションに対するインストールリクエスト又は当該アプリケーションを起動したことをトリガーにより開始される。なお、以下に示す処理の順番は一例であって、適宜、変更されてもよい。
<4. Processing flow>
FIG. 8 is a flowchart showing an example of content reproduction processing in the
図8に示すように、ユーザ端末200は、メインコンテンツの進行に応じて再生される第2サブコンテンツから、透かしデータとして埋め込まれている同期ポイントIDを検出する(S701)。
As shown in FIG. 8, the
ユーザ端末200は、当該検出された同期ポイントIDと第1テーブルとに基づき、同期ポイントのタイミングを取得する(S702)。ユーザ端末200は、当該取得した同期ポイントの予定タイミングと同期基準タイミングを基準とした同期ポイントIDの検出タイミングとの差分を取得する(S703)。ユーザ端末200は、当該取得された差分と第2テーブルとに基づき、第1サブコンテンツの開始タイミングを判定する。(S704)。
The
ユーザ端末200は、当該判定された第1サブコンテンツの開始タイミングに基づき第1サブコンテンツの再生を制御する(S705)。
The
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。 The embodiments described above are for facilitating the understanding of the present invention, and are not for limiting the interpretation of the present invention. Each element included in the embodiment and its arrangement, material, condition, shape, size, and the like are not limited to those exemplified, and can be appropriately changed. Further, it is possible to partially replace or combine the configurations shown in different embodiments.
(変形例)
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記実施の形態に限定されない。以下のような場合も本発明に含まれる。
(Modification example)
Although the present invention has been described based on the above-described embodiment, the present invention is not limited to the above-described embodiment. The following cases are also included in the present invention.
(1)上記実施の形態では、メインコンテンツとして進行時間が変動する実演等を例にしたが、本発明は、例えば、進行時間が実質的に変動しない映画やライブ映像等のコンテンツにおいても適用することが可能である。例えば、メインコンテンツが映画の場合、第1サブコンテンツは映画の字幕等としてもよい。メインコンテンツが、進行時間が変動しないコンテンツであっても、メインコンテンツを再生させる機器と、オペレータ端末100と、ユーザ端末200との間でシステム時刻のずれを生じることがあり、本発明を用いることで、各コンテンツ間のこの様なずれを実質的に解消することができる。なお、本発明を用いるにあたっては、ユーザ端末200のシステム時刻を用いて、当該システム時刻から取得した同期ポイントIDの検出タイミングと、第1テーブル410に当該同期ポイントIDに対応付けられている同期ポイントの予定タイミングとの差分を用いて第1サブコンテンツを再生制御する。
(1) In the above embodiment, a demonstration or the like in which the progress time fluctuates is taken as an example of the main content, but the present invention can be applied to, for example, content such as a movie or a live video in which the progress time does not substantially fluctuate. Is possible. For example, when the main content is a movie, the first sub-content may be a subtitle of the movie or the like. Even if the main content is content whose progress time does not fluctuate, the system time may be different between the device for playing the main content, the
(2)上記実施の形態では、制御部225は、判定部220で判定された開始タイミングで第1サブコンテンツを再生制御するが、例えば、第1サブコンテンツに対して再生の前提となる少なくとも一つの第2サブコンテンツが設定されている場合、前提となる第2サブコンテンツに埋め込まれた同期ポイントIDが検出されたことを条件に、当該第1サブコンテンツを再生するように制御してもよい。
(2) In the above embodiment, the
ここで、図9と図10とを用いて、制御部225の上記構成について説明する。図9は、コンテンツ再生制御における事象の一例の概要を示す模式図である。図10は、図9の事象に対するコンテンツ再生システムにおけるコンテンツ再生制御の概要を示す模式図である。
Here, the above configuration of the
図9に示すように、第1サブコンテンツにおける「字幕1」と「字幕2」について、「字幕1」に続いて、実演のポイントPのタイミング及び第2サブコンテンツの「BGM2」と合わせて「字幕2」を再生させるよう自走させていたとする。当該自走の間、メインコンテンツの実演において何らかの遅延(本例での遅延は3分とする)が発生した場合、ユーザ端末200において第2サブコンテンツ「BGM2」の同期ポイントIDが検出される前に「字幕2」が実演に対して「00:20:00」に先に出力されてしまう。その後、「BGM2」が検出されると、当該検出タイミングにおいて遅延発生による差分を取得して、開始タイミングを判定するため、再度、「00:23:00」に「字幕2」が出力されてしまう事象が考えられる。なお、ここで「自走」とは、ユーザ端末200等において、外部からの送信メッセージ等のトリガーなく、自端末内で各処理を開始し、実行させていくことをいい、例えば、スケジューラーに予め第1サブコンテンツの再生スケジュールを登録し、当該登録された再生スケジュールに基づき、第1サブコンテンツを順次再生させていくことをいう。
As shown in FIG. 9, regarding "subtitle 1" and "subtitle 2" in the first sub-content, following "subtitle 1", the timing of the demonstration point P and the second sub-content "BGM2" are combined with "BGM2". It is assumed that the user is running to play "Subtitle 2". If some delay occurs in the demonstration of the main content during the self-propelled operation (the delay in this example is 3 minutes), before the synchronization point ID of the second sub-content "BGM2" is detected in the
当該事象に対し、図10に示すように、制御部225は、第1サブコンテンツ「字幕2」に対して再生の前提となる第2サブコンテンツとして「BGM2」を予め設定し、当該前提となる「BGM2」の同期ポイント「ID:001」が検出部210で検出されたことを条件に、「字幕2」を再生するように制御する。当該制御によって、実演の進行が遅れてしまっても、「字幕2」の再生を待機させて、「BGM2」の同期ポイントIDが検出されて初めて「字幕2」を再生させることができる。この様な態様によれば、第1サブコンテンツの再生を自走させている間において、メインコンテンツの再生で遅延が生じても、メインコンテンツの進行に応じた第2サブコンテンツの進行に合わせて第1サブコンテンツを再生することができる。このため、ユーザにとって使用性の高いコンテンツ再生システムを提供することができる。
In response to this event, as shown in FIG. 10, the
また、図11を用いて、制御部225の上記構成における再生制御処理の一例について説明する。図11に示すように、イベントドリブン又は固定サイクルで、ユーザ端末200は、現在時刻(例えば、ユーザ端末200のシステム時刻等)を取得し、当該取得した現在時刻において開始タイミングとなっている第1サブコンテンツは存在するか判定する(S711)。当該開始タイミングとなっている第1サブコンテンツが存在しない場合(S711のNO)、処理を終了する。
Further, with reference to FIG. 11, an example of the reproduction control process in the above configuration of the
ユーザ端末200は、当該開始タイミングとなっている第1サブコンテンツが存在する場合(S711のYES)、当該第1サブコンテンツに対して再生の前提となる第2サブコンテンツが設定されているか判定する(S712)。当該前提となる第2サブコンテンツが設定されている場合(S712のYES)、当該前提となる第2サブコンテンツに埋め込まれ同期ポイントIDが検出されたか判定する(S713)。ユーザ端末200は、当該同期ポイントIDが検出されていると判定した場合(S713のYES)、上記第1サブコンテンツの開始タイミングに基づき、第1サブコンテンツを再生する(S714)。一方、当該同期ポイントIDが検出されていないと判定した場合(S713のNO)、処理を終了する。
When the first sub-content which is the start timing exists (YES in S711), the
ユーザ端末200は、当該第1サブコンテンツに対して再生の前提となる第2サブコンテンツが設定されていない場合(S712のNO)、上記第1サブコンテンツの開始タイミングに基づき、第1サブコンテンツを再生する(S714)。
When the second sub-content that is a prerequisite for reproduction is not set for the first sub-content (NO in S712), the
(3)上記実施の形態では、検出部210が検出する透かしデータは、例えば、非可聴領域の音に埋め込まれたデータを含んでもよい。この様な態様によれば、BGM等の第2サブコンテンツが配置されていない区間においても、当該非可聴音域の音であればユーザに気付かせることなく、当該音に埋め込んだ同期ポイントIDの透かしデータを出力させることもできる。
(3) In the above embodiment, the watermark data detected by the
(4)上記実施の形態では、第1テーブルと、第2テーブルとを用いて制御部225でコンテンツの再生制御をする例をしたが、本発明は、例えば、同期ポイントIDと、第1サブコンテンツ情報とを対応付けて格納する第3テーブルをさらに備え、当該検出された同期ポイントIDと第3テーブルとに基づき、当該同期ポイントIDに対応付けられた第1サブコンテンツ情報が示す第1サブコンテンツの再生を制御する第2制御部と、を備えてもよい。第2制御部は、例えば、第2テーブルに、当該検出された同期ポイントIDが格納されておらず、第3テーブルに当該検出された同期ポイントIDが格納されている場合に、当該検出された同期ポイントIDと第3テーブルとに基づき、当該同期ポイントIDに対応付けられた第1サブコンテンツの再生を制御してもよい。
(4) In the above embodiment, the
上記構成によれば、例えば、(1)従来技術のように、第1サブコンテンツを自走させたい区間においては、第1テーブル410及び第2テーブル420を用いて、一方、(2)第1サブコンテンツを第2サブコンテンツの再生タイミング(透かしデータの埋め込みタイミング等)に合わせて開始させたい区間においては、第1テーブル410及び第3テーブルを用いることで、二つの種類の第1サブコンテンツの再生制御を実現することができる。この様な構成によれば、様々なバリエーションのコンテンツ再生制御を、ユーザの操作入力なく実現することができる。 According to the above configuration, for example, in the section where the first sub-content is desired to run by itself as in (1) the prior art, the first table 410 and the second table 420 are used, while (2) the first. In the section where the sub-content is to be started in accordance with the reproduction timing of the second sub-content (such as the embedding timing of the watermark data), by using the first table 410 and the third table, two types of the first sub-content can be used. Playback control can be realized. According to such a configuration, various variations of content reproduction control can be realized without user operation input.
(5)上記変形例(4)では、第3テーブルは、第1テーブル410とは別途一つのテーブルとして構成しているが、例えば、第1テーブル410とまとめて一つのテーブルを構成してもよい。第3テーブルは、具体的には、第1テーブル410とまとめて、第1同期ポイントIDを主キーとして、同期予定タイミングと、第1サブコンテンツ情報との3つのカラムから構成してもよいし、同期予定タイミングと第1サブコンテンツ情報とを一つのカラムで共有するよう構成してもよい。この様な構成によれば、参照先のテーブル数を減らすことができ、処理効率のよいコンテンツ再生システムを提供することができる。 (5) In the above modification (4), the third table is configured as one table separately from the first table 410, but for example, one table may be configured together with the first table 410. good. Specifically, the third table may be combined with the first table 410 and may be composed of three columns, the synchronization schedule timing and the first sub-content information, with the first synchronization point ID as the primary key. , The synchronization schedule timing and the first sub-content information may be shared in one column. According to such a configuration, the number of referenced tables can be reduced, and a content reproduction system with high processing efficiency can be provided.
(6)上記実施の形態では、第1サブコンテンツ(字幕)を直列で再生する例について説明しているが、図12で示すように、第1サブコンテンツを第1サブコンテンツ1と第1サブコンテンツ2とで大きく分けて、例えば、一つのユーザ端末200において並列で複数の第1サブコンテンツを同時に再生するよう制御してもよい。また、別の例として、複数のユーザ端末200の間で、ユーザ端末200aでは第1サブコンテンツ1を再生するように、また、他方のユーザ端末200bでは第1サブコンテンツ2を再生するように、端末ごとに制御してもよい。また、図12で示すように、舞台側において、なお、「BGM1」には同期ポイントID「ID:001」及び「ID:002」が設定され、「BGM2」には同期ポイントID「ID:003」が設定されているように、第2サブコンテンツの単位と、設定されている同期ポイントの数は1対1に限らず、1対他でも、他対1でも、他対他でもいずれでもよい。
(6) In the above embodiment, an example in which the first sub-content (subtitle) is reproduced in series is described, but as shown in FIG. 12, the first sub-content is the first sub-content 1 and the first sub. It may be roughly divided into the content 2 and controlled so that, for example, a plurality of first sub-contents are simultaneously played back in parallel on one
上記構成によれば、一つの透かしデータに対して、ユーザ端末200側で多様に、かつ、柔軟に、第1サブコンテンツを再生することができるので、拡張性の高いコンテンツ再生システムを提供することができる。
According to the above configuration, the first sub-content can be reproduced in various ways and flexibly on the
(7)上記実施の形態では示していないが、ユーザ端末200は、例えば、スマートフォンの通知ランプやLEDランプ等の発光装置を備えてもよい。発光装置は、例えば、第1サブコンテンツが光による演出を含む場合、当該演出のための光は、当該発光装置によって発光されてもよい。このような構成によれば、ユーザ端末200を用いてメインコンテンツの進行に合わせて、ユーザにとって趣向性の高い、また、会場全体で様々な演出を実現することができるコンテンツ再生システムを提供することができる。
(7) Although not shown in the above embodiment, the
(8)上記実施の形態では、電子透かし技術を用いて同期ポイントIDを検出させる例を説明したが、音声フィンガープリント技術を用いてもよい。「音声フィンガープリント技術」とは、オリジナルとなるデジタル音源から音声波形の特徴を電子的に抽出し、オリジナルの音源よりも小さなデータ(フィンガープリント)として当該抽出された特徴を扱うデジタル音声信号処理技術をいう。コンテンツ再生システムは、例えば、音声入力装置125が受け付けた音の波形等の特徴量を抽出し、記憶装置115に予め記憶させた音の波形の教師データと照合することで、同期ポイントIDを判定し、検出してもよい。
(8) In the above embodiment, the example of detecting the synchronization point ID by using the digital watermarking technique has been described, but the voice fingerprinting technique may be used. "Voice fingerprint technology" is a digital audio signal processing technology that electronically extracts the characteristics of an audio waveform from an original digital sound source and handles the extracted characteristics as data (fingerprint) smaller than the original sound source. To say. The content reproduction system determines the synchronization point ID by, for example, extracting a feature amount such as a sound waveform received by the
上記構成によれば、第2サブコンテンツのオリジナルから得られる識別性ある特徴を用いることができるため、第2サブコンテンツに透かしデータを埋め込むことなく、同期ポイントを検出することができる。これにより、汎用性の高いコンテンツ再生システムを提供することができる。 According to the above configuration, since the distinctive feature obtained from the original of the second sub-content can be used, the synchronization point can be detected without embedding the watermark data in the second sub-content. This makes it possible to provide a highly versatile content reproduction system.
100…オペレータ端末、110…プロセッサ、115…記憶装置、120…通信インタフェース、125…音声入力装置、130…音声出力装置、135…操作入力装置、140…表示出力装置、150…入力部、155…出力部、160…制御部、165…記憶部、200、200a、200b、200c…ユーザ端末、210…検出部、215…取得部、220…判定部、225…制御部、230…記憶部、300、300a、300b…スピーカ、410…第1テーブル、420…第2テーブル 100 ... Operator terminal, 110 ... Processor, 115 ... Storage device, 120 ... Communication interface, 125 ... Voice input device, 130 ... Voice output device, 135 ... Operation input device, 140 ... Display output device, 150 ... Input unit, 155 ... Output unit, 160 ... Control unit, 165 ... Storage unit, 200, 200a, 200b, 200c ... User terminal, 210 ... Detection unit, 215 ... Acquisition unit, 220 ... Judgment unit, 225 ... Control unit, 230 ... Storage unit, 300 , 300a, 300b ... Speaker, 410 ... First table, 420 ... Second table
Claims (9)
同期ポイントIDと、同期基準タイミングを基準とした第1のタイミングとを対応付けて格納する第1テーブルと、
第1サブコンテンツを示す情報と、前記同期基準タイミングを基準とした第2のタイミングとを対応づけて格納する第2テーブルであって、前記第2のタイミングは、前記第1のタイミングとは独立して設定される、第2テーブルと、
メインコンテンツの進行に応じて再生される第2サブコンテンツに基づいて、前記第2サブコンテンツに埋め込まれている前記同期ポイントID、又は前記第2サブコンテンツから抽出した特徴量に対応する前記同期ポイントIDを検出する検出機能と、
前記検出された同期ポイントIDと前記第1テーブルとに基づき、前記検出された同期ポイントIDに対応する前記第1のタイミングを取得し、当該取得した第1のタイミングと前記同期基準タイミングを基準とした前記同期ポイントIDの検出タイミングとの差分を取得する取得機能と、
前記第1サブコンテンツについて、前記取得された差分と、前記第2テーブルにおいて前記第1サブコンテンツを示す情報に対応する前記第2のタイミングとに基づき、開始タイミングを判定する判定機能と、
前記判定された第1サブコンテンツの開始タイミングに基づき、前記第1サブコンテンツの再生を制御する制御機能と、を実現させるための、
コンテンツ再生プログラム。 On the computer
A first table that stores the synchronization point ID and the first timing based on the synchronization reference timing in association with each other.
A second table in which information indicating the first sub-content and a second timing based on the synchronization reference timing are stored in association with each other, and the second timing is independent of the first timing. The second table, which is set in
Based on the second sub-content that is played according to the progress of the main content, the synchronization point ID embedded in the second sub-content or the synchronization point ID corresponding to the feature amount extracted from the second sub-content. With the detection function to detect
Based on the detected synchronization point ID and the first table, the first timing corresponding to the detected synchronization point ID is acquired, and the acquired first timing and the synchronization reference timing are used as a reference. The acquisition function to acquire the difference from the detection timing of the synchronization point ID,
A determination function for determining the start timing of the first sub-content based on the acquired difference and the second timing corresponding to the information indicating the first sub-content in the second table.
A control function for controlling the reproduction of the first sub-content based on the determined start timing of the first sub-content.
Content playback program.
請求項1に記載のコンテンツ再生プログラム。 When at least one second sub-content that is a prerequisite for reproduction is set for the first sub-content, the control function detects the synchronization point ID based on the second sub-content that is the premise. The content reproduction program according to claim 1, which controls the reproduction of the first sub-content on the condition that the content is reproduced.
請求項1又は2に記載のコンテンツ再生プログラム。 The first sub-content is text information, sound, image, or content produced by light or vibration, which is reproduced together with the second sub-content according to the progress of the main content, and the second sub-content is the main content. Content that is produced by sound, images, or light that is played according to the progress of
The content reproduction program according to claim 1 or 2.
前記同期ポイントIDが前記検出機能で検出された場合、前記検出された同期ポイントIDと前記第3テーブルとに基づき、前記同期ポイントIDに対応付けられた前記情報が示す前記第1サブコンテンツの再生を制御する第2制御機能と、を実現させるための、
請求項1から3のいずれか1項に記載のコンテンツ再生プログラム。 A third table that stores the synchronization point ID and the information indicating the first sub-content in association with each other.
When the synchronization point ID is detected by the detection function, the reproduction of the first sub-content indicated by the information associated with the synchronization point ID based on the detected synchronization point ID and the third table. To realize the second control function that controls
The content reproduction program according to any one of claims 1 to 3.
請求項1から4のいずれか1項に記載のコンテンツ再生プログラム。 The feature amount extracted from the second sub-content includes the feature amount extracted as a fingerprint from the second sub-content.
The content reproduction program according to any one of claims 1 to 4.
前記制御機能は、前記第1の種類の第1サブコンテンツと、前記第2の種類の第1サブコンテンツとを並列に再生するように制御する機能を含む、
請求項1から5のいずれか1項に記載のコンテンツ再生プログラム。 The first sub-content includes a first type of first sub-content and a second type of first sub-content.
The control function includes a function of controlling the first sub-content of the first type and the first sub-content of the second type to be reproduced in parallel.
The content reproduction program according to any one of claims 1 to 5.
請求項1から6のいずれか1項に記載のコンテンツ再生プログラム。 The control function includes a function of controlling the first sub-content to be played on a device other than the computer.
The content reproduction program according to any one of claims 1 to 6.
第1サブコンテンツを示す情報と、前記同期基準タイミングを基準とした第2のタイミングとを対応づけて格納する第2テーブルであって、前記第2のタイミングは、前記第1のタイミングとは独立して設定される、第2テーブルと、
メインコンテンツの進行に応じて再生される第2サブコンテンツに基づいて、前記第2サブコンテンツに埋め込まれている前記同期ポイントID、又は前記第2サブコンテンツから抽出した特徴量に対応する前記同期ポイントIDを検出する検出部と、
前記検出された同期ポイントIDと前記第1テーブルとに基づき、前記検出された同期ポイントIDに対応する前記第1のタイミングを取得し、当該取得した第1のタイミングと前記同期基準タイミングを基準とした前記同期ポイントIDの検出タイミングとの差分を取得する取得部と、
前記第1サブコンテンツについて、前記取得された差分と、前記第2テーブルにおいて前記第1サブコンテンツを示す情報に対応する前記第2のタイミングとに基づき、開始タイミングを判定する判定部と、
前記判定された第1サブコンテンツの開始タイミングに基づき、前記第1サブコンテンツの再生を制御する制御部と、
を備える装置。 A first table that stores the synchronization point ID and the first timing based on the synchronization reference timing in association with each other.
A second table in which information indicating the first sub-content and a second timing based on the synchronization reference timing are stored in association with each other, and the second timing is independent of the first timing. The second table, which is set in
Based on the second sub-content that is played according to the progress of the main content, the synchronization point ID embedded in the second sub-content or the synchronization point ID corresponding to the feature amount extracted from the second sub-content. With a detector that detects
Based on the detected synchronization point ID and the first table, the first timing corresponding to the detected synchronization point ID is acquired, and the acquired first timing and the synchronization reference timing are used as a reference. The acquisition unit that acquires the difference from the detection timing of the synchronization point ID,
A determination unit that determines the start timing of the first sub-content based on the acquired difference and the second timing corresponding to the information indicating the first sub-content in the second table.
Based on the determined start timing of the first sub-content, the control unit that controls the reproduction of the first sub-content, and the control unit.
A device equipped with.
同期ポイントIDと、同期基準タイミングを基準とした第1のタイミングとを対応付けて第1テーブルに格納するステップと、
第1サブコンテンツを示す情報と、前記同期基準タイミングを基準とした第2のタイミングとを対応づけて第2テーブルに格納するステップであって、前記第2のタイミングは、前記第1のタイミングとは独立して設定される、ステップと、
メインコンテンツの進行に応じて再生される第2サブコンテンツに基づいて、前記第2サブコンテンツに埋め込まれている前記同期ポイントID、又は前記第2サブコンテンツから抽出した特徴量に対応する前記同期ポイントIDを検出するステップと、
前記検出された同期ポイントIDと前記第1テーブルとに基づき、前記検出された同期ポイントIDに対応する前記第1のタイミングを取得し、当該取得した第1のタイミングと前記同期基準タイミングを基準とした前記同期ポイントIDの検出タイミングとの差分を取得するステップと、
前記第1サブコンテンツについて、前記取得された差分と、前記第2テーブルにおいて前記第1サブコンテンツを示す情報に対応する前記第2のタイミングとに基づき、開始タイミングを判定するステップと、
前記判定された第1サブコンテンツの開始タイミングに基づき、前記第1サブコンテンツの再生を制御するステップと、を含む、
コンテンツ再生方法。 The computer
A step of associating the synchronization point ID with the first timing based on the synchronization reference timing and storing it in the first table.
It is a step of associating the information indicating the first sub-content with the second timing based on the synchronization reference timing and storing it in the second table, and the second timing is the same as the first timing. Are set independently, steps and
Based on the second sub-content that is played according to the progress of the main content, the synchronization point ID embedded in the second sub-content or the synchronization point ID corresponding to the feature amount extracted from the second sub-content. And the steps to detect
Based on the detected synchronization point ID and the first table, the first timing corresponding to the detected synchronization point ID is acquired, and the acquired first timing and the synchronization reference timing are used as a reference. And the step of acquiring the difference from the detection timing of the synchronization point ID
A step of determining the start timing of the first sub-content based on the acquired difference and the second timing corresponding to the information indicating the first sub-content in the second table.
A step of controlling the reproduction of the first sub-content based on the determined start timing of the first sub-content is included.
Content playback method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019036250A JP6986036B2 (en) | 2018-02-23 | 2019-02-28 | Content playback program, content playback method and content playback system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018535914A JP6557886B1 (en) | 2018-02-23 | 2018-02-23 | Content reproduction program, content reproduction method, and content reproduction system |
JP2019036250A JP6986036B2 (en) | 2018-02-23 | 2019-02-28 | Content playback program, content playback method and content playback system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018535914A Division JP6557886B1 (en) | 2018-02-23 | 2018-02-23 | Content reproduction program, content reproduction method, and content reproduction system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019146174A JP2019146174A (en) | 2019-08-29 |
JP2019146174A5 JP2019146174A5 (en) | 2021-03-04 |
JP6986036B2 true JP6986036B2 (en) | 2021-12-22 |
Family
ID=67773247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019036250A Active JP6986036B2 (en) | 2018-02-23 | 2019-02-28 | Content playback program, content playback method and content playback system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6986036B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7166227B2 (en) | 2019-08-08 | 2022-11-07 | 株式会社デンソー | vane pump |
KR102439201B1 (en) * | 2020-09-14 | 2022-09-01 | 네이버 주식회사 | Electronic device for synchronizing multimedia content and audio source and operating method thereof |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6866071B2 (en) * | 2016-04-25 | 2021-04-28 | ヤマハ株式会社 | Terminal device, terminal device operation method and program |
JP6702042B2 (en) * | 2016-07-06 | 2020-05-27 | ヤマハ株式会社 | Terminal |
-
2019
- 2019-02-28 JP JP2019036250A patent/JP6986036B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019146174A (en) | 2019-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11477156B2 (en) | Watermarking and signal recognition for managing and sharing captured content, metadata discovery and related arrangements | |
EP2628047B1 (en) | Alternative audio for smartphones in a movie theater. | |
US20190132372A1 (en) | System and method for distribution and synchronized presentation of content | |
US10506268B2 (en) | Identifying media content for simultaneous playback | |
JP6986036B2 (en) | Content playback program, content playback method and content playback system | |
JP6271194B2 (en) | Providing second screen information to mobile devices | |
JP2013171070A (en) | Music information processing apparatus and music information processing method | |
JP6557886B1 (en) | Content reproduction program, content reproduction method, and content reproduction system | |
JP2011030224A (en) | System and method for displaying multimedia subtitle | |
TWM558449U (en) | Informationalized karaoke system | |
KR101078367B1 (en) | Synchronous apparatus of image data and sound data for karaoke player and method for the same | |
KR102625045B1 (en) | Video editing device, video editing method, and computer program | |
JP2004170444A (en) | Electronic equipment, instruction code generating device and electronic equipment control program, instruction code generation processing program | |
JP7197688B2 (en) | Playback control device, program and playback control method | |
JP6163680B1 (en) | Content reproduction program and content reproduction apparatus | |
JP2004198959A (en) | Instruction code generation device and instruction code generation processing program | |
JP2021128775A (en) | Systems and methods to facilitate selective dialogue presentation | |
KR20130096538A (en) | Mobile communication terminal and method for generating contents data thereof | |
TW201946049A (en) | Control system and method for informationalized karaoke or multimedia system interfaces | |
KR20070005296A (en) | Method for controlling divx file playback | |
JP2010087657A (en) | Information reproducing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210122 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6986036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |