JP5771098B2

JP5771098B2 - COMMUNICATION CONTENT GENERATION DEVICE AND COMMUNICATION CONTENT GENERATION PROGRAM

Info

Publication number: JP5771098B2
Application number: JP2011191815A
Authority: JP
Inventors: 保明金次; 松村　欣司; 欣司松村; 馬場　秋継; 秋継馬場; 茂明三矢; 浩行浜田; 秀武智; 藤沢　寛; 寛藤沢; 香子有安; 里枝澤井
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2011-09-02
Filing date: 2011-09-02
Publication date: 2015-08-26
Anticipated expiration: 2031-09-02
Also published as: JP2013055479A

Description

本発明は、放送と通信を連携したサービスを実現するためのシステムに係り、特に、放送コンテンツに同期した通信コンテンツを生成する通信コンテンツ生成装置および通信コンテンツ生成プログラムに関する。 The present invention relates to a system for realizing a service in which broadcasting and communication are linked, and more particularly, to a communication content generation apparatus and a communication content generation program for generating communication content synchronized with broadcast content.

デジタル放送では、従来のアナログ放送のサービスに加えて、例えばデータ放送や電子番組表（ＥＰＧ：Electronic Program Guide）等により多機能なサービスが提供されている。また、近年では、放送と通信を連携した様々のサービス（以下、放送通信連携サービスという）として、例えば、番組カスタマイズサービス、ソーシャルテレビサービス、番組お薦めサービス、携帯端末連携サービス等が提案されてきている。 In digital broadcasting, in addition to conventional analog broadcasting services, for example, multi-functional services are provided by data broadcasting, electronic program guide (EPG), and the like. In recent years, for example, a program customization service, a social TV service, a program recommendation service, a mobile terminal cooperation service, and the like have been proposed as various services (hereinafter referred to as a broadcast communication cooperation service) that link broadcasting and communication. .

番組カスタマイズサービスは、放送番組に関連する字幕や音声、動画などを通信経由で提供することで、視聴者個人のニーズにあった視聴を可能にするサービスである。
ソーシャルテレビサービスは、例えば、つぶやきのような視聴者投稿を画面にオーバーレイして表示可能なサービスである。
番組お薦めサービスは、インターネットで提供される番組ライブラリーの中から視聴者にお薦めのＶＯＤ（Video On Demand）番組を提示するサービスである。
携帯端末連携サービスは、番組お薦めサービス等のために、携帯端末と据え置き型のテレビを連携させることで視聴者個人がＡＳＰ（Application Service Provider）等にログインする手続きを簡素化するサービスである。 The program customization service is a service that enables viewing tailored to the needs of individual viewers by providing, via communication, subtitles, sounds, and moving pictures related to broadcast programs.
The social TV service is a service that can display viewer posts such as tweets over a screen, for example.
The program recommendation service is a service for presenting a recommended VOD (Video On Demand) program to viewers from a program library provided on the Internet.
The mobile terminal cooperation service is a service that simplifies the procedure for a viewer to log in to an ASP (Application Service Provider) or the like by linking a mobile terminal and a stationary television for a program recommendation service or the like.

従来、これらのサービスを実現するための基盤となる様々な技術が研究・開発されている。例えば、番組カスタマイズサービスを実現させるための基盤技術の１つに、電波で送られてくる放送番組（放送コンテンツ）と、ネットワーク経由で送られてくるコンテンツ（通信コンテンツ）とを受信機（コンテンツ受信端末）で同期して合成して提示する技術が挙げられる。 Conventionally, various technologies as a basis for realizing these services have been researched and developed. For example, as one of the basic technologies for realizing a program customization service, a broadcast program (broadcast content) sent via radio waves and a content (communication content) sent via a network are received (content reception) And a technique of synthesizing and presenting them synchronously on a terminal.

通常、放送コンテンツには、いわゆる時刻情報としてＰＴＳ（Presentation Time Stamp）が付加されている。そのため、通信コンテンツにもＰＴＳを付加して、受信機において、放送コンテンツのＰＴＳと、通信コンテンツのＰＴＳとをそれぞれ検出し、比較し、どちらかのコンテンツを遅延させることで同期させて提示する送受信システムが検討されている。
この送受信システムでは、送信側において、放送コンテンツにＰＴＳが付加されているように、通信コンテンツにもＰＴＳを付加しようとするとき、放送と同期したＰＴＳをつけなければならない。つまり、送信側では、通信コンテンツに対して、同期させようとする放送コンテンツのＰＴＳと同じ値を埋め込まなければならない。 Normally, PTS (Presentation Time Stamp) is added to broadcast content as so-called time information. Therefore, PTS is also added to the communication content, and at the receiver, the PTS of the broadcast content and the PTS of the communication content are detected, compared, and transmitted / received in a synchronized manner by delaying either content. The system is being considered.
In this transmission / reception system, when a PTS is added to communication content on the transmission side, a PTS that is synchronized with the broadcast must be attached, as the PTS is added to the broadcast content. That is, on the transmission side, the same value as the PTS of the broadcast content to be synchronized must be embedded in the communication content.

従来、デジタル放送の映像・音声信号に字幕信号を別個に同期させて放送できるようにする技術が知られている（特許文献１参照）。しかしながら、特許文献１に記載の技術は、アナログ放送からデジタル放送への移行に際して、例えば字幕サービス等の提供方法が変わって同期ＰＥＳ（Packetized Elementary Stream）とすることができなかったことを解決するための技術である。そのため、この技術は、放送通信連携サービスに適用することができない。また、放送通信連携サービスにおいて、放送局側で、通信コンテンツに、同期のためのＰＴＳを付加する技術は、これまで知られていない。 2. Description of the Related Art Conventionally, there has been known a technique that allows a subtitle signal to be separately synchronized with a video / audio signal of digital broadcasting (see Patent Document 1). However, the technique described in Patent Document 1 solves the problem that, for example, a method for providing a caption service or the like has been changed and a synchronous PES (Packetized Elementary Stream) cannot be achieved when shifting from analog broadcasting to digital broadcasting. Technology. For this reason, this technology cannot be applied to the broadcasting / communication cooperation service. Further, in the broadcasting / communication cooperation service, a technology for adding a PTS for synchronization to communication contents on the broadcasting station side has not been known so far.

特開２００３−２５９３１２JP2003-259212A

放送番組は、２種類に大別される。１つは、ドラマのように、編集して出来上がった素材であって、それを放送の時には再生するという番組（いわゆる完プロ番組）であり、もう１つは生放送番組（いわゆるライブ）である。このうち、完プロ番組においては、放送コンテンツは放送前に既に完成しているので、放送前に監視者が放送コンテンツを視聴しながら通信コンテンツの同期をとって、放送コンテンツと同じタイミングでＰＴＳを通信コンテンツに付加することができる。この場合、放送コンテンツと通信コンテンツとを同時に送ることができる。 Broadcast programs are roughly divided into two types. One is a material produced by editing, such as a drama, which is a program (so-called complete program) that is played back during broadcasting, and the other is a live broadcast program (so-called live). Of these, in the complete professional program, since the broadcast content has already been completed before the broadcast, the supervisor synchronizes the communication content while watching the broadcast content before the broadcast, and performs the PTS at the same timing as the broadcast content. It can be added to communication content. In this case, broadcast content and communication content can be sent simultaneously.

しかしながら、生放送番組の場合、通信コンテンツの制作は、実際に放送される時刻以降となり、通信コンテンツに付加すべきＰＴＳの値が不明である。そのため、放送コンテンツを視聴してから通信コンテンツを制作する制作者にとって、ＰＴＳを付けることが非常に難しく、通信コンテンツに対して、放送コンテンツに同期したＰＴＳを付加することができなかった。具体的には、生放送番組では、カメラで撮ったそのままを放送するため、制作者が、例えばカメラ映像に同期した通信用のコンテンツの素材として字幕を作っている間に、放送が流れてしまう。つまり、カメラで撮った瞬間の映像のタイミングは、字幕を作っている間に進んでしまう。 However, in the case of a live broadcast program, the production of communication content is after the actual broadcast time, and the value of PTS to be added to the communication content is unknown. For this reason, it is very difficult for a producer who creates communication content after viewing broadcast content to add a PTS to the communication content in synchronization with the broadcast content. Specifically, since a live broadcast program broadcasts as it is taken by a camera, the broadcast flows while the producer is creating subtitles as material for communication content synchronized with the camera video, for example. In other words, the timing of the video taken by the camera advances while making subtitles.

前記番組カスタマイズサービスでは、例えば、放送コンテンツとして、実況者と解説者による野球中継の生放送番組を仮定し、かつ、通信コンテンツとして、一方のチームを応援する別の解説者による字幕を仮定した場合を考える。このような想定の場合、視聴を希望する視聴者だけが通信コンテンツを要求することでサービスを享受できるが、字幕が常に遅れるので、視聴者は野球中継の映像の場面よりも字幕が遅れていると感じることになる。したがって、番組カスタマイズサービスの品質を向上させることが要望されている。 In the program customization service, for example, a case where a live broadcast program of a baseball broadcast by a live commentator and a commentator is assumed as broadcast content, and a subtitle by another commentator who supports one team is assumed as communication content is assumed. Think. In such an assumption, only viewers who wish to view can enjoy the service by requesting the communication content, but since the caption is always delayed, the viewer is behind the baseball broadcast video scene. Will feel. Therefore, it is desired to improve the quality of the program customization service.

本発明は、以上のような問題点に鑑みてなされたものであり、生放送番組であっても送信側で放送コンテンツと通信コンテンツとを同期させることができる通信コンテンツ生成装置および通信コンテンツ生成プログラムを提供することを課題とする。 The present invention has been made in view of the above-described problems. A communication content generation apparatus and a communication content generation program that can synchronize broadcast content and communication content on the transmission side even in a live broadcast program. The issue is to provide.

前記課題を解決するために、本発明のうち請求項１に記載の通信コンテンツ生成装置は、放送波により放送用ＴＳ信号として放送される１つの放送コンテンツと通信ネットワークで配信するための１または複数の通信用コンテンツ素材とを送信側で同期させるためにそれぞれ監視する監視者が同期用の所望の時間を選択する操作を行うために用いる操作手段の操作量に基づいて、前記１または複数の通信用コンテンツ素材から１または複数の通信コンテンツを生成する通信コンテンツ生成装置であって、タイムスタンプ抽出手段と、入力手段と、遅延手段と、演算手段と、タイムスタンプ付加手段と、を備えることとした。 In order to solve the above-mentioned problem, the communication content generation device according to claim 1 of the present invention is provided with one or a plurality of broadcast contents that are broadcasted as broadcast TS signals by broadcast waves and one or more for distribution on a communication network. The one or more communications based on the amount of operation of the operating means used by the supervisor who monitors each of the content materials for communication on the transmission side to perform an operation of selecting a desired time for synchronization. Communication content generating apparatus that generates one or a plurality of communication contents from a content material for use, comprising: a time stamp extracting means, an input means, a delay means, a computing means, and a time stamp adding means. .

かかる構成によれば、通信コンテンツ生成装置は、タイムスタンプ抽出手段によって、前記監視者が利用する表示装置に入力する前記放送用ＴＳ信号に多重化されているＰＥＳパケットに予め付加されているＰＴＳの値を抽出する。そして、通信コンテンツ生成装置は、入力手段によって、前記操作手段から、当該監視者が利用する表示装置において前記放送コンテンツを前記所望の時間だけ遅延させて表示するための遅延時間として前記操作量の入力を受け付ける。そして、通信コンテンツ生成装置は、遅延手段によって、前記表示装置に入力する前記放送用ＴＳ信号を前記遅延時間だけ遅延させて前記表示装置に出力する。そして、通信コンテンツ生成装置は、演算手段によって、前記表示装置に入力する放送用ＴＳ信号より抽出されたＰＴＳの値から、前記遅延時間のＰＴＳ換算値を減算した値を有する第２のＰＴＳを生成する。そして、通信コンテンツ生成装置は、前記通信用コンテンツ素材毎に設けられたタイムスタンプ付加手段によって、当該通信用コンテンツ素材を符号化して前記第２のＰＴＳを付加することで、通信用のＰＥＳパケットを前記通信コンテンツとしてそれぞれ生成する。
したがって、放送コンテンツと通信コンテンツとを受信する受信端末において、受信した通信コンテンツに付加されたＰＴＳは、そのとき受信中の放送コンテンツのＰＴＳ値よりも遡った値を用いて生成されているので、受信端末は、受信中の通信コンテンツを、それ以前に受信した放送コンテンツをバッファリングして遅延させることで同期をとることができる。 According to such a configuration, the communication content generation device uses the time stamp extraction unit to store the PTS packet added in advance to the PES packet multiplexed in the broadcasting TS signal input to the display device used by the monitor. Extract the value. Then, the communication content generation device inputs the operation amount as a delay time for displaying the broadcast content with a delay by the desired time on the display device used by the monitor from the operation unit. Accept. Then, the communication content generation device delays the broadcast TS signal input to the display device by the delay time and outputs the delayed signal to the display device. Then, the communication content generation device generates a second PTS having a value obtained by subtracting the PTS conversion value of the delay time from the PTS value extracted from the broadcasting TS signal input to the display device by the arithmetic means. To do. Then, the communication content generation device encodes the communication content material and adds the second PTS by a time stamp addition unit provided for each communication content material, thereby adding a communication PES packet. Each of them is generated as the communication content.
Therefore, in the receiving terminal that receives the broadcast content and the communication content, the PTS added to the received communication content is generated using a value that goes back from the PTS value of the broadcast content being received at that time. The receiving terminal can synchronize the communication content being received by buffering and delaying the broadcast content received earlier.

また、請求項１に記載の通信コンテンツ生成装置において、前記通信用コンテンツ素材のうち少なくとも１つは映像または音声を含み、前記タイムスタンプ抽出手段が、分離手段と、復号手段と、周波数変換手段と、を備え、前記タイムスタンプ付加手段が、ＡＤ変換手段と、符号化手段と、を備えることとした。 In the communication content generation apparatus according to 請 Motomeko 1, wherein at least one of the communication content material comprises a video or audio, the time stamp extracting means, separating means, decoding means, frequency conversion means The time stamp adding unit includes an AD converting unit and an encoding unit.

かかる構成によれば、通信コンテンツ生成装置は、前記タイムスタンプ抽出手段において、分離手段によって、前記放送用ＴＳ信号に含まれる映像・音声とＰＣＲとを分離する。ここで、分離とは、放送用ＴＳ信号に多重化されている映像・音声とＰＣＲとを逆多重化することを示す。そして、前記タイムスタンプ抽出手段において、復号手段によって、前記分離された映像・音声を表示可能に復号すると共に前記ＰＴＳの値を抽出する。そして、前記タイムスタンプ抽出手段において、周波数変換手段によって、前記分離されたＰＣＲに格納されているシステムクロックを分周して前記システムクロックよりも低い所定のクロックに変換する。また、かかる構成によれば、通信コンテンツ生成装置は、前記タイムスタンプ付加手段において、ＡＤ変換手段によって、前記通信用コンテンツ素材のアナログ信号を、前記周波数変換手段で変換されたクロックにしたがってデジタル信号に変換する。そして、前記タイムスタンプ付加手段において、符号化手段によって、前記ＡＤ変換された通信用コンテンツ素材に前記第２のＰＴＳを付加して符号化する。
したがって、放送コンテンツと通信コンテンツとを受信する受信端末において、受信した放送コンテンツのクロックと、受信した通信コンテンツのクロックと、を１つのクロックで動かすことができるので、受信中の通信コンテンツを、それ以前に受信した放送コンテンツとの同期を精密にとることができる。 According to such a configuration, the communication content generation apparatus separates the video / audio and the PCR included in the broadcast TS signal by the separation unit in the time stamp extraction unit. Here, the separation means demultiplexing the video / audio multiplexed on the broadcast TS signal and the PCR. Then, in the time stamp extraction means, the separated video / audio is decoded so as to be displayable by the decoding means, and the value of the PTS is extracted. In the time stamp extraction means, the frequency conversion means divides the system clock stored in the separated PCR and converts it to a predetermined clock lower than the system clock. According to such a configuration, the communication content generation device converts the analog signal of the communication content material into a digital signal according to the clock converted by the frequency conversion unit by the AD conversion unit in the time stamp addition unit. Convert. In the time stamp adding means, the encoding means adds the second PTS to the AD-converted communication content material and encodes it.
Therefore, the receiving terminal that receives the broadcast content and the communication content can move the received broadcast content clock and the received communication content clock with one clock. Precise synchronization with previously received broadcast content can be achieved.

また、請求項２に記載の通信コンテンツ生成装置は、請求項１に記載の通信コンテンツ生成装置において、前記タイムスタンプ付加手段が、多重化手段と、配信手段と、を備えることとした。 The communication content creating apparatus according to claim 2, in the communication content generation apparatus according to claim 1, wherein the time stamp adding unit, and a further comprising a multiplexing means, a delivery means.

かかる構成によれば、通信コンテンツ生成装置は、前記タイムスタンプ付加手段において、多重化手段によって、前記通信用コンテンツ素材に対して生成された前記通信用のＰＥＳパケットを多重化した通信用ＴＳ信号を生成する。そして、前記タイムスタンプ付加手段において、配信手段によって、放送波を介して放送用ＴＳ信号として放送される放送コンテンツを受信する受信端末から、前記通信ネットワークを介して、当該放送コンテンツのために用意された通信コンテンツの要求を受け付け、当該受信端末に対して、前記要求された通信コンテンツとして前記通信用ＴＳ信号を配信する。 According to such a configuration, the communication content generation device receives the communication TS signal obtained by multiplexing the communication PES packet generated for the communication content material by the multiplexing unit in the time stamp addition unit. Generate. In the time stamp addition means, the distribution means prepares the broadcast content via the communication network from the receiving terminal that receives the broadcast content broadcast as a broadcast TS signal via the broadcast wave. The communication content request is received, and the communication TS signal is distributed as the requested communication content to the receiving terminal.

また、請求項３に記載の通信コンテンツ生成プログラムは、コンピュータを、前記通信コンテンツ生成装置として機能させるためのプログラムである。 The communication content generation program according to claim 3, a computer, a program to function as the communication content generating device.

請求項１または請求項３に記載の発明によれば、監視者が遅延させた放送コンテンツを視聴して、放送コンテンツと通信コンテンツとの同期を確認することができるので、生放送番組であっても送信側で放送コンテンツと通信コンテンツとを同期させることができる。 According to the first or third aspect of the invention, the broadcast content delayed by the monitor can be viewed and the synchronization between the broadcast content and the communication content can be confirmed. Broadcast content and communication content can be synchronized on the transmission side.

請求項１または請求項３に記載の発明によれば、生成した通信コンテンツを受信する側において、受信した放送コンテンツのクロックと、受信した通信コンテンツのクロックと、を１つのクロックで動かすことができるので、通信コンテンツと放送コンテンツとの同期を精密にとることができる。
請求項２に記載の発明によれば、生成した通信コンテンツを配信することができる。 According to the first or third aspect of the invention, on the side of receiving the generated communication content, the clock of the received broadcast content and the clock of the received communication content can be moved by one clock. Therefore, it is possible to precisely synchronize communication content and broadcast content.
According to the second aspect of the present invention, the generated communication content can be distributed.

本発明の実施形態に係る通信コンテンツ生成装置を示すブロック図である。It is a block diagram which shows the communication content production | generation apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る通信コンテンツ生成装置を含む送受信システムの概要を示す構成図である。It is a block diagram which shows the outline | summary of the transmission / reception system containing the communication content production | generation apparatus which concerns on embodiment of this invention.

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［通信コンテンツ生成装置の概要］
図１に示す通信コンテンツ生成装置１は、放送されるコンテンツ（放送コンテンツ）に関連して通信ネットワークＮで配信するためのコンテンツ（通信コンテンツ）を、監視者の操作に基づいて生成するものである。ここで、コンテンツの符号化方式としては、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等が存在するが、以下では、一例として、ＭＰＥＧ−２を用いることとする。なお、図１に示す監視者周辺機材１０は、通信コンテンツ生成装置１の外部にあるものとして説明する（図２参照）。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
[Outline of communication content generation device]
The communication content generation apparatus 1 shown in FIG. 1 generates content (communication content) to be distributed on the communication network N in relation to the broadcast content (broadcast content) based on the operation of the supervisor. . Here, as a content encoding method, MPEG-2, MPEG-4, H.264, or the like is used. In the following, MPEG-2 is used as an example. Note that the supervisor peripheral equipment 10 shown in FIG. 1 is assumed to be external to the communication content generation apparatus 1 (see FIG. 2).

この通信コンテンツ生成装置１の機能の概要について図２を参照（適宜図１参照）して説明する。図２は、通信コンテンツ生成装置１を含む送受信システムの概要を示す構成図である。放送局の主調整室１００では、放送コンテンツであるデジタル放送番組（映像・音声）に用いる映像素材が映像エンコーダ１１０で符号化され、かつ、音声素材が音声エンコーダ１２０で符号化され、その後、映像および音声は多重化装置１３０によって多重化される。多重化されたＴＳ信号は、放送局の変調手段１４０によって変調され、出力手段１５０によって、アンテナ１６０を介して放送波として送出される。これにより、視聴者は、所有するコンテンツ受信端末２００を利用してデジタル放送番組を視聴することができる。 An outline of functions of the communication content generation apparatus 1 will be described with reference to FIG. 2 (refer to FIG. 1 as appropriate). FIG. 2 is a configuration diagram illustrating an outline of a transmission / reception system including the communication content generation device 1. In the main adjustment room 100 of the broadcasting station, the video material used for the digital broadcast program (video / audio) that is the broadcast content is encoded by the video encoder 110, and the audio material is encoded by the audio encoder 120. And the voice are multiplexed by the multiplexer 130. The multiplexed TS signal is modulated by the modulation means 140 of the broadcast station, and is transmitted as a broadcast wave by the output means 150 through the antenna 160. Thus, the viewer can view the digital broadcast program using the content receiving terminal 200 owned by the viewer.

コンテンツ受信端末２００は、デジタル放送が受信可能でインターネット接続可能な端末であって、例えば、テレビジョン、パーソナルコンピュータ、セットトップボックス、携帯端末、スマートフォン等から構成される。
コンテンツ受信端末２００は、放送コンテンツを受信して提示する。また、コンテンツ受信端末２００は、視聴者の操作に応じて当該放送コンテンツのために用意された通信コンテンツを、通信ネットワークＮを介して要求し、要求に応じて送信された通信コンテンツを受信して提示する。 The content receiving terminal 200 is a terminal that can receive digital broadcasts and can be connected to the Internet, and includes, for example, a television, a personal computer, a set-top box, a portable terminal, a smartphone, and the like.
The content receiving terminal 200 receives and presents broadcast content. In addition, the content receiving terminal 200 requests communication content prepared for the broadcast content according to the operation of the viewer via the communication network N, and receives the communication content transmitted in response to the request. Present.

通信コンテンツ生成装置１に入力する放送コンテンツは、主調整室１００の多重化装置１３０から出力され、変調されていないＴＳ信号であり、以下では、これを放送用ＴＳ信号とも呼ぶ。
通信コンテンツ生成装置１は、監視者の操作に基づいて、放送コンテンツに関連した１または複数の通信コンテンツの素材（通信用コンテンツ素材）から１または複数の通信コンテンツを生成する。以下では、これを通信用ＴＳ信号ともいう。図１に示す例では、通信用コンテンツ素材として、字幕と音声とを用いて、字幕の通信コンテンツ（通信用ＴＳ信号）と、音声の通信コンテンツ（通信用ＴＳ信号）とをそれぞれ生成することとした。
生成された通信コンテンツは、インターネット等の通信ネットワークＮを介して、視聴者が所有するコンテンツ受信端末２００からの要求にしたがって配信される。 The broadcast content input to the communication content generation device 1 is an unmodulated TS signal output from the multiplexing device 130 of the main adjustment room 100. Hereinafter, this is also referred to as a broadcast TS signal.
The communication content generation device 1 generates one or a plurality of communication contents from one or a plurality of communication content materials (communication content materials) related to the broadcast content based on the operation of the supervisor. Hereinafter, this is also referred to as a communication TS signal. In the example shown in FIG. 1, subtitle communication content (communication TS signal) and audio communication content (communication TS signal) are respectively generated using subtitles and audio as communication content materials. did.
The generated communication content is distributed via a communication network N such as the Internet in accordance with a request from the content receiving terminal 200 owned by the viewer.

通信用コンテンツ素材としては、その種類は特に限定されないが、音声や字幕のほか、例えば、映像、字幕以外のテキスト情報、つぶやき等のコミュニケーションサービスで投稿される短文の情報、番組に対する意見・感想・要望等として視聴者（コンテンツを要求する視聴者以外の他人）が書き込んだ情報なども用いることができる。 The type of content material for communication is not particularly limited, but in addition to audio and subtitles, for example, video, text information other than subtitles, short text information posted on communication services such as tweets, opinions, impressions, Information written by a viewer (other than the viewer who requests the content) can be used as a request or the like.

監視者は、監視者周辺機材１０を利用して、放送コンテンツと、通信用コンテンツ素材とを監視すると共に、放送コンテンツを見ながら通信コンテンツに対して放送コンテンツに同期したＰＴＳを付加する操作を行う。ここで、放送コンテンツ（放送用ＴＳ信号）には予めＰＴＳが付加されており、通信コンテンツ生成装置１は、放送コンテンツに付加されているものとは異なるＰＴＳ値を有したＰＴＳを生成する。以下では、通信コンテンツ生成装置１が生成して通信コンテンツ（通信用ＴＳ信号）に付加するＰＴＳのことを第２のＰＴＳと呼称して区別する。 The monitor uses the monitor peripheral device 10 to monitor the broadcast content and the communication content material, and performs an operation of adding a PTS synchronized with the broadcast content to the communication content while watching the broadcast content. . Here, PTS is added in advance to the broadcast content (broadcast TS signal), and the communication content generation apparatus 1 generates a PTS having a PTS value different from that added to the broadcast content. Hereinafter, the PTS generated by the communication content generation apparatus 1 and added to the communication content (communication TS signal) is referred to as a second PTS to be distinguished.

［監視者周辺機材の構成例］
監視者周辺機材１０は、図１に示す例では、表示装置１１と、操作手段１２と、表示装置１３と、スピーカ１４とを備える。
表示装置１１は、オンエアされている放送コンテンツ（Ａｉｒ、放送用ＴＳ信号）を表示し、表示装置１３は、通信用コンテンツ素材である字幕を表示するものとする。各表示装置１１，１３は、例えば液晶ディスプレイ等から構成される。スピーカ１４は、通信用コンテンツ素材である音声を出力する。 [Configuration example of equipment around the observer]
In the example illustrated in FIG. 1, the supervisor peripheral equipment 10 includes a display device 11, an operation unit 12, a display device 13, and a speaker 14.
The display device 11 displays broadcast content (Air, broadcast TS signal) that is on the air, and the display device 13 displays subtitles that are communication content materials. Each of the display devices 11 and 13 is composed of, for example, a liquid crystal display. The speaker 14 outputs audio that is a content material for communication.

操作手段１２は、監視者が放送コンテンツと通信コンテンツとの同期用の所望の時間を選択する操作を行うために用いるユーザインタフェースである。これにより、監視者は第２のＰＴＳを付加する操作を行うことができる。
この操作手段１２としては、例えば、回転軸に取り付けた操作ツマミを回転させたときにロータリーエンコーダ等のセンサで回転量、回転角度、回転位置等を操作量として計測・検出して、検出した操作量を示す信号を通信コンテンツ生成装置１に出力するものを用いることができる。 The operation means 12 is a user interface used for the monitor to perform an operation of selecting a desired time for synchronizing the broadcast content and the communication content. As a result, the supervisor can perform an operation of adding the second PTS.
As this operation means 12, for example, when the operation knob attached to the rotating shaft is rotated, the rotation amount, rotation angle, rotation position, etc. are measured and detected as operation amounts by a sensor such as a rotary encoder, and the detected operation is detected. What outputs the signal which shows quantity to the communication content production | generation apparatus 1 can be used.

以下では、操作手段１２は、一例として、操作ツマミを回転させたときの操作量を示す信号を出力するものとして説明する。この操作手段１２の操作量は、表示装置１１において放送コンテンツを所望の時間だけ遅延させて表示するための遅延時間に相当するものである。例えば、操作手段１２の操作ツマミが基準位置を示すときに操作量が０であって遅延が０（遅延なし）となり、操作ツマミが最大位置を示すときに操作量が最大であって遅延が最大となるように正規化しておくことができる。 Hereinafter, the operation unit 12 will be described as an example that outputs a signal indicating an operation amount when the operation knob is rotated. The operation amount of the operation means 12 corresponds to a delay time for displaying the broadcast content with a desired time delayed on the display device 11. For example, when the operation knob of the operation means 12 indicates the reference position, the operation amount is 0 and the delay is 0 (no delay), and when the operation knob indicates the maximum position, the operation amount is the maximum and the delay is the maximum. Can be normalized so that

遅延時間は、例えば放送コンテンツの番組内容や通信用コンテンツ素材の種類等に応じて適宜設定することができる。通信用コンテンツ素材が例えば音声である場合には、遅延時間はあまり必要ないので、遅延時間の最大値が例えば１秒未満（数〜数十フレーム程度）、字幕の場合には、例えば数〜１０秒程度等で指定されるように予め設定される。 The delay time can be appropriately set according to, for example, the program content of the broadcast content, the type of content material for communication, and the like. When the communication content material is, for example, audio, the delay time is not necessary so much. Therefore, the maximum delay time is, for example, less than 1 second (about several to several tens of frames). It is set in advance so as to be specified in about seconds or the like.

［通信コンテンツ生成装置の構成］
通信コンテンツ生成装置１は、例えば、ＣＰＵ（Central Processing Unit）等の演算装置と、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリ、ハードディスク等の記憶装置と、外部との各種情報の送受信を行うインタフェース装置とを備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。この通信コンテンツ生成装置１は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現され、図１に示すように、タイムスタンプ抽出手段２と、入力手段３と、遅延手段４と、演算手段５と、タイムスタンプ付加手段６とを備える。なお、オンエアされている放送コンテンツ（Ａｉｒ、放送用ＴＳ信号）は、監視者周辺機材１０の表示装置１１に表示されることを前提とする。 [Configuration of communication content generation device]
The communication content generation device 1 includes, for example, an arithmetic device such as a CPU (Central Processing Unit), a memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory), a storage device such as a hard disk, and various types of external information. The computer is provided with an interface device that performs transmission and reception, and a program installed in the computer. The communication content generation apparatus 1 is realized by the hardware device and software cooperating to control the above hardware resources by a program. As shown in FIG. , Input means 3, delay means 4, calculation means 5, and time stamp addition means 6. It is assumed that on-air broadcast content (Air, broadcast TS signal) is displayed on the display device 11 of the supervisor peripheral equipment 10.

タイムスタンプ抽出手段２は、監視者周辺機材１０の表示装置１１に入力する放送用ＴＳ信号に多重化されているＰＥＳパケットに予め付加されているＰＴＳの値を抽出するものである。本実施形態では、タイムスタンプ抽出手段２は、図１に示すように、分離手段２１と、復号手段２２と、周波数変換手段２３とを備える。 The time stamp extracting means 2 extracts the PTS value added in advance to the PES packet multiplexed in the broadcasting TS signal input to the display device 11 of the supervisor peripheral equipment 10. In the present embodiment, the time stamp extraction unit 2 includes a separation unit 21, a decoding unit 22, and a frequency conversion unit 23 as shown in FIG.

分離手段２１は、放送用ＴＳ信号を入力し、放送用ＴＳ信号に含まれる映像・音声とＰＣＲ（Program Clock Reference）とを分離（逆多重化）するものである。この分離手段２１は、例えば一般的なデマルチプレクサから構成される。分離された映像・音声は、復号手段２２に入力する。また、ＰＣＲは、周波数変換手段２３で利用される。 The separating means 21 receives a broadcasting TS signal and separates (demultiplexes) video / audio and PCR (Program Clock Reference) included in the broadcasting TS signal. This separating means 21 is constituted by a general demultiplexer, for example. The separated video / audio is input to the decoding means 22. The PCR is used by the frequency conversion means 23.

復号手段２２は、分離手段２１で分離された映像・音声を表示可能に復号すると共にＰＴＳの値を抽出するものである。この復号手段２２は、例えば一般的な映像・音声デコーダから構成される。ここで抽出されたＰＴＳの値は、演算手段５へ出力される。また、復号された映像・音声は、遅延手段４に入力する。なお、ＰＴＳは９０ｋＨｚを単位とした３３ビットの情報を示す。 The decoding means 22 decodes the video / audio separated by the separation means 21 so as to be displayable, and extracts the PTS value. The decoding means 22 is composed of, for example, a general video / audio decoder. The PTS value extracted here is output to the computing means 5. The decoded video / audio is input to the delay means 4. Note that PTS indicates 33-bit information in units of 90 kHz.

周波数変換手段２３は、分離手段２１で分離されたＰＣＲに格納されているシステムクロック（ＳＴＣ：System Time Clock）を分周してシステムクロックよりも低い所定のクロック（例えばｆ／ｓ）に変換するものである。周波数変換手段２３は、例えば一般的な分周器から構成される。システムクロックから変換された所定のクロックは、タイムスタンプ付加手段６ｂの後記するＡＤ変換手段６０に入力する。ここで、ｆは例えばＡＤ変換手段６０のクロック、ｓはシステムクロックを示す。 The frequency conversion means 23 divides the system clock (STC: System Time Clock) stored in the PCR separated by the separation means 21 and converts it to a predetermined clock (for example, f / s) lower than the system clock. Is. The frequency converting means 23 is constituted by a general frequency divider, for example. The predetermined clock converted from the system clock is input to the AD conversion means 60 described later on the time stamp addition means 6b. Here, f represents, for example, the clock of the AD conversion means 60, and s represents the system clock.

入力手段３は、監視者周辺機材１０の操作手段１２から、監視者周辺機材１０の表示装置１１において放送コンテンツを所望の時間だけ遅延させて表示するための遅延時間として操作量の入力を受け付けるものである。この入力手段３は、所定のインタフェース、図示しない算出部およびメモリ等から構成される。ここで受け付けた遅延時間は、遅延手段４と演算手段５とにそれぞれ入力する。 The input means 3 accepts input of an operation amount from the operation means 12 of the supervisor peripheral equipment 10 as a delay time for delaying and displaying the broadcast content on the display device 11 of the supervisor peripheral equipment 10 by a desired time. It is. The input unit 3 includes a predetermined interface, a calculation unit (not shown), a memory, and the like. The received delay time is input to the delay means 4 and the calculation means 5 respectively.

入力手段３は、監視者周辺機材１０の操作手段１２から、操作ツマミを回転させたときの操作量を示す信号を遅延時間として受け付け、当該遅延時間、または、そのフレーム換算値やＰＴＳ換算値を遅延手段４に出力する。換算する場合、放送をはじめとする動画像システムで用いられているインターレース方式では、時間方向のサンプリング周波数は５９．９４ｆｐｓ（Field Per Second）であることから換算できる。また、ＰＴＳは、ＳＴＣを基準として、ＰＥＳペイロードの提示時刻を９０ｋＨｚ単位で示すことから換算できる。また、入力手段３は、受け付けた遅延時間のＰＴＳ換算値を演算手段５に出力する。 The input unit 3 receives a signal indicating an operation amount when the operation knob is rotated from the operation unit 12 of the supervisor peripheral equipment 10 as a delay time, and the delay time, or the frame converted value or the PTS converted value is received. Output to the delay means 4. In the case of conversion, in the interlace method used in moving image systems such as broadcasting, the sampling frequency in the time direction can be converted because it is 59.94 fps (Field Per Second). The PTS can be converted from the presentation time of the PES payload in units of 90 kHz with the STC as a reference. Further, the input unit 3 outputs a PTS converted value of the received delay time to the calculation unit 5.

遅延手段４は、監視者周辺機材１０の表示装置１１に入力する放送用ＴＳ信号を、入力手段３から入力された遅延時間だけ遅延させて表示装置１１に出力するものである。この遅延手段４は、可変遅延回路から構成される。すなわち、遅延手段４は、入力端または出力端の候補を複数有していて、入力端または出力端のどちらかの接続位置を切り替えることで記憶容量が可変となる記憶手段から構成される。例えば、Ｎを任意の整数としてＮフレーム分の記憶容量を有するＦＩＦＯ型フレームメモリを複数組み合わせ、フレームメモリ間に例えば入力端を２つ設けることで可変遅延回路を構成することができる。 The delay means 4 delays the broadcast TS signal input to the display device 11 of the supervisor peripheral equipment 10 by the delay time input from the input means 3 and outputs it to the display device 11. The delay means 4 is composed of a variable delay circuit. That is, the delay unit 4 includes a plurality of input end or output end candidates, and is configured by a storage unit whose storage capacity is variable by switching the connection position of either the input end or the output end. For example, a variable delay circuit can be configured by combining a plurality of FIFO type frame memories having a storage capacity for N frames, where N is an arbitrary integer, and providing, for example, two input terminals between the frame memories.

遅延手段４は、例えば、監視者周辺機材１０の操作手段１２の操作ツマミが基準位置を示すときに、復号手段２２と表示装置１１とを短絡する配線に切り替わって記憶容量が０（遅延なし）となり、操作ツマミが最大位置を示すときに記憶容量が最大に伸長する配線に切り替わるように予め設定される。 For example, when the operation knob of the operation unit 12 of the monitor peripheral equipment 10 indicates the reference position, the delay unit 4 is switched to a wiring that short-circuits the decoding unit 22 and the display device 11 so that the storage capacity is 0 (no delay). Thus, when the operation knob indicates the maximum position, it is set in advance so as to switch to the wiring having the maximum storage capacity.

演算手段５は、監視者周辺機材１０の表示装置１１に入力する放送用ＴＳ信号より抽出されたＰＴＳの値から、遅延時間のＰＴＳ換算値を減算した値を有する第２のＰＴＳを生成するものである。この演算手段５は、一般的な加算器や減算器から構成される。ここで生成された第２のＰＴＳは、タイムスタンプ付加手段６の後記する符号化手段６１で利用される。すなわち、第２のＰＴＳのＰＴＳ値は、符号化手段６１に入力する。 The calculation means 5 generates a second PTS having a value obtained by subtracting the PTS conversion value of the delay time from the PTS value extracted from the broadcasting TS signal input to the display device 11 of the supervisor peripheral equipment 10. It is. The computing means 5 is composed of a general adder or subtracter. The second PTS generated here is used by the encoding means 61 described later of the time stamp adding means 6. That is, the PTS value of the second PTS is input to the encoding means 61.

タイムスタンプ付加手段６は、通信用コンテンツ素材毎に設けられ、当該通信用コンテンツ素材を符号化して第２のＰＴＳを付加することで、通信用のＰＥＳパケットを通信コンテンツとして生成するものである。
図１に示す通信コンテンツ生成装置１では、一例として、通信用コンテンツ素材として字幕を付加するためのタイムスタンプ付加手段６ａと、音声を付加するためのタイムスタンプ付加手段６ｂとを備えることとした。ここで、字幕は、監視者周辺機材１０の表示装置１３に表示され、音声は監視者周辺機材１０のスピーカ１４に出力される。これにより、監視者は、表示装置１１に表示される遅延した放送コンテンツと、それに付加しようとする通信コンテンツ（字幕や音声）との同期を調整することができる。 The time stamp adding means 6 is provided for each communication content material, and generates a communication PES packet as communication content by encoding the communication content material and adding a second PTS.
As an example, the communication content generation apparatus 1 shown in FIG. 1 includes a time stamp adding unit 6a for adding subtitles as communication content material and a time stamp adding unit 6b for adding audio. Here, the caption is displayed on the display device 13 of the supervisor peripheral equipment 10, and the sound is output to the speaker 14 of the supervisor peripheral equipment 10. Thus, the supervisor can adjust the synchronization between the delayed broadcast content displayed on the display device 11 and the communication content (caption or audio) to be added thereto.

タイムスタンプ付加手段６ａは、符号化手段６１と、多重化手段６２と、配信手段６３とを備える。 The time stamp adding unit 6 a includes an encoding unit 61, a multiplexing unit 62, and a distribution unit 63.

符号化手段６１は、入力された字幕（通信用コンテンツ素材）を符号化して通信用のＰＥＳパケットを生成するものである。符号化手段６１は、例えば一般的な映像エンコーダから構成される。生成された通信用のＰＥＳパケットは多重化手段６２に入力する。 The encoding means 61 encodes the input subtitle (communication content material) to generate a PES packet for communication. The encoding means 61 is composed of a general video encoder, for example. The generated communication PES packet is input to the multiplexing means 62.

多重化手段６２は、字幕（通信用コンテンツ素材）に対して生成された通信用のＰＥＳパケットを多重化した通信用ＴＳ信号を生成するものである。この多重化手段６２は、例えば一般的なマルチプレクサから構成される。生成された通信用ＴＳ信号は配信手段６３の図示しないコンテンツ記憶部に入力する。 The multiplexing means 62 generates a communication TS signal obtained by multiplexing the communication PES packet generated for the subtitle (communication content material). The multiplexing means 62 is composed of a general multiplexer, for example. The generated communication TS signal is input to a content storage unit (not shown) of the distribution unit 63.

配信手段６３は、コンテンツ受信端末２００（図２参照）から、通信ネットワークＮを介して、通信コンテンツの要求を受け付け、当該コンテンツ受信端末２００に対して、要求された通信コンテンツとして、生成した通信用ＴＳ信号を配信するものである。このために、配信手段６３は、図示を省略したコンテンツ要求受付部と、コンテンツ記憶部と、通信コンテンツ送信部とを備える。なお、受け付けるコンテンツ要求には、要求された通信コンテンツを特定するためのコンテンツ識別情報や受信端末識別情報等を含んでいる。これにより、通信コンテンツ送信部は、要求された通信コンテンツをコンテンツ記憶部から取得することができる。 The distribution unit 63 receives a request for communication content from the content reception terminal 200 (see FIG. 2) via the communication network N, and generates the communication content generated as the requested communication content with respect to the content reception terminal 200. The TS signal is distributed. For this purpose, the distribution unit 63 includes a content request reception unit, a content storage unit, and a communication content transmission unit (not shown). The content request to be received includes content identification information for identifying the requested communication content, receiving terminal identification information, and the like. Accordingly, the communication content transmission unit can acquire the requested communication content from the content storage unit.

タイムスタンプ付加手段６ｂは、符号化手段６１、多重化手段６２、配信手段６３に加えて、ＡＤ変換手段６０も備えている。
ＡＤ変換手段６０は、通信用コンテンツ素材である音声のアナログ信号を、周波数変換手段２３で変換されたクロックにしたがってデジタル信号に変換するものである。この音声のデジタル信号は、一般的な音声エンコーダから構成された符号化手段６１に入力し、符号化手段６１は、ＡＤ変換された音声（通信用コンテンツ素材）に第２のＰＴＳを付加して符号化し、多重化手段６２に出力する。 The time stamp adding unit 6 b includes an AD conversion unit 60 in addition to the encoding unit 61, the multiplexing unit 62, and the distribution unit 63.
The AD conversion means 60 converts an audio analog signal, which is a communication content material, into a digital signal according to the clock converted by the frequency conversion means 23. This digital audio signal is input to encoding means 61 composed of a general audio encoder. The encoding means 61 adds a second PTS to the AD converted audio (communication content material). Encode and output to the multiplexing means 62.

［通信コンテンツ生成装置の処理の流れ］
ここでは、通信コンテンツ生成装置の処理の流れについて、図１および図２を参照して説明する。以下では、処理の各段階に便宜的にＳ１〜Ｓ６のナンバリングを行って説明するが、各処理の実行順序は、ナンバリング通りである必要はなく、また、少なくともいずれか２つの処理を並列に行ってもよい。 [Processing flow of communication content generation device]
Here, the flow of processing of the communication content generation apparatus will be described with reference to FIGS. 1 and 2. In the following, the numbering of S1 to S6 will be described for convenience in each stage of processing, but the execution order of each processing does not have to be numbering, and at least any two processes are performed in parallel. May be.

（Ｓ１：放送コンテンツのモニタリング）
通信コンテンツ生成装置１は、主調整室１００の多重化装置１３０から出力された放送コンテンツ（放送用ＴＳ信号）を受信すると、分離手段２１によって、映像・音声とＰＣＲとを分離する。このうち、映像・音声は、復号手段２２によってデコードされ、デコードされたコンテンツは、遅延手段４によって、遅延してから、監視者周辺機材１０の表示装置１１に入力し、表示装置１１によって、表示される。 (S1: Broadcast content monitoring)
When the communication content generation device 1 receives the broadcast content (broadcast TS signal) output from the multiplexing device 130 of the main adjustment room 100, the separation unit 21 separates the video / audio and the PCR. Of these, the video / audio is decoded by the decoding unit 22, and the decoded content is delayed by the delay unit 4 and then input to the display device 11 of the supervisor peripheral equipment 10 and displayed by the display device 11. Is done.

（Ｓ２：遅延量の選択）
監視者は、監視者周辺機材１０の表示装置１１に表示された放送コンテンツと、表示装置１３に表示された字幕（通信用コンテンツ素材）やスピーカ１４から出力される音声（通信用コンテンツ素材）とを視聴して、放送コンテンツと通信コンテンツとが同期するように遅延量を調整する。監視者は、監視者周辺機材１０の操作手段１２を操作することによって遅延時間を変更することができる。なお、遅延量の具体例については後記する。 (S2: Selection of delay amount)
The supervisor displays the broadcast content displayed on the display device 11 of the peripheral equipment 10 for the supervisor, the subtitle (communication content material) displayed on the display device 13, and the sound (communication content material) output from the speaker 14. And the delay amount is adjusted so that the broadcast content and the communication content are synchronized. The monitor can change the delay time by operating the operation means 12 of the monitor peripheral equipment 10. A specific example of the delay amount will be described later.

このとき、通信コンテンツ生成装置１の入力手段３は、監視者周辺機材１０の操作手段１２から、操作ツマミを回転させたときの操作量を示す信号（遅延時間）を受け付け、遅延手段４および演算手段５に出力する。入力手段３が、例えば遅延時間のフレーム換算値を遅延手段４に出力し、遅延時間のＰＴＳ換算値を演算手段５に出力すると、監視者は、フレーム単位で遅延させた放送コンテンツを見ながら、通信コンテンツに対して、放送コンテンツに同期したＰＴＳ（第２のＰＴＳ）を付加することができる。 At this time, the input means 3 of the communication content generation apparatus 1 receives a signal (delay time) indicating the operation amount when the operation knob is rotated from the operation means 12 of the supervisor peripheral equipment 10, and the delay means 4 and the calculation Output to means 5. When the input unit 3 outputs, for example, a frame converted value of the delay time to the delay unit 4 and outputs a PTS converted value of the delay time to the calculating unit 5, the monitor can watch the broadcast content delayed in units of frames, A PTS (second PTS) synchronized with the broadcast content can be added to the communication content.

（Ｓ３：ＰＴＳの生成）
通信コンテンツ生成装置１は、復号手段２２によって、映像・音声をデコードするときに、放送コンテンツ（放送用ＴＳ信号）に予め付加されているＰＴＳを抽出し、演算手段５に出力する。そして、通信コンテンツ生成装置１は、演算手段５によって、抽出されたＰＴＳの値から、遅延量（遅延時間のＰＴＳ換算値）を減算した値を有する第２のＰＴＳを生成する。 (S3: Generation of PTS)
When the video / audio is decoded by the decoding unit 22, the communication content generation apparatus 1 extracts the PTS added in advance to the broadcast content (broadcast TS signal) and outputs the PTS to the calculation unit 5. Then, the communication content generation device 1 generates the second PTS having a value obtained by subtracting the delay amount (PTS conversion value of the delay time) from the extracted PTS value by the computing unit 5.

ここで、一例として、監視者が、オンエア中の放送コンテンツ（Ａｉｒ）から、ある遅延量（遅延時間のＰＴＳ換算値）で遅延させた放送コンテンツをモニタしているタイミングで、演算手段５が演算する例について説明する。
このときの遅延量（遅延時間のＰＴＳ換算値）をＰＴＳ１として以下の式（１）に示す。また、遅延させた放送コンテンツに付加されているＰＴＳの値をＰＴＳ２として以下の式（２）に示す。このとき、オンエア中の放送コンテンツ（Ａｉｒ）から既に抽出されているＰＴＳの値をＰＴＳ３として以下の式（３）で示す（ＰＴＳ３＞ＰＴＳ２）。なお、この例では、ＰＴＳ３からＰＴＳ２を減算した値がＰＴＳ１となっている。
上記設定の場合、演算手段５は、ＰＴＳ３からＰＴＳ１を減算し、その演算結果のＰＴＳ値として以下の式（４）で示されるＰＴＳ４を有した第２のＰＴＳを生成することとなる。
ＰＴＳ１＝０００・・０００１０１ …式（１）
ＰＴＳ２＝０００・・００１０１１ …式（２）
ＰＴＳ３＝０００・・０１００００ …式（３）
ＰＴＳ４＝０００・・００１０１１ …式（４） Here, as an example, the calculation means 5 calculates at the timing when the monitor monitors the broadcast content delayed by a certain delay amount (PTS conversion value of the delay time) from the broadcast content (Air) being on the air. An example will be described.
The delay amount (PTS conversion value of the delay time) at this time is represented by the following formula (1) as PTS1. Also, the value of PTS added to the delayed broadcast content is represented by the following formula (2), where PTS2 is set. At this time, the PTS value already extracted from the on-air broadcast content (Air) is represented by the following formula (3) as PTS3 (PTS3> PTS2). In this example, the value obtained by subtracting PTS2 from PTS3 is PTS1.
In the case of the above setting, the calculation means 5 subtracts PTS1 from PTS3 and generates a second PTS having PTS4 expressed by the following expression (4) as the PTS value of the calculation result.
PTS1 = 000 ..000101 Formula (1)
PTS2 = 000 ..001011 ... Formula (2)
PTS3 = 000 ..010000 ... Formula (3)
PTS4 = 000 ..001011 ... Formula (4)

式（４）に示すＰＴＳ４は、式（２）に示すＰＴＳ２と同じ値なので、監視者は、遅延させた放送コンテンツに付加されているＰＴＳの値と同じ値を有した通信コンテンツを生成することが可能となる。これは、生放送番組等で既に流れてしまったＡｉｒのＰＴＳ値を抽出して、既に流れてしまったタイミングで通信コンテンツを同期させることとなる。
なお、上記説明では、ＰＴＳ値の演算を具体的に示すために、３３ビットの下５桁ほどのビット列に単純化して説明した。 Since the PTS4 shown in the equation (4) is the same value as the PTS2 shown in the equation (2), the monitor should generate communication content having the same value as the PTS value added to the delayed broadcast content. Is possible. This means that the PTS value of Air that has already flowed in a live broadcast program or the like is extracted, and the communication content is synchronized at the timing that has already flowed.
In the above description, in order to specifically show the calculation of the PTS value, the description is simplified to the bit string of the last 5 digits of 33 bits.

（Ｓ４：ＰＴＳの付加）
通信コンテンツ生成装置１は、配信手段６３によって、コンテンツ受信端末２００（図２参照）から、通信ネットワークＮを介して、通信コンテンツの要求を受け付ける。
通信コンテンツ生成装置１は、タイムスタンプ付加手段６の符号化手段６１によって、例えば字幕や音声等の通信用コンテンツ素材に対して第２のＰＴＳを付加し、エンコードすることでＰＥＳパケットを生成する。 (S4: Addition of PTS)
The communication content generation apparatus 1 accepts a request for communication content from the content receiving terminal 200 (see FIG. 2) via the communication network N by the distribution unit 63.
The communication content generation apparatus 1 generates a PES packet by adding and encoding the second PTS to the communication content material such as subtitles and audio by the encoding unit 61 of the time stamp adding unit 6.

（Ｓ５：通信コンテンツの配信）
通信コンテンツ生成装置１は、通信用コンテンツ素材毎に、多重化手段６２によって、ＰＥＳパケットを多重化して通信コンテンツ（通信用ＴＳ信号）を生成する。
通信コンテンツ生成装置１は、配信手段６３によって、通信ネットワークＮを介して、要求元のコンテンツ受信端末２００（図２参照）に対して、通信コンテンツを配信する。これにより、コンテンツ受信端末２００は、通信コンテンツを表示する。 (S5: Distribution of communication content)
The communication content generation device 1 generates communication content (communication TS signal) by multiplexing the PES packet by the multiplexing unit 62 for each communication content material.
The communication content generation device 1 distributes the communication content to the request source content receiving terminal 200 (see FIG. 2) via the communication network N by the distribution unit 63. As a result, the content receiving terminal 200 displays the communication content.

（Ｓ６：クロックによる同期）
通信コンテンツが例えば音声である場合、以下の処理を行う。
通信コンテンツ生成装置１は、通信用コンテンツ素材が音声である場合、放送コンテンツ（放送用ＴＳ信号）から分離手段２１によって分離（逆多重化）されたＰＣＲを抽出し、ＰＣＲからＳＴＣを生成し、周波数変換手段２３によって、ＳＴＣを分周することで、ＡＤ変換手段６０のためのクロックを生成する。そして、タイムスタンプ付加手段６ｂのＡＤ変換手段６０は、この生成されたクロックにより、アナログ音声（通信用コンテンツ素材）をデジタル信号の音声に変換する。一方、コンテンツ受信端末２００（図２参照）は、受信した放送コンテンツから分離（逆多重化）、生成するＳＴＣからＤＡ変換処理のためのクロックを生成して使用する。したがって、通信コンテンツを送信する側のＡＤ変換処理のクロックと、通信コンテンツを受信する側のＤＡ変換処理のクロックとが揃い、同期が確立できる。これによれば、通信コンテンツが音声や映像等の場合、クロックを揃えることで同期を精密に行うことができる。 (S6: Synchronization by clock)
For example, when the communication content is audio, the following processing is performed.
When the communication content material is audio, the communication content generation device 1 extracts the PCR separated (demultiplexed) by the separation means 21 from the broadcast content (broadcast TS signal), generates an STC from the PCR, The frequency converter 23 divides the STC to generate a clock for the AD converter 60. Then, the AD conversion means 60 of the time stamp addition means 6b converts the analog sound (communication content material) into a digital signal sound by using the generated clock. On the other hand, the content receiving terminal 200 (see FIG. 2) generates (demultiplexes) the received broadcast content and generates and uses a clock for DA conversion processing from the generated STC. Therefore, the AD conversion processing clock on the communication content transmitting side and the DA conversion processing clock on the communication content receiving side are aligned, and synchronization can be established. According to this, when the communication content is audio, video, or the like, synchronization can be precisely performed by aligning the clocks.

［遅延量の具体例］
ここでは、遅延量の具体例について説明する。例えば、実況者と解説者による野球中継の生放送番組（放送コンテンツ）を仮定し、かつ、この放送コンテンツに対して用意する通信用コンテンツ素材として、一方のチームを応援する特別解説者の音声を付加する場合を想定する。この想定において、特別解説者がスタジオで野球中継の映像を見ながら解説する、といった場合、原理的に、野球中継の映像に対して、特別解説者の音声が遅れることになる。つまり、このサービスを受けている視聴者にとってみれば、視聴中に、特別解説者の音声の方が、野球中継の映像の場面よりも遅れていると感じる。 [Specific example of delay amount]
Here, a specific example of the delay amount will be described. For example, assuming a live broadcast program (broadcast content) of a live baseball game by live commentators and commentators, the voice of a special commentator who supports one team is added as a communication content material prepared for this broadcast content. Assume that In this assumption, when a special commentator explains in a studio while watching a video of a baseball broadcast, in principle, the voice of the special commentator is delayed with respect to the video of the baseball broadcast. In other words, for the viewer receiving this service, during the viewing, the voice of the special commentator feels behind the scene of the baseball broadcast video.

監視者は、このように遅れて聞こえるような感じを与えないように遅延量（操作量）を選択する。このことができる理由は、監視者が監視している環境、すなわち、監視者周辺機材１０のある環境は、視聴者がコンテンツ受信端末２００を利用して視聴している環境を再現したことになるからである。 The monitoring person selects the delay amount (operation amount) so as not to give such a feeling that the sound can be heard with a delay. The reason why this is possible is that the environment monitored by the supervisor, that is, the environment where the peripheral equipment 10 of the supervisor is present, is the reproduction of the environment where the viewer is viewing using the content receiving terminal 200. Because.

なお、視聴者が見たり聞いたりしていて不自然にならないように調整するので、音声（通信用コンテンツ素材）については、ほぼ遅延なしとなる。字幕（通信用コンテンツ素材）に関しては、放送コンテンツを視聴しながら制作しなければならないので、長いときには数秒程度遅延させることとなる。 In addition, since adjustment is performed so that the viewer is watching and listening and not unnatural, the sound (content material for communication) has almost no delay. Subtitles (communication content material) must be produced while viewing the broadcast content, so that it may be delayed by several seconds when it is long.

以上により、本実施形態の通信コンテンツ生成装置１によれば、放送局側で、遅延させた放送コンテンツを視聴して、放送コンテンツと通信コンテンツとの同期を監視者により確認した後に、通信コンテンツにＰＴＳ（第２のＰＴＳ）を付加することができる。そのため、生放送番組において、従来は不可能であった通信コンテンツに放送コンテンツに同期したＰＴＳを付加することが可能となる。これにより、生放送番組であっても、コンテンツ受信端末において、放送コンテンツと通信コンテンツとの同期をとることができる。したがって、コンテンツ受信端末において、通信コンテンツとして、例えば、多言語の字幕、多言語の音声、放送映像に同期した他の映像等を、放送コンテンツと同時に提示することができる。 As described above, according to the communication content generation device 1 of the present embodiment, the broadcast station views the broadcast content that has been delayed, and after confirming the synchronization between the broadcast content and the communication content by the supervisor, A PTS (second PTS) can be added. Therefore, in a live broadcast program, it becomes possible to add a PTS synchronized with the broadcast content to the communication content that has been impossible in the past. Thereby, even in the case of a live broadcast program, the broadcast content and the communication content can be synchronized at the content receiving terminal. Therefore, in the content receiving terminal, for example, multilingual subtitles, multilingual audio, other video synchronized with the broadcast video, and the like can be presented simultaneously with the broadcast content as the communication content.

以上、実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではなく、その趣旨を逸脱しない範囲で適宜変形することができる。例えば、通信コンテンツ生成装置１の入力手段３は、監視者周辺機材１０の操作手段１２から受け付けた遅延時間からＰＴＳ換算値等を求めるものとして説明したが、操作手段１２が、遅延時間からＰＴＳ換算値等を求める機能を備えるようにしてもよい。 As described above, the present invention has been described based on the embodiment, but the present invention is not limited to this, and can be appropriately modified without departing from the spirit of the present invention. For example, although the input unit 3 of the communication content generation apparatus 1 has been described as obtaining a PTS converted value from the delay time received from the operation unit 12 of the supervisor peripheral equipment 10, the operation unit 12 converts the delay time to PTS conversion. You may make it provide the function which calculates | requires a value etc.

また、本実施形態では、監視者周辺機材１０の操作手段１２が、操作ツマミを回転させるタイプのものとして説明したが、例えば、スライド機構に取り付けたレバーを直線上で移動させたときに変位センサで距離や変位等を操作量として計測・検出するスライダ装置でもよい。その他、ジョイスティックやマウス等のポインティングデバイスを用いることもできる。 In the present embodiment, the operation means 12 of the peripheral equipment 10 for the supervisor is described as a type that rotates the operation knob. However, for example, when the lever attached to the slide mechanism is moved linearly, the displacement sensor A slider device that measures and detects distance, displacement, and the like as an operation amount may be used. In addition, a pointing device such as a joystick or a mouse can be used.

また、図１に示す例では、表示装置１１と、操作手段１２と、表示装置１３と、スピーカ１４とを個別の装置であるものとして説明したが、１つの表示装置を兼用するなど、いずれか複数またはすべての装置を１ユニット化した装置であっても構わない。 In the example illustrated in FIG. 1, the display device 11, the operation unit 12, the display device 13, and the speaker 14 are described as separate devices. However, any one of them may be used as one display device. A device in which a plurality or all of the devices are integrated into one unit may be used.

また、監視者が放送局にて監視を行う場合、主調整室１００に、通信コンテンツ生成装置１を配置して、主調整室１００の備品等を監視者周辺機材１０として用いることができる。 In addition, when the supervisor performs monitoring at the broadcasting station, the communication content generation device 1 can be arranged in the main adjustment room 100 and the equipment of the main adjustment room 100 can be used as the peripheral equipment 10 for the observer.

また、監視者は放送局以外の場所にて監視を行ってもよいことは勿論である。また、監視者は、放送局に属する人物に限定されるものではなく、例えば、ＡＳＰ（Application Service Provider）や、通信コンテンツを企画、生成、流通させる事業者等であってもよい。この場合、例えば、放送局の主調整室１００の多重化装置１３０から、放送コンテンツ（放送用ＴＳ信号）を、ＡＳＰのもとに設置された通信コンテンツ生成装置１へ入力する通信線を設ければ、同様の効果を奏することができる。 Of course, the supervisor may monitor at a place other than the broadcasting station. Further, the supervisor is not limited to a person belonging to a broadcasting station, and may be, for example, an ASP (Application Service Provider) or a business operator that plans, generates, and distributes communication content. In this case, for example, a communication line for inputting broadcast content (broadcast TS signal) from the multiplexing device 130 of the main adjustment room 100 of the broadcast station to the communication content generation device 1 installed under the ASP may be provided. If it is, the same effect can be produced.

１通信コンテンツ生成装置
２タイムスタンプ抽出手段
３入力手段
４遅延手段
５演算手段
６（６ａ、６ｂ）タイムスタンプ付加手段
１０監視者周辺機材
１１表示装置
１２操作手段
１３表示装置
１４スピーカ
２１分離手段
２２復号手段
２３周波数変換手段
６０ＡＤ変換手段
６１符号化手段
６２多重化手段
６３配信手段
１００主調整室
１１０映像エンコーダ
１２０音声エンコーダ
１３０多重化装置
１４０変調手段
１５０出力手段
１６０アンテナ
２００コンテンツ受信端末
Ｎ通信ネットワーク DESCRIPTION OF SYMBOLS 1 Communication content production | generation apparatus 2 Time stamp extraction means 3 Input means 4 Delay means 5 Calculation means 6 (6a, 6b) Time stamp addition means 10 Monitor peripheral equipment 11 Display apparatus 12 Operation means 13 Display apparatus 14 Speaker 21 Separation means 22 Decoding Means 23 Frequency conversion means 60 AD conversion means 61 Encoding means 62 Multiplexing means 63 Distribution means 100 Main adjustment room 110 Video encoder 120 Audio encoder 130 Multiplexer 140 Modulation means 150 Output means 160 Antenna 200 Content receiving terminal N Communication network

Claims

放送波により放送用ＴＳ信号として放送される１つの放送コンテンツと通信ネットワークで配信するための１または複数の通信用コンテンツ素材とを送信側で同期させるためにそれぞれ監視する監視者が同期用の所望の時間を選択する操作を行うために用いる操作手段の操作量に基づいて、前記１または複数の通信用コンテンツ素材から１または複数の通信コンテンツを生成する通信コンテンツ生成装置であって、
前記監視者が利用する表示装置に入力する前記放送用ＴＳ信号に多重化されているＰＥＳパケットに予め付加されているＰＴＳの値を抽出するタイムスタンプ抽出手段と、
前記操作手段から、当該監視者が利用する表示装置において前記放送コンテンツを前記所望の時間だけ遅延させて表示するための遅延時間として前記操作量の入力を受け付ける入力手段と、
前記表示装置に入力する前記放送用ＴＳ信号を前記遅延時間だけ遅延させて前記表示装置に出力する遅延手段と、
前記表示装置に入力する放送用ＴＳ信号より抽出されたＰＴＳの値から、前記遅延時間のＰＴＳ換算値を減算した値を有する第２のＰＴＳを生成する演算手段と、
前記通信用コンテンツ素材毎に設けられ、当該通信用コンテンツ素材を符号化して前記第２のＰＴＳを付加することで、通信用のＰＥＳパケットを前記通信コンテンツとして生成するタイムスタンプ付加手段と、
を備え、
前記通信用コンテンツ素材のうち少なくとも１つは映像または音声を含み、
前記タイムスタンプ抽出手段は、
前記放送用ＴＳ信号に含まれる映像・音声とＰＣＲとを分離する分離手段と、
前記分離された映像・音声を表示可能に復号すると共に前記ＰＴＳの値を抽出する復号手段と、
前記分離されたＰＣＲに格納されているシステムクロックを分周して前記システムクロックよりも低い所定のクロックに変換する周波数変換手段と、を備え、
前記タイムスタンプ付加手段は、
前記通信用コンテンツ素材のアナログ信号を、前記周波数変換手段で変換されたクロックにしたがってデジタル信号に変換するＡＤ変換手段と、
前記ＡＤ変換された通信用コンテンツ素材に前記第２のＰＴＳを付加して符号化する符号化手段と、を備えることを特徴とする通信コンテンツ生成装置。 A supervisor who monitors each broadcast content in order to synchronize one broadcast content broadcasted as a broadcast TS signal by broadcast waves and one or a plurality of communication content materials for distribution on a communication network on the transmission side is desired for synchronization. A communication content generation device that generates one or a plurality of communication contents from the one or a plurality of communication content materials based on an operation amount of an operation means used for performing an operation of selecting the time of
Time stamp extraction means for extracting a PTS value added in advance to a PES packet multiplexed in the broadcasting TS signal input to the display device used by the supervisor;
An input means for receiving an input of the operation amount as a delay time for displaying the broadcast content with a delay by the desired time on the display device used by the monitor from the operation means;
Delay means for delaying the broadcasting TS signal input to the display device by the delay time and outputting the delayed signal to the display device;
A calculation means for generating a second PTS having a value obtained by subtracting a PTS conversion value of the delay time from a PTS value extracted from a broadcasting TS signal input to the display device;
A time stamp adding means that is provided for each of the communication content materials and generates the communication PES packet as the communication content by encoding the communication content material and adding the second PTS;
Equipped with a,
At least one of the communication content materials includes video or audio,
The time stamp extraction means includes:
Separating means for separating video / audio and PCR included in the broadcasting TS signal;
Decoding means for decoding the separated video / audio so that it can be displayed and extracting the value of the PTS;
A frequency conversion means for dividing the system clock stored in the separated PCR and converting it to a predetermined clock lower than the system clock;
The time stamp adding means includes
AD conversion means for converting the analog signal of the communication content material into a digital signal according to the clock converted by the frequency conversion means;
An apparatus for generating communication content, comprising: an encoding unit that adds the second PTS to the AD-converted communication content material for encoding .

前記タイムスタンプ付加手段は、
前記通信用コンテンツ素材に対して生成された前記通信用のＰＥＳパケットを多重化した通信用ＴＳ信号を生成する多重化手段と、
放送波を介して放送用ＴＳ信号として放送される放送コンテンツを受信する受信端末から、前記通信ネットワークを介して、当該放送コンテンツのために用意された通信コンテンツの要求を受け付け、当該受信端末に対して、前記要求された通信コンテンツとして前記通信用ＴＳ信号を配信する配信手段と、
を備えることを特徴とする請求項１に記載の通信コンテンツ生成装置。 The time stamp adding means includes
A multiplexing means for generating a communication TS signal obtained by multiplexing the communication PES packet generated for the communication content material;
A request for communication content prepared for the broadcast content is received via the communication network from a reception terminal that receives broadcast content broadcast as a broadcast TS signal via a broadcast wave. Distribution means for distributing the communication TS signal as the requested communication content;
The communication content generation apparatus according to claim 1 , further comprising:

コンピュータを、請求項１又は請求項２に記載の通信コンテンツ生成装置として機能させるための通信コンテンツ生成プログラム。A communication content generation program for causing a computer to function as the communication content generation device according to claim 1.