JP6647241B2 - MMT receiving system, synchronization control device, synchronization control method, and synchronization control program - Google Patents

MMT receiving system, synchronization control device, synchronization control method, and synchronization control program Download PDF

Info

Publication number
JP6647241B2
JP6647241B2 JP2017105571A JP2017105571A JP6647241B2 JP 6647241 B2 JP6647241 B2 JP 6647241B2 JP 2017105571 A JP2017105571 A JP 2017105571A JP 2017105571 A JP2017105571 A JP 2017105571A JP 6647241 B2 JP6647241 B2 JP 6647241B2
Authority
JP
Japan
Prior art keywords
mmt
presentation
mmtp data
synchronization control
client device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017105571A
Other languages
Japanese (ja)
Other versions
JP2018201150A (en
Inventor
小野　正人
正人 小野
功次 難波
功次 難波
佐藤　孝子
孝子 佐藤
喜秀 外村
喜秀 外村
山口　徹也
徹也 山口
知之 兼清
知之 兼清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2017105571A priority Critical patent/JP6647241B2/en
Publication of JP2018201150A publication Critical patent/JP2018201150A/en
Application granted granted Critical
Publication of JP6647241B2 publication Critical patent/JP6647241B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、ＭＭＴ送信システムからＭＭＴＰデータを受信するＭＭＴ受信システム、ＭＭＴ受信システムで用いられる同期制御装置、同期制御方法および同期制御プログラムに関する。   The present invention relates to an MMT reception system that receives MMTP data from an MMT transmission system, a synchronization control device used in the MMT reception system, a synchronization control method, and a synchronization control program.

近年の情報機器および情報通信の発達に伴い、多様な映像配信形態が提供されている。例えば、話者と聴講者とが異なる物理空間に位置する場合でも、それぞれの物理空間に、ディスプレイ、スピーカー、カメラおよびマイクを設け、通信ネットワークで接続することにより、話者と聴講者とが、互いをリアルに感じてコミュニケーションすることを可能としている。また、複数のディスプレイやカメラを設け、これらを同期させて、迫力のある映像や音声を再生する映像配信形態も可能としている。   With the development of information devices and information communication in recent years, various video distribution modes have been provided. For example, even when the speaker and the listener are located in different physical spaces, a display, a speaker, a camera, and a microphone are provided in each physical space, and the speaker and the listener are connected by a communication network. It enables them to feel and communicate with each other. In addition, a plurality of displays and cameras are provided, and these are synchronized to enable a video distribution form in which powerful video and audio are reproduced.

このような映像配信形態を実現するために、国際標準規格のＭＭＴ（MPEG Media Transport）が用いられる場合がある（例えば非特許文献１参照）。   In order to realize such a video distribution form, MMT (MPEG Media Transport) of an international standard may be used (for example, see Non-Patent Document 1).

ＭＭＴでは、送信側システムから受信側システムに、ＭＭＴＰ（MPEG Media Transport Protocol）データが送信される。このＭＭＴＰデータにおいて、コンテンツの提示時刻をＵＴＣ（Coordinated Universal Time）で指定することが可能である。従って、放送と通信のように、伝送経路が異なる場合でも、再生側で各コンテンツを同期して提示することが可能である。   In MMT, MMTP (MPEG Media Transport Protocol) data is transmitted from a transmitting system to a receiving system. In the MMTP data, the presentation time of the content can be designated by UTC (Coordinated Universal Time). Therefore, even when the transmission path is different, such as in broadcasting and communication, it is possible to present each content in synchronization on the playback side.

受信側システムにおいて、ＭＭＴ提示クライアント装置が、ＭＭＴＰデータをデコードして、ＵＴＣで指定された提示時刻にコンテンツを提示するように、ＭＭＴ提示装置にデコードしたＭＭＴＰデータを入力し、ＭＭＴ提示装置が入力されたデータを再生する。   In the receiving system, the MMT presentation client device inputs the decoded MMTP data to the MMT presentation device so that the MMT presentation device decodes the MMTP data and presents the content at the presentation time specified by the UTC. To play back the data.

一般社団法人 電波産業会、“ARIB STD-B60 デジタル放送におけるMMTによるメディアトランスポート方式 標準規格 ＡＲＩＢ ＳＴＤ−Ｂ６０ １．４版”、平成２７年９月３０日The Association of Radio Industries and Businesses, "ARIB STD-B60 Media Transport Method with MMT for Digital Broadcasting, Standard ARIB STD-B60 1.4 Edition", September 30, 2015

ここで、ＵＴＣで指定された提示時刻にコンテンツを提示するために、ＭＭＴ提示クライアント装置がＭＭＴ提示装置にデータを入力した場合であっても、ＭＭＴ提示装置そのものの特性によって遅延が生じたり、およびＭＭＴ提示クライアント装置とＭＭＴ提示装置の接続形態等によって遅延が生じたりする場合がある。その結果、ＵＴＣで指定された時刻にコンテンツを表示することができない場合がある。   Here, even if the MMT presentation client device inputs data to the MMT presentation device in order to present the content at the presentation time specified by UTC, a delay occurs due to the characteristics of the MMT presentation device itself, and A delay may occur depending on the connection mode between the MMT presentation client device and the MMT presentation device. As a result, it may not be possible to display the content at the time specified by UTC.

従って本発明の目的は、ＭＭＴ送信システムからＭＭＴＰデータを受信し提示する際に、ＭＭＴ提示クライアント装置がＭＭＴ提示装置にデータを出力してから生じる遅延によって生じるずれを解消することができるＭＭＴ受信システム、同期制御装置、同期制御方法および同期制御プログラムを提供することである。   Therefore, an object of the present invention is to provide an MMT receiving system capable of eliminating a shift caused by a delay caused by an MMT presentation client device outputting data to an MMT presentation device when receiving and presenting MMTP data from an MMT transmission system. , A synchronization control device, a synchronization control method, and a synchronization control program.

上記課題を解決するために、本発明の第１の特徴は、ＭＭＴ送信システムからＭＭＴＰデータを受信するＭＭＴ受信システムに関する。第１の特徴に係るＭＭＴ受信システムは、ＭＭＴＰデータを受信してデコードし、指定された提示時刻にあわせてデコードされたＭＭＴＰデータを後記ＭＭＴ提示装置に入力するＭＭＴ提示クライアント装置と、ＭＭＴ提示クライアント装置に接続し、デコードされたＭＭＴＰデータを、提示するＭＭＴ提示装置と、ＭＭＴ提示装置による提示を検出する検出装置と、ＭＭＴ提示クライアント装置および検出装置に接続する同期制御装置を備える。同期制御装置は、所定の時刻に特徴点を含むテストＭＭＴＰデータをＭＭＴ提示クライアント装置に入力するテスト信号入力部と、ＭＭＴ提示装置によるテストＭＭＴＰデータの提示を検出した結果を、検出装置から取得するテスト信号検出部と、テスト信号検出部が取得した結果から特定された特徴点の時刻と、所定の時刻とを比較して、ＭＭＴ提示装置の遅延量を特定する遅延量特定部と、ＭＭＴ提示クライアント装置に対して、遅延量特定部で特定された遅延量と、デコードされたＭＭＴＰデータをＭＭＴ提示装置に入力するタイミングを補正する指示を入力する遅延補正部を備える。   In order to solve the above problem, a first feature of the present invention relates to an MMT receiving system that receives MMTP data from an MMT transmitting system. An MMT presentation client device according to a first feature, comprising: an MMT presentation client device that receives and decodes MMTP data, and inputs the MMTP data decoded according to a designated presentation time to an MMT presentation device described later; An MMT presentation device that is connected to the device and presents the decoded MMTP data, a detection device that detects the presentation by the MMT presentation device, and a synchronization control device that is connected to the MMT presentation client device and the detection device. The synchronization control device acquires, from the detection device, a test signal input unit that inputs test MMTP data including a feature point to the MMT presentation client device at a predetermined time, and a result of detecting the presentation of the test MMTP data by the MMT presentation device. A test signal detecting unit, a delay amount specifying unit that compares a time of a feature point specified from a result obtained by the test signal detecting unit with a predetermined time, and specifies a delay amount of the MMT presenting apparatus; The client device includes a delay correction unit that inputs a delay amount specified by the delay amount specifying unit and an instruction to correct a timing of inputting the decoded MMTP data to the MMT presentation device.

テストＭＭＴＰデータが映像に関する場合、検出装置はカメラであって、特徴点は、映像の変更、または特定情報の透かしである。   When the test MMTP data relates to an image, the detecting device is a camera, and the feature point is a change of the image or a watermark of specific information.

テストＭＭＴＰデータが音声に関する場合、検出装置はマイクであって、特徴点は、音声の変更、または特定情報の透かしである。   When the test MMTP data relates to voice, the detection device is a microphone, and the feature point is voice change or watermark of specific information.

ＭＭＴ提示クライアント装置は、ＭＭＴ送信システムから受信したＭＭＴＰデータの所定の時刻に、特徴点を重畳しても良い。   The MMT presentation client device may superimpose the feature point at a predetermined time of the MMTP data received from the MMT transmission system.

本発明の第２の特徴は、ＭＭＴ送信システムからＭＭＴＰデータを受信するＭＭＴ受信システムに用いられる同期制御装置に関する。ＭＭＴ受信システムは、ＭＭＴＰデータを受信してデコードし、指定された提示時刻にあわせてデコードされたＭＭＴＰデータを後記ＭＭＴ提示装置に入力するＭＭＴ提示クライアント装置と、ＭＭＴ提示クライアント装置に接続し、デコードされたＭＭＴＰデータを、提示するＭＭＴ提示装置と、ＭＭＴ提示装置による提示を検出する検出装置と、ＭＭＴ提示クライアント装置および検出装置に接続する同期制御装置を備える。第２の特徴に係る同期制御装置は、所定の時刻に特徴点を含むテストＭＭＴＰデータをＭＭＴ提示クライアント装置に入力するテスト信号入力部と、ＭＭＴ提示装置によるテストＭＭＴＰデータの提示を検出した結果を、検出装置から取得するテスト信号検出部と、テスト信号検出部が取得した結果から特定された特徴点の時刻と、所定の時刻とを比較して、ＭＭＴ提示装置の遅延量を特定する遅延量特定部と、ＭＭＴ提示クライアント装置に対して、遅延量特定部で特定された遅延量と、デコードされたＭＭＴＰデータをＭＭＴ提示装置に入力するタイミングを補正する指示を入力する遅延補正部を備える。   A second feature of the present invention relates to a synchronization control device used in an MMT receiving system that receives MMTP data from an MMT transmitting system. The MMT receiving system receives and decodes the MMTP data, connects the MMT presentation client device to the MMT presentation client device that inputs the MMTP data decoded according to the designated presentation time to the MMT presentation device, and decodes the MMTP data. An MMT presentation device that presents the obtained MMTP data, a detection device that detects the presentation by the MMT presentation device, and a synchronization control device that is connected to the MMT presentation client device and the detection device. The synchronization control device according to the second feature includes a test signal input unit that inputs test MMTP data including a feature point to a MMT presentation client device at a predetermined time, and a detection result of the presentation of the test MMTP data by the MMT presentation device. A delay amount for identifying a delay amount of the MMT presentation device by comparing a predetermined time with a time of a feature point specified from a result obtained by the test signal detection unit and a result obtained by the test signal detection unit. A delay unit configured to input, to the MMT presentation client device, an instruction to correct the delay amount specified by the delay amount determination unit and a timing of inputting the decoded MMTP data to the MMT presentation device;

本発明の第３の特徴は、ＭＭＴ送信システムからＭＭＴＰデータを受信するＭＭＴ受信システムに用いられる同期制御方法に関する。ＭＭＴ受信システムは、ＭＭＴＰデータを受信してデコードし、指定された提示時刻にあわせてデコードされたＭＭＴＰデータを後記ＭＭＴ提示装置に入力するＭＭＴ提示クライアント装置と、ＭＭＴ提示クライアント装置に接続し、デコードされたＭＭＴＰデータを、提示するＭＭＴ提示装置と、ＭＭＴ提示装置による提示を検出する検出装置と、ＭＭＴ提示クライアント装置および検出装置に接続する同期制御装置を備える。第３の特徴に係る同期制御方法は、同期制御装置が、所定の時刻に特徴点を含むテストＭＭＴＰデータをＭＭＴ提示クライアント装置に入力するステップと、同期制御装置が、ＭＭＴ提示装置によるテストＭＭＴＰデータの提示を検出した結果を、検出装置から取得するステップと、同期制御装置が、取得した結果から特定された特徴点の時刻と、所定の時刻とを比較して、ＭＭＴ提示装置の遅延量を特定するステップと、同期制御装置が、ＭＭＴ提示クライアント装置に対して、特定された遅延量と、デコードされたＭＭＴＰデータをＭＭＴ提示装置に入力するタイミングを補正する指示を入力するステップを備える。   A third feature of the present invention relates to a synchronization control method used in an MMT receiving system that receives MMTP data from an MMT transmitting system. The MMT receiving system receives and decodes the MMTP data, connects the MMT presentation client device to the MMT presentation client device that inputs the MMTP data decoded according to the designated presentation time to the MMT presentation device, and decodes the MMTP data. An MMT presentation device that presents the obtained MMTP data, a detection device that detects the presentation by the MMT presentation device, and a synchronization control device that is connected to the MMT presentation client device and the detection device. A synchronization control method according to a third aspect is characterized in that the synchronization control device inputs test MMTP data including a feature point to the MMT presentation client device at a predetermined time, and the synchronization control device executes the test MMTP data by the MMT presentation device Acquiring the result of detecting the presentation of the MMT from the detection device, and the synchronization control device compares the time of the feature point specified from the obtained result with a predetermined time to determine the amount of delay of the MMT presentation device. The identifying step includes inputting an instruction to the MMT presentation client apparatus to correct the identified delay amount and the timing of inputting the decoded MMTP data to the MMT presentation apparatus.

本発明の第４の特徴は、コンピュータに、本発明の第２の特徴に記載の同期制御装置として機能させるための同期制御プログラムに関する。   A fourth aspect of the present invention relates to a synchronization control program for causing a computer to function as the synchronization control device according to the second aspect of the present invention.

本発明によれば、ＭＭＴ送信システムからＭＭＴＰデータを受信し提示する際に、ＭＭＴ提示クライアント装置がＭＭＴ提示装置にデータを出力してから生じる遅延によって生じるずれを解消することができるＭＭＴ受信システム、同期制御装置、同期制御方法および同期制御プログラムを提供することができる。   According to the present invention, when receiving and presenting MMTP data from an MMT transmitting system, an MMT receiving system capable of eliminating a shift caused by a delay generated after an MMT presenting client device outputs data to the MMT presenting device, A synchronization control device, a synchronization control method, and a synchronization control program can be provided.

本発明の実施の形態に係るＭＭＴ配信システムのシステム構成を説明する図である。FIG. 1 is a diagram illustrating a system configuration of an MMT distribution system according to an embodiment of the present invention. 本発明の実施の形態に係るＭＭＴ受信システムのシステム構成を説明する図である。FIG. 1 is a diagram illustrating a system configuration of an MMT receiving system according to an embodiment of the present invention. 本発明の実施の形態に係る同期制御装置のハードウエア構成と機能構成を説明する図である。FIG. 2 is a diagram illustrating a hardware configuration and a functional configuration of the synchronization control device according to the embodiment of the present invention. 本発明の実施の形態に係る同期制御装置が、遅延を補正する例を説明する図である。FIG. 4 is a diagram illustrating an example in which the synchronization control device according to the embodiment of the present invention corrects a delay. 本発明の実施の形態に係る同期制御装置の処理を説明するフローチャートである。5 is a flowchart illustrating a process of the synchronization control device according to the embodiment of the present invention.

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。   Next, an embodiment of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals.

（ＭＭＴ配信システム）
図１を参照して、本発明の実施の形態に係るＭＭＴ配信システム１を説明する。ＭＭＴ配信システム１は、ＭＭＴ送信システム２およびＭＭＴ受信システム３を備える。ＭＭＴ送信システム２およびＭＭＴ受信システム３は、通信ネットワーク４によって双方向に通信可能に接続される。通信ネットワーク４は、インターネットやＬＡＮなどである。 (MMT distribution system)
An MMT distribution system 1 according to an embodiment of the present invention will be described with reference to FIG. The MMT distribution system 1 includes an MMT transmission system 2 and an MMT reception system 3. The MMT transmission system 2 and the MMT reception system 3 are communicably connected by a communication network 4. The communication network 4 is the Internet, a LAN, or the like.

図１を示す例では、便宜的に一方の物理空間にＭＭＴ送信システム２が設けられ、もう一方の物理空間にＭＭＴ受信システム３が設けられる場合を説明するが、両方の物理空間に、ＭＭＴ送信システム２およびＭＭＴ受信システム３の両方が設けられても良い。また、図１に示す例では、２つの物理空間におけるＭＭＴの送受信を説明するが、物理空間の数は、３以上であっても良い。   In the example shown in FIG. 1, a case will be described in which the MMT transmission system 2 is provided in one physical space and the MMT reception system 3 is provided in the other physical space for convenience, but the MMT transmission system 2 is provided in both physical spaces. Both the system 2 and the MMT receiving system 3 may be provided. Further, in the example shown in FIG. 1, transmission and reception of MMT in two physical spaces will be described, but the number of physical spaces may be three or more.

ＭＭＴ送信システム２は、カメラおよびマイクなどから映像・音声データＤ１を取得し、ＭＭＴＰパケットに変換して、ＭＭＴＰパケットで構成されるＭＭＴＰデータを、通信ネットワーク４を介してＭＭＴ受信システム３に送信する。ＭＭＴ受信システム３は、ＭＭＴ送信システムからＭＭＴＰパケットで構成されるＭＭＴＰデータを受信し、ＭＭＴＰデータを受信してデコードし、ディスプレイおよびスピーカーなどを介して映像・音声データＤ３を出力する。   The MMT transmission system 2 acquires the video / audio data D1 from a camera, a microphone, or the like, converts the data into an MMTP packet, and transmits the MMTP data including the MMTP packet to the MMT reception system 3 via the communication network 4. . The MMT receiving system 3 receives MMTP data composed of MMTP packets from the MMT transmitting system, receives and decodes the MMTP data, and outputs video / audio data D3 via a display and a speaker.

ここでＭＭＴ送信システム２は、ＭＭＴ受信システム３で映像・音声データＤ３を提示する時刻をＵＴＣで指定する。ＭＭＴ受信システム３は、ＭＭＴ送信システム２で指定された時刻に先駆けてデコードなどを終えて、ＭＭＴ送信システム２で指定された時刻に提示可能なように、映像・音声データＤ３を提示する。   Here, the MMT transmitting system 2 specifies the time at which the video / audio data D3 is presented by the MMT receiving system 3 in UTC. The MMT receiving system 3 finishes decoding etc. prior to the time specified by the MMT transmission system 2 and presents the video / audio data D3 so that it can be presented at the time specified by the MMT transmission system 2.

（ＭＭＴ受信システム）
図２を参照して、ＭＭＴ受信システム３を説明する。ＭＭＴ受信システム３は、検出装置８、同期制御装置５、ＭＭＴ提示クライアント装置群１１およびＭＭＴ提示装置群１２を備える。 (MMT receiving system)
The MMT receiving system 3 will be described with reference to FIG. The MMT receiving system 3 includes a detection device 8, a synchronization control device 5, an MMT presentation client device group 11, and an MMT presentation device group 12.

ＭＭＴ提示クライアント装置群１１は、第１のＭＭＴ提示クライアント装置６ａおよび第２のＭＭＴ提示クライアント装置６ｂを備え、ＭＭＴ提示装置群１２は、第１のＭＭＴ提示装置７ａおよび第２のＭＭＴ提示装置７ｂを備える。本願の明細書において、第１のＭＭＴ提示クライアント装置６ａおよび第２のＭＭＴ提示クライアント装置６ｂを特に区別しない場合、単にＭＭＴ提示クライアント装置６と記載する場合がある。同様に、第１のＭＭＴ提示装置７ａおよび第２のＭＭＴ提示装置７ｂを特に区別しない場合、単にＭＭＴ提示装置７と記載する場合がある。   The MMT presentation client device group 11 includes a first MMT presentation client device 6a and a second MMT presentation client device 6b, and the MMT presentation device group 12 includes a first MMT presentation device 7a and a second MMT presentation device 7b. Is provided. In the specification of the present application, when the first MMT presentation client device 6a and the second MMT presentation client device 6b are not particularly distinguished, they may be simply referred to as the MMT presentation client device 6. Similarly, when the first MMT presenting device 7a and the second MMT presenting device 7b are not particularly distinguished, they may be simply described as the MMT presenting device 7.

ＭＭＴ提示クライアント装置６およびＭＭＴ提示装置７は、互いに対応づけられて設けられ、接続される。ＭＭＴ提示クライアント装置６は、ＭＭＴ受信システム３からＭＭＴＰデータを受信してデコードし、保持する。ＭＭＴ提示クライアント装置６は、指定された提示時刻にあわせて、デコードされたＭＭＴＰデータをＭＭＴ提示装置７に入力する。ＭＭＴ提示装置７は、デコードされたＭＭＴＰデータを、提示する。   The MMT presentation client device 6 and the MMT presentation device 7 are provided and connected in association with each other. The MMT presentation client device 6 receives the MMTP data from the MMT receiving system 3, decodes the MMTP data, and holds the MMTP data. The MMT presentation client device 6 inputs the decoded MMTP data to the MMT presentation device 7 in accordance with the designated presentation time. The MMT presentation device 7 presents the decoded MMTP data.

ＭＭＴ提示クライアント装置６は、ＣＰＵ（Central Processing Unit）などと呼ばれる処理装置であって、具体的には、ＳＴＢ（Set Top Box）１６、コンピュータやタブレットなどの端末１８の制御部１８ａなどである。ＭＭＴ提示クライアント装置６は、処理装置が実装する機能群であっても良い。ＭＭＴ提示装置７は、ディスプレイやスピーカー等の提示装置１７、端末１８の表示部１８ｂなどである。また、ＭＭＴ提示装置７としては、プロジェクタなどであっても良い。   The MMT presentation client device 6 is a processing device called a CPU (Central Processing Unit) or the like, and specifically includes an STB (Set Top Box) 16, a control unit 18a of a terminal 18 such as a computer or a tablet, and the like. The MMT presentation client device 6 may be a function group implemented by the processing device. The MMT presentation device 7 is a presentation device 17 such as a display or a speaker, a display unit 18b of the terminal 18, and the like. Further, the MMT presentation device 7 may be a projector or the like.

検出装置８は、ＭＭＴ提示装置７による提示を検出する。ＭＭＴ提示装置７がディスプレイの場合、検出装置８は、カメラであり、ＭＭＴ提示装置７がスピーカーの場合、検出装置８は、マイクである。検出装置８は、提示を検出した結果である動画データや音声データを、同期制御装置５に入力する。   The detection device 8 detects the presentation by the MMT presentation device 7. When the MMT presentation device 7 is a display, the detection device 8 is a camera. When the MMT presentation device 7 is a speaker, the detection device 8 is a microphone. The detection device 8 inputs moving image data and audio data as a result of detecting the presentation to the synchronization control device 5.

同期制御装置５は、ＭＭＴ提示クライアント装置６および検出装置８に接続し、ＭＭＴ提示クライアント装置６がデータを出力してから生じる遅延を測定し、その遅延を是正する。ＭＭＴ提示クライアント装置６がデータを出力してから生じる遅延は、例えば、ＭＭＴ提示装置７そのものの特性による遅延、ＭＭＴ提示クライアント装置６とＭＭＴ提示装置７の接続形態等によって生じた遅延などである。   The synchronization control device 5 is connected to the MMT presentation client device 6 and the detection device 8, measures a delay generated after the MMT presentation client device 6 outputs data, and corrects the delay. The delay that occurs after the MMT presentation client device 6 outputs data is, for example, a delay due to the characteristics of the MMT presentation device 7 itself, a delay caused by a connection configuration between the MMT presentation client device 6 and the MMT presentation device 7, and the like.

同期制御装置５は、所定の時刻に特徴点を含むテストＭＭＴＰデータをＭＭＴ提示クライアント装置６に入力するとともに、そのテストＭＭＴＰデータがＭＭＴ提示装置７によって提示された結果を、検出装置８で検出する。同期制御装置５は、ＭＭＴ提示クライアント装置６への入力と、検出装置で検出した結果とを比較して、ずれを測定してＭＭＴ提示クライアント装置６に通知して、ＭＭＴ提示クライアント装置６にそのずれを是正させる。   The synchronization control device 5 inputs the test MMTP data including the feature point to the MMT presentation client device 6 at a predetermined time, and the detection device 8 detects the result of the test MMTP data presented by the MMT presentation device 7. . The synchronization control device 5 compares the input to the MMT presentation client device 6 with the result detected by the detection device, measures the deviation, notifies the MMT presentation client device 6, and notifies the MMT presentation client device 6 of the deviation. Let the gap be corrected.

（同期制御装置）
図３を参照して、本発明の実施の形態に係る同期制御装置５を説明する。同期制御装置５は、処理装置５０、記憶装置６０および通信制御装置７０を備える一般的なコンピュータである。一般的なコンピュータが同期制御プログラムを実行することにより、図３に示す機能を実現する。 (Synchronous control device)
The synchronization control device 5 according to the embodiment of the present invention will be described with reference to FIG. The synchronization control device 5 is a general computer including a processing device 50, a storage device 60, and a communication control device 70. A general computer executes the synchronization control program to realize the functions shown in FIG.

処理装置５０は、ＣＰＵ（Central Processing Unit）であって、同期制御装置５における処理を実行する。記憶装置６０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、ハードディスク等であって、処理装置５０が処理を実行するための入力データ、出力データおよび中間データを記憶する。通信制御装置７０は、処理装置５０が、ＭＭＴ提示クライアント装置６および検出装置８に通信可能に接続するためのインタフェースである。   The processing device 50 is a CPU (Central Processing Unit), and executes processing in the synchronization control device 5. The storage device 60 is a read only memory (ROM), a random access memory (RAM), a hard disk, or the like, and stores input data, output data, and intermediate data for the processing device 50 to execute processing. The communication control device 70 is an interface for the processing device 50 to communicably connect to the MMT presentation client device 6 and the detection device 8.

処理装置５０は、テスト信号入力部５１、テスト信号検出部５２、遅延量特定部５３および遅延補正部５４を備える。   The processing device 50 includes a test signal input unit 51, a test signal detection unit 52, a delay amount specifying unit 53, and a delay correction unit 54.

テスト信号入力部５１は、所定の時刻に特徴点を含むテストＭＭＴＰデータをＭＭＴ提示クライアント装置６に入力する。特徴点は、テストＭＭＴＰデータを提示した結果得られる、一時点における提示結果の変化である。   The test signal input unit 51 inputs test MMTP data including a feature point to the MMT presentation client device 6 at a predetermined time. The feature point is a change in the presentation result at a temporary point obtained as a result of presenting the test MMTP data.

ＭＭＴ提示装置７がディスプレイであって、テストＭＭＴＰデータが映像データである場合、特徴点は、所定時刻における映像の変更または特定情報の透かしである。映像の変更は例えば、映像全体画素または所定画素における、白から黒または黒から白に変化するなどの色の変化等である。特定情報の透かしは、映像データにおいて人が認識できない程度の変化を加えて、時刻情報などの特定の情報を埋め込むことである。   When the MMT presentation device 7 is a display and the test MMTP data is video data, the feature point is a video change at a predetermined time or a watermark of specific information. The change of the image is, for example, a change in color, such as a change from white to black or from black to white, in all pixels of the image or a predetermined pixel. The watermark of the specific information is to embed specific information such as time information by making a change in the video data to such an extent that a human cannot recognize.

ＭＭＴ提示装置７がスピーカーであって、テストＭＭＴＰデータが音声データである場合、特徴点は、所定時刻にける音声の変更または特定情報の透かしである。音声の変更は例えば、有音区間と無音区間の区切り、特定周波数の有音区間と無音区間の区切り、音質の変更等である。特定情報の透かしは、音声データにおいて人が認識できない程度の変化を加えて、時刻情報などの特定の情報を埋め込むことである。   When the MMT presentation device 7 is a speaker and the test MMTP data is audio data, the feature point is a change in audio at a predetermined time or a watermark of specific information. The change of voice is, for example, a break between a sound section and a silent section, a break between a sound section and a silent section of a specific frequency, a change in sound quality, and the like. The watermark of the specific information is to embed specific information such as time information by making a change to the extent that a human cannot recognize the voice data.

テスト信号入力部５１は、所定の時刻に特徴点を含むテストＭＭＴＰデータをＭＭＴ提示クライアント装置６に入力する。ＭＭＴ提示クライアント装置６は、入力されたテストＭＭＴＰデータをデコードして、ＭＭＴ提示装置７に提示させる。   The test signal input unit 51 inputs test MMTP data including a feature point to the MMT presentation client device 6 at a predetermined time. The MMT presentation client device 6 decodes the input test MMTP data and causes the MMT presentation device 7 to present it.

テスト信号検出部５２は、ＭＭＴ提示装置７によるテストＭＭＴＰデータの提示を検出した結果を、検出装置８から取得する。テスト信号入力部５１が入力したテストＭＭＴＰデータのＭＭＴ提示装置７による提示の状況は、検出装置８によってキャプチャされ、キャプチャされた結果が、テスト信号検出部５２に入力される。テスト信号検出部５２は、キャプチャされた結果から、テストＭＭＴＰデータに含まれた特徴点を抽出し、抽出したＵＴＣ時刻を特定する。   The test signal detection unit 52 acquires from the detection device 8 a result of detecting the presentation of the test MMTP data by the MMT presentation device 7. The state of presentation of the test MMTP data input by the test signal input unit 51 by the MMT presentation device 7 is captured by the detection device 8, and the captured result is input to the test signal detection unit 52. The test signal detection unit 52 extracts a feature point included in the test MMTP data from the captured result, and specifies the extracted UTC time.

テストＭＭＴＰデータが映像に関する場合、検出装置８はカメラである。テスト信号検出部５２は、検出装置８から映像データを取得して、テスト信号入力部５１が設定した特徴点を探索し、その特徴点が再生されたＵＴＣ時刻を特定する。   If the test MMTP data relates to a video, the detection device 8 is a camera. The test signal detection unit 52 acquires video data from the detection device 8, searches for a feature point set by the test signal input unit 51, and specifies a UTC time at which the feature point was reproduced.

テストＭＭＴＰデータが音声に関する場合、検出装置８はマイクである。テスト信号検出部５２は、検出装置８から音声データを取得して、テスト信号入力部５１が設定した特徴点を探索し、その特徴点が再生されたＵＴＣ時刻を特定する。   When the test MMTP data relates to voice, the detection device 8 is a microphone. The test signal detection unit 52 acquires audio data from the detection device 8, searches for a feature point set by the test signal input unit 51, and specifies a UTC time at which the feature point was reproduced.

遅延量特定部５３は、テスト信号検出部５２が取得した結果から特定された特徴点の時刻と、所定の時刻とを比較して、ＭＭＴ提示装置７の遅延量を特定する。   The delay amount specifying unit 53 specifies the amount of delay of the MMT presentation device 7 by comparing the time of the feature point specified from the result obtained by the test signal detecting unit 52 with a predetermined time.

ＭＭＴクライアント装置６がＭＭＴ提示装置７にテストＭＭＴＰデータを出力した後に、ＭＭＴ提示装置７に関連して遅延が生じる場合、図４に示すように、ＭＭＴ提示クライアント装置６においてテストＭＭＴＰデータで想定した提示開始時Ｔ０に提示を開始したとしても、実際には、提示検出時Ｔ０’から提示が検出される。従って、テストＭＭＴＰデータに設けられた特徴点は、特徴点が設定された特徴点設定時Ｔよりも遅れた時刻（特徴点検出時Ｔ’）に検出される。   If a delay occurs in connection with the MMT presentation device 7 after the MMT client device 6 outputs the test MMTP data to the MMT presentation device 7, it is assumed that the MMT presentation client device 6 uses the test MMTP data as shown in FIG. Even if the presentation is started at the presentation start time T0, the presentation is actually detected from the presentation detection time T0 '. Therefore, the feature point provided in the test MMTP data is detected at a time later than the feature point setting time T at which the feature point is set (feature point detection time T ').

そこで遅延量特定部５３は、テスト信号入力部５１から、テストＭＭＴＰデータに特徴点を設定したＵＴＣ時刻（特徴点設定時Ｔ）を取得するとともに、テスト信号検出部５２から、その特徴点が検出されたＵＴＣ時刻（特徴点検出時Ｔ’）を取得する。特徴点設定時Ｔと特徴点検出時Ｔ’に差異がない場合、ＭＭＴ提示クライアント装置６がデコードされたテストＭＭＴＰデータを送出した後に遅延が生じていないことになる。   Therefore, the delay amount specifying unit 53 acquires the UTC time (characteristic point setting time T) at which the characteristic point is set in the test MMTP data from the test signal input unit 51, and detects the characteristic point from the test signal detecting unit 52. The obtained UTC time (characteristic point detection time T ′) is obtained. If there is no difference between the feature point setting time T and the feature point detection time T ', it means that no delay has occurred after the MMT presentation client device 6 has transmitted the decoded test MMTP data.

一方、図４に示すように特徴点検出時Ｔ’が、特徴点設定時Ｔから遅れる場合、ＭＭＴ提示クライアント装置６がデコードされたテストＭＭＴＰデータを送出した後に遅延が生じていることになる。遅延量特定部５３は、特徴点検出時Ｔ’と特徴点設定時Ｔとの差分（Ｔ’−Ｔ）を遅延量と特定する。   On the other hand, as shown in FIG. 4, when the feature point detection time T 'is later than the feature point setting time T, it means that a delay has occurred after the MMT presentation client device 6 has transmitted the decoded test MMTP data. The delay amount specifying unit 53 specifies a difference (T'-T) between the time T 'at the time of detecting the characteristic point and the time T at the time of setting the characteristic point as the delay amount.

遅延補正部５４は、ＭＭＴ提示クライアント装置６に対して、遅延量特定部５３で特定された遅延量と、デコードされたＭＭＴＰデータをＭＭＴ提示装置７に入力するタイミングを補正する指示を入力する。   The delay correction unit 54 inputs, to the MMT presentation client device 6, an instruction to correct the delay amount specified by the delay amount specification unit 53 and the timing of inputting the decoded MMTP data to the MMT presentation device 7.

遅延補正部５４は、遅延量特定部５３で特定された遅延量（Ｔ’−Ｔ）をＭＭＴ提示クライアント装置６に入力し、ＭＭＴ提示クライアント装置６に、ＭＭＴＰデータを、遅延量だけ早くＭＭＴ提示装置７に入力するように指示する。ＭＭＴ提示クライアント装置６は、先にデコードされたテストＭＭＴＰデータをＭＭＴ提示装置７に入力していたタイミングより、遅延量（Ｔ’−Ｔ）だけ早く入力する。この結果図４に示すように、ＭＭＴ提示装置７は、提示開始時Ｔ０（提示検出時Ｔ０”）からデコードされたテストＭＭＴＰデータを提示することが可能になる。従って、ＭＭＴ提示装置７は、補正前の検出信号のように特徴点設定時Ｔから遅れることなく、特徴点設定時Ｔ（特徴点検出時Ｔ”）に、特徴点を再生することが可能になる。同様に、従来デコードされたＭＭＴＰデータをＭＭＴ提示装置７に入力していたタイミングより、遅延量（Ｔ’−Ｔ）だけ早く入力することにより、ＭＭＴ提示装置７に関する遅延を解消して、ＭＭＴＰデータで設定された時刻に、再生することが可能になる。   The delay correction unit 54 inputs the delay amount (T′−T) specified by the delay amount specifying unit 53 to the MMT presentation client device 6, and presents the MMTP data to the MMT presentation client device 6 MMT earlier by the delay amount. Instruct the device 7 to input. The MMT presentation client device 6 inputs the previously decoded test MMTP data earlier by the delay amount (T′−T) than the timing at which it was input to the MMT presentation device 7. As a result, as shown in Fig. 4, the MMT presentation device 7 can present the test MMTP data decoded from the presentation start time T0 (presentation detection time T0 "). The feature point can be reproduced at the feature point setting time T (the feature point detection time T ″) without delay from the feature point setting time T like the detection signal before correction. Similarly, by inputting the decoded MMTP data to the MMT presentation device 7 earlier by a delay amount (T′-T) earlier than the timing at which the MMTP data was conventionally decoded, the delay related to the MMT presentation device 7 is eliminated, and the MMTP data At the time set in the above, the reproduction can be performed.

（同期制御方法）
図５を参照して、本発明の実施の形態に係る同期制御方法を説明する。 (Synchronous control method)
The synchronization control method according to the embodiment of the present invention will be described with reference to FIG.

ＭＭＴ提示クライアント装置６と、このＭＭＴ提示クライアント装置６に対応するＭＭＴ提示装置７のそれぞれについて、ステップＳ１ないしステップＳ５の処理が繰り返される。   Steps S1 to S5 are repeated for each of the MMT presentation client device 6 and the MMT presentation device 7 corresponding to the MMT presentation client device 6.

ステップＳ１において同期制御装置５は、特徴点を含むテストＭＭＴＰデータを、ＭＭＴ提示クライアント装置に入力する。またステップＳ２において同期制御装置５は、検出装置８に、ステップＳ１で入力したテストＭＭＴＰデータがＭＭＴ提示装置７で提示された状況をキャプチャさせ、検出装置８からキャプチャさせた結果を取得する。   In step S1, the synchronization control device 5 inputs test MMTP data including feature points to the MMT presentation client device. In step S2, the synchronization control device 5 causes the detection device 8 to capture the situation in which the test MMTP data input in step S1 is presented by the MMT presentation device 7, and acquires the result of the capture from the detection device 8.

ステップＳ３において同期制御方法は、ステップＳ１で入力したテストＭＭＴＰデータに設定した特徴点の時刻と、ステップＳ２において取得した結果に基づいて、ＭＭＴ提示装置７の提示から特定された特徴点の時刻とを比較する。   In step S3, the synchronization control method determines the time of the feature point set in the test MMTP data input in step S1 and the time of the feature point specified from the presentation of the MMT presentation device 7 based on the result obtained in step S2. Compare.

ステップＳ４において、テストＭＭＴＰデータに設定した特徴点の時刻と、ＭＭＴ提示装置７の提示から特定された特徴点の時刻に差分がない場合、同期制御装置５は、処理対象のＭＭＴ提示装置７においては遅延が生じていないと判定する。差分が所定閾値の範囲内の場合も、同期制御装置５は、処理対象のＭＭＴ提示装置７においては遅延が生じていないと判定しても良い。   In step S4, when there is no difference between the time of the feature point set in the test MMTP data and the time of the feature point specified from the presentation of the MMT presentation device 7, the synchronization control device 5 Determines that no delay has occurred. Even when the difference is within the range of the predetermined threshold, the synchronization control device 5 may determine that no delay has occurred in the MMT presentation device 7 to be processed.

一方、ステップＳ４において、テストＭＭＴＰデータに設定した特徴点の時刻と、ＭＭＴ提示装置７の提示から特定された特徴点の時刻に差分がある場合、同期制御装置５は、処理対象のＭＭＴ提示装置７においては遅延が生じていると判定する。差分が所定閾値の範囲以上の場合も、同期制御装置５は、処理対象のＭＭＴ提示装置７においては遅延が生じていると判定しても良い。ステップＳ５において同期制御装置５は、ＭＭＴ提示クライアント装置６に、提示のタイミングを補正する指示を入力する。   On the other hand, in step S4, when there is a difference between the time of the feature point set in the test MMTP data and the time of the feature point specified from the presentation of the MMT presentation device 7, the synchronization control device 5 At 7, it is determined that a delay has occurred. Even when the difference is equal to or larger than the range of the predetermined threshold, the synchronization control device 5 may determine that a delay has occurred in the MMT presentation device 7 to be processed. In step S5, the synchronization control device 5 inputs an instruction to correct the presentation timing to the MMT presentation client device 6.

ステップＳ１ないしステップＳ５の処理が終わると、同期制御装置５は、次のＭＭＴ提示クライアント装置６と、このＭＭＴ提示クライアント装置６に対応するＭＭＴ提示装置７について、ステップＳ１ないしステップＳ５の処理を繰り返す。また、ＭＭＴ配信システム１における全てのＭＭＴ提示クライアント装置６と、このＭＭＴ提示クライアント装置６に対応するＭＭＴ提示装置７について、ステップＳ１ないしステップＳ５の処理が終了すると、同期制御装置５は、処理を終了する。   When the processes of steps S1 to S5 are completed, the synchronization control device 5 repeats the processes of steps S1 to S5 for the next MMT presentation client device 6 and the MMT presentation device 7 corresponding to the MMT presentation client device 6. . When the processes of steps S1 to S5 are completed for all the MMT presentation client devices 6 in the MMT distribution system 1 and the MMT presentation device 7 corresponding to the MMT presentation client device 6, the synchronization control device 5 executes the process. finish.

図５に示す例では、同期制御装置５が、ＭＭＴ提示クライアント装置６およびＭＭＴ提示装置７を一組ずつ補正する場合を説明したがこれに限られない。例えば検出装置８が、全てのＭＭＴ提示装置７の提示をキャプチャできる場合など、ＭＭＴ提示クライアント装置６およびＭＭＴ提示装置７の各組の補正を並列して進めても良い。   In the example illustrated in FIG. 5, the case where the synchronization control device 5 corrects the MMT presentation client device 6 and the MMT presentation device 7 one set at a time has been described, but the present invention is not limited to this. For example, when the detection device 8 can capture the presentations of all the MMT presentation devices 7, the correction of each set of the MMT presentation client device 6 and the MMT presentation device 7 may be performed in parallel.

このような本発明の実施の形態に係るＭＭＴ受信システム３によれば、ＭＭＴ提示装置７、またはＭＭＴ提示クライアント装置群１１とＭＭＴ提示装置群１２との接続に依存する遅延が生じる場合でも、ＭＭＴ提示装置７に関連して生じた遅延量を特定することが可能になる。従って、特定された遅延量分早く、ＭＭＴ提示クライアント装置６がＭＭＴ提示装置７にデコードされたＭＭＴＰデータを入力することにより、ＭＭＴ受信システム３における全てのＭＭＴ提示装置７におけるＭＭＴＰデータの提示を同期させることができる。この結果、ＭＭＴ送信システム２からＭＭＴＰデータを受信し提示する際に、ＭＭＴ提示装置７等の遅延によって生じるずれを解消することが可能になる。   According to the MMT receiving system 3 according to the embodiment of the present invention, even when a delay depending on the connection between the MMT presentation device 7 or the MMT presentation client device group 11 and the MMT presentation device group 12 occurs, the MMT It is possible to specify the amount of delay that has occurred in connection with the presentation device 7. Therefore, the MMT presentation client device 6 inputs the decoded MMTP data to the MMT presentation device 7 earlier by the specified delay amount, so that the presentation of the MMTP data in all the MMT presentation devices 7 in the MMT receiving system 3 is synchronized. Can be done. As a result, when receiving and presenting the MMTP data from the MMT transmission system 2, it is possible to eliminate a shift caused by a delay of the MMT presentation device 7 or the like.

さらに、各ＭＭＴ提示装置７等の遅延を解消し、同期させることにより、複数のＭＭＴ提示装置７を用いた場合でも、一体的な迫力のあるコンテンツを提供することが可能になる。   Further, by eliminating and synchronizing the delay of each MMT presentation device 7 and the like, even when a plurality of MMT presentation devices 7 are used, it is possible to provide an integrated powerful content.

（第１の変形例）
本発明の実施の形態においては、同期制御装置５が、ＭＭＴＰテストデータを生成して、ＭＭＴ提示クライアント装置６が、生成されたＭＭＴＰテストデータをデコードして、ＭＭＴ提示装置７に入力する場合を説明した。 (First Modification)
In the embodiment of the present invention, it is assumed that the synchronization control device 5 generates MMTP test data, and the MMT presentation client device 6 decodes the generated MMTP test data and inputs the MMTP test data to the MMT presentation device 7. explained.

第１の変形例において、同期制御装置５のテスト信号入力部５１は、特徴点の種類と特徴点を設定する所定の時刻をＭＭＴ提示クライアント装置６に入力する。ＭＭＴ提示クライアント装置６は、ＭＭＴ送信システム２から受信したＭＭＴＰデータの所定の時刻に、同期制御装置５から入力された特徴点を重畳する。   In the first modification, the test signal input unit 51 of the synchronization control device 5 inputs to the MMT presentation client device 6 a type of a feature point and a predetermined time for setting the feature point. The MMT presentation client device 6 superimposes the feature point input from the synchronization control device 5 at a predetermined time of the MMTP data received from the MMT transmission system 2.

このような第１の変形例によれば、ＭＭＴ受信システム３は、ＭＭＴ送信システム２から送信された本番データを再生する状況においても、ＭＭＴ提示装置７に関わるずれを補正することが可能になる。   According to such a first modified example, the MMT receiving system 3 can correct a shift related to the MMT presentation device 7 even in a situation where the actual data transmitted from the MMT transmitting system 2 is reproduced. .

（第２の変形例）
本発明の実施の形態においては、同期制御装置５が、ＭＭＴ提示クライアント装置６と物理的に異なる場合を説明したが、第１の変形例においては、同期制御装置５の各機能が、ＭＭＴ提示クライアント装置６内で実装される。具体的には、図２に示すＭＭＴ提示クライアント装置６のそれぞれに、同期制御装置５の機能が実装され、検出装置８が各ＭＭＴ提示クライアント装置６に接続する。 (Second Modification)
In the embodiment of the present invention, the case where the synchronization control device 5 is physically different from the MMT presentation client device 6 has been described. However, in the first modified example, each function of the synchronization control device 5 It is implemented in the client device 6. Specifically, the function of the synchronization control device 5 is implemented in each of the MMT presentation client devices 6 illustrated in FIG. 2, and the detection device 8 connects to each of the MMT presentation client devices 6.

このような第２の変形例によれば、ＭＭＴ受信システム３における接続をシンプルにすることが可能になる。   According to such a second modification, the connection in the MMT receiving system 3 can be simplified.

（第３の変形例）
ＭＭＴ提示装置７における遅延は、ＭＭＴ提示装置７の特性に依存すると考えられるので、第３の変形例においては、上述した方法で測定された遅延を、ＭＭＴ提示装置７の型番等で対応づけたデータベースを生成する。このようなデータベースを用いることにより、過去に測定された遅延に基づいて補正をすることができる。 (Third Modification)
Since the delay in the MMT presentation device 7 is considered to depend on the characteristics of the MMT presentation device 7, in the third modified example, the delay measured by the above-described method is associated with the model number of the MMT presentation device 7 or the like. Generate a database. By using such a database, correction can be made based on the delay measured in the past.

また、ＭＭＴ提示クライアント装置６とＭＭＴ提示装置７との接続状況に依存する遅延が大きい場合、データベースにおいて、さらに接続状況も対応づけてもよい。ＭＭＴ提示クライアント装置６とＭＭＴ提示装置７との接続状況は、例えば、ケーブルの長さおよび種類、ケーブルを接続するコネクタの種類、およびこれらの接続順序などである。   If the delay depending on the connection status between the MMT presentation client device 6 and the MMT presentation device 7 is large, the connection status may be further associated with the database. The connection status between the MMT presentation client device 6 and the MMT presentation device 7 includes, for example, the length and type of the cable, the type of the connector for connecting the cable, and the connection order thereof.

このようなＭＭＴ受信システムによれば、ＭＭＴ受信システム３におけるセッティングに時間をかけることなく、ＭＭＴＰデータを同期して再生することが可能になる。   According to such an MMT receiving system, it is possible to synchronously reproduce MMTP data without taking time for setting in the MMT receiving system 3.

（その他の実施の形態）
上記のように、本発明の実施の形態とその変形例１ないし３によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。 (Other embodiments)
As described above, the embodiments of the present invention and the modifications 1 to 3 have been described. However, it should not be understood that the description and drawings constituting a part of this disclosure limit the present invention. From this disclosure, various alternative embodiments, examples, and operation techniques will be apparent to those skilled in the art.

例えば、本発明の実施の形態に記載した同期制御装置は、図２に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存の装置上に実現されても良い。   For example, the synchronization control device described in the embodiment of the present invention may be configured on one piece of hardware as shown in FIG. 2, or may be configured on a plurality of pieces of hardware according to its functions and the number of processes. May be. Further, it may be realized on an existing device.

本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。   The present invention naturally includes various embodiments and the like not described herein. Therefore, the technical scope of the present invention is determined only by the invention specifying matters according to the claims that are appropriate from the above description.

１ ＭＭＴ配信システム
２ ＭＭＴ送信システム
３ ＭＭＴ受信システム
４ 通信ネットワーク
５ 同期制御装置
６ ＭＭＴ提示クライアント装置
７ ＭＭＴ提示装置
８ 検出装置
１１ ＭＭＴ提示クライアント群
１２ ＭＭＴ提示装置群
１６ ＳＴＢ
１７ 提示装置
５０ 処理装置
５１ テスト信号入力部
５２ テスト信号検出部
５３ 遅延量特定部
５４ 遅延補正部
６０ 記憶装置
７０ 通信制御装置 DESCRIPTION OF SYMBOLS 1 MMT distribution system 2 MMT transmission system 3 MMT reception system 4 Communication network 5 Synchronization control device 6 MMT presentation client device 7 MMT presentation device 8 Detection device 11 MMT presentation client group 12 MMT presentation device group 16 STB
17 presentation device 50 processing device 51 test signal input unit 52 test signal detection unit 53 delay amount specifying unit 54 delay correction unit 60 storage device 70 communication control device

Claims (7)

ＭＭＴ送信システムからＭＭＴＰデータを受信するＭＭＴ受信システムであって、
前記ＭＭＴＰデータを受信してデコードし、指定された提示時刻にあわせて前記デコードされたＭＭＴＰデータを後記ＭＭＴ提示装置に入力するＭＭＴ提示クライアント装置と、
前記ＭＭＴ提示クライアント装置に接続し、デコードされたＭＭＴＰデータを、提示するＭＭＴ提示装置と、
前記ＭＭＴ提示装置による提示を検出する検出装置と、
前記ＭＭＴ提示クライアント装置および前記検出装置に接続する同期制御装置を備え、
前記同期制御装置は、
所定の時刻に特徴点を含むテストＭＭＴＰデータを前記ＭＭＴ提示クライアント装置に入力するテスト信号入力部と、
前記ＭＭＴ提示装置による前記テストＭＭＴＰデータの提示を検出した結果を、前記検出装置から取得するテスト信号検出部と、
前記テスト信号検出部が取得した結果から特定された前記特徴点の時刻と、前記所定の時刻とを比較して、前記ＭＭＴ提示装置の遅延量を特定する遅延量特定部と、
前記ＭＭＴ提示クライアント装置に対して、前記遅延量特定部で特定された遅延量と、前記デコードされたＭＭＴＰデータを前記ＭＭＴ提示装置に入力するタイミングを補正する指示を入力する遅延補正部
を備えることを特徴とするＭＭＴ受信システム。 An MMT receiving system for receiving MMTP data from an MMT transmitting system,
An MMT presentation client device that receives and decodes the MMTP data, and inputs the decoded MMTP data to an MMT presentation device described later in accordance with a designated presentation time;
An MMT presentation device that connects to the MMT presentation client device and presents the decoded MMTP data;
A detection device for detecting presentation by the MMT presentation device;
A synchronization control device connected to the MMT presentation client device and the detection device,
The synchronization control device,
A test signal input unit that inputs test MMTP data including a feature point at a predetermined time to the MMT presentation client device;
A test signal detection unit that acquires a result of detecting the presentation of the test MMTP data by the MMT presentation device from the detection device;
A time amount of the feature point specified from the result obtained by the test signal detection unit, a delay amount specifying unit that compares the predetermined time and specifies a delay amount of the MMT presentation device;
A delay correction unit configured to input, to the MMT presentation client device, a delay amount specified by the delay amount specification unit and an instruction to correct a timing of inputting the decoded MMTP data to the MMT presentation device. An MMT receiving system, characterized in that: 前記テストＭＭＴＰデータが映像に関する場合、
前記検出装置はカメラであって、
前記特徴点は、映像の変更、または特定情報の透かしである
ことを特徴とする請求項１に記載のＭＭＴ受信システム。 When the test MMTP data is related to video,
The detection device is a camera,
The MMT receiving system according to claim 1, wherein the feature point is a change in video or a watermark of specific information. 前記テストＭＭＴＰデータが音声に関する場合、
前記検出装置はマイクであって、
前記特徴点は、音声の変更、または特定情報の透かしである
ことを特徴とする請求項１に記載のＭＭＴ受信システム。 When the test MMTP data relates to voice,
The detection device is a microphone,
The MMT receiving system according to claim 1, wherein the feature point is a change in voice or a watermark of specific information. ＭＭＴ送信システムからＭＭＴＰデータを受信するＭＭＴ受信システムであって、
前記ＭＭＴＰデータを受信してデコードし、指定された提示時刻にあわせて前記デコードされたＭＭＴＰデータを後記ＭＭＴ提示装置に入力するＭＭＴ提示クライアント装置と、
前記ＭＭＴ提示クライアント装置に接続し、デコードされたＭＭＴＰデータを、提示するＭＭＴ提示装置と、
前記ＭＭＴ提示装置による提示を検出する検出装置と、
前記ＭＭＴ提示クライアント装置および前記検出装置に接続する同期制御装置を備え、
前記同期制御装置は、
前記ＭＭＴＰデータに特徴点を設定する所定の時刻を前記ＭＭＴ提示クライアント装置に入力する信号入力部と、
前記ＭＭＴ提示装置による前記ＭＭＴＰデータの提示を検出した結果を、前記検出装置から取得する信号検出部と、
前記信号検出部が取得した結果から特定された前記特徴点の時刻と、前記所定の時刻とを比較して、前記ＭＭＴ提示装置の遅延量を特定する遅延量特定部と、
前記ＭＭＴ提示クライアント装置に対して、前記遅延量特定部で特定された遅延量と、前記デコードされたＭＭＴＰデータを前記ＭＭＴ提示装置に入力するタイミングを補正する指示を入力する遅延補正部
を備え、
前記ＭＭＴ提示クライアント装置は、
前記ＭＭＴＰデータの前記所定の時刻に、前記特徴点を重畳することを特徴とするＭＭＴ受信システム。 An MMT receiving system for receiving MMTP data from an MMT transmitting system,
An MMT presentation client device for receiving and decoding the MMTP data, and inputting the decoded MMTP data to an MMT presentation device described later in accordance with a designated presentation time;
An MMT presentation device that connects to the MMT presentation client device and presents the decoded MMTP data;
A detection device for detecting presentation by the MMT presentation device;
A synchronization control device connected to the MMT presentation client device and the detection device,
The synchronization control device,
A signal input unit for inputting a predetermined time for setting a feature point to the MMTP data to the MMT presentation client device;
A signal detection unit that acquires the result of detecting the presentation of the MMTP data by the MMT presentation device from the detection device;
A time amount of the feature point specified from the result obtained by the signal detection unit, a delay amount specifying unit that compares the predetermined time and specifies a delay amount of the MMT presentation device;
A delay correction unit that inputs, to the MMT presentation client device, an instruction to correct the delay amount specified by the delay amount specification unit and the timing of inputting the decoded MMTP data to the MMT presentation device.
With
The MMT presentation client device includes:
The MMT receiving system , wherein the feature point is superimposed on the MMTP data at the predetermined time . ＭＭＴ送信システムからＭＭＴＰデータを受信するＭＭＴ受信システムに用いられる同期制御装置であって、
前記ＭＭＴ受信システムは、
前記ＭＭＴＰデータを受信してデコードし、指定された提示時刻にあわせて前記デコードされたＭＭＴＰデータを後記ＭＭＴ提示装置に入力するＭＭＴ提示クライアント装置と、
前記ＭＭＴ提示クライアント装置に接続し、デコードされたＭＭＴＰデータを、提示するＭＭＴ提示装置と、
前記ＭＭＴ提示装置による提示を検出する検出装置と、
前記ＭＭＴ提示クライアント装置および前記検出装置に接続する同期制御装置を備え、
前記同期制御装置は、
所定の時刻に特徴点を含むテストＭＭＴＰデータを前記ＭＭＴ提示クライアント装置に入力するテスト信号入力部と、
前記ＭＭＴ提示装置による前記テストＭＭＴＰデータの提示を検出した結果を、前記検出装置から取得するテスト信号検出部と、
前記テスト信号検出部が取得した結果から特定された前記特徴点の時刻と、前記所定の時刻とを比較して、前記ＭＭＴ提示装置の遅延量を特定する遅延量特定部と、
前記ＭＭＴ提示クライアント装置に対して、前記遅延量特定部で特定された遅延量と、前記デコードされたＭＭＴＰデータを前記ＭＭＴ提示装置に入力するタイミングを補正する指示を入力する遅延補正部
を備えることを特徴とする同期制御装置。 A synchronization control device used in an MMT receiving system that receives MMTP data from an MMT transmitting system,
The MMT receiving system comprises:
An MMT presentation client device for receiving and decoding the MMTP data, and inputting the decoded MMTP data to an MMT presentation device described later in accordance with a designated presentation time;
An MMT presentation device that connects to the MMT presentation client device and presents the decoded MMTP data;
A detection device for detecting presentation by the MMT presentation device;
A synchronization control device connected to the MMT presentation client device and the detection device,
The synchronization control device,
A test signal input unit that inputs test MMTP data including a feature point at a predetermined time to the MMT presentation client device;
A test signal detection unit that acquires a result of detecting the presentation of the test MMTP data by the MMT presentation device from the detection device;
A time amount of the feature point specified from the result obtained by the test signal detection unit, a delay amount specifying unit that compares the predetermined time and specifies a delay amount of the MMT presentation device;
A delay correction unit configured to input, to the MMT presentation client device, a delay amount specified by the delay amount specification unit and an instruction to correct a timing of inputting the decoded MMTP data to the MMT presentation device. Synchronous control device characterized by the above-mentioned. ＭＭＴ送信システムからＭＭＴＰデータを受信するＭＭＴ受信システムに用いられる同期制御方法であって、
前記ＭＭＴ受信システムは、
前記ＭＭＴＰデータを受信してデコードし、指定された提示時刻にあわせて前記デコードされたＭＭＴＰデータを後記ＭＭＴ提示装置に入力するＭＭＴ提示クライアント装置と、
前記ＭＭＴ提示クライアント装置に接続し、デコードされたＭＭＴＰデータを、提示するＭＭＴ提示装置と、
前記ＭＭＴ提示装置による提示を検出する検出装置と、
前記ＭＭＴ提示クライアント装置および前記検出装置に接続する同期制御装置を備え、
前記同期制御方法は、
前記同期制御装置が、所定の時刻に特徴点を含むテストＭＭＴＰデータを前記ＭＭＴ提示クライアント装置に入力するステップと、
前記同期制御装置が、前記ＭＭＴ提示装置による前記テストＭＭＴＰデータの提示を検出した結果を、前記検出装置から取得するステップと、
前記同期制御装置が、取得した結果から特定された前記特徴点の時刻と、前記所定の時刻とを比較して、前記ＭＭＴ提示装置の遅延量を特定するステップと、
前記同期制御装置が、前記ＭＭＴ提示クライアント装置に対して、特定された遅延量と、前記デコードされたＭＭＴＰデータを前記ＭＭＴ提示装置に入力するタイミングを補正する指示を入力するステップ
を備えることを特徴とする同期制御方法。 A synchronization control method used in an MMT receiving system that receives MMTP data from an MMT transmitting system,
The MMT receiving system comprises:
An MMT presentation client device for receiving and decoding the MMTP data, and inputting the decoded MMTP data to an MMT presentation device described later in accordance with a designated presentation time;
An MMT presentation device that connects to the MMT presentation client device and presents the decoded MMTP data;
A detection device for detecting presentation by the MMT presentation device;
A synchronization control device connected to the MMT presentation client device and the detection device,
The synchronization control method includes:
Inputting test MMTP data including a feature point to the MMT presentation client device at a predetermined time,
The synchronous control device acquires a result of detecting the presentation of the test MMTP data by the MMT presentation device from the detection device;
Wherein the synchronization control device compares the time of the feature point specified from the obtained result with the predetermined time, and specifies a delay amount of the MMT presentation device;
The synchronous control device comprises a step of inputting, to the MMT presentation client device, an instruction for correcting a specified delay amount and a timing of inputting the decoded MMTP data to the MMT presentation device. Synchronous control method. コンピュータを、請求項５に記載の同期制御装置として機能させるための同期制御プログラム。 A synchronization control program for causing a computer to function as the synchronization control device according to claim 5.
JP2017105571A 2017-05-29 2017-05-29 MMT receiving system, synchronization control device, synchronization control method, and synchronization control program Active JP6647241B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017105571A JP6647241B2 (en) 2017-05-29 2017-05-29 MMT receiving system, synchronization control device, synchronization control method, and synchronization control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017105571A JP6647241B2 (en) 2017-05-29 2017-05-29 MMT receiving system, synchronization control device, synchronization control method, and synchronization control program

Publications (2)

Publication Number Publication Date
JP2018201150A JP2018201150A (en) 2018-12-20
JP6647241B2 true JP6647241B2 (en) 2020-02-14

Family

ID=64668335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017105571A Active JP6647241B2 (en) 2017-05-29 2017-05-29 MMT receiving system, synchronization control device, synchronization control method, and synchronization control program

Country Status (1)

Country Link
JP (1) JP6647241B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021250861A1 (en) * 2020-06-11 2021-12-16 日本電信電話株式会社 Synchronization control device, synchronization control method, and synchronization control program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088690A (en) * 2002-08-29 2004-03-18 Sharp Corp Image receiver and image transmission system including the same
JP2006121388A (en) * 2004-10-21 2006-05-11 Seiko Epson Corp Output timing control apparatus, video image output unit, output timing control system, output unit, integrated data providing apparatus, output timing control program, output device control program, integrated data providing apparatus control program, method of controlling the output timing control apparatus, method of controlling the output unit and method of controlling the integrated data providing apparatus
JP2007158611A (en) * 2005-12-02 2007-06-21 Toshiba Corp Satellite-broadcasting receiver having time display function
JP6376526B2 (en) * 2012-12-03 2018-08-22 株式会社コナミデジタルエンタテインメント Output timing control device, output timing control system, output timing control method, and program
JP6302274B2 (en) * 2014-02-07 2018-03-28 日本放送協会 Transmitting apparatus and receiving apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021250861A1 (en) * 2020-06-11 2021-12-16 日本電信電話株式会社 Synchronization control device, synchronization control method, and synchronization control program
JP7406169B2 (en) 2020-06-11 2023-12-27 日本電信電話株式会社 Synchronous control device, synchronous control method, and synchronous control program

Also Published As

Publication number Publication date
JP2018201150A (en) 2018-12-20

Similar Documents

Publication Publication Date Title
US8174558B2 (en) Automatically calibrating a video conference system
JP2007533189A (en) Video / audio synchronization
US20160165227A1 (en) Detection of audio to video synchronization errors
JP5837074B2 (en) Method and corresponding apparatus for processing multimedia flows
KR102201617B1 (en) Av device and control method thereof
JP2007028261A (en) Video/audio reproduction apparatus and video/audio reproducing method
KR20210029829A (en) Dynamic playback of transition frames while transitioning between media stream playbacks
KR101888464B1 (en) Multi-vision system with multiple synchronization
KR101741747B1 (en) Apparatus and method for processing real time advertisement insertion on broadcast
US9838584B2 (en) Audio/video synchronization using a device with camera and microphone
JP6647241B2 (en) MMT receiving system, synchronization control device, synchronization control method, and synchronization control program
US20140365685A1 (en) Method, System, Capturing Device and Synchronization Server for Enabling Synchronization of Rendering of Multiple Content Parts, Using a Reference Rendering Timeline
JP6606526B2 (en) Synchronization control device and synchronization control method
JP4256710B2 (en) AV transmission method, AV transmission device, AV transmission device, and AV reception device
US11756590B2 (en) Method of decoding an incoming audio/video stream
US20180205986A1 (en) Method and Device for Implementing Synchronous Playing
TWI735504B (en) Method for audio detection and corresponding device
US11134178B2 (en) Video signal output apparatus, control method, and recording medium
WO2021060578A1 (en) Image display device, lip-sync correction method thereof, and image display system
JP2012049723A (en) Video sound output device and video sound output method
US20190222720A1 (en) Multimedia signal synchronization apparatus and sychronization method thereof
JP6647242B2 (en) MMT receiving system, synchronization control device, synchronization control method, and synchronization control program
TWI814427B (en) Method for synchronizing audio and video
JPH1188878A (en) Processor for discontinuous transport stream packet
US20170374243A1 (en) Method of reducing latency in a screen mirroring application and a circuit of the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200114

R150 Certificate of patent or registration of utility model

Ref document number: 6647241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150