JP6647241B2 - MMT receiving system, synchronization control device, synchronization control method, and synchronization control program - Google Patents
MMT receiving system, synchronization control device, synchronization control method, and synchronization control program Download PDFInfo
- Publication number
- JP6647241B2 JP6647241B2 JP2017105571A JP2017105571A JP6647241B2 JP 6647241 B2 JP6647241 B2 JP 6647241B2 JP 2017105571 A JP2017105571 A JP 2017105571A JP 2017105571 A JP2017105571 A JP 2017105571A JP 6647241 B2 JP6647241 B2 JP 6647241B2
- Authority
- JP
- Japan
- Prior art keywords
- mmt
- presentation
- mmtp data
- synchronization control
- client device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、MMT送信システムからMMTPデータを受信するMMT受信システム、MMT受信システムで用いられる同期制御装置、同期制御方法および同期制御プログラムに関する。 The present invention relates to an MMT reception system that receives MMTP data from an MMT transmission system, a synchronization control device used in the MMT reception system, a synchronization control method, and a synchronization control program.
近年の情報機器および情報通信の発達に伴い、多様な映像配信形態が提供されている。例えば、話者と聴講者とが異なる物理空間に位置する場合でも、それぞれの物理空間に、ディスプレイ、スピーカー、カメラおよびマイクを設け、通信ネットワークで接続することにより、話者と聴講者とが、互いをリアルに感じてコミュニケーションすることを可能としている。また、複数のディスプレイやカメラを設け、これらを同期させて、迫力のある映像や音声を再生する映像配信形態も可能としている。 With the development of information devices and information communication in recent years, various video distribution modes have been provided. For example, even when the speaker and the listener are located in different physical spaces, a display, a speaker, a camera, and a microphone are provided in each physical space, and the speaker and the listener are connected by a communication network. It enables them to feel and communicate with each other. In addition, a plurality of displays and cameras are provided, and these are synchronized to enable a video distribution form in which powerful video and audio are reproduced.
このような映像配信形態を実現するために、国際標準規格のMMT(MPEG Media Transport)が用いられる場合がある(例えば非特許文献1参照)。 In order to realize such a video distribution form, MMT (MPEG Media Transport) of an international standard may be used (for example, see Non-Patent Document 1).
MMTでは、送信側システムから受信側システムに、MMTP(MPEG Media Transport Protocol)データが送信される。このMMTPデータにおいて、コンテンツの提示時刻をUTC(Coordinated Universal Time)で指定することが可能である。従って、放送と通信のように、伝送経路が異なる場合でも、再生側で各コンテンツを同期して提示することが可能である。 In MMT, MMTP (MPEG Media Transport Protocol) data is transmitted from a transmitting system to a receiving system. In the MMTP data, the presentation time of the content can be designated by UTC (Coordinated Universal Time). Therefore, even when the transmission path is different, such as in broadcasting and communication, it is possible to present each content in synchronization on the playback side.
受信側システムにおいて、MMT提示クライアント装置が、MMTPデータをデコードして、UTCで指定された提示時刻にコンテンツを提示するように、MMT提示装置にデコードしたMMTPデータを入力し、MMT提示装置が入力されたデータを再生する。 In the receiving system, the MMT presentation client device inputs the decoded MMTP data to the MMT presentation device so that the MMT presentation device decodes the MMTP data and presents the content at the presentation time specified by the UTC. To play back the data.
ここで、UTCで指定された提示時刻にコンテンツを提示するために、MMT提示クライアント装置がMMT提示装置にデータを入力した場合であっても、MMT提示装置そのものの特性によって遅延が生じたり、およびMMT提示クライアント装置とMMT提示装置の接続形態等によって遅延が生じたりする場合がある。その結果、UTCで指定された時刻にコンテンツを表示することができない場合がある。 Here, even if the MMT presentation client device inputs data to the MMT presentation device in order to present the content at the presentation time specified by UTC, a delay occurs due to the characteristics of the MMT presentation device itself, and A delay may occur depending on the connection mode between the MMT presentation client device and the MMT presentation device. As a result, it may not be possible to display the content at the time specified by UTC.
従って本発明の目的は、MMT送信システムからMMTPデータを受信し提示する際に、MMT提示クライアント装置がMMT提示装置にデータを出力してから生じる遅延によって生じるずれを解消することができるMMT受信システム、同期制御装置、同期制御方法および同期制御プログラムを提供することである。 Therefore, an object of the present invention is to provide an MMT receiving system capable of eliminating a shift caused by a delay caused by an MMT presentation client device outputting data to an MMT presentation device when receiving and presenting MMTP data from an MMT transmission system. , A synchronization control device, a synchronization control method, and a synchronization control program.
上記課題を解決するために、本発明の第1の特徴は、MMT送信システムからMMTPデータを受信するMMT受信システムに関する。第1の特徴に係るMMT受信システムは、MMTPデータを受信してデコードし、指定された提示時刻にあわせてデコードされたMMTPデータを後記MMT提示装置に入力するMMT提示クライアント装置と、MMT提示クライアント装置に接続し、デコードされたMMTPデータを、提示するMMT提示装置と、MMT提示装置による提示を検出する検出装置と、MMT提示クライアント装置および検出装置に接続する同期制御装置を備える。同期制御装置は、所定の時刻に特徴点を含むテストMMTPデータをMMT提示クライアント装置に入力するテスト信号入力部と、MMT提示装置によるテストMMTPデータの提示を検出した結果を、検出装置から取得するテスト信号検出部と、テスト信号検出部が取得した結果から特定された特徴点の時刻と、所定の時刻とを比較して、MMT提示装置の遅延量を特定する遅延量特定部と、MMT提示クライアント装置に対して、遅延量特定部で特定された遅延量と、デコードされたMMTPデータをMMT提示装置に入力するタイミングを補正する指示を入力する遅延補正部を備える。 In order to solve the above problem, a first feature of the present invention relates to an MMT receiving system that receives MMTP data from an MMT transmitting system. An MMT presentation client device according to a first feature, comprising: an MMT presentation client device that receives and decodes MMTP data, and inputs the MMTP data decoded according to a designated presentation time to an MMT presentation device described later; An MMT presentation device that is connected to the device and presents the decoded MMTP data, a detection device that detects the presentation by the MMT presentation device, and a synchronization control device that is connected to the MMT presentation client device and the detection device. The synchronization control device acquires, from the detection device, a test signal input unit that inputs test MMTP data including a feature point to the MMT presentation client device at a predetermined time, and a result of detecting the presentation of the test MMTP data by the MMT presentation device. A test signal detecting unit, a delay amount specifying unit that compares a time of a feature point specified from a result obtained by the test signal detecting unit with a predetermined time, and specifies a delay amount of the MMT presenting apparatus; The client device includes a delay correction unit that inputs a delay amount specified by the delay amount specifying unit and an instruction to correct a timing of inputting the decoded MMTP data to the MMT presentation device.
テストMMTPデータが映像に関する場合、検出装置はカメラであって、特徴点は、映像の変更、または特定情報の透かしである。 When the test MMTP data relates to an image, the detecting device is a camera, and the feature point is a change of the image or a watermark of specific information.
テストMMTPデータが音声に関する場合、検出装置はマイクであって、特徴点は、音声の変更、または特定情報の透かしである。 When the test MMTP data relates to voice, the detection device is a microphone, and the feature point is voice change or watermark of specific information.
MMT提示クライアント装置は、MMT送信システムから受信したMMTPデータの所定の時刻に、特徴点を重畳しても良い。 The MMT presentation client device may superimpose the feature point at a predetermined time of the MMTP data received from the MMT transmission system.
本発明の第2の特徴は、MMT送信システムからMMTPデータを受信するMMT受信システムに用いられる同期制御装置に関する。MMT受信システムは、MMTPデータを受信してデコードし、指定された提示時刻にあわせてデコードされたMMTPデータを後記MMT提示装置に入力するMMT提示クライアント装置と、MMT提示クライアント装置に接続し、デコードされたMMTPデータを、提示するMMT提示装置と、MMT提示装置による提示を検出する検出装置と、MMT提示クライアント装置および検出装置に接続する同期制御装置を備える。第2の特徴に係る同期制御装置は、所定の時刻に特徴点を含むテストMMTPデータをMMT提示クライアント装置に入力するテスト信号入力部と、MMT提示装置によるテストMMTPデータの提示を検出した結果を、検出装置から取得するテスト信号検出部と、テスト信号検出部が取得した結果から特定された特徴点の時刻と、所定の時刻とを比較して、MMT提示装置の遅延量を特定する遅延量特定部と、MMT提示クライアント装置に対して、遅延量特定部で特定された遅延量と、デコードされたMMTPデータをMMT提示装置に入力するタイミングを補正する指示を入力する遅延補正部を備える。 A second feature of the present invention relates to a synchronization control device used in an MMT receiving system that receives MMTP data from an MMT transmitting system. The MMT receiving system receives and decodes the MMTP data, connects the MMT presentation client device to the MMT presentation client device that inputs the MMTP data decoded according to the designated presentation time to the MMT presentation device, and decodes the MMTP data. An MMT presentation device that presents the obtained MMTP data, a detection device that detects the presentation by the MMT presentation device, and a synchronization control device that is connected to the MMT presentation client device and the detection device. The synchronization control device according to the second feature includes a test signal input unit that inputs test MMTP data including a feature point to a MMT presentation client device at a predetermined time, and a detection result of the presentation of the test MMTP data by the MMT presentation device. A delay amount for identifying a delay amount of the MMT presentation device by comparing a predetermined time with a time of a feature point specified from a result obtained by the test signal detection unit and a result obtained by the test signal detection unit. A delay unit configured to input, to the MMT presentation client device, an instruction to correct the delay amount specified by the delay amount determination unit and a timing of inputting the decoded MMTP data to the MMT presentation device;
本発明の第3の特徴は、MMT送信システムからMMTPデータを受信するMMT受信システムに用いられる同期制御方法に関する。MMT受信システムは、MMTPデータを受信してデコードし、指定された提示時刻にあわせてデコードされたMMTPデータを後記MMT提示装置に入力するMMT提示クライアント装置と、MMT提示クライアント装置に接続し、デコードされたMMTPデータを、提示するMMT提示装置と、MMT提示装置による提示を検出する検出装置と、MMT提示クライアント装置および検出装置に接続する同期制御装置を備える。第3の特徴に係る同期制御方法は、同期制御装置が、所定の時刻に特徴点を含むテストMMTPデータをMMT提示クライアント装置に入力するステップと、同期制御装置が、MMT提示装置によるテストMMTPデータの提示を検出した結果を、検出装置から取得するステップと、同期制御装置が、取得した結果から特定された特徴点の時刻と、所定の時刻とを比較して、MMT提示装置の遅延量を特定するステップと、同期制御装置が、MMT提示クライアント装置に対して、特定された遅延量と、デコードされたMMTPデータをMMT提示装置に入力するタイミングを補正する指示を入力するステップを備える。 A third feature of the present invention relates to a synchronization control method used in an MMT receiving system that receives MMTP data from an MMT transmitting system. The MMT receiving system receives and decodes the MMTP data, connects the MMT presentation client device to the MMT presentation client device that inputs the MMTP data decoded according to the designated presentation time to the MMT presentation device, and decodes the MMTP data. An MMT presentation device that presents the obtained MMTP data, a detection device that detects the presentation by the MMT presentation device, and a synchronization control device that is connected to the MMT presentation client device and the detection device. A synchronization control method according to a third aspect is characterized in that the synchronization control device inputs test MMTP data including a feature point to the MMT presentation client device at a predetermined time, and the synchronization control device executes the test MMTP data by the MMT presentation device Acquiring the result of detecting the presentation of the MMT from the detection device, and the synchronization control device compares the time of the feature point specified from the obtained result with a predetermined time to determine the amount of delay of the MMT presentation device. The identifying step includes inputting an instruction to the MMT presentation client apparatus to correct the identified delay amount and the timing of inputting the decoded MMTP data to the MMT presentation apparatus.
本発明の第4の特徴は、コンピュータに、本発明の第2の特徴に記載の同期制御装置として機能させるための同期制御プログラムに関する。 A fourth aspect of the present invention relates to a synchronization control program for causing a computer to function as the synchronization control device according to the second aspect of the present invention.
本発明によれば、MMT送信システムからMMTPデータを受信し提示する際に、MMT提示クライアント装置がMMT提示装置にデータを出力してから生じる遅延によって生じるずれを解消することができるMMT受信システム、同期制御装置、同期制御方法および同期制御プログラムを提供することができる。 According to the present invention, when receiving and presenting MMTP data from an MMT transmitting system, an MMT receiving system capable of eliminating a shift caused by a delay generated after an MMT presenting client device outputs data to the MMT presenting device, A synchronization control device, a synchronization control method, and a synchronization control program can be provided.
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。 Next, an embodiment of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals.
(MMT配信システム)
図1を参照して、本発明の実施の形態に係るMMT配信システム1を説明する。MMT配信システム1は、MMT送信システム2およびMMT受信システム3を備える。MMT送信システム2およびMMT受信システム3は、通信ネットワーク4によって双方向に通信可能に接続される。通信ネットワーク4は、インターネットやLANなどである。
(MMT distribution system)
An MMT distribution system 1 according to an embodiment of the present invention will be described with reference to FIG. The MMT distribution system 1 includes an
図1を示す例では、便宜的に一方の物理空間にMMT送信システム2が設けられ、もう一方の物理空間にMMT受信システム3が設けられる場合を説明するが、両方の物理空間に、MMT送信システム2およびMMT受信システム3の両方が設けられても良い。また、図1に示す例では、2つの物理空間におけるMMTの送受信を説明するが、物理空間の数は、3以上であっても良い。
In the example shown in FIG. 1, a case will be described in which the
MMT送信システム2は、カメラおよびマイクなどから映像・音声データD1を取得し、MMTPパケットに変換して、MMTPパケットで構成されるMMTPデータを、通信ネットワーク4を介してMMT受信システム3に送信する。MMT受信システム3は、MMT送信システムからMMTPパケットで構成されるMMTPデータを受信し、MMTPデータを受信してデコードし、ディスプレイおよびスピーカーなどを介して映像・音声データD3を出力する。
The
ここでMMT送信システム2は、MMT受信システム3で映像・音声データD3を提示する時刻をUTCで指定する。MMT受信システム3は、MMT送信システム2で指定された時刻に先駆けてデコードなどを終えて、MMT送信システム2で指定された時刻に提示可能なように、映像・音声データD3を提示する。
Here, the
(MMT受信システム)
図2を参照して、MMT受信システム3を説明する。MMT受信システム3は、検出装置8、同期制御装置5、MMT提示クライアント装置群11およびMMT提示装置群12を備える。
(MMT receiving system)
The
MMT提示クライアント装置群11は、第1のMMT提示クライアント装置6aおよび第2のMMT提示クライアント装置6bを備え、MMT提示装置群12は、第1のMMT提示装置7aおよび第2のMMT提示装置7bを備える。本願の明細書において、第1のMMT提示クライアント装置6aおよび第2のMMT提示クライアント装置6bを特に区別しない場合、単にMMT提示クライアント装置6と記載する場合がある。同様に、第1のMMT提示装置7aおよび第2のMMT提示装置7bを特に区別しない場合、単にMMT提示装置7と記載する場合がある。
The MMT presentation
MMT提示クライアント装置6およびMMT提示装置7は、互いに対応づけられて設けられ、接続される。MMT提示クライアント装置6は、MMT受信システム3からMMTPデータを受信してデコードし、保持する。MMT提示クライアント装置6は、指定された提示時刻にあわせて、デコードされたMMTPデータをMMT提示装置7に入力する。MMT提示装置7は、デコードされたMMTPデータを、提示する。
The MMT
MMT提示クライアント装置6は、CPU(Central Processing Unit)などと呼ばれる処理装置であって、具体的には、STB(Set Top Box)16、コンピュータやタブレットなどの端末18の制御部18aなどである。MMT提示クライアント装置6は、処理装置が実装する機能群であっても良い。MMT提示装置7は、ディスプレイやスピーカー等の提示装置17、端末18の表示部18bなどである。また、MMT提示装置7としては、プロジェクタなどであっても良い。
The MMT
検出装置8は、MMT提示装置7による提示を検出する。MMT提示装置7がディスプレイの場合、検出装置8は、カメラであり、MMT提示装置7がスピーカーの場合、検出装置8は、マイクである。検出装置8は、提示を検出した結果である動画データや音声データを、同期制御装置5に入力する。
The
同期制御装置5は、MMT提示クライアント装置6および検出装置8に接続し、MMT提示クライアント装置6がデータを出力してから生じる遅延を測定し、その遅延を是正する。MMT提示クライアント装置6がデータを出力してから生じる遅延は、例えば、MMT提示装置7そのものの特性による遅延、MMT提示クライアント装置6とMMT提示装置7の接続形態等によって生じた遅延などである。
The
同期制御装置5は、所定の時刻に特徴点を含むテストMMTPデータをMMT提示クライアント装置6に入力するとともに、そのテストMMTPデータがMMT提示装置7によって提示された結果を、検出装置8で検出する。同期制御装置5は、MMT提示クライアント装置6への入力と、検出装置で検出した結果とを比較して、ずれを測定してMMT提示クライアント装置6に通知して、MMT提示クライアント装置6にそのずれを是正させる。
The
(同期制御装置)
図3を参照して、本発明の実施の形態に係る同期制御装置5を説明する。同期制御装置5は、処理装置50、記憶装置60および通信制御装置70を備える一般的なコンピュータである。一般的なコンピュータが同期制御プログラムを実行することにより、図3に示す機能を実現する。
(Synchronous control device)
The
処理装置50は、CPU(Central Processing Unit)であって、同期制御装置5における処理を実行する。記憶装置60は、ROM(Read Only Memory)、RAM(Random access memory)、ハードディスク等であって、処理装置50が処理を実行するための入力データ、出力データおよび中間データを記憶する。通信制御装置70は、処理装置50が、MMT提示クライアント装置6および検出装置8に通信可能に接続するためのインタフェースである。
The
処理装置50は、テスト信号入力部51、テスト信号検出部52、遅延量特定部53および遅延補正部54を備える。
The
テスト信号入力部51は、所定の時刻に特徴点を含むテストMMTPデータをMMT提示クライアント装置6に入力する。特徴点は、テストMMTPデータを提示した結果得られる、一時点における提示結果の変化である。
The test
MMT提示装置7がディスプレイであって、テストMMTPデータが映像データである場合、特徴点は、所定時刻における映像の変更または特定情報の透かしである。映像の変更は例えば、映像全体画素または所定画素における、白から黒または黒から白に変化するなどの色の変化等である。特定情報の透かしは、映像データにおいて人が認識できない程度の変化を加えて、時刻情報などの特定の情報を埋め込むことである。
When the
MMT提示装置7がスピーカーであって、テストMMTPデータが音声データである場合、特徴点は、所定時刻にける音声の変更または特定情報の透かしである。音声の変更は例えば、有音区間と無音区間の区切り、特定周波数の有音区間と無音区間の区切り、音質の変更等である。特定情報の透かしは、音声データにおいて人が認識できない程度の変化を加えて、時刻情報などの特定の情報を埋め込むことである。
When the
テスト信号入力部51は、所定の時刻に特徴点を含むテストMMTPデータをMMT提示クライアント装置6に入力する。MMT提示クライアント装置6は、入力されたテストMMTPデータをデコードして、MMT提示装置7に提示させる。
The test
テスト信号検出部52は、MMT提示装置7によるテストMMTPデータの提示を検出した結果を、検出装置8から取得する。テスト信号入力部51が入力したテストMMTPデータのMMT提示装置7による提示の状況は、検出装置8によってキャプチャされ、キャプチャされた結果が、テスト信号検出部52に入力される。テスト信号検出部52は、キャプチャされた結果から、テストMMTPデータに含まれた特徴点を抽出し、抽出したUTC時刻を特定する。
The test
テストMMTPデータが映像に関する場合、検出装置8はカメラである。テスト信号検出部52は、検出装置8から映像データを取得して、テスト信号入力部51が設定した特徴点を探索し、その特徴点が再生されたUTC時刻を特定する。
If the test MMTP data relates to a video, the
テストMMTPデータが音声に関する場合、検出装置8はマイクである。テスト信号検出部52は、検出装置8から音声データを取得して、テスト信号入力部51が設定した特徴点を探索し、その特徴点が再生されたUTC時刻を特定する。
When the test MMTP data relates to voice, the
遅延量特定部53は、テスト信号検出部52が取得した結果から特定された特徴点の時刻と、所定の時刻とを比較して、MMT提示装置7の遅延量を特定する。
The delay
MMTクライアント装置6がMMT提示装置7にテストMMTPデータを出力した後に、MMT提示装置7に関連して遅延が生じる場合、図4に示すように、MMT提示クライアント装置6においてテストMMTPデータで想定した提示開始時T0に提示を開始したとしても、実際には、提示検出時T0’から提示が検出される。従って、テストMMTPデータに設けられた特徴点は、特徴点が設定された特徴点設定時Tよりも遅れた時刻(特徴点検出時T’)に検出される。
If a delay occurs in connection with the
そこで遅延量特定部53は、テスト信号入力部51から、テストMMTPデータに特徴点を設定したUTC時刻(特徴点設定時T)を取得するとともに、テスト信号検出部52から、その特徴点が検出されたUTC時刻(特徴点検出時T’)を取得する。特徴点設定時Tと特徴点検出時T’に差異がない場合、MMT提示クライアント装置6がデコードされたテストMMTPデータを送出した後に遅延が生じていないことになる。
Therefore, the delay
一方、図4に示すように特徴点検出時T’が、特徴点設定時Tから遅れる場合、MMT提示クライアント装置6がデコードされたテストMMTPデータを送出した後に遅延が生じていることになる。遅延量特定部53は、特徴点検出時T’と特徴点設定時Tとの差分(T’−T)を遅延量と特定する。
On the other hand, as shown in FIG. 4, when the feature point detection time T 'is later than the feature point setting time T, it means that a delay has occurred after the MMT
遅延補正部54は、MMT提示クライアント装置6に対して、遅延量特定部53で特定された遅延量と、デコードされたMMTPデータをMMT提示装置7に入力するタイミングを補正する指示を入力する。
The
遅延補正部54は、遅延量特定部53で特定された遅延量(T’−T)をMMT提示クライアント装置6に入力し、MMT提示クライアント装置6に、MMTPデータを、遅延量だけ早くMMT提示装置7に入力するように指示する。MMT提示クライアント装置6は、先にデコードされたテストMMTPデータをMMT提示装置7に入力していたタイミングより、遅延量(T’−T)だけ早く入力する。この結果図4に示すように、MMT提示装置7は、提示開始時T0(提示検出時T0”)からデコードされたテストMMTPデータを提示することが可能になる。従って、MMT提示装置7は、補正前の検出信号のように特徴点設定時Tから遅れることなく、特徴点設定時T(特徴点検出時T”)に、特徴点を再生することが可能になる。同様に、従来デコードされたMMTPデータをMMT提示装置7に入力していたタイミングより、遅延量(T’−T)だけ早く入力することにより、MMT提示装置7に関する遅延を解消して、MMTPデータで設定された時刻に、再生することが可能になる。
The
(同期制御方法)
図5を参照して、本発明の実施の形態に係る同期制御方法を説明する。
(Synchronous control method)
The synchronization control method according to the embodiment of the present invention will be described with reference to FIG.
MMT提示クライアント装置6と、このMMT提示クライアント装置6に対応するMMT提示装置7のそれぞれについて、ステップS1ないしステップS5の処理が繰り返される。
Steps S1 to S5 are repeated for each of the MMT
ステップS1において同期制御装置5は、特徴点を含むテストMMTPデータを、MMT提示クライアント装置に入力する。またステップS2において同期制御装置5は、検出装置8に、ステップS1で入力したテストMMTPデータがMMT提示装置7で提示された状況をキャプチャさせ、検出装置8からキャプチャさせた結果を取得する。
In step S1, the
ステップS3において同期制御方法は、ステップS1で入力したテストMMTPデータに設定した特徴点の時刻と、ステップS2において取得した結果に基づいて、MMT提示装置7の提示から特定された特徴点の時刻とを比較する。
In step S3, the synchronization control method determines the time of the feature point set in the test MMTP data input in step S1 and the time of the feature point specified from the presentation of the
ステップS4において、テストMMTPデータに設定した特徴点の時刻と、MMT提示装置7の提示から特定された特徴点の時刻に差分がない場合、同期制御装置5は、処理対象のMMT提示装置7においては遅延が生じていないと判定する。差分が所定閾値の範囲内の場合も、同期制御装置5は、処理対象のMMT提示装置7においては遅延が生じていないと判定しても良い。
In step S4, when there is no difference between the time of the feature point set in the test MMTP data and the time of the feature point specified from the presentation of the
一方、ステップS4において、テストMMTPデータに設定した特徴点の時刻と、MMT提示装置7の提示から特定された特徴点の時刻に差分がある場合、同期制御装置5は、処理対象のMMT提示装置7においては遅延が生じていると判定する。差分が所定閾値の範囲以上の場合も、同期制御装置5は、処理対象のMMT提示装置7においては遅延が生じていると判定しても良い。ステップS5において同期制御装置5は、MMT提示クライアント装置6に、提示のタイミングを補正する指示を入力する。
On the other hand, in step S4, when there is a difference between the time of the feature point set in the test MMTP data and the time of the feature point specified from the presentation of the
ステップS1ないしステップS5の処理が終わると、同期制御装置5は、次のMMT提示クライアント装置6と、このMMT提示クライアント装置6に対応するMMT提示装置7について、ステップS1ないしステップS5の処理を繰り返す。また、MMT配信システム1における全てのMMT提示クライアント装置6と、このMMT提示クライアント装置6に対応するMMT提示装置7について、ステップS1ないしステップS5の処理が終了すると、同期制御装置5は、処理を終了する。
When the processes of steps S1 to S5 are completed, the
図5に示す例では、同期制御装置5が、MMT提示クライアント装置6およびMMT提示装置7を一組ずつ補正する場合を説明したがこれに限られない。例えば検出装置8が、全てのMMT提示装置7の提示をキャプチャできる場合など、MMT提示クライアント装置6およびMMT提示装置7の各組の補正を並列して進めても良い。
In the example illustrated in FIG. 5, the case where the
このような本発明の実施の形態に係るMMT受信システム3によれば、MMT提示装置7、またはMMT提示クライアント装置群11とMMT提示装置群12との接続に依存する遅延が生じる場合でも、MMT提示装置7に関連して生じた遅延量を特定することが可能になる。従って、特定された遅延量分早く、MMT提示クライアント装置6がMMT提示装置7にデコードされたMMTPデータを入力することにより、MMT受信システム3における全てのMMT提示装置7におけるMMTPデータの提示を同期させることができる。この結果、MMT送信システム2からMMTPデータを受信し提示する際に、MMT提示装置7等の遅延によって生じるずれを解消することが可能になる。
According to the
さらに、各MMT提示装置7等の遅延を解消し、同期させることにより、複数のMMT提示装置7を用いた場合でも、一体的な迫力のあるコンテンツを提供することが可能になる。
Further, by eliminating and synchronizing the delay of each
(第1の変形例)
本発明の実施の形態においては、同期制御装置5が、MMTPテストデータを生成して、MMT提示クライアント装置6が、生成されたMMTPテストデータをデコードして、MMT提示装置7に入力する場合を説明した。
(First Modification)
In the embodiment of the present invention, it is assumed that the
第1の変形例において、同期制御装置5のテスト信号入力部51は、特徴点の種類と特徴点を設定する所定の時刻をMMT提示クライアント装置6に入力する。MMT提示クライアント装置6は、MMT送信システム2から受信したMMTPデータの所定の時刻に、同期制御装置5から入力された特徴点を重畳する。
In the first modification, the test
このような第1の変形例によれば、MMT受信システム3は、MMT送信システム2から送信された本番データを再生する状況においても、MMT提示装置7に関わるずれを補正することが可能になる。
According to such a first modified example, the
(第2の変形例)
本発明の実施の形態においては、同期制御装置5が、MMT提示クライアント装置6と物理的に異なる場合を説明したが、第1の変形例においては、同期制御装置5の各機能が、MMT提示クライアント装置6内で実装される。具体的には、図2に示すMMT提示クライアント装置6のそれぞれに、同期制御装置5の機能が実装され、検出装置8が各MMT提示クライアント装置6に接続する。
(Second Modification)
In the embodiment of the present invention, the case where the
このような第2の変形例によれば、MMT受信システム3における接続をシンプルにすることが可能になる。
According to such a second modification, the connection in the
(第3の変形例)
MMT提示装置7における遅延は、MMT提示装置7の特性に依存すると考えられるので、第3の変形例においては、上述した方法で測定された遅延を、MMT提示装置7の型番等で対応づけたデータベースを生成する。このようなデータベースを用いることにより、過去に測定された遅延に基づいて補正をすることができる。
(Third Modification)
Since the delay in the
また、MMT提示クライアント装置6とMMT提示装置7との接続状況に依存する遅延が大きい場合、データベースにおいて、さらに接続状況も対応づけてもよい。MMT提示クライアント装置6とMMT提示装置7との接続状況は、例えば、ケーブルの長さおよび種類、ケーブルを接続するコネクタの種類、およびこれらの接続順序などである。
If the delay depending on the connection status between the MMT
このようなMMT受信システムによれば、MMT受信システム3におけるセッティングに時間をかけることなく、MMTPデータを同期して再生することが可能になる。
According to such an MMT receiving system, it is possible to synchronously reproduce MMTP data without taking time for setting in the
(その他の実施の形態)
上記のように、本発明の実施の形態とその変形例1ないし3によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。
(Other embodiments)
As described above, the embodiments of the present invention and the modifications 1 to 3 have been described. However, it should not be understood that the description and drawings constituting a part of this disclosure limit the present invention. From this disclosure, various alternative embodiments, examples, and operation techniques will be apparent to those skilled in the art.
例えば、本発明の実施の形態に記載した同期制御装置は、図2に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存の装置上に実現されても良い。 For example, the synchronization control device described in the embodiment of the present invention may be configured on one piece of hardware as shown in FIG. 2, or may be configured on a plurality of pieces of hardware according to its functions and the number of processes. May be. Further, it may be realized on an existing device.
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。 The present invention naturally includes various embodiments and the like not described herein. Therefore, the technical scope of the present invention is determined only by the invention specifying matters according to the claims that are appropriate from the above description.
1 MMT配信システム
2 MMT送信システム
3 MMT受信システム
4 通信ネットワーク
5 同期制御装置
6 MMT提示クライアント装置
7 MMT提示装置
8 検出装置
11 MMT提示クライアント群
12 MMT提示装置群
16 STB
17 提示装置
50 処理装置
51 テスト信号入力部
52 テスト信号検出部
53 遅延量特定部
54 遅延補正部
60 記憶装置
70 通信制御装置
DESCRIPTION OF SYMBOLS 1
17
Claims (7)
前記MMTPデータを受信してデコードし、指定された提示時刻にあわせて前記デコードされたMMTPデータを後記MMT提示装置に入力するMMT提示クライアント装置と、
前記MMT提示クライアント装置に接続し、デコードされたMMTPデータを、提示するMMT提示装置と、
前記MMT提示装置による提示を検出する検出装置と、
前記MMT提示クライアント装置および前記検出装置に接続する同期制御装置を備え、
前記同期制御装置は、
所定の時刻に特徴点を含むテストMMTPデータを前記MMT提示クライアント装置に入力するテスト信号入力部と、
前記MMT提示装置による前記テストMMTPデータの提示を検出した結果を、前記検出装置から取得するテスト信号検出部と、
前記テスト信号検出部が取得した結果から特定された前記特徴点の時刻と、前記所定の時刻とを比較して、前記MMT提示装置の遅延量を特定する遅延量特定部と、
前記MMT提示クライアント装置に対して、前記遅延量特定部で特定された遅延量と、前記デコードされたMMTPデータを前記MMT提示装置に入力するタイミングを補正する指示を入力する遅延補正部
を備えることを特徴とするMMT受信システム。 An MMT receiving system for receiving MMTP data from an MMT transmitting system,
An MMT presentation client device that receives and decodes the MMTP data, and inputs the decoded MMTP data to an MMT presentation device described later in accordance with a designated presentation time;
An MMT presentation device that connects to the MMT presentation client device and presents the decoded MMTP data;
A detection device for detecting presentation by the MMT presentation device;
A synchronization control device connected to the MMT presentation client device and the detection device,
The synchronization control device,
A test signal input unit that inputs test MMTP data including a feature point at a predetermined time to the MMT presentation client device;
A test signal detection unit that acquires a result of detecting the presentation of the test MMTP data by the MMT presentation device from the detection device;
A time amount of the feature point specified from the result obtained by the test signal detection unit, a delay amount specifying unit that compares the predetermined time and specifies a delay amount of the MMT presentation device;
A delay correction unit configured to input, to the MMT presentation client device, a delay amount specified by the delay amount specification unit and an instruction to correct a timing of inputting the decoded MMTP data to the MMT presentation device. An MMT receiving system, characterized in that:
前記検出装置はカメラであって、
前記特徴点は、映像の変更、または特定情報の透かしである
ことを特徴とする請求項1に記載のMMT受信システム。 When the test MMTP data is related to video,
The detection device is a camera,
The MMT receiving system according to claim 1, wherein the feature point is a change in video or a watermark of specific information.
前記検出装置はマイクであって、
前記特徴点は、音声の変更、または特定情報の透かしである
ことを特徴とする請求項1に記載のMMT受信システム。 When the test MMTP data relates to voice,
The detection device is a microphone,
The MMT receiving system according to claim 1, wherein the feature point is a change in voice or a watermark of specific information.
前記MMTPデータを受信してデコードし、指定された提示時刻にあわせて前記デコードされたMMTPデータを後記MMT提示装置に入力するMMT提示クライアント装置と、
前記MMT提示クライアント装置に接続し、デコードされたMMTPデータを、提示するMMT提示装置と、
前記MMT提示装置による提示を検出する検出装置と、
前記MMT提示クライアント装置および前記検出装置に接続する同期制御装置を備え、
前記同期制御装置は、
前記MMTPデータに特徴点を設定する所定の時刻を前記MMT提示クライアント装置に入力する信号入力部と、
前記MMT提示装置による前記MMTPデータの提示を検出した結果を、前記検出装置から取得する信号検出部と、
前記信号検出部が取得した結果から特定された前記特徴点の時刻と、前記所定の時刻とを比較して、前記MMT提示装置の遅延量を特定する遅延量特定部と、
前記MMT提示クライアント装置に対して、前記遅延量特定部で特定された遅延量と、前記デコードされたMMTPデータを前記MMT提示装置に入力するタイミングを補正する指示を入力する遅延補正部
を備え、
前記MMT提示クライアント装置は、
前記MMTPデータの前記所定の時刻に、前記特徴点を重畳することを特徴とするMMT受信システム。 An MMT receiving system for receiving MMTP data from an MMT transmitting system,
An MMT presentation client device for receiving and decoding the MMTP data, and inputting the decoded MMTP data to an MMT presentation device described later in accordance with a designated presentation time;
An MMT presentation device that connects to the MMT presentation client device and presents the decoded MMTP data;
A detection device for detecting presentation by the MMT presentation device;
A synchronization control device connected to the MMT presentation client device and the detection device,
The synchronization control device,
A signal input unit for inputting a predetermined time for setting a feature point to the MMTP data to the MMT presentation client device;
A signal detection unit that acquires the result of detecting the presentation of the MMTP data by the MMT presentation device from the detection device;
A time amount of the feature point specified from the result obtained by the signal detection unit, a delay amount specifying unit that compares the predetermined time and specifies a delay amount of the MMT presentation device;
A delay correction unit that inputs, to the MMT presentation client device, an instruction to correct the delay amount specified by the delay amount specification unit and the timing of inputting the decoded MMTP data to the MMT presentation device.
With
The MMT presentation client device includes:
The MMT receiving system , wherein the feature point is superimposed on the MMTP data at the predetermined time .
前記MMT受信システムは、
前記MMTPデータを受信してデコードし、指定された提示時刻にあわせて前記デコードされたMMTPデータを後記MMT提示装置に入力するMMT提示クライアント装置と、
前記MMT提示クライアント装置に接続し、デコードされたMMTPデータを、提示するMMT提示装置と、
前記MMT提示装置による提示を検出する検出装置と、
前記MMT提示クライアント装置および前記検出装置に接続する同期制御装置を備え、
前記同期制御装置は、
所定の時刻に特徴点を含むテストMMTPデータを前記MMT提示クライアント装置に入力するテスト信号入力部と、
前記MMT提示装置による前記テストMMTPデータの提示を検出した結果を、前記検出装置から取得するテスト信号検出部と、
前記テスト信号検出部が取得した結果から特定された前記特徴点の時刻と、前記所定の時刻とを比較して、前記MMT提示装置の遅延量を特定する遅延量特定部と、
前記MMT提示クライアント装置に対して、前記遅延量特定部で特定された遅延量と、前記デコードされたMMTPデータを前記MMT提示装置に入力するタイミングを補正する指示を入力する遅延補正部
を備えることを特徴とする同期制御装置。 A synchronization control device used in an MMT receiving system that receives MMTP data from an MMT transmitting system,
The MMT receiving system comprises:
An MMT presentation client device for receiving and decoding the MMTP data, and inputting the decoded MMTP data to an MMT presentation device described later in accordance with a designated presentation time;
An MMT presentation device that connects to the MMT presentation client device and presents the decoded MMTP data;
A detection device for detecting presentation by the MMT presentation device;
A synchronization control device connected to the MMT presentation client device and the detection device,
The synchronization control device,
A test signal input unit that inputs test MMTP data including a feature point at a predetermined time to the MMT presentation client device;
A test signal detection unit that acquires a result of detecting the presentation of the test MMTP data by the MMT presentation device from the detection device;
A time amount of the feature point specified from the result obtained by the test signal detection unit, a delay amount specifying unit that compares the predetermined time and specifies a delay amount of the MMT presentation device;
A delay correction unit configured to input, to the MMT presentation client device, a delay amount specified by the delay amount specification unit and an instruction to correct a timing of inputting the decoded MMTP data to the MMT presentation device. Synchronous control device characterized by the above-mentioned.
前記MMT受信システムは、
前記MMTPデータを受信してデコードし、指定された提示時刻にあわせて前記デコードされたMMTPデータを後記MMT提示装置に入力するMMT提示クライアント装置と、
前記MMT提示クライアント装置に接続し、デコードされたMMTPデータを、提示するMMT提示装置と、
前記MMT提示装置による提示を検出する検出装置と、
前記MMT提示クライアント装置および前記検出装置に接続する同期制御装置を備え、
前記同期制御方法は、
前記同期制御装置が、所定の時刻に特徴点を含むテストMMTPデータを前記MMT提示クライアント装置に入力するステップと、
前記同期制御装置が、前記MMT提示装置による前記テストMMTPデータの提示を検出した結果を、前記検出装置から取得するステップと、
前記同期制御装置が、取得した結果から特定された前記特徴点の時刻と、前記所定の時刻とを比較して、前記MMT提示装置の遅延量を特定するステップと、
前記同期制御装置が、前記MMT提示クライアント装置に対して、特定された遅延量と、前記デコードされたMMTPデータを前記MMT提示装置に入力するタイミングを補正する指示を入力するステップ
を備えることを特徴とする同期制御方法。 A synchronization control method used in an MMT receiving system that receives MMTP data from an MMT transmitting system,
The MMT receiving system comprises:
An MMT presentation client device for receiving and decoding the MMTP data, and inputting the decoded MMTP data to an MMT presentation device described later in accordance with a designated presentation time;
An MMT presentation device that connects to the MMT presentation client device and presents the decoded MMTP data;
A detection device for detecting presentation by the MMT presentation device;
A synchronization control device connected to the MMT presentation client device and the detection device,
The synchronization control method includes:
Inputting test MMTP data including a feature point to the MMT presentation client device at a predetermined time,
The synchronous control device acquires a result of detecting the presentation of the test MMTP data by the MMT presentation device from the detection device;
Wherein the synchronization control device compares the time of the feature point specified from the obtained result with the predetermined time, and specifies a delay amount of the MMT presentation device;
The synchronous control device comprises a step of inputting, to the MMT presentation client device, an instruction for correcting a specified delay amount and a timing of inputting the decoded MMTP data to the MMT presentation device. Synchronous control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017105571A JP6647241B2 (en) | 2017-05-29 | 2017-05-29 | MMT receiving system, synchronization control device, synchronization control method, and synchronization control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017105571A JP6647241B2 (en) | 2017-05-29 | 2017-05-29 | MMT receiving system, synchronization control device, synchronization control method, and synchronization control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018201150A JP2018201150A (en) | 2018-12-20 |
JP6647241B2 true JP6647241B2 (en) | 2020-02-14 |
Family
ID=64668335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017105571A Active JP6647241B2 (en) | 2017-05-29 | 2017-05-29 | MMT receiving system, synchronization control device, synchronization control method, and synchronization control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6647241B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021250861A1 (en) * | 2020-06-11 | 2021-12-16 | 日本電信電話株式会社 | Synchronization control device, synchronization control method, and synchronization control program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088690A (en) * | 2002-08-29 | 2004-03-18 | Sharp Corp | Image receiver and image transmission system including the same |
JP2006121388A (en) * | 2004-10-21 | 2006-05-11 | Seiko Epson Corp | Output timing control apparatus, video image output unit, output timing control system, output unit, integrated data providing apparatus, output timing control program, output device control program, integrated data providing apparatus control program, method of controlling the output timing control apparatus, method of controlling the output unit and method of controlling the integrated data providing apparatus |
JP2007158611A (en) * | 2005-12-02 | 2007-06-21 | Toshiba Corp | Satellite-broadcasting receiver having time display function |
JP6376526B2 (en) * | 2012-12-03 | 2018-08-22 | 株式会社コナミデジタルエンタテインメント | Output timing control device, output timing control system, output timing control method, and program |
JP6302274B2 (en) * | 2014-02-07 | 2018-03-28 | 日本放送協会 | Transmitting apparatus and receiving apparatus |
-
2017
- 2017-05-29 JP JP2017105571A patent/JP6647241B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021250861A1 (en) * | 2020-06-11 | 2021-12-16 | 日本電信電話株式会社 | Synchronization control device, synchronization control method, and synchronization control program |
JP7406169B2 (en) | 2020-06-11 | 2023-12-27 | 日本電信電話株式会社 | Synchronous control device, synchronous control method, and synchronous control program |
Also Published As
Publication number | Publication date |
---|---|
JP2018201150A (en) | 2018-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8174558B2 (en) | Automatically calibrating a video conference system | |
JP2007533189A (en) | Video / audio synchronization | |
US20160165227A1 (en) | Detection of audio to video synchronization errors | |
JP5837074B2 (en) | Method and corresponding apparatus for processing multimedia flows | |
KR102201617B1 (en) | Av device and control method thereof | |
JP2007028261A (en) | Video/audio reproduction apparatus and video/audio reproducing method | |
KR20210029829A (en) | Dynamic playback of transition frames while transitioning between media stream playbacks | |
KR101888464B1 (en) | Multi-vision system with multiple synchronization | |
KR101741747B1 (en) | Apparatus and method for processing real time advertisement insertion on broadcast | |
US9838584B2 (en) | Audio/video synchronization using a device with camera and microphone | |
JP6647241B2 (en) | MMT receiving system, synchronization control device, synchronization control method, and synchronization control program | |
US20140365685A1 (en) | Method, System, Capturing Device and Synchronization Server for Enabling Synchronization of Rendering of Multiple Content Parts, Using a Reference Rendering Timeline | |
JP6606526B2 (en) | Synchronization control device and synchronization control method | |
JP4256710B2 (en) | AV transmission method, AV transmission device, AV transmission device, and AV reception device | |
US11756590B2 (en) | Method of decoding an incoming audio/video stream | |
US20180205986A1 (en) | Method and Device for Implementing Synchronous Playing | |
TWI735504B (en) | Method for audio detection and corresponding device | |
US11134178B2 (en) | Video signal output apparatus, control method, and recording medium | |
WO2021060578A1 (en) | Image display device, lip-sync correction method thereof, and image display system | |
JP2012049723A (en) | Video sound output device and video sound output method | |
US20190222720A1 (en) | Multimedia signal synchronization apparatus and sychronization method thereof | |
JP6647242B2 (en) | MMT receiving system, synchronization control device, synchronization control method, and synchronization control program | |
TWI814427B (en) | Method for synchronizing audio and video | |
JPH1188878A (en) | Processor for discontinuous transport stream packet | |
US20170374243A1 (en) | Method of reducing latency in a screen mirroring application and a circuit of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6647241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |