JP2011146783A - Relay device, program, system and method, for correcting synchronization between video frame and audio frame - Google Patents
Relay device, program, system and method, for correcting synchronization between video frame and audio frame Download PDFInfo
- Publication number
- JP2011146783A JP2011146783A JP2010003978A JP2010003978A JP2011146783A JP 2011146783 A JP2011146783 A JP 2011146783A JP 2010003978 A JP2010003978 A JP 2010003978A JP 2010003978 A JP2010003978 A JP 2010003978A JP 2011146783 A JP2011146783 A JP 2011146783A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- video
- audio
- synchronization
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Details Of Television Systems (AREA)
Abstract
Description
本発明は、映像フレーム及び音声フレームとの間の同期外れを補正する通信装置の技術に関する。 The present invention relates to a technology of a communication device that corrects a loss of synchronization between a video frame and an audio frame.
映像伝送システムによれば、同期した映像フレーム及び音声フレームは各々独立して送受信される。そのために、中継伝送される途中で、映像フレームと音声フレームとの間での同期が外れていく場合がある。そのために、映像フレームと音声フレームとを同期させる「リップシンク(lip-sync)」の技術が必要となる。「リップシンク」とは、映像フレームと音声フレームとの間の同期外れを検知し、それを補正する技術をいう。 According to the video transmission system, synchronized video frames and audio frames are transmitted and received independently. Therefore, the synchronization between the video frame and the audio frame may be lost during the relay transmission. For this purpose, a “lip-sync” technique for synchronizing video frames and audio frames is required. “Lip sync” refers to a technique for detecting loss of synchronization between a video frame and an audio frame and correcting it.
図1は、対象となるシステム構成図である。 FIG. 1 is a target system configuration diagram.
図1のシステムによれば、送信装置2と受信装置3とは、1つ以上の中継装置1を備えた通信事業者ネットワークを介して接続されている。送信装置2は、時間的に同期した映像フレーム及び音声フレームを、受信装置3へ送信する。両フレームには、フレーム番号と再生タイムスタンプとが付加されている。
According to the system in FIG. 1, the
送信装置2から送信された両フレームは、ネットワークのエッジ装置としての中継装置1によって受信される。そして、両フレームは、ネットワーク内で中継装置1をホップしながら転送され、最終的に、相手側のエッジ装置から受信装置3へ送信される。
Both frames transmitted from the
従来、送信装置側が、映像フレームと音声フレームとの同期外れを補正する技術がある(例えば特許文献1参照)。この技術によれば、送信装置側が、映像フレームのエンコード及びデコードの処理時間と、音声フレームのエンコード及びデコード処理時間との差分を算出する。その差分は、映像フレームと音声フレームとの間の同期外れとして検知される。送信装置側は、映像フレームと音声フレームとで処理時間が短い方を、処理時間の差分だけ遅延させることで同期外れを補正する。 Conventionally, there is a technique in which the transmission apparatus side corrects the loss of synchronization between the video frame and the audio frame (see, for example, Patent Document 1). According to this technique, the transmission apparatus calculates the difference between the encoding / decoding processing time of the video frame and the encoding / decoding processing time of the audio frame. The difference is detected as a loss of synchronization between the video frame and the audio frame. The transmission apparatus side corrects the loss of synchronization by delaying the shorter processing time between the video frame and the audio frame by the difference in processing time.
これに対して、受信装置側が、映像フレームと音声フレームとの間の同期外れを客観的・定量的に検知し、補正する技術がある(例えば特許文献2、3参照)。送信装置側は、入力時刻を特定可能なマーカデータを、映像フレーム及び音声フレームに挿入する。受信装置側では、映像フレーム及び音声フレームのマーカデータを参照し、映像フレームと音声フレームとの間の同期外れを検知し、補正する。
On the other hand, there is a technique in which the receiving device side objectively and quantitatively detects and corrects out-of-synchronization between a video frame and an audio frame (see, for example,
また、主に放送局向けの映像伝送ネットワークにおける装置障害や伝送障害に起因するフリーズ、ブラック又はミュートのような現象を検知する技術がある(例えば非特許文献1参照)。この技術によれば、ネットワーク内の中継装置毎に算出されたメタデータが、映像フレーム及び音声フレームに挿入される。そのメタデータを用いて、映像フレーム及び音声フレームにおける障害を検知する。メタデータの履歴は、複数の中継装置によって保持され、各メタデータを比較することによって、伝送システム内の障害箇所が検知される。 In addition, there is a technique for detecting a phenomenon such as freeze, black, or mute mainly due to a device failure or transmission failure in a video transmission network for broadcasting stations (see, for example, Non-Patent Document 1). According to this technique, metadata calculated for each relay device in the network is inserted into a video frame and an audio frame. Using the metadata, a failure in the video frame and the audio frame is detected. The history of metadata is held by a plurality of relay devices, and a failure point in the transmission system is detected by comparing each metadata.
しかしながら、特許文献1に記載された技術によれば、送信装置側のエンコーダと受信装置側のデコーダで発生する遅延時間のみを考慮するため、ネットワーク内で映像フレームと音声フレームとの同期外れが発生する場合は、対応できない。また、送信装置側で想定する受信装置側のデコーダの処理遅延時間が、実際の受信装置側のデコーダの処理遅延時間と異なる場合、送信装置側は、正確に同期外れを補正することができない。
However, according to the technique described in
また、特許文献2、3に記載された技術によれば、伝送システム内で発生する映像フレームと音声フレームとの間の同期外れを補正することができるが、受信装置に特別の機能を搭載する必要がある。
Further, according to the techniques described in
更に、非特許文献1に記載された技術によれば、画質劣化や音声劣化といった障害を検出するためのものであって、映像フレームと音声フレームとの同期外れを検知し且つ補正することについては全く考慮されていない。
Furthermore, according to the technique described in Non-Patent
そこで、本発明は、映像フレーム及び音声フレームの間のリップシンクの同期外れを中継ポイント毎に補正することによって、ネットワークを介したシステム全体として同期を確保することができる中継装置、プログラム、システム及び方法を提供することを目的とする。 Accordingly, the present invention provides a relay device, a program, a system, and a system capable of ensuring synchronization as a whole system via a network by correcting lip sync loss of synchronization between video frames and audio frames for each relay point. It aims to provide a method.
本発明によれば、映像フレームと、該映像フレームに同期する音声フレームとを伝送する中継装置において、
他の装置から受信した映像フレームを一時的に蓄積する映像バッファ手段と、
他の装置から受信した音声フレームを一時的に蓄積する音声バッファ手段と、
映像バッファ手段及び音声バッファ手段から映像フレーム及び音声フレームを出力させるバッファ出力制御手段と、
映像フレームに、当該中継装置の現同期情報をメタデータとして含める映像メタデータ挿入手段と、
音声フレームに、当該中継装置の現同期情報をメタデータとして含める音声メタデータ挿入手段と、
映像フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出する映像同期差分検知手段と、
音声フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する音声同期差分検知手段と、
映像フレーム/音声フレームの同期差分が音声フレーム/映像フレームの同期差分よりも大きい場合、音声フレーム/映像フレームを、映像フレーム/音声フレームと同期が一致するように遅延させるべくバッファ制御手段を制御する同期差分補正手段と
を有することを特徴とする。
According to the present invention, in a relay device that transmits a video frame and an audio frame synchronized with the video frame,
Video buffer means for temporarily storing video frames received from other devices;
Audio buffer means for temporarily storing audio frames received from other devices;
Buffer output control means for outputting video frames and audio frames from the video buffer means and the audio buffer means;
Video metadata insertion means for including the current synchronization information of the relay device as metadata in the video frame;
Voice metadata insertion means for including the current synchronization information of the relay device as metadata in the voice frame;
A video synchronization difference detecting means for comparing the current synchronization information and the previous synchronization information added at the previous hop for the video frame, and detecting a synchronization difference of the video frame;
A voice synchronization difference detection means for detecting a synchronization difference of the voice frame by comparing the current synchronization information with the previous synchronization information added at the previous hop for the voice frame;
When the video frame / audio frame synchronization difference is larger than the audio frame / video frame synchronization difference, the buffer control means is controlled to delay the audio frame / video frame so that the synchronization with the video frame / audio frame coincides. And a synchronization difference correcting means.
本発明の中継装置における他の実施形態によれば、
現時刻を出力するタイマ手段を更に含んでおり、
同期情報は、時刻であり、
映像メタデータ挿入手段は、映像フレームのメタデータに、タイマ手段から出力された同一時刻に基づく現同期情報を含め、
音声メタデータ挿入手段は、音声フレームのメタデータに、タイマ手段から出力された同一時刻に基づく現同期情報を含める
ことも好ましい。
According to another embodiment of the relay device of the present invention,
It further includes timer means for outputting the current time,
Synchronization information is time,
The video metadata insertion means includes the current synchronization information based on the same time output from the timer means in the metadata of the video frame,
The audio metadata inserting means preferably includes the current synchronization information based on the same time output from the timer means in the audio frame metadata.
本発明の中継装置における他の実施形態によれば、
映像フレームから特徴量を検出する映像特徴量検出手段と、
音声フレームから特徴量を検出する音声特徴量検出手段と
を更に有し、
同期情報は、特徴量であり、
映像メタデータ挿入手段は、映像フレームのメタデータに、映像特徴量検出手段から出力された特徴量に基づく現同期情報を含め、
音声メタデータ挿入手段は、音声フレームのメタデータに、音声特徴量検出手段から出力された特徴量に基づく現同期情報を含める
ことも好ましい。
According to another embodiment of the relay device of the present invention,
Video feature quantity detection means for detecting a feature quantity from the video frame;
Voice feature quantity detecting means for detecting a feature quantity from the voice frame;
Synchronization information is a feature quantity,
The video metadata insertion means includes the current synchronization information based on the feature amount output from the video feature amount detection means in the metadata of the video frame,
The audio metadata inserting means preferably includes the current synchronization information based on the feature amount output from the audio feature amount detecting means in the audio frame metadata.
本発明の中継装置における他の実施形態によれば、
同期差分補正手段は、現時刻tにおける両フレームの同期差分を補正する際に、映像バッファ手段及び音声バッファ手段に蓄積された過去時刻t-nにおける両フレームを、現時刻tにおける映像フレーム又は音声フレームに対する遅延量よりも小さい遅延量で、両バッファ制御手段が両フレームを出力するべく制御することも好ましい。
According to another embodiment of the relay device of the present invention,
When correcting the synchronization difference between both frames at the current time t, the synchronization difference correcting means converts both frames at the past time tn stored in the video buffer means and the audio buffer means to the video frame or audio frame at the current time t. It is also preferable that both buffer control means perform control to output both frames with a delay amount smaller than the delay amount.
本発明によれば、送信装置及び受信装置を有し、映像フレームと、映像フレームに同期する音声フレームとを伝送するシステムにおいて、
送信装置は、
映像フレームに、当該中継装置の現同期情報をメタデータとして含める映像メタデータ挿入手段と、
音声フレームに、当該中継装置の現同期情報をメタデータとして含める音声メタデータ挿入手段と、
映像バッファ手段及び音声バッファ手段から映像フレーム及び音声フレームを出力させるバッファ制御手段と
を有し、
受信装置は、
他の装置から受信した映像フレームを一時的に蓄積する映像バッファ手段と、
他の装置から受信した音声フレームを一時的に蓄積する音声バッファ手段と、
映像バッファ手段及び音声バッファ手段から映像フレーム及び音声フレームを出力させるバッファ制御手段と、
映像フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出する映像同期差分検知手段と、
音声フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する音声同期差分検知手段と、
映像フレーム/音声フレームの同期差分が音声フレーム/映像フレームの同期差分よりも大きい場合、音声フレーム/映像フレームを、映像フレーム/音声フレームと同期が一致するように遅延させるべくバッファ制御手段を制御する同期差分補正手段と
を有することを特徴とする。
According to the present invention, in a system having a transmission device and a reception device and transmitting a video frame and an audio frame synchronized with the video frame,
The transmitter is
Video metadata insertion means for including the current synchronization information of the relay device as metadata in the video frame;
Voice metadata insertion means for including the current synchronization information of the relay device as metadata in the voice frame;
Buffer control means for outputting video frames and audio frames from the video buffer means and the audio buffer means,
The receiving device
Video buffer means for temporarily storing video frames received from other devices;
Audio buffer means for temporarily storing audio frames received from other devices;
Buffer control means for outputting video frames and audio frames from the video buffer means and the audio buffer means;
A video synchronization difference detecting means for comparing the current synchronization information and the previous synchronization information added at the previous hop for the video frame, and detecting a synchronization difference of the video frame;
A voice synchronization difference detection means for detecting a synchronization difference of the voice frame by comparing the current synchronization information with the previous synchronization information added at the previous hop for the voice frame;
When the video frame / audio frame synchronization difference is larger than the audio frame / video frame synchronization difference, the buffer control means is controlled to delay the audio frame / video frame so that the synchronization with the video frame / audio frame coincides. And a synchronization difference correcting means.
本発明のシステムにおける他の実施形態によれば、
送信装置は、送信装置又は中継装置であり、
受信装置は、中継装置又は受信装置であることも好ましい。
According to another embodiment of the system of the present invention,
The transmission device is a transmission device or a relay device,
The receiving device is also preferably a relay device or a receiving device.
本発明によれば、送信装置と受信装置とを有するシステムであって、映像フレームと、映像フレームに同期する音声フレームとを伝送する伝送方法において、
送信装置が、映像フレームに、当該中継装置の現同期情報をメタデータとして含めると共に、音声フレームに、当該中継装置の現同期情報をメタデータとして含める第1のステップと、
送信装置が、同期する映像フレーム及び音声フレームを伝送する第2のステップと、
受信装置が、他の装置から受信した映像フレームを映像バッファ部に一時的に蓄積すると共に、他の装置から受信した音声フレームを音声バッファ部に一時的に蓄積する第3のステップと、
受信装置が、映像フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出すると共に、音声フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する第4のステップと、
受信装置が、映像フレーム/音声フレームの同期差分が音声フレーム/映像フレームの同期差分よりも大きい場合、音声フレーム/映像フレームを、映像フレーム/音声フレームと同期が一致するように遅延させる第5のステップと、
受信装置が、映像バッファ部及び音声バッファ部から映像フレーム及び音声フレームを出力する第6のステップと
を有することを特徴とする。
According to the present invention, in a transmission method for transmitting a video frame and an audio frame synchronized with the video frame, the system having a transmission device and a reception device,
A first step in which the transmission device includes the current synchronization information of the relay device as metadata in the video frame and includes the current synchronization information of the relay device as metadata in the audio frame;
A second step in which the transmitting device transmits synchronized video frames and audio frames;
A third step in which the receiving device temporarily stores video frames received from other devices in the video buffer unit, and temporarily stores audio frames received from other devices in the audio buffer unit;
The receiver compares the current synchronization information for the video frame with the previous synchronization information added at the previous hop to detect a synchronization difference of the video frame, and for the audio frame, A fourth step of detecting the synchronization difference of the audio frame by comparing with the previous synchronization information added at the previous hop;
In a fifth embodiment, when the synchronization difference between the video frame / audio frame is larger than the synchronization difference between the audio frame / video frame, the receiving apparatus delays the audio frame / video frame so that the synchronization is synchronized with the video frame / audio frame. Steps,
The receiving device includes a sixth step of outputting a video frame and an audio frame from the video buffer unit and the audio buffer unit.
本発明の中継装置、プログラム、システム及び方法によれば、映像フレーム及び音声フレームの間のリップシンクの同期外れを中継ポイント毎に補正することによって、ネットワークを介したシステム全体として同期を確保することができる。特に、本発明によれば、少なくとも受信装置に何らの特別な機能を搭載する必要がない。また、本発明に基づく中継装置を通信事業者ネットワーク内のみで用いることによって、ユーザ所持の送信装置及び受信装置に何らの特別な機能を搭載する必要がない。更に、ネットワーク内におけるいずれの中継ポイントで、リップシンクの同期外れを補正したかを特定することもできる。 According to the relay apparatus, program, system, and method of the present invention, the synchronization of the lip sync between the video frame and the audio frame is corrected for each relay point, thereby ensuring the synchronization of the entire system via the network. Can do. In particular, according to the present invention, it is not necessary to mount any special function at least on the receiving device. In addition, by using the relay device according to the present invention only in the communication carrier network, it is not necessary to mount any special function in the transmission device and reception device possessed by the user. Furthermore, it is possible to specify at which relay point in the network the correction of the lip sync loss is corrected.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図2は、本発明におけるフレームの流れを表す説明図である。 FIG. 2 is an explanatory diagram showing the flow of frames in the present invention.
図2によれば、通信事業者ネットワーク4には、複数の中継装置1が備えられており、エッジ装置としての中継装置aは、送信装置2から映像フレーム及び音声フレームを受信する。映像フレーム及び音声フレームは、時間的に同期したものである。
According to FIG. 2, the
図2(a)によれば、中継装置aは、映像フレーム及び音声フレームに、現同期情報を含むメタデータを挿入する。ここで、現同期情報とは、当該中継装置aに搭載されたタイマから得られる時刻であってもよい。また、フレーム内容に基づく特徴量であってもよい(例えば非特許文献1参照)。映像フレームにおける特徴量として、映像空間特徴量SI(Spatial Perceptual Information)及び/又は映像時間特徴量TI(Temporal Perceptual
Information)がある。また、音声フレームにおける特徴量として、音声同相情報AII(Audio In-phase Information)、音声逆相情報AOI(Audio Out-phase Information)及び/又は音声振幅情報AMI(Audio Magnitude Information)がある。中継装置aは、現同期情報のメタデータを挿入した映像フレーム及び音声フレームを、同期がとれた状態で、中継装置bへ送信する。
According to FIG. 2A, the relay device a inserts metadata including the current synchronization information into the video frame and the audio frame. Here, the current synchronization information may be a time obtained from a timer mounted on the relay device a. Moreover, the feature-value based on the frame content may be sufficient (for example, refer nonpatent literature 1). As a feature amount in a video frame, a video space feature amount SI (Spatial Perceptual Information) and / or a video time feature amount TI (Temporal Perceptual
Information). Further, as feature quantities in the audio frame, there are audio in-phase information AII (Audio In-phase Information), audio anti-phase information AOI (Audio Out-phase Information), and / or audio amplitude information AMI (Audio Magnitude Information). The relay device a transmits the video frame and the audio frame into which the metadata of the current synchronization information is inserted to the relay device b in a synchronized state.
図2(b)によれば、中継装置bは、その映像フレーム及び音声フレームを、同期が外れた状態で受信している。音声フレームは時刻t2に受信されているのに対し、映像フレームは、その後の時刻t3に受信されている。映像フレームには、中継装置aに基づく前同期情報t1を含むメタデータが挿入されており、音声フレームにも、中継装置aに基づく前同期情報t1を含むメタデータが挿入されている。 According to FIG.2 (b), the relay apparatus b has received the video frame and the audio | voice frame in the state out of synchronization. While speech frame is received in time t 2, the video frame is received in a subsequent time t 3. The video frame, the relay device metadata including synchronization information t 1 is inserted before based on a, in the speech frame, metadata including synchronization information t 1 before based on the relay device a is inserted.
図2(c)によれば、音声フレームのメタデータに、現同期情報t2を含むメタデータを挿入し、映像フレームのメタデータに、現同期情報t3を含むメタデータを挿入する。そして、中継装置bは、音声フレームについて、現同期情報t2と前同期情報t1との同期差分(t2−t1)を検出する。また、映像フレームについて、現同期情報t3と前同期情報t1との同期差分(t3−t1)を検出する。 According to FIG. 2 (c), the metadata of the audio frame, and inserts the metadata including the current synchronization information t 2, the metadata of video frames, inserts the metadata including the current synchronization information t 3. Then, the relay device b detects the synchronization difference (t 2 −t 1 ) between the current synchronization information t 2 and the previous synchronization information t 1 for the voice frame. For the video frame, the synchronization difference (t 3 −t 1 ) between the current synchronization information t 3 and the previous synchronization information t 1 is detected.
図2(d)によれば、中継装置bは、映像フレーム又は音声フレームのうち、同期差分が小さい方のフレームを、同期差分が大きい方のフレームに同期させて、遅延させる。そして、両フレームは、現同期情報も同期させた状態(時刻t3に一致)で、次の中継装置又は受信装置へ送信される。即ち、図2(b)では、リップシンクが外れた状態で受信された両フレームは、リップシンクがとれた状態で次ホップの装置へ送信される。 According to FIG.2 (d), the relay apparatus b synchronizes with a frame with a larger synchronization difference, and delays a frame with a smaller synchronization difference among a video frame or an audio | voice frame. Then, both frames are transmitted to the next relay device or receiving device in a state where the current synchronization information is also synchronized (coincided with time t 3 ). That is, in FIG. 2B, both frames received with the lip sync removed are transmitted to the next-hop device with the lip sync removed.
図3は、本発明における中継装置の機能構成図である。 FIG. 3 is a functional configuration diagram of the relay device according to the present invention.
図3によれば、中継装置1は、通信インタフェースとして、入力インタフェース部100と、出力インタフェース部101とを有する。映像フレーム用に、映像バッファ部111と、映像特徴量検出部112と、映像メタデータ挿入部113と、映像同期差分検知部114とを有する。また、音声フレーム用に、音声バッファ部121と、音声特徴量検出部122と、音声メタデータ挿入部123と、音声同期差分検知部124とを有する。更に、タイマ部131と、同期差分補正部132と、バッファ出力制御部133とを有する。インタフェース部を除くこれら機能構成部は、中継装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、機能部における処理の流れによって、中継装置における中継伝送方法として実現される。
According to FIG. 3, the
入力インタフェース部100は、映像フレームと、その映像フレームに同期する音声フレームとを受信する。映像フレームは映像バッファ部111へ出力され、音声フレームは音声バッファ部121へ出力される。
The
映像バッファ部111は、入力インタフェース部100から受信した映像フレームを一時的に蓄積する。映像バッファ部111は、FIFO(First In First Out)方式である。映像バッファ部111に蓄積された映像フレームは、映像特徴量検出部112から参照され、映像メタデータ挿入部113からメタデータが挿入される。そして、映像バッファ部111は、バッファ出力制御部133からの指示に応じて、映像フレームを出力インタフェース部101へ出力する。
The
映像特徴量検出部112は、映像バッファ部111に蓄積された映像フレームを参照し、その映像フレームにおける特徴量(例えば映像空間特徴量)を検出する。検出された特徴量は、映像メタデータ挿入部113へ出力される。
The video feature
映像メタデータ挿入部113は、映像フレームのメタデータに、当該中継装置の現状態に基づく現同期情報を挿入する。現同期情報は、タイマ部131から出力された現時刻であってもよい。また、映像特徴量検出部112から出力された特徴量であってもよい。映像フレームのメタデータに含まれる前同期情報及び現同期情報は、映像同期差分検知部114へ出力される。
The video
映像同期差分検知部114は、メタデータに含まれる現同期情報と、1つ前のホップでメタデータに付加された前同期情報とを比較して、映像フレームの同期差分を検出する。映像フレームについて、現同期情報t3及び前同期情報t1である場合、同期差分としてt3−t1が検出される。映像フレームの同期差分は、同期差分補正部132へ出力される。
The video synchronization
音声バッファ部121は、入力インタフェース部100から受信した音声フレームを一時的に蓄積する。音声バッファ部121は、FIFO方式である。音声バッファ部121に蓄積された音声フレームは、音声特徴量検出部122から参照され、音声メタデータ挿入部123からメタデータが挿入される。そして、音声バッファ部121は、バッファ出力制御部133からの指示に応じて、音声フレームを出力インタフェース部101へ出力する。
The
音声特徴量検出部122は、音声バッファ部121に蓄積された音声フレームを参照し、その音声フレームにおける特徴量(例えば音声同相情報)を検出する。検出された特徴量は、音声メタデータ挿入部123へ出力される。
The audio feature
音声メタデータ挿入部123は、音声フレームのメタデータに、当該中継装置の現状態に基づく現同期情報を挿入する。現同期情報は、タイマ部131から出力された現時刻であってもよい。また、音声特徴量検出部122から出力された特徴量であってもよい。音声フレームのメタデータに含まれる前同期情報及び現同期情報は、音声同期差分検知部124へ出力される。
The audio
音声同期差分検知部124は、メタデータに含まれる現同期情報と、1つ前のホップでメタデータに付加された前同期情報とを比較して、音声フレームの同期差分を検出する。音声フレームについて、現同期情報t2及び前同期情報t1である場合、同期差分としてt2−t1が検出される。音声フレームの同期差分は、同期差分補正部132へ出力される。
The audio synchronization
タイマ部131は、現時刻を出力する。タイマ部131は、現時刻を、映像メタデータ挿入部113及び音声メタデータ挿入部123へ出力する。
The
同期差分補正部132は、映像フレームの同期差分と、音声フレームの同期差分とを入力する。映像フレーム/音声フレームの同期差分が音声フレーム/映像フレームの同期差分よりも大きい場合、同期差分補正部132は、音声フレーム/映像フレームを、映像フレーム/音声フレームと同期が一致するように遅延させるべくバッファ出力制御部133を制御する。「/」は、「又は」の意味であって、「映像フレーム/音声フレームを、音声フレーム/映像フレームと同期が一致する」とは、「映像フレームを、音声フレームと同期が一致する」又は「音声フレームを、映像フレームと同期が一致する」の2つ意味を有する。
The synchronization
また、同期差分補正部132は、現時刻tにおける両フレームの同期差分を補正する際に、映像バッファ部111及び音声バッファ部121に蓄積された過去時刻t-nにおける両フレームを、現時刻tにおける映像フレーム又は音声フレームに対する遅延量よりも小さい遅延量で、両バッファ部が両フレームを出力するべく制御する。この動作は、図5(d)で詳述する。
Further, when correcting the synchronization difference between both frames at the current time t, the synchronization
バッファ出力制御部133は、映像バッファ部111及び音声バッファ部121から映像フレーム及び音声フレームを同期させて出力させる。これによって、映像フレームが音声フレームよりも遅延している場合、その遅延差分だけ音声フレームを遅延させ、リップシンクの同期外れを補正する。また、音声フレームが映像フレームよりも遅延している場合、その遅延差分だけ映像フレームを遅延させ、リップシンク同期外れを補正する。尚、映像フレームと音声フレームとの間で遅延差分がない場合、リップシンク同期外れは発生していない、即ち、リップシンクがとれている状態であるので、映像フレーム又は音声フレームを遅延させる必要はない。
The buffer
映像バッファ部111及び音声バッファ部121から取り出された映像フレーム及び音声フレームは、出力インタフェース部101を介して、次ホップの装置へ出力される。
The video frames and audio frames extracted from the
図4は、本発明におけるシステムの基本構成図である。 FIG. 4 is a basic configuration diagram of a system according to the present invention.
図4によれば、本発明におけるシステムは、送信装置2と受信装置3とのみを有する。送信装置2は、映像フレーム及び音声フレームを同期がとれた状態で送信するが、受信装置3は、同期が外れた状態の映像フレーム及び音声フレームを受信する。送信装置2が、現同期情報を含むメタデータをフレームに挿入することよって、受信装置3は、映像フレーム及び音声フレームを同期させて出力することができる。
According to FIG. 4, the system according to the present invention has only a
図4によれば、送信装置2は、少なくとも、映像バッファ部111と、映像特徴量検出部112と、映像メタデータ挿入部113と、音声バッファ部121と、音声特徴量検出部122と、音声メタデータ挿入部123と、タイマ部131とを有していればよい。一方で、受信装置3は、少なくとも、映像バッファ部111と、映像同期差分検知部114と、音声バッファ部121と、音声同期差分検知部124と、同期差分補正部132と、バッファ出力制御部133とを有していればよい。
According to FIG. 4, the
図5は、同期情報が時刻である場合に、同期差分の補正を表す説明図である。 FIG. 5 is an explanatory diagram showing correction of the synchronization difference when the synchronization information is time.
図5によれば、横方向は、フレーム番号の順に、同期情報としての時刻が並べられている。図5(a)は、映像フレームにおける1ホップ前の前同期情報と、当該中継装置の現同期情報とが表されている。映像フレーム毎に、前同期情報と現同期情報とを比較すると、一貫して33msの同期差分となっている。 According to FIG. 5, in the horizontal direction, times as synchronization information are arranged in the order of frame numbers. FIG. 5A shows the previous synchronization information one hop before in the video frame and the current synchronization information of the relay device. When the previous synchronization information and the current synchronization information are compared for each video frame, the synchronization difference is consistently 33 ms.
図5(b)は、音声フレームにおける1ホップ前の前同期情報と、当該中継装置の現同期情報とが表されている。音声フレーム毎に、前同期情報と現同期情報とを比較すると、音声フレーム1〜2までは、映像フレームと同様に33msの同期差分である。しかし、音声フレーム3では、66msの同期差分が発生している。
FIG. 5B shows the previous synchronization information one hop before in the voice frame and the current synchronization information of the relay device. When the previous synchronization information and the current synchronization information are compared for each audio frame, the audio frames 1 to 2 have a 33 ms synchronization difference, similar to the video frame. However, in
図5(a)及び(b)を比較すると、映像フレーム1〜2の同期差分は33msであり、音声フレーム1〜2の同期差分は33msであり、両者は同一である。しかし、映像フレーム3の同期差分33msであるのに対し、音声フレーム3の同期差分は66msであり、同期外れの発生が検知される。
Comparing FIGS. 5A and 5B, the synchronization difference between the video frames 1 and 2 is 33 ms, and the synchronization difference between the
図5(c)は、本発明における同期外れの補正を表している。図5(a)によれば、映像フレーム番号3について、同期差分33msであるのに対し、図5(b)によれば、音声フレーム番号3について、同期差分66msである。このとき、映像フレーム番号3について、33ms(=66ms−33ms)だけ遅延させることによって、音声フレーム番号3と同期させることができる。映像フレームは、FIFO方式の映像バッファ部に蓄積されているので、映像フレーム番号3のみについて出力タイミングを遅延させることによって、その後の映像フレームは所定タイミングで継続して出力されていく。
FIG. 5C shows the out-of-synchronization correction in the present invention. According to FIG. 5A, the synchronization difference is 33 ms for the
尚、図5(c)の場合、映像フレームを音声フレームに合わせて遅延させることによって、映像フレーム番号2と3との間のみに、一時的に66msの時間的隔たりが生じてしまう。これは、受信装置がストリーミング形式で再生している場合、映像の途切れが生じる場合がある。
In the case of FIG. 5C, by delaying the video frame in accordance with the audio frame, a temporal gap of 66 ms is temporarily generated only between the
そこで、図5(d)は、映像フレーム番号3で同期外れを検出した場合、その前段にある映像フレーム及び音声フレーム(番号1及び2)も遅延させることによって、フレーム間に生じる一時的に長い時間的隔たりを、前方の任意のフレーム間に分散させることができる。例えば、図5(d)によれば、映像フレーム番号1と2及び音声フレーム番号1と2について、バッファ部からの出力を、33ms遅延させている。バッファ内全体で、フレーム間に生じる時間的隔たりを平準化することができる。これによって、受信装置における再生に伴う映像又は音声の途切れをできる限り回避することができる。
Therefore, in FIG. 5D, when a loss of synchronization is detected in the
図6は、同期情報が特徴量である場合に、同期差分の補正を表す説明図である。 FIG. 6 is an explanatory diagram illustrating correction of the synchronization difference when the synchronization information is a feature amount.
図6によれば、横軸に、時間経過に伴うフレーム番号が表され、縦軸に、フレーム内容に基づく特徴量が表されている。フレーム毎に、前同期情報としての特徴量(黒塗り)と、現同期情報としての特徴量(斜線)とが表されている。ここで、フレーム毎にこれら特徴量を統計的に記録することによって、前同期情報及び現同期情報との間の相関を取ることができる。図6によれば、4サンプル分の132msだけ遅延していることが理解できる。映像フレーム及び音声フレームのそれぞれについて遅延を導出することによって、同期差分を検知することできる。 According to FIG. 6, the horizontal axis represents the frame number with the passage of time, and the vertical axis represents the feature quantity based on the frame content. For each frame, a feature amount (black) as the previous synchronization information and a feature amount (hatched line) as the current synchronization information are represented. Here, by statistically recording these feature values for each frame, a correlation between the previous synchronization information and the current synchronization information can be obtained. According to FIG. 6, it can be understood that the delay is by 132 ms for four samples. By deriving the delay for each of the video frame and the audio frame, the synchronization difference can be detected.
以上、詳細に説明したように、本発明の中継装置、プログラム、システム及び方法によれば、映像フレーム及び音声フレームの間のリップシンクの同期外れを中継ポイント毎に補正することによって、ネットワークを介したシステム全体として同期を確保することができる。特に、本発明によれば、少なくとも受信装置に何らの特別な機能を搭載する必要がない。また、本発明に基づく中継装置を通信事業者ネットワーク内のみで用いることによって、ユーザ所持の送信装置及び受信装置に何らの特別な機能を搭載する必要がない。更に、ネットワーク内におけるいずれの中継ポイントで、リップシンクの同期外れを補正したかを特定することもできる。 As described above in detail, according to the relay device, program, system, and method of the present invention, by correcting the loss of lip sync between the video frame and the audio frame for each relay point, the relay device, the program, the system, and the method can be used. As a whole system, synchronization can be ensured. In particular, according to the present invention, it is not necessary to mount any special function at least on the receiving device. In addition, by using the relay device according to the present invention only in the communication carrier network, it is not necessary to mount any special function in the transmission device and reception device possessed by the user. Furthermore, it is possible to specify at which relay point in the network the correction of the lip sync loss is corrected.
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.
1 中継装置
100 入力インタフェース部
101 出力インタフェース部
111 映像バッファ部
112 映像特徴量検出部
113 映像メタデータ挿入部
114 映像同期差分検知部
121 音声バッファ部
122 音声特徴量検出部
123 音声メタデータ挿入部
124 音声同期差分検知部
131 タイマ部
132 同期差分補正部
133 バッファ出力制御部
2 送信装置
3 受信装置
DESCRIPTION OF
Claims (8)
他の装置から受信した映像フレームを一時的に蓄積する映像バッファ手段と、
他の装置から受信した音声フレームを一時的に蓄積する音声バッファ手段と、
前記映像バッファ手段及び前記音声バッファ手段から前記映像フレーム及び前記音声フレームを出力させるバッファ出力制御手段と、
前記映像フレームに、当該中継装置の現同期情報をメタデータとして含める映像メタデータ挿入手段と、
前記音声フレームに、当該中継装置の現同期情報をメタデータとして含める音声メタデータ挿入手段と、
前記映像フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出する映像同期差分検知手段と、
前記音声フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する音声同期差分検知手段と、
前記映像フレーム/音声フレームの同期差分が前記音声フレーム/映像フレームの同期差分よりも大きい場合、前記音声フレーム/映像フレームを、前記映像フレーム/音声フレームと同期が一致するように遅延させるべく前記バッファ制御手段を制御する同期差分補正手段と
を有することを特徴とする中継装置。 In a relay device for transmitting a video frame and an audio frame synchronized with the video frame,
Video buffer means for temporarily storing video frames received from other devices;
Audio buffer means for temporarily storing audio frames received from other devices;
Buffer output control means for outputting the video frame and the audio frame from the video buffer means and the audio buffer means;
Video metadata insertion means for including the current synchronization information of the relay device as metadata in the video frame;
Voice metadata insertion means for including the current synchronization information of the relay device as metadata in the voice frame;
Video synchronization difference detection means for detecting the synchronization difference of the video frame by comparing the current synchronization information with the previous synchronization information added at the previous hop for the video frame,
For the audio frame, audio synchronization difference detection means for detecting the synchronization difference of the audio frame by comparing the current synchronization information with the previous synchronization information added at the previous hop;
When the synchronization difference between the video frame / audio frame is larger than the synchronization difference between the audio frame / video frame, the buffer is used to delay the audio frame / video frame so as to be synchronized with the video frame / audio frame. A relay device comprising synchronization difference correction means for controlling the control means.
前記同期情報は、時刻であり、
前記映像メタデータ挿入手段は、前記映像フレームのメタデータに、前記タイマ手段から出力された同一時刻に基づく現同期情報を含め、
前記音声メタデータ挿入手段は、前記音声フレームのメタデータに、前記タイマ手段から出力された同一時刻に基づく現同期情報を含める
ことを特徴とする請求項1に記載の中継装置。 It further includes timer means for outputting the current time,
The synchronization information is time,
The video metadata insertion means includes, in the metadata of the video frame, current synchronization information based on the same time output from the timer means,
The relay apparatus according to claim 1, wherein the voice metadata insertion unit includes current synchronization information based on the same time output from the timer unit in the metadata of the voice frame.
音声フレームから特徴量を検出する音声特徴量検出手段と
を更に有し、
前記同期情報は、特徴量であり、
前記映像メタデータ挿入手段は、前記映像フレームのメタデータに、前記映像特徴量検出手段から出力された特徴量に基づく現同期情報を含め、
前記音声メタデータ挿入手段は、前記音声フレームのメタデータに、前記音声特徴量検出手段から出力された特徴量に基づく現同期情報を含める
ことを特徴とする請求項1に記載の中継装置。 Video feature quantity detection means for detecting a feature quantity from the video frame;
Voice feature quantity detecting means for detecting a feature quantity from the voice frame;
The synchronization information is a feature amount,
The video metadata insertion means includes the current synchronization information based on the feature quantity output from the video feature quantity detection means in the metadata of the video frame,
The relay apparatus according to claim 1, wherein the audio metadata insertion unit includes current synchronization information based on the feature amount output from the audio feature amount detection unit in the metadata of the audio frame.
他の装置から受信した映像フレームを一時的に蓄積する映像バッファ手段と、
他の装置から受信した音声フレームを一時的に蓄積する音声バッファ手段と、
前記映像バッファ手段及び前記音声バッファ手段から前記映像フレーム及び前記音声フレームを出力させるバッファ出力制御手段と、
前記映像フレームに、当該中継装置の現同期情報をメタデータとして含める映像メタデータ挿入手段と、
前記音声フレームに、当該中継装置の現同期情報をメタデータとして含める音声メタデータ挿入手段と、
前記映像フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出する映像同期差分検知手段と、
前記音声フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する音声同期差分検知手段と、
前記映像フレーム/音声フレームの同期差分が前記音声フレーム/映像フレームの同期差分よりも大きい場合、前記音声フレーム/映像フレームを、前記映像フレーム/音声フレームと同期が一致するように遅延させるべく前記バッファ制御手段を制御する同期差分補正手段と
してコンピュータを機能させることを特徴とする中継装置用のプログラム。 In a program for causing a computer mounted on a relay device that transmits a video frame and an audio frame synchronized with the video frame to function,
Video buffer means for temporarily storing video frames received from other devices;
Audio buffer means for temporarily storing audio frames received from other devices;
Buffer output control means for outputting the video frame and the audio frame from the video buffer means and the audio buffer means;
Video metadata insertion means for including the current synchronization information of the relay device as metadata in the video frame;
Voice metadata insertion means for including the current synchronization information of the relay device as metadata in the voice frame;
Video synchronization difference detection means for detecting the synchronization difference of the video frame by comparing the current synchronization information with the previous synchronization information added at the previous hop for the video frame,
For the audio frame, audio synchronization difference detection means for detecting the synchronization difference of the audio frame by comparing the current synchronization information with the previous synchronization information added at the previous hop;
When the synchronization difference between the video frame / audio frame is larger than the synchronization difference between the audio frame / video frame, the buffer is used to delay the audio frame / video frame so as to be synchronized with the video frame / audio frame. A program for a relay device, which causes a computer to function as a synchronous difference correction unit for controlling a control unit.
前記送信装置は、
前記映像フレームに、当該中継装置の現同期情報をメタデータとして含める映像メタデータ挿入手段と、
前記音声フレームに、当該中継装置の現同期情報をメタデータとして含める音声メタデータ挿入手段と、
前記映像バッファ手段及び前記音声バッファ手段から前記映像フレーム及び前記音声フレームを出力させるバッファ制御手段と
を有し、
前記受信装置は、
他の装置から受信した映像フレームを一時的に蓄積する映像バッファ手段と、
他の装置から受信した音声フレームを一時的に蓄積する音声バッファ手段と、
前記映像バッファ手段及び前記音声バッファ手段から前記映像フレーム及び前記音声フレームを出力させるバッファ制御手段と、
前記映像フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出する映像同期差分検知手段と、
前記音声フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する音声同期差分検知手段と、
前記映像フレーム/音声フレームの同期差分が前記音声フレーム/映像フレームの同期差分よりも大きい場合、前記音声フレーム/映像フレームを、前記映像フレーム/音声フレームと同期が一致するように遅延させるべく前記バッファ制御手段を制御する同期差分補正手段と
を有することを特徴とするシステム。 In a system having a transmission device and a reception device and transmitting a video frame and an audio frame synchronized with the video frame,
The transmitter is
Video metadata insertion means for including the current synchronization information of the relay device as metadata in the video frame;
Voice metadata insertion means for including the current synchronization information of the relay device as metadata in the voice frame;
Buffer control means for outputting the video frame and the audio frame from the video buffer means and the audio buffer means;
The receiving device is:
Video buffer means for temporarily storing video frames received from other devices;
Audio buffer means for temporarily storing audio frames received from other devices;
Buffer control means for outputting the video frame and the audio frame from the video buffer means and the audio buffer means;
Video synchronization difference detection means for detecting the synchronization difference of the video frame by comparing the current synchronization information with the previous synchronization information added at the previous hop for the video frame,
For the audio frame, audio synchronization difference detection means for detecting the synchronization difference of the audio frame by comparing the current synchronization information with the previous synchronization information added at the previous hop;
When the synchronization difference between the video frame / audio frame is larger than the synchronization difference between the audio frame / video frame, the buffer is used to delay the audio frame / video frame so as to be synchronized with the video frame / audio frame. And a synchronization difference correcting means for controlling the control means.
前記受信装置は、中継装置又は受信装置である
ことを特徴とする請求項6に記載のシステム。 The transmission device is a transmission device or a relay device,
The system according to claim 6, wherein the receiving device is a relay device or a receiving device.
前記送信装置が、前記映像フレームに、当該中継装置の現同期情報をメタデータとして含めると共に、前記音声フレームに、当該中継装置の現同期情報をメタデータとして含める第1のステップと、
前記送信装置が、同期する映像フレーム及び音声フレームを伝送する第2のステップと、
前記受信装置が、他の装置から受信した映像フレームを映像バッファ部に一時的に蓄積すると共に、他の装置から受信した音声フレームを音声バッファ部に一時的に蓄積する第3のステップと、
前記受信装置が、前記映像フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出すると共に、前記音声フレームについて、現同期情報と、1つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する第4のステップと、
前記受信装置が、前記映像フレーム/音声フレームの同期差分が前記音声フレーム/映像フレームの同期差分よりも大きい場合、前記音声フレーム/映像フレームを、前記映像フレーム/音声フレームと同期が一致するように遅延させる第5のステップと、
前記受信装置が、前記映像バッファ部及び前記音声バッファ部から前記映像フレーム及び前記音声フレームを出力する第6のステップと
を有することを特徴とする伝送方法。 In a transmission method for transmitting a video frame and an audio frame synchronized with the video frame, the system having a transmission device and a reception device,
A step of including, in the video frame, the current synchronization information of the relay device as metadata in the video frame, and including the current synchronization information of the relay device in the audio frame as metadata;
A second step in which the transmitting device transmits synchronized video frames and audio frames;
A third step in which the receiving device temporarily stores video frames received from other devices in the video buffer unit and temporarily stores audio frames received from other devices in the audio buffer unit;
The receiver compares the current synchronization information for the video frame with the previous synchronization information added at the previous hop to detect a synchronization difference of the video frame, and for the audio frame, A fourth step of comparing the information and the previous synchronization information added at the previous hop to detect a synchronization difference of the audio frame;
When the synchronization difference between the video frame / audio frame is larger than the synchronization difference between the audio frame / video frame, the reception device is configured to synchronize the audio frame / video frame with the video frame / audio frame. A fifth step of delaying;
And a sixth step of outputting the video frame and the audio frame from the video buffer unit and the audio buffer unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010003978A JP5383520B2 (en) | 2010-01-12 | 2010-01-12 | Relay device, program, system, and method for correcting loss of synchronization between video frame and audio frame |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010003978A JP5383520B2 (en) | 2010-01-12 | 2010-01-12 | Relay device, program, system, and method for correcting loss of synchronization between video frame and audio frame |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011146783A true JP2011146783A (en) | 2011-07-28 |
JP5383520B2 JP5383520B2 (en) | 2014-01-08 |
Family
ID=44461278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010003978A Expired - Fee Related JP5383520B2 (en) | 2010-01-12 | 2010-01-12 | Relay device, program, system, and method for correcting loss of synchronization between video frame and audio frame |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5383520B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012244413A (en) * | 2011-05-19 | 2012-12-10 | Nippon Hoso Kyokai <Nhk> | Signal monitoring device and program, and signal correction device and program |
WO2014069081A1 (en) * | 2012-10-30 | 2014-05-08 | 三菱電機株式会社 | Audio/video play system, video display device, and audio output device |
CN111641858A (en) * | 2020-04-29 | 2020-09-08 | 上海推乐信息技术服务有限公司 | Audio and video synchronization method and system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11228799B2 (en) | 2019-04-17 | 2022-01-18 | Comcast Cable Communications, Llc | Methods and systems for content synchronization |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001024992A (en) * | 1999-07-06 | 2001-01-26 | Sanyo Electric Co Ltd | Video and audio transmitting and receiving device |
JP2003046901A (en) * | 2001-07-30 | 2003-02-14 | Nippon Hoso Kyokai <Nhk> | Lip-sync controller |
JP2004242130A (en) * | 2003-02-07 | 2004-08-26 | Nippon Hoso Kyokai <Nhk> | Signal generating device and method for measuring video/audio transmission time difference, and signal analysis device and method therefor |
JP2007312192A (en) * | 2006-05-19 | 2007-11-29 | Oki Electric Ind Co Ltd | Lip-sync evaluation apparatus and lip-sync adjustment apparatus |
JP2008131591A (en) * | 2006-11-24 | 2008-06-05 | Toshiba Corp | Lip-sync control device and lip-sync control method |
-
2010
- 2010-01-12 JP JP2010003978A patent/JP5383520B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001024992A (en) * | 1999-07-06 | 2001-01-26 | Sanyo Electric Co Ltd | Video and audio transmitting and receiving device |
JP2003046901A (en) * | 2001-07-30 | 2003-02-14 | Nippon Hoso Kyokai <Nhk> | Lip-sync controller |
JP2004242130A (en) * | 2003-02-07 | 2004-08-26 | Nippon Hoso Kyokai <Nhk> | Signal generating device and method for measuring video/audio transmission time difference, and signal analysis device and method therefor |
JP2007312192A (en) * | 2006-05-19 | 2007-11-29 | Oki Electric Ind Co Ltd | Lip-sync evaluation apparatus and lip-sync adjustment apparatus |
JP2008131591A (en) * | 2006-11-24 | 2008-06-05 | Toshiba Corp | Lip-sync control device and lip-sync control method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012244413A (en) * | 2011-05-19 | 2012-12-10 | Nippon Hoso Kyokai <Nhk> | Signal monitoring device and program, and signal correction device and program |
WO2014069081A1 (en) * | 2012-10-30 | 2014-05-08 | 三菱電機株式会社 | Audio/video play system, video display device, and audio output device |
JP5933744B2 (en) * | 2012-10-30 | 2016-06-15 | 三菱電機株式会社 | Video / audio reproduction system, video display device, and audio output device |
CN111641858A (en) * | 2020-04-29 | 2020-09-08 | 上海推乐信息技术服务有限公司 | Audio and video synchronization method and system |
Also Published As
Publication number | Publication date |
---|---|
JP5383520B2 (en) | 2014-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220303599A1 (en) | Synchronizing Program Presentation | |
JP2008205979A (en) | Broadcast data converter | |
JP2008271253A (en) | Stream reproducing apparatus | |
US10491944B2 (en) | Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein | |
JP4565011B2 (en) | Digital broadcast multiplexer | |
US10523467B2 (en) | Transmission device, transmission method, reception device and reception method | |
JP5383520B2 (en) | Relay device, program, system, and method for correcting loss of synchronization between video frame and audio frame | |
JP2020005311A (en) | Reception device, and decoding and presentation method | |
US20110181775A1 (en) | Method for Synchronization of Interactive Contextual Content with Broadcasting Audio and/or Video | |
JP2008236040A (en) | Stream reproducing device | |
JP2008193151A (en) | Stream recording device | |
KR100864009B1 (en) | Lip-synchronize method | |
US10135945B2 (en) | Methods and systems for boundary placement in a data stream | |
JP6822407B2 (en) | Receiver, data processing method, and program | |
CA2915022A1 (en) | Broadcasting transmission/reception apparatus and broadcasting transmission/reception method | |
JP4589355B2 (en) | Stream playback device | |
JP2008199444A (en) | Caption broadcast display system and broadcast receiver | |
JP6684433B2 (en) | Transmission device, transmission method, and program | |
JP6596363B2 (en) | Time mapping information generation apparatus, synchronized playback system, time mapping information generation method, and time mapping information generation program | |
US10531136B2 (en) | Data processing device, data processing method, and program | |
JP5433245B2 (en) | Data control apparatus, data control system, control method and program | |
KR101014575B1 (en) | Apparatus and method for receiving digital broadcasting | |
JP2021005880A (en) | Reception device and communication system | |
JP2008016905A (en) | Content transmission apparatus, content receiving apparatus, and content distribution method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130930 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5383520 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |