JPH1169327A - Synchronization controller - Google Patents
Synchronization controllerInfo
- Publication number
- JPH1169327A JPH1169327A JP24357597A JP24357597A JPH1169327A JP H1169327 A JPH1169327 A JP H1169327A JP 24357597 A JP24357597 A JP 24357597A JP 24357597 A JP24357597 A JP 24357597A JP H1169327 A JPH1169327 A JP H1169327A
- Authority
- JP
- Japan
- Prior art keywords
- time
- information
- audio information
- output
- video information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、メディア同期制御
装置に関するものであり、特に、ＰＨＳにおいてビデオ
情報（映像情報）と音声情報との同期制御を行う同期制
御装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a media synchronization control device, and more particularly to a synchronization control device for controlling the synchronization between video information (video information) and audio information in a PHS.
【０００２】[0002]
【従来の技術】従来より基地局を介して無線通信を行う
移動体通信システムとして、携帯電話や簡易型デジタル
コードレス電話システム（ＰＨＳ）が知られている。特
に、ＰＨＳは１台の携帯電話機を使用して、家庭、事業
所、野外の全ての状況で電話が掛けられる携帯電話シス
テムとして実用化が進められている。また、デジタル通
信技術における誤り制御技術として、ＡＲＱ（Ａｕｔｏ
ｍａｔｉｃ Ｒｅｐｅａｔ Ｒｅｑｕｅｓｔ）が知られ
ている。このＡＲＱは、送信側でデータにエラー検出符
号を付与してデータを送信し、受信側でこのエラー検出
符号によりエラー発生を検出すると、このデータの再送
を送信側に要求するものである。2. Description of the Related Art Conventionally, a portable telephone and a simplified digital cordless telephone system (PHS) have been known as a mobile communication system for performing wireless communication via a base station. In particular, the PHS has been put into practical use as a portable telephone system in which a single portable telephone can be used to make a telephone call in all situations at home, business, and outdoors. As an error control technique in digital communication technology, ARQ (Auto
The “Matic Repeat Request” is known. In the ARQ, an error detection code is added to data on the transmission side, and the data is transmitted. When the reception side detects the occurrence of an error using the error detection code, the transmission side requests the transmission side to retransmit the data.
【０００３】[0003]
【発明が解決しようとする課題】しかし、ＰＨＳによる
伝送において、ビデオ情報についてはＡＲＱを使用し、
音声情報については無手順で伝送を行うと、ビデオ情報
と音声情報のメディア間同期の乱れが生じてしまう。However, in PHS transmission, ARQ is used for video information,
If audio information is transmitted in a non-procedural manner, the synchronization between the media of the video information and the audio information is disrupted.
【０００４】すなわち、ＰＨＳによる伝送においては、
Ｈ．２６３等の低ビットレート対応の動画像圧縮符号化
方式を利用する。この場合に、Ｈ．２６３の符号発生量
とＰＨＳの伝送容量がほぼ等しくなるため、誤りに弱い
圧縮ビデオ情報の伝送にＡＲＱを使用すると、再送によ
る伝送遅延により、メディア内同期、すなわち、送信側
での映像発生間隔と受信側でのビデオ表示間隔との同期
の乱れが生じる。また、ＰＨＳの１つの通信チャネルで
ＡＲＱによるビデオ伝送を行う場合には、別の通信チャ
ネルにより音声を伝送する必要がある場合が多い。その
際には、３２ｋｂｉｔ／ｓＡＤＰＣＭ（Ａｄａｐｔｉｖ
ｅ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）で
符号化された音声情報が、無手順で伝送されるため、音
声のメディア内同期の乱れはない。よって、上記の場合
に、ビデオ情報が音声情報よりも遅延することになる。That is, in transmission by PHS,
H. For example, a moving image compression encoding method corresponding to a low bit rate such as H.263 is used. In this case, H. Since the amount of code generation of H.263 and the transmission capacity of the PHS are almost equal, if ARQ is used for transmitting compressed video information that is vulnerable to errors, due to transmission delay due to retransmission, intra-media synchronization, that is, video generation interval on the transmission side and Synchronization with the video display interval on the receiving side is disrupted. Also, when video transmission by ARQ is performed using one communication channel of the PHS, it is often necessary to transmit audio using another communication channel. In that case, 32 kbit / s ADPCM (Adaptive
e Pulse Code Modulation), the audio information encoded is transmitted in a non-procedural manner, so that there is no disturbance in the synchronization of the audio in the media. Therefore, in the above case, the video information is delayed more than the audio information.
【０００５】すなわち、図８に示すように、ビデオ情報
についての遅延により、ビデオ情報のメディアユニット
ｎＭＵの出力時刻Ｄn が本来の目標出力時刻ｔn よりも
遅延した場合に、音声情報の遅延がないとすると、ビデ
オ情報と音声情報間の同期が乱れることになる。また、
上記のようにメディア間の同期の乱れが生じた場合に、
メディア間の同期を修復しようとすると、音声の品質に
影響を与えてしまうおそれがある。That is, as shown in FIG. 8, when the output time Dn of the media unit nMU of the video information is delayed from the original target output time tn due to the delay of the video information, there is no delay of the audio information. Then, the synchronization between the video information and the audio information is disturbed. Also,
If the synchronization between the media is disrupted as described above,
Attempts to restore synchronization between media may affect audio quality.
【０００６】そこで、本発明は、ＰＨＳにおいてビデオ
情報と音声信号を伝送する場合に、メディア間の同期を
取ることができ、さらには、メディア間の同期を修復し
た場合に、音声の品質に影響を与えることのない同期制
御装置を提供することを目的とするものである。Therefore, the present invention can achieve synchronization between media when transmitting video information and audio signals in a PHS, and further, when the synchronization between media is restored, the quality of audio is affected. It is an object of the present invention to provide a synchronization control device that does not provide the following.
【０００７】[0007]
【課題を解決するための手段】本発明は上記問題点を解
決するために創作されたものであって、第１には、受信
したビデオ情報及び／又は音声情報との出力タイミング
を制御する同期制御装置であって、上記ビデオ情報と音
声情報の出力時の時間的関係を維持するように制御を行
うことを特徴とする。よって、ビデオ情報と音声情報の
同期を図ることができ、映像と音声のずれを防止するこ
とができる。また、第２には、受信したビデオ情報及び
／又は音声情報との出力タイミングを制御する同期制御
装置であって、上記ビデオ情報及び／又は音声情報の出
力時刻を時間的に前方又は後方にスライドして変更する
ことを特徴とする。この第２構成の同期制御装置によれ
ば、ビデオ情報及び／又は音声情報の出力時刻を時間的
に前方又は後方にスライドして変更するので、ビデオ情
報と音声情報の同期を修復することができ、映像と音声
のずれを防止することができる。SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and firstly, a synchronization for controlling output timing with received video information and / or audio information. The control device is characterized in that control is performed so as to maintain a temporal relationship between the output of the video information and the output of the audio information. Therefore, synchronization between the video information and the audio information can be achieved, and a shift between the video and the audio can be prevented. Secondly, there is provided a synchronization control device for controlling the output timing of the received video information and / or audio information, wherein the output time of the video information and / or audio information is slid forward or backward in time. And change it. According to the synchronization control device of the second configuration, since the output time of the video information and / or the audio information is temporally slid forward or backward to change, the synchronization between the video information and the audio information can be restored. In addition, it is possible to prevent the difference between the video and the audio.
【０００８】また、第３には、上記第１又は第２の構成
において、上記同期制御装置が、上記ビデオ情報及び／
又は音声情報の遅延時間を検出し、該検出された遅延時
間に応じて、上記ビデオ情報及び／又は音声情報の出力
時刻を変更することを特徴とする。よって、検出された
ビデオ情報及び／又は音声情報の遅延時間に基づき、ビ
デオ情報と音声情報の同期制御を行うことができる。ま
た、第４には、上記第３の構成において、上記遅延時間
が、上記ビデオ情報又は音声情報について、予め出力す
べき時刻として定められた目標出力時刻と到達時刻間の
時間であることを特徴とする。よって、このビデオ情報
や音声情報の目標出力時刻と到達時刻間の時間を検出す
ることにより、ビデオ情報と音声情報の同期制御を行う
ことができる。Thirdly, in the first or second configuration, the synchronization control device includes the video information and / or
Alternatively, the delay time of the audio information is detected, and the output time of the video information and / or the audio information is changed according to the detected delay time. Therefore, synchronization control of the video information and the audio information can be performed based on the detected delay time of the video information and / or the audio information. Fourth, in the third configuration, the delay time is a time between a target output time and an arrival time, which are determined in advance as times to be output for the video information or the audio information. And Therefore, by detecting the time between the target output time and the arrival time of the video information and the audio information, the synchronous control of the video information and the audio information can be performed.
【０００９】また、第５には、上記第１から第４までの
いずれかの構成において、上記同期制御装置が、上記ビ
デオ情報と音声情報の伝送遅延による到達時刻のずれ時
間を検出し、該検出されたずれ時間に基づき、上記ビデ
オ情報及び／又は音声情報の出力時刻を変更することを
特徴とする。よって、検出されたずれ時間により、ビデ
オ情報と音声情報の同期制御を行うことができる。ま
た、第６には、上記第１から第５までのいずれかの構成
において、上記同期制御装置が、ビデオ情報についての
ビデオ情報用バッファ及び／又は音声情報についての音
声情報用バッファを有し、上記ビデオ情報用バッファ及
び／又は音声情報用バッファのバッファ占有率を検出し
て、検出されたバッファ占有率に基づき上記ビデオ情報
及び／又は音声情報の出力時刻を変更することを特徴と
する。よって、バッファ占有率に基づき、ビデオ情報と
音声情報の同期制御を行うことができる。また、第７に
は、上記第１から第６までのいずれかの構成において、
上記同期制御装置が、ビデオ情報についてのビデオ情報
用バッファ及び／又は音声情報についての音声情報用バ
ッファを有し、上記ビデオ情報用バッファ及び／又は音
声情報用バッファにおける情報の待機時間を検出して、
検出された待機時間に基づき上記ビデオ情報及び／又は
音声情報の出力時刻を変更することを特徴とする。よっ
て、バッファ内の待機時間に基づき、ビデオ情報と音声
情報の同期制御を行うことができる。Fifth, in any one of the first to fourth configurations, the synchronization control device detects a time lag between arrival times due to a transmission delay between the video information and the audio information. The output time of the video information and / or the audio information is changed based on the detected shift time. Therefore, the synchronization control of the video information and the audio information can be performed based on the detected shift time. Sixth, in any one of the first to fifth configurations, the synchronization control device has a video information buffer for video information and / or an audio information buffer for audio information, The buffer occupancy of the video information buffer and / or the audio information buffer is detected, and the output time of the video information and / or audio information is changed based on the detected buffer occupancy. Therefore, synchronous control of video information and audio information can be performed based on the buffer occupancy. Seventh, in any one of the first to sixth configurations,
The synchronization control device has a video information buffer for video information and / or an audio information buffer for audio information, and detects a standby time of information in the video information buffer and / or audio information buffer. ,
The output time of the video information and / or audio information is changed based on the detected standby time. Therefore, synchronous control of video information and audio information can be performed based on the waiting time in the buffer.
【００１０】また、第８には、上記第１から第７までの
いずれかの構成において、上記同期制御装置が、音声情
報において音声レベルが所定値以下である無音状態を検
知し、該無音状態の音声情報の出力時刻を変更すること
を特徴とする。よって、無音状態の場合に音声情報の出
力時刻を変更するので、音声の音切れや音飛びを防止す
ることができる。また、第９には、上記第８の構成にお
いて、上記音声情報が出力単位であるメディアユニット
から構成され、無音状態のメディアユニットの出力時刻
を変更することを特徴とする。Eighth, in any one of the first to seventh configurations, the synchronization control device detects a silent state in which the audio level is equal to or lower than a predetermined value in the audio information, and The output time of the audio information is changed. Therefore, the output time of the audio information is changed in the silent state, so that the sound can be prevented from being interrupted or skipped. Ninthly, in the ninth aspect, the audio information includes a media unit as an output unit, and the output time of the media unit in a silent state is changed.
【００１１】また、第１０には、上記第８又は第９の構
成において、音声情報の出力時刻を時間的に前方に変更
させる際に、出力時刻と目標出力時刻間のスライド時間
における音声情報が無音状態である場合に、出力時刻を
前方へ変更させることを特徴とする。これにより、前方
に出力時刻を変更する場合に、音切れを防止することが
できる。また、第１１には、上記第１から第１０までの
いずれかの構成において、音声情報の出力時刻を時間的
に後方にスライドさせる場合に、変更された出力時刻ま
での間直前の音声情報を繰り返すことを特徴とする。こ
れにより、音声の中断を回避することができ、不自然さ
を回避することができる。また、第１２には、上記第１
から第１１までのいずれかの構成において、受信される
ビデオ情報と音声情報とがＰＨＳにより伝送されること
を特徴とする。Tenthly, in the eighth or ninth configuration, when the output time of the audio information is temporally changed forward, the audio information in the slide time between the output time and the target output time is not changed. In a silent state, the output time is changed forward. Thereby, when changing the output time ahead, it is possible to prevent the sound from being cut off. Eleventh, in any of the first to tenth configurations, when the output time of audio information is slid backward in time, the audio information immediately before the changed output time is It is characterized by repeating. Thereby, interruption of the sound can be avoided, and unnaturalness can be avoided. Twelfth, the first
In any one of the first to eleventh configurations, the received video information and audio information are transmitted by PHS.
【００１２】[0012]
【発明の実施の形態】本発明の実施の形態としての実施
例を図面を利用して説明する。本発明に基づく移動体端
末Ａは、図１に示されるように構成され、ビデオ情報処
理部Ａ１と、音声情報処理部Ａ２と、映像出力部２２
と、音声出力部４０と、ずれ時間検出部４５と、スライ
ド制御部５０とを有している。DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described with reference to the drawings. The mobile terminal A according to the present invention is configured as shown in FIG. 1, and includes a video information processing unit A1, an audio information processing unit A2, and a video output unit 22.
, An audio output unit 40, a deviation time detection unit 45, and a slide control unit 50.
【００１３】また、上記ビデオ情報処理部Ａ１は、通信
制御部１０と、ビデオバッファ１２と、出力制御部１４
と、占有率検出部１６と、待機時間検出部１８と、遅延
時間検出部２０とを有している。また、上記音声情報処
理部Ａ２は、通信制御部３０と、オーディオバッファ３
２と、出力制御部３４と、無音検出部３６と、遅延時間
検出部３８とを有している。The video information processing section A1 includes a communication control section 10, a video buffer 12, and an output control section 14.
, An occupancy detection unit 16, a standby time detection unit 18, and a delay time detection unit 20. The audio information processing unit A2 includes a communication control unit 30 and an audio buffer 3
2, an output control unit 34, a silence detection unit 36, and a delay time detection unit 38.
【００１４】ここで、ビデオ情報処理部Ａ１の各構成に
ついて説明すると、上記通信制御部１０は、ネットワー
クＮに接続され、ビデオ情報の通信を司るものであり、
主としてビデオ情報のネットワークからの受信を制御す
る。また、上記ビデオ情報用バッファとしての上記ビデ
オバッファ１２は、緩衝装置として機能し、上記通信制
御部１０の処理速度と上記出力制御部１４の処理速度の
差を埋めるためのものである。また、上記出力制御部１
４は、映像出力部２２への映像の出力を制御する。ま
た、上記占有率検出部１６は、ビデオバッファ１２にお
けるデータの占有率を検出するものである。また、上記
待機時間検出部１８は、出力制御部１４に出力されたビ
デオ情報のビデオバッファ１２における待機時間を検出
するものである。また、上記遅延時間検出部２０は、ビ
デオ情報の出力における遅延時間を検出する。つまり、
ビデオ情報におけるあるメディアユニットの目標出力時
刻と実際の出力時刻との差を検出するものである。詳し
くは後述する。次に、上記映像出力部２２は、映像を出
力するための装置であり、実際には、モニタやディスプ
レイにより構成される。Here, the respective components of the video information processing section A1 will be described. The communication control section 10 is connected to a network N and controls communication of video information.
It mainly controls the reception of video information from the network. The video buffer 12 serving as the video information buffer functions as a buffer, and fills a difference between the processing speed of the communication control unit 10 and the processing speed of the output control unit 14. Further, the output control unit 1
Reference numeral 4 controls output of an image to the image output unit 22. The occupancy detection unit 16 detects the occupancy of data in the video buffer 12. The standby time detector 18 detects the standby time of the video information output to the output controller 14 in the video buffer 12. Further, the delay time detecting section 20 detects a delay time in outputting video information. That is,
It detects the difference between the target output time of a certain media unit in video information and the actual output time. Details will be described later. Next, the video output unit 22 is a device for outputting a video, and is actually configured by a monitor and a display.
【００１５】次に、上記音声情報処理部Ａ２の構成につ
いて説明すると、上記通信制御部３０は、ネットワーク
Ｎに接続され、音声情報の通信を司るものであり、主と
して音声情報のネットワークからの受信を制御する。ま
た、上記音声情報用バッファとしての上記オーディオバ
ッファ３２は、緩衝装置として機能し、上記通信制御部
３０の処理速度と上記出力制御部３４の処理速度の差を
埋めるためのものである。また、上記出力制御部３４
は、音声出力部４０への音声の出力を制御する。また、
上記無音検出部３６は、音声情報における無音のメディ
アユニットを検出するものである。また、上記遅延時間
検出部２０は、音声情報の出力における遅延時間を検出
する。つまり、音声情報におけるあるメディアユニット
の目標出力時刻と実際の出力時刻との差を検出するもの
である。詳しくは後述する。次に、上記音声出力部４０
は、音声を出力するための装置であり、実際には、スピ
ーカ等により構成される。また、上記ずれ時間検出部４
５は、ビデオ情報におけるあるメディアユニットと音声
情報におけるあるメディアユニットの出力時刻のずれを
検知するものである。Next, the configuration of the audio information processing section A2 will be described. The communication control section 30 is connected to the network N and controls communication of audio information, and mainly receives audio information from the network. Control. The audio buffer 32 serving as the audio information buffer functions as a buffer, and fills a difference between the processing speed of the communication control unit 30 and the processing speed of the output control unit 34. Further, the output control unit 34
Controls output of audio to the audio output unit 40. Also,
The silence detection section 36 detects a silence media unit in audio information. Further, the delay time detecting section 20 detects a delay time in outputting audio information. That is, the difference between the target output time of a certain media unit and the actual output time in the audio information is detected. Details will be described later. Next, the audio output unit 40
Is a device for outputting sound, and is actually constituted by a speaker or the like. Further, the shift time detecting unit 4
Reference numeral 5 is for detecting a time lag between a certain media unit in video information and a certain media unit in audio information.
【００１６】また、上記スライド制御部５０は、ビデオ
情報と音声情報のあるメディアユニットの出力時刻を所
定時間スライドさせるものである。スライドさせる方向
としては、時間的に遅らせる場合と早める場合とがあ
り、遅らせる場合を後方スライドとし、早める場合を前
方スライドとする。つまり、スライド制御部５０は、ス
ライド時間とスライド方向を出力制御部１４及び／又は
出力制御部３４に出力する。ここで、スライド時間と
は、スライドさせる時間を意味し、スライド方向とは後
方スライドか前方スライドかを示すものである。The slide controller 50 slides the output time of a media unit having video information and audio information for a predetermined time. The sliding direction may be delayed or advanced in time, and the backward direction is referred to as a backward slide and the forward direction is referred to as a forward direction. That is, the slide control unit 50 outputs the slide time and the slide direction to the output control unit 14 and / or the output control unit 34. Here, the slide time means the time for sliding, and the slide direction indicates whether the slide is backward or forward.
【００１７】また、上記移動体端末Ａは、ネットワーク
Ｎを介して、サーバＢに接続されている。このサーバＢ
は、送信すべきビデオ情報と音声情報とを格納するとと
もに、それらの情報を移動体端末Ａ側に送信するもの
で、図１に示すように、ビデオサーバ６０と、通信制御
部６２と、オーディオサーバ７０と、通信制御部７２と
を有している。ここで、上記ビデオサーバ６０には、ビ
デオ情報が格納して蓄積されている。また、上記通信制
御部６２は、上記ビデオサーバ６０に蓄積されているビ
デオ情報を読み出して移動体端末Ａ側に送信する。ま
た、上記オーディオサーバ７０には、音声情報が格納し
て蓄積されている。また、上記通信制御部７２は、上記
オーディオサーバ７０に蓄積されている音声情報を読み
出して移動体端末Ａ側に送信する。なお、上記ビデオ情
報の送信と上記音声情報の送信は同期して行われる。The mobile terminal A is connected to a server B via a network N. This server B
Stores video information and audio information to be transmitted, and transmits the information to the mobile terminal A. As shown in FIG. 1, the video server 60, the communication control unit 62, It has a server 70 and a communication control unit 72. Here, the video information is stored and accumulated in the video server 60. Further, the communication control unit 62 reads out the video information stored in the video server 60 and transmits the video information to the mobile terminal A side. The audio server 70 stores audio information. Further, the communication control section 72 reads out the audio information stored in the audio server 70 and transmits it to the mobile terminal A side. The transmission of the video information and the transmission of the audio information are performed in synchronization.
【００１８】上記移動体端末ＡとサーバＢとで情報通信
システムＳが構成される。また、上記ビデオ情報処理部
Ａ１と、音声情報処理部Ａ２と、ずれ時間検出部４５
と、スライド制御部５０とで上記同期制御装置が構成さ
れる。The mobile terminal A and the server B constitute an information communication system S. Also, the video information processing unit A1, the audio information processing unit A2, and the shift time detection unit 45
And the slide control unit 50 constitute the synchronous control device.
【００１９】上記構成における移動体端末Ａの動作につ
いて説明する。なお、上記図１の構成の場合は、ライブ
メディアではなく、蓄積型メディアにおける同期制御と
なる。移動体端末Ａには、サーバＢからネットワークＮ
を介してビデオ情報と音声情報とが送信されてくる。こ
こでは、ＰＨＳの１つの通信チャネルで上記ビデオ情報
が送信され、別の通信チャネルで上記音声情報が送信さ
れる。上記ビデオ情報は、ＡＲＱにより送信される。一
方、上記音声情報は、無手順で送信されることになる。The operation of the mobile terminal A in the above configuration will be described. In the case of the configuration shown in FIG. 1, synchronization control is performed not on live media but on storage media. The mobile terminal A receives the network N from the server B.
, Video information and audio information are transmitted. Here, the video information is transmitted on one communication channel of the PHS, and the audio information is transmitted on another communication channel. The video information is transmitted by ARQ. On the other hand, the voice information is transmitted without any procedure.
【００２０】ここで、ビデオ情報処理部Ａ１において
は、上記通信制御部１０にビデオ情報が送信されると、
該ビデオ情報は一旦ビデオバッファ１２に格納され、そ
の後、出力制御部１４に送られる。出力制御部１４は、
出力すべきビデオ情報についてスライド制御部５０から
のスライド制御情報に基づき出力タイミング等を制御し
ながら映像出力部２２に映像を表示する。Here, in the video information processing section A1, when the video information is transmitted to the communication control section 10,
The video information is temporarily stored in the video buffer 12 and then sent to the output control unit 14. The output control unit 14
Video is displayed on the video output unit 22 while controlling output timing and the like of video information to be output based on slide control information from the slide control unit 50.
【００２１】一方、音声情報処理部Ａ２においては、上
記通信制御部３０に音声情報が送信されると、該音声情
報は一旦オーディオバッファ３２に格納され、その後、
出力制御部３４に送られる。出力制御部３４は、出力す
べきオーディオ情報についてスライド制御部５０からの
スライド制御情報に基づき出力タイミング等を制御しな
がら音声出力部４０に音声を出力する。On the other hand, in the audio information processing unit A2, when the audio information is transmitted to the communication control unit 30, the audio information is temporarily stored in the audio buffer 32, and thereafter,
The output is sent to the output control unit 34. The output control unit 34 outputs audio to the audio output unit 40 while controlling output timing and the like of audio information to be output based on slide control information from the slide control unit 50.
【００２２】以下具体的な同期制御について説明する。
まず、第１に、遅延時間の検出による同期制御について
図２等を使用して説明する。ここで、図２において、ビ
デオ情報の送信側におけるメディアユニット（ｎ−１）
ＭＵの発生時刻はＴn-1 であり、該メディアユニット
（ｎ−１）ＭＵの次のメディアユニットｎＭＵの発生時
刻はＴn で規定される。そして、該メディアユニット
（ｎ−１）ＭＵとメディアユニットｎＭＵ間の発生間隔
はσn-1,n と定義される。また、受信側においては、メ
ディアユニット（ｎ−１）ＭＵとメディアユニットｎＭ
Ｕの出力時刻は、それぞれＤn-1 ，Ｄn で規定される。
また、メディアユニット（ｎ−１）ＭＵの出力時刻（こ
の出力時刻は、修正された目標出力時刻ともなる。）Ｄ
n-1 から発生間隔（σn-1,n ）後の時刻はメディアユニ
ットｎＭＵの目標出力時刻ｔn とされる。このようにし
て目標出力時刻は予め定められる。また、該発生間隔
は、送信側での対応する発生間隔により決められる。例
えば、メディアユニットｎＭＵの目標出力時刻は、前の
メディアユニット（ｎ−１）ＭＵの出力時刻Ｄn-1 から
σn-1,n の時間後となる。伝送遅延がない場合には、メ
ディアユニットは、この目標出力時刻に出力されること
になる。なお、このビデオ情報の場合、上記各メディア
ユニットは１フレーム分の映像情報である。The specific synchronous control will be described below.
First, synchronization control by detecting a delay time will be described with reference to FIG. Here, in FIG. 2, the media unit (n-1) on the transmission side of the video information
The occurrence time of the MU is Tn-1, and the occurrence time of the next media unit nMU after the media unit (n-1) MU is defined by Tn. The interval between the media unit (n-1) MU and the media unit nMU is defined as σn-1, n. On the receiving side, the media unit (n-1) MU and the media unit nM
The output time of U is defined by Dn-1 and Dn, respectively.
The output time of the media unit (n-1) MU (this output time is also a corrected target output time) D
The time after the occurrence interval (.sigma.n-1, n) from n-1 is set as the target output time tn of the media unit nMU. Thus, the target output time is determined in advance. Further, the occurrence interval is determined by a corresponding occurrence interval on the transmission side. For example, the target output time of the media unit nMU is σn−1, n after the output time Dn−1 of the previous media unit (n−1) MU. If there is no transmission delay, the media unit will be output at this target output time. In the case of this video information, each of the media units is video information for one frame.
【００２３】一方、音声情報においても、上記ビデオ情
報と同様に、送信側におけるメディアユニット（ｍ−
１）ＭＵの発生時刻はＴm-1 であり、該メディアユニッ
ト（ｍ−１）ＭＵの次のメディアユニットｍＭＵの発生
時刻はＴm で規定される。そして、該メディアユニット
（ｍ−１）ＭＵとメディアユニットｍＭＵ間の発生間隔
はσm-1,m と定義される。また、受信側においては、メ
ディアユニット（ｍ−１）ＭＵとメディアユニットｍＭ
Ｕの出力時刻は、それぞれＤm-1 ，Ｄm で規定される。
また、メディアユニットの出力時刻から発生間隔後の時
刻は目標出力時刻ｔm とされる。この発生間隔は、送信
側での対応する発生間隔により決められる。例えば、メ
ディアユニットｍＭＵの目標出力時刻は、前のメディア
ユニット（ｍ−１）ＭＵの出力時刻Ｄm-1 からσm-1,m
の時間後となる。伝送遅延がない場合には、メディアユ
ニットは、この目標出力時刻に出力されることになる。
なお、この音声情報の場合、上記各メディアユニットは
所定量の音声データである。On the other hand, in the audio information, similarly to the video information, the media unit (m-
1) The generation time of the MU is Tm-1, and the generation time of the next media unit mMU after the media unit (m-1) MU is defined by Tm. The interval between the media unit (m-1) MU and the media unit mMU is defined as σm-1, m. On the receiving side, the media unit (m-1) MU and the media unit mM
The output time of U is defined by Dm-1 and Dm, respectively.
The time after the generation interval from the output time of the media unit is set as the target output time tm. This occurrence interval is determined by the corresponding occurrence interval on the transmitting side. For example, the target output time of the media unit mMU is σm-1, m from the output time Dm-1 of the previous media unit (m-1) MU.
After hours. If there is no transmission delay, the media unit will be output at this target output time.
In the case of this audio information, each of the media units is a predetermined amount of audio data.
【００２４】ここで、ビデオ情報について、あるメディ
アユニットについてビデオバッファ１２に到着した時刻
が目標出力時刻よりも遅延したとする。例えば、図２に
おいて、メディアユニットｎＭＵについては、目標出力
時刻ｔn よりも遅れてビデオバッファ１２に到着したも
のとする。これは、ビデオ情報がＡＲＱにより送信され
るので、このＡＲＱによる再送処理が行われることによ
り出力時刻が遅延することがある。Here, as for the video information, it is assumed that the time when a certain media unit arrives at the video buffer 12 is delayed from the target output time. For example, in FIG. 2, it is assumed that the media unit nMU arrives at the video buffer 12 later than the target output time tn. Since the video information is transmitted by the ARQ, the output time may be delayed due to the retransmission processing performed by the ARQ.
【００２５】すると、この遅延して到着したことは出力
制御部１４により検知され、これに従い、遅延時間検出
部２０は、各メディアユニットについての遅延時間を検
出する。すなわち、あるメディアユニットについて、該
メディアユニットがビデオバッファ１２に到着した時刻
を検知し、その時刻と目標出力時刻ｔn との時間差を遅
延時間として検出する。この目標出力時刻ｔn について
は、送信側から発生間隔σn-1,n の情報が送られている
ので、この発生間隔σn-1,n から算出する。つまり、該
メディアユニットの前のメディアユニットｔn-1 から発
生間隔σn-1,n後の時刻を目標出力時刻ｔn とする。こ
の遅延時間についての遅延時間情報はスライド制御部５
０に送られる。Then, the arrival at the delay is detected by the output control unit 14, and accordingly, the delay time detecting unit 20 detects the delay time for each media unit. That is, for a certain media unit, the time when the media unit arrives at the video buffer 12 is detected, and the time difference between the time and the target output time tn is detected as a delay time. The target output time tn is calculated from the occurrence interval .sigma.n-1, n because information on the occurrence interval .sigma.n-1, n is sent from the transmitting side. That is, the time after the occurrence interval σn−1, n from the media unit tn−1 before the media unit is set as the target output time tn. The delay time information on the delay time is transmitted to the slide control unit 5.
Sent to 0.
【００２６】一方、遅延時間検出部３８においても、遅
延時間が検出されるが、実際には、音声情報は無手順で
送信されるので、遅延は検出されない。そして、スライ
ド制御部５０では、上記遅延時間情報に基づき音声情報
を遅延させるスライド時間を算出する。その後、スライ
ド制御部５０は、該スライド時間についての制御情報を
出力制御部３４に送り、出力制御部３４では、この情報
に基づき音声情報のメディアユニットを遅延して出力す
る。図２の例では、スライド時間としてスライド時間ｐ
が算出され、メディアユニットｍＭＵの出力時刻Ｄm を
目標出力時刻ｔm よりもスライド時間Ｐだけ遅延させ
る。つまり、出力時刻をスライドさせるスライド制御を
行う。この場合は遅延させる場合であるので、後方への
スライド制御となる。On the other hand, although the delay time is also detected by the delay time detecting section 38, the delay is not actually detected because the voice information is transmitted without any procedure. Then, the slide control unit 50 calculates a slide time for delaying the audio information based on the delay time information. Thereafter, the slide control unit 50 sends control information on the slide time to the output control unit 34, and the output control unit 34 outputs the media unit of the audio information with a delay based on the information. In the example of FIG. 2, the slide time p is used as the slide time.
Is calculated, and the output time Dm of the media unit mMU is delayed from the target output time tm by the slide time P. That is, slide control for sliding the output time is performed. In this case, since it is a case of delay, the slide control is performed backward.
【００２７】この場合、時刻ｔm から時刻Ｄm まで、す
なわち、スライド時間ｐ中は、音声の出力を停止する。
なお、出力済みの音声情報をスライド時間ｐに相当する
時間だけバッファに残して出力してもよい。そうする
と、エコーのように聞こえることになり、スライド時間
があまり長くなければ不自然さは生じない。なお、この
場合、当然ビデオ情報においても、目標出力時刻ｔn か
ら時間ｐだけ遅延させて出力時刻Ｄn とする。ビデオ情
報について、目標出力時刻ｔn から出力時刻Ｄnまでの
間は、メディアユニット（ｎ−１）ＭＵの映像を表示し
続ける。なお、上記の場合には、目標出力時刻はスライ
ド時間分だけスライドさせる。このスライドさせた目標
出力時刻が修正された目標出力時刻となる。つまり、ビ
デオ情報のメディアユニットｎＭＵについては、結果的
に目標出力時刻は出力時刻Ｄn と同じ時刻になり、音声
情報のメディアユニットｍＭＵにおいては、目標出力時
刻は出力時刻Ｄm の時刻と同じになる。よって、音声情
報における次のメディアユニット（ｍ＋１）ＭＵの目標
出力時刻は、この出力時刻Ｄm から発生間隔σm,m+1
（図２参照）後の時刻となる。In this case, the sound output is stopped from the time tm to the time Dm, that is, during the slide time p.
The output audio information may be output while being left in the buffer for a time corresponding to the slide time p. Then, it sounds like an echo, and if the slide time is not too long, no unnaturalness occurs. In this case, the output time Dn is naturally delayed from the target output time tn by the time p also in the video information. Regarding the video information, the video of the media unit (n-1) MU is continuously displayed from the target output time tn to the output time Dn. In the above case, the target output time is slid by the slide time. This slid target output time becomes the corrected target output time. In other words, for the media unit nMU of the video information, the target output time is the same as the output time Dn, and in the media unit mMU of the audio information, the target output time is the same as the time of the output time Dm. Therefore, the target output time of the next media unit (m + 1) MU in the audio information is calculated from the output time Dm by the generation interval σm, m + 1.
(See FIG. 2).
【００２８】なお、音声情報についても遅延している場
合には、遅延時間検出部３８において検出された遅延時
間と上記ビデオ情報についての遅延時間との差に基づき
同期制御を行う。つまり、ビデオ情報の方が遅延してい
る場合には、音声情報を後方にスライド制御し、音声情
報の方が遅延している場合には、ビデオ情報を後方にス
ライド制御する。If the audio information is also delayed, synchronization control is performed based on the difference between the delay time detected by the delay time detecting section 38 and the delay time of the video information. That is, when the video information is delayed, the audio information is controlled to slide backward, and when the audio information is delayed, the video information is controlled to slide backward.
【００２９】また、伝送される情報の遅延時間の大きさ
に従い、出力時刻のスライド時間を変化させるようにし
てもよい。例えば、出力時刻のスライド時間として長い
時間と短い時間の２つを設け、伝送された情報の遅延時
間がある値よりも長い場合には、上記出力時刻のスライ
ド時間として長い時間を適用し、逆に、ある値よりも短
い場合には、短い時間を適用する。The slide time of the output time may be changed according to the delay time of the information to be transmitted. For example, two times, a long time and a short time, are provided as the slide time of the output time. If the delay time of the transmitted information is longer than a certain value, a long time is applied as the slide time of the output time, and If it is shorter than a certain value, a shorter time is applied.
【００３０】具体的に図面を利用して説明すると、図３
（ａ）において、伝送される情報の遅延時間Δは、目標
出力時刻ｔと情報の到着時刻Ａ間の時間であり、この遅
延時間Δはあるしきい値Ｓよりも大きいとする。この到
着時刻Ａとは、ビデオバッファ１２に情報が入力された
時刻とする。この場合には、到着時刻Ａから出力時刻Ｄ
まで遅延させるスライド時間をｑ１とする。一方、図３
（ｂ）において、伝送される情報の遅延時間Δは、上記
と同様に、目標出力時刻ｔと情報の到着時刻Ａ間の時間
であり、この遅延時間Δはあるしきい値Ｓよりも小さい
とする。この場合には、該情報の出力時刻Ｄと到着時刻
Ａ間のスライド時間をｑ２とする。そして、上記スライ
ド時間ｑ１＞スライド時間ｑ２とする。Referring to the drawings specifically, FIG.
In (a), the delay time Δ of the transmitted information is the time between the target output time t and the arrival time A of the information, and this delay time Δ is assumed to be larger than a certain threshold value S. The arrival time A is a time at which information is input to the video buffer 12. In this case, from the arrival time A to the output time D
The slide time delayed until is q1. On the other hand, FIG.
In (b), the delay time Δ of the transmitted information is the time between the target output time t and the arrival time A of the information, as described above. I do. In this case, the slide time between the output time D of the information and the arrival time A is q2. Then, the slide time q1> slide time q2.
【００３１】上記の手法を図２の例に適用すると、目標
出力時刻ｔn と出力時刻Ｄn 間のスライド時間ｐは、目
標出力時刻ｔn とビデオバッファ１２に情報が到着した
時刻間の時間により制御されることになる。このような
制御をビデオ情報について行った場合に、音声情報はこ
のビデオ情報の遅延に同期させればよい。以上のよう
に、遅延時間を検出することによるビデオ情報と音声情
報との同期制御を行うことができる。When the above method is applied to the example of FIG. 2, the slide time p between the target output time tn and the output time Dn is controlled by the time between the target output time tn and the time when the information arrives at the video buffer 12. Will be. When such control is performed on video information, audio information may be synchronized with the delay of the video information. As described above, the synchronization control of the video information and the audio information by detecting the delay time can be performed.
【００３２】なお、上記の説明においては、ビデオ情報
におけるメディアユニットのビデオバッファ１２への到
着がその目標出力時刻よりも遅延するために上記のよう
なスライド制御を行うとともに、ビデオ情報についても
目標出力時刻より後の出力時刻に出力を行うのである
が、メディアユニットの到着が目標出力時刻より以前で
あれば、当然目標出力時刻に出力されることになる。In the above description, since the arrival of the media unit in the video information in the video buffer 12 is delayed from the target output time, the slide control as described above is performed. Output is performed at an output time later than the time. If the arrival of the media unit is earlier than the target output time, the output is naturally performed at the target output time.
【００３３】次に、第２に、ずれ時間の検出による同期
制御について、図２を使用しながら説明する。ここで、
ビデオ情報について、あるメディアユニットについてビ
デオバッファ１２に到着した時刻が目標時刻よりも遅延
したとする。すなわち、図２に示すように、メディアユ
ニットｎＭＵについては、目標出力時刻ｔn よりも遅れ
てビデオバッファ１２に到着したものとする。これは、
上記のように、ビデオ情報がＡＲＱにより送信されるこ
と等により生じる。Next, second, the synchronization control based on the detection of the deviation time will be described with reference to FIG. here,
It is assumed that the video information arrives at the video buffer 12 for a certain media unit later than the target time. That is, as shown in FIG. 2, it is assumed that the media unit nMU arrives at the video buffer 12 later than the target output time tn. this is,
As described above, the video information is generated by being transmitted by ARQ and the like.
【００３４】すると、この遅延して到着したことは出力
制御部１４により検知され、これに従い、ずれ時間検出
部４５がずれ時間を検出する。このずれ時間とは、ビデ
オ情報のメディアユニットと音声情報のメディアユニッ
トとの間のずれ時間であって、もともとのずれ時間から
さらにどの程度の時間ずれているかの時間をいう。換言
すれば、伝送の遅延を起因とするずれ時間である。すな
わち、ずれ時間検出部４５は、ビデオ情報におけるある
メディアユニットのビデオバッファ１２への到着時刻Ａ
n と、音声情報におけるあるメディアユニットのオーデ
ィオバッファ３２への到着時刻Ａm とを検出し、この差
の時間を算出する。つまり、Ａn −Ａmを算出する。そ
して、この差の時間からもともとの両メディアのずれ時
間を引いてずれ時間を算出する。Then, the arrival with the delay is detected by the output control unit 14, and the shift time detecting unit 45 detects the shift time in accordance with the detection. The lag time is a lag time between the media unit of the video information and the media unit of the audio information, and refers to a further time lag from the original lag time. In other words, the delay time is caused by transmission delay. That is, the lag time detection unit 45 calculates the arrival time A of a certain media unit in the video information to the video buffer 12.
n and the arrival time Am of a certain media unit in the audio information at the audio buffer 32 are detected, and the time of this difference is calculated. That is, An-Am is calculated. Then, the difference time is calculated by subtracting the difference between the original media from the difference time.
【００３５】図２のビデオ情報のメディアユニットｎＭ
Ｕと音声情報のメディアユニットｍＭＵを例に取ると、
メディアユニットｎＭＵの到着時刻をＡn 、メディアユ
ニットｍＭＵの到着時刻をＡm とすると、まず、Ａn −
Ａm を算出する。そして、このビデオ情報のメディアユ
ニットｎＭＵと音声情報のメディアユニットｍＭＵのも
ともとのずれ時間は、Ｔn −Ｔm であるので、上記の算
出した値からこの値を減算する。つまり、（Ａn −Ａm
）−（Ｔn −Ｔm ）を算出し、ずれ時間Ｚとする。な
お、情報の到着が目標出力時刻よりも前の場合には、到
着時刻は目標出力時刻として算出すればよい。よって、
ビデオ情報、音声情報ともに目標出力時刻よりも前にビ
デオバッファ又はオーディオバッファに到着した場合に
は、算出すべきずれ時間はないことになる。The media unit nM of the video information shown in FIG.
Taking the U and the audio information media unit mMU as an example,
Assuming that the arrival time of the media unit nMU is An and the arrival time of the media unit mMU is Am, first, An −
Calculate Am. Since the original time difference between the media unit nMU of the video information and the media unit mMU of the audio information is Tn-Tm, this value is subtracted from the calculated value. That is, (An-Am
) − (Tn−Tm) is calculated and set as a shift time Z. If the arrival of the information is earlier than the target output time, the arrival time may be calculated as the target output time. Therefore,
If both the video information and the audio information arrive at the video buffer or the audio buffer before the target output time, there is no lag time to be calculated.
【００３６】ずれ時間が算出されたら、このずれ時間に
より音声情報のメディアユニットｍＭＵのスライド時間
を算出する。基本的には、このずれ時間がスライド時間
となるのであるが、厳密には、情報がバッファに到着し
てから出力されるまでの時間を考慮してスライド時間は
このずれ時間に若干の時間を加算して算出されることに
なる。その後、スライド制御部５０は、該スライド時間
についての制御情報を出力制御部３４に送り、出力制御
部３４では、この情報に基づき音声情報のメディアユニ
ットを遅延して出力する。図２の例では、上記スライド
時間としてスライド時間ｐが算出されるので、メディア
ユニットｍＭＵの出力時刻Ｄm を目標出力時刻ｔm より
もスライド時間ｐだけ遅延させる。つまり、出力時刻を
スライドさせるスライド制御を行う。After the shift time is calculated, the slide time of the media unit mMU of the audio information is calculated based on the shift time. Basically, this lag time is the slide time, but strictly speaking, the slide time takes some time to this lag time in consideration of the time from when the information arrives at the buffer until it is output. It will be calculated by adding. Thereafter, the slide control unit 50 sends control information on the slide time to the output control unit 34, and the output control unit 34 outputs the media unit of the audio information with a delay based on the information. In the example of FIG. 2, since the slide time p is calculated as the slide time, the output time Dm of the media unit mMU is delayed from the target output time tm by the slide time p. That is, slide control for sliding the output time is performed.
【００３７】このスライド時間中は、上記の遅延時間の
検出による同期制御の場合と同様に、音声の出力を停止
したり、出力済みの音声情報をスライド時間に相当する
時間だけバッファに残して出力する。なお、この場合、
当然ビデオ情報においても、上記の遅延時間の検出によ
る同期制御の場合と同様に、目標出力時刻ｔn から時間
ｐだけ遅延させて出力時刻Ｄn とする。ビデオ情報につ
いて、目標出力時刻ｔn から出力時刻Ｄn までの間は、
メディアユニット（ｎ−１）ＭＵの映像を表示し続け
る。なお、上記の場合にも、目標出力時刻はスライド時
間分だけスライドさせる。以上のように、ずれ時間を検
出することによるビデオ情報と音声情報との同期制御を
行うことができる。During the slide time, as in the case of the synchronous control based on the detection of the delay time, the output of the audio is stopped, or the output audio information is output while being left in the buffer for a time corresponding to the slide time. I do. In this case,
Naturally, also in the video information, the output time Dn is delayed from the target output time tn by the time p, as in the case of the synchronous control based on the detection of the delay time. For video information, between the target output time tn and the output time Dn,
The video of the media unit (n-1) MU is continuously displayed. In the above case, the target output time is slid by the slide time. As described above, the synchronization control of the video information and the audio information by detecting the shift time can be performed.
【００３８】次に、第３に、バッファ占有率の検出によ
る同期制御について説明する。上記のＡＲＱの処理及び
ネットワークの状況によりビデオ情報の伝送が遅延した
場合を考える。この場合には、移動体端末Ａにおいて
は、ビデオ情報は遅延して出力され、ビデオバッファ１
２の占有率は低下する。この場合、出力すべきビデオ情
報がバッファ内に存在しなくなる事態を考慮して、出力
時刻を後方にスライドさせるスライド制御を行う。な
お、この場合にも、目標出力時刻よりも後の出力時刻で
出力を行うことになるので、該目標出力時刻は該出力時
刻にスライドして修正されることになる。Next, third, a description will be given of the synchronization control by detecting the buffer occupancy. Consider a case where the transmission of video information is delayed due to the ARQ processing and network conditions described above. In this case, in the mobile terminal A, the video information is output with a delay, and the video buffer 1
2's occupancy drops. In this case, in consideration of a situation where the video information to be output no longer exists in the buffer, the slide control for sliding the output time backward is performed. In this case as well, since the output is performed at an output time later than the target output time, the target output time is corrected by sliding to the output time.
【００３９】その後、ネットワークの状況が回復する等
してビデオ情報が順調に送信されるようになると、ビデ
オバッファ１２の占有率は高くなる。ビデオバッファ１
２の占有率が高いということはそれだけ情報の出力が遅
延していることになるが、ライブメディアの伝送とは異
なり、伝送遅延の影響が少ないので、目標出力時刻に従
い出力を行う。なお、上記バッファ占有率の高低は、あ
るしきい値により判断する。Thereafter, when the video information is transmitted smoothly due to recovery of the network condition, the occupancy of the video buffer 12 increases. Video buffer 1
The higher the occupancy ratio of 2 is, the more the output of information is delayed. However, unlike the transmission of live media, since the influence of the transmission delay is small, the output is performed according to the target output time. The level of the buffer occupancy is determined by a certain threshold value.
【００４０】例えば、図を利用して説明すると、図４
（ａ）は、ビデオバッファ１２の占有率があるしきい値
よりも低く、所定の情報が目標出力時刻ｔよりも早く到
着した場合を示している。つまり、到着時刻Ａが目標出
力時刻ｔよりも早くなっている。この場合には、ビデオ
バッファ１２の占有率が低いので、情報の出力時刻を遅
らせる。つまり、出力時刻Ｄは、目標出力時刻ｔよりも
一定時間遅延させる。ビデオ情報の出力を遅延させた場
合には、当然音声情報の出力も遅延させるようにする。
一方、図４（ｂ）は、ビデオバッファ１２の占有率があ
るしきい値よりも高く、所定の情報が目標出力時刻ｔよ
りも早く到着した場合を示している。この場合には、ビ
デオバッファ１２の占有率が高いので、そのまま目標出
力時刻に出力を行う。For example, referring to FIG.
(A) shows a case where the occupation rate of the video buffer 12 is lower than a certain threshold value and predetermined information arrives earlier than the target output time t. That is, the arrival time A is earlier than the target output time t. In this case, since the occupancy of the video buffer 12 is low, the output time of the information is delayed. That is, the output time D is delayed from the target output time t by a certain time. When the output of the video information is delayed, the output of the audio information is naturally also delayed.
On the other hand, FIG. 4B shows a case where the occupation rate of the video buffer 12 is higher than a certain threshold value and the predetermined information arrives earlier than the target output time t. In this case, since the occupancy of the video buffer 12 is high, the output is performed at the target output time as it is.
【００４１】なお、音声情報についても、上記と同様に
バッファ内の占有率に従いスライド制御を行うようにし
てもよい。つまり、上記ビデオ情報の場合と同様に、オ
ーディオバッファ３２内の占有率を検出する占有率検出
部を新たに設けて、オーディオバッファ３２内の占有率
に従いスライド制御を行う。なお、ビデオ情報と音声情
報の双方をスライド制御する場合には、出力時刻をいず
れかに一致させるようにする。Note that slide control may be performed on audio information in accordance with the occupancy in the buffer in the same manner as described above. That is, as in the case of the video information, an occupancy detection unit for detecting the occupancy in the audio buffer 32 is newly provided, and the slide control is performed according to the occupancy in the audio buffer 32. In the case where both the video information and the audio information are subjected to the slide control, the output time is made to coincide with either one.
【００４２】次に、第４に、情報のバッファ内待機時間
の検出による同期制御について説明する。この場合は上
記バッファ内占有率の場合と同様の処理を行う。すなわ
ち、上記のＡＲＱの処理及びネットワークの状況により
ビデオ情報の伝送が遅延した場合を考える。この場合に
は、移動体端末Ａにおいては、ビデオ情報は遅延して出
力される。この場合には、ビデオバッファ１２内のビデ
オ情報の待機時間は短くなる。この場合、出力すべきビ
デオ情報がバッファ内に存在しなくなる事態を考慮し
て、出力時刻を後方にスライドさせる。なお、この場合
にも、目標出力時刻よりも後の出力時刻で出力を行うこ
とになるので、該目標出力時刻は該出力時刻にスライド
して修正されることになる。Fourth, a description will be given of the synchronization control based on detection of the information waiting time in the buffer. In this case, the same processing as in the case of the buffer occupancy is performed. That is, a case is considered where the transmission of video information is delayed due to the ARQ processing and network conditions. In this case, in the mobile terminal A, the video information is output with a delay. In this case, the waiting time of the video information in the video buffer 12 becomes shorter. In this case, the output time is slid backward in consideration of the situation where the video information to be output no longer exists in the buffer. In this case as well, since the output is performed at an output time later than the target output time, the target output time is corrected by sliding to the output time.
【００４３】その後、ネットワークの状況が回復する等
してビデオ情報が順調に送信されるようになると、ビデ
オバッファ１２の待機時間は長くなる。ビデオバッファ
１２のビデオ情報の待機時間が長いということはそれだ
け情報の出力が遅延していることになるが、ライブメデ
ィアの伝送とは異なり、伝送遅延の影響が少ないので、
目標出力時刻に従い出力を行う。なお、待機時間の長短
は、あるしきい値により判断する。Thereafter, when the video information is transmitted satisfactorily due to the recovery of the network condition, the standby time of the video buffer 12 becomes longer. The longer the waiting time of the video information in the video buffer 12 is, the longer the output of the information is. However, unlike the transmission of live media, the influence of the transmission delay is small.
Output according to the target output time. The length of the waiting time is determined by a certain threshold value.
【００４４】なお、音声情報についても、上記と同様に
バッファ内の待機時間に従いスライド制御を行うように
してもよい。つまり、上記ビデオ情報の場合と同様に、
オーディオバッファ３２内の待機時間を検出する待機時
間検出部を新たに設けて、オーディオバッファ３２内の
待機時間に従いスライド制御を行う。なお、ビデオ情報
と音声情報の双方をスライド制御する場合には、出力時
刻をいずれかに一致させるようにする。The slide control may be performed on the audio information in accordance with the waiting time in the buffer in the same manner as described above. That is, similar to the above video information,
A standby time detecting unit for detecting a standby time in the audio buffer 32 is newly provided, and slide control is performed according to the standby time in the audio buffer 32. In the case where both the video information and the audio information are subjected to the slide control, the output time is made to coincide with either one.
【００４５】次に、無音検出による同期制御について説
明する。上記の各同期制御の方法において、音声情報の
出力時刻をビデオ情報に合わせてスライド制御する処理
を行うが、その場合に、出力時刻をスライドさせるメデ
ィアユニットが無音か否かを検知して、無音の場合には
スライド制御を行い、無音でない場合には、スライド制
御を行わない。なお、ここでいう無音とは、音声レベル
がある一定値以下の場合をいう。つまり、音声情報を後
方にスライドさせるスライド制御を行う場合に、スライ
ド時間中に音声の出力を中断すると、音声が不自然とな
ってしまう。また、音声にはある程度無音区間が含まれ
ていることから、無音状態を検出して無音状態の場合に
のみスライド制御を行おうとするものである。Next, synchronization control based on silence detection will be described. In each of the above-described synchronous control methods, a process of performing slide control in accordance with the output time of audio information in accordance with video information is performed. In the case of, the slide control is performed, and when the sound is not silent, the slide control is not performed. Note that the silence here refers to a case where the sound level is equal to or less than a certain value. That is, in the case of performing the slide control of sliding the audio information backward, if the output of the audio is interrupted during the slide time, the audio becomes unnatural. Further, since the sound includes a certain amount of silence, a silence state is detected and the slide control is performed only in the case of the silence state.
【００４６】その際、無音状態の検出は上記無音検出部
３６が行う。つまり、無音検出部３６は、音声情報にお
ける各メディアユニットが無音か否かの検出を行い、そ
の検出結果についての無音検出信号をスライド制御部５
０に送信する。スライド制御部５０は、この無音検出信
号に従い、音声情報のスライド制御を行うか否かを判定
する。この判定結果に従い、あるメディアユニットをス
ライド制御するか否かの制御信号が出力制御部３４に送
られる。出力制御部３４では、この制御信号に従いスラ
イド制御を行う。At this time, the silence state is detected by the silence detecting section 36. That is, the silence detection unit 36 detects whether each media unit in the audio information is silent, and outputs a silence detection signal based on the detection result to the slide control unit 5.
Send to 0. The slide control unit 50 determines whether or not to perform the slide control of the audio information according to the silence detection signal. According to this determination result, a control signal indicating whether or not to perform a slide control on a certain media unit is sent to the output control unit 34. The output control unit 34 performs slide control according to the control signal.
【００４７】具体的に、図を利用して説明すると、図５
に示すように、ビデオ情報における各メディアユニット
が遅延して、メディアユニット（ｎ−１）ＭＵからメデ
ィアユニット（ｎ＋１）ＭＵまでについては、出力時刻
が目標出力時刻よりも遅延している。また、音声情報に
ついては、図５の「（ａ）音声情報」に示すように、遅
延することなく伝送されている。このような状態で音声
情報におけるメディアユニットをスライド制御するので
あるが、２番目のメディアユニットｍＭＵは無音状態で
はないので、上記の場合とは異なり、スライド制御はし
ない。次に、メディアユニット（ｍ＋１）ＭＵについて
は無音状態であるので、図５の「（ｂ）音声情報（無音
検出）」に示すように、このメディアユニット（ｍ＋
１）ＭＵをスライド制御して出力時刻を変更させるので
ある。このようにすることにより、音声が途中で途切れ
ることがなく、不自然となることがない。More specifically, referring to FIG.
As shown in (1), each media unit in the video information is delayed, and the output time from the media unit (n-1) MU to the media unit (n + 1) MU is later than the target output time. The audio information is transmitted without delay, as shown in "(a) Audio information" in FIG. In such a state, the slide control of the media unit in the audio information is performed. However, since the second media unit mMU is not in a silent state, the slide control is not performed unlike the above case. Next, since the media unit (m + 1) MU is in a silence state, as shown in “(b) Audio information (silence detection)” in FIG. 5, this media unit (m +
1) The output time is changed by sliding control of the MU. By doing so, the sound is not interrupted on the way and does not become unnatural.
【００４８】なお、メディアユニットをスライドさせる
ことにより生じた空間の時間は変更された出力時刻まで
の間は、無音状態のメディアユニットをスライドさせて
いるので、音声の出力を中断しても問題はないが、直前
の音声情報を繰り返すようにしてもよい。例えば、図５
における時間ｒの間は、音声の出力を中断してもよい
し、メディアユニットｍＭＵの最後の部分の音声情報を
繰り返すようにしてもよい。Since the time of the space generated by sliding the media unit slides the silent media unit until the changed output time, there is no problem even if the audio output is interrupted. However, the last audio information may be repeated. For example, FIG.
During the time r, the output of the audio may be interrupted, or the audio information of the last part of the media unit mMU may be repeated.
【００４９】なお、上記の説明においては、無音のメデ
ィアユニットをスライドさせるものとして説明したが、
あるメディアユニットの最初の範囲が無音状態であるこ
とが検知できれば、このメディアユニットをスライドさ
せるようにしてもよい。例えば、図５の上記の例では、
メディアユニットｍＭＵは全体として無音状態ではない
が、このメディアユニットｍＭＵの最初の部分の所定量
のデータが無音状態である場合には、このメディアユニ
ットｍＭＵをスライドさせるようにしてもよい。このよ
うにすることにより、後方スライドの機会を多くするこ
とができる。In the above description, the silent media unit is slid.
If it can be detected that the initial range of a certain media unit is silent, this media unit may be slid. For example, in the above example of FIG.
Although the media unit mMU is not in a silent state as a whole, if a predetermined amount of data in the first part of the media unit mmu is in a silent state, the media unit mmu may be slid. By doing so, the chance of sliding backward can be increased.
【００５０】次に、ライブメディアにおける同期制御に
ついて説明する。この場合にも、図１に示す移動体端末
Ａの構成は同じであり、図１のように、サーバから送信
されるのではなく、ライブメディアを送信する送信装置
からネットワークＮを介してライブメディアが送信され
るものとする。Next, synchronization control in live media will be described. Also in this case, the configuration of the mobile terminal A shown in FIG. 1 is the same, and the live media is not transmitted from the server but transmitted from the transmitting device that transmits the live media via the network N as shown in FIG. Shall be transmitted.
【００５１】まず、遅延時間の検出による同期制御につ
いて説明する。この場合は上記蓄積型メディアの場合と
同様に同期制御を行う。つまり、遅延時間検出部２０、
３８によりビデオ情報の遅延時間と音声情報の遅延時間
とを検知し、各遅延時間に基づいてビデオ情報又は音声
情報の出力時刻をスライドさせる。ただし、上記のよう
に、音声情報は遅延しないのが前提であるので、実際に
は、ビデオ情報の遅延時間を検出して、図２に示すよう
に、この遅延時間に基づき算出されたスライド時間だけ
音声情報の出力時刻を目標出力時刻よりも遅延させて音
声情報の出力を行い、同期制御を行う。なお、ビデオ情
報の出力時刻については、上記蓄積型メディアの場合と
同様に、伝送される情報の遅延時間の大きさに従い制御
するようにしてもよい。First, the synchronization control by detecting the delay time will be described. In this case, the synchronization control is performed in the same manner as in the case of the storage medium. That is, the delay time detector 20,
38 detects the delay time of the video information and the delay time of the audio information, and slides the output time of the video information or the audio information based on each delay time. However, since it is assumed that the audio information does not delay as described above, the delay time of the video information is actually detected, and the slide time calculated based on the delay time is detected as shown in FIG. Then, the audio information is output with the output time of the audio information delayed from the target output time, and the synchronization control is performed. The output time of the video information may be controlled according to the delay time of the information to be transmitted, as in the case of the storage medium.
【００５２】次に、ずれ時間の検出による同期制御につ
いて、図２を使用しながら説明する。この場合も上記蓄
積型メディアの場合と同様に同期制御を行う。すなわ
ち、ずれ時間検出部４５によりビデオ情報と音声情報と
の間のずれ時間を検出し、スライド制御部５０ではこの
ずれ時間によりスライド時間を算出する。このずれ時間
は、上記蓄積型メディアの場合と同様に、伝送の遅延に
基づくずれ時間である。そして、出力制御部３４により
該スライド時間だけ遅延させて出力を行う。Next, the synchronization control based on the detection of the deviation time will be described with reference to FIG. In this case, the synchronization control is performed in the same manner as in the case of the storage medium. That is, the shift time detecting section 45 detects the shift time between the video information and the audio information, and the slide control section 50 calculates the slide time based on the shift time. This shift time is a shift time based on the transmission delay as in the case of the storage medium. The output is then delayed by the output control unit 34 by the slide time.
【００５３】次に、バッファ占有率の検出による同期制
御について説明する。上記蓄積型メディアの場合と同様
に、上記のＡＲＱの処理及びネットワークの状況により
ビデオ情報の伝送が遅延した場合を考える。この場合に
は、移動体端末Ａにおいては、ビデオ情報は遅延して出
力され、ビデオバッファ１２内の占有率は低下する。こ
の場合、上記蓄積型メディアでは出力時刻を後方にスラ
イドさせる処理を行ったが、ライブメディアでは、でき
るだけ伝送遅延を小さくする必要があるので、出力時刻
の後方へのスライドは行わない。Next, the synchronization control by detecting the buffer occupancy will be described. As in the case of the storage type media, consider the case where the transmission of video information is delayed due to the ARQ processing and network conditions. In this case, in the mobile terminal A, the video information is output with a delay, and the occupancy in the video buffer 12 decreases. In this case, the output time is slid backward in the storage medium, but in the live media, the output time is not slid backward because the transmission delay needs to be minimized as much as possible.
【００５４】その後、ネットワークの状況が回復する等
してビデオ情報が順調に送信されるようになると、ビデ
オバッファ１２の占有率は高くなる。ビデオバッファ１
２の占有率が高いということはそれだけ情報の出力が遅
延していることになる。よって、ビデオ情報の出力時刻
を前方にスライドさせる処理を行う。つまり、前方への
スライド制御を行う。なお、上記バッファ占有率の高低
は、あるしきい値により判断する。Thereafter, when the video information is transmitted smoothly due to recovery of the network condition, the occupancy of the video buffer 12 increases. Video buffer 1
The higher the occupation ratio of No. 2 means that the output of information is delayed accordingly. Therefore, a process of sliding the output time of the video information forward is performed. That is, forward slide control is performed. The level of the buffer occupancy is determined by a certain threshold value.
【００５５】例えば、図を利用して説明すると、図６に
示すように、ビデオ情報におけるメディアユニット（ｎ
−１）ＭＵからメディアユニット（ｎ＋１）ＭＵにおい
ては、ビデオ情報の伝送が遅延して出力時刻が目標出力
時刻よりも遅れ、メディアユニット（ｎ＋２）ＭＵから
はビデオ情報の伝送が回復した場合を示して出力時刻の
遅延が解消している。このような状態を想定し、まず、
バッファ占有率が低い状態では、出力時刻のスライドは
行わない。ここで、バッファ占有率が低い場合とは、該
占有率があるしきい値よりも低い場合をいう。そして、
メディアユニット（ｎ＋３）ＭＵの出力時にはビデオバ
ッファ１２内の占有率が高くなっているとする。この占
有率が高い場合とは、占有率があるしきい値よりも高い
場合とする。この場合には、各メディアユニットの出力
時刻が遅延していることになるので、目標出力時刻を前
方にスライドさせる。つまり、図６に示すように、メデ
ィアユニット（ｎ＋３）ＭＵの目標出力時刻は本来のｔ
n+3 ではなく、その前のｔn+3’ とする。この場合に
は、メディアユニット（ｎ＋２）ＭＵは発生区間σn+2,
n+3 よりも短い時間しか出力されないことになる。この
ようにすることにより、ライブメディアにおいて、でき
るだけ伝送遅延を小さくすることができる。なお、上記
のように、メディアユニット（ｎ＋３）ＭＵの出力時刻
を前方にスライドさせた場合には、これに応じて音声情
報のメディアユニットも前方にスライドさせることにな
る。For example, with reference to the drawings, as shown in FIG. 6, a media unit (n
-1) The case where the transmission of the video information is delayed from the MU to the media unit (n + 1) MU and the output time is later than the target output time, and the transmission of the video information is recovered from the media unit (n + 2) MU. Output time delay has been eliminated. Assuming such a state, first,
When the buffer occupancy is low, the slide of the output time is not performed. Here, the case where the buffer occupancy is low refers to the case where the occupancy is lower than a certain threshold. And
It is assumed that the occupancy in the video buffer 12 is high when the media unit (n + 3) MU is output. The case where the occupancy is high is defined as the case where the occupancy is higher than a certain threshold. In this case, since the output time of each media unit is delayed, the target output time is slid forward. That is, as shown in FIG. 6, the target output time of the media unit (n + 3) MU is the original t.
Instead of n + 3, it is tn + 3 'before it. In this case, the media unit (n + 2) MU is generated in the generation section σn + 2,
The output will be shorter than n + 3. By doing so, transmission delay in live media can be reduced as much as possible. When the output time of the media unit (n + 3) MU is slid forward as described above, the media unit of the audio information is also slid forward accordingly.
【００５６】次に、情報のバッファ内待機時間の検出に
よる同期制御について説明する。この場合は上記バッフ
ァ内占有率の場合と同様の処理を行う。すなわち、上記
のＡＲＱの処理及びネットワークの状況によりビデオ情
報の伝送が遅延した場合を考える。すると、移動体端末
Ａにおいては、ビデオ情報は遅延して出力され、ビデオ
バッファ１２内のビデオ情報の待機時間は短くなる。こ
の場合、上記蓄積型メディアでは出力時刻を後方にスラ
イドさせる処理を行ったが、ライブメディアでは、でき
るだけ伝送遅延を小さくする必要があるので、出力時刻
の後方へのスライドは行わない。Next, a description will be given of the synchronization control by detecting the information waiting time in the buffer. In this case, the same processing as in the case of the buffer occupancy is performed. That is, a case is considered where the transmission of video information is delayed due to the ARQ processing and network conditions. Then, in the mobile terminal A, the video information is output with a delay, and the standby time of the video information in the video buffer 12 is shortened. In this case, the output time is slid backward in the storage medium, but in the live media, the output time is not slid backward because the transmission delay needs to be minimized as much as possible.
【００５７】その後、ネットワークの状況が回復する等
してビデオ情報が順調に送信されるようになると、ビデ
オバッファ１２内のビデオ情報の待機時間は長くなる。
ビデオバッファ１２内の待機時間が長いということはそ
れだけ情報の出力が遅延していることになる。よって、
ビデオ情報の出力時刻を前方にスライドさせる処理を行
う。つまり、前方へのスライド制御を行う。前方へのス
ライド制御の仕方は上記バッファ占有率による同期制御
の場合と同様に行う。なお、待機時間の長短は、あるし
きい値により判断する。Thereafter, when the video information is transmitted smoothly due to the recovery of the network condition or the like, the standby time of the video information in the video buffer 12 becomes longer.
The longer the waiting time in the video buffer 12, the longer the output of information is. Therefore,
The output time of the video information is slid forward. That is, forward slide control is performed. The forward slide control is performed in the same manner as the synchronous control based on the buffer occupancy. The length of the waiting time is determined by a certain threshold value.
【００５８】次に、無音検出による同期制御について説
明する。この場合も上記蓄積型メディアの場合と同様
に、上記の各同期制御の方法において、音声情報の出力
時刻をビデオ情報に合わせてスライド制御する処理を行
うが、その場合に、出力時刻をスライドさせるメディア
ユニットが無音か否かを検知して、無音の場合にはスラ
イド制御を行い、無音でない場合には、スライド制御を
行わないようにする。Next, a description will be given of synchronization control based on silence detection. Also in this case, as in the case of the storage type media, in each of the above-described synchronization control methods, a process of performing slide control in accordance with the output time of audio information in accordance with video information is performed. In this case, the output time is slid. Detecting whether or not the media unit is silent, slide control is performed when there is no sound, and slide control is not performed when not.
【００５９】具体的には、制御の方法は上記蓄積型メデ
ィアの場合と略同様であり、音声情報のメディアユニッ
トをスライドさせる場合に、そのメディアユニットが無
音であるか否かを検出し、無音である場合に該メディア
ユニットをスライド制御する。よって、後方にスライド
制御する場合には、図６に示すように、無音のメディア
ユニットであるメディアユニット（ｍ＋１）ＭＵについ
てスライド制御を行う。一方、前方にスライド制御する
場合にも、無音状態のメディアユニットをスライドさせ
るわけであるが、この場合には、スライドさせる先のメ
ディアユニットも無音状態であることが好ましい。More specifically, the control method is substantially the same as that of the storage type media described above. When the media unit of the audio information is slid, it is detected whether or not the media unit is silent. In the case of, the slide control of the media unit is performed. Therefore, when performing the backward slide control, the slide control is performed for the media unit (m + 1) MU, which is a silent media unit, as shown in FIG. On the other hand, even when the slide control is performed forward, the silent media unit is slid. In this case, it is preferable that the media unit to be slid is also silent.
【００６０】具体的に、図を利用して説明すると、図７
に示すように、ビデオ情報におけるメディアユニットｎ
ＭＵとメディアユニット（ｎ＋１）ＭＵとを前方にスラ
イドさせる場合を想定する。また、音声情報について
は、図７の「（ａ）音声情報」に示すように、遅延する
ことなく伝送されている。このような状態で音声情報に
おけるメディアユニットもビデオ情報に合わせて前方に
スライド制御するのであるが、２番目のメディアユニッ
トｍＭＵを前方にスライドさせようとした場合に、その
前のメディアユニット（ｍ−１）ＭＵは無音状態ではな
いので、メディアユニットｍＭＵを前方にスライドさせ
ると、メディアユニット（ｍ−１）ＭＵが音切れになっ
てしまう。そこで、メディアユニット（ｍ＋１）ＭＵに
ついては、メディアユニット（ｍ＋１）ＭＵ自身が無音
状態であり、かつ、その前のメディアユニットｍＭＵも
無音状態であるので、このメディアユニット（ｍ＋１）
ＭＵを前方にスライドさせる。このようにすることによ
り、音声の音切れを防止することができ、不自然となる
ことがない。また、仮に、メディアユニットｍＭＵとメ
ディアユニット（ｍ＋１）ＭＵとが無音状態でない場合
には、いわゆる音飛びが発生することになるが、そのよ
うな音飛びも防止することができる。More specifically, referring to FIG.
Media unit n in the video information as shown in
It is assumed that the MU and the media unit (n + 1) MU are slid forward. The audio information is transmitted without delay as shown in “(a) Audio information” in FIG. In such a state, the media unit in the audio information is also slid forward in accordance with the video information. However, when the second media unit mMU is slid forward, the media unit (m-m- 1) Since the MU is not in a silent state, if the media unit mMU is slid forward, the media unit (m-1) MU loses sound. Therefore, for the media unit (m + 1) MU, the media unit (m + 1) MU itself is in a silent state, and the preceding media unit mMU is also in a silent state.
Slide the MU forward. By doing so, it is possible to prevent the sound from being cut off, and there is no unnaturalness. If the media unit mMU and the media unit (m + 1) MU are not in a silent state, so-called skipping occurs, but such skipping can be prevented.
【００６１】なお、上記の前方スライドの場合の無音検
知において、メディアユニットｍＭＵが無音状態である
場合に同じく無音状態のメディアユニット（ｍ＋１）Ｍ
Ｕを前方にスライドさせるものとして説明したが、例え
ば、スライドさせるメディアユニットの最初の範囲が無
音状態であり、かつ、スライドされるメディアユニット
の後方の範囲が無音状態である場合には、音切れのおそ
れはないので、前方スライドを可能とするのである。こ
のようにすることにより、前方スライドの機会を多くす
ることができる。In the above-mentioned silence detection in the case of the forward slide, when the media unit mMU is in a silence state, the media unit (m + 1) M in the silence state is also in the silence state.
Although it has been described that U is slid forward, for example, if the initial range of the media unit to be slid is in a silent state and the rear area of the slid media unit is in a silent state, the sound is cut off. Since there is no possibility of the sliding, it is possible to slide forward. By doing so, the chance of sliding forward can be increased.
【００６２】なお、上記の説明では、ビデオ情報や音声
情報におけるスライドは、メディアユニット単位で行う
として説明したが、これには限られず、メディアユニッ
トにおける所定量のデータのみをスライドさせるように
してもよい。例えば、図２の例では、メディアユニット
ｍＭＵごとスライドさせるのではなく、メディアユニッ
トｍＭＵの途中からスライドさせるようにしてもよい。
また、上記の説明においては、ビデオ情報が遅延する場
合を主として説明したが、音声情報が遅延する場合にも
適用することができる。In the above description, the slide in the video information and the audio information is described as being performed in units of media units. However, the present invention is not limited to this, and only a predetermined amount of data in the media units may be slid. Good. For example, in the example of FIG. 2, instead of sliding with the media unit mMU, the media unit may be slid from the middle of the mmu.
In the above description, the case where the video information is delayed has been mainly described, but the present invention can also be applied to the case where the audio information is delayed.
【００６３】[0063]
【発明の効果】本発明に基づく同期制御装置によれば、
ビデオ情報と音声信号を伝送する場合に、メディア間の
同期を取ることができる。また、特に、無音状態を検出
して、無音時に音声情報の出力時刻を変更することによ
り、メディア間の同期を取った場合に、出力時刻変更に
よる音声の品質への影響を防止することができる。According to the synchronization control device according to the present invention,
When transmitting video information and audio signals, synchronization between media can be achieved. Further, in particular, by detecting a silence state and changing the output time of audio information when there is no sound, it is possible to prevent the influence on audio quality due to the change of output time when synchronizing between media. .
【図１】本発明の実施例に基づく同期制御装置とサーバ
の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a synchronization control device and a server according to an embodiment of the present invention.
【図２】同期制御の方法を説明するための説明図であ
る。FIG. 2 is an explanatory diagram for explaining a method of synchronization control.
【図３】遅延時間の検出による同期制御の方法を示す説
明図である。FIG. 3 is an explanatory diagram showing a method of synchronization control by detecting a delay time.
【図４】バッファ内占有率の検出による同期制御の方法
を示す説明図である。FIG. 4 is an explanatory diagram showing a method of synchronization control by detecting an occupancy in a buffer.
【図５】前方スライドによる同期制御の方法を示す説明
図である。FIG. 5 is an explanatory diagram showing a method of synchronous control by sliding forward.
【図６】無音状態の検出による同期制御の方法を示す説
明図である。FIG. 6 is an explanatory diagram showing a method of synchronization control by detecting a silent state.
【図７】無音状態の検出による同期制御の方法を示す説
明図である。FIG. 7 is an explanatory diagram showing a method of synchronous control by detecting a silent state.
【図８】従来におけるビデオ情報と音声情報間の同期の
乱れを説明するための説明図である。FIG. 8 is an explanatory diagram for explaining a conventional synchronization disorder between video information and audio information.
Ｓ 情報通信システム Ａ 移動体端末 Ｂ サーバ Ａ１ ビデオ情報処理部 Ａ２ 音声情報処理部 １０、３０ 通信制御部 １２ ビデオバッファ １４、３４ 出力制御部 １６ 占有率検出部 １８ 待機時間検出部 ２０、３８ 遅延時間検出部 ２２ 映像出力部 ３６ 無音検出部 ４０ 音声出力部 ４５ ずれ時間検出部 ５０ スライド制御部 S information communication system A mobile terminal B server A1 video information processing unit A2 audio information processing unit 10, 30 communication control unit 12 video buffer 14, 34 output control unit 16 occupancy detection unit 18 standby time detection unit 20, 38 delay time Detection unit 22 Video output unit 36 Silence detection unit 40 Audio output unit 45 Offset time detection unit 50 Slide control unit
Claims (12)
との出力タイミングを制御する同期制御装置であって、 上記ビデオ情報と音声情報の出力時の時間的関係を維持
するように制御を行うことを特徴とする同期制御装置。1. A synchronization control device for controlling an output timing of received video information and / or audio information, wherein the control is performed so as to maintain a temporal relationship between the output of the video information and the audio information. Synchronous control device characterized by the above-mentioned.
との出力タイミングを制御する同期制御装置であって、 上記ビデオ情報及び／又は音声情報の出力時刻を、予め
出力すべき時刻として定められた目標出力時刻から時間
的に前方又は後方にスライドして変更することを特徴と
する同期制御装置。2. A synchronization control device for controlling an output timing of received video information and / or audio information, wherein an output time of the video information and / or audio information is determined in advance as a time to be output. A synchronization control device characterized in that it is slid forward or backward temporally from a target output time to change the time.
び／又は音声情報の遅延時間を検出し、該検出された遅
延時間に応じて、上記ビデオ情報及び／又は音声情報の
出力時刻を変更することを特徴とする請求項１又は２に
記載の同期制御装置。3. The synchronization control device detects a delay time of the video information and / or audio information, and changes an output time of the video information and / or audio information according to the detected delay time. The synchronization control device according to claim 1 or 2, wherein:
声情報について、予め出力すべき時刻として定められた
目標出力時刻と到達時刻間の時間であることを特徴とす
る請求項３に記載の同期制御装置。4. The synchronization according to claim 3, wherein the delay time is a time between a target output time and an arrival time, which are determined in advance as times to be output for the video information or the audio information. Control device.
音声情報の伝送遅延による到達時刻のずれ時間を検出
し、該検出されたずれ時間に基づき、上記ビデオ情報及
び／又は音声情報の出力時刻を変更することを特徴とす
る請求項１又は２又は３又は４に記載の同期制御装置。5. The synchronization control device detects a time lag between arrival times due to a transmission delay between the video information and the audio information, and based on the detected time lag, an output time of the video information and / or the audio information. The synchronous control device according to claim 1, wherein the synchronous control device is changed.
てのビデオ情報用バッファ及び／又は音声情報について
の音声情報用バッファを有し、上記ビデオ情報用バッフ
ァ及び／又は音声情報用バッファのバッファ占有率を検
出して、検出されたバッファ占有率に基づき上記ビデオ
情報及び／又は音声情報の出力時刻を変更することを特
徴とする請求項１又は２又は３又は４又は５に記載の同
期制御装置。6. The synchronization control device has a video information buffer for video information and / or an audio information buffer for audio information, and a buffer occupancy of the video information buffer and / or the audio information buffer. 6. The synchronization control device according to claim 1, wherein an output time of the video information and / or the audio information is changed based on the detected buffer occupancy.
てのビデオ情報用バッファ及び／又は音声情報について
の音声情報用バッファを有し、上記ビデオ情報用バッフ
ァ及び／又は音声情報用バッファにおける情報の待機時
間を検出して、検出された待機時間に基づき上記ビデオ
情報及び／又は音声情報の出力時刻を変更することを特
徴とする請求項１又は２又は３又は４又は５又は６に記
載の同期制御装置。7. The synchronization control device has a video information buffer for video information and / or an audio information buffer for audio information, and waits for information in the video information buffer and / or audio information buffer. 7. The synchronization control according to claim 1, wherein a time is detected, and an output time of the video information and / or audio information is changed based on the detected standby time. apparatus.
音声レベルが所定値以下である無音状態を検知し、該無
音状態の音声情報の出力時刻を変更することを特徴とす
る請求項１又は２又は３又は４又は５又は６又は７に記
載の同期制御装置。8. The apparatus according to claim 1, wherein the synchronization control device detects a silent state in which the audio level of the audio information is equal to or lower than a predetermined value, and changes the output time of the audio information in the silent state. Or the synchronization control device according to 3 or 4 or 5 or 6 or 7.
ユニットから構成され、無音状態のメディアユニットの
出力時刻を時間的に前方又は後方に変更することを特徴
とする請求項８に記載の同期制御装置。9. The synchronization control according to claim 8, wherein the audio information is composed of a media unit as an output unit, and the output time of the media unit in a silent state is temporally changed forward or backward. apparatus.
変更させる際に、出力時刻と目標出力時刻間のスライド
時間における音声情報が無音状態である場合に、出力時
刻を前方へ変更させることを特徴とする請求項８又は９
に記載の同期制御装置。10. When changing the output time of audio information forward in time, if the audio information in the slide time between the output time and the target output time is in a silent state, the output time is changed forward. 10. The method according to claim 8, wherein:
Synchronous control apparatus according to claim 1.
スライドさせる場合に、変更された出力時刻までの間直
前の音声情報を繰り返すことを特徴とする請求項１又は
２又は３又は４又は５又は６又は７又は８又は９又は１
０に記載の同期制御装置。11. When the output time of audio information is slid backward in time, the immediately preceding audio information is repeated until the changed output time. 5 or 6 or 7 or 8 or 9 or 1
0. The synchronization control device according to 0.
ＰＨＳにより伝送されることを特徴とする請求項１又は
２又は３又は４又は５又は６又は７又は８又は９又は１
０又は１１に記載の同期制御装置。12. The apparatus according to claim 1, wherein the received video information and audio information are transmitted by PHS.
12. The synchronization control device according to 0 or 11.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24357597A JPH1169327A (en) | 1997-08-08 | 1997-08-08 | Synchronization controller |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24357597A JPH1169327A (en) | 1997-08-08 | 1997-08-08 | Synchronization controller |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1169327A true JPH1169327A (en) | 1999-03-09 |
Family
ID=17105878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24357597A Pending JPH1169327A (en) | 1997-08-08 | 1997-08-08 | Synchronization controller |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1169327A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000354232A (en) * | 1999-06-09 | 2000-12-19 | Sharp Corp | Image/audio communication apparatus and image/audio communication method |
| KR100639336B1 (en) | 2004-12-02 | 2006-10-30 | 엘지전자 주식회사 | Method for measuring of video display delay in mobile communication station |
| JP2007259943A (en) * | 2006-03-27 | 2007-10-11 | Samii Kk | Reproducing device, data reproducing method and program |
| JP2008092161A (en) * | 2006-09-29 | 2008-04-17 | Saxa Inc | Communication terminal, multimedia reproduction control method, and program |
| JP2009112000A (en) * | 2001-05-15 | 2009-05-21 | Corbett Wall | Method and apparatus for creating and distributing real-time interactive media content through wireless communication networks and the internet |
| JP2010539739A (en) * | 2007-08-31 | 2010-12-16 | インターナショナル・ビジネス・マシーンズ・コーポレーション | How to synchronize data flows |
| JP2015156584A (en) * | 2014-02-20 | 2015-08-27 | 富士通株式会社 | Moving image sound synchronization apparatus, moving image sound synchronization method, and computer program for moving image sound synchronization |
-
1997
- 1997-08-08 JP JP24357597A patent/JPH1169327A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000354232A (en) * | 1999-06-09 | 2000-12-19 | Sharp Corp | Image/audio communication apparatus and image/audio communication method |
| JP2009112000A (en) * | 2001-05-15 | 2009-05-21 | Corbett Wall | Method and apparatus for creating and distributing real-time interactive media content through wireless communication networks and the internet |
| KR100639336B1 (en) | 2004-12-02 | 2006-10-30 | 엘지전자 주식회사 | Method for measuring of video display delay in mobile communication station |
| JP2007259943A (en) * | 2006-03-27 | 2007-10-11 | Samii Kk | Reproducing device, data reproducing method and program |
| JP2008092161A (en) * | 2006-09-29 | 2008-04-17 | Saxa Inc | Communication terminal, multimedia reproduction control method, and program |
| JP2010539739A (en) * | 2007-08-31 | 2010-12-16 | インターナショナル・ビジネス・マシーンズ・コーポレーション | How to synchronize data flows |
| JP2015156584A (en) * | 2014-02-20 | 2015-08-27 | 富士通株式会社 | Moving image sound synchronization apparatus, moving image sound synchronization method, and computer program for moving image sound synchronization |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8612242B2 (en) | Minimizing speech delay in communication devices | |
| JP3687188B2 (en) | Packet transmission method | |
| US7228059B2 (en) | Audio reproducing apparatus and audio reproduction control method for use in the same | |
| US7787500B2 (en) | Packet receiving method and device | |
| US20070008984A1 (en) | Buffer management system, digital audio receiver, headphones, loudspeaker, method of buffer management | |
| US10735120B1 (en) | Reducing end-to-end delay for audio communication | |
| KR20040028581A (en) | Network telephone and voice decording device | |
| US7450593B2 (en) | Clock difference compensation for a network | |
| US7627071B2 (en) | Timing synchronization module and method for synchronously playing a media signal | |
| US8477810B2 (en) | Synchronization using multicasting | |
| US20110257964A1 (en) | Minimizing Speech Delay in Communication Devices | |
| JP4076981B2 (en) | Communication terminal apparatus and buffer control method | |
| JPH1169327A (en) | Synchronization controller | |
| KR20080012920A (en) | Method and apparatus for adaptive polling in a wireless communication device | |
| JP4452136B2 (en) | Data synchronized playback device and terminal device | |
| JP3500667B2 (en) | Video conference system and synchronization method | |
| US5712848A (en) | Time division multiplex communications system including means for reducing undesired echoes resulting from circuit delays | |
| US5483671A (en) | Method of determining transmission time to transmit an information packet to a remote buffer | |
| JP3362695B2 (en) | Delay fluctuation absorbing device and absorbing method | |
| KR20000068950A (en) | Transmission system with improved reconstruction of missing parts | |
| JPH1093540A (en) | Data transmission system | |
| JP2000122681A (en) | Sound data synchronizing regenerator | |
| JPH066382A (en) | Packet communication device and communication system | |
| KR100685982B1 (en) | Method and apparatus for synchronization of media information | |
| JPH06237443A (en) | Voice/moving picture communication system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040608 |