JP3165661B2 - Audio synchronized playback device - Google Patents
Audio synchronized playback deviceInfo
- Publication number
- JP3165661B2 JP3165661B2 JP18390797A JP18390797A JP3165661B2 JP 3165661 B2 JP3165661 B2 JP 3165661B2 JP 18390797 A JP18390797 A JP 18390797A JP 18390797 A JP18390797 A JP 18390797A JP 3165661 B2 JP3165661 B2 JP 3165661B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- time information
- data
- output
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
Description
【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【０００１】[0001]
【発明の属する技術分野】本発明は、ディジタル蓄積メ
ディア，放送及び通信のために、可変長符号化を用いて
符号化された音声及び画像データを復号するディジタル
動画像復号化装置における音声同期再生装置に関し、特
に音声信号の基準時刻との同期再生を実現する音声同期
再生装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an audio synchronous reproduction in a digital video decoding apparatus for decoding audio and image data encoded using variable length encoding for digital storage media, broadcasting and communication. The present invention relates to an apparatus, and more particularly to an audio synchronous reproduction apparatus that realizes synchronous reproduction of an audio signal with a reference time.
【０００２】[0002]
【従来の技術】図５は、従来の技術の音声同期再生装置
の構成を示すブロック図である。従来の音声同期再生装
置は、図５に示すように、入力された音声符号化データ
Ａを蓄える音声バッファメモリ５０１と、音声符号化デ
ータＡを復号する音声復号化手段５０２と、復号化した
音声データの再生すべき時刻を示す音声時刻情報ＴＡと
基準時刻情報Ｔを管理する時刻情報管理手段５０４と、
音声再生データＲの出力開始，及び出力停止を制御する
音声出力制御手段５０３とを具備するものである。上記
音声復号化手段５０２，上記音声出力制御手段５０３，
および上記時刻情報管理手段５０４は、ソフトウエアよ
り処理されるものである。2. Description of the Related Art FIG. 5 is a block diagram showing a configuration of a conventional audio synchronous reproducing apparatus. As shown in FIG. 5, a conventional audio synchronous reproduction apparatus includes an audio buffer memory 501 for storing input audio encoded data A, an audio decoding unit 502 for decoding audio encoded data A, and a decoded audio Time information management means 504 for managing audio time information TA indicating the time to reproduce data and reference time information T;
An audio output control means 503 for controlling the output start and the output stop of the audio reproduction data R is provided. The audio decoding means 502, the audio output control means 503,
The time information management means 504 is processed by software.
【０００３】図４は、音声符号化データの構成を示す構
成図である。音声符号化データは、図４に示すように、
１音声フレームの音声データが１つ以上のパケットに分
割された構成を有し、各パケット中には音声フレームの
先頭があるかどうかを示すコードが挿入されているパケ
ットヘッダを有するものである。FIG. 4 is a configuration diagram showing a configuration of encoded audio data. The voice encoded data is, as shown in FIG.
It has a configuration in which audio data of one audio frame is divided into one or more packets, and each packet has a packet header in which a code indicating whether or not there is a head of the audio frame is inserted.
【０００４】次に、従来の音声同期再生装置の動作を図
４，及び図５を用いて説明する。図４に示す音声符号化
データＡは、先ず、音声バッファメモリ５０１に蓄積さ
れた後、音声復号化手段５０２からのデータ要求に応じ
て、音声復号化手段５０２へ出力される。音声復号化手
段５０２は、音声符号化データＡから獲得される再生す
べき音声データの音声時刻情報ＴＡを抽出し、時刻情報
管理手段５０４に知らせると共に音声符号化データＡの
復号処理を行なう。時刻情報管理手段５０４は、音声復
号化手段５０２からの音声時刻情報ＴＡと、基準時刻情
報ＴＡを比較し、同期状態の管理を行なう。このとき、
音声再生が基準時刻に対して同期している場合には、時
刻情報管理手段５０４は、音声フレーム出力信号Ｆを音
声出力制御手段５０３へ出力する。音声出力制御手段５
０３は、音声復号化手段５０２からの再生データを、音
声再生データＲとして出力する。Next, the operation of the conventional audio synchronous reproduction apparatus will be described with reference to FIGS. The encoded audio data A shown in FIG. 4 is first stored in the audio buffer memory 501 and then output to the audio decoding unit 502 in response to a data request from the audio decoding unit 502. The audio decoding means 502 extracts the audio time information TA of the audio data to be reproduced, which is obtained from the encoded audio data A, notifies the time information management means 504 and decodes the encoded audio data A. The time information management means 504 compares the audio time information TA from the audio decoding means 502 with the reference time information TA, and manages the synchronization state. At this time,
When the audio reproduction is synchronized with the reference time, the time information management unit 504 outputs the audio frame output signal F to the audio output control unit 503. Voice output control means 5
Reference numeral 03 outputs the reproduced data from the audio decoding means 502 as audio reproduced data R.
【０００５】次に、音声符号化データＡを再生中に、音
声の再生が遅れた場合の動作について説明する。音声再
生が基準時刻に対して遅れた場合、上記時刻情報管理手
段５０４が遅れの発生を検出し、出力すべき時刻に音声
復号化手段５０２での復号処理が間に合わないと判断し
た場合、音声復号化手段５０２に対してスキップ信号Ｓ
Ｋを出力する。音声復号化手段５０２は、スキップ信号
ＳＫにより現在処理中の音声フレームの音声データの復
号処理を中止する。その後、入力される音声データに関
しては、図４に示すパケットヘッダまでの解析を行な
い、その解析結果から現在のパケット中に音声フレーム
の先頭データがないと判断した場合には、そのパケット
の音声データを全て廃棄し、次のパケットヘッダの解析
を行なう。同様の処理を繰り返し、パケット中に音声フ
レームの先頭データがあると判断した場合から、そのパ
ケットヘッダ以降の音声データの復号処理を開始するこ
とで、１音声フレームをスキップし次の音声フレームの
復号処理を行なう。このようにして、音声復号化手段５
０２において音声符号化データＡを再生中に音声の再生
が遅れた場合には時刻情報管理手段５０４からのスキッ
プ信号ＳＫによって１音声フレームをスキップし音声信
号の同期合わせが行われる。Next, the operation when the reproduction of the audio is delayed while the encoded audio data A is being reproduced will be described. If the audio reproduction is delayed with respect to the reference time, the time information management means 504 detects the occurrence of the delay, and if it is determined that the decoding processing by the audio decoding means 502 is not in time for the output time, the audio decoding is performed. Signal S to the converting means 502
Output K. The audio decoding unit 502 stops decoding the audio data of the audio frame currently being processed by the skip signal SK. Thereafter, the input audio data is analyzed up to the packet header shown in FIG. 4. If it is determined from the analysis result that there is no head data of the audio frame in the current packet, the audio data of the packet is determined. Are discarded, and the next packet header is analyzed. The same processing is repeated, and when it is determined that the first data of the audio frame is present in the packet, the decoding processing of the audio data after the packet header is started, thereby skipping one audio frame and decoding the next audio frame. Perform processing. Thus, the audio decoding means 5
In 02, when the reproduction of the audio is delayed while the encoded audio data A is being reproduced, one audio frame is skipped by the skip signal SK from the time information management unit 504, and the audio signals are synchronized.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら、従来の
構成では、音声再生が基準時刻に対して大きく遅れた場
合でも、上述のように同期合わせの処理単位が１音声フ
レーム単位でしか処理できないため、音声再生の同期が
合うまでの処理時間が長く必要であるという問題があっ
た。However, according to the conventional configuration, even if the audio reproduction is greatly delayed from the reference time, the processing unit for synchronization can be processed only in one audio frame unit as described above. There is a problem that a long processing time is required until the audio reproduction is synchronized.
【０００７】さらに、１音声フレームの出力時間が、例
えば画像の１フレーム出力時間に対して非常に短い場合
には、画像に対して大きく遅れた音声の同期を補正する
ためには、１音声フレームのスキップ処理を多数回実行
する必要があり、音声再生の同期が合うまでの間に著し
く音声と画像の同期再生がずれる場合が生じるという問
題があった。Further, if the output time of one audio frame is very short, for example, with respect to the output time of one frame of an image, one audio frame must be output to correct the synchronization of audio that is greatly delayed with respect to the image. Has to be executed a number of times, and there is a problem that the synchronized reproduction of the sound and the image is significantly shifted until the synchronization of the sound reproduction is synchronized.
【０００８】本発明は、上記のような問題点に鑑みてな
されたものであり、音声再生が基準時刻に対して大きく
遅れた場合でも、直ちに音声信号の同期再生を実現する
ことができる音声同期再生装置を提供するものである。SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and provides an audio synchronizing apparatus capable of immediately realizing synchronous reproduction of an audio signal even when audio reproduction is greatly delayed from a reference time. A playback device is provided.
【０００９】[0009]
【課題を解決するための手段】本発明に係る音声同期再
生装置は、入力された音声符号化データを蓄える音声バ
ッファメモリと、音声符号化データを復号する音声復号
化手段と、復号化した音声データの再生すべき時刻を示
す音声時刻情報と基準時刻情報を管理する時刻情報管理
手段と、音声再生データの出力開始，および出力停止を
制御する音声出力制御手段とを具備し、上記時刻情報管
理手段は、音声時刻情報と基準時刻情報との差分をと
り、その差分値と、あらかじめ設定しておいた２つの閾
値α，β（α＜β）とを比較し、この比較結果から音声
再生が、上記基準時刻情報に対して閾値α未満の同期が
合っている状態と判断した場合には、音声再生データの
出力を指令する音声フレーム出力信号を上記音声出力制
御手段へ出力し、上記基準時刻情報に対して閾値α以上
で、かつ閾値β未満の遅れが発生している状態と判断し
た場合には、１音声フレームの復号処理をスキップさせ
るスキップ信号を上記音声復号化手段，および上記音声
出力制御手段へ出力し、上記基準時刻情報に対して閾値
β以上の遅れが発生していると判断した場合には、上記
音声出力制御手段による音声再生データの出力を停止
し、同時に上記音声復号化手段での復号処理の停止，お
よび上記音声バッファメモリ中の全データをクリアする
ことを指令するバッファクリア信号を上記音声バッファ
メモリ，上記音声復号化手段，および上記音声出力制御
手段に出力するものであることを特徴とするものであ
る。SUMMARY OF THE INVENTION An audio synchronous reproduction apparatus according to the present invention comprises: an audio buffer memory for storing encoded audio data; an audio decoding means for decoding encoded audio data; A time information management unit that manages audio time information indicating a time at which data is to be reproduced and reference time information; and an audio output control unit that controls output start and output stop of audio reproduction data. The means calculates a difference between the audio time information and the reference time information, compares the difference value with two preset thresholds α and β (α <β), and performs audio reproduction based on the comparison result. If it is determined that the synchronization with the reference time information is less than the threshold value α, an audio frame output signal for instructing the output of audio reproduction data is output to the audio output control means, If it is determined that a delay of not less than the threshold value α and less than the threshold value β has occurred with respect to the quasi-time information, a skip signal for skipping the decoding process of one audio frame is output to the audio decoding means, Output to the audio output control means, and when it is determined that a delay of the threshold value β or more has occurred with respect to the reference time information, the output of the audio reproduction data by the audio output control means is stopped, and A buffer clear signal is output to the audio buffer memory, the audio decoding means, and the audio output control means to instruct the decoding means to stop the decoding process and clear all data in the audio buffer memory. It is characterized by being.
【００１０】[0010]
【発明の実施の形態】以下、本発明の実施の形態につい
て図１から図４を用いて説明する。図１は、本発明によ
る実施の形態の音声同期再生装置のブロック図を示し、
また、図２は、図１に示す時刻情報管理手段１０４のブ
ロック図を示す。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described below with reference to FIGS. FIG. 1 shows a block diagram of an audio synchronous reproduction device according to an embodiment of the present invention,
FIG. 2 is a block diagram of the time information management unit 104 shown in FIG.
【００１１】本実施の形態の音声同期再生装置は、図１
に示すように、入力された音声符号化データＡを蓄える
音声バッファメモリ１０１と、音声符号化データＡを復
号する音声復号化手段１０２と、復号化した音声データ
の再生すべき時刻を示す音声時刻情報ＴＡと基準時刻情
報Ｔを管理する時刻情報管理手段１０４と、音声再生デ
ータＲの出力開始，および出力停止を制御する音声出力
制御手段１０３とを具備するものである。上記音声復号
化手段１０２，上記音声出力制御手段１０３，および上
記時刻情報管理手段１０４は、ソフトウエアより処理さ
れるものである。FIG. 1 is a block diagram of a voice synchronous playback apparatus according to the present embodiment.
, An audio buffer memory 101 for storing the input audio encoded data A, an audio decoding means 102 for decoding the encoded audio data A, and an audio time indicating the time at which the decoded audio data is to be reproduced. It comprises time information management means 104 for managing information TA and reference time information T, and audio output control means 103 for controlling output start and output stop of audio reproduction data R. The audio decoding means 102, the audio output control means 103, and the time information management means 104 are processed by software.
【００１２】上記時刻情報管理手段１０４は、図２に示
すように、基準時刻情報管理手段２０１，時刻情報比較
手段２０２，および音声時刻情報管理手段２０３から構
成されている。The time information management means 104 comprises, as shown in FIG. 2, a reference time information management means 201, a time information comparison means 202, and a voice time information management means 203.
【００１３】上記基準時刻情報管理手段２０１は、基準
時刻情報Ｔが装置外部から入力され、この基準時刻情報
Ｔの時刻精度と同等、もしくはそれ以上の精度をもつ基
準時刻カウンタによって基準時刻を管理するものであ
る。そして、この基準時刻情報管理手段２０１は、新し
い基準時刻情報Ｔが入力されたかどうかを確認し、新し
い基準時刻情報Ｔが入力された場合は上記基準時刻カウ
ンタの値を入力された基準時刻情報ＴＡに基づいて更新
している。The reference time information management means 201 receives reference time information T from outside the apparatus, and manages the reference time using a reference time counter having an accuracy equal to or greater than the time accuracy of the reference time information T. Things. The reference time information management means 201 checks whether or not new reference time information T has been input. If new reference time information T has been input, the value of the reference time counter is input to the reference time information TA. Has been updated based on.
【００１４】上記音声時刻情報管理手段２０３は、音声
復号化手段１０２からの１音声フレーム単位で入力され
る音声時刻情報ＴＡを管理するものである。一方、上記
時刻情報比較手段２０２は、上記基準時刻情報管理手段
２０１での基準時刻カウンタの値と音声時刻情報管理手
段２０３内の音声時刻情報ＴＡとを比較し、その差分値
（〔基準時刻カウンタ〕−〔音声時刻情報〕）をさらに
２段階の閾値α，β（閾値α＜閾値β）と比較すること
により、同期ずれの発生と、そのずれ時間の量とを検出
するものである。また、時刻情報比較手段２０２は、基
準時刻情報管理手段２０１での基準時刻情報Ｔのカウン
タ値と、音声時刻情報管理手段２０３内の音声時刻情報
ＴＡとを比較した差分値（〔基準時刻カウンタ値〕−
〔音声時刻情報〕）を閾値α，β（閾値α＜閾値β）と
比較して、その差分値が閾値α未満の場合は、音声再生
が基準時刻と同期していると判断し、このときは音声フ
レーム出力信号Ｆを出力し、上記差分値が閾値α以上
で、かつ閾値β未満の場合は、音声再生が少し遅れてい
ると判断し、このときはスキップ信号ＳＫを出力し、上
記差分値が閾値β以上の場合は、音声再生が大きく遅れ
ていると判断し、このときはバッファクリア信号ＣＬＲ
を出力するものである。なお、上記音声同期再生装置
は、図１に示すように、上記音声フレーム出力信号Ｆは
音声出力制御手段１０３に入力し、上記スキップ信号Ｓ
Ｋは音声復号化手段１０２，および音声出力制御手段１
０３に入力し、さらに上記バッファクリア信号ＣＬＲは
音声バッファメモリ１０１，音声復号化手段１０２，お
よび音声出力制御手段１０３に入力するように構成され
ている。The audio time information management means 203 manages the audio time information TA input from the audio decoding means 102 in units of one audio frame. On the other hand, the time information comparison means 202 compares the value of the reference time counter in the reference time information management means 201 with the audio time information TA in the audio time information management means 203, and compares the difference value ([reference time counter -[Voice time information]) is further compared with two-stage threshold values α and β (threshold value α <threshold value β) to detect the occurrence of the synchronization shift and the amount of the shift time. Further, the time information comparing unit 202 compares the counter value of the reference time information T in the reference time information managing unit 201 with the audio time information TA in the audio time information managing unit 203 ([reference time counter value ]-
[Sound time information]) is compared with thresholds α and β (threshold α <threshold β), and when the difference value is smaller than threshold α, it is determined that the sound reproduction is synchronized with the reference time. Outputs an audio frame output signal F. If the difference value is equal to or greater than the threshold value α and less than the threshold value β, it is determined that the audio reproduction is slightly delayed. In this case, a skip signal SK is output, and If the value is equal to or larger than the threshold value β, it is determined that the sound reproduction is greatly delayed.
Is output. As shown in FIG. 1, the audio synchronous reproduction apparatus inputs the audio frame output signal F to the audio output control means 103 and outputs the skip signal S
K is the audio decoding means 102 and the audio output control means 1
The buffer clear signal CLR is input to the audio buffer memory 101, the audio decoding means 102, and the audio output control means 103.
【００１５】次に、本実施の形態の音声同期再生装置に
おける通常の再生動作について説明する。Next, a normal reproducing operation in the audio synchronous reproducing apparatus of the present embodiment will be described.
【００１６】図３は、図１で示す音声同期再生装置にお
ける時刻情報管理手段の動作フローチャート図を示す。
図４に示す音声符号化データＡは、図１に示す音声バッ
ファメモリ１０１へ入力され、入力された音声符号化デ
ータＡは、先ず、音声バッファメモリ１０１内に蓄積さ
れる。FIG. 3 is a flowchart showing the operation of the time information management means in the audio synchronous reproduction apparatus shown in FIG.
The encoded voice data A shown in FIG. 4 is input to the audio buffer memory 101 shown in FIG. 1, and the input encoded audio data A is first stored in the audio buffer memory 101.
【００１７】音声バッファメモリ１０１は、可変長符号
化によるフレーム毎のデータ量の変化を吸収するための
バッファである。この音声バッファメモリ１０１は、入
力したデータ量と出力したデータ量から音声バッファメ
モリ１０１内のデータ量を管理し、蓄積しているデータ
量に応じてデータの入力を制御し、音声復号化手段１０
２からのデータ要求に応じて随時音声符号化データＡを
出力する。The audio buffer memory 101 is a buffer for absorbing a change in data amount for each frame due to variable length coding. The audio buffer memory 101 manages the data amount in the audio buffer memory 101 from the input data amount and the output data amount, controls the data input according to the accumulated data amount, and controls the audio decoding means 10.
The audio encoded data A is output at any time in response to a data request from the second audio data.
【００１８】音声バッファメモリ１０１から出力される
音声符号化データＡは、音声復号化手段１０２へ入力さ
れる。このとき、音声復号化手段１０２は、音声符号化
データＡの復号処理を行なうと共に、音声符号化データ
Ａの音声フレームの音声データ中に、再生すべき音声の
時刻を示す音声時刻情報ＴＡがある場合にはその音声時
刻情報ＴＡを抽出し、時刻情報管理手段１０４に出力す
る。また、音声時刻情報ＴＡが音声フレームの音声デー
タ中にない場合は、その音声フレームの音声時刻情報Ｔ
Ａを、以前に抽出した上記音声時刻情報ＴＡから算出し
て時刻情報管理手段１０４に出力する。The encoded audio data A output from the audio buffer memory 101 is input to the audio decoding means 102. At this time, the audio decoding means 102 decodes the encoded audio data A, and includes audio time information TA indicating the time of the audio to be reproduced in the audio data of the audio frame of the encoded audio data A. In this case, the audio time information TA is extracted and output to the time information management means 104. If the audio time information TA is not present in the audio data of the audio frame, the audio time information T
A is calculated from the previously extracted audio time information TA and output to the time information management means 104.
【００１９】時刻情報管理手段１０４は、図３に示すフ
ローチャートに従った処理が行われる。先ず、ステップ
Ｓ１においては基準時刻情報管理手段２０１に新しい基
準時刻情報Ｔが入力されたかどうかを確認する。このと
き、新しい基準時刻情報Ｔが入力されていない場合はそ
のまま次のステップＳ２へ移行する。新しい基準時刻情
報Ｔが入力された場合は上記基準時刻情報管理手段２０
１の基準時刻カウンタ値を、この入力された新しい基準
時刻情報Ｔに基づいて更新したうえで、次のステップＳ
２へ移行する。The time information management means 104 performs processing according to the flowchart shown in FIG. First, in step S1, it is confirmed whether or not new reference time information T has been input to the reference time information management means 201. At this time, if the new reference time information T has not been input, the process directly proceeds to the next step S2. If new reference time information T is input, the reference time information management means 20
After updating the reference time counter value of No. 1 based on the input new reference time information T, the next step S
Move to 2.
【００２０】次に、ステップＳ２においては音声復号化
手段１０２からの１音声フレーム単位で入力される新し
い音声時刻情報ＴＡが音声時刻情報管理手段２０３に入
力されたかどうかを確認する。このとき、新しい音声時
刻情報ＴＡが入力されていない場合はそのまま最初の状
態に戻され、新しい音声時刻情報ＴＡが入力された場合
は、次のステップＳ３へ移行する。Next, in step S2, it is confirmed whether or not new audio time information TA input in units of one audio frame from the audio decoding means 102 has been input to the audio time information management means 203. At this time, if the new audio time information TA has not been input, the state is returned to the initial state, and if the new audio time information TA has been input, the process proceeds to the next step S3.
【００２１】ステップＳ３においては上記基準時刻情報
管理手段２０１の基準時刻Ｔと上記音声時刻情報管理手
段２０３の音声時刻情報ＴＡとを比較し、その差分値
（〔基準時刻カウンタ〕−〔音声時刻情報〕）を算出す
る。通常再生時は、上記差分値が閾値α未満（差分値＜
閾値α）であり、この場合は同期が合っていると判断し
ている。このとき、時刻情報比較手段２０２より音声フ
レーム出力信号Ｆを出力し、この音声フレーム出力信号
Ｆは音声出力制御手段１０３へ入力され、これにより、
音声復号化手段１０２で復号処理されたデータは、音声
出力制御手段１０３によって、音声再生データＲとして
出力される。In step S3, the reference time T of the reference time information management means 201 is compared with the audio time information TA of the audio time information management means 203, and the difference value ([reference time counter]-[audio time information ]) Is calculated. During normal playback, the difference value is smaller than the threshold value α (difference value <
Threshold α), and in this case, it is determined that synchronization is established. At this time, an audio frame output signal F is output from the time information comparison means 202, and the audio frame output signal F is input to the audio output control means 103, whereby
The data decoded by the audio decoding unit 102 is output as audio reproduction data R by the audio output control unit 103.
【００２２】次に、図４に示す構成の音声符号化データ
を再生中に、音声の再生が遅れた場合の動作について説
明する。音声符号化データを再生中に、音声の再生が遅
れた場合、図３の動作フローフャートに示すステップＳ
３において上記基準時刻カウンタ値と音声時刻情報管理
手段２０３中の音声時刻情報ＴＡとを比較した差分値
（〔基準時刻カウンタ〕−〔音声時刻情報〕）が閾値α
以上（差分値＞閾値α）となり、音声再生の同期ずれが
発生したと判断し、次のステップＳ４へ移行する。Next, the operation when the reproduction of the audio is delayed while the encoded audio data having the configuration shown in FIG. 4 is being reproduced will be described. If the reproduction of the audio is delayed during the reproduction of the encoded audio data, the process proceeds to step S shown in the operation flowchart of FIG.
3, the difference value ([reference time counter] − [voice time information]) obtained by comparing the reference time counter value with the voice time information TA in the voice time information management means 203 is equal to the threshold α.
As described above (difference value> threshold value α), it is determined that a synchronization deviation of audio reproduction has occurred, and the process proceeds to the next step S4.
【００２３】次に、ステップＳ４においてはその音声再
生の同期ずれ時間量の検出を行なうため、上記差分値を
さらに閾値β（閾値α＜閾値β）と比較する。その比較
結果から上記差分値が閾値β未満（閾値α＜上記差分値
＜閾値β）の場合は、音声の再生が基準時刻に対して少
し遅れていると判断し、１音声フレームの復号処理をス
キップするためのスキップ信号ＳＫを出力する。このス
キップ信号ＳＫは、音声復号化手段１０２，及び音声出
力制御手段１０３にそれぞれ入力される。Next, in step S4, the difference value is further compared with a threshold value β (threshold value α <threshold value β) in order to detect the amount of synchronization shift time of the audio reproduction. When the difference value is smaller than the threshold value β (threshold value α <the difference value <threshold value β) from the comparison result, it is determined that the sound reproduction is slightly delayed with respect to the reference time, and the decoding processing of one sound frame is performed. A skip signal SK for skipping is output. The skip signal SK is input to the audio decoding unit 102 and the audio output control unit 103, respectively.
【００２４】入力されたスキップ信号ＳＫにより、上記
音声復号化手段１０２は、現在処理中の１音声フレーム
の音声データの復号処理を中止し、同時に上記音声出力
制御手段１０３は、現在出力中の音声再生データＲの出
力を停止する。In response to the input skip signal SK, the audio decoding means 102 stops decoding the audio data of one audio frame currently being processed, and at the same time, the audio output control means 103 outputs the currently output audio signal. The output of the reproduction data R is stopped.
【００２５】その後、音声復号化手段１０２は、入力さ
れた音声符号化データＡに対して、パケットヘッダのみ
の解析を行なう。そのパケットヘッダの解析結果から、
次の音声フレームの先頭データがそのパケット中に存在
しない場合、そのパケットの全データを廃棄し、次のパ
ケットヘッダの解析を行なう。同様の処理を繰り返し、
パケット中に次の音声フレームの先頭データがあること
を検出した場合、その音声フレームの復号処理を開始
し、通常の処理状態に戻る。音声復号化手段１０２で復
号処理された次の音声フレームの音声データは、音声出
力制御手段１０３によって、音声再生データＲとして出
力される。After that, the audio decoding means 102 analyzes only the packet header of the input audio encoded data A. From the analysis result of the packet header,
If the head data of the next voice frame does not exist in the packet, all data of the packet is discarded and the next packet header is analyzed. Repeat the same process,
When it is detected that there is the head data of the next audio frame in the packet, decoding processing of the audio frame is started, and the process returns to the normal processing state. The audio data of the next audio frame decoded by the audio decoding unit 102 is output as audio reproduction data R by the audio output control unit 103.
【００２６】また、上記スッテプＳ４において上記差分
値と閾値βの比較結果から上記差分値が閾値β以上（閾
値β＜上記差分値）の場合は、音声の再生が基準時刻に
対して大きく遅れていると判断し、この場合、時刻情報
比較手段２０２は音声バッファメモリ１０１，音声復号
化手段１０２，及び音声出力制御手段１０３に対してバ
ッファクリア信号ＣＬＲを出力する。In step S4, if the difference value is equal to or larger than the threshold value β (threshold value β <the difference value) based on the comparison result between the difference value and the threshold value β, the sound reproduction is greatly delayed with respect to the reference time. In this case, the time information comparing unit 202 outputs a buffer clear signal CLR to the audio buffer memory 101, the audio decoding unit 102, and the audio output control unit 103.
【００２７】このバッファクリア信号ＣＬＲにより、音
声バッファメモリ１０１はメモリ内の全データをクリア
し、同時に音声復号化手段１０２は、現在処理中の１音
声フレームの音声データの復号処理を中止し、さらに同
時に音声出力制御手段１０３は、現在出力中の音声再生
データＲの出力を停止する。With this buffer clear signal CLR, the audio buffer memory 101 clears all data in the memory, and at the same time, the audio decoding means 102 stops decoding audio data of one audio frame currently being processed. At the same time, the audio output control means 103 stops outputting the audio reproduction data R currently being output.
【００２８】その後、音声復号化手段１０２は、音声バ
ッファメモリ１０１を通して入力された音声符号化デー
タＡに対して、パケットヘッダのみの解析を行なう。そ
のパケットヘッダの解析結果から、次の音声フレームの
先頭データがそのパケット中に存在しない場合、そのパ
ケットの全データを廃棄し、次のパケットヘッダの解析
を行なう。同様の処理を繰り返し、パケット中に次の音
声フレームの先頭データがあることを検出した場合、そ
の音声フレームの復号処理を開始し、通常処理状態に戻
る。音声復号化手段１０２で復号処理された次の音声フ
レームの音声データは、音声出力制御手段１０３によっ
て、音声再生データＲとして出力される。Thereafter, the audio decoding means 102 analyzes only the packet header of the encoded audio data A input through the audio buffer memory 101. From the analysis result of the packet header, if the head data of the next audio frame does not exist in the packet, all data of the packet are discarded and the analysis of the next packet header is performed. The same processing is repeated, and when it is detected that the head data of the next audio frame exists in the packet, the decoding processing of the audio frame is started, and the process returns to the normal processing state. The audio data of the next audio frame decoded by the audio decoding unit 102 is output as audio reproduction data R by the audio output control unit 103.
【００２９】さらに、復号処理の再開直後の時刻情報か
ら、音声の再生がまだ遅れていると判断した場合には、
その同期ずれ量に合わせて、スキップ処理とバッファク
リア処理を再度行なう。Further, if it is determined from the time information immediately after the restart of the decoding process that the reproduction of the sound is still delayed,
The skip processing and the buffer clear processing are performed again according to the amount of synchronization deviation.
【００３０】このように、本実施の形態による音声同期
再生装置によれば、音声の再生が基準時刻に対して少し
遅れていると判断した場合（上記差分値が閾値α以上
で、かつ閾値β未満である。）には、１音声フレームの
復号処理をスキップすることで同期合わせを行ない、一
方、音声の再生が基準時刻に対して大きく遅れていると
判断した場合（上記差分値が閾値βを超える。）には、
先ず音声バッファメモリ単位でデータをスキップして、
基準時刻に対する音声再生の遅れ時間を小さくした後、
１音声フレーム単位のスキップ処理で精度良く同期合わ
せを行なう。したがって、以上の処理により、図５に示
すような従来の音声同期再生装置で問題であったところ
の音声が基準時刻に対して大きく遅れた場合の同期合わ
せまでの処理時間を、本実施の形態による音声同期再生
装置では、大幅に短縮することができる効果が得られ
る。As described above, according to the audio synchronous reproducing apparatus of the present embodiment, when it is determined that the audio reproduction is slightly delayed from the reference time (the difference value is equal to or larger than the threshold α and the threshold β ), The synchronization is performed by skipping the decoding process of one audio frame, and when it is determined that the audio reproduction is greatly delayed with respect to the reference time (when the difference value is equal to the threshold value β). Exceeds.)
First, skip data in audio buffer memory units,
After reducing the delay time of audio playback from the reference time,
Synchronization is performed accurately by skip processing in units of one audio frame. Therefore, according to the above-described processing, the processing time until synchronization, which is a problem in the conventional audio synchronous reproduction apparatus as shown in FIG. In the audio synchronous reproduction device according to the first aspect, an effect that can be greatly reduced can be obtained.
【００３１】なお、上述した実施の形態において、音声
出力制御手段１０３は、現在出力中の音声再生データの
出力を停止するようにしているが、最後に出力した音声
再生データを繰り返し出力するものであってもよく、こ
の場合、同期処理時間には影響なく同期合わせまでの処
理時間を短縮できることは言うまでもない。In the above-described embodiment, the audio output control means 103 stops outputting the currently reproduced audio reproduction data. However, the audio output control means 103 repeatedly outputs the last reproduced audio reproduction data. In this case, it goes without saying that the processing time up to synchronization can be reduced without affecting the synchronization processing time.
【００３２】また、上述した実施の形態における基準時
刻情報Ｔは、特に限定したものではなく、同期再生して
いる画像の時刻情報や外部生成されたものであってもよ
い。また、上記閾値α，閾値βも上記基準時刻情報Ｔの
値などを考慮して適宜に決定することができる。The reference time information T in the above-described embodiment is not particularly limited, and may be time information of an image being synchronously reproduced or generated externally. Further, the thresholds α and β can be appropriately determined in consideration of the value of the reference time information T and the like.
【００３３】[0033]
【発明の効果】以上のように、本発明による音声同期再
生装置では、その時刻情報管理手段は、音声時刻情報と
基準時刻情報との差分をとり、その差分値と、あらかじ
め設定しておいた２つの閾値α，β（α＜β）とを比較
し、この比較結果から音声再生が、上記基準時刻情報に
対して閾値α未満の同期が合っている状態と判断した場
合には、音声再生データの出力を指令する音声フレーム
出力信号を上記音声出力制御手段へ出力し、上記基準時
刻情報に対して閾値α以上で、かつ閾値β未満の遅れが
発生している状態と判断した場合には、１音声フレーム
の復号処理をスキップさせるスキップ信号を上記音声復
号化手段，および上記音声出力制御手段へ出力し、上記
基準時刻情報に対して閾値β以上の遅れが発生している
と判断した場合には、上記音声出力制御手段による音声
再生データの出力を停止し、同時に上記音声復号化手段
での復号処理の停止，および上記音声バッファメモリ中
の全データをクリアすることを指令するバッファクリア
信号を上記音声バッファメモリ，上記音声復号化手段，
および上記音声出力制御手段に出力するものであるの
で、これにより、音声の再生が基準時刻に対して少し遅
れていると判断した場合には、１音声フレームの復号処
理をスキップすることで同期合わせを行ない、一方、音
声の再生が基準時刻に対して大きく遅れていると判断し
た場合には、先ず音声バッファメモリ単位でデータをス
キップして、基準時刻に対する音声再生の遅れ時間を小
さくした後、１音声フレーム単位のスキップ処理で精度
良く同期合わせを行なうことにより、同期合わせまでの
処理時間を短縮することが実現できるものが得られると
いう効果がある。As described above, in the audio synchronous reproduction apparatus according to the present invention, the time information management means calculates the difference between the audio time information and the reference time information, and sets the difference value in advance. The two threshold values α and β (α <β) are compared, and if it is determined from the result of the comparison that the audio reproduction is synchronized with the reference time information below the threshold α, the audio reproduction is performed. When an audio frame output signal for instructing data output is output to the audio output control means, and it is determined that a delay of not less than the threshold α and less than the threshold β has occurred with respect to the reference time information, (1) When a skip signal for skipping the decoding processing of one audio frame is output to the audio decoding means and the audio output control means, and it is determined that the reference time information is delayed by a threshold β or more. To the top The output of the sound reproduction data by the sound output control means is stopped, and at the same time, the buffer clear signal for instructing the stop of the decoding processing by the sound decoding means and the clearing of all data in the sound buffer memory is transmitted to the sound. Buffer memory, the audio decoding means,
And output to the audio output control means, so that when it is determined that audio reproduction is slightly delayed from the reference time, decoding processing of one audio frame is skipped to perform synchronization. On the other hand, if it is determined that the sound reproduction is significantly delayed with respect to the reference time, data is skipped in units of the sound buffer memory first, and the sound reproduction delay time with respect to the reference time is reduced. By performing synchronization with high accuracy by skip processing in units of one audio frame, there is an effect that a processing that can reduce the processing time until synchronization is obtained.
【図１】 本発明による実施の形態の音声同期再生装置
の構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of an audio synchronous reproduction device according to an embodiment of the present invention.
【図２】 図１中の時刻情報管理手段の構成を示すブロ
ック図である。FIG. 2 is a block diagram showing a configuration of time information management means in FIG.
【図３】 図１中の時刻情報管理手段の動作を示すフロ
ーチャート図である。FIG. 3 is a flowchart showing the operation of the time information management means in FIG. 1;
【図４】 音声符号化データの構成を示す構成図であ
る。FIG. 4 is a configuration diagram showing a configuration of encoded audio data.
【図５】 従来の音声同期再生装置の構成を示すブロッ
ク図である。FIG. 5 is a block diagram showing a configuration of a conventional audio synchronous reproduction device.
１０１ 音声バッファメモリ １０２ 音声復号化手段 １０３ 音声出力制御手段 １０４ 時刻情報管理手段 ２０１ 時刻情報管理手段中の基準時刻情報管理手段 ２０２ 時刻情報管理手段中の時刻情報比較手段 ２０３ 時刻情報管理手段中の音声時刻情報管理手段 ５０１ 音声バッファメモリ ５０２ 音声復号化手段 ５０３ 音声出力制御手段 ５０４ 時刻情報管理手段 Ａ 音声符号化データ Ｆ 音声フレーム出力信号 Ｒ 音声再生データ出力 Ｔ 基準時刻情報 ＳＫ スキップ信号 ＴＡ 音声時刻情報 ＣＬＲ バッファクリア信号 Reference Signs List 101 voice buffer memory 102 voice decoding means 103 voice output control means 104 time information management means 201 reference time information management means in time information management means 202 time information comparison means in time information management means 203 voice in time information management means Time information management means 501 Audio buffer memory 502 Audio decoding means 503 Audio output control means 504 Time information management means A Audio encoded data F Audio frame output signal R Audio reproduction data output T Reference time information SK skip signal TA Audio time information CLR Buffer clear signal
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 19/00 H04N 5/91 - 5/956 H04N 7/04,7/045 Continuation of the front page (58) Field surveyed (Int.Cl. 7 , DB name) G10L 19/00 H04N 5/91-5/956 H04N 7 / 04,7 / 045
Claims (1)
バッファメモリと、 音声符号化データを復号する音声復号化手段と、 復号化した音声データの再生すべき時刻を示す音声時刻
情報と基準時刻情報を管理する時刻情報管理手段と、 音声再生データの出力開始，および出力停止を制御する
音声出力制御手段とを具備し、 上記時刻情報管理手段は、音声時刻情報と基準時刻情報
との差分をとり、その差分値と、あらかじめ設定してお
いた２つの閾値α，β（α＜β）とを比較し、この比較
結果から音声再生が、 上記基準時刻情報に対して閾値α未満の同期が合ってい
る状態と判断した場合には、音声再生データの出力を指
令する音声フレーム出力信号を上記音声出力制御手段へ
出力し、 上記基準時刻情報に対して閾値α以上で、かつ閾値β未
満の遅れが発生している状態と判断した場合には、１音
声フレームの復号処理をスキップさせるスキップ信号を
上記音声復号化手段，および上記音声出力制御手段へ出
力し、 上記基準時刻情報に対して閾値β以上の遅れが発生して
いると判断した場合には、上記音声出力制御手段による
音声再生データの出力を停止し、同時に上記音声復号化
手段での復号処理の停止，および上記音声バッファメモ
リ中の全データをクリアすることを指令するバッファク
リア信号を上記音声バッファメモリ，上記音声復号化手
段，および上記音声出力制御手段に出力するものである
ことを特徴とする音声同期再生装置。An audio buffer memory for storing input audio encoded data, audio decoding means for decoding the encoded audio data, audio time information indicating a time at which the decoded audio data is to be reproduced, and a reference time. Time information management means for managing information; and audio output control means for controlling output start and output stop of audio reproduction data, wherein the time information management means calculates a difference between audio time information and reference time information. Then, the difference value is compared with two preset thresholds α and β (α <β), and based on the comparison result, audio reproduction is performed, and synchronization with the reference time information less than the threshold α is determined. If it is determined that they match, an audio frame output signal for instructing the output of audio reproduction data is output to the audio output control means, and the reference time information is equal to or greater than the threshold α and the threshold β is not satisfied. When it is determined that a delay has occurred, a skip signal for skipping the decoding process of one audio frame is output to the audio decoding means and the audio output control means, If it is determined that a delay equal to or greater than the threshold value β has occurred, the output of the audio reproduction data by the audio output control means is stopped, and at the same time, the decoding processing by the audio decoding means is stopped, and the audio buffer memory is stopped. An audio synchronous reproduction apparatus for outputting a buffer clear signal for instructing to clear all data in the audio buffer memory, the audio decoding means, and the audio output control means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18390797A JP3165661B2 (en) | 1997-07-09 | 1997-07-09 | Audio synchronized playback device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18390797A JP3165661B2 (en) | 1997-07-09 | 1997-07-09 | Audio synchronized playback device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1132302A JPH1132302A (en) | 1999-02-02 |
| JP3165661B2 true JP3165661B2 (en) | 2001-05-14 |
Family
ID=16143910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18390797A Expired - Fee Related JP3165661B2 (en) | 1997-07-09 | 1997-07-09 | Audio synchronized playback device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3165661B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4511860B2 (en) * | 2004-03-29 | 2010-07-28 | 日本電気株式会社 | ADTS frame audio FS circuit, AAC re-encoder circuit, and audio FS circuit |
-
1997
- 1997-07-09 JP JP18390797A patent/JP3165661B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1132302A (en) | 1999-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3106987B2 (en) | Audio / video synchronous playback device | |
| JP3063838B2 (en) | Audio / video synchronous playback apparatus and method | |
| US6512884B1 (en) | Method and apparatus for synchronized play back of audio-video signals | |
| US20010050958A1 (en) | Decoding method and apparatus and recording method and apparatus for moving picture data | |
| US7158187B2 (en) | Audio video reproduction apparatus, audio video reproduction method, program, and medium | |
| KR100490403B1 (en) | Method for controlling buffering of audio stream and apparatus thereof | |
| JPH0965303A (en) | Video sound signal synchronization method and its device | |
| JP3558983B2 (en) | Digital broadcast recording and playback device | |
| JP4096915B2 (en) | Digital information reproducing apparatus and method | |
| JP3159098B2 (en) | Synchronized playback device for image and audio | |
| JP3165661B2 (en) | Audio synchronized playback device | |
| JP2000078531A (en) | Method and system for editing audio data | |
| JPH11353804A (en) | Recording and reproducing apparatus and method therefor, and providing medium | |
| US6157770A (en) | Moving picture data reproduction controlling system and method for reproducing moving picture data having block elements and minimum elements each with headers | |
| JP3491533B2 (en) | Method and apparatus for reproducing digital audio data | |
| JP2000278643A (en) | Data conversion device | |
| JPH10271482A (en) | Synchronous reproduction control method and system for coded video | |
| JP3917346B2 (en) | Image decoding apparatus and image decoding method | |
| JP3986147B2 (en) | Acoustic signal processing apparatus and audio high-speed playback method | |
| US10262690B2 (en) | Signal processing device, signal processing system, signal processing method, and program | |
| JP2002033712A (en) | Packet processor and packet output method therefor | |
| JP4038872B2 (en) | Video signal encoding system | |
| JP2000287172A (en) | Picture data processor | |
| US7072572B2 (en) | Method of and apparatus for merging bit streams for seamless reproduction, and recording medium for recording control information for bit stream merging | |
| JPH10164512A (en) | Data-processing synchronization device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080302 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090302 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100302 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140302 Year of fee payment: 13 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |