JP2998786B2 - Method and apparatus for synchronous reproduction of video and audio - Google Patents
Method and apparatus for synchronous reproduction of video and audioInfo
- Publication number
- JP2998786B2 JP2998786B2 JP33709695A JP33709695A JP2998786B2 JP 2998786 B2 JP2998786 B2 JP 2998786B2 JP 33709695 A JP33709695 A JP 33709695A JP 33709695 A JP33709695 A JP 33709695A JP 2998786 B2 JP2998786 B2 JP 2998786B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- decoding
- audio
- unit
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Time-Division Multiplex Systems (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像音声の同期再
生方法及び装置に関し、特に圧縮符号化された画像デー
タと音声データとをリアルタイムで同期させて再生する
画像音声の同期再生方法及び装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for synchronously reproducing image and audio, and more particularly to a method and apparatus for synchronously reproducing image and audio for synchronizing and reproducing compression-encoded image data and audio data in real time. .
【０００２】[0002]
【従来の技術】従来の画像音声の同期再生方式では、画
像と音声をそれぞれ符号化して記録する際、または送信
する際に、それぞれの符号化データの中に同期コードを
挿入しておき、復号再生を行うとき、これらの同期コー
ドを参照して、画像データと音声データとの同期再生を
行っている。2. Description of the Related Art In a conventional synchronous reproduction method of an image and a sound, when an image and a sound are respectively encoded and recorded or transmitted, a synchronization code is inserted into each encoded data and decoded. When performing the reproduction, the synchronous reproduction of the image data and the audio data is performed with reference to these synchronization codes.
【０００３】例えば、特開昭６３−２０５８４９号公報
には、画像データを記録する光ディスクと、音声データ
を記録する磁気テープとに、それぞれデータを記録する
と共に同期コードを記録しておき、再生時に両者のコー
ドを比較することにより、画像及び音声を同期的に再生
する、視覚及び聴覚情報再生装置が開示されている。For example, Japanese Patent Application Laid-Open No. 63-205849 discloses that an optical disk for recording image data and a magnetic tape for recording audio data respectively record data and a synchronization code on the optical disk. A visual and auditory information reproducing apparatus that synchronously reproduces an image and a sound by comparing both codes is disclosed.
【０００４】また、動画符号化方式の国際標準委員会
（ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１）に
よって議論され標準化されている圧縮符号化方式では、
画像データ及び音声データを圧縮符号化する際に、それ
ぞれ符号化データの区切りにタイムコードを挿入し、復
号再生時に復号装置がもつ基準クロックと比較すること
により同期再生を行うようにしている。[0004] Further, in a compression coding system which has been discussed and standardized by the International Standard Committee on Moving Picture Coding Systems (ISO-IEC / JTC1 / SC29 / WG11),
At the time of compressing and encoding image data and audio data, a time code is inserted at the end of each of the encoded data, and at the time of decoding and reproducing, the data is compared with a reference clock of the decoding device to perform synchronous reproduction.
【０００５】[0005]
【発明が解決しようとする課題】従来の画像音声の同期
再生方式は、符号化データに予め挿入されている同期コ
ードを再生時に参照することによって、画像と音声との
同期再生を行っている。ここで、同期コードは、符号デ
ータ中に細かく挿入されており、同期制御を行う同期制
御部をソフトウェアで構成する場合には、処理が繁雑と
なり、演算処理装置における演算負荷が大きいという問
題点がある。In the conventional synchronous reproduction method of video and audio, synchronous reproduction of an image and audio is performed by referring to a synchronization code inserted in encoded data in advance at the time of reproduction. Here, the synchronization code is finely inserted into the code data, and when the synchronization control unit for performing the synchronization control is configured by software, the processing becomes complicated and the calculation load on the processing unit is large. is there.
【０００６】また、上記問題を解決しようと、同期コー
ドを参照して同期制御する専用の制御回路を設ける場合
には、回路が複雑でかつ規模が大ききなるという問題点
がある。In order to solve the above problem, if a dedicated control circuit for performing synchronization control with reference to a synchronization code is provided, there is a problem that the circuit becomes complicated and large in scale.
【０００７】本発明は、繁雑な演算処理または大規模な
制御回路を必要とする同期コードを用いる同期制御を行
うことなく、画像と音声とを同期させて再生することが
できる画像音声の同期再生方式を提供することを目的と
する。SUMMARY OF THE INVENTION The present invention provides a synchronous reproduction of an image and a sound which can reproduce the image and the sound in a synchronized manner without performing a synchronous control using a synchronization code requiring a complicated arithmetic processing or a large-scale control circuit. The aim is to provide a scheme.
【０００８】[0008]
【課題を解決するための手段】本発明によれば、ディジ
タル符号化された画像データ及び音声データが多重化さ
れた符号化データから、前記画像データと前記音声デー
タとを分離抽出し、該画像データと該音声データとを同
期させて復号再生する画像音声の同期再生方法におい
て、前記画像データ及び前記音声データのうち少なくと
も前記音声データに関して、データを蓄積手段に蓄積す
るとともに、該蓄積手段から前記データを順次読み出し
て復号を行いつつ、前記蓄積手段の蓄積量を監視して該
蓄積量が所定の範囲内に納まるように復号すべきデータ
の読み飛ばし及び復号処理の繰り返しを行うようにした
ことを特徴とする画像音声の同期再生方法が得られる。According to the present invention, the image data and the audio data are separated and extracted from encoded data in which digitally encoded image data and audio data are multiplexed. In a method for synchronously reproducing an image and a sound in which data and the sound data are decoded and reproduced in synchronization with each other, at least the sound data of the image data and the sound data is stored in a storage means, and the data is stored in the storage means. While reading and decoding data sequentially, the storage amount of the storage means is monitored, and skipping of data to be decoded and repetition of decoding processing are performed so that the storage amount falls within a predetermined range. Thus, a method for synchronously reproducing an image and a sound is obtained.
【０００９】ここで、前記データの読み飛ばし及び復号
処理の繰り返しは、前記蓄積手段への書き込み及び読み
出しの際の１単位分のデータを１単位として行うことが
できる。また、前記所定の範囲は、符号化側で前記符号
化データに含ませた設定値によって決定することができ
る。Here, the skipping of the data and the repetition of the decoding process can be performed with one unit of data at the time of writing and reading to the storage means as one unit. Further, the predetermined range can be determined by a setting value included in the encoded data on the encoding side.
【００１０】また、本発明によれば、ディジタル符号化
された画像データ及び音声データが多重化された符号化
データから、前記画像データと前記音声データとを分離
抽出し、該画像データと該音声データとを同期させて復
号再生する画像音声の同期再生装置において、前記画像
データと前記音声データとをそれぞれ蓄積する蓄積手段
と、該蓄積手段から前記画像データと前記音声データを
それぞれ読み出して復号処理を行う復号手段と、前記蓄
積手段のデータ蓄積量をそれぞれ監視する監視手段と、
該監視手段からの監視結果に基づいて前記復号手段をそ
れぞれ制御して前記蓄積手段に蓄積されるデータの蓄積
量が所定範囲内に納まるようにする蓄積量制御手段とを
有することを特徴とする画像音声の同期再生装置が得ら
れる。According to the present invention, the image data and the audio data are separated and extracted from the encoded data in which the digitally encoded image data and audio data are multiplexed, and the image data and the audio data are separated. In an image / synchronous reproduction apparatus for decoding and reproducing data in synchronization with data, a storage unit for storing the image data and the audio data respectively, and reading out the image data and the audio data from the storage unit, respectively, and performing decoding processing Decoding means for performing the following, and monitoring means for respectively monitoring the data storage amount of the storage means,
Storage amount control means for controlling each of the decoding means based on the monitoring result from the monitoring means so that the storage amount of the data stored in the storage means falls within a predetermined range. As a result, a synchronous playback apparatus for video and audio can be obtained.
【００１１】具体的には、蓄積量制御手段は、前記蓄積
手段のデータ蓄積量が前記所定の範囲を越えたときにデ
ータの読み飛ばしを行い、前記データ蓄積量が前記所定
範囲を下回った場合に読み込んだデータの復号処理を繰
り返すように、前記復号手段を制御する。More specifically, the storage amount control means skips data reading when the data storage amount of the storage means exceeds the predetermined range, and when the data storage amount falls below the predetermined range. The decoding means is controlled so as to repeat the decoding process of the data read into the memory.
【００１２】また、前記監視手段は、前記蓄積手段の書
き込み側ポインタと読み出し側ポインタとがそれぞれ示
す書き込みアドレスと読み出しアドレスとの差を求める
減算手段と、前記所定範囲を示す設定値を記憶する記憶
手段と、前記減算手段の減算結果と前記記憶手段の記憶
内容とを比較し、前記蓄積量制御手段に割り込みを発生
する比較手段とを有している。The monitoring means includes subtraction means for calculating a difference between a write address and a read address indicated by a write pointer and a read pointer of the storage means, and storage for storing a set value indicating the predetermined range. Means for comparing the subtraction result of the subtraction means with the contents stored in the storage means, and generating an interrupt to the accumulation amount control means.
【００１３】ここで、前記データの読み飛ばし及び復号
処理の繰り返しは、前記蓄積手段への書き込み及び読み
出しの際の１単位分のデータに対して行うようにするこ
とができる。Here, the skipping of the data and the repetition of the decoding process can be performed for one unit of data at the time of writing and reading to the storage means.
【００１４】また、前記監視手段及び前記蓄積量制御手
段のうち、前記画像データに対応する前記監視手段及び
前記蓄積量制御手段に代えて、前記符号データから復号
クロック情報を検出して復号クロックを生成し、前記復
号手段のうちの前記画像データに対応する復号手段に前
記復号クロックを供給するクロックリカバリ手段を設け
ることもできる。Also, of the monitoring means and the storage amount control means, instead of the monitoring means and the storage amount control means corresponding to the image data, decoding clock information is detected from the code data to decode the decoding clock. Clock recovery means for generating and supplying the decoding clock to the decoding means corresponding to the image data among the decoding means may be provided.
【００１５】[0015]
【作用】符号化データ蓄積部には、多重化データ分離部
から一定の入力レートで符号化データが入力され蓄積さ
れる。一旦、蓄積された符号化データは、復号部に読み
出され、復号処理される。復号処理において先行や遅延
が無ければ、符号化データ蓄積部における出力レートは
入力レートに等しくなり、データ蓄積量は変化しない。
したがって、データ蓄積量が一定になるように復号部を
制御すれば、同期コードを参照すること無く、同期再生
を実行できる。The coded data storage unit receives and stores coded data from the multiplexed data separation unit at a constant input rate. The temporarily stored coded data is read out by the decoding unit and subjected to decoding processing. If there is no precedence or delay in the decoding process, the output rate in the encoded data storage unit becomes equal to the input rate, and the data storage amount does not change.
Therefore, if the decoding unit is controlled so that the data storage amount is constant, synchronous reproduction can be performed without referring to the synchronization code.
【００１６】[0016]
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１に本発明の画像音声の
同期再生方式の第１の実施の形態を示す。図１に示す画
像音声の同期再生方式は、多重データ分離部１１、符号
化データ蓄積部１２、符号化データ蓄積量監視部１３、
符号化データ蓄積量制御部１４、及び復号部１５を有し
ている。なお、図１には、符号化データ蓄積部１２、符
号化データ蓄積量監視部１３、符号化データ蓄積量制御
部１４、及び復号部１５が、１個づつしか示されていな
いが、実際には、画像と音声に対応するように、２個づ
つ設けられている。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a first embodiment of the video / audio synchronous reproduction system of the present invention. The video / audio synchronous reproduction method shown in FIG. 1 includes a multiplexed data separation unit 11, an encoded data accumulation unit 12, an encoded data accumulation amount monitoring unit 13,
It has an encoded data storage amount control unit 14 and a decoding unit 15. Note that FIG. 1 shows only one coded data storage unit 12, one coded data storage amount monitoring unit 13, one coded data storage amount control unit 14, and one decoding unit 15. , Two for each image and sound.
【００１７】画像信号及び音声信号を符号化し、得られ
た符号化データを多重した多重化データは、入力端子Ｉ
Ｎを介し、一定のレートで多重化データ分離部１１に入
力される。多重化データ分離部１１は、入力された多重
化データを画像符号化データ及び音声符号化データに分
離する。分離された画像符号化データ及び音声符号化デ
ータは、それぞれ符号化データ蓄積部１２に蓄積され
る。蓄積された符号化データは、復号部５によって読み
出され、復号処理され、出力端子ＯＵＴへ出力される。The multiplexed data obtained by coding the image signal and the audio signal and multiplexing the obtained coded data is supplied to an input terminal I.
The data is input to the multiplexed data separation unit 11 at a constant rate via N. The multiplexed data separation unit 11 separates the input multiplexed data into image encoded data and audio encoded data. The separated encoded image data and encoded audio data are stored in the encoded data storage unit 12, respectively. The stored encoded data is read by the decoding unit 5, subjected to decoding processing, and output to the output terminal OUT.
【００１８】ここで、画像と音声との同期が時間経過と
共に徐々にずれていく現象について考える。画像と音声
との間で同期がずれるのは、一方の復号処理が他方の復
号処理に比べて先行したり遅延したりするために発生す
る。この現象は、画像及び音声のそれぞれについて、符
号化データ蓄積部１２に対する符号化データの入力レー
トと出力レートとの間に差が生じるために発生すると考
えることも事実上問題ない。つまり、画像及び音声のそ
れぞれについて、符号化データ蓄積部１２に対する符号
化データの入力レートと、出力レートとが完全に等しけ
れば同期外れが発生するようなことはない。Here, consider a phenomenon in which the synchronization between the image and the sound gradually shifts with time. The out-of-synchronization between the image and the audio occurs because one decoding process is ahead of or delayed from the other decoding process. There is practically no problem that this phenomenon occurs because a difference occurs between the input rate and the output rate of the encoded data to the encoded data storage unit 12 for each of the image and the audio. That is, if the input rate of the encoded data to the encoded data storage unit 12 and the output rate are completely equal for each of the image and the audio, no loss of synchronization occurs.
【００１９】そこで、符号化データ蓄積部１２のデータ
の蓄積量に着目する。符号化データ蓄積部１２に対する
符号化データの入力レートと、出力レートとが等しけれ
ばそん符号化データ蓄積量は変化しない。また、入力レ
ートよりも出力レートが大きければ蓄積量は減少し、入
力レートよりも出力レートが小さければ蓄積量は増加す
る。したがって、符号化データ蓄積部１２に対する入力
レートが一定であれば、符号化データ蓄積部１２のデー
タ蓄積量の変化を検出することにより、出力レートの変
化、即ち、復号部１５の処理の先行／遅延を知ることが
できる。Therefore, attention is paid to the amount of data stored in the encoded data storage unit 12. If the input rate of the encoded data to the encoded data storage unit 12 and the output rate are equal, the encoded data accumulation amount does not change. If the output rate is higher than the input rate, the storage amount decreases, and if the output rate is lower than the input rate, the storage amount increases. Therefore, if the input rate to the encoded data storage unit 12 is constant, by detecting a change in the amount of data stored in the encoded data storage unit 12, a change in the output rate, that is, the preceding / previous state of the processing of the decoding unit 15, You can know the delay.
【００２０】この画像音声の同期再生方式では、符号化
側において、符号化データ蓄積部１２に入力される画像
及び音声の符号化データの入力レートが各々一定となる
ように多重化しておく。このとき、多重化信号には、復
号部１５における処理の先行及び遅延の許容値を示す信
号、すなわち、符号化データ蓄積部１２の蓄積量許容値
を表わす信号も含ませておく。In the video / audio synchronous reproduction method, the coding side multiplexes the input data of the coded data of the image and the voice input to the coded data storage unit 12 so that the input rates are constant. At this time, the multiplexed signal also includes a signal indicating a permissible value of advance and delay of the processing in the decoding unit 15, that is, a signal indicating a permissible value of the storage amount of the encoded data storage unit 12.
【００２１】符号化データ蓄積量監視部１３には、多重
化データ分離部１１において分離された蓄積量許容値を
表わす信号が入力される。そして、符号化データ蓄積量
監視部１３は、符号化データ蓄積部１２に蓄積された符
号化データの蓄積量を監視し、この蓄積量が蓄積量許容
値を越えた場合、あるいは０となった場合に、符号化デ
ータ蓄積量制御部１４にそのことを通知する。The coded data storage amount monitoring unit 13 receives a signal representing the allowable storage amount separated by the multiplexed data separation unit 11. Then, the coded data storage amount monitoring unit 13 monitors the storage amount of the coded data stored in the coded data storage unit 12, and when the storage amount exceeds the storage amount allowable value or becomes zero. In this case, the coded data storage amount control unit 14 is notified of the fact.
【００２２】以下、符号化データ蓄積量監視部１３の動
作を詳述する。まず、符号化データ蓄積部１２が、図２
に示すメモリ容量（点ａ＝０）を有しており、多重化デ
ータ分離部１１からの信号により蓄積量許容値が点ｂで
あると定められたとする。そして、符号化データ蓄積部
１２の符号化データ蓄積量がａ点とｂ点との中間に達し
たときに復号化処理が開始されたとする。このとき、符
号化データ蓄積部１２に対する符号化データの入力レー
トと出力レートとが完全に等しい、即ち、復号処理に先
行や遅延が無ければ、符号化データ蓄積部１２の符号化
データ蓄積量は変化しない。実際には、入力レートと出
力レートとが完全に一致することはほとんどなく、符号
化データ蓄積部１２の符号化データ蓄積量（点ｃで示
す）は点ａと点ｂとの間で遷移する。Hereinafter, the operation of the encoded data storage amount monitoring unit 13 will be described in detail. First, the encoded data storage unit 12 is configured as shown in FIG.
It is assumed that the memory capacity (point a = 0) shown in FIG. 2 is provided, and that the accumulation amount allowable value is determined to be point b by a signal from the multiplexed data separation unit 11. Then, it is assumed that the decoding process is started when the amount of encoded data stored in the encoded data storage unit 12 reaches an intermediate point between the points a and b. At this time, the input rate and output rate of the encoded data to the encoded data storage unit 12 are completely equal, that is, if there is no advance or delay in the decoding process, the encoded data storage amount of the encoded data storage unit 12 becomes It does not change. Actually, the input rate and the output rate hardly coincide completely, and the encoded data storage amount (indicated by point c) of the encoded data storage unit 12 transitions between points a and b. .
【００２３】ところが、符号化データ蓄積部１２に対す
る符号化データの入力レートに比べ出力レートが遅い場
合、すなわち、復号部１５での復号処理が遅い場合は、
符号化データ蓄積部１２の符号化データ蓄積量が徐々に
増加し、やがて点ｂ越えてしまう。逆に、符号化データ
蓄積部１２に対する符号化データの入力レートに比べ出
力レートが速い場合、すなわち、復号部１５での復号処
理が速い場合には、符号化データ蓄積部１２の符号化デ
ータ蓄積量が徐々に減少し、やがて点ａに達する（符号
化データ蓄積量が０（空）になる）。However, when the output rate is slower than the input rate of the encoded data to the encoded data storage unit 12, that is, when the decoding process in the decoding unit 15 is slow,
The coded data storage amount of the coded data storage unit 12 gradually increases, and eventually exceeds the point b. Conversely, when the output rate is higher than the input rate of the encoded data to the encoded data storage unit 12, that is, when the decoding process in the decoding unit 15 is fast, the encoded data storage unit 12 The amount gradually decreases and eventually reaches the point a (the amount of encoded data storage becomes 0 (empty)).
【００２４】符号化データ蓄積量監視部１３は、図３に
示すように、点ｃで表わされる符号化データ蓄積量が徐
々に増加して、点ｂ越えたときに、そのことを符号化デ
ータ蓄積量制御部１４に通知する。通知を受けた符号化
データ蓄積量制御部１４は、１アクセス単位（ＡＵ）分
の符号化データを飛ばして次の符号化データを読み込む
よう復号部１５を制御する。この制御により、符号化デ
ータ蓄積部１２の符号化データ蓄積量（点ｃ）は、図４
に示すように蓄積量許容範囲（点ａと点ｂとの間）に戻
る。As shown in FIG. 3, the coded data storage amount monitoring section 13 gradually increases the coded data storage amount represented by the point c and, when the coded data storage amount exceeds the point b, reports that fact to the coded data storage section. Notify the storage amount control unit 14. The coded data storage amount control unit 14 that has received the notification controls the decoding unit 15 to skip the coded data for one access unit (AU) and read the next coded data. By this control, the encoded data storage amount (point c) of the encoded data storage unit 12 is changed as shown in FIG.
As shown in (4), the process returns to the accumulation amount allowable range (between point a and point b).
【００２５】また、符号化データ蓄積量監視部１３は、
図５に示すように、点ｃで表わされる符号化データ蓄積
量が徐々に減少して、点ａに達したときに、そのことを
符号化データ蓄積量制御部１４に通知する。通知を受け
た符号化データ蓄積量制御部１４は、図６に示すよう
に、先に読み込んだ１アクセス単位（ＡＵ）分の符号化
データを再び読み込むよう復号部１５を制御する。Further, the encoded data storage amount monitoring unit 13
As shown in FIG. 5, when the coded data storage amount represented by the point c gradually decreases and reaches the point a, the fact is notified to the coded data storage amount control unit 14. As shown in FIG. 6, the encoded data storage amount control unit 14 that has received the notification controls the decoding unit 15 to reread the previously read encoded data for one access unit (AU).
【００２６】上述したように、本実施の形態の画像音声
の同期再生方式では、入力される符号化信号の入力レー
トを基準として、復号処理の速度を検出し、先行してい
るばあには同じ符号化データを再度復号処理し、遅延し
ている場合には復号処理を行わずに符号化データを破棄
するようにしたことで、実質的に一定の速度で復号処理
を行うことができるので、同期コードを利用すること無
く画像と音声との同期を取ることができる。As described above, in the video / synchronous reproduction system of the present embodiment, the speed of the decoding process is detected based on the input rate of the input coded signal, By decoding the same coded data again and discarding the coded data without decoding if it is delayed, the decoding process can be performed at a substantially constant speed. The image and the sound can be synchronized without using the synchronization code.
【００２７】次に図７を参照して本発明の第２の実施の
形態について説明する。図７の画像音声の同期再生方式
は、多重化データ分離部７１、音声符号化データ蓄積部
７２、音声符号化データ蓄積量参照回路７３、演算処理
部（ＣＰＵ）７４、音声復号部７５、画像符号化データ
蓄積部７６、クロックリカバリ部７７、及び画像復号部
７８を有している。Next, a second embodiment of the present invention will be described with reference to FIG. The video / audio synchronous reproduction method shown in FIG. 7 includes a multiplexed data separation unit 71, an encoded audio data storage unit 72, an encoded audio data storage amount reference circuit 73, an arithmetic processing unit (CPU) 74, an audio decoding unit 75, It has an encoded data storage unit 76, a clock recovery unit 77, and an image decoding unit 78.
【００２８】画像の符号化データと音声の符号化データ
とが多重化された多重化データは、入力端子ＩＮを介し
て、一定のレートで多重化データ分離部７１に入力され
る。多重化データ分離部７１では、入力された多重化デ
ータを画像符号化データと音声符号化データとに分離す
る。分離された符号化データはそれぞれ音声符号化デー
タ蓄積部７２と画像符号化データ蓄積部７６とに入力さ
れ蓄積される。音声符号化データ蓄積部７２に蓄積され
た音声符号化データは、音声復号部７５に読み出され、
復号処理されて音声復号化データ出力端子ＡＯＵＴへ出
力される。また、画像符号化データ蓄積部７６に蓄積さ
れた画像符号化データは、画像復号部７８に読み出さ
れ、復号処理されて画像符号化データ出力端子ＶＯＵＴ
へ出力される。The multiplexed data obtained by multiplexing the coded image data and the coded audio data is input to the multiplexed data separation unit 71 at a constant rate via the input terminal IN. The multiplexed data separation unit 71 separates the input multiplexed data into image encoded data and audio encoded data. The separated coded data is input to and stored in the voice coded data storage unit 72 and the video coded data storage unit 76, respectively. The encoded audio data stored in the encoded audio data storage unit 72 is read out to the audio decoding unit 75,
The decoded data is output to the audio decoded data output terminal AOUT. The encoded image data stored in the encoded image data storage unit 76 is read by the image decoding unit 78, subjected to decoding processing, and subjected to image encoded data output terminal VOUT.
Output to
【００２９】本実施の形態においても、第１の実施の形
態と同様に、音声符号化データ蓄積部７２の音声符号化
データ蓄積量が所定の範囲内に収まるように、音声復号
部７５を制御する。この制御については後述する。これ
に対して、画像符号化データについては、このような制
御は行わない。これは、この画像音声の同期再生方式
が、入力される多重化データとして、動画像符号化方式
の国際標準委員会（ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２
９／ＷＧ１１）にて標準化されている圧縮符号化方式に
よる多重化データを想定しているからである。つまり、
このような多重化データには、符号化側において音声符
号化データと画像符号化データとを多重する際に、画像
復号クロックの補正データが挿入されるので、この補正
データを用いて、符号化側と同一のクロック（画像復号
クロック）を生成することができるからである。図７の
画像音声の同期再生方式では、クロックリカバリ部７７
が、多重化データから分離された画像復号クロックの補
正データに基づいて画像復号クロックを生成する。この
画像復号クロックは、符号化側のクロックと完全に一致
している。画像復号部７８は、この画像復号クロックに
同期して画像符号化データの復号処理を行う。これによ
り、画像符号化データ蓄積部７６の入力レートと出力レ
ートとは一致する。In the present embodiment, similarly to the first embodiment, the audio decoding unit 75 is controlled so that the amount of encoded voice data stored in the encoded voice data storage unit 72 falls within a predetermined range. I do. This control will be described later. On the other hand, such control is not performed on the encoded image data. This is because the video and audio synchronous reproduction method uses the international standard committee of the moving image coding method (ISO-IEC / JTC1 / SC2) as input multiplexed data.
This is because multiplexed data using the compression coding method standardized in 9 / WG11) is assumed. That is,
In such multiplexed data, when multiplexing audio encoded data and image encoded data on the encoding side, correction data of an image decoding clock is inserted. This is because the same clock (image decoding clock) as that on the side can be generated. In the video / audio synchronous reproduction method shown in FIG.
Generates an image decoding clock based on the image decoding clock correction data separated from the multiplexed data. This image decoding clock completely matches the clock on the encoding side. The image decoding unit 78 performs a decoding process on the encoded image data in synchronization with the image decoding clock. Thus, the input rate and the output rate of the image encoded data storage unit 76 match.
【００３０】次に、音声符号化データの復号処理につい
て説明する。音声符号化データ蓄積量監視部７３は、図
８に示すように、減算器８１、蓄積量許容値格納部８
２、及び比較部８３を有している。そして、減算器８１
により音声符号化データ蓄積部７２のライントポインタ
（Write Pointer ）とリードポインタ（Read Pointer）
とが示すライトアドレスとリードアドレスとの差を求め
る。この差は、音声符号化データ蓄積部７２のデータの
蓄積量を表わしている。また、蓄積量許容値格納部８２
には、多重化データから分離された蓄積量許容値が格納
されている。比較部８３は、減算器８１からの減算結果
と、蓄積量許容値格納部８２に格納された蓄積量許容値
と比較し、音声符号化データ蓄積部７２のデータ蓄積量
が蓄積量許容範囲内に有るか否か判定する。そして、音
声符号化データ蓄積部７２のデータ蓄積量が、蓄積量許
容範囲内にない場合にＣＰＵ７４に対して割り込みを発
生する。即ち、比較部８３は、音声符号化データ蓄積部
７２のデータ蓄積量が、蓄積量許容値を越えた場合及び
データ蓄積量が０になった場合に、割り込みを発生す
る。Next, the decoding processing of the encoded audio data will be described. As shown in FIG. 8, the audio encoded data accumulation amount monitoring unit 73 includes a subtracter 81, an accumulation amount allowable value storage unit 8
2 and a comparison unit 83. And the subtractor 81
, The line pointer (Write Pointer) and the read pointer (Read Pointer) of the audio encoded data storage unit 72.
And the difference between the write address and the read address indicated by This difference indicates the amount of data stored in the encoded voice data storage unit 72. In addition, the storage amount allowable value storage unit 82
Stores an allowable storage amount value separated from the multiplexed data. The comparing unit 83 compares the result of the subtraction from the subtractor 81 with the allowable storage amount stored in the allowable storage amount storage unit 82, and determines that the data storage amount of the audio encoded data storage unit 72 is within the allowable storage amount range. Is determined. Then, when the data storage amount of the audio coded data storage unit 72 is not within the storage amount allowable range, an interrupt is issued to the CPU 74. That is, the comparing unit 83 generates an interrupt when the data storage amount of the audio coded data storage unit 72 exceeds the storage amount allowable value and when the data storage amount becomes zero.
【００３１】ＣＰＵ７４は、割り込みを受けとると、音
声復号部７５に対して、音声符号化データの１ＡＵ分の
読み飛ばし、または、繰り返し読み込みを指示し、音声
符号化データ蓄積部７２のデータ蓄積量が、蓄積量許容
範囲内に収まるように制御する。When receiving the interrupt, the CPU 74 instructs the audio decoding unit 75 to skip or repeat reading of one AU of the audio encoded data, and the data storage amount of the audio encoded data storage unit 72 is reduced. , So that the accumulated amount falls within the allowable range.
【００３２】なお、前述した委員会によって標準化され
た音声の圧縮符号化方式では、１ＡＵは、レイヤIIにお
いて、サンプリングにより得られる１１５２サンプル分
と規定されている。例えば、サンプリングレートが４８
ｋＨｚの場合で約２４ms分、４４．１ｋＨｚの場合で約
２６ms分、３２ｋＨｚの場合で約３６ms分である。In the audio compression coding system standardized by the committee described above, one AU is defined as 1152 samples obtained by sampling in layer II. For example, if the sampling rate is 48
This is about 24 ms for kHz, about 26 ms for 44.1 kHz, and about 36 ms for 32 kHz.
【００３３】本実施の形態による画像音声の同期再生方
式では、上述したように、画像符号化データ蓄積部にお
いて画像符号化データの入力レートと出力レートとの間
に差が生じるようなことはない。従って、画像と音声と
のずれは、音声側の先行／遅延のみによって生じる。In the video / audio synchronous reproduction system according to the present embodiment, as described above, there is no difference between the input rate and the output rate of the encoded image data in the encoded image data storage section. . Therefore, the difference between the image and the sound is caused only by the leading / delaying on the sound side.
【００３４】画像に対して音声の遅延が最大となるの
は、音声符号化データ蓄積部７２のデータ蓄積量が蓄積
量許容値に等しくなった場合（図２における点ｃが点ｂ
に一致したとき）である。また、画像に対して音声の先
行が最大となるのは、音声符号化データ蓄積部７３のデ
ータ蓄積量が０になった場合（図２における点ｃが点ａ
に一致したとき）である。The delay of the audio with respect to the image becomes the maximum when the data storage amount of the audio coded data storage unit 72 becomes equal to the allowable storage amount (point c in FIG. 2 corresponds to point b).
). In addition, the leading of the audio with respect to the image is the maximum when the data storage amount of the audio coded data storage unit 73 becomes 0 (point c in FIG.
).
【００３５】例えば、符号側において設定された音声符
号化データ蓄積部７２の蓄積量許容値が４ｋbyteであっ
て、音声符号化データ蓄積部７２の入力レートと出力レ
ートとが等しいときの音声符号化データ蓄積部７２の蓄
積量を２ｋbyteであるとすると、圧縮レートが１９２ｋ
bps 、２５６ｋbps 、３８２ｋbps である場合の、先行
／遅延時間Ｌ192 、Ｌ256 、Ｌ382 は、それぞれ、Ｌ
192 ＝（２×１０２４×８）／（１９２×１０００）＝
８５［ms］，Ｌ256 ＝（２×１０２４×８）／（２５６
×１０００）＝６４［ms］，及びＬ382 ＝（２×１０２
４×８）／（３８２×１０００）＝４３［ms］、とな
り、画像フレームの２〜３フレーム程度以内に納まる。
即ち、視聴者に対して画像と音声との間にずれが生じて
いることを認識させることのない範囲内とすることがで
きる。For example, when the allowable storage amount of the voice coded data storage unit 72 set on the code side is 4 kbytes and the input rate and the output rate of the voice coded data storage unit 72 are equal, voice coding is performed. Assuming that the storage amount of the data storage unit 72 is 2 kbytes, the compression rate is 192 kbytes.
The leading / delaying times L 192 , L 256 and L 382 at bps, 256 kbps and 382 kbps are respectively L
192 = (2 × 1024 × 8) / (192 × 1000) =
85 [ms], L 256 = (2 × 1024 × 8) / (256
× 1000) = 64 [ms] and L 382 = (2 × 102)
4 × 8) / (382 × 1000) = 43 [ms], which is within about two to three image frames.
In other words, the range can be set so as not to make the viewer recognize that there is a shift between the image and the sound.
【００３６】[0036]
【発明の効果】本発明によれば、符号化データ蓄積部の
データ蓄積量を監視し、そのデータ蓄積量が所定の範囲
内となるように復号部においてデータの読み飛ばしや復
号処理の繰り返しを行うようにしたことで、同期コード
を参照して同期制御を行うためのソフトウェアによる繁
雑な処理や、大規模な同期制御回路を要することなく、
同期ずれが最大で２〜３フレーム内に抑えられた、同期
再生を行うことができる。According to the present invention, the data storage amount of the encoded data storage unit is monitored, and the decoding unit skips data and repeats the decoding process so that the data storage amount falls within a predetermined range. By doing so, complicated processing by software for performing synchronization control with reference to the synchronization code and large-scale synchronization control circuit are not required,
Synchronous reproduction in which the synchronization shift is suppressed within a maximum of two to three frames can be performed.
【００３７】また、データ蓄積量を所定の範囲内とする
ために、符号化データ蓄積量監視部からの割り込み処理
を利用するようにしたことで、演算処理部における同期
制御処理を簡略化できる。Further, the use of the interrupt processing from the coded data storage amount monitoring unit to keep the data storage amount within the predetermined range can simplify the synchronization control processing in the arithmetic processing unit.
【００３８】さらに、符号化データ蓄積量監視部は、符
号化データ蓄積部のライトポインタとリードポインタと
が指し示すアドレスから符号化データの蓄積量を求める
ようにしたことで、減算器等の単純な回路で構成でき
る。Further, the coded data storage amount monitoring section obtains the coded data storage amount from the addresses indicated by the write pointer and the read pointer of the coded data storage section, so that a simple operation such as a subtracter can be performed. It can be composed of a circuit.
【図１】本発明の画像音声の同期再生装置の第１の実施
の形態を示すブロック図である。FIG. 1 is a block diagram showing a first embodiment of a video / audio synchronous reproduction apparatus of the present invention.
【図２】図１の符号化データ蓄積部の記憶容量とデータ
蓄積量との関係を説明するための図である。FIG. 2 is a diagram for explaining a relationship between a storage capacity and a data storage amount of an encoded data storage unit in FIG.
【図３】復号部において遅延が生じた場合の符号化デー
タ蓄積部の記憶容量とデータ蓄積量との関係を示す図で
ある。FIG. 3 is a diagram illustrating a relationship between a storage capacity of an encoded data storage unit and a data storage amount when a delay occurs in a decoding unit.
【図４】図３の状態における符号化データ蓄積量制御部
及び復号部の動作を説明するための図である。FIG. 4 is a diagram for explaining operations of an encoded data storage amount control unit and a decoding unit in the state of FIG. 3;
【図５】復号部において先行が生じた場合の符号化デー
タ蓄積部の記憶容量とデータ蓄積量との関係を示す図で
ある。FIG. 5 is a diagram illustrating a relationship between a storage capacity of an encoded data storage unit and a data storage amount when a preceding occurs in a decoding unit;
【図６】図５の状態における符号化データ蓄積量制御部
及び復号部の動作を説明するための図である。FIG. 6 is a diagram for explaining operations of an encoded data storage amount control unit and a decoding unit in the state of FIG. 5;
【図７】本発明の画像音声の同期再生装置の第２の実施
の形態を示すブロック図である。FIG. 7 is a block diagram showing a second embodiment of the video / audio synchronous playback apparatus of the present invention.
【図８】図７の音声符号化データ蓄積量監視部の構成を
示すブロック図である。FIG. 8 is a block diagram showing a configuration of an audio encoded data storage amount monitoring unit of FIG. 7;
１１ 多重化データ分離部 １２ 符号化データ蓄積部 １３ 符号化データ蓄積量監視部 １４ 符号化データ蓄積量制御部 １５ 復号部 ７１ 多重化データ分離部 ７２ 音声符号化データ蓄積部 ７３ 音声符号化データ蓄積量参照回路 ７４ 演算処理部（ＣＰＵ） ７５ 音声復号部 ７６ 画像符号化データ蓄積部 ７７ クロックリカバリ部 ７８ 画像復号部 Reference Signs List 11 multiplexed data separation unit 12 coded data storage unit 13 coded data storage amount monitoring unit 14 coded data storage amount control unit 15 decoding unit 71 multiplexed data separation unit 72 voice coded data storage unit 73 voice coded data storage Quantity reference circuit 74 Operation processing unit (CPU) 75 Audio decoding unit 76 Image encoded data storage unit 77 Clock recovery unit 78 Image decoding unit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｈ０４Ｎ 7/24 (58)調査した分野(Int.Cl.7，ＤＢ名) H04J 3/00 H04L 7/00 H04N 7/08 H04N 7/24 ──────────────────────────────────────────────────の Continuation of the front page (51) Int.Cl. 7 identification code FI H04N 7/24 (58) Fields investigated (Int.Cl. 7 , DB name) H04J 3/00 H04L 7/00 H04N 7/08 H04N 7/24
Claims (8)
音声データが多重化された符号化データから、前記画像
データと前記音声データとを分離抽出し、該画像データ
と該音声データとを同期させて復号再生する画像音声の
同期再生方法において、前記画像データ及び前記音声デ
ータのうち少なくとも前記音声データに関して、データ
を蓄積手段に蓄積するとともに、該蓄積手段から前記デ
ータを順次読み出して復号を行いつつ、前記蓄積手段の
蓄積量を監視して該蓄積量が所定の範囲内に納まるよう
に復号すべきデータの読み飛ばし及び復号処理の繰り返
しを行うようにしたことを特徴とする画像音声の同期再
生方法。An image data and audio data are separated and extracted from encoded data in which digitally encoded image data and audio data are multiplexed, and the image data and the audio data are synchronized with each other. In the synchronous audio / video reproduction method for decoding and reproducing, at least the audio data of the image data and the audio data, while storing the data in the storage means, and sequentially reading and decoding the data from the storage means, A video / audio synchronous reproduction method, wherein the amount of data stored in the storage means is monitored, and skipping of data to be decoded and repetition of the decoding process are performed so that the amount of storage falls within a predetermined range. .
繰り返しが、前記蓄積手段への書き込み及び読み出しの
際の１単位分のデータを単位として行われることを特徴
とする請求項１の画像音声の同期再生方法。2. The image / audio data according to claim 1, wherein the skipping of the data and the repetition of the decoding process are performed in units of one unit of data at the time of writing and reading to and from the storage unit. Synchronous playback method.
化データに含ませた設定値によって決定するようにした
ことを特徴とする請求項１または２の画像音声の同期再
生方法。3. The method of claim 1, wherein the predetermined range is determined by a setting value included in the encoded data on the encoding side.
音声データが多重化された符号化データから、前記画像
データと前記音声データとを分離抽出し、該画像データ
と該音声データとを同期させて復号再生する画像音声の
同期再生装置において、前記画像データと前記音声デー
タとをそれぞれ蓄積する蓄積手段と、該蓄積手段から前
記画像データと前記音声データをそれぞれ読み出して復
号処理を行う復号手段と、前記蓄積手段のデータ蓄積量
をそれぞれ監視する監視手段と、該監視手段からの監視
結果に基づいて前記復号手段をそれぞれ制御して前記蓄
積手段に蓄積されるデータの蓄積量が所定範囲内に納ま
るようにする蓄積量制御手段とを有することを特徴とす
る画像音声の同期再生装置。4. Separating and extracting the image data and the audio data from encoded data in which digitally encoded image data and audio data are multiplexed, and synchronizing the image data with the audio data. In the apparatus for synchronously reproducing an image and a sound to be decoded and reproduced, storage means for respectively storing the image data and the sound data, decoding means for reading the image data and the sound data from the storage means and performing decoding processing, Monitoring means for respectively monitoring the data storage amount of the storage means, and controlling the decoding means based on the monitoring results from the monitoring means, respectively, so that the storage amount of data stored in the storage means falls within a predetermined range. And a storage control means for controlling the amount of reproduction.
タ蓄積量が前記所定の範囲を越えたときにデータの読み
飛ばしを行い、前記データ蓄積量が前記所定範囲を下回
った場合に読み込んだデータの復号処理を繰り返すよう
に、前記復号手段を制御するようにしたことを特徴とす
る請求項４の画像音声の同期再生装置。5. The storage amount control means skips data when the data storage amount of the storage means exceeds the predetermined range, and reads the data when the data storage amount falls below the predetermined range. 5. An apparatus according to claim 4, wherein said decoding means is controlled so as to repeat a data decoding process.
繰り返しが、前記蓄積手段への書き込み及び読み出しの
際の１単位分のデータを単位として行われることを特徴
とする請求項５の画像音声の同期再生装置。6. The image / audio data according to claim 5, wherein the skipping of the data and the repetition of the decoding process are performed in units of one unit of data at the time of writing and reading to and from the storage unit. Synchronous playback device.
み側ポインタと読み出し側ポインタとがそれぞれ示す書
き込みアドレスと読み出しアドレスとの差を求める減算
手段と、前記所定範囲を示す設定値を記憶する記憶手段
と、前記減算手段の減算結果と前記記憶手段の記憶内容
とを比較し、前記蓄積量制御手段に割り込みを発生する
比較手段とを有することを特徴とする請求項４、５、ま
たは６の画像音声の同期再生装置。7. A subtraction means for calculating a difference between a write address and a read address indicated by a write-side pointer and a read-side pointer of the storage means, and a storage for storing a set value indicating the predetermined range. And a comparing means for comparing the subtraction result of said subtracting means with the contents stored in said storage means and generating an interrupt to said storage amount control means. Video and audio synchronous playback device.
うち、前記画像データに対応する前記監視手段及び前記
蓄積量制御手段に代えて、前記符号データから復号クロ
ック情報を検出して復号クロックを生成し、前記復号手
段のうちの前記画像データに対応する復号手段に前記復
号クロックを供給するクロックリカバリ手段を設けたこ
とを特徴とする請求項４、５、６、又は７の画像音声の
同期再生装置。8. A decoding clock is detected from the code data and a decoding clock is detected from the code data instead of the monitoring unit and the storage amount controlling unit corresponding to the image data among the monitoring unit and the storage amount controlling unit. 8. The video / audio synchronization according to claim 4, further comprising clock recovery means for generating and supplying the decoding clock to the decoding means corresponding to the image data among the decoding means. Playback device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33709695A JP2998786B2 (en) | 1995-12-25 | 1995-12-25 | Method and apparatus for synchronous reproduction of video and audio |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33709695A JP2998786B2 (en) | 1995-12-25 | 1995-12-25 | Method and apparatus for synchronous reproduction of video and audio |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09181695A JPH09181695A (en) | 1997-07-11 |
| JP2998786B2 true JP2998786B2 (en) | 2000-01-11 |
Family
ID=18305403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33709695A Expired - Fee Related JP2998786B2 (en) | 1995-12-25 | 1995-12-25 | Method and apparatus for synchronous reproduction of video and audio |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2998786B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100644978B1 (en) | 2002-09-30 | 2006-11-14 | 산요덴키가부시키가이샤 | Network telephone and voice decording device |
-
1995
- 1995-12-25 JP JP33709695A patent/JP2998786B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09181695A (en) | 1997-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1030306B1 (en) | Data coding/decoding method and apparatus and coded data recording medium | |
| US5987214A (en) | Apparatus and method for decoding an information page having header information and page data | |
| US6078725A (en) | Apparatus for a synchronized playback of audio-video signals | |
| JP3491365B2 (en) | Encoded data decoding method and decoding device | |
| JP3248380B2 (en) | Data decoding device and data decoding method | |
| KR100290331B1 (en) | Synchronous playback device for audio-video signals | |
| KR100666285B1 (en) | Data decryption device and data decryption method | |
| CN100589543C (en) | Apparatus and method for synchronusly reading video data and auxliary data | |
| EP0787404A2 (en) | Method of video information transmission, as well as an information carrier, a device for receiving and a device for transmitting video information | |
| US6240137B1 (en) | Encoding apparatus and method, decoding apparatus and method, and editing method | |
| US6940901B2 (en) | Apparatus and method for information processing | |
| KR100428921B1 (en) | Recording apparatus and recording method of variable bit rate data, playback apparatus and playback method | |
| JP2998786B2 (en) | Method and apparatus for synchronous reproduction of video and audio | |
| JPH0863890A (en) | Decoding apparatus of multiplexed data | |
| JP3551447B2 (en) | Data encoding device and method, data decoding device and method | |
| US6157770A (en) | Moving picture data reproduction controlling system and method for reproducing moving picture data having block elements and minimum elements each with headers | |
| JP3582530B2 (en) | Recording apparatus and method, reproduction apparatus and method | |
| JP3589241B2 (en) | Data encoding device and method, data decoding device and method | |
| JP3651479B2 (en) | Method for recording video data on recording medium, and method for producing recording medium recording video data | |
| JP3654300B2 (en) | Data encoding method, production method of recording medium recording video data | |
| JP3651480B2 (en) | Method for recording video data on recording medium, and method for producing recording medium recording video data | |
| JP4058437B2 (en) | recoding media | |
| JP3363146B2 (en) | Recording and playback device | |
| JPH09182024A (en) | Video data expanding device and data expanding method | |
| US20050031312A1 (en) | Method and apparatus for signal reproduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991006 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071105 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081105 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081105 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091105 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091105 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101105 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 12 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |