JP3401505B2 - Time encoding method for VOP - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、独立して符号化さ
れた複数のオーディオビジュアル対象をプレゼンテーシ
ョンのために同期させることが必要なディジタルオーデ
ィオビジュアルマテリアルの符号化に有効である。本発
明は、オーディオビジュアルマテリアルの時間的サンプ
リングが同一でない場合に特に役立つものである。FIELD OF THE INVENTION The present invention is useful for encoding digital audiovisual material that requires multiple independently encoded audiovisual objects to be synchronized for presentation. The invention is particularly useful when the temporal sampling of audiovisual material is not the same.

【０００２】[0002]

【従来の技術】ＭＰＥＧ１およびＭＰＥＧ２において、
入力ビデオは、規則的な時間間隔でサンプリングされた
画像フレームからなる。これは、その入力ビデオのもっ
とも緻密な時間解像度を表現する。図１は、画像フレー
ムが規則的な間隔でサンプリングされる一定のフレーム
レートによるビデオシーケンスを示す。ＭＰＥＧ１規格
およびＭＰＥＧ２規格を用いたビデオシーケンスの符号
化表現においては、復号化されたフレームの表示順序は
参照時刻(temporal reference)によって表される。この
パラメータは、ビットストリームシンタックスのピクチ
ャーヘッダーに記述される。このパラメータの値は、表
示順序を検査するときにそれぞれの復号化されるフレー
ムごとに１つだけインクリメントされる。2. Description of the Related Art In MPEG1 and MPEG2,
The input video consists of image frames sampled at regular time intervals. This represents the finest temporal resolution of the input video. FIG. 1 shows a video sequence with a constant frame rate in which image frames are sampled at regular intervals. In a coded representation of a video sequence using the MPEG1 standard and the MPEG2 standard, the display order of decoded frames is represented by a temporal reference. This parameter is described in the picture header of the bitstream syntax. The value of this parameter is incremented by one for each decoded frame when checking the display order.

【０００３】Ｈ．２６３規格においては、フレームをス
キップしてもよく、したがって、可変フレームレートビ
デオシーケンスを復号化することができる。しかしなが
ら、フレームのサンプリングは不変のままである。この
ように、ＭＰＥＧ１およびＭＰＥＧ２において用いられ
る時刻参照方法は依然として適切なものであり、１だけ
インクリメントするのではなく（１＋入力フレームレー
トにおける非転送ピクチャー数）だけインクリメントす
るような修正が必要なだけである。H. In the H.263 standard, frames may be skipped and thus variable frame rate video sequences may be decoded. However, the sampling of the frame remains unchanged. Thus, the time reference methods used in MPEG1 and MPEG2 are still appropriate and need only be modified to increment by 1 (the number of non-transferred pictures at the input frame rate) instead of incrementing by 1. is there.

【０００４】現在、多重ビデオ対象画においてビデオを
独立した対象として符号化する研究開発がなされてい
る。これは、それぞれのビデオ対象の復号化と同期とに
おける新しい概念を表現するものである。これらの個々
のビデオ対象画は、複数のソースから発生してもよく、
また、まったく異なるフレームレートを有してもよいこ
とが期待されている。対象のあるものは、ほぼ連続的な
時間的サンプリングレートを有してもよい。これらのビ
デオ対象画は、組み合わせられ、表示される際には、合
成画像となる。したがって、この合成のためにはある種
の同期が必要となる。表示フレームレートは、どのビデ
オ対象画のフレームレートとも異なっていてもよい。図
２は、互いに異なったフレームレートを有する２つのビ
デオ対象画の例を示す。たとえ２つのビデオ対象画の間
の共通のフレームレートを捜し出すことができたとして
も、必然的にそのフレームレートが合成処理装置の出力
フレームレートと同じものになることはない。Currently, research and development is being done on encoding video as independent objects in multiple video object images. It represents a new concept in the decoding and synchronization of each video object. Each of these individual video objects may originate from multiple sources,
It is also expected that they may have completely different frame rates. Some of the objects may have a near continuous temporal sampling rate. When these video target images are combined and displayed, they become a composite image. Therefore, some kind of synchronization is required for this synthesis. The display frame rate may be different from the frame rate of any video target image. FIG. 2 shows an example of two video target images having different frame rates. Even if a common frame rate between the two video objects can be found, the frame rate will not necessarily be the same as the output frame rate of the compositing processor.

【０００５】以下、ビデオの領域における問題について
述べるが、同様の本発明の原理は、オーディオの領域に
も拡張することができ、また、この２つを組み合わせた
領域にも拡張することができる。The problem in the video domain will now be described, but similar principles of the invention can be extended to the audio domain and also to a combination of the two.

【０００６】この技術分野における現在の状況は、ビデ
オ対象画の同期に関する要求を満たしていないことは上
述したことから明らかである。また、この技術分野にお
ける現在の状況は、異なったビデオ対象画が互いの倍数
ではない異なったフレームレートを有する場合に、共通
の参照時刻を提供しない。It is clear from the above that the current state of the art does not meet the requirements for synchronizing video objects. Also, the current situation in the art does not provide a common reference time when different video objects have different frame rates that are not multiples of each other.

【０００７】第１の問題は、共通のローカル時刻基準メ
カニズムをそれぞれのビデオ対象画にどのように提供す
るかである。この時刻基準は、非常に緻密な時間的粒度
(temporal granularity)を提供することができるととも
に、ビデオ対象画の２つの連続する時点(instance)の間
に非常に長い間隔があり得ることにも対処することがで
きなければならない。The first problem is how to provide a common local time base mechanism for each video object. This time base is a very precise time granularity
In addition to being able to provide temporal granularity, it also has to be able to deal with the fact that there can be very long intervals between two consecutive instances of a video object.

【０００８】第２の問題は、異なったフレームレートを
有するビデオ対象画を同期させるためのメカニズムをど
のようにして提供するかである。A second problem is how to provide a mechanism for synchronizing video objects having different frame rates.

【０００９】[0009]

【発明が解決しようとする課題】上述の問題は、すべて
のローカル時刻基準に対して使用される共通の時間解像
度を導入することによって解決することができる。広い
範囲にわたる時間的粒度を提供するために、ローカル時
刻基準は２つの異なった部分に分割される。第１の部分
は、短い時刻基準を提供する緻密な粒度を有する時間解
像度を含む。第２の部分は、長い時刻基準を提供する粗
な粒度を有する時間解像度を含む。短い時刻基準は、そ
れぞれのビデオ対象画に含まれ、ビデオ対象画の時点に
参照時刻を提供する。そして、この短い時刻基準が、す
べてのビデオ対象画に共通の長い時刻基準に同期させら
れる。この長い時刻基準は、すべての様々なビデオ対象
画を、マスタークロックによって提供される共通の時刻
基準に同期させるのに使用される。The above problem can be solved by introducing a common time resolution used for all local time references. To provide a wide range of temporal granularity, the local time base is divided into two distinct parts. The first part comprises a temporal resolution with a fine granularity that provides a short time base. The second part contains a temporal resolution with a coarse granularity that provides a long time base. A short time base is included in each video object and provides a reference time at the time of the video object. This short time base is then synchronized to the long time base common to all video objects. This long time base is used to synchronize all the various video objects to a common time base provided by the master clock.

【００１０】[0010]

【課題を解決するための手段】本発明の第１の側面によ
れば、圧縮データにおけるビジュアルシーケンスのロー
カル時刻基準を符号化する方法であって、 時間的なサ
ンプリングによってビジュアルシーケンスの時点を得る
段階と、 圧縮データの中に符号化されるべき前記時点
のローカル時刻基準を決定する段階と、 ローカル時刻
基準において均等な時間間隔毎に付与された一連の参照
時刻の発生を表すモジュロ時刻基準と、前記均等な時間
間隔内に付与された時刻基準増分とからなる２つの部分
により前記ローカル時刻基準を符号化する段階と、 前
記時間間隔が経過する毎にモジュロ時刻基準を圧縮デー
タに挿入する段階と、 時刻基準増分をビジュアルシー
ケンスの前記時点の圧縮データに挿入する段階を有する
ことを特徴とする方法である。According to a first aspect of the present invention, a method of encoding a local time base of a visual sequence in compressed data, the method comprising obtaining a time point of the visual sequence by temporal sampling. A step of determining a local time base of the time point to be encoded in the compressed data, and a modulo time base representing generation of a series of reference times given at equal time intervals in the local time base, Encoding the local time reference with two parts consisting of time reference increments applied within the uniform time interval; inserting a modulo time reference into the compressed data each time the time interval elapses. A method comprising: inserting a time base increment into the compressed data at said point in time of the visual sequence. That.

【００１１】本発明の第２の側面によれば、圧縮データ
におけるビジュアルシーケンスのローカル時刻基準を符
号化する方法であって、 時間的なサンプリングによっ
てビジュアルシーケンスの時点を得る段階と、 圧縮デ
ータの中に符号化されるべき前記時点のローカル時刻基
準を判定する段階と、 将来のいかなる時点も参照する
ことのない第１の圧縮方法と、将来再生される時点を参
照する第２の圧縮方法とからなる２つの方法の一方で前
記時点を符号化する段階と、 ローカル時刻基準におい
て特定の間隔で均等に配置された一連の参照時刻の発生
を表すモジュロ時刻基準と時刻基準増分とからなる２つ
の部分でもって前記ローカル時刻基準を符号化する段階
と、 第１の圧縮方法を用いて圧縮された時点に対する
時刻基準増分を、前記均等に配置された参照時刻に基づ
く絶対値として符号化する段階と、 第２の圧縮方法を
用いて圧縮された時点に対する時刻基準増分を、以前に
前記第１の圧縮方法を用いて圧縮された時点のローカル
時刻基準の関連した値として符号化する段階と、 前記
特定の間隔が経過するたびにモジュロ時刻基準を圧縮デ
ータに挿入する段階と、 時刻基準増分を前記ビジュア
ルシーケンスの前記時点の圧縮データに挿入する段階と
を備えた方法である。According to a second aspect of the invention, there is provided a method of encoding a local time base of a visual sequence in compressed data, the method comprising: obtaining a time point of the visual sequence by temporal sampling; Determining a local time base of said time point to be encoded into, a first compression method without reference to any future time point, and a second compression method with reference to a future playback time point. One of two methods, encoding the time point, and two parts, a modulo time base and a time base increment representing the occurrence of a series of evenly spaced reference times in the local time base. Thus, encoding the local time base, and incrementing the time base relative to the time compressed using the first compression method, Encoding as an absolute value based on a reference time located at, and a time base increment for a time point compressed using the second compression method at a time point previously compressed using the first compression method. Encoding as a related value of the local time base of the, inserting a modulo time base into the compressed data each time the specific interval has elapsed, and adding a time base increment to the compressed data of the time point of the visual sequence. And a step of inserting.

【００１２】本発明の第３の側面によれば、符号化され
たローカル時刻基準情報をその中に含んだ複数の圧縮ビ
ットストリームが多重化され、多重化するために、 時
刻基準オフセットを符号化して多重化ビットストリーム
に挿入することによって、個々の圧縮ビットストリーム
のローカル時刻基準を共通時刻基準に同期させる段階
と、 すべての圧縮ビットストリームがモジュロ時刻基
準に到達してしまうまで、多重化されるビットストリー
ムに配置されるべき次の圧縮時点があるかどうかそれぞ
れの圧縮ビットストリームを検査する段階と、 共通モ
ジュロ時刻基準を多重化されるビットストリームに挿入
し、圧縮ビットストリームのモジュロ時刻基準をスキッ
プする段階と、 すべての圧縮ビットストリームが処理
されるまで、最後の２つの段階を反復する段階と、 を
さらに備えた請求項１または請求項２のいずれかに記載
の方法である。According to a third aspect of the present invention, a plurality of compressed bitstreams having encoded local time base information contained therein are multiplexed, and the time base offset is encoded for multiplexing. Synchronizing the local time bases of individual compressed bitstreams to a common time base by inserting them into a multiplexed bitstream, and multiplexing until all compressed bitstreams have reached the modulo time base. Inspecting each compressed bitstream for the next compression time to be placed in the bitstream and inserting a common modulo time base into the multiplexed bitstream and skipping the modulo time base of the compressed bitstream The last two steps until all compressed bitstreams have been processed. The method of claim 1 or claim 2, further comprising: repeating the steps.

【００１３】本発明の第４の側面によれば、符号化され
たローカル時刻基準情報をその中に含んだ複数の圧縮ビ
ットストリームが多重化され、そして、多重分離され、
多重分離するために、 個々の圧縮ビットストリームの
時刻基準オフセットを復号化する段階と、 多重化ビッ
トストリームにおいてモジュロ時刻基準が検出されるま
で、次の圧縮時点があるかどうか多重化ビットストリー
ムを検査し、前記時点を適切な圧縮ビットストリームに
配置する段階と、 モジュロ時刻基準をそれぞれの圧縮
ビットストリームに挿入する段階と、 多重化ビットス
トリームがすべて処理されるまで、最後の２つの段階を
反復する段階と、 をさらに備えた請求項１または請求
項２のいずれかに記載の方法である。According to a fourth aspect of the present invention, a plurality of compressed bitstreams having encoded local time base information contained therein are multiplexed and demultiplexed,
Decoding the timebase offsets of the individual compressed bitstreams for demultiplexing, and checking the multiplexed bitstream for the next compression time until the modulo timebase is detected in the multiplexed bitstream. Then placing the instants in the appropriate compressed bitstreams, inserting the modulo time base into each compressed bitstream, and repeating the last two steps until all multiplexed bitstreams have been processed. The method of claim 1 or claim 2, further comprising:

【００１４】本発明の第５の側面によれば、請求項１に
記載の方法によって符号化された圧縮データの時刻基準
からビジュアルシーケンスのローカル時刻基準を復号化
する方法であって、 時刻基準オフセットを考慮して参
照時刻基準を初期化する段階と、 それぞれの復号化さ
れたモジュロ時刻基準に対して特定の間隔だけ参照時刻
基準をインクリメントする段階と、 圧縮時点の時刻基
準増分を復号化する段階と、 前記復号化された時刻基
準増分の値を参照時刻基準に加算することによって、前
記時点の復号化時刻基準を決定する段階と、 を備えた
方法である。According to a fifth aspect of the present invention, there is provided a method of decoding a local time base of a visual sequence from a time base of compressed data encoded by the method of claim 1, the time base offset Taking into account the initialization of the reference time base, incrementing the reference time base by a specific interval for each decoded modulo time base, and decoding the time base increment at the time of compression. And determining the decoding time reference at the time point by adding the value of the decoded time reference increment to a reference time reference.

【００１５】本発明の第６の側面によれば、請求項２に
記載の方法によって符号化された圧縮データの時刻基準
からビジュアルシーケンスのローカル時刻基準を復号化
する方法であって、 時刻基準オフセットを考慮して参
照時刻基準を初期化する段階と、 それぞれの復号化さ
れたモジュロ時刻基準に対して特定の間隔だけ参照時刻
基準をインクリメントする段階と、 圧縮時点の時刻基
準増分を復号化する段階と、 第１の圧縮方法が時点を
符号化するのに使用された場合には、時刻基準増分が絶
対であると判定し、第２の圧縮方法が時点を符号化する
のに使用された場合には、時刻基準増分が相対であると
判定する段階と、 時刻基準増分が絶対であると判定し
た場合には、前記復号化された時刻基準増分の値を参照
時刻基準に加算することによって前記時点の復号化時刻
基準を決定する段階と、 時刻基準増分が相対であると
判定した場合には、前記復号化された時刻基準増分の値
を第１の圧縮方法を用いて符号化された以前の時点の復
号化時刻基準に加算することによって前記時点の復号化
時刻基準を決定する段階と、 を備えた方法である。According to a sixth aspect of the present invention there is provided a method of decoding a local time base of a visual sequence from a time base of compressed data encoded by the method of claim 2 wherein the time base offset Taking into account the initialization of the reference time base, incrementing the reference time base by a specific interval for each decoded modulo time base, and decoding the time base increment at the time of compression. And if the first compression method was used to encode the time instant, then the time base increment was determined to be absolute, and if the second compression method was used to encode the instant time. The step of determining that the time base increment is relative, and, if the time base increment is determined to be absolute, adding the value of the decoded time base increment to the reference time base. Therefore, the step of determining the decoding time base at the time point and the step of determining that the time base increment is relative, the value of the decoded time base increment is encoded using the first compression method. Determining the decoding time reference at the time point by adding to the decoding time reference at the previous time point.

【００１６】本発明の第７の側面によれば、個々の圧縮
ビットストリームそのものが多重化されたビットストリ
ームである請求項３に記載の複数の圧縮ビットストリー
ムを多重化する方法である。According to a seventh aspect of the present invention, there is provided a method for multiplexing a plurality of compressed bitstreams according to claim 3, wherein each compressed bitstream itself is a multiplexed bitstream.

【００１７】本発明の第８の側面によれば、ローカル時
刻基準と、時刻基準増分と、時刻基準オフセットとは単
位がミリ秒であり、特定の間隔は１０００ミリ秒の期間
を有する請求項１または請求項２のいずれかに記載の時
刻基準を符号化する方法である。According to an eighth aspect of the present invention, the local time base, the time base increment, and the time base offset are in units of milliseconds, and the particular interval has a duration of 1000 milliseconds. Alternatively, it is a method for encoding the time reference according to any one of claims 2 to 4.

【００１８】[0018]

【発明の実施の形態】本発明は２つの時刻表示形式を用
いることにより動作する。その第１の時刻表示形式は、
ビデオ対象画に付加される短い時刻基準である。以下、
この時刻基準をＶＯＰ（Video Object Plane すなわち
ビデオ対象画）時刻増分と呼ぶ。このＶＯＰ時刻増分
は、復号化され互いに合成されるビデオ対象画のグルー
プに付加される長い時刻基準と関連してビデオ対象画に
用いられるタイミングとして作用する。この長い時刻基
準をモジュロ時刻基準と呼ぶ。そして、これらのＶＯＰ
時刻増分とモジュロ時刻基準とが連係して使用され、ビ
デオ対象画を表示のための最終的な合成シーケンスに合
成するのに使用するための実際の時刻基準を決定する。DETAILED DESCRIPTION OF THE INVENTION The present invention operates by using two time display formats. The first time display format is
It is a short time reference added to the video target image. Less than,
This time reference is called a VOP (Video Object Plane) time increment. This VOP time increment serves as the timing used for the video object in association with a long time reference that is added to the group of video objects that are decoded and combined together. This long time base is called the modulo time base. And these VOPs
The time increment and the modulo time base are used in conjunction to determine the actual time base for use in compositing the video object image into the final composite sequence for display.

【００１９】ビットストリームを編集し、異なったソー
スからの異なったビデオ対象画を新しいグループのビデ
オ対象画に合成するのを容易にするためには、共通時刻
基準から個々のビデオ対象画のローカル時刻基準までの
一定のオフセット値を提供する第３の成分が必要とな
る。以下では、このオフセットはＶＯＰ時刻オフセット
と呼ばれる。これは、異なった対象画がモジュロ時刻基
準の間隔に等しい粒度で同期しなければならないことを
防止する。この成分は、一緒に多重化されるビデオ対象
画が属するグループの中のそれぞれのビデオ対象画に対
して不変のものであるべきである。To facilitate editing the bitstream and synthesizing different video objects from different sources into a new group of video objects, the local time of each video object can be changed from a common time reference. A third component is needed that provides a constant offset value to the reference. In the following, this offset will be referred to as the VOP time offset. This prevents different target images from having to be synchronized with a granularity equal to the modulo time base interval. This component should be constant for each video object in the group to which the video objects that are multiplexed together belong.

【００２０】まず最初に、モジュロ時刻基準について説
明する。First, the modulo time base will be described.

【００２１】モジュロ時刻基準は、ローカル時刻基準の
粗な解像度を表現する。それは、ＶＯＰ時刻増分のよう
な値を有するものではない。実際には、それは、ＶＯＰ
時刻増分をビデオ対象画のローカル時刻基準に同期させ
るためのより重要な同期メカニズムである。それは符号
化されたビットストリームにマーカーとして配置され、
それに続くビデオ対象画のＶＯＰ時刻増分がリセットさ
れなければならないことを表し、また、ローカル時刻基
準の参照は１つかまたはそれ以上のモジュロ時刻基準の
間隔の単位でインクリメントされなければならないこと
を表す。図３、図４、図５ないし図１０、および、図１
１において、モジュロ時刻基準は、ビットストリームヘ
ッダーにおいて、ＶＯＰ時刻増分の前に挿入された連続
する“１”とそれに続く“０”で表される。連続する
“1”の数は、ゼロかそれ以上である。ビットストリー
ムに挿入される“１”の数は、最後のＩ−ＶＯＰまたは
Ｐ−ＶＯＰから経過したモジュロ時刻基準の単位数に依
存する。符号器および復号器では、モジュロ時刻基準の
カウンターは、“１”を検出するたびに１だけインクリ
メントされる。モジュロ時刻基準のカウンターは長さが
有限であり、したがって、実際のシステムでは、モジュ
ロ時刻基準は、その最大値を越えた場合には０にリセッ
トされる。典型的なビデオシーケンスにおいては、ビデ
オ対象画はＶＯＰのグループを形成する。したがって、
モジュロ時刻基準は、通常、このＶＯＰグループの開始
点でリセットされる。The modulo time base represents the coarse resolution of the local time base. It does not have a value like VOP Time Increment. In fact, it ’s a VOP
It is a more important synchronization mechanism for synchronizing the time increment to the local time base of the video object. It is placed as a marker in the encoded bitstream,
It indicates that the VOP time increment of the video object that follows must be reset, and that the local time base reference must be incremented in units of one or more modulo time base intervals. 3, FIG. 4, FIG. 5 to FIG. 10, and FIG.
At 1, the modulo time base is represented in the bitstream header by a consecutive "1" inserted before the VOP time increment, followed by a "0". The number of consecutive "1" s is zero or more. The number of "1" s inserted in the bitstream depends on the number of units of the modulo time base that have passed since the last I-VOP or P-VOP. In the encoder and decoder, the modulo time base counter is incremented by one each time a "1" is detected. The modulo time base counter is of finite length, so in a real system the modulo time base is reset to 0 when its maximum value is exceeded. In a typical video sequence, video objects form groups of VOPs. Therefore,
The modulo time base is normally reset at the start of this VOP group.

【００２２】つぎに、ＶＯＰ時刻増分について説明す
る。Next, the VOP time increment will be described.

【００２３】ＶＯＰ時刻増分は、ビデオ対象画のもっと
も短い時間的サンプリングを利用することのできる単位
によるものでなければならない。それは、対象画に用い
られる負の時刻基準であってもよい。したがって、それ
は、要求されるもっとも緻密な時間解像度の粒度あるい
は利用することのできるもっとも緻密な時間解像度の粒
度を表現する。The VOP time increment must be in units that can make use of the shortest temporal sampling of the video object. It may be a negative time reference used for the target picture. Therefore, it represents the finest temporal resolution granularity required or the finest temporal resolution granularity available.

【００２４】そして、ＶＯＰ時刻増分は、グローバル時
刻基準の間隔／ローカル時刻基準の解像度の比よりも大
きいかまたは等しい有限長の数によって表されてもよ
い。図３は、ＩおよびＰ−ビデオ対象画に用いられるＶ
ＯＰ時刻増分およびモジュロ時刻基準の参照の例を示
す。絶対時刻基準が使用される。ＶＯＰ時刻増分は、モ
ジュロ時刻基準が検出されるたびに毎回リセットされ
る。図４は、Ｉ、Ｐ、および、Ｂ−ビデオ対象画を用い
たもう１つの例を示す。Ｂ−ビデオ対象画においてモジ
ュロ時刻基準が同じように繰り返されることを除けば動
作は同じである。もしＢ−ビデオ対象画においてモジュ
ロ時刻基準が同じように繰り返されなければ、復号化お
よびプレゼンテーションの順序の相違による曖昧さが発
生する。このことは以下で詳述される。The VOP time increment may then be represented by a finite length number that is greater than or equal to the ratio of the global time base interval / local time base resolution. FIG. 3 shows V used for I and P-video objects.
An example of OP time increment and modulo time base reference is shown. Absolute time base is used. The VOP time increment is reset each time the modulo time base is detected. FIG. 4 shows another example using I, P, and B-video objects. The operation is the same except that the modulo time base is similarly repeated in the B-video object. If the modulo time base is not repeated in the same way in the B-video object, ambiguity occurs due to the difference in decoding and presentation order. This is detailed below.

【００２５】ＶＯＰ時刻増分はプレゼンテーション時刻
基準に対応するので、符号化の順序がプレゼンテーショ
ンの順序と異なる場合に潜在的な問題が発生する。これ
は、Ｂ−ビデオ対象画によって発生する。ＭＰＥＧ−１
およびＭＰＥＧ−２のＢ−ピクチャーと同じように、Ｂ
−ビデオ対象画は、たとえそれらのプレゼンテーション
順序が参照Ｉ−ビデオ対象画および参照Ｐ−ビデオ対象
画より前であったとしても、それらの参照ビデオ対象画
の後に符号化される。ＶＯＰ時刻増分は有限でありかつ
モジュロ時刻基準に基づく相対的なものなので、モジュ
ロ時刻基準が検出された場合にはＶＯＰ時刻増分はリセ
ットされる。しかしながら、Ｂ−ビデオ対象画に対する
符号化の順序は遅れたままである。図５ないし図８は起
こり得る曖昧さを示す。いつＶＯＰ時刻増分がリセット
されるべきかを判定することはできない。実際に、図５
に示されるような符号化されるイベントのシーケンスが
与えられた場合、それが、図６、図７、および、図８の
どのタイミング位置を表現しようとしているのかを知る
ことはできない。この問題は、異なった符号化の順序と
プレゼンテーションの順序とが混在するすべての異なっ
たタイプのビデオ対象画に共有される１つのモジュロ時
刻基準を使用するために起こるのである。符号化の順序
に対してなすことができることはなにもない。なぜな
ら、この参照情報はＢ−ビデオ対象画が必要とするから
である。また、異なった予測形態のそれぞれが、独自の
モジュロ時刻基準を有することは好ましくない。Since the VOP time increment corresponds to the presentation time reference, a potential problem occurs when the encoding order is different from the presentation order. This is caused by the B-video target image. MPEG-1
And as with the MPEG-2 B-picture
-Video object pictures are coded after their reference video object pictures, even if their presentation order is before the reference I-video object picture and the reference P-video object picture. Since the VOP time increment is finite and relative based on the modulo time base, the VOP time increment is reset when the modulo time base is detected. However, the encoding order for the B-video target picture remains delayed. 5-8 show possible ambiguities. It is not possible to determine when the VOP time increment should be reset. In fact, Figure 5
Given the sequence of events to be encoded as shown in Figure 6, it is not possible to know which timing position in Figure 6, Figure 7 and Figure 8 it is trying to represent. This problem arises because it uses a single modulo time base that is shared by all different types of video objects that have a mixture of different coding and presentation orders. There is nothing that can be done about the encoding order. This is because this reference information is needed by the B-video target picture. Also, it is not desirable for each of the different prediction forms to have its own modulo time base.

【００２６】つぎに、ＶＯＰ時刻オフセットについて説
明する。Next, the VOP time offset will be described.

【００２７】上述したことに加えて、モジュロ時刻基準
はすべてのビデオ対象画の間で共有される。これは、異
なったビデオ対象画間の同期がモジュロ時刻基準の間隔
に等しい粒度を有することを意味する。これは、異なっ
たグループからのビデオ対象画が組み合わせられてビデ
オ対象画の新しいグループを形成する場合には特に受け
入れることができない。図１１は、互いにずれた２つの
異なるローカル時刻基準によって符号化された２つの異
なるビデオ対象画の例を示す。このように、これらのビ
デオ対象画が多重化される場合、ビデオ対象画の同期も
またずれたものとなる。個々のビデオ対象画のそれぞれ
にＶＯＰ時刻オフセットを持たせることによってより緻
密な粒度が達成される。このことは、ビデオ対象画が操
作され多重化される場合に、この値だけが変更されるこ
とを意味する。ＶＯＰ時刻増分を変更する必要がないだ
けでなく、粗な粒度を有するタイミング差を用いること
なく異なったビデオ対象画を多重化することができる。
図１１は、この時刻基準オフセットの使用を説明する。In addition to the above, the modulo time base is shared among all video objects. This means that the synchronization between different video objects has a granularity equal to the modulo time base interval. This is particularly unacceptable when video target images from different groups are combined to form a new group of video target images. FIG. 11 shows an example of two different video target images encoded by two different local time bases offset from each other. Thus, when these video target images are multiplexed, the video target images will also be out of sync. A finer granularity is achieved by having a VOP time offset for each individual video object. This means that only this value will change if the video object is manipulated and multiplexed. Not only does the VOP time increment need not be changed, but different video objects can be multiplexed without the use of timing differences with coarse granularity.
FIG. 11 illustrates the use of this time base offset.

【００２８】本発明の好ましい実施例は、個々のビデオ
対象画ビットストリームのそれぞれに用いられる時刻基
準を符号化する方法と、異なったビデオ対象画を多重化
して共通の時刻基準にする方法と、多重化されたビット
ストリームを成分に多重分離する方法と、成分ビットス
トリームから時刻基準を再生する方法とを含む。The preferred embodiment of the present invention is a method of encoding the time reference used for each individual video object picture bitstream, and a method of multiplexing different video object pictures to a common time reference. It includes a method of demultiplexing a multiplexed bitstream into components, and a method of reproducing a time reference from a component bitstream.

【００２９】つぎに、時刻基準の符号化を説明する。Next, time-based coding will be described.

【００３０】時刻基準を符号化する実施例のフローチャ
ートが図１２に示される。符号器においては、ステップ
１において、まずローカル時刻基準がローカル開始時刻
に初期化される。処理はステップ２に移り、そこで、符
号器がローカル時刻基準の現在の値を判定する。ステッ
プ３において、得られたローカル時刻基準があらかじめ
符号化されたモジュロ時刻基準と比較され、その間隔が
モジュロ時刻基準の間隔を越えているかどうかを検査す
る。もしその間隔を越えていれば、制御はステップ４に
移り、そこで、必要な数のモジュロ時刻基準がビットス
トリームに挿入される。もしその間隔を越えていなけれ
ば、特別の処理は必要とされない。そして、処理はステ
ップ５に進み、そこで、ＶＯＰ時刻増分がビットストリ
ームに挿入される。つぎに、ステップ６において、対象
画が符号化されてビットストリームに挿入される。そし
て、符号器は、ステップ７において、符号化されるべき
さらなる対象画があるかどうかを判定するための検査を
行う。もし符号化されるべき対象画があれば、処理はス
テップ２に戻り、そこで、ローカル時刻基準を得る。も
し符号化されるべき対象画がなければ、処理は終了す
る。A flow chart of an embodiment for encoding the time base is shown in FIG. In the encoder, in step 1, the local time base is first initialized to the local start time. The process moves to step 2, where the encoder determines the current value of the local time base. In step 3, the obtained local time base is compared with a pre-encoded modulo time base to check whether the interval exceeds the modulo time base interval. If so, control passes to step 4, where the required number of modulo time bases are inserted into the bitstream. If the interval is not exceeded, no special treatment is needed. The process then proceeds to step 5, where the VOP time increment is inserted into the bitstream. Next, in step 6, the target image is encoded and inserted into the bitstream. Then, the encoder checks in step 7 to determine if there are more target pictures to be encoded. If there is a target picture to be encoded, the process returns to step 2 where the local time reference is obtained. If there is no target image to be encoded, the process ends.

【００３１】Ｉ／Ｐ−ビデオ対象画およびＢ−ビデオ対
象画のそれぞれに対する絶対および相対のＶＯＰ時刻増
分を決定するために、以下の式が使用される。 ｔ_GTBn＝ｎ×ｔ_GTBI＋ｔ_GTB0 （ｎ＝０，１，２，３，．．） （１） ｔ_AVTI＝ｔ_ETBI/P−ｔ_GTBn （２） ｔ_RVTI＝ｔ_ETBB−ｔ_ETBI/P （３） ここで、ｔ_GTBnは、ｎ番目の符号化されたモジュロ時刻
基準によって表される符号器時刻基準である。The following equations are used to determine the absolute and relative VOP time increments for the I / P- and B-video objects, respectively. t _GTBn = n × t _GTBI + t _GTB0 (n = 0, 1, 2, 3, ...) (1) t _AVTI = t _{ETBI / P} −t _GTBn (2) t _RVTI = t _ETBB −t _{ETBI / P} ( 3) where t _GTBn is the encoder time base represented by the nth coded modulo time base.

【００３２】ｔ_GTBIは、予め定められたモジュロ時刻基
準の間隔である。T _GTBI is a predetermined modulo time base interval.

【００３３】ｔ_GTB0は、符号器時刻基準の開始時刻であ
る。T _GTB0 is the start time of the encoder time base.

【００３４】ｔ_AVTIは、ＩまたはＰ−ビデオ対象画に対
する絶対ＶＯＰ時刻増分である。T _AVTI is the absolute VOP time increment for the I or P-video subject.

【００３５】ｔ_ETBI/Pは、ＩまたはＰ−ビデオ対象画の
符号化の開始点での符号器時刻基準である。T _{ETBI / P} is the encoder time base at the start of encoding the I or P-video object picture.

【００３６】ｔ_RVTIは、Ｂ−ビデオ対象画に対する相対
ＶＯＰ時刻増分である。T _RVTI is the relative VOP time increment for the B-video subject.

【００３７】ｔ_ETBBは、Ｂ−ビデオ対象画の符号化の開
始点での符号器時刻基準である。つぎに、複数のビデオ
対象画の多重化について説明する。T _ETBB is the encoder time base at the start of encoding the B-video target picture. Next, multiplexing of a plurality of video target images will be described.

【００３８】複数のビデオ対象画が１つに多重化される
場合、多重化装置は、多重ビデオ対象画のビットストリ
ームを検査して同期だけでなく多重化の順序をも判定す
る。これに含まれる動作が図１３に示される。ステップ
１１において、多重化されるべきそれぞれのビデオ対象
画に対するＶＯＰ時刻オフセットがビットストリームに
挿入される。つぎに、ステップ１２において、多重化さ
れるべきビデオ対象画のすべてのビットストリームが検
査され、すべてのビデオ対象画がそれらのそれぞれのモ
ジュロ時刻基準であるかどうかを判定する。もしそうで
あれば、処理はステップ１３に進み、そこで、共通モジ
ュロ時刻基準が、多重化されたビットストリームに挿入
される。もしそうでなければ、処理はステップ１４に進
み、そこで、次の符号化されたビデオ対象画が、多重化
されたビットストリームに挿入される。ステップ１５に
おいて、多重化されるべきビデオ対象画のビットストリ
ームが、多重化されるべきさらなるビデオ対象画がある
かどうかを再度検査される。もしあれば、制御は再びス
テップ１２に進む。もしなければ、この処理を終了す
る。When multiple video target images are multiplexed into one, the multiplexer examines the bitstreams of the multiplexed video target images to determine not only synchronization but also the order of multiplexing. The operations included in this are shown in FIG. In step 11, the VOP time offset for each video object picture to be multiplexed is inserted into the bitstream. Next, in step 12, all bitstreams of the video objects to be multiplexed are examined to determine if all the video objects are their respective modulo time bases. If so, the process proceeds to step 13, where the common modulo time base is inserted into the multiplexed bitstream. If not, the process proceeds to step 14, where the next coded video object is inserted into the multiplexed bitstream. In step 15, the bitstream of the video object to be multiplexed is checked again for further video objects to be multiplexed. If so, control again passes to step 12. If not, this process ends.

【００３９】つぎに、複数のビデオ対象画を含むビット
ストリームの多重分離について説明する。Next, demultiplexing of a bit stream including a plurality of video target images will be described.

【００４０】多重ビデオ対象画を含むビットストリーム
の多重分離が図１４に示される。この処理はステップ２
１から始まり、そこで、ＶＯＰ時刻オフセットが復号化
され、同期に用いるために復号器に送られる。そして、
ステップ２２において、多重化されたビットストリーム
が検査され、モジュロ時刻基準が検出されたかどうかを
判定する。もしモジュロ時刻基準が検出されたならば、
処理はステップ２３に進み、そこで、モジュロ時刻基準
がすべてのビデオ対象画ビットストリームに挿入され
る。もしモジュロ時刻基準が検出されなければ、処理は
ステップ２４に進み、そこで、次のビデオ対象画が検査
されて適切なビデオ対象画ビットストリームに挿入され
る。最後に、多重化されたビットストリームが再度検査
され、多重分離すべきさらなるビデオ対象画があるかど
うかを判定する。もしあれば、処理は再びステップ２２
に進む。もしなければ、この処理は終了する。The demultiplexing of a bitstream containing multiple video objects is shown in FIG. This process is step 2
Starting from 1, the VOP time offset is decoded and sent to the decoder for use in synchronization. And
In step 22, the multiplexed bitstream is examined to determine if a modulo time base has been detected. If the modulo time base is detected,
The process proceeds to step 23, where the modulo time base is inserted into all video object bitstreams. If the modulo time base is not detected, the process proceeds to step 24, where the next video object picture is examined and inserted into the appropriate video object picture bitstream. Finally, the multiplexed bitstream is examined again to determine if there are more video objects to demultiplex. If so, the process returns to step 22.
Proceed to. If not, the process ends.

【００４１】つぎに、時刻基準の再生について説明す
る。Next, time-based reproduction will be described.

【００４２】時刻基準を再生する実施例が図１５に示さ
れる。ローカル時刻基準を再生するとき、処理はステッ
プ３１から始まり、そこで、多重分離装置によって復号
化されたＶＯＰ時刻オフセットを考慮してローカル時刻
基準が初期化される。そして、処理はステップ３２に進
み、そこで、ビットストリームを検査してモジュロ時刻
基準が復号化されたかどうかを判定する。もしモジュロ
時刻基準が復号化されていれば、処理はステップ３３に
進み、そこで、ローカル時刻基準がモジュロ時刻基準の
増分だけインクリメントされる。そして、処理はステッ
プ３７に進む。もしモジュロ時刻基準が復号化されてい
なければ、処理はステップ３４に進み、そこで、ビデオ
対象画が検査され、それがＢ−ビデオ対象画かどうかが
判定される。もしＢ−ビデオ対象画であれば、処理はス
テップ３５に進み、そこで、式（６）に基づいてＢ−ビ
デオ対象画の復号化時刻基準が計算される。そして、処
理はステップ３７に進む。もしステップ３４の結果がＢ
−ビデオ対象画でなければ、処理はステップ３６に進
み、そこで、式（５）に基づいて復号化時刻基準が計算
される。そして、処理はステップ３７に進む。ステップ
３７において、ビットストリームが検査され、復号化す
べきさらなるビデオ対象画があるかどうかが判定され
る。もしあれば、処理は再びステップ３２に進む。もし
なければ、この処理は終了する。An example of reproducing the time reference is shown in FIG. When regenerating the local time base, the process begins at step 31 where the local time base is initialized taking into account the VOP time offset decoded by the demultiplexer. The process then proceeds to step 32, where the bitstream is examined to determine if the modulo time base has been decoded. If the modulo time base has been decoded, the process proceeds to step 33, where the local time base is incremented by the modulo time base increment. Then, the process proceeds to step 37. If the modulo time base has not been decoded, the process proceeds to step 34, where the video object is examined to determine if it is a B-video object. If it is a B-video target image, the process proceeds to step 35, where the decoding time reference of the B-video target image is calculated based on equation (6). Then, the process proceeds to step 37. If the result of step 34 is B
If not a video object, the process proceeds to step 36, where the decoding time reference is calculated according to equation (5). Then, the process proceeds to step 37. In step 37, the bitstream is examined to determine if there are more video objects to decode. If so, the process proceeds to step 32 again. If not, the process ends.

【００４３】ビデオ対象画のプレゼンテーションタイム
スタンプを判定するために、以下の式が使用される。 ｔ_GTBn ＝ｎ×ｔ_GTBI＋ｔ_GTB0 （ｎ＝０，１，２，３，．．） （４） ｔ_DTBI/P＝ｔ_AVTI＋ｔ_GTBn （５） ｔ_DTBB ＝ｔ_RVTI＋ｔ_DTBI/P （６） ここで、ｔ_GTBnは、ｎ番目の復号化されたモジュロ時刻
基準によって表される復号化時刻基準である。To determine the presentation time stamp of the video subject, the following equation is used: t _GTBn = n × t _GTBI + t _GTB0 (n = 0, 1, 2, 3, ...) (4) t _{DTBI / P} = t _AVTI + t _GTBn (5) t _DTBB = t _RVTI + t _{DTBI / P} (6) Where t _GTBn is the decoding time base represented by the nth decoded modulo time base.

【００４４】ｔ_GTBIは、予め定められたモジュロ時刻基
準の間隔である。T _GTBI is a predetermined modulo time base interval.

【００４５】ｔ_GTB0は、復号化時刻基準の開始時刻であ
る。T _GTB0 is the start time based on the decoding time.

【００４６】ｔ_DTBI/Pは、ＩまたはＰ−ビデオ対象画の
復号化の開始点での復号化時刻基準である。T _{DTBI / P} is the decoding time reference at the starting point of decoding the I or P-video target picture.

【００４７】ｔ_AVTIは、ＩまたはＰ−ビデオ対象画に対
する復号化された絶対ＶＯＰ時刻増分である。T _AVTI is the decoded absolute VOP time increment for the I or P-video object picture.

【００４８】ｔ_DTBBは、Ｂ−ビデオ対象画の復号化の開
始点での復号化時刻基準である。T _DTBB is a decoding time reference at the start point of decoding the B-video target picture.

【００４９】ｔ_RVTIは、Ｂ−ビデオ対象画に対する復号
化された相対ＶＯＰ時刻増分である。T _RVTI is the decoded relative VOP time increment for the B-video target picture.

【００５０】つぎに、ビットストリーム符号器の実施例
について説明する。Next, an embodiment of the bit stream encoder will be described.

【００５１】図１６は、モジュロ時刻基準およびＶＯＰ
時刻増分を符号化するためのビットストリーム符号器の
実施例を説明するブロック構成図である。この説明のた
めに、図４に示される例が使用される。双方向予測が使
用されるので、符号化の順序は、図４に示されるプレゼ
ンテーションの順序とは異なる。符号化の順序は、Ｂ−
ＶＯＰよりも前に、Ｉ−ＶＯＰとそれに続くＰ−ＶＯＰ
から開始される。これを以下の３つの段落で説明する。FIG. 16 shows the modulo time base and VOP.
It is a block block diagram explaining the Example of the bitstream encoder for encoding a time increment. The example shown in FIG. 4 is used for this description. Because bi-directional prediction is used, the coding order differs from the presentation order shown in FIG. The encoding order is B-
I-VOP followed by P-VOP before VOP
It starts from. This is explained in the following three paragraphs.

【００５２】処理はイニシャライザであるステップ４１
から始まり、そこで、ビットストリーム符号器は、ロー
カル時刻基準レジスタを時刻符号の初期値に初期化する
ことから始める。これと同じ時刻符号の値がビットスト
リームの中に符号化される。次のＩ−ＶＯＰの符号化の
開始点において、時刻符号比較器であるステップ４２
が、Ｉ−ＶＯＰのプレゼンテーション時刻をローカル時
刻基準レジスタと比較する。その結果がモジュロ時刻基
準符号器であるステップ４３に送られる。モジュロ時刻
基準符号器は、経過したモジュロ時刻基準増分の数に等
しい必要な数の“１”をビットストリームに挿入する。
そして、モジュロ時刻基準符号の終わりを示すためにこ
れにシンボル“０”が続く。ローカル時刻基準レジスタ
が現在のモジュロ時刻基準に更新される。そして、処理
は、ＶＯＰ時刻基準増分符号器であるステップ４４に進
み、そこで、Ｉ−ＶＯＰのプレゼンテーション時刻符号
の残りの部分が符号化される。The process is an initialization step 41.
, Where the bitstream encoder begins by initializing the local time base register to the initial value of the time code. The same time code value is encoded in the bitstream. At the beginning of the encoding of the next I-VOP, the time code comparator step 42.
Compares the presentation time of the I-VOP with the local time base register. The result is sent to step 43 which is the modulo time base encoder. The modulo time base encoder inserts into the bitstream as many "1's" as necessary, equal to the number of modulo time base increments that have elapsed.
Then, this is followed by the symbol "0" to indicate the end of the modulo time base code. The local time base register is updated with the current modulo time base. The process then proceeds to step 44, which is a VOP time base incremental encoder, where the remaining portion of the presentation time code of the I-VOP is encoded.

【００５３】この処理が、Ｐ−ＶＯＰである次に符号化
されるビデオ対象画に反復される。時刻符号比較器であ
るステップ４２は、Ｐ−ＶＯＰのプレゼンテーション時
刻をローカル時刻基準レジスタと比較する。その結果が
モジュロ時刻基準符号器であるステップ４３に送られ
る。モジュロ時刻基準符号器は、経過したモジュロ時刻
基準増分の数に等しい必要な数の“１”を挿入する。そ
して、モジュロ時刻基準符号の終わりを示すためにこれ
にシンボル“０”が続く。Ｂ−ＶＯＰ時刻基準レジスタ
がローカル時刻基準レジスタの値にセットされ、ローカ
ル時刻基準レジスタは現在のモジュロ時刻基準に更新さ
れる。そして、処理はＶＯＰ時刻基準増分符号器である
ステップ４４に進み、そこで、Ｐ−ＶＯＰのプレゼンテ
ーション時刻符号の残りの部分が符号化される。This process is repeated for the next encoded video object that is a P-VOP. A time code comparator, step 42, compares the presentation time of the P-VOP with a local time base register. The result is sent to step 43 which is the modulo time base encoder. The modulo time base encoder inserts the required number of "1" equal to the number of modulo time base increments that have elapsed. Then, this is followed by the symbol "0" to indicate the end of the modulo time base code. The B-VOP time base register is set to the value of the local time base register and the local time base register is updated to the current modulo time base. The process then proceeds to step 44, which is a VOP time base incremental encoder, where the remaining portion of the presentation time code of the P-VOP is encoded.

【００５４】そして、この処理が、Ｂ−ＶＯＰである次
に符号化されるビデオ対象画に反復される。時刻符号比
較器であるステップ４２は、Ｂ−ＶＯＰのプレゼンテー
ション時刻をＢ−ＶＯＰ時刻基準レジスタと比較する。
その結果がモジュロ時刻基準符号器であるステップ４３
に送られる。モジュロ時刻基準符号器は、経過したモジ
ュロ時刻基準増分の数に等しい必要な数の“１”を挿入
する。そして、モジュロ時刻基準符号の終わりを示すた
めにこれにシンボル“０”が続く。Ｂ−ＶＯＰ時刻基準
レジスタとローカル時刻基準レジスタのいずれもが、Ｂ
−ＶＯＰの処理の後では変更されない。そして、処理は
ＶＯＰ時刻基準増分符号器であるステップ４４に進み、
そこで、Ｂ−ＶＯＰのプレゼンテーション時刻符号の残
りの部分が符号化される。The process is then repeated for the next encoded video object that is a B-VOP. Step 42, a time code comparator, compares the B-VOP presentation time with the B-VOP time reference register.
Step 43, the result of which is the modulo time base encoder.
Sent to. The modulo time base encoder inserts the required number of "1" equal to the number of modulo time base increments that have elapsed. Then, this is followed by the symbol "0" to indicate the end of the modulo time base code. Both the B-VOP time base register and the local time base register are B
-No change after processing of VOP. The process then proceeds to step 44 which is a VOP time base increment encoder,
Therefore, the remaining part of the presentation time code of the B-VOP is encoded.

【００５５】ローカル時刻基準レジスタは、次のＶＯＰ
グループの始まりを表す次のＩ−ＶＯＰでリセットされ
る。The local time base register stores the next VOP.
It is reset at the next I-VOP, which marks the beginning of the group.

【００５６】つぎに、ビットストリーム復号器の実施例
について説明する。Next, an embodiment of the bitstream decoder will be described.

【００５７】図１７は、プレゼンテーションタイムスタ
ンプを再生するためにモジュロ時刻基準およびＶＯＰ時
刻増分に用いられる復号器の実施例を説明するブロック
構成図である。符号器の実施例のときと同じように、図
４に示される例が使用される。復号化の順序は符号化の
順序と同じであり、Ｂ−ＶＯＰよりも前に、Ｉ−ＶＯＰ
とそれに続くＰ−ＶＯＰが復号化される。これが以下の
段落で説明される。FIG. 17 is a block diagram illustrating an embodiment of a decoder used for the modulo time base and the VOP time increment to reproduce the presentation time stamp. As in the encoder embodiment, the example shown in FIG. 4 is used. The decoding order is the same as the encoding order, and the I-VOP is preceded by the B-VOP.
And the subsequent P-VOP are decoded. This is explained in the following paragraphs.

【００５８】処理はイニシャライザであるステップ５１
から始まり、そこで、ローカル時刻基準レジスタが、ビ
ットストリームから復号化された時刻符号の値にセット
される。そして、処理はモジュロ時刻基準復号器である
ステップ５２に進み、そこで、モジュロ時刻基準増分が
復号化される。復号化されるモジュロ時刻基準増分の総
数は、シンボル“０”の前に復号化される“１”の数に
よって与えられる。次に、ＶＯＰ時刻基準増分が、ＶＯ
Ｐ時刻基準増分復号器であるステップ５３において復号
化される。時刻基準計算器であるステップ５４におい
て、Ｉ−ＶＯＰのプレゼンテーション時刻が再生され
る。復号化されたモジュロ時刻基準増分の合計値がロー
カル時刻基準レジスタに加算される。そして、ＶＯＰ時
刻基準増分が、ローカル時刻基準レジスタに加算され、
Ｉ−ＶＯＰのプレゼンテーション時刻が得られる。そし
て、処理はビデオ対象画復号器であるステップ５５に進
み、そこで、ビデオ対象画が復号化される。The process is an initializer, step 51.
Beginning with, the local time base register is set to the value of the time code decoded from the bitstream. The process then proceeds to the modulo time base decoder, step 52, where the modulo time base increment is decoded. The total number of modulo time base increments decoded is given by the number of "1" s decoded before the symbol "0". Next, the VOP time base increment is VO
It is decoded in step 53 which is a P time base incremental decoder. In step 54, which is a time base calculator, the presentation time of the I-VOP is played. The sum of the decoded modulo time base increments is added to the local time base register. The VOP time base increment is then added to the local time base register,
The presentation time of the I-VOP is obtained. The process then proceeds to the video target image decoder, step 55, where the video target image is decoded.

【００５９】Ｐ−ＶＯＰに対しては、モジュロ時刻基準
復号器であるステップ５２において処理が反復され、そ
こで、モジュロ時刻基準増分が復号化される。復号化さ
れるモジュロ時刻基準増分の総数は、シンボル“０”の
前に復号化される“１”の数によって与えられる。次
に、ＶＯＰ時刻基準増分が、ＶＯＰ時刻基準増分復号器
であるステップ５３において復号化される。時刻基準計
算器であるステップ５４において、Ｐ−ＶＯＰのプレゼ
ンテーション時刻が再生される。Ｂ−ＶＯＰモジュロ時
刻基準レジスタが、ローカル時刻基準レジスタの値にセ
ットされる。復号化されたモジュロ時刻基準増分の合計
値がローカル時刻基準レジスタに加算される。そして、
ＶＯＰ時刻基準増分が、ローカル時刻基準レジスタに加
算され、Ｐ−ＶＯＰのプレゼンテーション時刻が得られ
る。処理はビデオ対象画復号器に進み、そこで、ビデオ
対象画が復号化される。For the P-VOP, the process is repeated at step 52, which is the modulo time base decoder, where the modulo time base increment is decoded. The total number of modulo time base increments decoded is given by the number of "1" s decoded before the symbol "0". The VOP time base increment is then decoded in step 53 which is a VOP time base increment decoder. In step 54, which is a time base calculator, the presentation time of the P-VOP is played. The B-VOP modulo time base register is set to the value of the local time base register. The sum of the decoded modulo time base increments is added to the local time base register. And
The VOP time base increment is added to the local time base register to obtain the presentation time of the P-VOP. The process proceeds to a video target image decoder, where the video target image is decoded.

【００６０】Ｂ−ＶＯＰに対しては、モジュロ時刻基準
復号器であるステップ５２において処理が反復され、そ
こで、モジュロ時刻基準増分が復号化される。復号化さ
れるモジュロ時刻基準増分の総数は、シンボル“０”の
前に復号化される“１”の数によって与えられる。次
に、ＶＯＰ時刻基準増分が、ＶＯＰ時刻基準増分復号器
であるステップ５３において復号化される。時刻基準計
算器であるステップ５４において、Ｂ−ＶＯＰのプレゼ
ンテーション時刻が再生される。復号化されたモジュロ
時刻基準増分の合計値とＶＯＰ時刻基準増分とが、Ｂ−
ＶＯＰ時刻基準レジスタに加算され、Ｂ−ＶＯＰのプレ
ゼンテーション時刻が得られる。Ｂ−ＶＯＰ時刻基準レ
ジスタとローカル時刻基準レジスタのいずれもが変更さ
れないままである。そして、処理はビデオ対象画復号器
に進み、そこで、ビデオ対象画が復号化される。For the B-VOP, the process is repeated at step 52, which is the modulo time base decoder, where the modulo time base increment is decoded. The total number of modulo time base increments decoded is given by the number of "1" s decoded before the symbol "0". The VOP time base increment is then decoded in step 53 which is a VOP time base increment decoder. In step 54, which is a time base calculator, the presentation time of the B-VOP is played. The total value of the decoded modulo time base increment and the VOP time base increment are B−
The presentation time of B-VOP is obtained by adding to the VOP time reference register. Both the B-VOP time base register and the local time base register remain unchanged. Then, the process proceeds to the video target image decoder, where the video target image is decoded.

【００６１】ローカル時刻基準レジスタは、次のＶＯＰ
グループの始まりを表す次のＩ−ＶＯＰでリセットされ
る。The local time base register stores the next VOP.
It is reset at the next I-VOP, which marks the beginning of the group.

【００６２】つぎに、具体的な例を説明する。Next, a concrete example will be described.

【００６３】図１８を参照すると、圧縮されたデータを
ビットストリームデータに符号化するステップの例が示
される。図１８の上側の行に示されるように、圧縮され
たビデオデータＶＯＰは、表示順に、Ｉ１、Ｂ１、Ｂ
２、Ｐ１、Ｂ３、Ｐ２の順序で一列に並べられ、ＧＯＰ
（グループオブピクチャー）ヘッダーがＶＯＰグループ
の開始点に挿入される。表示されるとともに、その表示
が実行されるローカル時刻が、ローカル時刻クロックを
用いてそれぞれのＶＯＰに関して判定される。例えば、
第１のＶＯＰ（Ｉ１−ＶＯＰ）は、ビデオデータのまさ
に開始点からカウントされる１時２３分４５秒３５０ミ
リ秒（１：２３：４５：３５０）に表示され、第２のＶ
ＯＰ（Ｂ１−ＶＯＰ）は、１：２３：４５：７５０に表
示され、また、第３のＶＯＰ（Ｂ２−ＶＯＰ）は、１：
２３：４６：１５０に表示され、以下も同様である。Referring to FIG. 18, an example of the steps for encoding the compressed data into bitstream data is shown. As shown in the upper row of FIG. 18, the compressed video data VOP is displayed in the order of I1, B1, B.
2, P1, B3, P2 are arranged in a line, and GOP
A (Group of Pictures) header is inserted at the beginning of the VOP group. As displayed, the local time at which the display is performed is determined for each VOP using the local time clock. For example,
The first VOP (I1-VOP) is displayed at 1: 23: 45: 350 milliseconds (1: 23: 45: 350) counted from the very start point of the video data, and the second VOP (I1-VOP) is displayed.
OP (B1-VOP) is displayed at 1: 23: 45: 750, and the third VOP (B2-VOP) is 1: 2.
Displayed at 23: 46: 150, and so on.

【００６４】ＶＯＰを符号化するためには、それぞれの
ＶＯＰに表示時刻データを挿入することが必要である。
もし、時、分、秒、およびミリ秒を含む完全な形で時刻
データを挿入するとすれば、それぞれのＶＯＰのヘッダ
ー部分にかなりのデータ領域が必要である。本発明の目
的は、そのようなデータ領域を減少させることであり、
また、それぞれのＶＯＰに挿入されるべき時刻データを
単純化することである。In order to encode the VOP, it is necessary to insert the display time data into each VOP.
If the time data is inserted in the complete form including hours, minutes, seconds, and milliseconds, a considerable data area is required in the header part of each VOP. The purpose of the invention is to reduce such data areas,
It is also to simplify the time data to be inserted in each VOP.

【００６５】図１８の１番上の横列に示されるＶＯＰの
それぞれは、ミリ秒からなる表示時刻データをＶＯＰ時
刻増分領域に記憶する。また、１番上の横列にあるＶＯ
Ｐのそれぞれは、一時的に、時、分、秒からなる表示時
刻データも記憶する。ＧＯＰヘッダーは、第１のＶＯＰ
（Ｉ１−ＶＯＰ）に用いられる時、分、秒からなる表示
データを記憶する。Each of the VOPs shown in the top row of FIG. 18 stores display time data of milliseconds in the VOP time increment area. Also, the VO in the top row
Each P temporarily stores display time data including hours, minutes, and seconds. GOP header is the first VOP
The display data composed of hours, minutes and seconds used for (I1-VOP) is stored.

【００６６】図１８の２番目の横列に示されるように、
ＶＯＰは、バッファー（図示せず）を用いて予め定めら
れた時間だけ遅延させられる。双方向予測方式によれ
ば、バッファーからＶＯＰが生成されるときにＶＯＰの
順序が変わるので、双方向のＶＯＰすなわちＢ−ＶＯＰ
は、そのＢ−ＶＯＰが参照するＰ−ＶＯＰの後に位置す
べきである。したがって、ＶＯＰは、Ｉ１、Ｐ１、Ｂ
１、Ｂ２、Ｐ２、Ｂ３の順序で一列に並べられる。As shown in the second row of FIG.
The VOP is delayed for a predetermined time using a buffer (not shown). According to the bidirectional prediction method, the order of the VOPs changes when the VOPs are generated from the buffer.
Should be located after the P-VOP referenced by that B-VOP. Therefore, VOP is I1, P1, B
They are arranged in a line in the order of 1, B2, P2, B3.

【００６７】図１８の３番目の横列に示されるように、
時刻Ｔ１において、すなわち、ＧＯＰヘッダーがまさに
符号化されるときに、ＧＯＰヘッダーに記憶された時、
分、秒のデータがそのままローカル時刻基準レジスタに
記憶される。図１８に示される例では、ローカル時刻基
準レジスタは、１：２３：４５を記憶する。そして、時
刻Ｔ２よりも前において、ＧＯＰヘッダーに対応するビ
ットストリームデータが得られ、図１８の下側に示され
るように時、分、秒のデータが挿入される。As shown in the third row of FIG.
At time T1, i.e. when the GOP header is just encoded, when stored in the GOP header,
The minute and second data are stored in the local time base register as they are. In the example shown in FIG. 18, the local time base register stores 1:23:45. Then, before the time T2, the bit stream data corresponding to the GOP header is obtained, and the hour, minute, and second data are inserted as shown in the lower part of FIG.

【００６８】そして、時刻Ｔ２において、第１のＶＯＰ
（Ｉ１−ＶＯＰ）が取り込まれる。時刻符号比較器が、
ローカル時刻基準レジスタに記憶された時刻（時、分、
秒）を第１のＶＯＰ（Ｉ１−ＶＯＰ）に一時的に記憶さ
れた時刻（時、分、秒）と比較する。この例によれば、
比較結果は同じとなる。したがって、比較器は、第１の
ＶＯＰ（Ｉ１−ＶＯＰ）がローカル時刻基準レジスタに
保持されている秒と同じ秒において発生したことを表す
“０”を生成する。比較器によって生成された“０”が
そのまま第１のＶＯＰ（Ｉ１−ＶＯＰ）のモジュロ時刻
基準領域に付与される。それと同時に、第１のＶＯＰ
（Ｉ１−ＶＯＰ）に一時的に記憶された時、分、秒のデ
ータは除去される。したがって、時刻Ｔ３よりも前にお
いて、第１のＶＯＰ（Ｉ１−ＶＯＰ）に対応するビット
ストリームデータが得られ、“０”がモジュロ時刻基準
領域に挿入され、“３５０”がＶＯＰ時刻増分領域に挿
入される。Then, at time T2, the first VOP
(I1-VOP) is captured. The time code comparator
The time stored in the local time base register (hour, minute,
Seconds) is compared to the time (hours, minutes, seconds) temporarily stored in the first VOP (I1-VOP). According to this example,
The comparison result is the same. Therefore, the comparator produces a "0" indicating that the first VOP (I1-VOP) occurred in the same second as the second held in the local time base register. The "0" generated by the comparator is directly added to the modulo time base area of the first VOP (I1-VOP). At the same time, the first VOP
The hour, minute, and second data temporarily stored in (I1-VOP) is removed. Therefore, before time T3, the bitstream data corresponding to the first VOP (I1-VOP) is obtained, "0" is inserted in the modulo time base area, and "350" is inserted in the VOP time increment area. To be done.

【００６９】次に、時刻Ｔ３において、第２のＶＯＰ
（Ｐ１−ＶＯＰ）が取り込まれる。時刻符号比較器が、
ローカル時刻基準レジスタに記憶された時刻（時、分、
秒）を第２のＶＯＰ（Ｐ１−ＶＯＰ）に一時的に記憶さ
れた時刻（時、分、秒）と比較する。この例によれば、
比較の結果は、第２のＶＯＰ（Ｐ１−ＶＯＰ）に一時的
に記憶された時刻は、ローカル時刻基準レジスタに記憶
された時刻よりも１秒だけ大きいこととなる。したがっ
て、比較器は、第２のＶＯＰ（Ｐ１−ＶＯＰ）がローカ
ル時刻基準レジスタに保持されている秒の次の１秒にお
いて発生したことを表す“１０”を生成する。もし第２
のＶＯＰ（Ｐ１−ＶＯＰ）が、ローカル時刻基準レジス
タに保持されている秒の次のさらにその次の秒において
発生すれば、比較器は“１１０”を生成する。Next, at time T3, the second VOP
(P1-VOP) is captured. The time code comparator
The time stored in the local time base register (hour, minute,
Seconds) is compared to the time (hours, minutes, seconds) temporarily stored in the second VOP (P1-VOP). According to this example,
The result of the comparison is that the time temporarily stored in the second VOP (P1-VOP) is one second larger than the time stored in the local time base register. Therefore, the comparator produces a "10" indicating that the second VOP (P1-VOP) has occurred in the second following the second held in the local time base register. If the second
If the VOP (P1-VOP) of 1 occurs in the second following the second held in the local time base register, the comparator generates "110".

【００７０】時刻Ｔ３よりも後において、Ｂ−ＶＯＰ時
刻基準レジスタは、時刻Ｔ３の直前にローカル時刻基準
レジスタに保持されている時刻と等しい時刻がセットさ
れる。この例では、Ｂ−ＶＯＰ時刻基準レジスタには、
１：２３：４５がセットされる。また、時刻Ｔ３よりも
後において、ローカル時刻基準レジスタは、第２のＶＯ
Ｐ（Ｐ１−ＶＯＰ）に一時的に記憶されている時刻に等
しい時刻にインクリメントされる。したがって、この例
においては、ローカル時刻基準レジスタは、１：２３：
４６にインクリメントされる。After time T3, the B-VOP time reference register is set to a time equal to the time held in the local time reference register immediately before time T3. In this example, the B-VOP time base register is
1:23:45 is set. Further, after the time T3, the local time base register is set to the second VO
It is incremented to a time equal to the time temporarily stored in P (P1-VOP). Therefore, in this example, the local time base register is 1:23:
Incremented to 46.

【００７１】比較器によって生成された結果として得ら
れた“１０”がそのまま第２のＶＯＰ（Ｐ１−ＶＯＰ）
のモジュロ時刻基準領域に付与される。それと同時に、
第２のＶＯＰ（Ｐ１−ＶＯＰ）に一時的に記憶された
時、分、秒のデータが除去される。したがって、時刻Ｔ
４よりも前において、第２のＶＯＰ（Ｐ１−ＶＯＰ）に
対応するビットストリームデータが得られ、“１０”が
モジュロ時刻基準領域に挿入され、“５５０”がＶＯＰ
時刻増分領域に挿入される。"10" obtained as a result of generation by the comparator is the second VOP (P1-VOP) as it is.
Is assigned to the modulo time base area of. At the same time,
The hour, minute and second data temporarily stored in the second VOP (P1-VOP) is removed. Therefore, time T
Before 4, the bitstream data corresponding to the second VOP (P1-VOP) is obtained, "10" is inserted in the modulo time base area, and "550" is the VOP.
It is inserted in the time increment area.

【００７２】そして、時刻Ｔ４において、第３のＶＯＰ
（Ｂ１−ＶＯＰ）が取り込まれる。時刻符号比較器が、
Ｂ−ＶＯＰ時刻基準レジスタに記憶された時刻（時、
分、秒）を第３のＶＯＰ（Ｂ１−ＶＯＰ）に一時的に記
憶された時刻（時、分、秒）と比較する。この例によれ
ば、比較の結果は同じとなる。したがって、比較器は、
第３のＶＯＰ（Ｂ１−ＶＯＰ）がＢ−ＶＯＰ時刻基準レ
ジスタに保持されている秒と同じ秒において発生したこ
とを表す“０”を生成する。比較器によって生成された
結果として得られた“０”がそのまま第３のＶＯＰ（Ｂ
１−ＶＯＰ）のモジュロ時刻基準領域に付与される。そ
れと同時に、第１のＶＯＰ（Ｉ１−ＶＯＰ）に一時的に
記憶された時、分、秒のデータが除去される。したがっ
て、時刻Ｔ５よりも前において、第３のＶＯＰ（Ｂ１−
ＶＯＰ）に対応するビットストリームデータが得られ、
“０”がモジュロ時刻基準領域に挿入され、“７５０”
がＶＯＰ時刻増分領域に挿入され。Then, at time T4, the third VOP
(B1-VOP) is captured. The time code comparator
The time stored in the B-VOP time base register (hour,
Minutes, seconds) with the time (hours, minutes, seconds) temporarily stored in the third VOP (B1-VOP). According to this example, the comparison result is the same. Therefore, the comparator is
A "0" is generated to indicate that the third VOP (B1-VOP) has occurred in the same second as the second held in the B-VOP time base register. The resultant "0" generated by the comparator is directly used as the third VOP (B
1-VOP) is added to the modulo time base area. At the same time, the hour, minute, and second data temporarily stored in the first VOP (I1-VOP) is removed. Therefore, before time T5, the third VOP (B1-
VOP) corresponding bitstream data is obtained,
"0" is inserted in the modulo time base area and "750"
Is inserted in the VOP time increment area.

【００７３】そして、時刻Ｔ５において、第４のＶＯＰ
（Ｂ２−ＶＯＰ）が取り込まれる。時刻符号比較器が、
Ｂ−ＶＯＰ時刻基準レジスタに記憶された時刻（時、
分、秒）を第４のＶＯＰ（Ｂ２−ＶＯＰ）に一時的に記
憶された時刻（時、分、秒）と比較する。この例によれ
ば、比較の結果は、第４のＶＯＰ（Ｂ２−ＶＯＰ）に一
時的に記憶された時刻がＢ−ＶＯＰ時刻基準レジスタに
記憶された時刻よりも１秒だけ大きいことになる。した
がって、比較器は、第４のＶＯＰ（Ｂ２−ＶＯＰ）がＢ
−ＶＯＰ時刻基準レジスタに保持されている秒の次の１
秒において発生したことを表す“１０”を生成する。Then, at time T5, the fourth VOP
(B2-VOP) is captured. The time code comparator
The time stored in the B-VOP time base register (hour,
Minutes, seconds) with the time (hours, minutes, seconds) temporarily stored in the fourth VOP (B2-VOP). According to this example, the result of the comparison is that the time temporarily stored in the fourth VOP (B2-VOP) is one second larger than the time stored in the B-VOP time base register. Therefore, in the comparator, the fourth VOP (B2-VOP) is B
-One after the second held in the VOP time base register
Generate "10" to represent what happened in seconds.

【００７４】ＢタイプのＶＯＰを処理している間には、
どのような結果を比較器が生成しようともそれに関係な
く、ローカル時刻基準レジスタもＢ−ＶＯＰ時刻基準レ
ジスタもインクリメントされることはない。While processing a B-type VOP,
Regardless of what result the comparator produces, neither the local time base register nor the B-VOP time base register is incremented.

【００７５】比較器によって生成された結果として得ら
れた“１０”がそのまま第４のＶＯＰ（Ｂ２−ＶＯＰ）
のモジュロ時刻基準領域に付与される。それと同時に、
第４のＶＯＰ（Ｂ２−ＶＯＰ）に一時的に記憶された
時、分、秒のデータが除去される。したがって、時刻Ｔ
６よりも前において、第４のＶＯＰ（Ｂ２−ＶＯＰ）に
対応するビットストリームデータが得られ、“１０”が
モジュロ時刻基準領域に挿入され、“１５０”がＶＯＰ
時刻増分領域に挿入される。The value "10" obtained as a result of the comparator is directly used as the fourth VOP (B2-VOP).
Is assigned to the modulo time base area of. At the same time,
The hour, minute, and second data temporarily stored in the fourth VOP (B2-VOP) is removed. Therefore, time T
Before 6, bit stream data corresponding to the fourth VOP (B2-VOP) is obtained, "10" is inserted in the modulo time base area, and "150" is VOP.
It is inserted in the time increment area.

【００７６】そして、時刻Ｔ６において、第５のＶＯＰ
（Ｐ２−ＶＯＰ）が取り込まれる。時刻符号比較器が、
ローカル時刻基準レジスタに記憶された時刻（時、分、
秒）を第５のＶＯＰ（Ｐ２−ＶＯＰ）に一時的に記憶さ
れた時刻（時、分、秒）と比較する。この例によれば、
比較の結果は、第５のＶＯＰ（Ｐ２−ＶＯＰ）に一時的
に記憶された時刻がローカル時刻基準レジスタに記憶さ
れた時刻よりも１秒だけ大きいことになる。したがっ
て、比較器は、第５のＶＯＰ（Ｐ２−ＶＯＰ）がローカ
ル時刻基準レジスタに保持されている秒の次の１秒にお
いて発生したことを表す“１０”を生成する。Then, at time T6, the fifth VOP
(P2-VOP) is captured. The time code comparator
The time stored in the local time base register (hour, minute,
Seconds) is compared to the time (hours, minutes, seconds) temporarily stored in the fifth VOP (P2-VOP). According to this example,
The result of the comparison is that the time temporarily stored in the fifth VOP (P2-VOP) is one second larger than the time stored in the local time base register. Therefore, the comparator produces a "10" indicating that the fifth VOP (P2-VOP) occurred in the second following the second held in the local time base register.

【００７７】時刻Ｔ６よりも後において、Ｂ−ＶＯＰ時
刻基準レジスタは、時刻Ｔ６の直前にローカル時刻基準
レジスタに保持されている時刻と等しい時刻にインクリ
メントされる。この例においては、Ｂ−ＶＯＰ時刻基準
レジスタは、１：２３：４６にインクリメントされる。
さらに、時刻Ｔ６よりも後において、ローカル時刻基準
レジスタは、第５のＶＯＰ（Ｐ２−ＶＯＰ）に一時的に
記憶された時刻と等しい時刻にインクリメントされる。
したがって、この例では、ローカル時刻基準レジスタ
は、１：２３：４７にインクリメントされる。After time T6, the B-VOP time base register is incremented to a time equal to the time held in the local time base register immediately before time T6. In this example, the B-VOP time base register is incremented 1:23:46.
Further, after time T6, the local time base register is incremented to a time equal to the time temporarily stored in the fifth VOP (P2-VOP).
Therefore, in this example, the local time base register is incremented at 1:23:47.

【００７８】比較器によって生成された結果として得ら
れた“１０”がそのまま第５のＶＯＰ（Ｐ２−ＶＯＰ）
のモジュロ時刻基準領域に付与される。それと同時に、
第５のＶＯＰ（Ｐ２−ＶＯＰ）に一時的に記憶された
時、分、秒のデータが除去される。したがって、時刻Ｔ
７よりも前において、第５のＶＯＰ（Ｐ２−ＶＯＰ）に
対応するビットストリームデータが得られ、“１０”が
モジュロ時刻基準領域に挿入され、“３５０”がＶＯＰ
時刻増分領域に挿入される。"10" obtained as a result by the comparator is the fifth VOP (P2-VOP) as it is.
Is assigned to the modulo time base area of. At the same time,
The hour, minute and second data temporarily stored in the fifth VOP (P2-VOP) is removed. Therefore, time T
Before 7, bit stream data corresponding to the fifth VOP (P2-VOP) is obtained, "10" is inserted in the modulo time base area, and "350" is VOP.
It is inserted in the time increment area.

【００７９】その後、同様の処理が実行され、それ以降
のＶＯＰに対するビットストリームデータが形成され
る。After that, similar processing is executed, and bit stream data for subsequent VOPs is formed.

【００８０】このビットストリームデータを復号化する
ために、上述の処理とは逆の処理が実行される。まず最
初に、ＧＯＰヘッダーに保持される時刻（時、分、秒）
が読み込まれる。読み込まれた時刻は、ローカル時刻基
準レジスタに記憶される。In order to decode this bit stream data, processing reverse to the above processing is executed. First of all, the time (hours, minutes, seconds) held in the GOP header
Is read. The read time is stored in the local time base register.

【００８１】ＩタイプまたはＰタイプのＶＯＰすなわち
Ｂタイプ以外のＶＯＰを受けた場合、モジュロ時刻基準
領域に記憶されたデータが読み込まれる。もし読み込ま
れたデータが“０”であれば、すなわち、０の前に１が
なければ、ローカル時刻基準レジスタは変更されること
はない。また、Ｂ−ＶＯＰ時刻基準レジスタも変更され
ることはない。もし読み込まれたデータが“１０”であ
れば、ローカル時刻基準レジスタに記憶された時刻が１
秒だけインクリメントされる。もし読み込まれたデータ
が“１１０”であれば、ローカル時刻基準レジスタに記
憶された時刻が２秒だけインクリメントされる。このよ
うに、インクリメントされるべき秒数は、０の前に挿入
された１の数によって決定される。また、読み込まれた
データが“１０”または“１１０”の場合には、メモリ
ーであるＢ−ＶＯＰ時刻基準レジスタは、ローカル時刻
基準レジスタがインクリメント直前に保持していた時刻
をコピーする。そして、ローカル時刻基準レジスタに保
持された時刻（時、分、秒）がＶＯＰ時刻増分領域に保
持された時刻（ミリ秒）と組み合わされ、Ｉタイプまた
はＰタイプのＶＯＰが生成されるべき時刻が確定され
る。When an I-type or P-type VOP, that is, a VOP other than the B-type is received, the data stored in the modulo time base area is read. If the read data is "0", that is, if there is no 1 before 0, the local time base register is not changed. Also, the B-VOP time base register is not changed. If the read data is "10", the time stored in the local time base register is 1
Incremented by seconds. If the read data is "110", the time stored in the local time base register is incremented by 2 seconds. Thus, the number of seconds to be incremented is determined by the number of 1's inserted before the 0's. When the read data is “10” or “110”, the B-VOP time base register, which is a memory, copies the time held by the local time base register immediately before the increment. Then, the time (hours, minutes, seconds) held in the local time base register is combined with the time (milliseconds) held in the VOP time increment area to determine the time when the I-type or P-type VOP should be generated. Will be confirmed.

【００８２】ＢタイプのＶＯＰを受けた場合は、モジュ
ロ時刻基準領域に記憶されたデータが読み込まれる。も
し読み込まれたデータが“０”であれば、Ｂ−ＶＯＰ時
刻基準レジスタに保持された時刻（時、分、秒）がＶＯ
Ｐ時刻増分領域に保持された時刻（ミリ秒）と組み合わ
され、ＢタイプのＶＯＰが生成されるべき時刻が確定さ
れる。もし読み込まれたデータが“１０”であれば、Ｂ
−ＶＯＰ時刻基準レジスタに保持された時刻（時、分、
秒）は１秒が加算され、この加算されて得られた時刻が
ＶＯＰ時刻増分領域に保持された時刻（ミリ秒）と組み
合わされ、ＢタイプのＶＯＰが生成されるべき時刻が確
定される。もし読み込まれたデータが“１１０”であれ
ば、Ｂ−ＶＯＰ時刻基準レジスタに保持された時刻
（時、分、秒）に２秒加算され、この加算されて得られ
た時刻がＶＯＰ時刻増分領域に保持された時刻（ミリ
秒）と組み合わされ、ＢタイプのＶＯＰが生成されるべ
き時刻が確定される。When a B type VOP is received, the data stored in the modulo time base area is read. If the read data is "0", the time (hour, minute, second) held in the B-VOP time base register is VO.
Combined with the time (milliseconds) held in the P time increment area, the time at which the B type VOP should be generated is determined. If the read data is "10", B
The time (hour, minute,
Second) is added by 1 second, and the time obtained by the addition is combined with the time (millisecond) held in the VOP time increment area to determine the time when the B type VOP should be generated. If the read data is “110”, 2 seconds is added to the time (hour, minute, second) held in the B-VOP time reference register, and the time obtained by this addition is the VOP time increment area. Combined with the time (milliseconds) held by the B.sub.2, the time at which a B-type VOP should be generated is determined.

【００８３】本発明の効果は、異なった符号器によって
符号化されたビデオ対象画を多重化することができるこ
とである。さらに、本発明は、異なったソースから得ら
れる圧縮データを対象画に基づいて操作して新しいビッ
トストリームを生成することを容易にする。本発明は、
オーディオビジュアル対象画を同期させる方法を提供す
る。An advantage of the present invention is that it is possible to multiplex video objects encoded by different encoders. Further, the present invention facilitates manipulating compressed data from different sources based on the target image to generate a new bitstream. The present invention is
A method of synchronizing audiovisual target images is provided.

【００８４】このように本発明が説明されたが、上述さ
れたものは様々な形態に変更することができる。そのよ
うな変形は本発明の精神および範囲を逸脱するものでは
なく、この分野に通常の知識を有する者には明白なよう
に、そのような変更のすべては請求の範囲に包含される
ものである。Although the present invention has been described thus far, the above description can be modified in various forms. Such modifications do not depart from the spirit and scope of the invention, and as will be apparent to one of ordinary skill in the art, all such modifications are intended to be within the scope of the following claims. is there.

【図面の簡単な説明】[Brief description of drawings]

【図１】ビデオシーケンスのフレームが一定間隔でサン
プリングされる従来技術による時間的なサンプリングを
説明する図である。1 is a diagram illustrating temporal sampling according to the related art in which frames of a video sequence are sampled at regular intervals.

【図２】ビデオ対象画の概念およびその互いの関係を説
明する図である。ビデオ対象画のサンプリングは不規則
であってもよく、また、サンプリング周期は急激に変化
してもよい。FIG. 2 is a diagram for explaining the concept of video target images and their relationship to each other. The sampling of the video object image may be irregular, and the sampling period may change abruptly.

【図３】ビデオ対象画の参照時刻がモジュロ時刻基準と
ＶＯＰ時刻増分とによって表される本発明を説明する図
である。この説明では、Ｉ−ＶＯＰおよびＰ−ＶＯＰだ
けが使用されている。FIG. 3 is a diagram illustrating the present invention in which a reference time of a video target image is represented by a modulo time base and a VOP time increment. In this description, only I-VOP and P-VOP are used.

【図４】ビデオ対象画の参照時刻がモジュロ時刻基準と
ＶＯＰ時刻増分とによって表される本発明を説明する図
である。この説明では、Ｉ−ＶＯＰ、Ｐ−ＶＯＰ、およ
び、Ｂ−ＶＯＰが使用されている。FIG. 4 is a diagram illustrating the present invention in which a reference time of a video target image is represented by a modulo time base and a VOP time increment. In this description, I-VOP, P-VOP, and B-VOP are used.

【図５】Ｂ−ビデオ対象画のためにプレゼンテーション
順序および符号化順序が異なる場合に発生することがあ
る曖昧さの例を説明する図である。FIG. 5 is a diagram illustrating an example of ambiguity that may occur when the presentation order and the encoding order are different for a B-video target image.

【図６】Ｂ−ビデオ対象画のためにプレゼンテーション
順序および符号化順序が異なる場合に発生することがあ
る曖昧さの例を説明する図である。FIG. 6 is a diagram illustrating an example of ambiguity that may occur when a presentation order and a coding order are different for a B-video target image.

【図７】Ｂ−ビデオ対象画のためにプレゼンテーション
順序および符号化順序が異なる場合に発生することがあ
る曖昧さの例を説明する図である。FIG. 7 is a diagram illustrating an example of ambiguity that may occur when the presentation order and the encoding order are different for a B-video target image.

【図８】Ｂ−ビデオ対象画のためにプレゼンテーション
順序および符号化順序が異なる場合に発生することがあ
る曖昧さの例を説明する図である。FIG. 8 is a diagram illustrating an example of ambiguity that may occur when a presentation order and a coding order are different for a B-video target image.

【図９】絶対時刻基準および相対時刻基準を用いること
によって曖昧さを解決することを説明する図である。FIG. 9 is a diagram illustrating resolving ambiguity by using an absolute time base and a relative time base.

【図１０】絶対時刻基準および相対時刻基準を用いるこ
とによって曖昧さを解決することを説明する図である。FIG. 10 is a diagram illustrating resolving ambiguity by using an absolute time base and a relative time base.

【図１１】２つのＶＯＰの組み合わせと、ＶＯＰ時刻オ
フセットを用いることによってそれらを共通時刻基準に
同期させることとを説明する図である。FIG. 11 is a diagram illustrating a combination of two VOPs and synchronizing them to a common time reference by using a VOP time offset.

【図１２】時刻基準の符号化を説明するフローチャート
である。FIG. 12 is a flowchart illustrating time-based encoding.

【図１３】複数のビデオ対象画の多重化を説明するフロ
ーチャートである。FIG. 13 is a flowchart illustrating multiplexing of a plurality of video target images.

【図１４】複数のビデオ対象画の多重分離を説明するフ
ローチャートである。FIG. 14 is a flowchart illustrating demultiplexing of a plurality of video target images.

【図１５】プレゼンテーションタイムスタンプの再生を
説明するフローチャートである。FIG. 15 is a flowchart illustrating reproduction of a presentation time stamp.

【図１６】時刻基準を符号化するためのビットストリー
ム符号器の動作を説明するブロック構成図である。FIG. 16 is a block diagram illustrating an operation of a bitstream encoder for encoding a time reference.

【図１７】時刻基準を復号化するためのビットストリー
ム復号器の動作を説明するブロック構成図である。FIG. 17 is a block diagram illustrating an operation of a bitstream decoder for decoding a time base.

【図１８】ビットストリームデータの形成を説明するタ
イムチャートである。FIG. 18 is a time chart explaining formation of bit stream data.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 シェン メイ・シェン シンガポール534415シンガポール、タ イ・セン・アベニュー、ブロック1022、 04−3530番、タイ・セン・インダストリ アル・エステイト、パナソニック・シン ガポール研究所株式会社内 (72)発明者 チャク ジュー・リー シンガポール534415シンガポール、タ イ・セン・アベニュー、ブロック1022、 04−3530番、タイ・セン・インダストリ アル・エステイト、パナソニック・シン ガポール研究所株式会社内 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 ─────────────────────────────────────────────────── ─── Continuation of front page (72) Inventor Shen Mei Shen Singapore 534415 Singapore, Thai Sen Avenue, Block 1022, 04-3530, Thai Sen Industrial Estate, Panasonic Singapore Research (72) Inventor Chak Joo Lee Singapore 534415 Singapore, Thai Sen Avenue, Block 1022, 04-3530, Thai Sen Industrial Estate, Panasonic Singapore Research Institute Co., Ltd. (58) Fields surveyed (Int.Cl. ⁷ , DB name) H04N ^7/ 24-7/68

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 圧縮データに含まれるVOPの時刻を符号
化する方法であって、 ローカル時刻基準レジスタは、符号化対象のVOPの直前
に符号化したVOPの時刻のうち１秒単位の時刻を格納し
ており、 前記ローカル時刻基準レジスタの時刻に対する符号化対
象VOPの時刻の１秒単位の増分をモジュロ時刻基準増分
として符号化し、 前記符号化対象VOPの時刻のうち１秒より短い増分をVOP
時刻増分として符号化し、 前記VOP時刻を前記モジュロ時刻基準増分と前記VOP時刻
増分との組合せで表現することを特徴とするVOPの時刻
符号化方法。1. A method for encoding the time of a VOP included in compressed data, wherein the local time base register sets a time of one second unit among the time of the VOP encoded immediately before the VOP to be encoded. The modulo time base increment is used to encode the increment of the time of the encoding target VOP with respect to the time of the local time reference register as a modulo time reference increment, and the increment of less than 1 second of the encoding target VOP is VOP.
A VOP time encoding method, characterized by encoding as a time increment and expressing the VOP time by a combination of the modulo time base increment and the VOP time increment. 【請求項２】 前記VOPは、I-VOP（イントラ符号化され
たVOP）またはP-VOP（予測符号化されたVOP）であるこ
とを特徴とする請求項１記載のVOPの時刻符号化方法。2. The VOP time coding method according to claim 1, wherein the VOP is an I-VOP (intra-coded VOP) or a P-VOP (prediction-coded VOP). . 【請求項３】 圧縮データに含まれるI-VOP（イントラ
符号化されたVOP）、P-VOP（予測符号化されたVOP）お
よびB-VOP（双方向予測により符号化されたVOP）の時刻
を符号化する方法であって、 ローカル時刻基準レジスタは、符号化対象のI-VOPまた
はP-VOPの直前に符号化したI-VOPまたはP-VOPの時刻の
うち１秒単位の時刻を格納しており、 B-VOP時刻基準レジスタは、符号化対象のB-VOPの表示順
序が直前のI-VOPまたはP-VOPの時刻のうち１秒単位の時
刻を格納しており、 前記ローカル時刻基準レジスタの時刻に対する符号化対
象のI-VOPまたはP-VOPの時刻の１秒単位の増分をI-VOP
またはP-VOPのモジュロ時刻基準増分として符号化し、 前記符号化対象のI-VOPまたはP-VOPの時刻のうち１秒よ
り短い増分をI-VOPまたはP-VOPのVOP時刻増分として符
号化し、 前記符号化対象のI-VOPまたはP-VOP の時刻を前記I-VOP
またはP-VOPのモジュロ時刻基準増分と前記I-VOPまたは
P-VOPのVOP時刻増分との組合せで表現し、 前記符号化したI-VOPまたはP-VOPのモジュロ時刻基準増
分を前記ローカル時刻基準レジスタへ格納し、 前記B-VOP時刻基準レジスタの時刻に対する符号化対象
のB-VOPの時刻の１秒単位の増分をモジュロ時刻基準増
分として符号化し、 符号化対象のB-VOPの時刻のうち１秒より短い増分をB-V
OPのVOP時刻増分として符号化し、 前記符号化対象のB-VOP の時刻を前記B-VOPのモジュロ
時刻基準増分と前記B-VOPのVOP時刻増分との組合せで表
現することを特徴とするVOPの時刻符号化方法。3. Times of I-VOPs (intra-coded VOPs), P-VOPs (prediction-coded VOPs) and B-VOPs (VOPs coded by bidirectional prediction) included in the compressed data. The local time base register stores the time in 1-second units of the I-VOP or P-VOP coded immediately before the I-VOP or P-VOP to be coded. The B-VOP time base register stores the time of one second unit among the times of the I-VOP or P-VOP whose display order of the B-VOP to be coded is immediately before, and the local time. I-VOP is the increment of the time of the I-VOP or P-VOP to be encoded with respect to the time of the reference register in units of one second.
Or encoded as a modulo time base increment of P-VOP, encoding an increment of less than 1 second of the time of the I-VOP or P-VOP to be encoded as a VOP time increment of I-VOP or P-VOP, The time of the I-VOP or P-VOP to be encoded is set to the I-VOP.
Or P-VOP modulo time base increment and the I-VOP or
Expressed in combination with the VOP time increment of P-VOP, store the encoded modulo time base increment of the I-VOP or P-VOP in the local time base register, for the time of the B-VOP time base register The increment of the second of the time of the B-VOP to be encoded is encoded as a modulo time base increment, and the increment of less than 1 second of the B-VOP to be encoded is the BV.
The VOP is encoded as a VOP time increment of OP, and the time of the B-VOP to be encoded is represented by a combination of a modulo time base increment of the B-VOP and a VOP time increment of the B-VOP. Time encoding method. 【請求項４】 前記符号化したI-VOPまたはP-VOPのモジ
ュロ時刻基準増分を前記ローカル時刻基準レジスタへ格
納する前に、前記ローカル時刻基準レジスタの時刻をB-
VOP時刻基準レジスタに格納することを特徴とする請求
項３記載のVOPの時刻符号化方法。4. The time of the local time base register is stored in the B-BOP before the modulo time base increment of the encoded I-VOP or P-VOP is stored in the local time base register.
4. The VOP time encoding method according to claim 3, wherein the time is stored in a VOP time reference register. 【請求項５】 前記モジュロ時刻基準増分は０個または
１個以上の“１”の並びからなり、 前記“１”の数は前記１秒単位の増分であることを特徴
とする請求項１から４いずれか記載のVOPの時刻符号化
方法。5. The modulo time base increment comprises a sequence of 0 or 1 or more “1” s, and the number of “1s” is the increment of 1 second unit. 4. The VOP time encoding method according to any one of 4).