JP2001245306A - Method for decoding moving picture signal - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a method for decoding a moving picture signal by which a bit stream can temporally and correctly be decoded in the unit of sub frames even after missing of part of the bit stream takes place or after the occurrence of an error and deterioration in the quality of a decoded image can be reduced even when decoding a sub frame including a picture with motion is temporally disabled. SOLUTION: Coding information by one frame corresponding to a spatially hierarchical structure consisting of frames, sub frames and blocks adds a temporal sub frame number SFNT and a spatial sub-frame number SFNS to a sub- frame identifier SFSC to temporally correctly decode a sub-frame just after a sub-frame receiving an error even on the occurrence of the error. Furthermore, arranging the sub-frame identifier SFSC to a bit stream at a prescribed interval can spatially reduce a sub-frame including a block hard of coding because of existence of a temporal motion and the deterioration in the quality of a decoded image can be reduced even when decoding of the sub-frame is disabled.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、テレビ電話、テレ
ビ会議などに利用する、ディジタル動画像信号の復号化
方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for decoding a digital moving picture signal used for a video telephone, a video conference, or the like.

【０００２】[0002]

【従来の技術】従来のディジタル動画像信号の符号化方
法は、入力された動画像のフレームを、複数のＮ×Ｍ画
素からなるブロックに分割し、このブロックを単位とし
て動き検出、予測、直交変換、量子化、可変長符号化と
いった処理を行なう。2. Description of the Related Art A conventional digital video signal encoding method divides an input video frame into a plurality of blocks each composed of N × M pixels, and performs motion detection, prediction, and orthogonalization on a block basis. Processing such as conversion, quantization, and variable-length coding is performed.

【０００３】一方、従来のディジタル動画像信号の復号
化方法は、符号化方法の逆の手続き、すなわち可変長復
号化、逆量子化、逆直交変換、動き補償といった処理に
よってＮ×Ｍ画素からなるブロックを再生する。On the other hand, the conventional digital moving picture signal decoding method is composed of N × M pixels by the reverse procedure of the coding method, that is, processes such as variable length decoding, inverse quantization, inverse orthogonal transform, and motion compensation. Play a block.

【０００４】このような符号化方法および復号化方法を
用いることによって動画像信号が持つ冗長性を除去し、
少ない情報量で効率的に動画像の通信、蓄積を行なうこ
とを可能にしている。[0004] By using such an encoding method and a decoding method, the redundancy of a moving image signal is removed.
It is possible to efficiently communicate and store moving images with a small amount of information.

【０００５】従来のディジタル動画像信号の符号化方法
および復号化方法では、前述のように画素ブロックを単
位として処理を行なうが、画素ブロックの集合をサブフ
レームとして、またサブフレームの集合をフレームとし
て符号化、復号化の単位とすることが一般的である。In the conventional digital moving picture signal encoding and decoding methods, processing is performed in units of pixel blocks as described above, but a set of pixel blocks is set as a subframe and a set of subframes is set as a frame. It is common to use a unit for encoding and decoding.

【０００６】以下、従来のディジタル動画像信号の符号
化方法および復号化方法の例として、１９９３年３月に
勧告されたITU-T Recommendation H.261を取りあげ、ブ
ロック、サブフレーム、フレーム単位の符号化、復号化
について説明する。In the following, ITU-T Recommendation H.261 recommended in March 1993 will be taken as an example of a conventional digital moving picture signal encoding method and decoding method. Encryption and decryption will be described.

【０００７】H.261 はディジタル動画像信号の輝度信
号、色差信号それぞれに対しての符号化方法、復号化方
法を規定しているが、以下では便宜上輝度信号に関する
説明のみを行なう。基本的に輝度信号と色差信号の符号
化方法、復号化方法に相違はない。H.261 defines an encoding method and a decoding method for a luminance signal and a chrominance signal of a digital moving image signal, respectively, but only the luminance signal will be described below for convenience. Basically, there is no difference between the encoding method and the decoding method of the luminance signal and the color difference signal.

【０００８】H.261 では、ディジタル動画像信号の１フ
レームは、３５２×２８８画素で構成される。また、こ
のフレームは、１７６×４８画素からなりＧＯＢ(Group
OfBlock)と呼ばれる１２個のサブフレームに分割され
る。さらに、このサブフレームは１６×１６画素からな
りマクロブロックと呼ばれる３３個のブロックに分割さ
れる。この様子を図４に示した。In H.261, one frame of a digital moving image signal is composed of 352 × 288 pixels. Also, this frame is composed of 176 × 48 pixels and GOB (Group
(OfBlock) is divided into 12 subframes. Further, this subframe is composed of 16 × 16 pixels and is divided into 33 blocks called macroblocks. This situation is shown in FIG.

【０００９】ここで、H.261 の符号化方法では、符号化
した１フレーム分の情報を、前述のフレーム、ＧＯＢ、
マクロブロックといった空間的な階層構造に対応させ
て、図５のように構成することを規定している。図５に
おいて矩形で囲まれた部分は符号化された情報を意味
し、それぞれの符号化ビット数を矩形の下に示してあ
る。一方、図５において矢印は符号化情報のつながり方
を示しており、このような一連の符号化動画像信号列を
ビットストリームという。[0009] Here, in the H.261 coding method, the coded information for one frame is converted into the aforementioned frame, GOB,
It is prescribed that the configuration is as shown in FIG. 5 corresponding to a spatial hierarchical structure such as a macro block. In FIG. 5, a portion enclosed by a rectangle means encoded information, and the number of encoded bits is shown below the rectangle. On the other hand, in FIG. 5, the arrows indicate how the encoded information is connected, and such a series of encoded moving image signal sequences is referred to as a bit stream.

【００１０】図５のH.261 ビットストリームにおいて、
１つのマクロブロックに関する符号化情報すべてを配置
している部分をマクロブロック層、１つのＧＯＢに関す
る符号化情報すべてを配置している部分をＧＯＢ層、１
つのフレームに関する符号化情報すべてを配置している
部分をフレーム層と呼ぶ。In the H.261 bit stream of FIG.
The part where all the coding information about one macroblock is arranged is the macroblock layer, and the part where all the coding information about one GOB is arranged is the GOB layer,
A portion in which all pieces of encoding information regarding one frame are arranged is called a frame layer.

【００１１】図５に示される各層の、符号化情報の意味
を以下に示す。 フレーム層 PSC(２０ビット）フレーム識別子。復号化方法が常に識
別可能なユニーク符号であり、"0000 0000 0000 0001 0
000"で表される。 TR（５ビット）フレーム番号。このフレームが表示され
る時間的位置を示す。 PTYPE(６ビット）フレームタイプ情報。フレームに関す
る諸情報。 PEI （１ビット）拡張用データ挿入情報。引き続くPSPA
REの有無を示すフラグ。 PSPARE（８ビット）拡張用データ。 ＧＯＢ層 GBSC（１６ビット）GOB 識別子。復号化方法が常に識別
可能なユニーク符号であり、"0000 0000 0000 0001" で
表される。 GN（４ビット）GOB 番号。フレーム内におけるこのGOB
の空間的位置を示す。 GQUANT（５ビット）量子化特性情報。GOB 内のマクロブ
ロックを符号化する際の量子化特性を示す。 GEI （１ビット） 拡張用データ挿入情報。引き続くGS
PAREの有無を示すフラグ。 GSPARE（８ビット）拡張用データ。The meaning of the coded information of each layer shown in FIG. 5 will be described below. Frame layer PSC (20 bits) frame identifier. The decoding method is a unique code that can always be identified, and is "0000 0000 0000 0001 0
000 ". TR (5 bit) frame number. Indicates the temporal position where this frame is displayed. PTYPE (6 bit) Frame type information. Various information about the frame. PEI (1 bit) Insertion of data for extension Information, followed by PSPA
Flag indicating the presence or absence of RE. PSPARE (8-bit) extension data. GOB layer GBSC (16 bits) GOB identifier. The decoding method is a unique code that can always be identified, and is represented by “0000 0000 0000 0001”. GN (4 bits) GOB number. This GOB in the frame
Shows the spatial position of. GQUANT (5 bits) quantization characteristic information. Indicates the quantization characteristics when encoding a macroblock in the GOB. GEI (1 bit) Expansion data insertion information. Continued GS
Flag indicating the presence or absence of PARE. GSPARE (8-bit) extension data.

【００１２】なお、図５で最も下の階層であるマクロブ
ロック層の符号化情報は、冒頭に述べたように、動き検
出、予測、直交変換、量子化、可変長符号化といった符
号化方法によって生成されるものであり、符号化ビット
数は一定でない。一般的に、マクロブロック内に含まれ
る画素の空間的レベル変化が激しいか、または同じ空間
的位置を持つマクロブロック内画素の時間的レベル変化
が激しい場合には、マクロブロック層の符号化ビット数
は増大する。このようなマクロブロックを以後、符号化
が難しいマクロブロックと呼ぶことにする。The coding information of the macroblock layer, which is the lowest layer in FIG. 5, is obtained by coding methods such as motion detection, prediction, orthogonal transform, quantization, and variable length coding, as described at the beginning. It is generated and the number of coded bits is not constant. In general, if the spatial level of pixels included in a macroblock changes drastically or the temporal level of pixels in a macroblock having the same spatial position changes drastically, the number of coding bits in the macroblock layer Increases. Hereinafter, such a macroblock is referred to as a macroblock that is difficult to encode.

【００１３】一方、マクロブロック内に含まれる画素の
レベルが空間的にも時間的にも定常的な場合、マクロブ
ロック層の符号化ビット数は著しく減少し、０となる場
合もある。このようなマクロブロックを以後、符号化が
易しいマクロブロックと呼ぶことにする。On the other hand, when the level of a pixel included in a macroblock is spatially and temporally stationary, the number of coded bits in the macroblock layer is significantly reduced and sometimes becomes zero. Hereinafter, such a macroblock is referred to as a macroblock which is easy to encode.

【００１４】次に、H.261 の復号化方法では、まず最初
に、ビットストリームからフレーム層の識別子であるＰ
ＳＣを探し出す。このように正しく復号可能な符号を探
し出すことに成功した状態を同期が確立したという。ビ
ットストリームからＰＳＣを探し出しフレーム層の同期
が確立すると、それ以後、次のＰＳＣが現われるまでの
ビットストリームは１フレーム分の符号化情報であると
識別できる。さらに、その１フレーム分のビットストリ
ームを復号化して得られる３５２×２８８画素のフレー
ムが表示されるべき時間な位置は、ＰＳＣに引き続くフ
レーム番号ＴＲを調べることにより得られる。[0014] Next, in the H.261 decoding method, first, an identifier P of a frame layer is obtained from a bit stream.
Find the SC. Synchronization is established when a code that can be correctly decoded is successfully searched out. When the PSC is searched for from the bit stream and the synchronization of the frame layer is established, the bit stream from then on until the next PSC appears can be identified as encoded information for one frame. Further, the time position at which a frame of 352 × 288 pixels obtained by decoding the bit stream for one frame is to be displayed can be obtained by checking the frame number TR following the PSC.

【００１５】また、H.261 の復号化方法では、フレーム
層の同期が確立した後、引き続くビットストリームから
ＧＯＢ層の識別子であるＧＢＳＣを捜し出す。ＧＢＳＣ
層の同期が確立すると、それ以後、次のＧＢＳＣが現わ
れるまでのビットストリームは１ＧＯＢ分の符号化情報
であると識別できる。さらに、その１ＧＯＢ分のビット
ストリームを復号化して得られる１７６×４８画素のＧ
ＯＢが配置されるフレーム内の空間的位置は、ＧＢＳＣ
に引き続くＧＯＢ番号ＧＮを調べることにより得られ
る。Further, in the H.261 decoding method, after synchronization of the frame layer is established, GBSC, which is the identifier of the GOB layer, is searched for from the subsequent bit stream. GBSC
After the synchronization of the layers is established, the bit stream until the next GBSC appears can be identified as encoded information for one GOB. Further, a G of 176 × 48 pixels obtained by decoding the bit stream of 1 GOB is obtained.
The spatial position in the frame where the OB is located is GBSC
Is obtained by checking the GOB number GN following.

【００１６】さらに、H.261 の復号化方法では、ＧＯＢ
層の同期が確立した後、引き続くマクロブロック層のビ
ットストリームを復号する。このマクロブロック層の復
号化方法は、冒頭に述べたように、可変長復号化、逆量
子化、逆直交変換、動き補償といった処理によって１６
×１６画素からなるマクロブロックを再生する手続きで
ある。ここで注意すべきなのは、マクロブロック層には
ＰＳＣやＧＢＳＣのように復号化方法が常に識別可能な
ユニーク符号がなく、かつ各マクロブロック符号化情報
は可変長符号による不定長ビットで構成されている点で
ある。Further, in the H.261 decoding method, GOB
After layer synchronization is established, the subsequent macroblock layer bit stream is decoded. As described at the beginning, this macroblock layer decoding method uses a variable-length decoding, inverse quantization, inverse orthogonal transform, and motion compensation processes.
This is a procedure for reproducing a macro block composed of × 16 pixels. It should be noted here that the macroblock layer does not have a unique code such as PSC or GBSC that can always identify the decoding method, and that each macroblock coding information is composed of variable length bits of variable length code. It is a point.

【００１７】ＯＢ層において、第１番目から第３３番目
までのマクロブロック符号化情報は、図６に示すよう
に、ユニーク符号のない可変長符号の連なりとして表さ
れる。よって、復号化方法が、図６中Ａで示した点から
マクロブロック符号化情報の復号を開始して、第１、第
２... 、第ｎ....、第３３マクロブロックと順次復号し
てゆけば，ＧＯＢ層のすべてのマクロブロックは再生で
きる。しかし、復号化方法が、図６中ＢやＣで示した点
からマクロブロック符号化情報の復号を開始すると、ど
こから１つのマクロブロック符号化情報が始まるのか識
別できず同期が確立しないため、次のＧＢＳＣが現われ
るまですべてのマクロブロックの復号、再生が不可能に
なる。つまり、ＧＢＳＣはマクロブロック層の復号開始
点をも表わしている。In the OB layer, the first to 33rd macroblock coding information is represented as a sequence of variable length codes without unique codes as shown in FIG. Therefore, the decoding method starts decoding the macroblock coded information from the point indicated by A in FIG. 6 and sequentially performs the first, second..., N. After decoding, all the macroblocks in the GOB layer can be reproduced. However, when the decoding method starts decoding macroblock coded information from the points indicated by B and C in FIG. 6, it is not possible to identify where one macroblock coded information starts and synchronization is not established. Decoding and reproduction of all macroblocks are not possible until GBSC appears. That is, GBSC also represents the decoding start point of the macroblock layer.

【００１８】最後に、H.261 の復号化方法では、再生さ
れたマクロブロックの集合であるＧＯＢをＧＮで示され
るフレーム内の空間的位置に配置し、さらに再生された
ＧＯＢの集合であるフレームをＴＲで示される時間的位
置に配置する。Finally, in the H.261 decoding method, a GOB, which is a set of reproduced macroblocks, is arranged at a spatial position in a frame indicated by GN, and a frame, which is a set of reproduced GOBs, is placed. At a time position indicated by TR.

【００１９】このようにして、H.261 ではディジタル動
画像１フレームを空間的に、時間的に正しく復号するこ
とが可能になっている。As described above, H.261 enables one frame of a digital moving image to be decoded spatially and temporally correctly.

【００２０】[0020]

【発明が解決しようとする課題】しかしながら、上記従
来のディジタル動画像信号の復号化方法では、ビットス
トリームの一部が欠落したり、誤りが発生した場合、次
のフレーム層の同期が確立するまで、すべてのサブフレ
ームを時間的に正しく復号することが不可能になる問題
があった。However, according to the above-described conventional method for decoding a digital moving image signal, when a part of a bit stream is lost or an error occurs, the synchronization of the next frame layer is established. However, there is a problem that it is impossible to decode all the subframes temporally correctly.

【００２１】以下にその理由を説明する。従来の復号化
方法では、ビットストリーム中で常に識別可能な符号
は、フレーム識別子とサブフレーム識別子のみである。
よって、ビットストリームの一部が欠落したり、誤りが
発生すると、次のサブフレーム識別子が現われるまで復
号の同期は回復できず、復号が不可能になる。しかし、
次のサブフレーム識別子が現われても、そのサブフレー
ム層のビットストリームは時間的に正しく復号できな
い。それは、図７を参照することにより理解される。The reason will be described below. In the conventional decoding method, the only codes that can be always identified in the bit stream are the frame identifier and the subframe identifier.
Therefore, if a part of the bit stream is lost or an error occurs, decoding synchronization cannot be recovered until the next subframe identifier appears, and decoding becomes impossible. But,
Even if the next subframe identifier appears, the bitstream of that subframe layer cannot be decoded correctly in time. It can be understood by referring to FIG.

【００２２】図７はバースト的なビットストリームの欠
落、誤りによって、時間的にｎ番目のフレームにおける
５番目のサブフレームから、時間的にｎ＋１番目のフレ
ームにおける６番目のサブフレームまで復号が不可能と
なった例を示している。この例では、時間的にｎ＋１番
目のフレームに対応するフレーム識別子はもとより、そ
れに引き続くＴＲも欠落しているか、誤っている。よっ
て、時間的にｎ＋１番目のフレームにおける７番目のサ
ブフレームに対応するサブフレーム識別子から同期を確
立し、それに引き続くＧＮを復号することによって、こ
のサブフレームを空間的に正しく復号することはできて
も、このサブフレームが時間的にｎ番目に位置するの
か、ｎ＋１番目に位置するのか特定することはできな
い。時間的にｎ＋１番目のフレームにおける８番目のサ
ブフレームから１２番目のサブフレームの復号に関して
も同様に、これらサブフレームが時間的にｎ番目に位置
するのか、ｎ＋１番目に位置するのか特定することはで
きない。FIG. 7 shows that it is impossible to decode from the fifth sub-frame in the n-th frame to the sixth sub-frame in the (n + 1) -th frame due to the loss or error of the burst bit stream. Is shown. In this example, not only the frame identifier corresponding to the (n + 1) th frame in time but also the subsequent TR are missing or incorrect. Therefore, by establishing synchronization from the subframe identifier corresponding to the seventh subframe in the (n + 1) th frame in time and decoding the subsequent GN, this subframe can be decoded spatially correctly. Also, it is impossible to specify whether this subframe is located at the n-th or n + 1-th temporal position. Similarly, when decoding the eighth to twelfth subframes in the (n + 1) th frame in time, it is also possible to specify whether these subframes are located in the nth or (n + 1) th time frame. Can not.

【００２３】よって、ビットストリームの一部が欠落し
たり、誤りが発生した場合、次にフレーム層の同期が確
立するまですべてのサブフレームを時間的に正しく復号
することが不可能になる。Therefore, when a part of the bit stream is lost or an error occurs, it becomes impossible to decode all the subframes temporally correctly until the next synchronization of the frame layer is established.

【００２４】さらに、従来のディジタル動画像信号の復
号化方法では、時間的に動きのある画像を含んだサブフ
レームの復号が不可能になった場合、復号画質が大きく
劣化する問題があった。Further, in the conventional method for decoding a digital moving image signal, when decoding of a sub-frame including a temporally moving image becomes impossible, there is a problem that the decoded image quality is greatly deteriorated.

【００２５】この問題をさらに詳しく説明するため、図
８を参照する。図８は復号されたディジタル動画像信号
のある1 フレームを示しており、フレームの中央で人物
が動いている。図８中、時間的に動きのある部分は斜線
で示してあり、それ以外は背景で時間的に静止してい
る。このようなシーンは、テレビ会議、テレビ電話など
で一般的である。To explain this problem in more detail, reference is made to FIG. FIG. 8 shows one frame of a decoded digital video signal, in which a person is moving in the center of the frame. In FIG. 8, a portion having a temporal movement is indicated by oblique lines, and other portions are temporally stationary in the background. Such scenes are common in video conferences, video phones, and the like.

【００２６】まず、図８を参照して、１番目から４番目
いずれかのサブフレームの復号が不可能になる場合を考
える。１番目から４番目のサブフレームは、時間的に静
止した画像を含んでいる。よって、例えば２番目のサブ
フレームの復号が不可能である場合、時間的に前のフレ
ームの２番目のサブフレームをもって、現フレームの２
番目のサブフレームを置き換えるという巧妙な操作を復
号化方法で行なえば、現フレームの２番目のサブフレー
ムにおける画質の劣化はほとんど検知されないであろ
う。First, a case where decoding of any of the first to fourth subframes becomes impossible will be considered with reference to FIG. The first to fourth subframes include temporally still images. Therefore, for example, when the decoding of the second sub-frame is impossible, the second sub-frame of the temporally previous frame is used as the 2nd sub-frame of the current frame.
If the subtle operation of replacing the second sub-frame is performed by a decoding method, the deterioration of the image quality in the second sub-frame of the current frame will be hardly detected.

【００２７】しかし、図８で示す５番目から１２番目の
サブフレームの復号が不可能である場合は問題である。
５番目から１２番目のサブフレームは、時間的に動きの
ある画像を含んでいる。これは、例えば、時間的に前の
フレームの９番目のサブフレームの画像と、現フレーム
の９番目のサブフレームの画像は大きく異なることを意
味する。よって、９番目のサブフレームの復号が不可能
である場合、復号化方法で前述のような巧妙な操作を行
なっても、現フレームの９番目のサブフレームにおける
画質劣化は明らかに検知されるであろう。However, there is a problem when decoding of the fifth to twelfth subframes shown in FIG. 8 is impossible.
The fifth to twelfth subframes include temporally moving images. This means that, for example, the image of the ninth sub-frame of the temporally previous frame is greatly different from the image of the ninth sub-frame of the current frame. Therefore, when decoding of the ninth sub-frame is impossible, even if the above-described ingenious operation is performed by the decoding method, image quality deterioration in the ninth sub-frame of the current frame is clearly detected. There will be.

【００２８】よって、時間的に動きのある画像を含んだ
サブフレームの復号が不可能になった場合、復号画質が
大きく劣化する。Therefore, when it becomes impossible to decode a sub-frame including a temporally moving image, the decoded image quality is greatly deteriorated.

【００２９】本発明は、上記従来の問題点を解決するも
ので、ビットストリームの一部が欠落したり、誤りが発
生した場合でも、その後サブフレームを単位として時間
的に正しく復号することができ、かつ時間的に動きのあ
る画像を含んだサブフレームの復号が不可能になって
も、復号画質の劣化を小さく抑えられる優れたディジタ
ル動画像信号の復号化方法を提供することを目的とす
る。The present invention solves the above-mentioned conventional problems. Even when a part of a bit stream is lost or an error occurs, it is possible to decode correctly in time in units of subframes thereafter. It is an object of the present invention to provide an excellent digital video signal decoding method capable of minimizing the deterioration of the decoded image quality even if the decoding of a sub-frame including a temporally moving image becomes impossible. .

【００３０】[0030]

【課題を解決するための手段】本発明は、上記目的を達
成するために、本発明のディジタル動画像信号の復号化
方法は、動画像信号の符号化方法によって符号化された
動画像信号列からサブフレームを識別するための識別子
を復号する際に、前記サブフレームを識別するための識
別子に付加された前記サブフレームの表示順に関する時
間的位置情報を用いて、前記サブフレームを時間的に正
しく復号するようにしたものである。以上の構成によ
り、サブフレームを識別するための識別子に付加された
当該サブフレームの表示順に関する時間的位置情報を用
いて当該サブフレームを復号することにより、ビットス
トリームの一部が欠落したり、誤りが発生した場合で
も、その後サブフレームを単位として時間的に正しい復
号が可能になる。SUMMARY OF THE INVENTION In order to achieve the above object, the present invention provides a method for decoding a digital moving picture signal, comprising the steps of: When decoding the identifier for identifying the sub-frame from, using the temporal position information on the display order of the sub-frame added to the identifier for identifying the sub-frame, the sub-frame This is to decode correctly. With the above configuration, by decoding the subframe using the temporal position information related to the display order of the subframe added to the identifier for identifying the subframe, a part of the bit stream is missing, Even if an error occurs, it is possible to perform temporally correct decoding in units of subframes thereafter.

【００３１】[0031]

【発明の実施の形態】以下、本発明の第１の実施の形態
として、ビットストリームの一部が欠落したり、誤りが
発生した場合でも、その後サブフレームを単位として時
間的に正しい復号を可能にするディジタル動画像信号の
符号化方法および復号化方法について説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, as a first embodiment of the present invention, even when a part of a bit stream is lost or an error occurs, it is possible to perform temporally correct decoding in units of subframes thereafter. A coding method and a decoding method of a digital moving image signal to be described below will be described.

【００３２】まず、本実施の形態の符号化方法は、ディ
ジタル動画像信号の１フレームを、例えば３５２×２８
８画素で構成する。また、このフレームを、例えば１７
６×４８画素からなる１２個のサブフレームに分割す
る。さらに、このサブフレームを例えば１６×１６画素
からなる３３個のブロックに分割する。First, according to the encoding method of the present embodiment, one frame of a digital moving image signal is, for example, 352 × 28
It is composed of eight pixels. Also, this frame is, for example, 17
It is divided into 12 sub-frames each consisting of 6 × 48 pixels. Further, the subframe is divided into 33 blocks each composed of, for example, 16 × 16 pixels.

【００３３】また、本実施の形態の符号化方法では、符
号化した１フレーム分の情報を、フレーム、サブフレー
ム、ブロックの空間的な階層構造に対応させて、例えば
図１のように構成してビットストリームを生成する。In the encoding method according to the present embodiment, one encoded frame of information is configured as shown in FIG. 1, for example, in correspondence with the spatial hierarchical structure of frames, subframes, and blocks. To generate a bit stream.

【００３４】図１に示される各層の、符号化情報の意味
を以下に示す。 フレーム層 FSC(２０ビット） フレーム識別子。復号化方法が常に
識別可能なユニーク符号であり、"0000 0000 0000 0001
0000"で表される。 サブフレーム層 SFSC（１６ビット）サブフレーム識別子。復号化方法が
常に識別可能なユニーク符号であり、"0000 0000 0000
0001" で表される。 SFNT（５ビット） 時間的サブフレーム番号。このサブ
フレームが表示される時間的位置を示す。 SFNS（４ビット） 空間的サブフレーム番号。フレーム
内におけるこのサブフレームの空間的位置を示す。 SFQUANT(５ビット）量子化特性情報。サブフレーム内の
ブロックを符号化する際の量子化特性を示す。The meaning of the coded information of each layer shown in FIG. 1 will be described below. Frame layer FSC (20 bits) Frame identifier. The decoding method is a unique code that can always be identified, and is "0000 0000 0000 0001
0000 ". Subframe layer SFSC (16 bits) subframe identifier. This is a unique code that can always identify the decoding method, and is" 0000 0000 0000 ".
0001 ". SFNT (5 bits) Temporal subframe number. Indicates the temporal position at which this subframe is displayed. SFNS (4 bits) Spatial subframe number. Space of this subframe within the frame. SFQUANT (5 bits) quantization characteristic information, which indicates the quantization characteristic when encoding a block in a subframe.

【００３５】なお、図１で最も下の階層であるブロック
層の符号化情報は、例えば、動き検出、予測、直交変
換、量子化、可変長符号化といった符号化方法によって
生成され、符号化ビット数は一定でない。The coding information of the block layer, which is the lowest layer in FIG. 1, is generated by coding methods such as motion detection, prediction, orthogonal transform, quantization, and variable-length coding. The numbers are not constant.

【００３６】次に、本実施の形態の復号化方法について
説明する。まず最初に、ビットストリームからフレーム
層の識別子であるＦＳＣを探し出し、フレーム層の同期
を確立する。次に、フレーム層の同期が確立した後、引
き続くビットストリームからサブフレーム層の識別子で
あるＳＦＳＣを捜し出し、サブフレーム層の同期を確立
する。そして、ＳＦＳＣに引き続く時間的サブフレーム
番号ＳＦＮＴと空間的サブフレーム番号ＳＦＮＳを調べ
る。次に、ブロック層のビットストリームを復号する。
このマクロブロック層の復号化方法は、例えば、可変長
復号化、逆量子化、逆直交変換、動き補償といった処理
によってブロックを再生する手続きである。最後に、再
生されたブロックの集合であるサブフレームをＳＦＮ
Ｔ、ＳＦＮＳで示される時間的、空間的位置に配置す
る。そして、もしビットストリームの一部が欠落したり
誤ったりして復号の同期が外れると、常にサブフレーム
層の識別子であるＳＦＳＣを捜し始める。そして再びサ
ブフレーム層の同期を確立すると、前述のようにＳＦＮ
Ｔ、ＳＦＮＳを調べ、ブロック層を復号、再生し、再生
されたブロックの集合であるサブフレームをＳＦＮＴ、
ＳＦＮＳで示される時間的、空間的位置に配置する。Next, a decoding method according to this embodiment will be described. First, an FSC which is an identifier of the frame layer is searched from the bit stream, and synchronization of the frame layer is established. Next, after the synchronization of the frame layer is established, SFSC, which is the identifier of the subframe layer, is searched from the subsequent bit stream, and the synchronization of the subframe layer is established. Then, the temporal subframe number SFNT and the spatial subframe number SFNS following the SFSC are checked. Next, the block layer bit stream is decoded.
The decoding method of the macroblock layer is a procedure for reproducing a block by processing such as variable-length decoding, inverse quantization, inverse orthogonal transform, and motion compensation. Finally, a subframe that is a set of reproduced blocks is referred to as SFN.
T and SFNS are arranged at temporal and spatial positions. If a part of the bit stream is lost or erroneous and the decoding is out of synchronization, it always starts searching for the SFSC which is the identifier of the subframe layer. Then, when the synchronization of the subframe layer is established again, as described above, SFN
T, SFNS are checked, the block layer is decoded and reproduced, and a subframe that is a set of reproduced blocks is referred to as SFNT,
They are arranged at temporal and spatial positions indicated by SFNS.

【００３７】以上述べたように、本発明の第１の実施の
形態によれば、ビットストリームの一部が欠落したり、
誤りが発生した場合、復号の同期が外れて一時的に復号
は行なえなくなるが、その直後のサブフレームからすぐ
に時間的に正しい復号が可能になる。As described above, according to the first embodiment of the present invention, a part of the bit stream is lost,
If an error occurs, the decoding is out of synchronization and decoding cannot be performed temporarily. However, temporally correct decoding can be performed immediately from the subframe immediately thereafter.

【００３８】なお、上記第１の実施の形態は一例であっ
て、フレーム、サブフレーム、ブロックなどは違う大き
さ、形状でもよい。また、各符号化情報のビット長は違
う長さでもよく、フレーム層はなくてもよい。The first embodiment is an example, and the frame, subframe, block, etc. may have different sizes and shapes. The bit length of each piece of encoded information may be different, and the frame layer may not be provided.

【００３９】次に、本発明の第２の実施の形態として、
時間的に動きのある画像を含んだサブフレームの復号が
不可能になっても、復号画質の劣化を小さく抑えられる
ディジタル動画像信号の符号化方法について説明する。Next, as a second embodiment of the present invention,
A description will be given of a method of encoding a digital moving image signal capable of suppressing deterioration of decoded image quality even when decoding of a subframe including a temporally moving image becomes impossible.

【００４０】まず、本発明の実施の形態の符号化方法
は、ディジタル動画像信号の１フレームを、例えば３５
２×２８８画素で構成する。また、このフレームを、例
えば１６×１６画素からなるブロックに分割する。つま
り、１フレームを２２ブロッック×１８ブロックライン
で構成する。First, in the encoding method according to the embodiment of the present invention, one frame of the digital moving image
It is composed of 2 × 288 pixels. Further, this frame is divided into blocks each composed of, for example, 16 × 16 pixels. That is, one frame is composed of 22 blocks × 18 block lines.

【００４１】また、本実施の形態の符号化方法は、図２
に示すように、上のブロックラインから順にブロック単
位で符号化を行ない、符号化情報を生成する。各ブロッ
クの符号化情報は、例えば、動き検出、予測、直交変
換、量子化、可変長符号化といった符号化方法によって
生成し、符号化ビット数は一定でない。つまり、符号化
が難しいブロックの符号化ビット数は大きく、符号化が
易しいブロックの符号化ビット数は小さい。また、本実
施の形態の符号化方法は、ブロックの集合をサブフレー
ムとして符号化の単位とするが、１サブフレームに含ま
れるブロック数は一定でない。The encoding method according to this embodiment is the same as that shown in FIG.
As shown in (1), encoding is performed in block units in order from the upper block line to generate encoded information. The coded information of each block is generated by a coding method such as, for example, motion detection, prediction, orthogonal transform, quantization, and variable length coding, and the number of coded bits is not constant. That is, the number of coded bits of a block that is difficult to encode is large, and the number of coded bits of a block that is easy to encode is small. In the encoding method according to the present embodiment, a set of blocks is used as an encoding unit as a subframe, but the number of blocks included in one subframe is not constant.

【００４２】次に、図１を参照して、本実施の形態の符
号化方法のビットストリームの生成方法と、サブフレー
ム層の構成について説明する。まず、１フレームの符号
化を始めるにあたり、フレーム層識別子符号化し、符号
ＦＳＣをビットストリームに配置する。次いで、サブフ
レーム層識別子と、当該サブフレームの時間的番号、空
間的番号、および当該サブフレームの量子化特性を符号
化し、符号語ＳＦＳＣ、ＳＦＮＴ、ＳＦＮＳおよびＳＦ
ＱＵＡＮＴをビットストリームに配置する。それと同時
に、ブロック符号化ビット数積算値Ｂａｄｄを０とす
る。引き続いて、ブロックの符号化を行ない、可変長符
号で構成されるブロックの符号化情報をビットストリー
ムに配置する。それと同時に本ブロックの符号化ビット
数ＢをＢａｄｄに加算する。すなわち、Ｂａｄｄ＝Ｂａ
ｄｄ＋Ｂなる計算を行なう。同様にして、順次ブロック
の符号化を行ない、ブロック符号化情報をビットストリ
ームに配置し、Ｂａｄｄ＝Ｂａｄｄ＋Ｂなる計算を繰り
返す。そして、あるブロックの符号化が終了した時点
で、Ｂａｄｄがサブフレーム間隔ＳＦｄを越えていた
ら、サブフレーム層識別子と、当該サブフレームの時間
的番号、空間的番号、および当該サブフレームの量子化
特性を符号化し、符号語ＳＦＳＣ、ＳＦＮＴ、ＳＦＮＳ
およびＳＦＱＵＡＮＴをビットストリームに配置する。
それと同時に、ブロック符号化ビット数積算値Ｂａｄｄ
を０とする。つまり、ここから新しいサブフレーム層を
構成する。Next, with reference to FIG. 1, a description will be given of a bit stream generation method of the encoding method according to the present embodiment and a configuration of a subframe layer. First, when starting encoding of one frame, a frame layer identifier is encoded, and the code FSC is arranged in a bit stream. Next, the subframe layer identifier, the temporal number and the spatial number of the subframe, and the quantization characteristic of the subframe are encoded, and codewords SFSC, SFNT, SFNS and SF are encoded.
QUANT is placed in the bitstream. At the same time, the block coding bit number integrated value Badd is set to 0. Subsequently, the block is encoded, and the encoded information of the block composed of the variable length code is arranged in the bit stream. At the same time, the coded bit number B of this block is added to Badd. That is, Bad = Ba
The calculation of dd + B is performed. Similarly, blocks are sequentially encoded, block encoded information is arranged in a bit stream, and the calculation of Bad = Badd + B is repeated. When the coding of a certain block is completed, if Badd exceeds the subframe interval SFd, the subframe layer identifier, the temporal number and spatial number of the subframe, and the quantization characteristics of the subframe are used. And codewords SFSC, SFNT, SFNS
And SFQUANT are placed in the bitstream.
At the same time, the block-coded bit number integrated value Badd
Is set to 0. That is, a new subframe layer is formed from here.

【００４３】サブフレーム間隔ＳＦｄは、例えば５４０
ビットに定める。したがって、本実施の形態の符号化方
法が、１フレームを例えば６４００ビットで符号化する
とき、１フレームに6400 / 540 = 11.85から１２個のサ
ブフレームが存在する。The subframe interval SFd is, for example, 540
Set to bits. Therefore, when the encoding method according to the present embodiment encodes one frame with, for example, 6400 bits, there are 12 subframes from 6400/540 = 11.85 in one frame.

【００４４】このように、本発明の実施の形態の符号化
方法では、１サブフレームに含まれるブロックの発生情
報量に対応してサブフレームに含まれるブロックの個数
を変化させ、サブフレームの空間的な大きさを可変にす
る。すなわち、符号化が難しいブロックを含むサブフレ
ームは小さくし、逆に符号化が易しいブロックを含むサ
ブフレームは大きくする。図３は本実施の形態の符号化
方法によるサブフレーム構成例を示す。As described above, in the encoding method according to the embodiment of the present invention, the number of blocks included in a subframe is changed according to the amount of generated information of the block included in one subframe, and the space of the subframe is changed. Variable size. That is, a subframe including a block that is difficult to encode is made small, and a subframe including a block that is easy to encode is made large. FIG. 3 shows an example of a subframe configuration according to the encoding method of the present embodiment.

【００４５】以上述べたように、本発明の第２の実施の
形態によれば、時間的に動きがあって符号化が難しいブ
ロックを含むサブフレームを空間的に小さくするので、
このようなサブフレームの復号が不可能になっても、復
号画質の劣化を小さく抑えられる。また、フレーム内で
時間的に動きがなく、復号が不可能でも復号画質の劣化
が検知されない領域では１サブフレームが空間的に大き
くなり、サブフレーム識別子、サブフレーム番号などの
サイド情報が少なくなるので、符号化効率を低下させな
い効果がある。As described above, according to the second embodiment of the present invention, a sub-frame including a block which has a temporal movement and is difficult to encode is spatially reduced.
Even if decoding of such a subframe becomes impossible, degradation of decoded image quality can be suppressed to a small level. Also, in an area where there is no temporal movement in the frame and no deterioration of the decoded image quality is detected even if decoding is not possible, one subframe is spatially large and side information such as a subframe identifier and a subframe number is reduced. Therefore, there is an effect that the coding efficiency is not reduced.

【００４６】なお、上記本発明の第２の実施の形態は一
例であって、フレーム、ザブフレーム、ブロックなどは
違う大きさ、形状でもよい。また、１フレームの符号
量、サブフレーム間隔ＳＦｄは違うビット数でもよい。The above-described second embodiment of the present invention is an example, and the frame, sub-frame, block, and the like may have different sizes and shapes. The code amount of one frame and the subframe interval SFd may be different numbers of bits.

【００４７】[0047]

【発明の効果】以上の実施の形態から明らかなように、
本発明によれば、ビットストリームの一部が欠落した
り、誤りが発生した場合でも、その後サブフレームを単
位として時間的に正しい復号が可能になる。As is clear from the above embodiment,
According to the present invention, even when a part of a bit stream is missing or an error occurs, it is possible to perform temporally correct decoding in units of subframes thereafter.

【００４８】さらに、本発明によれば、時間的に動きが
あるブロックを含むサブフレームの復号が不可能になっ
ても、復号画質の劣化を小さく抑えられる。Further, according to the present invention, even if it becomes impossible to decode a subframe including a temporally moving block, deterioration of the decoded image quality can be suppressed to a small level.

【００４９】さらに、フレーム内で時間的に動きがな
く、復号が不可能でも復号画質の劣化が検知されない領
域ではサイド情報が少なくなるので、符号化効率を低下
させない効果がある。Further, in a region where there is no temporal movement in the frame and no deterioration of the decoded image quality is detected even if decoding is not possible, the side information is reduced, so that the coding efficiency is not reduced.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の第１および第２の実施の形態の動画像
信号の符号化方法を説明する模式図FIG. 1 is a schematic diagram illustrating a moving image signal encoding method according to first and second embodiments of the present invention.

【図２】本発明の第２の実施の形態動画像信号の符号化
方法を説明する模式図FIG. 2 is a schematic diagram illustrating an encoding method of a moving image signal according to a second embodiment of the present invention.

【図３】本発明の第２の実施の形態におけるサブフレー
ム構成を説明する模式図FIG. 3 is a schematic diagram illustrating a subframe configuration according to a second embodiment of the present invention.

【図４】従来の動画像信号の符号化方法における符号化
単位を説明する模式図FIG. 4 is a schematic diagram illustrating an encoding unit in a conventional moving image signal encoding method.

【図５】従来の動画像信号の符号化方法を説明する模式
図FIG. 5 is a schematic diagram illustrating a conventional moving image signal encoding method.

【図６】従来の動画像信号の符号化方法におけるＧＯＢ
層を説明する模式図FIG. 6 shows a GOB in a conventional moving picture signal encoding method.
Schematic diagram illustrating layers

【図７】従来の動画像信号の符号化方法および復号化方
法におけるビットストリームの欠落、誤りの影響を説明
する模式図FIG. 7 is a schematic diagram illustrating the effects of missing and erroneous bit streams in a conventional moving image signal encoding method and a conventional moving image signal decoding method.

【図８】従来の動画像信号の復号化方法においてサブフ
レームの復号が不可能な場合の影響を説明する模式図FIG. 8 is a schematic diagram for explaining an influence when a subframe cannot be decoded in a conventional moving image signal decoding method.

【符号の説明】[Explanation of symbols]

ＦＳＣ フレーム識別子 ＳＦＳＣ サブフレーム識別子 ＳＦＮＴ 時間的サブフレーム番号 ＳＦＮＳ 空間的サブフレーム番号 ＳＦＱＵＡＮＴ 量子化統制情報 FSC frame identifier SFSC subframe identifier SFNT temporal subframe number SFNS spatial subframe number SFQUANT quantization control information

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】 動画像信号の符号化方法によって符号化
された動画像信号列からサブフレームを識別するための
識別子を復号する際に、前記サブフレームを識別するた
めの識別子に付加された前記サブフレームの表示順に関
する時間的位置情報を用いて、前記サブフレームを時間
的に正しく復号することを特徴とする動画像信号の復号
化方法。When decoding an identifier for identifying a sub-frame from a video signal sequence encoded by a video signal encoding method, the identifier added to the identifier for identifying the sub-frame is decoded. A decoding method for a moving image signal, comprising: decoding temporally correctly said subframes using temporal position information relating to the display order of the subframes.