JP2001245306A - Method for decoding moving picture signal - Google Patents
Method for decoding moving picture signalInfo
- Publication number
- JP2001245306A JP2001245306A JP2001007044A JP2001007044A JP2001245306A JP 2001245306 A JP2001245306 A JP 2001245306A JP 2001007044 A JP2001007044 A JP 2001007044A JP 2001007044 A JP2001007044 A JP 2001007044A JP 2001245306 A JP2001245306 A JP 2001245306A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- sub
- decoding
- subframe
- bit stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、テレビ電話、テレ
ビ会議などに利用する、ディジタル動画像信号の復号化
方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for decoding a digital moving picture signal used for a video telephone, a video conference, or the like.
【0002】[0002]
【従来の技術】従来のディジタル動画像信号の符号化方
法は、入力された動画像のフレームを、複数のN×M画
素からなるブロックに分割し、このブロックを単位とし
て動き検出、予測、直交変換、量子化、可変長符号化と
いった処理を行なう。2. Description of the Related Art A conventional digital video signal encoding method divides an input video frame into a plurality of blocks each composed of N × M pixels, and performs motion detection, prediction, and orthogonalization on a block basis. Processing such as conversion, quantization, and variable-length coding is performed.
【0003】一方、従来のディジタル動画像信号の復号
化方法は、符号化方法の逆の手続き、すなわち可変長復
号化、逆量子化、逆直交変換、動き補償といった処理に
よってN×M画素からなるブロックを再生する。On the other hand, the conventional digital moving picture signal decoding method is composed of N × M pixels by the reverse procedure of the coding method, that is, processes such as variable length decoding, inverse quantization, inverse orthogonal transform, and motion compensation. Play a block.
【0004】このような符号化方法および復号化方法を
用いることによって動画像信号が持つ冗長性を除去し、
少ない情報量で効率的に動画像の通信、蓄積を行なうこ
とを可能にしている。[0004] By using such an encoding method and a decoding method, the redundancy of a moving image signal is removed.
It is possible to efficiently communicate and store moving images with a small amount of information.
【0005】従来のディジタル動画像信号の符号化方法
および復号化方法では、前述のように画素ブロックを単
位として処理を行なうが、画素ブロックの集合をサブフ
レームとして、またサブフレームの集合をフレームとし
て符号化、復号化の単位とすることが一般的である。In the conventional digital moving picture signal encoding and decoding methods, processing is performed in units of pixel blocks as described above, but a set of pixel blocks is set as a subframe and a set of subframes is set as a frame. It is common to use a unit for encoding and decoding.
【0006】以下、従来のディジタル動画像信号の符号
化方法および復号化方法の例として、1993年3月に
勧告されたITU-T Recommendation H.261を取りあげ、ブ
ロック、サブフレーム、フレーム単位の符号化、復号化
について説明する。In the following, ITU-T Recommendation H.261 recommended in March 1993 will be taken as an example of a conventional digital moving picture signal encoding method and decoding method. Encryption and decryption will be described.
【0007】H.261 はディジタル動画像信号の輝度信
号、色差信号それぞれに対しての符号化方法、復号化方
法を規定しているが、以下では便宜上輝度信号に関する
説明のみを行なう。基本的に輝度信号と色差信号の符号
化方法、復号化方法に相違はない。H.261 defines an encoding method and a decoding method for a luminance signal and a chrominance signal of a digital moving image signal, respectively, but only the luminance signal will be described below for convenience. Basically, there is no difference between the encoding method and the decoding method of the luminance signal and the color difference signal.
【0008】H.261 では、ディジタル動画像信号の1フ
レームは、352×288画素で構成される。また、こ
のフレームは、176×48画素からなりGOB(Group
OfBlock)と呼ばれる12個のサブフレームに分割され
る。さらに、このサブフレームは16×16画素からな
りマクロブロックと呼ばれる33個のブロックに分割さ
れる。この様子を図4に示した。In H.261, one frame of a digital moving image signal is composed of 352 × 288 pixels. Also, this frame is composed of 176 × 48 pixels and GOB (Group
(OfBlock) is divided into 12 subframes. Further, this subframe is composed of 16 × 16 pixels and is divided into 33 blocks called macroblocks. This situation is shown in FIG.
【0009】ここで、H.261 の符号化方法では、符号化
した1フレーム分の情報を、前述のフレーム、GOB、
マクロブロックといった空間的な階層構造に対応させ
て、図5のように構成することを規定している。図5に
おいて矩形で囲まれた部分は符号化された情報を意味
し、それぞれの符号化ビット数を矩形の下に示してあ
る。一方、図5において矢印は符号化情報のつながり方
を示しており、このような一連の符号化動画像信号列を
ビットストリームという。[0009] Here, in the H.261 coding method, the coded information for one frame is converted into the aforementioned frame, GOB,
It is prescribed that the configuration is as shown in FIG. 5 corresponding to a spatial hierarchical structure such as a macro block. In FIG. 5, a portion enclosed by a rectangle means encoded information, and the number of encoded bits is shown below the rectangle. On the other hand, in FIG. 5, the arrows indicate how the encoded information is connected, and such a series of encoded moving image signal sequences is referred to as a bit stream.
【0010】図5のH.261 ビットストリームにおいて、
1つのマクロブロックに関する符号化情報すべてを配置
している部分をマクロブロック層、1つのGOBに関す
る符号化情報すべてを配置している部分をGOB層、1
つのフレームに関する符号化情報すべてを配置している
部分をフレーム層と呼ぶ。In the H.261 bit stream of FIG.
The part where all the coding information about one macroblock is arranged is the macroblock layer, and the part where all the coding information about one GOB is arranged is the GOB layer,
A portion in which all pieces of encoding information regarding one frame are arranged is called a frame layer.
【0011】図5に示される各層の、符号化情報の意味
を以下に示す。 フレーム層 PSC(20ビット)フレーム識別子。復号化方法が常に識
別可能なユニーク符号であり、"0000 0000 0000 0001 0
000"で表される。 TR(5ビット)フレーム番号。このフレームが表示され
る時間的位置を示す。 PTYPE(6ビット)フレームタイプ情報。フレームに関す
る諸情報。 PEI (1ビット)拡張用データ挿入情報。引き続くPSPA
REの有無を示すフラグ。 PSPARE(8ビット)拡張用データ。 GOB層 GBSC(16ビット)GOB 識別子。復号化方法が常に識別
可能なユニーク符号であり、"0000 0000 0000 0001" で
表される。 GN(4ビット)GOB 番号。フレーム内におけるこのGOB
の空間的位置を示す。 GQUANT(5ビット)量子化特性情報。GOB 内のマクロブ
ロックを符号化する際の量子化特性を示す。 GEI (1ビット) 拡張用データ挿入情報。引き続くGS
PAREの有無を示すフラグ。 GSPARE(8ビット)拡張用データ。The meaning of the coded information of each layer shown in FIG. 5 will be described below. Frame layer PSC (20 bits) frame identifier. The decoding method is a unique code that can always be identified, and is "0000 0000 0000 0001 0
000 ". TR (5 bit) frame number. Indicates the temporal position where this frame is displayed. PTYPE (6 bit) Frame type information. Various information about the frame. PEI (1 bit) Insertion of data for extension Information, followed by PSPA
Flag indicating the presence or absence of RE. PSPARE (8-bit) extension data. GOB layer GBSC (16 bits) GOB identifier. The decoding method is a unique code that can always be identified, and is represented by “0000 0000 0000 0001”. GN (4 bits) GOB number. This GOB in the frame
Shows the spatial position of. GQUANT (5 bits) quantization characteristic information. Indicates the quantization characteristics when encoding a macroblock in the GOB. GEI (1 bit) Expansion data insertion information. Continued GS
Flag indicating the presence or absence of PARE. GSPARE (8-bit) extension data.
【0012】なお、図5で最も下の階層であるマクロブ
ロック層の符号化情報は、冒頭に述べたように、動き検
出、予測、直交変換、量子化、可変長符号化といった符
号化方法によって生成されるものであり、符号化ビット
数は一定でない。一般的に、マクロブロック内に含まれ
る画素の空間的レベル変化が激しいか、または同じ空間
的位置を持つマクロブロック内画素の時間的レベル変化
が激しい場合には、マクロブロック層の符号化ビット数
は増大する。このようなマクロブロックを以後、符号化
が難しいマクロブロックと呼ぶことにする。The coding information of the macroblock layer, which is the lowest layer in FIG. 5, is obtained by coding methods such as motion detection, prediction, orthogonal transform, quantization, and variable length coding, as described at the beginning. It is generated and the number of coded bits is not constant. In general, if the spatial level of pixels included in a macroblock changes drastically or the temporal level of pixels in a macroblock having the same spatial position changes drastically, the number of coding bits in the macroblock layer Increases. Hereinafter, such a macroblock is referred to as a macroblock that is difficult to encode.
【0013】一方、マクロブロック内に含まれる画素の
レベルが空間的にも時間的にも定常的な場合、マクロブ
ロック層の符号化ビット数は著しく減少し、0となる場
合もある。このようなマクロブロックを以後、符号化が
易しいマクロブロックと呼ぶことにする。On the other hand, when the level of a pixel included in a macroblock is spatially and temporally stationary, the number of coded bits in the macroblock layer is significantly reduced and sometimes becomes zero. Hereinafter, such a macroblock is referred to as a macroblock which is easy to encode.
【0014】次に、H.261 の復号化方法では、まず最初
に、ビットストリームからフレーム層の識別子であるP
SCを探し出す。このように正しく復号可能な符号を探
し出すことに成功した状態を同期が確立したという。ビ
ットストリームからPSCを探し出しフレーム層の同期
が確立すると、それ以後、次のPSCが現われるまでの
ビットストリームは1フレーム分の符号化情報であると
識別できる。さらに、その1フレーム分のビットストリ
ームを復号化して得られる352×288画素のフレー
ムが表示されるべき時間な位置は、PSCに引き続くフ
レーム番号TRを調べることにより得られる。[0014] Next, in the H.261 decoding method, first, an identifier P of a frame layer is obtained from a bit stream.
Find the SC. Synchronization is established when a code that can be correctly decoded is successfully searched out. When the PSC is searched for from the bit stream and the synchronization of the frame layer is established, the bit stream from then on until the next PSC appears can be identified as encoded information for one frame. Further, the time position at which a frame of 352 × 288 pixels obtained by decoding the bit stream for one frame is to be displayed can be obtained by checking the frame number TR following the PSC.
【0015】また、H.261 の復号化方法では、フレーム
層の同期が確立した後、引き続くビットストリームから
GOB層の識別子であるGBSCを捜し出す。GBSC
層の同期が確立すると、それ以後、次のGBSCが現わ
れるまでのビットストリームは1GOB分の符号化情報
であると識別できる。さらに、その1GOB分のビット
ストリームを復号化して得られる176×48画素のG
OBが配置されるフレーム内の空間的位置は、GBSC
に引き続くGOB番号GNを調べることにより得られ
る。Further, in the H.261 decoding method, after synchronization of the frame layer is established, GBSC, which is the identifier of the GOB layer, is searched for from the subsequent bit stream. GBSC
After the synchronization of the layers is established, the bit stream until the next GBSC appears can be identified as encoded information for one GOB. Further, a G of 176 × 48 pixels obtained by decoding the bit stream of 1 GOB is obtained.
The spatial position in the frame where the OB is located is GBSC
Is obtained by checking the GOB number GN following.
【0016】さらに、H.261 の復号化方法では、GOB
層の同期が確立した後、引き続くマクロブロック層のビ
ットストリームを復号する。このマクロブロック層の復
号化方法は、冒頭に述べたように、可変長復号化、逆量
子化、逆直交変換、動き補償といった処理によって16
×16画素からなるマクロブロックを再生する手続きで
ある。ここで注意すべきなのは、マクロブロック層には
PSCやGBSCのように復号化方法が常に識別可能な
ユニーク符号がなく、かつ各マクロブロック符号化情報
は可変長符号による不定長ビットで構成されている点で
ある。Further, in the H.261 decoding method, GOB
After layer synchronization is established, the subsequent macroblock layer bit stream is decoded. As described at the beginning, this macroblock layer decoding method uses a variable-length decoding, inverse quantization, inverse orthogonal transform, and motion compensation processes.
This is a procedure for reproducing a macro block composed of × 16 pixels. It should be noted here that the macroblock layer does not have a unique code such as PSC or GBSC that can always identify the decoding method, and that each macroblock coding information is composed of variable length bits of variable length code. It is a point.
【0017】OB層において、第1番目から第33番目
までのマクロブロック符号化情報は、図6に示すよう
に、ユニーク符号のない可変長符号の連なりとして表さ
れる。よって、復号化方法が、図6中Aで示した点から
マクロブロック符号化情報の復号を開始して、第1、第
2... 、第n....、第33マクロブロックと順次復号し
てゆけば,GOB層のすべてのマクロブロックは再生で
きる。しかし、復号化方法が、図6中BやCで示した点
からマクロブロック符号化情報の復号を開始すると、ど
こから1つのマクロブロック符号化情報が始まるのか識
別できず同期が確立しないため、次のGBSCが現われ
るまですべてのマクロブロックの復号、再生が不可能に
なる。つまり、GBSCはマクロブロック層の復号開始
点をも表わしている。In the OB layer, the first to 33rd macroblock coding information is represented as a sequence of variable length codes without unique codes as shown in FIG. Therefore, the decoding method starts decoding the macroblock coded information from the point indicated by A in FIG. 6 and sequentially performs the first, second..., N. After decoding, all the macroblocks in the GOB layer can be reproduced. However, when the decoding method starts decoding macroblock coded information from the points indicated by B and C in FIG. 6, it is not possible to identify where one macroblock coded information starts and synchronization is not established. Decoding and reproduction of all macroblocks are not possible until GBSC appears. That is, GBSC also represents the decoding start point of the macroblock layer.
【0018】最後に、H.261 の復号化方法では、再生さ
れたマクロブロックの集合であるGOBをGNで示され
るフレーム内の空間的位置に配置し、さらに再生された
GOBの集合であるフレームをTRで示される時間的位
置に配置する。Finally, in the H.261 decoding method, a GOB, which is a set of reproduced macroblocks, is arranged at a spatial position in a frame indicated by GN, and a frame, which is a set of reproduced GOBs, is placed. At a time position indicated by TR.
【0019】このようにして、H.261 ではディジタル動
画像1フレームを空間的に、時間的に正しく復号するこ
とが可能になっている。As described above, H.261 enables one frame of a digital moving image to be decoded spatially and temporally correctly.
【0020】[0020]
【発明が解決しようとする課題】しかしながら、上記従
来のディジタル動画像信号の復号化方法では、ビットス
トリームの一部が欠落したり、誤りが発生した場合、次
のフレーム層の同期が確立するまで、すべてのサブフレ
ームを時間的に正しく復号することが不可能になる問題
があった。However, according to the above-described conventional method for decoding a digital moving image signal, when a part of a bit stream is lost or an error occurs, the synchronization of the next frame layer is established. However, there is a problem that it is impossible to decode all the subframes temporally correctly.
【0021】以下にその理由を説明する。従来の復号化
方法では、ビットストリーム中で常に識別可能な符号
は、フレーム識別子とサブフレーム識別子のみである。
よって、ビットストリームの一部が欠落したり、誤りが
発生すると、次のサブフレーム識別子が現われるまで復
号の同期は回復できず、復号が不可能になる。しかし、
次のサブフレーム識別子が現われても、そのサブフレー
ム層のビットストリームは時間的に正しく復号できな
い。それは、図7を参照することにより理解される。The reason will be described below. In the conventional decoding method, the only codes that can be always identified in the bit stream are the frame identifier and the subframe identifier.
Therefore, if a part of the bit stream is lost or an error occurs, decoding synchronization cannot be recovered until the next subframe identifier appears, and decoding becomes impossible. But,
Even if the next subframe identifier appears, the bitstream of that subframe layer cannot be decoded correctly in time. It can be understood by referring to FIG.
【0022】図7はバースト的なビットストリームの欠
落、誤りによって、時間的にn番目のフレームにおける
5番目のサブフレームから、時間的にn+1番目のフレ
ームにおける6番目のサブフレームまで復号が不可能と
なった例を示している。この例では、時間的にn+1番
目のフレームに対応するフレーム識別子はもとより、そ
れに引き続くTRも欠落しているか、誤っている。よっ
て、時間的にn+1番目のフレームにおける7番目のサ
ブフレームに対応するサブフレーム識別子から同期を確
立し、それに引き続くGNを復号することによって、こ
のサブフレームを空間的に正しく復号することはできて
も、このサブフレームが時間的にn番目に位置するの
か、n+1番目に位置するのか特定することはできな
い。時間的にn+1番目のフレームにおける8番目のサ
ブフレームから12番目のサブフレームの復号に関して
も同様に、これらサブフレームが時間的にn番目に位置
するのか、n+1番目に位置するのか特定することはで
きない。FIG. 7 shows that it is impossible to decode from the fifth sub-frame in the n-th frame to the sixth sub-frame in the (n + 1) -th frame due to the loss or error of the burst bit stream. Is shown. In this example, not only the frame identifier corresponding to the (n + 1) th frame in time but also the subsequent TR are missing or incorrect. Therefore, by establishing synchronization from the subframe identifier corresponding to the seventh subframe in the (n + 1) th frame in time and decoding the subsequent GN, this subframe can be decoded spatially correctly. Also, it is impossible to specify whether this subframe is located at the n-th or n + 1-th temporal position. Similarly, when decoding the eighth to twelfth subframes in the (n + 1) th frame in time, it is also possible to specify whether these subframes are located in the nth or (n + 1) th time frame. Can not.
【0023】よって、ビットストリームの一部が欠落し
たり、誤りが発生した場合、次にフレーム層の同期が確
立するまですべてのサブフレームを時間的に正しく復号
することが不可能になる。Therefore, when a part of the bit stream is lost or an error occurs, it becomes impossible to decode all the subframes temporally correctly until the next synchronization of the frame layer is established.
【0024】さらに、従来のディジタル動画像信号の復
号化方法では、時間的に動きのある画像を含んだサブフ
レームの復号が不可能になった場合、復号画質が大きく
劣化する問題があった。Further, in the conventional method for decoding a digital moving image signal, when decoding of a sub-frame including a temporally moving image becomes impossible, there is a problem that the decoded image quality is greatly deteriorated.
【0025】この問題をさらに詳しく説明するため、図
8を参照する。図8は復号されたディジタル動画像信号
のある1 フレームを示しており、フレームの中央で人物
が動いている。図8中、時間的に動きのある部分は斜線
で示してあり、それ以外は背景で時間的に静止してい
る。このようなシーンは、テレビ会議、テレビ電話など
で一般的である。To explain this problem in more detail, reference is made to FIG. FIG. 8 shows one frame of a decoded digital video signal, in which a person is moving in the center of the frame. In FIG. 8, a portion having a temporal movement is indicated by oblique lines, and other portions are temporally stationary in the background. Such scenes are common in video conferences, video phones, and the like.
【0026】まず、図8を参照して、1番目から4番目
いずれかのサブフレームの復号が不可能になる場合を考
える。1番目から4番目のサブフレームは、時間的に静
止した画像を含んでいる。よって、例えば2番目のサブ
フレームの復号が不可能である場合、時間的に前のフレ
ームの2番目のサブフレームをもって、現フレームの2
番目のサブフレームを置き換えるという巧妙な操作を復
号化方法で行なえば、現フレームの2番目のサブフレー
ムにおける画質の劣化はほとんど検知されないであろ
う。First, a case where decoding of any of the first to fourth subframes becomes impossible will be considered with reference to FIG. The first to fourth subframes include temporally still images. Therefore, for example, when the decoding of the second sub-frame is impossible, the second sub-frame of the temporally previous frame is used as the 2nd sub-frame of the current frame.
If the subtle operation of replacing the second sub-frame is performed by a decoding method, the deterioration of the image quality in the second sub-frame of the current frame will be hardly detected.
【0027】しかし、図8で示す5番目から12番目の
サブフレームの復号が不可能である場合は問題である。
5番目から12番目のサブフレームは、時間的に動きの
ある画像を含んでいる。これは、例えば、時間的に前の
フレームの9番目のサブフレームの画像と、現フレーム
の9番目のサブフレームの画像は大きく異なることを意
味する。よって、9番目のサブフレームの復号が不可能
である場合、復号化方法で前述のような巧妙な操作を行
なっても、現フレームの9番目のサブフレームにおける
画質劣化は明らかに検知されるであろう。However, there is a problem when decoding of the fifth to twelfth subframes shown in FIG. 8 is impossible.
The fifth to twelfth subframes include temporally moving images. This means that, for example, the image of the ninth sub-frame of the temporally previous frame is greatly different from the image of the ninth sub-frame of the current frame. Therefore, when decoding of the ninth sub-frame is impossible, even if the above-described ingenious operation is performed by the decoding method, image quality deterioration in the ninth sub-frame of the current frame is clearly detected. There will be.
【0028】よって、時間的に動きのある画像を含んだ
サブフレームの復号が不可能になった場合、復号画質が
大きく劣化する。Therefore, when it becomes impossible to decode a sub-frame including a temporally moving image, the decoded image quality is greatly deteriorated.
【0029】本発明は、上記従来の問題点を解決するも
ので、ビットストリームの一部が欠落したり、誤りが発
生した場合でも、その後サブフレームを単位として時間
的に正しく復号することができ、かつ時間的に動きのあ
る画像を含んだサブフレームの復号が不可能になって
も、復号画質の劣化を小さく抑えられる優れたディジタ
ル動画像信号の復号化方法を提供することを目的とす
る。The present invention solves the above-mentioned conventional problems. Even when a part of a bit stream is lost or an error occurs, it is possible to decode correctly in time in units of subframes thereafter. It is an object of the present invention to provide an excellent digital video signal decoding method capable of minimizing the deterioration of the decoded image quality even if the decoding of a sub-frame including a temporally moving image becomes impossible. .
【0030】[0030]
【課題を解決するための手段】本発明は、上記目的を達
成するために、本発明のディジタル動画像信号の復号化
方法は、動画像信号の符号化方法によって符号化された
動画像信号列からサブフレームを識別するための識別子
を復号する際に、前記サブフレームを識別するための識
別子に付加された前記サブフレームの表示順に関する時
間的位置情報を用いて、前記サブフレームを時間的に正
しく復号するようにしたものである。以上の構成によ
り、サブフレームを識別するための識別子に付加された
当該サブフレームの表示順に関する時間的位置情報を用
いて当該サブフレームを復号することにより、ビットス
トリームの一部が欠落したり、誤りが発生した場合で
も、その後サブフレームを単位として時間的に正しい復
号が可能になる。SUMMARY OF THE INVENTION In order to achieve the above object, the present invention provides a method for decoding a digital moving picture signal, comprising the steps of: When decoding the identifier for identifying the sub-frame from, using the temporal position information on the display order of the sub-frame added to the identifier for identifying the sub-frame, the sub-frame This is to decode correctly. With the above configuration, by decoding the subframe using the temporal position information related to the display order of the subframe added to the identifier for identifying the subframe, a part of the bit stream is missing, Even if an error occurs, it is possible to perform temporally correct decoding in units of subframes thereafter.
【0031】[0031]
【発明の実施の形態】以下、本発明の第1の実施の形態
として、ビットストリームの一部が欠落したり、誤りが
発生した場合でも、その後サブフレームを単位として時
間的に正しい復号を可能にするディジタル動画像信号の
符号化方法および復号化方法について説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, as a first embodiment of the present invention, even when a part of a bit stream is lost or an error occurs, it is possible to perform temporally correct decoding in units of subframes thereafter. A coding method and a decoding method of a digital moving image signal to be described below will be described.
【0032】まず、本実施の形態の符号化方法は、ディ
ジタル動画像信号の1フレームを、例えば352×28
8画素で構成する。また、このフレームを、例えば17
6×48画素からなる12個のサブフレームに分割す
る。さらに、このサブフレームを例えば16×16画素
からなる33個のブロックに分割する。First, according to the encoding method of the present embodiment, one frame of a digital moving image signal is, for example, 352 × 28
It is composed of eight pixels. Also, this frame is, for example, 17
It is divided into 12 sub-frames each consisting of 6 × 48 pixels. Further, the subframe is divided into 33 blocks each composed of, for example, 16 × 16 pixels.
【0033】また、本実施の形態の符号化方法では、符
号化した1フレーム分の情報を、フレーム、サブフレー
ム、ブロックの空間的な階層構造に対応させて、例えば
図1のように構成してビットストリームを生成する。In the encoding method according to the present embodiment, one encoded frame of information is configured as shown in FIG. 1, for example, in correspondence with the spatial hierarchical structure of frames, subframes, and blocks. To generate a bit stream.
【0034】図1に示される各層の、符号化情報の意味
を以下に示す。 フレーム層 FSC(20ビット) フレーム識別子。復号化方法が常に
識別可能なユニーク符号であり、"0000 0000 0000 0001
0000"で表される。 サブフレーム層 SFSC(16ビット)サブフレーム識別子。復号化方法が
常に識別可能なユニーク符号であり、"0000 0000 0000
0001" で表される。 SFNT(5ビット) 時間的サブフレーム番号。このサブ
フレームが表示される時間的位置を示す。 SFNS(4ビット) 空間的サブフレーム番号。フレーム
内におけるこのサブフレームの空間的位置を示す。 SFQUANT(5ビット)量子化特性情報。サブフレーム内の
ブロックを符号化する際の量子化特性を示す。The meaning of the coded information of each layer shown in FIG. 1 will be described below. Frame layer FSC (20 bits) Frame identifier. The decoding method is a unique code that can always be identified, and is "0000 0000 0000 0001
0000 ". Subframe layer SFSC (16 bits) subframe identifier. This is a unique code that can always identify the decoding method, and is" 0000 0000 0000 ".
0001 ". SFNT (5 bits) Temporal subframe number. Indicates the temporal position at which this subframe is displayed. SFNS (4 bits) Spatial subframe number. Space of this subframe within the frame. SFQUANT (5 bits) quantization characteristic information, which indicates the quantization characteristic when encoding a block in a subframe.
【0035】なお、図1で最も下の階層であるブロック
層の符号化情報は、例えば、動き検出、予測、直交変
換、量子化、可変長符号化といった符号化方法によって
生成され、符号化ビット数は一定でない。The coding information of the block layer, which is the lowest layer in FIG. 1, is generated by coding methods such as motion detection, prediction, orthogonal transform, quantization, and variable-length coding. The numbers are not constant.
【0036】次に、本実施の形態の復号化方法について
説明する。まず最初に、ビットストリームからフレーム
層の識別子であるFSCを探し出し、フレーム層の同期
を確立する。次に、フレーム層の同期が確立した後、引
き続くビットストリームからサブフレーム層の識別子で
あるSFSCを捜し出し、サブフレーム層の同期を確立
する。そして、SFSCに引き続く時間的サブフレーム
番号SFNTと空間的サブフレーム番号SFNSを調べ
る。次に、ブロック層のビットストリームを復号する。
このマクロブロック層の復号化方法は、例えば、可変長
復号化、逆量子化、逆直交変換、動き補償といった処理
によってブロックを再生する手続きである。最後に、再
生されたブロックの集合であるサブフレームをSFN
T、SFNSで示される時間的、空間的位置に配置す
る。そして、もしビットストリームの一部が欠落したり
誤ったりして復号の同期が外れると、常にサブフレーム
層の識別子であるSFSCを捜し始める。そして再びサ
ブフレーム層の同期を確立すると、前述のようにSFN
T、SFNSを調べ、ブロック層を復号、再生し、再生
されたブロックの集合であるサブフレームをSFNT、
SFNSで示される時間的、空間的位置に配置する。Next, a decoding method according to this embodiment will be described. First, an FSC which is an identifier of the frame layer is searched from the bit stream, and synchronization of the frame layer is established. Next, after the synchronization of the frame layer is established, SFSC, which is the identifier of the subframe layer, is searched from the subsequent bit stream, and the synchronization of the subframe layer is established. Then, the temporal subframe number SFNT and the spatial subframe number SFNS following the SFSC are checked. Next, the block layer bit stream is decoded.
The decoding method of the macroblock layer is a procedure for reproducing a block by processing such as variable-length decoding, inverse quantization, inverse orthogonal transform, and motion compensation. Finally, a subframe that is a set of reproduced blocks is referred to as SFN.
T and SFNS are arranged at temporal and spatial positions. If a part of the bit stream is lost or erroneous and the decoding is out of synchronization, it always starts searching for the SFSC which is the identifier of the subframe layer. Then, when the synchronization of the subframe layer is established again, as described above, SFN
T, SFNS are checked, the block layer is decoded and reproduced, and a subframe that is a set of reproduced blocks is referred to as SFNT,
They are arranged at temporal and spatial positions indicated by SFNS.
【0037】以上述べたように、本発明の第1の実施の
形態によれば、ビットストリームの一部が欠落したり、
誤りが発生した場合、復号の同期が外れて一時的に復号
は行なえなくなるが、その直後のサブフレームからすぐ
に時間的に正しい復号が可能になる。As described above, according to the first embodiment of the present invention, a part of the bit stream is lost,
If an error occurs, the decoding is out of synchronization and decoding cannot be performed temporarily. However, temporally correct decoding can be performed immediately from the subframe immediately thereafter.
【0038】なお、上記第1の実施の形態は一例であっ
て、フレーム、サブフレーム、ブロックなどは違う大き
さ、形状でもよい。また、各符号化情報のビット長は違
う長さでもよく、フレーム層はなくてもよい。The first embodiment is an example, and the frame, subframe, block, etc. may have different sizes and shapes. The bit length of each piece of encoded information may be different, and the frame layer may not be provided.
【0039】次に、本発明の第2の実施の形態として、
時間的に動きのある画像を含んだサブフレームの復号が
不可能になっても、復号画質の劣化を小さく抑えられる
ディジタル動画像信号の符号化方法について説明する。Next, as a second embodiment of the present invention,
A description will be given of a method of encoding a digital moving image signal capable of suppressing deterioration of decoded image quality even when decoding of a subframe including a temporally moving image becomes impossible.
【0040】まず、本発明の実施の形態の符号化方法
は、ディジタル動画像信号の1フレームを、例えば35
2×288画素で構成する。また、このフレームを、例
えば16×16画素からなるブロックに分割する。つま
り、1フレームを22ブロッック×18ブロックライン
で構成する。First, in the encoding method according to the embodiment of the present invention, one frame of the digital moving image
It is composed of 2 × 288 pixels. Further, this frame is divided into blocks each composed of, for example, 16 × 16 pixels. That is, one frame is composed of 22 blocks × 18 block lines.
【0041】また、本実施の形態の符号化方法は、図2
に示すように、上のブロックラインから順にブロック単
位で符号化を行ない、符号化情報を生成する。各ブロッ
クの符号化情報は、例えば、動き検出、予測、直交変
換、量子化、可変長符号化といった符号化方法によって
生成し、符号化ビット数は一定でない。つまり、符号化
が難しいブロックの符号化ビット数は大きく、符号化が
易しいブロックの符号化ビット数は小さい。また、本実
施の形態の符号化方法は、ブロックの集合をサブフレー
ムとして符号化の単位とするが、1サブフレームに含ま
れるブロック数は一定でない。The encoding method according to this embodiment is the same as that shown in FIG.
As shown in (1), encoding is performed in block units in order from the upper block line to generate encoded information. The coded information of each block is generated by a coding method such as, for example, motion detection, prediction, orthogonal transform, quantization, and variable length coding, and the number of coded bits is not constant. That is, the number of coded bits of a block that is difficult to encode is large, and the number of coded bits of a block that is easy to encode is small. In the encoding method according to the present embodiment, a set of blocks is used as an encoding unit as a subframe, but the number of blocks included in one subframe is not constant.
【0042】次に、図1を参照して、本実施の形態の符
号化方法のビットストリームの生成方法と、サブフレー
ム層の構成について説明する。まず、1フレームの符号
化を始めるにあたり、フレーム層識別子符号化し、符号
FSCをビットストリームに配置する。次いで、サブフ
レーム層識別子と、当該サブフレームの時間的番号、空
間的番号、および当該サブフレームの量子化特性を符号
化し、符号語SFSC、SFNT、SFNSおよびSF
QUANTをビットストリームに配置する。それと同時
に、ブロック符号化ビット数積算値Baddを0とす
る。引き続いて、ブロックの符号化を行ない、可変長符
号で構成されるブロックの符号化情報をビットストリー
ムに配置する。それと同時に本ブロックの符号化ビット
数BをBaddに加算する。すなわち、Badd=Ba
dd+Bなる計算を行なう。同様にして、順次ブロック
の符号化を行ない、ブロック符号化情報をビットストリ
ームに配置し、Badd=Badd+Bなる計算を繰り
返す。そして、あるブロックの符号化が終了した時点
で、Baddがサブフレーム間隔SFdを越えていた
ら、サブフレーム層識別子と、当該サブフレームの時間
的番号、空間的番号、および当該サブフレームの量子化
特性を符号化し、符号語SFSC、SFNT、SFNS
およびSFQUANTをビットストリームに配置する。
それと同時に、ブロック符号化ビット数積算値Badd
を0とする。つまり、ここから新しいサブフレーム層を
構成する。Next, with reference to FIG. 1, a description will be given of a bit stream generation method of the encoding method according to the present embodiment and a configuration of a subframe layer. First, when starting encoding of one frame, a frame layer identifier is encoded, and the code FSC is arranged in a bit stream. Next, the subframe layer identifier, the temporal number and the spatial number of the subframe, and the quantization characteristic of the subframe are encoded, and codewords SFSC, SFNT, SFNS and SF are encoded.
QUANT is placed in the bitstream. At the same time, the block coding bit number integrated value Badd is set to 0. Subsequently, the block is encoded, and the encoded information of the block composed of the variable length code is arranged in the bit stream. At the same time, the coded bit number B of this block is added to Badd. That is, Bad = Ba
The calculation of dd + B is performed. Similarly, blocks are sequentially encoded, block encoded information is arranged in a bit stream, and the calculation of Bad = Badd + B is repeated. When the coding of a certain block is completed, if Badd exceeds the subframe interval SFd, the subframe layer identifier, the temporal number and spatial number of the subframe, and the quantization characteristics of the subframe are used. And codewords SFSC, SFNT, SFNS
And SFQUANT are placed in the bitstream.
At the same time, the block-coded bit number integrated value Badd
Is set to 0. That is, a new subframe layer is formed from here.
【0043】サブフレーム間隔SFdは、例えば540
ビットに定める。したがって、本実施の形態の符号化方
法が、1フレームを例えば6400ビットで符号化する
とき、1フレームに6400 / 540 = 11.85から12個のサ
ブフレームが存在する。The subframe interval SFd is, for example, 540
Set to bits. Therefore, when the encoding method according to the present embodiment encodes one frame with, for example, 6400 bits, there are 12 subframes from 6400/540 = 11.85 in one frame.
【0044】このように、本発明の実施の形態の符号化
方法では、1サブフレームに含まれるブロックの発生情
報量に対応してサブフレームに含まれるブロックの個数
を変化させ、サブフレームの空間的な大きさを可変にす
る。すなわち、符号化が難しいブロックを含むサブフレ
ームは小さくし、逆に符号化が易しいブロックを含むサ
ブフレームは大きくする。図3は本実施の形態の符号化
方法によるサブフレーム構成例を示す。As described above, in the encoding method according to the embodiment of the present invention, the number of blocks included in a subframe is changed according to the amount of generated information of the block included in one subframe, and the space of the subframe is changed. Variable size. That is, a subframe including a block that is difficult to encode is made small, and a subframe including a block that is easy to encode is made large. FIG. 3 shows an example of a subframe configuration according to the encoding method of the present embodiment.
【0045】以上述べたように、本発明の第2の実施の
形態によれば、時間的に動きがあって符号化が難しいブ
ロックを含むサブフレームを空間的に小さくするので、
このようなサブフレームの復号が不可能になっても、復
号画質の劣化を小さく抑えられる。また、フレーム内で
時間的に動きがなく、復号が不可能でも復号画質の劣化
が検知されない領域では1サブフレームが空間的に大き
くなり、サブフレーム識別子、サブフレーム番号などの
サイド情報が少なくなるので、符号化効率を低下させな
い効果がある。As described above, according to the second embodiment of the present invention, a sub-frame including a block which has a temporal movement and is difficult to encode is spatially reduced.
Even if decoding of such a subframe becomes impossible, degradation of decoded image quality can be suppressed to a small level. Also, in an area where there is no temporal movement in the frame and no deterioration of the decoded image quality is detected even if decoding is not possible, one subframe is spatially large and side information such as a subframe identifier and a subframe number is reduced. Therefore, there is an effect that the coding efficiency is not reduced.
【0046】なお、上記本発明の第2の実施の形態は一
例であって、フレーム、ザブフレーム、ブロックなどは
違う大きさ、形状でもよい。また、1フレームの符号
量、サブフレーム間隔SFdは違うビット数でもよい。The above-described second embodiment of the present invention is an example, and the frame, sub-frame, block, and the like may have different sizes and shapes. The code amount of one frame and the subframe interval SFd may be different numbers of bits.
【0047】[0047]
【発明の効果】以上の実施の形態から明らかなように、
本発明によれば、ビットストリームの一部が欠落した
り、誤りが発生した場合でも、その後サブフレームを単
位として時間的に正しい復号が可能になる。As is clear from the above embodiment,
According to the present invention, even when a part of a bit stream is missing or an error occurs, it is possible to perform temporally correct decoding in units of subframes thereafter.
【0048】さらに、本発明によれば、時間的に動きが
あるブロックを含むサブフレームの復号が不可能になっ
ても、復号画質の劣化を小さく抑えられる。Further, according to the present invention, even if it becomes impossible to decode a subframe including a temporally moving block, deterioration of the decoded image quality can be suppressed to a small level.
【0049】さらに、フレーム内で時間的に動きがな
く、復号が不可能でも復号画質の劣化が検知されない領
域ではサイド情報が少なくなるので、符号化効率を低下
させない効果がある。Further, in a region where there is no temporal movement in the frame and no deterioration of the decoded image quality is detected even if decoding is not possible, the side information is reduced, so that the coding efficiency is not reduced.
【図1】本発明の第1および第2の実施の形態の動画像
信号の符号化方法を説明する模式図FIG. 1 is a schematic diagram illustrating a moving image signal encoding method according to first and second embodiments of the present invention.
【図2】本発明の第2の実施の形態動画像信号の符号化
方法を説明する模式図FIG. 2 is a schematic diagram illustrating an encoding method of a moving image signal according to a second embodiment of the present invention.
【図3】本発明の第2の実施の形態におけるサブフレー
ム構成を説明する模式図FIG. 3 is a schematic diagram illustrating a subframe configuration according to a second embodiment of the present invention.
【図4】従来の動画像信号の符号化方法における符号化
単位を説明する模式図FIG. 4 is a schematic diagram illustrating an encoding unit in a conventional moving image signal encoding method.
【図5】従来の動画像信号の符号化方法を説明する模式
図FIG. 5 is a schematic diagram illustrating a conventional moving image signal encoding method.
【図6】従来の動画像信号の符号化方法におけるGOB
層を説明する模式図FIG. 6 shows a GOB in a conventional moving picture signal encoding method.
Schematic diagram illustrating layers
【図7】従来の動画像信号の符号化方法および復号化方
法におけるビットストリームの欠落、誤りの影響を説明
する模式図FIG. 7 is a schematic diagram illustrating the effects of missing and erroneous bit streams in a conventional moving image signal encoding method and a conventional moving image signal decoding method.
【図8】従来の動画像信号の復号化方法においてサブフ
レームの復号が不可能な場合の影響を説明する模式図FIG. 8 is a schematic diagram for explaining an influence when a subframe cannot be decoded in a conventional moving image signal decoding method.
FSC フレーム識別子 SFSC サブフレーム識別子 SFNT 時間的サブフレーム番号 SFNS 空間的サブフレーム番号 SFQUANT 量子化統制情報 FSC frame identifier SFSC subframe identifier SFNT temporal subframe number SFNS spatial subframe number SFQUANT quantization control information
Claims (1)
された動画像信号列からサブフレームを識別するための
識別子を復号する際に、前記サブフレームを識別するた
めの識別子に付加された前記サブフレームの表示順に関
する時間的位置情報を用いて、前記サブフレームを時間
的に正しく復号することを特徴とする動画像信号の復号
化方法。When decoding an identifier for identifying a sub-frame from a video signal sequence encoded by a video signal encoding method, the identifier added to the identifier for identifying the sub-frame is decoded. A decoding method for a moving image signal, comprising: decoding temporally correctly said subframes using temporal position information relating to the display order of the subframes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001007044A JP3611790B2 (en) | 2001-01-15 | 2001-01-15 | Video signal decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001007044A JP3611790B2 (en) | 2001-01-15 | 2001-01-15 | Video signal decoding method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1451495A Division JP3351645B2 (en) | 1995-01-31 | 1995-01-31 | Video coding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001245306A true JP2001245306A (en) | 2001-09-07 |
JP3611790B2 JP3611790B2 (en) | 2005-01-19 |
Family
ID=18874851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001007044A Expired - Lifetime JP3611790B2 (en) | 2001-01-15 | 2001-01-15 | Video signal decoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3611790B2 (en) |
-
2001
- 2001-01-15 JP JP2001007044A patent/JP3611790B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP3611790B2 (en) | 2005-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3351645B2 (en) | Video coding method | |
KR100261072B1 (en) | Digital signal processing system | |
JP4969003B2 (en) | Image decoding method, image encoding method, image encoder, image decoder, wireless communication device, and image codec | |
US5694173A (en) | Video data arranging method and video data encoding/decoding apparatus | |
US20090052528A1 (en) | Method and Apparatus for Encoding/Decoding Video Signal Using Block Prediction Information | |
US20050089102A1 (en) | Video processing | |
JP3340157B2 (en) | Scramble device | |
JP3729172B2 (en) | Image encoding apparatus and method, and encoded image decoding apparatus and method | |
KR100587274B1 (en) | method for concealing error in MPEG-2 decompression system | |
JP3611790B2 (en) | Video signal decoding method | |
JP3380841B2 (en) | Error correction system and decoding device using the error correction system | |
JPH05207442A (en) | Coder for animation signal | |
KR0152021B1 (en) | Decoding method and apparatus for error correcting of data transmitting | |
JPH05167981A (en) | Recording and reproducing device for variable length code | |
JPH08223568A (en) | Macro block image decoding method for b picture | |
JPH07312755A (en) | Animation image coder and decoder | |
JPH05130585A (en) | Encoding device | |
JPH0951541A (en) | Animation communicating method | |
JPH10136369A (en) | Decoder for digital moving image | |
KR20040035013A (en) | Method for decoding moving picture | |
KR20040039808A (en) | Method for prediction moving vector | |
JPH0646369A (en) | Video signal processor | |
JPH0951540A (en) | Animation communicating method | |
JP2004007736A (en) | Device and method for decoding image | |
JPH05292488A (en) | Moving picture coding/decoding device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041020 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081029 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101029 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111029 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121029 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term |