JP2003224847A - Image encoder and method thereof, and image decoder and method thereof - Google Patents

Image encoder and method thereof, and image decoder and method thereof

Info

Publication number
JP2003224847A
JP2003224847A JP2002019873A JP2002019873A JP2003224847A JP 2003224847 A JP2003224847 A JP 2003224847A JP 2002019873 A JP2002019873 A JP 2002019873A JP 2002019873 A JP2002019873 A JP 2002019873A JP 2003224847 A JP2003224847 A JP 2003224847A
Authority
JP
Japan
Prior art keywords
image
sub
bit rate
image signal
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002019873A
Other languages
Japanese (ja)
Inventor
Yasuhiro Hashimoto
安弘 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002019873A priority Critical patent/JP2003224847A/en
Publication of JP2003224847A publication Critical patent/JP2003224847A/en
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image encoder and a method thereof capable of encoding many image signals with a motion such as HDTV signals with high image quality without a time delay and to provide an image decoder and a method thereof. <P>SOLUTION: A processor 130<SB>-1</SB>in a division image encoder 120<SB>-1</SB>encodes two-dimensional sub image signals resulting from applying 1/N division to a two-dimensional image signal by an image division device 110 and calculates a feature parameter denoting the complicatedness of the image on the basis of the encoded result. A share bit rate arithmetic section 171 calculates a proper bit rate to encode an image signal of a succeeding frame on the basis of a temporal change in the feature parameter denoting the complicatedness of the image and shares the bit rate to a plurality of the processors 13<SB>-1</SB>. A plurality of the processors 130<SB>-1</SB>encodes sub image signals at a designated bit rate. A video stream integral device 160 integrates the encoded sub image signals to generate and output the video stream. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、たとえばHDTV
(High Definition TeleVision)信号などの動画像信号を
圧縮符号化する画像符号化装置とその方法、その符号化
された信号を復号化する画像復号化装置とその方法に関
する。
BACKGROUND OF THE INVENTION The present invention relates to, for example, an HDTV.
The present invention relates to an image encoding apparatus and method for compressing and encoding a moving image signal such as a (High Definition TeleVision) signal, an image decoding apparatus and method for decoding the encoded signal.

【0002】[0002]

【従来の技術】動画像符号化方式としては、MPEG2
規格(ISO/IEC13818)が広く普及してい
る。MPEG2においては、主に機能の分類(シンタッ
クスの違い)を規定するプロファイルと、画像サイズな
どの処理量の違いを規定するレベルという概念を導入
し、サポート可能な符号化性能をクラス分けしている。
たとえば、720×480画素、60フィールド/秒の
ITU−R601の画像に対してはMP@ML(Main Pr
ofile at Main Level)が使用されており、1920×1
080画素、60フィールド/秒のHDTVの画像に対
してはMP@HL(Main Profile at High Level)が使用
される。
2. Description of the Related Art MPEG2 is used as a moving image coding system.
The standard (ISO / IEC13818) is widespread. In MPEG2, the concept of a profile that mainly defines the classification of functions (difference in syntax) and a level that defines the difference in the amount of processing such as image size is introduced, and the coding performance that can be supported is classified into classes. There is.
For example, for an image of ITU-R601 with 720 x 480 pixels and 60 fields / sec, MP @ ML (Main Pr
ofile at Main Level) is used, 1920 × 1
MP @ HL (Main Profile at High Level) is used for an HDTV image of 080 pixels and 60 fields / second.

【0003】HDTV信号のような画素数の多い画面構
成の動画像信号を符号化あるいは復号化する装置、すな
わち、たとえばMP@HLの符号化および復号化を実行
する装置は、非常に高速な処理が要求されるため、実現
が難しく、実現することを考慮すると非常に高価な装置
となる。それに比べて、MP@MLの符号化および復号
化を実行する装置は、MP@HLの装置と比較して小規
模で動作速度も低くてよく、また既にLSI化されるな
どして広く普及しているため、非常に安価に利用するこ
とができる。
An apparatus for encoding or decoding a moving image signal having a screen configuration with a large number of pixels such as an HDTV signal, that is, an apparatus for performing encoding and decoding of MP @ HL, for example, is very high speed processing. Is difficult to realize, and it is a very expensive device considering the realization. On the other hand, a device that executes MP @ ML encoding and decoding may be smaller and have a lower operation speed than a device of MP @ HL, and it is widely used because it has already been integrated into an LSI. Therefore, it can be used very inexpensively.

【0004】特開平10−234043号公報に記載の
動画像符号化/復号化装置においては、HDTV信号の
ような画素数の多い画面構成の動画像信号を複数の画面
に分割し、分割された各画面の信号をMP@MLの装置
で符号化あるいは復号化し、その処理結果を統合するこ
とにより、MP@HLの符号化あるいは復号化を行なう
方法が提案されている。
In the moving picture coding / decoding apparatus described in Japanese Patent Application Laid-Open No. 10-234043, a moving picture signal having a screen configuration with a large number of pixels, such as an HDTV signal, is divided into a plurality of screens. A method has been proposed in which signals of respective screens are encoded or decoded by a device of MP @ ML and the processing results are integrated to perform encoding or decoding of MP @ HL.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、特開平
10−234043号公報に記載の動画像符号化装置に
おいては、動画像を分割した各領域において生成される
符号量が均一になるように符号化を制御しているため、
各分割画面の画像の複雑さにばらつきがあった場合、複
雑な画像の画面に割り当てられた符号量が十分ではな
く、画質が劣化するという問題がある。
However, in the moving picture coding apparatus described in Japanese Patent Application Laid-Open No. 10-234043, coding is performed so that the amount of codes generated in each divided area of a moving picture is uniform. Because it controls
If the complexity of the image of each divided screen varies, the code amount assigned to the screen of the complex image is not sufficient, and the image quality deteriorates.

【0006】このような問題を解決するためには、複数
のMP@ML符号化装置の各々に対して、フレームごと
のターゲットビット、最大ビットおよび最小ビットなど
の値を設定することにより、適切な符号量を割り当てる
必要がある。しかしながらそのような制御は、処理が複
雑である上に、前のピクチャの符号化が終了し符号量な
どの情報が得られてから、次に到来するピクチャの符号
化を開始するまでの、ごく短い時間内に処理を実行しな
ければならず、処理に高速性が要求される非常に難しい
処理である。また、そのような構成では、各分割画面に
ついて生成される符号量の最大値は画面全体の符号量の
最大値と考える必要があるため、復号側の入力段のバッ
ファとしては、各分割画面ごとのMP@ML復号化装置
の前段に、画面全体の符号をバッファリング可能な容量
のバッファを備える必要があり、バッファの容量が増大
するという問題が生じる。
In order to solve such a problem, by setting values such as a target bit, a maximum bit and a minimum bit for each frame for each of a plurality of MP @ ML encoding devices, it is possible to obtain an appropriate value. It is necessary to allocate the code amount. However, such control is complicated in processing, and is very small from the time when the coding of the previous picture is completed and the information such as the code amount is obtained to the time when the coding of the next incoming picture is started. This is a very difficult process that requires high-speed processing because it must be executed within a short time. Further, in such a configuration, the maximum code amount generated for each split screen must be considered as the maximum code amount for the entire screen. It is necessary to provide a buffer having a capacity capable of buffering the code of the entire screen in the preceding stage of the MP @ ML decoding device of No. 3, which causes a problem that the capacity of the buffer increases.

【0007】1つの動画像信号を複数のエンコーダを用
いて符号化する場合、たとえば特開平11−25255
0号公報に示されているように、通常はVBV(Video B
uffering Verifier)バッファは単一のものが使用されて
いる。単一のVBVバッファを使用しようとすると、符
号化装置全体を制御する制御手段が仮想的に単一のVB
Vバッファのイメージを持ち、そのバッファに蓄えられ
るデータの量の情報を複数のエンコーダ各々より得て、
これに基づいてバッファの占有量を検出し、さらにこれ
をもとに各エンコーダにレートコントロールを行うこと
になる。この場合も、これらの情報の転送や演算を1つ
のピクチャの符号化終了後、次のピクチャの符号化が始
まるまでの非常に短い時間に行わなければならず、非常
に高い情報の転送や演算能力が要求されるという問題が
ある。
When one moving image signal is encoded using a plurality of encoders, for example, Japanese Patent Laid-Open No. 11-25255.
As disclosed in Japanese Patent Publication No. 0, VBV (Video B
A single buffer is used. If a single VBV buffer is to be used, the control means for controlling the entire coding device is virtually a single VBV buffer.
Having an image of a V buffer, and obtaining information on the amount of data stored in that buffer from each of a plurality of encoders,
Based on this, the occupancy of the buffer is detected, and based on this, rate control is performed for each encoder. Also in this case, the transfer and calculation of these pieces of information must be performed in a very short time after the coding of one picture is completed and before the coding of the next picture is started. There is a problem that ability is required.

【0008】複数のエンコーダにより可変ビットレート
で符号化されたビットストリームを多重化して一本の一
定ビットレートのビットストリームとして一括伝送する
方法として、統計多重と呼ばれる方法が知られており、
特に、データ量を伝送路やエンコーダまたはデコーダの
容量内に適切に制御するための方法については、国際公
開W098/32252号公報に示されている。しか
し、たとえばHDTVの動画像信号を分割し、それぞれ
をSDTV用のエンコーダで可変ビットレートとして符
号化し、出力される複数のビットストリームを一定ビッ
トレートの1つのビットストリームに統合するとき、こ
れは統計多重とは異なるものとなり、統計多重と同じ手
法を適用することはできない。
A method called statistical multiplexing is known as a method for multiplexing bit streams coded at a variable bit rate by a plurality of encoders and collectively transmitting them as one constant bit rate bit stream.
Particularly, a method for appropriately controlling the amount of data within the capacity of a transmission line or an encoder or a decoder is disclosed in International Publication W098 / 32252. However, when dividing a moving image signal of HDTV, encoding each as a variable bit rate by an encoder for SDTV, and integrating a plurality of output bitstreams into one bitstream of a constant bitrate, this is It is different from multiplexing, and the same method as statistical multiplexing cannot be applied.

【0009】特開2000−224589号公報は、画
像を分割して符号化する技術において、複数の符号化器
(エンコーダ)に適切にビットレートを割り振る方法を
開示している。しかしながら、この方法は、蓄積記録媒
体用に適用することを意図しており、2パスエンコード
方式を採用している。そのため、符号化時間が長くな
り、実時間で符号化するという目的には適さない。加え
て、ビットレートも一定ではなく、可変レートを想定し
ており、処理が複雑である。
Japanese Unexamined Patent Publication No. 2000-224589 discloses a method of appropriately allocating a bit rate to a plurality of encoders (encoders) in a technique of dividing an image and encoding it. However, this method is intended to be applied to a storage recording medium and employs a two-pass encoding method. Therefore, the encoding time becomes long and it is not suitable for the purpose of encoding in real time. In addition, the bit rate is not constant, but a variable rate is assumed, and the processing is complicated.

【0010】上述した問題を克服する方法として、本願
発明者は、特願2000−205115号(平成13年
7月6日出願)の明細書および図面において、すでに符
号化したピクチャーの特徴量によるビットレートを割り
当てる発明を提案している。しかしながら、この発明に
よれば時間とともに画像特徴量が変化している画像に対
する処理としては時間遅れが生じるので、この発明では
必ずしも適切なビットレートに割り振られる訳ではない
という課題を見いだした。
As a method for overcoming the above-mentioned problems, the inventor of the present application has disclosed in the specification and drawings of Japanese Patent Application No. 2000-205115 (filed on Jul. 6, 2001) the bit by the feature amount of a picture already encoded. We have proposed an invention that allocates rates. However, according to the present invention, a time delay occurs in the processing for an image whose image feature amount changes with time. Therefore, the present invention has found that the bit rate is not necessarily allocated to an appropriate bit rate.

【0011】本発明の目的は、HDTVのような画素数
の大きく、時間とともに画像特徴量が変化するような動
画像信号についても適切にビットレートの割り振りを行
い、、高い画像品質で符号化することのできる画像符号
化装置および画像符号化方法を提供することにある。ま
た本発明の他の目的は、そのように符号化された動画像
信号を、高い画像品質で、復号化することのできる画像
復号化装置および画像復号化方法を提供することにあ
る。
An object of the present invention is to appropriately allocate a bit rate to a moving image signal such as an HDTV which has a large number of pixels and whose image feature amount changes with time, and encodes it with high image quality. An object of the present invention is to provide an image encoding device and an image encoding method that can do the above. Another object of the present invention is to provide an image decoding device and an image decoding method capable of decoding a moving image signal thus encoded with high image quality.

【0012】[0012]

【課題を解決するための手段】本発明の第1の観点によ
れば、二次元状の画像信号をN個の二次元状副画像信号
に分割する画像信号分割手段と、前記N個に分割された
複数の二次元状副画像信号をそれぞれ指定されたビット
レートで符号化するN個の符号化手段と、該符号化した
結果から前記副画像信号の画像の複雑さを示す特徴パラ
メータを算出する、特徴パラメータ算出手段と、前記算
出したN個の特徴パラメータから前記N個の符号化手段
の各々において使用するビットレートを割り振る、割り
振りビットレート演算手段と、前記N個の符号化手段で
符号化されたN個の副画像信号を統合する符号化画像信
号統合手段とを具備し、前記N個の符号化手段はそれぞ
れ、前記割り振りビットレート演算手段で算出したビッ
トレートに従って次の分割された二次元状副画像信号を
符号化し、前記特徴パラメータ算出手段は、該符号化し
た結果から二次元状副画像信号それぞれの画像の複雑さ
を示す特徴パラメータを算出する、画像符号化装置が提
供される。
According to a first aspect of the present invention, image signal dividing means for dividing a two-dimensional image signal into N two-dimensional sub-image signals, and the image signal dividing means are divided into N pieces. N encoding means for encoding each of the plurality of generated two-dimensional sub-image signals at a specified bit rate, and a characteristic parameter indicating the complexity of the image of the sub-image signal is calculated from the encoding result. And a bit rate calculation means for allocating a bit rate to be used in each of the N encoding means from the calculated N feature parameters, and an encoding by the N encoding means. Coded image signal integration means for integrating the N encoded sub-picture signals, each of the N encoding means according to the bit rate calculated by the allocation bit rate calculation means. The divided two-dimensional sub-image signals are encoded, and the characteristic parameter calculation means calculates a characteristic parameter indicating the complexity of each image of the two-dimensional sub-image signals from the encoded result. A device is provided.

【0013】好ましくは、個前記符号化手段は、前記画
像の複雑さを示す特徴パラメータXi,n (i=1,・
・,Nであり、nはn番目のフレームを示す)を下記式
に基づいて算出する。
Preferably, the encoding means is characterized by a characteristic parameter Xi, n (i = 1 ,.
, N, and n indicates the n-th frame) is calculated based on the following equation.

【0014】[0014]

【数13】Xi,n =Si,n ×Qi,n ただし、Si,n は副画像信号iのnフレームの発生符号
ビット量であり、 Qi,n は副画像信号iのnフレームの平均量子化スケー
ルである。
Xi, n = Si, n × Qi, n where Si, n is the generated code bit amount of n frames of the sub-image signal i, and Qi, n is the average quantum of n frames of the sub-image signal i. It is a scale.

【0015】[0015]

【数14】Xi,n =Σ(Si,j×Qi,k) ただし、Si,j は副画像信号iのj フレームメごとの発
生符号ビット量であり(j=n-l,・・・,n-1,n) Qi,k は、副画像信号iのk フレームごとの平均量子化
スケールである(k=n-m,・・・,n-1,n) 。
Xi, n = Σ (Si, j × Qi, k) where Si, j is the generated code bit amount for each j frame of the sub-image signal i (j = nl, ..., n) -1, n) Qi, k is an average quantization scale for each k frame of the sub-image signal i (k = nm, ..., N-1, n).

【0016】[0016]

【数15】Xi,n =Σ(Si,j ×Qi,k )/(N−1) ただし、Si,j は副画像信号iのj フレームメの発生符
号ビット量であり(j=n-l,・・・,n-1,n) Qi,k は副画像信号iのk フレームの平均量子化スケー
ルである(k=n-m,・・・,n-1,n) 。
Xi, n = Σ (Si, j × Qi, k) / (N−1) where Si, j is the generated code bit amount of the j-frame image of the sub-image signal i (j = nl, ..., n-1, n) Qi, k is an average quantization scale of k frames of the sub-image signal i (k = nm, ..., n-1, n).

【0017】好ましくは、前記割り振りビットレート演
算手段は、前記特徴パラメータの時間的変化から次に符
号化を行う副画像信号の画像の複雑さに関する特徴パラ
メータの予測値を算出し、算出した予測特徴パラメータ
から前記割り振りビットレートを算出する。
Preferably, the allocation bit rate calculation means calculates a predicted value of the characteristic parameter concerning the complexity of the image of the sub-image signal to be encoded next from the temporal change of the characteristic parameter, and the calculated predicted characteristic. The allocated bit rate is calculated from the parameters.

【0018】さらに好ましくは、前記割り振りビットレ
ート演算手段は、(n+2)番目のフレームの特徴パラ
メータの予測値(X’i,n+2 )を下記式で求める。
More preferably, the allocation bit rate calculating means obtains the predicted value (X'i, n + 2) of the characteristic parameter of the (n + 2) th frame by the following formula.

【0019】[0019]

【数16】 X’i,n+2 =(Xi,n )+2×〔(Xi,n −Xi,n-1 )〕 =3×(Xi ,n-2)−2×(Xi,n-1 ) ただし、Xi,n はn番目のフレームの副画像信号iの特
徴パラメータであり、 Xi,n-1 は(n-1)番目のフレームの副画像信号iの特
徴パラメータである。
X'i, n + 2 = (Xi, n) +2 * [(Xi, n-Xi, n-1)] = 3 * (Xi, n-2) -2 * (Xi, n- 1) where Xi, n is a characteristic parameter of the sub-image signal i of the nth frame, and Xi, n-1 is a characteristic parameter of the sub-image signal i of the (n-1) th frame.

【0020】また好ましくは、前記割り振りビットレー
ト演算手段は、(n+1)番目のフレームの特徴パラメ
ータの予測値(X’i,n+1 ) を下記式で求める。
Further preferably, the allocation bit rate calculating means obtains the predicted value (X'i, n + 1) of the characteristic parameter of the (n + 1) th frame by the following formula.

【0021】[0021]

【数17】X’i,n+1 =Xi,n +(Xi,n −Xi,n-1 ) =2×(Xi,n )−(Xi,n-1 ) ただし、Xi,n はn番目のフレームの副画像信号iの特
徴パラメータであり、 Xi,n-1 は(n-1) 番目のフレームの副画像信号iの特
徴パラメータである。
X'i, n + 1 = Xi, n + (Xi, n-Xi, n-1) = 2 * (Xi, n)-(Xi, n-1) where Xi, n is n Xi, n-1 is a feature parameter of the sub-image signal i of the (n-1) th frame.

【0022】さらに好ましくは、前記割り振りビットレ
ート演算手段は、前記画像の複雑さに関する予測特徴パ
ラメータ(X’i,n+1 )からのビットレートRの割り振
りを、下記式に基づいて算出する。
More preferably, the allocation bit rate calculating means calculates the allocation of the bit rate R from the prediction feature parameter (X'i, n + 1) regarding the complexity of the image based on the following equation.

【0023】[0023]

【数18】 Ri,n+1 =R×(X’i,n+1 )/Σ(X’i,n+1 )[Equation 18] Ri, n + 1 = R × (X'i, n + 1) / Σ (X'i, n + 1)

【0024】好ましくは、前記N個の符号化手段はそれ
ぞれ、符号化によった生成されたビデオストリームを各
々記憶するバッファを有する。また好ましくは、前記N
個の符号化装置の各々は、VBV(Video Buffering Ver
ifier)バッファを有し、当該N個の符号化装置は各々、
具備する前記VBVバッファの占有量に基づいて、前記
符号化を行なう。
Preferably, each of the N coding means has a buffer for storing a video stream generated by the coding. Also preferably, the N
Each of the encoders has a VBV (Video Buffering Ver.
ifier) buffer, each of the N encoders having
The encoding is performed based on the occupied amount of the VBV buffer provided.

【0025】本発明の第2の観点によれば、上記画像符
号化装置を実施する画像符号化方法が提供される。すな
わち、当該画像符号化方法は、二次元状の画像信号をN
個の二次元状副画像信号に分割する、画像信号分割段階
と、前記N個の分割された二次元状副画像信号を指定さ
れたビットレートで符号化する、符号化段階と、該符号
化した結果から前記各二次元状副画像信号の画像の複雑
さを示す特徴パラメータを算出する、特徴パラメータ算
出段階と、該算出された特徴パラメータから前記符号化
段階におけるビットレートを算出し、該算出したビット
レートを前記符号化段階の処理に反映させる、割り振り
ビットレート演算段階と、前記符号化段階で符号化され
た二次元状副画像信号を統合する符号化画像信号統合段
階と、を具備し、前記符号化段階において、前記割り振
りビットレート演算段階で算出したビットレートに従っ
て次の複数の分割された二次元副画像信号を符号化し、
前記特徴パラメータ算出段階において前記符号化した結
果から二次元状副画像信号の画像の複雑さを示す特徴パ
ラメータを算出する。
According to a second aspect of the present invention, there is provided an image coding method for implementing the above image coding apparatus. That is, the image coding method uses a two-dimensional image signal N
An image signal dividing step of dividing into two two-dimensional sub-image signals, an encoding step of encoding the N divided two-dimensional sub-image signals at a designated bit rate, and the encoding step From the result, a characteristic parameter indicating the complexity of the image of each two-dimensional sub-image signal is calculated, and a bit rate in the encoding step is calculated from the calculated characteristic parameter, and the calculation is performed. The bit rate calculation step for reflecting the bit rate in the processing of the encoding step, and the encoded image signal integration step for integrating the two-dimensional sub-image signals encoded in the encoding step. ,, in the encoding step, encoding the next plurality of divided two-dimensional sub-image signals according to the bit rate calculated in the allocation bit rate calculation step,
In the characteristic parameter calculation step, a characteristic parameter indicating the complexity of the image of the two-dimensional sub-image signal is calculated from the encoded result.

【0026】本発明の第3の観点によれば、上記画像符
号化装置または画像符号化方法によって得られた画像信
号を、前記ビットレートに従って復号する復号手段を具
備する、画像復号化装置が提供される。
According to a third aspect of the present invention, there is provided an image decoding device comprising a decoding means for decoding an image signal obtained by the image coding device or the image coding method according to the bit rate. To be done.

【0027】本発明の第4の観点によれば、上記画像符
号化装置または画像符号化方法によって得られた画像信
号を、前記ビットレートに従って復号する段階を有す
る、画像復号化方法が提供される。
According to a fourth aspect of the present invention, there is provided an image decoding method having a step of decoding an image signal obtained by the image coding apparatus or the image coding method according to the bit rate. .

【0028】前記画像復号化装置および方法の上記画像
信号は、二次元状の画像信号をN個の二次元状副画像信
号に分割し、該N個の分割された二次元状副画像信号を
指定されたビットレートで符号化し、該符号化した結果
から前記各二次元状副画像信号の画像の複雑さを示す特
徴パラメータを算出し、該算出された特徴パラメータか
ら前記符号化処理で使用するビットレートを算出し、前
記符号化処理で符号化された二次元状副画像信号を統合
して得られた、画像信号である。
The image signal of the image decoding apparatus and method divides the two-dimensional image signal into N two-dimensional sub-image signals, and divides the N divided two-dimensional sub-image signals. Encoding is performed at a specified bit rate, a characteristic parameter indicating the complexity of the image of each two-dimensional sub-image signal is calculated from the encoded result, and used in the encoding process from the calculated characteristic parameter. It is an image signal obtained by calculating the bit rate and integrating the two-dimensional sub-image signals encoded by the encoding process.

【0029】[0029]

【発明の実施の形態】第1の実施の形態 図1〜図7を参照して本発明の画像符号化装置および画
像符号化方法、画像復号化装置および画像復号化方法、
ならびに、画像伝送装置の第1の実施の形態について述
べる。画像符号化装置について説明する。図1は第1の
実施の形態の画像符号化装置101の構成を示すブロッ
ク図である。画像符号化装置101は、画像分割装置1
10、第1〜第4の分割画像符号化装置120-1〜12
-4、ビデオストリーム統合装置160および制御装置
170を有する。画像分割装置110が、本発明の二次
元状の画像信号をN個の二次元状副画像信号に分割する
画像信号分割手段に対応している。第1〜第4の分割画
像符号化装置120-1〜120-4が、本発明のN個の符
号化手段に対応している。ビデオストリーム統合装置1
60が、本発明の符号化画像信号統合手段に対応してい
る。制御装置170が、本発明のビットレート割当手段
を含む。
BEST MODE FOR CARRYING OUT THE INVENTION First Embodiment Referring to FIGS. 1 to 7, an image coding apparatus and an image coding method, an image decoding apparatus and an image decoding method according to the present invention,
In addition, a first embodiment of the image transmission device will be described. The image encoding device will be described. FIG. 1 is a block diagram showing the configuration of the image encoding device 101 according to the first embodiment. The image encoding device 101 is the image division device 1.
10, first to fourth divided image coding devices 120 -1 to 12
0-4 , video stream integration device 160 and control device 170. The image dividing device 110 corresponds to the image signal dividing means for dividing the two-dimensional image signal of the present invention into N two-dimensional sub-image signals. The first to fourth divided image coding devices 120 -1 to 120 -4 correspond to the N coding means of the present invention. Video stream integration device 1
Reference numeral 60 corresponds to the encoded image signal integrating means of the present invention. The controller 170 includes the bit rate allocation means of the present invention.

【0030】なお、好適な本実施の形態の画像符号化装
置101は、HDTV信号のように、大量の画像信号を
復号化する場合に好適な実施の形態を示しており、その
ような場合には、1フレームのHDTV信号を1つの符
号化手段が行うと、符号化処理に非常に時間がかかり、
実時間で符号化処理を実現することが困難になることか
ら、画像信号をN個に分割した副画像信号を符号化す
る。以下、本実施の形態では、複数の分割を示す数Nは
4である。
The preferred image coding apparatus 101 according to the present embodiment shows a preferred embodiment for decoding a large amount of image signals such as HDTV signals. In such a case, When one encoding means performs one frame of HDTV signal, the encoding process takes a very long time,
Since it is difficult to realize the encoding process in real time, the sub-image signal obtained by dividing the image signal into N pieces is encoded. Hereinafter, in the present embodiment, the number N indicating a plurality of divisions is 4.

【0031】画像分割装置110は、たとえば、図2に
図解したように、連続的に入力される二次元状動画像信
号の各フレーム画像を、4つの領域A,B,C,Dの4
つの副画像信号に分割し、分割された4個の副画像信号
を第1〜第4の分割画像符号化装置120-1〜120-4
に出力する。画像分割装置110の処理の詳細を述べ
る。
As shown in FIG. 2, the image dividing device 110 converts each frame image of a continuously input two-dimensional moving image signal into four areas A, B, C and D.
The image data is divided into four sub-image signals, and the four divided sub-image signals are divided into first to fourth divided image coding devices 120 -1 to 120 -4.
Output to. Details of the processing of the image division device 110 will be described.

【0032】図2に図解した画像符号化装置101に入
力される二次元動画像信号は、たとえば、HDTV映像
信号であり、輝度信号は横1920画素×縦1080ラ
イン、色差信号は横960画素×縦1080ラインの
4:2:2形式のインターレース信号である。フレーム
レートは30フレーム/秒である。画像分割装置110
は、フィルタ処理により輝度信号を横方向1440画素
に、色差信号を横方向に720画素に変換する。縦方向
は、MPEG2の規格により、インターレース画像では
32ラインの倍数でなければならないと決められている
ので、輝度信号、色差信号とも画像の下にそれぞれ8ラ
インのダミーデータを付け、1088ラインとする。画
像分割装置110は、このようにサイズを変換した画像
を、図2に示すように領域A,B,C,Dの4つに分割
し、各分割領域の副画像信号を第1〜第4の分割画像符
号化装置120-1〜120-4に出力する。たとえば輝度
信号については、横720画素×縦544ラインの4つ
の副画像信号に分割される。
The two-dimensional moving image signal input to the image encoding device 101 illustrated in FIG. 2 is, for example, an HDTV video signal, the luminance signal is 1920 pixels horizontal × 1080 lines vertical, and the color difference signal is 960 pixels horizontal × It is a 4: 2: 2 format interlaced signal with vertical 1080 lines. The frame rate is 30 frames / second. Image dividing device 110
Converts the luminance signal into 1440 pixels in the horizontal direction and the color difference signal into 720 pixels in the horizontal direction by filtering. The vertical direction is determined by the MPEG2 standard to be a multiple of 32 lines in an interlaced image, so that 8 lines of dummy data are added below the image for both the luminance signal and the color difference signal to form 1088 lines. . The image division device 110 divides the image whose size has been converted in this way into four areas A, B, C, and D as shown in FIG. 2, and the sub-image signals of the respective divided areas are divided into first to fourth areas. To the divided image coding devices 120 -1 to 120 -4 . For example, the luminance signal is divided into four sub-image signals of horizontal 720 pixels × vertical 544 lines.

【0033】第1〜第4の分割画像符号化装置120-1
〜120-4は各々、制御装置170から指定されるビッ
トレートで、画像分割装置110から入力された副画像
信号を符号化し、符号化した結果から副画像信号の画像
の複雑さを示す特徴パラメータを算出する。また、第1
〜第4の分割画像符号化装置120-1〜120-4は各
々、符号化した結果をバッファリングし、所定のレート
でビデオストリーム統合装置160に出力する。各分割
画像符号化装置120-i(i=1〜4)は、プロセッサ
130-iおよびバッファ150-iを有する。
The first to fourth divided image coding devices 120 -1
Each of 120 to -4 is a bit rate designated by the control device 170, encodes a sub-image signal input from the image division device 110, and a characteristic parameter indicating the image complexity of the sub-image signal from the encoded result. To calculate. Also, the first
~ The fourth divided image coding devices 120 -1 to 120 -4 buffer the coded results and output them to the video stream integration device 160 at a predetermined rate. Each divided image coding device 120 -i (i = 1 to 4) has a processor 130 -i and a buffer 150 -i .

【0034】プロセッサ130-iは、たとえば、MPE
G2−MP@MLのエンコーダであり、入力される副画
像信号をMPEG2方式で符号化する。符号化により生
成したビデオストリームは、ピクチャ単位で実質的に瞬
時にバッファ150-iに出力される。なお、NTSC方
式では縦480ラインまでしか対応していないことがあ
るので、本実施の形態のプロセッサ130-iは、縦57
6ラインまで対応しているPALモードでエンコードを
行う。また、PALモードではフレームレートが25フ
レーム/秒なので、クロック周波数を上げて30フレー
ム/秒でエンコードを行う。
The processor 130 -i is, for example, an MPE.
It is a G2-MP @ ML encoder that encodes an input sub-image signal by the MPEG2 method. The video stream generated by the encoding is output to the buffer 150 -i substantially instantaneously in picture units. Since the NTSC system may support up to 480 vertical lines, the processor 130 -i according to the present embodiment has a vertical direction of 57 lines.
Encode in PAL mode that supports up to 6 lines. Further, in the PAL mode, since the frame rate is 25 frames / second, the clock frequency is increased and encoding is performed at 30 frames / second.

【0035】プロセッサ130-iは、副画像信号をMP
EG2方式で符号化した副画像信号の画像の複雑さを示
す特徴パラメータを算出する。画像の複雑さを示す特徴
パラメータとしてはその要件を満たすものであればどの
ようなものを用いても構わないが、本実施例では、好適
な第1例として、副画像信号iの画像の複雑さを示す特
徴パラメータXi,n (iは副画像信号の番号であり、n
は画像信号のフレーム番号である。)として、下記式で
規定される、1ピクチャ毎に符号化により得られる発生
ビット量Si,n と平均量子化スケールQi,n との積を用
いる。
The processor 130- i MPs the sub-image signal.
A characteristic parameter indicating the image complexity of the sub-image signal encoded by the EG2 method is calculated. As the characteristic parameter indicating the complexity of the image, any parameter may be used as long as it satisfies the requirement, but in the present embodiment, as a preferred first example, the complexity of the image of the sub-image signal i is Characteristic parameter Xi, n (i is the number of the sub-image signal, and n
Is the frame number of the image signal. ), The product of the amount of generated bits Si, n obtained by encoding for each picture and the average quantization scale Qi, n defined by the following equation is used.

【0036】[0036]

【数19】 Xi,n =Si,n ×Qi,n ・・・(1) ただし、Si,n は副画像信号iの各フレームごとの発生
符号ビット量であり、Qi,n は、副画像信号iの各フレ
ームごとの平均量子化スケールである。
Xi, n = Si, n × Qi, n (1) where Si, n is the generated code bit amount for each frame of the sub-image signal i, and Qi, n is the sub-image It is the average quantization scale for each frame of signal i.

【0037】副画像信号iの画像の複雑さを示す特徴パ
ラメータXi,n としては、上述した例示の他、例えばピ
クチャタイプによる違いをキャンセルすることを意図し
て、下記式2に示したように過去3ピクチャの合計、あ
るいは下記式3に示したように平均などを用いることも
できる。
As the characteristic parameter Xi, n indicating the complexity of the image of the sub-image signal i, in addition to the above-mentioned examples, for example, with the intention of canceling the difference due to the picture type, It is also possible to use the total of the past three pictures, or the average as shown in the following Expression 3.

【0038】[0038]

【数20】 Xi,n =Si,n ×Qi,n +Si,n-1 ×Qi,n-1 +Si,n-2 ×Qi,n-2 ・・・(2)[Equation 20]     Xi, n = Si, n x Qi, n + Si, n-1 xQi, n-1 + Si, n-2 xQi, n-2                                                       ... (2)

【0039】[0039]

【数21】 Xi,n =〔Si,n ×Qi,n +Si,n-1 ×Qi,n-1 +Si,n-2 ×Qi,n-2 〕 /3 ・・・(3)[Equation 21]     Xi, n = [Si, n x Qi, n + Si, n-1 x Qi, n-1 + Si, n-2 x Qi, n-2]               / 3                                                       ... (3)

【0040】バッファ150-iは、プロセッサ130-i
より入力される符号化ビデオストリームを一時的に記憶
し、制御装置170の割り振りビットレート演算部17
1から指示されるビットレートでビデオストリーム統合
装置160に出力する。割り振りビットレート演算部1
71の処理については後述する。第1〜第4の分割画像
符号化装置120-1〜120-4からは、各々、MPEG
2−MP@MLのビデオストリームが出力される。画像
符号化装置101に入力される動画像信号の形式は4:
2:2であるが、プロセッサ130-iにおいて4:2:
0形式に変換されるので、第1〜第4の分割画像符号化
装置120-1〜120-4より出力されるビデオストリー
ムの各々は、4:2:0形式の動画像信号のビデオスト
リームである。
The buffer 150 -i is the processor 130 -i.
The coded video stream input from the device is temporarily stored, and the allocation bit rate calculation unit 17 of the control device 170 is stored.
1 is output to the video stream integration device 160 at the bit rate instructed. Allocation bit rate calculation unit 1
The process of 71 will be described later. From the first to the fourth divided image coding devices 120 -1 to 120 -4 , respectively, MPEG
A 2-MP @ ML video stream is output. The format of the moving image signal input to the image encoding device 101 is 4:
2: 2, but in processor 130- i 4: 2:
Since the video stream is converted into the 0 format, each of the video streams output from the first to fourth divided image coding apparatuses 120 -1 to 120 -4 is a video stream of a moving image signal in the 4: 2: 0 format. is there.

【0041】ビデオストリーム統合装置160は、第1
〜第4の分割画像符号化装置120 -1〜120-4から出
力される4つのMPEG2−MP@MLのビデオストリ
ームを合成し、MPEG2−MP@HLのビデオストリ
ームを生成する。すなわち、ビデオストリーム統合装置
160は、4つのMPEG2−MP@MLのビデオスト
リームをスライス単位で分解し、それらを1つのビデオ
ストリームに再構成することにより、1つのMPEG2
−MP@HLのビデオストリームを生成する。この時、
スライス単位より上位のシーケンス、GOP(Group Of
Picture)、ピクチャレベルのヘッダデータ、拡張デー
タ、ユーザデータは1つのみでいいので、ビデオストリ
ーム統合装置160は、第1の分割画像符号化装置12
-1(分割画像符号化装置A)から出力されるビデオス
トリームのみを用い、第2〜第4の分割画像符号化装置
120-2〜120-4(分割画像符号化装置B〜D)から
出力されるビデオストリームは破棄する。より具体的に
述べると、ビデオストリーム統合装置160は、第1〜
第4の分割画像符号化装置120-1〜120-4における
プロセッサ130-1〜130-4において符号化処理を開
始後、4つの分割画像符号化装置120-1〜120-4
ら出力される4つのビデオストリームそれぞれにおいて
最初のスライス・スタートコードが現れるまで、第1の
分割画像符号化装置120-1(分割画像符号化装置A)
から出力されるビデオストリームのみを出力し、第2〜
第4の分割画像符号化装置120-2〜120-4(分割画
像符号化装置B〜D)から出力されるビデオストリーム
は破棄する。
The video stream integrating device 160 has a first
~ Fourth divided image encoding device 120 -1~ 120-FourOut of
Four MPEG2-MP @ ML video streams supported
Video stream of MPEG2-MP @ HL
Generate a game. That is, the video stream integration device
160 is four MPEG2-MP @ ML video streams.
Break the reme into slices and put them in one video
One MPEG2 by reconstructing into a stream
-Generate MP @ HL video stream. At this time,
Sequences higher than the slice unit, GOP (Group Of
 Picture), picture-level header data, extended data
Since only one user data and user data are required,
The system integration device 160 uses the first divided image encoding device 12
0-1Video stream output from (split image encoding device A)
Second to fourth divided image coding apparatus using only stream
120-2~ 120-FourFrom (divided image coding devices B to D)
The output video stream is discarded. More specifically
To be more specific, the video stream integration device 160 includes the first to the first
Fourth divided image coding device 120-1~ 120-FourIn
Processor 130-1~ 130-FourOpen the encoding process in
After the start, four divided image coding devices 120-1~ 120-FourOr
In each of the four video streams output from
First slice until the first slice start code appears
Divided image coding device 120-1(Divided image coding device A)
Output only the video stream output from
Fourth divided image coding device 120-2~ 120-Four(Split image
Video stream output from image encoding devices B to D)
Discard.

【0042】また同時に、1つのMPEG2−MP@H
Lのビデオストリームとして書き換えが必要となるパラ
メータ、たとえば水平画素サイズ、垂直画素サイズ、ア
スペクト比情報、ビットレート、VBVバッファサイ
ズ、VBVディレイについては、制御装置170の制御
部172からの指示に従い、あるいは可能なものは各分
割画像符号化装置120-i(i=1〜4)から出力され
るビデオストリームのそれぞれの値から計算により求め
た値に書き換える。なお、動きベクトルの探索範囲をあ
らわすエフ・コードは、第1〜第4の分割画像符号化装
置120-1〜120-4のプロセッサ130-1においてピ
クチャ単位で同じ値に書き換えようとすると、動きベク
トルの値の換算と書き換えも必要となり複雑な処理とな
るので、各ピクチャのエンコード前に、制御部172か
ら各分割画像符号化装置120-i(i=1〜4)のプロ
セッサ130-1に同じ値をあらかじめ設定しておくのが
望ましい。
At the same time, one MPEG2-MP @ H
Parameters that need to be rewritten as an L video stream, such as horizontal pixel size, vertical pixel size, aspect ratio information, bit rate, VBV buffer size, and VBV delay, follow instructions from the control unit 172 of the control device 170, or What is possible is rewritten to the value obtained by calculation from each value of the video stream output from each divided image encoding device 120 -i (i = 1 to 4). It should be noted that if the F code representing the search range of the motion vector is rewritten to the same value in picture units in the processors 130 -1 of the first to fourth divided image coding devices 120 -1 to 120 -4 , the F code Since the conversion and rewriting of the vector value are required and the processing is complicated, the control unit 172 causes the processor 130 -1 of each divided image encoding device 120 -i (i = 1 to 4) to encode each picture. It is desirable to set the same value in advance.

【0043】スライス・スタートコード以降のビデオス
トリームは、スライス単位で分解し、図3に示すように
A1,B1,A2,B2,…,A34,B34,C1,
D1,C2,D2,…,C34,D34の順に並べ替え
て出力する。この時、スライスの垂直位置情報をあらわ
すスライスヘッダの値を、必要に応じて正しい値に書き
換える。またスライスの最初のマクロブロックにおける
水平位置情報をあらわすマクロブロックアドレスインク
リメントも必要に応じて正しい値に書き換える。
The video stream after the slice start code is decomposed in units of slices, and as shown in FIG. 3, A1, B1, A2, B2, ..., A34, B34, C1,
D1, C2, D2, ..., C34, D34 are rearranged in this order and output. At this time, the value of the slice header indicating the vertical position information of the slice is rewritten to a correct value as necessary. Also, the macro block address increment representing the horizontal position information in the first macro block of the slice is rewritten to a correct value as necessary.

【0044】ビデオストリーム統合装置160は、スラ
イスD34のビデオストリームを出力後、分割画像符号
化装置120-i(i=1〜4)からシーケンスエンドコ
ードが出力された場合は、シーケンスエンドコードを1
つ出力し、合成を終了あるいは次のシーケンススタート
コードの入力を待つ。シーケンスエンドコードが出力さ
れない場合は、次のピクチャスタートコード、あるいは
グループスタートコード(GOPの開始コード)が出力
されるので、ビデオストリーム統合装置160は同様な
処理を繰り返す。
After outputting the video stream of the slice D34, the video stream integrating device 160 outputs the sequence end code to 1 when the sequence end code is output from the divided image coding devices 120 -i (i = 1 to 4).
One is output, and synthesis is completed or the next sequence start code is input. If the sequence end code is not output, the next picture start code or group start code (start code of GOP) is output, and the video stream integration device 160 repeats similar processing.

【0045】制御装置170は、割り振りビットレート
演算部171および制御部172を有する。制御部17
2は、割り振りビットレート演算部171、画像分割装
置110、分割画像符号化装置120-1〜120-4、ビ
デオストリーム統合装置160の動作を制御する。
The control device 170 has an allocation bit rate calculation unit 171 and a control unit 172. Control unit 17
2 controls the operations of the allocation bit rate calculation unit 171, the image division device 110, the divided image encoding devices 120 -1 to 120 -4 , and the video stream integration device 160.

【0046】割り振りビットレート演算部171は、4
つの分割画像符号化装置120-1〜120-4から出力さ
れる、上述した画像の複雑さを示す特徴パラメータXi,
n を参照して、特徴パラメータXi,n の時間的変化から
分割画像符号化装置120-1〜120-4内のプロセッサ
130-1〜130-4で符号化する副画像信号の画像(ピ
クチャー)の複雑さを示す特徴パラメータを予測して、
その特徴パラメータを参照して分割画像符号化装置12
-1〜120-4内のプロセッサ130-1〜130-4で符
号化するときの副画像信号のビットレートの割り振りを
行い、そのビットレートを分割画像符号化装置120-1
〜120-4内のプロセッサ130-1〜130-4に送出す
る。
The allocation bit rate operation unit 171 is
The above-mentioned feature parameter Xi, which indicates the complexity of the image, output from one of the divided image coding devices 120 -1 to 120 -4 .
Referring to n, an image (picture) of a sub-image signal to be encoded by the processors 130 -1 to 130 -4 in the divided image encoding devices 120 -1 to 120 -4 based on the temporal change of the characteristic parameter Xi, n. Predict the feature parameter that indicates the complexity of
The divided image encoding device 12 with reference to the characteristic parameters
0 -1 120 processor 130 in the -4 -1 to 130 -4 performs the allocation of the bit rate of the sub-image signal when coding, dividing the image coding apparatus that the bit rate 120 -1
And it sends to the processor 130 -1 130 -4 in 120 -4.

【0047】図4は、割り振りビットレート演算部17
1におけるn番目のピクチャ(フレーム)までの符号化
結果から、特徴パラメータXi,n の時間的変化から分割
画像符号化装置120-1〜120-4内のプロセッサ13
-1〜130-4で符合化を行うピクチャでの複雑さに関
する(n+2)番目のフレームの特徴パラメータXi,n
を予測し、n+2番目のピクチャの複雑さに関する特徴
パラメータXi,n の予測の様子を表すグラフである。予
測特徴パラメータをX’i,n+2 とすると、下記式4で予
測特徴パラメータX’i,n+2 を求めることができる。
FIG. 4 shows the allocation bit rate calculation unit 17
From the encoding result up to the n-th picture (frame) in No. 1, the processor 13 in the divided image encoding devices 120 -1 to 120 -4 determines the temporal change of the characteristic parameter Xi, n.
The characteristic parameter Xi, n of the (n + 2) th frame regarding the complexity in the picture to be coded from 0 -1 to 130 -4
Is a graph showing the state of prediction of the feature parameter Xi, n regarding the complexity of the (n + 2) th picture. Assuming that the prediction feature parameter is X'i, n + 2, the prediction feature parameter X'i, n + 2 can be obtained by the following formula 4.

【0048】[0048]

【数22】 X’i,n+2 =(Xi,n )+2×〔(Xi,n −Xi,n-1 )〕 =3・(Xi ,n-2)−2・(Xi,n-1 ) ただし、Xi,n はn番目のフレームの副画像信号iの 特徴パラメータであり、 Xi,n-1 は(n−1)番目のフレームの副画像信号i の特徴パラメータである。 ・・・(4)[Equation 22]     X'i, n + 2 = (Xi, n) +2 * [(Xi, n-Xi, n-1)]               = 3 · (Xi, n-2) -2 · (Xi, n-1)                 However, Xi, n is the sub-image signal i of the nth frame                                 Is a characteristic parameter,                         Xi, n-1 is the sub-image signal i of the (n-1) th frame                                 Is a characteristic parameter of.                                                         ... (4)

【0049】図5は画像符号化装置として転送能力、処
理能力が十分ある場合の、n番目のピクチャまでの符号
化結果から(n+1)番目のピクチャの複雑さに関する
特徴パラメータを予測する様子を表したグラフである。
図5に図解した場合も(n+1)番目のピクチャーにつ
いての予測値を(X’i,n+1 )とすると、下記式5で予
測値(X’i,n+1 )を求めることができる。
FIG. 5 shows how the characteristic parameters concerning the complexity of the (n + 1) th picture are predicted from the coding results up to the nth picture when the image coding apparatus has sufficient transfer capacity and processing capacity. It is a graph.
Also in the case illustrated in FIG. 5, assuming that the prediction value for the (n + 1) th picture is (X′i, n + 1), the prediction value (X′i, n + 1) can be calculated by the following equation 5. .

【0050】[0050]

【数23】 X’i,n+1 =Xi,n +(Xi,n −Xi,n-1 ) =2×(Xi,n )−(Xi,n-1 ) ・・・(5)[Equation 23]     X'i, n + 1 = Xi, n + (Xi, n-Xi, n-1)               = 2 * (Xi, n)-(Xi, n-1)                                                         ... (5)

【0051】式5は、線形関係を示しており、過去と現
在のフレームのピクチャーの特徴パラメータ(Xi,n-1
)、Xi,n の時間的経過から、次のフレーム(n+
1)のピクチャーの特徴パラメータを(X’i,n+1 )と
して予測できることを示している。
Equation 5 shows a linear relationship, which is the feature parameter (Xi, n-1) of the pictures of the past and present frames.
), Xi, n, the next frame (n +
It is shown that the characteristic parameter of the picture of 1) can be predicted as (X'i, n + 1).

【0052】式4および式5の意味について考察する。
カメラ撮影などにより得られる画像では通常、画像の複
雑さに関する特徴量が突然極端に変化することは少ない
と考えることができる。したがって、n番目のピクチャ
ーの画像の複雑さに関する特徴パラメータXi,n に加
え、それ以前の(n−1)番目のピクチャの画像の複雑
さに関する特徴パラメータ(Xi,n-1 )を参照して特徴
パラメータの変化量を観測し、(n+2)番目のピクチ
ャーおよび(n+1)番目のピクチャーの画像の複雑さ
に関する特徴パラメータ(X’i,n+2 )、(X’i,n+1
)を予測することができる。このように、次に符号化
するピクチャーにおける画像の複雑さに関する特徴パラ
メータを予測し、予測した特徴パラメータを参照してビ
ットレートを求め、そのビットレートで符号化すると、
動きのある画像信号についても、時間的な遅れのないビ
ットレートの割り振りが可能となる。このような割り振
りのビットレートを用いて、分割画像符号化装置120
-1〜120-4内のプロセッサ130-1〜130-4におい
て次のフレームの副画像信号を符号化すると、高品質の
符号化が時間遅れなく行うことができる。
Consider the meanings of equations (4) and (5).
In an image obtained by photographing with a camera or the like, it can be considered that the feature amount related to the complexity of the image rarely changes suddenly and extremely. Therefore, in addition to the feature parameter Xi, n regarding the image complexity of the n-th picture, the feature parameter (Xi, n-1) regarding the image complexity of the previous (n-1) -th picture is referred to. Observing the amount of change in the characteristic parameters, the characteristic parameters (X'i, n + 2) and (X'i, n + 1) related to the complexity of the images of the (n + 2) th picture and the (n + 1) th picture are observed.
) Can be predicted. In this way, by predicting the characteristic parameter concerning the complexity of the image in the picture to be encoded next, obtaining the bit rate by referring to the predicted characteristic parameter, and encoding at that bit rate,
It is possible to allocate a bit rate to a moving image signal without a time delay. By using the bit rate of such allocation, the divided image encoding device 120
By encoding the sub-picture signal of the next frame in the processors 130 -1 to 130 -4 in the -1 to 120 -4 , high quality encoding can be performed without time delay.

【0053】割り振りビットレート演算部171におけ
る特徴パラメータの予測の方法は上述した例示に限定さ
れず、画像の複雑さに関する特徴パラメータの時間的変
化から、符号化するピクチャにおける画像の複雑さに関
する特徴パラメータを予測するものであれば、どのよう
なものでも構わない。
The method of predicting the feature parameter in the allocation bit rate operation unit 171 is not limited to the above-mentioned example, and the feature parameter relating to the image complexity in the picture to be coded is determined from the temporal change of the feature parameter relating to the image complexity. Anything that predicts can be used.

【0054】割り振りビットレート演算部171におけ
る予測された画像の複雑さに関する特徴パラメータから
のビットレートRの割り振りを求める計算は、例えば下
記式6に従って行うことができる。なお、下記式におい
て、記号X’1,n+1 、X’2,n+1 、X’3 ,n+1 、X’
4,n+1 は、分割画像符号化装置120-1〜120-4内の
プロセッサ130-1〜130-4で符号化する副画像信号
の画像の複雑さに関する特徴パラメータの予測値であ
る。
The calculation for obtaining the allocation of the bit rate R from the characteristic parameter relating to the complexity of the predicted image in the allocation bit rate calculating section 171 can be performed, for example, according to the following equation 6. In the formula below, the symbols X'1, n + 1, X'2, n + 1, X'3, n + 1, X '
4, n + 1 is the predicted value of the characteristic parameters relating to the complexity of the image of the sub-image signals to be encoded in the processor 130 -1 130 -4 divided image encoding device 120 -1 120 within -4.

【0055】[0055]

【数24】 Ri,n+1 =R×(X’i,n+1 ) /(X’1,n+1 +X’2,n+1 +X’3 ,n+1 +X’4,n+1 ) ・・・(6)[Equation 24]     Ri, n + 1 = Rx (X'i, n + 1)               / (X'1, n + 1 + X'2, n + 1 + X'3, n + 1 + X'4, n + 1)                                                         ... (6)

【0056】割り振りビットレート演算部171は式6
に基づいて算出した割り振りビットレートを分割画像符
号化装置120-1〜120-4内のプロセッサ130-1
130-4に与え、プロセッサ130-1〜130-4は与え
られたビットレートで次の副画像信号を符号化する。
The allocation bit rate calculation unit 171 uses the equation 6
The allocation bit rate calculated based on the processor 130 -1 in the divided image coding devices 120 -1 to 120 -4 .
Given to 130 -4, processor 130 -1 130 -4 encode the next sub-image signals in a given bit rate.

【0057】画像符号化装置101の全体的な動作につ
いて述べる。たとえば輝度信号が横1920画素×縦1
080ライン、色差信号が横960画素×縦1080ラ
インのHDTV映像信号が動画像符号化装置101に入
力されると、画像分割装置110において、輝度信号は
横方向に1440画素に、色差信号は横方向に720画
素に変換する。また縦方向には、輝度信号、色差信号と
もに画像の下にそれぞれ8ラインのダミーデータが付け
られ、1088ラインとされる。そして、このように変
換された画像信号は、図2に示すように4つの領域A,
B.C,Dに分割され、各々、第1〜第4の分割画像符
号化装置120 -1〜120-4に出力される。
Regarding the overall operation of the image encoding device 101
I will explain. For example, the luminance signal is 1920 pixels wide x 1 vertical
080 lines, color difference signal is 960 horizontal pixels x 1080 vertical pixels
In HDTV video signal is input to the video encoding device 101.
Then, in the image dividing device 110, the luminance signal is
1440 pixels in the horizontal direction and 720 pixels in the horizontal direction for the color difference signal.
Convert to plain. In the vertical direction, the luminance signal and color difference signal
Dummy data of 8 lines is attached under each image.
To be 1088 lines. And like this
The converted image signal has four areas A, as shown in FIG.
B. It is divided into C and D, and the first to fourth divided image codes are respectively
Encryption device 120 -1~ 120-FourIs output to.

【0058】第1〜第4の分割画像符号化装置120-1
〜120-4の各プロセッサ130-i(i=1〜4)は、
各々MPEG2−MP@MLで分割された横720×縦
544ラインの副画像信号を、割り振りビットレート演
算部171で予測された画像の複雑さに関する特徴パラ
メータから求めたビットレートRに基づいて符号化す
る。各プロセッサ130-i(i=1〜4)は、符号化に
よって得られた、1ピクチャ毎に符号化により得られる
発生ビット量Si,n と平均量子化スケールQi,nとを用
いて、上述した方法で特徴パラメータXiを求めて、制
御装置170の割り振りビットレート演算部171に出
力する。
The first to fourth divided image coding devices 120 -1
120 -4 Each processor 130 -i of (i = 1 to 4) is
A sub-image signal of horizontal 720 × vertical 544 lines divided by MPEG2-MP @ ML is encoded based on a bit rate R obtained from a characteristic parameter relating to image complexity predicted by the allocation bit rate calculation unit 171. To do. Each processor 130 -i (i = 1 to 4) uses the generated bit amount Si, n and the average quantization scale Qi, n obtained by the encoding for each picture, which is obtained by the encoding, as described above. The characteristic parameter Xi is obtained by the above method and is output to the allocation bit rate calculation unit 171 of the control device 170.

【0059】各プロセッサ130-i(i=1〜4)で符
号化されたビデオストリームは、各分割画像符号化装置
120-i内のバッファ150-iに一旦記憶される。
The video stream coded by each processor 130 -i (i = 1 to 4) is temporarily stored in the buffer 150 -i in each divided image coding device 120 -i .

【0060】割り振りビットレート演算部171は上述
した方法で、特徴パラメータを予測し、予測した特徴パ
ラメータを用いて、ビットレートRの割り振り計算を行
い、第1〜第4の分割画像符号化装置120-1〜120
-4の各プロセッサ130-i(i=1〜4)に出力する。
The allocation bit rate calculation unit 171 predicts the characteristic parameter by the above-described method, performs the allocation calculation of the bit rate R using the predicted characteristic parameter, and calculates the first to fourth divided image encoding devices 120. -1 to 120
-4 to each processor 130 -i (i = 1 to 4).

【0061】図6は第1〜第4の分割画像符号化装置1
20-1〜120-4の各プロセッサ130-i(i=1〜
4)から出力される特徴パラメータXiと、割り振りビ
ットレート演算部171において特徴パラメータXiを
入力して、特徴パラメータを予測し、予測した特徴パラ
メータを用いて、ビットレートRの割り振り計算を行
い、第1〜第4の分割画像符号化装置120-1〜120
-4の各プロセッサ130-i(i=1〜4)に出力するタ
イミングを示すグラフである。
FIG. 6 shows the first to fourth divided image coding devices 1.
20 -1 to 120 -4 of each processor 130 -i (i = 1 to 1
4) The feature parameter Xi output from 4) and the feature parameter Xi in the allocation bit rate calculation unit 171 are input to predict the feature parameter, and the bit rate R is calculated using the predicted feature parameter. 1st-4th division | segmentation image coding apparatus 120 < -1 > -120
4 is a graph showing a timing of output to each processor 130 -i (i = 1 to 4) of -4 .

【0062】分割画像符号化装置120-1〜120-4
各プロセッサ130-i(i=1〜4)においてn番目の
ピクチャ(副画像信号)の符号化が終了すると、その結
果得られる画像の複雑さに関する特徴パラメータを外部
制御装置170内の割り振りビットレート演算部171
に転送する。割り振りビットレート演算部171は、分
割画像符号化装置120-1〜120-4の各プロセッサ1
30-i(i=1〜4)において、(n+1)番目のピク
チャーの符号化を行っている期間に、各分割画像符号化
装置に割り振るビットレートを演算する。割り振られた
ビットレートは、分割画像符号化装置120-1〜120
-4の各プロセッサ130-i(i=1〜4)において(n
+2)番目のピクチャーの符号化が開始される前に、算
出した割り振りビットレートを転送する。分割画像符号
化装置120-1〜120-4の各プロセッサ130-i(i
=1〜4)において、転送されてきたビットレートに応
じて、(n+2)番目のピクチャの符号化処理を行う。
When the encoding of the n-th picture (sub-image signal) is completed in each processor 130 -i (i = 1 to 4) of the divided image encoding devices 120 -1 to 120 -4 , the resulting image is obtained. Of the characteristic parameters related to the complexity of the bit rate calculation unit 171 in the external control device 170.
Transfer to. The allocation bit rate calculation unit 171 includes the processors 1 of the divided image coding devices 120 -1 to 120 -4.
In 30 -i (i = 1 to 4), the bit rate to be assigned to each divided image encoding device is calculated during the period of encoding the (n + 1) th picture. The allocated bit rates are divided image coding devices 120 −1 to 120
-4 in each processor 130 -i (i = 1 to 4) (n
Before the encoding of the +2) th picture is started, the calculated allocation bit rate is transferred. Each of the processors 130 -i (i of the divided image coding devices 120 -1 to 120 -4
= 1 to 4), the (n + 2) th picture is encoded according to the transferred bit rate.

【0063】このような動作タイミングでは、(n+
2)番目のピクチャーの符号化時に割り振られているビ
ットレートは、n番目のピクチャーの画像の複雑さに関
する特徴パラメータによるものであり、2ピクチャの遅
れがある。仮に分割画像符号化装置120-1〜120-4
や外部制御装置の演算能力が十分あったとしても、n番
目のピクチャーの画像の複雑さに関する特徴パラメータ
が反映されるのは(n+1)番目のピクチャーであり、
1ピクチャの遅れが生じる。したがって、この遅れの間
に画像の複雑さに関する特徴パラメータに変化があって
も、ビットレートには正しく反映されない。しかしなが
ら、カメラ撮影などにより得られる画像では、画像の複
雑さに関する特徴パラメータが突然極端に変化すること
は少ないと考えられるので、図5を参照して述べたよう
に、n番目のピクチャーの画像の複雑さに関する特徴パ
ラメータに加え、それ以前のピクチャーの画像の複雑さ
に関する特徴パラメータから特徴パラメータの変化量を
観測し、(n+2)番目および(n+1)番目のピクチ
ャーにおける画像の複雑さに関する特徴パラメータを予
測し、より適したビットレートを割り振る。これによ
り、高画質の符号化を行うことが可能となる。
At such operation timing, (n +
The bit rate assigned when the 2) -th picture is encoded depends on the characteristic parameter relating to the image complexity of the n-th picture, and there is a delay of 2 pictures. Provisionally, the divided image coding devices 120 -1 to 120 -4
Even if the computing capacity of the external control device is sufficient, it is the (n + 1) th picture that reflects the characteristic parameter relating to the image complexity of the nth picture.
One picture delay occurs. Therefore, even if the characteristic parameter relating to the image complexity changes during this delay, it is not correctly reflected in the bit rate. However, in an image obtained by photographing with a camera or the like, it is considered that the characteristic parameter relating to the complexity of the image rarely changes suddenly extremely. Therefore, as described with reference to FIG. In addition to the feature parameter related to complexity, the amount of change of the feature parameter is observed from the feature parameter related to the complexity of the image of the previous picture, and the feature parameter related to the image complexity in the (n + 2) th and (n + 1) th pictures is determined. Predict and allocate a better bit rate. As a result, high quality encoding can be performed.

【0064】第1〜第4の分割画像符号化装置120-1
〜120-4においては、割り振りビットレート演算部1
71で指定した可変ビットレートで符号化が行なわれる
ため、各分割画像符号化装置A〜Dのバッファ150-1
〜150-4のデータ占有量は、図7のように変化する。
The first to fourth divided image coding devices 120 -1
~ 120 -4 , the allocation bit rate operation unit 1
Since the encoding is performed at the variable bit rate designated by 71, the buffer 150 -1 of each of the divided image encoding devices A to D
The data occupancy of 150 -4 changes as shown in FIG.

【0065】画像符号化装置101は、4つのビデオス
トリームをピクチャ単位で時分割に多重化して1つのビ
デオストリームとして伝送を行い、4つのビデオストリ
ームを単に並行して伝送しない。したがって、総和とし
てのバッファ占有量の変化は図8の図解のようになる。
The image coding apparatus 101 time-divisionally multiplexes four video streams and transmits them as one video stream, and does not simply transmit the four video streams in parallel. Therefore, the change in the buffer occupancy as the sum is as illustrated in FIG.

【0066】第1〜第4の分割画像符号化装置120-1
〜120-4内のプロセッサ130-1〜130-4は、VB
Vバッファの占有量に基づいた符号化処理を行う。
The first to fourth divided image coding devices 120 -1
~ 120 -4 processors 130 -1 to 130 -4 are VB
Encoding processing is performed based on the occupied amount of the V buffer.

【0067】第1〜第4の分割画像符号化装置120-1
〜120-4内の各バッファ150-iに記憶されたビデオ
ストリームは、割り振りビットレート演算部171によ
り割り振られたビットレートでビデオストリーム統合装
置160に出力され、ビデオストリーム統合装置160
において、1つのMPEG2−MP@HLのビデオスト
リームに合成される、すなわち、スライス単位で分解さ
れる。その結果、図3に示すようにA1,B1,A2,
B2,…,A34,B34,C1,D1,C2,D2,
…,C34,D34の順に並べ替えられて、ビデオスト
リーム統合装置160より出力される。
The first to fourth divided image coding devices 120 -1
The video streams stored in the respective buffers 150 -i in 120 to 120 −4 are output to the video stream integration device 160 at the bit rate allocated by the allocation bit rate operation unit 171, and the video stream integration device 160 is output.
In, the video stream is combined into one MPEG2-MP @ HL video stream, that is, decomposed in slice units. As a result, as shown in FIG. 3, A1, B1, A2,
B2, ..., A34, B34, C1, D1, C2, D2
, C34, D34 are rearranged in this order and output from the video stream integration device 160.

【0068】このようにして生成されたMPEG2ーM
P@HLのビデオストリームは、必要に応じて音声信号
と多重化された後、伝送路から伝送されたり、あるいは
図1に示すようなビデオテープ300のような記録媒体
に記録される。このように統合されたビデオストリーム
が伝送レートRの帯域を伝送される状況を図9に示す。
図3に示したように、各画像信号はライン方向に統合さ
れるので、図9の円内に示したような順序で伝送され
る。
The MPEG2-M generated in this way
The P @ HL video stream is multiplexed with an audio signal, if necessary, and then transmitted through a transmission path or recorded on a recording medium such as the video tape 300 shown in FIG. FIG. 9 shows a situation in which the video stream thus integrated is transmitted in the band of the transmission rate R.
As shown in FIG. 3, since the image signals are integrated in the line direction, they are transmitted in the order shown in the circle in FIG.

【0069】以上のように、本実施の形態によれば、第
1〜第4の分割画像符号化装置120-1〜120-4の各
プロセッサ130-i(i=1〜4)において画像の複雑
さに関する特徴パラメータを算出し、割り振りビットレ
ート演算部171において画像の複雑さに関する特徴パ
ラメータの時間的変化から、次に符号化を行うピクチャ
の画像の複雑さに関する特徴パラメータを予測し、それ
にふさわしいビットレートの割り振りを行い、第1〜第
4の分割画像符号化装置120-1〜120-4の各プロセ
ッサ130-i(i=1〜4)においてそのビットレート
で次の副画像信号(ピクチャー)の符号化を行うので、
時間遅れなく、高画質の符号化処理を行うことができ
る。
As described above, according to the present embodiment, image processing is performed in each processor 130 -i (i = 1 to 4) of each of the first to fourth divided image coding devices 120 -1 to 120 -4 . A feature parameter relating to complexity is calculated, and the allocation bit rate operation unit 171 predicts a feature parameter relating to image complexity of a picture to be encoded next from the temporal change of the feature parameter relating to image complexity, and is suitable for that. Bit rate allocation is performed, and in each processor 130 -i (i = 1 to 4) of the first to fourth divided image coding devices 120 -1 to 120 -4 , the next sub-image signal (picture ) Is encoded, so
High-quality encoding processing can be performed without time delay.

【0070】なお、通常、テレビジョン画像信号には音
声信号も付随している。音声信号の符号化は上述した画
像信号の符号化処理とは異なる装置で符号化が行われ、
符号化して画像信号とともに、たとえば、ビデオテープ
などに記録される。
Note that a television image signal is usually accompanied by an audio signal. Audio signal encoding is performed by a device different from the above-described image signal encoding process,
It is encoded and recorded together with the image signal on, for example, a video tape.

【0071】第1の実施の形態の画像復号化装置につい
て説明する。図10は第1実施の形態の画像復号化装置
201の構成を示すブロック図である。画像復号化装置
201は、ビデオストリーム分離装置210、第1〜第
4の分割画像復号化装置220-1〜220-4、画像合成
装置260および制御装置270を有する。画像復号化
装置201は、図1に図解した画像符号化装置101で
行う符号化処理と逆の復号処理を行うので、画像復号化
装置201の構成は、基本的に、画像符号化装置101
と逆の構成をとり、逆の処理を行う。
The image decoding apparatus of the first embodiment will be described. FIG. 10 is a block diagram showing the configuration of the image decoding apparatus 201 according to the first embodiment. The image decoding device 201 includes a video stream separation device 210, first to fourth divided image decoding devices 220 -1 to 220 -4 , an image synthesizing device 260, and a control device 270. Since the image decoding device 201 performs a decoding process that is the reverse of the encoding process performed by the image encoding device 101 illustrated in FIG. 1, the configuration of the image decoding device 201 is basically the same as the image encoding device 101.
The configuration is reversed and the reverse processing is performed.

【0072】なお、好適な本実施の形態の画像復号化装
置201は、上述した画像符号化装置101において、
HDTV信号のように、大量の画像信号を符号化する場
合に好適な実施の形態を示しており、そのような場合に
は、1フレームのHDTV信号を1つの符号化手段が行
うと、符号化処理に非常に時間がかかり、実時間で符号
化処理を実現することが困難になることから、画像信号
をN個に分割した副画像信号を符号化する場合について
例示したので、そのように符号化された画像信号を復号
する場合について述べる。ただし、本発明は、原理的に
は、符号化画像信号を分割することなく、復号化でき
る。以下、符号化画像信号をN個に分割して復号処理を
行う場合について述べる。本実施の形態では、複数の分
割を示す数Nは4である。
The image decoding apparatus 201 according to the preferred embodiment is the same as the image coding apparatus 101 described above.
A preferred embodiment is shown in the case of encoding a large amount of image signals such as an HDTV signal. In such a case, when one frame of the HDTV signal is encoded by one encoding means, the encoding is performed. Since it takes a very long time to process and it becomes difficult to realize the encoding process in real time, the case of encoding the sub-image signal obtained by dividing the image signal into N pieces has been exemplified. The case of decoding the converted image signal will be described. However, in principle, the present invention can be decoded without dividing the encoded image signal. Hereinafter, a case where the coded image signal is divided into N pieces and the decoding processing is performed will be described. In the present embodiment, the number N indicating a plurality of divisions is 4.

【0073】ビデオストリーム分離装置210は、たと
えば、図1に図解した画像符号化装置101で符号化さ
れビデオテープ300に記録されたビデオストリームを
読みだす。必要に応じて、図示しない装置によって音声
信号も符号化され、ビデオストリームとともに、ビデオ
テープ300に記録されていてもよい。ただし、本発明
の主題は画像信号の符号化および復号化なので、音声信
号については言及しない。ビデオストリーム分離装置2
10は、ビデオテープ300から読みだした、1つのM
PEG2−MP@HLのビデオストリームを、4つのM
PEG2−MP@MLのビデオストリームに分離し、第
1〜第4の分割画像復号化装置220-1〜220-4に出
力する。ビデオストリーム分離装置210は、基本的に
は1つのMPEG2−MP@HLのビデオストリームを
スライス単位で分解し、それらを4つに分配し、再構成
することにより、4つのMPEG2−MP@MLのビデ
オストリームを得る。スライス単位より上位のシーケン
ス、GOP、ピクチャレベルのヘッダデータ、拡張デー
タ、ユーザデータについては共通なので、4つに同じビ
デオストリームを用いる。
The video stream separation device 210 reads out the video stream coded by the image coding device 101 illustrated in FIG. 1 and recorded on the video tape 300, for example. If necessary, an audio signal may also be encoded by a device (not shown) and recorded on the video tape 300 together with the video stream. However, since the subject of the present invention is the encoding and decoding of image signals, audio signals are not mentioned. Video stream separation device 2
10 is one M read from the video tape 300.
4 PEG2-MP @ HL video streams
It is separated into PEG2-MP @ ML video streams and output to the first to fourth divided image decoding apparatuses 220 -1 to 220 -4 . The video stream separation device 210 basically decomposes one MPEG2-MP @ HL video stream in slice units, distributes them into four, and reconstructs them to thereby reconstruct the four MPEG2-MP @ ML. Get the video stream. Since the sequence higher than the slice unit, GOP, picture level header data, extension data, and user data are common, the same video stream is used for four.

【0074】より具体的に述べると、ビデオストリーム
分離装置210は、入力されるビデオストリームにシー
ケンス・スタートコードがあらわれると、シーケンス・
スタートコードから最初のスライス・スタートコードが
あらわれるまでの入力ビデオストリームを、第1〜第4
の分割画像復号化装置220-1〜220-4の4つ全てに
出力する。同時に、4つのMPEG2−MP@MLのビ
デオストリームとするために書き換えが必要となるパラ
メータ、たとえば水平画像サイズ、垂直画像サイズ、ア
スペクト比情報、VBVバッファサイズ、VBVディレ
イについて、制御装置270からの指示に基づいて書き
換える。
More specifically, when the sequence start code appears in the input video stream, the video stream separation device 210 performs the sequence
The input video stream from the start code until the first slice start code appears
The divided image decoding devices 220 -1 to 220 -4 are output to all four. At the same time, an instruction from the control device 270 is issued regarding parameters that need to be rewritten to form four MPEG2-MP @ ML video streams, such as horizontal image size, vertical image size, aspect ratio information, VBV buffer size, and VBV delay. Rewrite based on.

【0075】VBVディレイについては符号化時の値は
得られないが、一般的なデコーダでは、この値を“0x
FFFF“とすることで復号可能である。水平画像サイ
ズと垂直画像サイズについては、入力されるビデオスト
リームから4組各々を求めてもよいが、複雑な演算が必
要となるため、システム全体で固定値とするかなんらか
の方法で制御装置270から通知するのが望ましい。ビ
ットレートも符号化時の値は得られないが、本来のビッ
トレートの値より大きな値にしておけば、一般的なデコ
ーダでは復号可能であるので、入力されたまま書き換え
ずに出力する。ビデオストリームに書かれているビット
レートの値は、MP@MLの最大ビットレートより大き
いことがあるが、実際のビットレートの値は、最大ビッ
トレート以下なので(エンコード時にそのようにエンコ
ードしているので)問題はない。仮に、デコーダがうま
くデコードできない場合は、ビットレートの値をMP@
MLの最大ビットレートに書き換えればよい。
A value at the time of encoding cannot be obtained for the VBV delay, but this value is "0x" in a general decoder.
Decoding is possible by setting FFFF ". Regarding the horizontal image size and vertical image size, four sets may be obtained from the input video stream, but since complicated calculations are required, it is fixed for the entire system. It is desirable to use a value or to notify it from the control device 270 in some way.The bit rate cannot be obtained at the time of encoding, but if it is set to a value larger than the original bit rate, a general decoder can use it. Since it can be decoded, it is output as it is without being rewritten.The bit rate value written in the video stream may be larger than the maximum bit rate of MP @ ML, but the actual bit rate value is , It is less than the maximum bit rate (because it is encoded that way when encoding). If the value of the bit rate MP @
It may be rewritten to the maximum bit rate of ML.

【0076】スライス・スタートコード以降のビデオス
トリームは、スライス単位で分解し、分解されたスライ
ス単位のビデオストリームを、第1〜第4の分割画像復
号化装置220-1〜220-4に分配し出力する。分解さ
れたスライス単位のビデオストリームは、図3に示した
ように、A1,B1,A2,B2,….A34,B3
4,C1,D1,C2,D2,…,C34,D34の順
に並んでいる。したがって、第1の分割画像復号化装置
220-1(分割画像復号化装置A)に対してはA1,A
2,…,A34、第2の分割画像復号化装置220
-2(分割画像復号化装置B)に対してはB1,B2,
…,B34、第3の分割画像復号化装置220-3(分割
画像復号化装置C)に対してはC1,C2,…,C3
4、第4の分割画像復号化装置220-4(分割画像復号
化装置D)に対してはD1,D2,…,D34の順で出
力する。
The video stream after the slice start code is decomposed in slice units, and the decomposed video stream in slice units is distributed to the first to fourth divided image decoding devices 220 -1 to 220 -4. Output. As shown in FIG. 3, the decomposed video streams of slice units are A1, B1, A2, B2 ,. A34, B3
4, C1, D1, C2, D2, ..., C34, D34 are arranged in this order. Therefore, for the first divided image decoding device 220 -1 (divided image decoding device A), A1, A
2, ..., A34, second divided image decoding device 220
-2 (divided image decoding device B), B1, B2
, B34, C1, C2, ..., C3 for the third divided image decoding device 220 -3 (divided image decoding device C)
4, D4 is output to the fourth divided image decoding device 220 -4 (divided image decoding device D) in the order of D1, D2, ..., D34.

【0077】このとき、スライスの垂直位置情報をあら
わすスライスヘッダの値を、必要に応じて正しい値に書
き換える。またスライスの最初のマクロブロックにおけ
る水平位置情報をあらわすマクロブロック・アドレス・
インクリメントも必要に応じて正しい値に書き換える。
ビデオストリーム分離装置210は、スライスD34の
ビデオストリームを出力後、シーケンスエンドコードが
入力された場合は、第1〜第4の分割画像復号化装置2
20-1〜220-4全てに対しシーケンスエンドコードを
出力し、分離を終了するか、あるいは次のシーケンスス
タートコードの入力を待つ。シーケンスエンドコードが
出力されない場合は、次のピクチャスタートコード、あ
るいはグループスタートコード(GOPの開始コード)
が出力されるので、ビデオストリーム分離装置210は
上記同様の処理を繰り返す。
At this time, the value of the slice header indicating the vertical position information of the slice is rewritten to a correct value as necessary. Also, the macroblock address, which represents the horizontal position information in the first macroblock of the slice,
The increment is also rewritten to the correct value if necessary.
If the sequence end code is input after the video stream of the slice D34 is output, the video stream separation device 210 outputs the first to fourth divided image decoding devices 2
The sequence end code is output to all 20 -1 to 220 -4 and the separation is completed or the next sequence start code is waited for. If the sequence end code is not output, the next picture start code or group start code (GOP start code)
Is output, the video stream separation device 210 repeats the same processing as above.

【0078】第1〜第4の分割画像復号化装置220-1
〜220-4は、各々入力されるビットストリームをバッ
ファリングし、順次復号化し、画面合成装置260に出
力する。各分割画像復号化装置220-i(i=1〜4)
は、バッファ230-iおよびプロセッサ240-iを有す
る。バッファ230-iは、入力される符号化ビデオスト
リームを一時的に記憶しておくバッファであり、バッフ
ァ230-iからプロセッサ240-iより復号化に必要な
量のデータが復号化を行うタイミングでピクチャ単位で
実質的に瞬時に読み出される。
The first to fourth divided image decoding devices 220 -1
220 -4 buffer the input bitstreams, sequentially decode them, and output them to the screen synthesizing device 260. Each divided image decoding device 220 -i (i = 1 to 4)
Has a buffer 230 -i and a processor 240 -i . The buffer 230 -i is a buffer for temporarily storing the input coded video stream, and is a timing at which the amount of data required for decoding is decoded from the buffer 230 -i to the processor 240 -i. Substantially instantaneous reading is performed in picture units.

【0079】プロセッサ240-iは、MPEG2−MP
@MLのデコーダであり、入力される符号化ビデオスト
リームをMPEG2により復号化する。たとえば前述し
た実施の形態の画像符号化装置101で符号化されたビ
デオストリームであれば、このデコードにより、輝度信
号が横720画素×縦544ライン、4:2:0形式で
フレームレートが30フレーム/秒のインターレース信
号が復元され出力される。
The processor 240 -i is an MPEG2-MP
The @ML decoder decodes the input coded video stream by MPEG2. For example, in the case of a video stream encoded by the image encoding device 101 according to the above-described embodiment, this decoding causes the luminance signal to be 720 horizontal pixels × 544 vertical lines in a 4: 2: 0 format with a frame rate of 30 frames. / Sec interlace signal is restored and output.

【0080】画像合成装置260は、第1〜第4の分割
画像復号化装置220-1〜220-4から出力される4つ
の動画像信号を1つの動画像信号に合成し、元の動画像
信号を復元して出力する。具体的に述べると、画像合成
装置260は、第1〜第4の分割画像復号化装置220
-1〜220-4から出力される4つの動画像信号を合成す
る。その結果、輝度信号のサイズが横1440画素×縦
1088ラインで、色差信号のサイズが横720画素×
縦544ラインで、4:2:0形式で30フレーム/秒
の動画像信号が得られる。
The image synthesizing device 260 synthesizes the four moving image signals output from the first to fourth divided image decoding devices 220 -1 to 220 -4 into one moving image signal to generate the original moving image. The signal is restored and output. Specifically, the image synthesizing device 260 includes the first to fourth divided image decoding devices 220.
The four moving image signals output from -1 to 220 -4 are combined. As a result, the size of the luminance signal is 1440 pixels horizontally × 1088 lines vertically, and the size of the color difference signal is 720 pixels horizontally ×
With 544 lines in the vertical direction, a moving image signal of 30 frames / second can be obtained in the 4: 2: 0 format.

【0081】画像合成装置260は、図2に示したよう
に画像符号化装置101の画像分割装置110において
付けられた画面下部のダミーデータを取り除き、輝度信
号はサイズが横1440画素×縦1080ライン、色差
信号はサイズが横720画素×縦540ラインとする。
次に画像合成装置260は、画像符号化装置101の画
像分割装置110で施されたフィルタ処理の逆処理を行
い、横方向のサイズが大きくなる。輝度信号はサイズが
横1920画素×縦1080ライン、色差信号はサイズ
が横960画素×縦540ラインとなる。このようにし
て生成された動画像信号は、画像復号化装置201より
出力され、たとえばビデオモニタなどで表示される。
The image synthesizing device 260 removes the dummy data at the bottom of the screen attached in the image dividing device 110 of the image encoding device 101 as shown in FIG. 2, and the luminance signal has a size of 1440 horizontal pixels × 1080 vertical lines. The size of the color difference signal is 720 pixels horizontally × 540 lines vertically.
Next, the image synthesizing device 260 performs the reverse process of the filtering process performed by the image dividing device 110 of the image encoding device 101, and the size in the horizontal direction increases. The size of the luminance signal is 1920 pixels horizontally × 1080 lines vertically, and the size of the color difference signal is 960 pixels horizontally × 540 lines vertically. The moving image signal thus generated is output from the image decoding device 201 and displayed on, for example, a video monitor.

【0082】画像復号化装置201の全体的な動作につ
いて説明する。画像復号化装置201に、伝送路より受
信され、あるいは図10に示すようなビデオテープ30
0などの記録媒体から再生されて入力されたMPEG2
−MP@HLのビデオストリームは、必要に応じて音声
信号が分離された後、ビデオストリーム分離装置210
に入力される。画像復号化装置201に入力された1つ
のビデオストリームは、4つのMPEG2−MP@ML
のビデオストリームに分離され、第1〜第4の分割画像
復号化装置220-1〜220-4に入力される。すなわ
ち、1つのMPEG2−MP@HLのビデオストリーム
をスライス単位で分解し、それらを4つに分配し再構成
することにより、4つのMPEG2−MP@MLのビデ
オストリームを得る。
The overall operation of the image decoding apparatus 201 will be described. The video decoding device 201 receives the video tape 30 from the transmission line or as shown in FIG.
MPEG2 reproduced and input from a recording medium such as 0
In the MP @ HL video stream, after the audio signal is separated as necessary, the video stream separation device 210
Entered in. One video stream input to the image decoding device 201 is four MPEG2-MP @ ML.
Of the video stream and are input to the first to fourth divided image decoding devices 220 -1 to 220 -4 . That is, one MPEG2-MP @ HL video stream is decomposed in slice units, and these are divided into four to be reconstructed to obtain four MPEG2-MP @ ML video streams.

【0083】ビデオストリームの分離処理をさらに詳し
く述べると、ビデオストリーム分離装置210は、入力
されるビデオストリームにシーケンススタートコードが
あらわれると、シーケンススタートコードから最初のス
ライススタートコードがあらわれるまでの入力ビデオス
トリームを、第1〜第4の分割画像復号化装置220 -1
〜220-4の全てに出力する。また同時に、4つのMP
EG2−MP@MLのビデオストリームとするために書
き換えが必要となるパラメータ、たとえば水平画像サイ
ズ、垂直画像サイズ、アスペクト比情報、VBVバッフ
ァサイズ、VBVディレイなどを、制御装置270から
の指示に従い書き換える。
The video stream separation processing will be described in more detail.
In short, the video stream separation device 210 is
Sequence start code in the video stream
When it appears, the first start
Input video until the rice start code appears
The stream is divided into first to fourth divided image decoding devices 220. -1
~ 220-FourOutput to all of. At the same time, 4 MP
It is written to make it a video stream of EG2-MP @ ML.
Parameters that need to be changed, such as the horizontal image size
, Vertical image size, aspect ratio information, VBV buffer
From the controller 270.
Rewrite according to the instructions.

【0084】スライススタートコードがあらわれたら、
以降のビデオストリームは、スライス単位で分解し、第
1の分割画像復号化装置220-1に対してはA1,A
2,…,A34、第2の分割画像復号化装置220-2
対してはB1,B2,…,B34、第3の分割画像復号
化装置220-3に対してはC1,C2,…,C34、そ
して第4の分割画像復号化装置220-4に対してはD
1,D2,…,D34の順で出力する。
When the slice start code appears,
Subsequent video streams are decomposed in slice units, and A1 and A are given to the first divided image decoding device 220 -1 .
2, ..., A34, B1, B2, ..., B34 for the second divided image decoding device 220 -2 , and C1, C2, ..., for the third divided image decoding device 220 -3 . C34, and D for the fourth split image decoding device 220 -4
, D2, ..., D34 are output in this order.

【0085】第1〜第4の分割画像復号化装置220-1
〜220-4に入力された各MPEG2−MP@MLのビ
デオストリームは、一旦各バッファ230-i(i=1〜
4)に記憶された後、プロセッサ240-iに読み出され
て復号化される。その結果、輝度信号が横720面素×
縦544ライン、4:2:0形式でフレームレートが3
0フレーム/秒のインターレース信号が出力される。
The first to fourth divided image decoding devices 220 -1
To 220 -4 , the MPEG2-MP @ ML video streams are once input to the buffers 230 -i (i = 1 to 1).
4) and then read by the processor 240 -i and decoded. As a result, the luminance signal is 720 horizontal pixels ×
Vertical 544 lines, 4: 2: 0 format and frame rate 3
An interlace signal of 0 frame / second is output.

【0086】第1〜第4の分割画像復号化装置220-1
〜220-4から出力される4つの動画像信号は、すべて
画像合成装置260に入力され、まず、1つの動画像信
号に合成される。すなわち、輝度信号が横1440画素
×縦1088ライン、色差信号が横720画素×縦54
4ラインで、4:2:0形式30フレーム/秒の合成画
像が生成される。次に、画面下部のダミーデータが取り
除かれ、輝度信号が横1440画素×縦1080ライ
ン、色差信号が横720画素×縦540ラインとされた
後、画像符号化装置101の画像分割装置110で施さ
れたフィルタ処理の逆処理が行われ、輝度信号が192
0画素×縦1080ライン、色差信号が横960画素×
縦540ラインに変換される。このようにして生成され
た動画像信号は、画面合成装置260から出力され、た
とえばビデオモニタに入力されて表示される。
The first to fourth divided image decoding devices 220 -1
All of the four moving image signals output from -220 -4 are input to the image synthesizing device 260 and are first synthesized into one moving image signal. That is, the luminance signal is 1440 horizontal pixels × 1088 vertical lines, and the color difference signal is 720 horizontal pixels × 54 vertical pixels.
With 4 lines, a composite image of 4: 2: 0 format 30 frames / sec is generated. Next, the dummy data at the bottom of the screen is removed, the luminance signal is set to 1440 horizontal pixels × 1080 vertical lines, and the color difference signal is set to 720 horizontal pixels × 540 vertical lines, and then the image division device 110 of the image encoding device 101 performs the processing. The inverse processing of the filtered processing performed is performed, and the luminance signal is set to 192
0 pixels × 1080 lines vertically, color difference signal is 960 pixels horizontally ×
Converted to vertical 540 lines. The moving image signal generated in this manner is output from the screen synthesizing device 260 and input to, for example, a video monitor to be displayed.

【0087】このように、本実施の形態の画像符号化装
置101および画像復号化装置201においては、図2
のように画面を4分割し、それぞれを別個の符号化装置
で符号化し、復号化装置で復号化している。その際、全
体で一定ビットレートであっても、符号化装置では絵柄
や動き、あるいは、画像の複雑さに応じて可変ビットレ
ートで符号化している。したがって、画像の複雑さとか
画面の位置により絵柄や動きが大きく異なる場合などで
も、高画質の画像が得られる。
As described above, in the image coding apparatus 101 and the image decoding apparatus 201 according to the present embodiment, FIG.
As described above, the screen is divided into four parts, each of which is encoded by a separate encoding device and then decoded by the decoding device. At that time, even if the bit rate is constant as a whole, the encoding apparatus encodes at a variable bit rate according to the picture, the movement, or the complexity of the image. Therefore, a high-quality image can be obtained even when the design or movement greatly differs depending on the complexity of the image or the position of the screen.

【0088】本発明の画像符号化装置、画像復号化装置
およびこれらの方法を実施するに際しては、上述した実
施の形態に限定されず種々の変形態様をとることができ
る。
When carrying out the image coding apparatus, the image decoding apparatus, and these methods of the present invention, various modifications can be made without being limited to the above-mentioned embodiments.

【0089】たとえば、上述した符号化および復号化方
式として例示したMPEG2は例示に過ぎない。符号化
および復号化する画像信号の種類、符号化の程度などに
応じて、現存するあるいは将来考案される適切な符号化
方式および復号化方式をとることができる。
For example, MPEG2 exemplified as the above-mentioned encoding and decoding system is merely an example. Depending on the type of image signal to be encoded and decoded, the degree of encoding, etc., an appropriate encoding method and decoding method existing or devised in the future can be adopted.

【0090】上述した実施の形態においは符号化の対象
となる画像信号として、テレビジョン画像信号、特に、
HDTV信号を例示したが、本発明の実施に際しては、
HDTV信号はもちろん、テレビジョン信号に限定され
ず、種々の画像信号について適用できる。
In the above-described embodiment, the image signal to be encoded is a television image signal, particularly,
Although an HDTV signal has been illustrated, in implementing the present invention,
The present invention is not limited to the HDTV signal and the television signal, but can be applied to various image signals.

【0091】上述したように、画像符号化装置における
画像信号の分割および統合を行う必要はあるが、画像復
号化装置における符号化画像信号の分割および統合は本
発明の実施に際して必須ではない。なお、分割数は符号
化する画像信号の大きさ、画像符号化装置および画像復
号化装置の装置規模、処理速度に応じて、適切に決定す
る。
As described above, it is necessary to divide and integrate the image signals in the image coding apparatus, but the division and integration of the coded image signals in the image decoding apparatus are not essential for implementing the present invention. The number of divisions is appropriately determined according to the size of the image signal to be encoded, the device scale of the image encoding device and the image decoding device, and the processing speed.

【0092】[0092]

【発明の効果】本発明の画像符号化装置および画像符号
化方法によれば、画像の複雑さに関する特徴パラメータ
を算出し、画像の複雑さに関する特徴パラメータの時間
的変化から次に符号化を行うピクチャの画像の複雑さに
関する特徴パラメータを予測し、それにふさわしいビッ
トレートの割り振りを行い、そのビットレートで次の画
像信号(ピクチャー)の符号化を行うので、時間遅れな
く、高画質の符号化処理を行うことができる。
According to the image coding apparatus and the image coding method of the present invention, the characteristic parameter relating to the image complexity is calculated, and the coding is performed next from the temporal change of the characteristic parameter relating to the image complexity. It predicts the characteristic parameter related to the complexity of the picture image, allocates the bit rate suitable for it, and encodes the next image signal (picture) at that bit rate. It can be performed.

【0093】本発明の画像復号化装置および画像復号化
方法によれば、上記方法で符号化された画像信号を復号
するので、時間遅れなく、高画質の復号処理を行うこと
ができる。
According to the image decoding apparatus and the image decoding method of the present invention, since the image signal coded by the above method is decoded, it is possible to perform a high quality decoding process without a time delay.

【図面の簡単な説明】[Brief description of drawings]

【図1】図1は本発明の第1の実施の形態の画像符号化
装置の構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of an image coding apparatus according to a first embodiment of the present invention.

【図2】図2は図1に示した画像符号化装置で符号化さ
れる画像信号、HDTV映像信号の構成とその分割分割
方法を図解したグラフである。
FIG. 2 is a graph illustrating a configuration of an image signal and an HDTV video signal encoded by the image encoding device shown in FIG. 1 and a division / division method thereof.

【図3】図3は図1の画像符号化装置においてスライス
単位で分解されたビデオストリームの並びを図解した図
である。
FIG. 3 is a diagram illustrating the arrangement of video streams decomposed into slices in the image encoding device in FIG. 1.

【図4】図4は、図1に図解した割り振りビットレート
演算部におけるn番目のピクチャまでの符号化結果か
ら、特徴パラメータXi,n の時間的変化から分割画像符
号化装置内のプロセッサで符号化を行うピクチャでの複
雑さに関する特徴パラメータXi,n を予測し、n+2番
目のピクチャの複雑さに関する特徴パラメータXi,n の
予測の様子を表すグラフである。
FIG. 4 is a diagram showing the results of encoding up to the n-th picture in the allocation bit rate operation unit illustrated in FIG. 1, based on the temporal change of the characteristic parameter Xi, n, which is encoded by the processor in the divided image encoding device. 7 is a graph showing a state of predicting a feature parameter Xi, n related to complexity in a picture to be converted and predicting a feature parameter Xi, n related to complexity of an (n + 2) th picture.

【図5】図5は図1に図解した画像符号化装置として転
送能力、処理能力が十分ある場合の、n番目のピクチャ
までの符号化結果から(n+1)番目のピクチャの複雑
さに関する特徴パラメータを予測する様子を表したグラ
フである。
FIG. 5 is a characteristic parameter regarding the complexity of the (n + 1) th picture from the coding result up to the nth picture when the image coding apparatus illustrated in FIG. 1 has sufficient transfer capacity and processing capacity. It is a graph showing how to predict.

【図6】図6は図1に図解した分割画像符号化装置内の
各プロセッサから出力される特徴パラメータXiと、割
り振りビットレート演算部において特徴パラメータXi
を入力して特徴パラメータを予測し、予測した特徴パラ
メータを用いて、ビットレートの割り振り計算を行い、
各プロセッサに出力するタイミングを示すグラフであ
る。
FIG. 6 is a characteristic parameter Xi output from each processor in the divided image encoding device illustrated in FIG. 1 and a characteristic parameter Xi in an allocation bit rate calculation unit.
To predict the characteristic parameter, and using the predicted characteristic parameter, perform bit rate allocation calculation,
It is a graph which shows the timing output to each processor.

【図7】図7は図1に示した画像符号化装置の4個の分
割画像符号化装置の各バッファのデータ占有量の例を示
す図である。
7 is a diagram showing an example of the data occupancy of each buffer of the four divided image encoding devices of the image encoding device shown in FIG. 1.

【図8】図8は図7に示した各バッファの総和としての
データ占有量を示す図である。
8 is a diagram showing a data occupancy amount as a total sum of the buffers shown in FIG. 7;

【図9】図9は図1に示した画像符号化装置のビデオス
トリーム統合装置で統合されたビデオストリームが所定
の伝送レートの帯域を伝送される状況を示す図である。
9 is a diagram showing a situation in which a video stream integrated by the video stream integration device of the image encoding device shown in FIG. 1 is transmitted in a band of a predetermined transmission rate.

【図10】図10は本発明の第1の実施の形態の画像復
号化装置の構成を示すブロック図である。
FIG. 10 is a block diagram showing a configuration of an image decoding apparatus according to the first embodiment of the present invention.

【符号の説明】[Explanation of symbols]

101…画像符号化装置、110…画像分割装置、12
0…分割画像符号化装置、130…プロセッサ、150
…バッファ、160…ビデオストリーム統合装置、17
0…制御装置、171…割り振りビットレート演算部、
172…制御部、201…画像復号化装置、210…ビ
デオストリーム分離装置、220…分割画像復号化装
置、230…バッファ、240…プロセッサ、260…
画像合成装置、270…制御装置
101 ... Image encoding device, 110 ... Image dividing device, 12
0 ... Division image coding device, 130 ... Processor, 150
... buffer, 160 ... video stream integration device, 17
0 ... Control device, 171 ... Allocation bit rate calculation unit,
172 ... Control unit, 201 ... Image decoding device, 210 ... Video stream separation device, 220 ... Divided image decoding device, 230 ... Buffer, 240 ... Processor, 260 ...
Image synthesizer 270 ... Control device

Claims (22)

【特許請求の範囲】[Claims] 【請求項1】二次元状の画像信号をN個の二次元状副画
像信号に分割する画像信号分割手段と、 前記N個に分割された複数の二次元状副画像信号をそれ
ぞれ指定されたビットレートで符号化する、N個の符号
化手段と、 該符号化した結果から前記副画像信号の画像の複雑さを
示す特徴パラメータを算出する、特徴パラメータ算出手
段と、 該算出したN個の特徴パラメータから前記N個の符号化
手段の各々において使用するビットレートを割り振る、
割り振りビットレート演算手段と、 前記N個の符号化手段で符号化されたN個の副画像信号
を統合する符号化画像信号統合手段とを具備し、 前記N個の符号化手段はそれぞれ、前記割り振りビット
レート演算手段で算出したビットレートに従って次の分
割された二次元状副画像信号を符号化し、 前記特徴パラメータ算出手段は、該符号化した結果から
二次元状副画像信号それぞれの画像の複雑さを示す特徴
パラメータを算出する、 画像符号化装置。
1. An image signal dividing means for dividing a two-dimensional image signal into N two-dimensional sub-image signals, and a plurality of the two-dimensional N-divided sub-image signals are designated respectively. N encoding means for encoding at a bit rate, characteristic parameter calculating means for calculating a characteristic parameter indicating the complexity of the image of the sub-image signal from the encoded result, and the N calculated Allocating a bit rate to be used in each of the N encoding means from the characteristic parameter,
And a coded image signal unifying unit for unifying the N sub-image signals coded by the N coding units, wherein each of the N coding units includes: The next divided two-dimensional sub-image signal is encoded according to the bit rate calculated by the allocation bit rate calculation means, and the characteristic parameter calculation means calculates the complexity of each image of the two-dimensional sub-image signal from the encoded result. An image encoding apparatus that calculates a characteristic parameter indicating the degree.
【請求項2】前記符号化手段は、前記画像の複雑さを示
す特徴パラメータXi,n (i=1,・・,Nであり、n
はn番目のフレームを示す)を下記式に基づいて算出す
る、請求項1記載の画像符号化装置。 【数1】Xi,n =Si,n ×Qi,n ただし、Si,n は副画像信号iのnフレームの発生符号
ビット量であり、 Qi,n は副画像信号iのnフレームの平均量子化スケー
ルである。
2. The encoding means is a characteristic parameter Xi, n (i = 1, ..., N, which indicates the complexity of the image, and n
Is the n-th frame) is calculated based on the following equation. ## EQU1 ## Xi, n = Si, n × Qi, n where Si, n is the generated code bit amount of n frames of the sub-image signal i, and Qi, n is the average quantum of n frames of the sub-image signal i. It is a scale.
【請求項3】前記符号化手段は、前記画像の複雑さを示
す特徴パラメータXi,n (i=1,・・,Nであり、n
はn番目のフレームを示す)を下記式に基づいて算出す
る、請求項1記載の画像符号化装置。 【数2】Xi,n =Σ(Si,j×Qi,k) ただし、Si,j は副画像信号iのj フレームメごとの発
生符号ビット量であり(j=n-l,・・・,n-1,n) Qi,k は、副画像信号iのk フレームごとの平均量子化
スケールである(k=n-m,・・・,n-1,n) 。
3. The encoding means is a characteristic parameter Xi, n (i = 1, ..., N, which indicates the complexity of the image, and n
Is the n-th frame) is calculated based on the following equation. ## EQU00002 ## Xi, n = .SIGMA. (Si, j.times.Qi, k) where Si, j is the generated code bit amount for each j frame of the sub-image signal i (j = nl, ..., n). -1, n) Qi, k is an average quantization scale for each k frame of the sub-image signal i (k = nm, ..., N-1, n).
【請求項4】前記符号化手段は、前記画像の複雑さを示
す特徴パラメータXi,n (i=1,・・,Nであり、n
はn番目のフレームを示す)を下記式に基づいて算出す
る、請求項1記載の画像符号化装置。 【数3】Xi,n =Σ(Si,j ×Qi,k )/(N−1) ただし、Si,j は副画像信号iのj フレームメの発生符
号ビット量であり(j=n-l,・・・,n-1,n) Qi,k は副画像信号iのk フレームの平均量子化スケー
ルである(k=n-m,・・・,n-1,n) 。
4. The encoding means is a characteristic parameter Xi, n (i = 1, ..., N, which indicates the complexity of the image, and n
Is the n-th frame) is calculated based on the following equation. ## EQU3 ## Xi, n = .SIGMA. (Si, j * Qi, k) / (N-1) where Si, j is the generated code bit amount of the j-frame image of the sub-image signal i (j = nl, ..., n-1, n) Qi, k is an average quantization scale of k frames of the sub-image signal i (k = nm, ..., n-1, n).
【請求項5】前記割り振りビットレート演算手段は、 前記特徴パラメータの時間的変化から次に符号化を行う
副画像信号の画像の複雑さに関する特徴パラメータの予
測値を算出し、 算出した予測特徴パラメータから前記割り振りビットレ
ートを算出する、 請求項1〜4いずれか記載の画像符号化装置。
5. The allocated bit rate calculation means calculates a predicted value of a characteristic parameter relating to the complexity of an image of a sub-image signal to be encoded next from the temporal change of the characteristic parameter, and the calculated predicted characteristic parameter The image coding apparatus according to claim 1, wherein the allocated bit rate is calculated from
【請求項6】前記割り振りビットレート演算手段は、
(n+2)番目のフレームの特徴パラメータの予測値
(X’i,n+2 )を下記式で求める、 請求項5記載の画像符号化装置。 【数4】 X’i,n+2 =(Xi,n )+2×〔(Xi,n −Xi,n-1 )〕 =3×(Xi ,n-2)−2×(Xi,n-1 ) ただし、Xi,n はn番目のフレームの副画像信号iの特
徴パラメータであり、 Xi,n-1 は(n-1)番目のフレームの副画像信号iの特
徴パラメータである。
6. The allocation bit rate calculation means,
The image coding apparatus according to claim 5, wherein the predicted value (X'i, n + 2) of the feature parameter of the (n + 2) th frame is obtained by the following formula. ## EQU00004 ## X'i, n + 2 = (Xi, n) +2 * [(Xi, n-Xi, n-1)] = 3 * (Xi, n-2) -2 * (Xi, n- 1) where Xi, n is a characteristic parameter of the sub-image signal i of the nth frame, and Xi, n-1 is a characteristic parameter of the sub-image signal i of the (n-1) th frame.
【請求項7】前記割り振りビットレート演算手段は、
(n+1)番目のフレームの特徴パラメータの予測値
(X’i,n+1 ) を下記式で求める、請求項5記載の画像
符号化装置。 【数5】X’i,n+1 =Xi,n +(Xi,n −Xi,n-1 ) =2×(Xi,n )−(Xi,n-1 ) ただし、Xi,n はn番目のフレームの副画像信号iの特
徴パラメータであり、 Xi,n-1 は(n-1) 番目のフレームの副画像信号iの特
徴パラメータである。
7. The allocation bit rate calculating means,
The image coding apparatus according to claim 5, wherein the predicted value (X'i, n + 1) of the characteristic parameter of the (n + 1) th frame is obtained by the following formula. X'i, n + 1 = Xi, n + (Xi, n-Xi, n-1) = 2 * (Xi, n)-(Xi, n-1) where Xi, n is n Xi, n-1 is a feature parameter of the sub-image signal i of the (n-1) th frame.
【請求項8】前記割り振りビットレート演算手段は、前
記画像の複雑さに関する予測特徴パラメータ(X’i,n+
1 )からのビットレートRの割り振りを、下記式に基づ
いて算出する、 請求項6または7記載の画像符号化装置。 【数6】 Ri,n+1 =R×(X’i,n+1 )/Σ(X’i,n+1 )
8. The allocated bit rate calculating means is a prediction feature parameter (X'i, n +) relating to the complexity of the image.
The image coding device according to claim 6 or 7, wherein the allocation of the bit rate R from 1) is calculated based on the following formula. ## EQU00006 ## Ri, n + 1 = R.times. (X'i, n + 1) /. SIGMA. (X'i, n + 1)
【請求項9】前記N個の符号化手段はそれぞれ、符号化
によった生成されたビデオストリームを各々記憶するバ
ッファを有する請求項1〜8いずれか記載の画像符号化
装置。
9. The image coding apparatus according to claim 1, wherein each of the N coding means has a buffer for storing a video stream generated by coding.
【請求項10】前記N個の符号化装置の各々は、VBV
(Video Buffering Verifier)バッファを有し、 当該N個の符号化装置は各々、具備する前記VBVバッ
ファの占有量に基づいて、前記符号化を行なう請求項9
に記載の画像符号化装置。
10. Each of the N encoders has a VBV
10. A video buffering verifier buffer is provided, and each of the N encoding devices performs the encoding based on an occupied amount of the VBV buffer provided therein.
The image encoding device according to 1.
【請求項11】二次元状の画像信号をN個の二次元状副
画像信号に分割する、画像信号分割段階と、 前記N個の分割された二次元状副画像信号を指定された
ビットレートで符号化する、符号化段階と、 該符号化した結果から前記各二次元状副画像信号の画像
の複雑さを示す特徴パラメータを算出する、特徴パラメ
ータ算出段階と、 該算出された特徴パラメータから前記符号化段階におけ
るビットレートを算出し、該算出したビットレートを前
記符号化段階の処理に反映させる、割り振りビットレー
ト演算段階と、 前記符号化段階で符号化された二次元状副画像信号を統
合する符号化画像信号統合段階と、を具備し、 前記符号化段階において、前記割り振りビットレート演
算段階で算出したビットレートに従って次の複数の分割
された二次元副画像信号を符号化し、 前記特徴パラメータ算出段階において前記符号化した結
果から二次元状副画像信号の画像の複雑さを示す特徴パ
ラメータを算出する、 画像符号化方法。
11. An image signal dividing step of dividing a two-dimensional image signal into N two-dimensional sub-image signals, and a bit rate for specifying the N divided two-dimensional sub-image signals. And an encoding step of calculating the characteristic parameter indicating the complexity of the image of each of the two-dimensional sub-image signals from the encoding result, and a characteristic parameter calculating step of calculating the characteristic parameter from the calculated characteristic parameter. An allocation bit rate calculating step of calculating a bit rate in the encoding step and reflecting the calculated bit rate in the processing of the encoding step; and a two-dimensional sub-image signal encoded in the encoding step. A coded image signal integrating step of integrating, wherein in the encoding step, the next plurality of divided secondary signals according to the bit rate calculated in the allocation bit rate calculating step are performed. The sub-picture signal coded, calculates a characteristic parameter indicating the complexity of the feature parameters in the calculation step the result of the encoding of two-dimensional form sub-image signals image, the image coding method.
【請求項12】前記符号化段階において、前記画像の複
雑さを示す特徴パラメータXi,n (i=1,・・,Nで
あり、nはn番目のフレームを示す)を下記式に基づい
て算出する、 請求項11記載の画像符号化方法。 【数7】Xi,n =Si,n ×Qi,n ただし、Si,n は副画像信号iのnフレームの発生符号
ビット量であり、 Qi,n は副画像信号iのnフレームの平均量子化スケー
ルである。
12. In the encoding step, a characteristic parameter Xi, n (i = 1, ..., N, where n represents an nth frame) indicating the complexity of the image is calculated based on the following equation. The image coding method according to claim 11, which is calculated. Xi, n = Si, n × Qi, n where Si, n is the generated code bit amount of n frames of the sub-image signal i, and Qi, n is the average quantum of n frames of the sub-image signal i. It is a scale.
【請求項13】前記符号化段階において、前記画像の複
雑さを示す特徴パラメータXi,n (i=1,・・,Nで
あり、nはn番目のフレームを示す)を下記式に基づい
て算出する、 請求項11記載の画像符号化方法。 【数8】Xi,n =Σ(Si,j×Qi,k) ただし、Si,j は副画像信号iのj フレームメの発生符
号ビット量であり(j=n-l,・・・,n-1,n) Qi,k は副画像信号iのk フレームの平均量子化スケー
ルである(k=n-m,・・・,n-1,n) 。
13. In the encoding step, a characteristic parameter Xi, n (i = 1, ..., N, where n represents the nth frame) indicating the complexity of the image is calculated based on the following equation. The image coding method according to claim 11, which is calculated. Xi, n = Σ (Si, j × Qi, k) where Si, j is the generated code bit amount of j frameme of the sub-image signal i (j = nl, ..., n- 1, n) Qi, k is an average quantization scale of k frames of the sub-image signal i (k = nm, ..., N-1, n).
【請求項14】前記符号化段階において、前記画像の複
雑さを示す特徴パラメータXi,n (i=1,・・,Nで
あり、nはn番目のフレームを示す)を下記式に基づい
て算出する、 請求項11記載の画像符号化方法。 【数9】Xi,n =Σ(Si,j ×Qi,k )/(N−1) ただし、Si,j は副画像信号iのj フレームの発生符号
ビット量であり(j=n-l,・・・,n-1,n) Qi,k は副画像信号iのk フレームの平均量子化スケー
ルである(k=n-m,・・・,n-1,n) 。
14. In the encoding step, a characteristic parameter Xi, n (where i = 1, ..., N, where n represents the nth frame) indicating the complexity of the image is calculated based on the following equation. The image coding method according to claim 11, which is calculated. Xi, n = Σ (Si, j × Qi, k) / (N-1) where Si, j is the generated code bit amount of the j frame of the sub-image signal i (j = nl ,. .., n-1, n) Qi, k is the average quantization scale of k frames of the sub-image signal i (k = nm, ..., N-1, n).
【請求項15】前記割り振りビットレート演算段階にお
いて、 前記特徴パラメータの時間的変化から次に符号化を行う
副画像信号の画像の複雑さに関する特徴パラメータの予
測値を算出し、 算出した予測特徴パラメータから前記割り振りビットレ
ートを算出する、 請求項11〜14いずれか記載の画像符号化方法。
15. A predictive value of a feature parameter relating to image complexity of a sub-image signal to be coded next is calculated from the temporal change of the feature parameter in the allocation bit rate calculation step, and the calculated predictive feature parameter The image encoding method according to claim 11, wherein the allocated bit rate is calculated from
【請求項16】前記割り振りビットレート演算段階にお
いて、(n+2)番目の特徴パラメータの予測値(X’
i,n+2 )を下記式で求める、 請求項15記載の画像符号化方法。 【数10】 X’i,n+2 =(Xi,n )+2×〔(Xi,n −Xi,n-1 )〕 =3×(Xi ,n-2)−2×(Xi,n-1 ) ただし、Xi,n はn番目のフレームの副画像信号iの特
徴パラメータであり、 Xi,n-1 は(n-1)番目のフレームの副画像信号iの特
徴パラメータである。
16. The predicted value (X ′ of the (n + 2) th feature parameter in the allocation bit rate calculation step.
The image coding method according to claim 15, wherein i, n + 2) is calculated by the following formula. X'i, n + 2 = (Xi, n) +2 * [(Xi, n-Xi, n-1)] = 3 * (Xi, n-2) -2 * (Xi, n- 1) where Xi, n is a characteristic parameter of the sub-image signal i of the nth frame, and Xi, n-1 is a characteristic parameter of the sub-image signal i of the (n-1) th frame.
【請求項17】前記割り振りビットレート演算段階にお
いて、(n+1)番目の特徴パラメータの予測値(X’
i,n+1 )を下記式で求める、 請求項15記載の画像符号化方法。 【数11】X’i,n+1 =Xi,n +(Xi,n −Xi,n-1 ) =2×(Xi,n )−(Xi,n-1 ) ただし、Xi,n はn番目のフレームの副画像信号iの特
徴パラメータであり、 Xi,n-1 は(n-1) 番目のフレームの副画像信号iの特
徴パラメータである。
17. The predicted value (X ′ of the (n + 1) th feature parameter in the allocation bit rate calculation step.
16. The image coding method according to claim 15, wherein i, n + 1) is calculated by the following formula. X'i, n + 1 = Xi, n + (Xi, n-Xi, n-1) = 2 * (Xi, n)-(Xi, n-1) where Xi, n is n Xi, n-1 is a feature parameter of the sub-image signal i of the (n-1) th frame.
【請求項18】前記割り振りビットレート演算段階にお
いて、前記画像の複雑さに関する予測特徴パラメータ
(X’i,n+1 )からのビットレートRの割り振りを、下
記式に基づいて算出する、 請求項16または17記載の画像符号化方法。 【数12】 Ri,n+1 =R×(X’i,n+1 )/Σ(X’i,n+1 )
18. The allocation of the bit rate R from the prediction feature parameter (X'i, n + 1) relating to the complexity of the image is calculated in the allocation bit rate calculation step based on the following equation. 16. The image coding method according to 16 or 17. ## EQU12 ## Ri, n + 1 = R × (X'i, n + 1) / Σ (X'i, n + 1)
【請求項19】前記N個の符号化段階において、符号化
によった生成されたビデオストリームをバッファリング
する、 請求項11〜18いずれか記載の画像符号化方法。
19. The image coding method according to claim 11, wherein in the N coding steps, a video stream generated by coding is buffered.
【請求項20】前記バッファリングは、VBV(Video B
uffering Verifier)バッファリングである、 請求項19記載の画像符号化方法。
20. The buffering is performed by VBV (Video B).
The image coding method according to claim 19, wherein the image coding method is uffering verifier) buffering.
【請求項21】二次元状の画像信号をN個の二次元状副
画像信号に分割し、該N個の分割された二次元状副画像
信号を指定されたビットレートで符号化し、該符号化し
た結果から前記各二次元状副画像信号の画像の複雑さを
示す特徴パラメータを算出し、該算出された特徴パラメ
ータから前記符号化処理で使用するビットレートを算出
し、前記符号化処理で符号化された二次元状副画像信号
を統合して得られた、画像信号を受け入れ、該受け入れ
た画像信号を前記算出されたビットレートに従って復号
する復号手段を具備する、 画像復号化装置。
21. A two-dimensional image signal is divided into N two-dimensional sub-image signals, the N divided two-dimensional sub-image signals are encoded at a designated bit rate, and the code is obtained. A characteristic parameter indicating the complexity of the image of each two-dimensional sub-image signal is calculated from the converted result, a bit rate used in the encoding process is calculated from the calculated characteristic parameter, and the encoding process is performed in the encoding process. An image decoding apparatus comprising: a decoding unit that receives an image signal obtained by integrating encoded two-dimensional sub-image signals and decodes the received image signal according to the calculated bit rate.
【請求項22】二次元状の画像信号をN個の二次元状副
画像信号に分割し、該N個の分割された二次元状副画像
信号を指定されたビットレートで符号化し、該符号化し
た結果から前記各二次元状副画像信号の画像の複雑さを
示す特徴パラメータを算出し、該算出された特徴パラメ
ータから前記符号化処理で使用するビットレートを算出
し、前記符号化処理で符号化された二次元状副画像信号
を統合して得られた、画像信号を受け入れ、該受け入れ
た画像信号を前記算出されたビットレートに従って復号
する復号段階を具備する、画像復号化方法。
22. A two-dimensional image signal is divided into N two-dimensional sub-image signals, the N divided two-dimensional sub-image signals are encoded at a designated bit rate, and the code A characteristic parameter indicating the complexity of the image of each two-dimensional sub-image signal is calculated from the converted result, a bit rate used in the encoding process is calculated from the calculated characteristic parameter, and the encoding process is performed in the encoding process. An image decoding method comprising a decoding step of receiving an image signal obtained by integrating encoded two-dimensional sub-image signals and decoding the received image signal according to the calculated bit rate.
JP2002019873A 2002-01-29 2002-01-29 Image encoder and method thereof, and image decoder and method thereof Pending JP2003224847A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002019873A JP2003224847A (en) 2002-01-29 2002-01-29 Image encoder and method thereof, and image decoder and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002019873A JP2003224847A (en) 2002-01-29 2002-01-29 Image encoder and method thereof, and image decoder and method thereof

Publications (1)

Publication Number Publication Date
JP2003224847A true JP2003224847A (en) 2003-08-08

Family

ID=27743555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002019873A Pending JP2003224847A (en) 2002-01-29 2002-01-29 Image encoder and method thereof, and image decoder and method thereof

Country Status (1)

Country Link
JP (1) JP2003224847A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244590A (en) * 2004-02-26 2005-09-08 Samsung Yokohama Research Institute Co Ltd Multi-service terminal, handoff method, and handoff program
JP2006319944A (en) * 2005-04-15 2006-11-24 Sony Corp Decoding control device and method, recording medium, and program
JP2007336036A (en) * 2006-06-13 2007-12-27 Kddi Corp Motion picture compositing apparatus and program
JP2008124641A (en) * 2006-11-09 2008-05-29 Sony Corp Image processor, image processing method, and program
JP2008124955A (en) * 2006-11-15 2008-05-29 Sony Corp Image processor and image processing method, learning device and learning method, and program
JP2009111969A (en) * 2007-10-29 2009-05-21 Samsung Electronics Co Ltd Divided video processing apparatus and method, or control factor calculating apparatus
JP2012110039A (en) * 2005-09-27 2012-06-07 Qualcomm Inc Methods and devices for data alignment with time domain boundary
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US9197912B2 (en) 2005-03-10 2015-11-24 Qualcomm Incorporated Content classification for multimedia processing
WO2017158850A1 (en) * 2016-03-18 2017-09-21 株式会社ソシオネクスト Image processing device and image processing method

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244590A (en) * 2004-02-26 2005-09-08 Samsung Yokohama Research Institute Co Ltd Multi-service terminal, handoff method, and handoff program
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
US9197912B2 (en) 2005-03-10 2015-11-24 Qualcomm Incorporated Content classification for multimedia processing
JP2006319944A (en) * 2005-04-15 2006-11-24 Sony Corp Decoding control device and method, recording medium, and program
US9071822B2 (en) 2005-09-27 2015-06-30 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US9088776B2 (en) 2005-09-27 2015-07-21 Qualcomm Incorporated Scalability techniques based on content information
JP2012110039A (en) * 2005-09-27 2012-06-07 Qualcomm Inc Methods and devices for data alignment with time domain boundary
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
JP4569968B2 (en) * 2006-06-13 2010-10-27 Kddi株式会社 Moving picture composition apparatus and program
JP2007336036A (en) * 2006-06-13 2007-12-27 Kddi Corp Motion picture compositing apparatus and program
JP2008124641A (en) * 2006-11-09 2008-05-29 Sony Corp Image processor, image processing method, and program
JP2008124955A (en) * 2006-11-15 2008-05-29 Sony Corp Image processor and image processing method, learning device and learning method, and program
KR101339785B1 (en) 2007-10-29 2013-12-11 삼성전자주식회사 Apparatus and method for parallel image processing and apparatus for control feature computing
JP2009111969A (en) * 2007-10-29 2009-05-21 Samsung Electronics Co Ltd Divided video processing apparatus and method, or control factor calculating apparatus
WO2017158850A1 (en) * 2016-03-18 2017-09-21 株式会社ソシオネクスト Image processing device and image processing method
JPWO2017158850A1 (en) * 2016-03-18 2019-01-24 株式会社ソシオネクスト Image processing apparatus and image processing method

Similar Documents

Publication Publication Date Title
US9338453B2 (en) Method and device for encoding/decoding video signals using base layer
US8774265B2 (en) Encoding apparatus, decoding apparatus, encoding method, decoding method, program of encoding method, program of decoding method, recording medium in which program of encoding method is recorded, and recording medium in which program of decoding method is recorded
JP2001346201A (en) Image coder and its method, image decoder and its method, image recorder, image transmitter
US20060062299A1 (en) Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks
CA2165492C (en) Temporally-pipelined predictive encoder/decoder circuit and method
US20050094729A1 (en) Software and hardware partitioning for multi-standard video compression and decompression
JP4708263B2 (en) Image decoding apparatus and image decoding method
JP2003224847A (en) Image encoder and method thereof, and image decoder and method thereof
JP2003535523A (en) Video signal coding and buffer management
KR100714695B1 (en) Method for performing rate control by picture dropping and picture composition, video encoder, and transcoder thereof
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
JPH08172573A (en) Data rate conversion and method thereof
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070242747A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070280354A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070223573A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20060133497A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures at different temporal decomposition level
US20060159176A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
WO2005015805A2 (en) Software and hardware partitioning for multi-standard video compression and decompression
US20060067410A1 (en) Method for encoding and decoding video signals
JP2006279724A (en) Image data encoding device, and image data encoding method
JP2002016911A (en) Object video encoding device
US20060133488A1 (en) Method for encoding and decoding video signal
JP2000134617A (en) Image encoding device
US20060133498A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal