JP2002142224A - Image signal-processing device - Google Patents
Image signal-processing deviceInfo
- Publication number
- JP2002142224A JP2002142224A JP2000332725A JP2000332725A JP2002142224A JP 2002142224 A JP2002142224 A JP 2002142224A JP 2000332725 A JP2000332725 A JP 2000332725A JP 2000332725 A JP2000332725 A JP 2000332725A JP 2002142224 A JP2002142224 A JP 2002142224A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- encoding
- processing
- information
- macroblock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、復号された入力画
像信号に対して、他の画像信号や文字等の挿入・合成、
画像信号の編集等の加工処理を行う画像信号加工装置に
関するものである。そして、この発明は、加工処理後の
画像信号に対して再符号化を行う場合に、画質劣化が少
ない再符号化を可能とする画像信号加工装置を提供する
ことを目的としている。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for inserting / synthesizing another image signal or character into a decoded input image signal.
The present invention relates to an image signal processing device that performs processing such as editing of an image signal. It is another object of the present invention to provide an image signal processing apparatus capable of performing re-encoding with little deterioration in image quality when re-encoding an image signal after processing.
【0002】[0002]
【従来の技術】近年、デジタル化された画像・音声信号
に対し高能率予測符号化による圧縮を行い、その圧縮さ
れた情報を用いて、衛星波、地上波、電話回線などの伝
送路により情報を配信するサービスが実用化されてい
る。このようなサービスにおいて、動画像信号・音声信
号の高能率予測符号化方式として国際規格であるMPEG2
が用いられている。MPEG2は、画像信号の隣接画素間の
相関(空間方向の相関)、及び、フレームもしくはフィ
ールドの相関(時間方向の相関)を利用して、画像信号
の情報量を圧縮する符号化方式である。2. Description of the Related Art In recent years, digitalized image and audio signals are compressed by highly efficient predictive coding, and the compressed information is used to transmit information through transmission lines such as satellite waves, terrestrial waves, and telephone lines. Has been put to practical use. In such services, MPEG2, which is an international standard, is used as a high-efficiency predictive coding method for video and audio signals.
Is used. MPEG2 is an encoding method that compresses the information amount of an image signal using correlation between adjacent pixels of an image signal (correlation in a spatial direction) and correlation between frames or fields (correlation in a time direction).
【0003】MPEG2規格における画像符号化は次のよう
なアルゴリズムで処理される。まず時間的に連続する画
像フレームを、基準フレームと予測フレームにふりわけ
る。基準フレームは空間方向の相関のみを用いることで
そのフレームの符号化データのみで復元することができ
る。予測フレームは、基準となるフレームからの時間方
向の相関と空間方向の相関とを共に用いることにより、
基準フレームに対してより符号化効率を高めることがで
きる。予測フレームは、復号された基準フレームと符号
化データより復元される。[0003] Image encoding in the MPEG2 standard is processed by the following algorithm. First, temporally continuous image frames are sorted into a reference frame and a predicted frame. The reference frame can be restored using only the encoded data of the frame by using only the correlation in the spatial direction. The predicted frame is obtained by using both the temporal correlation and the spatial correlation from the reference frame,
Encoding efficiency can be further improved with respect to the reference frame. The prediction frame is restored from the decoded reference frame and the encoded data.
【0004】具体的なMPEG2画像符号化で用いられる符
号化体系について図3を用いて説明する。基準フレーム
であるIフレームは定期的に存在し復号処理の基準とな
る。また、予測フレームには、時間的に前の基準フレー
ムからの予測のみで符号化されるPフレームと、時間的
に前後の2つの基準フレームから予測符号化されるBフレ
ームが存在する。Pフレームは、自身が予測フレームで
あると共に続くBフレームやPフレームの基準フレームに
もなる。A specific coding system used in MPEG2 image coding will be described with reference to FIG. The I frame, which is a reference frame, exists periodically and serves as a reference for decoding processing. Further, the predicted frames include a P frame encoded by only prediction from a temporally previous reference frame and a B frame encoded by predictive encoding from two temporally preceding and succeeding reference frames. The P frame itself is a predicted frame and also serves as a reference frame for the subsequent B frame and P frame.
【0005】Iフレームの画像信号は輝度信号で水平16
画素×垂直16画素のマクロブロックと呼ばれる処理単位
に分割される。分割されたマクロブロックのデータは、
更に8×8画素単位の2次元ブロックに分割され、直交変
換の一種であるDCT(離散コサイン変換)処理が行われ
る。DCT変換後の信号はその2次元ブロックの周波数成分
に準じた値を示すため、一般的な画像では低域に成分が
集中する。また、高周波数成分の情報劣化は低周波数成
分の情報劣化よりも視覚的に目立ちにくい性質がある。
よって低域成分を細かく高域成分を荒く量子化し、その
量子化の係数成分と係数成分がない(係数0)ものとの
連続する長さを可変長符号化することにより、情報量を
圧縮している。[0005] An image signal of an I frame is a luminance signal having a horizontal 16
It is divided into processing units called macroblocks of pixels × vertical 16 pixels. The data of the divided macro block is
The image data is further divided into two-dimensional blocks in units of 8 × 8 pixels, and DCT (discrete cosine transform) processing, which is a type of orthogonal transform, is performed. Since the signal after the DCT conversion shows a value according to the frequency component of the two-dimensional block, the component concentrates on a low frequency in a general image. In addition, the information deterioration of the high frequency component has the property of being less visually noticeable than the information deterioration of the low frequency component.
Therefore, the amount of information is compressed by quantizing the low-frequency component finely and roughly the high-frequency component, and performing variable-length coding on the continuous length of the quantized coefficient component and the coefficient component having no coefficient component (coefficient 0). ing.
【0006】Pフレームの画像信号は、Iフレームと同様
に16×16画素のマクロブロックに分割される。Pフレー
ムでは、マクロブロック毎に基準フレームとの間の動き
ベクトルを計算する。動きベクトルの検出は一般的にブ
ロックマッチングにより求められる。マクロブロックの
各画素と、動きベクトル値だけマクロブロックの存在す
る水平・垂直の位置を動かした場所の基準フレームを16
×16画素にブロック化した各画素の差分絶対値総和(も
しくは差分二乗総和)を求め、その最小値をとる動きベ
クトルの値を、検出された動きベクトルとして出力す
る。An image signal of a P frame is divided into macroblocks of 16 × 16 pixels as in the case of an I frame. In the P frame, a motion vector between the macro frame and a reference frame is calculated. The detection of a motion vector is generally obtained by block matching. The reference frame at the position where the horizontal and vertical positions of the macroblock are moved by the motion vector value and each pixel of the macroblock is set to 16
The sum of absolute difference values (or sum of squared differences) of each pixel divided into × 16 pixels is obtained, and the value of the motion vector having the minimum value is output as the detected motion vector.
【0007】マクロブロックの各画素は、動きベクトル
により切り出された2次元ブロックの各画素との差分が
とられる。正確な動きベクトルが検出された場合には、
差分ブロックの情報量は元のマクロブロックの持ってい
る情報量よりも大幅に少なくなるため、Iフレームより
も荒い量子化処理が可能となる。実際には差分ブロック
を符号化するか非差分ブロック(Intraブロック)を符
号化するかを選択し(予測モード判定)、選択されたブ
ロックに対してIフレームと同様のDCT・可変長符号化処
理を施し、情報量が圧縮される。The difference between each pixel of the macroblock and each pixel of the two-dimensional block extracted by the motion vector is calculated. If an accurate motion vector is detected,
Since the information amount of the difference block is much smaller than the information amount of the original macro block, a quantization process that is rougher than that of the I frame can be performed. Actually, it selects whether to encode the differential block or the non-differential block (Intra block) (prediction mode determination), and performs the same DCT / variable-length encoding process on the selected block as the I frame And the amount of information is compressed.
【0008】Bフレームは、Pフレームと同様の処理が行
われるが、基準フレームが前後に存在するため、それぞ
れの基準フレームとの間で動きベクトルを検出する。B
フレームでは予測の選択肢が、前基準フレームからの予
測(Forward予測)・後基準フレームからの予測(Backw
ard予測)・2つの予測ブロックの画素毎平均値(Avera
ge予測)、の3種類存在し、Intraブロックを合わせた4
種類から予測モード判定を行う。Bフレームは、時間的
に前後の基準フレームから予測が可能となるため、Pフ
レームよりもさらに予測効率が向上する。よって、一般
的にPフレームよりもさらに荒く量子化される。選択さ
れたブロックはI、Pフレームと同様の符号化処理がなさ
れる。[0008] The processing similar to that of the P frame is performed on the B frame. However, since reference frames exist before and after, a motion vector is detected between each of the reference frames. B
In the frame, the choices of prediction are prediction from the previous reference frame (Forward prediction) and prediction from the rear reference frame (Backw
ard prediction) ・ Average value per pixel of two prediction blocks (Avera
ge prediction), there are 3 types, and 4 including Intra blocks
The prediction mode is determined from the type. Since the B frame can be predicted from the reference frame that is temporally preceding and succeeding, the prediction efficiency is further improved as compared with the P frame. Therefore, quantization is generally performed more coarsely than P frames. The selected block is subjected to the same encoding processing as the I and P frames.
【0009】Bフレームは復号される為に、時間的に後
の基準フレームからの予測処理が行われるため、基準フ
レームは、Bフレームに先行して符号化される。そのた
め、入力された画像信号は図4に示される順番に並べ替
えが行われ、符号化される。復号処理では、逆の並べ替
えを行ない出力することにより、入力された画像信号の
順番に復号画像が再生される。Since the B frame is decoded, a prediction process is performed from a reference frame that is temporally later. Therefore, the reference frame is encoded prior to the B frame. Therefore, the input image signals are rearranged and encoded in the order shown in FIG. In the decoding process, the decoded images are reproduced in the order of the input image signals by performing reverse sorting and outputting.
【0010】MPEG2画像符号化を実現する従来の一般的
な符号化装置と復号装置とをそれぞれ図6,図7に示し
説明する。A conventional general encoding apparatus and a conventional decoding apparatus for realizing MPEG2 image encoding will be described with reference to FIGS. 6 and 7, respectively.
【0011】図6に示される符号化装置では、入力され
たデジタル画像信号がフレームメモリ(入力画像メモ
リ)1に記録され、符号化シンタックスに従って符号化
される順番に並べ替えを行うための遅延がなされる。入
力画像メモリ1から出力されたデジタル信号は、2次元
ブロック変換回路2にてマクロブロックが切り出され
る。In the encoding apparatus shown in FIG. 6, an input digital image signal is recorded in a frame memory (input image memory) 1, and a delay for rearranging the input digital image signal in the encoding order according to the encoding syntax. Is made. The digital signal output from the input image memory 1 is cut out by a two-dimensional block conversion circuit 2 into macroblocks.
【0012】基準フレームにおいては、マクロブロック
データは直交変換回路4にて8×8画素単位でDCT変換が
行われ、量子化回路4に送られる。量子化回路4におい
て量子化されたDCT係数は、符号化回路5において符号
化テーブル16の係数に対応したアドレスを参照するこ
とにより可変長または固定長の符号化が行われ、マルチ
プレクサ6により上記符号化データと画面内でのマクロ
ブロックの場所等を示す付加情報(符号化パラメータ)
とが多重化され、ビットストリームとして出力される。In the reference frame, the DCT is performed on the macroblock data in units of 8 × 8 pixels by the orthogonal transformation circuit 4 and sent to the quantization circuit 4. The DCT coefficient quantized in the quantization circuit 4 is subjected to variable-length or fixed-length encoding by referring to an address corresponding to the coefficient in the encoding table 16 in the encoding circuit 5, Information (encoding parameter) indicating the location of the macroblock in the screen and the coded data
Are multiplexed and output as a bit stream.
【0013】一方、量子化回路4で量子化されたDCT係
数は逆量子化回路7、逆直交変換回路8において逆量子
化及び逆DCT処理が行われ、符号化ビットストリームが
復号されてデブロック回路9及び加算回路10を介して
参照画像メモリ11に格納される。On the other hand, the DCT coefficient quantized by the quantization circuit 4 is subjected to inverse quantization and inverse DCT processing in an inverse quantization circuit 7 and an inverse orthogonal transform circuit 8, and an encoded bit stream is decoded and deblocked. The data is stored in the reference image memory 11 via the circuit 9 and the adding circuit 10.
【0014】続いて予測フレームにおいては、入力画像
メモリ1から切り出されたマクロブロックデータと参照
画像メモリ11に格納されている画像との間で動きベク
トル検出回路12によって、画像間での動きベクトルが
求められる。出力された動きベクトルにより、予測ブロ
ックが動き補償予測回路13により参照画像メモリ11
から切り出され、動き補償予測回路13では予測モード
の選択を行ない、符号化する入力画像ブロックとの差分
信号を減算器14で生成し直交変換回路3に送り出す。
差分信号は前記フレームの各ブロックと同様の処理が行
われ、DCT係数が量子化処理され動きベクトルや予測モ
ード(符号化パラメータ)と共にビットストリームとし
て出力される。Subsequently, in the predicted frame, the motion vector between the macroblock data cut out from the input image memory 1 and the image stored in the reference image memory 11 is calculated by the motion vector detecting circuit 12. Desired. Based on the output motion vector, the prediction block is converted by the motion compensation prediction circuit 13 into the reference image memory 11.
The motion compensation prediction circuit 13 selects a prediction mode, generates a difference signal from the input image block to be encoded by the subtractor 14, and sends the signal to the orthogonal transformation circuit 3.
The difference signal is subjected to the same processing as that of each block of the frame, the DCT coefficients are quantized, and output as a bit stream together with a motion vector and a prediction mode (encoding parameter).
【0015】符号量の制御に関しては、出力されたスト
リームの符号量と符号量制御回路15において目標とす
る符号量との比較がとられ、目標符号量に近づけるため
に量子化回路4の量子化の細かさ(量子化スケール)を
制御する。3種類の情報量の異なるフレームタイプに対
し、設定された符号化レートに対してそれぞれのフレー
ムタイプの性質と出現頻度を用いて、各フレームに対す
る目標符号量を算出する。また目標符号量は、復号装置
のストリームバッファを仮想的にシミュレートして、バ
ッファのオーバーフロー・アンダーフローが起きないよ
うに制限される。量子化スケールは、スケールと出力符
号量とが一般的にほぼ反比例の関係があることを利用し
て、各フレームタイプ毎に目標符号量に対する量子化ス
ケール値を計算し、量子化処理を行う。ブロック毎に目
標符号量に近づく方向に量子化スケールを変動させるこ
とによって、目標符号量内に符号化ビットストリームを
抑える。As for the control of the code amount, the code amount of the output stream is compared with the target code amount in the code amount control circuit 15, and the quantization of the quantization circuit 4 is performed in order to approach the target code amount. Control (quantization scale). For the three types of frames having different amounts of information, the target code amount for each frame is calculated using the characteristics and appearance frequency of each frame type for the set encoding rate. Further, the target code amount is virtually simulated for the stream buffer of the decoding device, and is limited so that the buffer does not overflow or underflow. The quantization scale calculates the quantization scale value for the target code amount for each frame type and performs the quantization process by using the fact that the scale and the output code amount generally have an inversely proportional relationship. By changing the quantization scale in a direction approaching the target code amount for each block, the coded bit stream is suppressed within the target code amount.
【0016】図7に示される復号装置では、まず入力さ
れたビットストリームがストリームバッファ31に蓄え
られる。符号化ビットストリームには仮想的にシミュレ
ートされたバッファ値が書かれており、そのバッファ値
分ビットストリームが蓄えられてから復号処理を行うこ
とにより、バッファが破綻して復号処理が止まることを
防いでいる。ビットストリームは、可変長復号回路32
にて量子化スケール、予測モード、動きベクトル等の付
加情報を分離すると共に、量子化されたDCT係数を復号
する。復号されたDCT係数は符号化回路内と同様の逆量
子化回路33、逆直交変換回路34において逆量子化及
び逆DCT処理が行われ、Intraブロックもしくは差分ブロ
ックが復号され、デブロック回路35を介して加算器3
6に送られる。In the decoding device shown in FIG. 7, an input bit stream is first stored in a stream buffer 31. The coded bit stream contains a virtually simulated buffer value, and the decoding process is performed after the buffer value is stored for the buffer value, so that the buffer is broken and the decoding process stops. I'm preventing. The bit stream is sent to the variable length decoding circuit 32.
Separates additional information such as a quantization scale, a prediction mode, and a motion vector, and decodes quantized DCT coefficients. The decoded DCT coefficient is subjected to inverse quantization and inverse DCT processing in an inverse quantization circuit 33 and an inverse orthogonal transform circuit 34 similar to those in the encoding circuit, and an Intra block or a difference block is decoded. Via adder 3
Sent to 6.
【0017】予測ブロックの場合には、動き補償予測回
路37にて復号した予測モードと動きベクトル値より、
参照画像メモリ38から切り出された予測ブロックとの
加算が加算器36で行われ、マクロブロックの画像信号
が復元される。IまたはPフレームの場合には復元された
マクロブロックデータは参照画像メモリ38に書き込ま
れる。Bフレームの場合には、出力フレームメモリ39
に蓄えられ画像信号として出力される。参照画像メモリ
38に書かれたI、Pフレームの画像データは図5のタイ
ミングに合わせて、出力するタイミングで出力フレーム
メモリ39に加えられBフレームと同様に出力される。In the case of a prediction block, the prediction mode decoded by the motion compensation prediction circuit 37 and the motion vector value
The addition with the prediction block cut out from the reference image memory 38 is performed by the adder 36, and the image signal of the macroblock is restored. In the case of an I or P frame, the restored macroblock data is written to the reference image memory 38. In the case of a B frame, the output frame memory 39
And output as an image signal. The image data of the I and P frames written in the reference image memory 38 is added to the output frame memory 39 at the output timing in accordance with the timing of FIG.
【0018】このような画像符号化を用いた情報配信す
るシステムにおいて、一旦符号化されたストリームを復
号して再度符号化処理を行う必要性が存在する。一つは
情報を取材・記録された場所から情報を配信する場所に
伝送する場合である。伝送路としては有線・無線の通信
回線や記録媒体が考えられるが、伝送路と配信するシス
テムの伝送路の所有する帯域幅が異なる場合には、ビッ
トストリームのビットレートを変更する必要がある。他
には、記録された画像信号を編集・加工する場合が存在
する。複数の画像信号を繋ぎあわせたり、画像信号上に
文字テロップ等を挿入するような場合には、ストリーム
を復号する事なしに実現することは難しい。In such a system for distributing information using image coding, there is a need to decode the stream once coded and to perform the coding process again. One is a case where information is transmitted from a place where information is collected and recorded to a place where information is distributed. The transmission path may be a wired / wireless communication line or a recording medium, but if the transmission path and the transmission path of the distribution system have different bandwidths, it is necessary to change the bit rate of the bit stream. In addition, there is a case where a recorded image signal is edited and processed. In a case where a plurality of image signals are connected or a character telop or the like is inserted into the image signals, it is difficult to realize the stream without decoding the stream.
【0019】このような、再符号化処理を行う装置(ト
ランスコーダ)において、再符号化時の符号化劣化を少
なくするために、トランスコーダで伝送される画像信号
(復号されたベースバンド信号)上に、符号化された際
のフレームタイプ等のフレーム情報やマクロブロックの
付加情報(以降、符号化情報(符号化パラメータ)と呼
ぶ)を重畳させて伝送する方式が考えられている。In such an apparatus for performing re-encoding processing (transcoder), an image signal (decoded baseband signal) transmitted by the transcoder is reduced in order to reduce encoding deterioration at the time of re-encoding. A method of superimposing and transmitting frame information such as a frame type at the time of encoding and additional information of a macroblock (hereinafter referred to as encoded information (encoded parameter)) is considered above.
【0020】MPEG2符号化においては、Iフレーム、Pフ
レーム、Bフレームの順で画像信号の品質が劣化してい
る場合が一般的である。Iフレームは基準となるフレー
ムであるため、他のフレームより細かく量子化されてい
ると共に、他の画像からの参照がないため、参照フレー
ム劣化の影響を受けない。Pフレーム、Bフレームとなる
につれて、荒く量子化されると共に参照フレーム劣化の
影響を受けやすい。再符号化する時にBフレームとなっ
ていたフレームをIフレームとして符号化すると、劣化
の大きかった画像を基準フレームとして使用したため、
予測されるフレームがその劣化の影響を受け、再符号化
した際の画質劣化が大きくなる。符号化情報を参照し
て、再符号化時のフレームタイプを合わせてやること
で、上記劣化要因が低減される。また、符号化情報内の
マクロブロック付加情報を用いることで、動きベクトル
検出のための処理量を削減できると共に、量子化スケー
ルと符号化ビット数より、マクロブロックの持っている
情報量の指針が得られ、ビットレート変換時に良好な符
号量コントロールが期待できる。In MPEG2 encoding, the quality of an image signal generally deteriorates in the order of an I frame, a P frame, and a B frame. Since the I frame is a reference frame, it is quantized more finely than other frames, and there is no reference from other images, so that the I frame is not affected by reference frame deterioration. As the P frame and the B frame become, they are roughly quantized and are easily affected by reference frame degradation. When a frame that was a B frame when re-encoding was encoded as an I frame, an image with large deterioration was used as a reference frame,
The predicted frame is affected by the deterioration, and the image quality at the time of re-encoding becomes large. By referring to the encoding information and matching the frame type at the time of re-encoding, the above-mentioned deterioration factor is reduced. Also, by using the macroblock additional information in the encoded information, the processing amount for detecting the motion vector can be reduced, and the information amount of the macroblock has a guideline based on the quantization scale and the number of encoded bits. Thus, good code amount control can be expected during bit rate conversion.
【0021】再符号化のための符号化情報は、時間的、
空間的に、ビデオ信号に対応づけて、復号処理手段から
再符号化処理手段に伝送する必要がある。Encoding information for re-encoding is temporal,
It is necessary to spatially correspond to the video signal and transmit it from the decoding processing means to the re-encoding processing means.
【0022】これを実現するための伝送方法として、標
準テレビ品質4:2:2デジタルコンポーネントビデオ信号
にMPEG-2ビデオの符号化情報を重畳して伝送する規定を
定めたSMPTE 319Mがある。また、高品位テレビ品質4:2:
2デジタルコンポーネントビデオ信号にMPEG-2ビデオの
符号化情報を重畳して伝送する規定を定めるべくSMPTE
351M案が現在審議中である。As a transmission method for realizing this, there is SMPTE 319M which defines a rule of superimposing MPEG-2 video encoding information on a standard television quality 4: 2: 2 digital component video signal and transmitting the signal. Also, high-definition TV quality 4: 2:
(2) SMPTE to define the rules for superimposing and transmitting MPEG-2 video encoding information on digital component video signals
The 351M proposal is currently under review.
【0023】符号化情報の具体的な重畳方法についてSM
PTE 319Mを例として説明する。ベースバンド信号は輝度
信号(Y)及び2つの色差信号(Cb,Cr)が4:2:2の
サンプリング比率で伝送され、それぞれ1画素の値が10
ビットで構成されている(1024レベル)。MPEG2画像符
号化においては、復号画像の情報量は8ビット(256レベ
ル)で構成されるので、復号画像信号の下位2ビットは
伝送不要領域となる。この領域に、符号化情報を重畳す
る。SMPTE 319M Table 3の例では、伝送不要領域の内
のCb,Crの最下位ビットを重畳領域としている。A specific method of superimposing encoded information
A description will be given using PTE 319M as an example. In the baseband signal, a luminance signal (Y) and two color difference signals (Cb, Cr) are transmitted at a sampling ratio of 4: 2: 2, and each pixel has a value of 10%.
Consists of bits (1024 levels). In MPEG2 image encoding, the information amount of a decoded image is composed of 8 bits (256 levels), so the lower 2 bits of the decoded image signal become a transmission unnecessary area. The encoded information is superimposed on this area. In the example of SMPTE 319M Table 3, the least significant bit of Cb and Cr in the transmission unnecessary area is set as the superimposition area.
【0024】具体的に重畳する符号化情報の例としてSM
PTE 319Mにて規格化された符号化情報(SMPTE 319M Fi
gure 1参照)を説明する。各々のマクロブロックを構成
する16×16画素の領域毎に、そのマクロブロック付加情
報とフレーム情報の一部を書き込む。(このマクロブロ
ック付加情報とフレーム情報の一部とを合わせてここで
は符号化情報(符号化パラメータ)と呼んでいる。)C
b,CrのLSBを合わせると256ビット存在し、その256ビ
ットがSMPTE 319M Figure 1の情報を示す。マクロブロ
ック付加情報としては、動きベクトル値、予測モード、
量子化スケール、有効DCT係数を有する8×8ブロックの
パターン(coded#block#pattern)等の付加情報と、各
付加情報及びDCT係数を符号化した際に要したビット数
を情報として記録する。As an example of encoded information to be superimposed, SM
Encoding information standardized by PTE 319M (SMPTE 319M Fi
gure 1). The macroblock additional information and a part of the frame information are written for each 16 × 16 pixel area constituting each macroblock. (The macroblock additional information and a part of the frame information are collectively referred to as coding information (coding parameter) here.)
When the LSBs of b and Cr are combined, there are 256 bits, of which 256 bits indicate information of SMPTE 319M Figure 1. The macroblock additional information includes a motion vector value, a prediction mode,
Additional information such as a quantization scale and an 8 × 8 block pattern (coded_block_pattern) having an effective DCT coefficient, and the number of bits required when encoding the additional information and the DCT coefficient are recorded as information.
【0025】また、picture#element#informationの領
域には、SMPTE 319M Table 4で示されるようなフレー
ム情報がマクロブロック毎に分割されて書き込まれる。
この領域はマクロブロック毎に32ビットずつ存在し、フ
レーム全体に渡ってすべてのマクロブロックのpicture#
element#informationを集めると、複数回コピーされた
フレーム情報が復元できる。In the picture_element_information area, frame information as shown in SMPTE 319M Table 4 is divided and written for each macroblock.
This area has 32 bits for each macroblock, and the picture # of all macroblocks extends over the entire frame.
By collecting element # information, frame information copied multiple times can be restored.
【0026】このような、符号化情報を復号装置から符
号化装置に伝送するトランスコーダの例を図8に示す。
この例では、復号装置と符号化装置との間に合成装置を
挿入し、復号されたベースバンド信号に対して編集加工
された画像を符号化装置で再符号化するものである。図
8に示す復号装置及び符号化装置の構成図を図9,図1
0にそれぞれ示し説明する。なお、図6,図7にそれぞ
れ示した符号化装置、復号装置と同様な部分には同一の
符号を付し、その部分の説明は省略する。FIG. 8 shows an example of such a transcoder for transmitting the encoded information from the decoding device to the encoding device.
In this example, a synthesizing device is inserted between a decoding device and an encoding device, and an image obtained by editing a decoded baseband signal is re-encoded by the encoding device. 9 and FIG. 1 show the configuration of the decoding device and the encoding device shown in FIG.
0 and each will be described. The same reference numerals are given to the same parts as those of the encoding device and the decoding device shown in FIGS. 6 and 7, respectively, and the description of those portions will be omitted.
【0027】図9に示す復号装置の可変長復号回路32
は、復号した際のフレーム情報とマクロブロック付加情
報及び、マクロブロックの符号化ビット数を算出し、符
号化情報生成回路41に入力する。符号化情報生成回路
41においては、フレーム情報及びマクロブロック付加
情報(符号化情報(符号化パラメータ))をSMPTE 319M
Figure 1のようなビットパターンにフォーマットし、
符号化情報メモリ42に蓄える。The variable length decoding circuit 32 of the decoding device shown in FIG.
Calculates the frame information at the time of decoding, the macroblock additional information, and the number of coded bits of the macroblock, and inputs them to the coded information generation circuit 41. In the encoded information generation circuit 41, the frame information and the macroblock additional information (encoded information (encoding parameter)) are converted to SMPTE 319M.
Format it into a bit pattern as shown in Figure 1,
It is stored in the encoded information memory 42.
【0028】符号化情報重畳回路43においては、出力
フレームバッファ39に蓄えられている画像情報と、符
号化情報メモリ42に蓄えられている符号化情報を入力
し、画像情報の色差信号のLSBビットに符号化情報を重
畳する。符号化情報メモリ42は、I、P、Bフレームの
出力並び替えに対応するように複数フレーム分具備して
おり、符号化情報重畳回路43はフレームタイプにより
とり出す符号化情報の順番を変更する。The coded information superimposing circuit 43 receives the image information stored in the output frame buffer 39 and the coded information stored in the coded information memory 42, and inputs the LSB bits of the color difference signal of the image information. Is superimposed on the encoded information. The coded information memory 42 includes a plurality of frames so as to correspond to the output rearrangement of the I, P, and B frames, and the coded information superimposing circuit 43 changes the order of the coded information to be taken out according to the frame type. .
【0029】図10に示す符号化装置においては、符号
化情報分離回路21にて入力画像メモリの画像信号から
符号化情報を抜き取る。抜き取られた符号化情報は、符
号化情報メモリ22に蓄えられる。符号化シンタックス
制御回路24では、抜き取られた符号化情報からフレー
ムタイプを検出し、入力画像を符号化順に並べ替える制
御を行う。フレームの符号化情報を抜き取ることが出来
ない場合には、非検出信号が符号化情報分離回路21か
ら送られ、従来の通常の符号化処理と同様に符号化装置
内で符号化シンタックスを構成し、符号化処理を行う
(符号化情報が重畳されていない画像信号に対する処理
と同様の通常の符号化処理を行う)。マクロブロック情
報生成回路23では、符号化情報メモリ22に格納され
ている符号化情報を符号化シンタックスに応じて順番を
入れ替えて読み込み、各マクロブロックに対する符号化
情報を抜き出す。In the encoding apparatus shown in FIG. 10, encoded information is extracted from an image signal in an input image memory by an encoded information separating circuit 21. The extracted encoded information is stored in the encoded information memory 22. The encoding syntax control circuit 24 detects the frame type from the extracted encoded information and performs control to rearrange the input images in the encoding order. If the encoded information of the frame cannot be extracted, a non-detection signal is sent from the encoded information separating circuit 21 and the encoding syntax is formed in the encoding device in the same manner as in the conventional ordinary encoding processing. Then, an encoding process is performed (a normal encoding process similar to the process for the image signal on which the encoded information is not superimposed is performed). The macroblock information generation circuit 23 reads the coded information stored in the coded information memory 22 by changing the order according to the coding syntax, and extracts the coded information for each macroblock.
【0030】抜き出された符号化情報は、動き補償予測
回路13、符号量制御回路15に伝送される。動き補償
予測回路13では、符号化情報に存在する動きベクトル
と予測モードを用い、参照画像メモリ11から予測ブロ
ックを切り出し、符号化する入力画像ブロックとの差分
信号を生成し、直交変換回路3に送り出す。フレームで
の符号化情報もしくは、マクロブロック毎の符号化情報
を抜き取ることができなかった場合には、非検出信号が
符号化情報分離回路21から動き補償予測回路13に送
られ、従来の符号化処理と同様に動きベクトル検出及び
予測モード選択処理が行われる。The extracted encoded information is transmitted to the motion compensation prediction circuit 13 and the code amount control circuit 15. The motion compensation prediction circuit 13 cuts out a prediction block from the reference image memory 11 using the motion vector and the prediction mode present in the encoded information, generates a difference signal from the input image block to be encoded, and sends the signal to the orthogonal transformation circuit 3. Send out. If the encoded information of the frame or the encoded information of each macroblock cannot be extracted, a non-detection signal is sent from the encoded information separation circuit 21 to the motion compensation prediction circuit 13 and the conventional encoding is performed. Motion vector detection and prediction mode selection processing are performed in the same manner as the processing.
【0031】符号量制御回路15では、マクロブロック
毎の符号化した際の量子化スケール及び要したビット数
が符号化情報として入力され、現在制御ターゲットであ
る符号化ビットレートでの設定符号量と比較処理を行う
ことにより、適切な量子化スケールを決定し、符号化処
理を行う。In the code amount control circuit 15, the quantization scale and the required number of bits at the time of encoding for each macroblock are inputted as encoding information, and the set code amount at the encoding bit rate which is the current control target is obtained. By performing the comparison process, an appropriate quantization scale is determined, and the encoding process is performed.
【0032】[0032]
【発明が解決しようとする課題】符号化された画像信号
に対して編集、テロップ挿入等の加工を施したい場合
に、トランスコーディング装置を構成すると、図8に示
したように復号装置と符号化装置との間に合成装置を挿
入した装置が考えられる。復号したベースバンド信号
(画像信号)に対して編集加工処理を行い、その編集加
工処理を行ったベースバンド信号を符号化装置に入力し
て再符号化する。この場合、合成装置で加工されたベー
スバンド信号の符号化情報が破壊されたり、符号化情報
と加工されたベースバンド信号との関係が一致しなくな
ったりする問題がある。符号化情報が破壊されると、フ
リーで再符号化を行うことになり、良好なトランスコー
ディング機能が実現できない。また、加工されたベース
バンド信号との関係が一致しなくなった符号化情報をそ
のまま引き継ぐと、符号化情報内の動きベクトルや予測
モード等のマクロブロック付加情報に矛盾が生じ、画質
の劣化を生じる問題が発生する。When it is desired to perform processing such as editing, telop insertion, and the like on an encoded image signal, a transcoding device can be configured as shown in FIG. A device in which a synthesizing device is inserted between the device and the device is conceivable. An editing process is performed on the decoded baseband signal (image signal), and the edited baseband signal is input to an encoding device and re-encoded. In this case, there is a problem that the encoded information of the baseband signal processed by the synthesizing device is destroyed, or the relationship between the encoded information and the processed baseband signal does not match. If the encoded information is destroyed, free re-encoding is performed, and a good transcoding function cannot be realized. Further, if the encoded information whose relationship with the processed baseband signal is no longer consistent is inherited as it is, inconsistency occurs in macroblock additional information such as a motion vector and a prediction mode in the encoded information, and image quality is deteriorated. Problems arise.
【0033】本発明は、加工処理後の画像信号に対して
再符号化を行う場合に、画質劣化が少ない再符号化を可
能とする画像信号加工装置を提供することを目的として
いる。It is an object of the present invention to provide an image signal processing apparatus capable of performing re-encoding with little deterioration in image quality when re-encoding an image signal after processing.
【0034】[0034]
【課題を解決するための手段】そこで、上記課題を解決
するために本発明は、下記の装置を提供するものであ
る。 (1) 入力画像信号に対して加工処理を行う画像信号
加工装置において、復号前の符号化時のマクロブロック
に対応する符号化パラメータが重畳されている復号画像
信号を入力画像信号とし、この入力画像信号に重畳され
ている前記符号化パラメータを分離し、加工処理により
加工前と画像情報が変化した画素を有するマクロブロッ
クに対応する前記分離した符号化パラメータに、加工処
理されたことを示す情報を付加し、加工後の画像信号に
おける入力画像信号と同位置に、再度前記分離した符号
化パラメータを重畳する重畳手段を設けたことを特徴と
する画像信号加工装置。 (2) 高能率予測符号化されている符号化画像信号を
復号して得た復号画像信号に、前記符号化画像信号の符
号化時の各マクロブロックに対応する符号化パラメータ
を重畳して出力する復号処理部と、前記復号処理部から
出力された前記復号画像信号に対して加工処理を行う画
像信号加工処理部と、前記画像信号加工処理部により加
工された前記復号画像信号に対して、その復号画像信号
に重畳されている前記符号化パラメータに基づき高能率
予測符号化を行う符号化処理部とを有する画像信号加工
装置において、前記画像信号加工処理部に、前記復号処
理部から供給される前記復号画像信号に重畳されている
前記符号化パラメータを分離し、加工処理により加工前
と画像情報が変化した画素を有するマクロブロックに対
応する前記分離した符号化パラメータに、加工処理され
たことを示す情報を付加し、加工後の画像信号における
加工前の画像信号と同位置に、再度前記分離した符号化
パラメータを重畳する重畳手段を設けると共に、前記符
号化処理部に、前記画像信号加工処理部から供給される
前記復号画像信号に重畳されている前記符号化パラメー
タを分離して、符号化対象となる前記復号画像信号の符
号化対象マクロブロックに対応する前記分離した符号化
パラメータから検出した第1の加工処理されたことを示
す情報と、前記符号化対象となる復号画像信号の参照画
像における、前記符号化対象マクロブロックに対する予
測ブロックに該当する前記分離した符号化パラメータか
ら検出した第2の加工処理されたことを示す情報とに基
づき、前記符号化対象マクロブロックに対応する前記分
離した符号化パラメータが、符号化時に有効であるか無
効であるかを判断する判断手段を設け、前記符号化処理
部は、この判断手段が有効と判断した場合には、前記符
号化対象マクロブロックに対応する前記分離した符号化
パラメータに基づき前記符号化対象マクロブロックの符
号化を行い、この判断手段が無効と判断した場合には、
新たに符号化パラメータに該当する情報を生成し前記符
号化対象マクロブロックの符号化を行う、ことを特徴と
する画像信号加工装置。Accordingly, in order to solve the above-mentioned problems, the present invention provides the following apparatus. (1) In an image signal processing apparatus that performs processing on an input image signal, a decoded image signal on which an encoding parameter corresponding to a macroblock at the time of encoding before decoding is superimposed is used as an input image signal. The coding parameter superimposed on the image signal is separated, and information indicating that the processing has been performed on the separated coding parameter corresponding to a macroblock having a pixel whose image information has changed before processing by the processing. And a superimposing means for superimposing the separated coding parameters again at the same position as the input image signal in the processed image signal. (2) A decoded image signal obtained by decoding an encoded image signal that has been subjected to high-efficiency predictive encoding is superimposed with an encoding parameter corresponding to each macroblock at the time of encoding the encoded image signal, and is output. A decoding processing unit that performs processing on the decoded image signal output from the decoding processing unit, and a decoded image signal that is processed by the image signal processing unit. An image signal processing device having an encoding processing unit that performs high-efficiency predictive encoding based on the encoding parameter superimposed on the decoded image signal, wherein the image signal processing unit is supplied from the decoding processing unit. Separating the encoding parameter superimposed on the decoded image signal, and corresponding to a macroblock having a pixel whose image information has changed before processing by the processing. The encoding parameter is added with information indicating that the processing has been performed, and superimposing means for superimposing the separated encoding parameter again at the same position as the image signal before processing in the processed image signal is provided, An encoding processing unit separates the encoding parameter superimposed on the decoded image signal supplied from the image signal processing unit, and encodes the encoded image signal into an encoding target macroblock of the decoded image signal to be encoded. The information indicating that the first processing has been performed, which is detected from the corresponding separated encoding parameter, and corresponds to the prediction block for the encoding target macroblock in the reference image of the decoded image signal to be encoded. The encoding target macroblock based on the information indicating that the second processing has been performed, which is detected from the separated encoding parameters. A judging means for judging whether the corresponding separated encoding parameter is valid or invalid at the time of encoding is provided, and the encoding processing unit, when judging that the judging means is valid, sets the code Perform encoding of the encoding target macroblock based on the separated encoding parameters corresponding to the encoding target macroblock, and when the determination unit determines that the macroblock is invalid,
An image signal processing apparatus characterized by newly generating information corresponding to an encoding parameter and encoding the macroblock to be encoded.
【0035】[0035]
【発明の実施の形態】本発明の一実施例を用いた合成処
理を可能とするトランスコーディング装置(概略構成は
図8と同様)を例として、その一実施例の各部を説明す
る。図1に一実施例における合成装置の構成図を示す。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The components of one embodiment of the present invention will be described by taking as an example a transcoding device (schematic configuration is the same as that shown in FIG. 8) capable of performing synthesizing processing using the embodiment of the present invention. FIG. 1 shows a configuration diagram of a synthesizing apparatus according to one embodiment.
【0036】合成装置には、図9に示した復号装置で復
号されたベースバンド画像信号(符号化情報(符号化パ
ラメータ)が重畳されている復号画像信号)が入力さ
れ、フレームメモリ51に蓄えられる。画像合成回路部
52では、フレームメモリ51に記憶された画像信号
と、合成信号生成回路53で生成されるテロップデー
タ、もしくは合成信号入力回路54から入力された他の
画像信号を取り込み、合成処理を行う。A baseband image signal (a decoded image signal on which encoded information (encoded parameters) are superimposed) decoded by the decoding device shown in FIG. Can be The image synthesizing circuit 52 fetches the image signal stored in the frame memory 51 and the telop data generated by the synthesized signal generating circuit 53 or another image signal input from the synthesized signal input circuit 54, and executes the synthesizing process. Do.
【0037】画像合成回路部52内では、マクロブロッ
クに相応するブロックを切り出す2次元ブロック回路5
5,62が具備されている。2次元ブロック回路55に
おいては、10ビット入力信号の上位8ビットと下位2ビッ
トとが分離され、それぞれ作業メモリ56,57に格納
される。ブロック合成回路58では、切り出されたブロ
ック内に合成処理を行う画像が存在する場合には、フレ
ームメモリ51側の画像信号及び合成信号生成回路53
側(または合成信号入力回路54側)の画像信号それぞ
れの上位8ビットが入力され、合成処理が行われ、作業
メモリ56に合成されたデータが格納される。それと共
にEdited Flag挿入回路59において、下位2ビットをブ
ロック化したデータ内の特定位置のビットを1に書き換
え、作業メモリ57に格納する。In the image synthesizing circuit 52, a two-dimensional block circuit 5 for cutting out a block corresponding to a macro block
5,62 are provided. In the two-dimensional block circuit 55, the upper 8 bits and the lower 2 bits of the 10-bit input signal are separated and stored in the working memories 56 and 57, respectively. In the block synthesizing circuit 58, when an image to be synthesized is present in the cut-out block, the image signal and synthesized signal generation circuit 53 on the frame memory 51 side
The upper 8 bits of each of the image signals on the side (or on the side of the composite signal input circuit 54) are inputted, a composition process is performed, and the combined data is stored in the working memory 56. At the same time, the edited flag insertion circuit 59 rewrites a bit at a specific position in the data obtained by blocking the lower two bits into 1 and stores the bit in the working memory 57.
【0038】符号化情報(符号化パラメータ)の具体的
なフォーマットの例としては、前述したSMPTE 319M Fi
gure 1に示すものを用いるが、そのフォーマットのマク
ロブロック付加情報においてReserved Areaとなってい
る部分の内の1ビット(例えば水平方向0ビット目、垂
直方向9ビット目)を、Edited Flag追加用エリアとし
て用いる。このようなフォーマットをとる場合には、Ed
ited Flagを追加したことにより、CRCデータの変更が必
要となるため、CRC生成回路60を具備する。合成処理
が行われない場合には、作業メモリ56,57の内容は
変更されない。As a specific example of the format of the encoding information (encoding parameter), the aforementioned SMPTE 319M Fi
gure 1 is used, and one bit (for example, the 0th bit in the horizontal direction and the 9th bit in the vertical direction) of the Reserved Area in the macroblock additional information of the format is used as an edited flag addition area. Used as In such a format, Ed
Since the addition of the ited Flag necessitates a change in CRC data, a CRC generation circuit 60 is provided. When the synthesizing process is not performed, the contents of the working memories 56 and 57 are not changed.
【0039】デブロック回路61では、合成後の作業メ
モリ56,57に存在する上位8ビット、下位2ビットを
合わせて10ビット信号を構成し、フレームメモリ51の
同位置に書き込む。フレームメモリ51に書き込まれた
画像信号が出力され、符号化装置に入力される。The deblocking circuit 61 composes a 10-bit signal by combining the upper 8 bits and the lower 2 bits present in the working memories 56 and 57 after the combination, and writes the signal into the frame memory 51 at the same position. The image signal written in the frame memory 51 is output and input to the encoding device.
【0040】次に、一実施例における符号化装置の構成
図を図2に示し、これについて説明する。なお、符号化
装置の構成の内は、従来例である図10に示すものと同
様の部分には同一の符号を付し、その部分の具体的な説
明は省略する。Next, FIG. 2 shows a configuration diagram of an encoding apparatus according to an embodiment, which will be described. In the configuration of the encoding apparatus, the same reference numerals are given to the same parts as those shown in FIG. 10 which is a conventional example, and the detailed description of the parts will be omitted.
【0041】マクロブロック情報生成回路70は、従来
例で示した機能と共に、符号化情報内(符号化パラメー
タ)のEdited Flagを抜き出し、IピクチャもしくはPピ
クチャの場合には参照Edited Flagメモリ71に格納す
る。参照Edited Flagメモリ71は、マクロブロック毎
に1ビットで構成され、参照画像メモリ11と同様に、
基準フレームとなる画像のEdited Flagが格納されてコ
ントロールされる。The macroblock information generation circuit 70 extracts the edited flag from the coding information (coding parameter) together with the function shown in the conventional example, and stores it in the reference edited flag memory 71 in the case of an I picture or a P picture. I do. The reference edited flag memory 71 is composed of one bit for each macro block, and like the reference image memory 11,
The edited flag of the image serving as the reference frame is stored and controlled.
【0042】また、Edited Flagは有為無為検出回路7
2に入力され、符号化情報の使用が可能か否かを判断す
る。有為無為検出回路72では、該当するマクロブロッ
ク(符号化対象となる入力画像信号の符号化対象マクロ
ブロック)のEdited Flagと共に、符号化情報の予測モ
ードがIntraブロックでない場合には、動きベクトル値
を読み取り、予測された参照画像データが存在するマク
ロブロック(符号化対象となる入力画像信号の参照画像
における、前記符号化対象マクロブロックに対する予測
ブロック)のEdited Flagのアドレス値を計算する。Also, the Edited Flag is used for the purposelessness detection circuit 7.
2 to determine whether the coded information can be used. If the prediction mode of the coding information is not an Intra block, a motion vector value is added to the significance check circuit 72 together with the Edited Flag of the corresponding macroblock (the coding target macroblock of the input image signal to be coded). And calculates the Edit Flag address value of the macroblock in which the predicted reference image data exists (the prediction block for the encoding target macroblock in the reference image of the input image signal to be encoded).
【0043】動きベクトル値が水平方向X画素、垂直方
向Y画素、マクロブロックの先頭位置のポイントが水平
方向H、垂直方向Vの場合、必要となるEdited Flagが存
在するアドレス値は4種類存在し、マクロブロック位置
が、 (1)水平(H+X)/16、垂直(V+Y)/16 (2)水平(H+X+15)/16、垂直(V+Y)/16 (3)水平(H+X)/16、垂直(V+Y+15)/16 (4)水平(H+X+15)/16、垂直(V+Y+15)/
16 となる。これらのアドレス値から読み込んだEdited Fla
g(第2の加工処理されたことを示す情報)及び自マク
ロブロックのEdited Flag(第1の加工処理されたこと
を示す情報)の内、少なくとも一つが1となっている場
合には、符号化情報(符号化対象マクロブロックに対応
する前記符号化情報分離回路21で分離した符号化パラ
メータ)は無為であるとする。Intraブロックの場合に
は、自マクロブロックのEdited Flagに1が立っている時
に、無為であると判断する。When the motion vector value is X pixels in the horizontal direction, Y pixels in the vertical direction, and the point at the head position of the macroblock is H in the horizontal direction and V in the vertical direction, there are four types of address values in which the required Edit Flag is present. The macro block position is (1) horizontal (H + X) / 16, vertical (V + Y) / 16, (2) horizontal (H + X + 15) / 16, vertical (V + Y) / 16, (3) horizontal (H + X) / 16, Vertical (V + Y + 15) / 16 (4) Horizontal (H + X + 15) / 16, vertical (V + Y + 15) /
It becomes 16. Edited Fla read from these address values
If at least one of g (information indicating that the second processing has been performed) and Edited Flag (information indicating that the first processing has been performed) of the macroblock is 1, the code It is assumed that encoded information (encoding parameters separated by the encoded information separating circuit 21 corresponding to the encoding-target macroblock) is invalid. In the case of an Intra block, when the Edit Flag of the own macro block is set to 1, it is determined to be ineffective.
【0044】有為無為検出回路72の出力信号と、符号
化情報分離回路21によるマクロブロック毎の符号化情
報の非検出信号を参照し、マクロブロック毎の符号化処
理を行う。即ち、有為無為検出回路72が有為と判断し
た場合には、符号化対象マクロブロックに対応する前記
の分離した符号化パラメータに基づき符号化対象マクロ
ブロックの符号化を行う。有為無為検出回路72が無為
と判断した場合、及び符号化情報分離回路21から非検
出信号が出力された場合には、新たに符号化パラメータ
に該当する情報を生成し前記符号化対象マクロブロック
の符号化を行う。Referring to the output signal of the significance detection circuit 72 and the non-detection signal of the coded information for each macroblock by the coded information separation circuit 21, the coding process for each macroblock is performed. In other words, when the significance-ineffectiveness detection circuit 72 determines that the macroblock is significant, the encoding-target macroblock is encoded based on the separated encoding parameters corresponding to the encoding-target macroblock. When the probabilistic incompatibility detecting circuit 72 determines that the macroblock is ineffective, and when a non-detection signal is output from the encoded information separating circuit 21, information corresponding to an encoding parameter is newly generated and the encoding target macroblock is generated. Is performed.
【0045】以上説明したように、本実施例の装置によ
れば、符号化された画像信号を一旦復号してから編集、
テロップ挿入等の合成加工を施す場合に、合成装置で入
力画像信号の符号化情報を保持すると共に、加工された
ことを示すフラグ(Edited Flag)をマクロブロック毎
に書き込むことにより、符号化情報(符号化パラメー
タ)内のフレーム情報を完全に保持したまま再符号化処
理を行うことができる。よって、再符号化時のIフレー
ムの位置を以前に符号化されていたストリームのIフレ
ームの位置に合わせることができ、タンデム接続時の画
像劣化を低減できる。As described above, according to the apparatus of this embodiment, the encoded image signal is once decoded, then edited,
When performing synthesis processing such as insertion of a telop, the synthesis apparatus holds the coding information of the input image signal and writes a flag (Edited Flag) indicating that the processing has been performed for each macroblock, thereby obtaining coding information ( The re-encoding process can be performed while completely retaining the frame information in the (encoding parameter). Therefore, the position of the I-frame at the time of re-encoding can be matched with the position of the I-frame of the stream that has been encoded before, and image degradation at the time of tandem connection can be reduced.
【0046】さらに、本実施例の装置によれば、マクロ
ブロック内の一部分が加工されていることを示すフラグ
(Edited Flag)を合成装置と符号化装置の間にて受け
渡す仕組みを構築することで、符号化するマクロブロッ
ク自体が加工されているか否かを知ることができると共
に、予測処理を行う際の参照画像の予測ブロック内に加
工された領域が存在するか否かを容易に認識することが
でき、誤った符号化情報を使って再符号化処理を行うこ
とを防止できる。これにより、再符号化に有効な符号化
情報を適切に使用できるようになり、良好なトランスコ
ーディング機能が実現できる。Further, according to the apparatus of this embodiment, a mechanism for passing a flag (Edited Flag) indicating that a part of the macroblock has been processed between the synthesizing apparatus and the encoding apparatus is constructed. Thus, it is possible to know whether or not the macroblock itself to be coded has been processed, and easily recognize whether or not a processed region exists in the prediction block of the reference image when performing the prediction process. This makes it possible to prevent re-encoding processing using incorrect encoding information. This makes it possible to appropriately use encoded information that is effective for re-encoding, thereby realizing a good transcoding function.
【0047】[0047]
【発明の効果】以上の通り、本発明の画像信号加工装置
を用いれば、復号後に加工処理を受けた画像信号に対し
て再符号化を行う場合に、誤った符号化情報(符号化パ
ラメータ)を使用して再符号化処理を行うことを防止で
き、有効な符号化情報を適切に使用した再符号化が行え
るようになり、画質劣化が少ない再符号化が可能となる
と共に、良好なトランスコーディング機能を実現でき
る。As described above, when the image signal processing apparatus of the present invention is used, when re-encoding is performed on an image signal that has been processed after decoding, erroneous encoded information (encoding parameter) is obtained. Can be used to prevent re-encoding processing, re-encoding can be performed using valid encoded information appropriately, re-encoding with little image quality degradation can be performed, and a good transformer can be used. A coding function can be realized.
【図1】一実施例における合成装置の構成図である。FIG. 1 is a configuration diagram of a synthesis apparatus according to an embodiment.
【図2】一実施例における符号化装置の構成図である。FIG. 2 is a configuration diagram of an encoding device according to an embodiment.
【図3】MPEG2画像符号化で用いられる符号化体系を示
す図である。FIG. 3 is a diagram illustrating an encoding system used in MPEG2 image encoding.
【図4】MPEG2符号化時の符号化順並べ替えのタイミン
グを示す図である。FIG. 4 is a diagram showing the timing of rearranging the encoding order during MPEG2 encoding.
【図5】復号時のストリーム到達順と復号画像の出力順
の関係を示す図である。FIG. 5 is a diagram illustrating a relationship between a stream arrival order at the time of decoding and an output order of a decoded image.
【図6】MPEG2画像符号化装置の構成図である。FIG. 6 is a configuration diagram of an MPEG2 image encoding device.
【図7】MPEG2画像復号装置の構成図である。FIG. 7 is a configuration diagram of an MPEG2 image decoding device.
【図8】合成処理を可能とするトランスコーディング装
置の構成図である。FIG. 8 is a configuration diagram of a transcoding device that enables a combining process.
【図9】トランスコーディング機能を有する従来のMPEG
2画像復号装置の構成図である。FIG. 9 shows a conventional MPEG having a transcoding function.
FIG. 35 is a configuration diagram of a two-image decoding device.
【図10】トランスコーディング機能を有する従来のMP
EG2画像符号化装置の構成図である。FIG. 10 shows a conventional MP having a transcoding function.
FIG. 2 is a configuration diagram of an EG2 image encoding device.
21 符号化情報分離回路 22 符号化情報メモリ 24 符号化シンタックス制御回路 51 フレームメモリ 52 画像合成回路部 53 合成信号生成回路 54 合成信号入力回路 55,62 2次元ブロック回路 56,57 作業メモリ 58 ブロック合成回路 59 Edited Flag挿入回路 60 CRC生成回路 61 デブロック回路 70 マクロブロック情報生成回路 71 参照Edited Flagメモリ 72 有為無為検出回路 DESCRIPTION OF SYMBOLS 21 Encoding information separation circuit 22 Encoding information memory 24 Encoding syntax control circuit 51 Frame memory 52 Image synthesizing circuit part 53 Synthetic signal generation circuit 54 Synthetic signal input circuit 55, 62 Two-dimensional block circuit 56, 57 Work memory 58 block Synthesis circuit 59 Edited flag insertion circuit 60 CRC generation circuit 61 Deblocking circuit 70 Macro block information generation circuit 71 Referenced Edited Flag memory 72 Significant ineffectiveness detection circuit
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C059 KK41 MA00 RB11 RC00 SS00 UA02 UA31 5C063 AB03 AB05 CA11 DA07 5J064 AA01 BA09 BA13 BA16 BC01 BC02 BC08 BC16 BC25 BD02 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5C059 KK41 MA00 RB11 RC00 SS00 UA02 UA31 5C063 AB03 AB05 CA11 DA07 5J064 AA01 BA09 BA13 BA16 BC01 BC02 BC08 BC16 BC25 BD02
Claims (2)
信号加工装置において、 復号前の符号化時のマクロブロックに対応する符号化パ
ラメータが重畳されている復号画像信号を入力画像信号
とし、この入力画像信号に重畳されている前記符号化パ
ラメータを分離し、加工処理により加工前と画像情報が
変化した画素を有するマクロブロックに対応する前記分
離した符号化パラメータに、加工処理されたことを示す
情報を付加し、加工後の画像信号における入力画像信号
と同位置に、再度前記分離した符号化パラメータを重畳
する重畳手段を設けたことを特徴とする画像信号加工装
置。An image signal processing apparatus for processing an input image signal, wherein a decoded image signal on which an encoding parameter corresponding to a macroblock at the time of encoding before decoding is superimposed is an input image signal; The coding parameters superimposed on the input image signal are separated, and the separated coding parameters corresponding to macroblocks having pixels whose image information has changed before and after the processing by the processing are processed into the separated coding parameters. An image signal processing apparatus, further comprising: superimposing means for adding the indicated information and superimposing the separated coding parameter again at the same position as the input image signal in the processed image signal.
号を復号して得た復号画像信号に、前記符号化画像信号
の符号化時の各マクロブロックに対応する符号化パラメ
ータを重畳して出力する復号処理部と、 前記復号処理部から出力された前記復号画像信号に対し
て加工処理を行う画像信号加工処理部と、 前記画像信号加工処理部により加工された前記復号画像
信号に対して、その復号画像信号に重畳されている前記
符号化パラメータに基づき高能率予測符号化を行う符号
化処理部とを有する画像信号加工装置において、 前記画像信号加工処理部に、前記復号処理部から供給さ
れる前記復号画像信号に重畳されている前記符号化パラ
メータを分離し、加工処理により加工前と画像情報が変
化した画素を有するマクロブロックに対応する前記分離
した符号化パラメータに、加工処理されたことを示す情
報を付加し、加工後の画像信号における加工前の画像信
号と同位置に、再度前記分離した符号化パラメータを重
畳する重畳手段を設けると共に、 前記符号化処理部に、前記画像信号加工処理部から供給
される前記復号画像信号に重畳されている前記符号化パ
ラメータを分離して、符号化対象となる前記復号画像信
号の符号化対象マクロブロックに対応する前記分離した
符号化パラメータから検出した第1の加工処理されたこ
とを示す情報と、前記符号化対象となる復号画像信号の
参照画像における、前記符号化対象マクロブロックに対
する予測ブロックに該当する前記分離した符号化パラメ
ータから検出した第2の加工処理されたことを示す情報
とに基づき、前記符号化対象マクロブロックに対応する
前記分離した符号化パラメータが、符号化時に有効であ
るか無効であるかを判断する判断手段を設け、 前記符号化処理部は、この判断手段が有効と判断した場
合には、前記符号化対象マクロブロックに対応する前記
分離した符号化パラメータに基づき前記符号化対象マク
ロブロックの符号化を行い、この判断手段が無効と判断
した場合には、新たに符号化パラメータに該当する情報
を生成し前記符号化対象マクロブロックの符号化を行
う、ことを特徴とする画像信号加工装置。2. A coding method according to claim 1, further comprising: superimposing, on a decoded image signal obtained by decoding the coded image signal which has been subjected to high-efficiency predictive coding, an encoding parameter corresponding to each macroblock at the time of encoding the coded image signal. A decoding processing unit that performs processing on the decoded image signal output from the decoding processing unit; and a decoding processing unit that performs processing on the decoded image signal output from the decoding processing unit. And an encoding processing unit that performs high-efficiency prediction encoding based on the encoding parameter superimposed on the decoded image signal, wherein the image signal processing unit includes: The coding parameter superimposed on the supplied decoded image signal is separated, and the macroblock corresponding to a macroblock having a pixel whose image information has changed before processing by processing is separated. A superimposing means for adding information indicating that the processing has been performed to the separated encoding parameter, and superimposing the separated encoding parameter again at the same position as the image signal before processing in the processed image signal is provided. A coding target macro of the decoded image signal to be coded by separating the coding parameter superimposed on the decoded image signal supplied from the image signal processing unit to the coding processing unit; Information indicating that the first processing has been performed, which is detected from the separated encoding parameters corresponding to the block, and a reference block of the decoding target macroblock in the reference image of the decoded image signal to be encoded. The encoding target macro based on the information indicating that the second processing has been performed, which is detected from the corresponding separated encoding parameter. The separated encoding parameter corresponding to the lock is provided with a judging means for judging whether it is valid or invalid at the time of encoding.If the judging means judges that this judging means is valid, The coding target macroblock is coded based on the separated coding parameters corresponding to the coding target macroblock, and when the determination unit determines that the coding target macroblock is invalid, information corresponding to the coding parameter is newly added. And encoding the macroblock to be encoded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000332725A JP2002142224A (en) | 2000-10-31 | 2000-10-31 | Image signal-processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000332725A JP2002142224A (en) | 2000-10-31 | 2000-10-31 | Image signal-processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002142224A true JP2002142224A (en) | 2002-05-17 |
Family
ID=18808896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000332725A Pending JP2002142224A (en) | 2000-10-31 | 2000-10-31 | Image signal-processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002142224A (en) |
-
2000
- 2000-10-31 JP JP2000332725A patent/JP2002142224A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6574274B2 (en) | Picture signal processing system, decoder, picture signal processing method, and decoding method | |
JP2006246524A (en) | Method for indicating size, shape and location of region within digital picture, encoder for generating bitstream by encoding digital picture, decoder for decoding bitstream, and computer program product | |
JP2001238218A (en) | Signal converting apparatus and method | |
US6795498B1 (en) | Decoding apparatus, decoding method, encoding apparatus, encoding method, image processing system, and image processing method | |
JP3980659B2 (en) | Video encoding method and apparatus, video decoding method and apparatus. | |
JP2006295569A (en) | Moving picture decoder | |
US6556714B2 (en) | Signal processing apparatus and method | |
JPH07231449A (en) | Encoder and decoder for picture signal | |
JP2002142225A (en) | Image signal-coding device | |
JP4320509B2 (en) | Video re-encoding apparatus and method | |
JP2002142224A (en) | Image signal-processing device | |
JP4133581B2 (en) | Telop synthesis device, telop synthesis method, and telop synthesis program | |
JP4193162B2 (en) | Image signal encoding device | |
JP4228537B2 (en) | Image signal decoding / encoding device | |
JP2002016924A (en) | Transcoding device and transcoding method | |
JP3186406B2 (en) | Image synthesis coding method and image synthesis apparatus | |
JP4193252B2 (en) | Signal processing apparatus and method, signal decoding apparatus, and signal encoding apparatus | |
KR19980054366A (en) | Device and method for implementing PIP of digital TV | |
JP2002218470A (en) | Method for converting image encoded data rate and device for converting image encoding rate | |
JP2006217445A (en) | Moving image encoding device, encoding device, moving image recording apparatus, and moving image regeneration apparatus | |
JP3948142B2 (en) | High-efficiency encoding device and high-efficiency decoding device | |
KR20160002712A (en) | Method and apparatus for processing video signal | |
JP2006108785A (en) | Image encoder | |
JP4596277B2 (en) | Encoding device, encoding method, decoding device, and decoding method | |
JP4390009B2 (en) | Encoding apparatus and method, and image processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090116 |