JP5332329B2

JP5332329B2 - Down-decode device with a function to output a specific area at the same magnification

Info

Publication number: JP5332329B2
Application number: JP2008153350A
Authority: JP
Inventors: 寛史長岡
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2008-06-11
Filing date: 2008-06-11
Publication date: 2013-11-06
Anticipated expiration: 2028-06-11
Also published as: JP2009302774A

Abstract

<P>PROBLEM TO BE SOLVED: To provide a down decoder capable of displaying a specific area of an image, etc., desired to be magnified by magnifying the specific area in a reduced screen without degrading image quality. <P>SOLUTION: When a user designates a specific area to be displayed in a screen in an unmagnified manner, the same size image of a corresponding area is acquired from high resolution data, and about the other area, a reduced image is generated from the high resolution data. Then, the same size image of the specific area is overwritten at a position corresponding to the reduced image for display. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、動画像の復号処理に関し、特には、高解像度映像を低解像度モニタにダウンデコードする装置に関する。 The present invention relates to a moving image decoding process, and more particularly to an apparatus for down-decoding a high-resolution video to a low-resolution monitor.

フルＨＤ(High Definition: 1920x1080画素)などの高解像度画像は、これまでのＳＤ（Standard Definition）画像と比較すると約６倍の精度をもっており、きめ細やかな映像を楽しむことができる。しかし、携帯用機器など、映像を表示するモニタがフルＨＤの解像度を持っていない場合は、フルＨＤの画像を復号処理後に、スケーラによるダウンコンバート処理が必要となってくる。しかしながら、携帯用機器では消費電力が問題となるため、フルＨＤを全て復号するのではなく、復号処理時にダウンデコード処理を行うことにより、モニタが持つ低解像度の映像に変換する方法が用いられる。ダウンデコード処理とは、フルＨＤの解像度を持つストリームを復号する際に、ストリームに含まれている高周波成分の情報を切り捨てて処理するため、フルデコード処理と比較して処理量を削減することが可能な手法である。 High-resolution images such as full HD (High Definition: 1920x1080 pixels) have approximately six times the accuracy of conventional SD (Standard Definition) images, and you can enjoy fine-grained images. However, when a monitor that displays video, such as a portable device, does not have full HD resolution, a down-conversion process using a scaler is required after decoding a full HD image. However, since power consumption becomes a problem in portable devices, a method of converting to a low-resolution video of a monitor by performing down-decoding processing during decoding processing is used instead of decoding full HD. Down-decoding processing is to reduce the amount of processing compared to full decoding processing because when decoding a stream with full HD resolution, the high-frequency component information contained in the stream is truncated and processed. This is a possible technique.

圧縮符号化された高解像度の画像情報の部分表示を行う場合において、大容量のメモリを占有せず、高速に、復号化・表示できるシステムが知られている。
特開平９−１１６７５９号公報 In the case of performing partial display of compression-encoded high-resolution image information, a system that can decode and display at high speed without occupying a large-capacity memory is known.
JP-A-9-116759

図７〜図９は、従来技術の問題点を説明する図である。
しかしながら、ダウンデコード処理した映像を携帯機器などの低解像度モニタに出力する場合、本来のフルＨＤ画像の約1/4倍ほどに縮小されて表示されることとなるため、字幕やテロップ等の文字など、もともと小さく表示されていたものがさらに縮小されることとなる。図７のように、ＨＤストリームをビデオデコーダ１０で、縦、横ともに１／２に縮小し、スケーラ１１で、モニタサイズに画像のスケールを調整し、モニタに表示する。このとき、字幕やテロップ等の文字も縮小されて表示される。 7-9 is a figure explaining the problem of a prior art.
However, when the down-decoded video is output to a low-resolution monitor such as a portable device, it will be reduced to about 1/4 times the original full HD image. For example, what was originally displayed smaller is further reduced. As shown in FIG. 7, the HD stream is reduced to 1/2 both vertically and horizontally by the video decoder 10, and the scale of the image is adjusted to the monitor size by the scaler 11 and displayed on the monitor. At this time, characters such as subtitles and telops are also reduced and displayed.

そこで、字幕やテロップ等、小さく表示されてしまう対象を、認識できるレベルに拡大することが必要とされる。縮小された字幕やテロップ、細かい物などを問題なく認識するためには、縮小された画像を部分的に拡大することにより実現できる。しかしながら、ダウンデコード処理を行った後にスケーラ等による拡大処理を行うと、低解像度の映像を拡大処理するため、画質の劣化が生じることとなる。そこで、画質の劣化を抑えた拡大処理手法が要求される。 Therefore, it is necessary to expand the target that is displayed small, such as subtitles and telops, to a recognizable level. Recognizing reduced subtitles, telops, and fine objects without problems can be realized by partially enlarging the reduced image. However, if an enlargement process using a scaler or the like is performed after the downdecode process, an image with a low resolution is enlarged, resulting in degradation of image quality. Therefore, an enlargement processing method that suppresses deterioration of image quality is required.

画質劣化を抑えて動画像の拡大処理を行うために、ダウンデコード処理において、特定の領域を等倍の解像度で処理することができれば、通常のダウンデコード画像の上に等倍で復号した画像を重ね合わせることにより、解像度を失うことなく、特定領域の動画像の拡大処理が可能となる。しかしながら、特定の領域のみを等倍でデコードする場合には以下のような問題が発生する。 If you can process a specific area at the same resolution in the down-decoding process to suppress the image quality degradation and perform the moving image enlargement process, the image decoded at the same magnification on the normal down-decoded image By superimposing, it is possible to enlarge a moving image in a specific area without losing resolution. However, when only a specific area is decoded at the same magnification, the following problem occurs.

動画像では、動き補償という技術を用いることにより情報量の圧縮を行っている。動き補償は、対象画像に対して時間的に前後している画像の情報を利用するものであり、上記手法を用いて符号化された画像はPピクチャ、またはBピクチャと呼ばれている。また、動き補償を用いずに対象画像でのみ符号化された画像はIピクチャと呼ばれる。 In moving images, the amount of information is compressed by using a technique called motion compensation. The motion compensation uses information on an image that is temporally changed with respect to the target image, and an image encoded by using the above method is called a P picture or a B picture. An image encoded only with the target image without using motion compensation is called an I picture.

PピクチャやBピクチャを復号するためには以前に復号した画像をとっておく必要がある。それゆえ該当ピクチャがPピクチャ、またはBピクチャであった場合で、マクロブロック(フレームをさらに分割した単位)が動き予測として特定の領域の外を予測値としていた場合、参照画像であるIもしくはPピクチャの特定領域外の画像情報を保持していないため、そのマクロブロックは正しく復号することができなくなる。すなわち、図８のように、Ｐピクチャは、Ｉピクチャを参照し、Ｂピクチャは、ＩピクチャとＰピクチャを参照する。そのとき、図８右に示されたように、動きベクトルが大きくなって、復号に用いられる特定領域外に出てしまうことが起こる。 In order to decode a P picture or a B picture, it is necessary to take a previously decoded image. Therefore, if the corresponding picture is a P picture or a B picture, and the macro block (unit obtained by further dividing the frame) uses a prediction value outside a specific area as a motion prediction, I or P that is a reference image Since the image information outside the specific area of the picture is not held, the macroblock cannot be correctly decoded. That is, as shown in FIG. 8, the P picture refers to the I picture, and the B picture refers to the I picture and the P picture. At that time, as shown in the right side of FIG. 8, the motion vector becomes large, and it may go out of the specific area used for decoding.

従来、一般的に、動きベクトルから正しい予測値を得ることができないという問題を解決するためには、動きベクトルを”0”として処理する手法が用いられており、その手法を特定領域の等倍復号に適用することが可能ではある(図９参照)。しかし、動きベクトルを”0”とした場合、実際は動きが存在する領域に対して、動いていないものとみなして処理するため、本来の画像とは異なる復号結果となり、画質が劣化するという問題が発生する。 Conventionally, in order to solve the problem that a correct predicted value cannot be obtained from a motion vector, a method of processing a motion vector as “0” is generally used. It can be applied to decoding (see FIG. 9). However, when the motion vector is set to “0”, the region where the motion actually exists is processed as if it is not moving, so the decoding result is different from the original image, and the image quality deteriorates. Occur.

本発明の課題は、拡大したい画像等の特定領域を、画質の劣化なく、縮小画面において拡大表示可能なダウンデコード装置を提供することである。 An object of the present invention is to provide a down-decoding device capable of enlarging and displaying a specific area such as an image to be enlarged on a reduced screen without deterioration in image quality.

本発明のダウンデコード装置は、復号時に圧縮符号化された高解像度画像から低解像度画像を生成するダウンデコード装置において、画像の特定領域を指定する指定手段と、該特定領域以外の領域について、該高解像度画像から低解像度画像を生成する解像度変換手段と、該特定領域の高解像度画像と、該低解像度画像とを、指定された出力形式に従って出力する出力手段とを備える。 The down-decoding device of the present invention is a down-decoding device that generates a low-resolution image from a high-resolution image that has been compression-encoded at the time of decoding, and a designation unit that designates a specific region of the image, and a region other than the specific region, Resolution conversion means for generating a low resolution image from the high resolution image, output means for outputting the high resolution image of the specific area, and the low resolution image according to a designated output format.

本発明によれば、画質の劣化を抑制し、拡大したい画像領域を拡大表示できるダウンデコード装置を提供することが出来る。 According to the present invention, it is possible to provide a down-decoding device that can suppress degradation of image quality and can enlarge and display an image region to be enlarged.

本発明の実施形態では、特定領域を画質の劣化を抑えて、等倍で復号処理を行うものである。特定領域の位置はユーザ側で任意に指定可能とし、特定領域のサイズも可変とする。また、特定領域のみ等倍処理する際も、ダウンデコード処理は通常通り行う。復号する手法としては、Iピクチャのみ、特定領域の復号をする簡易手法（第１の実施形態）と、I,P,Bピクチャ全てについて、特定領域の復号をする手法（第２の実施形態）が以下に示される。 In the embodiment of the present invention, the specific region is subjected to the decoding process at the same magnification while suppressing the deterioration of the image quality. The position of the specific area can be arbitrarily specified by the user, and the size of the specific area is also variable. In addition, the down-decode process is performed as usual even when the same-size process is performed only on a specific area. As a decoding method, a simple method for decoding a specific region only for I pictures (first embodiment) and a method for decoding a specific region for all I, P, and B pictures (second embodiment) Is shown below.

図１は、第１の実施形態を概略説明する図である。
第１の実施形態においては、Iピクチャのみ、特定領域の等倍復号を行う。そして、Ｉピクチャの等倍復号された特定領域は、ＧＯＰ（Group Of Pictures）の他のピクチャの同位置に表示され続け、次のＩピクチャがきたときに、更新される。他のピクチャの同位置の画像は、Ｉピクチャの等倍復号された画像によって上書きされており、モニタからでは見ることが出来ないようになっている。Iピクチャでは動き補償を行わないため、画質劣化なしに特定領域の復号が可能である。 FIG. 1 is a diagram schematically illustrating the first embodiment.
In the first embodiment, the same area decoding of a specific area is performed only for an I picture. The specific area of the I picture that has been subjected to the same magnification decoding is continuously displayed at the same position as other pictures of the GOP (Group Of Pictures), and is updated when the next I picture comes. An image at the same position of another picture is overwritten by an image that has been subjected to the same size decoding of the I picture, and cannot be viewed from the monitor. Since motion compensation is not performed in the I picture, a specific area can be decoded without deterioration in image quality.

図２は、第２の実施形態を概略説明する図である。
第２の実施形態においては、I,B,P全てのピクチャについて特定領域の等倍復号処理を行う。Bピクチャ、Pピクチャの場合において、動き補償を行う場合、以下の処理に分類す
る。
・動き補償を行う場合に特定領域内を参照する場合は等倍参照画像より、参照画像を生成する。
・動き補償を行う場合に特定領域外を参照する場合は、縮小された参照画より、参照画像を生成する。 FIG. 2 is a diagram for schematically explaining the second embodiment.
In the second embodiment, the specific region equal magnification decoding process is performed for all the pictures of I, B, and P. In the case of B pictures and P pictures, when motion compensation is performed, the processing is classified as follows.
When referring to the specific area when performing motion compensation, a reference image is generated from the same-size reference image.
When referring to outside the specific area when performing motion compensation, a reference image is generated from the reduced reference image.

第１の実施形態は、処理量は少ないが、Iピクチャのみの等倍復号処理であるため、なめらかな映像の再現は困難である。野球や、サッカー等の点数表示など、動きの少ない領域に対して有効となる。 In the first embodiment, although the processing amount is small, since it is an equal-size decoding process using only I pictures, it is difficult to reproduce a smooth video. This is effective for areas with little movement, such as baseball and soccer display.

第２の実施形態は、処理量は第１の実施形態よりも増加するが、I,B,P全てのピクチャに対して等倍復号処理を行うため、なめらかな映像を再現することができる。
本実施形態により、画質劣化を抑えたまま、特定領域の等倍復号処理が可能となる。また、等倍復号処理に加えてダウンデコード処理も行うため、等倍復号画像と、縮小復号画像の両方を復号することとなり、縮小画像の上に等倍画像を重ね合わせることが可能となる。 In the second embodiment, the processing amount is larger than that in the first embodiment, but since the same-size decoding process is performed on all the pictures of I, B, and P, a smooth video can be reproduced.
According to the present embodiment, it is possible to perform the same-size decoding process for a specific area while suppressing deterioration in image quality. Further, since down-decode processing is performed in addition to the same-size decoding processing, both the same-size decoded image and the reduced decoded image are decoded, and the same-size image can be superimposed on the reduced image.

図３は、縮小画像と等倍画像の重ね合わせの様子を示す図である。
高解像度データから特定領域について等倍画像を生成し、他の領域については縮小画像を生成して、これらを合成することにより、特定領域については、画質の劣化なく、小さな画面に拡大表示した効果を得、他の領域については、小さな画面に適した縮小画像を表示することができる。画像の合成は、等倍画像の座標位置を保持しておき、縮小画像内の縮小された座標位置の対応する位置に等倍画像を表示するように、両者を合成する。 FIG. 3 is a diagram illustrating a state in which the reduced image and the same size image are superimposed.
The same-size image is generated for a specific area from high-resolution data, the reduced image is generated for other areas, and these are combined to create an enlarged display of the specific area on a small screen without image quality degradation. In other areas, a reduced image suitable for a small screen can be displayed. In the image synthesis, the coordinate position of the equal-size image is held, and both are synthesized so that the equal-size image is displayed at a position corresponding to the reduced coordinate position in the reduced image.

図４は、２つの実施形態を含む特定領域の等倍復号処理フローである。
特定領域の等倍復号処理を行う単位はGOP単位としている。
まず、符号化されたストリームの文法解析を行い、GOPの先頭であるかどうかを判定する（ステップＳ１０）。GOPの先頭であった場合は、GOP処理開始となり（ステップＳ１１）、GOPヘッダを読み込んで、ステップＳ１２において、等倍復号をするかどうかの確認を行う。 FIG. 4 is a specific area equal magnification decoding process flow including two embodiments.
The unit for performing the same-size decoding process for the specific area is the GOP unit.
First, grammatical analysis of the encoded stream is performed to determine whether or not it is the head of the GOP (step S10). If it is the head of the GOP, the GOP process is started (step S11), the GOP header is read, and in step S12, it is confirmed whether or not the same-size decoding is performed.

等倍復号を行う場合は、たとえば等倍復号フラグに”1”を設定し、等倍復号を行う領域の設定、合成フラグの設定を行う（ステップＳ１４）。等倍復号を行わない場合は等倍復号フラグに”0”を設定する（ステップＳ１３）。GOPの先頭でなかった場合は、等倍復号フラグ、等倍復号領域は変更せずにステップＳ１５の処理へと移る。 In the case of performing the same-size decoding, for example, “1” is set in the same-size decoding flag, the area for performing the same-size decoding is set, and the synthesis flag is set (step S14). If the same size decoding is not performed, “0” is set to the same size decoding flag (step S13). If it is not the head of the GOP, the process proceeds to step S15 without changing the equal-size decoding flag and the equal-size decoding area.

次に、ピクチャヘッダを読み込み（ステップＳ１５）、ピクチャ単位の文法情報を得る。その後、スライス単位の文法情報、MB単位の文法情報を取り出す（ステップＳ１６、Ｓ１７）。その後、MB単位で復号処理を繰り返す。 Next, the picture header is read (step S15), and grammatical information for each picture is obtained. Thereafter, grammatical information in units of slices and grammatical information in units of MB are extracted (steps S16 and S17). Thereafter, the decoding process is repeated in MB units.

MB処理完了後、スライス処理が完了したかどうかを確認し（ステップＳ２０）、完了している場合は次のスライスの文法解析に戻る。次のスライスがなければ、ピクチャ処理が完了となる（ステップＳ２１）。MB処理終了後、スライス処理が完了していない場合は、次のMB処理を実行する。 After the MB processing is completed, it is confirmed whether or not the slice processing has been completed (step S20). If completed, the processing returns to the grammatical analysis of the next slice. If there is no next slice, picture processing is completed (step S21). If the slice process is not completed after the MB process is completed, the next MB process is executed.

MB処理毎に、等倍復号を実行するかどうかをまず判定する（ステップＳ１８）。等倍復号の判定としては、等倍処理フラグに”1”が設定されていること、かつ、現在処理中のMBが等倍復号領域内に存在することである。上記を共に満足する場合、等倍復号処理に移行する（ステップＳ３０）。上記どちらか一方でも満足しない場合は、等倍復号処理は実行せず、通常の縮小復号処理（ダウンデコード処理）を実行する（ステップｓＳ１９）。
図４の枠内は、等倍処理のフローである。 For each MB process, it is first determined whether or not to execute the equal magnification decoding (step S18). The determination of the equal magnification decoding is that “1” is set in the equal magnification processing flag and that the MB currently being processed exists in the equal magnification decoding area. If both of the above are satisfied, the process proceeds to the same-size decoding process (step S30). If either one of the above is not satisfied, the normal-size decoding process (down-decoding process) is executed without executing the equal-size decoding process (step sS19).
The inside of the frame in FIG. 4 is a flow of equal magnification processing.

まず、MBがイントラであるか、非イントラ(インター)であるかを判定する（ステップＳ３１）。MBがイントラである場合は、予測画像が不要であるため、IQ(逆量子化)、IDCT(逆離散コサイン変換)を実行し、復号画像を得る（ステップＳ３７）。MBが非イントラであった場合は、動きベクトル情報より、参照画の位置を計算する。そして、参照画が特定領域内を参照するものであるか否かを判断する（ステップＳ３２）。 First, it is determined whether the MB is intra or non-intra (inter) (step S31). When the MB is intra, a predicted image is unnecessary, so IQ (inverse quantization) and IDCT (inverse discrete cosine transform) are executed to obtain a decoded image (step S37). If the MB is non-intra, the position of the reference image is calculated from the motion vector information. Then, it is determined whether or not the reference image refers to the specific area (step S32).

先ほど計算した参照画の位置情報によって、使用する参照画を切り替える。具体的には、参照画の位置が特定復号領域内であった場合と、特定復号領域をはみ出している場合とに分類する。特定復号領域内であった場合は、1/1フレームメモリより、参照画像を取り出す（ステップＳ３３）。特定復号領域をはみ出している場合は、1/1フレームメモリではなく、縮小フレームメモリより、参照画像を取り出す（ステップＳ３４）。そして、縮小画像を復元処理し（ステップＳ３５）、ステップＳ３６において、予測画を作成する。ここでは、参照画像は縮小された画像であるため、等倍サイズに復元する必要がある。等倍サイズへの復元手法は、特に限定しない。たとえば、ひとつの画素データを複製して復元する手法や、隣接する画素から補間する手法などが挙げられる。これによって復元された参照画を、現在のMBの参照画像として用い、非イントラMBの復号処理を行う。すなわち、IQ(逆量子化)、IDCT(逆離散コサイン変換)、ＭＣ（動き補償）を実行し、復号画像を得る（ステップＳ３７）。そして、ステップＳ３８において、１／１予測画のフレームメモリへの書き込みを行う。ここで、１／１予測画とか、１／１フレームメモリとは、縮小画出ではなく、等倍画像の予測画とか、等倍画像のフレームメモリという意味である。 The reference image to be used is switched according to the position information of the reference image calculated earlier. Specifically, the reference image is classified into a case where the position of the reference image is within the specific decoding area and a case where the position of the specific decoding area protrudes. If it is within the specific decoding area, a reference image is extracted from the 1/1 frame memory (step S33). If the specific decoding area is protruded, the reference image is extracted from the reduced frame memory instead of the 1/1 frame memory (step S34). Then, the reduced image is restored (step S35), and a predicted image is created in step S36. Here, since the reference image is a reduced image, it is necessary to restore it to the same size. The restoration method to the same size is not particularly limited. For example, there are a method of copying and restoring one pixel data, a method of interpolating from adjacent pixels, and the like. The reference picture restored in this way is used as a reference picture of the current MB, and a non-intra MB decoding process is performed. That is, IQ (inverse quantization), IDCT (inverse discrete cosine transform), and MC (motion compensation) are executed to obtain a decoded image (step S37). In step S38, the 1/1 predicted image is written to the frame memory. Here, the 1/1 predicted image or the 1/1 frame memory means not a reduced image but a predicted image of the same size image or a frame memory of the same size image.

上記手法により、参照画像が、等倍復号領域の外にある場合においても、縮小画像からの参照画を用いることにより、画質の劣化を低減させることが可能となる。
ピクチャ処理の完了後、等倍フラグと、合成フラグにより、出力する画像を選択する（ステップＳ２２、Ｓ２３）。まず、等倍フラグが1かどうかを確認する。等倍フラグが1でない場合は、ダウンデコード処理した縮小画像を出力する。等倍フラグが1であった場合、さらに合成フラグを確認する。合成フラグが1でない場合は、等倍処理した等倍画像のみを出力する。合成フラグが1であった場合は、縮小画像上に等倍画像を重ね合わせた画像を出力する。なお、等倍画像を出力する領域は、ユーザが、縮小画像を見て、見づらい領域を画面上で指定する。この指定された領域が、その後等倍画像の出力対象となる。 According to the above method, even when the reference image is outside the equal-size decoding region, it is possible to reduce image quality degradation by using the reference image from the reduced image.
After the picture processing is completed, an image to be output is selected based on the same size flag and the combination flag (steps S22 and S23). First, it is checked whether or not the equal magnification flag is 1. If the same size flag is not 1, a down-decoded reduced image is output. When the same size flag is 1, the composition flag is further confirmed. If the composition flag is not 1, only the same size processed image is output. When the synthesis flag is 1, an image in which the same size image is superimposed on the reduced image is output. Note that the area for outputting the same-size image is designated by the user on the screen as it is difficult to see the reduced image. This designated area is the output target of the same size image thereafter.

図５は、縮小画像を等倍サイズへ復元する手法について説明する図である。
（１）は、複製する方法である。左側の画素が少ない状態が縮小画である。これを縦・横２倍にする場合には、縮小画像での１画素を２×２の４つの画素に複製するものである。 FIG. 5 is a diagram for explaining a technique for restoring a reduced image to an equal size.
(1) is a method of copying. A reduced image is a state where there are few pixels on the left side. When this is doubled vertically and horizontally, one pixel in the reduced image is duplicated into four pixels of 2 × 2.

（２）は、補間する方法である。補間にはさまざまな方法が知られており、そのいずれの方法を用いてもよい。画素と画素の間に新たに画素を設ける場合、隣り合う複数個の画素の値を線形補間して、新たな画素の画素値を求めるようにしてもよい。 (2) is an interpolation method. Various methods are known for interpolation, and any of them may be used. When a new pixel is provided between pixels, the value of a plurality of adjacent pixels may be linearly interpolated to obtain the pixel value of the new pixel.

図６は、本発明の第１及び第２の実施形態の両方を実現可能な回路構成を示すブロック図である。
一般的なダウンデコード処理の回路に加え、等倍処理フラグレジスタ２０、合成フラグレジスタ２１、領域指定レジスタ２２、復号モード信号２５、出力モード信号２６、8x8IDCTブロック２３、参照画像の復元処理ブロック２４が追加となる。 FIG. 6 is a block diagram showing a circuit configuration capable of realizing both the first and second embodiments of the present invention.
In addition to a general down-decode processing circuit, there are an equal-size processing flag register 20, a synthesis flag register 21, a region designation register 22, a decoding mode signal 25, an output mode signal 26, an 8x8 IDCT block 23, and a reference image restoration processing block 24. It will be added.

等倍処理フラグレジスタ２０では、GOP単位での等倍処理の有無が設定される。合成フラグレジスタ２１では、縮小画像の上に等倍画像を重ね合わせて出力するか、等倍画像の
みを出力するかの設定がなされる。出力モード信号２６は、等倍処理フラグと合成フラグにより決定される、縮小画像の上に等倍画像を重ね合わせるか、等倍画像のみ出力するかなどを示す信号である。領域指定レジスタ２２では、等倍処理を行う領域が設定される。これらのレジスタと、現在のMBアドレスにより、復号モードを制御する。復号モードは、復号モード信号２５により指定される。復号モードは、現在のマクロブロックが、縮小画像か等倍画像かによって決定される。 In the same size processing flag register 20, the presence / absence of the same size processing in GOP units is set. In the synthesis flag register 21, it is set whether to output the same size image superimposed on the reduced image or to output only the same size image. The output mode signal 26 is a signal that is determined by the equal-magnification processing flag and the synthesis flag and indicates whether the equal-magnification image is superimposed on the reduced image or only the equal-magnification image is output. In the area designation register 22, an area for performing the equal magnification process is set. The decoding mode is controlled by these registers and the current MB address. The decoding mode is specified by the decoding mode signal 25. The decoding mode is determined depending on whether the current macroblock is a reduced image or an equal-size image.

IDCT(逆離散コサイン変換)ブロック２７では、8x8画素処理可能なIDCT回路が必要となる。そのために、8x8IDCTブロック２３が設けられている。PRED(予測画作成)ブロック２８では、縮小画像から取り出した参照画の等倍画像への復元を行う回路（復元処理部２４）が追加される。 The IDCT (Inverse Discrete Cosine Transform) block 27 requires an IDCT circuit capable of processing 8 × 8 pixels. For this purpose, an 8x8 IDCT block 23 is provided. In the PRED (prediction image creation) block 28, a circuit (restoration processing unit 24) for restoring the reference image extracted from the reduced image to the same size image is added.

可変長符号復号部２９は、ストリームを可変長復号し、シンタックスを取り出すものである。取り出されたシンタックスは、文法解析部３０で解析され、ＤＣＴ係数、ベクトルデータなどが取り出される。逆量子化部３１は、ＤＣＴ係数などを逆量子化し、IDCT部２７に送る。IDCT部２７は、逆量子化されたＤＣＴ係数から、空間領域の画像を復元し、動き補償部３２に送る。動き補償部３２は、ベクトルデータから得られた予測画像動きベクトルを受け取り、画像に動き補償を行って、フレームメモリ３３に入力する。 The variable length code decoding unit 29 performs variable length decoding on the stream to extract the syntax. The extracted syntax is analyzed by the grammar analysis unit 30, and DCT coefficients, vector data, and the like are extracted. The inverse quantization unit 31 inversely quantizes DCT coefficients and the like, and sends them to the IDCT unit 27. The IDCT unit 27 restores a spatial domain image from the inversely quantized DCT coefficient and sends the image to the motion compensation unit 32. The motion compensation unit 32 receives the predicted image motion vector obtained from the vector data, performs motion compensation on the image, and inputs it to the frame memory 33.

上記実施形態に加え、以下の付記を開示する。
（付記１）
圧縮符号化された第１解像度の第１解像度画像から、前記第１解像度よりも低い第２解像度の第２解像度画像を生成するダウンデコード装置において、
画像の特定領域を指定する指定手段と、
該特定領域以外の領域について、該第１解像度画像から第２解像度画像を生成する解像度変換手段と、
該特定領域の前記第１解像度画像と、該第２解像度画像とを、出力する出力手段と、
を備えることを特徴とするダウンデコード装置。
（付記２）
該第１解像度画像は、ＭＰＥＧで符号化された動画像の画像であり、前記特定領域の前記第１解像度画像は、Ｉピクチャから取得されることを特徴とする付記１に記載のダウンデコード装置。
（付記３）
該第１解像度画像は、ＭＰＥＧで符号化された動画像の画像であり、前記特定領域の前記第１解像度画像は、すべてのピクチャから生成されることを特徴とする付記１に記載のダウンデコード装置。
（付記４）
前記特定領域の前記第１解像度画像の予測画像を生成する際、該特定領域内の画像を参照する場合には、前のピクチャの該特定領域の前記第１解像度画像を用いて動き補償を行い、該特定領域外の画像を参照する場合には、前のピクチャの前記第２解像度画像を前記第１解像度に復元して、動き補償に用いることを特徴とする付記３に記載のダウンデコード装置。
（付記５）
前記復元は、前記第２解像度画像の画素を複製して、前記第１解像度画像を生成することを特徴とする付記４に記載のダウンデコード装置。
（付記６）
前記復元は、前記第２解像度画像の画素の補間を行って、前記第１解像度画像を生成することを特徴とする付記４に記載のダウンデコード装置。
（付記７）
前記出力手段は、前記特定領域の前記第１解像度画像と、前記第２解像度画像とを重ね
合わせて出力することを特徴とする付記１に記載のダウンデコード装置。
（付記８）
圧縮符号化された第１解像度の第１解像度画像から、前記第１解像度よりも低い第２解像度の第２解像度画像を生成するダウンデコード方法において、
画像の特定領域を指定し、
該特定領域以外の領域について、該第１解像度画像から第２解像度画像を生成し、
該特定領域の前記第１解像度画像と、該第２解像度画像とを、出力する、
ことを特徴とするダウンデコード方法。 In addition to the above embodiment, the following supplementary notes are disclosed.
(Appendix 1)
In a down-decoding device that generates a second resolution image having a second resolution lower than the first resolution from a compression-encoded first resolution image having the first resolution,
A designation means for designating a specific area of the image;
Resolution conversion means for generating a second resolution image from the first resolution image for an area other than the specific area;
Output means for outputting the first resolution image and the second resolution image of the specific area;
A down-decoding device comprising:
(Appendix 2)
The down-decoding device according to claim 1, wherein the first resolution image is a moving image image encoded by MPEG, and the first resolution image in the specific area is obtained from an I picture. .
(Appendix 3)
The down-decoding according to claim 1, wherein the first resolution image is a moving image image encoded in MPEG, and the first resolution image in the specific area is generated from all pictures. apparatus.
(Appendix 4)
When generating a predicted image of the first resolution image in the specific area, when referring to an image in the specific area, motion compensation is performed using the first resolution image in the specific area of the previous picture. The down-decoding device according to appendix 3, wherein when referring to an image outside the specific region, the second resolution image of the previous picture is restored to the first resolution and used for motion compensation. .
(Appendix 5)
The down-decoding device according to appendix 4, wherein the restoration is performed by duplicating pixels of the second resolution image to generate the first resolution image.
(Appendix 6)
The down-decoding device according to appendix 4, wherein the restoration is performed by interpolating pixels of the second resolution image to generate the first resolution image.
(Appendix 7)
The down-decoding device according to appendix 1, wherein the output means outputs the first resolution image and the second resolution image of the specific area in a superimposed manner.
(Appendix 8)
In a down-decoding method for generating a second resolution image having a second resolution lower than the first resolution from a compression-encoded first resolution image having the first resolution,
Specify a specific area of the image,
Generating a second resolution image from the first resolution image for an area other than the specific area;
Outputting the first resolution image and the second resolution image of the specific region;
A down-decoding method characterized by that.

第１の実施形態を概略説明する図である。It is a figure explaining a 1st embodiment roughly. 第２の実施形態を概略説明する図である。It is a figure which illustrates 2nd Embodiment roughly. 縮小画像と等倍画像の重ね合わせの様子を示す図である。It is a figure which shows the mode of a superimposition of a reduced image and a normal magnification image. ２つの実施形態を含む特定領域の等倍復号処理フローである。It is the same area | region decoding process flow of the specific area | region containing 2 embodiment. 縮小画像を等倍サイズへ復元する手法について説明する図である。It is a figure explaining the method to decompress | restore a reduced image to equal size. 本発明の第１及び第２の実施形態の両方を実現可能な回路構成を示すブロック図である。It is a block diagram which shows the circuit structure which can implement | achieve both the 1st and 2nd embodiment of this invention. 従来技術の問題点を説明する図（その１）である。It is FIG. (1) explaining the problem of a prior art. 従来技術の問題点を説明する図（その２）である。It is FIG. (2) explaining the problem of a prior art. 従来技術の問題点を説明する図（その３）である。It is FIG. (3) explaining the problem of a prior art.

符号の説明Explanation of symbols

２０等倍処理フラグレジスタ
２１合成フラグレジスタ
２２領域指定レジスタ
２３ 8x8IDCT部
２４復元処理部
２５復元モード信号
２６出力モード信号
２７ IDCT部
２８ PRED部
２９可変長符号復号部
３０文法解析部
３１逆量子化部
３２動き補償部
３３フレームメモリ 20 equality processing flag register 21 synthesis flag register 22 area specification register 23 8x8 IDCT unit 24 restoration processing unit 25 restoration mode signal 26 output mode signal 27 IDCT unit 28 PRED unit 29 variable length code decoding unit 30 grammar analysis unit 31 inverse quantization unit 32 motion compensation unit 33 frame memory

Claims

復号時に圧縮符号化された高解像度画像に基づきデータサイズの小さい縮小画像を生成するダウンデコード装置において、
該高解像度画像の特定領域を指定する指定手段と、
該特定領域以外の領域について、該高解像度画像よりも解像度の低い低解像度画像を生成する解像度変換手段と、
該特定領域の高解像度画像と、該特定領域以外の領域の該低解像度画像とを組み合わせた該縮小画像を、指定された出力形式に従って出力する出力手段と、
を備え、
該高解像度画像は、ＭＰＥＧで符号化された動画像の画像であり、前記特定領域の前記高解像度画像は、すべてのピクチャから生成され、
前記特定領域の前記高解像度画像の予測画像を生成する際、該特定領域内の画像を参照する場合には、前のピクチャの該特定領域の前記高解像度画像を用いて動き補償を行い、該特定領域外の画像を参照する場合には、前のピクチャの前記低解像度画像を前記高解像度に復元して、動き補償に用いる
ことを特徴とするダウンデコード装置。 In a down-decoding device that generates a reduced image with a small data size based on a high-resolution image compression-encoded at the time of decoding,
Designation means for designating a specific area of the high-resolution image;
Resolution conversion means for generating a low resolution image having a lower resolution than the high resolution image for an area other than the specific area;
Output means for outputting the reduced image obtained by combining the high-resolution image of the specific area and the low-resolution image of the area other than the specific area according to a specified output format;
Equipped with a,
The high-resolution image is a moving image image encoded in MPEG, and the high-resolution image in the specific area is generated from all the pictures,
When generating a predicted image of the high-resolution image of the specific region, when referring to an image in the specific region, motion compensation is performed using the high-resolution image of the specific region of a previous picture, The down-decoding device , wherein when referring to an image outside a specific area, the low-resolution image of a previous picture is restored to the high resolution and used for motion compensation .