JP2008079152A - Picture encoding and picture decoding methods - Google Patents
Picture encoding and picture decoding methods Download PDFInfo
- Publication number
- JP2008079152A JP2008079152A JP2006257901A JP2006257901A JP2008079152A JP 2008079152 A JP2008079152 A JP 2008079152A JP 2006257901 A JP2006257901 A JP 2006257901A JP 2006257901 A JP2006257901 A JP 2006257901A JP 2008079152 A JP2008079152 A JP 2008079152A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- picture
- resolution image
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、参照関係にある低解像度画像間の動きから一方の低解像度画像に対応する高解像度画像を生成する画像処理方法、そしてこの画像処理方法を用いて高能率圧縮符号化する画像符号化方法および画像復号方法に関するものである。 The present invention relates to an image processing method for generating a high-resolution image corresponding to one low-resolution image from a motion between low-resolution images in a reference relationship, and image coding to perform high-efficiency compression encoding using this image processing method The present invention relates to a method and an image decoding method.
ＭＰＥＧビデオ方式に代表される従来の画像符号化方式においては、画面を予め定められた単位に分割し、その分割単位で符号化を行う。例えば、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式（非特許文献１）においては、画面（ピクチャ）をマクロブロックと呼ばれる１６画素×１６画素の単位に区分し、マクロブロック単位で符号化処理を行う。そして、動き補償を行う場合には、マクロブロックをさらに矩形のブロック（最小で４画素×４画素）に分割して、ブロック毎に異なる動きベクトルを用いて動き補償を行うことができる。 In a conventional image encoding method typified by the MPEG video method, a screen is divided into predetermined units, and encoding is performed in the divided units. For example, in the MPEG-4 AVC (Advanced Video Coding) method (Non-Patent Document 1), a screen (picture) is divided into units of 16 pixels × 16 pixels called macroblocks, and encoding processing is performed in units of macroblocks. . When performing motion compensation, the macroblock can be further divided into rectangular blocks (minimum 4 pixels × 4 pixels), and motion compensation can be performed using different motion vectors for each block.
このように、ブロック毎に異なる動きベクトルを用いて動き補償を行ったり、ブロック毎に参照可能なピクチャの枚数を増加させたりすることによって、より解像度の高い画像の符号化及び復号化を実現することができる。
しかしながら、上記従来の方法では、より多くのブロックについて、各ブロックの動きベクトルや、各ブロックがどのピクチャを参照したかを示す情報などを、付加情報として符号化する必要がある。この結果、高解像度の画像を、画質の劣化を抑制しながら符号化する場合、符号量を低減することが困難であるという課題を有している。 However, in the conventional method, it is necessary to encode the motion vector of each block, information indicating which picture each block refers to, and the like as additional information for more blocks. As a result, when a high-resolution image is encoded while suppressing deterioration in image quality, there is a problem that it is difficult to reduce the code amount.
本発明は、上記従来の課題を解決するものであり、入力画像を効率よく符号化することによって、入力画像の符号量を大幅に削減することができる画像符号化方法および画像復号方法を提供することを目的とする。 The present invention solves the above-described conventional problems, and provides an image encoding method and an image decoding method capable of significantly reducing the amount of code of an input image by efficiently encoding the input image. For the purpose.
この課題を解決するために、本発明の画像符号化方法は、高解像度画像を入力とし、各ピクチャを高解像度または低解像度のいずれかで符号化する画像符号化方法であって、符号化対象ピクチャのピクチャタイプに応じて、前記符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御ステップと、前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小ステップと、前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小ステップと、前記第１の画像縮小ステップによって低解像度化された符号化対象ピクチャを、前記第２の画像縮小ステップによって低解像度化された前記参照ピクチャを参照して符号化する符号化ステップとを含むことを特徴とする。 In order to solve this problem, an image encoding method of the present invention is an image encoding method in which a high-resolution image is input and each picture is encoded at either high resolution or low resolution, An encoding control step for determining whether to encode the encoding target picture as a high-resolution image or a low-resolution image according to the picture type of the picture, and a low-resolution image by the encoding control step A first image reduction step for reducing the resolution of the encoding target picture determined to be encoded, and the encoding target picture determined to be encoded as a low resolution image by the encoding control step are encoded as a high resolution image. When the converted picture is used as a reference picture, the reference picture encoded as a high-resolution image is reduced in resolution. A code for encoding the picture to be encoded whose resolution has been reduced by the second image reduction step and the first picture reduction step with reference to the reference picture whose resolution has been reduced by the second image reduction step And a step of converting.
また、前記符号化制御ステップでは、Ｂピクチャは他のピクチャから参照されないことを前提として、ＩピクチャとＰピクチャとを高解像度画像として符号化し、Ｂピクチャを低解像度画像として符号化すると判定するとしてもよい。 In the encoding control step, it is assumed that the B picture is encoded as a high resolution image and the B picture is encoded as a low resolution image on the assumption that the B picture is not referred to by other pictures. Also good.
さらに、前記符号化制御ステップでは、Ｉピクチャのみ高解像度画像として符号化すると判定するとしてもよい。 Further, in the encoding control step, it may be determined that only the I picture is encoded as a high resolution image.
また、前記符号化制御ステップによって高解像度画像として符号化すると判定された符号化対象ピクチャが、低解像度画像として符号化されたピクチャを参照ピクチャとする場合、前記低解像度画像として符号化された前記参照ピクチャを高解像度化する画像処理ステップを含み、前記符号化ステップでは、前記画像処理ステップによって高解像度化された前記参照ピクチャを参照して、前記符号化対象ピクチャを符号化するとしてもよい。 When the encoding target picture determined to be encoded as a high resolution image by the encoding control step is a picture encoded as a low resolution image as a reference picture, the encoding target picture is encoded as the low resolution image. An image processing step for increasing the resolution of a reference picture may be included, and in the encoding step, the encoding target picture may be encoded with reference to the reference picture whose resolution has been increased by the image processing step.
さらに、前記画像処理ステップでは、前記参照ピクチャとされたピクチャであって低解像度画像として符号化された第１の低解像度画像につき、前記参照ピクチャが低解像度画像として符号化されるとき参照した第２の低解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、前記第２の低解像度画像と同じ画像を表し解像度が異なる第２の高解像度画像の第１画素値を取得し、取得した第１画素値を前記画素の画素値とする、前記第１の低解像度画像と同じ画像を表し解像度が異なる第１の高解像度画像を生成し、前記符号化ステップでは、生成された前記第１の高解像度画像を参照して、前記符号化対象ピクチャを符号化するとしてもよい。 Further, in the image processing step, the first low-resolution image that is the picture that is the reference picture and is encoded as the low-resolution image is referred to when the reference picture is encoded as the low-resolution image. 2 low resolution images are searched, a motion vector is detected in units of one or a plurality of pixels, and a second image having the same image as the second low resolution image and having a different resolution is detected using the detected motion vector. The first pixel value of the high-resolution image is acquired, and the first high-resolution image representing the same image as the first low-resolution image and having a different resolution is obtained by using the acquired first pixel value as the pixel value of the pixel. In the encoding step, the encoding target picture may be encoded with reference to the generated first high-resolution image.
また、前記画像処理ステップでは、さらに、前記第１の高解像度画像の生成済みの画素を用いて、前記第２の高解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、第２の高解像度画像の第２画素値を取得し、前記第１の高解像度画像内で同じ位置にある画素について取得された前記第１画素値と前記第２画素値との平均値を当該画素の画素値とするとしてもよい。 In the image processing step, the second high-resolution image is searched using the already generated pixels of the first high-resolution image, and a motion vector is detected in units of one or a plurality of pixels. A second pixel value of a second high-resolution image is obtained using the detected motion vector, and the first pixel value obtained for a pixel at the same position in the first high-resolution image; The average value of the second pixel value may be the pixel value of the pixel.
さらに、前記画像処理ステップでは、さらに、前記第１の低解像度画像と前記第１の高解像度画像の生成済みの画素につき、複数の前記第２の低解像度画像と複数の前記第２の高解像度画像とを探索して複数の動きベクトルを検出し、前記第１の低解像度画像に対応する複数の第１の高解像度画像を生成し、前記画像符号化方法は、さらに、前記画像処理ステップによって生成された複数の前記第１の高解像度画像のうち、１つの第１の高解像度画像を選択する選択ステップを含むとしてもよい。 Further, in the image processing step, a plurality of the second low resolution images and a plurality of the second high resolutions are further generated for the generated pixels of the first low resolution image and the first high resolution image. And a plurality of motion vectors are detected to generate a plurality of first high resolution images corresponding to the first low resolution image, and the image encoding method further includes: A selection step of selecting one first high-resolution image from among the plurality of generated first high-resolution images may be included.
また、本発明の画像復号化方法は、動画像中の各ピクチャが高解像度画像又は低解像度画像として符号化されている符号列を入力とし、前記符号列を復号化する画像復号化方法であって、前記符号列に符号化されている復号化対象ピクチャを復号化する復号化ステップと、前記復号化ステップによって復号化されたピクチャが低解像度画像である場合、前記低解像度画像を高解像度化して高解像度画像を生成する復号化画像処理ステップと、前記復号化画像処理ステップによって生成された高解像度画像を出力する出力ステップとを含むことを特徴とする。 Also, the image decoding method of the present invention is an image decoding method for decoding a code string that is input with a code string in which each picture in a moving image is encoded as a high-resolution image or a low-resolution image. A decoding step of decoding a decoding target picture encoded in the code string, and when the picture decoded by the decoding step is a low resolution image, the low resolution image is increased in resolution. And a decoded image processing step for generating a high-resolution image, and an output step for outputting the high-resolution image generated by the decoded image processing step.
また、前記復号化画像処理ステップは、前記復号化ステップによって復号化された第１の低解像度画像につき、前記第１の低解像度画像が低解像度画像として符号化されるとき参照した復号化済みの第２の低解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、前記第２の低解像度画像に対応する第２の高解像度画像の画素値を取得し、前記第１の低解像度画像に対応する第１の高解像度画像を生成するとしてもよい。 In addition, the decoded image processing step includes a decoded image that is referred to when the first low resolution image is encoded as a low resolution image with respect to the first low resolution image decoded by the decoding step. A second low resolution image is searched, a motion vector is detected in units of one or a plurality of pixels, and a second high resolution image corresponding to the second low resolution image is detected using the detected motion vector. May be obtained to generate a first high-resolution image corresponding to the first low-resolution image.
なお、本発明は、このような画像符号化方法および画像復号方法として実現することができるだけでなく、このような画像符号化方法および画像復号方法が備える特徴的なステップを手段とする装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。 The present invention can be realized not only as such an image encoding method and an image decoding method, but also as an apparatus using the characteristic steps of such an image encoding method and an image decoding method as means. It can also be realized as a program that causes a computer to execute these steps. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
以上の様に、本発明の画像符号化方法によれば、１つのストリームの中でピクチャタイプに応じて高解像度画像と低解像度画像とを切り替えて符号化するので、すべてのピクチャを高解像度画像で符号化する場合に比べて符号量を大幅に削減することができる。また、画像復号化装置では、画像処理部が低解像度画像を用いて画素単位で動きベクトルを検出し、検出された動きベクトルに従って前記低解像度画像と同じ参照画像を表す高解像度画像から、前記画素の位置に対応する画素値を抽出し高解像度画像を生成するので、すべてのピクチャが高解像度画像である動画像を再生することができる。従って、本発明の画像符号化方法および画像復号化方法によれば、入力画像を効率よく符号化することができ、その実用的価値が高い。 As described above, according to the image encoding method of the present invention, encoding is performed by switching between a high-resolution image and a low-resolution image in accordance with the picture type in one stream. The amount of codes can be greatly reduced as compared with the case of encoding with. Further, in the image decoding apparatus, the image processing unit detects a motion vector in units of pixels using the low resolution image, and the pixel from the high resolution image representing the same reference image as the low resolution image according to the detected motion vector. Since the pixel value corresponding to the position is extracted and a high-resolution image is generated, a moving image in which all the pictures are high-resolution images can be reproduced. Therefore, according to the image encoding method and the image decoding method of the present invention, an input image can be encoded efficiently, and its practical value is high.
以下、本発明の実施の形態について、図１から図１９を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to FIGS.
（実施の形態１）
図１は、本発明の画像処理部１００の構成を示すブロック図である。本実施の形態１の画像処理部１００は、高解像度画像である入力画像を縮小して得られる低解像度画像と参照画像となる低解像度画像を用いて検出された動きベクトルと、前記参照画像となった低解像度画像に対応する高解像度画像とを用いて、入力画像に対応する動き補償画像を生成する処理部であって、動き補償部１０１、動き検出部１０２、および制御部１０３を備える。
(Embodiment 1)
FIG. 1 is a block diagram showing the configuration of the
動き検出部１０２には、参照画像となる低解像度画像ＲＬと符号化対象を縮小した低解像度画像ＣＬとが入力される。また、動き補償部１０１には参照画像となる高解像度画像ＲＨが入力される。
The
図２は、低解像度画像と高解像度画像の関係を示す図である。低解像度画像ＲＬと高解像度画像ＲＨとは同じ画像から生成された画像である。例えば、低解像度画像ＲＬは高解像度画像ＲＨを縮小した画像である場合、低解像度画像ＲＬと高解像度画像ＲＨとはある画像を階層的画像符号化で符号化した画像のペアである場合、ある画像を異なる縮小率で縮小した画像が低解像度画像ＲＬと高解像度画像ＲＨとである場合、等が考えられる。図２では、低解像度画像と高解像度画像は、水平、垂直共に１：２の解像度比を持つ場合を示しているが、解像度比はこの比には限らない。 FIG. 2 is a diagram illustrating a relationship between a low resolution image and a high resolution image. The low resolution image RL and the high resolution image RH are images generated from the same image. For example, when the low resolution image RL is an image obtained by reducing the high resolution image RH, the low resolution image RL and the high resolution image RH may be a pair of images obtained by encoding a certain image by hierarchical image encoding. The case where the image which reduced the image by the different reduction ratio is the low resolution image RL and the high resolution image RH etc. can be considered. FIG. 2 shows a case where the low resolution image and the high resolution image have a resolution ratio of 1: 2 in both horizontal and vertical directions, but the resolution ratio is not limited to this ratio.
図１に示した動き検出部１０２では、低解像度画像ＣＬの低解像度画像ＲＬに対する動きを検出する。動き検出の際には、制御部５０３から動き検出の対象となるブロックの位置、探索を行う範囲、及びブロックの大きさなどが指定される。図３（ａ）は、低解像度画像を用いて画素毎に動きベクトルを検出する方法を示す図である。動き検出の方法について図３（ａ）を用いて説明する。ここでは制御部１０３から指定された動き検出の対象となるブロックの位置が（Ｃｘ，Ｃｙ）であり、ブロックの大きさが１画素×１画素であるとする。すなわち、低解像度画像ＣＬ内の位置（Ｃｘ，Ｃｙ）にある画素（×印の画素であり、この場合のブロックの画素数は１である。以降、この画素を対象画素と呼ぶ）の、低解像度画像ＲＬに対する動きを求めることになる。対象画素の動きを求める際には、対象画素の周辺の画素も利用することができる。例えば、対象画素を含めた３画素×３画素の領域３０１を用いて低解像度画像ＲＬを探索し、動き検出を行うことができる。動き検出の際の領域の大きさは、異なる画素数であっても良いし、元のブロックが複数画素で構成される場合には探索を行うための周辺画素を用いずに動き検出をしても良い。動き検出においてはコスト関数を設定し、そのコスト関数が最小となる低解像度画像ＲＬ内の位置を決定する。ここでコスト関数としては、低解像度画像ＣＬ内の領域３０１の画素値と、低解像度画像ＲＬ内の領域（領域３０１と同じ大きさを有する領域）の画素値の差分値（差分絶対値和や差分２乗値和）としても良い。また、画素値の差分値に更に、例えば、検出された動きベクトルと周辺画素または周辺ブロックの動きベクトルとの差の大きさに重み係数を乗算したものなどを加えた値をコスト関数としても良い。ここで対応画素間の差分値を計算する際には、画像の画素値をそのまま用いてもよいし、画素値にハニング窓等の窓関数を施して用いても良い。コスト関数が最小となる位置が領域３０３であるとすると、ここで求められた動き量は（Ｍｘ，Ｍｙ）となる。
The
動き検出部１０２で検出された動き量は動きベクトルＭＶとして動き補償部１０１に入力される。動き補償部１０１には、高解像度画像ＲＨと動きベクトルＭＶが入力される。動き補償部１０１では、制御部１０３から入力された位置情報、動き検出部１０２から入力された動きベクトルＭＶに基づいて、高解像度画像ＲＨから高解像度（動き補償）画像ＭＨを生成する。図４は、動き検出部１０２から入力された動きベクトルＭＶに基づいて、高解像度画像ＲＨから高解像度（動き補償）画像ＭＨを生成する方法を示す図である。この様子を、図４を用いて説明する。図２に示したように、低解像度画像と高解像度画像の解像度比は水平、垂直共に１：２であったので、低解像度画像ＣＬの位置（Ｃｘ，Ｃｙ）の画素に対応する、高解像度画像ＭＨの画素位置は（２Ｃｘ，２Ｃｙ）を左上端とする２画素×２画素の領域となる。また、高解像度画像間での動きベクトルは２ＭＶ（水平方向および垂直方向の両成分に対して２倍を施す）となる。したがって、高解像度画像ＭＨの画素は、高解像度画像ＲＨの（２Ｃｘ＋２Ｍｘ，２Ｃｙ＋２Ｍｙ）を左上端とする２画素×２画素の領域の画素となる。
The amount of motion detected by the
以降、同様の処理を低解像度画像ＣＬに対する全領域に対して施し、対応する高解像度画像ＭＨの全領域に対して動き補償を実施することにより、高解像度画像ＲＨから動き補償して高解像度画像ＭＨを生成する。これにより、低解像度画像ＲＬには含まれない高周波成分を表す画素値を高解像度画像ＲＨから抽出して高解像度画像ＭＨを構成することができるので、高解像度画像ＲＨと同程度の解像度を持つ高解像度画像ＭＨを得ることができるという効果がある。従って、高解像度画像ＲＨの代わりに、低解像度画像ＲＬを画素補間により拡大して得られる画像から画素値を抽出してもこの効果を得ることはできない。 Thereafter, the same processing is performed on the entire region of the low-resolution image CL, and motion compensation is performed on the entire region of the corresponding high-resolution image MH, thereby performing motion compensation from the high-resolution image RH. MH is generated. As a result, pixel values representing high-frequency components not included in the low-resolution image RL can be extracted from the high-resolution image RH to form the high-resolution image MH, and therefore have the same resolution as the high-resolution image RH. There is an effect that a high-resolution image MH can be obtained. Therefore, this effect cannot be obtained by extracting pixel values from an image obtained by enlarging the low resolution image RL by pixel interpolation instead of the high resolution image RH.
なお、本実施の形態においては、動き検出部１０２で動き検出を行う際に低解像度画像ＣＬと低解像度画像ＲＬとを用いて動きを検出する場合について説明したが、これは低解像度画像ＲＬと低解像度画像ＣＬとを２倍に拡大した後に動き検出を行い、動きベクトルを求めても良い。この場合、高解像度画像ＭＨを生成する際には１画素毎に高解像度画像ＲＨから動き補償をすることができる。
In the present embodiment, the case where motion is detected using the low resolution image CL and the low resolution image RL when motion detection is performed by the
また、本実施の形態においては、動き検出部１０２で動き検出を行う際に、低解像度画像ＣＬと低解像度画像ＲＬとを用いて１画素精度の動きを検出する場合について説明したが、低解像度画像ＲＬを拡大した後に動き検出を行い、１／４画素、１／８画素精度の動きベクトルを求めても良い。このような処理により、高解像度画像ＭＨを生成する際には小数精度で高解像度画像ＲＨから動き補償をすることができる。この場合には、高解像度画像ＲＨを拡大（内挿）した後に動き補償すれば良い。
Further, in the present embodiment, a case has been described in which a motion with a one-pixel accuracy is detected using the low-resolution image CL and the low-resolution image RL when the
また、本実施の形態においては、動き検出および動き補償の参照画像が１枚である場合について説明したが、これは複数の画像を用いても良い。 In the present embodiment, the case where there is one reference image for motion detection and motion compensation has been described, but a plurality of images may be used.
また、本実施の形態においては、動き検出部１０２で動き検出を行う際に、低解像度画像ＣＬと低解像度画像ＲＬとを用いる方法について説明したが、これは高解像度画像ＲＨと高解像度画像ＭＨとを用いても良い。図３（ｂ）は、低解像度画像ＣＬと低解像度画像ＲＬおよび高解像度画像ＲＨと高解像度画像ＭＨを用いて動き検出を行う方法を示す図である。図３（ｂ）を用いてこの方法を説明する。この場合、高解像度画像ＭＨには一部生成されていない画素が存在するため、低解像度画像ＣＬの領域３０１の画素と高解像度画像ＭＨの領域３０２の画素とを用いて低解像度画像ＲＬと高解像度画像ＲＨに対して動きを検出する。より具体的には、動き検出でのコスト関数における画素値の差分値として、
領域３０１の画素値と、低解像度画像ＲＬ内の領域（領域３０１と同じ大きさを有する領域）の画素値の差分値に加えて、領域３０２の画素値と、高解像度画像ＲＨ内の領域（領域３０２と同じ大きさと形状を有する領域）の画素値の差分値を考慮して、動きを検出する。この場合、そのようなコスト関数が最小となる動きベクトルを×印の画素の動きベクトルとする。
Further, in the present embodiment, the method of using the low resolution image CL and the low resolution image RL when performing motion detection in the
In addition to the difference value between the pixel value of the
また、参照画像として用いる高解像度画像ＲＨは、予め得られている高解像度画像だけではなく、本実施の形態において生成した高解像度画像であっても良い。 The high resolution image RH used as the reference image is not limited to the high resolution image obtained in advance, but may be a high resolution image generated in the present embodiment.
（実施の形態１の変形例）
実施の形態１の変形例である画像処理部８００について、図５を用いて説明する。図５は、実施の形態１の変形例である画像処理部８００の構成を示すブロック図である。本変形例の画像処理部８００は、図１を用いて説明した本発明の画像処理装置１００に、選択部８０１を追加した構成となっている。実施の形態１では、生成したい高解像度画像ＭＨに対応する低解像度画像ＣＬが予め得られている条件の下で、参照画像となる低解像度画像ＲＬに対する低解像度画像ＣＬの動きを検出し（または低解像度画像ＲＬおよび高解像度画像ＲＨに対する低解像度画像ＣＬおよび高解像度画像ＭＨの動きを検出し）、検出された動きベクトルを元に高解像度画像ＲＨを動き補償して高解像度画像ＭＨを生成したが、本変形例では複数の方法で動きを検出した後に動き検出方法に応じた動き補償画像を生成し、それら複数の動き補償画像の中から、最適な動き補償画像を選択する点に特徴がある。
(Modification of Embodiment 1)
An
ここで、動き検出部１０２および動き補償部１０１は、請求項でいう「さらに、前記第１の低解像度画像と前記第１の高解像度画像の生成済みの画素につき、複数の前記第２の低解像度画像と複数の前記第２の高解像度画像とを探索して複数の動きベクトルを検出し、前記第１の低解像度画像に対応する複数の第１の高解像度画像を生成する前記画像処理ステップ」を実行する手段に相当し、選択部８０１は、請求項でいう「前記画像処理ステップによって生成された複数の前記第１の高解像度画像のうち、１つの第１の高解像度画像を選択する選択ステップ」を実行する手段に相当する。
Here, the
動き検出部１０２は、参照画像となる低解像度画像ＲＬ、符号化対象である低解像度画像ＣＬ、参照画像となる高解像度画像ＲＨ、高解像度動き補償画像ＭＨを生成する処理対象であり少なくとも一部が生成された高解像度画像ＭＨが入力される。また、動き補償部１０１には高解像度画像ＲＨが入力される。ここで、参照画像となる低解像度画像ＲＬ、高解像度画像ＲＨはそれぞれ複数の画像である場合も含む。
The
動き検出部１０２では、異なる画像の組み合わせを用いて、動き検出を行う。図６は、複数の参照画像の組み合わせを用いて動き検出を行う一例を示す図である。図６に示すように参照画像が２枚ある場合には、例えば以下のような画像の組み合わせがある。
The
Ａ．低解像度画像ＣＬ（１３０４）←低解像度画像ＲＬ（１３０３）
Ｂ．低解像度画像ＣＬ（１３０４）と高解像度画像ＭＨ（１３０２）←低解像度画像ＲＬ（１３０３）と高解像度画像ＲＨ（１３０１）
Ｃ．低解像度画像ＣＬ（１３０４）と高解像度画像ＭＨ（１３０２）←低解像度画像ＲＬ（１３０６）と高解像度画像ＲＨ（１３０５）
Ｄ．高解像度画像ＭＨ（１３０２）←高解像度画像ＲＨ（１３０１）
Ｅ．高解像度画像ＭＨ（１３０２）←高解像度画像ＲＨ（１３０５）
Ｆ．低解像度画像ＣＬ（１３０４）と高解像度画像ＭＨ（１３０２）←低解像度画像ＲＬ（１３０３）、高解像度画像ＲＨ（１３０１）、低解像度画像ＲＬ（１３０６）、高解像度画像ＲＨ（１３０５）
Ｇ．高解像度画像ＭＨ（１３０２）←高解像度画像ＲＨ（１３０１）と高解像度画像ＲＨ（１３０５）
Ｈ．低解像度画像ＣＬ（１３０４）←低解像度画像ＲＬ（１３０６）
Ｉ．低解像度画像ＣＬ（１３０４）←低解像度画像ＲＬ（１３０３）と低解像度画像ＲＬ（１３０６）
A. Low resolution image CL (1304) <-Low resolution image RL (1303)
B. Low resolution image CL (1304) and high resolution image MH (1302) <-Low resolution image RL (1303) and High resolution image RH (1301)
C. Low resolution image CL (1304) and high resolution image MH (1302) <-Low resolution image RL (1306) and High resolution image RH (1305)
D. High resolution image MH (1302) <-High resolution image RH (1301)
E. High resolution image MH (1302) <-High resolution image RH (1305)
F. Low resolution image CL (1304) and high resolution image MH (1302) <-low resolution image RL (1303), high resolution image RH (1301), low resolution image RL (1306), high resolution image RH (1305)
G. High resolution image MH (1302) <-High resolution image RH (1301) and High resolution image RH (1305)
H. Low resolution image CL (1304) <-Low resolution image RL (1306)
I. Low resolution image CL (1304) <-Low resolution image RL (1303) and Low resolution image RL (1306)
ここで「Ｘ←Ｙ」は画像Ｙを参照画像として画像Ｘの動きを検出することを意味する。また、「Ｆ」、「Ｇ」、「Ｉ」においては、２つの参照画像に対して動きを検出し、各参照画像から得られる動き補償画像の平均（または重み付け平均）を動き補償画像とすることを意味している。なお、２つの動き補償画像の平均をとるとは、２つの動き補償画像で同位置にある画素の画素値の平均を算出し、算出された画素値をその位置の画素の画素値とする動き補償画像を生成することを言う。重み付け平均とは、２つの動き補償画像の画素値にそれぞれ重み係数を乗算して加算平均することを言う。動き検出の方法は実施の形態１で説明した方法と同様であるので、説明は割愛する。 Here, “X ← Y” means that the movement of the image X is detected using the image Y as a reference image. In “F”, “G”, and “I”, motion is detected for two reference images, and an average (or weighted average) of motion compensation images obtained from each reference image is used as a motion compensation image. It means that. Note that taking the average of two motion compensation images means calculating the average of the pixel values of the pixels at the same position in the two motion compensation images and using the calculated pixel value as the pixel value of the pixel at that position. This refers to generating a compensation image. The weighted average means that the pixel values of two motion compensated images are multiplied by a weighting coefficient and added and averaged. Since the motion detection method is the same as the method described in the first embodiment, the description is omitted.
それぞれの方法で検出された動き量は、動きベクトルＭＶとして動き補償部１０１に入力される。動き補償部１０１では、動き検出部１０２で求めたそれぞれの動きベクトルを用いて動き補償画像を生成し、それを選択部８０１に対して出力する。動きベクトルＭＶを用いた動き補償画像の生成方法は、実施の形態１で説明した方法と同様であるので説明は割愛する。
The amount of motion detected by each method is input to the
選択部８０１には、低解像度画像ＣＬと動き補償部１０１で生成された複数の動き補償画像とが入力される。選択部８０１では、入力された複数の動き補償画像の中から最適な動き補償画像を選択する。ここで選択の基準としては、例えば動き補償画像を低解像度画像ＣＬと同じ解像度に縮小し、その縮小画像と低解像度画像ＣＬとの差分値（差分絶対値和や差分二乗和）が最小となるものを選択する方法がある。または、動き補償画像と低解像度画像ＣＬを周波数変換し、その低周波数成分同士の差分値（差分絶対値和や差分二乗和）が最小となるものを選択する方法がある。また、差分値が所定のしきい値よりも小さい値とならないような場合には、低解像度画像ＣＬを動き補償画像と同じサイズに拡大した画像を選択しても良い。ここで、動き補償画像を選択する際には、例えば、４画素×４画素のブロック、８画素×８画素のブロック及びマクロブロックなどの正方形や長方形のブロック単位や領域単位で行う方法、全画面で行う方法がある。
The
選択された動き補償画像（または低解像度画像ＣＬを動き補償画像と同じサイズに拡大した画像）は、動き補償画像ＭＨとして出力される。 The selected motion compensated image (or an image obtained by enlarging the low resolution image CL to the same size as the motion compensated image) is output as a motion compensated image MH.
なお、本実施の形態の変形例においては、９つの方法で動き量を検出し、それぞれの動き量に応じた動き補償画像を生成する場合について説明したが、これは他の方法で動き量を検出しても構わないし、一部の方法のみを用いて動き量を検出しても良い。 In the modification of the present embodiment, the case has been described in which the amount of motion is detected by nine methods and a motion compensation image corresponding to each amount of motion is generated. It may be detected, or the amount of motion may be detected using only a part of the method.
以上のように、本発明の画像処理方法では、生成したい第１の高解像度画像に対応する第１の低解像度画像が予め得られている条件の下で、１枚または複数枚の参照画像となる第２の低解像度画像に対する第１の低解像度画像の動きを検出し（または第２の低解像度画像および第２の高解像度画像に対するそれぞれ第１の低解像度画像および第１の高解像度画像の動きを検出し）、検出された動きベクトルを元に第２の高解像度画像を動き補償して第１の高解像度画像を生成する。 As described above, in the image processing method of the present invention, one or more reference images and one or more reference images are obtained under the condition that the first low-resolution image corresponding to the first high-resolution image to be generated is obtained in advance. Detecting a motion of the first low resolution image relative to the second low resolution image (or of the first low resolution image and the first high resolution image, respectively, relative to the second low resolution image and the second high resolution image). Motion is detected), and the second high-resolution image is motion-compensated based on the detected motion vector to generate the first high-resolution image.
上記のような処理を１画素等の小さな領域を単位として施すことにより、高画質な第１の高解像度画像を生成することができる。またこの処理は、低解像度画像間の動き検出結果または既に生成された領域の高解像度画像間の動き検出結果を用いて行うので、画像データ以外の付加情報は全く不要である。 By performing the above processing in units of small areas such as one pixel, a first high-resolution image with high image quality can be generated. In addition, since this process is performed using a motion detection result between low-resolution images or a motion detection result between high-resolution images in an already generated region, no additional information other than image data is necessary.
（実施の形態２）
本発明の画像符号化装置について図７を用いて説明する。図７は、実施の形態１で説明した画像処理部１００（または８００）を用いて符号化対象高解像度画像の動き補償画像を生成する画像符号化装置の構成を示すブロック図である。この画像符号化装置では、すべてのピクチャを低解像度化して低解像度画像として符号化した上、低解像度画像の符号化の際に検出された動きベクトルを用いて高解像度画像の動き補償画像を生成する。同図に示すように、本実施の形態２の画像符号化装置は、フレームメモリ５０１、差分演算部５０２、予測誤差符号化部５０３、符号列生成部５０４、予測誤差復号部５０５、加算演算部５０６、フレームメモリ５０７、画面内予測／動きベクトル検出部５０８、モード選択部５０９、符号化制御部５１０、スイッチ５１４、５１５、画像縮小部５１６、フレームメモリ５１７、低解像度画像符号化部５１８、画像処理部１００（または８００）を備える。画像処理部１００（８００）は、実施の形態１で説明した図１の画像処理装置１００、または実施の形態１の変形例で説明した図５の画像処理装置８００、と同じ構成を有している。
(Embodiment 2)
The image coding apparatus of the present invention will be described with reference to FIG. FIG. 7 is a block diagram illustrating a configuration of an image encoding device that generates a motion compensated image of a high-resolution image to be encoded using the image processing unit 100 (or 800) described in the first embodiment. In this image encoding device, all pictures are reduced in resolution and encoded as low-resolution images, and motion-compensated images of high-resolution images are generated using the motion vectors detected when the low-resolution images are encoded. To do. As shown in the figure, the image coding apparatus according to the second embodiment includes a
入力画像は時間順にピクチャ単位でフレームメモリ５０１に入力される。フレームメモリ５０１に入力された各ピクチャは、符号化制御部５１０により符号化順に並び替えられる。符号化順への並び替えは、ピクチャ間予測符号化における参照関係に基づいて行われる。すなわち、参照ピクチャとして用いられるピクチャが、それを参照ピクチャとして用いるピクチャよりも先に符号化されるように並び替えられる。
The input image is input to the
フレームメモリ５０１で並び替えが行われた各ピクチャは、順に符号化される。各ピクチャはまず画像縮小部５１６に入力される。画像縮小部５１６は、例えば、縦横を１／２の大きさに縮小することにより、入力されたピクチャを低解像度画像に変換する。低解像度画像は低解像度画像符号化部５１８でブロック単位で符号化される。低解像度画像符号化部５１８では、低解像度画像をＪＰＥＧ方式やＭＰＥＧ方式で符号化するものとする。低解像度画像符号化部５１８で生成された符号列には、低解像度画像を動き検出して得られた動きベクトルと、得られた動きベクトルに基づいて得られる動き補償画像との予測残差とが含まれる。低解像度画像符号化部５１８で生成された符号列は符号列生成部５０４に対して出力される。また、低解像度画像符号化部５１８で生成された局部復号画像（符号化対象低解像度画像を符号化し復号して得られる画像）はフレームメモリ５１７で保持される。
Each picture rearranged in the
続いてフレームメモリ５０１で並び替えが行われた各ピクチャは、高解像度画像として符号化される。この場合各ピクチャは、フレームメモリ５０１からマクロブロックの単位で読み出されるとする。ここでは、マクロブロックは水平１６画素×垂直１６画素の大きさであるとする。また、動き補償はブロック単位（ここでは８画素×８画素の大きさとする）単位で行うものとする。以下では、片方向予測符号化ピクチャ（Ｐピクチャ）として符号化を行うものとして、符号化処理を順に説明する。
Subsequently, each picture rearranged in the
符号化制御部５１０は、入力されたピクチャをどのタイプのピクチャ（Ｉ、ＰまたはＢピクチャ）で符号化するかを決定し、そのピクチャタイプにより、スイッチ５１４、スイッチ５１５を制御する。ここで、ピクチャタイプの決定は、例えば、周期的にピクチャタイプを割り当てる方法が一般的に用いられる。ピクチャタイプの決定により、フレームメモリ５０１内でピクチャの符号化順序の入れ替えが行われる。
The
Ｐピクチャの符号化においては、符号化制御部５１０は、スイッチ５１４、スイッチ５１５がオンになるように各スイッチを制御する。したがって、フレームメモリ５０１から読み出された符号化対象ピクチャのマクロブロックは、まず画面内予測／動きベクトル検出部５０８、モード選択部５０９、差分演算部５０２に入力される。
In encoding a P picture, the
画面内予測／動きベクトル検出部５０８では、フレームメモリ５０７に蓄積された復号画像データを参照ピクチャとして用い、マクロブロック内の各ブロックに対して、画面内予測方法の決定または動きベクトルの検出を行う。ここで画面内予測とは、符号化対象ブロックの周辺画素を用いて予測画像を生成する方法である。決定された画面内予測方法または動きベクトル、および画面内予測により得られる画面内予測画像または動きベクトルにより参照画像から得られる動き補償画像は、モード選択部５０９に対して出力される。
The intra prediction / motion
一方、画像処理部１００（８００）には、フレームメモリ５１７から低解像度画像の参照画像ＲＬ、現在の符号化対象画像に対応する低解像度画像ＣＬが入力され、フレームメモリ５０７から低解像度画像ＲＬに対応する高解像度復号画像ＲＨが入力される。そして画像処理部１００（８００）は、本発明の第１の実施の形態または第１の実施の形態の変形例で説明した方法と同様の処理により、動き補償画像ＭＨを生成してモード選択部５０９に対して出力する。
On the other hand, the low-resolution image reference image RL and the low-resolution image CL corresponding to the current encoding target image are input from the
モード選択部５０９では、画面内予測／動きベクトル検出部５０８で検出した画面内予測方法または動きベクトルおよび取得した画面内予測画像または動き補償画像、画像処理部１００（８００）で生成された動き補償画像ＭＨを用いて、マクロブロックの符号化モードを決定する。ここで符号化モードとは、マクロブロックをどのような方法で符号化するかを示すものである。例えば、Ｐピクチャの場合には、画面内予測符号化、動き検出部５０８で検出した動きベクトルにより得られる動き補償画像を用いるピクチャ間予測符号化、画像処理部１００（８００）で生成した動き補償画像を用いるピクチャ間予測符号化の中から、いずれの方法で符号化するかを決めることができるとする。符号化モードの決定においては、一般的には、より少ないビット量でより符号化誤差が小さくなる方法を選択する。動き検出部５０８で検出した動きベクトルにより得られる動き補償画像を用いるピクチャ間予測符号化の場合には、動き補償残差の符号以外に、動きベクトルの符号を符号列中に記述する必要がある。また動き補償画像は、８画素×８画素等の単位で求められた動きベクトルを用いて生成されている。画像処理部１００（８００）で生成した動き補償画像を用いるピクチャ間予測符号化の場合には、動き補償残差の符号のみを符号列に記述する。画像処理部１００（８００）で生成された動き補償画像は、低解像度画像を用いて最小１画素単位で求められた動き量を用いて生成されている。ここで、注意すべきことは、低解像度画像符号化部５１８では必ず低解像度画像を用いた符号化が行われ、符号列が生成されることである。本実施の形態の画像符号化装置では、低解像度画像符号化部５１８の処理に加えて、さらに、高解像度画像を用いた符号化が行われる。高解像度画像を用いた符号化では、モード選択部５０９により最も符号化効率の高い符号化が選択され、符号列が生成される。
In the
モード選択部５０９で決定された符号化モードは符号列生成部５０４に対して出力される。また、動きベクトルは、モード選択部５０９から符号列生成部５０４に対して出力される。
The encoding mode determined by the
次に、モード選択部５０９で決定された符号化モードに基づいた参照画像が、差分演算部５０２と加算演算部５０６とに出力される。
Next, a reference image based on the encoding mode determined by the
以下では、モード選択部５０９でピクチャ間予測符号化が選択された場合について説明する。
Hereinafter, a case where inter-picture prediction coding is selected by the
差分演算部５０２には、マクロブロックの画像データ以外に、モード選択部５０９から参照画像が入力される。差分演算部５０９では、マクロブロックの画像データと参照画像との差分を演算し、予測誤差画像を生成し出力する。
In addition to the image data of the macroblock, a reference image is input from the
予測誤差画像は予測誤差符号化部５０３に入力される。予測誤差符号化部５０３では、入力された予測誤差画像に対して周波数変換や量子化等の符号化処理を施すことにより、符号化データを生成して出力する。ここで例えば、周波数変換や量子化の処理は、水平８画素×垂直８画素の単位で行うことができる。予測誤差符号化部５０３から出力された符号化データは、符号列生成部５０４と予測誤差復号部５０５に入力される。
The prediction error image is input to the prediction
符号列生成部５０４では、入力された符号化データに対して、可変長符号化等を施し、さらにモード選択部５０９から入力された動きベクトルの情報、符号化モードの情報（具体的には、（１）画面内予測符号化、（２）画面間予測符号化、（３）本発明の低解像度画像を用いた高解像度画像生成による符号化のいずれで符号化を行ったかを示す情報）、その他のヘッダ情報、低解像度画像生成部５１８から入力された符号列、等を付加することにより符号列を生成する。またこの際に、ヘッダ情報として画像処理部１００（８００）でどのような処理方法を用いたのかを示すフラグ情報を記述しても良い。このフラグ情報は、例えば画像処理部１００（８００）でどのような方法で動きを検出したか、どのような方法で動き補償画像を生成し、その中からどの動き補償画像を選択したか、どのような基準で動き補償画像を選択したか、及び参照高解像度画像ＲＨ内での探索範囲をどれぐらいの範囲にするか等の情報を示すものである。図８は、画像処理部１００（または８００）でどのような画像処理方法を用いたのかを示すフラグ情報の記述例を示す図である。フラグ情報の記述位置の例を図８に示す。
The code
予測誤差復号部５０５では、入力された符号化データに対して、逆量子化や逆周波数変換等の復号処理を施し、復号差分画像を生成して出力する。復号差分画像は加算演算部５０６において、予測画像と加算されることにより復号画像となり、フレームメモリ５０７に蓄積される。
The prediction
同様の処理により、符号化対象ピクチャの残りのマクロブロックに対して、符号化処理が行われる。 By the same process, the encoding process is performed on the remaining macroblocks of the encoding target picture.
以上のように本発明の画像符号化方法では、高解像度画像の符号化を行う際に、低解像度画像により求めた動きベクトルを用いて動き補償画像を生成する符号化モードを用いる。高解像度画像間の動きベクトルを用いて動き補償画像を生成する従来の符号化モードでは、動きベクトル情報を符号列中に記述する必要が生じる。また従来の符号化モードにおいて動き補償精度を向上させるためには、マクロブロック当たりの動きベクトル数を増加させる必要があるが、動きベクトル情報の符号量が更に増加することになる。本発明の符号化モードでは、動きベクトル情報を符号列中に記述する必要は全くない。したがって、動きベクトル数を増加させることにより動き補償精度を向上させ、それにより符号化効率を大きく向上させることができる。 As described above, the image encoding method of the present invention uses an encoding mode for generating a motion compensated image using a motion vector obtained from a low resolution image when encoding a high resolution image. In a conventional coding mode in which a motion compensation image is generated using a motion vector between high resolution images, it is necessary to describe motion vector information in a code string. In order to improve the motion compensation accuracy in the conventional coding mode, it is necessary to increase the number of motion vectors per macroblock, but the code amount of motion vector information further increases. In the coding mode of the present invention, there is no need to describe motion vector information in a code string. Therefore, the motion compensation accuracy can be improved by increasing the number of motion vectors, and thereby the coding efficiency can be greatly improved.
（実施の形態３）
本発明の画像復号装置の実施の形態について、図９を用いて説明する。図９は、実施の形態３の画像復号化装置の構成を示すブロック図である。本実施の形態３の画像復号化装置は、実施の形態２の画像符号化装置によって生成された符号列を復号化する画像復号化装置であって、符号列解析部７０１、予測誤差復号化部７０２、モード復号部７０３、画面内予測／動き補償復号部７０５、フレームメモリ７０７、加算演算部７０８、スイッチ７１１、低解像度画像復号部７１２、フレームメモリ７１３、画像処理部１００（または８００）を備える。以下では、Ｐピクチャの復号処理を一例として具体的に説明する。
(Embodiment 3)
An embodiment of the image decoding apparatus of the present invention will be described with reference to FIG. FIG. 9 is a block diagram illustrating a configuration of the image decoding apparatus according to the third embodiment. The image decoding apparatus according to the third embodiment is an image decoding apparatus that decodes a code string generated by the image encoding apparatus according to the second embodiment, and includes a code
Ｐピクチャの符号列は符号列解析部７０１に入力される。符号列解析部７０１では、入力された符号列を低解像度画像の符号列と高解像度画像の符号列とに分離する。低解像度画像の符号列は、低解像度画像復号部７１２に対して出力され、低解像度画像復号部７１２で符号化方法に適した（ＪＰＥＧ方式やＭＰＥＧ方式で）復号処理が施される。復号された低解像度画像はフレームメモリ７１３に蓄積される。
The code sequence of the P picture is input to the code
一方、符号列解析部７０１で分離された高解像度画像の符号列からは、各種データが抽出される。ここで各種データとは、モード選択情報、動きベクトル情報、ヘッダ情報、等である。抽出されたモード選択の情報は、モード復号部７０３に対して出力される。また、抽出された動きベクトル情報は、画面内予測／動き補償復号部７０５に対して出力される。さらに、予測誤差符号化データは予測誤差復号部７０２に対して出力される。またこの際に、ヘッダ情報として符号化時に画像処理部１００（８００）でどのような処理方法を用いたのかを示すフラグ情報が記述されている場合、このフラグ情報を画像処理部１００（８００）に対して出力する。このフラグ情報は、例えば画像処理部１００（８００）でどのような方法で動きを検出したか、どのような方法で動き補償画像を生成し、その中からどの動き補償画像を選択したか、どのような基準で動き補償画像を選択したか、及び高解像度画像ＲＨ内での探索範囲をどれぐらいの範囲にするか等の情報を示すものである。
On the other hand, various data are extracted from the code string of the high-resolution image separated by the code
モード復号部７０３では、符号列から抽出されたモード選択の情報を参照し、スイッチ７１１の制御を行う。モード選択が符号列に記述された動きベクトル情報を用いるピクチャ間予測符号化である場合には、スイッチ７１１は端子ｆに接続するように制御する。またモード選択が（本発明の第１の実施の形態で説明した）低解像度画像を用いて求めた動きベクトルを用いたピクチャ間予測符号化である場合には、スイッチ７１１は端子ｅに接続するように制御する。
The
またモード復号部７０３では、モード選択が符号列に記述された動きベクトル情報を用いるピクチャ間予測符号化である場合には、モード選択の情報を画面内予測／動き補償復号部７０５に対して出力する。また、低解像度画像を用いて求めた動きベクトルを用いたピクチャ間予測符号化である場合には、モード選択の情報を画像処理部１００（８００）に対して出力する。
The
予測誤差復号部７０２では、入力された予測誤差符号化データの復号を行い、予測誤差画像を生成する。生成された予測誤差画像は加算演算部７０８に対して出力される。
The prediction
モード選択が符号列に記述された動きベクトル情報を用いたピクチャ間予測符号化である場合は、画面内予測／動き補償復号部７０５が処理を行う。画面内予測／動き補償復号部７０５は、符号列解析部７０１から入力された、符号化された動きベクトルに対して、復号処理を行う。そして、復号された参照ピクチャ番号と動きベクトルとに基づいて、フレームメモリ７０７から動き補償画像（ブロック）を取得する。このようにして生成された動き補償画像は加算演算部７０８に対して出力される。
When the mode selection is inter-picture prediction coding using motion vector information described in the code string, the intra-frame prediction / motion
モード選択が低解像度画像を用いて求めた動きベクトルを用いたピクチャ間予測符号化である場合には、画像処理部１００（８００）が処理を行う。画像処理部１００（８００）には、フレームメモリ７１３から低解像度画像の参照画像ＲＬ、現在の復号対象画像に対応する低解像度画像ＣＬが入力され、フレームメモリ７０７から低解像度画像ＲＬに対応する高解像度復号画像ＲＨが入力される。そして画像処理部１００（８００）は、本発明の第１の実施の形態またはその変形例で説明した方法と同様の処理により動き補償画像ＭＨを生成する。生成された動き補償画像ＭＨは、スイッチ７１１を通して加算演算部７０８に対して出力される。
When the mode selection is inter-picture predictive coding using a motion vector obtained using a low-resolution image, the image processing unit 100 (800) performs processing. The low-resolution image reference image RL and the low-resolution image CL corresponding to the current decoding target image are input from the
加算演算部７０８では、入力された予測誤差画像と動き補償画像とを加算し、復号化画像を生成する。生成された復号化画像はフレームメモリ７０７に対して出力される。
The
以上のようにして、Ｐピクチャのマクロブロックが順に復号される。復号対象ピクチャのマクロブロックがすべて復号されると、次のピクチャの復号処理が行われる。 As described above, the macroblocks of the P picture are sequentially decoded. When all the macroblocks of the decoding target picture are decoded, the decoding process for the next picture is performed.
以上のように本発明の画像復号方法では、低解像度画像と高解像度画像とが両方符号化された符号列から、低解像度画像を復号し、さらに高解像度画像の復号を行う際に、低解像度画像により画素単位で求めた動きベクトルを用いて動き補償画像を生成する符号化モードを用いる。高解像度画像間の動きベクトルを用いて動き補償画像を生成する従来の符号化モードでは、動きベクトル情報を符号列中に記述する必要が生じる。また従来の符号化モードにおいて動き補償精度を向上させるためには、マクロブロック当たりの動きベクトル数を増加させる必要があるが、動きベクトル情報の符号量が更に増加することになる。本発明の符号化モードでは、復号化された低解像度画像を用いて、画像符号化装置と画像復号化装置とで同じ方法により動きベクトルを検出するので、動きベクトル情報を符号列中に記述する必要は全くない。したがって、マクロブロック当たりの動きベクトル数を増加したとしても、符号量の増加を招くことがない。そして、低解像度画像を用いて画素単位で動きベクトルを検出することにより、動きベクトル数を増加させ、動き補償精度を向上させることができる。それにより本発明の画像符号化装置及び画像復号化装置は、符号量の増加を招くことなく動き補償の精度を向上し高解像度画像を得ることができるので、符号化効率を大きく向上させることができる。 As described above, in the image decoding method of the present invention, when a low resolution image is decoded from a code string in which both a low resolution image and a high resolution image are encoded, and further, a high resolution image is decoded, An encoding mode is used in which a motion compensated image is generated using a motion vector obtained for each pixel from an image. In a conventional coding mode in which a motion compensation image is generated using a motion vector between high resolution images, it is necessary to describe motion vector information in a code string. In order to improve the motion compensation accuracy in the conventional coding mode, it is necessary to increase the number of motion vectors per macroblock, but the code amount of motion vector information further increases. In the coding mode of the present invention, since the motion vector is detected by the same method in the image coding apparatus and the image decoding apparatus using the decoded low-resolution image, the motion vector information is described in the code string. There is no need. Therefore, even if the number of motion vectors per macroblock is increased, the code amount is not increased. Then, by detecting a motion vector for each pixel using a low-resolution image, the number of motion vectors can be increased, and motion compensation accuracy can be improved. As a result, the image coding apparatus and the image decoding apparatus according to the present invention can improve the accuracy of motion compensation and obtain a high-resolution image without causing an increase in the amount of codes, so that the coding efficiency can be greatly improved. it can.
（実施の形態４）
本発明の画像符号化装置について図１０を用いて説明する。図１０は、本実施の形態４の画像符号化装置９００の構成を示すブロック図である。本実施の形態の画像符号化装置９００は、入力画像のうちの一部の画像を縮小して符号化する際に、低解像度で符号化されたピクチャが高解像度で符号化されるピクチャに参照される場合に、実施の形態１で説明した方法で画像処理部１００（または８００）によって動き補償高解像度画像を生成する画像符号化装置であって、フレームメモリ９０１、差分演算部９０２、予測誤差符号化部９０３、符号列生成部９０４、予測誤差復号部９０５、加算演算部９０６、フレームメモリ９０７、画面内予測/動きベクトル検出部９０８、モード選択部９０９、符号化制御部９１０、スイッチ９１４〜９１７、画像縮小部９１８、画像縮小部９１９、画像処理部１００（または８００）を備える。画像処理部１００（または８００）は、実施の形態１で説明した図１の画像処理装置１００、または実施の形態１の変形例で説明した図５の画像処理装置８００と同じ構成を有している。
(Embodiment 4)
The image encoding apparatus of the present invention will be described with reference to FIG. FIG. 10 is a block diagram showing a configuration of
同図において、符号化制御部９１０は、請求項でいう「符号化対象ピクチャのピクチャタイプに応じて、前記符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御手段」に相当し、画像縮小部９１７は、請求項でいう「前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小手段」に相当し、画像縮小部１００１は、請求項でいう「前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小手段」に相当し、動き検出部９０８、モード選択部９０９、差分演算部９０２及び予測残差符号化部９０３は、請求項でいう「前記第１の画像縮小手段によって低解像度化された符号化対象ピクチャを、前記第２の画像縮小手段によって低解像度化された前記参照ピクチャを参照して符号化する符号化手段」に相当する。
In this figure, the
また、画像処理部１００（または８００）は、請求項でいう「前記符号化制御ステップによって高解像度画像として符号化すると判定された符号化対象ピクチャが、低解像度画像として符号化されたピクチャを参照ピクチャとする場合、前記低解像度画像として符号化された前記参照ピクチャを高解像度化する画像処理ステップ」を実行する手段に相当し、フレームメモリ９０７、画面内予測／動き検出部９０８、モード選択部９０９、差分演算部９０２及び予測誤差符号化部９０３は、請求項でいう「前記画像処理ステップによって高解像度化された前記参照ピクチャを参照して、前記符号化対象ピクチャを符号化する前記符号化ステップ」を実行する手段に相当する。
Further, the image processing unit 100 (or 800) refers to a picture in which an encoding target picture determined to be encoded as a high-resolution image by the encoding control step is encoded as a low-resolution image. In the case of a picture, it corresponds to means for executing an “image processing step for increasing the resolution of the reference picture encoded as the low-resolution image”, and includes a
さらに、画像処理部１００（または８００）は、請求項でいう「前記参照ピクチャとされたピクチャであって低解像度画像として符号化された第１の低解像度画像につき、前記参照ピクチャが低解像度画像として符号化されるとき参照した第２の低解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、前記第２の低解像度画像に対応する第２の高解像度画像の画素値を取得し、前記第１の低解像度画像に対応する第１の高解像度画像を生成する前記画像処理ステップ」を実行する手段に相当する。 Furthermore, the image processing unit 100 (or 800) refers to “a reference picture in which the reference picture is a low-resolution image for a first low-resolution image encoded as a low-resolution image”. The second low-resolution image referred to when the image is encoded is searched, a motion vector is detected in units of one or a plurality of pixels, and the second low-resolution image is detected using the detected motion vector. This corresponds to a unit that acquires the pixel value of the corresponding second high-resolution image and generates the first high-resolution image corresponding to the first low-resolution image.
また、画像処理部１００（または８００）は、別の請求項でいう「さらに、前記第１の高解像度画像の生成済みの画素につき、第２の高解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、第２の高解像度画像の画素値を取得し、前記第１の高解像度画像内で同じ位置にある画素について取得された画素値の平均値を当該画素の画素値とする前記画像処理ステップ」を実行する手段に相当する。 Further, the image processing unit 100 (or 800) says in another claim, “Furthermore, for the already generated pixels of the first high-resolution image, the second high-resolution image is searched and one or more A motion vector is detected in units of pixels, and a pixel value of the second high-resolution image is obtained using the detected motion vector, and obtained for pixels at the same position in the first high-resolution image. This corresponds to means for executing the “image processing step” using the average value of the pixel values as the pixel value of the pixel.
図１１（ａ）は、高解像度画像からなる動画像の入力画像を示す図である。入力画像列の例を図１１（ａ）に示す。ここで、各画像に付与した先頭の記号はピクチャタイプ（Ｉ：画面内予測符号化ピクチャ、Ｐ：一方向画面間予測符号化ピクチャ、Ｂ：二方向画面間予測符号化ピクチャ）を示し、数字は表示順番号を示す。 FIG. 11A is a diagram illustrating an input image of a moving image composed of a high resolution image. An example of the input image sequence is shown in FIG. Here, the head symbol given to each image indicates a picture type (I: intra prediction encoding picture, P: unidirectional inter prediction encoding picture, B: bi directional prediction encoding picture) Indicates a display order number.
入力画像は表示順にピクチャ単位でフレームメモリ９０１に入力される。フレームメモリ９０１に入力された各ピクチャは、符号化順に並び替えられる。符号化順への並び替えは、ピクチャ間予測符号化における参照関係に基づいて行われ、参照ピクチャとして用いられるピクチャが、参照ピクチャとして用いるピクチャよりも先に符号化されるように並び替える。例えば、Ｐピクチャは直前の一枚のＩまたはＰピクチャのみを参照し、Ｂピクチャは直前および直後に位置する一枚ずつのＩまたはＰピクチャを参照するとした場合、ピクチャの符号化順序は、Ｉ０、Ｐ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５、．．．のようになる。
The input image is input to the
フレームメモリ９０１で並び替えが行われた各ピクチャは順に符号化されるが、符号化に先立って特定のピクチャに対しては画像縮小部９１８において低解像度画像への変換が施される。図１１（ｂ）は、ＩピクチャとＰピクチャとを高解像度画像として符号化する場合の解像度切替の例を示す図である。図１１（ｃ）は、Ｉピクチャのみを高解像度画像として符号化する場合の解像度切替の例を示す図である。ここでは図１１（ｂ）に示すように、Ｉ、Ｐピクチャにおいては解像度を変換せず、Ｂピクチャに対しては低解像度に変換を行うものとする。または図１１（ｃ）に示すように、Ｉピクチャにおいては解像度を変換せず、Ｐ、Ｂピクチャに対しては低解像度に変換を行うものとする。なお、どのピクチャタイプに対して低解像度で符号化を行い、どのピクチャタイプに対して高解像度で符号化を行うかは、あらかじめ符号化制御部９１０に記憶されており、符号化制御部９１０はその記憶内容に従って各ピクチャにつきいずれの解像度で符号化を行うかを制御するものとする。またここでは水平、垂直共に１／２の大きさに解像度変換している場合を示しているが、解像度変換の比は他の値であっても構わない。またピクチャタイプの決定は、符号化制御部９１０によりなされるものとする。
Each picture that has been rearranged in the
続いて、符号化対象の高解像度ピクチャはフレームメモリ９０１からマクロブロックの単位で読み出されるとする。ここでは、マクロブロックは例えば水平１６画素×垂直１６画素の大きさであるとする。
Subsequently, it is assumed that a high-resolution picture to be encoded is read from the
フレームメモリ９０１から読み出された符号化対象高解像度ピクチャのマクロブロックは、まず動きベクトル検出部９０８、モード選択部９０９、差分演算部９０２に入力される。
The macroblock of the high-resolution picture to be encoded read from the
画面内予測/動きベクトル検出部９０８では、フレームメモリ９０７に蓄積された高解像度復号画像データを参照ピクチャとして用い、マクロブロック内の各ブロックに対して、画面内予測または動きベクトル検出を行う。画面内予測方法または検出された動きベクトル、および画面内予測または動きベクトルにより参照高解像度画像から得られる動き補償高解像度画像は、モード選択部９０９に対して出力される。
The intra-screen prediction / motion
モード選択部９０９では、画面内予測／動きベクトル検出部９０８で検出した画面内予測方法または動きベクトル、および取得した動き補償高解像度画像を用いて、マクロブロックの符号化モードを決定する。ここで符号化モードとは、マクロブロックをどのような方法で符号化するかを示すものである。例えば、Ｉピクチャの場合には画面内予測符号化が用いられるとする。Ｐ、Ｂピクチャの場合には、画面内予測符号化、動きベクトルにより得られる動き補償画像を用いるピクチャ間予測符号化、縮小された低解像度画像を用いる低解像度符号化の中から、いずれの方法で符号化するかを決めることができるとする。符号化モードの決定においては、一般的には、より少ないビット量でより符号化誤差が小さくなる方法を選択する。画面内予測符号化の場合には、画面内予測符号化方法を示す符号を符号列中に記述する必要がある。ピクチャ間予測符号化の場合には、低解像度でも高解像度でも動きベクトルを表す符号化データを符号列中に記述する必要がある。
The
モード選択部９０９で決定された符号化モードは符号列生成部９０４に対して出力される。また、画面内予測方法または動きベクトルは、モード選択部９０９から符号列生成部９０４に対して出力される。次に、モード選択部５０９で決定された符号化モードに基づいた参照画像が、差分演算部９０２とスイッチ９０９とに出力される。
The encoding mode determined by the
差分演算部９０２には、マクロブロックの画像データ以外に、モード選択部９０９から参照画像が入力される。差分演算部９０９では、マクロブロックの画像データと参照画像との差分を演算し、予測誤差画像を生成し出力する。
In addition to the macroblock image data, a reference image is input from the
予測誤差画像は予測誤差符号化部９０３に入力される。予測誤差符号化部９０３では、入力された予測誤差画像に対して周波数変換や量子化等の符号化処理を施すことにより、符号化データを生成して出力する。ここで例えば、周波数変換や量子化の処理は、水平８画素×垂直８画素の単位で行うことができる。予測誤差符号化部９０３から出力された符号化データは、符号列生成部９０４とスイッチ９１５に入力される。
The prediction error image is input to the prediction
符号列生成部９０４では、入力された符号化データに対して、可変長符号化等を施し、さらにモード選択部９０９から入力された符号化モードの情報、画面内予測方法または動きベクトルの情報、その他のヘッダ情報等を付加することにより符号列を生成する。
The code
符号化制御部９１０は、ピクチャタイプにより、スイッチ９１４、スイッチ９１５を制御する。他のピクチャの参照画像として用いられるＩ、Ｐピクチャの符号化においては、符号化制御部９１０は、スイッチ９１４、スイッチ９１５がオンになるように各スイッチを制御する。また、他のピクチャの参照画像として用いられないＢピクチャの符号化においては、符号化制御部９１０は、スイッチ９１４、スイッチ９１５がオフになるように各スイッチを制御する。よって、ピクチャタイプがＩまたはＰピクチャである場合、以下の処理が行われる。
The
予測誤差復号部９０５では、入力された符号化データに対して、逆量子化や逆周波数変換等の復号処理を施し、復号差分画像を生成して出力する。復号差分画像は加算演算部９０６において、予測画像と加算されることにより復号画像となり、スイッチ９１６に入力される。
The prediction
符号化制御部９１０は、符号化対象ピクチャが画像縮小部９１８で解像度変換されている場合には、スイッチ９１６を端子ｌに、スイッチ９１７を端子ｊに接続する。この場合、スイッチ９１６に入力された画像は、画像処理部１００（８００）において本発明の第１の実施の形態または第１の実施の形態の変形例で説明した方法と同様の方法により処理され、入力画像ＩＮと同じ解像度に拡大されて動き補償画像ＭＨとしてスイッチ９１７に対して出力される。ここで、高解像度画像の参照画像ＲＨはフレームメモリ９０７から得られ、低解像度画像の参照画像ＲＬは高解像度画像ＲＨを画像縮小部９１９で解像度変換することにより得られ、低解像度画像ＣＬはスイッチ９１６を介して得られる。例えば、図１１（ｂ）のピクチャＢ４を高解像度化する場合には、高解像度画像ＲＨとしてピクチャＩ０、Ｐ３、Ｐ６のすべてまたは一部を用いれば良い。また、図１１（ｃ）のピクチャＢ４を高解像度化する場合には、高解像度画像ＲＨとしてピクチャＩ０を用いれば良い。
The
また、図示しない例でいえば、Ｉ０、Ｐ３、Ｂ１、Ｂ２の順で符号化されるピクチャのうち、ピクチャＩ０とピクチャＢ２とが高解像度で符号化され、ピクチャＰ３とピクチャＢ１とが低解像度で符号化されるとした場合について説明する。ピクチャＩ０は、高解像度入力画像のまま画面内予測符号化される。次にピクチャＰ３が画像縮小部９１８で縮小され、低解像度化される。このピクチャＰ３は、ピクチャＩ０を参照して符号化されるため、ピクチャＰ３の参照ピクチャとなるピクチャＩ０は、画像縮小部９１９で縮小されフレームメモリ９０７に格納される。ピクチャＰ３は画面内予測／動き検出部９０８で動き検出され、ピクチャＰ３の動き補償低解像度画像がモード選択部９０９を介して、差分演算部９０２に入力される。差分演算部９０２では低解像度化されたピクチャＰ３と動き補償低解像度画像との残差が求められ、予測残差符号化部９０３で符号化される。符号化された低解像度ピクチャＰ３の残差はスイッチ９１５を介して予測残差復号化部９０５で復号化され、復号化差分画像が生成される。符号化差分画像は、加算演算部９０６でピクチャＰ３の動き補償低解像度画像と加算され、局部復号画像が求められる。得られた局部復号画像はスイッチ９１６とスイッチ９１７とを介して、フレームメモリ９０７に蓄積される。
Further, in an example not shown, among pictures encoded in the order of I0, P3, B1, and B2, picture I0 and picture B2 are encoded with high resolution, and picture P3 and picture B1 are low resolution. A case will be described where encoding is performed in the above. The picture I0 is subjected to intra-frame predictive encoding with a high-resolution input image. Next, the picture P3 is reduced by the
ここで、低解像度画像であるピクチャＰ３の局部復号画像は、高解像度で符号化されるピクチャＢ２に参照される。このため、ピクチャＰ３は画像処理部１００（または８００）で高解像度化されフレームメモリ９０７に格納される。この場合、低解像度画像ＣＬであるピクチャＰ３の参照高解像度画像ＲＨは、フレームメモリ９０７に蓄積されているピクチャＩ０である。また、ピクチャＰ３の参照低解像度画像ＲＬは、フレームメモリから読み出されたピクチャＩ０を画像縮小部９１９で縮小して得られる。以下、実施の形態１で説明した方法により、これらの低解像度画像ＣＬ、参照低解像度画像ＲＬ及び参照高解像度画像ＲＨを用いて、ピクチャＰ３の動き補償高解像度画像ＭＨを得ることができる。この結果、高解像度で符号化されるピクチャＢ２は、フレームメモリ９０７に格納されている高解像度ピクチャＩ０と、高解像度ピクチャＰ３（動き補償高解像度画像ＭＨ）とを参照して、動き検出及び動き補償を行うことができる。
Here, the locally decoded image of the picture P3, which is a low-resolution image, is referred to by a picture B2 that is encoded at a high resolution. Therefore, the picture P3 is increased in resolution by the image processing unit 100 (or 800) and stored in the
また符号化制御部９１０は、符号化対象ピクチャが画像縮小部９１８で解像度変換されていない場合には、スイッチ９１６を端子ｋに、スイッチ９１７を端子ｉに接続する。よってこの場合は、スイッチ９１６に入力された画像は何も処理されないままスイッチ９１７から出力される。
The
スイッチ９１７から出力された画像は、フレームメモリ９０７に蓄積される。
同様の処理により、符号化対象ピクチャの残りのマクロブロックに対して、符号化処理が行われる。
The image output from the
By the same process, the encoding process is performed on the remaining macroblocks of the encoding target picture.
以上のように本発明の画像符号化方法では、高解像度画像の符号化を行う際に、一部の画像を低解像度化し符号化する。そして低解像度化して符号化した画像は、本発明の画像処理方法により高解像度化した後、他のピクチャを符号化する際の参照画像として用いられる。 As described above, in the image encoding method of the present invention, when encoding a high resolution image, a part of the image is reduced in resolution and encoded. Then, the image that has been reduced in resolution and encoded is used as a reference image when encoding another picture after the resolution is increased by the image processing method of the present invention.
本発明の画像符号化方法を用いることにより、入力画像を低解像度化するため符号量の大幅な削減を行うことができる。また、一度低解像度化した画像を復号後に本発明の画像処理方法により高画質な高解像度画像に変換するため、一度低解像度化された画像を参照画像として用いる場合でも低解像度化しない画像を参照画像として用いる場合と比較して、動き補償効率がほとんど低下しない。よって、総合的に符号化効率の大幅な向上を図ることができる。 By using the image encoding method of the present invention, the amount of code can be greatly reduced in order to reduce the resolution of an input image. In addition, since an image once reduced in resolution is converted into a high-resolution image with high image quality by the image processing method of the present invention after decoding, even when an image once reduced in resolution is used as a reference image, an image that does not reduce in resolution is referred to Compared with the case of using as an image, the motion compensation efficiency is hardly lowered. Therefore, it is possible to comprehensively improve the coding efficiency comprehensively.
なお、本実施の形態においては、他のピクチャを符号化する際の参照ピクチャとなるピクチャに対してのみ、スイッチ９１５をオンにして復号画像を生成する場合について説明したが、これは画像処理部１００（８００）において高解像度化処理を行う際の参照画像として用いられる画像についてもスイッチ９１５をオンにして復号画像を生成しても良い。
In the present embodiment, a case has been described in which a decoded image is generated by turning on the
（実施の形態４の変形例）
実施の形態４の変形例について図１２を用いて説明する。図１２は、本実施の形態４の変形例である画像符号化装置１０００の構成を示すブロック図である。画像符号化装置１０００は、図１０の画像符号化装置９００から、スイッチ９１７、９１８、画像処理部１００（８００）、画像縮小部９１９を取り除き、画像縮小部１００１を追加した構成となっている。
(Modification of Embodiment 4)
A modification of the fourth embodiment will be described with reference to FIG. FIG. 12 is a block diagram showing a configuration of an
実施の形態４と異なる点は、この変形例では、高解像度画像として符号化されるピクチャが、低解像度画像として符号化されたピクチャを参照画像とすることがない点である。このため、低解像度で符号化され、局部復号された画像は高解像度化されることなく、フレームメモリ９０７に蓄積される。そして、高解像度画像として符号化されたピクチャが、低解像度画像として符号化されるピクチャの参照画像として用いられる場合には、フレームメモリ９０７に蓄積された復号画像は、画像縮小部１００１で縮小処理を施されてフレームメモリ９０７に再度蓄積され、参照画像として用いられる。例えば、図１１（ｂ）のピクチャＩ０は、高解像度画像のままその復号画像がフレームメモリ９０７に一旦蓄積される。そしてピクチャＰ３の符号化の際には、ピクチャＩ０の復号画像は解像度変換を施さずに参照ピクチャとして用いられ、ピクチャＰ３の復号画像は高解像度画像のままフレームメモリ９０７に一旦蓄積される。ピクチャＢ１は低解像度に変換されて符号化されるので、ピクチャＩ０、Ｐ３の復号画像は画像縮小部１００１で縮小処理を施されてからピクチャＢ１の参照画像として用いられる。図１１（ｃ）の場合も同様で、Ｉピクチャのみが高解像度画像として符号化され、Ｐピクチャ及びＢピクチャは低解像度画像として符号化される。この場合も、Ｉピクチャが他のピクチャに参照されるときに低解像度化が必要であるだけで、ピクチャの高解像度化は不要となる。
The difference from the fourth embodiment is that in this modification, a picture encoded as a high-resolution image does not use a picture encoded as a low-resolution image as a reference image. For this reason, an image encoded at a low resolution and locally decoded is stored in the
ここで、符号化制御部９１０は、請求項でいう「Ｂピクチャは他のピクチャから参照されないことを前提として、ＩピクチャとＰピクチャとを高解像度画像として符号化し、Ｂピクチャを低解像度画像として符号化すると判定する前記符号化制御ステップ」を実行する手段に相当する。
Here, the
また、符号化制御部９１０は、別の請求項でいう「Ｉピクチャのみ高解像度画像として符号化すると判定する前記符号化制御ステップ」を実行する手段に相当する。
The
以上のように本発明の画像符号化方法では、高解像度画像の符号化を行う際に、一部の画像を低解像度化し符号化する。そして低解像度化して符号化する際に、参照画像が高解像度画像である場合には、その参照画像を低解像度化した後符号化を行う。 As described above, in the image encoding method of the present invention, when encoding a high resolution image, a part of the image is reduced in resolution and encoded. When the reference image is a high-resolution image when the resolution is reduced, the encoding is performed after the reference image is reduced in resolution.
本発明の画像符号化方法を用いることにより、入力画像の多くのピクチャが低解像度化されて符号化されるため、発生符号量の大幅な削減を行うことができる。 By using the image encoding method of the present invention, many pictures of the input image are encoded with a reduced resolution, so that the amount of generated codes can be greatly reduced.
（実施の形態５）
本発明の画像復号方法の実施の形態について、図１３を用いて説明する。図１３は、復号化の後処理として、復号化された低解像度画像を高解像度化して出力する画像復号化装置の構成を示すブロック図である。本実施の形態５の画像復号化装置は、低解像度画像として符号化されたピクチャを、復号化の後本発明の画像処理部を用いて高解像度化する画像復号化装置であって、符号列解析部７０１、予測誤差復号部７０２、モード復号部７０３、画面内予測／動き補償復号部７０５、フレームメモリ７０７、加算演算部７０８、画像縮小部１００１、制御部１１０１、スイッチ１１０２、１１０３、画像処理部１００（または８００）を備える。以下では、Ｐピクチャの復号処理について説明する。
(Embodiment 5)
An embodiment of the image decoding method of the present invention will be described with reference to FIG. FIG. 13 is a block diagram illustrating a configuration of an image decoding apparatus that outputs a decoded low-resolution image with high resolution as post-decoding processing. The image decoding apparatus according to the fifth embodiment is an image decoding apparatus that increases the resolution of a picture encoded as a low resolution image using the image processing unit of the present invention after decoding.
ここで、同図において、符号列解析部７０１、予測残差復号部７０２及び画面内予測／動き補償復号部７０５は、請求項でいう「前記符号列に符号化されている復号化対象ピクチャを復号化する復号化手段」に相当し、画像処理部１００（または８００）は、請求項でいう「前記復号化手段によって復号化されたピクチャが低解像度画像である場合、前記低解像度画像を高解像度化して高解像度画像を生成する復号化画像処理手段」に相当し、フレームメモリ７０７、スイッチ１１０２、スイッチ１１０３及び制御部１１０１は、請求項でいう「前記復号化画像処理手段によって生成された高解像度画像を出力する出力手段」に相当する。
Here, in the same figure, the code
また、画像処理部１００（または８００）は、請求項でいう「前記復号化ステップによって復号化された第１の低解像度画像につき、前記第１の低解像度画像が低解像度画像として符号化されるとき参照した復号化済みの第２の低解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、前記第２の低解像度画像に対応する第２の高解像度画像の画素値を取得し、前記第１の低解像度画像に対応する第１の高解像度画像を生成する前記復号化画像処理ステップ」を実行する手段に相当する。 In addition, the image processing unit 100 (or 800) may claim that the first low-resolution image is encoded as a low-resolution image for the first low-resolution image decoded by the decoding step. The second low-resolution image that has been decoded and referenced is searched, a motion vector is detected in units of one or a plurality of pixels, and the second low-resolution image is supported using the detected motion vector This means corresponds to means for executing the “decoded image processing step” of acquiring the pixel value of the second high resolution image and generating the first high resolution image corresponding to the first low resolution image.
Ｐピクチャの符号列は符号列解析部７０１に入力される。符号列解析部７０１では、入力された符号列から各種データを抽出する。ここで各種データとは、モード選択情報、動きベクトル情報、ヘッダ情報、等である。抽出されたモード選択の情報は、モード復号部７０３に対して出力される。また、抽出された動きベクトル情報は、画面内予測／動き補償復号部７０５に対して出力される。さらに、予測誤差符号化データは予測誤差復号部７０２に対して出力される。またこの際に、ヘッダ情報として符号化時に画像処理部１００（または８００）でどのような処理方法を用いたのかを示すフラグ情報が記述されている場合、このフラグ情報を画像処理部１００（または８００）に対して出力する。このフラグ情報は、例えば画像処理部１００（または８００）でどのような方法で動きを検出したか、どのような方法で動き補償画像を生成し、その中からどの動き補償画像を選択したか、どのような基準で動き補償画像を選択したか、及び参照高解像度画像ＲＨ内での探索範囲をどれぐらいの範囲にするか等の情報を示すものである。
The code sequence of the P picture is input to the code
モード復号部７０３では、モード選択の情報を画面内予測／動き補償復号部７０５に対して出力する。
予測誤差復号部７０２では、入力された予測誤差符号化データの復号を行い、予測誤差画像を生成する。生成された予測誤差画像は加算演算部７０８に対して出力される。
The prediction
画面内予測／動き補償復号部７０５は、符号列解析部７０１から入力された、画面内予測方法または動きベクトルに基づいて、フレームメモリ７０７から画面内予測画像または動き補償画像（ブロック）を取得する。このようにして生成された画面内予測画像または動き補償画像は加算演算部７０８に対して出力される。
The intra-screen prediction / motion
加算演算部７０８では、入力された予測誤差画像と画面内予測画像または動き補償画像とを加算し、復号画像を生成する。生成された復号画像はフレームメモリ７０７に蓄積される。
The
フレームメモリ７０７に蓄積された復号画像が高解像度画像であり、かつ他のピクチャの復号に参照画像として用いられ、かつその他のピクチャが低解像度画像として符号化されている場合には、画像縮小部１００１で縮小されて参照画像として用いられる。
When the decoded image stored in the
また、フレームメモリ７０７に蓄積された復号画像は、スイッチ１１０２に入力される。スイッチ１１０２、スイッチ１１０３は制御部１１０１により制御される。
Further, the decoded image stored in the
制御部１１０１は、復号画像が縮小されずに符号化された画像である場合には、スイッチ１１０２を端子ｅに、スイッチ１１０３を端子ｇに接続し、フレームメモリ７０７に蓄積された復号画像はそのまま出力画像として出力される。例えば、図１１（ｂ）のように符号化されている場合には、ＩピクチャとＰピクチャの場合がこの処理に相当する。図１１（ｃ）のように符号化されている場合には、Ｉピクチャの場合がこの処理に相当する。制御部１１０１がスイッチ１１０２、スイッチ１１０３をどのように制御するかは、例えばピクチャタイプや各ピクチャの画像サイズの情報から判断することができ、これらの情報は符号列解析部７０１から得ることができる。
When the decoded image is an image encoded without being reduced, the
制御部１１０１は、復号画像が縮小されて符号化された画像である場合には、スイッチ１１０２を端子ｆに、スイッチ１１０３を端子ｈに接続する。この場合、フレームメモリ７０７に蓄積された復号画像は画像処理部１００（８００）に入力される。画像処理部１００（８００）には、フレームメモリ７０７から低解像度画像の参照画像ＲＬ、現在の復号対象画像に対応する低解像度画像ＣＬ、低解像度画像ＲＬに対応する高解像度復号画像ＲＨが入力される。低解像度画像ＣＬまたはＲＬがフレームメモリ７０７に蓄積されていない場合には、対応する高解像度画像を画像縮小部１００１により縮小して低解像度画像を生成する。そして画像処理部１００（８００）は、本発明の第１の実施の形態またはその変形例で説明した方法と同様の処理により動き補償画像ＭＨを生成する。生成された動き補償画像ＭＨは、スイッチ１１０３を通して出力画像として出力される。また、動き補償画像ＭＨが他の画像の復号や高解像度化に用いられる場合には、フレームメモリ７０７に蓄積される。このようにして、図１１（ａ）のような高解像度画像の復号画像列を得ることができる。
When the decoded image is a reduced and encoded image, the
以上のように本発明の画像復号方法では、各ピクチャが低解像度画像または高解像度画像として符号化された符号列を復号し、低解像度画像として符号化された画像を復号した後、低解像度画像により求めた動きベクトルを用いて他の高解像度画像から動き補償画像を生成する。このような処理により、少ない符号量で低解像度画像として符号化されたピクチャを高解像度画像に変換することができるので、少ない符号量ですべてのピクチャを高解像度で再生することができ、符号化効率を大きく向上させることができる。 As described above, in the image decoding method of the present invention, each picture is decoded as a low-resolution image or a high-resolution image, and after decoding the low-resolution image, the low-resolution image is decoded. A motion compensated image is generated from another high-resolution image using the motion vector obtained by the above. With this process, pictures encoded as low-resolution images with a small amount of code can be converted into high-resolution images, so that all pictures can be played back with high resolution with a small amount of code. Efficiency can be greatly improved.
（実施の形態５の変形例）
実施の形態５の変形例について図１４を用いて説明する。図１４は、実施の形態５の変形例である画像復号化装置の構成を示すブロック図である。本変形例の画像復号化装置が実施の形態５の画像復号化装置と異なる点は、フレームメモリ７０７と画像処理部１００（８００）の順序が逆になっていることである。
(Modification of Embodiment 5)
A modification of the fifth embodiment will be described with reference to FIG. FIG. 14 is a block diagram showing a configuration of an image decoding apparatus which is a modification of the fifth embodiment. The difference between the image decoding apparatus of the present modification and the image decoding apparatus of the fifth embodiment is that the order of the
加算演算部７０８から出力された復号画像は、スイッチ１１０２に入力される。復号画像は、実施の形態５の制御部１１０１、スイッチ１１０２、スイッチ１１０３、画像処理部１００（８００）と同様の処理により処理される。すなわち、復号画像が縮小されずに符号化された画像である場合には、そのままフレームメモリ７０７に蓄積され、復号画像が縮小されて符号化された画像である場合には、画像処理部１００（８００）で高解像度化されてフレームメモリに蓄積される。
The decoded image output from the
フレームメモリ７０７に蓄積された復号画像は、出力画像として出力される。また、他の画像の復号処理または高解像度化に利用される。
The decoded image stored in the
以上のように本発明の画像復号装置では、低解像度画像または高解像度画像として符号化された各ピクチャの符号列を復号し、低解像度画像として符号化された画像を復号した後、低解像度画像により画素単位で求めた動きベクトルを用いて他の高解像度画像から動き補償画像を生成する。このような処理により、符号化効率を大きく向上させることができる。 As described above, the image decoding apparatus of the present invention decodes the code string of each picture encoded as a low resolution image or a high resolution image, decodes the image encoded as the low resolution image, and then decodes the low resolution image. A motion compensated image is generated from another high resolution image using the motion vector obtained in pixel units. By such processing, encoding efficiency can be greatly improved.
（実施の形態６）
さらに、上記各実施の形態で示した画像処理方法、画像符号化方法および画像復号方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
(Embodiment 6)
Furthermore, by recording the program for realizing the image processing method, the image encoding method, and the image decoding method shown in the above-described embodiments on a recording medium such as a flexible disk, the above-described embodiments. Can be easily executed in an independent computer system.
図１５は、上記各実施の形態の画像処理方法、画像符号化方法および画像復号方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。 FIG. 15 is an explanatory diagram when the image processing method, the image encoding method, and the image decoding method of each of the above embodiments are implemented by a computer system using a program recorded on a recording medium such as a flexible disk. .
図１５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。 FIG. 15B shows an appearance, a cross-sectional structure, and a flexible disk as viewed from the front of the flexible disk, and FIG. 15A shows an example of a physical format of the flexible disk that is a recording medium body. The flexible disk FD is built in the case F, and on the surface of the disk, a plurality of tracks Tr are formed concentrically from the outer periphery toward the inner periphery, and each track is divided into 16 sectors Se in the angular direction. ing. Therefore, in the flexible disk storing the program, the program is recorded in an area allocated on the flexible disk FD.
また、図１５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像処理方法、画像符号化方法および画像復号方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像処理方法、画像符号化方法および画像復号方法を実現する上記画像処理方法、画像符号化方法および画像復号方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。 FIG. 15C shows a configuration for recording and reproducing the program on the flexible disk FD. When the program for realizing the image processing method, the image encoding method, and the image decoding method is recorded on the flexible disk FD, the program is written from the computer system Cs via the flexible disk drive. Further, when the image processing method, the image encoding method, and the image decoding method for realizing the image processing method, the image encoding method, and the image decoding method by a program in the flexible disk are constructed in a computer system, a flexible disk drive is used. Read the program from the flexible disk and transfer it to the computer system.
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。 In the above description, a flexible disk is used as the recording medium, but the same can be done using an optical disk. Further, the recording medium is not limited to this, and any recording medium such as an IC card or a ROM cassette capable of recording a program can be similarly implemented.
（実施の形態７）
さらにここで、上記実施の形態で示した画像処理方法、画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。
(Embodiment 7)
Furthermore, application examples of the image processing method, the image encoding method, and the image decoding method described in the above embodiment and a system using the same will be described.
図１６は、コンテンツ配信サービスを実現するコンテンツ供給システムex５００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex５０７〜ex５１０が設置されている。 FIG. 16 is a block diagram showing an overall configuration of a content supply system ex500 that implements a content distribution service. A communication service providing area is divided into desired sizes, and base stations ex507 to ex510, which are fixed wireless stations, are installed in each cell.
このコンテンツ供給システムex５００は、例えば、インターネットex５０１にインターネットサービスプロバイダex５０２および電話網ex５０４、および基地局ex５０７〜ex５１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ex１１５などの各機器が接続される。 This content supply system ex500 includes, for example, a computer ex111, a PDA (personal digital assistant) ex112, a camera ex113, a mobile phone ex114, a camera via the Internet ex501, the Internet service provider ex502, the telephone network ex504, and the base stations ex507 to ex510. Each device such as the attached mobile phone ex115 is connected.
しかし、コンテンツ供給システムex５００は図１６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex５０７〜ex５１０を介さずに、各機器が電話網ex５０４に直接接続されてもよい。 However, the content supply system ex500 is not limited to the combination as shown in FIG. 16, and any of the combinations may be connected. Further, each device may be directly connected to the telephone network ex504 without going through the base stations ex507 to ex510 which are fixed wireless stations.
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。 The camera ex113 is a device capable of shooting a moving image such as a digital video camera. The mobile phone is a PDC (Personal Digital Communications) system, a CDMA (Code Division Multiple Access) system, a W-CDMA (Wideband-Code Division Multiple Access) system, or a GSM (Global System for Mobile Communications) system mobile phone, Alternatively, PHS (Personal Handyphone System) or the like may be used.
また、ストリーミングサーバex５０３は、カメラex１１３から基地局ex５０９、電話網ex５０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex５０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。 Further, the streaming server ex503 is connected from the camera ex113 through the base station ex509 and the telephone network ex504, and can perform live distribution based on the encoded data transmitted by the user using the camera ex113. The encoded processing of the captured data may be performed by the camera ex113 or may be performed by a server or the like that performs data transmission processing. The moving image data shot by the camera 116 may be transmitted to the streaming server ex503 via the computer ex111. The camera ex116 is a device that can shoot still images and moving images, such as a digital camera. In this case, the encoding of the moving image data may be performed by the camera ex116 or the computer ex111. The encoding process is performed in the LSI ex117 included in the computer ex111 and the camera ex116. Note that image encoding / decoding software may be incorporated into any storage medium (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium readable by the computer ex111 or the like. Furthermore, you may transmit moving image data with the mobile telephone ex115 with a camera. The moving image data at this time is data encoded by the LSI included in the mobile phone ex115.
このコンテンツ供給システムex５００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex５０３に送信する一方で、ストリーミングサーバex５０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex５００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。 In this content supply system ex500, the content (for example, video shot of music live) captured by the user with the camera ex113, camera ex116, etc. is encoded and transmitted to the streaming server ex503 in the same manner as in the above embodiment. On the other hand, the streaming server ex503 stream-distributes the content data to the requested client. Examples of the client include a computer ex111, a PDA ex112, a camera ex113, a mobile phone ex114, and the like that can decode the encoded data. In this way, the content supply system ex500 can receive and play back the encoded data at the client, and also realize personal broadcasting by receiving, decoding and playing back at the client in real time. It is a system that becomes possible.
このシステムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。 The image encoding device or the image decoding device described in the above embodiments may be used for encoding and decoding of each device constituting this system.
その一例として携帯電話について説明する。
図１７は、上記実施の形態で説明した画像処理方法、画像符号化方法および画像復号方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex５１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーex２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
A mobile phone will be described as an example.
FIG. 17 is a diagram illustrating the mobile phone ex115 using the image processing method, the image encoding method, and the image decoding method described in the above embodiment. The mobile phone ex115 includes an antenna ex201 for transmitting and receiving radio waves to and from the base station ex510, a video from a CCD camera, a camera unit ex203 capable of taking a still image, a video shot by the camera unit ex203, and an antenna ex201. A display unit ex202 such as a liquid crystal display for displaying data obtained by decoding received video and the like, a main body unit composed of a group of operation keys ex204, an audio output unit ex208 such as a speaker for audio output, and audio input To store encoded data or decoded data such as a voice input unit ex205 such as a microphone, captured video or still image data, received mail data, video data or still image data, etc. Recording medium ex207, and slot portion ex206 for enabling the recording medium ex207 to be attached to the mobile phone ex115. Have. The recording medium ex207 stores a flash memory element which is a kind of EEPROM (Electrically Erasable and Programmable Read Only Memory) which is a nonvolatile memory that can be electrically rewritten and erased in a plastic case such as an SD card.
さらに、携帯電話ex１１５について図１８を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーex２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３５０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。 Further, the cellular phone ex115 will be described with reference to FIG. A cellular phone ex115 controls a power supply circuit ex350, an operation input control unit ex304, and an image encoding for a main control unit ex311 configured to control the respective units of the main body unit including the display unit ex202 and the operation key ex204. Unit ex312, camera interface unit ex303, LCD (Liquid Crystal Display) control unit ex302, image decoding unit ex309, demultiplexing unit ex308, recording / reproducing unit ex307, modulation / demodulation circuit unit ex306, and audio processing unit ex305 via a synchronization bus ex313 Are connected to each other.
電源回路部ex３５０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。 When the end call and the power key are turned on by the user's operation, the power supply circuit unit ex350 activates the camera-equipped digital cellular phone ex115 by supplying power from the battery pack to each unit. .
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ex２０８を介して出力する。 The mobile phone ex115 converts the voice signal collected by the voice input unit ex205 in the voice call mode into digital voice data by the voice processing unit ex305 based on the control of the main control unit ex311 including a CPU, a ROM, a RAM, and the like. The modulation / demodulation circuit unit ex306 performs spread spectrum processing, and the transmission / reception circuit unit ex301 performs digital analog conversion processing and frequency conversion processing, and then transmits the result via the antenna ex201. In addition, the cellular phone ex115 amplifies the received signal received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, performs spectrum despreading processing by the modulation / demodulation circuit unit ex306, and analog audio by the voice processing unit ex305. After being converted to a signal, this is output via the audio output unit ex208.
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex５１０へ送信する。 Further, when an e-mail is transmitted in the data communication mode, text data of the e-mail input by operating the operation key ex204 on the main body is sent to the main control unit ex311 via the operation input control unit ex304. The main control unit ex311 performs spread spectrum processing on the text data in the modulation / demodulation circuit unit ex306, performs digital analog conversion processing and frequency conversion processing in the transmission / reception circuit unit ex301, and then transmits the text data to the base station ex510 via the antenna ex201.
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。 When transmitting image data in the data communication mode, the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface unit ex303. When image data is not transmitted, the image data captured by the camera unit ex203 can be directly displayed on the display unit ex202 via the camera interface unit ex303 and the LCD control unit ex302.
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。 The image encoding unit ex312 has a configuration including the image encoding device described in the present invention, and an encoding method using the image data supplied from the camera unit ex203 in the image encoding device described in the above embodiment. The encoded image data is converted into encoded image data by compression encoding, and sent to the demultiplexing unit ex308. At the same time, the cellular phone ex115 sends the sound collected by the audio input unit ex205 during imaging by the camera unit ex203 to the demultiplexing unit ex308 as digital audio data via the audio processing unit ex305.
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介し
て送信する。
The demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit ex305 by a predetermined method, and the multiplexed data obtained as a result is a modulation / demodulation circuit unit A spectrum spread process is performed at ex306, a digital-analog conversion process and a frequency conversion process are performed at the transmission / reception circuit unit ex301, and then transmitted through the antenna ex201.
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex５１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。 When data of a moving image file linked to a home page or the like is received in the data communication mode, the received signal received from the base station ex510 via the antenna ex201 is subjected to spectrum despreading processing by the modulation / demodulation circuit unit ex306, and the resultant multiplexing is obtained. Is sent to the demultiplexing unit ex308.
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。 In addition, in order to decode the multiplexed data received via the antenna ex201, the demultiplexing unit ex308 separates the multiplexed data to generate an encoded bitstream of image data and an encoded bitstream of audio data. The encoded image data is supplied to the image decoding unit ex309 via the synchronization bus ex313, and the audio data is supplied to the audio processing unit ex305.
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。 Next, the image decoding unit ex309 is configured to include the image decoding device described in the present invention, and a decoding method corresponding to the encoding method described in the above embodiment for an encoded bit stream of image data. To generate playback moving image data, which is supplied to the display unit ex202 via the LCD control unit ex302, thereby displaying, for example, moving image data included in the moving image file linked to the homepage . At the same time, the audio processing unit ex305 converts the audio data into an analog audio signal, and then supplies the analog audio signal to the audio output unit ex208. Thus, for example, the audio data included in the moving image file linked to the home page is reproduced. The
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４５０に伝送される。これを受けた放送衛星ex４５０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４５０からまたは基地局ex５０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。 Note that the present invention is not limited to the above-described system, and recently, digital broadcasting using satellites and terrestrial waves has become a hot topic. As shown in FIG. 19, the digital broadcasting system also includes at least the image encoding device or the image according to the above embodiment. Any of the decoding devices can be incorporated. Specifically, in the broadcasting station ex409, the encoded bit stream of the video information is transmitted to the communication or broadcasting satellite ex450 via radio waves. Receiving this, the broadcasting satellite ex450 transmits a radio wave for broadcasting, and receives the radio wave with a home antenna ex406 having a satellite broadcasting receiving facility, such as a television (receiver) ex401 or a set top box (STB) ex407. The device decodes the encoded bit stream and reproduces it. In addition, the image decoding apparatus described in the above embodiment can also be implemented in a playback apparatus ex403 that reads and decodes an encoded bitstream recorded on a storage medium ex402 such as a CD or DVD as a recording medium. is there. In this case, the reproduced video signal is displayed on the monitor ex404. Further, a configuration in which an image decoding device is mounted in a set-top box ex407 connected to a cable ex405 for cable television or an antenna ex406 for satellite / terrestrial broadcasting, and this is reproduced on the monitor ex408 of the television is also conceivable. At this time, the image decoding apparatus may be incorporated in the television instead of the set top box. In addition, a car ex412 having an antenna ex411 can receive a signal from the satellite ex450 or the base station ex507 and the like, and a moving image can be reproduced on a display device such as a car navigation ex413 that the car ex412 has.
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクex４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にＳＤカードex４２２に記録することもできる。レコーダex４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクex４２１やＳＤカードex４２２に記録した画像信号を再生し、モニタex４０８で表示することができる。 Further, the image signal can be encoded by the image encoding device shown in the above embodiment and recorded on a recording medium. As a specific example, there is a recorder ex420 such as a DVD recorder that records an image signal on a DVD disk ex421 or a disk recorder that records on a hard disk. Further, it can be recorded on the SD card ex422. If the recorder ex420 includes the image decoding device described in the above embodiment, the image signal recorded on the DVD disc ex421 or the SD card ex422 can be reproduced and displayed on the monitor ex408.
なお、カーナビゲーションex４１３の構成は例えば図１８に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ex３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。 For example, the configuration of the car navigation ex413 may be a configuration excluding the camera unit ex203, the camera interface unit ex303, and the image encoding unit ex312 in the configuration illustrated in FIG. 18, and the same applies to the computer ex111 and the television (receiver). ) Ex401 can also be considered.
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。 In addition to the transmission / reception type terminal having both the encoder and the decoder, the terminal such as the mobile phone ex114 has three mounting formats: a transmitting terminal having only an encoder and a receiving terminal having only a decoder. Can be considered.
このように、上記実施の形態で示した画像処理方法、画像符号化方法および画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。 As described above, the image processing method, the image encoding method, and the image decoding method described in the above embodiment can be used in any of the above-described devices and systems, and as a result, described in the above embodiment. Effects can be obtained.
また、図１、図５、図７、図９、図１０、図１２〜図１４に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。 Each of the functional blocks in the block diagrams shown in FIGS. 1, 5, 7, 9, 10, and 12 to 14 is typically realized as an LSI that is an integrated circuit. This LSI may be made into one chip or a plurality of chips (for example, functional blocks other than the memory may be made into one chip). The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。 Further, the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of the circuit cells inside the LSI may be used.
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。 Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.
また、図１、図５、図７、図９、図１０、図１２〜図１４に示したブロック図の各機能ブロックは、その中心的部分をプロセサおよびプログラムによって実現される。 Each of the functional blocks in the block diagrams shown in FIGS. 1, 5, 7, 9, 10, and 12 to 14 is realized by a processor and a program at the central part.
なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。 It should be noted that the present invention is not limited to the above-described embodiment, and various changes and modifications can be made without departing from the scope of the present invention.
本発明にかかる画像処理方法、画像符号化方法および画像復号方法は、入力画像を高能率符号化する際に、符号量を大幅に削減することができるという効果を有し、蓄積、伝送、通信等における画像処理方法、画像符号化方法および画像復号方法として有用である。 The image processing method, the image encoding method, and the image decoding method according to the present invention have the effect that the amount of code can be greatly reduced when performing high-efficiency encoding of an input image, and store, transmit, and communicate It is useful as an image processing method, an image encoding method, and an image decoding method.
１００、８００ 画像処理部
１０１ 動き補償部
１０２ 動き検出部
１０３ 制御部
５０１、５０７、５１７、７０７、７１３ フレームメモリ
５０２ 差分演算部
５０３ 予測誤差符号化部
５０４ 符号列生成部
５０５、７０２ 予測誤差復号部
５０６、７０８ 加算演算部
５０８ 画面内予測／動き検出部
５０９ モード選択部
５１０ 符号化制御部
５１４、５１５、７１１ スイッチ
５１６ 画像縮小部
５１８ 低解像度画像符号化部
７０１ 符号列解析部
７０３ モード復号部
７０５ 画面内予測／動き補償復号部
７１２ 低解像度画像復号部
100, 800
Claims (15)
符号化対象ピクチャのピクチャタイプに応じて、前記符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御ステップと、
前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小ステップと、
前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小ステップと、
前記第１の画像縮小ステップによって低解像度化された符号化対象ピクチャを、前記第２の画像縮小ステップによって低解像度化された前記参照ピクチャを参照して符号化する符号化ステップと
を含むことを特徴とする画像符号化方法。 An image encoding method in which a high-resolution image is input and each picture is encoded with either high resolution or low resolution,
An encoding control step for determining whether to encode the encoding target picture as a high resolution image or a low resolution image according to the picture type of the encoding target picture;
A first image reduction step for reducing the resolution of the encoding target picture determined to be encoded as a low-resolution image by the encoding control step;
When the encoding target picture determined to be encoded as a low-resolution image by the encoding control step uses a picture encoded as a high-resolution image as a reference picture, the reference picture encoded as a high-resolution image is A second image reduction step for reducing the resolution;
Encoding a picture to be encoded whose resolution has been reduced by the first image reduction step with reference to the reference picture whose resolution has been reduced by the second image reduction step. A characteristic image encoding method.
ことを特徴とする請求項１記載の画像符号化方法。 In the encoding control step, it is determined that the I picture and the P picture are encoded as a high resolution image and the B picture is encoded as a low resolution image on the assumption that the B picture is not referred to by other pictures. The image encoding method according to claim 1.
ことを特徴とする請求項１記載の画像符号化方法。 The image encoding method according to claim 1, wherein in the encoding control step, it is determined that only an I picture is encoded as a high resolution image.
前記符号化制御ステップによって高解像度画像として符号化すると判定された符号化対象ピクチャが、低解像度画像として符号化されたピクチャを参照ピクチャとする場合、前記低解像度画像として符号化された前記参照ピクチャを高解像度化する画像処理ステップを含み、
前記符号化ステップでは、前記画像処理ステップによって高解像度化された前記参照ピクチャを参照して、前記符号化対象ピクチャを符号化する
ことを特徴とする請求項１記載の画像符号化方法。 The image encoding method further includes:
When the encoding target picture determined to be encoded as a high-resolution image by the encoding control step is a picture encoded as a low-resolution image as a reference picture, the reference picture encoded as the low-resolution image Including an image processing step for increasing the resolution,
The image encoding method according to claim 1, wherein in the encoding step, the encoding target picture is encoded with reference to the reference picture whose resolution has been increased in the image processing step.
前記符号化ステップでは、生成された前記第１の高解像度画像を参照して、前記符号化対象ピクチャを符号化する
ことを特徴とする請求項４記載の画像符号化方法。 In the image processing step, for the first low-resolution image that is the reference picture and is encoded as the low-resolution image, the second reference that is referred to when the reference picture is encoded as the low-resolution image A low-resolution image is searched, a motion vector is detected in units of one or a plurality of pixels, and a second high-resolution image representing the same image as the second low-resolution image is displayed using the detected motion vector. A first pixel value of a resolution image is acquired, and a first high-resolution image that represents the same image as the first low-resolution image and has a different resolution is generated using the acquired first pixel value as the pixel value of the pixel. ,
The image encoding method according to claim 4, wherein, in the encoding step, the encoding target picture is encoded with reference to the generated first high-resolution image.
ことを特徴とする請求項５記載の画像符号化方法。 In the image processing step, the second high-resolution image is searched using the generated pixels of the first high-resolution image, and a motion vector is detected in units of one or a plurality of pixels. The second pixel value of the second high-resolution image is obtained using the motion vector thus obtained, and the first pixel value and the first pixel value obtained for the pixels at the same position in the first high-resolution image are obtained. The image encoding method according to claim 5, wherein an average value of the two pixel values is used as a pixel value of the pixel.
前記画像符号化方法は、さらに、前記画像処理ステップによって生成された複数の前記第１の高解像度画像のうち、１つの第１の高解像度画像を選択する選択ステップ
を含むことを特徴とする請求項５記載の画像符号化方法。 In the image processing step, a plurality of the second low-resolution images, a plurality of the second high-resolution images, and a plurality of the second high-resolution images for the generated pixels of the first low-resolution image and the first high-resolution image And detecting a plurality of motion vectors to generate a plurality of first high resolution images corresponding to the first low resolution image;
The image encoding method further includes a selection step of selecting one first high-resolution image among the plurality of first high-resolution images generated by the image processing step. Item 6. The image encoding method according to Item 5.
前記符号列に符号化されている復号化対象ピクチャを復号化する復号化ステップと、
前記復号化ステップによって復号化されたピクチャが低解像度画像である場合、前記低解像度画像を高解像度化して高解像度画像を生成する復号化画像処理ステップと、
前記復号化画像処理ステップによって生成された高解像度画像を出力する出力ステップと
を含むことを特徴とする画像復号化方法。 An image decoding method for inputting a code sequence in which each picture in a moving image is encoded as a high-resolution image or a low-resolution image and decoding the code sequence,
A decoding step of decoding a decoding target picture encoded in the code string;
When the picture decoded by the decoding step is a low resolution image, a decoded image processing step of generating a high resolution image by increasing the resolution of the low resolution image;
An image decoding method comprising: an output step of outputting a high-resolution image generated by the decoded image processing step.
前記復号化ステップによって復号化された第１の低解像度画像につき、前記第１の低解像度画像が低解像度画像として符号化されるとき参照した復号化済みの第２の低解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、前記第２の低解像度画像に対応する第２の高解像度画像の画素値を取得し、前記第１の低解像度画像に対応する第１の高解像度画像を生成する
ことを特徴とする請求項８記載の画像復号化方法。 In the decoded image processing step,
For the first low-resolution image decoded by the decoding step, a second low-resolution image that has been decoded that is referred to when the first low-resolution image is encoded as a low-resolution image is searched for A motion vector is detected in units of one or a plurality of pixels, and a pixel value of a second high-resolution image corresponding to the second low-resolution image is acquired using the detected motion vector, and the first The image decoding method according to claim 8, wherein a first high-resolution image corresponding to the low-resolution image is generated.
符号化対象ピクチャのピクチャタイプに応じて、前記符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御手段と、
前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小手段と、
前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小手段と、
前記第１の画像縮小手段によって低解像度化された符号化対象ピクチャを、前記第２の画像縮小手段によって低解像度化された前記参照ピクチャを参照して符号化する符号化手段と
を備えることを特徴とする画像符号化装置。 An image encoding device that receives a high resolution image and encodes each picture with either a high resolution or a low resolution,
Encoding control means for determining whether to encode the encoding target picture as a high resolution image or a low resolution image according to the picture type of the encoding target picture;
First image reduction means for reducing the resolution of the encoding target picture determined to be encoded as a low resolution image by the encoding control means;
When the encoding target picture determined to be encoded as a low-resolution image by the encoding control means uses a picture encoded as a high-resolution image as a reference picture, the reference picture encoded as a high-resolution image is used as the reference picture. A second image reduction means for reducing the resolution;
Encoding means for encoding a picture to be encoded whose resolution has been reduced by the first image reduction means with reference to the reference picture whose resolution has been reduced by the second image reduction means. An image encoding device.
前記符号列に符号化されている復号化対象ピクチャを復号化する復号化手段と、
前記復号化手段によって復号化されたピクチャが低解像度画像である場合、前記低解像度画像を高解像度化して高解像度画像を生成する復号化画像処理手段と、
前記復号化画像処理手段によって生成された高解像度画像を出力する出力手段と
を備えることを特徴とする画像復号化装置。 An image decoding apparatus that receives as input a code sequence in which each picture in a moving image is encoded as a high-resolution image or a low-resolution image, and decodes the code sequence,
Decoding means for decoding the decoding target picture encoded in the code string;
When the picture decoded by the decoding means is a low resolution image, the decoded image processing means for generating a high resolution image by increasing the resolution of the low resolution image;
An image decoding apparatus comprising: output means for outputting a high-resolution image generated by the decoded image processing means.
符号化対象ピクチャのピクチャタイプに応じて、前記符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御ステップと、前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小ステップと、前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小ステップと、前記第１の画像縮小ステップによって低解像度化された符号化対象ピクチャを、前記第２の画像縮小ステップによって低解像度化された前記参照ピクチャを参照して符号化する符号化ステップとを実行させるプログラム。 A program for an image encoding apparatus that receives a high resolution image and encodes each picture with either a high resolution or a low resolution.
According to the picture type of the encoding target picture, an encoding control step for determining whether the encoding target picture is encoded as a high resolution image or a low resolution image, and the encoding control step reduces the encoding target picture. A first image reduction step for reducing the resolution of the encoding target picture determined to be encoded as a resolution image, and an encoding target picture determined to be encoded as a low resolution image in the encoding control step When a picture encoded as an image is used as a reference picture, the resolution is reduced by a second image reduction step for reducing the resolution of the reference picture encoded as a high-resolution image and the first image reduction step. The reference that has been reduced in resolution by the second image reduction step Program for executing an encoding step of encoding with reference to puncturing.
前記符号列に符号化されている復号化対象ピクチャを復号化する復号化ステップと、前記復号化ステップによって復号化されたピクチャが低解像度画像である場合、前記低解像度画像を高解像度化して高解像度画像を生成する復号化画像処理ステップと、前記復号化画像処理ステップによって生成された高解像度画像を出力する出力ステップとを実行させるプログラム。 A program for an image decoding apparatus that receives a code sequence in which each picture in a moving image is encoded as a high-resolution image or a low-resolution image and decodes the code sequence. A decoding step for decoding the current picture to be decoded, and when the picture decoded by the decoding step is a low resolution image, the low resolution image is increased in resolution to obtain a high resolution image. A program for executing a decoded image processing step to be generated and an output step for outputting a high-resolution image generated by the decoded image processing step.
符号化対象ピクチャのピクチャタイプに応じて、前記符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御手段と、
前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小手段と、
前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小手段と、
前記第１の画像縮小手段によって低解像度化された符号化対象ピクチャを、前記第２の画像縮小手段によって低解像度化された前記参照ピクチャを参照して符号化する符号化手段と
を備えることを特徴とする集積回路。 An integrated circuit that implements an image encoding device that receives a high-resolution image and encodes each picture with either a high resolution or a low resolution,
Encoding control means for determining whether to encode the encoding target picture as a high resolution image or a low resolution image according to the picture type of the encoding target picture;
First image reduction means for reducing the resolution of the encoding target picture determined to be encoded as a low resolution image by the encoding control means;
When the encoding target picture determined to be encoded as a low-resolution image by the encoding control means uses a picture encoded as a high-resolution image as a reference picture, the reference picture encoded as a high-resolution image is used as the reference picture. A second image reduction means for reducing the resolution;
Encoding means for encoding a picture to be encoded whose resolution has been reduced by the first image reduction means with reference to the reference picture whose resolution has been reduced by the second image reduction means. Characteristic integrated circuit.
前記符号列に符号化されている復号化対象ピクチャを復号化する復号化手段と、
前記復号化手段によって復号化されたピクチャが低解像度画像である場合、前記低解像度画像を高解像度化して高解像度画像を生成する復号化画像処理手段と、
前記復号化画像処理手段によって生成された高解像度画像を出力する出力手段と
を備えることを特徴とする集積回路。 An integrated circuit that mounts an image decoding apparatus that receives a code sequence in which each picture in a moving image is encoded as a high-resolution image or a low-resolution image and decodes the code sequence,
Decoding means for decoding the decoding target picture encoded in the code string;
When the picture decoded by the decoding means is a low resolution image, the decoded image processing means for generating a high resolution image by increasing the resolution of the low resolution image;
And an output means for outputting a high-resolution image generated by the decoded image processing means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006257901A JP4641995B2 (en) | 2006-09-22 | 2006-09-22 | Image encoding method and image encoding apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006257901A JP4641995B2 (en) | 2006-09-22 | 2006-09-22 | Image encoding method and image encoding apparatus |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2008079152A true JP2008079152A (en) | 2008-04-03 |
| JP2008079152A5 JP2008079152A5 (en) | 2009-10-15 |
| JP4641995B2 JP4641995B2 (en) | 2011-03-02 |
Family
ID=39350707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006257901A Expired - Fee Related JP4641995B2 (en) | 2006-09-22 | 2006-09-22 | Image encoding method and image encoding apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4641995B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011010304A (en) * | 2009-06-25 | 2011-01-13 | Arm Ltd | Motion vector estimator |
| JP2012054791A (en) * | 2010-09-01 | 2012-03-15 | Nippon Hoso Kyokai <Nhk> | Encoding device, decoding device and program |
| JP2012169765A (en) * | 2011-02-10 | 2012-09-06 | Canon Inc | Encoder |
| JP2017220934A (en) * | 2016-06-10 | 2017-12-14 | アーム・リミテッド | Video data processing system |
| WO2021245935A1 (en) * | 2020-06-05 | 2021-12-09 | 株式会社ソシオネクスト | Information processing device, information processing method, and program |
| JP2022546155A (en) * | 2019-07-09 | 2022-11-04 | アリババ・グループ・ホールディング・リミテッド | Resolution adaptive video coding |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000050283A (en) * | 1998-07-27 | 2000-02-18 | Sony Corp | Coding device and method |
| JP2000350197A (en) * | 1999-06-02 | 2000-12-15 | Hitachi Ltd | Video transmission method and supervisory system employing the same |
| JP2007096709A (en) * | 2005-09-28 | 2007-04-12 | Matsushita Electric Ind Co Ltd | Image processing method, image encoding method, and image decoding method |
-
2006
- 2006-09-22 JP JP2006257901A patent/JP4641995B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000050283A (en) * | 1998-07-27 | 2000-02-18 | Sony Corp | Coding device and method |
| JP2000350197A (en) * | 1999-06-02 | 2000-12-15 | Hitachi Ltd | Video transmission method and supervisory system employing the same |
| JP2007096709A (en) * | 2005-09-28 | 2007-04-12 | Matsushita Electric Ind Co Ltd | Image processing method, image encoding method, and image decoding method |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011010304A (en) * | 2009-06-25 | 2011-01-13 | Arm Ltd | Motion vector estimator |
| GB2471323B (en) * | 2009-06-25 | 2014-10-22 | Advanced Risc Mach Ltd | Motion vector estimator |
| US9407931B2 (en) | 2009-06-25 | 2016-08-02 | Arm Limited | Motion vector estimator |
| JP2012054791A (en) * | 2010-09-01 | 2012-03-15 | Nippon Hoso Kyokai <Nhk> | Encoding device, decoding device and program |
| JP2012169765A (en) * | 2011-02-10 | 2012-09-06 | Canon Inc | Encoder |
| JP2017220934A (en) * | 2016-06-10 | 2017-12-14 | アーム・リミテッド | Video data processing system |
| US11212540B2 (en) | 2016-06-10 | 2021-12-28 | Arm Limited | Video data processing system |
| JP2022546155A (en) * | 2019-07-09 | 2022-11-04 | アリババ・グループ・ホールディング・リミテッド | Resolution adaptive video coding |
| WO2021245935A1 (en) * | 2020-06-05 | 2021-12-09 | 株式会社ソシオネクスト | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4641995B2 (en) | 2011-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4594201B2 (en) | Image coding method, image coding apparatus, program, and integrated circuit | |
| JP4949028B2 (en) | Decoding device, encoding device, decoding method, encoding method | |
| JP5208157B2 (en) | Decryption system | |
| KR100976672B1 (en) | Moving picture encoding method and moving picture decoding method | |
| JP2008187734A (en) | Filtering strength determination method | |
| JP4313710B2 (en) | Image encoding method and image decoding method | |
| JP4641995B2 (en) | Image encoding method and image encoding apparatus | |
| JP4580626B2 (en) | Filtering strength determination method, video encoding method, and video decoding method | |
| JP4495013B2 (en) | Video encoding device | |
| JP2005159947A (en) | Prediction image generation method, image encoding method and image decoding method | |
| JP4580901B2 (en) | Filtering strength determination method, video encoding method, and video decoding method | |
| JP4580902B2 (en) | Filtering strength determination method, video encoding method, and video decoding method | |
| JP2004040512A (en) | Image encoding method and image decoding method | |
| JP2005130417A (en) | Conversion encoding method and conversion decoding method | |
| JP2005341545A (en) | Moving image coding method,device, and program, and moving image decoding method,device, and program | |
| JP2005278156A (en) | Motion detecting method and dynamic image encoding method | |
| JP4580903B2 (en) | Filtering strength determination method, video encoding method, and video decoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090828 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090828 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101102 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101109 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101130 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |