JP4994767B2

JP4994767B2 - Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program

Info

Publication number: JP4994767B2
Application number: JP2006271984A
Authority: JP
Inventors: 芳典鈴木; チュンセンブン
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2006-10-03
Filing date: 2006-10-03
Publication date: 2012-08-08
Anticipated expiration: 2026-10-03
Also published as: JP2008092352A

Description

本発明は、画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するもので、とりわけ、テキスチャー合成方法を用いて予測符号化および復号する画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するものである。 The present invention relates to an image predictive encoding device, an image predictive encoding method, an image predictive encoding program, an image predictive decoding device, an image predictive decoding method, and an image predictive decoding program, and in particular, a predictive code using a texture synthesis method. The present invention relates to an image predictive encoding device, an image predictive encoding method, an image predictive encoding program, an image predictive decoding device, an image predictive decoding method, and an image predictive decoding program.

静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ−１〜４やＩＴＵ（International Telecommunication Union）Ｈ．２６１〜Ｈ．２６４の方式が広く用いられている。 In order to efficiently transmit and store still images and moving image data, compression coding technology is used. In the case of moving images, MPEG-1 to 4 and ITU (International Telecommunication Union) H.264. 261-H. H.264 is widely used.

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。 In these encoding methods, encoding / decoding processing is performed after an image to be encoded is divided into a plurality of blocks. In predictive coding within a screen, a predicted signal is generated using an adjacent previously reproduced image signal (reconstructed compressed image data) in the same screen as the target block, and then the predicted signal is The differential signal subtracted from the signal of the target block is encoded. In predictive coding between screens, the adjacent reproduced image signal in the screen different from the target block is referred to, the motion is corrected, the predicted signal is generated, and the predicted signal is subtracted from the signal of the target block. Encode the difference signal.

例えば、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図１８は、ＩＴＵＨ．２６４に用いられる画面内予測方法を説明するための模式図である。図１８（Ａ）において、対象ブロック１８０２は符号化の対象となるブロックであり、その対象ブロック１８０２の境界に隣接する画素Ａ〜Ｍからなる画素群１８０１は隣接領域であり、過去の処理において既に再生された画像信号である。 For example, H.M. H.264 intra-screen predictive encoding employs a method of generating a prediction signal by extrapolating already reproduced pixel values adjacent to a block to be encoded in a predetermined direction. FIG. 2 is a schematic diagram for explaining an intra-screen prediction method used for H.264. In FIG. 18A, a target block 1802 is a block to be encoded, and a pixel group 1801 composed of pixels A to M adjacent to the boundary of the target block 1802 is an adjacent region, and has already been obtained in past processing. It is the reproduced image signal.

この場合、対象ブロック１８０２の真上にある隣接画素である画素群１８０１を下方に引き伸ばして予測信号を生成する。また図１８（Ｂ）では、対象ブロック１８０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばして予測信号を生成する。予測信号を生成する具体的な方法はたとえば特許文献１に記載されている。このように図１８（Ａ）〜（Ｉ）に示す方法で生成された９つの予測信号のそれぞれを対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適の予測信号とする。以上のように、画素を外挿することにより予測信号を生成することができる。以上の内容については、下記特許文献１に記載されている。 In this case, a prediction signal is generated by extending downward the pixel group 1801, which is an adjacent pixel immediately above the target block 1802. In FIG. 18B, the already reproduced pixels (I to L) on the left of the target block 1804 are stretched to the right to generate a prediction signal. A specific method for generating a prediction signal is described in Patent Document 1, for example. Thus, the difference between each of the nine prediction signals generated by the method shown in FIGS. 18A to 18I and the pixel signal of the target block is taken, and the one with the smallest difference value is used as the optimum prediction signal. . As described above, a prediction signal can be generated by extrapolating pixels. The above contents are described in Patent Document 1 below.

通常の画面間予測符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトルと、対象ブロックの画素信号と予測信号との残差信号とを符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。 In normal inter-screen predictive coding, a prediction signal is generated by searching for a signal similar to the pixel signal from a screen that has already been reproduced for a block to be coded. Then, a motion vector that is a spatial displacement amount between the target block and a region formed by the searched signal, and a residual signal between the pixel signal and the prediction signal of the target block are encoded. Such a method for searching for a motion vector for each block is called block matching.

図４は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面４０１上の対象ブロック４０２を例に予測信号の生成手順を説明する。画面４０３は既に再生済みであり、領域４０４は対象ブロック４０２と空間的に同一位置の領域である。ブロックマッチングでは、領域４０４を囲む探索範囲４０５を設定し、この探索範囲の画素信号から対象ブロック４０２の画素信号との絶対値誤差和が最小となる領域４０６を検出する。この領域４０６の信号が予測信号となり、領域４０４から領域４０６への変位量が動きベクトル４０７として検出される。Ｈ．２６４では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。Ｈ．２６４の予測タイプについては、例えば特許文献２に記載されている。 FIG. 4 is a schematic diagram for explaining the block matching process. Here, a procedure for generating a prediction signal will be described using the target block 402 on the encoding target screen 401 as an example. The screen 403 has already been reproduced, and the area 404 is an area in the same position as the target block 402. In the block matching, a search range 405 surrounding the region 404 is set, and a region 406 in which the absolute value error sum with the pixel signal of the target block 402 is minimized is detected from the pixel signal in this search range. The signal in this area 406 becomes a prediction signal, and the amount of displacement from the area 404 to the area 406 is detected as a motion vector 407. H. H.264 provides a plurality of prediction types having different block sizes for encoding motion vectors in order to cope with changes in local features of an image. H. H.264 prediction types are described in Patent Document 2, for example.

動画像データの圧縮符号化では、各フレームの符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について３種類の手法がある。第１の手法は、再生順で過去の再生済み画面を参照して予測信号を生成する前方向予測であり、第２の手法は、再生順で未来の再生済み画面を参照して後方向予測であり、第３の手法は、前方向予測と後方向予測を共に行い、２つの予測信号を平均化する双方向予測である。画面間予測の種類については、例えば特許文献３に記載されている。
米国特許公報第６７６５９６４号米国特許公報第７００３０３５号米国特許公報第６２５９７３９号 In the compression encoding of moving image data, the encoding order of each frame may be arbitrary. For this reason, there are three types of coding order methods for inter-screen prediction in which a prediction signal is generated with reference to a reproduced screen. The first method is forward prediction in which a prediction signal is generated with reference to a past reproduced screen in the reproduction order, and the second method is backward prediction with reference to a future reproduced screen in the reproduction order. The third method is bidirectional prediction in which both forward prediction and backward prediction are performed and two prediction signals are averaged. About the kind of prediction between screens, it describes in patent document 3, for example.
US Pat. No. 6,765,964 US Patent Publication No. 7003035 US Pat. No. 6,259,739

しかしながら、従来技術では、符号化による歪（例えば量子化雑音）を含む再生画素値をコピーすることにより各画素の予測信号を生成するため、予測信号もその歪を含むことになる。符号化による歪を含む予測信号は、残差信号の符号量増加や再生画質劣化など符号化効率を低下させる要因となる。 However, in the prior art, a prediction signal of each pixel is generated by copying a reproduction pixel value including distortion due to encoding (for example, quantization noise). Therefore, the prediction signal also includes the distortion. A prediction signal including distortion due to encoding becomes a factor that decreases encoding efficiency, such as an increase in the code amount of a residual signal and deterioration in reproduction image quality.

符号化による歪の影響は、予測信号の平滑化にて抑制可能であり、２つの予測信号を平均化する双方向予測によっても抑制可能である。しかし、双方向予測は、２つの予測信号を再生側にて生成するために、２本の動きベクトルを符号化する必要があるため、予測信号の平滑化効果を高めるために平均化する信号の数を増やすと、符号化すべき動きベクトルの本数も増加してしまう。 The influence of distortion due to encoding can be suppressed by smoothing the prediction signal, and can also be suppressed by bidirectional prediction in which two prediction signals are averaged. However, since bi-directional prediction requires encoding two motion vectors in order to generate two prediction signals on the playback side, the signal to be averaged to enhance the smoothing effect of the prediction signal Increasing the number also increases the number of motion vectors to be encoded.

そこで、上述の課題を解決するために、本発明は、予測信号を効率よく生成することができる画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムを提供することを目的とする。 Therefore, in order to solve the above-described problem, the present invention provides an image predictive encoding device, an image predictive encoding method, an image predictive encoding program, an image predictive decoding device, and an image predictor that can efficiently generate a prediction signal. It is an object to provide a decoding method and an image predictive decoding program.

本発明の画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、予測信号生成手段により生成された予測信号と対象画素信号との残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号を符号化する符号化手段と、を備え、予測信号生成手段は、対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成手段と、予測関連情報生成手段により生成された予測関連情報に基づいて対象領域の予測信号を生成するテキスチャー合成手段とを有し、テキスチャー合成手段は、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、符号化手段は、予測関連情報生成手段により生成された予測関連情報を符号化することを特徴とする。 An image predictive coding apparatus according to the present invention includes a region dividing unit that divides an input image into a plurality of regions, and a prediction signal for a target pixel signal of a target region that is a processing target among the plurality of regions divided by the region dividing unit. A prediction signal generation unit that generates a residual signal between the prediction signal generated by the prediction signal generation unit and the target pixel signal, and a residual signal generated by the residual signal generation unit A prediction related information generation unit that generates, as prediction related information, a method for generating a signal having a high correlation with the target pixel signal in the target region from the already reproduced signal. And a texture synthesis unit that generates a prediction signal of the target area based on the prediction related information generated by the prediction related information generation unit, and the texture synthesis unit includes the prediction related information A template signal of a designated area determined based on the already reproduced signal is generated from the already reproduced signal, a plurality of similar areas having a high correlation with the designated area are searched from previously reproduced images, and a plurality of target areas are determined based on the plurality of similar areas. And generating a prediction signal by processing the plurality of texture signals using a predetermined texture synthesis method, and the encoding means generates the prediction related information generated by the prediction related information generation means. It is characterized by encoding.

また、本発明の画像予測符号化方法は、画像予測符号化装置が、入力画像を複数の領域に分割する領域分割ステップと、画像予測符号化装置が、領域分割ステップにおいて分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、画像予測符号化装置が、予測信号生成ステップにおいて生成された予測信号と対象画素信号との残差信号を生成する残差信号生成ステップと、
画像予測符号化装置が、残差信号生成ステップにおいて生成された残差信号を符号化する符号化ステップと、を備え、予測信号生成ステップは、対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成ステップと、予測関連情報生成ステップにおいて生成された予測関連情報に基づいて対象領域の予測信号を生成するテキスチャー合成ステップとを有し、テキスチャー合成ステップは、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、符号化ステップは、予測関連情報生成ステップにおいて生成された予測関連情報を符号化することを特徴とする。 The image predictive coding method according to the present invention includes a region dividing step in which the image predictive coding device divides an input image into a plurality of regions, and a plurality of regions in which the image predictive coding device is divided in the region dividing step. A prediction signal generation step for generating a prediction signal for the target pixel signal in the target region to be processed, and a residual between the prediction signal generated in the prediction signal generation step and the target pixel signal by the image prediction encoding device A residual signal generating step for generating a signal;
The image predictive coding apparatus includes a coding step for coding the residual signal generated in the residual signal generating step, and the predictive signal generating step outputs a signal having a high correlation with the target pixel signal in the target region. A prediction related information generation step for generating a method of generating from a previously reproduced signal as prediction related information; and a texture synthesis step for generating a prediction signal of the target region based on the prediction related information generated in the prediction related information generation step. The texture synthesis step generates a template signal of the designated area determined based on the prediction related information from the already reproduced signal, searches a plurality of similar areas highly correlated with the designated area from the previously reproduced image, Generating a plurality of texture signals for a target region based on a plurality of similar regions, and predetermining the plurality of texture signals Generates a prediction signal by processing using a texture synthesis method, the encoding step is characterized by coding the prediction related information generated in the prediction related information generating step.

また、本発明の画像予測符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、予測信号生成手段により生成された予測信号と対象画素信号との残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号を符号化する符号化手段と、して機能させ、予測信号生成手段は、対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成手段と、予測関連情報生成手段により生成された予測関連情報に基づいて対象領域の予測信号を生成するテキスチャー合成手段とを有し、テキスチャー合成手段は、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、符号化手段は、予測関連情報生成手段により生成された予測関連情報を符号化することを特徴とする。 The image predictive coding program according to the present invention includes a computer that divides an input image into a plurality of regions and a target region that is a processing target of the plurality of regions divided by the region dividing unit. Generated by a prediction signal generation unit that generates a prediction signal for a pixel signal, a residual signal generation unit that generates a residual signal between the prediction signal generated by the prediction signal generation unit and the target pixel signal, and a residual signal generation unit The prediction signal generating means functions as a prediction related information by generating a signal having a high correlation with the target pixel signal in the target region from the already reproduced signal. A prediction related information generating means for generating, and a texture synthesizing means for generating a prediction signal of the target region based on the prediction related information generated by the prediction related information generating means. The stitcher synthesizing unit generates a template signal of the designated area determined based on the prediction related information from the already reproduced signal, searches a plurality of similar areas having a high correlation with the designated area from the already reproduced image, Generating a plurality of texture signals for the target region based on the similar region, processing the plurality of texture signals using a predetermined texture synthesis method, generating a prediction signal, and encoding means generating prediction related information The prediction related information generated by the means is encoded.

このような画像予測符号化装置、画像予測符号化方法及び画像予測符号化プログラムによれば、入力画像が複数の領域に分割され、分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号が生成され、その予測信号と対象画素信号との残差信号が生成され、その残差信号が符号化される。ここで、予測信号は、予測関連情報に基づいて生成される複数のテキスチャー信号を特定のテキスチャー合成方法により加工することで生成される。なお、生成された予測関連情報も残差信号と同様に符号化される。このように、複数のテキスチャー信号に基づいて予測信号が生成されるので、予測信号に含まれる雑音を低減することができる。また、これら複数のテキスチャー信号は少ない予測関連情報で効率よく生成することが可能である。したがって、雑音の少ない予測信号を効率よく生成することができる。 According to such an image predictive encoding device, an image predictive encoding method, and an image predictive encoding program, an input image is divided into a plurality of regions, and a target region that is a processing target of the plurality of divided regions is determined. A prediction signal for the target pixel signal is generated, a residual signal between the prediction signal and the target pixel signal is generated, and the residual signal is encoded. Here, the prediction signal is generated by processing a plurality of texture signals generated based on the prediction related information by a specific texture synthesis method. The generated prediction related information is also encoded in the same manner as the residual signal. Thus, since the prediction signal is generated based on a plurality of texture signals, noise contained in the prediction signal can be reduced. In addition, the plurality of texture signals can be efficiently generated with a small amount of prediction related information. Therefore, it is possible to efficiently generate a prediction signal with less noise.

本発明の画像予測符号化装置では、指定領域と対象領域とが同じ形状であることが好ましい。これらの領域の形状を同じにすることで、より簡易に予測信号を生成することができる。 In the image predictive coding apparatus of the present invention, it is preferable that the designated region and the target region have the same shape. By making the shapes of these regions the same, a prediction signal can be generated more easily.

本発明の画像予測符号化装置では、テキスチャー合成手段は、対象領域を複数の小領域に分割し、分割された各小領域ついて、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて小領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって小領域の予測信号を生成し、生成された各小領域の予測信号を合成することによって対象領域の予測信号を生成することが好ましい。 In the image predictive coding apparatus of the present invention, the texture synthesis means divides the target area into a plurality of small areas, and for each of the divided small areas, the template signal of the designated area determined based on the prediction related information has already been reproduced. A plurality of similar regions that are generated from the signal and have a high correlation with the designated region are searched from predetermined reproduced images, and a plurality of texture signals for a small region are generated based on the plurality of similar regions, and the plurality of texture signals Is preferably processed by using a predetermined texture synthesis method, and a prediction signal for the target region is generated by synthesizing the generated prediction signals for each small region.

この場合、対象領域が分割され、分割された各小領域について予測信号が生成され、小領域毎の予測信号を合成することにより対象領域の予測信号が生成される。そのため、最終的に生成される対象領域の予測信号の性能をより高めることが可能となる。すなわち、より雑音の少ない予測信号を生成することができる。 In this case, the target region is divided, a prediction signal is generated for each divided small region, and a prediction signal for the target region is generated by synthesizing the prediction signal for each small region. Therefore, it is possible to further improve the performance of the prediction signal of the target region that is finally generated. That is, a prediction signal with less noise can be generated.

本発明の画像予測符号化装置では、テンプレート信号が複数のテキスチャー信号に含まれることが好ましい。 In the image predictive coding apparatus of the present invention, it is preferable that the template signal is included in a plurality of texture signals.

テンプレート信号は、対象領域の対象画素信号との相関が高い信号を生成する方法が含まれる予測関連情報に基づいて生成される。すなわち、テンプレート信号は、対象領域の画素信号との差分が最も小さい信号である。そのため、そのテンプレート信号を含むテキスチャー信号を利用することで、より雑音の少ない予測信号を生成することができる。 The template signal is generated based on prediction related information including a method for generating a signal having a high correlation with the target pixel signal in the target region. That is, the template signal is a signal having the smallest difference from the pixel signal in the target area. Therefore, a prediction signal with less noise can be generated by using a texture signal including the template signal.

本発明の画像予測符号化装置では、テキスチャー合成手段は、テキスチャー信号に対して、予め定めた重み付け係数による重み付け平均処理を施すことによって予測信号を生成することが好ましい。この場合、予測信号を生成する際にテキスチャー信号が平均化されるので、統計的に誤差が少ない予測信号を生成することができる。 In the image predictive coding apparatus of the present invention, it is preferable that the texture synthesizing unit generates a prediction signal by performing a weighted average process using a predetermined weighting coefficient on the texture signal. In this case, since the texture signal is averaged when generating the prediction signal, it is possible to generate a prediction signal with a small statistical error.

本発明の画像予測符号化装置では、予測関連情報が対象領域の空間的な変位量を示す動きベクトルを含むことが好ましい。この動きベクトルを用いることにより、対象領域の対象画素信号との相関が高い信号をより容易に導出することができるので、予測信号をより簡易に生成することが可能になる。 In the image predictive coding apparatus of the present invention, it is preferable that the prediction related information includes a motion vector indicating a spatial displacement amount of the target region. By using this motion vector, a signal having a high correlation with the target pixel signal in the target region can be derived more easily, so that a prediction signal can be generated more easily.

本発明の画像予測符号化装置では、テキスチャー合成手段は、指定領域と相関の高い複数の類似領域を予め定めた複数の既再生画像から探索することが好ましい。 In the image predictive coding apparatus of the present invention, it is preferable that the texture synthesis means searches for a plurality of similar regions having a high correlation with the designated region from a plurality of previously reproduced images.

この場合、複数の既再生画像の中から類似領域を探索することができるので、指定領域との相関がより高い類似領域を抽出することが可能となる。その結果、より雑音の少ない予測信号を生成することができる。 In this case, a similar area can be searched from a plurality of already-reproduced images, so that a similar area having a higher correlation with the designated area can be extracted. As a result, a prediction signal with less noise can be generated.

本発明の画像予測復号装置は、圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析手段と、データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、予測信号生成手段により生成された予測信号と残差信号復元手段により復元された再生残差信号とを加算することによって、対象領域の画素信号を復元する画像復元手段と、を備え、予測信号生成手段は、データ解析手段により抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする。 The image predictive decoding apparatus according to the present invention extracts, from compressed data, data analysis means for extracting encoded data of prediction related information and encoded data of a residual signal related to a target region to be processed, and extracted by the data analyzing means. Generated by the residual signal restoration means for restoring the reproduction residual signal from the encoded data of the residual signal, the prediction signal generation means for generating the prediction signal for the target pixel signal in the target region, and the prediction signal generation means An image restoration means for restoring the pixel signal of the target region by adding the prediction signal and the reproduction residual signal restored by the residual signal restoration means, and the prediction signal generation means is extracted by the data analysis means The prediction related information is restored from the encoded data of the predicted prediction related information, and the template signal in the designated area determined based on the restored prediction related information is reproduced. A plurality of similar regions that are highly correlated with the designated region are searched from previously reproduced images, a plurality of texture signals for the target region are generated based on the plurality of similar regions, and the plurality of texture signals are A prediction signal is generated by processing using a predetermined texture synthesis method.

また、本発明の画像予測復号方法は、画像予測復号装置が、圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析ステップと、画像予測復号装置が、データ解析ステップにおいて抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、画像予測復号装置が、対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、画像予測復号装置が、予測信号生成ステップにおいて生成された予測信号と残差信号復元ステップにおいて復元された再生残差信号とを加算することによって、対象領域の画素信号を復元する画像復元ステップと、を備え、予測信号生成ステップは、データ解析ステップにおいて抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする。 Also, the image predictive decoding method of the present invention is a data analysis in which the image predictive decoding device extracts encoded data of prediction related information and encoded data of a residual signal related to a target region to be processed from compressed data. A residual signal restoration step in which the image predictive decoding apparatus restores a reproduction residual signal from the encoded data of the residual signal extracted in the data analysis step, and the image predictive decoding apparatus includes the target pixel signal in the target region A prediction signal generation step for generating a prediction signal for the image, and the image prediction decoding apparatus adds the prediction signal generated in the prediction signal generation step and the reproduced residual signal restored in the residual signal restoration step An image restoration step for restoring the pixel signal of the region, and the prediction signal generation step is extracted in the data analysis step The prediction related information is restored from the encoded data of the measurement related information, the template signal of the designated area determined based on the restored prediction related information is generated from the already reproduced signal, and a plurality of similar areas highly correlated with the designated area are generated. Search from a predetermined already-reproduced image, generate a plurality of texture signals for the target region based on the plurality of similar regions, and process the plurality of texture signals using a predetermined texture synthesis method Is generated.

また、本発明の画像予測復号プログラムは、コンピュータを、圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析手段と、データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、予測信号生成手段により生成された予測信号と残差信号復元手段により復元された再生残差信号とを加算することによって、対象領域の画素信号を復元する画像復元手段と、して機能させ、予測信号生成手段は、データ解析手段により抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする。 Further, the image predictive decoding program of the present invention is a data analysis means for extracting encoded data of prediction related information and encoded data of a residual signal related to a target region to be processed from compressed data, Residual signal restoration means for restoring a reproduction residual signal from encoded data of the residual signal extracted by the data analysis means, prediction signal generation means for generating a prediction signal for the target pixel signal in the target region, and prediction signal generation The prediction signal generated by the means and the reproduction residual signal restored by the residual signal restoration means are added to function as an image restoration means for restoring the pixel signal of the target region, and the prediction signal generation means The prediction related information is restored from the encoded data of the prediction related information extracted by the data analysis means, and is specified based on the restored prediction related information. Generates a template signal for a region from a previously reproduced signal, searches a plurality of similar regions having a high correlation with a designated region from predetermined reproduced images, and generates a plurality of texture signals for the target region based on the plurality of similar regions The prediction signal is generated by processing the plurality of texture signals using a predetermined texture synthesis method.

このような画像予測復号装置、画像予測復号方法及び画像予測復号プログラムによれば、圧縮データから抽出された予測関連情報の符号化データから予測信号が生成されるとともに、その圧縮データから抽出された残差信号の符号化データから再生残差信号が復元され、予測信号と再生残差信号とを加算することにより対象領域の画素信号が復元される。ここで、予測信号は、復元された予測関連情報に基づいて生成される複数のテキスチャー信号を特定のテキスチャー合成方法により加工することで生成される。このように、複数のテキスチャー信号に基づいて予測信号が生成されるので、予測信号に含まれる雑音を低減することができる。また、これら複数のテキスチャー信号は、少ない予測関連情報で効率よく生成することが可能である。したがって、雑音の少ない予測信号を効率よく生成することができる。 According to such an image predictive decoding device, an image predictive decoding method, and an image predictive decoding program, a prediction signal is generated from encoded data of prediction related information extracted from compressed data and extracted from the compressed data. The reproduction residual signal is restored from the encoded data of the residual signal, and the pixel signal of the target region is restored by adding the prediction signal and the reproduction residual signal. Here, the prediction signal is generated by processing a plurality of texture signals generated based on the restored prediction related information by a specific texture synthesis method. Thus, since the prediction signal is generated based on a plurality of texture signals, noise contained in the prediction signal can be reduced. In addition, the plurality of texture signals can be efficiently generated with a small amount of prediction related information. Therefore, it is possible to efficiently generate a prediction signal with less noise.

本発明の画像予測復号装置では、指定領域と対象領域が同じ形状であることが好ましい。この場合、指定領域と対象領域とを同様に設定することが可能であるため、より簡易に予測信号を生成することができる。 In the image predictive decoding device of the present invention, it is preferable that the designated region and the target region have the same shape. In this case, since the designated area and the target area can be set in the same manner, the prediction signal can be generated more easily.

本発明の画像予測復号装置では、予測信号生成手段は、予測関連情報の符号化データから予測関連情報を復元し、対象領域を複数の小領域に分割し、分割された各小領域ついて、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて小領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって小領域の予測信号を生成し、生成された各小領域の予測信号を合成することによって対象領域の予測信号を生成することが好ましい。 In the image predictive decoding device of the present invention, the prediction signal generation means restores the prediction related information from the encoded data of the prediction related information, divides the target region into a plurality of small regions, and predicts each divided small region. A template signal of a designated area determined based on the related information is generated from the already reproduced signal, a plurality of similar areas having a high correlation with the designated area are searched from previously reproduced images, and a small signal is generated based on the plurality of similar areas. Generate a plurality of texture signals for the region, process the plurality of texture signals using a predetermined texture synthesis method to generate a small region prediction signal, and synthesize the generated prediction signals for each small region Thus, it is preferable to generate a prediction signal of the target region.

本発明の画像予測復号装置では、テンプレート信号が複数のテキスチャー信号に含まれることが好ましい。 In the image predictive decoding device of the present invention, it is preferable that the template signal is included in a plurality of texture signals.

本発明の画像予測復号装置では、予測信号生成手段は、テキスチャー信号に対して、予め定めた重み付け係数による重み付け平均処理を施すことによって予測信号を生成することが好ましい。この場合、予測信号を生成する際にテキスチャー信号が平均化されるので、統計的に誤差が少ない予測信号を生成することができる。 In the image predictive decoding device of the present invention, it is preferable that the prediction signal generation unit generates a prediction signal by performing a weighted average process with a predetermined weighting coefficient on the texture signal. In this case, since the texture signal is averaged when generating the prediction signal, it is possible to generate a prediction signal with a small statistical error.

本発明の画像予測復号装置では、予測関連情報が対象領域の空間的な変位量を示す動きベクトルを含むことが好ましい。この動きベクトルを用いることにより、対象領域の対象画素信号との相関が高い信号をより容易に導出することができるので、予測信号をより簡易に生成することが可能になる。 In the image predictive decoding device of the present invention, it is preferable that the prediction related information includes a motion vector indicating a spatial displacement amount of the target region. By using this motion vector, a signal having a high correlation with the target pixel signal in the target region can be derived more easily, so that a prediction signal can be generated more easily.

本発明の画像予測復号装置では、予測信号生成手段は、指定領域と相関の高い複数の類似領域を予め定めた複数の既再生画像から探索することが好ましい。 In the image predictive decoding device of the present invention, it is preferable that the prediction signal generating means searches a plurality of similar reproduced regions having a high correlation with the designated region from a plurality of previously reproduced images.

本発明の画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムによれば、１本の動きベクトル等、少ない予測関連情報に基づいて多数のテキスチャー信号を生成することができるので、テキスチャー信号の平滑化処理を伴う予測信号を効率良く生成することができる。 According to the image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program of the present invention, a small amount of prediction related information such as one motion vector Since a large number of texture signals can be generated on the basis of the above, a prediction signal accompanied with a smoothing process of the texture signal can be efficiently generated.

以下、添付図面を参照しながら本実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。 Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same or equivalent elements are denoted by the same reference numerals, and redundant description is omitted.

図１は、本実施形態に係る画像予測符号化装置１００を示すブロック図である。この画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１及び出力端子１１２を備えている。変換器１０６及び量子化器１０７は、符号化手段として機能する。 FIG. 1 is a block diagram showing an image predictive encoding device 100 according to this embodiment. The image predictive coding apparatus 100 includes an input terminal 101, a block divider 102, a prediction signal generator 103, a frame memory 104, a subtractor 105, a transformer 106, a quantizer 107, an inverse quantizer 108, and an inverse transformer. 109, an adder 110, an entropy encoder 111, and an output terminal 112. The converter 106 and the quantizer 107 function as an encoding unit.

入力端子１０１は、複数枚の画像からなる動画像の信号を入力する端子である。 The input terminal 101 is a terminal for inputting a moving image signal composed of a plurality of images.

ブロック分割器１０２は、入力端子１０１から入力された信号で表される、符号化の対象なる画像を複数の領域に分割する。本実施形態では、８ｘ８の画素からなるブロックに分割するが、それ以外のブロックの大きさ又は形に分割してもよい。 The block divider 102 divides an image to be encoded, which is represented by a signal input from the input terminal 101, into a plurality of regions. In this embodiment, the block is divided into 8 × 8 pixels, but may be divided into other block sizes or shapes.

予測信号生成器１０３は、符号化処理の対象となる対象領域（対象ブロック）に対して予測信号を生成し、その予測信号を減算器１０５に出力し、予測方法に関する情報をエントロピー符号化器１１１に出力する部分である。この予測信号生成器１０３の具体的な処理については後述する。 The prediction signal generator 103 generates a prediction signal for the target region (target block) that is the target of the encoding process, outputs the prediction signal to the subtractor 105, and stores information on the prediction method in the entropy encoder 111. This is the output part. Specific processing of the prediction signal generator 103 will be described later.

減算器１０５は、ラインＬ１０２を経由して入力されたブロック分割器１０２で分割されて得られた対象領域から、ラインＬ１０３を経由して入力された予測信号生成器１０３にて生成された予測信号を減算して、残差信号を生成する部分である。減算器１０５は、減算して得た残差信号を、ラインＬ１０５を経由して変換器１０６に出力する。 The subtractor 105 generates the prediction signal generated by the prediction signal generator 103 input via the line L103 from the target region obtained by the division by the block divider 102 input via the line L102. Is a part for generating a residual signal. The subtractor 105 outputs the residual signal obtained by the subtraction to the converter 106 via the line L105.

変換器１０６は、減算して得られた残差信号を離散コサイン変換する部分である。また、量子化器１０７は、変換器１０６により離散コサイン変換された変換係数を量子化する部分である。エントロピー符号化器１１１は、量子化器１０７により量子化された変換係数を符号化するとともに予測方法に関する情報を符号化し、符号化された情報をラインＬ１１１を経由して出力する。出力端子１１２は、エントロピー符号化器１１１から入力した情報を外部に出力する。 The converter 106 is a part that performs discrete cosine transform on the residual signal obtained by subtraction. The quantizer 107 is a part that quantizes the transform coefficient that has been discrete cosine transformed by the transformer 106. The entropy encoder 111 encodes the transform coefficient quantized by the quantizer 107, encodes information related to the prediction method, and outputs the encoded information via the line L111. The output terminal 112 outputs information input from the entropy encoder 111 to the outside.

逆量子化器１０８は、量子化された変換係数を逆量子化する。逆変換器１０９は、逆離散コサイン変換により残差信号を復元する。加算器１１０は、復元された残差信号とラインＬ１０３から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ１０４に格納する。本実施形態では、変換器１０６と逆変換器１０９とを用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器１０６及び逆変換器１０９は必須ではない。このように、後続の対象領域に対する画面内予測もしくは画面間予測を行うために、圧縮された対象領域の画素信号は、逆処理にて復元されフレームメモリ１０４に記憶される。 The inverse quantizer 108 inversely quantizes the quantized transform coefficient. The inverse transformer 109 restores the residual signal by inverse discrete cosine transform. The adder 110 adds the restored residual signal and the prediction signal sent from the line L103, reproduces the signal of the target block, and stores it in the frame memory 104. In the present embodiment, the converter 106 and the inverse converter 109 are used, but other conversion processes in place of these converters may be used. Further, the converter 106 and the inverse converter 109 are not essential. Thus, in order to perform intra prediction or inter prediction for the subsequent target area, the compressed pixel signal of the target area is restored by inverse processing and stored in the frame memory 104.

次に、予測信号生成器１０３について説明する。予測信号生成器１０３は、符号化処理の対象となる対象領域（以下、対象ブロックと称する）に対する予測信号を生成する。本実施形態では、２種類の予測方法が用いられる。すなわち、予測信号生成器１０３は、後述する画面間予測方法と画面内予測方法とのうち少なくとも一方を用いて予測信号を生成する。画面間予測方法及び画面内予測方法を選択するための選択情報は、量子化された変換係数及び予測信号の生成に関する予測関連情報とともにエントロピー符号化器１１１にて符号化され、出力端子１１２より送出される。 Next, the prediction signal generator 103 will be described. The prediction signal generator 103 generates a prediction signal for a target region (hereinafter referred to as a target block) that is a target of encoding processing. In this embodiment, two types of prediction methods are used. That is, the prediction signal generator 103 generates a prediction signal using at least one of an inter-screen prediction method and an intra-screen prediction method described later. Selection information for selecting the inter-screen prediction method and the intra-screen prediction method is encoded by the entropy encoder 111 together with the prediction-related information related to the generation of the quantized transform coefficient and the prediction signal, and is transmitted from the output terminal 112. Is done.

図２は、図１に示す予測信号生成器１０３のブロック図である。予測信号生成器１０３は、予測関連情報生成器２０１とテキスチャー合成器２０２とを備えている。 FIG. 2 is a block diagram of the prediction signal generator 103 shown in FIG. The prediction signal generator 103 includes a prediction related information generator 201 and a texture synthesizer 202.

予測関連情報生成器２０１は、ラインＬ１０２経由で入力される対象ブロックの信号を受け付けるとともに、フレームメモリ１０４からラインＬ１０４経由で入力される、過去の処理で既に再生された画像信号（再生画像信号）を受け付ける。予測関連情報生成器２０１は、対象ブロックに対して誤差の最も小さい予測信号を再生画像信号から生成し、その生成に必要となる予測関連情報を求める。すなわち、予測関連情報生成器２０１は、対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する。予測関連情報は、ラインＬ２０１を経由してテキスチャー合成器２０２に送られると共に、ラインＬ１１３を経由してエントロピー符号化器１１１にも送られる。 The prediction related information generator 201 receives the signal of the target block input via the line L102, and is an image signal (reproduced image signal) that has already been reproduced in the past process and is input from the frame memory 104 via the line L104. Accept. The prediction related information generator 201 generates a prediction signal having the smallest error with respect to the target block from the reproduced image signal, and obtains prediction related information necessary for the generation. That is, the prediction related information generator 201 generates, as prediction related information, a method for generating a signal having a high correlation with the target pixel signal in the target region from the already reproduced signal. The prediction related information is sent to the texture synthesizer 202 via the line L201 and also sent to the entropy encoder 111 via the line L113.

ここで、予測関連情報の生成処理について説明する。画面間予測方法を用いる場合、予測関連情報生成器２０１は、対象ブロックと異なる画面（フレームまたはフィールド）の再生画像信号を参照画像として、ブロックマッチング処理により動きベクトルを検出する。検出した動きベクトルは、予測関連情報として予測関連情報生成器２０１から、エントロピー符号化器（ラインＬ１１３経由）とテキスチャー合成器２０２（ラインＬ２０１経由）とにそれぞれ出力される。 Here, the process of generating prediction related information will be described. When the inter-screen prediction method is used, the prediction related information generator 201 detects a motion vector by block matching processing using a reproduced image signal of a screen (frame or field) different from the target block as a reference image. The detected motion vector is output as prediction related information from the prediction related information generator 201 to the entropy encoder (via the line L113) and the texture synthesizer 202 (via the line L201).

図４を用いて、画面間予測方法を用いた予測関連情報の生成方法をさらに詳しく述べる。図４は、画面間予測方法を用いた予測関連情報の生成方法、つまり動きベクトルの検出方法を説明するための模式図であり、図４（Ａ）は参照画像を示し、図４（Ｂ）は符号化対象の画面を示す。ここでは、符号化対象の画面４０１において、対象ブロック４０２に対する動きベクトルを検出する場合について説明する。 The generation method of prediction related information using the inter-screen prediction method will be described in more detail with reference to FIG. FIG. 4 is a schematic diagram for explaining a prediction related information generation method using the inter-screen prediction method, that is, a motion vector detection method. FIG. 4 (A) shows a reference image, and FIG. Indicates a screen to be encoded. Here, a case where a motion vector for the target block 402 is detected on the encoding target screen 401 will be described.

まず、過去の処理で既に再生された画面４０３が参照画像とされ、参照画面上に探索領域４０５が設定される。図４では、対象ブロック４０２と空間的に同一位置の領域４０４の周囲に探索領域４０５が設定されているが、空間的にずれた位置に設定されても構わない。次に、探索領域４０５において、対象ブロック４０２と同じ形状を有する画素群との間で、対応する画素間の絶対値誤差和（ＳＡＤ）が求められ、最も小さいＳＡＤを与える領域４０６が検索される。この際、領域４０６を検索するための評価値はＳＡＤ以外でもよい。そして、領域４０４から領域４０６への変位量が対象ブロックの動きベクトル４０７として検出される。 First, the screen 403 that has already been reproduced in the past processing is set as a reference image, and a search area 405 is set on the reference screen. In FIG. 4, the search area 405 is set around the area 404 that is spatially the same position as the target block 402, but may be set at a spatially shifted position. Next, in the search area 405, an absolute value error sum (SAD) between corresponding pixels is obtained between the pixel group having the same shape as the target block 402, and an area 406 that gives the smallest SAD is searched. . At this time, the evaluation value for searching the area 406 may be other than SAD. Then, a displacement amount from the region 404 to the region 406 is detected as a motion vector 407 of the target block.

なお、動きベクトルは、対象ブロックを再分割し、再分割された小領域単位で検出されるようにしてもよい。この場合、選択した分割方法と各小領域の動きベクトルとが予測関連情報に含まれる。また、複数の既再生の画面を参照画像として用いてもよい。複数の参照画像について最適な動きベクトルが検出され、ＳＡＤが最小となる１つが選択される。この場合には、選択された参照画像のフレーム番号（小領域毎でも対象ブロックに１つでもよい）も予測関連情報に含まれる。 Note that the motion vector may be detected in units of sub-regions obtained by sub-dividing the target block. In this case, the selected division method and the motion vector of each small region are included in the prediction related information. In addition, a plurality of previously reproduced screens may be used as reference images. Optimal motion vectors are detected for a plurality of reference images, and one that minimizes SAD is selected. In this case, the frame number of the selected reference image (may be one for each small area or one for the target block) is also included in the prediction related information.

一方、画面内予測方法を用いる場合、予測関連情報生成器２０１に対象ブロックと同じ画面内にある再生画像信号が入力され、図１８に示す予測方法により対象ブロックに対して最も小さい予測信号を与える方法が選択される。選択された予測方法は、予測関連情報として予測関連情報生成器２０１から、エントロピー符号化器（ラインＬ１１３経由）とテキスチャー合成器２０２（ラインＬ２０１経由）にそれぞれ出力される。 On the other hand, when the intra prediction method is used, a reproduced image signal in the same screen as the target block is input to the prediction related information generator 201, and the smallest prediction signal is given to the target block by the prediction method shown in FIG. A method is selected. The selected prediction method is output as prediction related information from the prediction related information generator 201 to the entropy encoder (via the line L113) and the texture synthesizer 202 (via the line L201).

次に、図３を用いて、本実施形態に係るテキスチャー信号の生成・合成処理について説明する。図３は、図２に示すテキスチャー合成器２０２の構成を示すブロック図である。テキスチャー合成器２０２は、テンプレート信号生成器３０１とテキスチャー生成器３０２と合成器３０３とを備えている。テンプレート信号生成器３０１は、ラインＬ２０１経由で入力される予測関連情報を受け付けるとともに、またラインＬ１０４経由でフレームメモリ１０４から入力される再生画像信号を受け付ける。そして、テンプレート信号生成器３０１は、予測関連情報に基づいて再生画像信号からテンプレート信号を生成し、ラインＬ３０１経由でテキスチャー生成器３０２に出力する。 Next, texture signal generation / synthesis processing according to the present embodiment will be described with reference to FIG. FIG. 3 is a block diagram showing a configuration of the texture synthesizer 202 shown in FIG. The texture synthesizer 202 includes a template signal generator 301, a texture generator 302, and a synthesizer 303. The template signal generator 301 receives prediction related information input via the line L201 and also receives a reproduction image signal input from the frame memory 104 via the line L104. Then, the template signal generator 301 generates a template signal from the reproduced image signal based on the prediction related information, and outputs it to the texture generator 302 via the line L301.

テキスチャー合成器２０２では、テキスチャー生成器３０２が、ラインＬ１０４経由でフレームメモリ１０４から入力される、過去の処理で既に再生された画像信号（再生画像信号）を受け付けるとともに、テンプレート信号生成器３０１がラインＬ２０１経由で入力される予測関連情報を受け付ける。テキスチャー生成器３０２は、下記に説明するような方法で、入力された予測関連情報に基づいて予め指定された領域（指定領域）の信号をテンプレート信号として生成し、テンプレートマッチング処理により再生画像信号から複数のテキスチャー信号を生成する。さらに合成器３０３が、生成した複数のテキスチャー信号を合成して対象ブロックに対する予測信号を生成する。そして、合成器３０３は、生成した予測信号をＬ１０３を介して減算器１０５に出力する。 In the texture synthesizer 202, the texture generator 302 receives an image signal (reproduced image signal) that has been reproduced in the past processing and is input from the frame memory 104 via the line L104, and the template signal generator 301 receives the line. Prediction related information input via L201 is received. The texture generator 302 generates a signal of a predetermined region (specified region) as a template signal based on the input prediction related information by a method as described below, and from the reproduced image signal by template matching processing. A plurality of texture signals are generated. Further, the synthesizer 303 synthesizes the plurality of generated texture signals to generate a prediction signal for the target block. Then, the synthesizer 303 outputs the generated prediction signal to the subtracter 105 via L103.

本実施形態では、このテンプレート信号を含む領域の形状は任意である。この形状は上記に示したように方式により指定されることから、本実施形態では、テンプレート信号を含む領域を「指定領域」と呼ぶことにする。また、テンプレートマッチング処理により検索される領域を「類似領域」と呼ぶことにする。さらに、合成器３０３に入力される複数のテキスチャー信号が属する領域、つまり予測対象の領域と同じ形状の領域を「テキスチャー領域」と呼ぶことにする。 In the present embodiment, the shape of the region including the template signal is arbitrary. Since this shape is designated by the method as described above, in this embodiment, an area including the template signal is referred to as a “designated area”. An area searched by the template matching process is referred to as a “similar area”. Furthermore, a region to which a plurality of texture signals input to the synthesizer 303 belong, that is, a region having the same shape as the region to be predicted is referred to as a “texture region”.

指定領域の形状と類似領域の形状とは常に一致している。テキスチャー領域の形状は、予測対象の領域と同じである。類似領域とテキスチャー領域との位置関係は、同一の画面上において、「２領域の相対的な座標位置を示す変位量」により予め規定されている。図１１を用いて簡単に説明する。画面４０３にて、領域７６１が指定領域、領域７５１がテキスチャー領域であるとする。このとき、領域７６１の左上隅の座標と領域７５１の左上隅の座標との間の変位量を予め既定しておく。図１１のように類似領域の形状とテキスチャー領域の形状とが異なる例については、後述する。ここでは、図６に示すように、類似領域の形状とテキスチャー領域の形状とが一致する場合について説明する。類似領域の形状とテキスチャー領域の形状とが一致する場合では、類似領域とテキスチャー領域との相対的な座標位置を示す変位量は０となる。なお、テンプレート信号を含む領域の形状は、ブロックに限定されない。 The shape of the designated area always matches the shape of the similar area. The shape of the texture region is the same as the region to be predicted. The positional relationship between the similar area and the texture area is defined in advance by “a displacement amount indicating the relative coordinate position of the two areas” on the same screen. This will be briefly described with reference to FIG. In the screen 403, it is assumed that an area 761 is a designated area and an area 751 is a texture area. At this time, a displacement amount between the coordinates of the upper left corner of the region 761 and the coordinates of the upper left corner of the region 751 is preset. An example in which the shape of the similar region is different from the shape of the texture region as shown in FIG. 11 will be described later. Here, as shown in FIG. 6, the case where the shape of the similar region and the shape of the texture region match will be described. When the shape of the similar region matches the shape of the texture region, the displacement amount indicating the relative coordinate position of the similar region and the texture region is zero. Note that the shape of the region including the template signal is not limited to the block.

テキスチャー生成器３０２は、再生画像信号を探索し、テンプレートと同じ形状の領域を有する領域について、テンプレートに対応する画素間の絶対値誤差和（ＳＡＤ）を求める。本実施形態では、対象ブロックの画素信号との相関が高い信号がテンプレート信号として選択されているので、テキスチャー生成器３０２は、対象ブロックの画素信号に近い信号を探索できる。 The texture generator 302 searches the reproduced image signal and obtains an absolute value error sum (SAD) between pixels corresponding to the template for an area having the same shape as the template. In this embodiment, since a signal having a high correlation with the pixel signal of the target block is selected as the template signal, the texture generator 302 can search for a signal close to the pixel signal of the target block.

テンプレート信号生成器３０１におけるテンプレート信号の生成処理を、図４で示した画面間予測方法の場合について説明する。画面内予測方法の場合については、後述する（図１７）。図４では、符号化対象の画面４０１の対象ブロック４０２の予測信号を生成することが示されている。対象ブロック４０２おける予測関連情報は動きベクトル４０７であり、ラインＬ２０１経由でテンプレート信号生成器３０１に入力される。テンプレート信号生成器３０１は、ラインＬ１０４経由で図１のフレームメモリ１０４に保存されている参照画像４０３にアクセスし、動きベクトル４０７に基づいて対象ブロック４０２に対応する領域４０６を取得する。取得した領域４０６（指定領域）の信号は、テンプレート信号として、テンプレート信号生成器３０１から出力される。 The template signal generation processing in the template signal generator 301 will be described for the case of the inter-screen prediction method shown in FIG. The case of the intra prediction method will be described later (FIG. 17). FIG. 4 shows that the prediction signal of the target block 402 of the encoding target screen 401 is generated. The prediction related information in the target block 402 is a motion vector 407 and is input to the template signal generator 301 via the line L201. The template signal generator 301 accesses the reference image 403 stored in the frame memory 104 of FIG. 1 via the line L104, and acquires an area 406 corresponding to the target block 402 based on the motion vector 407. The acquired signal of the area 406 (designated area) is output from the template signal generator 301 as a template signal.

動きベクトル４０７により示される指定領域４０６は、対象ブロック４０２の画素信号との差分が最も小さい信号である。従って、この指定領域４０６をテンプレート信号とすれば、テキスチャー生成器３０２は、対象ブロック４０２の画素信号に類似する複数のテキスチャー信号を検索することができる。なお、指定領域４０６のテンプレート信号は、復号した動きベクトルに基づいて取得できるため、同じテキスチャー信号を復号装置にて検索できる。 The designated area 406 indicated by the motion vector 407 is a signal having the smallest difference from the pixel signal of the target block 402. Therefore, if the designated area 406 is a template signal, the texture generator 302 can search for a plurality of texture signals similar to the pixel signal of the target block 402. Since the template signal in the designated area 406 can be acquired based on the decoded motion vector, the same texture signal can be searched by the decoding device.

テキスチャー生成器３０２では、ラインＬ３０１経由でテンプレート信号生成器３０１からテンプレート信号が入力され、またラインＬ１０４経由でフレームメモリ１０４から再生画像信号が入力される。テキスチャー生成器３０２は、入力されたテンプレート信号及び再生画像信号に基づいて、以下に説明する設定でテンプレートマッチングを行い、Ｎ個のテキスチャー信号を生成する。生成したＮ個のテキスチャー信号は、ラインＬ３０２を経由して合成器３０３に出力される。合成器３０３は、これらＮ個のテキスチャー信号を後述する予め定めた方法で合成して予測信号を生成し、ラインＬ１０３を経由して出力する。以降、本実施形態では、Ｎの値を５として説明するが、Ｎの値は１以上の任意の値に設定できる。 In the texture generator 302, a template signal is input from the template signal generator 301 via the line L301, and a reproduced image signal is input from the frame memory 104 via the line L104. The texture generator 302 performs template matching with the settings described below based on the input template signal and reproduced image signal, and generates N texture signals. The generated N texture signals are output to the combiner 303 via the line L302. The synthesizer 303 synthesizes these N texture signals by a predetermined method to be described later, generates a prediction signal, and outputs the prediction signal via the line L103. Hereinafter, in this embodiment, the value of N is described as 5, but the value of N can be set to an arbitrary value of 1 or more.

ここで図５及び図６を用いて、テキスチャー生成器３０２におけるテキスチャー信号の生成方法を詳しく説明する。図５は、図３に示すテキスチャー生成器３０２のブロック図である。図６は、本実施形態に係るマッチング処理及びテキスチャー生成処理に関する模式図であり、図６（Ａ）は参照画像を示し、図６（Ｂ）は符号化対象の画面を示す。 Here, a method of generating a texture signal in the texture generator 302 will be described in detail with reference to FIGS. 5 and 6. FIG. 5 is a block diagram of the texture generator 302 shown in FIG. FIG. 6 is a schematic diagram regarding the matching process and the texture generation process according to the present embodiment. FIG. 6A shows a reference image, and FIG. 6B shows a screen to be encoded.

テキスチャー生成器３０２は、マッチング器５０１と、候補テキスチャー選択器５０２と、テキスチャー取得器５０３とを備えている。まず、マッチング器５０１がラインＬ３０１経由で入力されるテンプレート信号を受け付ける。次に、マッチング器５０１は、ラインＬ１０４経由でフレームメモリ１０４にある再生画像信号にアクセスし、予め定めた手順でマッチング処理を実施し、指定領域と同じ形状を有する画素群を順次取得する。そして、マッチング器５０１は、取得したそれぞれの画素群について、テンプレート信号との間で対応する画素間の絶対値誤差和（ＳＡＤ）をそれぞれ算出する。算出した各ＳＡＤ値は、取得した画素群にアクセスするための座標情報と共に、ラインＬ５０１経由で候補テキスチャー選択器５０２に出力される。 The texture generator 302 includes a matching unit 501, a candidate texture selector 502, and a texture acquisition unit 503. First, the matching device 501 receives a template signal input via the line L301. Next, the matching unit 501 accesses the reproduced image signal in the frame memory 104 via the line L104, performs matching processing according to a predetermined procedure, and sequentially acquires pixel groups having the same shape as the designated region. Then, the matching unit 501 calculates an absolute value error sum (SAD) between corresponding pixels with respect to each of the acquired pixel groups. Each calculated SAD value is output to the candidate texture selector 502 via the line L501 together with coordinate information for accessing the acquired pixel group.

なお、本実施形態では、テンプレート信号との類似性を計る評価値をＳＡＤとしているが、それに限定されるものではなく、誤差二乗和や、座標情報とＳＡＤから算出される値などでもよい。 In the present embodiment, the evaluation value for measuring the similarity to the template signal is SAD, but the evaluation value is not limited thereto, and may be a sum of squared errors, a value calculated from coordinate information and SAD, or the like.

候補テキスチャー選択器５０２は、入力された複数のＳＡＤ値を予め定めた閾値と比較し、ＳＡＤ値が閾値より小さい画素群とその座標情報を抽出する。そして、候補テキスチャー選択器５０２は、抽出した画素群からＳＡＤ値が小さい領域を順に最大Ｎ個を選択し、対応する座標情報をラインＬ５０２経由でテキスチャー取得器５０３に出力する。ここで、抽出されたＮ個の領域が類似領域である。閾値より小さいＳＡＤ値がＮ個に満たない場合、候補テキスチャー選択器５０２は、その対象ブロックにおけるＮの値を更新する。テキスチャー生成器３０２への入力信号はすべて復号装置にて復元されるデータであるため、復号装置においても同様の方法でＮの値を更新できる。従って、更新したＮの値を符号化する必要はない。なお、座標情報の選択方法は、ＳＡＤ値の小さい順でなくてもかまわない。Ｎ個の座標情報の選択方法については後述する（図１６）。 The candidate texture selector 502 compares a plurality of input SAD values with a predetermined threshold value, and extracts a pixel group having the SAD value smaller than the threshold value and its coordinate information. Then, the candidate texture selector 502 selects a maximum of N regions having small SAD values from the extracted pixel group in order, and outputs corresponding coordinate information to the texture acquirer 503 via the line L502. Here, the extracted N areas are similar areas. When the number of SAD values smaller than the threshold is less than N, the candidate texture selector 502 updates the value of N in the target block. Since all the input signals to the texture generator 302 are data restored by the decoding device, the value of N can be updated in the decoding device by the same method. Therefore, there is no need to encode the updated N value. Note that the selection method of the coordinate information does not have to be in ascending order of the SAD value. A method of selecting N pieces of coordinate information will be described later (FIG. 16).

テキスチャー取得器５０３は、ラインＬ５０２から入力されるＮ個の座標情報を受け付ける。テキスチャー取得器５０３は、ラインＬ１０４経由でフレームメモリ１０４にある再生画像信号にアクセスし、Ｎ個の座標情報に基づいて、対象ブロックと同じ形状の領域、つまりテキスチャー領域の信号（テキスチャー信号）をＮ個取得し、ラインＬ３０２経由で合成器３０３に順次出力する。なお、本実施形態では、テキスチャー領域と類似領域とが一致するため、類似領域とテキスチャー領域との相対的な座標位置を示す変位量は０である。従って、テキスチャー取得器５０３は、テキスチャー信号を指定領域の座標情報から直接取得できる。 The texture acquisition unit 503 receives N pieces of coordinate information input from the line L502. The texture acquisition unit 503 accesses the reproduced image signal in the frame memory 104 via the line L104, and outputs an area having the same shape as the target block, that is, a texture area signal (texture signal) based on the N pieces of coordinate information. Are obtained and sequentially output to the combiner 303 via the line L302. In the present embodiment, since the texture area and the similar area coincide with each other, the displacement amount indicating the relative coordinate position between the similar area and the texture area is zero. Therefore, the texture acquisition unit 503 can directly acquire the texture signal from the coordinate information of the designated area.

図６に示す例では、符号化対象の画面４０１の対象ブロック４０２について、複数のテキスチャー信号が生成されている。図６において、マッチング処理に用いるテンプレート信号は、対象ブロックと同じ形状の領域４０６（指定領域）の信号であり、動きベクトル４０７に従ってテンプレート信号生成器３０１により決定されている。 In the example illustrated in FIG. 6, a plurality of texture signals are generated for the target block 402 of the encoding target screen 401. In FIG. 6, the template signal used for the matching process is a signal of the region 406 (designated region) having the same shape as the target block, and is determined by the template signal generator 301 according to the motion vector 407.

マッチング器５０１のマッチング処理では、まず、予め決められた方法で対象ブロック４０２に対する探索領域が設定される。本実施形態では、既に再生済みの画面４０３全体が探索領域とされる。なお、画面全体を探索領域とせず、画面の一部を探索領域としてもよい。 In the matching process of the matching unit 501, first, a search area for the target block 402 is set by a predetermined method. In the present embodiment, the entire screen 403 that has already been reproduced is set as a search area. Note that a part of the screen may be used as the search area instead of the entire screen as the search area.

マッチング器５０１は、探索領域４０３全体を探索し、指定領域４０６と同じ形状を有する複数の画素群（領域６０１、６０２…）との間で、対応する画素間の絶対値誤差値の和（ＳＡＤ）を求める。なお、探索方法は、間引き探索等でもよい。 The matching unit 501 searches the entire search region 403, and sums absolute value error values (SAD) between corresponding pixels with a plurality of pixel groups (regions 601, 602,...) Having the same shape as the designated region 406. ) The search method may be a thinning search or the like.

次に、候補テキスチャー選択器５０２は、閾値よりもＳＡＤ値が小さい５個の領域（領域６０１、６０２、６０３、６０４及び４０６）を類似領域の候補として検出する。ここで用いる閾値は、予め定めた値でもよいし、テキスチャー合成器２０２にて最適なテキスチャー信号が得られる値を決定し、エントロピー符号化器１１１にて符号化したものでもよい（図示しない）。本実施形態における画面間予測方法では、テンプレートマッチングの探索領域が指定領域４０６を含んでいるため、必然的にテンプレート信号がテキスチャー信号の候補に含まれる。このテンプレート信号は、対象ブロックの画素信号との差分が最も小さい信号であり、雑音が少なく且つ対象ブロックとの差分が小さい予測信号を生成するために必要となる。 Next, the candidate texture selector 502 detects five regions (regions 601, 602, 603, 604, and 406) having SAD values smaller than the threshold value as candidates for similar regions. The threshold value used here may be a predetermined value, or may be a value determined by the texture synthesizer 202 to obtain an optimum texture signal and encoded by the entropy encoder 111 (not shown). In the inter-screen prediction method according to the present embodiment, the template matching search area includes the designated area 406, and thus the template signal is necessarily included in the texture signal candidates. This template signal is a signal having the smallest difference from the pixel signal of the target block, and is necessary for generating a prediction signal with little noise and a small difference from the target block.

候補テキスチャー選択器５０２は、検出された類似領域の６０１〜６０４及び４０６のそれぞれについて左上隅の座標を検出し、これらの座標をラインＬ５０１経由でテキスチャー取得器５０３に出力する。ここで出力される座標情報は、フレームメモリにアクセスするための情報であり、各類似領域の左上隅である必要はなく、右下隅などでもよい。すなわち、出力される座標情報は、位置を特定する情報であればよい。 The candidate texture selector 502 detects the coordinates of the upper left corner of each of the detected similar regions 601 to 604 and 406, and outputs these coordinates to the texture acquisition unit 503 via the line L501. The coordinate information output here is information for accessing the frame memory, and does not have to be the upper left corner of each similar region, but may be the lower right corner. That is, the output coordinate information may be information that specifies the position.

このようにして、決定された座標情報がテキスチャー取得器５０３に入力されると、テキスチャー取得器５０３は、類似領域とテキスチャー領域との相対的な座標位置を示す変位量に従って、Ｎ個の類似領域の座標情報をそれぞれテキスチャー領域の座標情報に変換する。この変換処理は、候補テキスチャー選択器５０２にて行なってもよい。続いて、テキスチャー取得器５０３は、変換した座標情報に従って、ラインＬ１０４経由でフレームメモリ１０４の参照画像４０３にアクセスし、Ｎ個のテキスチャー信号の候補を取得する。取得したＮ個のテキスチャー信号は、ラインＬ３０２経由で合成器３０３に出力される。なお、図６に示す例では類似領域とテキスチャー領域とが一致するため、テキスチャー生成器３０２は、その例を実行する際に座標情報の変換処理を省略することができる。 When the determined coordinate information is input to the texture acquisition unit 503 in this way, the texture acquisition unit 503 determines that the N similar regions according to the displacement amount indicating the relative coordinate position between the similar region and the texture region. Are respectively converted into coordinate information of the texture area. This conversion process may be performed by the candidate texture selector 502. Subsequently, the texture acquisition unit 503 accesses the reference image 403 of the frame memory 104 via the line L104 according to the converted coordinate information, and acquires N texture signal candidates. The acquired N texture signals are output to the combiner 303 via the line L302. In the example shown in FIG. 6, since the similar region and the texture region match, the texture generator 302 can omit the coordinate information conversion process when executing the example.

図６に示す場合の探索領域については、例えば、図４の探索領域４０５に示すような部分領域が領域４０６を囲むように設定されてもよい。探索領域が領域４０６を含まない場合には、テンプレート信号がテキスチャー信号に含まれるように探索対象が設定されてもよい。また、探索領域は１つの画面の領域に限定されることはなく、複数の画面の部分領域が探索領域として設定されてもよい。この際、探索対象とする画面を選択するためのルールが予め定められていれば、その画面の情報を符号化する必要はない。但し、テキスチャー生成器３０２にて探索領域を複数の候補から選ぶような場合には、探索対象の画面や探索領域に関する情報を符号化する必要がある。符号化を行なう場合には、テキスチャー合成器２０２からラインＬ１１３を経由してエントロピー符号化器１１１に選択した画面情報や探索領域の情報を出力する（図示しない）。これら関連情報の符号化は、予測関連情報と同じく対象ブロック毎に行なってもよいが、ブロック毎の変更効果が小さい場合には、フレーム単位やシーケンス単位で行なってもよい。 For the search area shown in FIG. 6, for example, a partial area as shown in the search area 405 in FIG. 4 may be set so as to surround the area 406. When the search area does not include the area 406, the search target may be set so that the template signal is included in the texture signal. Further, the search area is not limited to a single screen area, and partial areas of a plurality of screens may be set as search areas. At this time, if a rule for selecting a screen to be searched is determined in advance, it is not necessary to encode the information on the screen. However, when the texture generator 302 selects a search area from a plurality of candidates, it is necessary to encode information relating to the search target screen and the search area. When encoding is performed, the selected screen information and search area information are output from the texture synthesizer 202 to the entropy encoder 111 via the line L113 (not shown). The encoding of the related information may be performed for each target block as in the prediction related information. However, when the change effect for each block is small, it may be performed in units of frames or sequences.

合成器３０３は、テキスチャー生成器３０２からのＮ個のテキスチャー信号の入力を受け、重み付け平均化処理により対象ブロックの予測信号を生成する。合成器３０３は、重み付け器３０４及び加算器３０５を備えている。重み付け器３０４における重み値は、１／Ｎなどと定められる。重み付け器３０４は、入力されたテキスチャー信号にそれぞれ１／Ｎの重みをかけ、ラインＬ３０４を経由して加算器３０５に出力する。加算器３０５は、重み付け処理されたＮ個のテキスチャー信号を加算し、加算したテキスチャー信号を予測信号としてラインＬ１０３を経由して出力する。 The synthesizer 303 receives the N texture signals from the texture generator 302 and generates a prediction signal of the target block by weighted averaging processing. The synthesizer 303 includes a weighter 304 and an adder 305. The weight value in the weighter 304 is determined as 1 / N or the like. The weighting unit 304 applies a 1 / N weight to each of the input texture signals, and outputs the result to the adder 305 via the line L304. The adder 305 adds the weighted N texture signals, and outputs the added texture signal as a prediction signal via the line L103.

なお、合成器３０３における重み値は予め定めておいてもよいが、合成器３０３にて最適な予測信号となるように各テキスチャー信号への重み値を求めてもよい。予め定めておく場合には、重み値は任意の値でよい。例えば、合成器３０３がテンプレート信号に対して１／２、その他のテキスチャー信号に対して１／（２×（Ｎ−１））のように定めてもよい。また、合成器３０３が領域内の位置に応じて重み値を変化させてもよい。合成器３０３にて重み値を決める場合には、ラインＬ１０２経由で対象ブロックの信号を合成器３０３に入力し、予測信号が最小となる重み値を求めて、その値をラインＬ１１３経由で図１のエントロピー符号化器１１１に出力する（図示しない）。エントロピー符号化器１１１は、重み値を符号化した上で出力端子１１２から送出する。この際、重み値の変更は、ブロック単位で行ってもよいし、フレーム単位やシーケンス単位で行ってもよい。 Note that the weight value in the synthesizer 303 may be determined in advance, but the synthesizer 303 may obtain the weight value for each texture signal so that the optimum prediction signal is obtained. When it is determined in advance, the weight value may be an arbitrary value. For example, the synthesizer 303 may determine 1/2 for the template signal and 1 / (2 × (N−1)) for the other texture signals. Further, the synthesizer 303 may change the weight value according to the position in the region. When the synthesizer 303 determines the weight value, the signal of the target block is input to the synthesizer 303 via the line L102, the weight value that minimizes the prediction signal is obtained, and the value is obtained via the line L113 as shown in FIG. To the entropy encoder 111 (not shown). The entropy encoder 111 encodes the weight value and sends it out from the output terminal 112. At this time, the weight value may be changed in units of blocks, or in units of frames or sequences.

なお、合成器３０３は図３の構成に限定されない。テキスチャー信号に対する重み値を整数とし、重み付け処理されたＮ個のテキスチャー信号を加算した後、加算した信号をN個の重み値の和で除算するように構成しても良い。この際、除算の丸め込み方法を予め定めておけば、演算器に関わらず同じ結果が得られる。例えば、テンプレート信号に対する重み値をＮ＋１、その他のＮ個のテキスチャー信号に対する重み値を１のように定めた場合、加算した信号にさらにＮを２×Ｎで除算する。 The synthesizer 303 is not limited to the configuration shown in FIG. The weight value for the texture signal may be an integer, and the weighted N texture signals may be added, and then the added signal may be divided by the sum of the N weight values. At this time, if a rounding method for division is determined in advance, the same result can be obtained regardless of the arithmetic unit. For example, when the weight value for the template signal is defined as N + 1 and the weight values for the other N texture signals are defined as 1, N is further divided by 2 × N in the added signal.

このように、本実施形態の予測処理では、動きベクトルなどの予測関連情報に基づいて複数のテキスチャー信号が生成される。これらのテキスチャー信号は、画面の異なる領域から取得されるため、含まれる雑音成分（主に高周波成分）の相関が互いに低くなっている。本実施形態によれば、雑音成分の異なる複数のテキスチャー信号を平均化するので、平滑化効果により、統計的に雑音の少ない予測信号が生成できる。 Thus, in the prediction process of the present embodiment, a plurality of texture signals are generated based on prediction related information such as motion vectors. Since these texture signals are acquired from different areas of the screen, the correlation of the included noise components (mainly high frequency components) is low. According to the present embodiment, since a plurality of texture signals having different noise components are averaged, a prediction signal with statistically less noise can be generated due to the smoothing effect.

ここまでの説明では、テキスチャー領域の形状を対象領域（対象ブロック）と同じ形状としていた。しかしながら、符号化対象ブロックとテキスチャー領域（指定領域）との位置関係を明確にしておけば、対象領域とテキスチャー領域とが異なる形状であっても本発明を実施可能である。以下に、いくつかの別例を示す。図６を用いた説明と同様に、画面４０１の対象ブロック４０２についてテキスチャー信号の生成手順について説明する。 In the above description, the texture area has the same shape as the target area (target block). However, if the positional relationship between the encoding target block and the texture area (designated area) is clarified, the present invention can be implemented even if the target area and the texture area have different shapes. Some other examples are shown below. Similar to the description using FIG. 6, the texture signal generation procedure for the target block 402 on the screen 401 will be described.

図７〜図１０は、テキスチャー領域の形状が対象領域の形状と異なる場合のマッチング処理及びテキスチャー生成処理に関する模式図である。なお、この実施例では、指定領域及び類似領域がテキスチャー領域と同じ形状であるものとして説明する。 7 to 10 are schematic diagrams regarding matching processing and texture generation processing when the shape of the texture region is different from the shape of the target region. In this embodiment, it is assumed that the designated area and the similar area have the same shape as the texture area.

図７では、小領域４１１が対象ブロック４０２の左上１／４の部分を示し、左上領域４１２が指定領域を示している。テンプレート信号生成器３０１は、予測関連情報に基づき領域４０６から面積で左上１／４の部分の領域４１２を切り出し、領域４１２の信号をテンプレート信号として出力する。このとき、領域４０６の左上隅から指定領域４１２（テキスチャー領域）の左上隅への変位量は、指定領域及びテキスチャー領域の形状に関する情報と共にテキスチャー合成器２０２に記録されている。テキスチャー生成器３０２は、ラインＬ１０４経由で参照画像４０３にアクセスし、指定領域４１２と同じ形状の画素群をテンプレートマッチングにより複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、テキスチャー生成器３０２は、ＳＡＤ値が小さいＮ個の領域７１１、７１２、７１３、７１４及び４１２を類似領域（テキスチャー領域）の候補として検出する（本実施形態ではＮの値は５）。 In FIG. 7, the small area 411 indicates the upper left quarter portion of the target block 402, and the upper left area 412 indicates the designated area. Based on the prediction related information, the template signal generator 301 cuts out a region 412 that is the upper left quarter of the area from the region 406 and outputs the signal of the region 412 as a template signal. At this time, the displacement amount from the upper left corner of the area 406 to the upper left corner of the designated area 412 (texture area) is recorded in the texture synthesizer 202 together with information on the shape of the designated area and the texture area. The texture generator 302 accesses the reference image 403 via the line L104, acquires a plurality of pixel groups having the same shape as the designated area 412 by template matching, and calculates the SAD value between corresponding pixels with the template signal. To do. Then, the texture generator 302 detects N regions 711, 712, 713, 714, and 412 having a small SAD value as candidates for similar regions (texture regions) (in this embodiment, the value of N is 5).

これらＮ個のテキスチャー領域におけるテキスチャー信号を、合成器３０３にて重み付け平均化することにより、小領域４１１の予測信号が生成される。この際、対象ブロックにおける予測領域の位置及び形状は、記録している変位量と類似領域の形状とから分かる。なお、ここでは、探索領域、Ｎ値及び閾値などの設定方法については説明を省略するが、図６の場合と同じく、符号化してもよい。 The texture signals in these N texture regions are weighted and averaged by the synthesizer 303, thereby generating a prediction signal for the small region 411. At this time, the position and shape of the prediction area in the target block can be known from the recorded displacement amount and the shape of the similar area. In addition, although description is abbreviate | omitted here about the setting methods, such as a search area | region, N value, and a threshold value, you may encode similarly to the case of FIG.

対象ブロックの他の領域の予測信号の生成処理を、図８〜図１０を用いて説明する。図８〜図１０の場合においても、図７と同様に、図３のテンプレート信号生成器３０１が予測関連情報に基づいて図７の領域４０６から面積で１／４の部分の領域を切り出すが、その切り出し位置が異なる。 A process for generating a prediction signal in another area of the target block will be described with reference to FIGS. Also in the case of FIGS. 8 to 10, as in FIG. 7, the template signal generator 301 in FIG. 3 cuts out a region of a quarter part from the region 406 in FIG. 7 based on the prediction related information. The cutout positions are different.

図８では、小領域４２１が対象ブロック４０２の右上１／４の部分を示し、領域４２２が指定領域を示している。図３のテンプレート信号生成器３０１は、予測関連情報に基づき図６の領域４０６から面積で右上１／４の部分の領域４２２を切り出し、領域４２２をテンプレート信号として出力する。この際、領域４０６の左上隅から指定領域４２２（テキスチャー領域）の左上隅への変位量は、指定領域及びテキスチャー領域の形状に関する情報と共にテキスチャー合成器２０２に記録されている。テキスチャー生成器３０２は、ラインＬ１０４経由で参照画像４０３にアクセスし、指定領域４２２と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、テキスチャー生成器３０２は、ＳＡＤ値が小さいＮ個の領域７２１、７２２、７２３、７２４及び４２２をテキスチャー信号の候補として検出する（本実施形態ではＮの値は５）。 In FIG. 8, the small area 421 indicates the upper right quarter of the target block 402, and the area 422 indicates the designated area. The template signal generator 301 in FIG. 3 cuts out a region 422 in the upper right quarter of the area from the region 406 in FIG. 6 based on the prediction related information, and outputs the region 422 as a template signal. At this time, the displacement amount from the upper left corner of the area 406 to the upper left corner of the designated area 422 (texture area) is recorded in the texture synthesizer 202 together with information on the shape of the designated area and the texture area. The texture generator 302 accesses the reference image 403 via the line L104, acquires a plurality of pixel groups having the same shape as the designated area 422 by template matching, and obtains the SAD value between corresponding pixels with the template signal. calculate. The texture generator 302 detects N regions 721, 722, 723, 724, and 422 having small SAD values as texture signal candidates (in this embodiment, the value of N is 5).

これらＮ個のテキスチャー領域におけるテキスチャー信号を、合成器３０３にて重み付け平均化することにより、小領域４２１の予測信号が生成される。この際、対象ブロックにおける予測領域の位置と形状は記録されている変位量と類似領域の形状から分かる。 The texture signals in these N texture regions are weighted and averaged by the synthesizer 303 to generate a prediction signal for the small region 421. At this time, the position and shape of the prediction area in the target block can be known from the recorded displacement amount and the shape of the similar area.

図９では、小領域４３１が対象ブロック４０２の左下１／４の部分を示し、領域４３２が指定領域を示している。テンプレート信号生成器３０１は、予測関連情報に基づき図６の領域４０６から面積で左下１／４の部分の領域４３２を切り出し、領域４３２をテンプレート信号として出力する。この際、領域４０６の左上隅から指定領域４３２（テキスチャー領域）の左上隅への変位量は指定領域及びテキスチャー領域の形状に関する情報と共にテキスチャー合成器２０２に記録されている。テキスチャー生成器３０２は、ラインＬ１０４経由で参照画像４０３にアクセスし、指定領域４３２と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、テキスチャー生成器３０２は、ＳＡＤ値が小さいＮ個の領域７３１、７３２、７３３、７３４及び４３２を類似領域（テキスチャー領域）の候補として検出する（本実施形態ではＮの値は５）。 In FIG. 9, the small area 431 indicates the lower left quarter portion of the target block 402, and the area 432 indicates the designated area. Based on the prediction related information, the template signal generator 301 cuts out a region 432 which is a lower left quarter portion of the area from the region 406 in FIG. 6, and outputs the region 432 as a template signal. At this time, the displacement amount from the upper left corner of the area 406 to the upper left corner of the designated area 432 (texture area) is recorded in the texture synthesizer 202 together with information on the shape of the designated area and the texture area. The texture generator 302 accesses the reference image 403 via the line L104, acquires a plurality of pixel groups having the same shape as the designated region 432 by template matching, and obtains the SAD value between corresponding pixels with the template signal. calculate. Then, the texture generator 302 detects N regions 731, 732, 733, 734, and 432 having a small SAD value as candidates for similar regions (texture regions) (in this embodiment, the value of N is 5).

これらＮ個のテキスチャー領域におけるテキスチャー信号を、図３の合成器３０３にて重み付け平均化することにより、小領域４３１の予測信号が生成される。この際、対象ブロックにおける予測領域の位置と形状は、記録されている変位量と類似領域の形状から分かる。 The texture signals in these N texture regions are weighted and averaged by the synthesizer 303 in FIG. 3, thereby generating a prediction signal for the small region 431. At this time, the position and shape of the prediction area in the target block can be known from the recorded displacement amount and the shape of the similar area.

図１０では、小領域４４１が対象ブロック４０２の右下１／４の部分を示し、領域４４２が指定領域を示している。テンプレート信号生成器３０１は、予測関連情報に基づき図６の領域４０６から面積で右下１／４の部分の領域４４２を切り出し、領域４４２をテンプレート信号として出力する。この際、領域４０６の左上隅から指定領域４４２（テキスチャー領域）の左上隅への変位量は、指定領域及びテキスチャー領域の形状に関する情報と共にテキスチャー合成器２０２に記録されている。テキスチャー生成器３０２は、ラインＬ１０４経由で参照画像４０３にアクセスし、指定領域４４２と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、テキスチャー生成器３０２は、ＳＡＤ値が小さいＮ個の領域７４１、７４２、７４３、７４４及び４４２を類似領域（テキスチャー領域）の候補として検出する（本実施形態ではＮの値は５）。 In FIG. 10, the small area 441 indicates the lower right quarter portion of the target block 402, and the area 442 indicates the designated area. Based on the prediction related information, the template signal generator 301 cuts out a region 442 that is a lower right quarter portion of the area from the region 406 in FIG. 6, and outputs the region 442 as a template signal. At this time, the displacement amount from the upper left corner of the area 406 to the upper left corner of the designated area 442 (texture area) is recorded in the texture synthesizer 202 together with information on the shape of the designated area and the texture area. The texture generator 302 accesses the reference image 403 via the line L104, acquires a plurality of pixel groups having the same shape as the designated region 442 by template matching, and calculates the SAD value between corresponding pixels with the template signal. calculate. Then, the texture generator 302 detects N regions 741, 742, 743, 744, and 442 having small SAD values as candidates for similar regions (texture regions) (in this embodiment, the value of N is 5).

これらＮ個のテキスチャー領域におけるテキスチャー信号を、合成器３０３にて重み付け平均化することにより、小領域４４１の予測信号が生成される。この際、対象ブロックにおける予測領域の位置と形状は記録されている変位量と類似領域の形状から分かる。 The texture signals in these N texture regions are weighted and averaged by the synthesizer 303, thereby generating a prediction signal for the small region 441. At this time, the position and shape of the prediction area in the target block can be known from the recorded displacement amount and the shape of the similar area.

このように、テキスチャー領域の形状と対象ブロックの形状が異なっていても、テキスチャー取得器５０３に入力される座標情報と対象ブロックとの位置関係を予め定めておけば、座標情報に基づいて、対象ブロックと同じ形状の領域の信号が取得できる。 As described above, even if the shape of the texture area and the shape of the target block are different, if the positional relationship between the coordinate information input to the texture acquisition unit 503 and the target block is determined in advance, the target is determined based on the coordinate information. The signal of the area having the same shape as the block can be acquired.

図７〜図１０に示す処理は、図６における対象ブロックを４分割し、４分割したテンプレート信号に基づいて、分割領域毎に予測信号を生成するものである。このように、本発明では、予測関連情報に基づいて生成される信号を分割して、テンプレート信号を生成することができる。そのため、予測関連情報を増やすことなく、対象ブロックより小さい領域単位で高い性能の予測信号を生成することができる。なお、対象ブロックの分割数や分割後の形状は上記変形例に限定されず、任意に設定することができる。 The process shown in FIGS. 7 to 10 is to divide the target block in FIG. 6 into four and generate a prediction signal for each divided region based on the template signal divided into four. Thus, in the present invention, a template signal can be generated by dividing a signal generated based on prediction-related information. Therefore, a high-performance prediction signal can be generated in a region unit smaller than the target block without increasing prediction-related information. Note that the number of divisions of the target block and the shape after the division are not limited to the above modification, and can be set arbitrarily.

図６〜図１０に示す処理では、テキスチャー領域の形状と類似領域の形状とが一致していた。しかし、類似領域とテキスチャー領域との相対的な座標位置を示す変位量を明確にしておけば、予測対象の領域であるテキスチャー領域と類似領域は、異なる形状であってもよい。テキスチャー領域と類似領域の形状が異なる例を図１１及び図１２に示す。 In the processes shown in FIGS. 6 to 10, the shape of the texture region and the shape of the similar region match. However, if the amount of displacement indicating the relative coordinate position between the similar area and the texture area is clarified, the texture area and the similar area, which are prediction target areas, may have different shapes. Examples in which the shape of the texture region and the similar region are different are shown in FIGS.

図１１は、テキスチャー領域の形状が類似領域の形状と異なる例について、マッチング処理とテキスチャー生成処理を説明するための模式図であり、図１１（Ａ）は参照画像を示し、図１１（Ｂ）は符号化対象の画面を示す。図１１では、領域４６２が指定領域を示し、領域４６１が指定領域に対応するテキスチャー領域を示している。 FIG. 11 is a schematic diagram for explaining matching processing and texture generation processing for an example in which the shape of the texture region is different from the shape of the similar region. FIG. 11A shows a reference image, and FIG. Indicates a screen to be encoded. In FIG. 11, an area 462 indicates a designated area, and an area 461 indicates a texture area corresponding to the designated area.

図１１に示す変形例では、テキスチャー領域４６１の形状と対象領域４０２の形状とが同じである。テンプレート信号生成器３０１は、予測関連情報に基づき図６に示す領域４０６から予め指定された領域４６２を切り出し、指定領域４６２に属するテンプレート信号をラインＬ３０１経由でテキスチャー生成器３０２に出力する。この際、テキスチャー領域４６１の左上隅から指定領域４６２の左上隅への変位量、指定領域（類似領域）の形状及びテキスチャー領域の形状に関する情報は、テキスチャー合成器２０２に記録されている。 In the modification shown in FIG. 11, the shape of the texture region 461 and the shape of the target region 402 are the same. The template signal generator 301 cuts out a region 462 designated in advance from the region 406 shown in FIG. 6 based on the prediction related information, and outputs the template signal belonging to the designated region 462 to the texture generator 302 via the line L301. At this time, information on the amount of displacement from the upper left corner of the texture area 461 to the upper left corner of the designated area 462, the shape of the designated area (similar area), and the shape of the texture area are recorded in the texture synthesizer 202.

マッチング器５０１は、ラインＬ１０４経由で参照画像４０３にアクセスし、指定領域４６２と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、候補テキスチャー選択器５０２は、ＳＡＤ値が小さいＮ個の領域７６１、７６２、７６３、７６４及び４６２を類似領域として検出し、その座標情報をテキスチャー取得器５０３に出力する（本実施形態ではＮの値は５）。テキスチャー取得器５０３は、入力された座標情報と記録している上記の変位量に基づいて、参照画像４０３からＮ個のテキスチャー領域７５１、７５２、７５３、７５４及び４６１の信号を取得する。これらＮ個のテキスチャー信号を、合成器３０３にて重み付け平均化することにより、対象ブロック４０２の予測信号が生成される。なお、ここでは、探索領域、Ｎ値及び閾値などの設定方法については説明を省略するが、図６の場合と同じく、符号化するようにしてもよい。 The matching unit 501 accesses the reference image 403 via the line L104, acquires a plurality of pixel groups having the same shape as the designated region 462 by template matching, and calculates the SAD value between corresponding pixels with the template signal. To do. Then, the candidate texture selector 502 detects N regions 761, 762, 763, 764, and 462 having small SAD values as similar regions, and outputs the coordinate information to the texture acquirer 503 (N in this embodiment). The value of 5). The texture acquisition unit 503 acquires signals of N texture regions 751, 752, 753, 754, and 461 from the reference image 403 based on the input coordinate information and the recorded displacement amount. These N texture signals are weighted and averaged by the synthesizer 303 to generate a prediction signal for the target block 402. Here, the description of the setting method of the search area, N value, threshold value, and the like is omitted, but may be encoded as in the case of FIG.

このように、テキスチャー領域と類似領域の形状が異なっていても、類似領域とテキスチャー領域との相対的な座標位置を示す変位量を明確にしておけば、テキスチャー取得器５０３に入力される座標情報に基づいてテキスチャー領域（対象領域）の領域の信号が取得できる。つまり、予測関連情報に基づいて生成される領域（領域４０６）の信号から、部分信号（領域４６２の信号）を切り出してテンプレート信号に設定できる。この方法によれば、予測関連情報により得られる領域（領域４０６）の信号にマッチング処理に適さない強い特徴を持った信号が含まれている場合に、その信号の領域をテンプレート信号から除外できるという利点がある。 As described above, even if the texture region and the similar region are different in shape, if the displacement amount indicating the relative coordinate position between the similar region and the texture region is clarified, the coordinate information input to the texture acquisition unit 503 is obtained. The signal of the texture area (target area) can be acquired based on the above. That is, a partial signal (region 462 signal) can be cut out from the region (region 406) signal generated based on the prediction related information and set as a template signal. According to this method, when the signal of the region (region 406) obtained from the prediction related information includes a signal having a strong characteristic that is not suitable for the matching process, the signal region can be excluded from the template signal. There are advantages.

図１１を用いた説明と関連して、さらに、本発明では、テキスチャー領域において、類似領域に属さない画素と属する画素で重み付け処理の重み係数を切り替えることが可能である。例えば、テキスチャー領域（領域４６１）に対応する指定領域（領域４６２）の信号を分析し、平滑化処理を必要としない領域が認められる領域については、指定領域のテンプレート信号への重み値を１に、他のテキスチャー信号への重み値を０に設定することも可能である。 In connection with the description using FIG. 11, in the present invention, it is possible to switch the weighting factor of the weighting process between the pixels that do not belong to the similar region and the pixels that belong to the texture region. For example, the signal of the designated area (area 462) corresponding to the texture area (area 461) is analyzed, and the weight value to the template signal of the designated area is set to 1 for an area where a smoothing process is not required. It is also possible to set the weight value for other texture signals to zero.

図１２は、テキスチャー領域の形状が類似領域の形状と異なる別の例について、マッチング処理とテキスチャー生成処理を説明するための模式図であり、図１２（Ａ）は参照画像を示し、図１２（Ｂ）は符号化対象の画面を示す。図１２では、領域４７２が指定領域、領域４７１が指定領域に対応するテキスチャー領域を示している。このように、本発明では、指定領域を予測関連情報により生成される領域４７１の外部に設定することも可能である。また、指定領域は、必ずしも領域４７１に触れていることを要しない。この変形例では、テキスチャー領域４７１の形状と対象領域４０２の形状とは同じである。 FIG. 12 is a schematic diagram for explaining the matching process and the texture generation process for another example in which the shape of the texture region is different from the shape of the similar region. FIG. 12A shows a reference image, and FIG. B) shows a screen to be encoded. In FIG. 12, an area 472 indicates a designated area, and an area 471 indicates a texture area corresponding to the designated area. Thus, in the present invention, the designated area can be set outside the area 471 generated by the prediction related information. The designated area does not necessarily need to touch the area 471. In this modification, the shape of the texture region 471 and the shape of the target region 402 are the same.

テンプレート信号生成器３０１は、予測関連情報に基づき画面４０３から領域４７２を切り出し、指定領域４７２をテンプレート信号としてラインＬ３０１経由でテキスチャー生成器３０２に出力する。この際、テキスチャー領域４７１の左上隅から指定領域４７２の左上隅への変位量、指定領域（類似領域）の形状及びテキスチャー領域の形状に関する情報は、テキスチャー合成器２０２に記録されている。 The template signal generator 301 cuts out the area 472 from the screen 403 based on the prediction related information, and outputs the designated area 472 as a template signal to the texture generator 302 via the line L301. At this time, information about the displacement amount from the upper left corner of the texture area 471 to the upper left corner of the designated area 472, the shape of the designated area (similar area), and the shape of the texture area are recorded in the texture synthesizer 202.

マッチング器５０１は、ラインＬ１０４経由で参照画像４０３にアクセスし、指定領域４７２と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、候補テキスチャー選択器５０２は、ＳＡＤ値が小さいＮ個の領域７８１、７８２、７８３、７８４及び４７２を類似領域として検出し、その座標情報をテキスチャー取得器５０３に出力する（本実施形態ではＮの値は５）。テキスチャー取得器５０３は、入力された座標情報と記録している変位量に基づいて、参照画像４０３からＮ個のテキスチャー領域７７１、７７２、７７３、７７４及び４７１の信号を取得する。これらＮ個のテキスチャー信号を、合成器３０３にて重み付け平均化することにより、対象ブロック４０２の予測信号が生成される。なお、ここでは、探索領域、Ｎ値及び閾値などの設定方法については説明を省略するが、図６の場合と同じく、符号化するようにしてもよい。 The matching unit 501 accesses the reference image 403 via the line L104, acquires a plurality of pixel groups having the same shape as the designated region 472 by template matching, and calculates the SAD value between corresponding pixels with the template signal. To do. Then, the candidate texture selector 502 detects N regions 781, 782, 783, 784, and 472 having small SAD values as similar regions, and outputs the coordinate information to the texture acquirer 503 (N in this embodiment). The value of 5). The texture acquisition unit 503 acquires signals of N texture areas 771, 772, 773, 774, and 471 from the reference image 403 based on the input coordinate information and the recorded displacement amount. These N texture signals are weighted and averaged by the synthesizer 303 to generate a prediction signal for the target block 402. Here, the description of the setting method of the search area, N value, threshold value, and the like is omitted, but may be encoded as in the case of FIG.

このように、本発明では、予測関連情報に基づいて生成される領域に対して、その隣接領域の信号をテンプレート信号に設定することも可能である。例えば、図１２に示す方法は、隣接ブロックと対象ブロックとの信号の連続性を保ちたい場合に有効である。この場合には、図１３に示すように予測関連情報となる動きベクトル４０８を、対象ブロック４０２の隣接領域１３０１の画素信号を用いたマッチング処理により検出してもよい。この場合、再生済みの画面４０３に設定した探索領域１３０４において、領域１３０１と同じ形状の画素群から、対応する画素間のＳＡＤが最小となる領域１３０５が検出される。そして、対象ブロック４０２と同じ空間位置のブロック１３０３から領域１３０５への変位量が動きベクトル４０８として検出される。なお、領域１３０５とこの領域に対応するテキスチャー領域との位置関係は限定されない。 As described above, in the present invention, it is possible to set the signal of the adjacent region to the template signal for the region generated based on the prediction related information. For example, the method shown in FIG. 12 is effective when it is desired to maintain continuity of signals between adjacent blocks and the target block. In this case, as shown in FIG. 13, the motion vector 408 serving as the prediction related information may be detected by a matching process using the pixel signal of the adjacent region 1301 of the target block 402. In this case, in the search area 1304 set in the reproduced screen 403, an area 1305 in which the SAD between corresponding pixels is minimum is detected from the pixel group having the same shape as the area 1301. Then, a displacement amount from the block 1303 at the same spatial position as the target block 402 to the region 1305 is detected as a motion vector 408. Note that the positional relationship between the region 1305 and the texture region corresponding to this region is not limited.

本発明では、図７〜図１０に示す処理と、図１１または図１２に示す処理とを組み合わせることも可能である。また、本実施形態では、類似領域とテキスチャー領域との間の変位量及びテキスチャー領域と対象領域との間の変位量を、それぞれの領域の左上隅を基準として求めているが、左上隅とは異なる予め定めた基準であってもよい。さらに、指定領域と類似領域及びテキスチャー領域の形状は、上記の例に限定されず、任意に設定することができる。例えば、指定領域の形状がテキスチャー領域の形状よりも大きくてもよい。 In the present invention, it is possible to combine the processing shown in FIGS. 7 to 10 with the processing shown in FIG. 11 or FIG. In the present embodiment, the displacement amount between the similar region and the texture region and the displacement amount between the texture region and the target region are obtained with reference to the upper left corner of each region. Different predetermined criteria may be used. Furthermore, the shapes of the designated area, the similar area, and the texture area are not limited to the above example, and can be arbitrarily set. For example, the shape of the designated area may be larger than the shape of the texture area.

図７〜図１２の探索領域についても、図６と同じように複数の画面（複数の参照画像）の部分領域を探索領域として設定できる。この場合でも、探索対象とする画面を選択するためのルールが予め定められていれば、その画面の情報を符号化する必要はない。 7 to 12, partial areas of a plurality of screens (a plurality of reference images) can be set as search areas as in FIG. 6. Even in this case, if a rule for selecting a screen to be searched is determined in advance, it is not necessary to encode the information on the screen.

探索領域については、Ｍ個（ＭはＮと同じか小さい値）の探索領域を設定し、それぞれ探索する候補テキスチャーの数を予め決めておいてもよい。例えば、Ｍ＝Ｎとし、Ｍ個の探索領域を異なる画面に設定すれば、複数の参照画像からそれぞれ候補テキスチャー信号を探索できる。この際、ＳＡＤの閾値などの条件を満たす候補テキスチャー信号が所定の参照画像から探索できない場合には、Ｎの数を削減しても良いし、代わりの候補テキスチャー信号を探索する参照画像について、優先順位を定めておいてもよい。また、複数の参照画像に含まれる探索領域の集まりを１つの探索領域として設定しても良い。例えば、P枚の参照画像にそれぞれ探索領域を設け、Ｐ個の探索領域から、指定領域の画素群と対応する画素群との間の絶対値誤差値の和（ＳＡＤ）が小さいＱ個（Ｎより小さい正の整数）の類似領域を探索するという設定がＭ個の探索領域に含まれても良い。なお、複数の参照画像に探索領域を設定する場合には、候補テキスチャー選択部５０２からテキスチャー取得部５０３に出力される座標情報に、参照画像が属するフレームを識別する情報（参照画像フレーム番号）が含まれる。 For the search area, M search areas (M is a value equal to or smaller than N) may be set, and the number of candidate textures to be searched for may be determined in advance. For example, if M = N and M search areas are set on different screens, candidate texture signals can be searched from a plurality of reference images, respectively. At this time, if a candidate texture signal that satisfies a condition such as the SAD threshold cannot be searched from a predetermined reference image, the number of N may be reduced, or priority is given to a reference image for searching for an alternative candidate texture signal. You may decide the order. A collection of search areas included in a plurality of reference images may be set as one search area. For example, a search area is provided in each of P reference images, and Q (N) sums of absolute value error values (SAD) between a pixel group of a designated area and a corresponding pixel group are small from P search areas. A setting of searching for a similar area of a smaller positive integer) may be included in the M search areas. In the case where search areas are set for a plurality of reference images, information (reference image frame number) for identifying a frame to which the reference image belongs is included in the coordinate information output from the candidate texture selection unit 502 to the texture acquisition unit 503. included.

次に、画面内予測方法の場合について述べる。図６を用いた説明と同様に、画面４０１の対象ブロック４０２についてテキスチャー信号の生成手順を説明する。なお、本実施形態では、図１４に示すように４ｘ４ブロック単位で画面内予測処理を行なうため、ここでは、対象ブロック内の４ｘ４画素の領域１４０２に注目する。 Next, the case of the intra prediction method will be described. Similar to the description using FIG. 6, a texture signal generation procedure for the target block 402 on the screen 401 will be described. In the present embodiment, as shown in FIG. 14, since intra-screen prediction processing is performed in units of 4 × 4 blocks, attention is paid to a 4 × 4 pixel region 1402 in the target block.

図１４は、画面内予測方法の場合について、マッチング処理と候補テキスチャー生成処理を説明するための模式図である。領域１４０２が指定領域を示している。テンプレート信号生成器３０１は、予測関連情報に与えられる予測方法に従い、対象ブロック４０２の隣接領域１４０１の再生済み信号から領域１４０２の信号を生成する。領域１４０２の信号は、テンプレート信号として出力される。この際、領域４０２の左上隅から指定領域１４０２（テキスチャー領域）の左上隅への変位量と、指定領域（類似領域）及びテキスチャー領域の形状がテキスチャー合成器２０２に記録されている。 FIG. 14 is a schematic diagram for explaining the matching process and the candidate texture generation process in the case of the intra prediction method. An area 1402 indicates the designated area. The template signal generator 301 generates a signal of the area 1402 from the reproduced signal of the adjacent area 1401 of the target block 402 according to the prediction method given to the prediction related information. The signal in region 1402 is output as a template signal. At this time, the displacement amount from the upper left corner of the area 402 to the upper left corner of the designated area 1402 (texture area) and the shapes of the designated area (similar area) and the texture area are recorded in the texture synthesizer 202.

テキスチャー生成器３０２は、対象ブロック４０２と同じ画面４０１の再生済み信号を探索領域とする。なお、本実施形態では、探索領域を画面４０１内の全ての再生済み領域としているが、その一部を探索領域として設定してもよい。テキスチャー生成器３０２は、ラインＬ１０４経由でアクセスし、指定領域１４０２と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、テキスチャー生成器３０２は、ＳＡＤ値が小さいＮ−１個の領域１４０３、１４０４、１４０５及び１４０６をテキスチャー信号の候補として検出する（本実施形態ではＮの値は５）。これらＮ―１個のテキスチャー信号にテンプレート信号１４０２を加えたＮ個の信号を合成器３０３にて重み付け平均化することにより、対象ブロック４０２の左上１／４の領域１４０２の予測信号が生成される。この際、対象領域におけるテキスチャー領域の形状は、記録しているテキスチャー領域の形状から分かる。 The texture generator 302 uses a reproduced signal on the same screen 401 as the target block 402 as a search area. In the present embodiment, the search area is all the reproduced areas in the screen 401, but a part of the search area may be set as the search area. The texture generator 302 accesses via the line L104, acquires a plurality of pixel groups having the same shape as the designated region 1402 by template matching, and calculates the SAD value between corresponding pixels with the template signal. Then, the texture generator 302 detects N−1 regions 1403, 1404, 1405, and 1406 having small SAD values as texture signal candidates (in this embodiment, the value of N is 5). The N signals obtained by adding the template signal 1402 to the N−1 texture signals are weighted and averaged by the synthesizer 303, thereby generating a prediction signal of the area 1402 in the upper left quarter of the target block 402. . At this time, the shape of the texture region in the target region is known from the shape of the recorded texture region.

なお、画面内予測方法により生成したテンプレート信号を画面間予測方法に適用することも可能である。この場合、図１４に示す例において、既再生の他の画面を探索領域に含める。探索領域、Ｎ値及び閾値などの設定方法については説明を省略するが、図６の場合と同じく、符号化するようにしてもよい。 Note that the template signal generated by the intra-screen prediction method can also be applied to the inter-screen prediction method. In this case, in the example shown in FIG. 14, another screen that has already been reproduced is included in the search area. The description of the setting method of the search area, N value, threshold value, etc. is omitted, but may be encoded as in the case of FIG.

本実施形態では、テキスチャー合成器２０２のテンプレート信号生成器３０１及びテキスチャー生成器３０２の設定を変更することにより、図６〜図１２及び図１４に示したような複数のテキスチャー合成方法に対応しているが、画像予測符号化装置１００を他の方法に対応させてもよい。例えば、テンプレート信号生成器３０１及びテキスチャー生成器３０２の設定が異なるテキスチャー合成器２０２を複数用意し、適応的に切り替えて使う方法でもよい。複数のテキスチャー合成方法から１つの方法を選択する手段（例えば、対象ブロックとの誤差が最も小さい方法を選択する手段）を用意し（図示せず）、選択したテキスチャー合成方法をエントロピー符号化器１１１にて符号化するように画像予測符号化装置１００を構成することにより、テキスチャー合成方法の適応化が可能となる。 In the present embodiment, the setting of the template signal generator 301 and the texture generator 302 of the texture synthesizer 202 is changed to correspond to a plurality of texture synthesis methods as shown in FIGS. However, the image predictive coding apparatus 100 may be adapted to other methods. For example, a method may be used in which a plurality of texture synthesizers 202 having different settings of the template signal generator 301 and the texture generator 302 are prepared and used by switching adaptively. Means (for example, means for selecting a method having the smallest error from the target block) for selecting one method from a plurality of texture synthesis methods are prepared (not shown), and the selected texture synthesis method is entropy encoder 111. By configuring the image predictive coding apparatus 100 so as to perform coding, the texture synthesis method can be adapted.

図１５は、図２に示すテキスチャー合成器２０２における対象ブロックのテキスチャー生成方法の手順を示すフローチャートである。まず、テンプレート信号生成器３０１では、予測関連情報に基づいて指定領域のテンプレート信号が取得される（ステップＳ３０２）。 FIG. 15 is a flowchart showing the procedure of the texture generation method for the target block in the texture synthesizer 202 shown in FIG. First, the template signal generator 301 acquires a template signal of a designated region based on the prediction related information (step S302).

次に、テキスチャー生成器３０２のマッチング器５０１により、指定領域及び探索領域にある同じ形状の画素群との絶対値和（ＳＡＤ値）が求められる（ステップＳ３０３）。そして、テキスチャー生成器３０２の候補テキスチャー選択器５０２により、ＳＡＤ値と所定の閾値が比較され（ステップＳ３０４）、ＳＡＤ値が閾値より小さいと判断された場合、ステップＳ３０５に進み、そうでないと判断された場合、ステップＳ３０６に進む。 Next, the absolute value sum (SAD value) with the pixel group having the same shape in the designated area and the search area is obtained by the matching unit 501 of the texture generator 302 (step S303). Then, the candidate texture selector 502 of the texture generator 302 compares the SAD value with a predetermined threshold value (step S304). If it is determined that the SAD value is smaller than the threshold value, the process proceeds to step S305, and it is determined that it is not. If YES, go to step S306.

テキスチャー生成器３０２の候補テキスチャー選択器５０２では、求めたＳＡＤ値と、以前のＳＡＤ値とが比較される。そして、求めたＳＡＤ値が小さい順でＮ番までに含まれる場合に、探索した類似領域が類似領域の候補に追加され、類似領域の候補が更新される（ステップＳ３０５）。 The candidate texture selector 502 of the texture generator 302 compares the obtained SAD value with the previous SAD value. Then, when the obtained SAD values are included in order of increasing number N, the searched similar area is added to the similar area candidates, and the similar area candidates are updated (step S305).

その後、テキスチャー生成器３０２のマッチング器５０１により、探索領域が全て探索済みであるか否か確認される（ステップＳ３０６）。全て探索済みではないと判断された場合は、ステップＳ３０３に戻り、テキスチャー生成器３０２のマッチング器５０１により指定領域と探索領域にある同じ形状の別の画素群との絶対値和ＳＡＤが求められる。 Thereafter, the matching unit 501 of the texture generator 302 confirms whether or not all search areas have been searched (step S306). If it is determined that not all have been searched, the process returns to step S303, and the absolute value sum SAD between the designated region and another pixel group having the same shape in the search region is obtained by the matching unit 501 of the texture generator 302.

全部探索済みとなった時点で、テキスチャー生成器３０２のテキスチャー取得器５０３にて複数のテキスチャー信号の候補が取得され、合成器３０３にて重み付け平均化されることによりテキスチャー信号が生成される（ステップＳ３０８）。これで、ひとつの対象ブロックに対する処理が終了する（ステップＳ３０９）。 When all the search has been completed, a plurality of texture signal candidates are acquired by the texture acquisition unit 503 of the texture generator 302 and weighted and averaged by the combiner 303 to generate a texture signal (step) S308). This completes the processing for one target block (step S309).

ステップＳ３０５では、ＳＡＤ値の小さいＮ個をテキスチャー信号の候補として選択しているが、別の方法でもよい。候補テキスチャー信号の平均化により、統計的に雑音の少ないテキスチャー信号を得るためには、複数のテキスチャー信号の候補は互いに相関が低いほうがよい。つまり、候補信号が多様性を持った方が好ましい場合がある。候補のテキスチャー信号に多様性を持たせる簡単な方法の一つとして、所定の閾値よりＳＡＤ値が小さい類似領域の中から、指定領域との空間的位置が遠い順にＮ個のテキスチャー信号を選択するという方法がある。また、図１６のように、候補となる類似領域間の空間的な距離が互いに大きくなるようにＮ個の領域を選択する方法もある。 In step S305, N small SAD values are selected as texture signal candidates, but another method may be used. In order to obtain a texture signal that is statistically less noisy by averaging the candidate texture signals, the plurality of texture signal candidates should have low correlation with each other. That is, it may be preferable that the candidate signals have diversity. As one simple method for providing diversity to candidate texture signals, N texture signals are selected in order of increasing spatial position with respect to the designated region from among similar regions having SAD values smaller than a predetermined threshold. There is a method. In addition, as shown in FIG. 16, there is a method of selecting N regions so that the spatial distances between candidate similar regions are increased.

図１６は、図１５に示すステップＳ３０５にて、Ｎ個の類似領域を選択する一方法の手順を示すフローチャートである。図１６で、Ａ［ｐ］［ｉ］は、所定の閾値よりＳＡＤ値が小さい画素領域のうち、ｐ番目に検索された画素領域について、参照画像上の座標情報を示している。値ｉには、水平座標を示す０または垂直座標を示す１が設定される。Ｃ［ｋ］［ｉ］は、ステップＳ３０５にてｋ番目に選択される類似領域の座標を示している。以下、水平座標と垂直座標の区別を必要としない場合には、Ａ［ｐ］及びＣ［ｐ］と記載する。 FIG. 16 is a flowchart showing the procedure of one method for selecting N similar regions in step S305 shown in FIG. In FIG. 16, A [p] [i] indicates the coordinate information on the reference image for the pixel area searched for the p-th among the pixel areas having the SAD value smaller than the predetermined threshold. The value i is set to 0 indicating horizontal coordinates or 1 indicating vertical coordinates. C [k] [i] indicates the coordinates of the kth similar region selected in step S305. Hereinafter, when it is not necessary to distinguish between the horizontal coordinate and the vertical coordinate, they are denoted as A [p] and C [p].

まず、Ｃ［１］にテンプレート生成器にて得られる指定領域の座標が保存され（ステップＳ５０２）、これまでに選択した類似領域の数Ｋが１に設定される。 First, the coordinates of the designated area obtained by the template generator are stored in C [1] (step S502), and the number K of similar areas selected so far is set to 1.

次に、ＳＡＤ値が所定の閾値より小さい画素領域について、参照画像上での座標Ａ［ｐ］とＣ［１］とが比較され、その距離差（ベクトルの大きさ）が最も大きいＡ［ｍ］が選択される（ステップＳ５０３）。そして、Ｋの値がＫ＋１（＝２）に更新され、Ｃ［Ｋ］＝Ａ［ｍ］と設定される（ステップＳ５０４）。このときＡ［ｍ］は類似領域に確定したので、ｍ番目に検索されたテキスチャーは、選択対象から削除される。 Next, for a pixel region whose SAD value is smaller than a predetermined threshold, coordinates A [p] and C [1] on the reference image are compared, and A [m having the largest distance difference (vector magnitude). ] Is selected (step S503). Then, the value of K is updated to K + 1 (= 2), and C [K] = A [m] is set (step S504). At this time, since A [m] is determined as the similar region, the mth searched texture is deleted from the selection target.

その後、ＫとＮとが比較され（ステップＳ５０５）、ＫがＮより小さいと判断されればステップＳ５０３に戻り、Ｋ＝Ｎと判断されれば処理を終了する。 Thereafter, K and N are compared (step S505). If it is determined that K is smaller than N, the process returns to step S503, and if it is determined that K = N, the process is terminated.

続いて、ステップＳ５０３では、Ｃ［１］〜Ｃ［Ｋ］のそれぞれと残されたＡ［ｐ］とが比較され、距離差の和が最も大きいＡ［ｍ］が選択される。この方法によれば、選択された候補類似領域間の距離が保つことが可能となる。 Subsequently, in step S503, each of C [1] to C [K] is compared with the remaining A [p], and A [m] having the largest sum of the distance differences is selected. According to this method, the distance between the selected candidate similar regions can be maintained.

図１７は、本実施形態に係る画像予測符号化装置１００における画像予測符号化方法の手順を示すフローチャートである。まず、予測関連情報生成器２０１にて、対象ブロックの画素信号を用いて予測処理が実施され、予測関連情報が生成される（ステップＳ１０２）。次に、テキスチャー合成器２０２が予測関連情報に基づいて複数のテキスチャー信号の候補を生成し、テキスチャー合成処理により対象ブロックの予測信号を生成する（ステップＳ１０３）。この際、テキスチャー合成器２０２は、複数のテキスチャー生成方法にて予測信号を生成し、対象ブロックの信号と対応する画素間の誤差二乗和が最も小さい予測信号を選択してもよい。 FIG. 17 is a flowchart illustrating a procedure of an image predictive encoding method in the image predictive encoding device 100 according to the present embodiment. First, the prediction related information generator 201 performs prediction processing using the pixel signal of the target block, and generates prediction related information (step S102). Next, the texture synthesizer 202 generates a plurality of texture signal candidates based on the prediction related information, and generates a prediction signal of the target block by the texture synthesis process (step S103). At this time, the texture synthesizer 202 may generate a prediction signal using a plurality of texture generation methods, and may select a prediction signal having the smallest error square sum between pixels corresponding to the signal of the target block.

このように決定された予測信号と対象ブロックの信号との差分を示す残差信号が、変換器１０６、量子化器１０７及びエントロピー符号化器１１１により符号化される（ステップＳ１０４）。そして、符号化された残差信号、予測関連情報及びテキスチャー生成方法の選択情報（必要の場合）が出力端子１１２を介して出力される（ステップＳ１０５）。ここで、予測関連情報には、画面間予測方法における動きベクトル及び参照画像フレーム番号、画面内予測方法における予測方法及び画面内予測方法及び画面間予測方法の選択に関する選択情報に加えて、テキスチャー信号の候補の生成及び選択に用いる探索領域（候補テキスチャー信号の探索）、Ｎの値（候補テキスチャー信号の数）、閾値（候補テキスチャー信号とテンプレート信号との類似性を計る評価値）ならびに重み値（テキスチャー合成時の重み係数）などの各種設定情報が含まれる場合がある。 The residual signal indicating the difference between the prediction signal determined in this way and the signal of the target block is encoded by the transformer 106, the quantizer 107, and the entropy encoder 111 (step S104). The encoded residual signal, prediction related information, and texture generation method selection information (if necessary) are output via the output terminal 112 (step S105). Here, the prediction related information includes a motion signal and a reference image frame number in the inter-screen prediction method, selection information related to selection of the prediction method in the intra-screen prediction method, the intra-screen prediction method, and the inter-screen prediction method, and a texture signal. Search region (search for candidate texture signals) used for generation and selection of candidates, value of N (number of candidate texture signals), threshold value (evaluation value for measuring similarity between candidate texture signal and template signal) and weight value ( Various setting information such as a weighting coefficient at the time of texture synthesis may be included.

これら処理の後に又はこれらの処理と並行して、後続の対象ブロックを予測符号化するために符号化された残差信号が逆量子化器１０８及び逆変換器１０９により復号される。そして、加算器１１０により、復号された残差信号に予測信号が加算され、対象ブロックの信号が再生され、フレームメモリ１０４に参照画像として記憶される（ステップＳ１０６）。そして、すべての対象ブロックの処理が完了していない場合にはステップＳ１０２に戻り、次の対象ブロックに対する処理が行わる。すべての対象ブロックの処理が完了している場合には、処理を終了する（ステップＳ１０８）。 After these processes or in parallel with these processes, the residual signal encoded to predictively encode the subsequent target block is decoded by the inverse quantizer 108 and the inverse transformer 109. Then, the adder 110 adds the prediction signal to the decoded residual signal, reproduces the signal of the target block, and stores it as a reference image in the frame memory 104 (step S106). If all the target blocks have not been processed, the process returns to step S102, and the process for the next target block is performed. If all the target blocks have been processed, the process ends (step S108).

次に、本実施形態に係る画像予測復号方法について説明する。図１９は、本実施形態に係る画像予測復号装置１９００を示すブロック図である。この画像予測復号装置１９００は、入力端子１９０１、データ解析器１９０２、逆量子化器１９０３、逆変換器１９０４、加算器１９０５、出力端子１９０６、フレームメモリ１９０７及びテキスチャー合成器１９０８を備えている。逆量子化器１９０３及び逆変換器１９０４による復号手段は、これらのもの以外を用いて行ってもよい。また、逆変換器１９０４はなくてもよい。 Next, the image predictive decoding method according to this embodiment will be described. FIG. 19 is a block diagram showing an image predictive decoding device 1900 according to this embodiment. The image predictive decoding apparatus 1900 includes an input terminal 1901, a data analyzer 1902, an inverse quantizer 1903, an inverse transformer 1904, an adder 1905, an output terminal 1906, a frame memory 1907, and a texture synthesizer 1908. The decoding means by the inverse quantizer 1903 and the inverse transformer 1904 may be performed using other than these. Further, the inverse converter 1904 may be omitted.

入力端子１９０１は、上述した画像予測符号化方法で圧縮符号化された圧縮データを入力する。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号及び予測関連情報が含まれている。ここで予測関連情報には、画面内予測方法における予測方法、画面内予測方法及び画面間予測方法の選択に関する選択情報、画面間予測方法における動きベクトル及び参照画像フレーム番号に加えて、テキスチャー信号の候補の生成及び選択に用いる探索領域（候補テキスチャー信号の探索）、Ｎの値（候補テキスチャー信号の数）、閾値（候補テキスチャー信号とテンプレート信号との類似性を計る評価値）ならびに重み値（テキスチャー合成時の重み係数）などの各種設定情報が含まれる場合がある。なお、各種設定情報は、方式として予め定められている場合には必要ない。 The input terminal 1901 inputs compressed data that has been compression-encoded by the above-described image predictive encoding method. This compressed data includes a residual signal and prediction related information that are encoded by predicting a target block obtained by dividing an image into a plurality of blocks. Here, in the prediction related information, in addition to the prediction method in the intra prediction method, the selection information regarding the selection of the intra prediction method and the inter prediction method, the motion vector and the reference image frame number in the inter prediction method, Search region used for candidate generation and selection (search for candidate texture signals), N value (number of candidate texture signals), threshold value (evaluation value for measuring similarity between candidate texture signals and template signal), and weight value (texture) Various setting information such as a weighting factor at the time of synthesis may be included. Note that the various setting information is not necessary when the method is predetermined.

データ解析器１９０２は、入力端子１９０１に入力された圧縮データを解析することにより、対象ブロックの残差信号、予測関連情報、各種設定情報（必要の場合）を抽出する。 The data analyzer 1902 extracts the residual signal, prediction related information, and various setting information (if necessary) of the target block by analyzing the compressed data input to the input terminal 1901.

逆量子化器１９０３は、対象ブロックの残差信号をラインＬ１９０２ａ経由で入力し、逆量子化する。逆変換器１９０４は、逆量子化したデータを逆離散コサイン変換する。 The inverse quantizer 1903 receives the residual signal of the target block via the line L1902a and performs inverse quantization. The inverse transformer 1904 performs inverse discrete cosine transform on the inversely quantized data.

テキスチャー合成器１９０８は、データ解析器１９０２からラインＬ１９０２ｂ経由で予測補助信号情報を入力する。このテキスチャー合成器１９０８は、（後述するような方法で）予測関連情報に基づいて、フレームメモリ９０７から参照画像を取得し、予測信号を生成する。テキスチャー合成器１９０８は、生成した予測信号をラインＬ１９０８経由で加算器１９０５に出力する。 The texture synthesizer 1908 inputs prediction auxiliary signal information from the data analyzer 1902 via the line L1902b. The texture synthesizer 1908 obtains a reference image from the frame memory 907 based on the prediction related information (in a method described later), and generates a prediction signal. The texture synthesizer 1908 outputs the generated prediction signal to the adder 1905 via the line L1908.

加算器１９０５は、テキスチャー合成器１９０８で生成された予測信号を、逆量子化器１９０３および逆変換器１９０４により復元された残差信号に加算して、対象ブロックの再生画像信号をラインＬ１９０５経由で出力端子１９０６およびフレームメモリ１９０７に出力する。出力端子１９０６は、外部に（例えばディスプレイ）出力する。 The adder 1905 adds the prediction signal generated by the texture synthesizer 1908 to the residual signal restored by the inverse quantizer 1903 and the inverse transformer 1904, and the reproduced image signal of the target block via the line L1905. The data is output to the output terminal 1906 and the frame memory 1907. The output terminal 1906 outputs to the outside (for example, a display).

フレームメモリ１９０７は、つぎの復号処理のための参照用の再生画像として、加算器１９０５から出力された再生画像を参照画像として記憶する。 The frame memory 1907 stores the reproduction image output from the adder 1905 as a reference reproduction image as a reference reproduction image for the next decoding process.

次に、テキスチャー合成器１９０８について説明する。テキスチャー合成器１９０８の詳細は図２０に示されており、基本的に図３に示した構成と同じ構成またはそれに相当する機能をもつ。 Next, the texture synthesizer 1908 will be described. The details of the texture synthesizer 1908 are shown in FIG. 20, and basically have the same configuration as the configuration shown in FIG. 3 or a function corresponding thereto.

図２０を用いて、本実施形態に係るテキスチャー信号の生成・合成処理について、詳しく説明する。図２０は、図１９に示すテキスチャー合成器１９０８のブロック図である。テキスチャー合成器１９０８は、テンプレート信号生成器２００１とテキスチャー生成器２００２と合成器２００３とを備えている。テンプレート信号生成器２００１は、ラインＬ２００１経由で入力される予測関連情報を受け付けるとともに、ラインＬ１９０７経由で入力されるフレームメモリ１９０７からの再生画像信号を受け付ける。テンプレート信号生成器２００１は、予測関連情報に基づいて再生画像信号からテンプレート信号を生成し、ラインＬ２００１経由でテキスチャー生成器２００２に出力する。テンプレート信号は、画面内予測方法と画面間予測方法についての選択情報及び予測関連情報に従って画面内予測方法あるいは画面間予測方法により生成される。 The texture signal generation / synthesis process according to the present embodiment will be described in detail with reference to FIG. FIG. 20 is a block diagram of the texture synthesizer 1908 shown in FIG. The texture synthesizer 1908 includes a template signal generator 2001, a texture generator 2002, and a synthesizer 2003. The template signal generator 2001 receives prediction-related information input via the line L2001 and also receives a reproduced image signal from the frame memory 1907 input via the line L1907. The template signal generator 2001 generates a template signal from the reproduced image signal based on the prediction related information, and outputs the template signal to the texture generator 2002 via the line L2001. The template signal is generated by the intra-screen prediction method or the inter-screen prediction method according to the selection information and prediction related information regarding the intra-screen prediction method and the inter-screen prediction method.

テキスチャー生成器２００２は、ラインＬ２００１経由でテンプレート信号生成器２００１から入力されるテンプレート信号を受け付けるとともに、ラインＬ１９０７経由でフレームメモリ１９０７から入力される再生画像信号を受け付ける。テキスチャー生成器２００２は、テンプレート信号及び再生画像信号から、符号化装置のテキスチャー生成器３０２と同様の方法でＮ個のテキスチャー信号を生成する。生成したＮ個のテキスチャー信号は、ラインＬ２００２を経由して合成器２００３に出力される。合成器２００３は、ラインＬ２００２から入力されるＮ個のテキスチャー信号を受け付ける。合成器２００３は、これらＮ個のテキスチャー信号を符号化装置の合成器３０３と同じ方法で合成して予測信号を生成し、その予測信号をラインＬ１９０８を経由して出力する。 The texture generator 2002 receives a template signal input from the template signal generator 2001 via the line L2001 and also receives a reproduced image signal input from the frame memory 1907 via the line L1907. The texture generator 2002 generates N texture signals from the template signal and the reproduced image signal in the same manner as the texture generator 302 of the encoding apparatus. The generated N texture signals are output to the combiner 2003 via the line L2002. The synthesizer 2003 receives N texture signals input from the line L2002. The synthesizer 2003 synthesizes these N texture signals by the same method as the synthesizer 303 of the encoding device, generates a prediction signal, and outputs the prediction signal via the line L1908.

合成器２００３は、Ｎ個の候補テキスチャー信号の入力を受け、重み付け平均化処理により対象ブロックの予測信号を生成する。合成器２００３は、重み付け器２００４と加算器２００５とを備えている。重み付け器２００４における重み値は、予め定められている場合もあれば、圧縮データに含まれている場合もある。重み付け器２００４は、入力されたＮ個のテキスチャー信号に対して、決められた重み値をかけ、ラインＬ２００４を経由して加算器２００５に出力する。加算器２００５は、重み付け処理されたＮ個のテキスチャー信号を加算し、加算されたテキスチャー信号を予測信号としてラインＬ１９０８を経由して出力する。 The synthesizer 2003 receives N candidate texture signals and generates a prediction signal of the target block by weighted averaging processing. The synthesizer 2003 includes a weighter 2004 and an adder 2005. The weight value in the weighter 2004 may be determined in advance or may be included in the compressed data. The weighter 2004 multiplies the input N texture signals by a determined weight value, and outputs the result to the adder 2005 via the line L2004. The adder 2005 adds the weighted N texture signals, and outputs the added texture signal as a prediction signal via the line L1908.

テキスチャー合成器１９０８は、探索領域（候補テキスチャー信号の探索）、Ｎの値（候補テキスチャー信号の数）、閾値（候補テキスチャー信号とテンプレート信号との類似性を計る評価値）及び重み値（テキスチャー合成時の重み係数）などの各種設定情報に従ってテキスチャー合成処理を実行する。生成される複数の候補のテキスチャー信号は、画像予測符号化装置で生成される信号と一致させる必要があり、テキスチャー合成により生成れる予測信号も画像予測符号化装置で生成される信号と一致させなければならない。そのために、テキスチャー合成器１９０８で用いられる各種設定情報は、画像予測符号化装置のテキスチャー合成器２０２にて用いる情報と完全に一致させておく必要がある。ゆえに、予め定めていない情報については、画像予測符号化装置１００から伝送され、画像予測復号装置１９００にて復元される。 The texture synthesizer 1908 has a search area (search for candidate texture signals), a value of N (number of candidate texture signals), a threshold value (evaluation value for measuring the similarity between the candidate texture signal and the template signal), and a weight value (texture synthesis). The texture synthesis process is executed in accordance with various setting information such as the time weight coefficient. The plurality of candidate texture signals to be generated must match the signals generated by the image prediction encoding device, and the prediction signals generated by the texture synthesis must also match the signals generated by the image prediction encoding device. I must. Therefore, various setting information used in the texture synthesizer 1908 needs to be completely matched with information used in the texture synthesizer 202 of the image predictive coding apparatus. Therefore, information that is not determined in advance is transmitted from the image predictive coding device 100 and is restored by the image predictive decoding device 1900.

なお、画像予測符号化装置１００内の合成器３０３と同じく画像予測復号装置１９００内の合成器２００３も図２０の構成に限定されない。例えば、重み付けキスチャー信号に対する重み値を整数とし、重み付け処理されたＮ個のテキスチャー信号を加算した後、加算した信号をＮ個の重み値の和で除算するように構成しても良い。 Note that the synthesizer 2003 in the image predictive decoding device 1900 is not limited to the configuration in FIG. 20, as is the synthesizer 303 in the image predictive coding device 100. For example, the weight value for the weighted texture signal may be an integer, the weighted N texture signals may be added, and the added signal may be divided by the sum of the N weight values.

次に、図２１を用いて、図１９に示す画像予測復号装置１９００における画像予測復号方法を説明する。まず、入力端子１９０１を介して、圧縮された圧縮データが入力される（ステップＳ１９０２）。そして、データ解析器１９０２において、圧縮データに対しエントロピー復号が行われ、量子化された変換係数、予測関連情報が抽出される（ステップＳ１９０３）。ここで抽出された予測関連情報に基づいて、テキスチャー合成器１９０８にて複数のテキスチャー信号が生成され、生成された複数のテキスチャー信号を合成することによって予測信号が生成される（ステップＳ１９０４）。 Next, the image predictive decoding method in the image predictive decoding apparatus 1900 shown in FIG. 19 will be described with reference to FIG. First, compressed data that has been compressed is input via the input terminal 1901 (step S1902). Then, the data analyzer 1902 performs entropy decoding on the compressed data, and the quantized transform coefficient and prediction related information are extracted (step S1903). Based on the prediction related information extracted here, a plurality of texture signals are generated by the texture synthesizer 1908, and a prediction signal is generated by combining the generated plurality of texture signals (step S1904).

一方、量子化された変換係数は、逆量子化器１９０３において量子化パラメータを用いて逆量子化され、逆変換器１９０４において逆変換が行われ、再生差分信号が生成される（ステップＳ１９０５）。そして、生成された予測信号と再生差分信号とが加算されることで再生信号が生成され、この再生信号が次の対象ブロックを再生するためにフレームメモリ１９０７に格納される（ステップＳ１９０６）。次の圧縮データがある場合には、再度このプロセスを繰り返し（ステップＳ１９０７）、全てデータが最後まで処理される（ステップＳ１９０８）。なお、必要に応じてステップＳ１９０２に戻り、圧縮データを取り込むようにしてもよい。 On the other hand, the quantized transform coefficient is inversely quantized using the quantization parameter in the inverse quantizer 1903, and inverse transform is performed in the inverse transformer 1904 to generate a reproduction difference signal (step S1905). Then, a reproduction signal is generated by adding the generated prediction signal and the reproduction difference signal, and this reproduction signal is stored in the frame memory 1907 to reproduce the next target block (step S1906). If there is next compressed data, this process is repeated again (step S1907), and all data is processed to the end (step S1908). If necessary, the process may return to step S1902 and take in compressed data.

本実施形態に係る画像予測符号化方法及び画像予測復号方法を、プログラムとして記録媒体に格納されて提供することもできる。記録媒体としては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。 The image predictive encoding method and the image predictive decoding method according to the present embodiment can also be provided as stored in a recording medium as a program. Examples of the recording medium include a recording medium such as a floppy disk (registered trademark), CD-ROM, DVD, or ROM, or a semiconductor memory.

図２２は、画像予測符号化方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測符号化プログラムＰ１００は、ブロック分割モジュールＰ１０２、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０及びエントロピー符号化モジュールＰ１１１を備えている。なお、予測信号生成モジュールＰ１０３は、図２３に示すように、予測関連情報生成モジュールＰ２０１及びテキスチャー合成モジュールＰ２０２を備えている。さらに、テキスチャー信号モジュールＰ２０２は、図２４に示すように、テンプレート信号生成モジュールＰ３０１、テキスチャー生成モジュールＰ３０２及び合成モジュールＰ３０３を備えている。 FIG. 22 is a block diagram illustrating modules of a program that can execute the image predictive coding method. The image predictive coding program P100 includes a block division module P102, a prediction signal generation module P103, a storage module P104, a subtraction module P105, a transformation module P106, a quantization module P107, an inverse quantization module P108, an inverse transformation module P109, and an addition module P110. And an entropy encoding module P111. Note that the prediction signal generation module P103 includes a prediction related information generation module P201 and a texture synthesis module P202 as shown in FIG. Furthermore, as shown in FIG. 24, the texture signal module P202 includes a template signal generation module P301, a texture generation module P302, and a synthesis module P303.

上記各モジュールが実行されることにより実現される機能は、上述した画像予測符号化装置１００の機能と同じである。すなわち、画像予測符号化プログラムＰ１００の各モジュールの機能は、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、予測関連情報生成器２０１、テキスチャー合成器２０２、テンプレート信号生成器３０１、テキスチャー生成器３０２及び合成器３０３の機能と同様である。 The functions realized by executing the above modules are the same as the functions of the image predictive coding apparatus 100 described above. That is, the function of each module of the image predictive coding program P100 includes a block divider 102, a prediction signal generator 103, a frame memory 104, a subtractor 105, a converter 106, a quantizer 107, an inverse quantizer 108, and an inverse quantizer. The functions of the converter 109, adder 110, entropy encoder 111, prediction related information generator 201, texture synthesizer 202, template signal generator 301, texture generator 302, and synthesizer 303 are the same.

また、図２５は、画像予測復号方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測復号プログラムＰ１９００は、データ解析モジュールＰ１９０２、逆量子化モジュールＰ１９０３、逆変換モジュールＰ１９０４、加算モジュールＰ１９０５、記憶モジュールＰ１９０７及びテキスチャー合成モジュールＰ１９０８を備えている。 FIG. 25 is a block diagram illustrating modules of a program that can execute the image predictive decoding method. The image predictive decoding program P1900 includes a data analysis module P1902, an inverse quantization module P1903, an inverse transform module P1904, an addition module P1905, a storage module P1907, and a texture synthesis module P1908.

上記各モジュールが実行されることにより実現される機能は、上述した画像予測復号装置１９００の各構成要素と同じである。すなわち、画像予測復号プログラムＰ１９００の各モジュールの機能は、データ解析器１９０２、逆量子化器１９０３、逆変換器１９０４、加算器１９０５、フレームメモリ１９０７及びテキスチャー合成器１９０８の機能と同様である。 The functions realized by executing the above modules are the same as those of the components of the image predictive decoding apparatus 1900 described above. That is, the functions of the modules of the image predictive decoding program P1900 are the same as the functions of the data analyzer 1902, inverse quantizer 1903, inverse transformer 1904, adder 1905, frame memory 1907, and texture synthesizer 1908.

このように構成された画像予測符号化プログラムＰ１００または画像予測復号プログラムＰ１９００は、記録媒体１０に記憶され、後述するコンピュータで実行される。 The image predictive encoding program P100 or the image predictive decoding program P1900 configured as described above is stored in the recording medium 10 and executed by a computer described later.

図２６は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図２７は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などでもよい。 FIG. 26 is a diagram illustrating a hardware configuration of a computer for executing a program recorded in a recording medium, and FIG. 27 is a perspective view of the computer for executing a program stored in the recording medium. Note that a program that executes a program stored in a recording medium is not limited to a computer, and may be a DVD player, a set-top box, a mobile phone, or the like that includes a CPU and performs processing and control by software.

図２６に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された画像予測符号化・復号プログラムにアクセス可能になり、当該画像符号化・復号プログラムによって、本実施形態に係る画像符号化装置または画像復号装置として動作することが可能になる。 As shown in FIG. 26, the computer 30 includes a reading device 12 such as a floppy disk drive device, a CD-ROM drive device, a DVD drive device, a working memory (RAM) 14 in which an operating system is resident, and a recording medium 10. A memory 16 for storing programs stored therein, a display device 18 such as a display, a mouse 20 and a keyboard 22 as input devices, a communication device 24 for transmitting and receiving data and the like, and a CPU 26 for controlling execution of the programs. And. When the recording medium 10 is inserted into the reading device 12, the computer 30 can access the image predictive encoding / decoding program stored in the recording medium 10 from the reading device 12, and by the image encoding / decoding program, It becomes possible to operate as an image encoding device or an image decoding device according to the present embodiment.

図２７に示すように、画像予測符号化プログラム及び画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した画像予測符号化プログラムもしくは画像復号プログラをメモリ１６に格納し、当該画像予測符号化プログラムもしくは画像予測復号プログラムを実行することができる。 As shown in FIG. 27, the image predictive coding program and the image decoding program may be provided via a network as a computer data signal 40 superimposed on a carrier wave. In this case, the computer 30 can store the image predictive encoding program or the image decoding program received by the communication device 24 in the memory 16 and execute the image predictive encoding program or the image predictive decoding program.

以上説明したように、本実施形態に係る画像予測符号化装置によれば、まず、入力端子１０１に入力された動画像がブロック分割器１０２により複数の領域に分割され、分割された複数の領域のうちの処理対象である対象ブロックの対象画素信号に対する予測信号が予測信号生成器１０３により生成される。そして、その予測信号と対象画素信号との残差信号が減算器１０５により生成され、その残差信号がエントロピー符号化器１１１により符号化される。ここで、予測信号は、予測関連情報に基づいて生成される複数のテキスチャー信号を合成器３０３で加算することで生成される。なお、生成された予測関連情報も残差信号と同様にエントロピー符号化器１１１により符号化される。このように、複数のテキスチャー信号に基づいて予測信号が生成されるので、予測信号に含まれる雑音を低減することができる。また、これら複数のテキスチャー信号は少ない予測関連情報で効率よく生成することが可能である。したがって、雑音の少ない予測信号を効率よく生成することができる。 As described above, according to the image predictive coding apparatus according to the present embodiment, first, the moving image input to the input terminal 101 is divided into a plurality of regions by the block divider 102, and the plurality of divided regions is obtained. The prediction signal generator 103 generates a prediction signal for the target pixel signal of the target block to be processed. Then, a residual signal between the prediction signal and the target pixel signal is generated by the subtractor 105, and the residual signal is encoded by the entropy encoder 111. Here, the prediction signal is generated by adding a plurality of texture signals generated based on the prediction related information by the synthesizer 303. The generated prediction related information is also encoded by the entropy encoder 111 in the same manner as the residual signal. Thus, since the prediction signal is generated based on a plurality of texture signals, noise contained in the prediction signal can be reduced. In addition, the plurality of texture signals can be efficiently generated with a small amount of prediction related information. Therefore, it is possible to efficiently generate a prediction signal with less noise.

また、本実施形態に係る画像予測符号化装置１００は、指定領域の形状と対象領域の形状とを（例えば領域４０６の形状と領域４０２の形状とを）同じに設定することが可能であるため、より簡易に予測信号を生成することができる。 In addition, the image predictive encoding device 100 according to the present embodiment can set the shape of the designated region and the shape of the target region (for example, the shape of the region 406 and the shape of the region 402) to be the same. Thus, the prediction signal can be generated more easily.

また、本実施形態に係る画像予測符号化装置１００は、対象領域４０２を分割し、分割された各小領域（小領域４１１、４２１、４３１及び４４１）について予測信号を生成し、小領域毎の予測信号を合成することにより対象領域４０２の予測信号を生成することが可能である。そのため、最終的に生成される対象領域４０２の予測信号の性能をより高めること、すなわち、より雑音の少ない予測信号を生成することができる。 Further, the image predictive coding apparatus 100 according to the present embodiment divides the target region 402, generates a prediction signal for each of the divided small regions (small regions 411, 421, 431, and 441), and generates a prediction signal for each small region. It is possible to generate a prediction signal for the target region 402 by synthesizing the prediction signal. Therefore, it is possible to further improve the performance of the prediction signal of the target region 402 to be finally generated, that is, to generate a prediction signal with less noise.

また、本実施形態に係る画像予測符号化装置１００では、候補テキスチャー選択器５０２が、対象領域の画素信号との差分が最も小さいテンプレート信号をテキスチャー信号の一つとして選択する。すなわち、テンプレート信号がテキスチャー信号に含まれる。したがって、より雑音の少ない予測信号を生成することができる。 In the image predictive coding device 100 according to the present embodiment, the candidate texture selector 502 selects a template signal having the smallest difference from the pixel signal in the target region as one of the texture signals. That is, the template signal is included in the texture signal. Therefore, a prediction signal with less noise can be generated.

また、本実施形態に係る画像予測符号化装置１００では、合成器３０３がテキスチャー信号に対して重み付け平均化処理を施すので、複数のテキスチャー信号が平均化される。そのため、統計的に誤差が少ない予測信号を生成することができる。 Further, in the image predictive encoding device 100 according to the present embodiment, since the synthesizer 303 performs weighted averaging processing on the texture signal, a plurality of texture signals are averaged. Therefore, it is possible to generate a prediction signal with a small statistical error.

また、本実施形態に係る画像予測符号化装置１００では、予測関連情報が対象領域の空間的な変位量を示す動きベクトルを含む。そのため、対象領域の対象画素信号との相関が高い信号をより容易に導出することができ、予測信号をより簡易に生成することが可能になる。 Further, in the image predictive coding device 100 according to the present embodiment, the prediction related information includes a motion vector indicating the spatial displacement amount of the target region. Therefore, a signal having a high correlation with the target pixel signal in the target region can be derived more easily, and a prediction signal can be generated more easily.

本実施形態に係る画像予測復号装置１９００では、データ解析器１９０２が圧縮データから予測関連情報と残差信号とを抽出する。その後、テキスチャー合成器１９０８が予測関連情報に基づいて予測信号を生成し、逆量子化器１９０３及び逆変換器１９０４が残差信号を復元する。そして、加算器１９０５が予測信号と残差信号とを加算して対象領域の再生画素信号を復元する。ここで、予測信号は、テキスチャー生成器２００２が復元された予測関連情報に基づいて生成する複数のテキスチャー信号を合成器２００３が重み付け平均化処理を用いて加工することで生成される。このように、複数のテキスチャー信号に基づいて予測信号が生成されるので、予測信号に含まれる雑音を低減することができる。また、これら複数のテキスチャー信号は、少ない予測関連情報で効率よく生成することが可能である。したがって、雑音の少ない予測信号を効率よく生成することができる。 In the image predictive decoding apparatus 1900 according to the present embodiment, the data analyzer 1902 extracts prediction related information and a residual signal from the compressed data. Thereafter, the texture synthesizer 1908 generates a prediction signal based on the prediction related information, and the inverse quantizer 1903 and the inverse transformer 1904 restore the residual signal. Then, an adder 1905 adds the prediction signal and the residual signal to restore the reproduction pixel signal in the target area. Here, the prediction signal is generated when the synthesizer 2003 processes a plurality of texture signals generated based on the prediction-related information restored by the texture generator 2002 using a weighted averaging process. Thus, since the prediction signal is generated based on a plurality of texture signals, noise contained in the prediction signal can be reduced. In addition, the plurality of texture signals can be efficiently generated with a small amount of prediction related information. Therefore, it is possible to efficiently generate a prediction signal with less noise.

また、本実施形態に係る画像予測復号装置１９００は、指定領域の形状と対象領域の形状とを同じに設定することが可能であるため、より簡易に予測信号を生成することができる。 Further, the image predictive decoding device 1900 according to the present embodiment can set the shape of the designated region and the shape of the target region to be the same, and therefore can generate a prediction signal more easily.

また、本実施形態に係る画像予測復号装置１９００では、対象領域を分割し、分割された各小領域について予測信号を生成し、小領域毎の予測信号を合成することにより対象領域の予測信号を生成することが可能である。そのため、最終的に生成される対象領域の予測信号の性能をより高めること、すなわち、より雑音の少ない予測信号を生成することができる。 Also, the image predictive decoding apparatus 1900 according to the present embodiment divides the target region, generates a prediction signal for each divided small region, and synthesizes the prediction signal for each small region, thereby generating the prediction signal of the target region. It is possible to generate. Therefore, it is possible to further improve the performance of the prediction signal of the target region that is finally generated, that is, to generate a prediction signal with less noise.

また、本実施形態に係る画像予測復号装置１９００では、テキスチャー生成器２００２が、対象領域の画素信号との差分が最も小さいテンプレート信号を含むテキスチャー信号を生成することが可能であるので、より雑音の少ない予測信号を生成することができる。 Further, in the image predictive decoding device 1900 according to the present embodiment, the texture generator 2002 can generate a texture signal including a template signal having the smallest difference from the pixel signal in the target region. A small number of prediction signals can be generated.

また、本実施形態に係る画像予測復号装置１９００では、合成器２００３が、テキスチャー信号に対して重み付け平均化処理を施し、その処理をされたテキスチャー信号を加算することで予測信号を生成する。このように、予測信号を生成する際にテキスチャー信号が平均化されるので、統計的に誤差が少ない予測信号を生成することができる。 Further, in the image predictive decoding device 1900 according to the present embodiment, the synthesizer 2003 performs weighted averaging processing on the texture signal, and adds the texture signals subjected to the processing to generate a prediction signal. In this way, since the texture signal is averaged when generating the prediction signal, it is possible to generate a prediction signal with a small statistical error.

また、本実施形態に係る画像予測復号装置１９００では、データ解析器１９０２が、対象領域の空間的な変位量を示す動きベクトルを含む予測関連情報を抽出することが可能である。そのため、対象領域の対象画素信号との相関が高い信号をより容易に導出することができ、予測信号をより簡易に生成することが可能になる。 In the image predictive decoding apparatus 1900 according to the present embodiment, the data analyzer 1902 can extract prediction related information including a motion vector indicating the spatial displacement amount of the target region. Therefore, a signal having a high correlation with the target pixel signal in the target region can be derived more easily, and a prediction signal can be generated more easily.

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。 The present invention has been described in detail based on the embodiments. However, the present invention is not limited to the above embodiment. The present invention can be variously modified without departing from the gist thereof.

本実施形態に係る画像予測符号化装置を示すブロック図である。It is a block diagram which shows the image predictive coding apparatus which concerns on this embodiment. 図１に示す予測信号生成器を示すブロック図である。It is a block diagram which shows the prediction signal generator shown in FIG. 図２に示すテキスチャー合成器を示すブロック図である。It is a block diagram which shows the texture synthesizer shown in FIG. 予測関連情報生成処理（ブロックマッチング処理）を説明するための模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。It is a schematic diagram for demonstrating a prediction relevant information generation process (block matching process), (A) shows a reference image, (B) shows the screen of encoding object. 図３に示すテキスチャー生成器を示すブロック図である。It is a block diagram which shows the texture generator shown in FIG. マッチング処理及び候補テキスチャー生成処理に関する模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。It is a schematic diagram regarding a matching process and candidate texture production | generation process, (A) shows a reference image, (B) shows the screen of encoding object. マッチング処理及び候補テキスチャー生成処理の変形例に関する第１の模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。It is a 1st schematic diagram regarding the modification of a matching process and a candidate texture production | generation process, (A) shows a reference image, (B) shows the screen of encoding object. マッチング処理及び候補テキスチャー生成処理の変形例に関する第２の模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。It is a 2nd schematic diagram regarding the modification of a matching process and candidate texture production | generation process, (A) shows a reference image, (B) shows the screen of encoding object. マッチング処理及び候補テキスチャー生成処理の変形例に関する第３の模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。It is a 3rd schematic diagram regarding the modification of a matching process and candidate texture production | generation process, (A) shows a reference image, (B) shows the screen of encoding object. マッチング処理及び候補テキスチャー生成処理の変形例に関する第４の模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。It is a 4th schematic diagram regarding the modification of a matching process and candidate texture production | generation process, (A) shows a reference image, (B) shows the screen of encoding object. テンプレート信号の形状とテキスチャー信号の形状とが異なる第１の場合のマッチング処理及び候補テキスチャー生成処理に関する模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。It is a schematic diagram regarding the matching processing and candidate texture generation processing in the first case where the shape of the template signal and the shape of the texture signal are different, (A) shows a reference image and (B) shows a screen to be encoded. . テンプレート信号の形状とテキスチャー信号の形状とが異なる第２の場合のマッチング処理及び候補テキスチャー生成処理に関する模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。It is a schematic diagram regarding the matching processing and candidate texture generation processing in the second case where the shape of the template signal and the shape of the texture signal are different, (A) shows a reference image and (B) shows a screen to be encoded. . 予測関連情報生成処理（ブロックマッチング処理）の変形例を説明するための模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。It is a schematic diagram for demonstrating the modification of a prediction relevant information generation process (block matching process), (A) shows a reference image, (B) shows the screen of encoding object. マッチング処理ならびに候補テキスチャー生成処理において画面内予測方法を用いる変形例を説明するための模式図である。It is a schematic diagram for demonstrating the modification which uses the prediction method in a screen in a matching process and a candidate texture production | generation process. 候補テキスチャー信号の生成方法及び合成方法の手順を説明するためのフローチャートである。It is a flowchart for demonstrating the procedure of the production | generation method and synthesis | combination method of a candidate texture signal. 候補テキスチャー信号の選択方法の手順の変形例を説明するためのフローチャートである。It is a flowchart for demonstrating the modification of the procedure of the selection method of a candidate texture signal. 図１に示す画像予測符号化装置の画像予測符号化方法の手順を示すフローチャートである。It is a flowchart which shows the procedure of the image prediction encoding method of the image prediction encoding apparatus shown in FIG. 画面内予測方法を説明するための模式図である。It is a schematic diagram for demonstrating the prediction method in a screen. 本実施形態に係る画像予測復号装置を示すブロック図である。It is a block diagram which shows the image prediction decoding apparatus which concerns on this embodiment. 図１９に示すテキスチャー合成器を示すブロック図である。It is a block diagram which shows the texture synthesizer shown in FIG. 図１９に示す画像予測復号装置の画像予測復号方法の手順を示すフローチャートである。It is a flowchart which shows the procedure of the image prediction decoding method of the image prediction decoding apparatus shown in FIG. 本実施形態に係る画像予測符号化方法を実行することができるプログラムを示すブロック図である。It is a block diagram which shows the program which can perform the image predictive coding method which concerns on this embodiment. 図２２に示す予測信号生成モジュールを示すブロック図である。It is a block diagram which shows the prediction signal generation module shown in FIG. 図２３に示すテキスチャー合成モジュールを示すブロック図である。It is a block diagram which shows the texture synthetic | combination module shown in FIG. 本実施形態に係る画像予測復号方法を実行することができるプログラムを示すブロック図である。It is a block diagram which shows the program which can perform the image predictive decoding method which concerns on this embodiment. 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the computer for performing the program recorded on the recording medium. 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。It is a perspective view of a computer for executing a program stored in a recording medium.

符号の説明Explanation of symbols

１００…画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、２０１…予測関連情報生成器、２０２…テキスチャー合成器、３０１…テンプレート信号生成器、３０２…テキスチャー生成器、３０３…合成器、１９００…画像予測復号装置、１９０１…入力端子、１９０２…データ解析器、１９０３…逆量子化器、１９０４…逆変換器、１９０５…加算器、１９０６…出力端子、１９０７…フレームメモリ、１９０８…テキスチャー合成器、２００１…テンプレート信号生成器、２００２…テキスチャー生成器、２００３…合成器。 DESCRIPTION OF SYMBOLS 100 ... Image predictive coding apparatus, 101 ... Input terminal, 102 ... Block divider, 103 ... Prediction signal generator, 104 ... Frame memory, 105 ... Subtractor, 106 ... Converter, 107 ... Quantizer, 108 ... Inverse Quantizer, 109 ... Inverse transformer, 110 ... Adder, 111 ... Entropy encoder, 112 ... Output terminal, 201 ... Prediction related information generator, 202 ... Texture synthesizer, 301 ... Template signal generator, 302 ... Texture generator 303 ... Synthesizer 1900 Image predictive decoder 1901 Input terminal 1902 Data analyzer 1903 Inverse quantizer 1904 Inverse transformer 1905 Adder 1906 Output terminal 1907: frame memory, 1908: texture synthesizer, 2001: template signal generator, 2002: texture Formed unit, 2003 ... synthesizer.

Claims

入力画像を複数の領域に分割する領域分割手段と、
前記領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された残差信号を符号化する符号化手段と、を備え、
前記予測信号生成手段は、
前記対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成手段と、
前記予測関連情報生成手段により生成された予測関連情報に基づいて前記対象領域の予測信号を生成するテキスチャー合成手段とを有し、
前記テキスチャー合成手段は、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、
前記符号化手段は、前記予測関連情報生成手段により生成された予測関連情報を符号化することを特徴とする画像予測符号化装置。 Area dividing means for dividing the input image into a plurality of areas;
A prediction signal generating unit that generates a prediction signal for a target pixel signal of a target region that is a processing target among a plurality of regions divided by the region dividing unit;
Residual signal generation means for generating a residual signal between the prediction signal generated by the prediction signal generation means and the target pixel signal;
Encoding means for encoding the residual signal generated by the residual signal generating means,
The prediction signal generating means includes
Prediction related information generating means for generating, as prediction related information, a method of generating a signal having a high correlation with the target pixel signal of the target region from the already reproduced signal;
Texture synthesis means for generating a prediction signal of the target region based on the prediction related information generated by the prediction related information generation means,
The texture synthesizing unit generates a template signal of a designated area determined based on the prediction related information from the already reproduced signal, and searches a plurality of similar areas having a high correlation with the designated area from previously reproduced images. , Generating a plurality of texture signals for the target region based on the plurality of similar regions, and generating a prediction signal by processing the plurality of texture signals using a predetermined texture synthesis method,
The image encoding / encoding device, wherein the encoding unit encodes the prediction related information generated by the prediction related information generation unit.

前記指定領域と前記対象領域とが同じ形状であることを特徴とする請求項１に記載の画像予測符号化装置。 The image predictive coding apparatus according to claim 1, wherein the designated region and the target region have the same shape.

前記テキスチャー合成手段は、前記対象領域を複数の小領域に分割し、分割された各小領域ついて、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記小領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって前記小領域の予測信号を生成し、生成された各小領域の予測信号を合成することによって前記対象領域の予測信号を生成することを特徴とする請求項１に記載の画像予測符号化装置。 The texture synthesizing unit divides the target region into a plurality of small regions, generates a template signal of a designated region defined based on the prediction related information for each of the divided small regions from the already reproduced signal, A plurality of similar regions having a high correlation with the designated region are searched from predetermined reproduced images, a plurality of texture signals for the small region are generated based on the plurality of similar regions, and the plurality of texture signals are determined in advance. The prediction signal of the small area is generated by processing using a texture synthesis method, and the prediction signal of the target area is generated by synthesizing the generated prediction signal of each small area. The image predictive coding device according to 1.

前記テンプレート信号は、前記複数のテキスチャー信号に含まれることを特徴とする請求項１〜３のいずれか一項に記載の画像予測符号化装置。 The image predictive coding apparatus according to claim 1, wherein the template signal is included in the plurality of texture signals.

前記テキスチャー合成手段は、前記テキスチャー信号に対して、予め定めた重み付け係数による重み付け平均処理を施すことによって前記予測信号を生成することを特徴とする請求項１〜４のいずれか一項に記載の画像予測符号化装置。 The said texture synthetic | combination means produces | generates the said prediction signal by performing the weighted average process by a predetermined weighting coefficient with respect to the said texture signal, The Claim 1 characterized by the above-mentioned. Image predictive coding apparatus.

前記予測関連情報は、対象領域の空間的な変位量を示す動きベクトルを含むことを特徴とする請求項１〜５のいずれか一項に記載の画像予測符号化装置。 The image prediction encoding apparatus according to any one of claims 1 to 5, wherein the prediction related information includes a motion vector indicating a spatial displacement amount of the target region.

前記テキスチャー合成手段は、前記指定領域と相関の高い複数の類似領域を予め定めた複数の既再生画像から探索することを特徴とする請求項１〜６のいずれか一項に記載の画像予測符号化装置。 The image prediction code according to claim 1, wherein the texture synthesizing unit searches a plurality of previously reproduced images for a plurality of similar regions having a high correlation with the designated region. Device.

圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析手段と、
前記データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、
前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記残差信号復元手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、を備え、
前記予測信号生成手段は、前記データ解析手段により抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号装置。 A data analysis means for extracting encoded data of prediction related information and encoded data of residual signal related to a target area to be processed from compressed data;
Residual signal restoration means for restoring a reproduction residual signal from encoded data of the residual signal extracted by the data analysis means;
Prediction signal generating means for generating a prediction signal for the target pixel signal of the target region;
Image restoration means for restoring the pixel signal of the target area by adding the prediction signal generated by the prediction signal generation means and the reproduction residual signal restored by the residual signal restoration means,
The prediction signal generation means restores prediction related information from the encoded data of the prediction related information extracted by the data analysis means, and generates a template signal in a designated area determined based on the restored prediction related information A plurality of similar regions having a high correlation with the designated region are searched from previously reproduced images, a plurality of texture signals for the target region are generated based on the plurality of similar regions, and the plurality of textures An image predictive decoding apparatus that generates a prediction signal by processing a signal using a predetermined texture synthesis method.

前記指定領域と前記対象領域が同じ形状であることを特徴とする請求項８に記載の画像予測復号装置。 The image predictive decoding apparatus according to claim 8, wherein the designated region and the target region have the same shape.

前記予測信号生成手段は、前記予測関連情報の符号化データから前記予測関連情報を復元し、前記対象領域を複数の小領域に分割し、分割された各小領域ついて、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記小領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって前記小領域の予測信号を生成し、生成された各小領域の予測信号を合成することによって前記対象領域の予測信号を生成することを特徴とする請求項８に記載の画像予測復号装置。 The prediction signal generation means restores the prediction related information from the encoded data of the prediction related information, divides the target region into a plurality of small regions, and for each divided small region, based on the prediction related information A template signal of a designated area determined in advance is generated from the reproduced signal, a plurality of similar areas having a high correlation with the designated area are searched from predetermined reproduced images, and the small area is determined based on the plurality of similar areas Generating a plurality of texture signals, processing the plurality of texture signals using a predetermined texture synthesis method to generate a prediction signal for the small region, and combining the generated prediction signals for each small region The image predictive decoding apparatus according to claim 8, wherein a prediction signal of the target region is generated.

前記テンプレート信号は、前記複数のテキスチャー信号に含まれることを特徴とする請求項８〜１０のいずれか一項に記載の画像予測復号装置。 The image predictive decoding apparatus according to claim 8, wherein the template signal is included in the plurality of texture signals.

前記予測信号生成手段は、前記テキスチャー信号に対して、予め定めた重み付け係数による重み付け平均処理を施すことによって前記予測信号を生成することを特徴とする請求項８〜１１のいずれか一項に記載の画像予測復号装置。 The said prediction signal production | generation means produces | generates the said prediction signal by performing the weighted average process by a predetermined weighting coefficient with respect to the said texture signal, The Claim signal characterized by the above-mentioned. Image predictive decoding apparatus.

前記予測関連情報は、対象領域の空間的な変位量を示す動きベクトルを含むことを特徴とする請求項８〜１２のいずれか一項に記載の画像予測復号装置。 The image prediction decoding apparatus according to any one of claims 8 to 12, wherein the prediction related information includes a motion vector indicating a spatial displacement amount of the target region.

前記予測信号生成手段は、前記指定領域と相関の高い複数の類似領域を予め定めた複数の既再生画像から探索することを特徴とする請求項８〜１３のいずれか一項に記載の画像予測復号装置。 The image prediction according to any one of claims 8 to 13, wherein the prediction signal generation unit searches a plurality of previously reproduced images for a plurality of similar regions having a high correlation with the designated region. Decoding device.

画像予測符号化装置が、入力画像を複数の領域に分割する領域分割ステップと、
前記画像予測符号化装置が、前記領域分割ステップにおいて分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、
前記画像予測符号化装置が、前記予測信号生成ステップにおいて生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成ステップと、
前記画像予測符号化装置が、前記残差信号生成ステップにおいて生成された残差信号を符号化する符号化ステップと、を備え、
前記予測信号生成ステップは、
前記対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成ステップと、
前記予測関連情報生成ステップにおいて生成された予測関連情報に基づいて前記対象領域の予測信号を生成するテキスチャー合成ステップとを有し、
前記テキスチャー合成ステップは、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、
前記符号化ステップは、前記予測関連情報生成ステップにおいて生成された予測関連情報を符号化することを特徴とする画像予測符号化方法。 A region dividing step in which the image predictive encoding device divides the input image into a plurality of regions;
A prediction signal generating step in which the image predictive coding device generates a prediction signal for a target pixel signal of a target region that is a processing target among a plurality of regions divided in the region dividing step;
The image predictive coding apparatus generates a residual signal between the prediction signal generated in the prediction signal generation step and the target pixel signal; and
The image predictive coding apparatus comprises: an encoding step for encoding the residual signal generated in the residual signal generating step;
The predicted signal generation step includes:
A prediction related information generating step for generating, as prediction related information, a method of generating a signal having a high correlation with the target pixel signal of the target region from the already reproduced signal;
A texture synthesis step of generating a prediction signal of the target region based on the prediction related information generated in the prediction related information generation step,
The texture synthesis step generates a template signal of a designated area determined based on the prediction-related information from the already reproduced signal, and searches a plurality of similar areas having a high correlation with the designated area from a previously reproduced image. , Generating a plurality of texture signals for the target region based on the plurality of similar regions, and generating a prediction signal by processing the plurality of texture signals using a predetermined texture synthesis method,
The encoding step encodes the prediction related information generated in the prediction related information generation step.

画像予測復号装置が、圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析ステップと、
前記画像予測復号装置が、前記データ解析ステップにおいて抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、
前記画像予測復号装置が、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、
前記画像予測復号装置が、前記予測信号生成ステップにおいて生成された予測信号と前記残差信号復元ステップにおいて復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元ステップと、を備え、
前記予測信号生成ステップは、前記データ解析ステップにおいて抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号方法。 A data analysis step in which the image predictive decoding apparatus extracts encoded data of prediction related information and encoded data of a residual signal regarding the target region to be processed from the compressed data;
The image predictive decoding apparatus, a residual signal restoration step for restoring a reproduction residual signal from encoded data of the residual signal extracted in the data analysis step;
A prediction signal generation step in which the image predictive decoding device generates a prediction signal for a target pixel signal in the target region;
Image in which the image predictive decoding apparatus restores the pixel signal of the target area by adding the prediction signal generated in the prediction signal generation step and the reproduction residual signal restored in the residual signal restoration step A restoration step, and
The prediction signal generation step restores prediction related information from the encoded data of the prediction related information extracted in the data analysis step, and generates a template signal of a designated area determined based on the restored prediction related information A plurality of similar regions having a high correlation with the designated region are searched from previously reproduced images, a plurality of texture signals for the target region are generated based on the plurality of similar regions, and the plurality of textures An image predictive decoding method, wherein a prediction signal is generated by processing a signal using a predetermined texture synthesis method.

コンピュータを、
入力画像を複数の領域に分割する領域分割手段と、
前記領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された残差信号を符号化する符号化手段と、して機能させ、
前記予測信号生成手段は、
前記対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成手段と、
前記予測関連情報生成手段により生成された予測関連情報に基づいて前記対象領域の予測信号を生成するテキスチャー合成手段とを有し、
前記テキスチャー合成手段は、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、
前記符号化手段は、前記予測関連情報生成手段により生成された予測関連情報を符号化することを特徴とする画像予測符号化プログラム。 Computer
Area dividing means for dividing the input image into a plurality of areas;
A prediction signal generating unit that generates a prediction signal for a target pixel signal of a target region that is a processing target among a plurality of regions divided by the region dividing unit;
Residual signal generation means for generating a residual signal between the prediction signal generated by the prediction signal generation means and the target pixel signal;
Function as encoding means for encoding the residual signal generated by the residual signal generating means,
The prediction signal generating means includes
Prediction related information generating means for generating, as prediction related information, a method of generating a signal having a high correlation with the target pixel signal of the target region from the already reproduced signal;
Texture synthesis means for generating a prediction signal of the target region based on the prediction related information generated by the prediction related information generation means,
The texture synthesizing unit generates a template signal of a designated area determined based on the prediction related information from the already reproduced signal, and searches a plurality of similar areas having a high correlation with the designated area from previously reproduced images. , Generating a plurality of texture signals for the target region based on the plurality of similar regions, and generating a prediction signal by processing the plurality of texture signals using a predetermined texture synthesis method,
The image predictive encoding program, wherein the encoding means encodes the prediction related information generated by the prediction related information generation means.

コンピュータを、
圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析手段と、
前記データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、
前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号生成手段により生成された予測信号と前記残差信号復元手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、して機能させ、
前記予測信号生成手段は、前記データ解析手段により抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号プログラム。 Computer
A data analysis means for extracting encoded data of prediction related information and encoded data of residual signal related to a target area to be processed from compressed data;
Residual signal restoration means for restoring a reproduction residual signal from encoded data of the residual signal extracted by the data analysis means;
Prediction signal generating means for generating a prediction signal for the target pixel signal of the target region;
Function as image restoration means for restoring the pixel signal of the target area by adding the prediction signal generated by the prediction signal generation means and the reproduction residual signal restored by the residual signal restoration means Let
The prediction signal generation means restores prediction related information from the encoded data of the prediction related information extracted by the data analysis means, and generates a template signal in a designated area determined based on the restored prediction related information A plurality of similar regions having a high correlation with the designated region are searched from previously reproduced images, a plurality of texture signals for the target region are generated based on the plurality of similar regions, and the plurality of textures An image predictive decoding program that generates a prediction signal by processing a signal using a predetermined texture synthesis method.