JP2011004345A - Spatial downsampling processor, spatial upsampling processor, encoding apparatus, decoding apparatus, and program - Google Patents

Spatial downsampling processor, spatial upsampling processor, encoding apparatus, decoding apparatus, and program Download PDF

Info

Publication number
JP2011004345A
JP2011004345A JP2009147880A JP2009147880A JP2011004345A JP 2011004345 A JP2011004345 A JP 2011004345A JP 2009147880 A JP2009147880 A JP 2009147880A JP 2009147880 A JP2009147880 A JP 2009147880A JP 2011004345 A JP2011004345 A JP 2011004345A
Authority
JP
Japan
Prior art keywords
spatial
frequency component
frequency
horizontal
vertical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009147880A
Other languages
Japanese (ja)
Other versions
JP5140638B2 (en
Inventor
Yasutaka Matsuo
康孝 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Priority to JP2009147880A priority Critical patent/JP5140638B2/en
Publication of JP2011004345A publication Critical patent/JP2011004345A/en
Application granted granted Critical
Publication of JP5140638B2 publication Critical patent/JP5140638B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a spatial downsampling processor, a spatial upsampling processor, an encoding apparatus, a decoding apparatus, and a program, wherein the influence of aliasing distortion can be reduced and a high spatial frequency component can be highly accurately inferred.SOLUTION: The spatial downsampling processor includes: a two-dimensional one-stage discrete wavelet decomposition-processing part 21 for subjecting a processing target image to one-stage discrete wavelet decomposition and calculating an average value of wavelet coefficients in each decomposed frequency component area; a band limitation-processing part 22 for applying previously regulated band limitation to each of high spatial frequency components; a two-dimensional one-stage discrete wavelet reconfiguration part 23 for performing one-stage discrete wavelet reconfiguration by using the low spatial frequency components and the high spatial frequency component subjected to the band limitation; and a horizontal and vertical 1:2 pixel-thinning-processing part 24 for executing spatial downsampling by applying pixel thinning to the reconfigured image data in horizontal and vertical directions respectively at a rate of 1:2 to generate a contracted image signal.

Description

本発明は、画像符号化におけるウェーブレット（Ｗａｖｅｌｅｔ）変換技法を用いた空間周波数変換技術に関し、特に、空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラムに関する。   The present invention relates to a spatial frequency conversion technique using a wavelet transform technique in image encoding, and more particularly to a spatial downsampling processing device, a spatial upsampling processing device, an encoding device, a decoding device, and a program.

動画像符号化の伝送用に、画像を空間周波数上でダウンサンプリング（以下、「空間ダウンサンプリング」と称する）した後、例えばＨ．２６４，ＭＰＥＧ−２等の符号化方式に基づいて符号化を行い、伝送した後、復号して空間周波数上でアップサンプリング（以下、「空間アップサンプリング」と称する）を行うことがある。   For transmission of moving picture coding, after down-sampling an image on a spatial frequency (hereinafter referred to as “spatial down-sampling”), In some cases, encoding is performed based on an encoding method such as H.264, MPEG-2, etc., and then transmitted, then decoded and up-sampled (hereinafter referred to as “spatial up-sampling”) on the spatial frequency.

従来から動画像符号化におけるウェーブレット変換技法を用いた空間周波数変換技術が知られている（例えば、特許文献１参照）。従来の空間ダウンサンプリング法には、線形低域通過フィルタと間引き処理を行う方法が用いられ、従来の空間アップサンプリング法には、線形フィルタ処理か、又は非線形処理を行う方法などがある。   2. Description of the Related Art Conventionally, a spatial frequency conversion technique using a wavelet transform technique in moving picture coding is known (see, for example, Patent Document 1). A conventional spatial downsampling method uses a method of performing a thinning process with a linear low-pass filter, and a conventional spatial upsampling method includes a method of performing linear filtering or nonlinear processing.

例えば、空間ダウンサンプリングは、通常、不要な高周波成分の折り返しを防ぐために、低域通過フィルタを適用後、標本点の間引きを行う。   For example, in spatial downsampling, sample points are usually thinned out after applying a low-pass filter in order to prevent unwanted high-frequency components from aliasing.

また、空間アップサンプリングは、空間ダウンサンプリングや符号化で失われた高空間周波数成分を所定の方法で推定する技法である。この分野は、近年超解像というジャンルで研究・開発が進んでいる。古典的な方法としては、線形フィルタを用いた補間内挿による空間標本化周波数のアップサンプリング技法がある。より最近の方法としては、非線形処理による方法としてＴｏｔａｌ Ｖａｒｉａｔｉｏｎ法などがある。ただし、Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ法は繰り返し演算を用いる必要があるため、組み込みハードウェア化までには至っていない。   Spatial upsampling is a technique for estimating a high spatial frequency component lost by spatial downsampling or encoding by a predetermined method. In recent years, this field has been researched and developed in the genre of super-resolution. As a classic method, there is an up-sampling technique of a spatial sampling frequency by interpolation using a linear filter. As a more recent method, there is a total variation method as a method using nonlinear processing. However, since the Total Variation method needs to use repetitive operations, it has not yet been made into embedded hardware.

特表２００７−５０４５２３号公報Special table 2007-504523

従来の空間ダウンサンプリング時に問題となるのは、通常、空間ダウンサンプリングに合わせた低域通過フィルタを適用後に標本点の間引き処理を行う必要がある点である。即ち、低域通過フィルタとして、理想的な特性のフィルタを作成することが難しいため、どうしても折り返し歪の問題が避けられず、この折り返し歪成分がモアレ（干渉縞）やリンギングとして現れる。また原画像成分も多少損なわれることがある。   A problem at the time of conventional spatial downsampling is that it is usually necessary to perform sampling point thinning after applying a low-pass filter adapted to spatial downsampling. That is, since it is difficult to create a filter with ideal characteristics as a low-pass filter, the problem of aliasing distortion cannot be avoided, and this aliasing distortion component appears as moire (interference fringes) or ringing. In addition, the original image component may be slightly damaged.

また、従来の空間アップサンプリング時に問題となるのは、失われた高空間周波数成分を推定する際、高精度で高空間周波数成分を推定する必要がある点である。低精度で高空間周波数成分を推定すると、それが画面上でジャギー（斜めの線や曲線部分に発生する階段上のギザギザ等）、モアレ、リンギングのような形で画質劣化として現れる。   Further, a problem in the conventional spatial upsampling is that it is necessary to estimate the high spatial frequency component with high accuracy when estimating the lost high spatial frequency component. If a high spatial frequency component is estimated with low accuracy, it will appear as image quality degradation in the form of jaggy (jagged edges on a staircase or a curved line), moire, or ringing.

そこで、本発明の目的は、折り返し歪の影響を軽減し、且つ高精度で高空間周波数成分を推定可能にする空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラムを提供することにある。   Therefore, an object of the present invention is to provide a spatial downsampling processing device, a spatial upsampling processing device, an encoding device, a decoding device, and a program that can reduce the influence of aliasing distortion and can estimate a high spatial frequency component with high accuracy. It is to provide.

本発明では、原画像の高空間周波数成分の空間ダウンサンプリングを行い、符号化して伝送又は蓄積する。画像の受信又は読出し時には、復号後に予め既知の原画像の高空間周波数成分の空間アップサンプリングを行う。即ち、空間アップサンプリングに対する原画像の高空間周波数成分は、空間ダウンサンプリング前には既知であるから、空間アップサンプリングを行う際に大きな画質劣化とならないような空間ダウンサンプリングを予め適用する。   In the present invention, spatial downsampling of the high spatial frequency component of the original image is performed, encoded and transmitted or stored. When an image is received or read out, spatial upsampling of a known high spatial frequency component of the original image is performed after decoding. That is, since the high spatial frequency component of the original image with respect to the spatial upsampling is known before the spatial downsampling, the spatial downsampling is applied in advance so as not to cause a large image quality degradation when performing the spatial upsampling.

即ち、本発明の空間ダウンサンプリング処理装置は、動画像をウェーブレット分解して得られる空間周波数成分を空間ダウンサンプリングする空間ダウンサンプリング処理装置であって、前記動画像における処理対象の２次元画像について、水平方向及び垂直方向に１階離散ウェーブレット分解を施すとともに、前記１階離散ウェーブレット分解された水平方向及び垂直方向の各周波数成分の領域毎の各ウェーブレット係数の平均値を、空間アップサンプリング時の高周波成分の推定に用いる倍数情報として算出する２次元１階離散Ｗａｖｅｌｅｔ分解処理部と、前記２次元画像の水平方向及び垂直方向の空間周波数成分における高空間周波数成分について、各々予め規定した帯域制限を施す帯域制限処理部と、前記帯域制限処理部から供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施す２次元１階離散Ｗａｖｅｌｅｔ再構成部と、再構成した画像データの水平方向及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成する画素間引処理部と、を備えることを特徴とする。   That is, the spatial downsampling processing device of the present invention is a spatial downsampling processing device that spatially downsamples a spatial frequency component obtained by wavelet decomposition of a moving image, and for a two-dimensional image to be processed in the moving image, The first-order discrete wavelet decomposition is performed in the horizontal direction and the vertical direction, and the average value of each wavelet coefficient for each region of each frequency component in the horizontal direction and the vertical direction subjected to the first-order discrete wavelet decomposition is determined as a high frequency at the time of spatial upsampling. A two-dimensional first-order discrete Wavelet decomposition processing unit that is calculated as multiple information used for component estimation and a high spatial frequency component in the horizontal and vertical spatial frequency components of the two-dimensional image are each subjected to predetermined band limitation. Supplied from the bandwidth limitation processing unit and the bandwidth limitation processing unit A two-dimensional first-order discrete wavelet reconstruction unit that performs first-order discrete wavelet reconstruction using a low spatial frequency component that is generated and a high spatial frequency component that is subjected to the band limitation, and horizontal and vertical directions of the reconstructed image data And a pixel decimation processing unit that performs spatial downsampling by performing pixel decimation and generates a reduced image signal.

また、本発明の空間ダウンサンプリング処理装置において、前記帯域制限処理部は、水平高周波・垂直低周波成分の帯域制限を施す場合には、該水平高周波・垂直低周波成分の水平方向に１次元１階離散ウェーブレット分解を行い、高周波成分側を０に変換し、垂直低周波・水平高周波成分の帯域制限を施す場合には、該垂直低周波・水平高周波成分の垂直方向に１次元１階離散ウェーブレット分解を行い、高周波成分側を０に変換し、水平高周波・垂直高周波成分の帯域制限を施す場合には、該水平高周波・垂直高周波成分の全てを０に変換することを特徴とする。   Further, in the spatial downsampling processing apparatus of the present invention, the band limiting processing unit performs a one-dimensional one-dimensional one in the horizontal direction of the horizontal high frequency / vertical low frequency component when the band limitation of the horizontal high frequency / vertical low frequency component is performed. When the discrete wavelet decomposition is performed and the high frequency component side is converted to 0, and the band limitation of the vertical low frequency / horizontal high frequency component is applied, the one-dimensional first order discrete wavelet in the vertical direction of the vertical low frequency / horizontal high frequency component When the decomposition is performed and the high frequency component side is converted to 0 and the band limitation of the horizontal high frequency / vertical high frequency component is performed, all of the horizontal high frequency / vertical high frequency components are converted to 0.

また、本発明の空間ダウンサンプリング処理装置において、本発明の空間ダウンサンプリング処理装置と、該空間ダウンサンプリング処理装置から出力される縮小画像信号を所定の符号化方式により圧縮符号化して符号化データを生成する符号化器と、を備えることを特徴とする。   Further, in the spatial downsampling processing device of the present invention, the spatial downsampling processing device of the present invention and the reduced image signal output from the spatial downsampling processing device are compressed and encoded by a predetermined encoding method to generate encoded data. And an encoder to be generated.

また、本発明の空間アップサンプリング処理装置は、本発明の空間ダウンサンプリング処理装置によって生成される縮小画像信号からなる画像データについて、空間アップサンプリングを施す空間アップサンプリング処理装置であって、該画像データについて２次元２階ウェーブレット変換を施す２次元２階離散Ｗａｖｅｌｅｔ分解処理部と、前記２次元２階離散Ｗａｖｅｌｅｔ分解処理部から供給される各周波数成分から、当該周波数成分毎に予め規定した補間処理を用いてアップサンプリングを行うとともに、前記倍数情報を乗じて各高周波成分を推定して再現する高周波成分推定処理部と、前記高周波成分推定処理部から供給される低空間周波数成分と前記再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、前記処理対象とした画像を復元する２次元１階離散Ｗａｖｅｌｅｔ再構成部と、を備えることを特徴とする。   The spatial upsampling processing apparatus of the present invention is a spatial upsampling processing apparatus that performs spatial upsampling on image data composed of reduced image signals generated by the spatial downsampling processing apparatus of the present invention. A two-dimensional second-order discrete Wavelet decomposition processing unit that performs two-dimensional second-order wavelet transform, and an interpolation process defined in advance for each frequency component from each frequency component supplied from the two-dimensional second-order discrete Wavelet decomposition processing unit A high frequency component estimation processing unit that performs upsampling and multiplies the multiple information to estimate and reproduce each high frequency component; a low spatial frequency component supplied from the high frequency component estimation processing unit; and each reproduced high frequency The first-order discrete wavelet reconstruction using the components, and A two-dimensional first floor discrete Wavelet reconstruction unit for restoring an image with physical object, characterized in that it comprises a.

また、本発明の空間アップサンプリング処理装置において、前記高周波成分推定処理部は、当該周波数成分毎に予め規定される補間処理として、水平高周波・垂直低周波成分の推定の場合には、２階水平高周波・垂直低周波成分及び１階水平高周波・垂直低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、垂直高周波・水平低周波成分の推定の場合には、２階垂直高周波・水平低周波成分及び１階垂直高周波・水平低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、垂直高周波・水平高周波成分の推定の場合には、２階垂直高周波・水平高周波成分及び１階垂直高周波・水平高周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算することを特徴とする。   In the spatial upsampling processing device of the present invention, the high-frequency component estimation processing unit may perform second-level horizontal in the case of estimation of horizontal high-frequency / vertical low-frequency components as an interpolation process defined in advance for each frequency component. Apply spatial upsampling to each of the high-frequency / vertical low-frequency components and the first-order horizontal high-frequency / vertical low-frequency components, shift the phases of the frequency components that have undergone spatial upsampling, and multiply the corresponding frequency components. In the case of the vertical high frequency / horizontal low frequency component estimation, spatial upsampling is performed on each of the second floor vertical high frequency / horizontal low frequency component and the first floor vertical high frequency / horizontal low frequency component, Multiplying each phase of the frequency component subjected to the spatial upsampling while shifting the phase, and multiplying the corresponding frequency component multiple information, In the case of estimation of direct high-frequency / horizontal high-frequency components, spatial upsampling is performed on each of the second-floor vertical high-frequency / horizontal high-frequency components and the first-floor vertical high-frequency / horizontal high-frequency components, Each phase is shifted and multiplied, and multiple information of the corresponding frequency component is multiplied.

また、本発明の復号装置は、本発明の空間アップサンプリング処理装置と、本発明の符号化装置によって符号された符号化データを復号する復号器と、を備えることを特徴とする。   The decoding device of the present invention includes the spatial upsampling processing device of the present invention and a decoder for decoding the encoded data encoded by the encoding device of the present invention.

また、本発明は、動画像をウェーブレット分解して得られる空間周波数成分を空間ダウンサンプリングする空間ダウンサンプリング処理装置として構成するコンピュータに、前記動画像における処理対象の２次元画像について、水平方向及び垂直方向に１階離散ウェーブレット分解を施すとともに、前記１階離散ウェーブレット分解された水平方向及び垂直方向の各周波数成分の領域毎の各ウェーブレット係数の平均値を、空間アップサンプリング時の高周波成分の推定に用いる倍数情報として算出するステップと、前記２次元画像の水平方向及び垂直方向の空間周波数成分における高空間周波数成分について、各々予め規定した帯域制限を施すステップと、該ステップから供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施すステップと、再構成した画像データの水平方向及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成するステップと、を実行させるためのプログラムとしても特徴付けられる。   Further, the present invention provides a computer configured as a spatial downsampling processing device that spatially downsamples a spatial frequency component obtained by wavelet decomposition of a moving image, with respect to a two-dimensional image to be processed in the moving image, in a horizontal direction and a vertical direction. In addition to performing first-order discrete wavelet decomposition in the direction, the average value of each wavelet coefficient for each frequency component region in the horizontal and vertical directions subjected to the first-order discrete wavelet decomposition is used to estimate high-frequency components during spatial upsampling. A step of calculating as multiple information to be used; a step of applying a predetermined band limitation to each of the high spatial frequency components in the horizontal and vertical spatial frequency components of the two-dimensional image; and a low spatial frequency supplied from the step High spatial frequency with component and band limitation Performing a first-order discrete wavelet reconstruction using a minute, performing a spatial downsampling by performing pixel decimation in the horizontal direction and the vertical direction of the reconstructed image data, and generating a reduced image signal, It is also characterized as a program for executing.

また、本発明は、本発明の空間ダウンサンプリング処理装置によって生成される縮小画像信号からなる画像データについて、空間アップサンプリングを施す空間アップサンプリング処理装置として構成するコンピュータに、該画像データについて２次元２階ウェーブレット変換を施すステップと、該ステップから供給される各周波数成分について、当該周波数成分毎に予め規定した補間処理を用いてアップサンプリングを行うとともに、前記倍数情報を乗じて各高周波成分を推定して再現するステップと、該ステップから供給される低空間周波数成分と前記再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、前記処理対象とした２次元画像を復元するステップと、を実行させるためのプログラムとしても特徴付けられる。   The present invention also provides a computer configured as a spatial upsampling processing device that performs spatial upsampling on image data composed of reduced image signals generated by the spatial downsampling processing device of the present invention, and the image data is two-dimensionally two-dimensional. For each frequency component supplied from the step, upsampling is performed using interpolation processing defined in advance for each frequency component, and each high frequency component is estimated by multiplying the multiple information. Reconstructing, performing a first-order discrete wavelet reconstruction using the low spatial frequency component supplied from the step and each reproduced high frequency component, and reconstructing the two-dimensional image as the processing target; It is also characterized as a program for running

本発明によれば、従来の空間ダウンサンプリング法及び空間アップサンプリング法を用いる場合よりも高画質に、空間ダウンサンプリング／アップサンプリングを行うことができる。   According to the present invention, it is possible to perform spatial downsampling / upsampling with higher image quality than when using the conventional spatial downsampling method and spatial upsampling method.

本発明による一実施例の符号化装置を示す図である。It is a figure which shows the encoding apparatus of one Example by this invention. 本発明による一実施例の復号装置を示す図である。It is a figure which shows the decoding apparatus of one Example by this invention. 本発明による一実施例の符号化装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the encoding apparatus of one Example by this invention. 本発明による一実施例の復号装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the decoding apparatus of one Example by this invention. （ａ）は、従来の空間ダウンサンプリング法における水平標本化周波数を１／２に（同様に、垂直標本化周波数を１／２に）、ダウンサンプリングするために適用される低域通過フィルタの処理例を示す図であり、（ｂ）は、従来の空間ダウンサンプリング法における低域通過フィルタを適用後に標本点間引きを行う処理例を示す図である。(A) is a process of a low-pass filter applied for downsampling the horizontal sampling frequency in the conventional spatial downsampling method to 1/2 (similarly, the vertical sampling frequency to 1/2). It is a figure which shows an example, (b) is a figure which shows the example of a process which thins out a sample point after applying the low-pass filter in the conventional spatial downsampling method. 従来の空間ダウンサンプリング法にて低域通過フィルタを適用しない場合の様子を示す図である。It is a figure which shows a mode in the case of not applying a low-pass filter by the conventional space downsampling method. （ａ）は、本発明による一実施例の符号化装置における空間ダウンサンプリング処理器にて水平高周波・垂直低周波成分に帯域制限を施す様子を示す図であり、（ｂ）本発明による一実施例の符号化装置における空間ダウンサンプリング処理器における水平方向の帯域フィルタ機能を示す図である。(A) is a figure which shows a mode that a zone | band limitation is applied to a horizontal high frequency / vertical low frequency component in the spatial downsampling processor in the encoding apparatus of one Example by this invention, (b) One implementation by this invention It is a figure which shows the band filter function of the horizontal direction in the space downsampling processor in the encoding apparatus of an example. （ａ）は、本発明による一実施例の符号化装置における空間ダウンサンプリング処理器にて垂直高周波・水平低周波成分に帯域制限を施す様子を示す図であり、（ｂ）本発明による一実施例の符号化装置における空間ダウンサンプリング処理器における垂直方向の帯域フィルタ機能を示す図である。(A) is a figure which shows a mode that a band limitation is carried out to a vertical high frequency and a horizontal low frequency component in the spatial downsampling processor in the encoding apparatus of one Example by this invention, (b) One implementation by this invention It is a figure which shows the band-pass filter function of the vertical direction in the spatial downsampling processor in the encoding apparatus of an example. （ａ）は、本発明による一実施例の符号化装置における空間ダウンサンプリングされた画像ＳｐＤｗを示す図であり、（ｂ）及び（ｃ）の各々は、本発明による一実施例の符号化装置におけるそれぞれ水平方向及び垂直方向に標本化周波数の１／４以上で折り返し成分を含む空間ダウンサンプリングされた画像ＳｐＤｗの画像信号の信号利得の様子を示す図である。(A) is a figure which shows the image SpDw spatially downsampled in the encoding apparatus of one Example by this invention, Each of (b) and (c) is an encoding apparatus of one Example by this invention. FIG. 6 is a diagram illustrating a signal gain state of an image signal of a spatial downsampled image SpDw that includes a folding component at ¼ or more of the sampling frequency in each of the horizontal direction and the vertical direction. 本発明による一実施例の復号装置における空間アップサンプリング処理器にて空間ダウンサンプリングされた画像ＳｐＤｗに対して空間２階ウェーブレット変換を行う様子を示す図である。It is a figure which shows a mode that spatial 2nd-order wavelet transformation is performed with respect to the image SpDw spatially downsampled in the spatial upsampling processor in the decoding apparatus of one Example by this invention. 本発明による一実施例の復号装置における空間アップサンプリング処理器にて空間ダウンサンプリングされた画像ＳｐＤｗの周波数成分に対して水平方向の高空間周波数成分の推定を行う様子を示す図である。It is a figure which shows a mode that the high spatial frequency component of a horizontal direction is estimated with respect to the frequency component of the image SpDw spatially downsampled by the spatial upsampling processor in the decoding apparatus of one Example by this invention. 本発明による一実施例の復号装置における空間アップサンプリング処理器にて空間ダウンサンプリングされた画像ＳｐＤｗの周波数成分に対して垂直方向の高空間周波数成分の推定を行う様子を示す図である。It is a figure which shows a mode that the high spatial frequency component of a perpendicular direction is estimated with respect to the frequency component of the image SpDw spatially downsampled by the spatial upsampling processor in the decoding apparatus of one Example by this invention. 本発明による一実施例の復号装置における空間アップサンプリング処理器にて１階離散ウェーブレット再構成を行う様子を示す図である。It is a figure which shows a mode that a 1st-order discrete wavelet reconstruction is performed in the spatial upsampling processor in the decoding apparatus of one Example by this invention.

先ず、本発明による一実施例の符号化装置及び復号装置について説明する。   First, an encoding device and a decoding device according to an embodiment of the present invention will be described.

［装置構成］
図１は、本発明による一実施例の符号化装置を示す図である。本実施例の符号化装置１は、空間ダウンサンプリング処理器２と、符号化器３とを備える。空間ダウンサンプリング処理器２は、２次元１階離散Ｗａｖｅｌｅｔ分解処理部２１と、帯域制限処理部２２と、２次元１階離散Ｗａｖｅｌｅｔ再構成部２３と、水平・垂直１：２画素間引処理部２４とを有する。本発明による一実施例の符号化装置１の各処理に用いるデータは、符号化装置１が備える記憶部（図示せず）に適宜格納することができる。 [Device configuration]
FIG. 1 is a diagram illustrating an encoding apparatus according to an embodiment of the present invention. The encoding device 1 of this embodiment includes a spatial downsampling processor 2 and an encoder 3. The spatial downsampling processor 2 includes a two-dimensional first-order discrete Wavelet decomposition processing unit 21, a band limitation processing unit 22, a two-dimensional first-order discrete Wavelet reconstruction unit 23, and a horizontal / vertical 1: 2 pixel thinning processing unit. 24. Data used for each process of the encoding device 1 according to an embodiment of the present invention can be appropriately stored in a storage unit (not shown) included in the encoding device 1.

２次元１階離散Ｗａｖｅｌｅｔ分解処理部２１は、処理対象の動画像の時刻ｔにおける１フレーム画像Ｆ（ｔ）について、空間周波数のオクターブ分解法としての離散ウェーブレット分解法により水平方向及び垂直方向に各１／２に１階離散ウェーブレット分解を施し、分解した２次元周波数成分を帯域制限処理部２２に送出するとともに、分解した各周波数成分の領域毎の全ての各ウェーブレット係数の平均値（例えば、二乗平均した値の平方根）を算出し、各平均値（後述するＭｕｌｔｉＬＬ, ＭｕｌｔｉＨＬ, ＭｕｌｔｉＬＨ, ＭｕｌｔｉＨＨ）を、復号後の「倍数情報」として当該記憶部に記憶保持する。   The two-dimensional first-order discrete Wavelet decomposition processing unit 21 performs horizontal and vertical directions for each frame image F (t) at time t of the moving image to be processed by a discrete wavelet decomposition method as an octave decomposition method of spatial frequency. ½ is subjected to first-order discrete wavelet decomposition, and the decomposed two-dimensional frequency component is sent to the band limitation processing unit 22 and the average value of all wavelet coefficients for each region of the decomposed frequency component (for example, square) The average value (the square root of the average value) is calculated, and each average value (MultiLL, MultiHL, MultiLH, MultiHH, which will be described later) is stored and held in the storage unit as “multiplier information” after decoding.

帯域制限処理部２２は、水平又は垂直方向に高周波成分を含む高空間周波数成分について、各々予め規定した帯域制限を施し、低空間周波数成分と帯域制限を施した高空間周波数成分とを２次元１階離散Ｗａｖｅｌｅｔ再構成部２３に送出する。高空間周波数成分の各々における予め規定した帯域制限については後述する。   The band limitation processing unit 22 applies a predetermined band limitation to the high spatial frequency component including the high frequency component in the horizontal or vertical direction, and two-dimensionally converts the low spatial frequency component and the high spatial frequency component subjected to the band limitation. Send to the floor discrete Wavelet reconstruction unit 23. The band restriction defined in advance for each of the high spatial frequency components will be described later.

２次元１階離散Ｗａｖｅｌｅｔ再構成部２３は、帯域制限処理部２２から供給される低空間周波数成分と帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施し、再構成した画像データを水平・垂直１：２画素間引処理部２４に送出する。   The two-dimensional first-order discrete wavelet reconstruction unit 23 performs first-order discrete wavelet reconstruction using the low spatial frequency component supplied from the band limitation processing unit 22 and the high spatial frequency component subjected to band limitation, and performs reconstruction. The processed image data is sent to the horizontal / vertical 1: 2 pixel thinning processing unit 24.

水平・垂直１：２画素間引処理部２４は、２次元１階離散Ｗａｖｅｌｅｔ再構成部２３から供給される再構成した画像データについて水平及び垂直方向にそれぞれ１：２で画素間引きを施し、空間ダウンサンプリングを実行した画像データ（縮小画像信号）を符号化器３に送出する。   The horizontal / vertical 1: 2 pixel decimation processing unit 24 performs pixel decimation on the reconstructed image data supplied from the two-dimensional first-order discrete wavelet reconstruction unit 23 in the horizontal and vertical directions at a ratio of 1: 2. The image data (reduced image signal) subjected to downsampling is sent to the encoder 3.

符号化器３は、水平・垂直１：２画素間引処理部２４によって空間ダウンサンプリング処理を施した画像データを所定の符号化方式（例えば、ＪＰＥＧ，ＭＰＥＧ，Ｈ．２６４）により圧縮符号化して符号化データを生成する。この符号化データは、前述した倍数情報を付属情報として、当該記憶部に記憶するか、又は装置外部へと伝送することができる。   The encoder 3 compresses and encodes the image data subjected to the spatial downsampling processing by the horizontal / vertical 1: 2 pixel thinning processing unit 24 using a predetermined encoding method (for example, JPEG, MPEG, H.264). Generate encoded data. This encoded data can be stored in the storage unit with the above-described multiple information as auxiliary information, or transmitted outside the apparatus.

図２は、本発明による一実施例の復号装置を示す図である。本実施例の復号装置５は、復号器６と、空間アップサンプリング処理器７とを備える。空間アップサンプリング処理器７は、２次元２階離散Ｗａｖｅｌｅｔ分解処理部７１と、高周波成分推定処理部７２と、２次元１階離散Ｗａｖｅｌｅｔ再構成部７３とを有する。本発明による一実施例の復号装置５の各処理に用いるデータは、復号装置５が備える記憶部（図示せず）に適宜格納することができる。   FIG. 2 is a diagram illustrating a decoding apparatus according to an embodiment of the present invention. The decoding device 5 of this embodiment includes a decoder 6 and a spatial upsampling processor 7. The spatial upsampling processor 7 includes a two-dimensional second-order discrete Wavelet decomposition processing unit 71, a high-frequency component estimation processing unit 72, and a two-dimensional first-order discrete Wavelet reconstruction unit 73. Data used for each process of the decoding device 5 according to an embodiment of the present invention can be appropriately stored in a storage unit (not shown) included in the decoding device 5.

復号器６は、本実施例の符号化装置１によって符号化された符号化データを読出し又は受信して、対応する圧縮符号化方式に従って復号し、復号した画像データ（空間ダウンサンプリングされた画像）を２次元２階離散Ｗａｖｅｌｅｔ分解処理部７１に送出する。尚、本実施例の復号装置５は、付属情報としての倍数情報を読出し又は受信して、当該記憶部に記憶する。   The decoder 6 reads or receives the encoded data encoded by the encoding apparatus 1 of the present embodiment, decodes it according to the corresponding compression encoding method, and decodes the decoded image data (space downsampled image). Is sent to the two-dimensional second-order discrete Wavelet decomposition processing unit 71. Note that the decoding device 5 of the present embodiment reads or receives multiple information as attached information and stores it in the storage unit.

２次元２階離散Ｗａｖｅｌｅｔ分解処理部７１は、復号器６から供給される空間ダウンサンプリングされた画像について、２次元２階ウェーブレット変換を施し、各周波数成分を高周波成分推定処理部７２に送出する。   The two-dimensional second-order discrete Wavelet decomposition processing unit 71 performs two-dimensional second-order wavelet transform on the spatial downsampled image supplied from the decoder 6 and sends each frequency component to the high frequency component estimation processing unit 72.

高周波成分推定処理部７２は、２次元２階離散Ｗａｖｅｌｅｔ分解処理部７１から供給される各周波数成分について、当該周波数成分毎に予め規定した補間処理を用いてアップサンプリングを行うとともに、付属情報としての倍数情報を乗じることにより各高周波成分を推定して再現し、再現した各高周波成分を２次元１階離散Ｗａｖｅｌｅｔ再構成部７３に送出する。当該周波数成分毎に予め規定した補間処理については後述する。   The high frequency component estimation processing unit 72 performs upsampling on each frequency component supplied from the two-dimensional second-order discrete wavelet decomposition processing unit 71 using an interpolation process defined in advance for each frequency component, Each high frequency component is estimated and reproduced by multiplying the multiple information, and each reproduced high frequency component is sent to the two-dimensional first-order discrete wavelet reconstruction unit 73. The interpolation process defined in advance for each frequency component will be described later.

２次元１階離散Ｗａｖｅｌｅｔ再構成部７３は、高周波成分推定処理部７２から供給される低空間周波数成分と再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、フレーム画像Ｆ（ｔ）に対応するフレーム画像Ｆ’（ｔ）を復元する。   The two-dimensional first-order discrete wavelet reconstruction unit 73 performs first-order discrete wavelet reconstruction using the low spatial frequency component supplied from the high-frequency component estimation processing unit 72 and each reproduced high-frequency component, and the frame image F (t ) To restore the frame image F ′ (t) corresponding to.

次に、本発明による一実施例の符号化装置及び復号装置について説明する。   Next, an encoding device and a decoding device according to an embodiment of the present invention will be described.

［装置動作］
図３は、本発明による一実施例の符号化装置の動作を示すフローチャートである。図４は、本発明による一実施例の復号装置の動作を示すフローチャートである。 [Device operation]
FIG. 3 is a flowchart showing the operation of the encoding apparatus according to an embodiment of the present invention. FIG. 4 is a flowchart showing the operation of the decoding apparatus according to an embodiment of the present invention.

ステップＳ１にて、本実施例の符号化装置１の２次元１階離散Ｗａｖｅｌｅｔ分解処理部２１は、当該記憶部から処理対象の動画像の時刻ｔにおける１フレーム画像Ｆ（ｔ）を読み出す。   In step S <b> 1, the two-dimensional first-order discrete Wavelet decomposition processing unit 21 of the encoding device 1 according to the present embodiment reads out the 1-frame image F (t) at the time t of the moving image to be processed from the storage unit.

ステップＳ２にて、本実施例の符号化装置１の２次元１階離散Ｗａｖｅｌｅｔ分解処理部２１は、読み出した１フレーム画像Ｆ（ｔ）について、離散ウェーブレット分解法により水平方向及び垂直方向に各１／２に１階離散ウェーブレット分解を施すとともに、分解した各周波数成分の領域毎のウェーブレット係数の平均値（例えば、二乗平均した値の平方根）を算出し、各平均値（後述するＭｕｌｔｉＬＬ, ＭｕｌｔｉＨＬ, ＭｕｌｔｉＬＨ, ＭｕｌｔｉＨＨ）を算出する。   In step S2, the two-dimensional first-order discrete Wavelet decomposition processing unit 21 of the encoding device 1 according to the present embodiment applies 1 to the read 1 frame image F (t) in the horizontal direction and the vertical direction by the discrete wavelet decomposition method. / 2 is subjected to first-order discrete wavelet decomposition, and an average value (for example, a square root of a square average value) of each decomposed frequency component region is calculated, and each average value (MultiLL, MultiHL, which will be described later) is calculated. MultiLH, MultiHH) is calculated.

ステップＳ３にて、本実施例の符号化装置１の帯域制限処理部２２は、水平又は垂直方向に高周波成分を含む高空間周波数成分について、各々予め規定した帯域制限を施す。   In step S <b> 3, the band limitation processing unit 22 of the encoding device 1 according to the present embodiment applies a predetermined band limitation to each of the high spatial frequency components including high frequency components in the horizontal or vertical direction.

ステップＳ４にて、本実施例の符号化装置１の２次元１階離散Ｗａｖｅｌｅｔ再構成部２３は、低空間周波数成分と帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレットの再構成を実行する。   In step S4, the two-dimensional first-order discrete wavelet reconstruction unit 23 of the encoding device 1 of the present embodiment reconstructs the first-order discrete wavelet using the low spatial frequency component and the high spatial frequency component subjected to band limitation. Perform configuration.

ステップＳ５にて、本実施例の符号化装置１の水平・垂直１：２画素間引処理部２４は、再構成した画像データについて水平及び垂直方向にそれぞれ１：２で画素間引きを施し、空間ダウンサンプリングを実行した画像データ（縮小画像信号）を得る。   In step S5, the horizontal / vertical 1: 2 pixel decimation processing unit 24 of the encoding device 1 of the present embodiment performs pixel decimation by 1: 2 in the horizontal and vertical directions on the reconstructed image data, respectively. Image data (reduced image signal) subjected to downsampling is obtained.

ステップＳ６にて、本実施例の符号化装置１の符号化器３は、空間ダウンサンプリング処理を施した画像データを所定の符号化方式（例えば、ＪＰＥＧ，ＭＰＥＧ，Ｈ．２６４）により圧縮符号化して符号化データを生成し、蓄積又は伝送する。   In step S6, the encoder 3 of the encoding apparatus 1 according to the present embodiment compresses and encodes the image data subjected to the spatial downsampling processing using a predetermined encoding method (for example, JPEG, MPEG, H.264). Encoded data is generated and stored or transmitted.

ここで、従来の空間ダウンサンプリング法と本実施例の空間ダウンサンプリング処理との相違について更に詳細に説明する。   Here, the difference between the conventional spatial downsampling method and the spatial downsampling process of the present embodiment will be described in more detail.

図５（ａ）は、従来の空間ダウンサンプリング法における水平標本化周波数を１／２に（同様に、垂直標本化周波数を１／２に）、ダウンサンプリングするために適用される低域通過フィルタの処理例を示している。図５（ｂ）は、従来の空間ダウンサンプリング法における低域通過フィルタを適用後に標本点間引きを行う処理例を示している。尚、空間ダウンサンプリング法にて低域通過フィルタを適用する理由は、低域通過フィルタを適用しない場合に、図６に示すような折り返し歪みが発生するためである。   FIG. 5A shows a low-pass filter applied for downsampling the horizontal sampling frequency in the conventional spatial downsampling method to 1/2 (similarly, the vertical sampling frequency to 1/2). An example of processing is shown. FIG. 5B shows a processing example in which sample point thinning is performed after applying a low-pass filter in the conventional spatial downsampling method. The reason why the low-pass filter is applied in the spatial downsampling method is that aliasing distortion as shown in FIG. 6 occurs when the low-pass filter is not applied.

一方、本実施例の符号化装置１における空間ダウンサンプリング処理器２は、空間周波数のオクターブ分解法として、離散ウェーブレット分解法を用いてウェーブレット分解を施し、且つ高空間周波数成分の各々について予め規定した帯域制限を施すことで、空間ダウンサンプリングを行う。   On the other hand, the spatial downsampling processor 2 in the encoding device 1 of the present embodiment performs wavelet decomposition using the discrete wavelet decomposition method as the octave decomposition method of the spatial frequency, and predefines each of the high spatial frequency components. Spatial downsampling is performed by band limiting.

即ち、図７（ａ）に示すように、まず、２次元１階離散Ｗａｖｅｌｅｔ分解処理部２１は、フレーム画像Ｆ（ｔ）に対応する原画像を水平・垂直方向に各１／２に２次元１階離散ウェーブレット分解を施す。これにより、各周波数成分ＯｒｇＬＬ１, ＯｒｇＬＨ１，ＯｒｇＨＬ１，ＯｒｇＨＨ１が得られる。 That is, as shown in FIG. 7A, first, the two-dimensional first-order discrete Wavelet decomposition processing unit 21 converts the original image corresponding to the frame image F (t) into a two-dimensional image in half in the horizontal and vertical directions. Perform first-order discrete wavelet decomposition. Thus, each frequency component OrgLL 1, OrgLH 1, OrgHL 1 , OrgHH 1 is obtained.

次に、２次元１階離散Ｗａｖｅｌｅｔ分解処理部２１は、各周波数成分ＯｒｇＬＬ１, ＯｒｇＬＨ１，ＯｒｇＨＬ１，ＯｒｇＨＨ１の領域毎の代表的な（好適には全ての）要素（ウェーブレット係数）の平均値（例えば、二乗平均の平方根）を計算して、それぞれ復号後の「倍数情報」ＭｕｌｔｉＬＬ, ＭｕｌｔｉＨＬ, ＭｕｌｔｉＬＨ, ＭｕｌｔｉＨＨとして当該記憶部に記憶する。 Next, the two-dimensional first-order discrete Wavelet decomposition processing unit 21 averages representative (preferably all) elements (wavelet coefficients) for each region of each frequency component OrgLL 1 , OrgLH 1 , OrgHL 1 , OrgHH 1. A value (for example, the square root of the root mean square) is calculated and stored in the storage unit as “multiple information” MultiLL, MultiHL, MultiLH, and MultiHH after decoding.

次に、帯域制限処理部２２は、水平高周波・垂直低周波成分であるＯｒｇＨＬ１の帯域制限を施す。このＯｒｇＨＬ１の領域は、水平方向に水平標本化周波数の１／２以上の高周波成分が含まれている。そこで、帯域制限として、ＯｒｇＨＬ１では、水平方向に１次元１階離散ウェーブレット分解を行い、高周波成分側（Ｈｓ＊３／４以上）を０に変換する。この様子が図７（ａ）に示されており、これは、図７（ｂ）に示すように、水平方向に水平標本化周波数の１／２以上、且つＨｓ＊３／４未満の高周波成分の帯域通過を施す帯域通過フィルタと同様の効果を生じさせる。 Next, the band limitation processing unit 22 performs band limitation of OrgHL 1 which is a horizontal high frequency / vertical low frequency component. This region of OrgHL 1 includes high frequency components that are ½ or more of the horizontal sampling frequency in the horizontal direction. Therefore, as a band limitation, OrgHL 1 performs one-dimensional first-order discrete wavelet decomposition in the horizontal direction and converts the high frequency component side (Hs * 3/4 or more) to 0. This state is shown in FIG. 7 (a). As shown in FIG. 7 (b), this is a high-frequency component that is ½ or more of the horizontal sampling frequency in the horizontal direction and less than Hs * 3/4. This produces the same effect as a band-pass filter that performs the band-pass.

次に、帯域制限処理部２２は、垂直低周波・水平高周波成分であるＯｒｇＬＨ１の帯域制限を施す。このＯｒｇＬＨ１の領域は、垂直方向に垂直標本化周波数の１／２以上の高周波成分が含まれている。そこで、帯域制限として、ＯｒｇＨＬ１では垂直方向に１次元１階離散ウェーブレット分解を行い、高周波成分側（Ｖｓ＊３／４以上）を０に変換する。この様子が図８（ａ）に示されており、これは、図８（ｂ）に示すように、垂直方向に垂直標本化周波数の１／２以上、且つＶｓ＊３／４未満の高周波成分の帯域通過を施す帯域通過フィルタと同様の効果を生じさせる。 Next, the band limitation processing unit 22 performs band limitation of OrgLH 1 which is a vertical low frequency / horizontal high frequency component. This region of OrgLH 1 includes a high frequency component that is 1/2 or more of the vertical sampling frequency in the vertical direction. Therefore, as a band limitation, OrgHL 1 performs one-dimensional first-order discrete wavelet decomposition in the vertical direction and converts the high frequency component side (Vs * 3/4 or more) to 0. This state is shown in FIG. 8 (a), and as shown in FIG. 8 (b), this is a high-frequency component of ½ or more of the vertical sampling frequency in the vertical direction and less than Vs * 3/4. This produces the same effect as a band-pass filter that performs the band-pass.

次に、帯域制限処理部２２は、水平高周波・垂直高周波成分であるＯｒｇＨＨ１の帯域制限を施す。このＯｒｇＬＨ１の領域は、水平・垂直方向ともに標本化周波数の１／２以上の高周波成分が含まれている。そこで、帯域制限として、このＯｒｇＨＨ１は、視覚の空間異方特性（視覚の斜め４５度方向の空間周波数−コントラスト感度は、水平０度・垂直90度方向の空間周波数−コントラスト感度と比較して感度が約１／２となる）も考慮して、該水平高周波・垂直高周波成分の全てを０に変換する。 Next, the band limitation processing unit 22 limits the band of OrgHH 1 which is a horizontal high frequency / vertical high frequency component. This region of OrgLH 1 includes a high frequency component that is 1/2 or more of the sampling frequency in both the horizontal and vertical directions. Therefore, as a band limitation, this OrgHH 1 has a spatial anisotropy characteristic of vision (the spatial frequency-contrast sensitivity in the direction of 45 degrees of visual angle is compared with the spatial frequency-contrast sensitivity in the direction of horizontal 0 degree and vertical 90 degrees. In consideration of (the sensitivity is about ½), all the horizontal high-frequency and vertical high-frequency components are converted to zero.

以上のように、本実施例の符号化装置１の帯域制限処理部２２は、水平又は垂直方向に高周波成分を含む高空間周波数成分の各々について予め規定した帯域制限を施す。続いて、本実施例の符号化装置１の２次元１階離散Ｗａｖｅｌｅｔ再構成部２３は、この帯域制限を施した高空間周波数成分の各々と、低空間周波数成分ＯｒｇＬＬ１について１階離散ウェーブレット再構成を行った後、水平・垂直１：２画素間引処理部２４により、水平・垂直方向に１：２で画素間引を行うことで、空間ダウンサンプリングされた画像ＳｐＤｗを得る。図９（ａ）は、空間ダウンサンプリングされた画像ＳｐＤｗを示しており、図９（ｂ）及び図９（ｃ）は、水平又は垂直方向に標本化周波数の１／４以上で折り返し成分を含む空間ダウンサンプリングされた画像ＳｐＤｗの画像信号の信号利得の様子を示している。 As described above, the band limitation processing unit 22 of the encoding device 1 according to the present embodiment performs band limitation that is defined in advance for each of the high spatial frequency components including high frequency components in the horizontal or vertical direction. Subsequently, the two-dimensional first-order discrete wavelet reconstruction unit 23 of the encoding device 1 of the present embodiment performs first-order discrete wavelet reconstruction for each of the high spatial frequency components subjected to the band limitation and the low spatial frequency component OrgLL 1. After the configuration, the horizontal and vertical 1: 2 pixel thinning processing unit 24 performs pixel thinning 1: 2 in the horizontal and vertical directions, thereby obtaining a spatially downsampled image SpDw. FIG. 9A shows a spatial downsampled image SpDw, and FIGS. 9B and 9C include aliasing components at 1/4 or more of the sampling frequency in the horizontal or vertical direction. The state of the signal gain of the image signal of the image SpDw that has been spatially downsampled is shown.

即ち、本実施例の空間ダウンサンプリング処理で得られる画像ＳｐＤｗは、折り返し成分を意図的に含んだ画像である。但し、例えば単純に従来のようなＨｓ／２, Ｖｓ／２で折り返した画像と比較して、画像の多くのパワー成分を占めるＨｓ／４, Ｖｓ／４以下の空間周波数成分に折り返し成分を含まない。これは、視覚上は、低域に現れて目立ちやすい高域の折り返し成分が無くなる効果を生じさせる。また、後述する空間アップサンプリング時の高域推定時にて高周波成分を確実に再現することができ、符号化に有利である。   That is, the image SpDw obtained by the spatial downsampling process of the present embodiment is an image that intentionally includes the aliasing component. However, for example, compared with an image that is simply folded at Hs / 2 and Vs / 2 as in the conventional case, the aliasing component is included in the spatial frequency components of Hs / 4 and Vs / 4 or less that occupy many power components of the image. Absent. This gives rise to the effect of eliminating the high-frequency aliasing component that appears visually in the low frequency range and is conspicuous. In addition, high frequency components can be reliably reproduced at the time of high frequency estimation at the time of spatial upsampling described later, which is advantageous for encoding.

図４を参照して、ステップＳ２１にて、本実施例の復号装置５の復号器６は、本実施例の符号化装置１によって符号化された符号化データを読出し又は受信して、対応する圧縮符号化方式に従って復号する。   With reference to FIG. 4, in step S21, the decoder 6 of the decoding device 5 of the present embodiment reads or receives the encoded data encoded by the encoding device 1 of the present embodiment, and responds. Decode according to the compression encoding method.

ステップＳ２２にて、本実施例の復号装置５の２次元２階離散Ｗａｖｅｌｅｔ分解処理部７１は、空間ダウンサンプリングされた画像について２次元２階ウェーブレット変換を実行する。   In step S22, the two-dimensional second-order discrete Wavelet decomposition processing unit 71 of the decoding device 5 according to the present embodiment performs two-dimensional second-order wavelet transform on the spatial downsampled image.

ステップＳ２３にて、本実施例の復号装置５の高周波成分推定処理部７２は、補間処理を用いてアップサンプリングを行うとともに、付属情報としての倍数情報を乗じて各高周波成分を推定して再現する。   In step S23, the high frequency component estimation processing unit 72 of the decoding device 5 of the present embodiment performs upsampling using interpolation processing, and multiplies multiple information as auxiliary information to estimate and reproduce each high frequency component. .

ステップＳ２４にて、本実施例の復号装置５の２次元１階離散Ｗａｖｅｌｅｔ再構成部７３は、低空間周波数成分と再現した各高周波成分とを用いて１階離散ウェーブレット再構成を実行し、フレーム画像Ｆ（ｔ）に対応するフレーム画像Ｆ’（ｔ）を復元する。   In step S24, the two-dimensional first-order discrete Wavelet reconstruction unit 73 of the decoding device 5 of the present embodiment executes first-order discrete wavelet reconstruction using the low spatial frequency components and the reproduced high-frequency components, and the frame A frame image F ′ (t) corresponding to the image F (t) is restored.

このように、本実施例の復号装置５における空間アップサンプリング処理器７は、空間ダウンサンプリングされた画像ＳｐＤｗについて、まず、２次元２階離散Ｗａｖｅｌｅｔ分解処理部７１は、図１０に示すように空間２階ウェーブレット分解処理を行う。   As described above, the spatial upsampling processor 7 in the decoding device 5 according to the present embodiment first performs the spatial downsampling on the image SpDw by using the two-dimensional second-order discrete Wavelet decomposition processing unit 71 as shown in FIG. Perform second-order wavelet decomposition.

次に、高周波成分推定処理部７２は、画像ＳｐＤｗにおける高空間周波数成分の推定を行う。画像ＳｐＤｗは図９に示すような空間周波数の折り返し成分を含む画像である。画像ＳｐＤｗの１階離散ウェーブレット分解成分ＳｐＤｗＨＬ１は、原画像Ｏｒｇの１階離散ウェーブレット分解成分ＯｒｇＨＬ１のＨｓ／２〜Ｈｓ＊３／４の領域の折り返し成分を含んでいる。また、ＳｐＤｗＬＨ１は、ＯｒｇＬＨ１のＶｓ／２〜Ｖｓ＊３／４の領域の折り返し成分を含んでいる。ＳｐＤｗＨＨ１は、ＯｒｇＨＬ１とＯｒｇＬＨ１の上記折り返し成分を両方含んでいる。 Next, the high frequency component estimation processing unit 72 estimates a high spatial frequency component in the image SpDw. The image SpDw is an image including a spatial frequency aliasing component as shown in FIG. 1F discrete wavelet decomposition component images SpDw SpDwHL 1 includes a first floor discrete wavelet decomposition component OrgHL 1 of Hs / 2~Hs * 3 / aliasing components in the fourth region of the original image Org. In addition, SpDwLH 1 includes a folding component of the Vs / 2 to Vs * 3/4 region of OrgLH 1 . SpDwHH 1 includes both the folded components of OrgHL 1 and OrgLH 1 .

そこで、図１１に示すように、原画像Ｏｒｇ（図示１１１）の水平高周波・垂直平低周波成分の推定処理としては、２階水平高周波・垂直低周波成分ＳｐＤｗＨＬ２（図示１１３）を水平・垂直方向に各４倍、１階水平高周波・垂直低周波成分ＳｐＤｗＨＬ１（図示１１２）を水平・垂直方向に各２倍に線形フィルタによる補間処理を用いて空間アップサンプリングを行う。この時、該空間アップサンプリングを施した周波数成分の各々（ＳｐＤｗＨＬ２とＳｐＤｗＨＬ１）の空間アップサンプリングでは位相を１/４ずらす。位相をずらす処理は、折り返しによるモアレの発生を防ぐ効果を生じさせる。そしてＳｐＤｗＨＬ２を空間アップサンプリングした成分とＳｐＤｗＨＬ１を空間アップサンプリングした成分について乗算を行い、更に倍数ＭｕｌｔｉＨＬを乗算する（図示１１４）。この結果を空間アップサンプリング水平高周波候補ＵｐＨＬとして格納する（図示１１５）。これは、通常周波数スペクトルは低周波から高周波に向かうに従って相関を保ちながら連続的に減少するため、仮に推定する高周波領域に高周波成分が存在する場合には、ＳｐＤｗＨＬ１とＳｐＤｗＨＬ２の相関は高い。更に、前述のようにＳｐＤｗＨＬ１は、より高い周波数の折り返し成分を含むため、相関はより高くなる。 Therefore, as shown in FIG. 11, as the horizontal high frequency / vertical flat low frequency component estimation processing of the original image Org (illustrated 111), the second-order horizontal high frequency / vertical low frequency component SpDwHL 2 (illustrated 113) is horizontal / vertical. Spatial upsampling is performed by using interpolation processing by a linear filter to quadruple each direction and 1st floor horizontal high frequency / vertical low frequency component SpDwHL 1 (112 in the figure) to double each in the horizontal and vertical directions. At this time, in the spatial upsampling of each of the frequency components (SpDwHL 2 and SpDwHL 1 ) subjected to the spatial upsampling, the phase is shifted by 1/4. The process of shifting the phase has the effect of preventing the occurrence of moire due to folding. Then, the component obtained by spatially up-sampling SpDwHL 2 and the component obtained by spatially up-sampling SpDwHL 1 are multiplied and further multiplied by a multiple MultiHL (114 in the figure). This result is stored as a spatial upsampling horizontal high frequency candidate UPHL (115 in the figure). This is because the normal frequency spectrum continuously decreases while maintaining the correlation from the low frequency toward the high frequency, and therefore, if there is a high frequency component in the high frequency region to be estimated, the correlation between SpDwHL 1 and SpDwHL 2 is high. Furthermore, since SpDwHL 1 includes a higher frequency aliasing component as described above, the correlation is higher.

次に、図１２に示すように、原画像（図示１２１）の垂直高周波・水平低周波成分の推定処理としては、２階垂直高周波・水平低周波成分ＳｐＤｗＬＨ２（図示１２３）を水平・垂直方向に各４倍、１階垂直高周波・水平低周波成分ＳｐＤｗＬＨ１（図示１２２）を水平・垂直方向に各２倍に線形フィルタによる補間処理を用いて空間アップサンプリングを行う。この時、該空間アップサンプリングを施した周波数成分（ＳｐＤｗＬＨ２とＳｐＤｗＬＨ１）の空間アップサンプリングでは位相を１/４ずらす。位相をずらす処理は、折り返しによるモアレの発生を防ぐ効果を生じさせる。そしてＳｐＤｗＬＨ２を空間アップサンプリングした成分とＳｐＤｗＬＨ１を空間アップサンプリングした成分について乗算を行い、更に倍数ＭｕｌｔｉＬＨを乗算する（図示１２４）。この結果を空間アップサンプリング水平高周波候補ＵｐＬＨとして格納する（図示１２５）。通常周波数スペクトルは低周波から高周波に向かうに従って相関を保ちながら連続的に減少するため、仮に推定する高周波領域に高周波成分が存在する場合には、ＳｐＤｗＬＨ１とＳｐＤｗＬＨ２の相関は高い。更に、前述のようにＳｐＤｗＬＨ１は、より高い周波数の折り返し成分を含むため、相関はより高くなる。 Next, as shown in FIG. 12, as the vertical high frequency / horizontal low frequency component estimation processing of the original image (121), the second-order vertical high frequency / horizontal low frequency component SpDwLH 2 (123) is horizontal / vertical direction. In addition, spatial upsampling is performed by using interpolation processing by a linear filter to quadruple each of the first-floor vertical high frequency / horizontal low frequency components SpDwLH 1 (122 in the figure) in the horizontal and vertical directions. At this time, the phase is shifted by 1/4 in the spatial upsampling of the frequency components (SpDwLH 2 and SpDwLH 1 ) subjected to the spatial upsampling. The process of shifting the phase has the effect of preventing the occurrence of moire due to folding. Then, the component obtained by spatially up-sampling SpDwLH 2 and the component obtained by spatially up-sampling SpDwLH 1 are multiplied and further multiplied by a multiple MultiLH (shown in FIG. 124). This result is stored as a spatial upsampling horizontal high frequency candidate UpLH (125 in the figure). Since the normal frequency spectrum continuously decreases while maintaining the correlation from the low frequency toward the high frequency, the correlation between SpDwLH 1 and SpDwLH 2 is high when a high frequency component exists in the high frequency region to be estimated. Furthermore, since SpDwLH 1 includes a higher frequency aliasing component as described above, the correlation is higher.

次に、斜め方向高空間周波数成分、即ち垂直高周波・水平高周波成分ＳｐＤｗＨＨ１の推定の場合も同様に、２階垂直高周波・水平高周波成分ＳｐＤｗＨＨ２を水平・垂直方向に４倍、１階垂直高周波・水平高周波成分ＳｐＤｗＨＨ１を水平・垂直方向に２倍に線形フィルタによる補間処理を用いて空間アップサンプリングを行う。この時、ＳｐＤｗＨＨ２とＳｐＤｗＨＨ１の空間アップサンプリングでは位相を１/４ずらす。そしてＳｐＤｗＨＨ２を空間アップサンプリングした成分とＳｐＤｗＨＨ１を空間アップサンプリングした成分について乗算を行い、更に倍数ＭｕｌｔｉＨＨを乗算する。この結果を空間アップサンプリング水平高周波候補ＵｐＨＨとして格納する。 Next, in the case of estimation of the oblique high spatial frequency component, that is, the vertical high frequency / horizontal high frequency component SpDwHH 1 , the second-order vertical high frequency / horizontal high-frequency component SpDwHH 2 is quadrupled in the horizontal / vertical direction and the first-order vertical high frequency The horizontal high-frequency component SpDwHH 1 is doubled in the horizontal and vertical directions, and spatial upsampling is performed using interpolation processing by a linear filter. At this time, in the spatial upsampling of SpDwHH 2 and SpDwHH 1 , the phase is shifted by 1/4. Then, the component obtained by spatially up-sampling SpDwHH 2 and the component obtained by spatially up-sampling SpDwHH 1 are multiplied, and further multiplied by a multiple MultiHH. This result is stored as a spatial upsampling horizontal high frequency candidate UPHH.

以上の水平・垂直・斜め方向高空間周波数成分ＳｐＤｗＨＨ１の推定処理を行った後、図１３に示すように、２次元１階離散Ｗａｖｅｌｅｔ再構成部７３により、原画像Ｏｒｇと高空間周波数推定成分ＵｐＨＬ，ＵｐＬＨ，ＵｐＨＨを用いて１階離散ウェーブレット再構成を行う。 After performing the above-described estimation processing of the high spatial frequency component SpDwHH 1 in the horizontal, vertical, and diagonal directions, as shown in FIG. 13, the two-dimensional first-order discrete Wavelet reconstruction unit 73 performs the original image Org and the high spatial frequency estimation component. First-order discrete wavelet reconstruction is performed using UpHL, UpLH, UppH.

本実施例の符号化装置１及び復号装置５によれば、空間周波数ダウンサンプリングとアップサンプリングを行う処理、例えば空間周波数を予めダウンサンプリング後、画像圧縮符号化と伝送を行い、復号して空間アップサンプリングを行うことで、視覚特性劣化が少なく伝送容量を大幅に抑えることが可能である。これは、今日ますます高精細化が進む動画像システム、例えばＪＰＥＧ２０００で、フレーム単位で圧縮符号化を行うデジタルシネマ画像の圧縮符号化前／後段で用いることや、Ｈ．２６４で圧縮符号化が検討されているスーパーハイビジョン画像の圧縮符号化前／後段で用いることで、伝送容量を大幅に抑えることができるようになる。   According to the encoding device 1 and the decoding device 5 of the present embodiment, processing for performing spatial frequency down-sampling and up-sampling, for example, down-sampling the spatial frequency in advance, image compression encoding and transmission, decoding, and spatial up By performing sampling, it is possible to greatly reduce the transmission capacity with little deterioration of visual characteristics. This is because it is used before / after the compression encoding of a digital cinema image that is compressed and encoded on a frame basis in a moving image system, for example, JPEG2000, which is becoming increasingly high definition today. By using it before / after the compression encoding of the super high-definition image for which compression encoding is being studied in H.264, the transmission capacity can be greatly reduced.

尚、本実施例に係る空間ダウンサンプリング処理器２及び空間アップサンプリング処理器７の各々は、コンピュータとして構成することができ、各機能を実現するためのプログラムはコンピュータの記憶部に記憶することができ、中央演算処理装置（ＣＰＵ）によって適宜プログラムを読み出して実行することにより、空間ダウンサンプリング処理器２及び空間アップサンプリング処理器７の機能を実現させることができる。   Note that each of the spatial downsampling processor 2 and the spatial upsampling processor 7 according to the present embodiment can be configured as a computer, and a program for realizing each function can be stored in a storage unit of the computer. The functions of the spatial down-sampling processor 2 and the spatial up-sampling processor 7 can be realized by appropriately reading out and executing the program by the central processing unit (CPU).

上記の実施例では、動画像の１フレーム画像を代表的に説明したが、本発明は、静止画像の圧縮にも適用できる。更に、符号化装置及び復号装置が、それぞれ空間ダウンサンプリング処理器及び空間アップサンプリング処理器を備えるとして説明したが、符号化器及び空間ダウンサンプリング処理器を個別の装置として、並びに復号器及び空間アップサンプリング処理器を個別の装置として構成することができる。更に、空間ダウンサンプリング処理器から出力される縮小画像信号について、空間アップサンプリング処理器は、空間アップサンプリングを施すことができる。従って、本発明は、上述の実施例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。   In the above embodiment, one frame image of a moving image has been representatively described, but the present invention can also be applied to still image compression. Further, although the encoding device and the decoding device have been described as including a spatial downsampling processor and a spatial upsampling processor, respectively, the encoder and the spatial downsampling processor are separate devices, and the decoder and the spatial upsampling processor The sampling processor can be configured as a separate device. Furthermore, the spatial upsampling processor can perform spatial upsampling on the reduced image signal output from the spatial downsampling processor. Accordingly, the present invention is not limited to the above-described embodiments, but is limited only by the description of the scope of claims.

本発明によれば、低周波成分に折り返しの少ない、折り返しを意図的に含む空間ダウンサンプリングを行った後、圧縮符号化・伝送・復号を行い、空間アップサンプリングを行うので大幅な伝送帯域圧縮を行うことが可能となるので、多くの伝送容量を必要とするデジタルシネマやスーパーハイビジョンの圧縮符号化・伝送の用途に有用である。   According to the present invention, after performing spatial downsampling that intentionally includes aliasing with less aliasing in low frequency components, compression encoding / transmission / decoding is performed, and spatial upsampling is performed, so significant transmission band compression is achieved. Therefore, it is useful for applications such as compression coding and transmission in digital cinema and Super Hi-Vision that require a large transmission capacity.

１ 符号化装置
２ 空間ダウンサンプリング処理器
３ 符号化器
５ 復号装置
６ 復号器
７ 空間アップサンプリング処理器
２１ ２次元１階離散Ｗａｖｅｌｅｔ分解処理部
２２ 帯域制限処理部
２３ ２次元１階離散Ｗａｖｅｌｅｔ再構成部
２４ 水平・垂直１：２画素間引処理部
７１ ２次元２階離散Ｗａｖｅｌｅｔ分解処理部
７２ 高周波成分推定処理部
７３ ２次元１階離散Ｗａｖｅｌｅｔ再構成部 DESCRIPTION OF SYMBOLS 1 Encoding apparatus 2 Spatial downsampling processor 3 Encoder 5 Decoding apparatus 6 Decoder 7 Spatial upsampling processor 21 Two-dimensional 1st-order discrete Wavelet decomposition processing unit 22 Band limitation processing unit 23 Two-dimensional first-order discrete Wavelet reconstruction Unit 24 Horizontal / Vertical 1: Two-pixel thinning processing unit 71 Two-dimensional second-order discrete Wavelet decomposition processing unit 72 High-frequency component estimation processing unit 73 Two-dimensional first-order discrete Wavelet reconstruction unit

Claims (8)

動画像をウェーブレット分解して得られる空間周波数成分を空間ダウンサンプリングする空間ダウンサンプリング処理装置であって、
前記動画像における処理対象の２次元画像について、水平方向及び垂直方向に１階離散ウェーブレット分解を施すとともに、前記１階離散ウェーブレット分解された水平方向及び垂直方向の各周波数成分の領域毎のウェーブレット係数の平均値を、空間アップサンプリング時の高周波成分の推定に用いる倍数情報として算出する２次元１階離散Ｗａｖｅｌｅｔ分解処理部と、
前記２次元画像の水平方向及び垂直方向の空間周波数成分における高空間周波数成分について、各々予め規定した帯域制限を施す帯域制限処理部と、
前記帯域制限処理部から供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施す２次元１階離散Ｗａｖｅｌｅｔ再構成部と、
再構成した画像データの水平方向及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成する画素間引処理部と、
を備えることを特徴とする空間ダウンサンプリング処理装置。 A spatial downsampling processing device that spatially downsamples a spatial frequency component obtained by wavelet decomposition of a moving image,
For the two-dimensional image to be processed in the moving image, the first-order discrete wavelet decomposition is performed in the horizontal direction and the vertical direction, and the wavelet coefficients for each frequency component in the horizontal direction and the vertical direction subjected to the first-order discrete wavelet decomposition A two-dimensional first-order discrete wavelet decomposition processing unit that calculates the average value of
A band limitation processing unit that performs a predetermined band limitation on the high spatial frequency components in the horizontal and vertical spatial frequency components of the two-dimensional image;
A two-dimensional first-order discrete Wavelet reconstruction unit that performs first-order discrete wavelet reconstruction using a low spatial frequency component supplied from the band limitation processing unit and a high spatial frequency component subjected to the band limitation;
A pixel decimation processing unit that performs spatial downsampling by performing pixel decimation in the horizontal direction and vertical direction of the reconstructed image data, and generates a reduced image signal,
A spatial downsampling processing apparatus comprising: 前記帯域制限処理部は、水平高周波・垂直低周波成分の帯域制限を施す場合には、該水平高周波・垂直低周波成分の水平方向に１次元１階離散ウェーブレット分解を行い、高周波成分側を０に変換し、垂直低周波・水平高周波成分の帯域制限を施す場合には、該垂直低周波・水平高周波成分の垂直方向に１次元１階離散ウェーブレット分解を行い、高周波成分側を０に変換し、水平高周波・垂直高周波成分の帯域制限を施す場合には、該水平高周波・垂直高周波成分の全てを０に変換することを特徴とする、請求項１に記載の空間ダウンサンプリング処理装置。   The band limiting processing unit performs one-dimensional first-order discrete wavelet decomposition in the horizontal direction of the horizontal high-frequency / vertical low-frequency component when the band limitation of the horizontal high-frequency / vertical low-frequency component is performed, and sets the high-frequency component side to 0 If the vertical low frequency and horizontal high frequency components are band-limited, one-dimensional first-order discrete wavelet decomposition is performed in the vertical direction of the vertical low frequency and horizontal high frequency components, and the high frequency component side is converted to zero. 2. The spatial downsampling processing apparatus according to claim 1, wherein when the band limitation of the horizontal high-frequency / vertical high-frequency components is performed, all of the horizontal high-frequency / vertical high-frequency components are converted to zero. 請求項１又は２に記載の空間ダウンサンプリング処理装置と、
該空間ダウンサンプリング処理装置から出力される縮小画像信号を所定の符号化方式により圧縮符号化して符号化データを生成する符号化器と、
を備えることを特徴とする、符号化装置。 The spatial downsampling processing device according to claim 1 or 2,
An encoder that compresses and encodes a reduced image signal output from the spatial downsampling processing device using a predetermined encoding method to generate encoded data;
An encoding device comprising: 請求項１又は２に記載の空間ダウンサンプリング処理装置によって生成される縮小画像信号からなる画像データについて、空間アップサンプリングを施す空間アップサンプリング処理装置であって、
該画像データについて２次元２階ウェーブレット変換を施す２次元２階離散Ｗａｖｅｌｅｔ分解処理部と、
前記２次元２階離散Ｗａｖｅｌｅｔ分解処理部から供給される各周波数成分から、当該周波数成分毎に予め規定した補間処理を用いてアップサンプリングを行うとともに、前記倍数情報を乗じて各高周波成分を推定して再現する高周波成分推定処理部と、
前記高周波成分推定処理部から供給される低空間周波数成分と前記再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、前記処理対象とした画像を復元する２次元１階離散Ｗａｖｅｌｅｔ再構成部と、
を備えることを特徴とする空間アップサンプリング処理装置。 A spatial upsampling processing device that performs spatial upsampling on image data composed of reduced image signals generated by the spatial downsampling processing device according to claim 1,
A two-dimensional second-order discrete Wavelet decomposition processing unit that performs two-dimensional second-order wavelet transform on the image data;
Upsampling is performed from each frequency component supplied from the two-dimensional second-order discrete wavelet decomposition processing unit using interpolation processing defined in advance for each frequency component, and each high frequency component is estimated by multiplying the multiple information. A high-frequency component estimation processing unit that reproduces
A two-dimensional first-order discrete wavelet reconstruction is performed in which first-order discrete wavelet reconstruction is performed using the low spatial frequency component supplied from the high-frequency component estimation processing unit and each reproduced high-frequency component, and the image to be processed is restored. A component,
A spatial upsampling processing apparatus comprising: 前記高周波成分推定処理部は、当該周波数成分毎に予め規定される補間処理として、
水平高周波・垂直低周波成分の推定の場合には、２階水平高周波・垂直低周波成分及び１階水平高周波・垂直低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、
垂直高周波・水平低周波成分の推定の場合には、２階垂直高周波・水平低周波成分及び１階垂直高周波・水平低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、
垂直高周波・水平高周波成分の推定の場合には、２階垂直高周波・水平高周波成分及び１階垂直高周波・水平高周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算することを特徴とする、請求項４に記載の空間アップサンプリング処理装置。 The high-frequency component estimation processing unit is an interpolation process defined in advance for each frequency component,
In the case of estimation of horizontal high-frequency / vertical low-frequency components, spatial upsampling was performed on each of the second-order horizontal high-frequency / vertical low-frequency components and the first-floor horizontal high-frequency / vertical low-frequency components, and the spatial up-sampling was performed. Multiply by shifting the phase of each frequency component and multiplying the corresponding frequency component multiple information,
In the case of estimation of vertical high frequency / horizontal low frequency components, spatial upsampling was performed on each of the second floor vertical high frequency / horizontal low frequency components and the first floor vertical high frequency / horizontal low frequency components, and the spatial upsampling was performed. Multiply by shifting the phase of each frequency component and multiplying the corresponding frequency component multiple information,
In the case of estimation of vertical high frequency / horizontal high frequency components, spatial upsampling is applied to each of the second floor vertical high frequency / horizontal high frequency component and the first floor vertical high frequency / horizontal high frequency component, and the frequency upsampling of the spatial upsampling is performed. 5. The spatial upsampling processing apparatus according to claim 4, wherein multiplication is performed by shifting each phase, and multiplication is performed by multiple information of a corresponding frequency component. 請求項４又は５に記載の空間アップサンプリング処理装置と、
請求項３に記載の符号化装置によって符号された符号化データを復号する復号器と、
を備えることを特徴とする、復号装置。 The spatial upsampling processing device according to claim 4 or 5,
A decoder for decoding encoded data encoded by the encoding device according to claim 3;
A decoding apparatus comprising: 動画像をウェーブレット分解して得られる空間周波数成分を空間ダウンサンプリングする空間ダウンサンプリング処理装置として構成するコンピュータに、
前記動画像における処理対象の２次元画像について、水平方向及び垂直方向に１階離散ウェーブレット分解を施すとともに、前記１階離散ウェーブレット分解された水平方向及び垂直方向の各周波数成分の領域毎の各ウェーブレット係数の平均値を、空間アップサンプリング時の高周波成分の推定に用いる倍数情報として算出するステップと、
前記２次元画像の水平方向及び垂直方向の空間周波数成分における高空間周波数成分について、各々予め規定した帯域制限を施すステップと、
該ステップから供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施すステップと、
再構成した画像データの水平方向及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成するステップと、
を実行させるためのプログラム。 In a computer configured as a spatial downsampling processing device that spatially downsamples a spatial frequency component obtained by wavelet decomposition of a moving image,
The two-dimensional image to be processed in the moving image is subjected to the first-order discrete wavelet decomposition in the horizontal direction and the vertical direction, and each wavelet for each frequency component region in the horizontal direction and the vertical direction subjected to the first-order discrete wavelet decomposition. Calculating an average value of coefficients as multiple information used for estimating a high frequency component at the time of spatial upsampling;
Applying a predetermined band limitation to each of the high spatial frequency components in the horizontal and vertical spatial frequency components of the two-dimensional image;
Performing first-order discrete wavelet reconstruction using the low spatial frequency component supplied from the step and the high spatial frequency component subjected to the band limitation;
Performing spatial downsampling by performing pixel decimation in the horizontal direction and vertical direction of the reconstructed image data, and generating a reduced image signal;
A program for running 請求項１又は２に記載の空間ダウンサンプリング処理装置によって生成される縮小画像信号からなる画像データについて、空間アップサンプリングを施す空間アップサンプリング処理装置として構成するコンピュータに、
該画像データについて２次元２階ウェーブレット変換を施すステップと、
該ステップから供給される各周波数成分について、当該周波数成分毎に予め規定した補間処理を用いてアップサンプリングを行うとともに、前記倍数情報を乗じて各高周波成分を推定して再現するステップと、
該ステップから供給される低空間周波数成分と前記再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、前記処理対象とした２次元画像を復元するステップと、
を実行させるためのプログラム。 A computer configured as a spatial upsampling processor that performs spatial upsampling on image data composed of reduced image signals generated by the spatial downsampling processor according to claim 1 or 2,
Performing a two-dimensional second-order wavelet transform on the image data;
For each frequency component supplied from the step, performing upsampling using an interpolation process defined in advance for each frequency component, multiplying the multiple information, estimating and reproducing each high frequency component,
Performing a first-order discrete wavelet reconstruction using the low spatial frequency component supplied from the step and each reproduced high-frequency component, and reconstructing the two-dimensional image to be processed;
A program for running
JP2009147880A 2009-06-22 2009-06-22 Spatial downsampling processing device, spatial upsampling processing device, encoding device, decoding device, and program Expired - Fee Related JP5140638B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009147880A JP5140638B2 (en) 2009-06-22 2009-06-22 Spatial downsampling processing device, spatial upsampling processing device, encoding device, decoding device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009147880A JP5140638B2 (en) 2009-06-22 2009-06-22 Spatial downsampling processing device, spatial upsampling processing device, encoding device, decoding device, and program

Publications (2)

Publication Number Publication Date
JP2011004345A true JP2011004345A (en) 2011-01-06
JP5140638B2 JP5140638B2 (en) 2013-02-06

Family

ID=43561880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009147880A Expired - Fee Related JP5140638B2 (en) 2009-06-22 2009-06-22 Spatial downsampling processing device, spatial upsampling processing device, encoding device, decoding device, and program

Country Status (1)

Country Link
JP (1) JP5140638B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257120A (en) * 2011-06-09 2012-12-27 Nippon Hoso Kyokai <Nhk> Super resolution assistance information generating device, encoder, decoder and program of them
JP2014017739A (en) * 2012-07-10 2014-01-30 Nippon Hoso Kyokai <Nhk> Image encoder, image decoder, and program
JP2014022845A (en) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> Image encoder, image decoder, super resolution apparatus, and program of them
EP3035685A1 (en) * 2014-12-16 2016-06-22 Thomson Licensing A device and a method for encoding an image and corresponding decoding method and decoding device
EP3035687A1 (en) * 2014-12-16 2016-06-22 Thomson Licensing A device and a method for encoding an image and corresponding decoding method and decoding device
EP3035686A1 (en) * 2014-12-16 2016-06-22 Thomson Licensing A device and a method for encoding an image and corresponding decoding method and decoding device
CN112738365A (en) * 2015-07-16 2021-04-30 索尼公司 Imaging apparatus and information processing system
CN113884581A (en) * 2020-07-03 2022-01-04 中国科学院沈阳自动化研究所 Noise reduction method of ultrasonic detection signal based on additive defect
CN113989846A (en) * 2021-10-29 2022-01-28 北京百度网讯科技有限公司 Method for detecting key points in image and method for training key point detection model

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152907A (en) * 1993-11-29 1995-06-16 Nec Corp Method and device for enlargiong image
JP2000306089A (en) * 1999-02-17 2000-11-02 Fuji Photo Film Co Ltd Image processor, image processing method and recording medium
JP2006262390A (en) * 2005-03-18 2006-09-28 Toa Corp Image compression/decompression method, image compression apparatus and image decompression apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152907A (en) * 1993-11-29 1995-06-16 Nec Corp Method and device for enlargiong image
JP2000306089A (en) * 1999-02-17 2000-11-02 Fuji Photo Film Co Ltd Image processor, image processing method and recording medium
JP2006262390A (en) * 2005-03-18 2006-09-28 Toa Corp Image compression/decompression method, image compression apparatus and image decompression apparatus

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257120A (en) * 2011-06-09 2012-12-27 Nippon Hoso Kyokai <Nhk> Super resolution assistance information generating device, encoder, decoder and program of them
JP2014017739A (en) * 2012-07-10 2014-01-30 Nippon Hoso Kyokai <Nhk> Image encoder, image decoder, and program
JP2014022845A (en) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> Image encoder, image decoder, super resolution apparatus, and program of them
EP3035685A1 (en) * 2014-12-16 2016-06-22 Thomson Licensing A device and a method for encoding an image and corresponding decoding method and decoding device
EP3035687A1 (en) * 2014-12-16 2016-06-22 Thomson Licensing A device and a method for encoding an image and corresponding decoding method and decoding device
EP3035686A1 (en) * 2014-12-16 2016-06-22 Thomson Licensing A device and a method for encoding an image and corresponding decoding method and decoding device
US9681140B2 (en) 2014-12-16 2017-06-13 Thomson Licensing Device and a method for encoding an image and corresponding decoding method and decoding device
CN112738365A (en) * 2015-07-16 2021-04-30 索尼公司 Imaging apparatus and information processing system
CN112738365B (en) * 2015-07-16 2022-11-18 索尼公司 Imaging apparatus and information processing system
CN113884581A (en) * 2020-07-03 2022-01-04 中国科学院沈阳自动化研究所 Noise reduction method of ultrasonic detection signal based on additive defect
CN113884581B (en) * 2020-07-03 2022-08-30 中国科学院沈阳自动化研究所 Noise reduction method of ultrasonic detection signal based on additive defect
CN113989846A (en) * 2021-10-29 2022-01-28 北京百度网讯科技有限公司 Method for detecting key points in image and method for training key point detection model

Also Published As

Publication number Publication date
JP5140638B2 (en) 2013-02-06

Similar Documents

Publication Publication Date Title
JP5140638B2 (en) Spatial downsampling processing device, spatial upsampling processing device, encoding device, decoding device, and program
US8682089B2 (en) Image processing apparatus, image processing method, program and semiconductor integrated circuit
US20150373369A1 (en) Anamorphic stretch image compression
JP5452337B2 (en) Image coding apparatus and program
KR101773279B1 (en) Upsampling and signal enhancement
US7787754B2 (en) Continuous extension of discrete transform for data processing
JPH0722962A (en) Method and apparatus for encoding/decoding for suppression of blocking artifact
JP2007174634A (en) Layered coding and decoding methods, apparatuses, and programs
JP4565392B2 (en) Video signal hierarchical decoding device, video signal hierarchical decoding method, and video signal hierarchical decoding program
JP2005039837A (en) Method and apparatus for video image noise removal
JP2007535263A (en) How to downsample data values
JP5717548B2 (en) Super-resolution auxiliary information generation device, encoding device, decoding device, and programs thereof
JP4844455B2 (en) Video signal hierarchical decoding device, video signal hierarchical decoding method, and video signal hierarchical decoding program
JP5140637B2 (en) Spatiotemporal downsampling processing device, spatiotemporal upsampling processing device, encoding device, decoding device, and program
JP4844456B2 (en) Video signal hierarchical encoding apparatus, video signal hierarchical encoding method, and video signal hierarchical encoding program
JP5417290B2 (en) Image super-resolution processing apparatus and program thereof
KR20060121851A (en) Method for spatial up-scaling of video frames
KR20150090515A (en) Method and apparatus for image quality enhancement using phase modulation of high frequency element
JP5419795B2 (en) Image coding apparatus and program
JP4565393B2 (en) Video signal hierarchical encoding apparatus, video signal hierarchical encoding method, and video signal hierarchical encoding program
JP6388476B2 (en) Encoding apparatus and program
JP5894422B2 (en) Spatio-temporal low correlation image super-resolution device, image space super-resolution device, and program thereof
JP2016076758A (en) Reproducer, encoder, and reproduction method
JP2009177546A (en) Image coding apparatus, image coding method, image decoding apparatus, image decoding method
JP2010028218A (en) Image encoder, image decoder, image band decomposition device, and image band composition device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121119

R150 Certificate of patent or registration of utility model

Ref document number: 5140638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees