JP5452337B2 - Image coding apparatus and program - Google Patents
Image coding apparatus and program Download PDFInfo
- Publication number
- JP5452337B2 JP5452337B2 JP2010097528A JP2010097528A JP5452337B2 JP 5452337 B2 JP5452337 B2 JP 5452337B2 JP 2010097528 A JP2010097528 A JP 2010097528A JP 2010097528 A JP2010097528 A JP 2010097528A JP 5452337 B2 JP5452337 B2 JP 5452337B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- filter
- octave
- filter coefficient
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 105
- 238000000354 decomposition reaction Methods 0.000 claims description 101
- 230000010365 information processing Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 235000009413 Ratibida columnifera Nutrition 0.000 description 2
- 241000510442 Ratibida peduncularis Species 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
本発明は、高精細画像の伝送を行うシステムに好適な画像符号化装置及びプログラムに関する。 The present invention relates to a suitable image code KaSo 置及 beauty program to a system which transmits a high-definition image.
近年、画像符号化の分野ではデジタル画像の高精細化が進んでいる。高精細画像は膨大な情報量を持つため、限られた帯域で伝送するためには高圧縮符号化する必要がある。しかしながら、膨大な情報量を持つ高精細画像を既存の符号化手法にて処理し伝送するには限界がある。そこで、オクターブ分解によるダウンサンプリング処理を行う手法が案出されている。 In recent years, high-definition digital images have been advanced in the field of image coding. Since a high-definition image has an enormous amount of information, it needs to be highly compressed and encoded in order to transmit in a limited band. However, there is a limit to processing and transmitting a high-definition image having an enormous amount of information by an existing encoding method. Therefore, a method of performing a downsampling process by octave decomposition has been devised.
この手法では、送信側の画像符号化装置は、入力した原画像に対し、オクターブ分解によるダウンサンプリング処理を行い、ダウンサンプリングした画像を符号化して送信する。受信側の画像復号装置は、符号化されたダウンサンプリング画像を受信し復号した後、復号したダウンサンプリング画像に対し、オクターブ再構成によるアップサンプリング処理を行い、元の原画像を再生する。これにより、膨大な情報量を持つ高精細画像を既存の手法にて符号化して伝送することなく、元の高精細画像を再生することができ、高圧縮に符号化されたダウンサンプリング画像のビットレート不足による符号化歪みを大きく軽減することができる。オクターブ分解によるダウンサンプリング処理及びオクターブ再構成によるアップサンプリング処理に関する符号化技術としては、例えば、特許文献１，２に開示されたものが知られている。
In this method, the transmission side image encoding apparatus performs downsampling processing by octave decomposition on the input original image, and encodes and transmits the downsampled image. The receiving-side image decoding apparatus receives and decodes the encoded downsampled image, and then performs an upsampling process by octave reconstruction on the decoded downsampled image to reproduce the original original image. This makes it possible to reproduce the original high-definition image without encoding and transmitting a high-definition image having an enormous amount of information by an existing method, and a bit of the down-sampled image encoded with high compression. Coding distortion due to insufficient rate can be greatly reduced. As encoding techniques related to downsampling processing by octave decomposition and upsampling processing by octave reconstruction, for example, those disclosed in
このような画像標本化周波数のアップサンプリング処理及びダウンサンプリング処理は、異なる放送方式の映像をフォーマット変換する際に用いられる。例えば、アメリカ及び日本等で使用されている標準画質テレビ放送方式であるＮＴＳＣの映像から、欧州等で使用されている標準画質テレビ方式であるＰＡＬの映像へ変換する際、または、ＮＴＳＣの映像からハイビジョン放送方式の映像へ変換する際に用いられる。また、画像標本化周波数のアップサンプリング処理は、赤色レーザーＤＶＤに記録されている標準画質画像を、液晶ハイビジョンモニタに表示する際に用いられる。さらに、画像標本化周波数のアップサンプリング処理時に高周波数成分を推定し、これを画像に付加することにより高精細化を実現する技術が研究・開発されている。 Such up-sampling processing and down-sampling processing of the image sampling frequency are used when format conversion is performed on videos of different broadcasting systems. For example, when converting from NTSC video, which is a standard-definition television broadcasting system used in the US and Japan, to PAL video, which is a standard-definition television system used in Europe, etc., or from NTSC video Used when converting to high-definition broadcast video. The image sampling frequency upsampling process is used when displaying a standard-quality image recorded on the red laser DVD on a liquid crystal high-vision monitor. Furthermore, a technique for realizing high definition by estimating a high frequency component during upsampling processing of an image sampling frequency and adding it to an image has been researched and developed.
このような異なる放送方式のフォーマット変換等を行う画像符号化装置及び画像復号装置において、全体の符号化画質は、画像符号化装置によるダウンサンプリング処理、及び画像復号装置によるアップサンプリング処理の性能に大きく依存する。このため、ダウンサンプリング処理及びアップサンプリング処理を、可能な限り高画質に行う必要がある。しかしながら、従来の画像符号化装置及び画像復号装置では、ダウンサンプリング処理した画像をアップサンプリング処理して原画像を再生する場合、原画像と同程度の高画質な画像を再生することが困難であるという問題があった。 In an image encoding device and an image decoding device that perform format conversion of such different broadcasting systems, the overall encoded image quality is greatly affected by the performance of downsampling processing by the image encoding device and upsampling processing by the image decoding device. Dependent. For this reason, it is necessary to perform the downsampling process and the upsampling process with the highest possible image quality. However, in the conventional image encoding device and image decoding device, when an original image is reproduced by up-sampling the down-sampled image, it is difficult to reproduce an image with the same high quality as the original image. There was a problem.
そこで、本発明はかかる問題を解決するためになされたものであり、その目的は、送信側にて、原画像をダウンサンプリング処理し、ダウンサンプリング画像を符号化し、受信側にて、符号化されたダウンサンプリング画像を復号してアップサンプリング処理する際に、原画像に最も近い高画質な画像を復元することが可能な画像符号化装置及びプログラムを提供することにある。 Therefore, the present invention has been made to solve such a problem. The purpose of the present invention is to downsample the original image on the transmitting side, encode the downsampled image, and encode it on the receiving side. when up-sampling processing to decode the downsampling image to provide an image encoding KaSo 置及 beauty program capable of restoring the nearest high-quality image to the original image.
上記目的を達成するために、請求項１の発明は、原画像をダウンサンプリング処理して符号化する画像符号化装置において、複数のフィルタから、ダウンサンプリング処理における各階層のフィルタ及びアップサンプリング処理における各階層のフィルタを選定し、最適なフィルタを決定するフィルタ情報処理部と、前記選定されたダウンサンプリング処理における各階層のフィルタを用いて、前記原画像に対しオクターブ分解によるダウンサンプリング処理を行い、ダウンサンプリング画像を生成するオクターブ分解部と、前記生成されたダウンサンプリング画像に対し符号化処理を行い、ダウンサンプリング符号化画像を生成する符号化部と、前記生成されたダウンサンプリング符号化画像に対し復号処理を行い、ダウンサンプリング復号画像を生成する復号部と、前記選定されたアップサンプリング処理における各階層のフィルタを用いて、前記生成されたダウンサンプリング復号画像に対しオクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成するオクターブ再構成部とを備え、前記フィルタ情報処理部は、前記原画像と前記生成されたアップサンプリング画像との間の画素値の差分が最も小さくなるフィルタを、前記ダウンサンプリング処理及びアップサンプリング処理における各階層の最適なフィルタに決定し、前記符号化部は、前記最適なフィルタを用いて生成されたダウンサンプリング画像、及び前記決定された最適なフィルタに関する情報に対し符号化処理を行い、ダウンサンプリング符号化画像及びフィルタ符号化情報を生成する画像符号化装置であって、前記フィルタ情報処理部が、複数のフィルタから、ダウンサンプリング処理における各階層のフィルタ及びアップサンプリング処理における各階層のフィルタを選定する際に、各階層のフィルタのうち少なくとも１つのフィルタが、前回選定したフィルタのタップ数よりも今回選定したタップ数が大きくなるように、前記フィルタを選定し、前記原画像と前記生成されたアップサンプリング画像との間の画素値の差分が極小となるフィルタを、前記ダウンサンプリング処理及びアップサンプリング処理における各階層の最適なフィルタに決定することを特徴とする。
In order to achieve the above object, an invention according to
さらに、請求項２の発明は、コンピュータを、請求項１に記載の画像符号化装置として機能させるための画像符号化プログラムである。
Further, the invention of
以上のように、本発明によれば、原画像を階層的にダウンサンプリング処理し、ダウンサンプリング画像を生成して符号化すると共に、生成したダウンサンプリング画像に基づいて、階層的なアップサンプリング処理により原画像に最も近い画像を再生可能とする各階層のフィルタ情報を決定するようにした。これにより、原画像に最も近い高画質な画像を復元することができる。つまり、符号化及び復号処理を高画質に行うことができる。 As described above, according to the present invention, an original image is hierarchically downsampled, a downsampled image is generated and encoded, and a hierarchical upsampling process is performed based on the generated downsampled image. The filter information of each layer that enables reproduction of the image closest to the original image is determined. Thereby, it is possible to restore a high-quality image closest to the original image. That is, encoding and decoding processes can be performed with high image quality.
以下、本発明を実施するための形態について、図面を参照して説明する。本発明は、画像符号化装置が、入力した原画像に応じて、オクターブ分解処理及びオクターブ再構成処理の各階層における最適なフィルタ情報を随時選択し、画像復号装置が、この最適なフィルタ情報を用いてオクターブ再構成処理を行うことを特徴とする。本発明によれば、オクターブ分解によるダウンサンプリング処理を行って情報量を圧縮し、オクターブ再構成によるアップサンプリング処理を行って元の情報量に戻すため、高圧縮符号化時の符号化歪みを大きく軽減することができる。符号化歪みが小さい場合は、オクターブ分解処理及びオクターブ再構成処理に伴う画質劣化に依存した画像を得ることができる。そこで、本発明では、最適なフィルタ情報を用いてオクターブ分解処理及びオクターブ再構成処理を高画質に行うことにより、原画像に最も近い高画質な画像を復元する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. In the present invention, an image encoding device selects optimal filter information in each layer of octave decomposition processing and octave reconstruction processing as needed according to an input original image, and an image decoding device selects the optimal filter information. And performing an octave reconstruction process. According to the present invention, downsampling processing by octave decomposition is performed to compress the information amount, and upsampling processing by octave reconstruction is performed to return to the original information amount. Therefore, coding distortion at the time of high compression coding is greatly increased. Can be reduced. When the coding distortion is small, it is possible to obtain an image depending on the image quality degradation accompanying the octave decomposition process and the octave reconstruction process. Therefore, in the present invention, the high-quality image closest to the original image is restored by performing octave decomposition processing and octave reconstruction processing with high image quality using optimal filter information.
以下に説明する本発明の実施形態は、原画像を入力し、ウェーブレット分解を用いて原画像を空間周波数ダウンサンプリング（以下、”ダウンサンプリング”という。）し、これにより得られた空間周波数ダウンサンプリング画像（以下、”ダウンサンプリング画像”という。）を符号化して伝送する画像符号化装置、及び、符号化されたダウンサンプリング画像を復号し、ダウンサンプリング復号画像を空間周波数アップサンプリング（以下、”アップサンプリング”という。）し、これにより得られた空間周波数アップサンプリング画像（以下、”アップサンプリング画像”という。）を出力する画像復号装置を想定している。尚、ウェーブレット分解によるダウンサンプリング処理及びウェーブレット再構成によるアップサンプリング処理は、各階層において、Ｈａａｒ、メキシカンハット等のウェーブレットフィルタ、Daubechies（ドベシー）のように次数ｐの値を任意値とするウェーブレットフィルタ、タップ数及びその係数を任意値とする線形フィルタ、１：２画素間引フィルタ等が用いられる。すなわち、オクターブ分解によるダウンサンプリング処理及びオクターブ再構成によるアップサンプリング処理を各階層において行えるものであれば、どのようなフィルタでも使用可能である。 In the embodiment of the present invention described below, an original image is input, the original image is subjected to spatial frequency downsampling (hereinafter referred to as “downsampling”) using wavelet decomposition, and the spatial frequency downsampling thus obtained is performed. An image encoding device that encodes and transmits an image (hereinafter referred to as a “down-sampled image”), and the encoded down-sampled image is decoded, and the down-sampled decoded image is subjected to spatial frequency upsampling (hereinafter “up-sampled” It is assumed that the image decoding apparatus outputs a spatial frequency upsampled image (hereinafter referred to as “upsampled image”) obtained as a result of “sampling”. Note that the downsampling process by wavelet decomposition and the upsampling process by wavelet reconstruction are performed in each layer, such as a wavelet filter such as Haar and Mexican hat, a wavelet filter having an arbitrary value of the order p, such as Daubechies, A linear filter having an arbitrary number of taps and its coefficient, a 1: 2 pixel thinning filter, or the like is used. That is, any filter can be used as long as downsampling processing by octave decomposition and upsampling processing by octave reconstruction can be performed in each layer.
〔画像符号化装置の構成〕
まず、画像符号化装置の構成について説明する。図１は、本発明の実施形態による画像符号化装置の構成を示すブロック図である。この画像符号化装置１は、フィルタ係数処理部（フィルタ情報処理部）１０、オクターブ分解部１１、符号化部１２、復号部１３及びオクターブ再構成部１４を備えている。
[Configuration of Image Encoding Device]
First, the configuration of the image encoding device will be described. FIG. 1 is a block diagram showing a configuration of an image encoding device according to an embodiment of the present invention. The
フィルタ係数処理部１０は、予め設定されたフィルタ係数群から、オクターブ分解によるダウンサンプリング処理を行うための各階層のフィルタに用いるフィルタ係数（以下、オクターブ分解用の各階層のフィルタ係数という。）、及びオクターブ再構成によるアップサンプリング処理を行うための各階層のフィルタに用いるフィルタ係数（以下、オクターブ再構成用の各階層のフィルタ係数という。）を選定する。尚、ここではフィルタ係数を選定するようにしたが、フィルタの種類及びフィルタ係数（フィルタ情報）を選定するようにしてもよい。詳細については後述する。
The filter
フィルタ係数処理部１０は、選定したオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力し、選定したオクターブ再構成用の各階層のフィルタ係数をオクターブ再構成部１４に出力する。また、フィルタ係数処理部１０は、原画像を入力すると共に、選定して出力したフィルタ係数にてオクターブ分解及びオクターブ再構成されたアップサンプリング画像を入力し、両画像の画素値の差分を求める。そして、フィルタ係数処理部１０は、その差分が最も小さいフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）を最適なフィルタ係数に決定し、最適なフィルタ係数のうちのオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力する。また、フィルタ係数処理部１０は、最適なフィルタ係数を決定したことを示す決定通知、及び最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）を符号化部１２に出力する。
The filter
オクターブ分解部１１は、原画像を入力すると共に、フィルタ係数処理部１０からオクターブ分解用の各階層のフィルタ係数を入力し、オクターブ分解によるダウンサンプリング処理を行い、ダウンサンプリング画像を生成する。そして、オクターブ分解部１１は、生成したダウンサンプリング画像を符号化部１２に出力する。
The octave decomposition unit 11 receives the original image and also inputs the filter coefficients of each layer for octave decomposition from the filter
符号化部１２は、オクターブ分解部１１からダウンサンプリング画像を入力すると共に、フィルタ係数処理部１０から、最適なフィルタ係数が決定されたことを示す決定通知、及び最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）を入力する。符号化部１２は、決定通知を入力しない場合、入力したダウンサンプリング画像のストリームに対し符号化処理を行い、ダウンサンプリング符号化画像を生成し、復号部１３に出力する。一方、符号化部１２は、決定通知を入力した場合、入力したダウンサンプリング画像が最適なフィルタ係数により生成された画像であると判断して、ダウンサンプリング画像のストリーム及び最適なフィルタ係数に対し符号化処理を行い、ダウンサンプリング符号化画像及びフィルタ符号化係数（オクターブ分解用の各階層のフィルタ符号化係数及びオクターブ再構成用の各階層のフィルタ符号化係数）を生成し、伝送路３を介して後述する画像復号装置２へ送信する。
The encoding unit 12 receives the down-sampled image from the octave decomposition unit 11, and also receives a determination notification from the filter
復号部１３は、符号化部１２からダウンサンプリング符号化画像を入力し、ダウンサンプリング符号化画像のストリームに対し復号処理（ローカル復号処理）を行い、ダウンサンプリング復号画像を生成し、オクターブ再構成部１４に出力する。この復号部１３による復号処理は、後述する画像復号装置２の復号部２０による復号処理と同様であるが、画像復号装置２の復号部２０に対応する処理という意味でローカル復号処理である。
The
オクターブ再構成部１４は、復号部１３からダウンサンプリング復号画像を入力すると共に、フィルタ係数処理部１０からオクターブ再構成用の各階層のフィルタ係数を入力し、オクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成する。そして、オクターブ再構成部１４は、生成したアップサンプリング画像をフィルタ係数処理部１０に出力する。尚、フィルタ係数処理部１０から入力するオクターブ再構成用の各階層のフィルタ係数には、アップサンプリング処理を行うための各階層のフィルタ係数に加え、ダウンサンプリング処理を行うための１階層分のフィルタ係数も含まれる。詳細については後述する。
The
〔画像符号化装置の処理〕
次に、図１に示した画像符号化装置１の処理について説明する。図２は、画像符号化装置１の処理を示すフロー図である。まず、画像符号化装置１のオクターブ分解部１１は、フィルタ係数処理部１０により選定されたオクターブ分解用の各階層のフィルタ係数を用いて、入力した原画像の水平・垂直標本化周波数がそれぞれ１／２ｎ（ｎ＝１，２，・・・，ｍ）倍に縮小するように、オクターブ分解によるダウンサンプリング処理を繰り返し行い、ダウンサンプリング画像を生成する（ステップＳ２０１）。
[Processing of Image Encoding Device]
Next, processing of the
図３は、オクターブ分解によるダウンサンプリング処理の様子を示す図である。また、図４は、オクターブ分解によるダウンサンプリング処理及びフィルタ係数を示す図である。 FIG. 3 is a diagram showing a state of downsampling processing by octave decomposition. FIG. 4 is a diagram showing downsampling processing and filter coefficients by octave decomposition.
図３に示すように、１階離散ウェーブレット分解ＤＷＴ（１）により、原画像Ｆである０階層目画像から水平低周波・垂直低周波の周波数成分ＣＡ（１）、水平高周波・垂直低周波成分ＣＨ（１）、水平低周波・垂直高周波成分ＣＶ（１）、水平高周波・垂直高周波成分ＣＤ（１）の１階層目画像が得られる。そして、ＣＡ（１）から水平低周波・垂直低周波の周波数成分ＣＡ（２）、水平高周波・垂直低周波成分ＣＨ（２）、水平低周波・垂直高周波成分ＣＶ（２）、水平高周波・垂直高周波成分ＣＤ（２）の２階層目画像が得られる。最終的に求めるダウンサンプリング画像は、ｎ階層目画像のうちのｎ階離散ウェーブレット分解成分ＣＡ（ｎ）となる。 As shown in FIG. 3, horizontal low frequency / vertical low frequency frequency components CA (1) , horizontal high frequency / vertical low frequency components from the 0th layer image which is the original image F by the first-order discrete wavelet decomposition DWT (1). A first layer image of CH (1) , horizontal low frequency / vertical high frequency component CV (1) and horizontal high frequency / vertical high frequency component CD (1) is obtained. Then, from CA (1) to horizontal low frequency / vertical low frequency component CA (2) , horizontal high frequency / vertical low frequency component CH (2) , horizontal low frequency / vertical high frequency component CV (2) , horizontal high frequency / vertical. A second layer image of the high frequency component CD (2) is obtained. The finally obtained down-sampled image is the n-th order discrete wavelet decomposition component CA (n) of the n-th layer image.
このような原画像の水平・垂直標本化周波数を１／２ｎ倍にするダウンサンプリング処理では、ｎ階分解時の各階層において、例えば同一種類のフィルタが用いられ、各階層における同一種類のフィルタには、同一または異なるフィルタ係数が用いられる。したがって、ｎ階分解時の各階層において、使用するフィルタ係数が異なる場合は、周波数折り返し歪み成分量も異なることになる。尚、後述するように、ｎ階分解時の各階層において、異なる種類のフィルタ及び異なるフィルタ係数を用いるようにしてもよい。 In such downsampling processing for increasing the horizontal / vertical sampling frequency of the original image by 1/2 n times, for example, the same type of filter is used in each layer at the time of n-th order decomposition, Are the same or different filter coefficients. Therefore, when the filter coefficients to be used are different in each hierarchy at the n-th order decomposition, the frequency aliasing distortion component amounts are also different. As will be described later, different types of filters and different filter coefficients may be used in each layer at the n-th order decomposition.
図４に示す例は、ｎ階分解時の各階層において、同一種類のフィルタが用いられ、１階層目画像を得るための１回目の分解時にフィルタ係数Ｆｄ−１が用いられ、２階層目画像を得るための２回目の分解時にフィルタ係数Ｆｄ−２が用いられ、同様に、ｎ階層目画像を得るためのｎ回目の分解時にフィルタ係数Ｆｄ−ｎが用いられる場合を示している。 In the example shown in FIG. 4, the same type of filter is used in each layer at the time of n-th decomposition, and the filter coefficient Fd-1 is used at the first decomposition to obtain the first layer image. The filter coefficient Fd-2 is used at the time of the second decomposition for obtaining the image, and similarly, the filter coefficient Fd-n is used at the time of the nth decomposition for obtaining the n-th layer image.
尚、フィルタの種類としては、前述したとおり、例えば、Ｈａａｒ、メキシカンハット、Daubechies等のウェーブレットフィルタ、線形フィルタ、間引フィルタ等がある。 As described above, examples of the filter types include wavelet filters such as Haar, Mexican hat, and Daubechies, linear filters, and thinning filters.
図５は、次数ｐのDaubechiesウェーブレット係数を示す図であり、Daubechiesのウェーブレットフィルタを用いる場合のフィルタ係数の例を示している。ｐは次数、ｋは要素番号、αｋはDaubechiesウェーブレット係数を示す。このDaubechiesのウェーブレットフィルタは、次数ｐの値を任意値としたフィルタ係数により特性が定められ、次数ｐが大きくなるとタップ数も大きくなり、急峻な特性を持つフィルタとなる。 FIG. 5 is a diagram showing Daubechies wavelet coefficients of order p, and shows an example of filter coefficients when a Daubechies wavelet filter is used. p is an order, k is an element number, and αk is a Daubechies wavelet coefficient. This Daubechies wavelet filter is characterized by a filter coefficient in which the value of the order p is an arbitrary value. When the order p is increased, the number of taps is increased and the filter has a steep characteristic.
図５に示すように、次数ｐ＝１のときの要素数が２であり、次数ｐ＝２のときの要素数が４であり、次数ｐ＝３のときの要素数が６であり、次数ｐ＝４のときの要素数が８である。そして、次数ｐの値を任意値とするそれぞれの要素について、Daubechiesウェーブレット係数αｋ（フィルタ係数）が定義されている。図４の例では、オクターブ分解部１１によるダウンサンプリング処理のｎ階分解時の各階層において、同一のDaubechiesのウェーブレットフィルタが用いられる場合、例えば、１階分解時のフィルタ係数Ｆｄ−１として次数ｐ＝１（ｐ１）が用いられ、２階分解時のフィルタ係数Ｆｄ−２として次数ｐ＝２（ｐ２）が用いられ、また、ｎ階分解時のフィルタ係数Ｆｄ−ｎとして次数ｐ＝１（ｐ１）が用いられる。これらのフィルタ係数は、図１に示したフィルタ係数処理部１０により選定される。
As shown in FIG. 5, the number of elements when the order p = 1 is 2, the number of elements when the order p = 2 is 4, the number of elements when the order p = 3 is 6, and the order The number of elements is 8 when p = 4. A Daubechies wavelet coefficient αk (filter coefficient) is defined for each element having the value of the order p as an arbitrary value. In the example of FIG. 4, when the same Daubechies wavelet filter is used in each layer during the n-th order decomposition of the downsampling process by the octave decomposition unit 11, for example, the order p is used as the filter coefficient Fd−1 at the first-order decomposition. = 1 (p1), the order p = 2 (p2) is used as the filter coefficient Fd-2 in the second order decomposition, and the order p = 1 (p1) as the filter coefficient Fd-n in the nth order decomposition. ) Is used. These filter coefficients are selected by the filter
図２に戻って、符号化部１２は、ステップＳ２０１にて生成されたダウンサンプリング画像のストリームに対し、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣ等の符号化処理を行い、ダウンサンプリング符号化画像を生成する（ステップＳ２０２）。尚、符号化処理は、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣ以外の手法を用いてもよい。復号部１３は、ステップＳ２０２にて生成されたダウンサンプリング符号化画像のストリームに対し、ローカル復号処理を行い、ダウンサンプリング復号画像を生成する（ステップＳ２０３）。
Returning to FIG. 2, the encoding unit 12 applies H.264 to the stream of the down-sampled image generated in step S201. H.264 | MPEG-4AVC or the like is encoded to generate a downsampled encoded image (step S202). The encoding process is H.264. H.264 | MPEG-4AVC may be used. The
オクターブ再構成部１４は、フィルタ係数処理部１０により選定されたオクターブ再構成用の各階層のフィルタ係数を用いて、ステップＳ２０３にて生成されたダウンサンプリング復号画像の水平・垂直標本化周波数がそれぞれ２ｎ（ｎ＝１，２，・・・，ｍ）倍に拡大するように、オクターブ再構成によるアップサンプリング処理を繰り返し行い、アップサンプリング画像を生成する（ステップＳ２０４）。尚、オクターブ再構成部１４は、オクターブ再構成によるアップサンプリング処理を繰り返し行うために、ダウンサンプリング復号画像と同じ階層の高周波成分領域の画像を得る必要がある。そこで、オクターブ再構成部１４は、オクターブ再構成によるアップサンプリング処理を繰り返し行う前に、オクターブ再構成用の各階層のフィルタ係数に含まれるダウンサンプリング処理を行うための１階層分のフィルタ係数（後述する図７においてフィルタ係数Ｆｄ−（ｎ＋１））を用いて、オクターブ分解によるダウンサンプリング処理を行い、さらに、オクターブ再構成用の各階層のフィルタ係数に含まれるアップサンプリング処理を行うための１階層分のフィルタ係数（後述する図７においてフィルタ係数Ｆｕ−（ｎ＋１））を用いて、オクターブ再構成によるアップサンプリング処理を行う。
The
図６は、オクターブ再構成によるアップサンプリング処理の様子を示す図である。また、図７は、オクターブ再構成によるアップサンプリング処理及びフィルタ係数を示す図である。 FIG. 6 is a diagram showing the state of the upsampling process by octave reconstruction. FIG. 7 is a diagram illustrating an upsampling process and a filter coefficient by octave reconstruction.
図６に示すように、１階離散ウェーブレット再構成ＩＤＷＴ（１）により、ダウンサンプリング復号画像である水平低周波・垂直低周波の周波数成分ＣＡ（ｎ）、水平高周波・垂直低周波成分ＣＨ（ｎ）、水平低周波・垂直高周波成分ＣＶ（ｎ）、水平高周波・垂直高周波成分ＣＤ（ｎ）のｎ階層目画像から、ＣＡ（ｎ−１）、ＣＨ（ｎ−１）、ＣＶ（ｎ−１）、ＣＤ（ｎ−１）のｎ−１階層目画像が得られる。具体的には、まず、１階離散ウェーブレット分解ＤＷＴ（１）により、ダウンサンプリング復号画像であるＣＡ（ｎ）からＣＡ（ｎ＋１）、ＣＨ（ｎ＋１）、ＣＶ（ｎ＋１）、ＣＤ（ｎ＋１）のｎ＋１階層目画像が得られる。そして、１階離散ウェーブレット再構成ＩＤＷＴ（１）により、ＣＨ（ｎ＋１）、ＣＶ（ｎ＋１）、ＣＤ（ｎ＋１）を空間低周波数領域成分、同じサイズのゼロ行列を空間高周波数領域成分として、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）が得られる。これは、オクターブ再構成によるアップサンプリング処理を行うため、ステップＳ２０３にて生成されたダウンサンプリング復号画像であるＣＡ（ｎ）に加え、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）を生成する必要があるからである。 As shown in FIG. 6, the first floor by the discrete wavelet reconstruction IDWT (1), horizontal is downsampled decoded image low frequency and vertical low frequency of the frequency component CA (n), a horizontal high frequency and vertical low frequency component CH (n ) , Horizontal low frequency / vertical high frequency component CV (n) , horizontal high frequency / vertical high frequency component CD (n) n-th layer image, CA (n−1) , CH (n−1) , CV (n−1) ) , The (n−1) th layer image of CD (n−1) is obtained. Specifically, first, by using the first-order discrete wavelet decomposition DWT (1) , down-sampled decoded images CA (n) to CA (n + 1) , CH (n + 1) , CV (n + 1) , and CD (n + 1) n + 1 A hierarchical image is obtained. By first floor discrete wavelet reconstruction IDWT (1), CH (n + 1), CV (n + 1), CD (n + 1) the spatial low-frequency domain components, a zero matrix having the same size as the spatial high-frequency domain components, CH ( n) , CV (n) , CD (n) are obtained. This generates CH (n) , CV (n) , and CD (n) in addition to CA (n) , which is the downsampled decoded image generated in step S203, in order to perform upsampling processing by octave reconstruction. Because it is necessary to do.
そして、１階離散ウェーブレット再構成ＩＤＷＴ（１）により、ＣＡ（ｎ）、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）のｎ階層目画像から、ＣＡ（ｎ−１）が得られる。また、１階離散ウェーブレット再構成ＩＤＷＴ（１）により、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）を空間低周波数領域成分、同じサイズのゼロ行列を空間高周波数領域成分として、ＣＨ（ｎ−１）、ＣＶ（ｎ−１）、ＣＤ（ｎ−１）が得られる。そして、ＣＡ（２）、ＣＨ（２）、ＣＶ（２）、ＣＤ（２）の２階層目画像からＣＡ（１）、ＣＨ（１）、ＣＶ（１）、ＣＤ（１）の１階層目画像が得られる。最終的に求めるアップサンプリング画像は、０階層目画像、すなわち原画像Ｆである。 Then, CA (n-1) is obtained from the n- th layer image of CA (n) , CH (n) , CV (n) , and CD (n) by the first-order discrete wavelet reconstruction IDWT (1) . Further, the first floor discrete wavelet reconstruction IDWT (1), CH (n ), CV (n), CD (n) spatial low-frequency domain components, a zero matrix having the same size as the spatial high-frequency domain components, CH ( n-1) , CV (n-1) , and CD (n-1) are obtained. Then, from the second layer image of CA (2) , CH (2) , CV (2) , CD (2) , the first layer of CA (1) , CH (1) , CV (1) , CD (1). An image is obtained. The finally obtained upsampled image is the 0th layer image, that is, the original image F.
このようなダウンサンプリング復号画像の水平・垂直標本化周波数を２ｎ倍にするアップサンプリング処理では、ｎ階再構成時の各階層において、ダウンサンプリング処理と同様に、例えば同一種類のフィルタが用いられ、各階層における同一種類のフィルタには、同一または異なるフィルタ係数が用いられる。尚、後述するように、ｎ階再構成時の各階層において、異なる種類のフィルタ及び異なるフィルタ係数を用いるようにしてもよい。 In such an upsampling process for increasing the horizontal / vertical sampling frequency of the downsampled decoded image by 2 n times, for example, the same type of filter is used in each layer at the time of n-th reconstruction as in the downsampling process. The same or different filter coefficients are used for the same type of filter in each layer. As will be described later, different types of filters and different filter coefficients may be used in each layer at the time of n-th reconstruction.
図７に示す例は、ｎ階再構成時の各階層において、同じフィルタが用いられる場合を示している。ダウンサンプリング復号画像と同じ階層の高周波成分領域の画像を得るために、ｎ＋１階層目の画像を得るための分解時にはフィルタ係数Ｆｄ−（ｎ＋１）が用いられ、ｎ階層目の高周波成分領域の画像（ダウンサンプリング復号画像と同じ階層の高周波成分領域の画像）を得るための再構成時にはフィルタ係数Ｆｕ−（ｎ＋１）が用いられる。また、ｎ−１階層目画像を得るための１回目の再構成時にはフィルタ係数Ｆｕ−ｎが用いられ、同様に、１階層目画像を得るためのｎ−１回目の再構成時にはフィルタ係数Ｆｕ−２が用いられ、０階層目画像を得るためのｎ回目の再構成時にはフィルタ係数Ｆｕ−１が用いられる。 The example illustrated in FIG. 7 illustrates a case where the same filter is used in each layer at the time of n-th floor reconstruction. In order to obtain an image of the high-frequency component region in the same hierarchy as that of the downsampled decoded image, the filter coefficient Fd− (n + 1) is used at the time of decomposition for obtaining an image of the (n + 1) -th layer, and an image ( The filter coefficient Fu− (n + 1) is used at the time of reconstruction to obtain a high-frequency component region image in the same hierarchy as the downsampled decoded image. Further, the filter coefficient Fu-n is used in the first reconstruction for obtaining the (n-1) th layer image, and similarly, the filter coefficient Fu− is used in the (n−1) th reconstruction for obtaining the first layer image. 2 is used, and the filter coefficient Fu-1 is used in the n-th reconstruction for obtaining the 0th layer image.
図２に戻って、画像符号化装置１は、ステップＳ２０１からステップＳ２０４までの処理を、フィルタ係数処理部１０により随時選定された、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数を用いて、所定回数分繰り返して行う。
Returning to FIG. 2, the
フィルタ係数処理部１０は、所定回数分のフィルタ係数を選定し、ステップＳ２０１からステップＳ２０４までの処理が所定回数分繰り返して行われた後、所定回数分随時選定したフィルタ係数のうち、原画像とステップＳ２０４にて生成されたアップサンプリング画像との間の画素値の差分が最も小さいフィルタ係数を最適なフィルタ係数に決定する（ステップＳ２０５）。最適なフィルタ係数を決定する処理の詳細については後述する。
The filter
オクターブ分解部１１は、ステップＳ２０５にて決定された、オクターブ分解用の各階層の最適なフィルタ係数を用いて、原画像の水平・垂直標本化周波数がそれぞれ１／２ｎ（ｎ＝１，２，・・・，ｍ）倍に縮小するように、オクターブ分解によるダウンサンプリング処理を繰り返し行い、ダウンサンプリング画像を生成する（ステップＳ２０６）。そして、符号化部１２は、ステップＳ２０６にて生成されたダウンサンプリング画像のストリームに対し、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣ等の符号化処理を行い、ダウンサンプリング符号化画像を生成する（ステップＳ２０７）。また、符号化部１２は、ステップＳ２０５にて決定された、最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）に対し符号化処理を行い、フィルタ符号化係数を生成する。このようにして、符号化部１２からダウンサンプリング符号化画像及びフィルタ符号化係数が出力される。 The octave decomposition unit 11 uses the optimum filter coefficients of each layer for octave decomposition determined in step S205, so that the horizontal and vertical sampling frequencies of the original image are 1/2 n (n = 1, 2), respectively. ,..., M) The downsampling process by the octave decomposition is repeatedly performed so as to reduce the image, and a downsampled image is generated (step S206). Then, the encoding unit 12 applies H.264 to the downsampled image stream generated in step S206. H.264 | MPEG-4AVC or the like is encoded to generate a downsampled encoded image (step S207). Further, the encoding unit 12 performs an encoding process on the optimum filter coefficient (the filter coefficient of each layer for octave decomposition and the filter coefficient of each layer for octave reconstruction) determined in step S205, Generate filter coding coefficients. In this way, the downsampled encoded image and the filter encoded coefficient are output from the encoding unit 12.
（フィルタ係数処理部）
次に、図１に示したフィルタ係数処理部１０について詳細に説明する。前述のとおり、フィルタ係数処理部１０は、予め設定されたフィルタ係数群から、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数を選定し、オクターブ分解部１１に、オクターブ分解用の各階層のフィルタ係数を用いてオクターブ分解によるダウンサンプリング処理を行わせ、オクターブ再構成部１４に、オクターブ再構成用の各階層のフィルタ係数を用いてオクターブ再構成によるアップサンプリング処理を行わせる。また、フィルタ係数処理部１０は、原画像と、選定したフィルタ係数にてオクターブ分解及びオクターブ再構成されたアップサンプリング画像との間の画素値の差分を求め、その差分が最も小さいフィルタ係数を最適なフィルタ係数に決定する。
(Filter coefficient processing part)
Next, the filter
図８は、フィルタ係数処理部１０の構成を示すブロック図である。このフィルタ係数処理部１０は、フィルタ係数選定手段（フィルタ情報選定手段）１５、記憶手段１６及びフィルタ係数決定手段（フィルタ情報決定手段）１７を備えている。
FIG. 8 is a block diagram illustrating a configuration of the filter
フィルタ係数選定手段１５は、予め設定されたフィルタ係数群から、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数を選定する。そして、フィルタ係数選定手段１５は、選定したオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力し、選定したオクターブ再構成用の各階層のフィルタ係数をオクターブ再構成部１４に出力する。これにより、オクターブ分解部１１は、フィルタ係数選定手段１５からフィルタ係数を入力し、原画像に対し、オクターブ分解によるダウンサンプリング処理を行い、オクターブ再構成部１４は、フィルタ係数選定手段１５からフィルタ係数を入力し、オクターブ再構成によるアップサンプリング処理を行う。
The filter coefficient selection means 15 selects the filter coefficient of each hierarchy for octave decomposition and the filter coefficient of each hierarchy for octave reconstruction from a preset filter coefficient group. Then, the filter
例えば、フィルタ係数選定手段１５は、後述する図９を参照して、オクターブ分解部１１及びオクターブ再構成部１４において各階層のフィルタとして図５に示したDaubechiesのウェーブレットフィルタを使用する場合、オクターブ分解用の各階層のフィルタ係数Ｆｄ−１＝ｐ１，Ｆｄ−２＝ｐ２，・・・，Ｆｄ−ｎ＝ｐ１及びオクターブ再構成用の各階層のフィルタ係数Ｆｕ−１＝ｐ２，Ｆｕ−２＝ｐ３，・・・，Ｆｕ−（ｎ＋１）＝ｐ１を選定する。また、次の処理のときに、オクターブ分解用の各階層のフィルタ係数Ｆｄ−１＝ｐ２，Ｆｄ−２＝ｐ２，・・・，Ｆｄ−ｎ＝ｐ１及びオクターブ再構成用の各階層のフィルタ係数Ｆｕ−１＝ｐ２，Ｆｕ−２＝ｐ３，・・・，Ｆｕ−（ｎ＋１）＝ｐ１を選定する。このように、新たにフィルタ係数を選定する毎に、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数のうちのいずれかのフィルタ係数を変更する。
For example, referring to FIG. 9 described later, the filter coefficient selection means 15 uses the octave decomposition unit 11 and the
また、フィルタ係数選定手段１５は、原画像を入力すると共に、オクターブ再構成部１４からアップサンプリング画像を入力し、原画像の各画素値からＲＭＳ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ：平均自乗根）値を算出し、アップサンプリング画像の各画素値からＲＭＳ値を算出し、両ＲＭＳ値の差分を算出する。フィルタ係数選定手段１５は、選定したフィルタ係数と算出したＲＭＳ値の差分とを組にして記憶手段１６に格納する。フィルタ係数の選定、オクターブ分解によるダウンサンプリング処理及びオクターブ再構成によるアップサンプリングの処理が所定回数分行われると、フィルタ係数選定手段１５は、原画像に対する所定回数分の処理が完了したことを示す完了通知をフィルタ係数決定手段１７に出力する。これにより、記憶手段１６には、所定回数分のフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）及びＲＭＳ値（ＲＭＳ値の差分）が格納される。
Further, the filter coefficient selecting means 15 inputs the original image and also inputs the upsampled image from the
フィルタ係数決定手段１７は、フィルタ係数選定手段１５から、完了通知を入力すると、記憶手段１６から所定回数分のフィルタ係数及びＲＭＳ値を読み出し、ＲＭＳ値が最も小さいフィルタ係数（両画像の画素値の差分が最も小さいフィルタ係数）を最適なフィルタ係数に決定する。すなわち、原画像に最も近いアップサンプリング画像が得られたときのフィルタ係数を最適なフィルタ係数に決定する。そして、フィルタ係数決定手段１７は、決定した最適なフィルタ係数のうちオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力し、オクターブ分解部１１に、オクターブ分解用の各階層の最適なフィルタ係数を用いて、オクターブ分解によるダウンサンプリング処理を行わせる。また、フィルタ係数決定手段１７は、最適なフィルタ係数を決定したことを示す決定通知、及び最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）を符号化部１２に出力する。これにより、符号化部１２は、オクターブ分解部１１から入力するダウンサンプリング画像が、最適なフィルタ係数により生成された画像であると判断することができ、ダウンサンプリング画像及び最適なフィルタ係数（オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数）に対し符号化処理を行う。
When the completion notification is input from the filter
図９は、図８に示した記憶手段１６に格納されるフィルタ係数及びＲＭＳ値を示す図である。フィルタ係数選定手段１５は、オクターブ分解用の各階層のフィルタ係数Ｆｄ−１，Ｆｄ−２，・・・，Ｆｄ−ｎ及びオクターブ再構成用の各階層のフィルタ係数Ｆｕ−１，Ｆｕ−２，・・・，Ｆｕ−（ｎ＋１）を選定し、ＲＭＳ値を算出する毎に、これらのフィルタ係数及びＲＭＳ値を記憶手段１６に格納する。図９に示すように、オクターブ分解部１１及びオクターブ再構成部１４において各階層のフィルタとして、図５に示したDaubechiesのウェーブレットフィルタを使用する場合、記憶手段１６には、最初に選定されたフィルタ係数Ｆｄ−１＝ｐ１，Ｆｄ−２＝ｐ２，・・・，Ｆｄ−ｎ＝ｐ１，Ｆｕ−１＝ｐ２，Ｆｕ−２＝ｐ３，・・・，Ｆｕ−（ｎ＋１）＝ｐ１、及び最初に算出されたＲＭＳ値が格納され、次に選定されたフィルタ係数Ｆｄ−１＝ｐ２，Ｆｄ−２＝ｐ２，・・・，Ｆｄ−ｎ＝ｐ１，Ｆｕ−１＝ｐ２，Ｆｕ−２＝ｐ３，・・・，Ｆｕ−（ｎ＋１）＝ｐ１及び、次に算出されたＲＭＳ値が格納され、結果として、所定回数分のフィルタ係数及びＲＭＳ値が格納される。
FIG. 9 is a diagram showing filter coefficients and RMS values stored in the
以上のように、本発明の実施形態による画像符号化装置１によれば、オクターブ分解部１１が、原画像を、階層的にオクターブ分解によるダウンサンプリング処理してダウンサンプリング画像を生成し、オクターブ再構成部１４が、符号化部１２及び復号部１３によりダウンサンプリング画像が符号化及び復号されて生成されたダウンサンプリング復号画像を、階層的にオクターブ再構成によるアップサンプリング処理してアップサンプリング画像を生成するようにした。そして、フィルタ係数処理部１０が、選定した各階層のフィルタ係数を用いて生成されたアップサンプリング画像と原画像との間の画素値の差分をＲＭＳ値により算出し、アップサンプリング画像が原画像に最も近い、各階層の最適なフィルタ係数を決定するようにした。
As described above, according to the
これにより、最適なフィルタ係数を用いてダウンサンプリング処理を行い符号化することにより生成されたダウンサンプリング符号化画像、及び最適なフィルタ係数を符号化することにより生成されたフィルタ符号化係数が、画像符号化装置１から伝送路３を介して画像復号装置２へ送信される。画像復号装置２は、画像符号化装置１により決定された最適なフィルタ係数を用いて、オクターブ再構成によるアップサンプリング処理を行うことができる。したがって、原画像に最も近い高画質な画像を復元することができる。つまり、符号化及び復号処理を高画質に行うことができる。
Thereby, the downsampling encoded image generated by performing the downsampling process using the optimal filter coefficient and encoding, and the filter encoded coefficient generated by encoding the optimal filter coefficient are the image The data is transmitted from the
〔画像復号装置の構成〕
次に、画像復号装置の構成について説明する。図１０は、本発明の実施形態による画像復号装置の構成を示すブロック図である。この画像復号装置２は、復号部２０及びオクターブ再構成部２１を備えている。
[Configuration of Image Decoding Device]
Next, the configuration of the image decoding device will be described. FIG. 10 is a block diagram showing the configuration of the image decoding apparatus according to the embodiment of the present invention. The
画像復号装置２が画像符号化装置１から伝送路３を介してダウンサンプリング符号化画像及びフィルタ符号化係数（オクターブ分解用の各階層の最適なフィルタ符号化係数及びオクターブ再構成用の各階層の最適なフィルタ符号化係数）を受信すると、復号部２０は、ダウンサンプリング符号化画像のストリーム及びフィルタ符号化係数に対し復号処理を行い、ダウンサンプリング復号画像及びフィルタ係数（オクターブ分解用の各階層の最適なフィルタ係数及びオクターブ再構成用の各階層の最適なフィルタ係数）を生成し、オクターブ再構成部２１に出力する。この復号部２０による復号処理は、前述した画像符号化装置１の復号部１３による復号処理と同じである。
The
オクターブ再構成部２１は、復号部２０からダウンサンプリング復号画像及びフィルタ係数（オクターブ分解用の各階層の最適なフィルタ係数及びオクターブ再構成用の各階層の最適なフィルタ係数）を入力し、オクターブ再構成における各階層の最適なフィルタ係数を用いて、オクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成する。そして、オクターブ再構成部２１は、生成したアップサンプリング画像を原画像として出力する。このオクターブ再構成部２１の処理は、画像符号化装置１のオクターブ再構成部１４の処理と同様である。
The
〔画像復号装置の処理〕
次に、図１０に示した画像復号装置２の処理について説明する。図１１は、画像復号装置２による復号処理を示すフロー図である。また、図１２は、画像復号装置２によるオクターブ再構成処理を示すフロー図である。図１１を参照して、画像復号装置２の復号部２０は、画像符号化装置１から送信されたダウンサンプリング符号化画像及びフィルタ符号化係数を、伝送路３を介して入力し、復号処理を行う（ステップＳ１１０１）。この復号処理により、ダウンサンプリング復号画像及び最適なフィルタ係数が生成される。そして、図１２を参照して、オクターブ再構成部２１は、オクターブ再構成用の各階層の最適なフィルタ係数を用いて、ステップＳ１１０１にて生成されたダウンサンプリング復号画像の水平・垂直標本化周波数がそれぞれ２ｎ（ｎ＝１，２，・・・，ｍ）倍に拡大するように、オクターブ再構成によるアップサンプリング処理を繰り返し行い、アップサンプリング画像（原画像）を生成する（ステップＳ１２０１）。
[Processing of image decoding apparatus]
Next, processing of the
具体的には、オクターブ再構成部２１は、復号部２０から、ダウンサンプリング復号画像であるＣＡ（ｎ）と、オクターブ再構成用の各階層のフィルタ係数Ｆｕ−１〜Ｆｕ−ｎ，Ｆｄ−（ｎ＋１），Ｆｕ−（ｎ＋１）とを入力する。そして、オクターブ再構成部２１は、フィルタ係数Ｆｄ−（ｎ＋１）を用いて、ＣＡ（ｎ）に対し１階のオクターブ分解によるダウンサンプリング処理を行い、ＣＡ（ｎ＋１）、ＣＨ（ｎ＋１）、ＣＶ（ｎ＋１）、ＣＤ（ｎ＋１）を生成し、生成したＣＨ（ｎ＋１）、ＣＶ（ｎ＋１）、ＣＤ（ｎ＋１）を空間低周波数領域成分、同じサイズのゼロ行列を空間高周波数領域成分として、フィルタ係数Ｆｕ−（ｎ＋１）を用いて、１階のオクターブ再構成によるアップサンプリング処理を行い、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）を生成する。そして、オクターブ再構成部２１は、フィルタ係数Ｆｕ−ｎを用いて、ＣＡ（ｎ）、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）に対し１階のオクターブ再構成によるアップサンプリング処理を行い、ＣＡ（ｎ−１）、を生成する。また、オクターブ再構成部２１は、ＣＨ（ｎ）、ＣＶ（ｎ）、ＣＤ（ｎ）を空間低周波数領域成分、同じサイズのゼロ行列を空間高周波数領域成分として、フィルタ係数Ｆｕ−ｎを用いて、１階のオクターブ再構成によるアップサンプリング処理を行い、ＣＨ（ｎ−１）、ＣＶ（ｎ−１）、ＣＤ（ｎ−１）を生成する。このような処理を繰り返すことにより、アップサンプリング画像（原画像）を生成する。
Specifically, the
以上のように、本発明の実施形態による画像復号装置２によれば、画像符号化装置１から伝送路３を介して、ダウンサンプリング符号化画像及びフィルタ符号化係数を受信し、オクターブ再構成部２１が、復号部２０によりフィルタ符号化係数が復号されて生成されたフィルタ係数を用いて、復号部２０によりダウンサンプリング符号化画像が復号されて生成されたダウンサンプリング復号画像を、階層的にオクターブ再構成によるアップサンプリング処理してアップサンプリング画像を生成するようにした。ここで、オクターブ再構成部２１にて用いるフィルタ係数は、画像符号化装置１において、画像復号装置２のオクターブ再構成部２１と同じオクターブ再構成によるアップサンプリング処理にて生成されたアップサンプリング画像が原画像に最も近い最適なフィルタ係数である。
As described above, according to the
これにより、信号復元装置２において、原画像に最も近い高画質な画像を復元することができる。つまり、符号化及び復号処理を高画質に行うことができる。
Thereby, the
〔変形例〕
次に、前述した実施形態の変形例について説明する。この変形例は、タップ数の小さいフィルタ係数すなわち周波数折り返し成分量の多いフィルタ係数から、タップ数の大きいフィルタ係数すなわち折り返し量の少ないフィルタ係数へ徐々に変わるように、フィルタ係数を選定し、選定したフィルタ係数における原画像とアップサンプリング画像との間の画素値の差分を示すＲＭＳ値が減少特性から増加特性に変化したときのフィルタ係数を最適なフィルタ係数に決定するものである。これにより、予め設定された全てのフィルタ係数群について、ダウンサンプリング処理及びアップサンプリング処理を行ってＲＭＳ値を算出する必要がないから、処理負荷を低減し、処理時間を短縮することができる。
[Modification]
Next, a modified example of the above-described embodiment will be described. In this modification, the filter coefficient is selected and selected so that the filter coefficient with a small number of taps, that is, a filter coefficient with a large amount of frequency aliasing components, gradually changes to a filter coefficient with a large number of taps, that is, a filter coefficient with a small amount of aliasing. The filter coefficient when the RMS value indicating the difference in pixel value between the original image and the up-sampled image in the filter coefficient changes from the decrease characteristic to the increase characteristic is determined as the optimum filter coefficient. Thereby, since it is not necessary to calculate the RMS value by performing the downsampling process and the upsampling process for all the preset filter coefficient groups, the processing load can be reduced and the processing time can be shortened.
この変形例による画像符号化装置１の構成は、図１に示したものと同様であるが、フィルタ係数処理部１０の処理が異なる。フィルタ係数処理部１０以外の構成部については前述したので、その説明は省略する。
The configuration of the
フィルタ係数処理部１０は、前述の実施形態と同様に、予め設定されたフィルタ係数群から、オクターブ分解用の各階層のフィルタ係数及びオクターブ再構成用の各階層のフィルタ係数を選定し、オクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力し、オクターブ再構成用の各階層のフィルタ係数をオクターブ再構成部１４に出力する。また、フィルタ係数処理部１０は、原画像を入力すると共に、選定したフィルタ係数にてオクターブ分解及びオクターブ再構成されたアップサンプリング画像を入力し、両画像間の画素値の差分を示すＲＭＳ値を算出する。
The filter
ここで、予め設定されたフィルタ係数群は、タップ数の小さいフィルタ係数群から、タップ数の大きいフィルタ係数群まで、徐々にタップ数が大きくなるように分けられたフィルタ係数群とする。例えば、フィルタ係数処理部１０は、最初に、全体的にタップ数の最も小さいフィルタ係数Ｆｄ−１＝ｐ１，Ｆｄ−２＝ｐ１，・・・，Ｆｄ−ｎ＝ｐ１，Ｆｕ−１＝ｐ１，Ｆｕ−２＝ｐ１，・・・，Ｆｕ−（ｎ＋１）＝ｐ１（全てのフィルタ係数ｐ１）を選定し、ＲＭＳ値を算出する。次に、フィルタ係数処理部１０は、全体的にタップ数が２番目に小さいフィルタ係数Ｆｄ−１＝ｐ２，Ｆｄ−２＝ｐ１，・・・，Ｆｄ−ｎ＝ｐ１，Ｆｕ−１＝ｐ１，Ｆｕ−２＝ｐ１，・・・，Ｆｕ−（ｎ＋１）＝ｐ１（１つのフィルタ係数ｐ２、他のフィルタ係数ｐ１）を選定し、ＲＭＳ値を算出する。
Here, the preset filter coefficient group is a filter coefficient group that is divided so that the number of taps gradually increases from a filter coefficient group with a small number of taps to a filter coefficient group with a large number of taps. For example, first, the filter
そして、フィルタ係数処理部１０は、最初に算出したＲＭＳ値と次に算出したＲＭＳ値とを比較する。このように、フィルタ係数処理部１０は、フィルタ係数を選定する毎に、タップ数が徐々に大きくなるように選定し、その都度ＲＭＳ値を算出し、前回算出したＲＭＳ値と今回算出したＲＭＳ値とを比較する。このような処理を繰り返す。
Then, the filter
一般に、小さいタップ数のフィルタ係数を用いてダウンサンプリング処理を行った場合、周波数通過帯域に含まれる周波数折り返し成分は多くなる。また、大きなタップ数のフィルタ係数を用いてダウンサンプリング処理を行った場合、周波数通過帯域に含まれる周波数折り返し成分は小さくなる。一般に、画像に含まれる空間周波数スペクトルは低域に集中しており、その分布は画像毎に異なる。そして、周波数折り返し成分量は、多過ぎても少な過ぎてもアップサンプリング画質に悪影響を及ぼす。したがって、タップ数の小さいフィルタ係数から徐々にタップ数の大きいフィルタ係数を選定することにより、そのフィルタ係数におけるＲＭＳ値は、タップ数が大きくなるに従って徐々に小さくなり、極小値となり、そして徐々に大きくなる。 In general, when downsampling processing is performed using a filter coefficient with a small number of taps, frequency folding components included in the frequency passband increase. In addition, when downsampling processing is performed using a filter coefficient with a large number of taps, the frequency aliasing component included in the frequency passband becomes small. In general, the spatial frequency spectrum included in an image is concentrated in a low frequency range, and the distribution is different for each image. If the amount of frequency aliasing component is too large or too small, it adversely affects upsampling image quality. Therefore, by selecting a filter coefficient with a large number of taps from a filter coefficient with a small number of taps, the RMS value in the filter coefficient gradually decreases as the number of taps increases, becomes a minimum value, and gradually increases. Become.
そこで、フィルタ係数処理部１０は、ＲＭＳ値が極小値であるか否かを、前回算出したＲＭＳ値と今回算出したＲＭＳ値とを比較することにより判定する。そして、フィルタ係数処理部１０は、ＲＭＳ値の極小値を判定した場合、前回算出したＲＭＳ値におけるフィルタ係数を最適なフィルタ係数に決定する。
Therefore, the filter
図８を参照して、変形例によるフィルタ係数処理部１０のフィルタ係数選定手段１５は、予め設定されたフィルタ係数群から、選定を繰り返す毎に、全体的にタップ数が大きくなるようにフィルタ係数を選定し、オクターブ分解部１１及びオクターブ再構成部１４に出力する。
Referring to FIG. 8, the filter coefficient selection means 15 of the filter
また、フィルタ係数選定手段１５は、原画像を入力すると共に、オクターブ再構成部１４からアップサンプリング画像を入力し、両画像の画素値の差分をＲＭＳ値により算出する。フィルタ係数選定手段１５は、選定したフィルタ係数と算出したＲＭＳ値とを組にして記憶手段１６に格納する。そして、フィルタ係数選定手段１５は、ＲＭＳ値の算出及び格納を完了したことを示す算出完了通知をフィルタ係数決定手段１７に出力する。また、フィルタ係数選定手段１５は、フィルタ係数決定手段１７から後述する選定通知を入力する毎に、このような処理を繰り返し行い、フィルタ係数決定手段１７から後述する決定完了通知を入力した場合、原画像に対する処理を終了する。
In addition, the filter
フィルタ係数決定手段１７は、フィルタ係数選定手段１５から、ＲＭＳ値の算出及び格納を完了したことを示す算出完了通知を入力すると、記憶手段１６から前回格納された（前回の処理にて選定され格納された）フィルタ係数及びＲＭＳ値を読み出すと共に、今回格納された（今回の処理にて選定され格納された）フィルタ係数及びＲＭＳ値を読み出す。そして、フィルタ係数決定手段１７は、前回のＲＭＳ値と今回のＲＭＳ値とを比較し、前回のＲＭＳ値よりも今回のＲＭＳ値の方が大きいと判定した場合（前回のＲＭＳ値が極小値であると判定した場合）、前回のフィルタ係数を最適なフィルタ係数であると判定する。そして、フィルタ係数決定手段１７は、決定完了通知をフィルタ係数選定手段１５に出力すると共に、決定通知を符号化部１２に出力する。これにより、フィルタ係数選定手段１５は、原画像に対するフィルタ係数を選定する処理を終了する。また、フィルタ係数決定手段１７は、最適なフィルタ係数のうちオクターブ分解用の各階層のフィルタ係数をオクターブ分解部１１に出力する。一方、フィルタ係数決定手段１７は、前回のＲＭＳ値よりも今回のＲＭＳ値の方が大きくないと判定した場合（前回のＲＭＳ値は極小値でないと判定した場合）、次のフィルタ係数を選定させるための選定通知をフィルタ係数選定手段１５に出力する。
When the filter coefficient determination unit 17 receives a calculation completion notification indicating that the calculation and storage of the RMS value has been completed from the filter
以上のように、本発明の実施形態による画像符号化装置１によれば、フィルタ係数処理部１０が、フィルタ係数を選定する毎に、タップ数の小さいフィルタ係数からタップ数の大きいフィルタ係数へ徐々に変わるように選定し、選定したフィルタ係数における原画像とアップサンプリング画像との間の画素値の差分を示すＲＭＳ値が極小値をとる点を判定し、その点のフィルタ係数を最適なフィルタ係数に決定するようにした。
As described above, according to the
これにより、オクターブ分解部１１及びオクターブ再構成部１４は、予め設定された全てのフィルタ係数について、ダウンサンプリング処理及びアップサンプリング処理を行う必要がなく、フィルタ係数処理部１０も、予め設定された全てのフィルタ係数について、ＲＭＳ値を算出する必要もない。つまり、画像符号化装置１における処理負荷を低減し、処理時間を短縮することができる。したがって、原画像に最も近い高画質な画像を効率的に復元することができ、符号化及び復号処理を高画質に、かつ効率的に行うことができる。
Thereby, the octave decomposition unit 11 and the
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態では、フィルタ係数処理部１０が、予め設定されたフィルタ係数群からフィルタ係数を選定し、最適なフィルタ係数を決定するようにしたが、予め設定されたフィルタの種類群及びフィルタ係数群からフィルタの種類及びフィルタ係数（フィルタ情報）を選定し、最適なフィルタの種類及びフィルタ係数を決定するようにしてもよい。また、前記実施形態では、フィルタ係数処理部１０が、原画像とアップサンプリング画像との間の画素値の差分を示すＲＭＳ値を算出するようにしたが、原画像及びアップサンプリング画像のエッジ成分をそれぞれ抽出し、エッジ成分の差分を示すＲＭＳ値を算出するようにしてもよい。この場合、フィルタ係数処理部１０は、エッジ成分のＲＭＳ値が最小となるフィルタ係数を最適なフィルタ係数に決定する。
The present invention has been described with reference to the embodiment. However, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the technical idea thereof. For example, in the above embodiment, the filter
また、前記実施形態では、画像符号化装置１が、原画像に対し、所定のフィルタ係数を用いてオクターブ分解によるダウンサンプリング処理を行い、最適なフィルタ係数を決定し、ダウンサンプリング画像及びフィルタ係数を送信し、画像復号装置２が、ダウンサンプリング画像に対し、最適なフィルタ係数を用いてオクターブ再構成によるアップサンプリング処理を行い、原画像を復元するようにしたが、本発明は、空間周波数ダウンサンプリングとアップサンプリングを行う処理全般に適用がある。例えば、ストレージメディアへ圧縮記録する等の処理に適用がある。
In the embodiment, the
また、本発明は、ＪＰＥＧ２０００を用いてフレーム単位で圧縮符号化を行うデジタルシネマ圧縮符号化処理の前段または後段に用いることができる。また、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣで圧縮符号化が検討されているスーパーハイビジョン圧縮符号化処理の前段または後段に用いることができる。また、将来の新しい圧縮符号化方式と組み合わせて用いることも可能である。 The present invention can also be used before or after the digital cinema compression / encoding process in which JPEG2000 is used for compression encoding in units of frames. H. H.264 | MPEG-4AVC can be used before or after the super high-definition compression encoding process that is being studied for compression encoding. Further, it can be used in combination with a new compression encoding method in the future.
尚、画像符号化装置１及び画像復号装置２のハード構成としては、通常のコンピュータを使用することができる。すなわち、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成できる。画像符号化装置１を構成するフィルタ係数処理部１０、オクターブ分解部１１、符号化部１２、復号部１３及びオクターブ再構成部１４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。また、画像復号装置２を構成する復号部２０及びオクターブ再構成部２１の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
As the hardware configuration of the
１ 画像符号化装置
２ 画像復号装置
３ 伝送路
１０ フィルタ係数処理部
１１ オクターブ分解部
１２ 符号化部
１３，２０ 復号部
１４，２１ オクターブ再構成部
１５ フィルタ係数選定手段
１６ 記憶手段
１７ フィルタ係数決定手段
DESCRIPTION OF
Claims (2)
複数のフィルタから、ダウンサンプリング処理における各階層のフィルタ及びアップサンプリング処理における各階層のフィルタを選定し、最適なフィルタを決定するフィルタ情報処理部と、
前記選定されたダウンサンプリング処理における各階層のフィルタを用いて、前記原画像に対しオクターブ分解によるダウンサンプリング処理を行い、ダウンサンプリング画像を生成するオクターブ分解部と、
前記生成されたダウンサンプリング画像に対し符号化処理を行い、ダウンサンプリング符号化画像を生成する符号化部と、
前記生成されたダウンサンプリング符号化画像に対し復号処理を行い、ダウンサンプリング復号画像を生成する復号部と、
前記選定されたアップサンプリング処理における各階層のフィルタを用いて、前記生成されたダウンサンプリング復号画像に対しオクターブ再構成によるアップサンプリング処理を行い、アップサンプリング画像を生成するオクターブ再構成部とを備え、
前記フィルタ情報処理部は、前記原画像と前記生成されたアップサンプリング画像との間の画素値の差分が最も小さくなるフィルタを、前記ダウンサンプリング処理及びアップサンプリング処理における各階層の最適なフィルタに決定し、
前記符号化部は、前記最適なフィルタを用いて生成されたダウンサンプリング画像、及び前記決定された最適なフィルタに関する情報に対し符号化処理を行い、ダウンサンプリング符号化画像及びフィルタ符号化情報を生成する画像符号化装置であって、
前記フィルタ情報処理部は、複数のフィルタから、ダウンサンプリング処理における各階層のフィルタ及びアップサンプリング処理における各階層のフィルタを選定する際に、各階層のフィルタのうち少なくとも１つのフィルタが、前回選定したフィルタのタップ数よりも今回選定したタップ数が大きくなるように、前記フィルタを選定し、前記原画像と前記生成されたアップサンプリング画像との間の画素値の差分が極小となるフィルタを、前記ダウンサンプリング処理及びアップサンプリング処理における各階層の最適なフィルタに決定することを特徴とする画像符号化装置。 In an image encoding device that encodes an original image by downsampling,
A filter information processing unit that selects a filter of each layer in the downsampling process and a filter of each layer in the upsampling process from a plurality of filters, and determines an optimum filter;
An octave decomposition unit that performs a downsampling process by octave decomposition on the original image using a filter of each layer in the selected downsampling process, and generates a downsampled image;
An encoding unit that performs an encoding process on the generated downsampled image and generates a downsampled encoded image;
A decoding unit that performs a decoding process on the generated downsampled encoded image and generates a downsampled decoded image;
An octave reconstruction unit that performs an upsampling process by octave reconstruction on the generated downsampled decoded image using a filter of each layer in the selected upsampling process, and generates an upsampled image,
The filter information processing unit determines a filter having the smallest difference in pixel value between the original image and the generated upsampled image as an optimum filter of each layer in the downsampling process and the upsampling process. And
The encoding unit performs an encoding process on the downsampled image generated using the optimal filter and information on the determined optimal filter, and generates a downsampled encoded image and filter encoded information. An image encoding device for
When the filter information processing unit selects a filter of each hierarchy in the downsampling process and a filter of each hierarchy in the upsampling process from the plurality of filters, at least one of the filters of each hierarchy is selected last time. The filter is selected so that the number of taps selected this time is larger than the number of taps of the filter, and a filter in which a difference in pixel value between the original image and the generated upsampled image is minimized, An image coding apparatus characterized by determining an optimum filter of each layer in downsampling processing and upsampling processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010097528A JP5452337B2 (en) | 2010-04-21 | 2010-04-21 | Image coding apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010097528A JP5452337B2 (en) | 2010-04-21 | 2010-04-21 | Image coding apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011228974A JP2011228974A (en) | 2011-11-10 |
| JP5452337B2 true JP5452337B2 (en) | 2014-03-26 |
Family
ID=45043814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010097528A Active JP5452337B2 (en) | 2010-04-21 | 2010-04-21 | Image coding apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5452337B2 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5894422B2 (en) * | 2011-11-29 | 2016-03-30 | 日本放送協会 | Spatio-temporal low correlation image super-resolution device, image space super-resolution device, and program thereof |
| JP5866245B2 (en) * | 2012-04-19 | 2016-02-17 | 日本放送協会 | Super-resolution parameter determination device, image reduction device, and program |
| US10034004B2 (en) * | 2012-08-24 | 2018-07-24 | I-Cubed Research Center Inc. | Receiving apparatus, transmitting apparatus, and image transmitting method |
| JP6202725B2 (en) * | 2013-05-23 | 2017-09-27 | 日本放送協会 | Image difference amount calculation device, image encoding device, and program |
| JP6190170B2 (en) * | 2013-06-06 | 2017-08-30 | 日本放送協会 | Space / gradation reduction apparatus and program |
| JP6163022B2 (en) * | 2013-06-06 | 2017-07-12 | 日本放送協会 | Encoding apparatus and program |
| JP6388476B2 (en) * | 2014-01-20 | 2018-09-12 | 日本放送協会 | Encoding apparatus and program |
| JP2015203952A (en) * | 2014-04-14 | 2015-11-16 | 日本放送協会 | super-resolution device and program |
| JP6378531B2 (en) * | 2014-05-07 | 2018-08-22 | 日本放送協会 | Super-resolution device and program |
| JP6363878B2 (en) * | 2014-06-04 | 2018-07-25 | 日本放送協会 | Super-resolution image optimization apparatus and program |
| KR101649317B1 (en) * | 2014-12-31 | 2016-08-18 | 인천대학교 산학협력단 | Picture enhancement and enlargement algorithm on a small infrared images |
| JP6484097B2 (en) * | 2015-04-22 | 2019-03-13 | 日本放送協会 | Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, video encoding program, and video decoding program |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3855286B2 (en) * | 1995-10-26 | 2006-12-06 | ソニー株式会社 | Image encoding device, image encoding method, image decoding device, image decoding method, and recording medium |
| US6236765B1 (en) * | 1998-08-05 | 2001-05-22 | Intel Corporation | DWT-based up-sampling algorithm suitable for image display in an LCD panel |
| US6377280B1 (en) * | 1999-04-14 | 2002-04-23 | Intel Corporation | Edge enhanced image up-sampling algorithm using discrete wavelet transform |
| JP2001313942A (en) * | 2000-04-27 | 2001-11-09 | Canon Inc | Method and device for image processing |
| US7085436B2 (en) * | 2001-08-28 | 2006-08-01 | Visioprime | Image enhancement and data loss recovery using wavelet transforms |
| US20060284891A1 (en) * | 2003-08-28 | 2006-12-21 | Koninklijke Philips Electronics N.V. | Method for spatial up-scaling of video frames |
| JP2006211152A (en) * | 2005-01-26 | 2006-08-10 | Hokkaido Univ | Device and method for coding image and decoding image, and programs for coding and decoding image |
| JP4371070B2 (en) * | 2005-03-23 | 2009-11-25 | 日本ビクター株式会社 | Image layer encoding method and image layer decoding method |
| JP4295236B2 (en) * | 2005-03-29 | 2009-07-15 | 日本電信電話株式会社 | Inter-layer prediction encoding method, apparatus, inter-layer prediction decoding method, apparatus, inter-layer prediction encoding program, inter-layer prediction decoding program, and program recording medium thereof |
-
2010
- 2010-04-21 JP JP2010097528A patent/JP5452337B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011228974A (en) | 2011-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5452337B2 (en) | Image coding apparatus and program | |
| JP6206879B2 (en) | Signal processing and layered signal encoding | |
| KR102062764B1 (en) | Method And Apparatus For Generating 3K Resolution Display Image for Mobile Terminal screen | |
| JP4844741B2 (en) | Moving picture coding apparatus and moving picture decoding apparatus, method and program thereof | |
| KR20170118463A (en) | Encoding apparatus, decoding apparatus and method thereof | |
| JP5140638B2 (en) | Spatial downsampling processing device, spatial upsampling processing device, encoding device, decoding device, and program | |
| US11546634B2 (en) | Upsampling for signal enhancement coding | |
| JP2007174634A (en) | Layered coding and decoding methods, apparatuses, and programs | |
| TWI390984B (en) | Apparatus and method for sub-sampling images in a transform domain | |
| US20240040160A1 (en) | Video encoding using pre-processing | |
| JP4835855B2 (en) | Apparatus, method and program for moving picture encoding, and apparatus method and program for moving picture decoding | |
| JP5419795B2 (en) | Image coding apparatus and program | |
| JP4127465B2 (en) | Image expansion apparatus and method, and recording medium | |
| KR20160040930A (en) | Method and apparatus for re-encoding an image | |
| JP5140637B2 (en) | Spatiotemporal downsampling processing device, spatiotemporal upsampling processing device, encoding device, decoding device, and program | |
| EP3170306B1 (en) | Multilevel video compression, decompression, and display for 4k and 8k applications | |
| JP4780139B2 (en) | Video hierarchy encoding apparatus, video hierarchy encoding method, video hierarchy encoding program, video hierarchy decoding apparatus, video hierarchy decoding method, and video hierarchy decoding program | |
| JP4373384B2 (en) | Time resolution enlarging method and apparatus, program, and computer-readable recording medium | |
| JP2004147096A (en) | Encoding method | |
| JP3914214B2 (en) | Image coding apparatus and image decoding apparatus | |
| JP6388476B2 (en) | Encoding apparatus and program | |
| JP2004147095A (en) | Method of decoding | |
| JP5351094B2 (en) | Image coding method, image coding apparatus, and image coding program | |
| JP3809303B2 (en) | Image processing apparatus and method | |
| JP4231386B2 (en) | Resolution scalable decoding method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130709 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130814 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131105 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20131113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5452337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |