JP6874933B2 - Super-resolution image generators, programs, and integrated circuits - Google Patents
Super-resolution image generators, programs, and integrated circuits Download PDFInfo
- Publication number
- JP6874933B2 JP6874933B2 JP2017068714A JP2017068714A JP6874933B2 JP 6874933 B2 JP6874933 B2 JP 6874933B2 JP 2017068714 A JP2017068714 A JP 2017068714A JP 2017068714 A JP2017068714 A JP 2017068714A JP 6874933 B2 JP6874933 B2 JP 6874933B2
- Authority
- JP
- Japan
- Prior art keywords
- subband
- data
- subband data
- unit
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 181
- 238000000034 method Methods 0.000 claims description 142
- 230000008569 process Effects 0.000 claims description 134
- 230000015572 biosynthetic process Effects 0.000 claims description 36
- 238000003786 synthesis reaction Methods 0.000 claims description 36
- 238000001914 filtration Methods 0.000 claims description 18
- 230000000875 corresponding effect Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 28
- 238000004364 calculation method Methods 0.000 description 23
- 230000002194 synthesizing effect Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000001228 spectrum Methods 0.000 description 11
- 238000012546 transfer Methods 0.000 description 8
- 238000011084 recovery Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 229940035637 spectrum-4 Drugs 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 102220470231 Charged multivesicular body protein 5_D11A_mutation Human genes 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Description
本発明は、入力画像信号の解像度を高めて出力画像信号を生成する技術である超解像技術に関する。 The present invention relates to a super-resolution technique which is a technique of increasing the resolution of an input image signal to generate an output image signal.
動画像の解像度を向上させる処理として、フレーム内だけで解像度を向上させるフレーム内超解像度処理と、フレーム内超解像度処理にさらにフレーム間処理を行うフレーム間解像度処理とがある。 As a process for improving the resolution of a moving image, there are an in-frame super-resolution process for improving the resolution only in the frame and an inter-frame resolution process for further performing an inter-frame process in addition to the in-frame super-resolution process.
フレーム内超解像処理では、静止画での画質向上を実現させる処理と同様に、１フレームごとに輪郭補正やドットノイズ消去といった処理を実行するだけであり、複数のフレームを用いた時間軸方向の演算処理は実行しない。そして、フレーム内超解像度処理では、主として輝度信号を処理対象として処理が実行される。 In the in-frame super-resolution processing, similar to the processing for improving the image quality of a still image, only processing such as contour correction and dot noise elimination is executed for each frame, and the time axis direction using a plurality of frames is used. The arithmetic processing of is not executed. Then, in the in-frame super-resolution processing, the processing is mainly executed with the luminance signal as the processing target.
例えば、単純に線形フィルタを用いて、フレーム内の各画素を線形補間することで、解像度を向上させる処理を実行した場合、この処理により取得される高解像度画像は、ぼやけた画質の画像となる。つまり、線形補間により解像度を向上させる処理では、新たに挿入された画素（線形補間により挿入された画素）の画素値は、当該画素を挿入するときに用いた当該画素の周辺の画素（原画像に存在する画素）の画素値を平均化した値となる。したがって、線形補間により解像度を向上させる処理により取得される高解像度画像は、ぼやけた画質の画像となる。このような手法による高解像度化処理は、真の高解像度処理とはいえない。 For example, when a process of improving the resolution is executed by simply linearly interpolating each pixel in the frame using a linear filter, the high-resolution image obtained by this process becomes an image with a blurred image quality. .. That is, in the process of improving the resolution by linear interpolation, the pixel value of the newly inserted pixel (pixel inserted by linear interpolation) is the pixel around the pixel used when inserting the pixel (original image). It is a value obtained by averaging the pixel values of (pixels existing in). Therefore, the high-resolution image acquired by the process of improving the resolution by linear interpolation becomes an image with a blurred image quality. The high-resolution processing by such a method cannot be said to be a true high-resolution processing.
そこで、例えば、画像のテクスチャ部分、エッジ部分、平坦部分等を抽出し、抽出した部分に対して、それぞれ、異なる画像処理（処理強度の異なる高域成分強調処理）を施すことで、高解像度画像を取得する技術が開発されている（例えば、特許文献１を参照）。 Therefore, for example, a high-resolution image is obtained by extracting a texture portion, an edge portion, a flat portion, etc. of an image and performing different image processing (high-frequency component enhancement processing having different processing intensities) on the extracted portion. (See, for example, Patent Document 1).
例えば、品質の高い高解像度画像を取得する処理として、以下のような処理が考えられる。 For example, the following processing can be considered as a processing for acquiring a high-quality high-resolution image.
原画像を、（１）細部が細かく変化するテクスチャ部、（２）テクスチャ部の輪郭部、（３）画素の画素値の変化が乏しい平坦部の３つに分けて、テクスチャ部には何らかの画質改善処理を施し、輪郭部にはエッジ強調処理を、平坦部には何も処理を行わずそのままにする。 The original image is divided into three parts: (1) a texture part where the details change finely, (2) a contour part of the texture part, and (3) a flat part where the pixel value of the pixel does not change much. The improvement process is applied, the edge enhancement process is applied to the contour portion, and the flat portion is left as it is without any process.
つまり、この処理では、（１）細部が細かく変化するテクスチャ部、（２）テクスチャ部の輪郭部、（３）画素の画素値の変化が乏しい平坦部に対して、異なる操作を行うことで、遠近感を高めた高解像度画像（高品質の高解像度画像）を取得することができる。 That is, in this process, different operations are performed on (1) the textured portion where the details change finely, (2) the contour portion of the textured portion, and (3) the flat portion where the pixel value of the pixel does not change much. It is possible to acquire a high-resolution image (high-quality high-resolution image) with enhanced perspective.
しかしながら、上記のような処理では、所定の性質の画像領域を抽出し、抽出した所定の性質を有する画像領域ごとに、異なる処理を実行する必要があり、処理が非常に煩雑になる。つまり、上記のような処理では、場合分け処理を行う必要があるので、処理が非常に煩雑になる。また、上記のような処理では、抽出した所定の性質を有する画像領域ごとのパラメータの設定（高域成分強調処理の処理強度の調整等）を行う必要があり、適切なパラメータ設定がなされないと、高精度の高解像度画像が取得できないとという問題もある。 However, in the above processing, it is necessary to extract an image region having a predetermined property and execute a different processing for each extracted image region having the predetermined property, which makes the processing very complicated. That is, in the above-mentioned processing, it is necessary to perform the case-by-case processing, which makes the processing very complicated. Further, in the above processing, it is necessary to set the parameters for each image region having the extracted predetermined properties (adjustment of the processing intensity of the high frequency component enhancement processing, etc.), and the appropriate parameters must be set. There is also a problem that a high-precision high-resolution image cannot be obtained.
そこで、本発明は、上記課題に鑑み、場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得する超解像画像生成装置、プログラム、および、集積回路を実現することを目的とする。 Therefore, in view of the above problems, the present invention realizes a super-resolution image generator, a program, and an integrated circuit that always obtains a high-resolution image with high accuracy by a simple algorithm without performing case-by-case processing. The purpose is.
上記課題を解決するために、第１の発明は、サブバンド分割部と、予測部と、サブバンド合成部と、を備える超解像画像生成装置である。 In order to solve the above problems, the first invention is a super-resolution image generation device including a sub-band dividing unit, a predicting unit, and a sub-band synthesizing unit.
サブバンド分割部は、原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得する。 The sub-band division unit executes the sub-band division process on the original image LL (0), and the sub-band data LL (1) and HL, which are sub-band data one layer lower than the original image LL (0). (1), LH (1), and HH (1) are acquired, and subband division processing is further executed on the subband data LL (1), so that the original image LL (0) has two layers. Sub-band data HL (2), LH (2), and HH (2), which are the lower sub-band data, are acquired.
予測部は、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する。そして、予測部は、以下の処理を行う。
（Ａ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＨ’（０）を取得する。
The prediction unit is subband data of the super-resolution image LL (-1) in which the horizontal resolution of the original image LL (0) is doubled and the vertical resolution is doubled, and is in the same layer as the original image LL (0). The subband data HL (0), LH (0), and the predicted subband data HL'(0), LH'(0), and HH'(0) of HH (0) are acquired. Then, the prediction unit performs the following processing.
(A) The prediction unit is subband data based on predetermined physical quantities derived from subband data HL (2) and subband data HL (1), which are subband data of the same type and different layers. Prediction subband data HL'(0) is acquired by performing prediction processing using the simple extended subband data tp_HL (0) obtained by upsampling and filtering from HL (1).
(B) The prediction unit is based on predetermined physical quantities derived from subband data LH (2) and subband data LH (1), which are the same type of subband data but have different hierarchies. Prediction subband data LH'(0) is acquired by performing prediction processing using the simple extended subband data tp_LH (0) obtained by upsampling and filtering from LH (1).
(C) The prediction unit is subband data based on predetermined physical quantities derived from subband data HH (2) and subband data HH (1), which are subband data of the same type and different layers. Prediction subband data HH'(0) is acquired by performing prediction processing using the simple extended subband data tp_HH (0) obtained by upsampling and filtering from HH (1).
サブバンド合成部は、原画像ＬＬ（０）と、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得する。 The sub-band synthesizing unit performs a sub-band synthesizing process using the original image LL (0) and the predicted sub-band data HL'(0), LH'(0), and HH'(0). A super-resolution image LL (-1) in which the horizontal resolution of the original image LL (0) is doubled and the vertical resolution is doubled is acquired.
この超解像画像生成装置では、サブバンド分割処理（サブバンド符号化処理）により取得される同種のサブバンドであって、階層が異なるサブバンド同士は相関性が高いことを利用して、原画像ＬＬ（０）の解像度を２倍に拡張した超解像画像ＬＬ（−１）を取得するために必要となる、サブバンドデータＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。 In this super-resolution image generator, subbands of the same type acquired by subband division processing (subband coding processing) but having different hierarchies are highly correlated with each other. Prediction of subband data HL (0), LH (0), HH (0) required to acquire super-resolution image LL (-1) in which the resolution of image LL (0) is doubled. Subband data HL'(0), LH'(0), HH'(0) are acquired.
つまり、この超解像画像生成装置では、予測部が、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得するために、同種のサブバンドであって、階層が異なるサブバンド同士の所定の物理量に相関性がある（例えば、平均エネルギーの比が略一定になる）という事実に基づいて、単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）、ｔｍｐ＿ＬＨ（０）、ｔｍｐ＿ＨＨ（０）から、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。 That is, in this super-resolution image generator, the prediction unit is a subband of the same type in order to acquire the prediction subband data HL'(0), LH'(0), and HH'(0). Simple extended subband data tp_HL (0), tp_LH (0), tp_HH based on the fact that there is a correlation (for example, the ratio of average energies is substantially constant) between subbands in different hierarchies. From (0), the predicted subband data HL'(0), LH'(0), and HH'(0) are acquired.
そして、この超解像画像生成装置では、サブバンド合成部が、原画像ＬＬ（０）と、予測部により取得された予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、高精度の超解像画像ＬＬ（−１）を取得する。 Then, in this super-resolution image generator, the sub-band synthesizing unit uses the original image LL (0) and the predicted sub-band data HL'(0), LH'(0), HH'( A high-precision super-resolution image LL (-1) is acquired by performing a subband synthesis process using 0) and.
したがって、この超解像画像生成装置では、従来技術のように場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得することができる。 Therefore, in this super-resolution image generation device, it is possible to always acquire a high-precision high-resolution image with a simple algorithm without performing case-by-case processing as in the prior art.
なお、「所定の物理量」とは、例えば、電力、エネルギー、あるいは、それらに準ずる物理量である。 The "predetermined physical quantity" is, for example, electric power, energy, or a physical quantity equivalent thereto.
第２の発明は、第１の発明であって、原画像ＬＬ（０）およびサブバンドデータＬＬ（１）から、復元率を取得する復元率取得部であって、サブバンドデータＬＬ（１）を仮の原画像として、サブバンド分割部、予測部、および、サブバンド合成部と同様の処理を実行し、サブバンドデータＬＬ（１）の超解像画像ＬＬ’（０）を取得し、取得した超解像画像ＬＬ’（０）と原画像ＬＬ（０）とを比較することで復元率を取得する復元率取得部をさらに備える。 The second invention is the first invention, which is a restoration rate acquisition unit that acquires a restoration rate from the original image LL (0) and the subband data LL (1), and is a subband data LL (1). Is used as a temporary original image, and the same processing as that of the subband dividing unit, the predicting unit, and the subband synthesizing unit is executed to acquire the super-resolution image LL'(0) of the subband data LL (1). A restoration rate acquisition unit for acquiring a restoration rate by comparing the acquired super-resolution image LL'(0) with the original image LL (0) is further provided.
これにより、この超解像画像生成装置では、復元率取得部により復元率を取得することができる。 As a result, in this super-resolution image generation device, the restoration rate can be acquired by the restoration rate acquisition unit.
第３の発明は、第１または第２の発明であって、予測部は、以下の処理を行う。
（Ａ）予測部は、サブバンドデータＨＬ（２）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＬ（２））と、サブバンドデータＨＬ（１）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＬ（１））とを取得し、
ｋＨＬ＝Ｅｍｅａｎ（ＨＬ（１））／Ｅｍｅａｎ（ＨＬ（２））
により、係数ｋＨＬを取得し、
ＨＬ’（０）＝ｋＨＬ×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測部は、サブバンドデータＬＨ（２）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＬＨ（２））と、サブバンドデータＬＨ（１）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＬＨ（１））とを取得し、
ｋＬＨ＝Ｅｍｅａｎ（ＬＨ（１））／Ｅｍｅａｎ（ＬＨ（２））
により、係数ｋＨＬを取得し、
ＬＨ’（０）＝ｋＬＨ×ｔｍｐ＿ＬＨ（０）
に相当する処理を実行することで、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測部は、サブバンドデータＨＨ（２）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＨ（２））と、サブバンドデータＨＨ（１）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＨ（１））とを取得し、
ｋＨＨ＝Ｅｍｅａｎ（ＨＨ（１））／Ｅｍｅａｎ（ＨＨ（２））
により、係数ｋＨＨを取得し、
ＨＬ’（０）＝ｋＨＬ×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、予測サブバンドデータＨＨ’（０）を取得する。
The third invention is the first or second invention, and the prediction unit performs the following processing.
(A) The prediction unit includes the average energy E mean (HL (2)) of the subband region corresponding to the subband data HL (2) and the average energy E of the subband region corresponding to the subband data HL (1). Obtained mean (HL (1)) and
k HL = E mean (HL (1)) / E mean (HL (2))
To obtain the coefficient k HL,
HL'(0) = k HL x tp_HL (0)
By executing the process corresponding to, the prediction subband data HL'(0) is acquired.
(B) The prediction unit includes the average energy E mean (LH (2)) of the subband region corresponding to the subband data LH (2) and the average energy E of the subband region corresponding to the subband data LH (1). Obtained mean (LH (1)) and
k LH = E mean (LH (1)) / E mean (LH (2))
To obtain the coefficient k HL,
LH'(0) = k LH x tp_LH (0)
By executing the process corresponding to, the prediction subband data LH'(0) is acquired.
(C) The prediction unit includes the average energy E mean (HH (2)) of the subband region corresponding to the subband data HH (2) and the average energy E of the subband region corresponding to the subband data HH (1). Obtained mean (HH (1)) and
k HH = E mean (HH (1)) / E mean (HH (2))
To obtain the coefficient k HH
HL'(0) = k HL x tp_HL (0)
By executing the process corresponding to, the prediction subband data HH'(0) is acquired.
これにより、この超解像画像生成装置では、同種で階層が異なるサブバンド領域の平均エネルギーの比に基づいて、係数ｋＨＬ、ｋＬＨ、ｋＨＨを取得でき、当該係数を用いてサブバンド合成処理を実行することができる。したがって、この超解像画像生成装置では、高精度の超解像画像が取得できる。 As a result, in this super-resolution image generator, the coefficients kHL , k LH , and k HH can be obtained based on the ratio of the average energies of the subband regions of the same type but different layers, and the subband synthesis is performed using the coefficients. The process can be executed. Therefore, this super-resolution image generator can acquire a high-precision super-resolution image.
第４の発明は、第１または第２の発明であって、サブバンド領域内に小領域を設定する小領域設定部をさらに備える。 The fourth invention is the first or second invention, further including a small area setting unit for setting a small area in the subband area.
そして、予測部は、以下の処理を行う。
（Ａ）予測部は、サブバンドデータＨＬ（２）に相当する小領域である小領域Ｒｋ（ＨＬ（２））と、サブバンドデータＨＬ（１）に相当する小領域である小領域Ｒｋ（ＨＬ（１））とから導出される所定の物理量に基づいて、単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）の小領域であって、サブバンドデータＨＬ（０）のサブバンド領域に対応する小領域Ｒｋ（ＨＬ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測部は、サブバンドデータＬＨ（２）に相当する小領域である小領域Ｒｋ（ＬＨ（２））と、サブバンドデータＬＨ（１）に相当する小領域である小領域Ｒｋ（ＬＨ（１））とから導出される所定の物理量に基づいて、単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）の小領域であって、サブバンドデータＬＨ（０）のサブバンド領域に対応する小領域Ｒｋ（ＬＨ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測部は、サブバンドデータＨＨ（２）に相当する小領域である小領域Ｒｋ（ＨＨ（２））と、サブバンドデータＨＨ（１）に相当する小領域である小領域Ｒｋ（ＨＨ（１））とから導出される所定の物理量に基づいて、単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）の小領域であって、サブバンドデータＨＨ（０）のサブバンド領域に対応する小領域Ｒｋ（ＨＨ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、予測サブバンドデータＨＨ’（０）を取得する。
Then, the prediction unit performs the following processing.
The prediction unit includes a small region R k (HL (2)) which is a small region corresponding to the subband data HL (2) and a small region R which is a small region corresponding to the subband data HL (1). A small region of the simple extended subband data tp_HL (0) based on a predetermined physical quantity derived from k (HL (1)) and corresponding to the subband region of the subband data HL (0). The data of the region R k (HL (0)) is predicted, and the predicted subband data HL'(0) is acquired based on the data acquired by the prediction processing.
(B) The prediction unit includes a small region R k (LH (2)) which is a small region corresponding to the subband data LH (2) and a small region R which is a small region corresponding to the subband data LH (1). A small region of the simple extended subband data tp_LH (0) based on a predetermined physical quantity derived from k (LH (1)) and corresponding to the subband region of the subband data LH (0). The data of the region R k (LH (0)) is predicted, and the predicted subband data LH'(0) is acquired based on the data acquired by the prediction processing.
(C) The prediction unit includes a small region R k (HH (2)) which is a small region corresponding to the subband data HH (2) and a small region R which is a small region corresponding to the subband data HH (1). A small region of the simple extended subband data tp_HH (0) based on a predetermined physical quantity derived from k (HH (1)) and corresponding to the subband region of the subband data HH (0). The data of the region R k (HH (0)) is predicted, and the predicted subband data HH'(0) is acquired based on the data acquired by the prediction processing.
これにより、この超解像画像生成装置では、同種で階層が異なるサブバンド領域の対応する小領域の所定の物理量（例えば、平均エネルギーの比）に基づいて、予測サブバンドデータＬＨ’（０）、ＨＬ’（０）、ＨＨ’（０）が取得でき、当該予測サブバンドデータを用いてサブバンド合成処理を実行することができる。したがって、この超解像画像生成装置では、高精度の超解像画像が取得できる。 As a result, in this super-resolution image generator, the predicted subband data LH'(0) is based on a predetermined physical quantity (for example, the ratio of average energies) of the corresponding small regions of the same type but different hierarchies. , HL'(0), HH'(0) can be acquired, and the subband synthesis process can be executed using the predicted subband data. Therefore, this super-resolution image generator can acquire a high-precision super-resolution image.
第５の発明は、第４の発明であって、小領域は、矩形領域により設定される。 The fifth invention is the fourth invention, in which the small area is set by the rectangular area.
これにより、この超解像画像生成装置では、小領域を矩形領域に設定することができる。 As a result, in this super-resolution image generation device, a small area can be set as a rectangular area.
なお、小領域は、矩形領域に限らず、円形領域、楕円領域等に設定してもよい。 The small area is not limited to the rectangular area, but may be set to a circular area, an elliptical area, or the like.
第６の発明は、第４または第５の発明であって、同一のサブバンド領域内に第１小領域および第２小領域が含まれ、第１小領域のサイズは、第２小領域のサイズと異なる。 The sixth invention is the fourth or fifth invention, in which the first sub-band region and the second sub-region are included in the same subband region, and the size of the first sub-region is the size of the second sub-region. Different from size.
これにより、この超解像画像生成装置では、サイズの異なる小領域を用いて、超解像画像生成処理を実行することができる。 As a result, in this super-resolution image generation device, the super-resolution image generation process can be executed using small regions having different sizes.
第７の発明は、第４の発明であって、小領域設定部は、復元率に基づいて、小領域のサイズを調整する。 The seventh invention is the fourth invention, in which the small area setting unit adjusts the size of the small area based on the restoration rate.
これにより、この超解像画像生成装置では、復元率に基づいて、小領域のサイズを調整することができる。そして、復元率が良好な状態となったことを確認した後、超解像画像を取得することで、より精度の高い超解像画像を取得することができる。 Thereby, in this super-resolution image generator, the size of a small area can be adjusted based on the restoration rate. Then, after confirming that the restoration rate is in a good state, it is possible to acquire a super-resolution image with higher accuracy by acquiring the super-resolution image.
第８の発明は、第７の発明であって、復元率取得部は、サブバンドデータＨＬ（１）と予測サブバンドデータＨＬ’（１）とに基づいて、第１サブバンド復元率を取得し、サブバンドデータＬＨ（１）と予測サブバンドデータＬＨ’（１）とに基づいて、第２サブバンド復元率を取得し、サブバンドデータＨＨ（１）と予測サブバンドデータＨＨ’（１）とに基づいて、第３サブバンド復元率を取得する。 The eighth invention is the seventh invention, and the restoration rate acquisition unit acquires the first subband restoration rate based on the subband data HL (1) and the predicted subband data HL'(1). Then, the second subband restoration rate is acquired based on the subband data LH (1) and the predicted subband data LH'(1), and the subband data HH (1) and the predicted subband data HH'(1) are obtained. ) And, the third subband restoration rate is acquired.
小領域設定部は、第１サブバンド復元率、第２サブバンド復元率、および、第３サブバンド復元率に基づいて、小領域のサイズを調整する。 The small area setting unit adjusts the size of the small area based on the first subband restoration rate, the second subband restoration rate, and the third subband restoration rate.
これにより、この超解像画像生成装置では、サブバンド領域ごとの復元率である第１〜第３サブバンド復元率に基づいて、サブバンド内の小領域の大きさを調整することができる。そして、この超解像画像生成装置では、画像全体の復元率と、サブバンド領域の復元率とを考慮することで、最適なサブバンド内の小領域を設定することができ、設定されたサブバンド内の小領域を用いて、超解像画像生成処理を行うことで、高精度な超解像画像を取得することができる。 Thereby, in this super-resolution image generation apparatus, the size of the small region in the subband can be adjusted based on the first to third subband restoration ratios which are the restoration ratios for each subband region. Then, in this super-resolution image generator, by considering the restoration rate of the entire image and the restoration rate of the sub-band area, it is possible to set a small area in the optimum sub-band, and the set sub A high-precision super-resolution image can be obtained by performing a super-resolution image generation process using a small area in the band.
第９の発明は、第４から第８のいずれかの発明であって、原画像ＬＬ（０）は、Ｙ成分画像信号、Ｃｂ成分画像信号、および、Ｃｒ成分画像信号から形成され、復元率取得部は、Ｙ成分画像信号、Ｃｂ成分画像信号、および、Ｃｒ成分画像信号のそれぞれについて、復元率を取得する。 The ninth invention is any one of the fourth to eighth inventions, in which the original image LL (0) is formed from a Y component image signal, a Cb component image signal, and a Cr component image signal, and has a restoration rate. The acquisition unit acquires the restoration rate for each of the Y component image signal, the Cb component image signal, and the Cr component image signal.
小領域設定部は、Ｙ成分画像信号について取得された復元率に基づいて、Ｙ成分画像信号により形成されるＹ成分画像に対してサブバンド分割処理を実行することで取得されるサブバンド内の小領域のサイズを調整する。 The small area setting unit is in the subband acquired by executing the subband division process on the Y component image formed by the Y component image signal based on the restoration rate acquired for the Y component image signal. Adjust the size of the small area.
また、小領域設定部は、Ｃｂ成分画像信号について取得された復元率に基づいて、Ｃｂ成分画像信号により形成されるＣｂ成分画像に対してサブバンド分割処理を実行することで取得されるサブバンド内の小領域のサイズを調整する。 Further, the small area setting unit performs a subband division process on the Cb component image formed by the Cb component image signal based on the restoration rate acquired for the Cb component image signal. Adjust the size of the small area inside.
また、小領域設定部は、Ｃｒ成分画像信号について取得された復元率に基づいて、Ｃｒ成分画像信号により形成されるＣｒ成分画像に対してサブバンド分割処理を実行することで取得されるサブバンド内の小領域のサイズを調整する。 Further, the small area setting unit acquires a subband by executing a subband division process on the Cr component image formed by the Cr component image signal based on the restoration rate acquired for the Cr component image signal. Adjust the size of the small area inside.
これにより、この超解像画像生成装置では、ＹＣｂＣｒ色空間の画像信号についても、Ｙ成分画像、Ｃｂ成分画像、Ｃｒ成分画像ごとに、最適な大きさに調整されたサブバンド内の小領域をもちいて、超解像画像生成処理を実行することができる。その結果、この超解像画像生成装置では、高精度な超解像画像を取得することができる。 As a result, in this super-resolution image generator, even for the image signal in the YCbCr color space, a small area in the subband adjusted to the optimum size for each Y component image, Cb component image, and Cr component image is created. It can be used to execute super-resolution image generation processing. As a result, this super-resolution image generator can acquire a high-precision super-resolution image.
なお、Ｙ成分画像、Ｃｂ成分画像、Ｃｒ成分画像ごとに、それぞれ復元率が最良となるように、Ｙ成分画像についての小領域のサイズ、Ｃｂ成分画像についての小領域のサイズ、Ｃｒ成分画像についての小領域のサイズを設定することが好ましい。 The size of the small area for the Y component image, the size of the small area for the Cb component image, and the Cr component image so that the restoration rate is the best for each of the Y component image, the Cb component image, and the Cr component image. It is preferable to set the size of the small area of.
また、Ｙ成分画像、Ｃｂ成分画像、Ｃｒ成分画像についての設定される小領域は、それぞれ、異なるサイズ、形状であってもよい。 Further, the small regions set for the Y component image, the Cb component image, and the Cr component image may have different sizes and shapes, respectively.
第１０の発明は、第２から第９の発明であって、小領域設定部は、超解像画像ＬＬ’（０）と、原画像ＬＬ（０）とを比較することで取得した復元率が最良の値となるように、小領域のサイズを調整する。 The tenth invention is the second to ninth inventions, and the small area setting unit has a restoration rate obtained by comparing the super-resolution image LL'(0) with the original image LL (0). Adjust the size of the small area so that is the best value.
これにより、この超解像画像生成装置では、画像全体の復元率が最良となるようにサブバンド領域を分割することができる（サブバンド領域内の小領域を設定することができる）。 As a result, in this super-resolution image generator, the sub-band region can be divided so that the restoration rate of the entire image is the best (a small region within the sub-band region can be set).
第１１の発明は、超解像画像生成方法をコンピュータに実行させるためのプログラムである。 The eleventh invention is a program for causing a computer to execute a super-resolution image generation method.
超解像画像生成方法は、サブバンド分割ステップと、予測ステップと、サブバンド合成ステップと、を備える。 The super-resolution image generation method includes a sub-band division step, a prediction step, and a sub-band synthesis step.
サブバンド分割ステップは、原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得する。 In the sub-band division step, the sub-band division process is executed on the original image LL (0), and the sub-band data LL (1) and HL, which are sub-band data one layer lower than the original image LL (0), are executed. (1), LH (1), and HH (1) are acquired, and subband division processing is further executed on the subband data LL (1), so that the original image LL (0) has two layers. Sub-band data HL (2), LH (2), and HH (2), which are the lower sub-band data, are acquired.
予測ステップは、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する。そして、予測ステップは、以下の処理を行う。
（Ａ）予測ステップは、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測ステップは、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測ステップは、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＨ’（０）を取得する。
The prediction step is subband data of the super-resolution image LL (-1) in which the horizontal resolution of the original image LL (0) is doubled and the vertical resolution is doubled, and is the same layer as the original image LL (0). The subband data HL (0), LH (0), and the predicted subband data HL'(0), LH'(0), and HH'(0) of HH (0) are acquired. Then, the prediction step performs the following processing.
(A) The prediction step is based on predetermined physical quantities derived from subband data HL (2) and subband data HL (1), which are subband data of the same type and different layers. Prediction subband data HL'(0) is acquired by performing prediction processing using the simple extended subband data tp_HL (0) obtained by upsampling and filtering from HL (1).
(B) The prediction step is based on predetermined physical quantities derived from subband data LH (2) and subband data LH (1), which are subband data of the same type and different layers. Prediction subband data LH'(0) is acquired by performing prediction processing using the simple extended subband data tp_LH (0) obtained by upsampling and filtering from LH (1).
(C) The prediction step is based on predetermined physical quantities derived from subband data HH (2) and subband data HH (1), which are subband data of the same type and different layers. Prediction subband data HH'(0) is acquired by performing prediction processing using the simple extended subband data tp_HH (0) obtained by upsampling and filtering from HH (1).
サブバンド合成ステップは、原画像ＬＬ（０）と、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得する。 The subband synthesis step is performed by performing a subband synthesis process using the original image LL (0) and the predicted subband data HL'(0), LH'(0), and HH'(0). A super-resolution image LL (-1) in which the horizontal resolution of the original image LL (0) is doubled and the vertical resolution is doubled is acquired.
これにより、第１の発明と同様の効果を奏する超解像画像生成方法をコンピュータに実行させるためのプログラムを実現することができる。 This makes it possible to realize a program for causing a computer to execute a super-resolution image generation method having the same effect as that of the first invention.
第１２の発明は、サブバンド分割部と、予測部と、サブバンド合成部と、を備える集積回路である。 A twelfth invention is an integrated circuit including a sub-band dividing unit, a predicting unit, and a sub-band synthesizing unit.
サブバンド分割部は、原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得する。 The sub-band division unit executes the sub-band division process on the original image LL (0), and the sub-band data LL (1) and HL, which are sub-band data one layer lower than the original image LL (0). (1), LH (1), and HH (1) are acquired, and subband division processing is further executed on the subband data LL (1), so that the original image LL (0) has two layers. Sub-band data HL (2), LH (2), and HH (2), which are the lower sub-band data, are acquired.
予測部は、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する。そして、予測部は、以下の処理を行う。
（Ａ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＨ’（０）を取得する。
The prediction unit is subband data of the super-resolution image LL (-1) in which the horizontal resolution of the original image LL (0) is doubled and the vertical resolution is doubled, and is in the same layer as the original image LL (0). The subband data HL (0), LH (0), and the predicted subband data HL'(0), LH'(0), and HH'(0) of HH (0) are acquired. Then, the prediction unit performs the following processing.
(A) The prediction unit is subband data based on predetermined physical quantities derived from subband data HL (2) and subband data HL (1), which are subband data of the same type and different layers. Prediction subband data HL'(0) is acquired by performing prediction processing using the simple extended subband data tp_HL (0) obtained by upsampling and filtering from HL (1).
(B) The prediction unit is based on predetermined physical quantities derived from subband data LH (2) and subband data LH (1), which are the same type of subband data but have different hierarchies. Prediction subband data LH'(0) is acquired by performing prediction processing using the simple extended subband data tp_LH (0) obtained by upsampling and filtering from LH (1).
(C) The prediction unit is subband data based on predetermined physical quantities derived from subband data HH (2) and subband data HH (1), which are subband data of the same type and different layers. Prediction subband data HH'(0) is acquired by performing prediction processing using the simple extended subband data tp_HH (0) obtained by upsampling and filtering from HH (1).
サブバンド合成部は、原画像ＬＬ（０）と、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得する。 The sub-band synthesizing unit performs a sub-band synthesizing process using the original image LL (0) and the predicted sub-band data HL'(0), LH'(0), and HH'(0). A super-resolution image LL (-1) in which the horizontal resolution of the original image LL (0) is doubled and the vertical resolution is doubled is acquired.
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。 Thereby, an integrated circuit having the same effect as that of the first invention can be realized.
本発明によれば、場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得する超解像画像生成装置、プログラム、および、集積回路を実現することができる。 According to the present invention, it is possible to realize a super-resolution image generator, a program, and an integrated circuit that constantly acquire a high-precision high-resolution image with a simple algorithm without performing case-by-case processing.
［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。
[First Embodiment]
The first embodiment will be described below with reference to the drawings.
＜１．１：超解像画像生成装置の構成＞
図１は、第１実施形態に係る超解像画像生成装置１００の概略構成図である。
<1.1: Configuration of super-resolution image generator>
FIG. 1 is a schematic configuration diagram of the super-resolution
図２は、第１実施形態に係る超解像画像生成装置１００のサブバンド分割部１の概略構成図である。
FIG. 2 is a schematic configuration diagram of a
図３は、第１実施形態に係る第２分割部１２の概略構成図である。
FIG. 3 is a schematic configuration diagram of the second divided
図４は、第１実施形態に係る予測部２の概略構成図である。
FIG. 4 is a schematic configuration diagram of the
図５は、サブバンド分割処理、サブバンド合成処理を説明するための図である。 FIG. 5 is a diagram for explaining a subband division process and a subband synthesis process.
超解像画像生成装置１００は、図１に示すように、サブバンド分割部１と、予測部２と、サブバンド合成部３とを備える。
As shown in FIG. 1, the super-resolution
サブバンド分割部１は、図２に示すように、第１分割部１１と、第２分割部１２とを備える。
As shown in FIG. 2, the
サブバンド分割部１は、画像データＤｉｎを入力し、画像データＤｉｎに対して、サブバンド分割処理（サブバンド符号化処理）を実行し、サブバンド符号化データＤ１を取得する。そして、サブバンド分割部１は、取得したサブバンド符号化データＤ１を予測部２に出力する。
The
なお、画像データＤｉｎにより形成される原画像をＬＬ（０）と表記し、原画像ＬＬ（０）に対してサブバンド分割処理（サブバンド符号化処理）を１回行ったときに取得されるサブバンド画像をＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１）と表記する。 The original image formed by the image data Din is referred to as LL (0), and is acquired when the subband division process (subband coding process) is performed once on the original image LL (0). Subband images are referred to as LL (1), HL (1), LH (1), and HH (1).
つまり、図５に示すように、ウェーブレット変換（例えば、離散ウェーブレット変換）を行ったときの周波数領域のデータと同様に、水平方向の低域成分を有し垂直方向の低域成分を有するサブバンドデータをＬＬ（１）とし、水平方向の高域成分を有し垂直方向の低域成分を有するサブバンドデータをＨＬ（１）とし、水平方向の低域成分を有し垂直方向の高域成分を有するサブバンドデータをＬＨ（１）とし、水平方向の高域成分を有し垂直方向の高域成分を有するサブバンドデータをＨＨ（１）と表記する。 That is, as shown in FIG. 5, a subband having a low frequency component in the horizontal direction and a low frequency component in the vertical direction is similar to the data in the frequency region when the wavelet conversion (for example, discrete wavelet conversion) is performed. Let the data be LL (1), and let the subband data having a horizontal high frequency component and a vertical low frequency component be HL (1), and have a horizontal low frequency component and a vertical high frequency component. The subband data having the above is referred to as LH (1), and the subband data having a high frequency component in the horizontal direction and having a high frequency component in the vertical direction is referred to as HH (1).
また、サブバンド符号化の回数を括弧の中に記載して表記する。 In addition, the number of times of subband coding is described in parentheses.
したがって、図５に示すように、サブバンド分割処理（サブバンド符号化処理）を２回行ったときに取得される水平方向の低域成分を有し垂直方向の低域成分を有するサブバンドデータはＬＬ（２）と、水平方向の高域成分を有し垂直方向の低域成分を有するサブバンドデータをＨＬ（２）と、水平方向の低域成分を有し垂直方向の高域成分を有するサブバンドデータをＬＨ（２）と、水平方向の高域成分を有し垂直方向の高域成分を有するサブバンドデータをＨＨ（２）と、それぞれ表記される。 Therefore, as shown in FIG. 5, the subband data having the low frequency component in the horizontal direction and having the low frequency component in the vertical direction acquired when the subband division processing (subband coding processing) is performed twice. HL (2), subband data having a horizontal high frequency component and a vertical low frequency component HL (2), and a vertical high frequency component having a horizontal low frequency component The subband data having the data is referred to as LH (2), and the subband data having the high frequency component in the horizontal direction and having the high frequency component in the vertical direction is referred to as HH (2).
第１分割部１１は、画像データＤｉｎ（ＬＬ（０））を入力し、画像データＤｉｎ（ＬＬ（０））に対して、サブバンド分割処理（サブバンド符号化処理）を実行し、第１サブバンド符号化データＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１）を取得する。そして、第１分割部１１は、第１サブバンド符号化データＬＬ（１）を第２分割部１２に出力し、第１サブバンド符号化データＨＬ（１）、ＬＨ（１）、ＨＨ（１）を予測部２に出力する。
The
第１分割部１１は、図２に示すように、垂直ローパスフィルタ部ＬＰＦ＿ｖ１と、垂直ハイパスフィルタ部ＨＰＦ＿ｖ１と、垂直ダウンサンプリング部Ｄｖ１１、Ｄｖ１２とを備える。
As shown in FIG. 2, the
また、第１分割部１１は、図２に示すように、水平ローパスフィルタ部ＬＰＦ＿ｈ１１、ＬＰＦ＿ｈ１３と、水平ハイパスフィルタ部ＨＰＦ＿ｈ１２、ＨＰＦ＿ｈ１４と、水平ダウンサンプリング部Ｄｈ１１、Ｄｈ１２、Ｄｈ１３、Ｄｈ１４とを備える。
Further, as shown in FIG. 2, the
垂直ローパスフィルタ部ＬＰＦ＿ｖ１は、２次元画像の垂直方向のローパスフィルタである。 The vertical low-pass filter unit LPF_v1 is a low-pass filter in the vertical direction of a two-dimensional image.
垂直ハイパスフィルタ部ＨＰＦ＿ｖ１は、２次元画像の垂直方向のハイパスフィルタである。 The vertical high-pass filter unit HPF_v1 is a high-pass filter in the vertical direction of a two-dimensional image.
垂直ダウンサンプリング部Ｄｖ１１、Ｄｖ１２は、２次元画像の垂直方向のダウンサンプリング処理、すなわち、水平方向に配置されている画素（行データ（水平ライン））の間引き処理を行う。 The vertical downsampling units Dv11 and Dv12 perform vertical downsampling processing of a two-dimensional image, that is, thinning processing of pixels (row data (horizontal lines)) arranged in the horizontal direction.
水平ローパスフィルタ部ＬＰＦ＿ｈ１１、ＬＰＦ＿ｈ１３は、２次元画像の水平方向のローパスフィルタである。 The horizontal low-pass filter units LPF_h11 and LPF_h13 are low-pass filters in the horizontal direction of the two-dimensional image.
水平ハイパスフィルタ部ＨＰＦ＿ｈ１２、ＨＰＦ＿ｈ１４は、２次元画像の水平方向のハイパスフィルタである。 The horizontal high-pass filter units HPF_h12 and HPF_h14 are high-pass filters in the horizontal direction of a two-dimensional image.
水平ダウンサンプリング部Ｄｈ１１、Ｄｈ１２、Ｄｈ１３、Ｄｈ１４は、２次元画像の垂直方向のダウンサンプリング処理、すなわち、垂直方向に配置されている画素（列データ）の間引き処理を行う。 The horizontal downsampling units Dh11, Dh12, Dh13, and Dh14 perform a vertical downsampling process of a two-dimensional image, that is, a thinning process of pixels (column data) arranged in the vertical direction.
第２分割部１２は、図３に示すように、第１サブバンド符号化データＬＬ（１）を入力し、第１サブバンド符号化データＬＬ（１）に対して、サブバンド符号化処理を実行し、第２サブバンド符号化データＬＬ（２）、ＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得する。そして、第２分割部１２は、取得した第２サブバンド符号化データＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を、予測部２に出力する。
As shown in FIG. 3, the
第２分割部１２は、図３に示すように、垂直ローパスフィルタ部ＬＰＦ＿ｖ２と、垂直ハイパスフィルタ部ＨＰＦ＿ｖ２と、垂直ダウンサンプリング部Ｄｖ２１、Ｄｖ２２とを備える。
As shown in FIG. 3, the
また、第２分割部１２は、図３に示すように、水平ローパスフィルタ部ＬＰＦ＿ｈ２１、ＬＰＦ＿ｈ２３と、水平ハイパスフィルタ部ＨＰＦ＿ｈ２２、ＨＰＦ＿ｈ２４と、水平ダウンサンプリング部Ｄｈ２１、Ｄｈ２２、Ｄｈ２３、Ｄｈ２４とを備える。
Further, as shown in FIG. 3, the
垂直ローパスフィルタ部ＬＰＦ＿ｖ２は、２次元画像の垂直方向のローパスフィルタである。 The vertical low-pass filter unit LPF_v2 is a low-pass filter in the vertical direction of a two-dimensional image.
垂直ハイパスフィルタ部ＨＰＦ＿ｖ２は、２次元画像の垂直方向のハイパスフィルタである。 The vertical high-pass filter unit HPF_v2 is a high-pass filter in the vertical direction of a two-dimensional image.
垂直ダウンサンプリング部Ｄｖ２１、Ｄｖ２２は、２次元画像の垂直方向のダウンサンプリング処理、すなわち、水平方向に配置されている画素（行データ（水平ライン））の間引き処理を行う。 The vertical downsampling units Dv21 and Dv22 perform vertical downsampling processing of a two-dimensional image, that is, thinning processing of pixels (row data (horizontal line)) arranged in the horizontal direction.
水平ローパスフィルタ部ＬＰＦ＿ｈ２１、ＬＰＦ＿ｈ２３は、２次元画像の水平方向のローパスフィルタである。 The horizontal low-pass filter units LPF_h21 and LPF_h23 are low-pass filters in the horizontal direction of the two-dimensional image.
水平ハイパスフィルタ部ＨＰＦ＿ｈ２２、ＨＰＦ＿ｈ２４は、２次元画像の水平方向のハイパスフィルタである。 The horizontal high-pass filter units HPF_h22 and HPF_h24 are high-pass filters in the horizontal direction of a two-dimensional image.
水平ダウンサンプリング部Ｄｈ２１、Ｄｈ２２、Ｄｈ２３、Ｄｈ２４は、２次元画像の垂直方向のダウンサンプリング処理、すなわち、垂直方向に配置されている画素（列データ）の間引き処理を行う。 The horizontal downsampling units Dh21, Dh22, Dh23, and Dh24 perform a vertical downsampling process of a two-dimensional image, that is, a thinning process of pixels (column data) arranged in the vertical direction.
なお、図２に示すように、サブバンド分割部１から出力されるデータＨＬ（２）、ＬＨ（２）、ＨＨ（２）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を、データＤ１と表記する。
As shown in FIG. 2, the data HL (2), LH (2), HH (2), HL (1), LH (1), and HH (1) output from the
予測部２は、サブバンド分割部１から出力されるデータＤ１を入力する。予測部２は、データＤ１に基づいて、予測処理を実行し、原画像Ｄｉｎ（ＬＬ（０））を２倍の解像度に拡張した超解像画像ＬＬ（−１）に対してサブバンド分割処理（サブバンド符号化処理）を実行したときのサブバンド画像ＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。そして、予測部２は、取得した予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を、データＤ＿ｅｓｔとして、サブバンド合成部３に出力する。
The
予測部２は、図４に示すように、第１係数取得部２１と、水平アップサンプリング部Ｕｈ２１と、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１と、垂直アップサンプリング部Ｕｖ２１と、垂直ローパスフィルタ部ＬＰＦｕ＿ｈ２１と、乗算器Ｍｘ２１とを備える。
As shown in FIG. 4, the
また、予測部２は、第２係数取得部２２と、水平アップサンプリング部Ｕｈ２２と、水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２と、垂直アップサンプリング部Ｕｖ２２と、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２２と、乗算器Ｍｘ２２とを備える。
Further, the
また、予測部２は、第３係数取得部２３と、水平アップサンプリング部Ｕｈ２３と、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３と、垂直アップサンプリング部Ｕｖ２３と、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２２と、乗算器Ｍｘ２３とを備える。
Further, the
第１係数取得部２１は、サブバンド分割部１から出力されるデータＨＬ（１）、ＨＬ（２）を入力し、データＨＬ（１）、ＨＬ（２）に基づいて、第１係数ｋＨＬを取得する。そして、第１係数取得部２１は、取得した第１係数ｋＨＬを乗算器Ｍｘ２１に出力する。
The first
水平アップサンプリング部Ｕｈ２１は、データＨＬ（１）（サブバンド符号化処理により取得された画像データＨＬ（１））に対して、水平方向の１：２のアップサンプリング処理を行う。つまり、水平ダウンサンプリング部Ｄｈ２１は、画像データＨＬ（１）に対して、水平解像度が２倍となるように、１列の画素群に対して、新たに１列の画素群を挿入する。 The horizontal upsampling unit Uh21 performs a horizontal upsampling process of 1: 2 on the data HL (1) (image data HL (1) acquired by the subband coding process). That is, the horizontal downsampling unit Dh21 newly inserts one row of pixel groups into one row of pixel groups so that the horizontal resolution is doubled with respect to the image data HL (1).
なお、挿入する１列の画素群の画素値は、例えば、（１）水平方向に隣接する画素の画素値（垂直方向の位置は同一の画素の画素値）と同一値（サンプルホールド挿入）、あるいは、（２）挿入する１列を挟む水平方向に隣接する２つの画素列に含まれる２つの画素（垂直方向の位置は同一の画素）の平均値、あるいは、（３）画素値を「０」とすればよい（ゼロ挿入）。 The pixel values of the pixel group in one row to be inserted are, for example, (1) the same values as the pixel values of the pixels adjacent to each other in the horizontal direction (the pixel values of the same pixels in the vertical position) (sample hold insertion). Alternatively, (2) the average value of two pixels (pixels having the same vertical position) included in two horizontally adjacent pixel rows sandwiching one row to be inserted, or (3) the pixel value is set to "0". "(Zero insertion).
水平アップサンプリング部Ｕｈ２１は、水平方向の１：２のアップサンプリング処理後のデータを水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１に出力する。 The horizontal upsampling unit Uh21 outputs the data after the horizontal upsampling process of 1: 2 to the horizontal high-pass filter unit HPFu_h21.
水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１は、水平アップサンプリング部Ｕｈ２１からのデータを入力し、入力されたデータに対して、２次元画像の水平方向のローパスフィルタ処理を行う。そして、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１は、処理後のデータを、垂直アップサンプリング部Ｕｖ２１に出力する。 The horizontal high-pass filter unit HPFu_h21 inputs data from the horizontal upsampling unit Uh21, and performs low-pass filter processing in the horizontal direction of the two-dimensional image on the input data. Then, the horizontal high-pass filter unit HPFu_h21 outputs the processed data to the vertical upsampling unit Uv21.
垂直アップサンプリング部Ｕｖ２１は、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１から出力されるデータを入力する。垂直アップサンプリング部Ｕｖ２１は、入力されたデータに対して、垂直方向の１：２のアップサンプリング処理を行う。つまり、垂直ダウンサンプリング部Ｄｖ２１は、入力されたデータにより形成される画像に対して、垂直解像度が２倍となるように、１行の画素群（１つの水平ライン）に対して、新たに１行の画素群（水平ライン）を挿入する。 The vertical upsampling unit Uv21 inputs the data output from the horizontal high-pass filter unit HPFu_h21. The vertical upsampling unit Uv21 performs a 1: 2 upsampling process in the vertical direction on the input data. That is, the vertical downsampling unit Dv21 newly sets 1 for one line of pixels (one horizontal line) so that the vertical resolution is doubled for the image formed by the input data. Insert a row of pixels (horizontal line).
なお、挿入する１行の画素群の画素値は、例えば、（１）垂直方向に隣接する画素の画素値（水平方向の位置は同一の画素の画素値）と同一値（サンプルホールド挿入）、あるいは、（２）挿入する１行を挟む垂直方向に隣接する２つの水平ラインに含まれる２つの画素（水平方向の位置は同一の画素）の平均値、あるいは、（３）画素値を「０」とすればよい（ゼロ挿入）。 The pixel values of the pixel group in one line to be inserted are, for example, (1) the same values as the pixel values of the pixels adjacent to each other in the vertical direction (the pixel values of the same pixels in the horizontal position) (sample hold insertion). Alternatively, (2) the average value of two pixels (pixels having the same horizontal position) included in two horizontally adjacent horizontal lines sandwiching one line to be inserted, or (3) the pixel value is set to "0". "(Zero insertion).
垂直アップサンプリング部Ｕｖ２１は、処理後のデータを、垂直ローパスフィルタ部ＬＰＦｕ＿ｈ２１に出力する。 The vertical upsampling unit Uv21 outputs the processed data to the vertical low-pass filter unit LPFu_h21.
垂直ローパスフィルタ部ＬＰＦｕ＿ｖ２１は、垂直アップサンプリング部Ｕｖ２１から出力されるデータを入力とし、入力されたデータに対して、２次元画像の垂直方向のローパスフィルタ処理を行う。そして、垂直ローパスフィルタ部ＬＰＦｕ＿ｖ２１は、処理後のデータを、乗算器Ｍｘ２１に、データｔｍｐ＿ＨＬ（０）として、出力する。 The vertical low-pass filter unit LPFu_v21 receives the data output from the vertical upsampling unit Uv21 as input, and performs low-pass filter processing in the vertical direction of the two-dimensional image on the input data. Then, the vertical low-pass filter unit LPFu_v21 outputs the processed data to the multiplier Mx21 as data tp_HL (0).
乗算器Ｍｘ２１は、垂直ローパスフィルタ部ＬＰＦｕ＿ｖ２１から出力されるデータｔｍｐ＿ＨＬ（０）と、第１係数取得部２１から出力される第１係数ｋＨＬを入力する。乗算器Ｍｘ２１は、データｔｍｐ＿ＨＬ（０）と、第１係数ｋＨＬとを用いて、乗算処理を行い、当該乗算処理の結果を、データＨＬ’（０）として、サブバンド合成部３に出力する。
Multiplier Mx21 inputs the data tmp_HL output from the vertical low-pass filtering unit LPFu_v21 (0), the first coefficient k HL output from the first
第２係数取得部２２は、サブバンド分割部１から出力されるデータＬＨ（１）、ＬＨ（２）を入力し、データＬＨ（１）、ＬＨ（２）に基づいて、第２係数ｋＬＨを取得する。そして、第２係数取得部２２は、取得した第２係数ｋＬＨを乗算器Ｍｘ２２に出力する。
The second
水平アップサンプリング部Ｕｈ２２は、データＬＨ（１）（サブバンド符号化処理により取得された画像データＬＨ（１））に対して、水平方向の１：２のアップサンプリング処理を行う。そして、水平アップサンプリング部Ｕｈ２２は、水平方向の１：２のアップサンプリング処理後のデータを水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２に出力する。 The horizontal upsampling unit Uh22 performs a horizontal upsampling process of 1: 2 on the data LH (1) (image data LH (1) acquired by the subband coding process). Then, the horizontal upsampling unit Uh22 outputs the data after the upsampling processing of 1: 2 in the horizontal direction to the horizontal low-pass filter unit LPFu_h22.
水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２は、水平アップサンプリング部Ｕｈ２２からのデータを入力し、入力されたデータに対して、２次元画像の水平方向のローパスフィルタ処理を行う。そして、水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２は、処理後のデータを、垂直アップサンプリング部Ｕｖ２２に出力する。 The horizontal low-pass filter unit LPFu_h22 inputs data from the horizontal upsampling unit Uh22, and performs low-pass filter processing in the horizontal direction of the two-dimensional image on the input data. Then, the horizontal low-pass filter unit LPFu_h22 outputs the processed data to the vertical upsampling unit Uv22.
垂直アップサンプリング部Ｕｖ２２は、水平ローパスフィルタ部ＬＰＦｕ＿ｈ２１から出力されるデータを入力する。垂直アップサンプリング部Ｕｖ２２は、入力されたデータに対して、垂直方向の１：２のアップサンプリング処理を行う。そして、垂直アップサンプリング部Ｕｖ２２は、処理後のデータを、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２２に出力する。 The vertical upsampling unit Uv22 inputs the data output from the horizontal low-pass filter unit LPFu_h21. The vertical upsampling unit Uv22 performs a 1: 2 upsampling process in the vertical direction on the input data. Then, the vertical upsampling unit Uv22 outputs the processed data to the vertical high-pass filter unit HPFu_h22.
垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２２は、垂直アップサンプリング部Ｕｖ２２から出力されるデータを入力とし、入力されたデータに対して、２次元画像の垂直方向のハイパスフィルタ処理を行う。そして、垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２２は、処理後のデータを、乗算器Ｍｘ２２に、データｔｍｐ＿ＬＨ（０）として、出力する。 The vertical high-pass filter unit HPFu_v22 takes the data output from the vertical upsampling unit Uv22 as input, and performs high-pass filter processing in the vertical direction of the two-dimensional image on the input data. Then, the vertical high-pass filter unit HPFu_v22 outputs the processed data to the multiplier Mx22 as data tp_LH (0).
乗算器Ｍｘ２２は、垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２２から出力されるデータｔｍｐ＿ＬＨ（０）と、第２係数取得部２２から出力される第２係数ｋＬＨを入力する。乗算器Ｍｘ２２は、データｔｍｐ＿ＬＨ（０）と、第２係数ｋＬＨとを用いて、乗算処理を行い、当該乗算処理の結果を、データＬＨ’（０）として、サブバンド合成部３に出力する。
The multiplier Mx22 inputs the data tp_LH (0) output from the vertical high-pass filter unit HPFu_v22 and the second coefficient k LH output from the second
第３係数取得部２３は、サブバンド分割部１から出力されるデータＨＨ（１）、ＨＨ（２）を入力し、データＨＨ（１）、ＨＨ（２）に基づいて、第３係数ｋＨＨを取得する。そして、第３係数取得部２３は、取得した第３係数ｋＨＨを乗算器Ｍｘ２３に出力する。
The third
水平アップサンプリング部Ｕｈ２３は、データＨＨ（１）（サブバンド符号化処理により取得された画像データＨＨ（１））に対して、水平方向の１：２のアップサンプリング処理を行う。そして、水平アップサンプリング部Ｕｈ２３は、水平方向の１：２のアップサンプリング処理後のデータを水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３に出力する。 The horizontal upsampling unit Uh23 performs a horizontal upsampling process of 1: 2 on the data HH (1) (image data HH (1) acquired by the subband coding process). Then, the horizontal upsampling unit Uh23 outputs the data after the upsampling process of 1: 2 in the horizontal direction to the horizontal high-pass filter unit HPFu_h23.
水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３は、水平アップサンプリング部Ｕｈ２３からのデータを入力し、入力されたデータに対して、２次元画像の水平方向のハイパスフィルタ処理を行う。そして、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３は、処理後のデータを、垂直アップサンプリング部Ｕｖ２３に出力する。 The horizontal high-pass filter unit HPFu_h23 inputs data from the horizontal upsampling unit Uh23, and performs high-pass filter processing in the horizontal direction of the two-dimensional image on the input data. Then, the horizontal high-pass filter unit HPFu_h23 outputs the processed data to the vertical upsampling unit Uv23.
垂直アップサンプリング部Ｕｖ２３は、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３から出力されるデータを入力する。垂直アップサンプリング部Ｕｖ２３は、入力されたデータに対して、垂直方向の１：２のアップサンプリング処理を行う。そして、垂直アップサンプリング部Ｕｖ２３は、処理後のデータを、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２３に出力する。 The vertical upsampling unit Uv23 inputs the data output from the horizontal high-pass filter unit HPFu_h23. The vertical upsampling unit Uv23 performs a 1: 2 upsampling process in the vertical direction on the input data. Then, the vertical upsampling unit Uv23 outputs the processed data to the vertical high-pass filter unit HPFu_h23.
垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２３は、垂直アップサンプリング部Ｕｖ２３から出力されるデータを入力とし、入力されたデータに対して、２次元画像の垂直方向のハイパスフィルタ処理を行う。そして、垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２３は、処理後のデータを、乗算器Ｍｘ２３に、データｔｍｐ＿ＨＨ（０）として、出力する。 The vertical high-pass filter unit HPFu_v23 takes data output from the vertical upsampling unit Uv23 as input, and performs high-pass filter processing in the vertical direction of the two-dimensional image on the input data. Then, the vertical high-pass filter unit HPFu_v23 outputs the processed data to the multiplier Mx23 as data tp_HH (0).
乗算器Ｍｘ２３は、垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２３から出力されるデータｔｍｐ＿ＨＨ（０）と、第３係数取得部２３から出力される第３係数ｋＨＨを入力する。乗算器Ｍｘ２３は、データＨＨ（０）と、第３係数ｋＨＨとを用いて、乗算処理を行い、当該乗算処理の結果を、データＨＨ’（０）として、サブバンド合成部３に出力する。
Multiplier Mx23 inputs the data tmp_HH output from the vertical high-pass filter unit HPFu_v23 (0), the third coefficient k HH output from the third
サブバンド合成部３は、画像データＤｉｎ（ＬＬ（０））と、予測部２から出力されるデータＤ＿ｅｓｔとを入力する。サブバンド合成部３は、画像ＤｉｎおよびデータＤ＿ｅｓｔに基づいて、原画像Ｄｉｎ（ＬＬ（０））に対して、２倍の解像度に拡張した超解像画像ＬＬ（−１）を画像データＤｏｕｔとして取得する。
The
＜１．２：超解像画像生成装置の動作＞
以上のように構成された超解像画像生成装置１００の動作について、以下、説明する。
<1.2: Operation of super-resolution image generator>
The operation of the super-resolution
以下では、図４の原画像ＬＬ（０）が、画像データＤｉｎとして、超解像画像生成装置１００に入力され、超解像画像生成装置１００で処理される場合（一例）について、説明する。
Hereinafter, a case (example) in which the original image LL (0) of FIG. 4 is input to the super-resolution
画像データＤｉｎ（原画像ＬＬ（０））が、サブバンド分割部１に入力される。より具体的には、画像データＤｉｎ（原画像ＬＬ（０））は、サブバンド分割部１の第１分割部１１の垂直ローパスフィルタ部ＬＰＦ＿ｖ１および垂直ハイパスフィルタ部ＨＰＦ＿ｖ１に入力される。
The image data Din (original image LL (0)) is input to the
垂直ローパスフィルタ部ＬＰＦ＿ｖ１は、入力画像データＤｉｎ（原画像ＬＬ（０））に対して、垂直ローパスフィルタ処理を実行し、垂直ローパスフィルタ処理後のデータ（画像データ）を垂直ダウンサンプリング部Ｄｖ１１に出力する。 The vertical low-pass filter unit LPF_v1 executes vertical low-pass filter processing on the input image data Din (original image LL (0)), and outputs the data (image data) after the vertical low-pass filter processing to the vertical downsampling unit Dv11. To do.
垂直ダウンサンプリング部Ｄｖ１１は、垂直ローパスフィルタ部ＬＰＦ＿ｖ１から出力されるデータ（画像データ）に対して、２：１の垂直ダウンサンプリング処理を実行する。つまり、垂直ダウンサンプリング部Ｄｖ１１は、垂直ローパスフィルタ部ＬＰＦ＿ｖ１から出力されるデータ（画像データ）の水平ライン（行データ）を２本に１本の割合で間引く処理を実行する。そして、垂直ダウンサンプリング部Ｄｖ１１は、２：１の垂直ダウンサンプリング処理後の画像データを、水平ローパスフィルタ部ＬＰＦ＿ｈ１１および水平ハイパスフィルタ部ＨＰＦ＿ｈ１２に出力する。 The vertical downsampling unit Dv11 executes a 2: 1 vertical downsampling process on the data (image data) output from the vertical low-pass filter unit LPF_v1. That is, the vertical downsampling unit Dv11 executes a process of thinning out the horizontal lines (row data) of the data (image data) output from the vertical low-pass filter unit LPF_v1 at a ratio of one to two. Then, the vertical downsampling unit Dv11 outputs the image data after the 2: 1 vertical downsampling process to the horizontal low-pass filter unit LPF_h11 and the horizontal high-pass filter unit HPF_h12.
水平ローパスフィルタ部ＬＰＦ＿ｈ１１は、入力された画像データに対して水平ローパスフィルタ処理を施し、水平ローパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ１１に出力する。 The horizontal low-pass filter unit LPF_h11 performs horizontal low-pass filter processing on the input image data, and outputs the image data after the horizontal low-pass filter processing to the horizontal downsampling unit Dh11.
水平ダウンサンプリング部Ｄｈ１１は、水平ローパスフィルタ部ＬＰＦ＿ｈ１１からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。つまり、水平ダウンサンプリング部Ｄｈ１１は、水平ローパスフィルタ部ＬＰＦ＿ｈ１１から出力されるデータ（画像データ）の垂直方向に配置されている画素列（列データ）を２列に１列の割合で間引く処理（２：１の水平ダウンサンプリング処理）を実行する。そして、水平ダウンサンプリング部Ｄｈ１１は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＬＬ（１）として、第２分割部１２に出力する。
The horizontal downsampling unit Dh11 executes a 2: 1 horizontal downsampling process on the image data from the horizontal low-pass filter unit LPF_h11. That is, the horizontal downsampling unit Dh11 thins out the pixel strings (column data) arranged in the vertical direction of the data (image data) output from the horizontal low-pass filter unit LPF_h11 at a ratio of one column to two columns (2). 1) horizontal downsampling process) is executed. Then, the horizontal downsampling unit Dh11 outputs the image data after the 2: 1 horizontal downsampling process to the
水平ハイパスフィルタ部ＨＰＦ＿ｈ１２は、入力された画像データに対して水平ハイパスフィルタ処理を施し、水平ハイパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ１２に出力する。 The horizontal high-pass filter unit HPF_h12 performs horizontal high-pass filter processing on the input image data, and outputs the image data after the horizontal high-pass filter processing to the horizontal downsampling unit Dh12.
水平ダウンサンプリング部Ｄｈ１２は、水平ハイパスフィルタ部ＨＰＦ＿ｈ１２からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ１２は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＨＬ（１）として、予測部２に出力する。
The horizontal downsampling unit Dh12 executes a 2: 1 horizontal downsampling process on the image data from the horizontal high-pass filter unit HPF_h12. Then, the horizontal downsampling unit Dh12 outputs the image data after the 2: 1 horizontal downsampling process to the
垂直ハイパスフィルタ部ＨＰＦ＿ｖ１は、入力画像データＤｉｎ（原画像ＬＬ（０））に対して、垂直ハイパスフィルタ処理を実行し、垂直ハイパスフィルタ処理後のデータ（画像データ）を垂直ダウンサンプリング部Ｄｖ１２に出力する。 The vertical high-pass filter unit HPF_v1 executes vertical high-pass filter processing on the input image data Din (original image LL (0)), and outputs the data (image data) after the vertical high-pass filter processing to the vertical downsampling unit Dv12. To do.
垂直ダウンサンプリング部Ｄｖ１２は、垂直ローパスフィルタ部ＬＰＦ＿ｖ１から出力されるデータ（画像データ）に対して、２：１の垂直ダウンサンプリング処理を実行する。そして、垂直ダウンサンプリング部Ｄｖ１２は、２：１の垂直ダウンサンプリング処理後の画像データを、水平ローパスフィルタ部ＬＰＦ＿ｈ１３および水平ハイパスフィルタ部ＨＰＦ＿ｈ１４に出力する。 The vertical downsampling unit Dv12 executes a 2: 1 vertical downsampling process on the data (image data) output from the vertical low-pass filter unit LPF_v1. Then, the vertical downsampling unit Dv12 outputs the image data after the 2: 1 vertical downsampling process to the horizontal low-pass filter unit LPF_h13 and the horizontal high-pass filter unit HPF_h14.
水平ローパスフィルタ部ＬＰＦ＿ｈ１３は、入力された画像データに対して水平ローパスフィルタ処理を施し、水平ローパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ１３に出力する。 The horizontal low-pass filter unit LPF_h13 performs horizontal low-pass filter processing on the input image data, and outputs the image data after the horizontal low-pass filter processing to the horizontal downsampling unit Dh13.
水平ダウンサンプリング部Ｄｈ１３は、水平ローパスフィルタ部ＬＰＦ＿ｈ１３からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ１３は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＬＨ（１）として、予測部２に出力する。
The horizontal downsampling unit Dh13 executes a 2: 1 horizontal downsampling process on the image data from the horizontal low-pass filter unit LPF_h13. Then, the horizontal downsampling unit Dh13 outputs the image data after the 2: 1 horizontal downsampling process to the
水平ハイパスフィルタ部ＨＰＦ＿ｈ１４は、入力された画像データに対して水平ハイパスフィルタ処理を施し、水平ハイパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ１４に出力する。 The horizontal high-pass filter unit HPF_h14 performs horizontal high-pass filter processing on the input image data, and outputs the image data after the horizontal high-pass filter processing to the horizontal downsampling unit Dh14.
水平ダウンサンプリング部Ｄｈ１４は、水平ハイパスフィルタ部ＨＰＦ＿ｈ１４からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ１４は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＨＨ（１）として、予測部２に出力する。
The horizontal downsampling unit Dh14 executes a 2: 1 horizontal downsampling process on the image data from the horizontal high-pass filter unit HPF_h14. Then, the horizontal downsampling unit Dh14 outputs the image data after the 2: 1 horizontal downsampling process to the
サブバンド画像データＬＬ（１）は、図２、図３に示すように、第１分割部１１から、第２分割部１２の水平ローパスフィルタ部ＬＰＦ＿ｖ２および水平ハイパスフィルタ部ＨＰＦ＿ｖ２に入力される。
As shown in FIGS. 2 and 3, the sub-band image data LL (1) is input from the
垂直ローパスフィルタ部ＬＰＦ＿ｖ２は、入力される画像データＬＬ（１）に対して、垂直ローパスフィルタ処理を実行し、垂直ローパスフィルタ処理後のデータ（画像データ）を垂直ダウンサンプリング部Ｄｖ２１に出力する。 The vertical low-pass filter unit LPF_v2 executes vertical low-pass filter processing on the input image data LL (1), and outputs the data (image data) after the vertical low-pass filter processing to the vertical downsampling unit Dv21.
垂直ダウンサンプリング部Ｄｖ２１は、垂直ローパスフィルタ部ＬＰＦ＿ｖ２から出力されるデータ（画像データ）に対して、２：１の垂直ダウンサンプリング処理を実行する。そして、垂直ダウンサンプリング部Ｄｖ２１は、２：１の垂直ダウンサンプリング処理後の画像データを、水平ローパスフィルタ部ＬＰＦ＿ｈ２１および水平ハイパスフィルタ部ＨＰＦ＿ｈ２２に出力する。 The vertical downsampling unit Dv21 executes a 2: 1 vertical downsampling process on the data (image data) output from the vertical low-pass filter unit LPF_v2. Then, the vertical downsampling unit Dv21 outputs the image data after the 2: 1 vertical downsampling process to the horizontal low-pass filter unit LPF_h21 and the horizontal high-pass filter unit HPF_h22.
水平ローパスフィルタ部ＬＰＦ＿ｈ２１は、入力された画像データに対して水平ローパスフィルタ処理を施し、水平ローパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ２１に出力する。 The horizontal low-pass filter unit LPF_h21 performs horizontal low-pass filter processing on the input image data, and outputs the image data after the horizontal low-pass filter processing to the horizontal downsampling unit Dh21.
水平ダウンサンプリング部Ｄｈ２１は、水平ローパスフィルタ部ＬＰＦ＿ｈ２１からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。つまり、水平ダウンサンプリング部Ｄｈ２１は、水平ローパスフィルタ部ＬＰＦ＿ｈ２１から出力されるデータ（画像データ）の垂直方向に配置されている画素列（列データ）を２列に１列の割合で間引く処理（２：１の水平ダウンサンプリング処理）を実行する。そして、水平ダウンサンプリング部Ｄｈ２１は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＬＬ（２）として取得する。 The horizontal downsampling unit Dh21 executes a 2: 1 horizontal downsampling process on the image data from the horizontal low-pass filter unit LPF_h21. That is, the horizontal downsampling unit Dh21 thins out the pixel strings (column data) arranged in the vertical direction of the data (image data) output from the horizontal low-pass filter unit LPF_h21 at a ratio of one column to two columns (2). 1) horizontal downsampling process) is executed. Then, the horizontal downsampling unit Dh21 acquires the image data after the 2: 1 horizontal downsampling process as the image data LL (2).
水平ハイパスフィルタ部ＨＰＦ＿ｈ２２は、入力された画像データに対して水平ハイパスフィルタ処理を施し、水平ハイパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ２２に出力する。 The horizontal high-pass filter unit HPF_h22 performs horizontal high-pass filter processing on the input image data, and outputs the image data after the horizontal high-pass filter processing to the horizontal downsampling unit Dh22.
水平ダウンサンプリング部Ｄｈ２２は、水平ハイパスフィルタ部ＨＰＦ＿ｈ２２からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ２２は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＨＬ（２）として、予測部２に出力する。
The horizontal downsampling unit Dh22 executes a 2: 1 horizontal downsampling process on the image data from the horizontal high-pass filter unit HPF_h22. Then, the horizontal downsampling unit Dh22 outputs the image data after the 2: 1 horizontal downsampling process to the
垂直ハイパスフィルタ部ＨＰＦ＿ｖ２は、入力される画像データＬＬ（１）に対して、垂直ハイパスフィルタ処理を実行し、垂直ハイパスフィルタ処理後のデータ（画像データ）を垂直ダウンサンプリング部Ｄｖ２２に出力する。 The vertical high-pass filter unit HPF_v2 executes the vertical high-pass filter processing on the input image data LL (1), and outputs the data (image data) after the vertical high-pass filter processing to the vertical downsampling unit Dv22.
垂直ダウンサンプリング部Ｄｖ２２は、垂直ローパスフィルタ部ＬＰＦ＿ｖ２から出力されるデータ（画像データ）に対して、２：１の垂直ダウンサンプリング処理を実行する。そして、垂直ダウンサンプリング部Ｄｖ２２は、２：１の垂直ダウンサンプリング処理後の画像データを、水平ローパスフィルタ部ＬＰＦ＿ｈ２３および水平ハイパスフィルタ部ＨＰＦ＿ｈ２４に出力する。 The vertical downsampling unit Dv22 executes a 2: 1 vertical downsampling process on the data (image data) output from the vertical low-pass filter unit LPF_v2. Then, the vertical downsampling unit Dv22 outputs the image data after the 2: 1 vertical downsampling process to the horizontal low-pass filter unit LPF_h23 and the horizontal high-pass filter unit HPF_h24.
水平ローパスフィルタ部ＬＰＦ＿ｈ２３は、入力された画像データに対して水平ローパスフィルタ処理を施し、水平ローパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ２３に出力する。 The horizontal low-pass filter unit LPF_h23 performs horizontal low-pass filter processing on the input image data, and outputs the image data after the horizontal low-pass filter processing to the horizontal downsampling unit Dh23.
水平ダウンサンプリング部Ｄｈ２３は、水平ローパスフィルタ部ＬＰＦ＿ｈ２３からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ２３は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＬＨ（２）として、予測部２に出力する。
The horizontal downsampling unit Dh23 executes a 2: 1 horizontal downsampling process on the image data from the horizontal low-pass filter unit LPF_h23. Then, the horizontal downsampling unit Dh23 outputs the image data after the 2: 1 horizontal downsampling process to the
水平ハイパスフィルタ部ＨＰＦ＿ｈ２４は、入力された画像データに対して水平ハイパスフィルタ処理を施し、水平ハイパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ２４に出力する。 The horizontal high-pass filter unit HPF_h24 performs horizontal high-pass filter processing on the input image data, and outputs the image data after the horizontal high-pass filter processing to the horizontal downsampling unit Dh24.
水平ダウンサンプリング部Ｄｈ２４は、水平ハイパスフィルタ部ＨＰＦ＿ｈ２４からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ２４は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＨＨ（２）として、予測部２に出力する。
The horizontal downsampling unit Dh24 executes a 2: 1 horizontal downsampling process on the image data from the horizontal high-pass filter unit HPF_h24. Then, the horizontal downsampling unit Dh24 outputs the image data after the 2: 1 horizontal downsampling process to the
上記のようにして取得されたデータＤ１（ＨＬ（１）、ＬＨ（１）、ＨＨ（１）、ＨＬ（２）、ＬＨ（２）、ＨＨ（２））（図５の右側に示したデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ２を参照）は、サブバンド分割部１から、予測部２に出力される。
Data D1 (HL (1), LH (1), HH (1), HL (2), LH (2), HH (2)) (data shown on the right side of FIG. 5) acquired as described above. Data_freq_specrum2) is output from the
予測部２は、データＤ１に基づいて、予測処理を実行し、原画像Ｄｉｎ（ＬＬ（０））の解像度を２倍に拡張した超解像画像ＬＬ（−１）に対してサブバンド分割処理（サブバンド符号化処理）を実行したときのサブバンド画像ＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。
The
予測部２で実行される予測処理について、図６を用いて説明する。
The prediction process executed by the
図６は、予測部２で実行される予測処理を説明するための図である。図６の左図は、データＤ１、すなわち、原画像Ｄｉｎ（ＬＬ（０））に対して、２回サブバンド分割処理（サブバンド符号化処理）を実行して取得される周波数領域のスペクトルデータ（ウェーブレット変換による周波数領域のスペクトルデータ）である。図６の右図は、データＤ１を拡張した周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ３を示す図である。つまり、周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ３に対して、サブバンド合成処理（逆ウェーブレット変換）を施すことで、原画像Ｄｉｎ（ＬＬ（０））の２倍の解像度の画像ＬＬ（−１）が取得される。
FIG. 6 is a diagram for explaining the prediction process executed by the
ここで、ｍ画素×ｎ画素からなるサブバンド画像Ｂ（サブバンド領域Ｂ）に含まれる画素の画素値をＣｉｊとし、サブバンド画像Ｂ（サブバンド領域Ｂ）の平均エネルギーをＥｍｅａｎとすると、サブバンド画像Ｂ（サブバンド領域Ｂ）の平均エネルギーをＥｍｅａｎは、下記数式により算出される。
ａｂｓ（ｘ）：ｘの絶対値をとる関数
予測部２の第１係数取得部２１は、データＨＬ（１）からＥｍｅａｎ（ＨＬ（１））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＨＬ（１）である。
Here, let C ij be the pixel value of the pixel included in the sub-band image B (sub-band region B) consisting of m pixels × n pixels, and let the average energy of the sub-band image B (sub-band region B) be E melan. , E mean the average energy of the subband image B (sub-band region B) is calculated by the following equation.
abs (x): A function that takes an absolute value of x The first
また、予測部２の第１係数取得部２１は、データＨＬ（２）からＥｍｅａｎ（ＨＬ（２））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＨＬ（２）である。
Further, the first
そして、第１係数取得部２１は、係数ｋＨＬを
ｋＨＬ＝Ｅｍｅａｎ（ＨＬ（１））／Ｅｍｅａｎ（ＨＬ（２））
により取得する。
Then, the first
To get by.
そして、第１係数取得部２１は、取得した係数ｋＨＬを乗算器Ｍｘ２１に出力する。
The first
予測部２の第２係数取得部２２は、データＬＨ（１）からＥｍｅａｎ（ＬＨ（１））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＬＨ（１）である。
The second
また、予測部２の第２係数取得部２２は、データＬＨ（２）からＥｍｅａｎ（ＬＨ（２））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＬＨ（２）である。
Further, the second
そして、第２係数取得部２２は、係数ｋＬＨを
ｋＬＨ＝Ｅｍｅａｎ（ＬＨ（１））／Ｅｍｅａｎ（ＬＨ（２））
により取得する。
Then, the second
To get by.
そして、第２係数取得部２２は、取得した係数ｋＬＨを乗算器Ｍｘ２２に出力する。
Then, the second
予測部２の第３係数取得部２３は、データＨＨ（１）からＥｍｅａｎ（ＨＨ（１））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＨＨ（１）である。
The third
また、予測部２の第３係数取得部２３は、データＨＨ（２）からＥｍｅａｎ（ＨＨ（２））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＨＨ（２）である。
Further, the third
そして、第３係数取得部２３は、係数ｋＨＨを
ｋＨＨ＝Ｅｍｅａｎ（ＨＨ（１））／Ｅｍｅａｎ（ＨＨ（２））
により取得する。
Then, the third
To get by.
そして、第３係数取得部２３は、取得した係数ｋＨＨを乗算器Ｍｘ２３に出力する。
The third
予測部２では、データＨＬ（１）に対して、水平アップサンプリング部Ｕｈ２１で水平アップサンプリング処理が実行され、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１で水平ハイパスフィルタ処理が実行され、垂直アップサンプリング部Ｕｖ２１で垂直アップサンプリング処理が実行され、さらに、垂直ローパスフィルタ部ＬＰＦｕ＿ｈ２１で垂直ローパスフィルタ処理が実行されることで、データｔｍｐ＿ＨＬ（０）が取得される。
In the
そして、乗算器Ｍｘ２１は、
ＨＬ’（０）＝ｋＨＬ×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、データＨＬ’（０）を取得する。なお、上記数式に相当する処理とは、サブバンド領域ｔｍｐ＿ＨＬ（０）の各画素の画素値に係数ｋＨＬを乗算した値を、サブバンド領域ＨＬ’（０）の各画素の画素値とする処理を意味している。
And the multiplier Mx21
HL'(0) = k HL x tp_HL (0)
Data HL'(0) is acquired by executing the process corresponding to. In the process corresponding to the above formula, the value obtained by multiplying the pixel value of each pixel in the subband region tp_HL (0) by the coefficient k HL is set as the pixel value of each pixel in the subband region HL'(0). It means processing.
図６の右図に示すように、サブバンド領域ＨＬ（２）とサブバンド領域ＨＬ（１）との相関性は、サブバンド領域ＨＬ（１）とサブバンド領域ＨＬ（０）との相関性と類似すると考えられる。 As shown in the right figure of FIG. 6, the correlation between the subband region HL (2) and the subband region HL (1) is the correlation between the subband region HL (1) and the subband region HL (0). Is considered to be similar to.
したがって、サブバンド領域ＨＬ（２）のエネルギーの平均値Ｅｍｅａｎ（ＨＬ（２））とサブバンド領域ＨＬ（１）のエネルギーの平均値Ｅｍｅａｎ（ＨＬ（１））の比は、サブバンド領域ＨＬ（１）のエネルギーの平均値Ｅｍｅａｎ（ＨＬ（１））とサブバンド領域ＨＬ（０）のエネルギーの平均値Ｅｍｅａｎ（ＨＬ（１））の比と類似すると考えられる。つまり、
Ｅｍｅａｎ（ＨＬ（１））／Ｅｍｅａｎ（ＨＬ（２））＝Ｅｍｅａｎ（ＨＬ（０））／Ｅｍｅａｎ（ＨＬ（１））＝ｋＨＬ
と近似することができる。
Therefore, the ratio of the average energy value E mean (HL (2)) of the subband region HL (2) to the average energy value E mean (HL (1)) of the subband region HL (1) is the subband region. It is considered to be similar to the ratio of the mean energy value E mean (HL (1)) of HL (1) to the mean energy E mean (HL (1)) of the subband region HL (0). In other words
E mean (HL (1)) / E mean (HL (2)) = E mean (HL (0)) / E mean (HL (1)) = k HL
Can be approximated to.
したがって、データＨＬ（１）に対して、アップサンプリング処理、フィルタ処理を施して取得したデータｔｍｐ＿ＨＬ（０）に係数ｋＨＬを乗算することで取得したデータＨＬ’（０）は、データＨＬ（０）の予測データとして高い精度を有するものとなる。 Therefore, the data HL'(0) obtained by multiplying the data tmp_HL (0) obtained by performing upsampling processing and filtering processing on the data HL (1) by the coefficient k HL is the data HL (0). ) Will have high accuracy as prediction data.
予測部２では、データＬＨ（１）に対して、水平アップサンプリング部Ｕｈ２２で水平アップサンプリング処理が実行され、水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２で水平ローパスフィルタ処理が実行され、垂直アップサンプリング部Ｕｖ２２で垂直アップサンプリング処理が実行され、さらに、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２２で垂直ハイパスフィルタ処理が実行されることで、データｔｍｐ＿ＬＨ（０）が取得される。
In the
そして、乗算器Ｍｘ２２は、
ＬＨ’（０）＝ｋＬＨ×ｔｍｐ＿ＬＨ（０）
に相当する処理を実行することで、データＬＨ’（０）を取得する。なお、上記数式に相当する処理とは、サブバンド領域ｔｍｐ＿ＬＨ（０）の各画素の画素値に係数ｋＬＨを乗算した値を、サブバンド領域ＬＨ’（０）の各画素の画素値とする処理を意味している。
And the multiplier Mx22
LH'(0) = k LH x tp_LH (0)
Data LH'(0) is acquired by executing the process corresponding to. In the process corresponding to the above formula, the value obtained by multiplying the pixel value of each pixel in the subband region tp_LH (0) by the coefficient k LH is set as the pixel value of each pixel in the subband region LH'(0). It means processing.
図６の右図に示すように、サブバンド領域ＬＨ（２）とサブバンド領域ＬＨ（１）との相関性は、サブバンド領域ＬＨ（１）とサブバンド領域ＬＨ（０）との相関性と類似すると考えられる。 As shown in the right figure of FIG. 6, the correlation between the subband region LH (2) and the subband region LH (1) is the correlation between the subband region LH (1) and the subband region LH (0). Is considered to be similar to.
したがって、サブバンド領域ＬＨ（２）のエネルギーの平均値Ｅｍｅａｎ（ＬＨ（２））とサブバンド領域ＬＨ（１）のエネルギーの平均値Ｅｍｅａｎ（ＬＨ（１））の比は、サブバンド領域ＬＨ（１）のエネルギーの平均値Ｅｍｅａｎ（ＬＨ（１））とサブバンド領域ＬＨ（０）のエネルギーの平均値Ｅｍｅａｎ（ＬＨ（１））の比と類似すると考えられる。つまり、
Ｅｍｅａｎ（ＬＨ（１））／Ｅｍｅａｎ（ＬＨ（２））＝Ｅｍｅａｎ（ＬＨ（０））／Ｅｍｅａｎ（ＬＨ（１））＝ｋＬＨ
と近似することができる。
Therefore, the ratio of the average energy value E mean (LH (2)) of the subband region LH (2) to the average energy value E mean (LH (1)) of the subband region LH (1) is the subband region. It is considered to be similar to the ratio of the average energy value E mean (LH (1)) of LH (1) to the average energy value E mean (LH (1)) of the subband region LH (0). In other words
E mean (LH (1)) / E mean (LH (2)) = E mean (LH (0)) / E mean (LH (1)) = k LH
Can be approximated to.
したがって、データＬＨ（１）に対して、アップサンプリング処理、フィルタ処理を施して取得したデータｔｍｐ＿ＬＨ（０）に係数ｋＬＨを乗算することで取得したデータＬＨ’（０）は、データＬＨ（０）の予測データとして高い精度を有するものとなる。 Therefore, the data LH'(0) obtained by multiplying the data tmp_LH (0) obtained by performing upsampling processing and filtering processing on the data LH (1) by the coefficient k LH is the data LH (0). ) Will have high accuracy as prediction data.
予測部２では、データＨＨ（１）に対して、水平アップサンプリング部Ｕｈ２３で水平アップサンプリング処理が実行され、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３で水平ハイパスフィルタ処理が実行され、垂直アップサンプリング部Ｕｖ２３で垂直アップサンプリング処理が実行され、さらに、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２３で垂直ハイパスフィルタ処理が実行されることで、データｔｍｐ＿ＨＨ（０）が取得される。
In the
そして、乗算器Ｍｘ２３は、
ＨＨ’（０）＝ｋＬＨ×ｔｍｐ＿ＨＨ（０）
に相当する処理を実行することで、データＨＨ’（０）を取得する。なお、上記数式に相当する処理とは、サブバンド領域ｔｍｐ＿ＨＨ（０）の各画素の画素値に係数ｋＨＨを乗算した値を、サブバンド領域ＨＨ’（０）の各画素の画素値とする処理を意味している。
And the multiplier Mx23
HH'(0) = k LH x tp_HH (0)
Data HH'(0) is acquired by executing the process corresponding to. In the process corresponding to the above formula, the value obtained by multiplying the pixel value of each pixel in the subband region tp_HH (0) by the coefficient k HH is set as the pixel value of each pixel in the subband region HH'(0). It means processing.
図６の右図に示すように、サブバンド領域ＨＨ（２）とサブバンド領域ＨＨ（１）との相関性は、サブバンド領域ＨＨ（１）とサブバンド領域ＨＨ（０）との相関性と類似すると考えられる。 As shown in the right figure of FIG. 6, the correlation between the subband region HH (2) and the subband region HH (1) is the correlation between the subband region HH (1) and the subband region HH (0). Is considered to be similar to.
したがって、サブバンド領域ＨＨ（２）のエネルギーの平均値Ｅｍｅａｎ（ＨＨ（２））とサブバンド領域ＨＨ（１）のエネルギーの平均値Ｅｍｅａｎ（ＨＨ（１））の比は、サブバンド領域ＨＨ（１）のエネルギーの平均値Ｅｍｅａｎ（ＨＨ（１））とサブバンド領域ＨＨ（０）のエネルギーの平均値Ｅｍｅａｎ（ＨＨ（１））の比と類似すると考えられる。つまり、
Ｅｍｅａｎ（ＨＨ（１））／Ｅｍｅａｎ（ＨＨ（２））＝Ｅｍｅａｎ（ＨＨ（０））／Ｅｍｅａｎ（ＨＨ（１））＝ｋＨＨ
と近似することができる。
Therefore, the ratio of the average energy value E mean (HH (2)) of the subband region HH (2) to the average energy value E mean (HH (1)) of the subband region HH (1) is the subband region. It is considered to be similar to the ratio of the mean energy value E mean (HH (1)) of HH (1) to the mean energy E mean (HH (1)) of the subband region HH (0). In other words
E mean (HH (1)) / E mean (HH (2)) = E mean (HH (0)) / E mean (HH (1)) = k HH
Can be approximated to.
したがって、データＨＨ（１）に対して、アップサンプリング処理、フィルタ処理を施して取得したデータｔｍｐ＿ＨＨ（０）に係数ｋＨＨを乗算することで取得したデータＨＨ’（０）は、データＨＨ（０）の予測データとして高い精度を有するものとなる。 Therefore, the data HH'(0) obtained by multiplying the data tmp_HH (0) obtained by performing upsampling processing and filtering processing on the data HH (1) by the coefficient k HH is the data HH (0). ) Will have high accuracy as prediction data.
上記処理により取得されたデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）は、予測部２から、サブバンド合成部３に出力される。
The data HL'(0), LH'(0), and HH'(0) acquired by the above processing are output from the
サブバンド合成部３は、画像データＤｉｎ（ＬＬ（０））と、予測部２から出力されるデータＤ＿ｅｓｔ、すなわち、データＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いて、サブバンド合成処理（逆ウェーブレット変換）を行い、超解像画像ＬＬ（−１）を取得する。つまり、サブバンド合成部３は、
ＬＬ（−１）＝Ｓｂｄ−１｛ＬＬ（０），ＨＬ’（０），ＬＨ’（０），ＨＨ’（０）｝
に相当する処理を実行し、原画像Ｄｉｎ（ＬＬ（０））に対して、２倍の解像度に拡張した超解像画像ＬＬ（−１）（＝画像データＤｏｕｔ）を取得する。
The
LL (-1) = Sbd -1 {LL (0), HL'(0), LH'(0), HH'(0)}
Is executed, and the super-resolution image LL (-1) (= image data Dout) expanded to twice the resolution of the original image Din (LL (0)) is acquired.
なお、サブバンド画像ｘ１，ｘ２，ｘ３，ｘ４を用いてサブバンド合成する処理を、Ｓｂｄ−１｛ｘ１，ｘ２，ｘ３，ｘ４｝と表記する。 The process of subband synthesis using the subband images x1, x2, x3, x4 is referred to as Sbd -1 {x1, x2, x3, x4}.
図７は、ＬＬ（０），ＨＬ’（０），ＬＨ’（０），ＨＨ’（０）を含む周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ４と、スペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ４に対して、サブバンド合成部３によりサブバンド合成処理（逆ウェーブレット変換）を実行して取得した超解像画像ＬＬ（−１）（＝画像データＤｏｕｔ）を示している。
FIG. 7 shows that the spectrum data Data_freq_spectrum4 in the frequency domain including LL (0), HL'(0), LH'(0), and HH'(0) and the spectrum data Data_freq_spectrum4 are sub-banded by the
図７から分かるように、超解像画像生成装置１００で上記処理を行うことで、高品質な超解像画像ＬＬ（−１）（＝画像データＤｏｕｔ）が取得される。
As can be seen from FIG. 7, by performing the above processing in the super-resolution
以上のように、超解像画像生成装置１００では、サブバンド分割処理（サブバンド符号化処理）により取得される同種のサブバンドであって、階層が異なるサブバンド同士は相関性が高いことを利用して、原画像Ｄｉｎ（ＬＬ（０））の解像度を２倍に拡張した超解像画像ＬＬ（−１）を取得するために必要となる、サブバンド画像ＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。
As described above, in the super-resolution
つまり、超解像画像生成装置１００では、予測部２が、予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得するために、同種のサブバンドであって、階層が異なるサブバンド同士の平均エネルギーの比が略一定になると仮定して係数ｋＨＬ、ｋＨＬ、ｋＨＨを取得する。そして、予測部２は、係数ｋＨＬ、ｋＨＬ、ｋＨＨと、サブバンド画像データＨＬ（１）、ＬＨ（１）、ＨＨ（１）からアップサンプリング、フィルタ処理を施して取得したサブバンド画像データｔｍｐ＿ＨＬ（１）、ｔｍｐ＿ＬＨ（１）、ｔｍｐ＿ＨＨ（１）とを用いて乗算処理を行うことで、予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。
That is, in the super-resolution
そして、超解像画像生成装置１００では、サブバンド合成部３が、原画像ＬＬ（０）と、予測部２により取得された予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、高精度の超解像画像ＬＬ（−１）を取得する。
Then, in the super-resolution
したがって、超解像画像生成装置１００では、従来技術のように場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得することができる。
Therefore, in the super-resolution
［第２実施形態］
次に、第２実施形態について説明する。
[Second Embodiment]
Next, the second embodiment will be described.
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。 The same parts as those in the above embodiment are designated by the same reference numerals, and detailed description thereof will be omitted.
図８は、第２実施形態に係る超解像画像生成装置２００の概略構成図である。
FIG. 8 is a schematic configuration diagram of the super-resolution
図９は、第１実施形態に係る予測部２の概略構成図である。
FIG. 9 is a schematic configuration diagram of the
図１０は、予測部２Ａで実行される予測処理を説明するための図である。図１０の左図は、データＤ１、すなわち、原画像Ｄｉｎ（ＬＬ（０））に対して、２回サブバンド分割処理（サブバンド符号化処理）を実行して取得される周波数領域のスペクトルデータ（ウェーブレット変換による周波数領域のスペクトルデータ）である。図１０の右図は、データＤ１を拡張した周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ３を示す図である。
FIG. 10 is a diagram for explaining the prediction process executed by the
第２実施形態の超解像画像生成装置２００は、図８に示すように、第１実施形態の超解像画像生成装置１００において、予測部２を予測部２Ａに置換し、さらに小領域設定部４を追加した構成を有している。
As shown in FIG. 8, the super-resolution
小領域設定部４は、サブバンド領域内に小領域ＲＫを設定し、設定した小領域ＲＫの情報Ｉｎｆｏ＿ＲＫを予測部２Ａに出力する。
Small
予測部２Ａは、図９に示すように、第１実施形態の予測部２において、第１係数取得部２１を第１係数取得部２１Ａに置換し、第２係数取得部２２を第２係数取得部２２Ａに置換し、第３係数取得部２３を第３係数取得部２３Ａに置換し、さらに、乗算器Ｍｘ２１を乗算処理部Ｍｘ２１Ａに置換し、乗算器Ｍｘ２２を乗算処理部Ｍｘ２２Ａに置換し、乗算器Ｍｘ２３を乗算処理部Ｍｘ２３Ａに置換した構成を有している。
As shown in FIG. 9, the
第１係数取得部２１Ａは、サブバンド分割部１から出力されるデータＨＬ（１）、ＨＬ（２）と、小領域設定部４から出力される小領域ＲＫの情報Ｉｎｆｏ＿ＲＫの中に含まれるサブバンド領域ＨＬ内に設定された小領域ＲＫ（ＨＬ）の情報とを入力する。第１係数取得部２１Ａは、データＨＬ（１）、ＨＬ（２）と、小領域ＲＫ（ＨＬ）の情報とに基づいて、第１係数ｋＨＬを取得する。
First coefficient acquisition unit 21A, the data HL (1) which is output from the
ここで、本実施形態の超解像画像生成装置２００では、サブバンド領域Ｂ内に小領域（局所領域）ＲＫが設定される。
Here, in the super-resolution
そして、超解像画像生成装置２００では、サブバンド領域Ｂ内に設定された小領域（局所領域）ＲＫごとに、平均エネルギーＥｍｅａｎが算出され、算出された平均エネルギーＥｍｅａｎのサブバンドの階層間の比に基づいて、係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）が算出される。
Then, the super-resolution
つまり、第１実施形態の超解像画像生成装置１００では、サブバンド領域Ｂ全体で、平均エネルギーＥｍｅａｎが算出していたが、第２実施形態の超解像画像生成装置２００では、サブバンド領域Ｂ内に設定された小領域（局所領域）ＲＫごとに、平均エネルギーＥｍｅａｎが算出される。この点が相違する。
That is, in the super-resolution
具体的に、図１０を参照しながら、サブバンド領域ＨＬ（２）、ＨＬ（１）、ＨＬ（０）に設定された小領域ＲＫ（ＨＬ（２））、ＲＫ（ＨＬ（１））、ＲＫ（ＨＬ（０））を用いて係数ｋＨＬ（ＲＫ）を算出する処理について説明する。 Specifically, referring to FIG. 10, the small regions RK (HL (2)) and RK (HL (1)) set in the subband regions HL (2), HL (1), and HL (0). ), RK (HL (0)) is used to calculate the coefficient k HL ( RK).
小領域設定部４は、サブバンド領域ＨＬ（２）内にＮ個（Ｎ：自然数）の小領域ＲＫ（ＨＬ（２））（Ｋ：自然数、１≦Ｋ≦Ｎ）を設定する。小領域ＲＫ（ＨＬ（２））の形状は任意の形状（例えば、矩形、円形、楕円形）であってもよく、そのサイズも任意である。
The small
なお、同種のサブバンド領域において設定される小領域は、当該小領域が含まれるサブバンド領域Ｂ内の相対的な位置関係は、同じである。 The small regions set in the same type of subband region have the same relative positional relationship within the subband region B including the small region.
つまり、図１０の右図に示すように、サブバンド領域ＨＬ（２）と、サブバンド領域ＨＬ（２）に設定された小領域ＲＫ（ＨＬ（２））との位置関係、サイズの関係は、サブバンド領域ＨＬ（１）と、サブバンド領域ＨＬ（１）に設定された小領域ＲＫ（ＨＬ（１））との位置関係、サイズの関係と同じである。 That is, as shown in the right figure of FIG. 10, the positional relationship and size relationship between the subband region HL (2) and the small region RK (HL (2)) set in the subband region HL (2). Is the same as the positional relationship and size relationship between the subband region HL (1) and the small region RK (HL (1)) set in the subband region HL (1).
また、サブバンド領域ＨＬ（１）と、サブバンド領域ＨＬ（１）に設定された小領域ＲＫ（ＨＬ（１））との位置関係、サイズの関係は、サブバンド領域ＨＬ（０）と、サブバンド領域ＨＬ（０）に設定された小領域ＲＫ（ＨＬ（０））との位置関係、サイズの関係と同じである。 Further, the positional relationship and size relationship between the sub-band region HL (1) and the small region RK (HL (1)) set in the sub-band region HL (1) are the same as the sub-band region HL (0). , The positional relationship and the size relationship with the small area RK (HL (0)) set in the subband area HL (0) are the same.
そして、上記のように設定された小領域ＲＫ内の平均エネルギーは、下記数式により取得される。
第１係数取得部２１Ａは、上記数式により、サブバンド領域ＨＬ（２）の小領域ＲＫ（ＨＬ（２））の平均エネルギーＥｍｅａｎ（Ｒｋ（ＨＬ（２）））と、サブバンド領域ＨＬ（１）の小領域ＲＫ（ＨＬ（１））の平均エネルギーＥｍｅａｎ（Ｒｋ（ＨＬ（１）））と算出する。
The average energy in the small region R K which is set as described above is obtained by the following equation.
そして、第１係数取得部２１Ａは、係数ｋＨＬ（ＲＫ）を、
ｋＨＬ（ＲＫ）＝Ｅｍｅａｎ（Ｒｋ（ＨＬ（１）））／Ｅｍｅａｎ（Ｒｋ（ＨＬ（２）））
により取得する。なお、上記数式の分母Ｅｍｅａｎ（Ｒｋ（ＨＬ（２）））が極端に小さいとき、係数ｋＨＬ（ＲＫ）が大きな値になってしまうので、このような場合、第１係数取得部２１Ａは、クリップ処理を行い、係数ｋＨＬ（ＲＫ）が上限値を超えないようにしてもよい。
Then, the first coefficient acquisition unit 21A sets the coefficient k HL ( RK ).
k HL (R K) = E mean (R k (HL (1))) / E mean (R k (HL (2)))
To get by. When the denominator Mean (R k (HL (2))) of the above formula is extremely small, the coefficient k HL ( RK ) becomes a large value. In such a case, the first coefficient acquisition unit The 21A may be clipped so that the coefficient kHL ( RK ) does not exceed the upper limit.
そして、第１係数取得部２１Ａは、取得した係数ｋＨＬ（ＲＫ）を乗算処理部Ｍｘ２１Ａに出力する。 The first coefficient acquisition unit 21A outputs the obtained coefficient k HL of (R K) to the multiplication processing unit Mx21A.
乗算処理部Ｍｘ２１Ａは、垂直ローパスフィルタ部ＬＰＦｕ＿ｖ２１から出力されるデータｔｍｐ＿ＨＬ（０）と、小領域設定部４から出力される小領域ＲＫの情報Ｉｎｆｏ＿ＲＫの中に含まれるサブバンド領域ＨＬ内に設定された小領域ＲＫ（ＨＬ）の情報と、入力する。また、乗算処理部Ｍｘ２１Ａは、第１係数取得部２１Ａから出力される小領域ＲＫのための係数ｋＨＬ（ＲＫ）を入力する。そして、乗算処理部Ｍｘ２１Ａは、サブバンド領域ＨＬ（０）内に設定された小領域ＲＫ（ＨＬ（０））に対して、係数ｋＨＬ（ＲＫ）を用いて乗算処理を行う。
Multiplication processing unit Mx21A includes a data tmp_HL output from the vertical low-pass filtering unit LPFu_v21 (0), the subband domain in HL included in the information Info_R K of the small region R K outputted from the small
つまり、乗算処理部Ｍｘ２１Ａは、
ＨＬ’（０）＝ｋＨＬ（ＲＫ）×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、データＨＬ’（０）を取得する。なお、上記数式に相当する処理とは、サブバンド領域ｔｍｐ＿ＨＬ（０）の小領域ＲＫに含まれる各画素の画素値に係数ｋＨＬを乗算した値を、サブバンド領域ＨＬ’（０）の小領域ＲＫに含まれる各画素の画素値とする処理を意味している。
That is, the multiplication processing unit Mx21A
HL '(0) = k HL (R K) × tmp_HL (0)
Data HL'(0) is acquired by executing the process corresponding to. Note that the processing corresponding to the above formula, the value obtained by multiplying the coefficient k HL to the pixel values of the pixels included in the small region R K subbands region Tmp_HL (0), the sub-band domain HL '(0) means the process of the pixel value of each pixel included in the small region R K.
図１０の右図に示すように、サブバンド領域ＨＬ（２）内の小領域ＲＫ（ＨＬ（２））とサブバンド領域ＨＬ（１）内の小領域ＲＫ（ＨＬ（１））との相関性は、サブバンド領域ＨＬ（１）内の小領域ＲＫ（ＨＬ（１））とサブバンド領域ＨＬ（０）内の小領域ＲＫ（ＨＬ（０））との相関性と類似すると考えられる。 As shown in the right diagram of FIG. 10, the small region R K in the subband domain HL (2) (HL (2 )) and the small region R K subbands region HL (1) in (HL (1)) the correlation, similar to the correlation between small region R K in the subband domain HL (1) (HL (1 )) and the small region R K subbands region HL (0) in (HL (0)) It is thought that.
したがって、上記のように、サブバンド領域を小領域ごとに分割して、相関性を考慮した係数ｋＨＬ（ＲＫ）を用いた処理を行うことで、より精度の高い予測サブバンド画像ＨＬ’（０）を取得することができる。 Therefore, as described above, by dividing the subband region into small regions and performing processing using the coefficient k HL ( RK ) in consideration of the correlation, the predicted subband image HL'with higher accuracy is performed. (0) can be obtained.
なお、予測部２Ａにおいて、図９に示すように、データＨＬ（２）、ＨＬ（１）から、予測サブバンド画像ＨＬ’（０）を取得する系の処理、および、データＨＨ（２）、ＨＨ（１）から、予測サブバンド画像ＨＨ’（０）を取得する系の処理についても、上記の処理（データＬＨ（２）、ＬＨ（１）から、予測サブバンド画像ＬＨ’（０）を取得する系の処理）と同様である。
As shown in FIG. 9, the
以上のように、超解像画像生成装置２００では、サブバンド分割処理（サブバンド符号化処理）により取得される同種のサブバンドであって、階層が異なるサブバンド同士は相関性が高いことを利用して、原画像Ｄｉｎ（ＬＬ（０））の解像度を２倍に拡張した超解像画像ＬＬ（−１）を取得するために必要となる、サブバンド画像ＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。
As described above, in the super-resolution
そして、超解像画像生成装置２００では、サブバンド領域内に設定した小領域ごとに、階層が異なる同種のサブバンド間の相関性を考慮した係数により、予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得するので、さらに高精度な処理を実現することができる。
Then, in the super-resolution
［第３実施形態］
次に、第３実施形態について説明する。
[Third Embodiment]
Next, the third embodiment will be described.
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。 The same parts as those in the above embodiment are designated by the same reference numerals, and detailed description thereof will be omitted.
図１１は、第３実施形態に係る超解像画像生成装置３００の概略構成図である。
FIG. 11 is a schematic configuration diagram of the super-resolution
図１２は、第３実施形態に係る復元率取得部５の概略構成図である。
FIG. 12 is a schematic configuration diagram of the restoration
図１３は、復元率取得処理を説明するための図である。 FIG. 13 is a diagram for explaining the restoration rate acquisition process.
第３実施形態の超解像画像生成装置３００は、第２実施形態の超解像画像生成装置２００において、さらに復元率取得部５を追加した構成を有している。
The super-resolution
復元率取得部５は、図１１、図１２に示すように、画像データＤｉｎ（ＬＬ（０））とサブバンド分割部１から出力されるデータＤ１１（サブバンド画像ＬＬ（１））とを入力する。また、復元率取得部５は、小領域設定部４により設定されたサブバンド内の小領域ＲＫの情報Ｉｎｆｏ＿ＲＫと、予測部２Ａで取得された係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）についての情報（データ）ｋ＿ＲＫとを入力する。
As shown in FIGS. 11 and 12, the restoration
そして、復元率取得部５は、画像データＤｉｎ（ＬＬ（０））と、データＤ１１（サブバンド画像ＬＬ（１））とに基づいて、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを取得し、取得した復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを小領域設定部４に出力する。
Then, the restoration
復元率取得部５は、図１２に示すように、サブバンド分割部５１と、予測部５２と、サブバンド合成部５３と、復元率算出部５４とを備える。
As shown in FIG. 12, the restoration
サブバンド分割部５１は、サブバンド分割部１と同様の構成を有している。
The
予測部５２は、予測部２Ａと同様の構成を有している。
The
サブバンド合成部５３は、サブバンド合成部３と同様の構成を有している。サブバンド合成部５３は、予測部５２から出力されるデータＤ５＿ｅｓｔ（サブバンドデータＨＬ’（１）、ＬＨ’（１）、および、ＨＨ’（１）を含むベクトルデータ）と、サブバンド分割部１から出力されるサブバンドデータＬＬ（１）とを入力する。サブバンド合成部５３は、サブバンドデータＬＬ（１）、ＨＬ’（１）、ＬＨ’（１）、および、ＨＨ’（１）を用いてサブバンド合成処理を行い、画像データＬＬ’（０）を取得する。そして、サブバンド合成部５３は、取得した画像データＬＬ’（０）を復元率算出部５４に出力する。
The
復元率算出部５４は、画像データＤｉｎ（ＬＬ（０））と、サブバンド合成部５３から出力されるサブバンド画像データＬＬ’（０）とを入力する。復元率算出部５４は、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを、
Ｒａｔｅ＿ｒｅｓｔｏｒｅ＝ｄｉｆｆ（ＬＬ’（０），ＬＬ（０））
により、取得する。なお、ｄｉｆｆ（ＬＬ’（０），ＬＬ（０））は、画像ＬＬ’（０）と画像ＬＬ（０）とにおいて、同一座標位置の画素の画素値の差の絶対値を、画像全体について、総和をとったものである。つまり、画像ＬＬ’（０）と画像ＬＬ（０）とが完全同一であれば、ｄｉｆｆ（ＬＬ’（０），ＬＬ（０））の値は「０」になる。
The restoration
Rate_restore = diff (LL'(0), LL (0))
To get. Note that diff (LL'(0), LL (0)) sets the absolute value of the difference in pixel values of the pixels at the same coordinate position between the image LL'(0) and the image LL (0) for the entire image. , The sum is taken. That is, if the image LL'(0) and the image LL (0) are exactly the same, the value of the diff (LL'(0), LL (0)) becomes "0".
復元率算出部５４は、上記により取得した復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを小領域設定部４に出力する。
The restoration
第３実施形態の超解像画像生成装置３００では、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを算出し、当該復元率が所定の値よりも小さい場合の係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）を採用することで、さらに高精度な超解像画像ＬＬ（−１）を取得する。
In super-resolution
超解像画像（ＬＬ（−１））は、原画像（ＬＬ（０））から生成したものであり、存在しない画像を生成しているので、正しい超解像画像（ＬＬ（−１））を観念することができない。 Since the super-resolution image (LL (-1)) is generated from the original image (LL (0)) and generates an image that does not exist, the correct super-resolution image (LL (-1)) is generated. I can't think of.
そこで、本実施形態の超解像画像生成装置３００では、図１３に示すように、原画像（ＬＬ（０））をサブバンド分割処理して取得されるサブバンド画像ＬＬ（１）を仮の原画像とみなし、仮の原画像（ＬＬ（１））に対して、予測部２Ａで実行される処理と同様の処理（係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）を用いた処理）を、復元率取得部５で実行し、仮の原画像（ＬＬ（１））から、超解像画像ＬＬ’（０）を取得する。そして、復元率取得部５では、上記のようにして取得した超解像画像ＬＬ’（０）と、原画像（ＬＬ（０））との差がどれくらいであるかを示す復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを取得する。
Therefore, in the super-resolution
そして、超解像画像生成装置３００では、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅが所定の値よりも大きい場合、例えば、サブバンド内の小領域ＲＫの大きさを変化させ、上記処理を繰り返し実行する。そして、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅが所定の値以下となった場合、そのときの係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）により取得された超解像画像ＬＬ（−１）を、超解像画像生成装置３００から出力するようにする。
Then, the super-resolution
このように処理することで、超解像画像生成装置３００では、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅが所定の値以下となる、高精度な超解像画像ＬＬ（−１）を取得することができる。
By performing this processing, the super-resolution
したがって、超解像画像生成装置３００では、従来技術のように場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得することができる。
Therefore, in the super-resolution
≪変形例≫
次に、第３実施形態の変形例について、説明する。
≪Modification example≫
Next, a modified example of the third embodiment will be described.
上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。 The same parts as those in the above embodiment are designated by the same reference numerals, and detailed description thereof will be omitted.
図１４は、第３実施形態の変形例に係る超解像画像生成装置３００Ａの概略構成図である。
FIG. 14 is a schematic configuration diagram of the super-resolution
図１５は、第３実施形態の変形例に係る復元率取得部５Ａの概略構成図である。
FIG. 15 is a schematic configuration diagram of the restoration
図１６は、第３実施形態の変形例の復元率取得処理を説明するための図である。 FIG. 16 is a diagram for explaining the restoration rate acquisition process of the modified example of the third embodiment.
第３実施形態の変形例の超解像画像生成装置３００Ａは、第３実施形態の超解像画像生成装置３００において、復元率取得部５を復元率取得部５Ａに置換し、小領域設定部４を小領域設定部４Ａに置換した構成を有している。
The super-resolution
復元率取得部５Ａは、図１４、図１５に示すように、画像データＤｉｎ（ＬＬ（０））とサブバンド分割部１から出力されるデータＤ１１Ａ（サブバンド画像ＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１））とを入力する。また、復元率取得部５Ａは、小領域設定部４Ａにより設定されたサブバンド内の小領域ＲＫの情報Ｉｎｆｏ＿ＲＫと、予測部２Ａで取得された係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）についての情報（データ）ｋ＿ＲＫとを入力する。
As shown in FIGS. 14 and 15, the restoration
そして、復元率取得部５Ａは、画像データＤｉｎ（ＬＬ（０））と、データＤ１１Ａ（サブバンド画像ＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１））とに基づいて、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅおよびサブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ、Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ、および、Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを含むベクトルデータ）を取得し、取得した復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅおよびサブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂを小領域設定部４Ａに出力する。
Then, the restoration
復元率取得部５は、図１５に示すように、サブバンド分割部５１と、予測部５２と、サブバンド合成部５３と、復元率算出部５４と、第１サブバンド復元率算出部５５と、第２サブバンド復元率算出部５６と、第３サブバンド復元率算出部５７と、を備える。
As shown in FIG. 15, the restoration
サブバンド分割部５１、予測部５２、サブバンド合成部５３、および、復元率算出部５４は、第３実施形態のものと同様である。
The
第１サブバンド復元率算出部５５は、サブバンド分割部１から出力されるサブバンドデータＨＬ（１）（サブバンド画像ＨＬ（１））と、予測部５２から出力されるサブバンドデータサブバンドデータＨＬ’（１）とを入力する。
The first subband restoration
第１サブバンド復元率算出部５５は、第１サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＨＬを、
Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ＝ｄｉｆｆ（ＨＬ’（１），ＨＬ（１））
により、取得する。なお、ｄｉｆｆ（ＨＬ’（１），ＨＬ（１））は、サブバンド画像ＨＬ’（１）とサブバンド画像ＨＬ（１）とにおいて、同一座標位置の画素の画素値の差の絶対値を、サブバンド画像全体について、総和をとったものである。つまり、サブバンド画像ＨＬ’（１）とサブバンド画像ＨＬ（１）とが完全同一であれば、ｄｉｆｆ（ＨＬ’（１），ＨＬ（１））の値は「０」になる。例えば、図１６に示した、サブバンド画像ＨＬ’（１）とサブバンド画像ＨＬ（１）とを用いて、ｄｉｆｆ（ＨＬ’（１），ＨＬ（１））が算出される。
The first subband restoration
Rate_rstr_HL = diff (HL'(1), HL (1))
To get. The diff (HL'(1), HL (1)) is the absolute value of the difference between the pixel values of the pixels at the same coordinate position in the subband image HL'(1) and the subband image HL (1). , The sum of the entire subband image is taken. That is, if the subband image HL'(1) and the subband image HL (1) are exactly the same, the value of the diff (HL'(1), HL (1)) becomes "0". For example, the diff (HL'(1), HL (1)) is calculated using the subband image HL'(1) and the subband image HL (1) shown in FIG.
第１サブバンド復元率算出部５５は、上記により取得した第１サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＨＬを小領域設定部４Ａに出力する。
The first subband restoration
第２サブバンド復元率算出部５６は、サブバンド分割部１から出力されるサブバンドデータＬＨ（１）（サブバンド画像ＬＨ（１））と、予測部５２から出力されるサブバンドデータサブバンドデータＬＨ’（１）とを入力する。
The second sub-band restoration
第２サブバンド復元率算出部５６は、第２サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＬＨを、
Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ＝ｄｉｆｆ（ＬＨ’（１），ＬＨ（１））
により、取得する。なお、ｄｉｆｆ（ＬＨ’（１），ＬＨ（１））は、サブバンド画像ＬＨ’（１）とサブバンド画像ＬＨ（１）とにおいて、同一座標位置の画素の画素値の差の絶対値を、サブバンド画像全体について、総和をとったものである。つまり、サブバンド画像ＬＨ’（１）とサブバンド画像ＬＨ（１）とが完全同一であれば、ｄｉｆｆ（ＬＨ’（１），ＬＨ（１））の値は「０」になる。例えば、図１６に示した、サブバンド画像ＬＨ’（１）とサブバンド画像ＬＬ（１）とを用いて、ｄｉｆｆ（ＬＨ’（１），ＬＨ（１））が算出される。
The second subband restoration
Rate_rstr_LH = diff (LH'(1), LH (1))
To get. The diff (LH'(1), LH (1)) is the absolute value of the difference between the pixel values of the pixels at the same coordinate position in the subband image LH'(1) and the subband image LH (1). , The sum of the entire subband image is taken. That is, if the subband image LH'(1) and the subband image LH (1) are exactly the same, the value of the diff (LH'(1), LH (1)) becomes "0". For example, the diff (LH'(1), LH (1)) is calculated using the subband image LH'(1) and the subband image LL (1) shown in FIG.
第２サブバンド復元率算出部５６は、上記により取得した第２サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＬＨを小領域設定部４Ａに出力する。
The second subband restoration
第３サブバンド復元率算出部５７は、サブバンド分割部１から出力されるサブバンドデータＨＨ（１）（サブバンド画像ＨＨ（１））と、予測部５２から出力されるサブバンドデータサブバンドデータＨＨ’（１）とを入力する。
The third sub-band restoration
第３サブバンド復元率算出部５７は、第３サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを、
Ｒａｔｅ＿ｒｓｔｒ＿ＨＨ＝ｄｉｆｆ（ＨＨ’（１），ＨＨ（１））
により、取得する。なお、ｄｉｆｆ（ＨＨ’（１），ＨＨ（１））は、サブバンド画像ＨＨ’（１）とサブバンド画像ＨＨ（１）とにおいて、同一座標位置の画素の画素値の差の絶対値を、サブバンド画像全体について、総和をとったものである。つまり、サブバンド画像ＨＨ’（１）とサブバンド画像ＨＨ（１）とが完全同一であれば、ｄｉｆｆ（ＨＨ’（１），ＨＨ（１））の値は「０」になる。例えば、図１６に示した、サブバンド画像ＨＨ’（１）とサブバンド画像ＨＨ（１）とを用いて、ｄｉｆｆ（ＨＨ’（１），ＨＨ（１））が算出される。
The third subband restoration
Rate_rstr_HH = diff (HH'(1), HH (1))
To get. The diff (HH'(1), HH (1)) is the absolute value of the difference between the pixel values of the pixels at the same coordinate position in the subband image HH'(1) and the subband image HH (1). , The sum of the entire subband image is taken. That is, if the subband image HH'(1) and the subband image HH (1) are exactly the same, the value of the diff (HH'(1), HH (1)) becomes "0". For example, the diff (HH'(1), HH (1)) is calculated using the subband image HH'(1) and the subband image HH (1) shown in FIG.
第３サブバンド復元率算出部５７は、上記により取得した第３サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを小領域設定部４Ａに出力する。
The third subband restoration
小領域設定部４Ａは、復元率取得部５Ａから出力される復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅと、サブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ、Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ、および、Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを含むベクトルデータ）とを入力する。
The small
そして、小領域設定部４Ａは、例えば、閾値をＴｈ１、Ｔｈ２、Ｔｈ３とすると、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅと、サブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ、Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ、および、Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを含むベクトルデータ）とが以下の条件を満たすか否かを判定する。
（１）Ｒａｔｅ＿ｒｅｓｔｏｒｅ＜Ｔｈ１
（２）Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ＜Ｔｈ２
（３）Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ＜Ｔｈ３
（４）Ｒａｔｅ＿ｒｓｔｒ＿ＨＨ＜Ｔｈ４
小領域設定部４Ａは、上記条件を満たすと判定した場合、設定されている係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）を最適係数として設定する。
Then, for example, when the threshold value is Th1, Th2, Th3, the small
(1) Rate_restore <Th1
(2) Rate_rstr_HL <Th2
(3) Rate_rstr_LH <Th3
(4) Rate_rstr_HH <Th4
Small
そして、超解像画像生成装置３００Ａは、上記最適係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）により取得される超解像画像ＬＬ（−１）を、超解像画像生成装置３００から出力するようにする。
The super-resolution
一方、上記条件を満たさない場合、小領域設定部４Ａは、例えば、サブバンド内の小領域ＲＫの大きさを変化させ、上記処理を繰り返し実行する。
On the other hand, if the above condition is not met, the small
なお、上記条件は、例えば、以下の条件に置換してもよい。
（１）Ｒａｔｅ＿ｒｅｓｔｏｒｅ＜Ｔｈ１
（２）Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ＋Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ＋Ｒａｔｅ＿ｒｓｔｒ＿ＨＨ＜Ｔｈ５
Ｔｈ５：閾値
また、上記条件は、例えば、以下の条件に置換してもよい。
（１）Ｒａｔｅ＿ｒｅｓｔｏｒｅ＜Ｔｈ１
（２）Ａｖｅ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ，Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ，Ｒａｔｅ＿ｒｓｔｒ＿ＨＨ）＜Ｔｈ６
Ｔｈ６：閾値
Ａｖｅ（ｘ，ｙ，ｚ）：ｘ，ｙ，ｚの平均値をとる関数
以上のように、超解像画像生成装置３００Ａでは、画像全体の復元率である復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅと、サブバンド領域ごとの復元率であるサブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ、Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ、および、Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを含むベクトルデータ）とに基づいて、サブバンド内の小領域ＲＫの大きさを調整する。そして、超解像画像生成装置３００Ａでは、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅと、サブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂとを考慮することで、最適なサブバンド内の小領域ＲＫを設定することができ、設定されたサブバンド内の小領域ＲＫを用いて、超解像画像生成処理を行うことで、超解像画像生成装置３００Ａでは、高精度な超解像画像ＬＬ（−１）を取得することができる。
The above conditions may be replaced with, for example, the following conditions.
(1) Rate_restore <Th1
(2) Rate_rstr_HL + Rate_rstr_LH + Rate_rstr_HH <Th5
Th5: Threshold The above condition may be replaced with, for example, the following condition.
(1) Rate_restore <Th1
(2) Ave (Rate_rstr_HL, Rate_rstr_LH, Rate_rstr_HH) <Th6
Th6: Threshold value Ave (x, y, z): A function that takes the average value of x, y, z As described above, in the
［他の実施形態］
上記実施形態を組み合わせて、超解像画像生成装置を構成するようにしてもよい。
[Other Embodiments]
The super-resolution image generator may be configured by combining the above embodiments.
また、上記実施形態において、係数ｋＨＬ、ｋＬＨ、ｋＨＨ、または、係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）を算出する処理において、サブバンド領域、あるいは、サブバンド領域の小領域の平均エネルギー値を、各画素の画素値（スペクトル値）の絶対値の平均値を求めることで取得したが、これに限定されることはなく、例えば、サブバンド領域、あるいは、サブバンド領域の小領域の平均エネルギー値を、各画素の画素値（スペクトル値）の平方根、２乗値、あるいは、それらの平均値として、取得するようにしてもよい。 Further, in the above embodiment, in the process of calculating the coefficients k HL , k LH , k HH , or the coefficients k HL ( RK ), k LH ( RK ), k HH ( RK ), the subband region, Alternatively, the average energy value of a small region of the subband region was obtained by obtaining the average value of the absolute values of the pixel values (spectral values) of each pixel, but the present invention is not limited to this, and for example, the subband The average energy value of the region or the small region of the subband region may be acquired as the square root of the pixel value (spectral value) of each pixel, the square value, or the average value thereof.
また、第１実施形態において、係数ｋＨＬ、ｋＬＨ、ｋＨＨを、同種のサブバンド領域の階層間の平均エネルギーの比により算出する場合について説明したが、これに限定されることはなく、例えば、以下のようにして、係数ｋＨＬ、ｋＬＨ、ｋＨＨを取得するようにしてもよい。 Further, in the first embodiment, the case where the coefficients k HL , k LH , and k HH are calculated by the ratio of the average energies between the layers of the same type of subband region has been described, but the present invention is not limited to this. For example, the coefficients k HL , k LH , and k HH may be acquired as follows.
例えば、サブバンド領域ＨＬ（２）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＨＬ（２））とし、サブバンド領域ＨＬ（１）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＨＬ（１））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋＨＬ＝ｎｏｎ＿ｆ（Ｐｈｙ（ＨＬ（１）），Ｐｈｙ（ＨＬ（２）））
として、係数ｋＨＬが取得されるものであってもよい。なお、ｎｏｎ＿ｆ（ｘ，ｙ）は、同種のサブバンド領域の階層間の相関性を示す値を返す非線形の関数である。
For example, a predetermined physical quantity derived from the pixel value of the pixel included in the subband region HL (2) is defined as Phy (HL (2)), and is derived from the pixel value of the pixel included in the subband region HL (1). Let Phy (HL (1)) be a predetermined physical quantity, and let non-linear function non_f (x, y) be.
k HL = non_f (Phy (HL (1)), Phy (HL (2)))
As the coefficient k HL may be obtained. Note that non_f (x, y) is a non-linear function that returns a value indicating the correlation between layers of subband regions of the same type.
サブバンド領域ＬＨ（２）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＬＨ（２））とし、サブバンド領域ＬＨ（１）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＬＨ（１））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋＬＨ＝ｎｏｎ＿ｆ（Ｐｈｙ（ＬＨ（１）），Ｐｈｙ（ＬＨ（２）））
として、係数ｋＬＨが取得されるものであってもよい。
A predetermined physical quantity derived from the pixel value of the pixel included in the subband region LH (2) is defined as Phy (LH (2)), and is derived from the pixel value of the pixel included in the subband region LH (1). Let Phy (LH (1)) be the physical quantity of, and let the nonlinear function non_f (x, y) be.
k LH = non_f (Phy (LH (1)), Phy (LH (2)))
As a factor, the coefficient k LH may be obtained.
サブバンド領域ＨＨ（２）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＨＨ（２））とし、サブバンド領域ＨＨ（１）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＨＨ（１））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋＨＨ＝ｎｏｎ＿ｆ（Ｐｈｙ（ＨＨ（１）），Ｐｈｙ（ＨＨ（２）））
として、係数ｋＨＨが取得されるものであってもよい。
A predetermined physical quantity derived from the pixel value of the pixel included in the subband region HH (2) is defined as Phy (HH (2)), and is derived from the pixel value of the pixel included in the subband region HH (1). Let Phy (HH (1)) be the physical quantity of, and let the nonlinear function non_f (x, y) be.
k HH = non_f (Phy (HH (1)), Phy (HH (2)))
As a factor k HH , the coefficient k HH may be obtained.
また、第２実施形態において、小領域ＲＫ内の画素に対する処理に適用する係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）を、同種のサブバンド領域の階層間の対応する小領域ＲＫの平均エネルギーの比により算出する場合について説明したが、これに限定されることはなく、例えば、以下のようにして、係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）を取得するようにしてもよい。 In the second embodiment, the coefficient k HL to be applied to the processing for the pixels in the small region R K (R K), k LH (R K), k HH (R K) of the hierarchy of sub-band region of the same type It has been described for calculating the average energy ratio of the corresponding small regions R K between is not limited thereto, for example, as follows, the coefficient k HL (R K), k LH ( RK ) and k HH ( RK ) may be acquired.
例えば、サブバンド領域ＨＬ（２）の小領域ＲＫ（ＨＬ（２））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＲＫ（ＨＬ（２）））とし、サブバンド領域ＨＬ（１）の小領域ＲＫ（ＨＬ（１））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＲＫ（ＨＬ（１）））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋＨＬ（ＲＫ）＝ｎｏｎ＿ｆ（Ｐｈｙ（ＲＫ（ＨＬ（１））），Ｐｈｙ（ＲＫ（ＨＬ（２））））
として、係数ｋＨＬ（ＲＫ）が取得されるものであってもよい。なお、ｎｏｎ＿ｆ（ｘ，ｙ）は、同種のサブバンド領域の階層間の相関性を示す値を返す非線形の関数である。
For example, a small region R K subbands region HL (2) (HL (2 )) predetermined physical quantity Phy derived from the pixel values of pixels included in (R K (HL (2) )), sub-band a small region R K region HL (1) (HL (1 )) predetermined physical quantity Phy derived from the pixel values of pixels included in (R K (HL (1) )), a non-linear function non_f (x, If y),
k HL (R K) = non_f (Phy (R K (HL (1))), Phy (R K (HL (2))))
As a factor, the coefficient k HL ( RK ) may be obtained. Note that non_f (x, y) is a non-linear function that returns a value indicating the correlation between layers of subband regions of the same type.
サブバンド領域ＬＨ（２）の小領域ＲＫ（ＬＨ（２））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＲＫ（ＬＨ（２）））とし、サブバンド領域ＬＨ（１）の小領域ＲＫ（ＬＨ（１））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＲＫ（ＬＨ（１）））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋＬＨ（ＲＫ）＝ｎｏｎ＿ｆ（Ｐｈｙ（ＲＫ（ＬＨ（１））），Ｐｈｙ（ＲＫ（ＬＨ（２））））
として、係数ｋＬＨ（ＲＫ）が取得されるものであってもよい。
The predetermined physical quantity Phy derived from the pixel values of pixels included in the small region R K subbands region LH (2) (LH (2 )) (R K (LH (2))), sub-band region LH (1) small region R K (LH (1)) predetermined physical quantity Phy (R K (LH (1))) derived from the pixel values of pixels included in the to, nonlinear function non_f (x, y) Then
k LH (R K) = non_f (Phy (R K (LH (1))), Phy (R K (LH (2))))
As a factor, the coefficient k LH ( RK ) may be acquired.
サブバンド領域ＨＨ（２）の小領域ＲＫ（ＨＨ（２））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＲＫ（ＨＨ（２）））とし、サブバンド領域ＨＨ（１）の小領域ＲＫ（ＨＨ（１））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＲＫ（ＨＨ（１）））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋＨＨ（ＲＫ）＝ｎｏｎ＿ｆ（Ｐｈｙ（ＲＫ（ＨＨ（１））），Ｐｈｙ（ＲＫ（ＨＨ（２））））
として、係数ｋＨＨ（ＲＫ）が取得されるものであってもよい。
The predetermined physical quantity Phy derived from the pixel values of pixels included in the small region R K subbands region HH (2) (HH (2 )) (R K (HH (2))), sub-band region HH (1) small region R K (HH (1)) predetermined physical quantity Phy (R K (HH (1))) derived from the pixel values of pixels included in the to, nonlinear function non_f (x, y) Then
k HH (R K) = non_f (Phy (R K (HH (1))), Phy (R K (HH (2))))
As a factor, the coefficient k HH ( RK ) may be obtained.
また、上記実施形態では、超解像画像生成装置において、輝度信号についてのみ処理を行う場合について、説明したが、これに限定されることはなく、ＲＧＢ色空間の画素値、ＹＵＶ色空間の画素値等について、超解像画像を取得する処理を実行するようにしてもよい。 Further, in the above embodiment, the case where the super-resolution image generation device processes only the brightness signal has been described, but the present invention is not limited to this, and the pixel values in the RGB color space and the pixels in the YUV color space are not limited to this. For the value and the like, the process of acquiring the super-resolution image may be executed.
また、上記実施形態において、サブバンド分割処理で用いられるローパスフィルタ処理の伝達関数Ｇ（ｚ）、ハイパスフィルタ処理の伝達関数Ｈ（ｚ）、および、サブバンド合成処理で用いられるローパスフィルタ処理の伝達関数Ｐ（ｚ）、ハイパスフィルタ処理の伝達関数Ｑ（ｚ）は、例えば、以下のようなものであってもよい。
Ｇ（ｚ）＝（１＋ｚ−１）／ｓｑｒｔ（２）
Ｈ（ｚ）＝（１−ｚ−１）／ｓｑｒｔ（２）
Ｐ（ｚ）＝（１＋ｚ−１）／ｓｑｒｔ（２）
Ｈ（ｚ）＝（１−ｚ−１）／ｓｑｒｔ（２）
ｓｑｒｔ（ｘ）：ｘの平方根を返す関数
なお、サブバンド分割処理で用いられるローパスフィルタ処理の伝達関数Ｇ（ｚ）、ハイパスフィルタ処理の伝達関数Ｈ（ｚ）、および、サブバンド合成処理で用いられるローパスフィルタ処理の伝達関数Ｐ（ｚ）、ハイパスフィルタ処理の伝達関数Ｑ（ｚ）は、他の特性のものであってもよい。
Further, in the above embodiment, the transfer function G (z) of the low-pass filter process used in the subband division process, the transfer function H (z) of the high-pass filter process, and the transfer of the low-pass filter process used in the subband synthesis process. The function P (z) and the transfer function Q (z) of the high-pass filter processing may be, for example, as follows.
G (z) = (1 + z -1 ) / square (2)
H (z) = (1-z -1 ) / square (2)
P (z) = (1 + z -1 ) / square (2)
H (z) = (1-z -1 ) / square (2)
sqrt (x): A function that returns the square root of x. Used in the transfer function G (z) of the low-pass filter processing used in the subband division processing, the transfer function H (z) of the high-pass filter processing, and the subband synthesis processing. The transfer function P (z) of the low-pass filter processing and the transfer function Q (z) of the high-pass filter processing may have other characteristics.
また、上記実施形態で説明した超解像画像生成装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。 Further, in the super-resolution image generation device described in the above embodiment, each block may be individually integrated into one chip by a semiconductor device such as an LSI, or may be integrated into one chip so as to include a part or all of the blocks. Is also good.
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。 Although it is referred to as an LSI here, it may be referred to as an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。 Further, the method of making an integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connection and settings of the circuit cells inside the LSI may be used.
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。 Further, a part or all of the processing of each functional block of each of the above embodiments may be realized by a program. Then, a part or all of the processing of each functional block of each of the above embodiments is performed by the central processing unit (CPU) in the computer. Further, the program for performing each process is stored in a storage device such as a hard disk or a ROM, and is read and executed in the ROM or the RAM.
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。 Further, each process of the above embodiment may be realized by hardware, or may be realized by software (including a case where it is realized together with an OS (operating system), middleware, or a predetermined library). Further, it may be realized by mixed processing of software and hardware.
例えば、上記実施形態（変形例を含む）の各機能部を、ソフトウェアにより実現する場合、図１７に示したハードウェア構成（例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。 For example, when each functional unit of the above embodiment (including a modification) is realized by software, the hardware configuration (for example, CPU, ROM, RAM, input unit, output unit, etc.) shown in FIG. 17 is realized by a bus Bus. Each functional part may be realized by software processing by using the connected hardware configuration).
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。 Further, the execution order of the processing methods in the above-described embodiment is not necessarily limited to the description of the above-described embodiment, and the execution order can be changed without departing from the gist of the invention.
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。 A computer program that causes a computer to perform the above-mentioned method and a computer-readable recording medium that records the program are included in the scope of the present invention. Here, examples of computer-readable recording media include flexible disks, hard disks, CD-ROMs, MOs, DVDs, DVD-ROMs, DVD-RAMs, large-capacity DVDs, next-generation DVDs, and semiconductor memories. ..
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。 The computer program is not limited to the one recorded on the recording medium, and may be transmitted via a telecommunication line, a wireless or wired communication line, a network typified by the Internet, or the like.
また、文言「部」は、「サーキトリー（ｃｉｒｃｕｉｔｒｙ）」を含む概念であってもよい。サーキトリーは、ハードウェア、ソフトウェア、あるいは、ハードウェアおよびソフトウェアの混在により、その全部または一部が、実現されるものであってもよい。 Further, the wording "part" may be a concept including "circuitity". The circuit may be realized in whole or in part by hardware, software, or a mixture of hardware and software.
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。 The specific configuration of the present invention is not limited to the above-described embodiment, and various changes and modifications can be made without departing from the gist of the invention.
１００、２００、３００、３００Ａ 超解像画像生成装置
１ サブバンド分割部
２、２Ａ 予測部
３ サブバンド合成部
４ 小領域設定部
５、５Ａ 復元率取得部
５４ 復元率算出部
５５ 第１サブバンド復元率算出部
５６ 第２サブバンド復元率算出部
５７ 第３サブバンド復元率算出部
100, 200, 300, 300A
Claims (8)
前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、前記原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する予測部であって、（Ａ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＬ’（０）を取得し、（Ｂ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＬＨ’（０）を取得し、（Ｃ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＨ’（０）を取得する前記予測部と、
前記原画像ＬＬ（０）と、前記予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得するサブバンド合成部と、を備える超解像画像生成装置。 Subband division processing is executed for the original image LL (0), and the subband data LL (1), HL (1), LH (1), which is the subband data one layer lower than the original image LL (0), are executed. 1) and HH (1) are acquired, and subband division processing is executed on the subband data LL (1), and the subband data two layers below the original image LL (0) is used. A subband division unit that acquires certain subband data HL (2), LH (2), and HH (2), and
Sub-band data of the super-resolution image LL (-1) in which the horizontal resolution of the original image LL (0) is doubled and the vertical resolution is doubled, and the sub-band data in the same layer as the original image LL (0). A prediction unit that acquires the prediction sub-band data HL'(0), LH'(0), and HH'(0) of the band data HL (0), LH (0), and HH (0). , (A) The subband data HL (A) based on predetermined physical quantities derived from the subband data HL (2) and the subband data HL (1), which are subband data of the same type and different layers. The predicted subband data HL'(0) is acquired by performing prediction processing using the simple extended subband data tp_HL (0) obtained by upsampling and filtering from 1), and (B). ) From the subband data LH (1) based on predetermined physical quantities derived from the subband data LH (2) and the subband data LH (1) which are the same type and different layers of subband data. The predicted subband data LH'(0) is acquired by performing prediction processing using the acquired simple extended subband data tp_LH (0) that has been upsampled and filtered, and (C) the same type. Upsampling processing from the subband data HH (1) based on predetermined physical quantities derived from the subband data HH (2) and the subband data HH (1), which are subband data with different layers. And the prediction unit that acquires the prediction subband data HH'(0) by performing prediction processing using the filtered simple extended subband data tp_HH (0).
The original image LL is performed by performing a subband synthesis process using the original image LL (0) and the predicted subband data HL'(0), LH'(0), and HH'(0). A super-resolution image generation device including a sub-band compositing unit for acquiring a super-resolution image LL (-1) in which the horizontal resolution of (0) is doubled and the vertical resolution is doubled.
請求項１に記載の超解像画像生成装置。 A restoration rate acquisition unit that acquires a restoration rate from the original image LL (0) and the subband data LL (1), and the subband division using the subband data LL (1) as a temporary original image. The super-resolution image LL'(0) of the sub-band data LL (1) is acquired by executing the same processing as that of the unit, the prediction unit, and the sub-band synthesis unit, and the acquired super-resolution image. The restoration rate acquisition unit for acquiring the restoration rate by comparing the LL'(0) with the original image LL (0) is further provided.
The super-resolution image generator according to claim 1.
ｋＨＬ＝Ｅｍｅａｎ（ＨＬ（１））／Ｅｍｅａｎ（ＨＬ（２））により、係数ｋＨＬを取得し、
ＨＬ’（０）＝ｋＨＬ×ｔｍｐ＿ＨＬ（０）に相当する処理を実行することで、前記予測サブバンドデータＨＬ’（０）を取得し、（Ｂ）前記サブバンドデータＬＨ（２）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＬＨ（２））と、前記サブバンドデータＬＨ（１）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＬＨ（１））とを取得し、
ｋＬＨ＝Ｅｍｅａｎ（ＬＨ（１））／Ｅｍｅａｎ（ＬＨ（２））により、係数ｋＨＬを取得し、
ＬＨ’（０）＝ｋＬＨ×ｔｍｐ＿ＬＨ（０）に相当する処理を実行することで、前記予測サブバンドデータＬＨ’（０）を取得し、（Ｃ）前記サブバンドデータＨＨ（２）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＨ（２））と、前記サブバンドデータＨＨ（１）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＨ（１））とを取得し、
ｋＨＨ＝Ｅｍｅａｎ（ＨＨ（１））／Ｅｍｅａｎ（ＨＨ（２））により、係数ｋＨＨを取得し、
ＨＬ’（０）＝ｋＨＬ×ｔｍｐ＿ＨＬ（０）に相当する処理を実行することで、前記予測サブバンドデータＨＨ’（０）を取得する、
請求項１又は２に記載の超解像画像生成装置。 The prediction unit includes (A) the average energy E mean (HL (2)) of the subband region corresponding to the subband data HL (2), and the subband region corresponding to the subband data HL (1). Obtain the average energy E mean (HL (1)) and
The coefficient k HL is obtained by k HL = E mean (HL (1)) / E mean (HL (2)).
By executing the process corresponding to HL'(0) = k HL × tp_HL (0), the predicted subband data HL'(0) is acquired, and (B) corresponds to the subband data LH (2). The average energy E mean (LH (2)) of the subband region to be generated and the average energy E mean (LH (1)) of the subband region corresponding to the subband data LH (1) are acquired.
The coefficient kHL is obtained by k LH = E mean (LH (1)) / E mean (LH (2)).
By executing the process corresponding to LH'(0) = k LH × tp_LH (0), the predicted subband data LH'(0) is acquired, and (C) corresponds to the subband data HH (2). The average energy E mean (HH (2)) of the subband region to be generated and the average energy E mean (HH (1)) of the subband region corresponding to the subband data HH (1) are acquired.
The coefficient k HH is obtained by k HH = E mean (HH (1)) / E mean (HH (2)).
By executing the process corresponding to HL'(0) = k HL × tp_HL (0), the predicted subband data HH'(0) is acquired.
The super-resolution image generator according to claim 1 or 2.
前記予測部は、（Ａ）サブバンドデータＨＬ（２）に相当する前記小領域である小領域Ｒｋ（ＨＬ（２））と、サブバンドデータＨＬ（１）に相当する前記小領域である小領域Ｒｋ（ＨＬ（１））とから導出される所定の物理量に基づいて、前記単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）の小領域であって、サブバンドデータＨＬ（０）のサブバンド領域に対応する小領域Ｒｋ（ＨＬ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、前記予測サブバンドデータＨＬ’（０）を取得し、（Ｂ）サブバンドデータＬＨ（２）に相当する前記小領域である小領域Ｒｋ（ＬＨ（２））と、サブバンドデータＬＨ（１）に相当する前記小領域である小領域Ｒｋ（ＬＨ（１））とから導出される所定の物理量に基づいて、前記単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）の小領域であって、サブバンドデータＬＨ（０）のサブバンド領域に対応する小領域Ｒｋ（ＬＨ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、前記予測サブバンドデータＬＨ’（０）を取得し、（Ｃ）サブバンドデータＨＨ（２）に相当する前記小領域である小領域Ｒｋ（ＨＨ（２））と、サブバンドデータＨＨ（１）に相当する前記小領域である小領域Ｒｋ（ＨＨ（１））とから導出される所定の物理量に基づいて、前記単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）の小領域であって、サブバンドデータＨＨ（０）のサブバンド領域に対応する小領域Ｒｋ（ＨＨ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、前記予測サブバンドデータＨＨ’（０）を取得する、
請求項１又は２に記載の超解像画像生成装置。 It also has a small area setting unit that sets a small area in the subband area.
The prediction unit is (A) the small region R k (HL (2)) which is the small region corresponding to the subband data HL (2) and the small region corresponding to the subband data HL (1). A small region of the simple extended subband data tp_HL (0) based on a predetermined physical quantity derived from the small region R k (HL (1)), which is a subband region of the subband data HL (0). The data of the small area R k (HL (0)) corresponding to the above is predicted, and the prediction subband data HL'(0) is acquired based on the data acquired by the prediction processing. subband the equivalent to the data LH (2) and the small region R k, which is a small area (LH (2)), sub-band data small area is the small area corresponding to LH (1) R k (LH (1 )) on the basis of a predetermined physical quantity that is derived from the said a small region of the simple extension sub-band data tmp_LH (0), the small region corresponding to the sub-band domain of the sub-band data LH (0) R k ( The data of LH (0)) is predicted, and the predicted subband data LH'(0) is acquired based on the data acquired by the prediction processing, and the data is converted into (C) subband data HH (2). A predetermined value derived from the corresponding small region R k (HH (2)) and the small region R k (HH (1)) corresponding to the subband data HH (1). Based on the physical quantity of the simple extended subband data tmp_HH (0), which is a small region of the data of the small region R k (HH (0)) corresponding to the subband region of the subband data HH (0). Prediction processing is performed, and the prediction subband data HH'(0) is acquired based on the data acquired by the prediction processing.
The super-resolution image generator according to claim 1 or 2.
請求項４に記載の超解像画像生成装置。 The small area is set by a rectangular area.
The super-resolution image generator according to claim 4.
前記第１小領域のサイズは、前記第２小領域のサイズと異なる、
請求項４又は５に記載の超解像画像生成装置。 The first sub-region and the second sub-region are included in the same sub-band region,
The size of the first subregion is different from the size of the second subregion.
The super-resolution image generator according to claim 4 or 5.
前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、前記原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する予測ステップであって、（Ａ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＬ’（０）を取得し、（Ｂ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＬＨ’（０）を取得し、（Ｃ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＨ’（０）を取得する前記予測ステップと、
前記原画像ＬＬ（０）と、前記予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得するサブバンド合成ステップと、を備える超解像画像生成方法をコンピュータに実行させるためのプログラム。 Subband division processing is executed for the original image LL (0), and the subband data LL (1), HL (1), LH (1), which is the subband data one layer lower than the original image LL (0), are executed. 1) and HH (1) are acquired, and subband division processing is executed on the subband data LL (1), and the subband data two layers below the original image LL (0) is used. A subband division step for acquiring certain subband data HL (2), LH (2), and HH (2), and
Sub-band data of the super-resolution image LL (-1) in which the horizontal resolution of the original image LL (0) is doubled and the vertical resolution is doubled, and the sub-band data in the same layer as the original image LL (0). Prediction step for acquiring band data HL (0), LH (0), and HH (0) subband data HL'(0), LH'(0), and HH'(0). , (A) The subband data HL (A) based on predetermined physical quantities derived from the subband data HL (2) and the subband data HL (1), which are subband data of the same type and different layers. The predicted subband data HL'(0) is acquired by performing prediction processing using the simple extended subband data tp_HL (0) obtained by upsampling and filtering from 1), and (B). ) From the subband data LH (1) based on predetermined physical quantities derived from the subband data LH (2) and the subband data LH (1) which are the same type and different layers of subband data. The predicted subband data LH'(0) is acquired by performing prediction processing using the acquired simple extended subband data tp_LH (0) that has been upsampled and filtered, and (C) the same type. Upsampling processing from the subband data HH (1) based on predetermined physical quantities derived from the subband data HH (2) and the subband data HH (1), which are subband data with different layers. And the prediction step of acquiring the prediction subband data HH'(0) by performing prediction processing using the filtered simple extended subband data tp_HH (0).
The original image LL is performed by performing a subband synthesis process using the original image LL (0) and the predicted subband data HL'(0), LH'(0), and HH'(0). To make a computer execute a super-resolution image generation method including a sub-band synthesis step for acquiring a super-resolution image LL (-1) in which the horizontal resolution of (0) is doubled and the vertical resolution is doubled. program.
前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、前記原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する予測部であって、（Ａ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＬ’（０）を取得し、（Ｂ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＬＨ’（０）を取得し、（Ｃ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＨ’（０）を取得する前記予測部と、
前記原画像ＬＬ（０）と、前記予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得するサブバンド合成部と、を備える集積回路。 Subband division processing is executed for the original image LL (0), and the subband data LL (1), HL (1), LH (1), which is the subband data one layer lower than the original image LL (0), are executed. 1) and HH (1) are acquired, and subband division processing is executed on the subband data LL (1), and the subband data two layers below the original image LL (0) is used. A subband division unit that acquires certain subband data HL (2), LH (2), and HH (2), and
Sub-band data of the super-resolution image LL (-1) in which the horizontal resolution of the original image LL (0) is doubled and the vertical resolution is doubled, and the sub-band data in the same layer as the original image LL (0). A prediction unit that acquires the prediction sub-band data HL'(0), LH'(0), and HH'(0) of the band data HL (0), LH (0), and HH (0). , (A) The subband data HL (A) based on predetermined physical quantities derived from the subband data HL (2) and the subband data HL (1), which are subband data of the same type and different layers. The predicted subband data HL'(0) is acquired by performing prediction processing using the simple extended subband data tp_HL (0) obtained by upsampling and filtering from 1), and (B). ) From the subband data LH (1) based on predetermined physical quantities derived from the subband data LH (2) and the subband data LH (1) which are the same type and different layers of subband data. The predicted subband data LH'(0) is acquired by performing prediction processing using the acquired simple extended subband data tp_LH (0) that has been upsampled and filtered, and (C) the same type. Upsampling processing from the subband data HH (1) based on predetermined physical quantities derived from the subband data HH (2) and the subband data HH (1), which are subband data with different layers. And the prediction unit that acquires the prediction subband data HH'(0) by performing prediction processing using the filtered simple extended subband data tp_HH (0).
The original image LL is performed by performing a subband synthesis process using the original image LL (0) and the predicted subband data HL'(0), LH'(0), and HH'(0). An integrated circuit including a subband compositing unit for acquiring a super-resolution image LL (-1) in which the horizontal resolution of (0) is doubled and the vertical resolution is doubled.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017068714A JP6874933B2 (en) | 2017-03-30 | 2017-03-30 | Super-resolution image generators, programs, and integrated circuits |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017068714A JP6874933B2 (en) | 2017-03-30 | 2017-03-30 | Super-resolution image generators, programs, and integrated circuits |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018169948A JP2018169948A (en) | 2018-11-01 |
| JP6874933B2 true JP6874933B2 (en) | 2021-05-19 |
Family
ID=64018839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017068714A Active JP6874933B2 (en) | 2017-03-30 | 2017-03-30 | Super-resolution image generators, programs, and integrated circuits |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6874933B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1661086A1 (en) * | 2003-08-28 | 2006-05-31 | Koninklijke Philips Electronics N.V. | Method for spatial up-scaling of video frames |
| JP2007280202A (en) * | 2006-04-10 | 2007-10-25 | Fujifilm Corp | Image processing method and device using wavelet transformation |
| WO2011033619A1 (en) * | 2009-09-16 | 2011-03-24 | パイオニア株式会社 | Image processing device, image processing method, image processing program, and storage medium |
-
2017
- 2017-03-30 JP JP2017068714A patent/JP6874933B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018169948A (en) | 2018-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Piao et al. | Image resolution enhancement using inter-subband correlation in wavelet domain | |
| JP2013235594A (en) | Method and device for generating super-resolution version of low resolution input data structure | |
| JP2015507273A (en) | Method and apparatus for generating a super-resolution version of a low-resolution input data structure | |
| EP2529353A1 (en) | Method and system for generating an output image of increased pixel resolution from an input image | |
| Harikrishna et al. | Satellite image resolution enhancement using dwt technique | |
| Lama et al. | Interpolation using wavelet transform and discrete cosine transform for high resolution display | |
| Wong et al. | Further improved edge-directed interpolation and fast EDI for SDTV to HDTV conversion | |
| Khaire et al. | Resolution Enhancement of images with interpolation and DWT–SWT Wavelet domain components | |
| Zhen et al. | Image demosaicing | |
| US9747669B2 (en) | Image processing apparatus and image processing method | |
| JP6874933B2 (en) | Super-resolution image generators, programs, and integrated circuits | |
| JP6174903B2 (en) | Spatial / gradation super-resolution device and program | |
| Tai et al. | A fast algorithm for single image super resolution in both wavelet and spatial domain | |
| JP5514132B2 (en) | Image reduction device, image enlargement device, and program thereof | |
| WO2016131370A1 (en) | Wavelet denoising method and device | |
| WO2015115168A1 (en) | Image processing device | |
| Mohan et al. | A novel approach for satellite image resolution enhancement | |
| Lama et al. | New interpolation method based on combination of discrete cosine transform and wavelet transform | |
| JP5809164B2 (en) | Image processing apparatus, image processing method, and integrated circuit | |
| WO2014136552A1 (en) | Image processing device | |
| Thanakitivirul et al. | Using High Boost Bi-cubic Interpolation to Upscale and Enhance the Medical Image Details | |
| JP3759310B2 (en) | Image processing apparatus and image composition apparatus | |
| JP2008532168A (en) | Image contrast and sharpness enhancement | |
| JP3750776B2 (en) | Image sharpness estimation method and apparatus | |
| Panda et al. | A novel image upscaling method using high order error sharpening |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210408 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6874933 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |