JP2013114510A - Image space super-resolution device and program - Google Patents
Image space super-resolution device and program Download PDFInfo
- Publication number
- JP2013114510A JP2013114510A JP2011260910A JP2011260910A JP2013114510A JP 2013114510 A JP2013114510 A JP 2013114510A JP 2011260910 A JP2011260910 A JP 2011260910A JP 2011260910 A JP2011260910 A JP 2011260910A JP 2013114510 A JP2013114510 A JP 2013114510A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frequency component
- noise level
- unit
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009499 grossing Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 239000000284 extract Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 13
- 230000002123 temporal effect Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
本発明は、入力画像の超解像画像を生成する画像空間超解像装置、及びそのプログラムに関するものである。 The present invention relates to an image space super-resolution device that generates a super-resolution image of an input image, and a program thereof.
近年、撮像装置及び表示装置の高精細化が進んでおり、いわゆる4Kシステムと呼ばれるデジタルシネマのような高精細映像、又は8Kシステムと呼ばれるスーパーハイビジョン(SHV)のような超高精細映像は、従来のハイビジョン(HDTV)映像の4倍ないし16倍の高解像度を有するに至っている。高精細画像は膨大な情報量を持つため、送信装置側では低解像度の画像を送信し、受信装置側で低解像度の画像から高解像度の画像を生成する超解像と称される画像の高解像化技術が研究されている。 In recent years, high-definition imaging devices and display devices have advanced, and high-definition video such as a digital cinema called a so-called 4K system or super high-definition video such as Super Hi-Vision (SHV) called an 8K system has been conventionally used. The high resolution (HDTV) video is 4 to 16 times as high as the video. A high-definition image has an enormous amount of information. Therefore, a high-resolution image called super-resolution, in which a transmission device transmits a low-resolution image and a reception device generates a high-resolution image from the low-resolution image. Resolution technology is being studied.
例えば、あらかじめ変換対象フレーム上に点(仮対応点)を設定し、各仮対応点に対応する他のフレーム上の画素(対応画素)を求め、その対応画素を基準として仮対応点の位置を対応画素に合うように修正するか、他のフレームの画像上で正確なサブピクセル位置を求め、その位置に対応する画素値を補間生成し、また、対応画素を求める際、利用可能な他のフレームのすべてに適当な範囲を設定し、その各画素を対応画素の候補としたうえで、設定した候補のうち対応する可能性が十分に高い(相対的に信頼性が高い)ものだけを残し、それ以外の(相対的に信頼性が低い)候補を排除することにより、他のフレームすべてのうちで相対的に信頼性が高い候補だけを残すことができ、ノイズが混入する可能性を軽減可能とした解像度変換装置が知られている(例えば、特許文献1参照)。 For example, a point (temporary corresponding point) is set in advance on the conversion target frame, a pixel (corresponding pixel) on another frame corresponding to each temporary corresponding point is obtained, and the position of the temporary corresponding point is determined based on the corresponding pixel. Correct to match the corresponding pixel, or obtain an accurate subpixel position on the image of another frame, interpolate and generate a pixel value corresponding to that position, and other available when calculating the corresponding pixel Set an appropriate range for all of the frames, make each pixel a candidate for the corresponding pixel, and leave only those candidates that are sufficiently likely to be supported (relatively reliable). By eliminating other (relatively less reliable) candidates, only the relatively reliable candidates can be left out of all other frames, reducing the possibility of noise Possible resolution conversion Location is known (e.g., see Patent Document 1).
また、基準となる入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定し、サンプリング位相差を変換し、変換後のサンプリング位相差を出力し、変換後のサンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数を増加し、画素数が増加された各画像フレームの画像データを所定量位相シフトし、位相シフトの前後の各画像データに、サンプリング位相差の情報を用いて決定した係数を乗じて加算することにより、折返し成分を除去して超解像画像を出力する解像度変換装置が知られている(例えば、特許文献2参照)。 Also, the sampling phase difference is estimated using the image data on the reference input image frame and the corresponding image data on other input image frames, the sampling phase difference is converted, and the converted sampling phase difference is output. Then, using the information of the converted sampling phase difference, the image data of each input image frame is motion compensated and the number of pixels is increased, and the image data of each image frame with the increased number of pixels is phase-shifted by a predetermined amount, 2. Description of the Related Art A resolution conversion apparatus that removes aliasing components and outputs a super-resolution image by multiplying each image data before and after phase shift by a coefficient determined using sampling phase difference information is known. (For example, refer to Patent Document 2).
従来の技術では、原画像を信号成分と雑音成分とを区別することなく超解像処理していた。雑音にはその発生原因により様々な種類がある。例えば、白色雑音は全周波数帯域にほぼ均等にパワーを持つ。一方、画像の信号成分は、一般的に空間低周波成分のパワーが高く、空間高周波成分のパワーが低い。このため、画像信号が白色雑音を含む場合は、空間高波成分のSNR(信号対雑音比)が低くなる。SNRが低い空間高周波数帯は、画像超解像処理において画質劣化の原因となる。そのため、画像に雑音成分が多い場合には、十分な超解像画質が得られないという課題があった。 In the conventional technique, an original image is subjected to super-resolution processing without distinguishing between a signal component and a noise component. There are various types of noise depending on the cause of the noise. For example, white noise has almost uniform power in the entire frequency band. On the other hand, the signal component of an image generally has high spatial low frequency component power and low spatial high frequency component power. For this reason, when the image signal includes white noise, the SNR (signal-to-noise ratio) of the spatial high wave component is low. A spatial high frequency band with a low SNR causes image quality degradation in image super-resolution processing. Therefore, there is a problem that sufficient super-resolution image quality cannot be obtained when there are many noise components in the image.
本発明は、上述の課題を鑑みて為されたものであり、入力画像に含まれる雑音レベルを考慮することにより、高画質の超解像画像を生成することが可能な画像空間超解像装置、及びそのプログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and an image space super-resolution apparatus capable of generating a high-resolution super-resolution image by considering a noise level included in an input image. And its program.
上記課題を解決するため、本発明に係る画像空間超解像装置は、入力画像に含まれる雑音レベルを考慮して、入力画像の超解像画像を生成する画像空間超解像装置であって、前記入力画像を多重解像度解析して高周波成分の画像を抽出する第1高周波成分抽出部、及び、前記第1高周波成分抽出部により抽出された高周波成分の画像の雑音レベルを検出する雑音レベル解析部、を有する雑音レベル検出部と、前記入力画像を多重解像度解析して高周波成分の画像を抽出する第2高周波成分抽出部、前記第2高周波成分抽出部により抽出された高周波成分の画像をアップサンプリングし、該高周波成分の拡大画像を生成する高周波成分拡大部、前記雑音レベル検出部から前記雑音レベルを取得し、該雑音レベルが大きいほど、平滑化フィルタの標準偏差として小さい値を生成する標準偏差決定部、前記高周波成分拡大部により生成された拡大画像を、前記標準偏差決定部により生成された標準偏差を有する平滑化フィルタにより平滑化する高周波成分平滑化部、及び、前記高周波成分平滑化部により平滑化された拡大画像を用いて前記入力画像を超解像処理して超解像画像を生成する周波数成分再構成部、を有する雑音考慮型超解像処理部と、を備えることを特徴とする。 In order to solve the above problems, an image space super-resolution apparatus according to the present invention is an image space super-resolution apparatus that generates a super-resolution image of an input image in consideration of a noise level included in the input image. A first high-frequency component extraction unit that extracts a high-frequency component image by performing multi-resolution analysis on the input image; and a noise level analysis that detects a noise level of the high-frequency component image extracted by the first high-frequency component extraction unit A noise level detection unit having a high-frequency component extraction unit, a second high-frequency component extraction unit that extracts a high-frequency component image by performing multi-resolution analysis on the input image, and an image of the high-frequency component extracted by the second high-frequency component extraction unit The noise level is sampled and the noise level is acquired from the high-frequency component enlargement unit that generates an enlarged image of the high-frequency component and the noise level detection unit. A standard deviation determining unit that generates a small value as a quasi-deviation, and a high-frequency component smoothing that smoothes the enlarged image generated by the high-frequency component enlarging unit using a smoothing filter having a standard deviation generated by the standard deviation determining unit. And a frequency component reconstruction unit that generates a super-resolution image by super-resolution processing of the input image using the enlarged image smoothed by the high-frequency component smoothing unit. And an image processing unit.
さらに、本発明に係る画像空間超解像装置において、前記第1高周波成分抽出部は、前記入力画像を空間方向に多重解像度解析するか、又は前記入力画像を時間方向及び空間方向に多重解像度解析して前記高周波成分の画像を抽出し、第2高周波成分抽出部は、前記入力画像を空間方向に多重解像度解析して前記高周波成分の画像を抽出することを特徴とする。 Furthermore, in the image space super-resolution apparatus according to the present invention, the first high-frequency component extraction unit performs multi-resolution analysis on the input image in the spatial direction, or multi-resolution analysis on the input image in the time direction and the spatial direction. Then, the high frequency component image is extracted, and the second high frequency component extraction unit extracts the high frequency component image by performing multi-resolution analysis on the input image in a spatial direction.
さらに、本発明に係る画像空間超解像装置において、前記雑音レベル解析部は、前記第1高周波成分抽出部により抽出された高周波成分の画像の孤立点位置を抽出する孤立点位置抽出部と、前記第1高周波成分抽出部により抽出された高周波成分の画像について、前記孤立点位置抽出部により抽出された孤立点位置における画素値に基づく値を前記雑音レベルとする雑音レベル算出部と、を備えることを特徴とする。 Furthermore, in the image space super-resolution apparatus according to the present invention, the noise level analysis unit, an isolated point position extraction unit that extracts an isolated point position of the image of the high frequency component extracted by the first high frequency component extraction unit; A noise level calculation unit that uses, as the noise level, a value based on a pixel value at the isolated point position extracted by the isolated point position extraction unit for the high frequency component image extracted by the first high frequency component extraction unit; It is characterized by that.
さらに、本発明に係る画像空間超解像装置において、前記雑音レベル検出部により検出された各時空間高周波成分の雑音レベルを取得し、入力画像に含まれる雑音レベルのパワーが所定の閾値以上であるか否かの判定を行う雑音レベル判定部を備え、前記高周波成分平滑化部は、前記雑音レベル判定部により入力画像に含まれる雑音レベルのパワーが所定の閾値以上であると判定された場合には、前記標準偏差決定部により生成された標準偏差を有する平滑化フィルタにより平滑化し、前記雑音レベル判定部により入力画像に含まれる雑音レベルのパワーが所定の閾値未満であると判定された場合には、一定の値の標準偏差を有する平滑化フィルタにより平滑化することを特徴とする。 Furthermore, in the image space super-resolution device according to the present invention, the noise level of each spatio-temporal high-frequency component detected by the noise level detection unit is acquired, and the power of the noise level included in the input image is equal to or higher than a predetermined threshold value. A noise level determination unit that determines whether or not there is a noise level determination unit, wherein the high frequency component smoothing unit is determined by the noise level determination unit that the power of the noise level included in the input image is greater than or equal to a predetermined threshold Is smoothed by a smoothing filter having a standard deviation generated by the standard deviation determination unit, and the noise level determination unit determines that the power of the noise level included in the input image is less than a predetermined threshold Is characterized by smoothing by a smoothing filter having a standard deviation of a constant value.
さらに、本発明に係る画像空間超解像装置において、前記雑音レベル判定部は、前記各時空間高周波成分の雑音レベルから雑音レベルのパワースペクトル密度を求めることにより、入力画像に含まれる雑音レベルのパワーが所定の種類のノイズの雑音レベルのパワー以上であるか否かの判定を行うことを特徴とする。 Furthermore, in the image space super-resolution apparatus according to the present invention, the noise level determination unit obtains a power spectral density of the noise level from the noise level of each spatio-temporal high-frequency component, thereby determining the noise level included in the input image. It is determined whether or not the power is equal to or higher than a noise level of a predetermined type of noise.
また、上記課題を解決するため、本発明に係る画像空間超解像生成プログラムは、コンピュータを、上述した画像空間超解像装置として機能させることを特徴とする。 In order to solve the above problems, an image space super-resolution generation program according to the present invention causes a computer to function as the above-described image space super-resolution device.
本発明によれば、入力画像に含まれる雑音レベルを考慮することにより、高画質の超解像画像を生成することができるようになる。 According to the present invention, it is possible to generate a high-resolution super-resolution image in consideration of the noise level included in the input image.
以下、図面を参照して、本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
本発明による実施例1の画像空間超解像装置について、以下に説明する。図1は、本発明による実施例1の画像空間超解像装置の概略構成を示すブロック図である。図1に示すように、画像空間超解像装置1は、雑音レベル検出部10と、雑音考慮型超解像処理部20とを備え、入力画像に含まれる雑音レベルを考慮した超解像画像を生成する。
The image space super-resolution apparatus according to the first embodiment of the present invention will be described below. FIG. 1 is a block diagram showing a schematic configuration of an image space super-resolution apparatus according to
雑音レベル検出部10は、入力画像を多重解像度解析して高周波成分を抽出し、高周波成分の画像に含まれる雑音成分の大きさを示す雑音レベルを帯域成分ごとに検出して雑音考慮型超解像処理部20に出力する。詳細については後述する。
The noise
雑音考慮型超解像処理部20は、入力画像を多重解像度解析して高周波成分を抽出し、高周波成分の画像を平滑化フィルタにより平滑化する。そして、平滑化した高周波成分の画像を用いて入力画像を超解像処理して超解像画像を生成する。雑音考慮型超解像処理部20は、高周波成分の画像を平滑化する際に、雑音レベル検出部10により生成された雑音レベルが大きいほど、平滑化フィルタの標準偏差の値を小さくする。これにより、雑音考慮型超解像処理部20は、入力画像に含まれる雑音レベルを考慮した超解像画像を生成することができる。詳細については後述する。
The noise-considering
雑音レベル検出部10の詳細について、図2から図4を参照して説明する。図2は、雑音レベル検出部10の概略構成を示すブロック図である。図2に示すように、雑音レベル検出部10は、第1高周波成分抽出部11と、雑音レベル解析部12とを有する。第1高周波成分抽出部11は、時間周波数分解部111と、空間周波数分解部112とを有し、入力画像を多重解像度解析して高周波成分の画像を抽出する。雑音レベル解析部12は、孤立点位置抽出部121と、雑音レベル算出部122とを有し、第1高周波成分抽出部11により抽出された高周波成分の画像の雑音レベルを検出する。以下の実施例では、多重解像度解析の一例としてウェーブレット解析を用いるが、これに限られるものではない。
Details of the noise
時間周波数分解部111は、入力画像を時間方向にウェーブレット分解して、時間低周波成分の画像、及び時間高周波成分の画像を生成する。そして、時間高周波成分の画像を空間周波数分解部112に出力する。ウェーブレット分解の階数は、どの程度の周波数帯域まで高周波成分として抽出するかに応じて決定される。なお、ウェーブレット分解では一般的にデシメーションされることが多いが、孤立点位置抽出部121にて、各周波数帯域について同一サイズの領域内で同様に孤立点判定できるようにするために、デシメーション無しのウェーブレット分解を行い、生成される各周波数帯域の画像のサイズを同一としてもよい。
The time-frequency decomposition unit 111 performs wavelet decomposition on the input image in the time direction to generate an image with a time low-frequency component and an image with a time high-frequency component. The temporal high frequency component image is output to the spatial
空間周波数分解部112は、時間周波数分解部111により生成された時間高周波成分について、空間方向にウェーブレット分解して時空間低周波成分の画像、及び時空間高周波成分の画像を生成する。そして、時空間高周波成分の画像を孤立点位置抽出部121、及び雑音レベル算出部122に出力する。時間周波数分解部111と同様に、ウェーブレット分解の階数は、どの程度の周波数帯域まで高周波成分として抽出するかに応じて決定される。なお、時間周波数分解部111と同様に、デシメーション無しのウェーブレット分解を行い、生成される各周波数帯域の画像のサイズを同一としてもよい。
The spatial
図3は、時間周波数分解部111及び空間周波数分解部112の動作を説明する図である。図3(a)は、時間周波数分解部111が、入力画像を時間方向に1階ウェーブレット分解して時間低周波成分の画像、及び時間高周波成分の画像(斜線部分)を生成する様子を示している。
FIG. 3 is a diagram for explaining the operation of the time-frequency decomposition unit 111 and the spatial
図3(b)は、空間周波数分解部112が、時間周波数分解部111により生成された時間高周波成分の画像を空間方向にデシメーション有りの2階ウェーブレット分解して時空間低周波成分の画像、及び時空間高周波成分の画像(斜線部分)を生成する様子を示している。空間方向にn階ウェーブレット分解した場合、3n個の帯域の高周波成分が生成される。雑音レベル検出部10は、3n個の各周波数帯域の高周波成分について、それぞれ雑音レベルを出力する。
In FIG. 3B, the spatial
なお、図2、3に示す例では、時間周波数分解部111及び空間周波数分解部112により、時間方向及び空間方向にウェーブレット分解して高周波成分の画像を抽出したが、時間周波数分解部111を設けずに、空間周波数分解部112により空間方向にのみにウェーブレット分解して高周波成分の画像を抽出するようにしてもよい。
2 and 3, the time-frequency decomposition unit 111 and the spatial
孤立点位置抽出部121は、空間周波数分解部112により抽出された時空間高周波成分の各帯域成分の画像について、所定の閾値Th1を超える画素の画素値を1とし、閾値Th1以下の画素の画素値を0とする2値化画像Bを生成する。閾値Th1は、例えば各帯域成分の非零の全要素値の中央値又は平均値とする。
Isolated point
そして、孤立点位置抽出部121は、2値化画像Bの画素値が1である画素について、該画素を中心とする所定の判定領域内の画素値の合計値と、所定の閾値Th2とを比較する。2値化画像Bの判定領域内の画素値の合計値が閾値Th2を超える場合には、当該画素は孤立点ではないと判定し、2値化画像Bの判定領域内の画素値の合計値が閾値Th2以下である場合には、当該画素を孤立点と判定する。そして、孤立点であると判定した画素の位置情報(孤立点画素位置情報)を雑音レベル算出部122に出力する。
The isolated point
図4は、孤立点位置抽出部121の孤立点判定の動作例を説明する図であり、2値化画像Bの一例を示している。図4に示す例では、判定領域は3×3画素である。閾値Th2を1とすると、2値化画像Bの画素値が1となる画素の周囲の8画素の画素値が0であるときのみ、2値化画像Bの画素値が1である画素を孤立点とみなす。よって、閾値Th2=1の場合、図中の画素P1は孤立点であると判定され、画素P2とP3は孤立点と判定されない。
FIG. 4 is a diagram for explaining an example of the isolated point determination operation of the isolated point
雑音レベル算出部122は、空間周波数分解部112により生成された時空間高周波成分の各帯域成分の画像について、孤立点位置抽出部121から入力される孤立点画素位置情報に基づいて、孤立点と判定された画素位置の画素値を取得し、取得した画素値に基づく値(例えば、非零要素の平均値又は中央値)を、各帯域成分の雑音レベルとして検出する。これは、時空間高周波成分の孤立点成分は、少量の動領域のエッジ成分を除けば、ほとんど雑音成分だからである。
The noise
次に、雑音考慮型超解像処理部20の詳細について、図5及び図6を参照して説明する。図5は、雑音考慮型超解像処理部20の概略構成を示すブロック図である。図5に示すように、雑音考慮型超解像処理部20は、第2高周波成分抽出部21と、高周波成分拡大部22と、高周波成分平滑化部23と、周波数成分再構成部24と、標準偏差決定部25とを備える。図6は、雑音考慮型超解像処理部20の動作を説明する図である。
Next, details of the noise-considering
第2高周波成分抽出部21は、入力画像を空間方向に1階ウェーブレット分解し、空間低周波成分の画像LL、水平方向高周波成分の画像LH、垂直方向高周波成分の画像HL、及び斜め方向高周波成分の画像HHを生成する(ステップS101)。そして、高周波成分の画像、すなわち水平方向高周波成分の画像LH、垂直方向高周波成分の画像HL、及び斜め方向高周波成分の画像HHを高周波成分拡大部22に出力する。
The second high-frequency
高周波成分拡大部22は、第2高周波成分抽出部21により生成された水平方向高周波成分の画像LH、垂直方向高周波成分の画像HL、及び斜め方向高周波成分の画像HHをそれぞれ拡大処理(アップサンプリング)する(ステップS102,103,104)。そして、水平方向高周波成分の画像LHの拡大画像(水平方向高周波成分拡大画像Ex.LH)、垂直方向高周波成分の画像HLの拡大画像(垂直方向高周波成分拡大画像Ex.HL)、及び斜め方向高周波成分の画像HHの拡大画像(斜め方向高周波成分拡大画像Ex.HH)を高周波成分平滑化部23に出力する。
The high-frequency
具体的には、高周波成分拡大部22は、図6に示すように、垂直方向高周波成分の画像HLを拡大する場合には、垂直方向高周波成分の画像HLを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に1階ウェーブレット再構成を行い、垂直方向高周波成分拡大画像Ex.HLを生成する。同様に、水平方向高周波成分の画像LHを拡大する場合には、水平方向高周波成分の画像LHを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に1階ウェーブレット再構成を行い、水平方向高周波成分拡大画像Ex.LHを生成する。斜め方向高周波成分の画像HHを拡大する場合には、斜め方向高周波成分の画像HHを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に1階ウェーブレット再構成を行い、斜め方向高周波成分拡大画像Ex.HHを生成する。
Specifically, as shown in FIG. 6, the high frequency
標準偏差決定部25は、高周波成分平滑化部23で用いる平滑化フィルタの標準偏差σを帯域成分ごとに決定し、高周波成分平滑化部23に出力する(ステップS105,106,107)。具体的には、標準偏差決定部25は、雑音レベル検出部10から各帯域成分の雑音レベルを取得し、雑音レベルが高いほど標準偏差σを小さくする。
The standard
高周波成分平滑化部23は、高周波成分拡大部22により生成された、水平方向高周波成分拡大画像Ex.LH、垂直方向高周波成分拡大画像Ex.HL、及び斜め方向高周波成分拡大画像Ex.HHをそれぞれ、標準偏差決定部25により生成された標準偏差を有する平滑化フィルタにより平滑化する(ステップS105,106,107)。そして、平滑化された水平方向高周波成分拡大画像Ex.LH’、平滑化された垂直方向高周波成分拡大画像Ex.HL’、及び平滑化された斜め方向高周波成分拡大画像Ex.HH’を周波数成分再構成部24に出力する。平滑化フィルタとしては、例えば、確率密度関数をガウシアンとし、ガウシアンの標準偏差をσとしたバイラテラルフィルタを用いる。なお、バイラテラルフィルタは一例であり、ガウシアンフィルタなどの他の平滑化フィルタを用いてもよい。
The high-frequency
周波数成分再構成部24は、高周波成分平滑化部23により平滑化された水平方向高周波成分拡大画像Ex.LH’、平滑化された垂直方向高周波成分拡大画像Ex.HL’、及び平滑化された斜め方向高周波成分拡大画像Ex.HH’と、入力画像とを用いて再構成処理を行い、超解像画像を生成する(ステップS108)。
The frequency
具体的には、周波数成分再構成部24は、図6に示すように、入力画像を空間低周波成分とし、平滑化された水平方向高周波成分拡大画像Ex.LH’、平滑化された垂直方向高周波成分拡大画像Ex.HL’、及び平滑化された斜め方向高周波成分拡大画像Ex.HH’を、それぞれ水平方向高周波成分、垂直方向高周波成分、及び斜め方向高周波成分とした画像に対して、空間方向に1階ウェーブレット再構成を行い、超解像画像を生成する。
Specifically, as shown in FIG. 6, the frequency
このように、画像空間超解像装置1は、雑音レベル検出部10により、入力画像を多重解像度解析して高周波成分の画像を抽出し、該抽出した高周波成分の画像の雑音レベルを検出する。また、雑音考慮型超解像処理部20により、入力画像を多重解像度解析して高周波成分の画像を抽出し、該抽出した高周波成分の画像をアップサンプリングし、該アップサンプリングした高周波成分の画像を平滑化フィルタにより平滑化した画像を用いて入力画像を超解像処理して超解像画像を生成する。その際、雑音考慮型超解像処理部20は、雑音レベル検出部10により検出された雑音レベルが大きいほど、平滑化フィルタの標準偏差を小さくする。これにより、雑音レベルが高い時空間高周波成分については平滑化フィルタの標準偏差が小さくなり、雑音(孤立点)の平滑効果(低域通過特性)が小さくなるので、雑音成分の多い画像でも、高画質な超解像画像を生成することができるようになる。
As described above, the image
なお、上述した画像空間超解像装置1として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像空間超解像装置1の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPU(中央演算処理装置)によってこのプログラムを読み出して実行させることで実現することができる。
It should be noted that a computer can be suitably used to function as the above-described image
次に、本発明による実施例2の画像空間超解像装置について説明する。図7は、本発明による実施例2の画像空間超解像装置の概略構成を示すブロック図である。図7に示すように、画像空間超解像装置2は、雑音レベル検出部10と、雑音考慮型超解像処理部20と、雑音レベル判定部30と、超解像処理部40とを備える。画像空間超解像装置2は、図1を参照して説明した実施例1の画像空間超解像装置1と比較して、更に雑音レベル判定部30、及び超解像処理部40を備え、雑音種レベル定部30の判定結果に応じて、雑音レベル判定部30、又は超解像処理部40により超解像処理を行う。雑音レベル検出部10、及び雑音考慮型超解像処理部20については、実施例1の画像空間超解像装置1と同様であるため、説明を省略する。
Next, an image space super-resolution apparatus according to
雑音レベル判定部30は、雑音レベル検出部10により抽出された各時空間高周波成分の雑音レベルを取得し、入力画像に含まれる雑音レベルのパワーが、所定の閾値以上であるか否かを判定し、判定結果を示すノイズフラグFを超解像処理部40、及び雑音考慮型超解像処理部20に出力する。
The noise
雑音レベル判定部30は、各時空間高周波成分の雑音レベルから雑音レベルのパワースペクトル密度を求めることにより、雑音の種類を判定するようにしてもよい。ここで、雑音の種類としては、ホワイトノイズ、ピンクノイズ、レッドノイズ(ブラウニアンノイズ)などがある。ホワイトノイズ、ピンクノイズ、レッドノイズのパワースペクトル密度は、それぞれ1/f0,1/f1,1/f2に比例する。そのため、所定の閾値をピンクノイズの雑音レベルのパワーとした場合には、雑音レベル判定部30は、各帯域の時空間高周波成分の雑音レベルが同程度である場合には、雑音の種類をホワイトノイズと判定し、入力画像に含まれる雑音レベルのパワーがピンクノイズの雑音レベルのパワー以上であると判定する。また、雑音レベル判定部30は、雑音レベルのパワースペクトル密度が1/f2の関係を満たす場合には、入力画像に含まれる雑音レベルのパワーがピンクノイズの雑音レベルのパワー未満であると判定する。
The noise
雑音レベルのパワーが、所定の閾値以上である場合にノイズフラグF=1とし、雑音レベルのパワーが所定の閾値未満である場合にノイズフラグF=0とすると、ノイズフラグF=1の場合には、雑音考慮型超解像処理部20により、入力画像の超解像画像を生成し、ノイズフラグF=0の場合には、超解像処理部40により、入力画像の超解像画像を生成する。
When the noise level power is equal to or higher than a predetermined threshold, the noise flag F = 1 is set. When the noise level power is lower than the predetermined threshold value, the noise flag F = 0 is set. When the noise flag F = 1 is set. The noise-considering
超解像処理部40は、入力画像を超解像処理して超解像画像を生成する。図8は、超解像処理部40の概略構成を示すブロック図である。図8に示すように、超解像処理部40は、第2高周波成分抽出部21と、高周波成分拡大部22と、高周波成分平滑化部23と、周波数成分再構成部24とを備える。超解像処理部40は図5,6を参照して説明した雑音考慮型超解像処理部20と比較して、標準偏差決定部25を備えない点で相違するが、第2高周波成分抽出部21と、高周波成分拡大部22と、高周波成分平滑化部23と、周波数成分再構成部24については、雑音考慮型超解像処理部20と同様である。
The
つまり、超解像処理部40は、第2高周波成分抽出部21により、入力画像を空間方向に1階ウェーブレット分解し、水平方向高周波成分の画像LH、垂直方向高周波成分の画像HL、及び斜め方向高周波成分の画像HHを抽出し、高周波成分拡大部22により、水平方向高周波成分の画像LH、垂直方向高周波成分の画像HL、及び斜め方向高周波成分の画像HHをそれぞれ拡大処理(アップサンプリング)する。
That is, the
そして、超解像処理部40は、高周波成分平滑化部23により、高周波成分拡大部22により生成された、水平方向高周波成分拡大画像Ex.LH、垂直方向高周波成分拡大画像Ex.HL、及び斜め方向高周波成分拡大画像Ex.HHをそれぞれ平滑化フィルタにより平滑化する。この際、雑音考慮型超解像処理部20とは異なり、平滑化フィルタの標準偏差σは所定の一定値とする。最後に、周波数成分再構成部24により、高周波成分平滑化部23により平滑化された水平方向高周波成分拡大画像Ex.LH’、平滑化された垂直方向高周波成分拡大画像Ex.HL’、及び平滑化された斜め方向高周波成分拡大画像Ex.HH’と、入力画像とを用いて再構成処理を行い、超解像画像を生成する
Then, the
図9は、画像空間超解像装置2の動作を示すフローチャートである。画像空間超解像装置1は、雑音レベル検出部10により、入力画像に含まれる雑音レベルを検出する(ステップS201)。次に、画像空間超解像装置1は、雑音レベル判定部30により、入力画像に含まれる雑音レベルのパワーが、所定の種類の雑音(例えば、ピンクノイズ)以上であるか否かを判定する(ステップS202)。ステップS202により、雑音レベルのパワーが所定の種類の雑音以上であると判定した場合には(ステップS202−Yes)、雑音考慮型超解像処理部20により、入力画像を超解像処理し、超解像画像を生成する(ステップS203)。一方、ステップS202により、雑音レベルのパワーが所定の種類の雑音未満であると判定した場合には(ステップS202−No)、超解像処理部40により、入力画像を超解像処理し、超解像画像を生成する(ステップS204)。
FIG. 9 is a flowchart showing the operation of the image
また、画像空間超解像装置2は、図7に示した構成では超解像処理部40を備えているが、超解像処理部40を備えずに、雑音考慮型超解像処理部20がノイズフラグFに応じて平滑フィルタの標準偏差を切り替えるようにしてもよい。すなわち、雑音レベル判定部30により雑音レベルのパワーが所定の種類の雑音以上であると判定された場合には、雑音考慮型超解像処理部20の高周波成分平滑化部23は、標準偏差決定部25により生成された標準偏差を有する平滑化フィルタにより平滑化し、雑音レベル判定部30により雑音レベルのパワーが所定の種類の雑音未満であると判定された場合には、雑音考慮型超解像処理部20の高周波成分平滑化部23は、一定の値の標準偏差を有する平滑化フィルタにより平滑化するようにしてもよい。
In addition, the image
このように、画像空間超解像装置2は、各帯域の時空間周波数成分の雑音レベルを検出し、雑音レベル(雑音種類)を判定する。雑音種類がピンクノイズからホワイトノイズのように空間高周波成分のパワーの強い雑音である場合には、雑音考慮型の超解像処理を行い、雑音種類がそれ以外である場合には、通常の超解像処理を行う。これにより、雑音成分の多い画像でも、高画質な超解像行うことができるようになる。
As described above, the image
なお、上述した画像空間超解像装置2として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像空間超解像装置2の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPU(中央演算処理装置)によってこのプログラムを読み出して実行させることで実現することができる。
It should be noted that a computer can be suitably used to function as the above-described image
上述の実施例は、代表的な例として説明したが、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。 Although the above-described embodiments have been described as representative examples, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes may be made without departing from the scope of the claims. Is possible.
本発明は、超解像画像を生成する任意の用途、例えば、デジタルシネマのような高精細映像や、スーパーハイビジョンのような超高精細映像の生成に有用である。 The present invention is useful for any application for generating a super-resolution image, for example, generation of a high-definition video such as a digital cinema or an ultra-high-definition video such as a super high-definition video.
1,2 画像空間超解像装置
10 雑音レベル検出部
11 第1高周波成分抽出部
12 雑音レベル解析部
20 雑音考慮型超解像処理部
21 第2高周波成分抽出部
22 高周波成分拡大部
23 高周波成分平滑化部
24 周波数成分再構成部
25 標準偏差決定部
30 雑音レベル判定部
40 超解像処理部
111 時間周波数分解部
112 空間周波数分解部
121 孤立点位置抽出部
122 雑音レベル算出部
DESCRIPTION OF
Claims (6)
前記入力画像を多重解像度解析して高周波成分の画像を抽出する第1高周波成分抽出部、及び、
前記第1高周波成分抽出部により抽出された高周波成分の画像の雑音レベルを検出する雑音レベル解析部、を有する雑音レベル検出部と、
前記入力画像を多重解像度解析して高周波成分の画像を抽出する第2高周波成分抽出部、
前記第2高周波成分抽出部により抽出された高周波成分の画像をアップサンプリングし、該高周波成分の拡大画像を生成する高周波成分拡大部、
前記雑音レベル検出部から前記雑音レベルを取得し、該雑音レベルが大きいほど、平滑化フィルタの標準偏差として小さい値を生成する標準偏差決定部、
前記高周波成分拡大部により生成された拡大画像を、前記標準偏差決定部により生成された標準偏差を有する平滑化フィルタにより平滑化する高周波成分平滑化部、及び、
前記高周波成分平滑化部により平滑化された拡大画像を用いて前記入力画像を超解像処理して超解像画像を生成する周波数成分再構成部、を有する雑音考慮型超解像処理部と、
を備えることを特徴とする画像空間超解像装置。 An image space super-resolution device that generates a super-resolution image of an input image in consideration of a noise level included in the input image,
A first high-frequency component extraction unit that extracts a high-frequency component image by performing multi-resolution analysis on the input image; and
A noise level detection unit having a noise level analysis unit for detecting a noise level of an image of the high frequency component extracted by the first high frequency component extraction unit;
A second high-frequency component extraction unit that extracts a high-frequency component image by performing multi-resolution analysis on the input image;
A high-frequency component enlargement unit that up-samples an image of the high-frequency component extracted by the second high-frequency component extraction unit and generates an enlarged image of the high-frequency component;
The noise level is acquired from the noise level detection unit, and a standard deviation determination unit that generates a smaller value as a standard deviation of the smoothing filter as the noise level increases.
A high-frequency component smoothing unit that smoothes the enlarged image generated by the high-frequency component enlarging unit with a smoothing filter having a standard deviation generated by the standard deviation determining unit; and
A noise-considering super-resolution processing unit having a frequency component reconstruction unit that generates a super-resolution image by super-resolution processing of the input image using the enlarged image smoothed by the high-frequency component smoothing unit; ,
An image space super-resolution apparatus comprising:
第2高周波成分抽出部は、前記入力画像を空間方向に多重解像度解析して前記高周波成分の画像を抽出することを特徴とする、請求項1に記載の画像空間超解像装置。 The first high-frequency component extraction unit performs multi-resolution analysis of the input image in a spatial direction or extracts the high-frequency component image by performing multi-resolution analysis of the input image in a time direction and a spatial direction,
2. The image space super-resolution device according to claim 1, wherein the second high-frequency component extracting unit extracts the image of the high-frequency component by performing multi-resolution analysis on the input image in a spatial direction.
前記第1高周波成分抽出部により抽出された高周波成分の画像について、前記孤立点位置抽出部により抽出された孤立点位置における画素値に基づく値を前記雑音レベルとする雑音レベル算出部と、
を備えることを特徴とする、請求項1又は2に記載の画像空間超解像装置。 The noise level analyzing unit, an isolated point position extracting unit that extracts an isolated point position of an image of a high frequency component extracted by the first high frequency component extracting unit;
A noise level calculation unit that uses a value based on a pixel value at an isolated point position extracted by the isolated point position extraction unit as the noise level for an image of the high frequency component extracted by the first high frequency component extraction unit;
The image space super-resolution device according to claim 1, comprising:
前記高周波成分平滑化部は、前記雑音レベル判定部により入力画像に含まれる雑音レベルのパワーが所定の閾値以上であると判定された場合には、前記標準偏差決定部により生成された標準偏差を有する平滑化フィルタにより平滑化し、前記雑音レベル判定部により入力画像に含まれる雑音レベルのパワーが所定の閾値未満であると判定された場合には、一定の値の標準偏差を有する平滑化フィルタにより平滑化することを特徴とする、請求項1から3のいずれか一項に記載の画像空間超解像装置。 A noise level determination unit that acquires a noise level of each spatio-temporal high-frequency component detected by the noise level detection unit and determines whether or not the power of the noise level included in the input image is equal to or higher than a predetermined threshold value. ,
The high frequency component smoothing unit determines the standard deviation generated by the standard deviation determination unit when the noise level determination unit determines that the power of the noise level included in the input image is equal to or greater than a predetermined threshold. When the noise level determination unit determines that the power of the noise level included in the input image is less than a predetermined threshold, the smoothing filter having a standard deviation of a certain value The image space super-resolution device according to any one of claims 1 to 3, wherein smoothing is performed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011260910A JP5829898B2 (en) | 2011-11-29 | 2011-11-29 | Image space super-resolution apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011260910A JP5829898B2 (en) | 2011-11-29 | 2011-11-29 | Image space super-resolution apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013114510A true JP2013114510A (en) | 2013-06-10 |
JP5829898B2 JP5829898B2 (en) | 2015-12-09 |
Family
ID=48709992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011260910A Active JP5829898B2 (en) | 2011-11-29 | 2011-11-29 | Image space super-resolution apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5829898B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015203952A (en) * | 2014-04-14 | 2015-11-16 | 日本放送協会 | super-resolution device and program |
JP2020095707A (en) * | 2018-12-11 | 2020-06-18 | キヤノン株式会社 | Alignment-free video change detection using deep blind image region prediction |
JP2020161985A (en) * | 2019-03-26 | 2020-10-01 | 日本放送協会 | Image processing device and program |
US20220237741A1 (en) * | 2021-01-25 | 2022-07-28 | Lemon Inc. | Image/video processing |
CN115249245A (en) * | 2022-09-22 | 2022-10-28 | 深圳华声医疗技术股份有限公司 | Ultrasonic imaging parameter optimization method and device, computer equipment and storage medium |
-
2011
- 2011-11-29 JP JP2011260910A patent/JP5829898B2/en active Active
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015203952A (en) * | 2014-04-14 | 2015-11-16 | 日本放送協会 | super-resolution device and program |
JP2020095707A (en) * | 2018-12-11 | 2020-06-18 | キヤノン株式会社 | Alignment-free video change detection using deep blind image region prediction |
JP2020161985A (en) * | 2019-03-26 | 2020-10-01 | 日本放送協会 | Image processing device and program |
JP7290968B2 (en) | 2019-03-26 | 2023-06-14 | 日本放送協会 | Image processing device and program |
US20220237741A1 (en) * | 2021-01-25 | 2022-07-28 | Lemon Inc. | Image/video processing |
US11823350B2 (en) * | 2021-01-25 | 2023-11-21 | Lemon Inc. | Image/video processing |
CN115249245A (en) * | 2022-09-22 | 2022-10-28 | 深圳华声医疗技术股份有限公司 | Ultrasonic imaging parameter optimization method and device, computer equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP5829898B2 (en) | 2015-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5727873B2 (en) | Motion vector detection device, encoding device, and program thereof | |
JP5829898B2 (en) | Image space super-resolution apparatus and program | |
WO2018196470A1 (en) | Image processing method and apparatus | |
JP2008276393A (en) | Resolution enhancement device and method | |
US8487929B2 (en) | Resolution enhancement of video stream based on spatial and temporal correlation | |
KR20100085306A (en) | Apparatus and method for obtaining high resolution image | |
CN103700062B (en) | Image processing method and device | |
JP2015203952A (en) | super-resolution device and program | |
CN116744056A (en) | Electronic device and control method thereof | |
Xie et al. | Feature dimensionality reduction for example-based image super-resolution | |
KR101181542B1 (en) | Method and apparatus for enhancement of high-definition video content, and recording medium | |
US9008421B2 (en) | Image processing apparatus for performing color interpolation upon captured images and related method thereof | |
JP5717548B2 (en) | Super-resolution auxiliary information generation device, encoding device, decoding device, and programs thereof | |
JP5514132B2 (en) | Image reduction device, image enlargement device, and program thereof | |
US20040086201A1 (en) | Fast edge directed polynomial interpolation | |
JP5894422B2 (en) | Spatio-temporal low correlation image super-resolution device, image space super-resolution device, and program thereof | |
Lama et al. | Image interpolation for high-resolution display based on the complex dual-tree wavelet transform and hidden Markov model | |
JP5331643B2 (en) | Motion vector detection apparatus and program | |
JP5866245B2 (en) | Super-resolution parameter determination device, image reduction device, and program | |
JP5570448B2 (en) | Image region dividing apparatus and program | |
US20140022452A1 (en) | System and method for artifact removal | |
KR101650897B1 (en) | Window size zooming method and the apparatus for lower resolution contents | |
Mastriani | Single frame supercompression of still images, video, High Definition TV and Digital Cinema | |
JP5520687B2 (en) | Motion estimation apparatus and program | |
JP2018081461A (en) | Super resolution apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5829898 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |