JP2015166976A - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2015166976A JP2015166976A JP2014041521A JP2014041521A JP2015166976A JP 2015166976 A JP2015166976 A JP 2015166976A JP 2014041521 A JP2014041521 A JP 2014041521A JP 2014041521 A JP2014041521 A JP 2014041521A JP 2015166976 A JP2015166976 A JP 2015166976A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frequency component
- high frequency
- interpolation
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 94
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000035939 shock Effects 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000004069 differentiation Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 53
- 230000008569 process Effects 0.000 description 25
- 101000983850 Homo sapiens Phosphatidate phosphatase LPIN3 Proteins 0.000 description 24
- 102100025728 Phosphatidate phosphatase LPIN3 Human genes 0.000 description 24
- KXRZBTAEDBELFD-UHFFFAOYSA-N sulfamethopyrazine Chemical compound COC1=NC=CN=C1NS(=O)(=O)C1=CC=C(N)C=C1 KXRZBTAEDBELFD-UHFFFAOYSA-N 0.000 description 24
- 102100036250 GPI mannosyltransferase 4 Human genes 0.000 description 11
- 101001074618 Homo sapiens GPI mannosyltransferase 4 Proteins 0.000 description 11
- 101000648528 Homo sapiens Transmembrane protein 50A Proteins 0.000 description 11
- 102100028770 Transmembrane protein 50A Human genes 0.000 description 11
- 230000008859 change Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000011158 quantitative evaluation Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、画像のサイズを変更する画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program for changing the size of an image.
従来、デジタル画像のサイズを拡大し、より大きいサイズの画像として表示する技術が知られている。
例えば、非特許文献１に記載の技術では、入力された低解像度の画像を線形補間により所望サイズに拡大した後に、高周波数成分を強調し、高い鮮鋭感の画像を生成する手法が提案されている。
非特許文献１に記載の技術では、線形補間により拡大した初期画像に対して高域通過フィルタを適用して高周波数成分を算出し、その高周波数成分に対してｙ=ａｘ３（０＜ａ＜１）の非線形処理を適用している。そして、修正された高周波数成分を初期画像に加算することにより、高解像度画像を生成している。
Conventionally, a technique for enlarging the size of a digital image and displaying it as a larger size image is known.
For example, in the technique described in Non-Patent Document 1, a method is proposed in which an input low-resolution image is enlarged to a desired size by linear interpolation, and then a high-frequency component is emphasized to generate a highly sharp image. Yes.
In the technique described in Non-Patent Document 1, a high-frequency component is calculated by applying a high-pass filter to an initial image enlarged by linear interpolation, and y = ax 3 (0 <a The nonlinear processing of <1) is applied. Then, a high-resolution image is generated by adding the corrected high-frequency component to the initial image.
しかしながら、非特許文献１に記載された技術においては、非線形処理によって変調が行われることで、より高い周波数成分を生成しているものの、その生成された周波数成分を加算した結果の高解像度画像が、自然画像として違和感がなく鮮鋭感の高い画像となるかは保証されていない。そのため、非特許文献１に記載された技術では、優れた高解像度画像を生成するためには、画像に依存する様々なパラメータの調整が必要となる。さらに、３次の非線形処理には多くの演算量が必要であり、非特許文献１に記載の技術は、実装性が低く実用性が高いとは言えない。
即ち、従来の技術においては、演算量が多く、実装性の高い超解像技術を実現することは困難であった。
However, in the technique described in Non-Patent Document 1, although modulation is performed by nonlinear processing to generate a higher frequency component, a high-resolution image as a result of adding the generated frequency components is obtained. However, it is not guaranteed that a natural image will have a sense of incongruity and a sharp image. Therefore, in the technique described in Non-Patent Document 1, in order to generate an excellent high-resolution image, it is necessary to adjust various parameters depending on the image. Furthermore, a large amount of computation is required for the third-order nonlinear processing, and the technique described in Non-Patent Document 1 cannot be said to have low mountability and high practicality.
That is, in the conventional technique, it is difficult to realize a super-resolution technique with a large amount of calculation and high mountability.
本発明の課題は、演算量がより少なく、実装性がより高い超解像技術を実現することである。 An object of the present invention is to realize a super-resolution technique with a smaller amount of calculation and higher mountability.
上記課題を解決するため、本発明の一態様の画像処理装置は、
入力された画像を線形補間する補間手段と、
前記補間手段によって線形補間された画像の高周波数成分を抽出する高周波数成分抽出手段と、
前記高周波数成分抽出手段によって抽出された高周波数成分をショックフィルタによって強調する高周波数成分強調手段と、
前記補間手段によって線形補間された画像と、前記高周波数成分強調手段によって強調された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成手段と、
を備える。
In order to solve the above problems, an image processing apparatus according to one embodiment of the present invention is provided.
An interpolation means for linearly interpolating the input image;
High frequency component extraction means for extracting high frequency components of the image linearly interpolated by the interpolation means;
High frequency component emphasizing means for emphasizing the high frequency component extracted by the high frequency component extracting means with a shock filter;
A high-resolution image generation unit that generates a high-resolution image by adding the image linearly interpolated by the interpolation unit and the high-frequency component enhanced by the high-frequency component enhancement unit;
Is provided.
本発明によれば、演算量がより少なく、実装性がより高い超解像技術を実現することが可能となる。 According to the present invention, it is possible to realize a super-resolution technique with a smaller amount of calculation and higher mountability.
以下、本発明の実施形態について、図面を用いて説明する。
［第１実施形態］
［ハードウェア構成］
図１は、本発明における画像処理装置１のハードウェア構成例を示すブロック図である。
なお、画像処理装置１は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）によって構成される。
図１において、画像処理装置１は、制御部１０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０と、入力部４０と、出力部５０と、通信部６０と、ドライブ７０と、記憶部８０と、を備えている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
[Hardware configuration]
FIG. 1 is a block diagram illustrating a hardware configuration example of an image processing apparatus 1 according to the present invention.
The image processing apparatus 1 is configured by, for example, a PC (Personal Computer).
In FIG. 1, the image processing apparatus 1 includes a control unit 10, a RAM (Random Access Memory) 20, a ROM (Read Only Memory) 30, an input unit 40, an output unit 50, a communication unit 60, and a drive 70. And a storage unit 80.
制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置によって構成され、画像処理装置１全体の動作を制御する。例えば、制御部１０は、解像度変更処理（後述）のためのプログラム等、ＲＯＭ３０に記憶されている各種プログラムに従って各種の処理を実行する。
ＲＡＭ２０は、制御部１０が各種処理を実行するためのワークエリアを形成する。
ＲＯＭ３０は、制御部１０が実行するプログラムや画像処理装置１の各種設定に関するデータ等の情報を記憶する。
The control unit 10 includes an arithmetic processing device such as a CPU (Central Processing Unit), and controls the operation of the entire image processing device 1. For example, the control unit 10 executes various processes according to various programs stored in the ROM 30 such as a program for resolution change processing (described later).
The RAM 20 forms a work area for the control unit 10 to execute various processes.
The ROM 30 stores information such as a program executed by the control unit 10 and data related to various settings of the image processing apparatus 1.
入力部４０は、キーボードやマウス、あるいはタッチパネル等、画像処理装置１に対して各種情報の入力を行う装置によって構成される。
出力部５０は、ディスプレイやスピーカー等、画像や音声の出力を行う装置によって構成される。
通信部６０は、インターネット等のネットワークや赤外線通信等のリンクを介して他の装置（図示せず）との間で行う通信を制御する。
ドライブ７０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等のリムーバブルメディア７１が適宜装着される。そして、ドライブ７０は、装着されたリムーバブルメディア７１におけるデータの読み出し及びデータの書き込みを行う。ドライブ７０によってリムーバブルメディア７１から読み出されたプログラムは、必要に応じて記憶部８０にインストールされる。また、リムーバブルメディア７１は、記憶部８０に記憶されている画像のデータ等の各種データも、記憶部８０と同様に記憶することができる。
The input unit 40 is configured by a device that inputs various types of information to the image processing apparatus 1, such as a keyboard, a mouse, or a touch panel.
The output unit 50 is configured by a device that outputs images and sounds, such as a display and a speaker.
The communication unit 60 controls communication with other devices (not shown) via a network such as the Internet or a link such as infrared communication.
A removable medium 71 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately attached to the drive 70. The drive 70 reads data from and writes data to the mounted removable medium 71. The program read from the removable medium 71 by the drive 70 is installed in the storage unit 80 as necessary. The removable medium 71 can also store various data such as image data stored in the storage unit 80 in the same manner as the storage unit 80.
記憶部８０は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のストレージデバイスによって構成され、各種プログラムやデータを記憶する。本実施形態において、解像度変更処理の対象となる画像のデータは、通信部６０あるいはドライブ７０を介して取得され、記憶部８０に記憶されている。 The storage unit 80 includes a storage device such as a hard disk or a DRAM (Dynamic Random Access Memory), and stores various programs and data. In the present embodiment, image data to be subjected to resolution change processing is acquired via the communication unit 60 or the drive 70 and stored in the storage unit 80.
［機能的構成］
次に、画像処理装置１の機能的構成について説明する。
図２は、第１実施形態における画像処理装置１の機能的構成を示すブロック図である。
図２に示す機能的構成は、制御部１０が解像度変更処理のためのプログラムを実行することによって実現される。
図２において、画像処理装置１は、機能的構成として、画像取得部１１０と、補間処理部１２０と、高周波数成分画像生成部１３０と、ショックフィルタ処理部１４０と、高解像度画像生成部１５０と、を備えている。
[Functional configuration]
Next, a functional configuration of the image processing apparatus 1 will be described.
FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus 1 according to the first embodiment.
The functional configuration shown in FIG. 2 is realized by the control unit 10 executing a program for resolution change processing.
In FIG. 2, the image processing apparatus 1 includes an image acquisition unit 110, an interpolation processing unit 120, a high frequency component image generation unit 130, a shock filter processing unit 140, and a high resolution image generation unit 150 as functional configurations. It is equipped with.
画像取得部１１０は、記憶部８０に記憶された画像の中から、高解像度画像を生成するための原画像を取得する。なお、取得する原画像は、入力部４０等を介して、ユーザによって指定される。画像取得部１１０が取得する画像としては、静止画像の他、動画像を構成するフレームの画像とすることができる。また、画像取得部１１０は、高解像度画像を生成するための原画像を通信部６０を介して外部から適宜取得したり、ドライブ７０を介してリムーバブルメディア７１から適宜取得したりすることができる。
補間処理部１２０は、画像取得部１１０によって取得された原画像を線形補間することにより拡大し、目的とする高解像度画像と同サイズの初期画像を生成する。例えば、補間処理部１２０は、Ｂｉｌｉｎｅａｒ法あるいはＢｉｃｕｂｉｃ法によって、原画像を線形補間する。
The image acquisition unit 110 acquires an original image for generating a high-resolution image from the images stored in the storage unit 80. Note that the original image to be acquired is designated by the user via the input unit 40 or the like. The image acquired by the image acquisition unit 110 may be a still image or a frame image constituting a moving image. Further, the image acquisition unit 110 can appropriately acquire an original image for generating a high-resolution image from the outside via the communication unit 60 or can be appropriately acquired from the removable medium 71 via the drive 70.
The interpolation processing unit 120 enlarges the original image acquired by the image acquisition unit 110 by linear interpolation, and generates an initial image having the same size as the target high-resolution image. For example, the interpolation processing unit 120 linearly interpolates the original image by the Biliner method or the Bicubic method.
高周波数成分画像生成部１３０は、補間処理部１２０によって生成された初期画像において、ローパスフィルタによって低周波数成分を抽出し、抽出した低周波数成分を初期画像から減算することで、初期画像の高周波数成分からなる高周波数成分画像を生成する。
高周波数成分画像をＩｈ、初期画像をＩ、ローパスフィルタをＧＬＬとすると、高周波数成分画像生成部１３０における処理は、畳み込みを表す演算子「＊」を用いて、式（１）で表される。
The high-frequency component image generation unit 130 extracts a low-frequency component from the initial image generated by the interpolation processing unit 120 using a low-pass filter, and subtracts the extracted low-frequency component from the initial image. A high frequency component image composed of the components is generated.
Assuming that the high frequency component image is I h , the initial image is I, and the low pass filter is G LL , the processing in the high frequency component image generation unit 130 is expressed by Expression (1) using an operator “*” representing convolution. Is done.
式（２）における係数は２の乗数であるため、コンピュータにおける演算処理ではビットシフトによる処理となり、小さい処理負荷で実現することができる。 Since the coefficient in equation (2) is a multiplier of 2, the calculation processing in the computer is processing by bit shift, and can be realized with a small processing load.
ショックフィルタ処理部１４０は、高周波数成分画像生成部１３０によって生成された高周波数成分画像にショックフィルタを１回または複数回施すことにより、高周波数成分を強調する。本実施形態においては、高周波数成分画像生成部１３０によって生成された高周波数成分画像にショックフィルタを３回施すことする。ショックフィルタを施すことで、画像の変動成分の変動幅が急峻になり、画像の鮮鋭化が実現される。ショックフィルタは、少ない繰り返し処理で鮮鋭化の効果が得られ、ほぼ線形処理によって構成される低演算量で実現可能なフィルタである。具体的には、ショックフィルタは、式（３）で表される。 The shock filter processing unit 140 emphasizes the high frequency component by applying the shock filter once or a plurality of times to the high frequency component image generated by the high frequency component image generating unit 130. In the present embodiment, the shock filter is applied to the high frequency component image generated by the high frequency component image generation unit 130 three times. By applying the shock filter, the fluctuation range of the fluctuation component of the image becomes steep, and the sharpening of the image is realized. The shock filter is a filter that can achieve a sharpening effect with a small number of repetitive processes and can be realized with a low amount of computation configured by a substantially linear process. Specifically, the shock filter is expressed by Expression (3).
式（３）における第１項（ローパスフィルタと入力画像との畳み込みの項）は、フィルタ処理の注目画素を周囲となじませる効果（入力画像をぼかす効果）を有している。
また、式（３）における第２項（符号関数の項）は、画素値の２階微分を基に画素値の変化方向を決定する効果を有している。
さらに、式（３）における第３項（各画素の勾配の絶対値の項）は、画素値の縦横方向の１階微分を基に画素値の変化量を決定する効果を有している。
式（３）による処理は、画素毎に複数回適用して画像全体を処理したり、全画素に一度適用して画像全体を複数回処理したりすることが可能である。式（３）を画素毎に複数回適用して画像全体を処理する場合、より少ないメモリ量で演算を行うことができる。
The first term in Equation (3) (the convolution term between the low-pass filter and the input image) has the effect of blurring the target pixel of the filter processing with the surroundings (the effect of blurring the input image).
The second term (sign function term) in Equation (3) has an effect of determining the change direction of the pixel value based on the second-order differentiation of the pixel value.
Further, the third term (term of the absolute value of the gradient of each pixel) in Expression (3) has an effect of determining the change amount of the pixel value based on the first-order differentiation of the pixel value in the vertical and horizontal directions.
The processing according to Expression (3) can be applied to each pixel a plurality of times to process the entire image, or applied once to all the pixels to process the entire image a plurality of times. When the entire image is processed by applying Formula (3) a plurality of times for each pixel, the calculation can be performed with a smaller amount of memory.
高解像度画像生成部１５０は、補間処理部１２０によって生成された初期画像と、ショックフィルタ処理部１４０によって高周波数成分が鮮鋭化された高周波数成分画像とを加算することにより、高解像度画像を生成する。
即ち、本実施形態において生成された高解像度画像は、原画像が線形補間された初期画像に対して、ショックフィルタによって高周波数成分を自然に鮮鋭化し、２次の非線形処理によって高周波数成分を変調したものとなる。そのため、初期画像においてテクスチャを保存しつつ、ショックフィルタによって鮮鋭化された高周波数成分を加算して、より鮮鋭度の高い高解像度画像を生成することができる。
The high resolution image generation unit 150 generates a high resolution image by adding the initial image generated by the interpolation processing unit 120 and the high frequency component image whose high frequency component is sharpened by the shock filter processing unit 140. To do.
In other words, the high-resolution image generated in the present embodiment is a sharp image that is naturally sharpened by a shock filter and is modulated by a second-order nonlinear process. Will be. Therefore, it is possible to generate a high-resolution image with higher sharpness by adding the high-frequency components sharpened by the shock filter while preserving the texture in the initial image.
［動作］
次に、画像処理装置１の動作について説明する。
図３は、画像処理装置１が実行する解像度変更処理を示すフローチャートである。
解像度変更処理は、入力部４０を介して、処理の実行が指示入力されることに対応して開始される。
解像度変更処理が開始されると、ステップＳ１において、画像取得部１１０は、記憶部８０から処理対象とする原画像を取得する。
ステップＳ２において、補間処理部１２０は、取得された原画像を線形補間することにより拡大し、初期画像を生成する。
[Operation]
Next, the operation of the image processing apparatus 1 will be described.
FIG. 3 is a flowchart showing the resolution changing process executed by the image processing apparatus 1.
The resolution change process is started in response to an instruction input for execution of the process via the input unit 40.
When the resolution changing process is started, the image acquisition unit 110 acquires an original image to be processed from the storage unit 80 in step S1.
In step S2, the interpolation processing unit 120 enlarges the acquired original image by linear interpolation to generate an initial image.
ステップＳ３において、高周波数成分画像生成部１３０は、ローパスフィルタによって初期画像における低周波数成分を抽出し、抽出した低周波数成分を初期画像から減算することで、高周波数成分画像を生成する。
ステップＳ４において、ショックフィルタ処理部１４０は、ショックフィルタの適用回数を示すパラメータｎに１をセットする（ｎ＝１）。
ステップＳ５において、ショックフィルタ処理部１４０は、入力画像に対してショックフィルタを適用し、高周波数成分を鮮鋭化する。
ステップＳ６において、ショックフィルタ処理部１４０は、ショックフィルタの適用回数を示すパラメータｎを１インクリメントする（ｎ＝ｎ＋１）。
In step S3, the high-frequency component image generation unit 130 extracts a low-frequency component in the initial image using a low-pass filter, and generates a high-frequency component image by subtracting the extracted low-frequency component from the initial image.
In step S4, the shock filter processing unit 140 sets 1 to a parameter n indicating the number of times the shock filter is applied (n = 1).
In step S5, the shock filter processing unit 140 applies a shock filter to the input image to sharpen high frequency components.
In step S6, the shock filter processing unit 140 increments a parameter n indicating the number of application times of the shock filter by 1 (n = n + 1).
ステップＳ７において、ショックフィルタ処理部１４０は、ショックフィルタの適用回数を示すパラメータｎが３より大きい（ｎ＞３）か否かの判定を行う。
ステップＳ７において、ショックフィルタの適用回数を示すパラメータｎが３以下である（ＮＯ）と判定された場合、処理はステップＳ５に移行する。
一方、ステップＳ７において、ショックフィルタの適用回数を示すパラメータｎが３より大きい（ＹＥＳ）と判定された場合、処理はステップＳ８に移行する。
ステップＳ８において、高解像度画像生成部１５０は、補間処理部１２０によって生成された初期画像と、ショックフィルタ処理部１４０によって高周波数成分が鮮鋭化された高周波数成分画像とを加算し、高解像度画像を生成する。
ステップＳ８の後、解像度変更処理は終了となる。
In step S7, the shock filter processing unit 140 determines whether or not the parameter n indicating the number of application times of the shock filter is larger than 3 (n> 3).
If it is determined in step S7 that the parameter n indicating the number of application times of the shock filter is 3 or less (NO), the process proceeds to step S5.
On the other hand, when it is determined in step S7 that the parameter n indicating the number of application of the shock filter is greater than 3 (YES), the process proceeds to step S8.
In step S8, the high resolution image generation unit 150 adds the initial image generated by the interpolation processing unit 120 and the high frequency component image in which the high frequency component is sharpened by the shock filter processing unit 140, thereby obtaining a high resolution image. Is generated.
After step S8, the resolution changing process ends.
以上のように、本実施形態における画像処理装置１は、小さいサイズの原画像を線形補間によって拡大し、拡大して得られた初期画像の高周波数成分を抽出して高周波数成分画像を得る。そして、画像処理装置１は、高周波数成分画像にショックフィルタを適用することにより、高周波数成分を鮮鋭化し、高周波数成分を鮮鋭化した高周波数成分画像を初期画像に加算することにより、高解像度画像を生成する。
そのため、線形補間によって得られた初期画像の高周波数成分を低演算量で鮮鋭化の効果が得られるショックフィルタによって鮮鋭化し、高解像度画像を得ることができる。
したがって、演算量がより少なく、実装性がより高い超解像技術を実現することが可能となる。
また、画像処理装置１では、ショックフィルタを対象の画像の内容等に応じて、１回または複数回適用することができる。
そのため、対象の画像に応じた適切な高周波数成分の鮮鋭化を行うことができ、より適切な高解像度画像を生成することが可能となる。
As described above, the image processing apparatus 1 according to the present embodiment enlarges a small-size original image by linear interpolation, extracts a high-frequency component of the initial image obtained by the enlargement, and obtains a high-frequency component image. The image processing apparatus 1 applies a shock filter to the high-frequency component image to sharpen the high-frequency component, and adds the high-frequency component image in which the high-frequency component is sharpened to the initial image to obtain a high resolution. Generate an image.
Therefore, a high-resolution image can be obtained by sharpening the high-frequency component of the initial image obtained by linear interpolation with a shock filter that can obtain a sharpening effect with a small amount of computation.
Therefore, it is possible to realize a super-resolution technique with a smaller calculation amount and higher mountability.
In the image processing apparatus 1, the shock filter can be applied once or a plurality of times depending on the content of the target image.
Therefore, it is possible to sharpen an appropriate high frequency component according to the target image, and to generate a more appropriate high resolution image.
［第１実施形態の効果］
図４は、本実施形態における画像処理装置１によって、サンプル画像から生成した高解像度画像の定量的評価を行った結果を示す図である。
また、図５は、サンプル画像の例を示す図であり、図５（ａ）はサンプル画像ＳＭＰ１、図５（ｂ）はサンプル画像ＳＭＰ２、図５（ｃ）はサンプル画像ＳＭＰ３を示している。
[Effect of the first embodiment]
FIG. 4 is a diagram illustrating a result of quantitative evaluation of a high resolution image generated from a sample image by the image processing apparatus 1 according to the present embodiment.
FIG. 5 is a diagram showing an example of a sample image. FIG. 5A shows the sample image SMP1, FIG. 5B shows the sample image SMP2, and FIG. 5C shows the sample image SMP3.
図４においては、図５に示すサンプル画像ＳＭＰ１〜ＳＭＰ３の画素を間引いて得た低解像度の画像から、画像処理装置１によって生成した高解像度画像と、単純に線形補間して得た拡大画像とをオリジナルのサンプル画像ＳＭＰ１〜ＳＭＰ３と比較した場合の定量的評価の値を示している。なお、図４においては、式（３）のλ＝０．５とし、図４（ａ）が１．５倍の拡大率の場合、図４（ｂ）が２倍の拡大率の場合、図４（ｃ）が２倍×２回＝４倍の拡大率の場合の定量的評価の値をそれぞれ示している。また、図４においては、低解像度としたサンプル画像ＳＭＰ１〜ＳＭＰ３をＢｉｃｕｂｉｃ法によって単純に拡大した場合及び画像処理装置１によって高解像度画像とした場合のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）及びＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ ＳＩＭｉｌａｒｉｔｙ）の値を定量的評価の一例として示している。 4, a high resolution image generated by the image processing apparatus 1 from a low resolution image obtained by thinning out the pixels of the sample images SMP1 to SMP3 shown in FIG. 5, and an enlarged image obtained by simply performing linear interpolation. Represents the value of quantitative evaluation in comparison with the original sample images SMP1 to SMP3. In FIG. 4, when λ = 0.5 in Expression (3), FIG. 4A is 1.5 times magnification, and FIG. 4B is 2 times magnification, FIG. 4 (c) shows the value of the quantitative evaluation when the enlargement ratio is 2 × 2 times = 4 times. In FIG. 4, PSNR (Peak Signal-to-Noise Ratio) and SSIM when the sample images SMP <b> 1 to SMP <b> 3 with low resolution are simply enlarged by the Bicubic method and when high resolution images are obtained with the image processing apparatus 1. The value of (Structural SIMality) is shown as an example of quantitative evaluation.
図５（ａ）に示すように、サンプル画像ＳＭＰ１は、自転車やテニスラケットを含む被写体の画像である。また、図５（ｂ）に示すように、サンプル画像ＳＭＰ２は、女性を含む被写体の画像である。さらに、図５（ｃ）に示すように、サンプル画像ＳＭＰ３は、複数の野菜を含む被写体の画像である。
これらサンプル画像ＳＭＰ１〜ＳＭＰ３を低解像度とした後、線形補間によって拡大画像とした場合と、画像処理装置１によって高解像度画像とした場合との比較結果では、ＰＳＮＲの値及びＳＳＩＭの値は、サンプル画像ＳＭＰ１〜ＳＭＰ３の全ての拡大率の場合において、画像処理装置１によって高解像度画像とした場合の方がより大きい値となっている。これは、画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間して得た拡大画像に比べて、より高画質であることを意味している。
As shown in FIG. 5A, the sample image SMP1 is an image of a subject including a bicycle and a tennis racket. As shown in FIG. 5B, the sample image SMP2 is an image of a subject including a woman. Furthermore, as shown in FIG. 5C, the sample image SMP3 is an image of a subject including a plurality of vegetables.
In the comparison results between the case where the sample images SMP1 to SMP3 are made to have a low resolution and then made into an enlarged image by linear interpolation and the image processing apparatus 1 made to have a high resolution image, the PSNR value and the SSIM value are In the case of all the enlargement ratios of the images SMP1 to SMP3, the image processing apparatus 1 has a larger value when the image processing apparatus 1 generates a high resolution image. This means that an image that has been converted to a high resolution image by the image processing apparatus 1 has a higher image quality than an enlarged image obtained by simple linear interpolation.
図６〜８は、サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。なお、図６は、サンプル画像ＳＭＰ２の低解像度画像から１．５倍にサイズを拡大した場合、図７は、サンプル画像ＳＭＰ２の低解像度画像から２倍にサイズを拡大した場合、図８は、サンプル画像ＳＭＰ２の低解像度画像から２倍×２回（４倍）にサイズを拡大した場合を表している。
図６〜８に示すように、いずれの拡大率の場合においても、サンプル画像ＳＭＰ２を低解像度とした画像を画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間した拡大画像よりも、画像の鮮鋭感がより高いものとなっている。
6 to 8 are diagrams showing a comparison between a high-resolution image generated from the low-resolution image of the sample image SMP2 and an enlarged image obtained by linear interpolation. FIG. 6 shows a case where the size is enlarged 1.5 times from the low resolution image of the sample image SMP2, FIG. 7 shows a case where the size is enlarged two times from the low resolution image of the sample image SMP2, and FIG. This represents a case where the size of the low-resolution image of the sample image SMP2 is enlarged twice to twice (4 times).
As shown in FIGS. 6 to 8, in any enlargement ratio, an image obtained by making the sample image SMP2 a low resolution image by using the image processing apparatus 1 is simply an enlarged image obtained by linear interpolation. The sharpness of the image is higher than that.
［第２実施形態］
次に、本発明の第２実施形態について説明する。
本実施形態に係る画像処理装置１のハードウェア構成は、図１に示す第１実施形態のハードウェア構成と同様である。
一方、本実施形態においては、画像処理装置１の機能的構成及び解像度変更処理の内容が第１実施形態と異なっている。
したがって、以下、画像処理装置１の機能的構成及び解像度変更処理の内容について、主として説明する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described.
The hardware configuration of the image processing apparatus 1 according to the present embodiment is the same as the hardware configuration of the first embodiment shown in FIG.
On the other hand, in the present embodiment, the functional configuration of the image processing apparatus 1 and the content of the resolution changing process are different from those in the first embodiment.
Therefore, hereinafter, the functional configuration of the image processing apparatus 1 and the content of the resolution changing process will be mainly described.
図９は、第２実施形態における画像処理装置１の機能的構成を示すブロック図である。
図９に示す機能的構成は、制御部１０が解像度変更処理のためのプログラムを実行することによって実現される。
図９において、画像処理装置１は、機能的構成として、画像取得部２１０と、高周波数成分強調画像生成部２２０と、補間処理部２３０と、を備えている。
画像取得部２１０は、記憶部８０に記憶された画像の中から、高解像度画像を生成するための原画像を取得する。なお、取得する原画像は、入力部４０等を介して、ユーザによって指定される。画像取得部２１０が取得する画像としては、静止画像の他、動画像を構成するフレームの画像とすることができる。また、画像取得部２１０は、高解像度画像を生成するための原画像を通信部６０を介して外部から適宜取得したり、ドライブ７０を介してリムーバブルメディア７１から適宜取得したりすることができる。
FIG. 9 is a block diagram illustrating a functional configuration of the image processing apparatus 1 according to the second embodiment.
The functional configuration illustrated in FIG. 9 is realized by the control unit 10 executing a program for resolution change processing.
In FIG. 9, the image processing apparatus 1 includes an image acquisition unit 210, a high-frequency component emphasized image generation unit 220, and an interpolation processing unit 230 as functional configurations.
The image acquisition unit 210 acquires an original image for generating a high resolution image from the images stored in the storage unit 80. Note that the original image to be acquired is designated by the user via the input unit 40 or the like. The image acquired by the image acquisition unit 210 may be a still image or a frame image constituting a moving image. Further, the image acquisition unit 210 can appropriately acquire an original image for generating a high resolution image from the outside via the communication unit 60, or can appropriately acquire from the removable medium 71 via the drive 70.
高周波数成分強調画像生成部２２０は、画像取得部２１０によって取得された原画像において、行方向及び列方向それぞれの２階微分によって高周波数成分を強調し、高周波数成分強調画像を生成する。
高周波数成分強調画像をＩ’、原画像をＩ、λを０〜１の設計パラメータ、Ｉｖｖを縦方向の２階微分、Ｉｈｈを横方向の２階微分とすると、高周波数成分強調画像生成部２２０における処理は、式（４）で表される。
The high frequency component emphasized image generation unit 220 enhances the high frequency component by the second-order differentiation in the row direction and the column direction in the original image acquired by the image acquisition unit 210, and generates a high frequency component emphasized image.
If the high frequency component emphasized image is I ′, the original image is I, λ is a design parameter of 0 to 1, I vv is the vertical second derivative, and I hh is the horizontal second derivative, the high frequency component emphasized image The process in the generation unit 220 is expressed by Expression (4).
補間処理部２３０は、高周波数成分強調画像生成部２２０によって生成された高周波数成分強調画像を線形補間することにより拡大し、高解像度画像を生成する。例えば、補間処理部２３０は、Ｂｉｌｉｎｅａｒ法あるいはＢｉｃｕｂｉｃ法によって、高周波数成分強調画像を線形補間する。
即ち、本実施形態において生成された高解像度画像は、低解像度の原画像の高周波数成分を強調した後、線形補間することによりサイズが拡大されたものとなる。そのため、少ない演算量で、より鮮鋭度の高い高解像度画像を生成することができる。
The interpolation processing unit 230 enlarges the high frequency component emphasized image generated by the high frequency component emphasized image generation unit 220 by linear interpolation, and generates a high resolution image. For example, the interpolation processing unit 230 linearly interpolates the high frequency component enhanced image by the Biliner method or the Bicubic method.
That is, the high-resolution image generated in the present embodiment is enlarged in size by enhancing the high-frequency component of the low-resolution original image and then performing linear interpolation. Therefore, a high-resolution image with higher sharpness can be generated with a small amount of calculation.
［動作］
次に、画像処理装置１の動作について説明する。
図１０は、画像処理装置１が実行する解像度変更処理を示すフローチャートである。
解像度変更処理は、入力部４０を介して、処理の実行が指示入力されることに対応して開始される。
解像度変更処理が開始されると、ステップＳ１０１において、画像取得部２１０は、記憶部８０から処理対象とする原画像を取得する。
ステップＳ１０２において、高周波数成分強調画像生成部２２０は、行方向及び列方向それぞれの２階微分によって、取得された原画像の高周波数成分を強調し、高周波数成分強調画像を生成する。
[Operation]
Next, the operation of the image processing apparatus 1 will be described.
FIG. 10 is a flowchart showing the resolution changing process executed by the image processing apparatus 1.
The resolution change process is started in response to an instruction input for execution of the process via the input unit 40.
When the resolution changing process is started, the image acquisition unit 210 acquires an original image to be processed from the storage unit 80 in step S101.
In step S102, the high-frequency component enhanced image generation unit 220 enhances the high-frequency component of the acquired original image by second-order differentiation in the row direction and the column direction, and generates a high-frequency component enhanced image.
ステップＳ１０３において、補間処理部２３０は、生成された高周波数成分強調画像を線形補間することにより拡大し、高解像度画像を生成する。
ステップＳ１０３の後、解像度変更処理は終了となる。
In step S103, the interpolation processing unit 230 enlarges the generated high frequency component emphasized image by linear interpolation, and generates a high resolution image.
After step S103, the resolution changing process ends.
以上のように、本実施形態にける画像処理装置１は、入力された低解像度の原画像の高周波数成分を強調した後、線形補間することによりサイズを拡大して、高解像度画像を生成する。
そのため、演算量をより少ないものとしながら、より鮮鋭度の高い高解像度画像を得ることができる。
即ち、演算量がより少なく、実装性がより高い超解像技術を実現することが可能となる。
また、画像処理装置１は、画素値の２階微分によって画像の高周波数成分を強調するため、より少ない演算量で画像の高周波数成分を強調することができる。
As described above, the image processing apparatus 1 according to the present embodiment generates a high-resolution image by enlarging the size by linear interpolation after emphasizing the high-frequency component of the input low-resolution original image. .
Therefore, a high-resolution image with higher sharpness can be obtained while reducing the amount of calculation.
That is, it is possible to realize a super-resolution technique with a smaller calculation amount and higher mountability.
Further, since the image processing apparatus 1 emphasizes the high frequency component of the image by the second-order differentiation of the pixel value, the image processing device 1 can enhance the high frequency component of the image with a smaller amount of calculation.
［第２実施形態の効果］
図１１は、本実施形態における画像処理装置１によって、サンプル画像から生成した高解像度画像の定量的評価を行った結果を示す図である。
なお、ここで用いるサンプル画像は、図５に示すサンプル画像ＳＭＰ１〜ＳＭＰ３と同様である。
[Effects of Second Embodiment]
FIG. 11 is a diagram illustrating a result of quantitative evaluation of a high-resolution image generated from a sample image by the image processing apparatus 1 according to the present embodiment.
Note that the sample images used here are the same as the sample images SMP1 to SMP3 shown in FIG.
図１１においては、図５に示すサンプル画像ＳＭＰ１〜ＳＭＰ３の画素を間引いて得た低解像度の画像から、Ｂｉｌｉｎｅａｒ法及びＢｉｃｕｂｉｃ法を用いた場合のそれぞれを用いて、画像処理装置１によって生成した高解像度画像と、単純に線形補間して得た拡大画像とをオリジナルのサンプル画像と比較した場合の定量的評価の値を示している。なお、図１１においては、式（４）のλ＝１．０とし、図１１（ａ）が１．５倍の拡大率の場合、図１１（ｂ）が２倍の拡大率の場合、図１１（ｃ）が２倍×２回＝４倍の拡大率の場合の定量的評価の値をそれぞれ示している。また、図１１においては、低解像度としたサンプル画像ＳＭＰ１〜ＳＭＰ３をＢｉｌｉｎｅａｒ法及びＢｉｃｕｂｉｃ法によって単純に拡大した場合及び画像処理装置１によって高解像度画像とした場合のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）及びＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ ＳＩＭｉｌａｒｉｔｙ）の値を定量的評価の一例として示している。 In FIG. 11, a high-resolution image generated by the image processing apparatus 1 using the Bilinear method and the Bicubic method from the low-resolution image obtained by thinning out the pixels of the sample images SMP1 to SMP3 shown in FIG. The value of the quantitative evaluation when the resolution image and the enlarged image obtained by simple linear interpolation are compared with the original sample image is shown. In FIG. 11, when λ = 1.0 in Expression (4), FIG. 11A is a 1.5 times magnification, FIG. 11B is a 2 times magnification, FIG. 11 (c) shows the value of quantitative evaluation when the enlargement ratio is 2 × 2 times = 4 times. Also, in FIG. 11, PSNR (Peak Signal-to-Noise Ratio) when the sample images SMP1 to SMP3 having a low resolution are simply enlarged by the Biliner method and the Bicubic method and when the image processing apparatus 1 converts the sample images SMP1 to SMP3 to a high resolution image. ) And SSIM (Structural SIMality) are shown as an example of quantitative evaluation.
これらサンプル画像ＳＭＰ１〜ＳＭＰ３を低解像度とした後、線形補間によって拡大画像とした場合と、画像処理装置１によって高解像度画像とした場合との比較結果では、ＰＳＮＲの値及びＳＳＩＭの値は、サンプル画像ＳＭＰ１〜ＳＭＰ３のほとんどの拡大率の場合において、画像処理装置１によって高解像度画像とした場合の方が同等以上の値となっている。これは、画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間して得た拡大画像に比べて、おおむね同等以上の画質であることを意味している。 In the comparison results between the case where the sample images SMP1 to SMP3 are made to have a low resolution and then made into an enlarged image by linear interpolation and the image processing apparatus 1 made to have a high resolution image, the PSNR value and the SSIM value are In most enlargement ratios of the images SMP <b> 1 to SMP <b> 3, the value when the image processing apparatus 1 uses the high-resolution image is equal to or higher than that. This means that an image that has been converted to a high resolution image by the image processing apparatus 1 has substantially the same or better image quality than an enlarged image obtained by simple linear interpolation.
図１２〜１７は、サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。なお、図１２は、Ｂｉｌｉｎｅａｒ法を用いてサンプル画像ＳＭＰ２の低解像度画像から１．５倍にサイズを拡大した場合、図１３は、Ｂｉｃｕｂｉｃ法を用いてサンプル画像ＳＭＰ２の低解像度画像から１．５倍にサイズを拡大した場合を表している。また、図１４は、Ｂｉｌｉｎｅａｒ法を用いてサンプル画像ＳＭＰ２の低解像度画像から２倍にサイズを拡大した場合、図１５は、Ｂｉｃｕｂｉｃ法を用いてサンプル画像ＳＭＰ２の低解像度画像から２倍にサイズを拡大した場合を表している。さらに、図１６は、Ｂｉｌｉｎｅａｒ法を用いてサンプル画像ＳＭＰ２の低解像度画像から２倍×２回＝４倍にサイズを拡大した場合、図１７は、Ｂｉｃｕｂｉｃ法を用いてサンプル画像ＳＭＰ２の低解像度画像から２倍×２回＝４倍にサイズを拡大した場合を表している。 12 to 17 are diagrams showing a comparison between a high-resolution image generated from a low-resolution image of the sample image SMP2 and an enlarged image obtained by linear interpolation. Note that FIG. 12 shows the case where the size is enlarged 1.5 times from the low resolution image of the sample image SMP2 using the Biliner method, and FIG. 13 shows the case where the size of the low resolution image of the sample image SMP2 is 1.5 using the Bicubic method. This shows the case where the size is doubled. FIG. 14 shows a case where the size is doubled from the low-resolution image of the sample image SMP2 using the Biliner method, and FIG. 15 shows a case where the size is doubled from the low-resolution image of the sample image SMP2 using the Bicubic method. The case where it expanded is shown. Further, FIG. 16 shows the case where the size is enlarged by 2 × 2 times = 4 times from the low resolution image of the sample image SMP2 using the Biliner method, and FIG. 17 shows the low resolution image of the sample image SMP2 using the Bicubic method. This represents a case where the size is enlarged to 2 × 2 times = 4 times.
図１２〜１７に示すように、いずれの拡大率の場合においても、線形補間の方法に関わらず、サンプル画像ＳＭＰ２を低解像度とした画像を画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間した拡大画像よりも、画像の鮮鋭感が同等以上となっている。 As shown in FIGS. 12 to 17, regardless of the method of linear interpolation, an image obtained by converting the sample image SMP2 into a high resolution image by the image processing apparatus 1 is better regardless of the linear interpolation method. The sharpness of the image is equal to or greater than that of the enlarged image obtained by simple linear interpolation.
なお、本発明は、本発明の効果を奏する範囲で変形、改良等を適宜行うことができ、上述の実施形態に限定されない。
例えば、本発明は、画像処理機能を有する各種電子機器に適用することができる。具体的には、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
特に、携帯電話機やスマートフォンで撮影された小さいサイズの画像をパーソナルコンピュータやテレビジョン受像機等のより大きい画面に適したサイズに変更する場合に、本発明を用いることができる。また、いわゆる４Ｋテレビあるいは８Ｋテレビでの表示に適する高い解像度への変更にも、本発明を適用することができる。
Note that the present invention can be appropriately modified and improved within the scope of the effects of the present invention, and is not limited to the above-described embodiment.
For example, the present invention can be applied to various electronic devices having an image processing function. Specifically, the present invention can be applied to a notebook personal computer, a printer, a television receiver, a video camera, a portable navigation device, a mobile phone, a smartphone, a portable game machine, and the like.
In particular, the present invention can be used when an image of a small size photographed with a mobile phone or a smartphone is changed to a size suitable for a larger screen of a personal computer, a television receiver or the like. The present invention can also be applied to a change to a high resolution suitable for display on a so-called 4K television or 8K television.
上述の実施形態における処理は、ハードウェア及びソフトウェアのいずれにより実行させることも可能である。
即ち、上述の処理を実行できる機能が画像処理装置１に備えられていればよく、この機能を実現するためにどのような機能構成及びハードウェア構成とするかは上述の例に限定されない。
上述の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータにネットワークや記憶媒体からインストールされる。
The processing in the above-described embodiment can be executed by either hardware or software.
That is, it is only necessary that the image processing apparatus 1 has a function capable of executing the above-described processing, and what functional configuration and hardware configuration are used to realize this function is not limited to the above example.
When the above-described processing is executed by software, a program constituting the software is installed on a computer from a network or a storage medium.
プログラムを記憶する記憶媒体は、装置本体とは別に配布されるリムーバブルメディア、あるいは、装置本体に予め組み込まれた記憶媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ Ｄｉｓｃ（ブルーレイディスク）（登録商標）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた記憶媒体は、例えば、プログラムが記憶されているＲＯＭやハードディスク等で構成される。 The storage medium for storing the program is configured by a removable medium distributed separately from the apparatus main body, or a storage medium incorporated in the apparatus main body in advance. The removable medium is composed of, for example, a magnetic disk, an optical disk, a magneto-optical disk, or the like. The optical disc is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disc), a Blu-ray Disc (Blu-ray Disc) (registered trademark), and the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. Further, the storage medium incorporated in advance in the apparatus main body is constituted by, for example, a ROM or a hard disk in which a program is stored.
１ 画像処理装置、１０ 制御部、２０ ＲＡＭ、３０ ＲＯＭ、４０ 入力部、５０ 出力部、６０ 通信部、７０ ドライブ、７１ リムーバブルメディア、８０ 記憶部、１１０，２１０ 画像取得部、１２０，２３０ 補間処理部、１３０ 高周波数成分画像生成部、１４０ ショックフィルタ処理部、１５０ 高解像度画像生成部、２２０ 高周波数成分強調画像生成部 DESCRIPTION OF SYMBOLS 1 Image processing apparatus, 10 Control part, 20 RAM, 30 ROM, 40 Input part, 50 Output part, 60 Communication part, 70 Drive, 71 Removable media, 80 Storage part, 110,210 Image acquisition part, 120,230 Interpolation process , 130 high frequency component image generation unit, 140 shock filter processing unit, 150 high resolution image generation unit, 220 high frequency component enhanced image generation unit
Claims (8)
前記補間手段によって線形補間された画像の高周波数成分を抽出する高周波数成分抽出手段と、
前記高周波数成分抽出手段によって抽出された高周波数成分をショックフィルタによって鮮鋭化する高周波数成分鮮鋭化手段と、
前記補間手段によって線形補間された画像と、前記高周波数成分鮮鋭化手段によって鮮鋭化された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成手段と、
を備えることを特徴とする画像処理装置。 An interpolation means for linearly interpolating the input image;
High frequency component extraction means for extracting high frequency components of the image linearly interpolated by the interpolation means;
High-frequency component sharpening means for sharpening a high-frequency component extracted by the high-frequency component extraction means with a shock filter;
A high-resolution image generation unit that generates a high-resolution image by adding the image linearly interpolated by the interpolation unit and the high-frequency component sharpened by the high-frequency component sharpening unit;
An image processing apparatus comprising:
前記高周波数成分強調手段によって高周波数成分が強調された画像を線形補間する補間手段と、
を備えることを特徴とする画像処理装置。 High frequency component enhancing means for enhancing high frequency components of the input image;
Interpolating means for linearly interpolating the image in which the high frequency component is emphasized by the high frequency component enhancing means;
An image processing apparatus comprising:
前記補間ステップにおいて線形補間された画像の高周波数成分を抽出する高周波数成分抽出ステップと、
前記高周波数成分抽出ステップにおいて抽出された高周波数成分をショックフィルタによって鮮鋭化する高周波数成分鮮鋭化ステップと、
前記補間ステップにおいて線形補間された画像と、前記高周波数成分鮮鋭化ステップにおいて鮮鋭化された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成ステップと、
を含むことを特徴とする画像処理方法。 An interpolation step for linearly interpolating the input image;
A high frequency component extraction step for extracting a high frequency component of the image linearly interpolated in the interpolation step;
A high frequency component sharpening step of sharpening the high frequency component extracted in the high frequency component extraction step by a shock filter;
A high-resolution image generation step of generating a high-resolution image by adding the linearly interpolated image in the interpolation step and the high-frequency component sharpened in the high-frequency component sharpening step;
An image processing method comprising:
前記高周波数成分強調ステップにおいて高周波数成分が強調された画像を線形補間する補間ステップと、
を含むことを特徴とする画像処理方法。 A high frequency component enhancement step for enhancing high frequency components of the input image;
An interpolation step for linearly interpolating the image in which the high frequency component is emphasized in the high frequency component enhancement step;
An image processing method comprising:
入力された画像を線形補間する補間機能と、
前記補間機能によって線形補間された画像の高周波数成分を抽出する高周波数成分抽出機能と、
前記高周波数成分抽出機能によって抽出された高周波数成分をショックフィルタによって鮮鋭化する高周波数成分鮮鋭化機能と、
前記補間機能によって線形補間された画像と、前記高周波数成分鮮鋭化機能によって鮮鋭化された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成機能と、
を実現させることを特徴とするプログラム。 On the computer,
An interpolation function that linearly interpolates the input image;
A high frequency component extraction function for extracting a high frequency component of an image linearly interpolated by the interpolation function;
A high-frequency component sharpening function for sharpening a high-frequency component extracted by the high-frequency component extraction function with a shock filter;
A high-resolution image generation function for generating a high-resolution image by adding the image linearly interpolated by the interpolation function and the high-frequency component sharpened by the high-frequency component sharpening function;
A program characterized by realizing.
入力された画像の高周波数成分を強調する高周波数成分強調機能と、
前記高周波数成分強調機能によって高周波数成分が強調された画像を線形補間する補間機能と、
を実現させることを特徴とするプログラム。 On the computer,
High frequency component enhancement function that emphasizes the high frequency component of the input image,
An interpolation function for linearly interpolating an image in which a high frequency component is enhanced by the high frequency component enhancement function;
A program characterized by realizing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014041521A JP2015166976A (en) | 2014-03-04 | 2014-03-04 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014041521A JP2015166976A (en) | 2014-03-04 | 2014-03-04 | Image processing apparatus, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015166976A true JP2015166976A (en) | 2015-09-24 |
Family
ID=54257810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014041521A Pending JP2015166976A (en) | 2014-03-04 | 2014-03-04 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015166976A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7482253B2 (en) | 2020-08-25 | 2024-05-13 | 深▲セン▼思謀信息科技有限公司 | IMAGE PROCESSING METHOD, APPARATUS, COMPUTER DEVICE, AND STORAGE MEDIUM |
-
2014
- 2014-03-04 JP JP2014041521A patent/JP2015166976A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7482253B2 (en) | 2020-08-25 | 2024-05-13 | 深▲セン▼思謀信息科技有限公司 | IMAGE PROCESSING METHOD, APPARATUS, COMPUTER DEVICE, AND STORAGE MEDIUM |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9338331B2 (en) | Riesz pyramids for fast phase-based video magnification | |
| JP5281690B2 (en) | Image enhancement device, image enhancement method, image enhancement program, and signal processing device | |
| WO2011111819A1 (en) | Image processing device, image processing program, and method for generating images | |
| JP2011211474A (en) | Image processing apparatus and image signal processing method | |
| JP5306061B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| WO2010140281A1 (en) | Signal processing device, control method for signal processing device, control program, and computer-readable storage medium having the control program recorded therein | |
| JP2013518336A (en) | Method and system for generating an output image with increased pixel resolution from an input image | |
| JP6116291B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2012060517A (en) | Image processing apparatus and image processing method | |
| JP5460987B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5640071B2 (en) | Image enlargement apparatus, image enlargement program, storage medium storing image enlargement program, and display apparatus | |
| JP5289540B2 (en) | Image processing apparatus and image processing method | |
| JP6276596B2 (en) | Spatial super-resolution / tone interpolation device and program | |
| JP2015166976A (en) | Image processing apparatus, image processing method, and program | |
| KR20150090515A (en) | Method and apparatus for image quality enhancement using phase modulation of high frequency element | |
| JP6135937B2 (en) | Image processing method and image processing apparatus | |
| JP2011049696A (en) | Image processing device, and image processing method | |
| JP5247633B2 (en) | Image processing apparatus and method, and image display apparatus and method | |
| KR101332030B1 (en) | Method of magnifying image and computer readable medium storing the program thereof | |
| JP6575742B2 (en) | Image processing method and image processing apparatus | |
| Schiemenz et al. | Scalable high quality nonlinear up-scaler with guaranteed real time performance | |
| JP6529102B1 (en) | Image processing method and program | |
| JP5396626B1 (en) | Image enhancement device and image enhancement method | |
| JP6661434B2 (en) | Image processing device | |
| JP6887120B2 (en) | Display device |