WO2014083857A1 - 画像処理装置、及び、画像処理方法 - Google Patents

画像処理装置、及び、画像処理方法 Download PDF

Info

Publication number
WO2014083857A1
WO2014083857A1 PCT/JP2013/007001 JP2013007001W WO2014083857A1 WO 2014083857 A1 WO2014083857 A1 WO 2014083857A1 JP 2013007001 W JP2013007001 W JP 2013007001W WO 2014083857 A1 WO2014083857 A1 WO 2014083857A1
Authority
WO
WIPO (PCT)
Prior art keywords
constraint
image
regularization term
weight
reconstruction
Prior art date
Application number
PCT/JP2013/007001
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
彰彦 池谷
仙田　修司
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP13857754.9A priority Critical patent/EP2927864B1/en
Priority to JP2014549833A priority patent/JP6443050B2/ja
Priority to US14/647,531 priority patent/US9542725B2/en
Publication of WO2014083857A1 publication Critical patent/WO2014083857A1/ja
Priority to HK15111799.3A priority patent/HK1211125A1/xx

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level

Definitions

  • the present invention relates to image processing, and more particularly, to an image processing apparatus and an image processing method for increasing the resolution of an image.
  • the image (image) photographed by the photographing device has moved from the image on the film medium to digital data.
  • Digital images are easier to process than film media images. For this reason, digital data images are processed using various image processing apparatuses.
  • the super-resolution processing is processing for generating an image with a high resolution (high resolution image) based on an image with a low resolution (input image).
  • the first super-resolution technique is a reconstruction-based super-resolution technique described in Patent Document 1.
  • the resolution of an input image is reduced through a degradation process (for example, blur or low resolution).
  • the reconstruction type super-resolution technique reconstructs the degradation process for the input image and generates a high-resolution image.
  • the reconstruction type super-resolution technique can calculate a plurality of high-resolution image candidates (or solutions). Therefore, the reconstruction-type super-resolution technique uses constraint conditions in order to narrow down candidates (solutions) of the reconstructed high-resolution image.
  • Reconfigurable super-resolution technology can set multiple constraints.
  • the first constraint condition is a constraint condition based on reconstruction (hereinafter referred to as “reconstruction constraint”). More specifically, the reconstruction constraint is based on the relationship between the input image and the reconstructed high-resolution image (for example, the difference between the image obtained by degrading the high-resolution image and the input image) and the amount of reconstruction processing. This is a restriction to be determined based on this.
  • the second constraint condition is a constraint based on the appropriateness of the high resolution image itself. More specifically, this constraint is a constraint based on the regularity of the matrix of the high-resolution image (hereinafter, this constraint is referred to as “regularization term constraint”). For example, the reconstruction type super-resolution technique adds a regularization term based on Bayesian theory (prior probability: prior probability). In this case, the regularization term constraint is a constraint that is determined based on the added regularization term.
  • the reconstruction super-resolution technique narrows down the candidates (solutions) of the high-resolution image based on the reconstruction constraint and the regularization term constraint.
  • the reconstruction-type super-resolution technique may be determined so that each constraint is calculated as a cost and the total cost is minimized as an actual process.
  • the second super-resolution technique is a learning-based super-resolution technique.
  • the learning type super-resolution technique creates a dictionary in advance based on the relationship between the learning high-resolution image and the low-resolution image.
  • the learning super-resolution technique is a technique for generating a high-resolution image from an input image using the dictionary.
  • the dictionary may be referred to as prior knowledge. Therefore, it can be said that the learning-type super-resolution technique uses prior knowledge as a constraint condition of the solution.
  • the reconstruction super-resolution technology uses reconstruction constraints calculated using the input image.
  • the learning type super-resolution technique uses a dictionary created based on the relationship between the learning high-resolution image and the low-resolution image.
  • the image processing device replaces the reconstruction constraint of the reconstruction-type super-resolution technology with processing based on a dictionary of the learning-type super-resolution technology, and even if the regularization term constraint of the reconstruction-type super-resolution technology is used, An image can be generated. Therefore, in the following description, unless otherwise specified, the reconstruction-type super-resolution technique is described as a super-resolution technique including a learning-type super-resolution technique. Further, unless otherwise specified, the reconstruction constraint can be appropriately replaced with a process based on a dictionary.
  • FIG. 8 is a block diagram showing an example of the configuration of an image processing apparatus 90 that restores a general super-resolution image using the technique described in Patent Document 1.
  • the image processing apparatus 90 includes a reconstruction constraint calculation unit 910, a regularization term calculation unit 920, and an image restoration unit 930.
  • the reconfiguration constraint calculation unit 910 calculates a reconfiguration constraint, that is, a reconfiguration cost.
  • the regularization term calculation unit 920 calculates a constraint based on regularization (regularization term constraint), that is, a cost based on regularization.
  • the regularization term calculation unit 920 of the image processing apparatus 90 using the super-resolution technique described in Patent Document 1 uses, for example, TV (Total Variation) as regularization (for example, see Non-Patent Document 1).
  • TV is a method of regularizing so that the sum of absolute values of pixel value differences between adjacent pixels is minimized.
  • the regularization term calculation unit 920 may use BTV (Bilateral Total Variation) (for example, see Non-Patent Document 2).
  • BTV is a method of regularizing so that the sum of absolute values of pixel value differences between neighboring pixels is minimized, not limited to adjacent pixels.
  • the BTV calculates the sum after multiplying the absolute value of the difference by a reduction coefficient based on the pixel position.
  • the image restoration unit 930 generates (restores) a super-resolution image that minimizes the sum of the reconstruction cost and the regularization cost as the restored image.
  • the image processing apparatus 90 using a general super-resolution technique restores a high-resolution image with an increased resolution in consideration of the reconstruction constraint and the regularization term constraint.
  • the area included in the image can be classified into a plurality of types based on the feature of the pixel value.
  • One of the classified areas is a texture area.
  • the texture region is a region characterized in that a characteristic value of a predetermined pixel (for example, luminance gradation) is greatly different between adjacent or neighboring pixels. In such a texture region, it is desirable to store feature values (for example, gradation).
  • regularization based on TV or BTV used by the image processing apparatus 90 averages (flattenes) feature values even for regions where feature values such as texture regions are to be stored. As a result, in the texture region, the feature value is flattened (for example, the luminance gradation is lowered).
  • Patent Document 1 has a problem in that the feature value is flattened (for example, the gradation is reduced) in the region where the feature value (feature value) of the pixel is desired to remain.
  • An object of the present invention is to solve the above-described problems and to provide an image processing apparatus and an image processing method for reducing flattening of an area where a pixel feature value is desired to be preserved in restoration of a super-resolution image.
  • the image processing apparatus determines a region for storing the feature amount of the input image based on a gradient of the feature amount of the pixel of the input image and a direction of the gradient, and stores the feature amount.
  • Weight calculation means for calculating a weight for reducing regularization term constraints, which are constraints based on regularization of image processing, and regularization term constraints for a high-resolution image restored based on the input image using the weights
  • the reconstruction constraint calculation means for calculating the reconstruction constraint that is a constraint based on the reconstruction of the high-resolution image, the regularization term constraint, and the reconstruction constraint Image restoration means for restoring the high resolution image from the input image.
  • An image processing method determines a region for storing a feature amount of the input image based on a gradient of a feature amount of a pixel of the input image and a direction of the gradient, and stores the feature amount.
  • a recording medium that records a computer-readable program determines a region for storing a feature amount of the input image based on a gradient of the feature amount of a pixel of the input image and a direction of the gradient, A process for calculating a weight for reducing a regularization term constraint, which is a constraint based on regularization of image processing in the region for storing the feature quantity, and a high-resolution image restored based on the input image using the weight
  • a program for causing a computer to execute processing for restoring the high-resolution image from the computer is stored.
  • the present invention in the restoration of a super-resolution image, it is possible to reduce gradation reduction in an area where it is desired to leave a gradation.
  • FIG. 1 is a block diagram showing an example of the configuration of the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a diagram for explaining an edge region.
  • FIG. 3 is a diagram for explaining the texture region.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the weight calculation unit according to the first embodiment.
  • FIG. 5 is a block diagram illustrating an example of another configuration of the image processing apparatus according to the first embodiment.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the image processing apparatus according to the second embodiment.
  • FIG. 7 is a block diagram illustrating an example of the configuration of the image processing apparatus according to the third embodiment.
  • FIG. 8 is a block diagram illustrating an example of a configuration of a general image processing apparatus.
  • FIG. 1 is a block diagram showing an example of the configuration of the image processing apparatus 10 according to the first embodiment of the present invention.
  • the image processing apparatus 10 includes a reconstruction constraint calculation unit 20, a regularization term calculation unit 30, an image restoration unit 40, and a weight calculation unit 50.
  • the reconfiguration constraint calculation unit 20 calculates a value (reconfiguration constraint) indicating a constraint state based on the reconfiguration.
  • the reconfiguration constraint calculation unit 20 of the present embodiment is not particularly limited as a value to be calculated (reconfiguration constraint).
  • the reconstruction constraint calculation unit 20 may calculate a constraint as a reconstruction constraint so that the value (cost) increases when the constraint based on the reconstruction increases.
  • the reconstruction constraint calculation unit 20 may calculate the value (cost) of the reconstruction constraint using Equation 1 below. good.
  • the matrix D is a downsampling matrix
  • the matrix B is a blurred matrix
  • the matrix X is a matrix of an input image
  • the matrix Y is a matrix of a super-resolution image (restored image).
  • DBX is the product of the matrices D, B and X.
  • the reconstruction constraint calculation unit 20 may calculate a constraint as a reconstruction constraint so that the value becomes smaller when the constraint based on the reconstruction becomes smaller.
  • the regularization term calculation unit 30 calculates a value (regularization term constraint) indicating a constraint state based on regularization in consideration of the weight calculated by the weight calculation unit 50 described later.
  • the regularization term calculation unit 30 is not particularly limited as a value to be calculated (regularization term constraint).
  • the regularization term calculation unit 30 may calculate the constraint as a regularization term constraint so that the value decreases when the constraint is large.
  • the regularization term calculation unit 30 may calculate the constraint so that the value becomes larger when the constraint becomes smaller as the regularization term constraint.
  • the reconfiguration constraint calculation unit 20 and the regularization term calculation unit 30 of the present embodiment are not particularly limited in values to be calculated.
  • each constraint will be described assuming that the value of each constraint increases when the constraint is large.
  • the image processing apparatus 10 may replace the determination of the value in the following description.
  • the image restoration unit 40 as a restored image, super-resolution that minimizes the sum (total cost) of the reconstruction constraint calculated by the reconstruction constraint calculation unit 20 and the regularization term constraint calculated by the regularization term calculation unit 30. Select (restore) an image.
  • the image restoration unit 40 may select (restore) an image that minimizes the following Equation 2 as the super-resolution image.
  • the first term of Formula 2 is the reconstruction constraint shown in Formula 1.
  • the second term is a regularization term constraint.
  • the image processing apparatus 10 repeats the operation described above until the total cost of the reconstruction constraint and the regularization term constraint is minimized in the restored image of the image restoration unit 40 or a predetermined number of times.
  • the weight calculation unit 50 determines a region (for example, a texture region, which will be described below using a texture region as an example) that is characterized by a difference (for example, a gradation difference) between adjacent or neighboring pixels. Then, the weight calculation unit 50 calculates a weight such that a difference between pixels in the texture region remains, and sends the weight to the regularization term calculation unit 30.
  • a region for example, a texture region, which will be described below using a texture region as an example
  • a difference for example, a gradation difference
  • the regularization term calculation unit 30 calculates a regularization term based on this weight.
  • the weight calculation unit 50 determines a region in which the feature amount is stored, and calculates a weight for reducing the regularization term constraint in the region.
  • the weight calculation unit 50 may reduce the constraint value in the texture region. Calculate the weight.
  • the regularization term calculation unit 30 calculates a regularization term constraint (cost) in which a difference between pixels in the texture region is evaluated lower than a difference between pixels in other regions. That is, the regularization term calculation unit 30 calculates the regularization term constraint using a weight that is less affected by the difference between pixels in the texture region with respect to the regularization term constraint.
  • the image processing apparatus 10 can restore an image in which a decrease (lower gradation) in a difference (for example, gradation) between pixels in the texture region is suppressed.
  • the weight calculation unit 50 calculates the weight so that the constraint value becomes large in the texture region. Also good. Alternatively, the weight calculation unit 50 may calculate the weight in the same manner, and the regularization term calculation unit 30 may change the calculation method using the weight (for example, the product is inverted by sign inversion).
  • the weight calculation unit 50 determines the texture area based on the feature value of the pixel in the texture area.
  • the feature value of the pixel in the texture area is not particularly limited.
  • the characteristic value of a pixel can be assumed to be a gradation of luminance and luminous intensity, a difference in color (hue), a difference in chroma (chroma), and the like.
  • luminance as an example of the feature amount.
  • FIG. 2 is a diagram for explaining an edge region including an end (edge).
  • the edge region has a clear boundary (for example, a white and black boundary), and the boundary is generally in one direction.
  • the edge region has a large amount of luminance gradient, and the luminance gradient direction is substantially uniform.
  • the arrows of ⁇ 1 and ⁇ 2 shown in FIG. 2 are the main components of the luminance gradient (provided that ⁇ 1 ⁇ ⁇ 2 ). That is, the edge region has a large amount of luminance gradient, and thus “ ⁇ 1 > ⁇ 2 ”.
  • the brightness gradient direction is aligned in the edge region.
  • FIG. 3 is a diagram for explaining the texture region.
  • ⁇ in FIG. 3 is the same as ⁇ in FIG. 2
  • the texture region has a large amount of luminance gradient, but the direction of the luminance gradient is not uniform.
  • the texture region has a large luminance gradient amount.
  • the luminance gradient direction is not uniform in the texture region ( ⁇ 1 ⁇ 2 ).
  • the texture area includes a forested forest area, an indoor carpet area, and a hair area on the head.
  • the texture region is not limited to these. What kind of texture area is an area characterized by a feature value of a predetermined pixel (for example, luminance gradation) greatly different between adjacent or neighboring pixels in an image? It may be a simple area.
  • the texture region of the present embodiment includes various regions including the above.
  • the brightness gradient amount is small in the flat area.
  • the luminance gradient direction may or may not be aligned. Note that there is no difference in luminance gradient components in a flat region, and the luminance gradient direction may not be obtained.
  • the weight calculation unit 50 of the present embodiment detects a texture region based on the characteristics of each region described above, and calculates the weight of the detected texture region.
  • FIG. 4 is a block diagram showing an example of the configuration of the weight calculation unit 50 of the present embodiment.
  • the weight calculation unit 50 includes a gradient calculation unit 510, a direction calculation unit 520, and a weight data calculation unit 530.
  • the gradient calculation unit 510 calculates a luminance gradient amount.
  • the weight calculation unit 50 determines a flat region and other regions (edge region and texture region) based on the luminance gradient amount.
  • the gradient calculation unit 510 of the present embodiment is not particularly limited as a method for calculating the luminance gradient amount, and various methods can be used.
  • the gradient calculation unit 510 may calculate the luminance gradient amount as follows.
  • the gradient calculation unit 510 calculates horizontal and vertical components (l x , ly ) of the luminance gradient amount of the entire image. Then, the gradient calculation unit 510 calculates a component of the luminance gradient amount using, for example, a Sobel filter (Sobel Filter).
  • Sobel Filter Sobel Filter
  • the gradient calculation unit 510 calculates a matrix (matrix I) whose diagonal component is the sum of squares of the components (l x , l y ) of the luminance gradient amount.
  • the flat region has a small amount of luminance gradient, and the other regions (edge region and texture region) have a large amount of luminance gradient.
  • the weight data calculation unit 530 which will be described later, can compare the sum of squares (diagonal component of the matrix I) with a predetermined threshold value to discriminate between a flat region and other regions (edge region and texture region).
  • the gradient calculation unit 510 may store the sum of squares as a determination result.
  • the gradient calculation unit 510 is not limited to the above, and the calculation result may be stored as storage information suitable for later processing.
  • the gradient calculation unit 510 may store the determination result as a mask indicating a flat region.
  • the gradient calculation unit 510 may create and store a mask (mask matrix M) in which a value “1” is set in a flat region and “0” is set in other regions.
  • the direction calculation unit 520 calculates a luminance gradient direction amount. Then, the direction calculation unit 520 determines a texture region and an edge region based on the luminance gradient direction amount.
  • the edge area has the same direction of brightness gradient.
  • the brightness gradient direction is not aligned in the texture area.
  • the direction calculation unit 520 operates as follows, for example.
  • the direction calculation unit 520 calculates a pixel whose coordinates (x, y) satisfy the following Expression 3 as a straight pixel (edge).
  • x and y are the horizontal and vertical coordinates of the pixel, respectively.
  • Each variable is as follows.
  • I x and I y luminance gradient components in the horizontal and vertical directions t 1 and t 2 : predetermined threshold values ⁇ 1 and ⁇ 2 : eigenvalues of the matrix A represented by the following equation 4, where ⁇ 1 > ⁇ 2 [Equation 4]
  • R is a region including the pixel and neighboring pixels.
  • the neighborhood is a predetermined range. For example, it is a range of three pixels in the front, rear, left, and right.
  • the direction calculation unit 520 calculates the matrix J using the eigenvalues of the matrix A of the pixels satisfying Equation 3 as the degree to which the luminance gradient directions are aligned.
  • the matrix J is a diagonal matrix.
  • the diagonal component of the matrix J is a value calculated using the eigenvalue of the matrix A of each pixel that is satisfied by Equation 3.
  • the diagonal component J i corresponding to the i-th pixel is expressed by the following Equation 5, where eigenvalues of the pixel (pixel i) are ⁇ i1 and ⁇ i2 .
  • J 0 is stepped shape generated in the super-resolution image: Occurrence of (jaggy Jaggy), is a parameter determined in advance. Jaggy generated in the super-resolution image, as the value of J 0 is large, generation is suppressed.
  • the image processing apparatus 10 in advance it is sufficient to store the J 0, there is no particular limitation on how to obtain J 0.
  • the image processing apparatus 10 may read the J 0 from a database to save the unillustrated parameter may receive an input of J 0 from the user.
  • ⁇ 0 is a predetermined constant.
  • ⁇ a is a sigmoid function expressed by Expression 6 below.
  • the weight data calculation unit 530 which will be described later, can determine the texture region and the edge region based on the matrix J calculated by the direction calculation unit 520.
  • the weight data calculation unit 530 uses the regularization term based on the calculation result (luminance gradient amount) of the gradient calculation unit 510 and the calculation result of the direction calculation unit 520 (the degree to which the luminance gradient direction is aligned (matrix J)). The weight used by the calculation unit 30 is calculated. More specifically, the weight data calculation unit 530 determines a region including an edge region and a texture region based on the calculation result (luminance gradient amount) of the gradient calculation unit 510. Then, the weight data calculation unit 530 determines a texture region from the determined region using the result of the direction calculation unit 520. Then, the weight data calculation unit 530 calculates a weight obtained by reducing the weight of the determined texture region.
  • the weight data calculation unit 530 transmits the calculated weight to the regularization term calculation unit 30.
  • weight data calculation unit 530 does not have to limit the format of the weight data as long as the regularization term calculation unit 30 can use the weight.
  • the weight data calculation unit 530 may transmit weights as vector data or matrix data.
  • the weight data calculation unit 530 uses the calculation results of the gradient calculation unit 510 and the direction calculation unit 520 to calculate the weight represented by the following Expression 7.
  • ⁇ is a vector
  • diag ( ⁇ ) is a diagonal matrix (hereinafter referred to as “weight” or “weight matrix”) in which the components of the vector ⁇ are arranged in a diagonal component.
  • ⁇ and ⁇ are predetermined constants.
  • the matrix I and the matrix M are mask matrices calculated from the unit matrix and the square sum matrix calculated by the gradient calculation unit 510.
  • the matrix J is a calculation result indicating the degree to which the luminance gradients calculated by the direction calculation unit 520 are aligned.
  • the weight data calculation unit 530 transmits the calculated weight to the regularization term calculation unit 30.
  • the regularization term calculation unit 30 that has received this weight calculates a regularization term constraint using the weight.
  • the regularization term calculation unit 30 uses the regularization term constraint R (X) shown in the following Equation 8.
  • the matrix X is an input image.
  • the matrix S is a matrix indicating parallel movement.
  • the subscript of S indicates the direction and the number of pixels that the superscript moves.
  • S l x is a matrix that translates l pixels in the x direction.
  • the constraint R (X) of the regularization term calculation unit 30 is not limited to Equation 8.
  • the regularization term calculation unit 30 may use the constraint R (X) shown in the following formula 9 instead of the formula 8.
  • p and q are parameters determined by the user.
  • each configuration of the image processing apparatus 10 has been described as sending data to the next configuration.
  • the image processing apparatus 10 need not be limited to this configuration.
  • the image processing apparatus 10 may include a storage unit (not shown), and each configuration may store a result in the storage unit and retrieve necessary data from the storage unit.
  • ⁇ and ⁇ are set as predetermined constants, and p and q are set as predetermined parameters.
  • the present embodiment is not limited to this.
  • the image processing apparatus 10 may determine ⁇ , ⁇ , p, and q based on a predetermined method (for example, regression analysis) in advance for each pixel or for each region.
  • the image processing apparatus 10 artificially generates a learning high resolution image (hereinafter referred to as “X H ”) prepared in advance and the high resolution image (X H ).
  • X H learning high resolution image
  • ⁇ , ⁇ , p, and q may be obtained based on the generated low-resolution image (hereinafter referred to as “Y L ”).
  • the image processing apparatus 10 uses ⁇ , ⁇ , and so on so that the function R (X H ) expressed by Equation 9 is minimized for each pixel or region of the plurality of high resolution images (X H ) for learning. Find the set of p and q. Then, the image processing apparatus 10 calculates a function for calculating ⁇ , ⁇ , p, and q from the value of the low resolution image (Y L ) generated from the high resolution image (X H ) for each pixel or each region. What is necessary is just to obtain
  • the function of the image processing apparatus 10 is, for example, various J L calculated by applying Formula 5 to the low resolution image (Y L ), and ⁇ , ⁇ , p, and J corresponding to J L. Based on q, ⁇ , ⁇ , p, and q functions with J L as an argument are calculated. (Hereinafter, the respective functions are referred to as ⁇ L (J L ), ⁇ L (J L ), p L (J L ), and q L (J L )) or more directly, the image processing apparatus 10. Holds various J L and corresponding ⁇ , ⁇ , p, and q on the lookup table, and refers to the lookup table to determine the values of these ( ⁇ , ⁇ , p, and q). You may ask.
  • the image processing apparatus 10 also calculates J L using Equation 5 for the low-resolution input image (Y L ) that is the target of super-resolution imaging. Then, the image processing apparatus 10, based on the calculated J L, the above function ( ⁇ L (J L), ⁇ L (J L), p L (J L), and q L (J L)) Alternatively, ⁇ , ⁇ , p, and q may be calculated using a lookup table.
  • the calculation method of ⁇ , ⁇ , p, and q of the image processing apparatus 10 is not limited to this.
  • the image processing apparatus 10 may use the following method.
  • the image processing apparatus 10 has the minimum J H calculated by applying Formula 5 to the high resolution image (X H ) and the function R (X H ) expressed by Formula 9 in advance for each pixel or area. A set of ⁇ , ⁇ , p, and q is calculated. Then, the image processing apparatus 10 calculates the relationship between J H and ⁇ , ⁇ , p, and q based on a predetermined method (for example, regression analysis) in the same manner as described above.
  • a predetermined method for example, regression analysis
  • the image processing apparatus 10 calculates J L by applying Equation 5 to the input low resolution image (Y L ). Thereafter, the image processing apparatus 10 uses the above-described functions ( ⁇ L (J L ), ⁇ L (J L ), p L (J L ), and q L (J L )) or a look-up table to determine ⁇ , ⁇ , p, and q are provisionally calculated. Then, the image processing apparatus 10 generates a super-resolution image (hereinafter referred to as “X SR ”) using these ( ⁇ , ⁇ , p, and q).
  • X SR super-resolution image
  • the image processing apparatus 10 calculates JSR by applying Equation 5 to the super-resolution image (X SR ).
  • the image processing apparatus 10 determines that ⁇ is based on JSR and the above functions ( ⁇ H (J H ), ⁇ H (J H ), p H (J H ), and q H (J H )). , ⁇ , p, and q are calculated again. Then, the image processing apparatus 10 updates the super-resolution image (X SR ) using the calculated ⁇ , ⁇ , p, and q.
  • the image processing apparatus 10 repeats the above processing until there is no change in the values of ⁇ , ⁇ , p, and q from the super-resolution image (X SR ), or the changes are within a predetermined range. As described above, the image processing apparatus 10 updates the super-resolution image (X SR ).
  • the image processing apparatus 10 may calculate ⁇ , ⁇ , p, and q as follows.
  • the image processing apparatus 10 applies Formula 5 to J L calculated by applying Formula 5 to the input low-resolution image (Y L ) or Super-resolution image (X SR ). using the J SR which is calculated by, alpha, beta, were calculated p, and q. However, the image processing apparatus 10 may calculate ⁇ , ⁇ , p, and q using both J L and J SR .
  • the image processing apparatus 10 in advance, for each pixel or for each region, and J H calculated by applying the formula 5 in the high resolution image (X H), low generated from the high resolution image (X H) J L calculated by applying Formula 5 to the resolution image (Y L ) is calculated. Furthermore, the image processing apparatus 10 calculates ⁇ , ⁇ , p, and q that minimize the function R (X H ) expressed by Equation 9.
  • the image processing apparatus 10 uses J L and J H and ⁇ , ⁇ , p, and q corresponding to each of them in a predetermined method (for example, regression analysis), and uses J L and J H as arguments.
  • a predetermined method for example, regression analysis
  • J L and J H uses J L and J H as arguments.
  • ⁇ LH (J L , J H ) ⁇ LH (J L , J H ), ⁇ LH (J L , J H ), p LH (J L , J H ), and q LH (J L , J H )
  • the image processing apparatus 10 holds the relationship between “ ⁇ , ⁇ , p, and q” and “J L and J H ” as a lookup table.
  • the image processing apparatus 10 obtains J L and J SR based on the super-resolution image (X SR ) and the input image (Y L ) generated using the same method as described above. Then, the image processing apparatus 10 calculates ⁇ , ⁇ , p, and q based on J L and J SR . Then, the image processing apparatus 10 updates the super-resolution image (X SR ) based on the calculated ⁇ , ⁇ , p, and q. Then, the image processing apparatus 10 calculates J L and J SR based on the updated super-resolution image (X SR ) and the input image (Y L ).
  • the image processing apparatus 10 then calculates ⁇ LH (J L , J H ), ⁇ LH (J L , J H ), p LH (J L , J H ), based on the calculated J L and J SR . And q LH (J L , J H ) are used to update ⁇ , ⁇ , p and q.
  • the image processing apparatus 10 repeats this process until the values of the super-resolution image (X SR ), ⁇ , ⁇ , p, and q do not change or the value changes fall within a predetermined range.
  • the image processing apparatus 10 can obtain the effect of reducing the gradation reduction of the texture region where the gradation is desired to be retained in the restoration of the high resolution image.
  • the weight calculation unit 50 of the image processing apparatus 10 determines the texture region based on the magnitude of the luminance gradient amount and the degree to which the luminance gradient amount is uniform. Then, the weight calculation unit 50 calculates the weight so that the difference between pixels is large and the calculation result of the regularization term (regularization term constraint) is low for the determined texture region. And the regularization term calculation part 30 calculates a regularization term using the weight. Therefore, the image restoration unit 40 can select (restore) a restored image that does not reduce the gradation of the texture region.
  • the configuration of the image processing apparatus 10 is not limited to the above description.
  • the image processing apparatus 10 may include a storage unit (not shown) that has already been described.
  • the image processing apparatus 10 may divide each configuration into a plurality of configurations.
  • the weight calculation unit 50 may divide the direction calculation unit 520 into a matrix A calculation unit, an eigenvalue calculation unit, and a matrix J calculation unit.
  • the image processing apparatus 10 may have a plurality of configurations as one configuration.
  • the weight calculation unit 50 and the regularization term calculation unit 30 may have one configuration.
  • the image processing apparatus 10 of the present embodiment may be realized as a computer including a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory). Further, the image processing apparatus 10 includes an IO (Input / Output Unit) and a NIC (Network Interface Circuit or Network interface Card), and may be connected to other devices or devices.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the image processing apparatus 10 includes an IO (Input / Output Unit) and a NIC (Network Interface Circuit or Network interface Card), and may be connected to other devices or devices.
  • IO Input / Output Unit
  • NIC Network Interface Circuit or Network interface Card
  • FIG. 5 is a block diagram showing an example of the configuration of the image processing apparatus 18 which is another configuration of the present embodiment.
  • the image processing device 18 includes a CPU 810, a ROM 820, a RAM 830, an internal storage device 840, an IO 850, an input device 860, a display device 870, and a NIC 880, and constitutes a computer.
  • CPU 810 reads the program from ROM 820 or internal storage device 840. Then, based on the read program, the CPU 810 performs the reconstruction constraint calculation unit 20, the regularization term calculation unit 30, the image restoration unit 40, and the weight calculation unit 50 of the image processing apparatus 10 illustrated in FIG. Realize the function.
  • the CPU 810 uses the RAM 830 or the internal storage device 840 as temporary storage when realizing each function.
  • the CPU 810 receives input data from the input device 860 via the IO 850 and outputs the data to the display device 870.
  • the CPU 810 may operate by reading a program included in the storage medium 890 storing the program so as to be readable by a computer into the RAM 830 using a storage medium reading device (not shown). As described above, the CPU 810 may use a non-transitory memory such as the ROM 810 or the storage medium 890, or may use a volatile memory such as the RAM 830.
  • the CPU 810 may receive a program from an external device (not shown) via the NIC 880.
  • ROM 820 stores a program executed by CPU 810 and fixed data.
  • the ROM 820 is, for example, a P-ROM (Programmable-ROM) or a flash ROM.
  • the RAM 830 temporarily stores programs and data executed by the CPU 810.
  • the RAM 830 is, for example, a D-RAM (Dynamic-RAM).
  • the internal storage device 840 stores data and programs that the image processing device 18 stores for a long time. Further, the internal storage device 840 may operate as a temporary storage device for the CPU 810.
  • the internal storage device 840 is, for example, a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), or a disk array device.
  • the IO 850 mediates data between the CPU 810, the input device 860, and the display device 870.
  • the IO850 is, for example, an IO interface card or a USB (Universal Serial Bus) card.
  • the input device 860 is an input unit that receives an input instruction from an operator of the image processing apparatus 18.
  • the input device 860 is, for example, a keyboard, a mouse, or a touch panel.
  • the display device 870 is a display unit of the image processing apparatus 18.
  • the display device 870 is a liquid crystal display, for example.
  • the NIC 880 relays exchange of data (images) with other devices (for example, a device that transmits an input image (not shown) and a device that receives a restored image) via a network.
  • the NIC 880 is, for example, a LAN (Local Area Network) card.
  • the image processing apparatus 18 configured as described above can obtain the same effects as the image processing apparatus 10.
  • the edges included in the edge region are often smooth. However, the edge may be stepped (jaggy).
  • the determination of whether an edge is smooth or jaggy requires reference to a plurality of pixels. However, since TV and BTV use differences between individual pixels, it is impossible to distinguish whether the edge is smooth or jaggy. Therefore, the technique described in Patent Document 1 has a problem that jaggy noise is generated in an edge region including a smooth edge.
  • the image processing apparatus 11 suppresses the occurrence of jaggy noise in the edge region.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the image processing apparatus 11 according to the second embodiment.
  • the image processing apparatus 11 includes a reconstruction constraint calculation unit 20, a regularization term calculation unit 30, an image restoration unit 41, a weight calculation unit 51, and a direction constraint calculation unit 60.
  • the image processing apparatus 11 of the present embodiment may be realized by a computer including the CPU 810, the ROM 820, and the RAM 830 shown in FIG. 5.
  • the weight calculation unit 51 operates in the same manner as the weight calculation unit 50 of the first embodiment, except that the calculated weight is sent to the regularization term calculation unit 30 and is also sent to the direction constraint calculation unit 60. Therefore, detailed description other than this is omitted.
  • the direction constraint calculation unit 60 smoothes the pixel value in the edge direction for a region where the direction (edge direction) orthogonal to the maximum luminance gradient direction is aligned, such as an edge included in the edge region. Constraint (direction constraint) is calculated.
  • the direction constraint calculation unit 60 may use a differential value in the edge direction as a value indicating the smoothness used for calculating the direction constraint.
  • the direction constraint calculation unit 60 may calculate the direction constraint as follows.
  • the direction constraint calculation unit 60 imposes a small penalty on a region where the change in the differential value is small as a region where the edge direction is smooth (reducing the direction constraint). On the other hand, the direction constraint calculation unit 60 imposes a large penalty on a region where the change in the differential value is large as a region where the edge direction is not smooth (increases the direction constraint).
  • the direction constraint calculation part 60 should just calculate the direction constraint represented by the following Numerical formula 10, for example.
  • Equation 11 the matrix L n is a differentiation along the edge direction represented by the following equation (Equation 11).
  • ⁇ is an angle between the horizontal direction (x-axis) and the edge direction.
  • the image restoration unit 41 restores the image in consideration of the direction constraint calculated by the direction constraint calculation unit 60 in addition to the reconstruction constraint and the regularization term constraint.
  • the image restoration unit 41 selects (restores) an image that minimizes the following Expression 12.
  • Equation 12 The third term of Equation 12 is a direction constraint.
  • the first and second terms are the same as in Equation 2.
  • the image processing apparatus 11 can obtain an effect of suppressing the occurrence of jaggy noise in the edge region.
  • the direction constraint calculation unit 60 of the image processing apparatus 11 calculates a direction constraint that applies a penalty larger than the smooth region to the region that is not smooth in the edge direction. This is because the image restoration unit 41 restores an image in consideration of the direction constraint, and thus can restore an image that leaves a region with a smooth edge direction.
  • the image processing apparatus 12 according to the third embodiment can reduce the processing time.
  • FIG. 7 is a block diagram illustrating an example of the configuration of the image processing apparatus 12 according to the third embodiment.
  • the image processing apparatus 12 includes a reconstruction constraint calculation unit 20, a regularization term calculation unit 31, an image restoration unit 40, a weight calculation unit 50, and a reference pixel pruning unit 70.
  • image processing device 12 of the third embodiment may include the direction constraint calculation unit 60 of the second embodiment.
  • the image processing apparatus 12 of the present embodiment may be realized by a computer including the CPU 810, the ROM 820, and the RAM 830 shown in FIG. 5.
  • the reconstruction constraint calculation unit 20 the image restoration unit 40, and the weight calculation unit 50 are the same as those of the image processing apparatus 10 of the first embodiment, detailed description thereof is omitted.
  • the reference pixel pruning unit 70 performs processing so that a part of the weight calculated by the weight calculation unit 50 is not used for calculation of the regularization term constraint in the regularization term calculation unit 31. This process is hereinafter referred to as “pruning”.
  • the regularization term calculation unit 31 calculates a regularization term using the weights pruned by the reference pixel pruning unit 70. Therefore, the regularization term calculation unit 31 can reduce the number of pixels used for calculation of the regularization term.
  • the pruning process of the reference pixel pruning unit 70 of the present embodiment is not particularly limited.
  • the reference pixel pruning unit 70 may include a mask corresponding to a predetermined pixel and apply the mask to the weight.
  • the regularization term calculation unit 31 does not calculate the regularization term constraint for the pixel corresponding to the masked weight.
  • the reference pixel pruning unit 70 may randomly select a weight component and set the value of the component to “0”. For example, when the weight calculation unit 50 calculates the weight shown in Equation 7, the reference pixel pruning unit 70 randomly selects a component of the vector ⁇ or the weight matrix (diag ( ⁇ )), The value may be “0”.
  • the regularization term calculation unit 31 does not calculate the difference between the components having the value “0”.
  • the regularization term calculation unit 30 reduces the difference calculation process based on the result of the reference pixel pruning unit 70.
  • the reference pixel pruning unit 70 may notify the regularization term calculation unit 31 of pruning information (for example, a flag) as information different from the weight without operating the weight.
  • the regularization term calculation unit 31 receives the weight from the weight calculation unit 50 and calculates the regularization term constraint based on the pruning information from the reference pixel pruning unit 70 as in the first embodiment. What is necessary is just to reduce the pixel to perform.
  • the image processing apparatus 12 can obtain an effect of reducing the processing time.
  • the reference pixel pruning unit 70 of the image processing device 12 sets a reduction of pixels for which no difference is calculated. As a result, the regularization term calculation unit 31 can reduce the difference calculation process.
  • saves the feature-value of the said input image is determined based on the gradient of the feature-value of the pixel of an input image, and the direction of the said gradient, and regularization of the image processing in the area
  • An image processing apparatus including image restoration means for restoring an image.
  • the weight calculation means includes a gradient calculation means for calculating the gradient of the feature amount of the pixel of the input image, a direction calculation means for calculating the degree of alignment of the gradient direction of the feature amount, and the gradient And weight data calculating means for calculating the weight based on the degree of alignment of the directions.
  • the weight data calculation means calculates the weight reduced by the predetermined value in a region where the magnitude of the gradient is larger than a predetermined value and the degree of alignment of the gradient is smaller than the predetermined value.
  • the said regularization term calculation means is based on the high resolution image for learning, the low resolution image artificially generated from the high resolution image, and the weight calculated from the weight calculation means. 4.
  • the image processing apparatus according to any one of appendix 1 to appendix 3, wherein a constant necessary for expressing the regularization term is calculated.
  • the regularization term calculation means includes a high-resolution image for learning, a low-resolution image artificially generated from the high-resolution image, a super-resolution image temporarily generated,
  • the image processing apparatus according to any one of appendix 1 to appendix 4, wherein a constant necessary for expressing the regularization term is calculated by repetition processing from the weight calculated by the weight calculation means. .
  • limiting and regularization are included including the direction restriction
  • the image processing apparatus according to any one of appendices 1 to 5, wherein the image is restored using the direction constraint in addition to the term constraint.
  • supplementary note 7 In any one of supplementary notes 1 to 6, further comprising reference pixel pruning means for restricting a part of the pixels from being used in the calculation of the regularization term constraint of the regularization term calculation means.
  • Image processing device In any one of supplementary notes 1 to 6, further comprising reference pixel pruning means for restricting a part of the pixels from being used in the calculation of the regularization term constraint of the regularization term calculation means.
  • Appendix 8 The image processing apparatus according to appendix 7, wherein the reference pixel pruning unit deletes a part of the weight calculated by the weight calculation unit.
  • saves the feature-value of the said input image based on the gradient of the feature-value of the pixel of the input image and the said gradient is determined, and the image processing in the area
  • the weight which reduced the said predetermined value is calculated in the area
  • saves the feature-value of the said input image based on the gradient of the feature-value of the pixel of the input image and the said gradient is determined, and the image processing in the area
  • a computer-readable recording medium storing a program to be executed.
  • a high-resolution image for learning, a low-resolution image artificially generated from the high-resolution image, a super-resolution image temporarily generated, and the weight calculated by the weight calculation unit A computer-readable recording medium storing the program according to any one of appendix 17 to appendix 20, which causes a computer to execute a process of calculating a constant necessary for expressing the regularization term by an iterative process .
  • Supplementary Note 17 to Supplementary Note 21 that causes a computer to execute processing for restoring an image is a computer-readable recording medium recording the program according to Item 1.
  • weight calculation means for calculating a weight for reducing a regularization term constraint that is a constraint based on regularization of image processing, and the texture area uses the weight.
  • the regularization term calculation means for calculating the regularization term constraint without using the weight, the regularization term constraint, and the reconstruction that is a constraint based on the reconstruction of the high-resolution image
  • An image processing apparatus comprising: a constraint; and an image restoration unit that restores a high-resolution image based on the constraint.
  • a weight for reducing the regularization term constraint which is a constraint based on regularization of image processing, is calculated, the weight is used in the texture region, and the region other than the texture region is used. Calculate the regularization term constraint without using the weight, and based on the regularization term constraint and a reconstruction constraint that is a constraint based on reconstruction of the high-resolution image Image processing method to restore.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

　超解像画像の復元において、階調を残したい領域の低階調化を低減する。　本発明の画像処理装置は、入力画像の画素の特徴量の勾配と勾配の方向とを基に入力画像の特徴量を保存する領域を判定し、特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する重み算出手段と、重みを用いて入力画像を基に復元される高解像画像の正則化項制約を算出する正則化項算出手段と、高解像画像の再構成に基づく制約である再構成制約を算出する再構成制約算出手段と、正則化項制約と再構成制約とを基に入力画像から高解像画像を復元する画像復元手段とを含む。

Description

画像処理装置、及び、画像処理方法
　本発明は、画像処理に関し、特に、画像の解像度を高くする画像処理装置及び画像処理方法に関する。
　撮影装置が撮影する画像（image）は、フィルム媒体の画像から、デジタルデータに移っている。
　デジタルデータの画像は、フィルム媒体の画像に比べ、加工処理が容易である。そのため、デジタルデータの画像は、いろいろな画像処理装置を用いて、加工処理が実施されている。
　このような加工処理の１つとして、超解像（super resolution）処理が知られている(例えば、特許文献１を参照)。
　超解像処理は、解像度が低い画像（入力画像）を基に、解像度の高い画像（高解像画像）を生成する処理である。
　超解像技術は、次のような技術がある。
　１つ目の超解像技術は、特許文献１に記載の再構成型超解像（reconstruction based super resolution）技術である。
　一般的に、入力画像は、劣化過程（deteriorate process、例えば、ボケ（blur）や低解像度化）を経由して解像度（resolution）が低下している。
　そこで、再構成型超解像技術は、入力画像に対して、劣化過程を再構成し、高解像画像を生成する。
　ただし、劣化過程として、複数の種類の過程が、想定可能である。そのため、再構成型超解像技術は、複数の高解像画像の候補（candidate）（又は、解（solution））を算出できる。そこで、再構成型超解像技術は、再構成した高解像画像の候補（解）を絞り込むため、制約条件（constraint conditions）を用いる。
　再構成型超解像技術は、複数の制約条件を設定できる。
　ここでは、代表的な制約条件を説明する。
　１つ目の制約条件は、再構成に基づく制約条件（以下、「再構成制約（reconstruction constraint）」と言う）である。より具体的には、再構成制約は、入力画像と再構成した高解像画像との関係（例えば、高解像画像を劣化させた画像と入力画像との差）や再構成の処理量を基に判断する制約である。
　２つ目の制約条件は、高解像画像自身の適切さを基にした制約である。より具体的には、この制約条件は、高解像画像の行列の正則性（regularity）に基づく制約である（以下、この制約条件を、「正則化項制約（regularization constraint）」と言う）。例えば、再構成型超解像技術は、ベイズ理論（事前確率：prior probability）を基に正則化項を追加する。この場合、正則化項制約は、追加した正則化項を基に判断する制約である。
　そして、再構成型超解像技術は、再構成制約と正則化項制約とを基に、高解像画像の候補（解）を絞り込む。なお、再構成型超解像技術は、実際の処理として、各制約をコストとして算出し、合計コストを最小にするように判定しても良い。
　２つ目の超解像技術は、学習型超解像（learning based super resolution）技術である。学習型超解像技術は、予め、学習用高解画像と低解像画像との関係を基に辞書を作成する。そして、学習型超解像技術は、その辞書を用いて、入力画像から高解像画像を生成する技術である。ここで、辞書は、事前知識（previous knowledge）といっても良い。そのため、学習型超解像技術は、事前知識を解の制約条件としたとも言える。
　再構成型超解像技術は、入力画像を用いて算出した再構成制約を用いる。一方、学習型超解像技術は、学習用高解像画像と低解像画像との関係を基に作成した辞書を用いる。画像処理装置は、再構成型超解像技術の再構成制約を学習型超解像技術の辞書に基づく処理に置き換え、再構成型超解像技術の正則化項制約を用いても、超解像画像を生成できる。そのため、以下の説明では、特に断らない限り、再構成型超解像技術は、学習型超解像技術を含む超解像技術として説明する。また、特に断らない限り、再構成制約は、適宜、辞書に基づく処理に置き換え可能である。
　図８は、特許文献１に記載の技術を用いる一般的な超解像画像を復元する画像処理装置９０の構成の一例を示すブロック図である。
　画像処理装置９０は、再構成制約算出部９１０と、正則化項算出部９２０と、画像復元部９３０とを含む。
　再構成制約算出部９１０は、再構成制約、つまり、再構成のコストを計算する。
　正則化項算出部９２０は、正則化に基づく制約（正則化項制約）、つまり、正則化に基づくコストを計算する。
　特許文献１に記載の超解像技術を用いる画像処理装置９０の正則化項算出部９２０は、正則化として、例えば、ＴＶ（Total Variation）を用いる（例えば、非特許文献１を参照）。ＴＶは、隣接画素間の画素値の差分の絶対値の合計が最小となるように正則化する手法である。
　あるいは、正則化項算出部９２０は、ＢＴＶ（Bilateral Total Variation）を用いても良い（例えば、非特許文献２を参照）。ＢＴＶは、隣接に限らず、近傍画素間の画素値の差分の絶対値の合計値が最小になるように正則化する手法である。ただし、ＢＴＶは、画素の位置に基づく減数係数を差分の絶対値に乗じてから合計を求める。
　画像復元部９３０は、復元画像として、再構成のコストと正則化のコストとの合計を最小とする超解像画像を生成（復元）する。
　このように、一般的な超解像技術を用いる画像処理装置９０は、再構成制約と正則化項制約とを考慮して、解像度を高めた高解像画像を復元する。
特開２０１１－１８０７９８号公報
Michael K. Ng, Huanfeng Shen, Edmund Y. Lam, and Liangpei Zhang, "A Total Variation Regularization Based Super-Resolution Reconstruction Algorithm for Digital Video", EURASIP Journal on Advances in Signal Processing, Volume 2007, Article ID 74585, 16 pages Farsiu, S.; Robinson, M.D.; Elad, M.; Milanfar, P. "Fast and robust multiframe super resolution" IEEE Transactions on Image Processing, Volume 13, Issue 10, 2004, Pages: 1327 - 1344
　画像に含まれる領域（area）は、画素値の特徴を基に、複数の種類に分類できる。
　分類された領域の１つとして、テクスチャ（texture）領域がある。
　テクスチャ領域は、隣接又は近傍との画素間で、所定の画素の特徴値（例えば、輝度（luminance）の階調（tone））が大きく異なることを特徴とする領域である。このようなテクスチャ領域は、特徴値（例えば、階調）の保存が望ましい。
　しかし、画像処理装置９０が用いるＴＶ又はＢＴＶに基づく正則化は、テクスチャ領域のような特徴値を保存したい領域についても、特徴値を平均化（平坦化：flattening）する。その結果、テクスチャ領域は、特徴値が平坦化（例えば、輝度の階調が低階調化）されてしまう。
　このように、特許文献１に記載の技術は、画素の特徴値（feature value）を残したい領域において、特徴値が平坦化（例えば、低階調化）するという問題点があった。
　本発明の目的は、上記課題を解決し、超解像画像の復元において、画素の特徴値を残したい領域の平坦化を低減する画像処理装置、及び、画像処理方法を提供することにある。
　本発明の一態様における画像処理装置は、入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する重み算出手段と、前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出する正則化項算出手段と、前記高解像画像の再構成に基づく制約である再構成制約を算出する再構成制約算出手段と、前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する画像復元手段とを含む。
　本発明の一態様における画像処理方法は、入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出し、前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出し、前記高解像画像の再構成に基づく制約である再構成制約を算出し、前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する。
　本発明の一態様におけるコンピュータ読み取り可能にプログラムを記録した記録媒体は、入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する処理と、前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出する処理と、前記高解像画像の再構成に基づく制約である再構成制約を算出する処理と、前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する処理とをコンピュータに実行させるプログラムを記憶する。
　本発明によれば、超解像画像の復元において、階調を残したい領域の低階調化を低減できる。
図１は、本発明における第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２は、エッジ領域を説明するための図である。 図３は、テクスチャ領域を説明するための図である。 図４は、第１の実施形態に係る重み算出部の構成の一例を示すブロック図である。 図５は、第１の実施形態に係る画像処理装置の別の構成の一例を示すブロック図である。 図６は、第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図７は、第３の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図８は、一般的な画像処理装置の構成の一例を示すブロック図である。
　次に、本発明の実施形態について図面を参照して説明する。
　なお、各図面は、本発明の実施形態を説明するものである。そのため、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明は、省略する場合がある。
　（第１の実施形態）
　図１は、本発明における第１の実施形態に係る画像処理装置１０の構成の一例を示すブロック図である。
　画像処理装置１０は、再構成制約算出部２０と、正則化項算出部３０と、画像復元部４０と、重み算出部５０とを含む。
　再構成制約算出部２０は、再構成に基づく制約の状態を示す値（再構成制約）を算出する。
　本実施形態の再構成制約算出部２０は、算出する値（再構成制約）として特に制限はない。
　例えば、再構成制約算出部２０は、再構成制約として、再構成に基づく制約が大きくなる場合に値（コスト：cost）が多くなるように、制約を算出しても良い。一例を示すと、画像のボケ及びダウンサンプリング（down-sampling）を考慮する場合、再構成制約算出部２０は、次の数式１を用いて、再構成制約の値（コスト）を算出しても良い。
　［数１］
Figure JPOXMLDOC01-appb-I000001
　ここで、行列Ｄはダウンサンプリング行列、行列Ｂはボケ行列、行列Ｘは入力画像の行列、行列Ｙは超解像画像（復元画像）の行列である。「ＤＢＸ」は、行列Ｄ、Ｂ及びＸの積である。
　また、二重線の上下の数字は、下がノルム（norm）を示し、上がべき乗を示す。例えば、数式１は、「Ｌ２ノルム」の「２乗」を示す。
　また、再構成制約算出部２０は、再構成制約として、再構成に基づく制約が小さくなる場合に値が小さくなるように、制約を算出しても良い。
　正則化項算出部３０は、後ほど説明する重み算出部５０が算出した重みを考慮して、正則化に基づく制約の状態を示す値（正則化項制約）を算出する。
　なお、正則化項算出部３０は、算出する値（正則化項制約）として特に制限はない。正則化項算出部３０は、正則化項制約として、制約が大きい場合に値が小さくなるように、制約を算出しても良い。また、正則化項算出部３０は、正則化項制約として、制約が小さくなる場合に値が大きくなるように、制約を算出しても良い。
　このように、本実施形態の再構成制約算出部２０及び正則化項算出部３０は、算出する値に特に制限はない。ただし、以下の説明では、説明の記載を簡潔にするため、各制約は、制約が大きい場合に各制約の値が大きくなるとして説明する。制約が小さい場合に値が大きくなる制約を用いる場合、画像処理装置１０は、以下の説明における値の大小の判定を入れ替えればよい。
　画像復元部４０は、復元画像として、再構成制約算出部２０が算出した再構成制約と正則化項算出部３０が算出した正則化項制約との合計（合計コスト）を最小とする超解像画像を選択（復元）する。
　例えば、画像復元部４０は、超解像画像として、次の数式２を最小とする画像を選択（復元）しても良い。
　［数２］
Figure JPOXMLDOC01-appb-I000002
　数式２の第１項は、数式１に示す再構成制約である。第２項は、正則化項制約である。
　なお、本明細書において、「復元」とは、単に画像を「生成」する意味を含む。
　画像処理装置１０は、画像復元部４０の復元画像において、再構成制約と正則化項制約との合計コストが最小となるまで、又は、所定の回数、既に説明した動作を繰り返す。
　重み算出部５０は、隣接又は近傍の画素間での差分（例えば階調差）が特徴となる領域（例えば、テクスチャ領域。以下、例示として、テクスチャ領域を用いて説明する）を判別する。そして、重み算出部５０は、テクスチャ領域での画素間の差分が残るような重みを算出し、正則化項算出部３０に送る。
　繰り返しとなるが、正則化項算出部３０は、この重みを基に正則化項を算出する。
　つまり、重み算出部５０は、特徴量を保存する領域を判定し、その領域における正則化項制約を低減する重みを算出する。
　なお、正則化項算出部３０が、制約が大きい場合に値が大きくなる制約（例えば、正則化項制約）を用いる場合、重み算出部５０は、テクスチャ領域において制約の値が小さくなるように、重みを算出する。その重みを用いると、正則化項算出部３０は、テクスチャ領域での画素間の差異を、他の領域の画素間の差異より低く評価した正則化項制約（コスト）を算出する。つまり、正則化項算出部３０は、正則化項制約に対するテクスチャ領域での画素間の差異の影響を受けにくくした重みを用いて、正則化項制約を算出する。その結果、本実施形態の画像処理装置１０は、テクスチャ領域の画素間の差分（例えば階調度）の低下（低階調化）を抑えた画像を復元できる。
　なお、正則化項算出部３０が、制約が小さい場合に大きくなる値（正則化項制約）を用いる場合、重み算出部５０は、テクスチャ領域において制約の値が大きくなるように重みを算出しても良い。あるいは、重み算出部５０は、同様に重みを算出し、正則化項算出部３０が、重みを用いた計算方法を変更（例えば、符号反転して積和する）しても良い。
　次に、図面を参照して、本実施形態の重み算出部５０について更に説明する。
　重み算出部５０は、テクスチャ領域の画素の特徴値を基に、テクスチャ領域を判定する。
　テクスチャ領域の画素の特徴値は、特に限らない。例えば、画素の特徴値は、輝度や光度（luminous intensity）の階調、色（色相：hue）の違い、彩度（chroma）の差などが想定できる。以下では、特徴量の一例として、輝度を用いて説明する。
　図面を参照して、画像の領域について説明する。
　図２は、端（エッジ）を含むエッジ領域を説明するための図である。
　エッジ領域は、図２に示すように、境界（例えば、白と黒の境界）が明確であり、境界が概ね一方向となっている。つまり、エッジ領域は、輝度の勾配（gradient）量が大きく、輝度勾配方向が概ね揃っている。なお、図２に示すλ１及びλ２の矢印は、輝度勾配の主成分のである（ただし、λ１≧λ２である）。つまり、エッジ領域は、輝度勾配量が大きいため、「λ１＞λ２」となっている。また、エッジ領域は、輝度勾配方向が、揃っている。
　図３は、テクスチャ領域について説明するための図である。（図３のλは、図２のλと同じである。）
　テクスチャ領域は、図３に示すように、輝度勾配量が大きいが、輝度勾配の方向が揃っていない。（例えば、図３には、水平方向の境界と、垂直方向の境界がある。）つまり、テクスチャ領域は、輝度勾配量が大きい。また、テクスチャ領域は、輝度勾配方向が揃っていない（λ１≒λ２）。
　テクスチャ領域の具体的な例は、木々が茂った森の領域、屋内の絨毯の領域、頭部の髪の毛の領域等である。ただし、テクスチャ領域は、これらに限定されない。テクスチャ領域は、画像中の隣接又は近傍との画素間で、所定の画素の特徴値（例えば、輝度（luminance）の階調（tone））が大きく異なることを特徴とする領域であればどのような領域でも良い。本実施形態のテクスチャ領域は、上記を含め、様々な領域を含む。
　一方、平坦な領域は、輝度勾配量が小さい。また、平坦な領域は、輝度勾配方向が、揃う場合と揃わない場合とがある。なお、平坦な領域は、輝度勾配の成分の差がなく、輝度勾配方向を求めることができない場合もある。
　本実施形態の重み算出部５０は、上記の各領域の特徴を基に、テクスチャ領域を検出し、検出したテクスチャ領域の重みを算出する。
　図４は、本実施形態の重み算出部５０の構成の一例を示すブロック図である。
　重み算出部５０は、勾配算出部５１０と、方向算出部５２０と、重みデータ算出部５３０とを含む。
　勾配算出部５１０は、輝度勾配量を算出する。重み算出部５０は、輝度勾配量を基に、平坦な領域と、その他の領域（エッジ領域とテクスチャ領域）とを判別する。
　本実施形態の勾配算出部５１０は、輝度勾配量を算出する手法として、特に限る必要はなく、いろいろな手法を使用できる。
　例えば、勾配算出部５１０は、次のように輝度勾配量を算出しても良い。
　まず、勾配算出部５１０は、画像全体の輝度勾配量の水平及び垂直成分（ｌｘ，ｌｙ）を算出する。そして、勾配算出部５１０は、例えば、ゾーベルフィルタ（Sobel Filter）を用いて輝度勾配量の成分を算出する。
　次に、勾配算出部５１０は、輝度勾配量の成分（ｌｘ、ｌｙ）の二乗和を対角成分とする行列（行列Ｉ）を算出する。
　平坦な領域は、輝度勾配量が小さく、その他の領域（エッジ領域とテクスチャ領域）は、輝度勾配量が大きい。
　そのため、後ほど説明する重みデータ算出部５３０は、二乗和（行列Ｉの対角成分）を所定に閾値と比較し、平坦な領域と、その他の領域（エッジ領域とテクスチャ領域）とを判別できる。
　なお、勾配算出部５１０は、判別結果として、二乗和を保存しても良い。
　また、勾配算出部５１０は、上記に限らず、算出結果を後の処理に適した保存情報として保存しても良い。例えば、勾配算出部５１０は、平坦な領域を示すマスクとして、判定結果を保存しても良い。具体的には、勾配算出部５１０は、平坦な領域では「１」、それ以外の領域では「０」との値を設定したマスク（マスク行列Ｍ）を作成して、保存しても良い。
　方向算出部５２０は、輝度勾配方向量を算出する。そして、方向算出部５２０は、輝度勾配方向量を基に、テクスチャ領域とエッジ領域とを判別する。
　エッジ領域は、輝度勾配方向が揃っている。
　一方、テクスチャ領域は、輝度勾配方向が揃っていない。
　そこで、方向算出部５２０は、例えば、次のように動作する。
　まず、方向算出部５２０は、直線画素（エッジ）として、座標（ｘ、ｙ）が次の数式３を満たす画素を算出する。
　［数３］
Figure JPOXMLDOC01-appb-I000003
　ここで、ｘ、ｙは、それぞれ、画素の水平方向、垂直方向の座標である。また、各変数は、次のとおりである。
　Ｉｘ及びＩｙ：水平及び垂直方向の輝度勾配成分
　ｔ１及びｔ２：所定の閾値
　λ１及びλ２：次の数式４で示す行列Ａの固有値、ただしλ１＞λ２
　［数４］
Figure JPOXMLDOC01-appb-I000004
　ここで、Ｒは、その画素と近傍の画素を含む領域である。（ここで、近傍とは、予め定めた範囲である。例えば、前後左右３画素の範囲である。）
　さらに、方向算出部５２０は、数式３を満たす画素の行列Ａの固有値を用いて、輝度勾配方向の揃っている程度として、行列Ｊを算出する。
　ここで、行列Ｊは、対角行列である。そして、行列Ｊの対角成分は、数式３の満たす各画素の行列Ａの固有値を用いて算出された値である。ｉ番目の画素に対応する対角成分Ｊｉは、その画素（画素ｉ）の固有値をλi１及びλｉ２とすると、次の数式５となる。
　［数５］
Figure JPOXMLDOC01-appb-I000005
　ここで、Ｊ０は、超解像画像中の生成される階段状形状（ジャギー：jaggy）の発生について、あらかじめ定められたパラメータである。超解像画像中に生成されるジャギーは、J０の値が大きいほど、発生が抑制される。なお、画像処理装置１０は、予め、Ｊ０を保存しておけばよく、Ｊ０の入手方法に特に制限はない。例えば、画像処理装置１０は、図示しないパラメータを保存したデータベースからＪ０を読み出しても良く、利用者からＪ０の入力を受け付けても良い。なお、λ０は、所定の定数である。
　また、関数ξaは、次に数式６で示すシグモイド関数である。
　［数６］
Figure JPOXMLDOC01-appb-I000006
　テクスチャ領域は、輝度勾配方向が揃っていない。そのため、後ほど説明する重みデータ算出部５３０は、方向算出部５２０が算出した行列Ｊを基に、テクスチャ領域とエッジ領域とを判別できる。
　重みデータ算出部５３０は、勾配算出部５１０の算出結果（輝度勾配量）と、方向算出部５２０の算出結果（輝度勾配方向の揃っている程度（行列Ｊ））とを基に、正則化項算出部３０が用いる重みを算出する。より詳細に説明すると、重みデータ算出部５３０は、勾配算出部５１０の算出結果（輝度勾配量）を基に、エッジ領域及びテクスチャ領域を含む領域を判別する。そして、重みデータ算出部５３０は、判別した領域から、方向算出部５２０の結果を用いて、テクスチャ領域を判別する。そして、重みデータ算出部５３０は、判別したテクスチャ領域の重さを低くした重みを算出する。
　重みデータ算出部５３０は、算出した重みを、正則化項算出部３０に送信する。
　なお、重みデータ算出部５３０は、正則化項算出部３０が利用可能な重みであれば、重みデータの形式を特に限る必要はない。重みデータ算出部５３０は、重みをベクトルデータとして送信しても良く、行列データとして送信しても良い。以下の説明では、一例として、重みデータ算出部５３０は、勾配算出部５１０と方向算出部５２０との算出結果を用いて、次の数式７で示す重みを算出する。
　［数７］
Figure JPOXMLDOC01-appb-I000007
　ここで、Λは、ベクトルであり、ｄｉａｇ（Λ）は、ベクトルΛの成分を、対角成分に並べた対角行列（以下、「重み」又は「重み行列」と言う）である。また、α及びβは、所定の定数である。なお、行列Ｉ及び行列Ｍは、単位行列、及び勾配算出部５１０が算出した二乗和の行列から算出されるマスク行列である。また、行列Ｊは、方向算出部５２０が算出した輝度勾配の揃っている程度を示す算出結果である。
　重みデータ算出部５３０は、算出した重みを正則化項算出部３０に送信する。
　この重みを受信した正則化項算出部３０は、重みを用いて正則化項の制約を算出する。
　具体的には、例えば、正則化項算出部３０は、次の数式８に示す正則化項の制約Ｒ（Ｘ）を用いる。
　［数８］
Figure JPOXMLDOC01-appb-I000008
　ここで、行列Ｘは、入力画像である。また、行列Ｓは、平行移動を示す行列である。Ｓの下付き文字が方向、上付き文字が移動する画素数を示す。例えば、Ｓｌ ｘは、ｘ方向にｌ画素平行移動する行列である。なお、正則化項算出部３０の制約Ｒ（Ｘ）は、数式８に限定されない。例えば、正則化項算出部３０は、数式８の代わりに、次の数式９に示す制約Ｒ（Ｘ）を用いても良い。
　［数９］
Figure JPOXMLDOC01-appb-I000009
　ここで、ｐ、ｑは、利用者が決定するパラメータである。
　なお、以上の説明において、画像処理装置１０の各構成は、データを次の構成に送付するとして説明した。しかし、画像処理装置１０は、これの構成に限る必要はない。例えば、画像処理装置１０は、図示しない記憶部を含み、各構成は、記憶部に結果を記憶し、必要なデータを記憶部から取り出しても良い。
　なお、以上の本実施形態の説明では、αとβを所定の定数、pとqを所定のパラメータとして説明した。しかし、本実施形態は、これに限定されない。例えば、画像処理装置１０は、画素毎に又は領域毎に、予め所定の方法（例えば、回帰分析）を基にα、β、p、及びqを決定してもよい。
　より具体的な例として、例えば、画像処理装置１０は、予め用意した学習用の高解像画像（以下、「ＸH」と言う）と、その高解像画像（ＸＨ）から人工的に生成した低解像画像（以下、「ＹL」と言う）を基に、α、β、p、及びqを求めてもよい。
　より詳細に説明すると、例えば、次のようになる。
　画像処理装置１０は、学習用の複数の高解像画像（ＸＨ）の画素毎又は領域毎に、数式９で表される関数Ｒ（ＸＨ）が最小になるように、α、β、p、及びqの組を求める。そして、画像処理装置１０は、画素毎又は領域毎に、高解像画像（ＸＨ）から生成した低解像画像（ＹＬ）の値からα、β、p、及びqを算出する関数を、所定の方法（例えば、回帰分析）を用いて求めればよい。
　ここで、画像処理装置１０は、関数としては、例えば、低解像画像（ＹＬ）に数式５を適用して算出した様々なJLと、ＪＬに対応するα、β、p、及びqを基に、JLを引数とするα、β、p、及びqの関数を算出する。（以下、それぞれの関数をαL（JL）、βL（JL）、pL（JL）、及びqL（JL）と言う。）或いは、より直接的に、画像処理装置１０は、ルックアップテーブル上に様々なJLと、それに対応するα、β、p、及びqを保持し、ルックアップテーブルを参照して、これら（α、β、p、及びq）の値を求めても良い。
　そして、画像処理装置１０は、超解像画像化の対象となる低解像度の入力画像（YＬ）に対しても、数式５を用いてJLを算出する。そして、画像処理装置１０は、算出されたJLを基に、上記の関数（αL（JL）、βL（JL）、pL（JL）、及びqL（JL））、又は、ルックアップテーブルを用いて、α、β、p、及びqを算出すれば良い。
　ただし、画像処理装置１０のα、β、p、及びqの算出方法は、これに限定されない。
　例えば、画像処理装置１０は、次のような方法を用いても良い。
　画像処理装置１０は、予め、画素毎又は領域毎に、高解像画像（ＸＨ）に数式５を適用して算出したＪＨと、数式９で表される関数Ｒ（ＸＨ）が最小になるα、β、p、及びqの組を算出する。そして、画像処理装置１０は、前述の方法と同様に、JHとα、β、p、及びqの関係を、所定の方法（例えば、回帰分析）を基に算出する。（以下、これら（JHとα、β、p、及びq）の関数は、以下、αH（JH）、βH（JH）、pH（JH）、及びqH（JH）と表す。）或いは、画像処理装置１０は、α、β、p、及びqをルックアップテーブルとして保持しておく。
　そして、画像処理装置１０は、入力となる低解像画像（ＹＬ）に数式５を適用してJLを算出する。その後、画像処理装置１０は、上述の関数（αL（JL）、βL（JL）、pL（JL）、及びqL（JL））又はルックアップテーブルを用いて、α、β、p、及びqを、暫定的に算出する。そして、画像処理装置１０は、これら（α、β、p、及びq）を用いて超解像画像（以下、「ＸＳＲ」と言う）を生成する。
　さらに、画像処理装置１０は、超解像画像（ＸＳＲ）に数式５を適用してＪＳＲを算出する。
　そして、画像処理装置１０は、JSRと、上記の関数（αH（JH）、βH（JH）、pH（JH）、及びqH（JH））と基に、α、β、p、及びqを、再度算出する。そして、画像処理装置１０は、算出したα、β、p、及びqを用いて超解像画像（ＸＳＲ）を更新する。
　画像処理装置１０は、超解像画像（ＸＳＲ）とα、β、p、及びqの値の変化がなくなる、又は、変化が所定の範囲内となるまで、上記処理を繰り返す。このように、画像処理装置１０は、超解像画像（ＸＳＲ）を更新する。
　或いは、画像処理装置１０は、次のように、α、β、p、及びqを算出しても良い。
　これまでので説明では、画像処理装置１０は、入力となる低解像画像（ＹＬ）に数式５を適用して算出したJL、又は、超解像画像（ＸＳＲ）に数式５を適用して算出したJSRを用いて、α、β、p、及びqを算出した。しかし、画像処理装置１０は、JL及びJSRの両者を用いて、α、β、p、及びqを算出してもよい。
　すなわち、画像処理装置１０は、予め、画素毎又は領域毎に、高解像画像（ＸＨ）に数式５を適用して算出したJHと、高解像画像（ＸＨ）から生成した低解像画像（ＹＬ）に数式５を適用して算出したJLを算出する。さらに、画像処理装置１０は、数式９で表される関数Ｒ（ＸＨ）が最小になるα、β、p、及びqとを算出しておく。
　そして、画像処理装置１０は、JLとJHと、それぞれに対応するα、β、p、及びqとを所定の方法（例えば、回帰分析）に用いて、JLとJHを引数とする関数を算出する（以下、それぞれの関数をαLH（JL、JH）、βLH（JL、JH）、pLH（JL、JH）、及びqLH（JL、JH）と言う）。或いは、画像処理装置１０は、「α、β、p及びq」と、「JLとJH」との関係を、ルックアップテーブルとして、保持しておく。
　そして、画像処理装置１０は、上記と同様の方法を用いて生成した超解像画像（ＸＳＲ）と入力画像（ＹＬ）を基に、JLとJSRを求める。そして、画像処理装置１０は、JLとJSRを基に、α、β、p、及びqを算出する。そして、画像処理装置１０は、算出したα、β、p、及びqを基に、超解像画像（ＸＳＲ）を更新する。そして、画像処理装置１０は、更新した超解像画像（ＸＳＲ）と入力画像（ＹＬ）とを基に、JLとJSRを算出する。そして、画像処理装置１０は、算出したJLとJSRとを基に、αLH（JL 、JH）、βLH（JL 、JH）、pLH（JL 、JH）、及びqLH（JL、JH）を用いて、α、β、p及びqを更新する。画像処理装置１０は、この処理を、超解像画像（ＸＳＲ）、α、β、p、及びqの値が変化しなくなる、又は、値の変化が所定の範囲に入るまで繰り返す。
　このように本実施形態の画像処理装置１０は、高解像画像の復元において、階調を残したいテクスチャ領域の低階調化を低減する効果を得ることができる。
　その理由は、次のとおりである。
　画像処理装置１０の重み算出部５０は、輝度勾配量の大きさと輝度勾配量の揃っている程度を基にテクスチャ領域を判別する。そして、重み算出部５０は、判別したテクスチャ領域に対して、画素間の差が大きくて正則化項の算出結果（正則化項制約）が低くなるように重みを算出する。そして、正則化項算出部３０は、その重みを用いて正則化項を算出する。そのため、画像復元部４０は、テクスチャ領域の階調を低下させない復元画像を選択（復元）できるためである。
　＜変形例＞
　画像処理装置１０の構成は、これまでの説明に限らない。
　例えば、画像処理装置１０は、既に説明した図示しない記憶部を含んでも良い。
　また、画像処理装置１０は、各構成を複数の構成に分けても良い。
　例えば、重み算出部５０は、方向算出部５２０を、行列Ａの算出部と、固有値算出部と、行列Ｊの算出部とに分けても良い。
　また、画像処理装置１０は、複数の構成を１つの構成としても良い。例えば、重み算出部５０と正則化項算出部３０は、１つの構成でも良い。
　さらに、本実施形態の画像処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータとして実現しても良い。さらに、画像処理装置１０は、ＩＯ（Input / Output unit）と、ＮＩＣ（Network Interface Circuit又はNetwork interface Card）とを含み、他の装置又は機器と接続しても良い。
　図５は、本実施形態の別の構成である画像処理装置１８の構成の一例を示すブロック図である。
　画像処理装置１８は、ＣＰＵ８１０と、ＲＯＭ８２０と、ＲＡＭ８３０と、内部記憶装置８４０と、ＩＯ８５０と、入力機器８６０と、表示機器８７０と、ＮＩＣ８８０とを含み、コンピュータを構成している。
　ＣＰＵ８１０は、ＲＯＭ８２０又は内部記憶装置８４０からプログラムを読み込む。そして、ＣＰＵ８１０は、読み込んだプログラムに基づいて、図１に示す画像処理装置１０の再構成制約算出部２０と、正則化項算出部３０と、画像復元部４０と、重み算出部５０としての各機能を実現する。ＣＰＵ８１０は、各機能を実現する際に、ＲＡＭ８３０又は内部記憶装置８４０を一時記憶として使用する。また、ＣＰＵ８１０は、ＩＯ８５０を介して、入力機器８６０から入力データを受信し、表示機器８７０にデータを出力する。
　なお、ＣＰＵ８１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体８９０が含むプログラムを、図示しない記憶媒体読み取り装置を用いてＲＡＭ８３０に読み込んで、動作しても良い。このように、ＣＰＵ８１０は、ＲＯＭ８１０又は記憶媒体８９０のような不揮発性メモリ（non-transitory memory）を用いても良く、ＲＡＭ８３０のような揮発性メモリ（transitory memory）を用いても良い。
　あるいは、ＣＰＵ８１０は、ＮＩＣ８８０を介して、図示しない外部の装置からプログラムを受け取っても良い。
　ＲＯＭ８２０は、ＣＰＵ８１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ８２０は、例えば、Ｐ－ＲＯＭ(Programmable-ROM）やフラッシュＲＯＭである。
　ＲＡＭ８３０は、ＣＰＵ８１０が実行するプログラムやデータを一時的に記憶する。ＲＡＭ８３０は、例えば、Ｄ－ＲＡＭ（Dynamic-RAM）である。
　内部記憶装置８４０は、画像処理装置１８が長期的に保存するデータやプログラムを記憶する。また、内部記憶装置８４０は、ＣＰＵ８１０の一時記憶装置として動作しても良い。内部記憶装置８４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。
　ＩＯ８５０は、ＣＰＵ８１０と、入力機器８６０及び表示機器８７０とのデータを仲介する。ＩＯ８５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。
　入力機器８６０は、画像処理装置１８の操作者からの入力指示を受信する入力部である。入力機器８６０は、例えば、キーボード、マウス又はタッチパネルである。
　表示機器８７０は、画像処理装置１８の表示部である。表示機器８７０は、例えば、液晶ディスプレイである。
　ＮＩＣ８８０は、ネットワークを介した他の装置（例えば、図示しない入力画像を送信する装置及び復元画像を受け取る装置）とのデータ（画像）のやり取りを中継する。ＮＩＣ８８０は、例えば、ＬＡＮ（Local Area Network）カードである。
　このように構成された画像処理装置１８は、画像処理装置１０と同様の効果を得ることができる。
　その理由は、画像処理装置１８のＣＰＵ８１０が、プログラムに基づいて画像処理装置１０と同様の動作を実現できるためである。
　（第２の実施形態）
　エッジ領域に含まれるエッジは、滑らかな場合が多い。ただし、エッジは、階段状（ジャギー：jaggy）となっている場合もある。エッジが滑らか又はジャギーであるかの判定は、複数の画素の参照が必要である。しかし、ＴＶ及びＢＴＶは、個々の画素間の差分を用いるため、エッジが滑らかであるかジャギーであるかを区別できない。そのため、特許文献１に記載の技術は、滑らかなエッジを含むエッジ領域にジャギーノイズが発生する問題点があった。
　第２の実施形態に係る画像処理装置１１は、エッジ領域のジャギーノイズの発生を抑制する。
　図６は、第２の実施形態の画像処理装置１１の構成の一例を示すブロック図である。
　画像処理装置１１は、再構成制約算出部２０と、正則化項算出部３０と、画像復元部４１と、重み算出部５１と、方向制約算出部６０とを含む。
　なお、本実施形態の画像処理装置１１は、画像処理装置１０と同様に、図５に示すＣＰＵ８１０と、ＲＯＭ８２０と、ＲＡＭ８３０とを含むコンピュータで実現されても良い。
　再構成制約算出部２０及び正則化項算出部３０は、第１の実施形態の画像処理装置１０と同様のため、詳細な説明を省略する。
　重み算出部５１は、算出した重みを正則化項算出部３０に送ることに加え、方向制約算出部６０に送る点を除いて、第１の実施形態の重み算出部５０と同様に動作する。そのため、これ以外の詳細な説明は、省略する。
　方向制約算出部６０は、エッジ領域に含まれるエッジのような、最大の輝度勾配方向に直交する方向（エッジ方向）が揃っている領域に対して、画素値がエッジ方向に滑らかになるような制約（方向制約）を算出する。
　例えば、方向制約算出部６０は、方向制約を算出するために用いる滑らかさを示す値として、エッジ方向の微分値を用いれば良い。
　エッジ方向の微分値を用いる場合、方向制約算出部６０は、次のように、方向制約を算出すれば良い。
　方向制約算出部６０は、エッジ方向が滑らかな領域として、微分値の変化が小さい領域に、小さなペナルティを課す（方向制約を小さくする）。一方、方向制約算出部６０は、エッジ方向が滑らかでない領域として、微分値の変化が大きな領域に、大きなペナルティを課す（方向制約を大きくする）。
　数式を用いて説明すると、方向制約算出部６０は、例えば、次の数式１０で表される方向制約を算出すれば良い。
　［数１０］
Figure JPOXMLDOC01-appb-I000010
　ここで、行列Ｌｎは、次の数式（数式１１）で示すエッジ方向に沿った微分である。
　［数１１］
Figure JPOXMLDOC01-appb-I000011
　ただし、θは、水平方向（ｘ軸）とエッジ方向の角度である。
　画像復元部４１は、再構成制約及び正則化項制約に加え、方向制約算出部６０が算出した方向制約を考慮して、画像を復元する。
　具体的には、画像復元部４１は、次の数式１２を最小とする画像を選択（復元）する。
　［数１２］
Figure JPOXMLDOC01-appb-I000012
　数式１２の第３項は、方向制約である。第１項と第２項は、数式２と同様である。
　このように、第２の実施形態の画像処理装置１１は、エッジ領域でのジャギーノイズの発生を抑制する効果を得ることができる。
　その理由は、次のとおりである。
　画像処理装置１１の方向制約算出部６０は、エッジ方向に滑らかでない領域に対して、滑らかな領域より大きなペナルティを加えるような方向制約を算出する。画像復元部４１は、方向制約を考慮して画像を復元するため、エッジ方向が滑らかな領域を残した画像を復元できるためである。
　（第３の実施形態）
　ＴＶ及びＢＴＶは、対象範囲の全て画素間の差分を算出することが必要である。特に、ＢＴＶは、近傍領域の全ての画素間の差分を算出することが必要である。そのため、特許文献１に記載の技術は、大きな処理時間を必要とする。
　第３の実施形態に係る画像処理装置１２は、処理時間を削減できる。
　図７は、第３の実施形態の画像処理装置１２の構成の一例を示すブロック図である。
　画像処理装置１２は、再構成制約算出部２０と、正則化項算出部３１と、画像復元部４０と、重み算出部５０と、参照画素枝刈り部７０とを含む。
　なお、第３の実施形態の画像処理装置１２は、第２の実施形態の方向制約算出部６０を含んでも良い。
　また、本実施形態の画像処理装置１２は、画像処理装置１０と同様に、図５に示すＣＰＵ８１０と、ＲＯＭ８２０と、ＲＡＭ８３０とを含むコンピュータで実現されても良い。
　再構成制約算出部２０、画像復元部４０及び重み算出部５０は、第１の実施形態の画像処理装置１０と同様のため、詳細な説明を省略する。
　参照画素枝刈り部７０は、重み算出部５０が算出した重みの一部について、正則化項算出部３１での正則化項制約の算出に使用しないように処理する。この処理を、以下、「枝刈り」と言う。
　正則化項算出部３１は、参照画素枝刈り部７０が枝刈りした重みを用いて正則化項を算出する。そのため、正則化項算出部３１は、正則化項の算出に用いる画素の数を削減できる。
　なお、本実施形態の参照画素枝刈り部７０の枝刈り処理は、特に制限はない。
　例えば、参照画素枝刈り部７０は、予め決められた画素に対応するマスクを備え、重みにマスクを適用しても良い。この場合、正則化項算出部３１は、マスクされた重みに対応する画素について正則化項制約を算出しない。
　また、参照画素枝刈り部７０は、ランダムに重みの成分を選択して、その成分の値を「０」に設定しても良い。例えば、重み算出部５０が数式７に示す重みを算出する場合、参照画素枝刈り部７０は、ベクトルΛ、又は、重み行列（ｄｉａｇ（Λ））の一部の成分をランダムに選択し、その値を「０」とすれば良い。
　そして、参照画素枝刈り部７０が、上記のように成分を「０」に設定する場合、正則化項算出部３１は、値が「０」となっている成分の差分を算出しない。
　このように、正則化項算出部３０は、参照画素枝刈り部７０の結果を基に、差分の算出処理を削減する。
　なお、参照画素枝刈り部７０は、重みを操作せず、重みとは別情報として枝刈りに関する情報（例えば、フラグ）を正則化項算出部３１に通知しても良い。この場合、正則化項算出部３１は、第１の実施形態と同様に、重み算出部５０から重みを受け取り、参照画素枝刈り部７０からの枝刈り情報を基に、正則化項制約を算出する画素を削減すれば良い。
　このように、第３の実施形態の画像処理装置１２は、処理時間を削減する効果を得ることができる。
　その理由は、次のとおりである。
　画像処理装置１２の参照画素枝刈り部７０は、正則化項算出部３０において、差分を算出しない画素の削減を設定する。その結果、正則化項算出部３１は、差分の算出の処理を削減できるためである。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年１１月２９日に出願された日本出願特願２０１２－２６０８４４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）　入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する重み算出手段と、前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出する正則化項算出手段と、前記高解像画像の再構成に基づく制約である再構成制約を算出する再構成制約算出手段と、前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する画像復元手段とを含む画像処理装置。
　（付記２）　前記重み算出手段は、前記入力画像の画素の特徴量の勾配を算出する勾配算出手段と、前記特徴量の勾配の方向の揃っている程度を算出する方向算出手段と、前記勾配と前記方向の揃っている程度を基に前記重みを算出する重みデータ算出手段とを含む付記１に記載の画像処理装置。
　（付記３）　前記重みデータ算出手段が、前記勾配の大きさが所定の値より大きく、前記勾配の方向の揃っている程度が所定の値より値小さい領域において前記所定の値低減した重みを算出することを特徴とする付記１又は付記２に記載の画像処理装置。
　（付記４）　前記正則化項算出手段は、学習用の高解像画像と、その高解像画像から人工的に生成した低解像画像と、前記重み算出手段から算出された重みから、前記正則化項を表現するのに必要な定数を算出することを特徴とする付記1乃至付記３のいずれか１項に記載の画像処理装置。
　（付記５）　前記正則化項算出手段は、学習用の高解像画像と、その高解像画像から人工的に生成した低解像画像と、暫定的に生成した超解像画像と、前記重み算出手段から算出された重みから、前記正則化項を表現するのに必要な定数を、繰り返し処理により算出することを特徴とする付記1乃至付記４のいずれか１項に記載の画像処理装置。
　（付記６）　前記復元画像において前記入力画像の特徴量の勾配方向に直行するエッジ方向が滑らかとなる方向制約を算出する方向制約算出手段を含み、前記画像復元手段が、再構成制約及び正則化項制約に加え、前記方向制約を用いて画像を復元することを特徴とする付記１乃至付記５のいずれが１項に記載の画像処理装置。
　（付記７）　前記正則化項算出手段の正則化項制約の算出において一部の画素を使用しないように制限する参照画素枝刈り手段をさらに含む付記１乃至付記６のいずれか１項に記載に画像処理装置。
　（付記８）　前記参照画素枝刈り手段は、前記重み算出手段が算出する重みの一部を削除することを特徴とする付記７に記載の画像処理装置。
　（付記９）　入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出し、前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出し、前記高解像画像の再構成に基づく制約である再構成制約を算出し、前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する画像処理方法。
　（付記１０）　前記入力画像の画素の特徴量の勾配を算出し、前記特徴量の勾配の方向の揃っている程度を算出し、前記勾配と前記方向の揃っている程度を基に前記重みを算出する付記９に記載の画像処理方法。
　（付記１１）　前記勾配の大きさが所定の値より大きく、前記勾配の方向の揃っている程度が所定の値より値小さい領域において前記所定の値低減した重みを算出することを特徴とする付記９又は付記１０に記載の画像処理方法。
　（付記１２）　学習用の高解像画像と、その高解像画像から人工的に生成した低解像画像と、前記重み算出手段から算出された重みから、前記正則化項を表現するのに必要な定数を算出することを特徴とする付記９乃至付記１１のいずれか１項に記載の画像処理方法。
　（付記１３）　学習用の高解像画像と、その高解像画像から人工的に生成した低解像画像と、暫定的に生成した超解像画像と、前記重み算出手段から算出された重みから、前記正則化項を表現するのに必要な定数を、繰り返し処理により算出することを特徴とする付記９乃至付記１２のいずれか１項に記載の画像処理方法。
　（付記１４）　前記復元画像において前記入力画像の特徴量の勾配方向に直行するエッジ方向が滑らかとなる方向制約を算出し、再構成制約及び正則化項制約に加え、前記方向制約を用いて画像を復元することを特徴とする付記９乃至付記１３のいずれが１項に記載の画像処理方法。
　（付記１５）　前記正則化項制約の算出において一部の画素を使用しないように制限する付記９乃至付記１４のいずれか１項に記載に画像処理方法。
　（付記１６）　前記算出する重みの一部を削除することを特徴とする付記１５に記載の画像処理方法。
　（付記１７）　入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する処理と、前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出する処理と、前記高解像画像の再構成に基づく制約である再構成制約を算出する処理と、前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する処理とをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記１８）　前記入力画像の画素の特徴量の勾配を算出する処理と、前記特徴量の勾配の方向の揃っている程度を算出する処理と、前記勾配と前記方向の揃っている程度を基に前記重みを算出する処理とをコンピュータに実行させる付記１７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記１９）　前記勾配の大きさが所定の値より大きく、前記勾配の方向の揃っている程度が所定の値より値小さい領域において前記所定の値低減した重みを算出する処理をコンピュータに実行させる付記１７又は付記１８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記２０）　学習用の高解像画像と、その高解像画像から人工的に生成した低解像画像と、前記重み算出手段から算出された重みから、前記正則化項を表現するのに必要な定数を算出する処理をコンピュータに実行させる付記１７乃至付記１９のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記２１）　学習用の高解像画像と、その高解像画像から人工的に生成した低解像画像と、暫定的に生成した超解像画像と、前記重み算出手段から算出された重みから、前記正則化項を表現するのに必要な定数を、繰り返し処理により算出する処理をコンピュータに実行させる付記１７乃至付記２０のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記２２）　前記復元画像において前記入力画像の特徴量の勾配方向に直行するエッジ方向が滑らかとなる方向制約を算出する処理と、再構成制約及び正則化項制約に加え、前記方向制約を用いて画像を復元する処理とをコンピュータに実行させる付記１７乃至付記２１のいずれが１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記２３）　前記正則化項制約の算出の処理において一部の画素を使用しないように制限する処理をコンピュータに実行させる付記１７乃至付記２２のいずれか１項に記載にプログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記２４）　前記算出する重みの一部を削除する処理をコンピュータに実行させる付記２３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記２４）　入力画像のテクスチャ領域において、画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する重み算出手段と、前記テクスチャ領域においては前記重みを用い、前記テクスチャ領域以外の領域においては、前記重みを用いることなく、前記正則化項制約を算出する正則化項算出手段と、前記正則化項制約と、前記高解像画像の再構成に基づく制約である再構成制約と、に基づいて高解像画像を復元する画像復元手段と
　を含む画像処理装置。
　（付記２５）　入力画像のテクスチャ領域において、画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出し、前記テクスチャ領域においては前記重みを用い、前記テクスチャ領域以外の領域においては、前記重みを用いることなく、前記正則化項制約を算出し、前記正則化項制約と、前記高解像画像の再構成に基づく制約である再構成制約と、に基づいて高解像画像を復元する画像処理方法。
　（付記２６）　入力画像のテクスチャ領域において、画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する処理と、前記テクスチャ領域においては前記重みを用い、前記テクスチャ領域以外の領域においては、前記重みを用いることなく、前記正則化項制約を算出する処理と、前記正則化項制約と、前記高解像画像の再構成に基づく制約である再構成制約と、に基づいて高解像画像を復元する処理とをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
　１０　　画像処理装置
　１１　　画像処理装置
　１２　　画像処理装置
　１８　　画像処理装置
　２０　　再構成制約算出部
　３０　　正則化項算出部
　３１　　正則化項算出部
　４０　　画像復元部
　４１　　画像復元部
　５０　　重み算出部
　５１　　重み算出部
　６０　　方向制約算出部
　７０　　参照画素枝刈り部
　９０　　画像処理装置
　５１０　　勾配算出部
　５２０　　方向算出部
　５３０　　重みデータ算出部
　８１０　　ＣＰＵ
　８２０　　ＲＯＭ
　８３０　　ＲＡＭ
　８４０　　内部記憶装置
　８５０　　ＩＯ
　８６０　　入力機器
　８７０　　表示機器
　８８０　　ＮＩＣ
　８９０　　記憶媒体
　９１０　　再構成制約算出部
　９２０　　正則化項算出部
　９３０　　画像復元部

Claims (11)

  1. 　入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する重み算出手段と、
    　前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出する正則化項算出手段と、
    　前記高解像画像の再構成に基づく制約である再構成制約を算出する再構成制約算出手段と、
    　前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する画像復元手段と
    　を含む画像処理装置。
  2. 　前記重み算出手段は、
    　前記入力画像の画素の特徴量の勾配を算出する勾配算出手段と、
    　前記特徴量の勾配の方向の揃っている程度を算出する方向算出手段と、
    　前記勾配と前記方向の揃っている程度を基に前記重みを算出する重みデータ算出手段と
    　を含む請求項１に記載の画像処理装置。
  3. 　前記重みデータ算出手段が、
    　前記勾配の大きさが所定の値より大きく、
    　前記勾配の方向の揃っている程度が所定の値より値小さい領域において
    　前記所定の値低減した重みを算出する
    　ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
  4. 　前記復元画像において前記入力画像の特徴量の勾配方向に直行するエッジ方向が滑らかとなる方向制約を算出する方向制約算出手段を含み、
    　前記画像復元手段が、再構成制約及び正則化項制約に加え、前記方向制約を用いて画像を復元する
    　ことを特徴とする請求項１乃至請求項３のいずれが１項に記載の画像処理装置。
  5. 　前記正則化項算出手段の正則化項制約の算出において一部の画素を使用しないように制限する参照画素枝刈り手段を
    　さらに含む請求項１乃至請求項４のいずれか１項に記載に画像処理装置。
  6. 　前記参照画素枝刈り手段は、
    　前記重み算出手段が算出する重みの一部を削除する
    　ことを特徴とする請求項５に記載の画像処理装置。
  7. 　入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出し、
    　前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出し、
    　前記高解像画像の再構成に基づく制約である再構成制約を算出し、
    　前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する
    　画像処理方法。
  8. 　入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する処理と、
    　前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出する処理と、
    　前記高解像画像の再構成に基づく制約である再構成制約を算出する処理と、
    　前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する処理と
    　をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
  9. 　入力画像のテクスチャ領域において、画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する重み算出手段と、
    　前記テクスチャ領域においては前記重みを用い、前記テクスチャ領域以外の領域においては、前記重みを用いることなく、前記正則化項制約を算出する正則化項算出手段と、
    　前記正則化項制約と、前記高解像画像の再構成に基づく制約である再構成制約と、に基づいて高解像画像を復元する画像復元手段と
    　を含む画像処理装置。
  10. 　入力画像のテクスチャ領域において、画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出し、
    　前記テクスチャ領域においては前記重みを用い、前記テクスチャ領域以外の領域においては、前記重みを用いることなく、前記正則化項制約を算出し、
    　前記正則化項制約と、前記高解像画像の再構成に基づく制約である再構成制約と、に基づいて高解像画像を復元する
    　画像処理方法。
  11. 　入力画像のテクスチャ領域において、画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する処理と、
    　前記テクスチャ領域においては前記重みを用い、前記テクスチャ領域以外の領域においては、前記重みを用いることなく、前記正則化項制約を算出する処理と、
    　前記正則化項制約と、前記高解像画像の再構成に基づく制約である再構成制約と、に基づいて高解像画像を復元する処理と
    　をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2013/007001 2012-11-29 2013-11-28 画像処理装置、及び、画像処理方法 WO2014083857A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13857754.9A EP2927864B1 (en) 2012-11-29 2013-11-28 Image processing device and image processing method
JP2014549833A JP6443050B2 (ja) 2012-11-29 2013-11-28 画像処理装置、及び、画像処理方法
US14/647,531 US9542725B2 (en) 2012-11-29 2013-11-28 Image processing device, image processing method and medium
HK15111799.3A HK1211125A1 (en) 2012-11-29 2015-12-01 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012260844 2012-11-29
JP2012-260844 2012-11-29

Publications (1)

Publication Number Publication Date
WO2014083857A1 true WO2014083857A1 (ja) 2014-06-05

Family

ID=50827517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/007001 WO2014083857A1 (ja) 2012-11-29 2013-11-28 画像処理装置、及び、画像処理方法

Country Status (5)

Country Link
US (1) US9542725B2 (ja)
EP (1) EP2927864B1 (ja)
JP (1) JP6443050B2 (ja)
HK (1) HK1211125A1 (ja)
WO (1) WO2014083857A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020179205A1 (ja) * 2019-03-01 2020-09-10 株式会社ソニー・インタラクティブエンタテインメント 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
CN106169174B (zh) * 2016-06-30 2019-12-31 北京大学 一种图像放大方法
CN106169173B (zh) * 2016-06-30 2019-12-31 北京大学 一种图像插值方法
CN106447614B (zh) * 2016-11-25 2019-06-07 浙江师范大学 一种基于一致性区域的超分辨率方法
CN107862655B (zh) * 2017-10-26 2020-02-18 电子科技大学 一种基于正则化的交替最小化高分辨率图像重构方法
CN109741254B (zh) * 2018-12-12 2022-09-27 深圳先进技术研究院 字典训练及图像超分辨重建方法、***、设备及存储介质
US11037339B2 (en) * 2019-04-17 2021-06-15 Uih America, Inc. Systems and methods for image reconstruction
CN110211036A (zh) * 2019-04-25 2019-09-06 中国人民解放军61646部队 一种基于智能先验的图像超分辨率重建方法及装置
TWI703872B (zh) 2019-05-15 2020-09-01 瑞昱半導體股份有限公司 影像色彩還原與增強電路
CN117541495A (zh) * 2023-09-04 2024-02-09 长春理工大学 一种自动优化模型权重的图像条纹去除方法、装置及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004068862A1 (ja) * 2003-01-31 2004-08-12 The Circle For The Promotion Of Science And Engineering 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
US20050270386A1 (en) * 2004-05-28 2005-12-08 Hirofumi Saitoh Method and apparatus for authentication utilizing iris
JP2008167027A (ja) * 2006-12-27 2008-07-17 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム
JP2011180798A (ja) 2010-03-01 2011-09-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0126065D0 (en) * 2001-10-31 2001-12-19 Elam T Ltd Document authentication
US9117133B2 (en) * 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US8913831B2 (en) * 2008-07-31 2014-12-16 Hewlett-Packard Development Company, L.P. Perceptual segmentation of images
JP5506272B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
US8180146B2 (en) * 2009-12-22 2012-05-15 The Chinese University Of Hong Kong Method and apparatus for recognizing and localizing landmarks from an image onto a map

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004068862A1 (ja) * 2003-01-31 2004-08-12 The Circle For The Promotion Of Science And Engineering 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
AU2003272936A1 (en) * 2003-01-31 2004-08-23 The Circle For The Promotion Of Science And Engineering Method for creating high resolution color image, system for creating high resolution color image and program for creating high resolution color image
US20060038891A1 (en) * 2003-01-31 2006-02-23 Masatoshi Okutomi Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image
US20050270386A1 (en) * 2004-05-28 2005-12-08 Hirofumi Saitoh Method and apparatus for authentication utilizing iris
JP2005334402A (ja) * 2004-05-28 2005-12-08 Sanyo Electric Co Ltd 認証方法および認証装置
JP2008167027A (ja) * 2006-12-27 2008-07-17 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム
JP2011180798A (ja) 2010-03-01 2011-09-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FARSIU, S.; ROBINSON, M.D.; ELAD, M.; MILANFAR, P.: "Fast and robust multiframe super resolution", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 13, no. 10, 2004, pages 1327 - 1344
MICHAEL K. NG; HUANFENG SHEN; EDMUND Y. LAM; LIANGPEI ZHANG: "A Total Variation Regularization Based Super-Resolution Reconstruction Algorithm for Digital Video", EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING, vol. 2007, pages 16

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020179205A1 (ja) * 2019-03-01 2020-09-10 株式会社ソニー・インタラクティブエンタテインメント 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム
JPWO2020179205A1 (ja) * 2019-03-01 2021-11-11 株式会社ソニー・インタラクティブエンタテインメント 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム
JP7116244B2 (ja) 2019-03-01 2022-08-09 株式会社ソニー・インタラクティブエンタテインメント 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム

Also Published As

Publication number Publication date
US9542725B2 (en) 2017-01-10
EP2927864B1 (en) 2018-06-13
EP2927864A4 (en) 2016-08-17
JPWO2014083857A1 (ja) 2017-01-05
HK1211125A1 (en) 2016-05-13
US20150317767A1 (en) 2015-11-05
JP6443050B2 (ja) 2018-12-26
EP2927864A1 (en) 2015-10-07

Similar Documents

Publication Publication Date Title
JP6443050B2 (ja) 画像処理装置、及び、画像処理方法
US8675999B1 (en) Apparatus, system, and method for multi-patch based super-resolution from an image
JP6362333B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US7983511B1 (en) Methods and apparatus for noise reduction in digital images
Singh et al. A novel dehazing model for remote sensing images
US10198801B2 (en) Image enhancement using self-examples and external examples
JP6390173B2 (ja) 情報処理装置、情報処理システム、画像処理方法、及び、プログラム
US7751641B2 (en) Method and system for digital image enhancement
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
Li et al. Single image super-resolution using combined total variation regularization by split Bregman Iteration
DE102020133244A1 (de) Kantenbewusste Aufwärtsskalierung für verbesserte Bildschirminhaltsqualität
Choi et al. Resolution improvement of infrared images using visible image information
Muhammad et al. Frequency component vectorisation for image dehazing
Teodoro et al. Sharpening hyperspectral images using plug-and-play priors
US20150302273A1 (en) Image processing device, image processing method and medium
Deng et al. Efficient test-time adaptation for super-resolution with second-order degradation and reconstruction
WO2016051716A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
Mandal et al. Employing structural and statistical information to learn dictionary (s) for single image super-resolution in sparse domain
Chen et al. Face super resolution based on parent patch prior for VLQ scenarios
US8761507B1 (en) Bilateral filter optimization
Pang et al. Image restoration via the adaptive TVp regularization
Pal et al. Visibility enhancement of fog degraded images using adaptive defogging function
Miyata Inter-channel relation based vectorial total variation for color image recovery
Chang et al. Super resolution using trilateral filter regression interpolation
Su et al. Single image super-resolution based on space structure learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13857754

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014549833

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013857754

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14647531

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE