WO2018100950A1 - 画像処理装置、デジタルカメラ、画像処理プログラム、及び記録媒体 - Google Patents

画像処理装置、デジタルカメラ、画像処理プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2018100950A1
WO2018100950A1 PCT/JP2017/039189 JP2017039189W WO2018100950A1 WO 2018100950 A1 WO2018100950 A1 WO 2018100950A1 JP 2017039189 W JP2017039189 W JP 2017039189W WO 2018100950 A1 WO2018100950 A1 WO 2018100950A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
image processing
pixel
image
unit
Prior art date
Application number
PCT/JP2017/039189
Other languages
English (en)
French (fr)
Inventor
彩 岡本
尚子 後藤
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to CN201780074379.2A priority Critical patent/CN110192388A/zh
Priority to KR1020197015460A priority patent/KR20190073516A/ko
Priority to US16/465,264 priority patent/US20190394438A1/en
Publication of WO2018100950A1 publication Critical patent/WO2018100950A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00007—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to particular apparatus or devices
    • H04N1/00021—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00029—Diagnosis, i.e. identifying a problem by comparison with a normal state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40093—Modification of content of picture, e.g. retouching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Definitions

  • the following disclosure relates to an image processing apparatus and a digital camera including the image processing apparatus.
  • the present invention also relates to an image processing program for causing a computer to function as an image processing apparatus and a recording medium on which the image processing program is recorded.
  • image processing may be automatically performed on image data that is digital information (digital signal) representing the image.
  • image data that is digital information (digital signal) representing the image.
  • CCD Charge-Coupled Device
  • An image processing apparatus for performing a tether process on the blocks thus described is described.
  • JP-A-64-61170 Japanese Patent Publication “JP-A-64-61170” (published March 8, 1989)
  • Patent Document 1 uses image data representing a monochrome image as an object of image processing. Therefore, it cannot be used for color image data that is currently widely used.
  • One embodiment of the present invention has been made in view of the above problems, and an object thereof is to improve the appearance of an image not only for image data representing a monochrome image but also for image data representing a color image.
  • An image processing apparatus capable of performing the image processing is provided.
  • an image processing device responds to at least one piece of pixel information included in each of a plurality of pixel blocks defined by dividing an image into a plurality of regions.
  • An evaluation unit that evaluates an attribute relating to at least one of luminance, hue, and saturation of each pixel block;
  • a process determining unit that determines a processing content to be performed on each of the at least one pixel information according to an evaluation result of the evaluation unit;
  • An image processing unit that performs processing corresponding to the processing content for each of the at least one piece of pixel information.
  • Image processing for improving the appearance of an image can be performed not only on image data representing a monochrome image but also on image data representing a color image.
  • FIG. 1 is a block diagram of a digital camera including an image processing apparatus according to a first embodiment of the present invention.
  • 3 is a flowchart showing a flow of processing in the image processing apparatus shown in FIG. 1.
  • FIG. 2 is a plan view of an image divided into m rows and n columns by an image dividing unit provided in the image processing apparatus shown in FIG. 1.
  • (A) to (c) show examples of luminance histograms of pixel blocks divided by the image dividing unit included in the image processing apparatus shown in FIG.
  • (b) is a graph which respectively shows an example of the tone curve which the image processing part with which the image processing apparatus shown in FIG. 1 is provided selects.
  • FIG. 1 is a block diagram of a digital camera including an image processing apparatus according to a first embodiment of the present invention.
  • 3 is a flowchart showing a flow of processing in the image processing apparatus shown in FIG. 1.
  • FIG. 2 is a plan view of an image divided into m rows and n columns by an image dividing
  • FIG. 3 is an enlarged plan view of each image block showing an example of processing content determined by a processing determination unit included in the image processing apparatus shown in FIG. 1. It is an enlarged plan view of each image block showing another example of the processing content determined by the processing determination unit provided in the image processing apparatus shown in FIG. (A) is a graph showing the amount of saturation parameters in the case where only the processing for increasing the saturation without performing the boundary processing is performed on the image block of i rows shown in FIG. (B) to (e) are graphs showing the saturation parameter amounts when the i-th image block shown in FIG. 7 is subjected to the processing for increasing the saturation while performing the boundary processing.
  • (A) is an image represented by pixel information acquired by the image processing apparatus shown in FIG.
  • FIG. (B) is an image represented by pixel information after image processing is performed by the image processing apparatus shown in FIG. (C) is an image represented by pixel information after image processing is performed by the image processing apparatus of the comparative example.
  • It is a block diagram of a digital camera including an image processing apparatus according to a third embodiment of the present invention. It is a flowchart which shows the flow of a process in the image processing apparatus shown in FIG. FIG.
  • FIG. 12 is a plan view of a screen showing a pixel block group associated with a predetermined type of subject by a detection unit provided in the image processing apparatus shown in FIG. 11.
  • A is an image represented by pixel information acquired by the image processing apparatus shown in FIG.
  • B is an image represented by pixel information after image processing is performed by the image processing apparatus shown in FIG.
  • FIG. 1 is a block diagram of the digital camera 1.
  • FIG. 2 is a flowchart showing the flow of processing in the image processing apparatus 11.
  • FIG. 3 is a plan view of the image 51 divided into m rows and n columns by the image dividing unit 12 included in the image processing apparatus 11.
  • 4A to 4C show examples of luminance histograms of pixel blocks divided by the image dividing unit 12 included in the image processing apparatus 11, respectively.
  • 5A and 5B are graphs showing examples of tone curves selected by the image processing unit 15 included in the image processing apparatus 11, respectively. 6 to 9 will be described later.
  • the digital camera 1 includes an image processing device 11, an imaging unit 21, a display unit 31, and a storage unit 41.
  • the imaging unit 21 includes a color filter group in which red, green, and blue color filters are arranged in a matrix, an image sensor in which photoelectric conversion elements are arranged in a matrix, and an analog / digital converter (A / D converter). ).
  • the imaging unit 21 photoelectrically converts the light intensity of each of the red, green, and blue components transmitted through the color filter group at the same timing into an electrical signal, and then converts the electrical signal from an analog signal to a digital signal and outputs the electrical signal. To do. That is, the imaging unit 21 outputs color pixel information representing an image formed by light of red, green, and blue components incident at the same timing.
  • Examples of the imaging unit 21 include a CCD (Charge Coupled Devices) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CCD Charge Coupled Devices
  • CMOS Complementary Metal Oxide Semiconductor
  • the image processing apparatus 11 acquires the image data generated by the imaging unit 21, and performs processing on the pixel information constituting the image data in order to improve the appearance of the image represented by the image data.
  • the image processing apparatus 11 outputs the image data configured by the processed pixel information to the display unit 31 and the storage unit 41.
  • the display unit 31 displays an image represented by the image data processed by the image processing apparatus 11.
  • Examples of the display unit 31 include a liquid crystal display device (LCD, “Liquid” Crystal “Display”).
  • the storage unit 41 is a storage medium that stores image data configured by pixel information processed by the image processing apparatus 11, and includes a main storage unit and an auxiliary storage unit.
  • the main memory unit is composed of RAM (random access memory).
  • Examples of the auxiliary storage unit include a hard disk drive (HDD, Hard Disk Drive) or a solid state drive (SSD, Solid State Drive).
  • the main storage unit is a storage unit that develops the image processing program stored in the auxiliary storage unit.
  • the main storage unit can also be used to temporarily store pixel information processed by the image processing apparatus 11.
  • the auxiliary storage unit stores the image processing program as described above and stores pixel information processed by the image processing apparatus 11 in a non-volatile manner.
  • the imaging unit 21, the display unit 31, and the storage unit 41 can be realized using existing technology. Below, the structure of the image processing apparatus 11 and the process which the image processing apparatus 11 implements are demonstrated.
  • the image processing apparatus 11 includes an image dividing unit 12, an evaluating unit 13, a process determining unit 14, an image processing unit 15, and a process correcting unit 16.
  • the image processing unit 15 and the processing correction unit 16 are an image processing unit and a processing correction unit described in the claims, respectively.
  • the image processing method performed by the image processing apparatus 11 includes step S11, step S12, step S13, step S14, and step S15.
  • Step S11 is a step of acquiring image data.
  • Step S12 is a step of dividing the image data into a plurality of pixel blocks.
  • Step S13 is a step of evaluating the contrast of each pixel block.
  • Step S14 is a step of determining the processing content to be applied to each pixel information in each pixel block.
  • Step S15 is a step of performing processing on each pixel information in each pixel block.
  • the image dividing unit 12 acquires image data representing the color image 51 from the imaging unit 21 and divides the image data representing the image 51 into a plurality of pixel blocks arranged in m rows and n columns (see FIG. 3). In other words, the image dividing unit 12 performs Step S11 and Step S12. Each pixel block is composed of a plurality of pixels arranged in a matrix along the vertical and horizontal directions.
  • M and n which are the number of divisions into a plurality of pixel blocks, are each a positive integer.
  • the pixel block located in i row and j column is also referred to as a block (i, j).
  • i is an arbitrary integer of 1 to m
  • j is an arbitrary integer of 1 to n.
  • Block (i, j) is a generalized notation of a plurality of divided pixel blocks.
  • the image data representing the color image 51 represents the color corresponding to each pixel using pixel information, that is, the light intensity (gradation value) of each component of red, green, and blue.
  • the pixel information processed by the image processing device 11 is not limited to the pixel information configured by the R signal, the G signal, and the B signal that respectively represent the gradation values of the three colors red, green, and blue.
  • the pixel information processed by the image processing apparatus 11 is composed of an R signal, a G signal, a B signal, and a Ye signal that represent gradation values of four colors obtained by adding yellow to red, green, and blue, respectively. It may be configured by a Y signal representing luminance and two signals (U signal, V signal) representing color difference.
  • the block (i, j) preferably has 50 to 300 pixels in the vertical direction and 50 to 300 pixels in the horizontal direction.
  • the number of pixels in the vertical direction of the block (i, j) is obtained by dividing the number of vertical pixels of the image by m, which is the number of divisions corresponding to the row direction.
  • the number of pixels in the horizontal direction of the block (i, j) is obtained by dividing the number of pixels in the horizontal direction of the image by n, which is the number of divisions corresponding to the column direction.
  • the number of pixels in the vertical direction and the number of pixels in the horizontal direction may be equal to each other or different from each other.
  • the block (i, j) When the number of pixels included in the block (i, j) is too small, that is, when the number of pixels in the vertical direction and the number of pixels in the horizontal direction of the block (i, j) is less than 50, the block (i, j) It is difficult to determine what features are included in the. As a result, the optimum processing content may not be selected. On the other hand, when the number of pixels included in the block (i, j) is too large, that is, when the number of pixels in the vertical direction and the number of pixels in the horizontal direction of the block (i, j) exceeds 300, the block (i, j ) Tend to include various features. As a result, the optimum processing content may not be selected.
  • Suitable for improving the appearance of the image by dividing the image indicated by the image data into a plurality of pixel blocks so that the number of pixels in the vertical direction and the number of pixels in the horizontal direction are within the range of 50 to 300. Processing contents can be selected.
  • the evaluation unit 13 determines the luminance, hue, and saturation of the block (i, j) according to each of at least one piece of pixel information included in the block (i, j). The attribute relating to at least one of them is evaluated.
  • the evaluation unit 13 evaluates the contrast, which is an attribute relating to luminance, for all the blocks (i, j). In other words, the evaluation unit 13 performs step S13.
  • the evaluation unit 13 acquires a luminance histogram in each of at least one piece of pixel information included in the block (i, j) (see (a) to (c) of FIG. 4). Further, the evaluation unit 13 determines the minimum value (minimum gradation), the maximum value (maximum gradation), and the average value (average gradation) of the pixel information included in the block (i, j) from the luminance histogram. Then, a gradation difference ⁇ g which is a difference between the minimum value and the maximum value is derived.
  • 4A to 4C show a solid line indicating the minimum value, the maximum value, and the average value, and an arrow indicating the gradation difference ⁇ g, respectively.
  • the evaluation unit 13 evaluates the contrast level of each pixel block according to the average value and gradation difference ⁇ g of each pixel block. For example, (1) when the average value of the block (i, j) is in the range of 64 or more and 192 or less and the gradation difference ⁇ g is less than 128, the evaluation unit 13 determines the contrast of the block (i, j).
  • the evaluation unit 13 When the evaluation is “low” and (2) the average value of the block (i, j) is in the range of 64 or more and 192 or less and the gradation difference ⁇ g is 128 or more and less than 192, the evaluation unit 13 If the contrast of i, j) is evaluated as “high” and (3) the average value of the block (i, j) is in the range of 64 to 192 and the gradation difference ⁇ g is 192 or more, the evaluation unit 13 evaluates the contrast of block (i, j) as “too high”.
  • FIG. 4 shows an example of a luminance histogram of a block (i, j) evaluated as having a low contrast.
  • FIG. 4B shows an example of a luminance histogram of a block (i, j) evaluated as having a high contrast.
  • FIG. 4C shows an example of a luminance histogram of the block (i, j) evaluated that the contrast is too high.
  • standard which the evaluation part 13 evaluates the contrast level of a block (i, j) is not limited to the reference
  • the evaluation unit 13 may be configured as follows. (1) The ratio of the number of pixels less than the first predetermined gradation and the ratio of the number of pixels greater than or equal to the second predetermined gradation to the total number of pixels included in the block (i, j) are both predetermined. When the ratio is equal to or greater than the ratio, the evaluation unit 13 evaluates the contrast of the block (i, j) as “high”.
  • the evaluation unit 13 evaluates the contrast of the block (i, j) as “low”.
  • the second predetermined gradation number is a gradation number larger than the first predetermined gradation number.
  • the processing determination unit 14 determines the processing content to be performed on each piece of pixel information included in the block (i, j) according to the evaluation result of the evaluation unit 13. In other words, the process determination unit 14 performs step S14. In the present embodiment, the process determining unit 14 determines the amount by which the contrast of the block (i, j) is changed according to the contrast level of the block (i, j) evaluated by the evaluating unit 13.
  • the amount of change in contrast which is the processing content in the present embodiment, is represented by, for example, an integer of ⁇ 30 to 30.
  • the process determination unit 14 selects an amount of change in contrast to be applied to each piece of pixel information of the block (i, j) from the range of ⁇ 30 to 30 according to the evaluation result of the evaluation unit 13. .
  • the process determination unit 14 selects “+30” as the amount by which the contrast is changed. For the block (i, j) evaluated as “high” by the evaluation unit 13, the process determination unit 14 selects “+10” as the amount of change in contrast. For the block (i, j) for which the contrast is evaluated as “too high” by the evaluation unit 13, the processing determination unit 14 selects “ ⁇ 20” as the amount by which the contrast is changed.
  • the image processing unit 15 that is an image processing unit performs processing corresponding to the processing content determined by the processing determination unit 14 for each piece of pixel information included in the block (i, j). That is, the image processing unit 15 adjusts the output level of each piece of pixel information included in the block (i, j) so as to correspond to the amount of change in contrast determined by the processing determination unit 14. In other words, the image processing unit 15 performs Step S15.
  • each tone curve associated with each amount of contrast change is determined in advance.
  • Each tone curve is stored in the storage unit 41, for example.
  • the image processing unit 15 is included in the block (i, j) so as to correspond to the amount of change in contrast by selecting a tone curve associated with the amount of change in contrast determined by the processing determination unit 14. The output level of each pixel information is adjusted.
  • the tone curve indicated by a broken line in FIG. 5A is a tone curve that is employed when the amount of change in contrast is “0”, that is, when the contrast is not changed.
  • the image processing unit 15 selects a tone curve indicated by a solid line in FIG. 5A and adjusts each piece of pixel information included in the block (i, j), whereby the contrast of the block (i, j) is adjusted. Is enhanced.
  • each tone curve associated with each amount of contrast change can be appropriately determined by the designer when designing the image processing apparatus 11.
  • the tone curve associated with the amount “+30” for changing the contrast is not limited to the tone curve shown in FIG. 5A.
  • the tone curve shown in FIG. It may be a tone curve. That is, the amount by which the output level is decreased in the region where the input level is low may be different from the amount by which the output level is increased in the region where the input level is high.
  • the image processing apparatus 11 evaluates contrast, which is an attribute related to the luminance of the block (i, j), according to each of at least one piece of pixel information included in the block (i, j). In addition, the image processing apparatus 11 determines the processing content to be applied to each of at least one pixel information included in the block (i, j) according to the evaluation result, and performs the processing according to the processing content in the block (i, j). This is applied to each of at least one piece of pixel information included in j).
  • the image processing apparatus 11 is configured to evaluate either the hue or saturation attribute of the block (i, j) according to each of at least one piece of pixel information included in the block (i, j). May be.
  • each of the evaluation unit 13, the processing determination unit 14, and the image processing unit 15 Should be configured as follows.
  • the evaluation unit 13 determines the saturation of the block (i, j) according to the pixel information included in the block (i, j).
  • the process determination unit 14 determines an amount for changing the saturation of the block (i, j) according to the saturation of the block (i, j) evaluated by the evaluation unit 13.
  • the image processing unit 15 adjusts the output level of each piece of pixel information included in the block (i, j) so as to correspond to the amount of change in the saturation determined by the processing determination unit 14.
  • the evaluation unit 13 evaluates the saturation of each pixel information as an integer from 0 to 100 according to the pixel information included in the block (i, j).
  • the evaluation unit 13 calculates the average saturation of the block (i, j) by averaging the saturation of each pixel information included in the block (i, j).
  • the evaluation unit 13 evaluates the saturation of the block (i, j) as “low”.
  • the process determination unit 14 determines an amount for changing the saturation of the block (i, j) according to the evaluation result of the evaluation unit 13. For example, for the block (i, j) evaluated as “low” by the evaluation unit 13, the process determination unit 14 selects “+20” as the amount to change the saturation.
  • any one of the existing methods is appropriately selected. That's fine.
  • the method for changing the saturation include the following three methods. (1) A method of converting RGB signals into YCbCr signals, then multiplying the YCbCr signals by a coefficient, and reversely converting the YCbCr signals into RGB signals again. (2) A method using L * a * b * space. (3) A method of simply multiplying each RGB signal by a coefficient as in the following expression (1).
  • R input , G input , and B input respectively indicate the gradation values of the pixel information before changing the saturation
  • R output , G output , and B output respectively change the saturation.
  • the gradation value of the pixel information after this is shown, and the matrix of 3 rows and 3 columns shows the coefficients.
  • the image processing unit 15 changes the saturation of the block (i, j) in accordance with the amount of change of the saturation determined by the processing determination unit 14. In this manner, each of the plurality of pieces of pixel information included in the block (i, j) is adjusted.
  • the evaluation unit 13 determines the brightness of the block (i, j) according to at least one piece of pixel information included in the block (i, j).
  • the process determination unit 14 determines an amount to change the lightness of the block (i, j) according to the lightness of the block (i, j) evaluated by the evaluation unit 13.
  • the image processing unit 15 adjusts each of at least one piece of pixel information included in the block (i, j) so as to correspond to the amount of change in lightness determined by the processing determination unit 14.
  • the brightness is redefined using a relational expression different from luminance based on the gradations of red, green, and blue. Therefore, lightness is one of the attributes related to luminance.
  • the evaluation unit 13 determines the hue of the block (i, j) according to at least one piece of pixel information included in the block (i, j).
  • the process determination unit 14 determines an amount to change the hue of the block (i, j) according to the hue of the block (i, j) evaluated by the evaluation unit 13.
  • the image processing unit 15 adjusts each of at least one piece of pixel information included in the block (i, j) so as to correspond to the amount by which the hue determined by the processing determination unit 14 is changed.
  • the evaluation unit 13 evaluates whether the hue of the block (i, j) is a skin color according to each piece of pixel information included in the block (i, j). That is, the evaluation unit 13 determines that each piece of pixel information included in the block (i, j) has a red gradation value in a range of 220 to less than 250 and a green gradation value of 170 to less than 220. And whether the blue tone value is within the range of 130 or more and less than 220 is evaluated.
  • the process determining unit 14 determines to smooth the hue of the block (i, j), for example. Alternatively, when it is evaluated that the hue of the block (i, j) is a skin color, the processing determination unit 14 does not change the hue of the block (i, j), that is, a plurality of blocks included in the block (i, j). It may be determined not to process the pixel information.
  • each of the evaluation unit 13 and the processing determination unit 14 may be configured as follows.
  • the evaluation unit 13 evaluates whether or not the block (i, j) satisfies a predetermined condition in accordance with each of at least one piece of pixel information included in the block (i, j).
  • the processing determination unit 14 does not perform processing on each of at least one piece of pixel information included in the block (i, j) as the processing content. To decide.
  • the existing method is similar to the case of changing the saturation. Any one of the methods may be selected as appropriate.
  • the method (1) after converting the color of each pixel information represented by each RGB signal into L * a * b * space, (2) the chromaticity (a * And b * ) are smoothed, and (3) a method of inversely converting the color of each piece of smoothed pixel information from the L * a * b * space into RGB signals.
  • the image processing unit 15 each of the plurality of pieces of pixel information included in the block (i, j) so as to smooth the hue of the block (i, j). Adjust.
  • the image processing apparatus 11 may be configured to evaluate the combination of at least two of the luminance (contrast), hue, and saturation attributes of the block (i, j).
  • the evaluation unit 13 determines that the block (i, j) is a single color or an achromatic color according to each piece of pixel information included in the block (i, j). It is evaluated whether it is only. That is, the evaluation unit 13 evaluates whether or not each piece of pixel information included in the block (i, j) has a constant luminance and each gradation value of red, green, and blue is constant.
  • the processing determination unit 14 determines not to perform processing on each piece of pixel information included in the block (i, j). .
  • FIG. 6 shows an example of processing contents determined by combining and evaluating attributes related to at least one of luminance, hue, and saturation.
  • FIG. 6 is an enlarged plan view of each image block showing an example of the processing content determined by the processing determination unit 14.
  • the image processing apparatus 11 can perform fine processing for each block (i, j) according to the feature of the block (i, j).
  • the processing content performed by the image processing apparatus 11 may include edge enhancement processing as described in block (3, 3).
  • FIG. 7 Another example of the processing content determined by the processing determination unit 14 is shown in FIG. As illustrated in FIG. 7, the process determination unit 14 selects “+20” as the amount of change in the saturation for the block (i, j), and the adjacent block (maximum block) surrounding the block (i, j). Blocks (i ⁇ 1, j ⁇ 1), (i ⁇ 1, j), (i ⁇ 1, j + 1), (i, j ⁇ 1), (i, j + 1), (i + 1, j) that are adjacent blocks) -1), (i + 1, j), (i + 1, j + 1) is selected not to be processed.
  • the block (i, j) corresponds to the first pixel block described in the claims.
  • the blocks (i-1, j-1), (i-1, j), (i-1, j + 1), (i, j-1), (i, j + 1), (i + 1, j-1) , (I + 1, j), (i + 1, j + 1) correspond to the second pixel block recited in the claims.
  • FIG. 8A is a graph showing the amount of change in saturation determined for the blocks (i, j ⁇ 1), (i, j), and (i, j + 1) shown in FIG. .
  • FIG. 7 when the processing according to the processing content shown in FIG. 7 is performed on each piece of pixel information representing the image 51, there is a clear saturation difference at the boundary between the block (i, j) and the adjacent block. It may be recognized by the user. As a result, the user may feel that the image represented by the image data including the pixel information subjected to the processing according to the processing content is unnatural.
  • the processing correction unit 16 which is the processing correction unit described in the claims, performs processing contents (first processing contents) applied to the block (i, j) and processing contents (second processing) performed to the adjacent blocks.
  • the processing content is corrected at least one of them.
  • the processing correction unit 16 causes continuity between the effect of the first processing content and the effect of the second processing content (smoothly the first processing content and the second processing content). Connect).
  • the process correction unit 16 can reduce the possibility that the user recognizes the saturation difference as described above.
  • the mode of smoothly connecting the first processing content and the second processing content is not limited, but may be the modes shown in FIGS. 8B to 8E, for example.
  • (B) to (e) of FIG. 8 show saturation parameters when the processing for increasing the saturation is performed on the block (i, j) and the adjacent blocks shown in FIG. 7 while performing the boundary processing. It is a graph which shows quantity.
  • the amount of change in the saturation for the adjacent block is kept within the range of the adjacent block while the amount of change in the saturation for the block (i, j) is “+20”. Decrease linearly to zero. As a result, the mode shown in FIG. 8B eliminates the discontinuity of the amount that changes the saturation that can occur in the vicinity of the boundary between the block (i, j) and the adjacent block.
  • the amount of change in the saturation for the adjacent block is kept within the range of the adjacent block while the amount of change in the saturation for the block (i, j) is kept at “+20”. Decrease to 0 in a quadratic curve. Thereby, the mode shown in (c) of FIG. 8 eliminates the discontinuity of the amount that changes the saturation that may occur near the boundary between the block (i, j) and the adjacent block.
  • the amount of change in saturation is reduced in a quadratic curve as in the mode shown in (c) of FIG. , J) is different from the mode shown in (c) of FIG. 8 in that the amount of change in saturation is reduced from the vicinity of the outer edge.
  • the saturation is changed while the amount of change in the saturation for the block (i, j) is set to “+20”, similarly to the mode shown in (b) of FIG. 8.
  • the amount to be reduced is linearly reduced to zero.
  • the aspect shown in (b) of FIG. 8 is that the amount of gradually changing the saturation is decreased using not only the most adjacent block (adjacent block) but also the next adjacent block surrounding the outer periphery of the most adjacent block. And different.
  • the configuration of the image processing apparatus 11 has been described by taking an example in which the image processing apparatus 11 performs image processing on image data representing a color image.
  • the image data processed by the image processing apparatus 11 is not limited to image data representing a color image, and may be image data representing a monochrome image.
  • Image data representing a monochrome image is composed of a signal representing a monochrome (for example, white) gradation value.
  • the monochrome gradation value can also be interpreted as luminance. Therefore, the image processing apparatus 11 can perform the process according to the luminance of the block (i, j) among the processes described above on the image data representing the monochrome image. That is, the image processing apparatus 11 can be applied to both image data representing a monochrome image and image data representing a color image.
  • the inventors of the present application have found that the appearance of an image cannot be sufficiently improved only by a tether process performed by the image processing apparatus described in Patent Document 1 on a block determined to be a grayscale image area.
  • the image processing device described in Patent Document 1 is applied to a natural image (for example, an image taken using a camera), the image processing device cannot improve the appearance of the natural image.
  • the image processing apparatus 11 can perform fine contrast adjustment according to the contrast of the block (i, j), it can further improve the appearance of the image as compared with the image processing apparatus described in Patent Document 1. I found out that I can.
  • the image processing apparatus 11 can be suitably used for image data representing a natural image.
  • the image processing apparatus 11 has been described using the digital camera 1 as an example of an image display apparatus.
  • the image display device including the image processing device 11 is not limited to a digital camera.
  • the image display device may be any device that is assumed to automatically perform processing on pixel information constituting the transferred image data, for example.
  • the image display device may be, for example, a display device (including a television receiver) such as a printer or an LCD, or a smartphone equipped with an imaging unit.
  • the above-described functions of the image processing apparatus 11 may be implemented in a specific mode (for example, “clean mode” or “bruise mode”) provided in the printer.
  • each control block (the image dividing unit 12, the evaluation unit 13, the process determining unit 14, the image processing unit 15, and the process correcting unit 16) of the image processing apparatus 11 is realized by software
  • the software is for personal computers. It may be for smartphones (so-called apps).
  • one embodiment of the present invention is also suitable when image data captured by an imaging unit included in a smartphone is automatically developed. Since smartphones are not supposed to store RAW data, there are many cases where gradation collapse and gradation loss occur when image data is first stored. By applying the image processing apparatus 11, it is possible to suppress the occurrence of gradation collapse and gradation loss.
  • FIG. 9 shows the result of processing the image data representing the image generated by the imaging unit 21 using the image processing apparatus 11 of the present embodiment.
  • FIG. 9A shows an image 51 represented by the image data acquired by the image processing apparatus 11. That is, the image 51 is an image represented by image data that has not been processed.
  • FIG. 9B shows an image 52 represented by image data after image processing is performed by the image processing apparatus 11.
  • FIG. 9C shows an image 152 represented by image data after being subjected to image processing by the image processing apparatus of the comparative example.
  • the image processing apparatus of the comparative example is configured to uniformly process all of the pixel information constituting a plurality of image data representing an image.
  • Image 51 is a picture of a child in a flower garden.
  • the image processing apparatus 11 is configured to perform a process of increasing the saturation of an area considered to have a bright color such as a flower or the sky.
  • the face color of the child was also changed as a result of uniformly increasing the saturation on all of the pixel information constituting the image data representing the image 51 ((c in FIG. 9). )reference). That is, it has been found that it is difficult for the image processing apparatus of the comparative example to improve the appearance of the image 51.
  • the image processing apparatus 11 divides image data representing an image into a plurality of blocks (i, j), and then includes processing contents according to the attributes of each block (i, j) in each block (i, j). Can be applied to each of the pixel information. Specifically, depending on the attribute of each block (i, j), it is possible to finely select the processing contents such as increasing the contrast, increasing the saturation, and not performing the processing.
  • the image processing device 11 increases the saturation of the block (i, j) included in the region considered to be a flower and is included in the region considered as a child's face color.
  • the image data representing the image 52 in which the discoloration of the block (i, j) to be suppressed is suppressed can be generated. That is, the image processing apparatus 11 can improve the appearance of the image.
  • FIG. 10 is an enlarged plan view of an image 51 showing a range of pixel blocks to be evaluated when the evaluation unit 13 included in the image processing apparatus 11 according to the present embodiment evaluates the attribute of the block (i, j). is there.
  • the configuration of the image processing apparatus 11 according to the present embodiment can be obtained by modifying the process performed by the evaluation unit 13 and the process determination unit 14 included in the image processing apparatus 11 according to the first embodiment. Therefore, in this embodiment, the content of the process which the evaluation part 13 and the process determination part 14 implement is demonstrated.
  • the image dividing unit 12, the image processing unit 15, and the processing correction unit 16 included in the image processing apparatus 11 according to the present embodiment are the units included in the image processing apparatus 11 according to the first embodiment. It is configured in the same way.
  • ⁇ Evaluation unit 13 In addition to each piece of pixel information, each piece of at least one piece of pixel information included in the block (i, j) surrounding the block (i, j) is also considered.
  • the nearest neighbor block 512 surrounding the periphery of the block 511 that is the block (i, j) is composed of eight pixel blocks, and the next neighbor block 513 surrounding the nearest neighbor block 512 is 16 pieces. It consists of pixel blocks.
  • the evaluation unit 13 is configured to evaluate the attribute of the block (i, j) according to all the pixel information included in the block 511 and the nearest neighbor block 512. Alternatively, the evaluation unit 13 may be configured to evaluate the attribute of the block (i, j) according to all the pixel information included in the block 511, the nearest neighbor block 512, and the next neighbor block 513. Good.
  • a case where the evaluation unit 13 evaluates the attribute of the block (i, j) according to all the pixel information included in the block 511 and the nearest neighbor block 512 will be described as an example. Further, the case where the evaluation unit 13 evaluates the brightness that is one of the attributes of the block (i, j) will be described as an example.
  • the evaluation unit 13 evaluates the brightness of each pixel information as an integer between 0 and 100 according to the pixel information included in the block 511.
  • the evaluation unit 13 calculates the average brightness of the block 511 by averaging the brightness of each pixel information included in the block 511. Further, the evaluation unit 13 evaluates the brightness of each pixel information as an integer of 0 or more and 100 or less according to the pixel information included in the nearest neighbor block 512, and calculates the average brightness of the nearest neighbor block 512.
  • the evaluation unit 13 calculates a lightness difference ⁇ b that is a difference between the average lightness of the nearest neighbor block 512 and the average lightness of the block 511, and when the lightness difference ⁇ b is +10 or more and less than +30, Evaluates as “higher than the nearest block”.
  • the process determination unit 14 determines the amount by which the lightness of the block 511 is changed according to the evaluation result of the evaluation unit 13. For example, for the pixel information included in the block 511 whose brightness is evaluated as “higher than the nearest block” by the evaluation unit 13, the process determination unit 14 selects “+30” as the amount by which the brightness is changed. In addition, the process determination unit 14 determines not to perform the process on the pixel information included in the block 511 evaluated by the evaluation unit 13 as having a brightness other than “higher than the nearest neighbor block”.
  • the image processing apparatus 11 can improve the appearance of the image 51.
  • the evaluation unit 13 and the processing determination unit 14 may be configured as follows.
  • the evaluation unit 13 evaluates the hue of each pixel information as an integer between ⁇ 180 and 180 in accordance with each piece of pixel information included in the block 511, and the saturation of each pixel information is between 0 and 100 Is evaluated as an integer.
  • the evaluation unit 13 calculates the average hue and average saturation of the block 511 by averaging the hue and saturation of each pixel information included in the block 511.
  • the evaluation unit 13 evaluates the hue of each pixel information as an integer of ⁇ 180 or more and 180 or less according to the plurality of pixel information included in the nearest neighbor block 512, and sets the saturation of each pixel information. Evaluation is made as an integer of 0 to 100.
  • the evaluation unit 13 calculates the average hue and average saturation of the nearest neighbor block 512 by averaging the hue and saturation of each pixel information included in the nearest neighbor block 512.
  • the evaluation unit 13 calculates a hue difference ⁇ h that is a difference between the average hue of the nearest block 512 and the average hue of the block 511.
  • a hue difference ⁇ h is ⁇ 10 or more and +10 or less
  • the average saturation of the block 511 and the average saturation of the nearest neighbor block 512 are both 20 or more and less than 50
  • the evaluation unit 13 It is evaluated that the color of the nearest block 512 is “same” and the saturation is “low”.
  • the process determination unit 14 determines an amount to change the saturation of the block 511 according to the evaluation result of the evaluation unit 13. For example, when the evaluation unit 13 evaluates that the color of the block 511 and the color of the nearest neighbor block 512 are “same” and the saturation is “low”, each of the blocks 511 and the nearest neighbor block 512 includes For the pixel information, the process determination unit 14 selects “+20” as the amount by which the saturation is changed.
  • the processing determination unit 14 evaluates the saturation with respect to each piece of pixel information included in the block 511. Select the amount to change the saturation depending on the result.
  • FIG. 11 is a block diagram of the image processing apparatus 111 and the digital camera 101 including the image processing apparatus 111.
  • FIG. 12 is a flowchart showing the flow of processing in the image processing apparatus 111.
  • FIG. 13 is a plan view of a screen showing pixel block groups associated with a predetermined type of subject by the detection unit 117 included in the image processing apparatus 111.
  • FIG. 14A shows an image 151 represented by image data acquired by the image processing apparatus 111.
  • FIG. 14B shows an image 152 represented by image data composed of pixel information after image processing is performed by the image processing apparatus 111.
  • the image processing apparatus 111 includes an image dividing unit 112, an evaluation unit 113, a process determining unit 114, an image processing unit 115, a process correcting unit 116, and a detecting unit 117.
  • the image processing device 111 is obtained by adding a detection unit 117 to the image processing device 11 according to the first embodiment.
  • the image division unit 112, the evaluation unit 113, the processing determination unit 114, the image processing unit 115, and the processing correction unit 116 are respectively an image division unit 12, an evaluation unit 13, a processing determination unit 14, and The configuration is the same as that of the image processing unit 15 and the processing correction unit 16.
  • the image processing method performed by the image processing apparatus 111 includes step S111, step S112, step S113, step S114, step S115, step S116, and step S117.
  • Step S111 is a step of acquiring image data.
  • Step S112 is a step of dividing the image data into a plurality of pixel blocks.
  • Step S113 is a step of evaluating the contrast of each pixel block.
  • Step S114 is a step of detecting a pixel block group associated with a predetermined type.
  • Step S115 is a step of evaluating the attributes of the pixel blocks forming the pixel block group.
  • Step S116 is a step of determining the processing content to be applied to each pixel information.
  • Step S117 is a step of processing each pixel information. Steps S111 to S113 and steps S116 to S117 correspond to steps S11 to S15 shown in FIG. 2, respectively.
  • the detection unit 117 detects a pixel block group that is a group of pixel blocks formed by collecting blocks (i, j) adjacent to each other and associated with a predetermined type of subject. That is, the detection unit 117 performs step S114.
  • the detection unit 117 is a pixel block group formed by a set of blocks (i, j) adjacent to each other and detects a pixel block group associated with a predetermined type of subject. Use object detection algorithms and deep learning.
  • the detection unit 117 detects the face area 1511, the flower area 1512, and the shadow area 1513 included in the image 151 as a pixel block group.
  • the face region 1511 is a pixel block group associated with the face of the subject (child)
  • the flower region 1512 is a pixel block group associated with the subject (flower)
  • the shadow region 1513 is superimposed on the subject (flower).
  • This is a pixel block group associated with the shadow of the photographer.
  • the predetermined type of subject in the present embodiment is not limited to a real object such as a person or a flower, but is an image represented by the intensity of light generated by projecting light like a shade. including.
  • the evaluation unit 113 determines the luminance, hue, and saturation of the block (i, j) according to each piece of pixel information included in the block (i, j) that forms the face area 1511, the flower area 1512, and the shadow area 1513.
  • the attribute relating to at least one of them is evaluated.
  • the evaluation unit 113 performs step S115 in addition to step S113.
  • the process determining unit 114 calculates the attribute (contrast) of the block (i, j) forming the pixel block group evaluated in step S113 and the predetermined type associated with the pixel block group evaluated in step S115. In accordance with at least one of them, the processing content to be applied to each piece of pixel information included in the block (i, j) forming the pixel block group is determined. That is, the process determining unit 114 performs step S116.
  • the process determining unit 114 selects (1) nothing to do as the processing content when the predetermined subject is a face, and (2) changes the saturation as the processing content when the predetermined subject is a flower. An amount “+20” to be selected is selected, and (3) an amount “+30” to change the lightness is selected as the processing content when a predetermined subject is in shadow.
  • the evaluation according to the attribute of the pixel block described in the first embodiment is effective for extracting features common to a narrow range of an image.
  • the evaluation according to the attribute of the pixel block group associated with a predetermined type of subject described in the present embodiment is effective for extracting features common to a wide range of an image.
  • the appearance of the image can be improved more accurately by selecting the processing content in consideration of the features common to the narrow range and the features common to the wide range included in the image.
  • the detection unit 117 may be configured to associate the shadow region 1513 only with the shadow of the photographer, or may be configured to associate with both the shadow and the flower of the photographer.
  • the processing determination unit 114 is included in the block (i, j) forming the pixel block group based on the fact that the predetermined type is shadow. Processing contents to be applied to each pixel information are determined.
  • the processing determination unit 114 determines the blocks that form the pixel block group based on the fact that the predetermined type is the shade and the flower ( Processing contents to be applied to each pixel information included in i, j) are determined.
  • areas other than the face area 1511, the flower area 1512, and the shadow area 1513 are areas not associated with a predetermined type of subject.
  • the process determination unit 114 selects a predetermined process content for an area associated with a face, flower, shadow, or the like, which is a predetermined type of subject, and is not associated with the predetermined type of subject.
  • the processing content corresponding to the attribute of the block (i, j) may be selected for the region.
  • the process determining unit 114 may be configured to refer to metadata included in image data representing an image when selecting the processing content. For example, when the keyword “flower” is included in the metadata of the image 151, the image 151 is considered to be taken with attention paid to the flower. In this case, the process determining unit 114 may be configured to make only “flowers” out of predetermined types of subjects effective and ignore “faces”. In this way, the processing determination unit 114 can reflect the intention of the photographer in the contents of the image processing by referring to the keywords included in the metadata.
  • FIG. 14 shows a result of processing the image data representing the image generated by the imaging unit 21 using the image processing device 111.
  • FIG. 14A shows an image 151 represented by image data acquired by the image processing apparatus 111. That is, the image 151 is an image represented by image data that has not been processed.
  • FIG. 14B shows an image 152 represented by image data after image processing is performed by the image processing apparatus 111.
  • the image 151 is a picture of a child in the flower garden, similar to the image 51 shown in FIG. As described above, the shade of the photographer is superimposed on the flowers included in the image 151.
  • the image processing apparatus 111 is configured to perform a process of increasing the brightness of the region considered to be a shadow in addition to increasing the saturation of the region considered to have a vivid color. Has been.
  • the image processing apparatus 111 can suppress the influence of the shadow of the photographer superimposed on the flower. That is, the image processing apparatus 111 can improve the appearance of the image 151.
  • Each control block (the image dividing unit 12, the evaluation unit 13, the process determining unit 14, the image processing unit 15, and the process correcting unit 16) of the image processing apparatus 11 is a logic circuit (IC chip) or the like formed in an integrated circuit (IC chip) or the like. Hardware) or software using a CPU (Central Processing Unit).
  • the image processing apparatus 11 includes a CPU that executes instructions of a program that is software that realizes each function, and a ROM (Read Only Memory) in which the program and various data are recorded so as to be readable by the computer (or CPU).
  • a storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • an arbitrary transmission medium such as a communication network or a broadcast wave
  • one embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • the image processing device (11, 111) includes a pixel block (block (i, j)) defined by dividing the image (51, 151) into a plurality of regions.
  • An evaluation unit (13, 113) for evaluating an attribute relating to at least one of luminance, hue, and saturation of each pixel block (block (i, j)) according to at least one pixel information included;
  • a process determination unit (14, 114) that determines the processing content to be performed on each of the at least one pixel information, and for each of the at least one pixel information,
  • an image processing unit (15, 115) that performs processing according to the processing content.
  • this image processing apparatus performs the process according to the processing content according to each attribute of several pixel block (block (i, j)) to each pixel block (block). (I, j)) can be applied to each of at least one piece of pixel information. Therefore, it is possible to prevent color collapse or whiteout that may occur in the image (51, 151) after the processing.
  • the image processing apparatus (11, 111) can perform image processing for improving the appearance of an image not only for image data representing a monochrome image but also for image data representing a color image. .
  • the evaluation unit (13, 113) is configured so that each of the pixel blocks (block (i, 111)) corresponds to the at least one pixel information. j)), the processing determination unit (14, 114) evaluates each pixel block (block (i, j)) according to the contrast level evaluated by the evaluation unit (13, 113). )) To change the contrast, and the image processing unit (15, 115) corresponds to the contrast changing amount determined by the processing determination unit (14, 114). Each piece of pixel information may be adjusted.
  • the image processing apparatus (11, 111) determines the processing content according to the contrast that is an attribute related to the luminance among the attributes of the pixel block (block (i, j)). Accordingly, it is possible to reliably prevent color collapse or whiteout that may occur in an image after processing.
  • the evaluation unit (13) acquires a luminance histogram in the at least one pixel information, and (1) the luminance histogram
  • the level of the contrast of each pixel block (block (i, j)) is evaluated according to the average gradation and (2) the gradation difference between the minimum gradation and the maximum gradation of the luminance histogram, and the image
  • the processing unit (15) may be configured to select a tone curve associated with the amount of change in the contrast determined by the processing determination unit (14).
  • the image processing apparatus (11) appropriately evaluates the contrast of each pixel block (block (i, j)) and is included in each pixel block (block (i, j)).
  • the contrast of the plurality of pieces of pixel information can be adjusted appropriately.
  • the evaluation unit (13) is configured to output each pixel block (block) according to the at least one piece of pixel information. (I, j)) is determined, and the processing determination unit (14) determines the pixel block (block (i, j)) according to the saturation evaluated by the evaluation unit (13). An amount for changing the saturation is determined, and the image processing unit (15) includes each of the at least one piece of pixel information so as to correspond to the amount for changing the saturation determined by the processing determination unit (14). May be configured to adjust.
  • the evaluation unit (13) is configured so that each of the pixel blocks (blocks) corresponds to the at least one piece of pixel information. (I, j)) is evaluated, and the processing determination unit (14) determines the brightness of each pixel block (block (i, j)) according to the brightness evaluated by the evaluation unit (13). The amount to be changed is determined, and the image processing unit (15) adjusts each of the at least one piece of pixel information so as to correspond to the amount of change in the lightness determined by the processing determination unit (14). It may be configured as follows.
  • the evaluation unit (13) is configured to output each pixel block (block) according to the at least one pixel information. (I, j)) is evaluated, and the process determination unit (14) changes the hue of each pixel block (block (i, j)) according to the hue evaluated by the evaluation unit. And the image processing unit (15) adjusts each of the at least one piece of pixel information so as to correspond to the amount of change in the hue determined by the processing determination unit (14). May be.
  • the image processing apparatus (11) can perform each pixel block (block) instead of performing image processing according to the contrast level of each pixel block (block (i, j)).
  • (I, j)) may be configured to perform image processing according to any of saturation, brightness, and hue. Note that the brightness of each pixel block (block (i, j)) is obtained by re-expressing the luminance of each pixel block (block (i, j)) using a different definition.
  • the image processing device (111) is the pixel block group formed by aggregating a plurality of adjacent pixel blocks (block (i, j)) in any one of the above aspects 1 to 6. And a detection unit (117) for detecting a pixel block group associated with a predetermined type of subject, wherein the evaluation unit (113) includes at least one pixel block included in each pixel block group.
  • the attribute of each pixel block (block (i, j)) is evaluated according to pixel information, and the processing determination unit (114) determines the attribute according to at least one of the attribute and the predetermined type.
  • the processing contents to be applied to at least one piece of pixel information included in each pixel block (block (i, j)) forming the pixel block group may be determined.
  • Evaluation based on the attribute of each pixel block (block (i, j)) is effective for extracting features common to a narrow range of the image (151).
  • the evaluation according to the attribute of the pixel block group associated with a predetermined type of subject is effective for extracting features common to a wide range of the image (151).
  • the processing content can be selected in consideration of the features common to the narrow range and the features common to the wide range included in the image (151), so that the appearance of the image (151) can be selected. Can be improved more accurately.
  • the image processing device (11, 111) according to aspect 8 of the present invention obtains image data from the outside and displays an image indicated by the image data in the plurality of pixel blocks.
  • Each of the plurality of pixel blocks (block (i, j)) has a vertical pixel count and a horizontal pixel count of 50 or more and 300, respectively. It may be configured as follows.
  • the processing correction unit that corrects the processing content determined by the processing determination unit (14, 114). (16, 116), and the processing correction unit (16, 116) performs (1) a first pixel block (block (i, j)) which is one pixel block among the plurality of pixel blocks. And (2) second pixel blocks (blocks (i ⁇ 1, j ⁇ 1), (i ⁇ ) adjacent to the first pixel block (block (i, j)).
  • the processing content is corrected so as to smoothly connect the first processing content and the second processing content, and thus may occur in the image (51, 151) represented by the pixel information after processing. Unnaturalness can be eliminated.
  • the evaluation unit (13, 113) includes the pixel blocks (block (i, j)). ) At least one piece of pixel information included in the pixel block (block (i, j)) and at least an adjacent block surrounding the periphery of the pixel block (block (i, j)) ( Blocks (i-1, j-1), (i-1, j), (i-1, j + 1), (i, j-1), (i, j + 1), (i + 1, j-1), (i + 1, j), (i + 1, j + 1)) may be configured to evaluate the attribute in accordance with at least one piece of pixel information included in each.
  • the evaluation unit when evaluating the attribute of each pixel block (block (i, j)), the evaluation unit (13, 113) adds to each pixel block (block (i, j)) in addition to each pixel block (block (i, j)).
  • (I, j)) adjacent blocks (blocks (i-1, j-1), (i-1, j), (i-1, j + 1), (i, j-1), (i , J + 1), (i + 1, j ⁇ 1), (i + 1, j), (i + 1, j + 1)) may be considered.
  • the evaluation unit (13, 113) is configured to perform each of the above processes according to the at least one piece of pixel information. It is evaluated whether or not the pixel block (block (i, j)) satisfies a predetermined condition, and when each of the pixel blocks (block (i, j)) satisfies the predetermined condition, the processing determination unit ( 14, 114) may be configured to determine not to perform processing on the at least one piece of pixel information as the processing content.
  • a pixel block that should not be processed can be appropriately evaluated.
  • the digital camera (1) according to the aspect 12 of the present invention generates image data and the image processing apparatus (11, 111) according to any one of the aspects 1 to 11 and the image data. And an imaging unit (21) provided to the apparatus.
  • the digital camera (1) has the same effects as the image processing apparatus (11, 111) according to each aspect described above.
  • the image processing apparatus (11, 111) may be realized by a computer.
  • an image processing program of the image processing apparatus that causes the image processing apparatus to be realized by the computer by operating the computer as each unit included in the image processing apparatus, and a computer-readable recording medium that records the image processing program are also provided. It is included in the category of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

画像処理装置（１１）は、画像を複数の領域に分割することによって規定される複数の画素ブロックの各々に含まれる少なくとも１つの画素情報に応じて上記各画素ブロックの属性を評価する評価部（１３）と、評価部（１３）の評価結果に応じて上記少なくとも１つの画素情報の各々に対して施す処理内容を決定する処理決定部（１４）と、上記少なくとも１つの画素情報の各々に対して処理を施す画像処理部（１５）と、を備えている。

Description

画像処理装置、デジタルカメラ、画像処理プログラム、及び記録媒体
　以下の開示は、画像処理装置及び画像処理装置を備えたデジタルカメラに関する。また、画像処理装置としてコンピュータを機能させるための画像処理プログラム及び画像処理プログラムを記録した記録媒体に関する。
　画像の見栄えを向上させるために、画像を表すデジタル情報（デジタル信号）である画像データに対して自動的に画像処理を施すことがある。例えば、特許文献１には、（１）ＣＣＤ（Charge Coupled Device）を用いて原稿を光電変換することによって得られたモノクロの画像データを複数の画素からなるブロックに分割し、（２）分割した各ブロックが２値画像領域及び濃淡画像領域の何れであるかを判定し、（３）２値画像領域と判定されたブロックに対しては２値処理を施し、（４）濃淡画像領域と判定されたブロックに対してはティザ処理を施す画像処理装置が記載されている。
日本国公開特許公報「特開昭６４－６１１７０号公報」（１９８９年３月８日公開）
　しかしながら、特許文献１に記載された画像処理装置は、モノクロ画像を表す画像データを画像処理の対象としている。そのため、現在、広く普及しているカラーの画像データに対して用いることができない。
　本発明の一態様は、上記の課題に鑑みてなされたものであり、その目的は、モノクロ画像を表す画像データのみならずカラー画像を表す画像データに対しても、画像の見栄えを向上させるための画像処理を施すことができる画像処理装置を提供することである。
　上記の課題を解決するために、本発明の一態様に係る画像処理装置は、画像を複数の領域に分割することによって規定される複数の画素ブロックの各々に含まれる少なくとも１つの画素情報に応じて上記各画素ブロックの輝度、色相、及び彩度のうち少なくとも何れか１つに関する属性を評価する評価部と、
　上記評価部の評価結果に応じて、上記少なくとも１つの画素情報の各々に対して施す処理内容を決定する処理決定部と、
　上記少なくとも１つの画素情報の各々に対して、上記処理内容に応じた処理を施す画像処理部と、を備えている。
　モノクロ画像を表す画像データのみならずカラー画像を表す画像データに対しても、画像の見栄えを向上させるための画像処理を施すことができる。
本発明の第１の実施形態に係る画像処理装置を含むデジタルカメラのブロック図である。 図１に示した画像処理装置における処理の流れを示すフローチャートである。 図１に示した画像処理装置が備えている画像分割部によって、ｍ行ｎ列に分割された画像の平面図である。 （ａ）～（ｃ）は、それぞれ、図１に示した画像処理装置が備えている画像分割部によって分割された画素ブロックの輝度ヒストグラムの一例を示す。 （ａ）及び（ｂ）は、それぞれ、図１に示した画像処理装置が備えている画像処理部が選択するトーンカーブの一例を示すグラフである。 図１に示した画像処理装置が備えている処理決定部によって決定された処理内容の一例を示す、各画像ブロックの拡大平面図である。 図１に示した画像処理装置が備えている処理決定部によって決定された処理内容の他の一例を示す、各画像ブロックの拡大平面図である。 （ａ）は、図７に示したｉ行の画像ブロックに対して境界処理を施すことなく彩度を高める加工処理のみを施す場合における彩度パラメータ量を示すグラフである。（ｂ）～（ｅ）は、それぞれ、図７に示したｉ行の画像ブロックに対して境界処理を施しつつ彩度を高める加工処理を施した場合における彩度パラメータ量を示すグラフである。 （ａ）は、図１に示した画像処理装置が取得した画素情報が表す画像である。（ｂ）は、図１に示した画像処理装置によって画像処理を施されたあとの画素情報が表す画像である。（ｃ）は、比較例の画像処理装置によって画像処理を施されたあとの画素情報が表す画像である。 本発明の第２の実施形態に係る画像処理装置が備えている評価部がブロック（ｉ，ｊ）の属性を評価するときに評価する画素ブロックの範囲を示す拡大平面図である。 本発明の第３の実施形態に係る画像処理装置を含むデジタルカメラのブロック図である。 図１１に示した画像処理装置における処理の流れを示すフローチャートである。 図１１に示した画像処理装置が備えている検出部によって所定の種類の被写体に関連付けられた画素ブロック群を示す画面の平面図である。 （ａ）は、図１１に示した画像処理装置が取得した画素情報が表す画像である。（ｂ）は、図１１に示した画像処理装置によって画像処理を施されたあとの画素情報が表す画像である。
　〔第１の実施形態〕
　以下、本発明の第１の実施形態に係る画像処理装置１１、及び、画像処理装置１１を備えたデジタルカメラ１について、図１～図９を参照して説明する。
　図１は、デジタルカメラ１のブロック図である。図２は、画像処理装置１１における処理の流れを示すフローチャートである。図３は、画像処理装置１１が備えている画像分割部１２によって、ｍ行ｎ列に分割された画像５１の平面図である。図４の（ａ）～（ｃ）は、それぞれ、画像処理装置１１が備えている画像分割部１２によって分割された画素ブロックの輝度ヒストグラムの一例を示す。図５の（ａ）及び（ｂ）は、それぞれ、画像処理装置１１が備えている画像処理部１５が選択するトーンカーブの一例を示すグラフである。図６～図９については、後述する。
　（デジタルカメラ１の概要）
　図１に示すように、デジタルカメラ１は、画像処理装置１１と、撮像部２１と、表示部３１と、記憶部４１と、を備えている。
　撮像部２１は、赤、緑、青のカラーフィルタがマトリクス状に配列されてなるカラーフィルタ群と、光電変換素子がマトリクス状に配列されてなるイメージセンサと、アナログ／デジタルコンバータ（Ａ／Ｄコンバータ）とを備えている。撮像部２１は、同じタイミングでカラーフィルタ群を透過した赤、緑、青の各成分の光の強度を電気信号に光電変換したうえで、当該電気信号をアナログ信号からデジタル信号に変換して出力する。すなわち、撮像部２１は、同じタイミングで入射した赤、緑、青の各成分の光によって構成される画像を表すカラーの画素情報を出力する。
　撮像部２１の例としては、ＣＣＤ（Charge Coupled Devices）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが挙げられる。
　画像処理装置１１は、撮像部２１が生成した画像データを取得し、当該画像データが表す画像の見栄えを向上させるために、当該画像データを構成する画素情報に対して処理を施す。画像処理装置１１は、処理を施した画素情報により構成された画像データを表示部３１及び記憶部４１に出力する。
　表示部３１は、画像処理装置１１が処理を施した画像データが表す画像を表示する。表示部３１の例としては、液晶表示装置（LCD, Liquid Crystal Display）が挙げられる。
　記憶部４１は、画像処理装置１１が処理を施した画素情報によって構成された画像データを格納する記憶媒体であり、主記憶部及び補助記憶部により構成されている。主記憶部は、ＲＡＭ（random access memory）により構成されている。補助記憶部の例としては、ハードディスクドライブ（HDD, Hard Disk Drive）又はソリッドステートドライブ（SSD,Solid State Drive）が挙げられる。
　主記憶部は、補助記憶部に格納された画像処理プログラムを展開する記憶部である。また、主記憶部は、画像処理装置１１が処理を施した画素情報を一時的に格納するために用いることもできる。補助記憶部は、上述したように画像処理プログラムを格納するとともに、画像処理装置１１が処理を施した画素情報を不揮発的に格納する。
　デジタルカメラ１において、撮像部２１、表示部３１、及び記憶部４１は、既存の技術を用いて実現することができる。以下では、画像処理装置１１の構成及び画像処理装置１１が実施する処理について説明する。
　（画像処理装置１１の構成）
　図１に示すように、画像処理装置１１は、画像分割部１２、評価部１３、処理決定部１４、画像処理部１５、及び処理補正部１６を備えている。画像処理部１５及び処理補正部１６は、それぞれ、請求の範囲に記載の画像処理部及び処理補正部である。また、図２に示すように、画像処理装置１１が実施する画像処理方法は、ステップＳ１１、ステップＳ１２、ステップＳ１３、ステップＳ１４、及びステップＳ１５を含んでいる。ステップＳ１１は、画像データを取得するステップである。ステップＳ１２は、画像データを複数の画素ブロックに分割するステップである。ステップＳ１３は、各画素ブロックのコントラストを評価するステップである。ステップＳ１４は、各画素ブロック内の各画素情報に施す処理内容を決定するステップである。ステップＳ１５は、各画素ブロック内の各画素情報に処理を施すステップである。
　＜画像分割部１２＞
　画像分割部１２は、カラーの画像５１を表す画像データを撮像部２１から取得するとともに、画像５１を表す画像データをｍ行ｎ列に配列した複数の画素ブロックに分割する（図３参照）。換言すれば、画像分割部１２は、ステップＳ１１及びステップＳ１２を実施する。各画素ブロックは、縦方向及び横方向に沿ってマトリクス状に配列した複数の画素によって構成されている。
　複数の画素ブロックに分割する分割数であるｍ及びｎは、それぞれ、正の整数である。以下において、ｉ行ｊ列に位置する画素ブロックのことをブロック（ｉ，ｊ）とも記載する。なお、ｉは、１以上ｍ以下の任意の整数であり、ｊは、１以上ｎ以下の任意の整数である。ブロック（ｉ，ｊ）は、分割された複数の画素ブロックを一般化した表記である。
　本実施形態において、カラーの画像５１を表す画像データは、各画素に対応する色を画素情報、すなわち、赤、緑、青の各成分の光の強度（階調値）を用いて表すものである。なお、画像処理装置１１が処理する画素情報は、赤、緑、及び青の３色の階調値をそれぞれ表すＲ信号、Ｇ信号、及びＢ信号により構成されるものに限定されるものではない。例えば、画像処理装置１１が処理する画素情報は、赤、緑、青に黄を加えた４色の階調値をそれぞれ表すＲ信号、Ｇ信号、Ｂ信号、及びＹｅ信号により構成されるものであってもよいし、輝度を表すＹ信号と、色差を表す２つの信号（Ｕ信号，Ｖ信号）とにより構成されるものであってもよい。
　画像の見栄えを効果的に向上させるために、ブロック（ｉ，ｊ）は、縦方向の画素数が５０以上３００以下であり、且つ、横方向の画素数が５０以上３００以下であることが好ましい。ブロック（ｉ，ｊ）の縦方向の画素数は、画像の縦方向の画素数を行方向に対応する分割数であるｍで割ることによって得られる。同様に、ブロック（ｉ，ｊ）の横方向の画素数は、画像の横方向の画素数を列方向に対応する分割数であるｎで割ることによって得られる。ブロック（ｉ，ｊ）において、縦方向の画素数と横方向の画素数とは、等しくなるように構成されていてもよいし、異なるように構成されていてもよい。
　ブロック（ｉ，ｊ）に含まれる画素数が少なくなりすぎる場合、すなわち、ブロック（ｉ，ｊ）の縦方向の画素数及び横方向の画素数が５０未満である場合、ブロック（ｉ，ｊ）にどのような特徴が含まれているのか判定することが難しくなる。その結果として、最適な処理内容を選択できない場合がある。一方、ブロック（ｉ，ｊ）に含まれる画素数が多くなりすぎる場合、すなわち、ブロック（ｉ，ｊ）の縦方向の画素数及び横方向の画素数が３００を上回る場合、ブロック（ｉ，ｊ）に様々な特徴が含まれる傾向が強くなる。その結果として、最適な処理内容を選択できない場合がある。
　縦方向の画素数及び横方向の画素数が５０以上３００以下の範囲内に含まれるように画像データが示す画像を複数の画素ブロックに分割することによって、画像の見栄えを向上させるために好適な処理内容を選択することができる。
　＜評価部１３＞
　評価部１３は、複数の画素ブロックからなるカラーの画像において、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々に応じて、ブロック（ｉ，ｊ）の輝度、色相、及び彩度のうち少なくとも何れか１つに関する属性を評価する。本実施形態において、評価部１３は、輝度に関する属性であるコントラストの高低を全てのブロック（ｉ，ｊ）について評価する。換言すれば、評価部１３は、ステップＳ１３を実施する。
　より具体的には、評価部１３は、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々における輝度ヒストグラムを取得する（図４の（ａ）～（ｃ）参照）。更に、評価部１３は、その輝度ヒストグラムからブロック（ｉ，ｊ）内に含まれる画素情報の、最小値（最小階調）と、最大値（最大階調）と、平均値（平均階調）と、最小値と最大値との差である階調差Δｇを導出する。図４の（ａ）～（ｃ）には、それぞれ、最小値、最大値、及び平均値を示す実線と、階調差Δｇを示す矢印とを図示している。
　評価部１３は、各画素ブロックの平均値及び階調差Δｇに応じて、各画素ブロックのコントラストの高低を評価する。例えば、（１）ブロック（ｉ，ｊ）の平均値が６４以上１９２以下の範囲内にあり、階調差Δｇが１２８未満である場合、評価部１３は、ブロック（ｉ，ｊ）のコントラストを「低い」と評価し、（２）ブロック（ｉ，ｊ）の平均値が６４以上１９２以下の範囲内にあり、階調差Δｇが１２８以上１９２未満である場合、評価部１３は、ブロック（ｉ，ｊ）のコントラストを「高い」と評価し、（３）ブロック（ｉ，ｊ）の平均値が６４以上１９２以下の範囲内にあり、階調差Δｇが１９２以上である場合、評価部１３は、ブロック（ｉ，ｊ）のコントラストを「高すぎる」と評価する。
　図４の（ａ）は、コントラストが低いと評価されるブロック（ｉ，ｊ）の輝度ヒストグラムの一例を示す。図４の（ｂ）は、コントラストが高いと評価されるブロック（ｉ，ｊ）の輝度ヒストグラムの一例を示す。図４の（ｃ）は、コントラストが高すぎると評価されるブロック（ｉ，ｊ）の輝度ヒストグラムの一例を示す。
　なお、評価部１３がブロック（ｉ，ｊ）のコントラストの高低を評価する基準は、上述した基準に限定されるものではなく、適宜定めることができる。例えば、評価部１３は、次のように構成されていてもよい。（１）ブロック（ｉ，ｊ）に含まれる全画素数に対する、第１の所定の階調未満である画素数の割合及び第２の所定の階調以上である画素数の割合が何れも所定の割合以上となった場合、評価部１３は、ブロック（ｉ，ｊ）のコントラストを「高い」と評価する。一方、（２）ブロック（ｉ，ｊ）に含まれる全画素数に対する、第１の所定の階調未満である画素数の割合及び第２の所定の階調以上である画素数の割合が何れも所定の割合以下となった場合、評価部１３は、ブロック（ｉ，ｊ）のコントラストを「低い」と評価する。なお、第２の所定の階調数は、第１の所定の階調数より大きい階調数である。
　＜処理決定部１４＞
　処理決定部１４は、評価部１３の評価結果に応じてブロック（ｉ，ｊ）に含まれる画素情報の各々に対して施す処理内容を決定する。換言すれば、処理決定部１４は、ステップＳ１４を実施する。本実施形態において、処理決定部１４は、評価部１３が評価したブロック（ｉ，ｊ）のコントラストの高低に応じてブロック（ｉ，ｊ）のコントラストを変化させる量を決定する。
　本実施形態における処理内容であるコントラストを変化させる量は、例えば、－３０以上３０以下の整数で表される。処理決定部１４は、評価部１３の評価結果に応じて、ブロック（ｉ，ｊ）の画素情報の各々に対して適用するコントラストを変化させる量を、－３０以上３０以下の範囲内から選択する。
　例えば、評価部１３によってコントラストが「低い」と評価されたブロック（ｉ，ｊ）に対して、処理決定部１４は、コントラストを変化させる量として「＋３０」を選択する。評価部１３によってコントラストが「高い」と評価されたブロック（ｉ，ｊ）に対して、処理決定部１４は、コントラストを変化させる量として「＋１０」を選択する。評価部１３によってコントラストが「高すぎる」と評価されたブロック（ｉ，ｊ）に対して、処理決定部１４は、コントラストを変化させる量として「－２０」を選択する。
　＜画像処理部１５＞
　画像処理部である画像処理部１５は、ブロック（ｉ，ｊ）に含まれる画素情報の各々に対して、処理決定部１４が決定した処理内容に応じた処理を施す。すなわち、画像処理部１５は、処理決定部１４が決定したコントラストを変化させる量に対応するように、ブロック（ｉ，ｊ）に含まれる画素情報の各々の出力レベルを調整する。換言すれば、画像処理部１５は、ステップＳ１５を実施する。
　本実施形態において、コントラストを変化させる量のそれぞれに対して関連付けられた各トーンカーブが予め定められている。それらの各トーンカーブは、例えば、記憶部４１に格納されている。画像処理部１５は、処理決定部１４が決定したコントラストを変化させる量に関連付けられたトーンカーブを選択することによって、コントラストを変化させる量に対応するように、ブロック（ｉ，ｊ）に含まれる画素情報の各々の出力レベルを調整する。
　図５の（ａ）に実線で図示したトーンカーブは、コントラストを変化させる量「＋３０」に対して関連付けられたトーンカーブである。図５の（ａ）に破線で図示したトーンカーブは、コントラストを変化させる量が「０」である場合、すなわち、コントラストを変化させない場合に採用されるトーンカーブである。
　画像処理部１５が図５の（ａ）に実線で図示したトーンカーブを選択し、ブロック（ｉ，ｊ）に含まれる画素情報の各々を調整することによって、このブロック（ｉ，ｊ）のコントラストは高められる。
　なお、コントラストを変化させる量のそれぞれに対して関連付けられた各トーンカーブの形状は、画像処理装置１１を設計するときに、設計者が適宜定めることができる。例えば、コントラストを変化させる量「＋３０」に対して関連付けられたトーンカーブは、図５の（ａ）に示したトーンカーブに限定されるものではなく、例えば、図５の（ｂ）に示したトーンカーブであってもよい。すなわち、入力レベルが低い領域において出力レベルを減少させる量と、入力レベルが高い領域において出力レベルを増大させる量とは、異なっていてもよい。
　（画像ブロックの属性について）
　本実施形態の画像処理装置１１は、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々に応じてブロック（ｉ，ｊ）の輝度に関する属性であるコントラストを評価する。そのうえで、画像処理装置１１は、その評価結果に応じてブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々に施す処理内容を決定し、その処理内容に応じた処理をブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々に対して施す。
　しかし、画像処理装置１１は、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々に応じて、ブロック（ｉ，ｊ）の色相又は彩度の何れかの属性を評価するように構成されていてもよい。
　例えば、ブロック（ｉ，ｊ）に含まれる画素情報に応じてブロック（ｉ，ｊ）の彩度を評価する構成を採用する場合、評価部１３、処理決定部１４、及び画像処理部１５の各々は、次のように構成されていればよい。評価部１３は、ブロック（ｉ，ｊ）に含まれる画素情報に応じてブロック（ｉ，ｊ）の彩度を判定する。処理決定部１４は、評価部１３が評価したブロック（ｉ，ｊ）の彩度に応じてブロック（ｉ，ｊ）の彩度を変化させる量を決定する。画像処理部１５は、処理決定部１４が決定した彩度を変化させる量に対応するように、ブロック（ｉ，ｊ）に含まれる画素情報の各々の出力レベルを調整する。
　例えば、評価部１３は、ブロック（ｉ，ｊ）に含まれる画素情報に応じて各画素情報の彩度を０以上１００以下の整数として評価する。評価部１３は、ブロック（ｉ，ｊ）に含まれる各画素情報の彩度を平均することによって、ブロック（ｉ，ｊ）の平均彩度を算出する。そのうえで、評価部１３は、ブロック（ｉ，ｊ）の平均彩度が２０以上５０未満である場合に、ブロック（ｉ，ｊ）の彩度を「低い」と評価する。
　処理決定部１４は、評価部１３の評価結果に応じてブロック（ｉ，ｊ）の彩度を変化させる量を決定する。例えば、評価部１３によって彩度が「低い」と評価されたブロック（ｉ，ｊ）に対して、処理決定部１４は、彩度を変化させる量として「＋２０」を選択する。
　画像処理部１５が施す処理の方法、すなわち、画素情報の各々の出力レベルを調整することによってブロック（ｉ，ｊ）の彩度を変化させる方法としては、既存の方法の何れかを適宜選択すればよい。彩度を変化させる方法の例としては、次の３つの方法などが挙げられる。（１）ＲＧＢの各信号をＹＣｂＣｒの各信号に変換したあとに、ＹＣｂＣｒの各信号に係数を乗じ、そのＹＣｂＣｒの各信号を改めてＲＧＢの各信号に逆変換する方法。（２）Ｌ＊ａ＊ｂ＊空間を用いる方法。（３）以下の式（１）のようにＲＧＢの各信号に単に係数を乗じる方法。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｒｉｎｐｕｔ、Ｇｉｎｐｕｔ、及びＢｉｎｐｕｔは、それぞれ、彩度を変化させる前の画素情報の階調値を示し、Ｒｏｕｔｐｕｔ、Ｇｏｕｔｐｕｔ、及びＢｏｕｔｐｕｔは、それぞれ、彩度を変化させた後の画素情報の階調値を示し、３行３列の行列は、係数を示す。
　上述したような彩度を変化させる方法を採用することによって、画像処理部１５は、処理決定部１４が決定した彩度を変化させる量に対応してブロック（ｉ，ｊ）の彩度が変化するように、ブロック（ｉ，ｊ）に含まれる複数の画素情報の各々を調整する。
　例えば、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々に応じてブロック（ｉ，ｊ）の明度を評価する構成を採用する場合、評価部１３、処理決定部１４、及び画像処理部１５の各々は、次のように構成されていればよい。評価部１３は、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報に応じてブロック（ｉ，ｊ）の明度を判定する。処理決定部１４は、評価部１３が評価したブロック（ｉ，ｊ）の明度に応じてブロック（ｉ，ｊ）の明度を変化させる量を決定する。画像処理部１５は、処理決定部１４が決定した明度を変化させる量に対応するように、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々を調整する。明度は、赤、緑、青の階調に基づいて、輝度とは異なる関係式を用いて定義し直したものである。したがって、明度は、輝度に関する属性の１つである。
　例えば、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々に応じてブロック（ｉ，ｊ）の色相を評価する構成を採用する場合、評価部１３、処理決定部１４、及び画像処理部１５の各々は、次のように構成されていればよい。評価部１３は、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報に応じてブロック（ｉ，ｊ）の色相を判定する。処理決定部１４は、評価部１３が評価したブロック（ｉ，ｊ）の色相に応じてブロック（ｉ，ｊ）の色相を変化させる量を決定する。画像処理部１５は、処理決定部１４が決定した色相を変化させる量に対応するように、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々を調整する。
　例えば、評価部１３は、ブロック（ｉ，ｊ）に含まれる画素情報の各々に応じてブロック（ｉ，ｊ）の色相が肌色であるか否かを評価する。すなわち、評価部１３は、ブロック（ｉ，ｊ）に含まれる画素情報の各々が、赤の階調値が２２０以上２５０未満の範囲内にあり、且つ、緑の階調値が１７０以上２２０未満の範囲内にあり、且つ、青の階調値が１３０以上２２０未満の範囲内にあるか否かを評価する。
　処理決定部１４は、ブロック（ｉ，ｊ）の色相が肌色であると評価された場合、例えば、ブロック（ｉ，ｊ）の色相をスムージングすることを決定する。あるいは、処理決定部１４は、ブロック（ｉ，ｊ）の色相が肌色であると評価された場合、ブロック（ｉ，ｊ）の色相を変化させない、すなわち、ブロック（ｉ，ｊ）に含まれる複数の画素情報に対して処理を施さないことを決定してもよい。
　このように、画像処理装置１１において、評価部１３及び処理決定部１４の各々は、次のように構成されていてもよい。評価部１３は、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々に応じてブロック（ｉ，ｊ）が所定の条件を満たすか否かを評価する。ブロック（ｉ，ｊ）が上記所定の条件を満たす場合に、処理決定部１４は、処理内容として、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々に対して処理を施さないことを決定する。
　画像処理部１５が施す処理の方法、すなわち、画素情報の各々の出力レベルを調整することによってブロック（ｉ，ｊ）の色相をスムージングする方法としては、彩度を変化させる場合と同様に既存の方法の何れかを適宜選択すればよい。その方法の一例としては、（１）ＲＧＢの各信号によって表される各画素情報の色をＬ＊ａ＊ｂ＊空間上に変換したうえで、（２）隣接する画素情報の色度（ａ＊及びｂ＊）をスムージングし、（３）スムージングされた各画素情報の色をＬ＊ａ＊ｂ＊空間上からＲＧＢの各信号に逆変換する方法が挙げられる。
　上述したような色相をスムージングする方法を採用することによって、画像処理部１５は、ブロック（ｉ，ｊ）の色相をスムージングするように、ブロック（ｉ，ｊ）に含まれる複数の画素情報の各々を調整する。
　また、画像処理装置１１は、ブロック（ｉ，ｊ）の輝度（コントラスト）、色相、及び彩度の属性のうち少なくとも２つの属性を組み合わせ評価するように構成されていてもよい。
　例えば、ブロック（ｉ，ｊ）の輝度及び色相を組み合わせ評価する場合、評価部１３は、ブロック（ｉ，ｊ）に含まれる画素情報の各々に応じてブロック（ｉ，ｊ）が単色又は無彩色のみであるか否かを評価する。すなわち、評価部１３は、ブロック（ｉ，ｊ）に含まれる画素情報の各々が、輝度が一定であり、且つ、赤、緑、青の各階調値が一定であるか否かを評価する。
　処理決定部１４は、ブロック（ｉ，ｊ）が単色又は無彩色のみであると評価された場合、ブロック（ｉ，ｊ）に含まれる画素情報の各々に対して処理を施さないことを決定する。
　輝度、色相、及び彩度のうち少なくとも何れか１つに関する属性を組み合わせて評価することによって決定された処理内容の一例を、図６に示す。図６は、処理決定部１４によって決定された処理内容の一例示す、各画像ブロックの拡大平面図である。図６に示すように、画像処理装置１１は、ブロック（ｉ，ｊ）の特徴に応じて、ブロック（ｉ，ｊ）ごとにきめ細やかな処理を施すことができる。なお、画像処理装置１１が施す処理内容は、ブロック（３，３）に記載されているように、エッジ強調処理を含んでいてもよい。
　＜処理補正部１６＞
　処理決定部１４によって決定された処理内容の他の一例を図７に示す。図７に示すように、処理決定部１４は、ブロック（ｉ，ｊ）に対して彩度を変化させる量として「＋２０」を選択し、ブロック（ｉ，ｊ）の周囲を取り囲む隣接ブロック（最隣接ブロック）であるブロック（ｉ－１，ｊ－１），（ｉ－１，ｊ），（ｉ－１，ｊ＋１），（ｉ，ｊ－１），（ｉ，ｊ＋１），（ｉ＋１，ｊ－１），（ｉ＋１，ｊ），（ｉ＋１，ｊ＋１）に対して処理を施さないことを選択した。ここで、ブロック（ｉ，ｊ）は、請求の範囲に記載の第１の画素ブロックに対応する。また、ブロック（ｉ－１，ｊ－１），（ｉ－１，ｊ），（ｉ－１，ｊ＋１），（ｉ，ｊ－１），（ｉ，ｊ＋１），（ｉ＋１，ｊ－１），（ｉ＋１，ｊ），（ｉ＋１，ｊ＋１）は、請求の範囲に記載の第２の画素ブロックに対応する。
　図８の（ａ）は、図７に示したブロック（ｉ，ｊ－１），（ｉ，ｊ），（ｉ，ｊ＋１）に対して決定された彩度を変化させる量を示すグラフである。このように、図７に示した処理内容に応じた処理を、画像５１を表す各画素情報に施した場合、ブロック（ｉ，ｊ）と、隣接ブロックとの境界において、明確な彩度差がユーザに認識される場合がある。その結果、ユーザは、処理内容に応じた処理を施された画素情報からなる画像データによって表された画像を不自然だと感じる場合がある。
　請求の範囲に記載の処理補正部である処理補正部１６は、ブロック（ｉ，ｊ）に対して施す処理内容（第１の処理内容）、及び、隣接ブロックに対して施す処理内容（第２の処理内容）のうち少なくとも何れか一方を補正するように構成されている。この構成によれば、処理補正部１６は、第１の処理内容による効果と第２の処理内容による効果との連続性を生じさせる（第１の処理内容と第２の処理内容とを滑らかに接続する）ことができる。その結果として、処理補正部１６は、上述したような彩度差をユーザが認識する可能性を低減することができる。
　第１の処理内容と第２の処理内容とを滑らかに接続する態様は、限定されるものではないが、例えば、図８の（ｂ）～（ｅ）に示す態様であってもよい。図８の（ｂ）～（ｅ）は、それぞれ、図７に示したブロック（ｉ，ｊ）及び隣接ブロックに対して境界処理を施しつつ彩度を高める加工処理を施した場合における彩度パラメータ量を示すグラフである。
　図８の（ｂ）に示す態様では、ブロック（ｉ，ｊ）に対する彩度を変化させる量を「＋２０」としたままで、隣接ブロックに対する彩度を変化させる量を、隣接ブロックの範囲内で線形に０まで減少させる。これにより、図８の（ｂ）に示す態様は、ブロック（ｉ，ｊ）と、隣接ブロックとの境界近傍に生じ得る彩度を変化させる量の不連続を解消している。
　図８の（ｃ）に示す態様では、ブロック（ｉ，ｊ）に対する彩度を変化させる量を「＋２０」としたままで、隣接ブロックに対する彩度を変化させる量を、隣接ブロックの範囲内で二次曲線的に０まで減少させる。これにより、図８の（ｃ）に示す態様は、ブロック（ｉ，ｊ）と、隣接ブロックとの境界近傍に生じ得る彩度を変化させる量の不連続を解消している。
　図８の（ｄ）に示す態様では、図８の（ｃ）に示す態様と同様に、彩度を変化させる量を二次曲線的に減少させているが、隣接ブロックのみならずブロック（ｉ，ｊ）の外縁近傍から彩度を変化させる量を減少させている点が図８の（ｃ）に示す態様と異なる。
　図８の（ｅ）に示す態様では、図８の（ｂ）に示す態様と同様に、ブロック（ｉ，ｊ）に対する彩度を変化させる量を「＋２０」としたままで、彩度を変化させる量を線形に０まで減少させている。しかし、最隣接ブロック（隣接ブロック）のみならず、最隣接ブロックの外周を取り囲む次隣接ブロックまで用いて徐々に彩度を変化させる量を減少させている点が図８の（ｂ）に示す態様と異なる。
　このように、第１の処理内容と第２の処理内容とを滑らかに接続するように処理内容を補正することによって、処理後の画素情報からなる画像データが表す画像に生じ得る不自然さを解消することができる。
　なお、ここでは、画像５１におけるブロック（ｉ，ｊ）の横方向（行方向）についてのみ説明したが、縦方向（列方向）及び斜め方向（画像５１の対角線方向）についても同様である。
　（モノクロ画像への適用について）
　以上のように、本実施形態では、画像処理装置１１がカラー画像を表す画像データに対して画像処理を施す場合を例に、画像処理装置１１の構成について説明した。しかし、画像処理装置１１が処理する画像データは、カラー画像を表す画像データに限定されるものではなく、モノクロ画像を表す画像データであってもよい。
　モノクロ画像を表す画像データは、単色（例えば白色）の階調値を表す信号により構成される。ここで、単色の階調値は、輝度と解釈することもできる。したがって、画像処理装置１１は、上述した処理のうちブロック（ｉ，ｊ）の輝度に応じた処理を、モノクロ画像を表す画像データに対して施すことができる。すなわち、画像処理装置１１は、モノクロ画像を表す画像データ及びカラー画像を表す画像データの何れにも適用することができる。
　本願の発明者らは、特許文献１に記載された画像処理装置が濃淡画像領域と判定されたブロックに対して施すティザ処理だけでは画像の見栄えを十分に向上させることができないことを見出した。特に、自然画像（例えばカメラを用いて撮影した画像）に対して特許文献１に記載された画像処理装置を適用した場合、当該画像処理装置は、自然画像の見栄えを向上させることができない。
　画像処理装置１１は、ブロック（ｉ，ｊ）のコントラストに応じてきめ細かなコントラスト調整を実施可能であるため、特許文献１に記載された画像処理装置に比べて、画像の見栄えを更に向上させることができることを見出した。特に、画像処理装置１１は、自然画像を表す画像データに対して好適に用いることができる。
　（適用例）
　なお、本実施形態において、画像処理装置１１を画像表示装置の一例としてデジタルカメラ１を用いて説明した。しかし、画像処理装置１１を備えている画像表示装置は、デジタルカメラに限定されるものではない。画像表示装置は、例えば転送された画像データを構成する画素情報に対して自動的に処理を施すことを想定した装置であればよい。画像表示装置は、例えば、プリンタやＬＣＤなどの表示装置（テレビジョン受像器を含む）などであってもよし、撮像部を備えたスマートフォンであってもよい。また、画像処理装置１１の上述した機能は、プリンタが備えている特定のモード（例えば「キレイモード」や「あざやかモード」など）において実施されるものであってもよい。
　また、画像処理装置１１の各制御ブロック（画像分割部１２、評価部１３、処理決定部１４、画像処理部１５、及び処理補正部１６）をソフトウェアによって実現する場合、そのソフトウェアは、パーソナルコンピュータ用であってもよいし、スマートフォン用（いわゆるアプリ）であってもよい。また、スマートフォンが備えている撮像部が撮影した画像データを自動現像する場合にも、本発明の一態様は、好適である。スマートフォンにおいては、ＲＡＷデータを保存することを想定していないため、画像データを最初に保存するときに階調つぶれ及び階調ロスを伴うことが多い。画像処理装置１１を適用することによって、この階調つぶれ及び階調ロスの発生を抑制することができる。
　（第１の実施例）
　本実施形態の画像処理装置１１を用いて撮像部２１が生成した画像を表す画像データに対して処理を施した結果を図９に示す。図９の（ａ）は、画像処理装置１１が取得した画像データが表す画像５１である。すなわち、画像５１は、処理を施されていない画像データが表す画像である。図９の（ｂ）は、画像処理装置１１によって画像処理を施されたあとの画像データが表す画像５２である。図９の（ｃ）は、比較例の画像処理装置によって画像処理を施されたあとの画像データが表す画像１５２である。比較例の画像処理装置は、画像を表す複数の画像データを構成する画素情報の全てに対して一律に処理を施すように構成されている。
　画像５１は、花畑にいる子供を撮影したものである。画像５１の見栄えをよくするために、画像処理装置１１は、花や空など鮮やかな色を有すると考えられる領域の彩度を高める処理を施すように構成されている。
　比較例の画像処理装置を用いて、画像５１を表す画像データを構成する画素情報の全てに対して一律に彩度を高める処理を施した結果、子供の顔色も変色した（図９の（ｃ）参照）。すなわち、比較例の画像処理装置は、画像５１の見栄えを向上させることが難しいことが分かった。
　画像処理装置１１は、画像を表す画像データを複数のブロック（ｉ，ｊ）に分割したうえで、各ブロック（ｉ，ｊ）の属性に応じた処理内容を各ブロック（ｉ，ｊ）に含まれる画素情報の各々に施すことができる。具体的には、各ブロック（ｉ，ｊ）の属性に応じて、コントラストを高めたり、彩度を高めたり、及び、処理を施さないなどの処理内容をきめ細かく選択することができる。
　その結果、図９の（ｂ）に示すように、画像処理装置１１は、花と考えられる領域に含まれるブロック（ｉ，ｊ）の彩度を高めつつ、子供の顔色と考えられる領域に含まれるブロック（ｉ，ｊ）の変色を抑制した画像５２を表す画像データを生成することができる。すなわち、画像処理装置１１は、画像の見栄えを向上させることができる。
　〔第２の実施形態〕
　本発明の第２の実施形態に係る画像処理装置１１について、図１０を参照して説明する。図１０は、本実施形態に係る画像処理装置１１が備えている評価部１３がブロック（ｉ，ｊ）の属性を評価するときに評価する画素ブロックの範囲を示す、画像５１の拡大平面図である。
　本実施形態に係る画像処理装置１１の構成は、第１の実施形態に係る画像処理装置１１が備えている評価部１３及び処理決定部１４が実施する処理を変形することによって得られる。したがって、本実施形態においては、評価部１３及び処理決定部１４が実施する処理の内容について説明する。本実施形態に係る画像処理装置１１が備えている画像分割部１２、画像処理部１５、及び処理補正部１６の各部は、それぞれ、第１の実施形態に係る画像処理装置１１が備えている各部と同様に構成されている。
　＜評価部１３＞
　第１の実施形態において説明した評価部１３は、複数の画素ブロックからなるカラーの画像において、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々に応じて、全てのブロック（ｉ，ｊ）の輝度、色相、及び彩度のうち少なくとも何れか１つに関する属性を評価するものであった。本実施形態において説明する評価部１３は、ブロック（ｉ，ｊ）の輝度、色相、及び彩度のうち少なくとも何れか１つに関する属性を評価するときに、ブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々に加えて、ブロック（ｉ，ｊ）の周囲を取り囲むブロック（ｉ，ｊ）に含まれる少なくとも１つの画素情報の各々も考慮する。
　図１０に示すように、ブロック（ｉ，ｊ）であるブロック５１１の周囲を取り囲む最隣接ブロック５１２は、８個の画素ブロックからなり、最隣接ブロック５１２を取り囲む次隣接ブロック５１３は、１６個の画素ブロックからなる。
　評価部１３は、ブロック５１１と最隣接ブロック５１２とに含まれる全ての画素情報に応じて、ブロック（ｉ，ｊ）の属性を評価するように構成されている。あるいは、評価部１３は、ブロック５１１と最隣接ブロック５１２と次隣接ブロック５１３とに含まれている全ての画素情報に応じてブロック（ｉ，ｊ）の属性を評価するように構成されていてもよい。以下では、評価部１３がブロック５１１と最隣接ブロック５１２とに含まれる全ての画素情報に応じてブロック（ｉ，ｊ）の属性を評価する場合を例にして説明する。また、評価部１３がブロック（ｉ，ｊ）の属性の１つである明度を評価する場合を例にして説明する。
　評価部１３は、ブロック５１１に含まれている画素情報に応じて各画素情報の明度を０以上１００以下の整数として評価する。評価部１３は、ブロック５１１に含まれている各画素情報の明度を平均することによって、ブロック５１１の平均明度を算出する。更に、評価部１３は、最隣接ブロック５１２に含まれている画素情報に応じて各画素情報の明度を０以上１００以下の整数として評価し、最隣接ブロック５１２の平均明度を算出する。
　更に、評価部１３は、最隣接ブロック５１２の平均明度とブロック５１１の平均明度との差である明度差Δｂを算出し、明度差Δｂが＋１０以上＋３０未満である場合に、ブロック５１１の明度を「最隣接ブロックより高い」と評価する。
　＜処理決定部１４＞
　処理決定部１４は、評価部１３の評価結果に応じて、ブロック５１１の明度を変化させる量を決定する。例えば、評価部１３によって明度が「最隣接ブロックより高い」と評価されたブロック５１１に含まれる画素情報に対して、処理決定部１４は、明度を変化させる量として「＋３０」を選択する。また、処理決定部１４は、評価部１３によって明度が「最隣接ブロックより高い」以外であると評価されたブロック５１１に含まれる画素情報に対して、処理を施さないことを決定する。
　以上のように、ブロック５１１の明度が最隣接ブロック５１２の明度より高い場合にブロック５１１の明度を更に高める処理を施すことによって、画像５１に含まれる明るい領域を更に明るく強調することができる。したがって、画像処理装置１１は、画像５１の見栄えを向上させることができる。
　（変形例）
　また、また、ブロック（ｉ，ｊ）の属性の１つである明度を評価する場合、評価部１３及び処理決定部１４を以下のように構成してもよい。
　評価部１３は、ブロック５１１に含まれている画素情報の各々に応じて、各画素情報の色相を－１８０以上１８０以下の整数として評価し、且つ、各画素情報の彩度を０以上１００以下の整数として評価する。評価部１３は、ブロック５１１に含まれている各画素情報の色相及び彩度を平均することによって、ブロック５１１の平均色相及び平均彩度を算出する。
　更に、評価部１３は、最隣接ブロック５１２に含まれている複数の画素情報に応じて、各画素情報の色相を－１８０以上１８０以下の整数として評価し、且つ、各画素情報の彩度を０以上１００以下の整数として評価する。評価部１３は、最隣接ブロック５１２に含まれている各画素情報の色相及び彩度を平均することによって、最隣接ブロック５１２の平均色相及び平均彩度を算出する。
　更に、評価部１３は、最隣接ブロック５１２の平均色相とブロック５１１の平均色相との差である色相差Δｈを算出する。評価部１３は、色相差Δｈが－１０以上＋１０以下であり、且つ、ブロック５１１の平均彩度及び最隣接ブロック５１２の平均彩度が何れも２０以上５０未満である場合、ブロック５１１の色と最隣接ブロック５１２の色とが「同じ」であり、且つ、彩度が「低い」と評価する。
　処理決定部１４は、評価部１３の評価結果に応じて、ブロック５１１の彩度を変化させる量を決定する。例えば、評価部１３によってブロック５１１の色と最隣接ブロック５１２の色とが「同じ」であり、且つ、彩度が「低い」と評価された場合、ブロック５１１及び最隣接ブロック５１２に含まれる各画素情報に対して、処理決定部１４は、彩度を変化させる量として「＋２０」を選択する。
　なお、評価部１３によってブロック５１１の色と最隣接ブロック５１２の色とが「異なる」と評価された場合、ブロック５１１に含まれる各画素情報に対して、処理決定部１４は、彩度に関する評価結果に応じて彩度を変化させる量を選択する。
　〔第３の実施形態〕
　本発明の第３の実施形態に係る画像処理装置１１１について、図１１～図１４を参照して説明する。図１１は、画像処理装置１１１、及び、画像処理装置１１１を備えたデジタルカメラ１０１のブロック図である。図１２は、画像処理装置１１１における処理の流れを示すフローチャートである。図１３は、画像処理装置１１１が備えている検出部１１７によって所定の種類の被写体に関連付けられた画素ブロック群を示す画面の平面図である。図１４の（ａ）は、画像処理装置１１１が取得した画像データが表す画像１５１である。図１４の（ｂ）は、画像処理装置１１１によって画像処理を施されたあとの画素情報からなる画像データが表す画像１５２である。
　図１１に示すように、画像処理装置１１１は、画像分割部１１２、評価部１１３、処理決定部１１４、画像処理部１１５、処理補正部１１６、及び検出部１１７を備えている。画像処理装置１１１は、第１の実施形態に係る画像処理装置１１に対して、検出部１１７を追加することによって得られる。画像分割部１１２、評価部１１３、処理決定部１１４、画像処理部１１５、及び処理補正部１１６は、それぞれ、画像処理装置１１が備えている画像分割部１２、評価部１３、処理決定部１４、画像処理部１５、及び処理補正部１６と同様に構成されている。
　また、図１２に示すように、画像処理装置１１１が実施する画像処理方法は、ステップＳ１１１、ステップＳ１１２、ステップＳ１１３、ステップＳ１１４、ステップＳ１１５、ステップＳ１１６、及びステップＳ１１７を含んでいる。ステップＳ１１１は、画像データを取得するステップである。ステップＳ１１２は、画像データを複数の画素ブロックに分割するステップである。ステップＳ１１３は、各画素ブロックのコントラストを評価するステップである。ステップＳ１１４は、所定の種類に関連付けられた画素ブロック群を検出するステップである。ステップＳ１１５は、画素ブロック群をなす画素ブロックの属性を評価するステップである。ステップＳ１１６は、各画素情報に施す処理内容を決定するステップである。ステップＳ１１７は、及び各画素情報に処理を施すステップである。ステップＳ１１１～Ｓ１１３及びステップＳ１１６～Ｓ１１７は、それぞれ、図２に示したステップＳ１１～Ｓ１５に対応する。
　以下では、検出部１１７及びステップＳ１１４～Ｓ１１５を中心に、画像処理装置１１１における画像処理装置１１と異なる構成について説明する。
　＜検出部１１７＞
　検出部１１７は、互いに隣接するブロック（ｉ，ｊ）が集合してなる画素ブロック群であって所定の種類の被写体に関連付けられた画素ブロック群を検出する。すなわち、検出部１１７は、ステップＳ１１４を実施する。
　検出部１１７は、互いに隣接するブロック（ｉ，ｊ）が集合してなる画素ブロック群であって所定の種類の被写体に関連付けられた画素ブロック群を検出するために、既存の顔検出アルゴリズムや、物体検出アルゴリズムや、ディープラーニングなどを利用する。
　図１３に示すように、画像１５１に含まれている花の領域には、撮影者の陰が重畳している。画像１５１を表す画像データ取得した場合、検出部１１７は、画像１５１に含まれている顔領域１５１１、花領域１５１２、及び陰領域１５１３を、画素ブロック群として検出する。
　顔領域１５１１は、被写体（子供）の顔に関連付けられた画素ブロック群であり、花領域１５１２は、被写体（花）に関連付けられた画素ブロック群であり、陰領域１５１３は、被写体（花に重畳した撮影者の陰）に関連付けられた画素ブロック群である。このように、本実施形態における所定の種類の被写体とは、人物や花などの実在物に限定されるものではなく、陰のように光を投影することによって生じる光の強弱によって表されるイメージを含む。
　評価部１１３は、顔領域１５１１、花領域１５１２、及び陰領域１５１３をなすブロック（ｉ，ｊ）に含まれる画素情報の各々に応じて、ブロック（ｉ，ｊ）の輝度、色相、及び彩度のうち少なくとも何れか１つに関する属性を評価する。なお、顔領域１５１１、花領域１５１２、及び陰領域１５１３の各々をなすブロック（ｉ，ｊ）の属性を評価する場合に、（１）顔領域１５１１をなすブロック（ｉ，ｊ）を評価するときに用いる属性と、（２）花領域１５１２をなすブロック（ｉ，ｊ）を評価するときに用いる属性と、（３）陰領域１５１３をなすブロック（ｉ，ｊ）を評価するときに用いる属性とは、同じ属性であってもよいし、異なる属性であってもよい。これらの属性は、所定の種類の被写体が有する特徴を事前に把握しておくことによって、適宜定めることができる。
　このように評価部１１３は、ステップＳ１１３に加えて、ステップＳ１１５を実施する。
　処理決定部１１４は、ステップＳ１１３において評価された画素ブロック群をなすブロック（ｉ，ｊ）の属性（コントラスト）と、ステップＳ１１５において評価された画素ブロック群に関連付けられている所定の種類と、の少なくとも何れか一方に応じて、画素ブロック群をなすブロック（ｉ，ｊ）に含まれる各画素情報に施す処理内容を決定する。すなわち、処理決定部１１４は、ステップＳ１１６を実施する。
　例えば、処理決定部１１４は、（１）所定の被写体が顔である場合に処理内容として何もしないことを選択し、（２）所定の被写体が花である場合に処理内容として彩度を変化させる量「＋２０」を選択し、（３）所定の被写体が陰である場合に処理内容として、明度を変化させる量「＋３０」を選択するように構成されている。
　第１の実施形態において説明した画素ブロックの属性に応じた評価は、画像の狭い範囲に共通する特徴を抽出するために有効である。一方、本実施形態において説明する所定の種類の被写体に関連付けられた画素ブロック群の属性に応じた評価は、画像の広い範囲に共通する特徴を抽出するために有効である。画像に含まれる、狭い範囲に共通する特徴と、広い範囲に共通する特徴とを考慮して処理内容を選択することにより、画像の見栄えをより的確に向上させることができる。
　検出部１１７は、陰領域１５１３を、撮影者の陰のみに関連付けるように構成されていてもいし、撮影者の陰と花との双方に関連付けるように構成されていてもよい。陰領域１５１３が撮影者の陰のみに関連付けるように構成されている場合、処理決定部１１４は、所定の種類が陰であることに基づいて画素ブロック群をなすブロック（ｉ，ｊ）に含まれる各画素情報に施す処理内容を決定する。陰領域１５１３が撮影者の陰と花との双方に関連付けるように構成されている場合、処理決定部１１４は、所定の種類が陰と花とであることに基づいて画素ブロック群をなすブロック（ｉ，ｊ）に含まれる各画素情報に施す処理内容を決定する。
　また、画像１５１において、顔領域１５１１、花領域１５１２、及び陰領域１５１３以外の領域は、所定の種類の被写体に関連付けられていない領域である。処理決定部１１４は、所定の種類の被写体である顔や、花や、陰などに関連付けられた領域に対して予め定められている処理内容を選択し、所定の種類の被写体に関連付けられていない領域に対してブロック（ｉ，ｊ）の属性に応じた処理内容を選択するように構成されていてもよい。
　また、処理決定部１１４は、処理内容を選択する場合に画像を表す画像データに含まれるメタデータを参照するように構成されていてもよい。例えば、画像１５１のメタデータに「花」というキーワードが含まれている場合、画像１５１は花に注目して撮影したものと考えられる。その場合、処理決定部１１４は、所定の種類の被写体のうち「花」のみを有効な被写体とし、「顔」を無視するように構成されていてもよい。このように、処理決定部１１４がメタデータに含まれるキーワードを参照することによって、画像処理の内容に撮影者の意図を反映させることができる。
　（第２の実施例）
　画像処理装置１１１を用いて撮像部２１が生成した画像を表す画像データに対して処理を施した結果を図１４に示す。図１４の（ａ）は、画像処理装置１１１が取得した画像データが表す画像１５１である。すなわち、画像１５１は、処理を施されていない画像データが表す画像である。図１４の（ｂ）は、画像処理装置１１１によって画像処理を施されたあとの画像データが表す画像１５２である。
　画像１５１は、図９に示した画像５１と同様に、花畑にいる子供を撮影したものである。上述したように、画像１５１に含まれる花には、撮影者の陰が重畳している。画像１５１の見栄えをよくするために、画像処理装置１１１は、鮮やかな色を有すると考えられる領域の彩度を高めることに加えて、陰と考えられる領域の明度を高める処理を施すように構成されている。
　図１４の（ｂ）に示すように、上記の構成によれば、画像処理装置１１１は、花に重畳した撮影者の陰の影響を抑制することができる。すなわち、画像処理装置１１１は、画像１５１の見栄えを向上させることができる。
　〔ソフトウェアによる実現例〕
　画像処理装置１１の各制御ブロック（画像分割部１２、評価部１３、処理決定部１４、画像処理部１５、及び処理補正部１６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、画像処理装置１１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る画像処理装置（１１，１１１）は、画像（５１，１５１）を複数の領域に分割することによって規定される複数の画素ブロック（ブロック（ｉ，ｊ））の各々に含まれる少なくとも１つの画素情報に応じて上記各画素ブロック（ブロック（ｉ，ｊ））の輝度、色相、及び彩度のうち少なくとも何れか１つに関する属性を評価する評価部（１３，１１３）と、上記評価部の評価結果に応じて、上記少なくとも１つの画素情報の各々に対して施す処理内容を決定する処理決定部（１４，１１４）と、上記少なくとも１つの画素情報の各々に対して、上記処理内容に応じた処理を施す画像処理部（１５，１１５）と、を備えている。
　上記の構成によれば、本画像処理装置（１１，１１１）は、複数の画素ブロック（ブロック（ｉ，ｊ））の各々の属性に応じた処理内容に応じた処理を、各画素ブロック（ブロック（ｉ，ｊ））に含まれる少なくとも１つの画素情報の各々に対して施すことができる。したがって、処理を施した後の画像（５１，１５１）に生じ得る色つぶれや白飛びなどを防止することができる。このように、本画像処理装置（１１，１１１）は、モノクロ画像を表す画像データのみならずカラー画像を表す画像データに対しても、画像の見栄えを向上させるための画像処理を施すことができる。
　本発明の態様２に係る画像処理装置（１１，１１１）は、上記態様１において、上記評価部（１３，１１３）は、上記少なくとも１つの画素情報に応じて上記各画素ブロック（ブロック（ｉ，ｊ））のコントラストの高低を評価し、上記処理決定部（１４，１１４）は、上記評価部（１３，１１３）が評価した上記コントラストの高低に応じて上記各画素ブロック（ブロック（ｉ，ｊ））のコントラストを変化させる量を決定し、上記画像処理部（１５，１１５）は、上記処理決定部（１４，１１４）が決定した上記コントラストを変化させる量に対応するように、上記少なくとも１つの画素情報の各々を調整する、ように構成されていてもよい。
　上記の構成によれば、本画像処理装置（１１，１１１）は、画素ブロック（ブロック（ｉ，ｊ））の属性のうち輝度に関する属性であるコントラストに応じて処理内容を決定する。したがって、処理を施した後の画像に生じ得る色つぶれや白飛びなどを確実に防止することができる。
　本発明の態様３に係る画像処理装置（１１）は、上記態様２において、上記評価部（１３）は、上記少なくとも１つの画素情報における輝度ヒストグラムを取得し、且つ、（１）当該輝度ヒストグラムの平均階調、及び、（２）当該輝度ヒストグラムの最小階調と最大階調との階調差に応じて上記各画素ブロック（ブロック（ｉ，ｊ））のコントラストの高低を評価し、上記画像処理部（１５）は、上記処理決定部（１４）が決定した上記コントラストを変化させる量に関連付けられたトーンカーブを選択する、ように構成されていてもよい。
　上記の構成によれば、本画像処理装置（１１）は、各画素ブロック（ブロック（ｉ，ｊ））のコントラストを適切に評価し、且つ、各画素ブロック（ブロック（ｉ，ｊ））に含まれる上記複数の画素情報のコントラストを適切に調整することができる。
　本発明の態様４に係る画像処理装置（１１）は、上記態様１～３の何れか一態様において、上記評価部（１３）は、上記少なくとも１つの画素情報に応じて上記各画素ブロック（ブロック（ｉ，ｊ））の彩度を判定し、上記処理決定部（１４）は、上記評価部（１３）が評価した上記彩度に応じて上記各画素ブロック（ブロック（ｉ，ｊ））の彩度を変化させる量を決定し、上記画像処理部（１５）は、上記処理決定部（１４）が決定した上記彩度を変化させる量に対応するように、上記少なくとも１つの画素情報の各々を調整する、ように構成されていてもよい。
　本発明の態様５に係る画像処理装置（１１）は、上記態様１～４の何れか一態様において、上記評価部（１３）は、上記少なくとも１つの画素情報に応じて上記各画素ブロック（ブロック（ｉ，ｊ））の明度を評価し、上記処理決定部（１４）は、上記評価部（１３）が評価した上記明度に応じて上記各画素ブロック（ブロック（ｉ，ｊ））の明度を変化させる量を決定し、上記画像処理部（１５）は、上記処理決定部（１４）が決定した上記明度を変化させる量に対応するように、上記少なくとも１つの画素情報の各々を調整する、ように構成されていてもよい。
　本発明の態様６に係る画像処理装置（１１）は、上記態様１～５の何れか一態様において、上記評価部（１３）は、上記少なくとも１つの画素情報に応じて上記各画素ブロック（ブロック（ｉ，ｊ））の色相を評価し、上記処理決定部（１４）は、上記評価部が評価した上記色相に応じて上記各画素ブロック（ブロック（ｉ，ｊ））の色相を変化させる量を決定し、上記画像処理部（１５）は、上記処理決定部（１４）が決定した上記色相を変化させる量に対応するように、上記少なくとも１つの画素情報の各々を調整する、ように構成されていてもよい。
　以上のように、本発明の一態様に係る画像処理装置（１１）は、各画素ブロック（ブロック（ｉ，ｊ））のコントラストの高低に応じて画像処理を施す代わりに、各画素ブロック（ブロック（ｉ，ｊ））の彩度、明度、及び色相の何れかに応じて画像処理を施すように構成されていてもよい。なお、各画素ブロック（ブロック（ｉ，ｊ））の明度は、各画素ブロック（ブロック（ｉ，ｊ））の輝度を異なる定義を用いて表現しなおしたものである。
　本発明の態様７に係る画像処理装置（１１１）は、上記態様１～６の何れか一態様において、互いに隣接する複数の画素ブロック（ブロック（ｉ，ｊ））が集合してなる画素ブロック群であって所定の種類の被写体に関連付けられた画素ブロック群を検出する検出部（１１７）を更に備え、上記評価部（１１３）は、上記画素ブロック群をなす各画素ブロックに含まれる少なくとも１つの画素情報に応じて上記各画素ブロック（ブロック（ｉ，ｊ））の上記属性を評価し、上記処理決定部（１１４）は、上記属性及び上記所定の種類の少なくとも何れか一方に応じて、上記画素ブロック群をなす各画素ブロック（ブロック（ｉ，ｊ））に含まれる少なくとも１つの画素情報に施す処理内容を決定する、ように構成されていてもよい。
　各画素ブロック（ブロック（ｉ，ｊ））の属性に応じた評価は、画像（１５１）の狭い範囲に共通する特徴を抽出するために有効である。一方、所定の種類の被写体に関連付けられた画素ブロック群の属性に応じた評価は、画像（１５１）の広い範囲に共通する特徴を抽出するために有効である。上記の構成によれば、画像（１５１）に含まれる、狭い範囲に共通する特徴と、広い範囲に共通する特徴とを考慮して処理内容を選択することができるため、画像（１５１）の見栄えをより的確に向上させることができる。
　本発明の態様８に係る画像処理装置（１１，１１１）は、上記態様１～７の何れか一態様において、画像データを外部から取得するとともに、当該画像データが示す画像を上記複数の画素ブロックに分割する画像分割部（１２，１１２）を更に備えており、上記複数の画素ブロック（ブロック（ｉ，ｊ））の各々は、縦方向の画素数及び横方向の画素数がそれぞれ５０以上３００以下である、ように構成されていてもよい。
　１つの画素ブロック（ブロック（ｉ，ｊ））に含まれる画素数が少なすぎる場合、１つの画素ブロック（ブロック（ｉ，ｊ））にどのような特徴が含まれているのか判定することが難しくなる。一方、１つの画素ブロック（ブロック（ｉ，ｊ））に含まれる画素数が多すぎる場合、１つの画素ブロック（ブロック（ｉ，ｊ））に様々な特徴が含まれる傾向が強くなる。結果として、最適な処理内容を選択できない場合がある。このように１つの画素ブロック（ブロック（ｉ，ｊ））に含まれる画素数を適切に設定しなかった場合、最適な処理内容を選択できないことがある。上記の構成によれば、画像の見栄えを向上させるために好適な処理内容を選択することができる。
　本発明の態様９に係る画像処理装置（１１，１１１）は、上記態様１～８の何れか一態様において、上記処理決定部（１４，１１４）が決定した上記処理内容を補正する処理補正部（１６，１１６）を更に備え、上記処理補正部（１６，１１６）は、（１）複数の画素ブロックの内の一画素ブロックである第１の画素ブロック（ブロック（ｉ，ｊ））に対して施す第１の処理内容、及び、（２）当該第１の画素ブロック（ブロック（ｉ，ｊ））に隣接する第２の画素ブロック（ブロック（ｉ－１，ｊ－１），（ｉ－１，ｊ），（ｉ－１，ｊ＋１），（ｉ，ｊ－１），（ｉ，ｊ＋１），（ｉ＋１，ｊ－１），（ｉ＋１，ｊ），（ｉ＋１，ｊ＋１））に対して施す第２の処理内容のうち少なくとも何れか一方を補正することによって、上記第１の処理内容による効果と上記第２の処理内容による効果との連続性を生じさせる、ように構成されていてもよい。
　上記の構成によれば、第１の処理内容と第２の処理内容とを滑らかに接続するように処理内容を補正することによって、処理後の画素情報が表す画像（５１，１５１）に生じ得る不自然さを解消することができる。
　本発明の態様１０に係る画像処理装置（１１，１１１）は、上記態様１～９の何れか一態様において、上記評価部（１３，１１３）は、上記各画素ブロック（ブロック（ｉ，ｊ））の上記属性を評価するときに、当該画素ブロック（ブロック（ｉ，ｊ））に含まれる少なくとも１つの画素情報と、少なくとも当該画素ブロック（ブロック（ｉ，ｊ））の周囲を取り囲む隣接ブロック（ブロック（ｉ－１，ｊ－１），（ｉ－１，ｊ），（ｉ－１，ｊ＋１），（ｉ，ｊ－１），（ｉ，ｊ＋１），（ｉ＋１，ｊ－１），（ｉ＋１，ｊ），（ｉ＋１，ｊ＋１））にそれぞれ含まれる少なくとも１つの画素情報とに応じて、上記属性を評価する、ように構成されていてもよい。
　このように評価部（１３，１１３）は、各画素ブロック（ブロック（ｉ，ｊ））の属性を評価するときに、各画素ブロック（ブロック（ｉ，ｊ））に加えて各画素ブロック（ブロック（ｉ，ｊ））の周囲を取り囲む隣接ブロック（ブロック（ｉ－１，ｊ－１），（ｉ－１，ｊ），（ｉ－１，ｊ＋１），（ｉ，ｊ－１），（ｉ，ｊ＋１），（ｉ＋１，ｊ－１），（ｉ＋１，ｊ），（ｉ＋１，ｊ＋１））の属性を考慮するように構成されていてもよい。
　本発明の態様１１に係る画像処理装置（１１，１１１）は、上記態様１～１０の何れか一態様において、上記評価部（１３，１１３）は、上記少なくとも１つの画素情報に応じて上記各画素ブロック（ブロック（ｉ，ｊ））が所定の条件を満たすか否かを評価し、上記各画素ブロック（ブロック（ｉ，ｊ））が上記所定の条件を満たす場合に、上記処理決定部（１４，１１４）は、上記処理内容として、上記少なくとも１つの画素情報に対して処理を施さないことを決定する、ように構成されていてもよい。
　上記の構成によれば、処理を施すべきでない画素ブロックを適切に評価することができる。
　本発明の態様１２に係るデジタルカメラ（１）は、上記態様１～１１の何れか一態様に係る画像処理装置（１１，１１１）と、画像データを生成するとともに、当該画像データを上記画像処理装置に提供する撮像部（２１）と、を備えている。
　本デジタルカメラ（１）は、上述した各態様に係る画像処理装置（１１，１１１）と同様の効果を奏する。
　本発明の各態様に係る画像処理装置（１１，１１１）は、コンピュータによって実現してもよい。この場合には、コンピュータを上記画像処理装置が備える各部として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
（関連出願の相互参照）
　本出願は、2016年12月1日に出願された日本国特許出願：特願2016-234515に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
　　１，１０１　デジタルカメラ
　１１，１１１　画像処理装置
　１２，１１２　画像分割部
　１３，１１３　評価部
　１４，１１４　処理決定部
　１５，１１５　画像処理部
　１６，１１６　処理補正部
　１１７　検出部
　２１　撮像部
　３１　表示部
　４１　記憶部

Claims (14)

  1. 　画像を複数の領域に分割することによって規定される複数の画素ブロックの各々に含まれる少なくとも１つの画素情報に応じて上記各画素ブロックの輝度、色相、及び彩度のうち少なくとも何れか１つに関する属性を評価する評価部と、
    　上記評価部の評価結果に応じて、上記少なくとも１つの画素情報の各々に対して施す処理内容を決定する処理決定部と、
    　上記少なくとも１つの画素情報の各々に対して、上記処理内容に応じた処理を施す画像処理部と、を備えている、
    ことを特徴とする画像処理装置。
  2. 　上記評価部は、上記少なくとも１つの画素情報に応じて上記各画素ブロックのコントラストの高低を評価し、
    　上記処理決定部は、上記評価部が評価した上記コントラストの高低に応じて上記各画素ブロックのコントラストを変化させる量を決定し、
    　上記画像処理部は、上記処理決定部が決定した上記コントラストを変化させる量に対応するように、上記少なくとも１つの画素情報の各々を調整する、
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 　上記評価部は、上記少なくとも１つの画素情報における輝度ヒストグラムを取得し、且つ、（１）当該輝度ヒストグラムの平均階調、及び、（２）当該輝度ヒストグラムの最小階調と最大階調との階調差に応じて上記各画素ブロックのコントラストの高低を評価し、
    　上記画像処理部は、上記処理決定部が決定した上記コントラストを変化させる量に関連付けられたトーンカーブを選択する、
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 　上記評価部は、上記少なくとも１つの画素情報に応じて上記各画素ブロックの彩度を判定し、
    　上記処理決定部は、上記評価部が評価した上記彩度に応じて上記各画素ブロックの彩度を変化させる量を決定し、
    　上記画像処理部は、上記処理決定部が決定した上記彩度を変化させる量に対応するように、上記少なくとも１つの画素情報の各々を調整する、
    ことを特徴とする請求項１～３の何れか１項に記載の画像処理装置。
  5. 　上記評価部は、上記少なくとも１つの画素情報に応じて上記各画素ブロックの明度を評価し、
    　上記処理決定部は、上記評価部が評価した上記明度に応じて上記各画素ブロックの明度を変化させる量を決定し、
    　上記画像処理部は、上記処理決定部が決定した上記明度を変化させる量に対応するように、上記少なくとも１つの画素情報の各々を調整する、
    ことを特徴とする請求項１～４の何れか１項に記載の画像処理装置。
  6. 　上記評価部は、上記少なくとも１つの画素情報に応じて上記各画素ブロックの色相を評価し、
    　上記処理決定部は、上記評価部が評価した上記色相に応じて上記各画素ブロックの色相を変化させる量を決定し、
    　上記画像処理部は、上記処理決定部が決定した上記色相を変化させる量に対応するように、上記少なくとも１つの画素情報の各々を調整する、
    ことを特徴とする請求項１～５の何れか１項に記載の画像処理装置。
  7. 　互いに隣接する複数の画素ブロックが集合してなる画素ブロック群であって所定の種類の被写体に関連付けられた画素ブロック群を検出する検出部を更に備え、
    　上記評価部は、上記画素ブロック群をなす各画素ブロックに含まれる少なくとも１つの画素情報に応じて上記各画素ブロックの上記属性を評価し、
    　上記処理決定部は、上記属性及び上記所定の種類の少なくとも何れか一方に応じて、上記画素ブロック群をなす各画素ブロックに含まれる少なくとも１つの画素情報に施す処理内容を決定する、
    ことを特徴とする請求項１～６の何れか１項に記載の画像処理装置。
  8. 　画像データを外部から取得するとともに、当該画像データが示す画像を上記複数の画素ブロックに分割する画像分割部を更に備えており、
    　上記複数の画素ブロックの各々は、縦方向の画素数及び横方向の画素数がそれぞれ５０以上３００以下である、
    ことを特徴とする請求項１～７の何れか１項に記載の画像処理装置。
  9. 　上記処理決定部が決定した上記処理内容を補正する処理補正部を更に備え、
    　上記処理補正部は、（１）複数の画素ブロックの内の一画素ブロックである第１の画素ブロックに対して施す第１の処理内容、及び、（２）当該第１の画素ブロックに隣接する第２の画素ブロックに対して施す第２の処理内容のうち少なくとも何れか一方を補正することによって、上記第１の処理内容による効果と上記第２の処理内容による効果との連続性を生じさせる、
    ことを特徴とする請求項１～８の何れか１項に記載の画像処理装置。
  10. 　上記評価部は、上記各画素ブロックの上記属性を評価するときに、当該画素ブロックに含まれる少なくとも１つの画素情報と、少なくとも当該画素ブロックの周囲を取り囲む隣接ブロックにそれぞれ含まれる少なくとも１つの画素情報とに応じて、上記属性を評価する、
    ことを特徴とする請求項１～９の何れか１項に記載の画像処理装置。
  11. 　上記評価部は、上記少なくとも１つの画素情報に応じて上記各画素ブロックが所定の条件を満たすか否かを評価し、
    　上記各画素ブロックが上記所定の条件を満たす場合に、上記処理決定部は、上記処理内容として、上記少なくとも１つの画素情報に対して処理を施さないことを決定する、
    ことを特徴とする請求項１～１０の何れか１項に記載の画像処理装置。
  12. 　請求項１～１１の何れか１項に記載の画像処理装置と、
    　画像データを生成するとともに、当該画像データを上記画像処理装置に提供する撮像部と、を備えている、
    ことを特徴とするデジタルカメラ。
  13. 　請求項１に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、上記評価部、上記処理決定部、及び上記画像処理部としてコンピュータを機能させるための画像処理プログラム。
  14. 　請求項１３に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2017/039189 2016-12-01 2017-10-30 画像処理装置、デジタルカメラ、画像処理プログラム、及び記録媒体 WO2018100950A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780074379.2A CN110192388A (zh) 2016-12-01 2017-10-30 图像处理装置、数码相机、图像处理程序、以及记录介质
KR1020197015460A KR20190073516A (ko) 2016-12-01 2017-10-30 화상 처리 장치, 디지털 카메라, 화상 처리 프로그램, 및 기록 매체
US16/465,264 US20190394438A1 (en) 2016-12-01 2017-10-30 Image processing device, digital camera, and non-transitory computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-234515 2016-12-01
JP2016234515 2016-12-01

Publications (1)

Publication Number Publication Date
WO2018100950A1 true WO2018100950A1 (ja) 2018-06-07

Family

ID=62242111

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/039189 WO2018100950A1 (ja) 2016-12-01 2017-10-30 画像処理装置、デジタルカメラ、画像処理プログラム、及び記録媒体

Country Status (4)

Country Link
US (1) US20190394438A1 (ja)
KR (1) KR20190073516A (ja)
CN (1) CN110192388A (ja)
WO (1) WO2018100950A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111835931A (zh) * 2019-04-17 2020-10-27 夏普株式会社 图像处理装置、图像形成装置、图像读取装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102663537B1 (ko) 2019-01-31 2024-05-08 삼성전자 주식회사 전자 장치 및 이미지 처리 방법
CN110769321B (zh) * 2019-10-14 2020-07-31 安徽省徽腾智能交通科技有限公司泗县分公司 伴音大数据信号现场播放***
CN113344812A (zh) * 2021-05-31 2021-09-03 维沃移动通信（杭州）有限公司 图像处理方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123164A (ja) * 1998-10-19 2000-04-28 Canon Inc 画像処理装置及びその方法
JP2003256830A (ja) * 2002-03-04 2003-09-12 Mitsubishi Electric Corp コントラスト強調方式
JP2015095681A (ja) * 2013-11-08 2015-05-18 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2670779B2 (ja) 1987-08-31 1997-10-29 株式会社東芝 中間調画像分離処理装置
US5541653A (en) * 1993-07-27 1996-07-30 Sri International Method and appartus for increasing resolution of digital color images using correlated decoding
US6922492B2 (en) * 2002-12-27 2005-07-26 Motorola, Inc. Video deblocking method and apparatus
KR101030369B1 (ko) * 2009-02-23 2011-04-20 인하대학교 산학협력단 영상 분류 장치 및 방법
CN103685972B (zh) * 2012-09-21 2017-03-01 宏达国际电子股份有限公司 影像优化方法以及使用此方法的***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123164A (ja) * 1998-10-19 2000-04-28 Canon Inc 画像処理装置及びその方法
JP2003256830A (ja) * 2002-03-04 2003-09-12 Mitsubishi Electric Corp コントラスト強調方式
JP2015095681A (ja) * 2013-11-08 2015-05-18 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111835931A (zh) * 2019-04-17 2020-10-27 夏普株式会社 图像处理装置、图像形成装置、图像读取装置

Also Published As

Publication number Publication date
CN110192388A (zh) 2019-08-30
US20190394438A1 (en) 2019-12-26
KR20190073516A (ko) 2019-06-26

Similar Documents

Publication Publication Date Title
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
KR101061866B1 (ko) 대상 화상에 계조 보정을 행하는 화상 처리 장치
JP4395789B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2018100950A1 (ja) 画像処理装置、デジタルカメラ、画像処理プログラム、及び記録媒体
US8081239B2 (en) Image processing apparatus and image processing method
US8363125B2 (en) Image processing apparatus, image processing method, and computer program product
JP6415062B2 (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
US8797427B2 (en) Image processing apparatus
JP2007094742A (ja) 画像信号処理装置及び画像信号処理プログラム
US9177396B2 (en) Image processing apparatus and image processing method
WO2019170007A1 (zh) 图像色彩调整方法及装置
US9449375B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2012165204A (ja) 信号処理装置、信号処理方法、撮像装置及び撮像処理方法
US8818128B2 (en) Image processing apparatus, image processing method, and program
JP5878586B2 (ja) 画像色調整方法及びその電子装置
WO2020093441A1 (zh) 图像饱和度增强的细节处理方法及装置
JP2013114692A (ja) 自動映像補正のための映像処理装置及び方法
US9635331B2 (en) Image processing apparatus that performs tone correction and edge enhancement, control method therefor, and storage medium
US9071803B2 (en) Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program
WO2012099013A1 (ja) 画像補正装置、画像補正表示装置、画像補正方法、プログラム、及び、記録媒体
JP6413210B2 (ja) 画像処理装置、撮像装置およびプログラム
US9055232B2 (en) Image processing apparatus capable of adding soft focus effects, image processing method, and storage medium
WO2022246663A1 (zh) 图像处理方法、设备、***和存储介质
Adams et al. Perceptually based image processing algorithm design
CN111726596B (zh) 影像处理方法及其电子装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17875947

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197015460

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17875947

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP