WO2007007798A1 - 画像処理装置、画像処理プログラム、および、画像処理方法 - Google Patents

画像処理装置、画像処理プログラム、および、画像処理方法 Download PDF

Info

Publication number
WO2007007798A1
WO2007007798A1 PCT/JP2006/313887 JP2006313887W WO2007007798A1 WO 2007007798 A1 WO2007007798 A1 WO 2007007798A1 JP 2006313887 W JP2006313887 W JP 2006313887W WO 2007007798 A1 WO2007007798 A1 WO 2007007798A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
image data
pixel
predetermined
conversion
Prior art date
Application number
PCT/JP2006/313887
Other languages
English (en)
French (fr)
Inventor
Erika Kanematsu
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to US11/988,549 priority Critical patent/US8270712B2/en
Priority to EP06768151.0A priority patent/EP1909484B1/en
Priority to JP2007524682A priority patent/JP4883007B2/ja
Publication of WO2007007798A1 publication Critical patent/WO2007007798A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6072—Colour correction or control adapting to different types of images, e.g. characters, graphs, black and white image portions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6088—Colour correction or control controlled by factors external to the apparatus by viewing conditions, i.e. conditions at picture output

Definitions

  • Image processing apparatus image processing program, and image processing method
  • the present invention relates to an image processing device, an image processing program, and an image processing method that convert image data captured under a certain imaging condition into image data that reproduces color appearance according to an observation condition.
  • CIECAM02 (referred to as “Chikyam Otsuichi”) proposed by the CIE (International Lighting Commission) in 2002 (see Non-Patent Document 1).
  • the color appearance model of CIECAM02 considers the effects of differences in the white point of the illumination light source, differences in device brightness, the ratio between device brightness and ambient brightness, and differences in background brightness.
  • Non-Patent Document 1 Hirohisa Yaguchi, “Outline and Issues of Color Appearance Model CIECAM02”, Force Ra Forum JAPN 2003, 2003, p.57-62
  • the color appearance model of CIECAM02 is a very complicated conversion, requires many input parameters, and requires many calculation steps to predict color appearance under observation conditions. It has become. Arithmetic calculations are not sufficient with simple arithmetic operations, and power calculations are often used. Furthermore, when the color appearance model as described above is applied to the entire image, the conversion must be performed for each pixel, and there is a problem in that the processing becomes heavy and heavy. In particular, in order to determine the background brightness, which is one of the input parameters, the processing is also necessary due to the necessity of parameter calculation for each pixel, such as calculating the average brightness of all pixels that enter the 10-degree field of view for each pixel. There was a problem of becoming heavy.
  • the first image data imaged under a certain imaging condition is viewed.
  • the image processing device that converts the image appearance to the second image data that reproduces the color appearance according to the observation conditions includes an image data acquisition unit that acquires the first image data imaged under the imaging conditions, and the acquired first image data.
  • a control unit that controls to select one of the first conversion unit and the second conversion unit according to the state of the conversion target pixel of the first image data or a neighboring pixel thereof.
  • the control unit selects the first conversion unit when the color of the pixel to be converted in the first image data is within a predetermined color gamut. It is preferable to control the second conversion unit to be selected when the color of the pixel to be converted in the first image data is not within a predetermined color gamut.
  • the predetermined color gamut includes a predetermined luminance range or a predetermined hue range.
  • the image processing apparatus is affected by at least one of the background luminance around the pixel to be converted in the image and the difference between the imaging condition and the observation condition.
  • a color gamut defining unit that defines a set of original colors as a predetermined color gamut that many people select a specific color that is not the same as the original color as the color appearance matches. It is preferable to refer to the color gamut defining unit to determine whether the color of the conversion target pixel of the first image data is within a predetermined color gamut.
  • the control unit divides the first image data into a plurality of regions, according to the state of the pixels included in each of the divided regions. Therefore, it is preferable to select one of the first conversion unit and the second conversion unit for each region, and to control each pixel in the same region to select the same conversion unit selected for each region. Yes.
  • the control unit is configured such that the color of each pixel is a predetermined color gamut among all the pixels included in the conversion target region of the first image data.
  • the ratio of the number of pixels inside is greater than or equal to the predetermined ratio, select the first converter, and the color of each pixel It is preferable to perform control so that the second conversion unit is selected when the ratio of the number of pixels in the predetermined color gamut is less than the predetermined ratio.
  • the predetermined color gamut includes a predetermined luminance range or a predetermined hue range.
  • the image processing apparatus is affected by at least one of the background luminance around the pixel to be converted in the image and the difference between the imaging condition and the observation condition.
  • a color gamut defining unit that defines a set of original colors as a predetermined color gamut that many people select a specific color that is not the same as the original color as the color appearance matches. It is preferable to refer to the color gamut definition unit to determine whether the color of each pixel included in the conversion target area of the first image data is within a predetermined color gamut.
  • the control unit includes the first conversion unit when the color representing the conversion target region of the first image data is within a predetermined color gamut. It is preferable that the second conversion unit is selected when the color representing the conversion target area of the first image data is not within the predetermined color gamut.
  • the predetermined color gamut preferably includes a predetermined luminance range or a predetermined hue range.
  • the influence of at least one of the background luminance around the conversion target pixel in the image and the difference between the imaging condition and the observation condition is obtained.
  • a color gamut defining unit that defines a set of original colors as a predetermined color gamut that is selected by a number of people as matching the color appearance.
  • the unit preferably refers to the color gamut defining unit to determine whether a color representing the conversion target region of the first image data is within a predetermined color gamut.
  • the color representative of the conversion target area is a color obtained by averaging the colors of all the pixels included in the conversion target area or more than a predetermined number of pixels. It is preferable to do this.
  • the image processing apparatus according to any one of the first to twelfth aspects is provided.
  • the first method and the second method are both based on the same color appearance model, and the second method is preferably a color appearance model force that omits a predetermined calculation.
  • the second technique is a technique that can be converted only by four arithmetic operations.
  • both the first method and the second method are converted in consideration of the background luminance of the pixel to be converted.
  • the first method calculates the background luminance of the conversion target pixel based on the luminance of surrounding pixels, and the second method preferably uses the background luminance of the conversion target pixel as a predetermined fixed value. .
  • both the first method and the second method are based on a CIECAM02 color appearance model.
  • the first method is a method based on the color appearance model of CIECAM02
  • the second method is von Kries. It is preferable to use the method of adaptation conversion formula!
  • the first image data created based on the first observation condition reproduces the color appearance according to the second observation condition different from the first observation condition.
  • the image processing apparatus for converting to the second image data includes an image data acquisition unit that acquires the first image data created based on the first observation condition, and the acquired first image data in pixel units.
  • a first conversion unit that converts the image data into the second image data by the first method considering chromatic adaptation based on the first observation condition and the second observation condition
  • the acquired first image Data is converted into the second image data by the second method, which is simpler than the first method and considering chromatic adaptation, on a pixel-by-pixel basis, based on the first viewing condition and the second viewing condition.
  • a control unit that controls to select one of the first conversion unit and the second conversion unit.
  • the image processing program is an image processing program for causing a computer to realize the functions of the image processing apparatus according to any one of the first to eighteenth aspects.
  • an image processing method for converting first image data captured under a certain imaging condition into second image data that reproduces the appearance of a color according to the observation condition.
  • the first image data is further divided into a plurality of regions, and the acquired first image data is converted into pixel units based on the imaging condition and the observation condition. Included in each area when converting to second image data It is preferable to use the first method that considers chromatic adaptation for each region and the second method that considers simpler chromatic adaptation than the first method depending on the state of the pixel to be selected.
  • the first image data created based on the first viewing condition is reproduced with a color appearance according to a second viewing condition different from the first viewing condition.
  • the image processing method for converting to the second image data includes acquiring the first image data created based on the first observation condition, and using the acquired first image data as the first observation condition and the first observation data.
  • the first image considering the chromatic adaptation according to the state of the conversion target pixel of the first image data or its neighboring pixels.
  • the second method that considers simpler color adaptation than the first method and the first method is used separately. The invention's effect
  • the present invention is configured as described above, when converting image data captured under a certain imaging condition into image data that reproduces the appearance of color according to the observation condition, an accurate color is obtained.
  • the processing can be lightened without degrading the visual reproduction effect.
  • FIG. 1 is a diagram showing an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a basic flow of processing performed by the personal computer 1.
  • FIG. 3 A diagram of a patch used in a color appearance experiment.
  • FIG. 4 is a diagram showing experimental results in the first embodiment.
  • FIG. 5 is a diagram showing a flowchart of processing in the first embodiment.
  • FIG. 6 is a diagram showing experimental results in the second embodiment.
  • FIG. 7 is a diagram showing a flowchart of processing in the second embodiment.
  • FIG. 8 is a diagram showing an experimental result in the third embodiment.
  • FIG. 9 is a diagram showing a flowchart of processing in a third embodiment.
  • FIG. 10 is a diagram showing details of the process in step S 17 of FIG. 5.
  • FIG. 11 is a diagram showing details of the process in step S 18 in FIG. 5.
  • FIG. 12 is a diagram for explaining an example in which an image is divided into a plurality of regions in the fourth embodiment.
  • FIG. 13 shows a flowchart of processing in the fourth embodiment.
  • FIG. 14 is a diagram showing an example of processing when determination by luminance value and determination by hue are combined.
  • FIG. 15 is a diagram showing a flowchart of processing in a fifth embodiment.
  • FIG. 16 is a diagram showing a configuration of a digital camera 100.
  • FIG. 17 is a diagram showing a basic flow of processing in the sixth embodiment.
  • FIG. 18 is a diagram showing a flowchart of processing in a sixth embodiment.
  • FIG. 19 is a diagram showing a process flowchart in a modification of the sixth embodiment.
  • FIG. 20 is a diagram showing a process flowchart in a modification of the sixth embodiment.
  • FIG. 1 is a diagram showing an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus is realized by the personal computer 1.
  • the personal computer 1 is connected to a digital camera 2, a recording medium 3 such as a CD-ROM, another computer 4 and the like, and receives various image data.
  • the personal computer 1 performs the image processing described below on the provided image data.
  • the computer 4 is connected via the Internet and other telecommunications lines 5.
  • the program executed by the personal computer 1 for image processing is similar to the configuration shown in FIG. Other computer power is provided via, and installed in the personal computer 1.
  • the personal computer 1 is composed of a CPU (not shown) and its peripheral circuits (not shown), and executes a program installed with CPU power.
  • the program is transmitted after being converted into a signal on a carrier wave carrying a telecommunication line, that is, a transmission medium.
  • the program is supplied as a computer readable computer program product in various forms such as a recording medium and a carrier wave.
  • the personal computer 1 uses image data captured under a certain imaging condition in consideration of human chromatic adaptation characteristics, and color corresponding to an observation condition in which the illumination-related condition is different from the imaging condition. It is converted into image data that reproduces the appearance of the image. This conversion is called chromatic adaptation conversion.
  • FIG. 2 is a diagram showing a basic flow of processing performed by the personal computer 1.
  • step S 1 for example, image data A captured by a digital camera or the like is acquired.
  • the image data A is represented by the CIE 1931 XYZ color system.
  • the image data A here is a color influenced by the color of the light source, and is perceived visually by being influenced by the imaging conditions such as the luminance of the light source and the surrounding luminance.
  • an imaging condition at the time of imaging when the image data A is captured is input.
  • the imaging conditions at the time of imaging may be data attached to the image data A, or the keyboard power of the personal computer 1 may be input as appropriate.
  • step S3 image data A is converted into color appearance data that does not depend on imaging conditions or observation conditions, using a predetermined color appearance model. At this time, it is used as an input parameter for the color appearance model in step S3, which is the imaging condition force at the time of imaging input in step S2.
  • the data obtained by the conversion is expressed as color appearance data regardless of the imaging device, observation device, imaging conditions, and observation conditions.
  • step S4 the reproduced observation environment observation conditions are appropriately input by the user (observer) operating the keyboard of the personal computer 1. Alternatively, assuming the sRGB standard viewing environment, etc., it may be stored in advance as standard viewing conditions and used as viewing conditions.
  • step S5 the imaging conditions and observations acquired in step S3
  • the same color appearance model as in step S3 is applied to color appearance data that does not depend on conditions. However, the reverse conversion from that in step S3 is performed. At this time, it is used as an input parameter of the color appearance model of the observation condition force step S5 input in step S4.
  • step S6 image data B that reproduces the appearance of the color according to the viewing conditions is acquired.
  • Image data B is image data expressed in the CIE 1931 XYZ color system.
  • the imaging conditions described above are conditions related to scene illumination during imaging.
  • Observation conditions are conditions related to lighting in the equipment used for image observation and the surrounding observation environment.
  • These imaging conditions and observation conditions are conditions relating to the visual field that affects the appearance and the surrounding environment, that is, the visual environment, such as the luminance of the illumination light source, the white point, and the brightness of the surroundings.
  • the present invention is characterized by a color appearance model applied in step S3 and step S5.
  • the color appearance model of CIECAM02 takes into account the effects of differences in the white point of the illumination light source, differences in device brightness, the ratio of device brightness to ambient brightness, differences in background brightness, etc. It is an excellent color appearance model that accurately reproduces the color appearance in consideration of the characteristics. However, there is a problem that the processing is heavy.
  • the color appearance model of CIECAM02 is applied only to data satisfying a predetermined condition in image data A, and processing is performed from CIECAM02 for data not satisfying the predetermined condition.
  • a light and simple color appearance model was applied.
  • von Kries's adaptation conversion formula is adopted as a simple color appearance model.
  • the von Kries adaptation conversion formula and the CIECAM02 color appearance model are described below.
  • the predetermined condition will be described later.
  • the adaptation conversion formula of von Kries is as follows.
  • the von Kries adaptation transformation formula takes into account only the white point transformation. This is the subject tristimulus value (X, Y on 0
  • X,,, ⁇ is expressed in the CIE 1931 XYZ color system, and ⁇ , ⁇ , ⁇ stimulus for each pixel est est est est
  • the matrix A is a matrix for converting tristimulus values into cone response LMS, and for example, a Bradford transformation matrix or the like can be used.
  • the white point transformation can be predicted by a 3 X 3 matrix operation.
  • conversion can be performed by a simple method using only four arithmetic operations.
  • Figure 3 shows the patch used for the color appearance experiment.
  • the gray color patches 13 and 14 in the center of the two patches 11 and 12 shown in Fig. 3 are the same color, but differ in the human eye depending on whether the surrounding background brightness Yb and Yb 'is high or low. It looks like.
  • Notches 11 and 12 in Fig. 3 have color notches 13 and 14 in the 2 ° field of view, and background brightness Yb and Yb 'in the 2 to 10 ° field of view.
  • CIECAM02 takes into account the effects of differences in the white point of the illumination light source, differences in device brightness, the ratio between device brightness and ambient brightness, differences in background brightness, and so on. 11 and 12 are used to give conversion formulas that match the appearance of colors in consideration of the effects of various visual environments. In this embodiment, CIECAM is used as a more detailed color appearance model. 02 is adopted.
  • Device brightness refers to the brightness of the illumination that illuminates the subject during shooting. When observing with a monitor, the brightness of the monitor is said, and when observing with a print, the brightness of the illumination that illuminates the print is said.
  • the ratio of the illumination brightness to the ambient brightness s, and the observation conditions are the tristimulus values (X
  • observation luminance L' ratio of device luminance to ambient luminance s', etc.
  • JCh obtained in 9, 12, and 13 is a parameter (data) indicating the appearance of the original color that does not depend on the imaging condition or the observation condition.
  • the conversion from 13 to 1 is reversed, and the CIE 1931 XYZ tristimulus values in the conversion destination observation environment are obtained.
  • the image data before and after conversion is expressed in the CIE 1931 XYZ color system, and has a stimulation value of ⁇ , ⁇ , and ⁇ for each pixel.
  • the average luminance of all pixels that enter the 10-degree field of view is calculated for each pixel. For example, if the pixel range that falls within the 10 ° field of view is the range of 9 x 9 pixels, the average of the luminance of this 9 x 9 pixel is calculated.
  • Yw is a relative value of white point luminance and is usually 100.
  • FIG. 4 is a diagram showing an example of the experimental result.
  • the horizontal axis in Fig. 4 shows how far the original color patch (the color of the left color patch 13 fixing the color) is apart from the original color patch 14 when the color appearance matches. This is indicated by the color difference.
  • the vertical axis is the ratio of the selected patch (number of people selected Z).
  • the color gamut to which the former belongs is determined as a predetermined color gamut and is stored as data.
  • a predetermined condition is whether the color belongs to the predetermined color gamut.
  • each color included in the color gamut can be specified by the ⁇ , ⁇ , and ⁇ stimulus values.
  • FIG. 5 is a diagram illustrating a flowchart of processing executed by the personal computer 1 according to the first embodiment.
  • the color appearance model is applied to reproduce the color appearance at the time of imaging under the observation conditions!
  • the viewing environment data at the time of shooting is read from the acquired image data, and the viewing environment at the time of shooting is set. Specifically, as the visual environment data at the time of shooting, the illumination white point that was illuminating the subject at the time of shooting, the illumination brightness that was illuminating the subject at the time of shooting, and the ambient brightness of the subject are read.
  • the digital camera that outputs the image data acquired in step S 11 has the following functions.
  • An auto white balance (AWB) function that estimates the illumination white point during shooting and records the estimated illumination white point in the image data.
  • a photometric function is provided to automatically adjust the exposure, and this result is analyzed to estimate the illumination brightness of the subject when the subject is illuminated and record the estimated illumination brightness in the image data.
  • a function that measures the brightness around the subject using the photometric function provided in the camera for measuring the results of the photometric measurement and the ambient brightness, and records the measured brightness around the subject in the image data.
  • the personal computer 1 may perform processing for estimating the illumination white point at the time of shooting, processing for estimating the luminance of the illumination used to illuminate the subject at the time of shooting, and processing for estimating the luminance around the subject.
  • step S13 the visual environment during observation is set.
  • user (observer) keyboard operation Use the value entered by. In this way, parameters necessary for the appearance model of the plurality of colors, such as a visual environment at the time of photographing and a visual environment at the time of observation, are set.
  • step S14 since color conversion is performed for each pixel, it is determined whether or not the color of the pixel to be converted is within the predetermined color gamut (color in which the experimental result appears prominently) obtained in the experiment. I do. Colors included in a predetermined color gamut are stored in advance as data based on experimental results. By referring to the data, it is possible to determine whether the color of a pixel is within the predetermined color gamut.
  • step S15 chromatic adaptation conversion using a detailed color appearance model is selected as the chromatic adaptation conversion method for the target pixel.
  • step S17 chromatic adaptation conversion is performed on the target pixel using a detailed conversion method. That is, the color appearance is predicted by applying a detailed color appearance model.
  • step S16 chromatic adaptation conversion using a simple color appearance model is selected as the chromatic adaptation conversion method for the target pixel.
  • step S18 chromatic adaptation conversion is performed on the target pixel by a simple conversion method. In other words, color appearance is predicted using a simplified color appearance model. This is because the results are not prominent and the effect on color appearance is not significant even if they are not predicted with a detailed color appearance model.
  • step S19 it is determined whether or not the chromatic adaptation conversion has been completed for all pixels. If the processing has not been completed for all the pixels, the process returns to step S14 and is repeated. If chromatic adaptation conversion has been completed for all pixels, the process proceeds to step S20. In step S20, the converted pixel value is output as image data, and the process ends.
  • FIG. 10 is a diagram showing details of the process in step S 17.
  • step S101 the pixel value XYZ is obtained from the image data obtained in step S11.
  • image data is on
  • step S102 the background luminance Yb of the target pixel is calculated.
  • the luminance value average ⁇ / ⁇ 2 ranging from ambient 10 ° field of view (N pixel XN pixel) is calculated, which is referred to as Yb. N as described above For example, 9 pixels.
  • step S103 chromatic adaptation conversion processing according to CIECAM02 is performed based on the visual environment data at the time of shooting set in step S12. Specifically, the processes 1 to 13 described above (CIECAM02 color appearance model) are performed.
  • step S104 chromatic adaptation inverse transformation processing by C IECAM02 is performed based on the visual environment data at the time of observation set in step S13. Specifically, the processes 1 to 13 described in the above (CIECAM02 color appearance model) are performed in reverse order starting with 13.
  • step S105 a pixel value XYZ after conversion is obtained. Note that image data expressed in the RGB color system
  • FIG. 11 is a diagram showing details of the process in step S18.
  • step S201 the pixel value XYZ is obtained from the image data obtained in step S11. In this embodiment, it is described above.
  • step S202 based on the visual environment data at the time of shooting set in step S12 and the visual environment data at the time of observation set in step S13, chromatic adaptation conversion using the von Kries adaptation conversion formula is performed. To do.
  • the von Kries adaptation conversion formula is as described above (von Kries adaptation conversion formula).
  • step S203 a pixel value XYZ after conversion is obtained.
  • the processing time is shorter than when a detailed color appearance model is applied to the entire image, and the color appearance of the entire image can be accurately predicted. it can.
  • the second embodiment is characterized in that when selecting a color appearance model, the color appearance model is not classified by the color gamut determined as in the first embodiment but by the luminance. Since luminance is one of the parameters that determine the color gamut, classification by luminance is also included in the concept of color gamut classification. Since the configuration of the image processing apparatus of the second embodiment is the same as that of the first embodiment, reference is made to FIG. 1 and description thereof is omitted.
  • FIG. 6 is an example of an experimental result of a color appearance experiment similar to the experiment described in the first embodiment.
  • the color appearance prediction when the background luminance changes from the color of the left color patch 13 to Y of Yb force using CIECAM02 The result is the color of color patch 14 of right patch 12.
  • the actual background brightness Y of patch 12 on the right side does not change whatever value Yb 'entered in CIECAM02, and the result of converting the destination background brightness applied to CIECAM02 as Y correctly is the right color patch 14
  • the right and left patches are prepared by changing the background brightness of the conversion destination to be applied to CIECAM02 from the background brightness Y of the actual patch 12 and changing the color appearance prediction to the right color patch 14. Experiments are conducted to select the ones with the same color appearance.
  • FIG. 6 shows an example of the result of such an experiment.
  • the experimental conditions in Fig. 6 show the experimental results for two sets of color patches 13 with different hues L * with a hue angle of 196 degrees in the L * a * b * space. From this experimental result, even when the hue is the same, the result shows a large variation when the luminance of the color patch 13 is high. On the contrary, a remarkable result is obtained when the luminance of the color patch 13 is low.
  • the solid line in Fig. 6 shows that many people choose the color appearance predicted by CIECAM02 when the hue is the same but the luminance is low.
  • This experiment is performed in advance for various colors, and a luminance range in which the result is noticeable is determined in advance and stored as data.
  • CIE XYZ color space is converted to CIE L * a * b * color space, and L * is treated as luminance data.
  • the experiment is performed in the L * a * b * color space, the L * range is determined in advance, and the CIE L * a * b * color space force is converted to the CIE XYZ color space. If so, you can treat Y as luminance data!
  • FIG. 7 is a diagram illustrating a flowchart of processing in the second embodiment. Since only step S21 is different from FIG. 5 of the first embodiment, the following description will focus on step S21. The description of other steps is omitted.
  • step S21 in order to perform color conversion for each pixel, it is determined whether or not the luminance of the target pixel is equal to or less than the predetermined threshold obtained in the experiment.
  • the predetermined threshold is stored in advance as data based on the experimental result, and by referring to the data, it is possible to determine whether the luminance of the pixel is equal to or lower than the predetermined threshold.
  • step S15 the color appearance is predicted by applying a detailed color appearance model.
  • step S16 color appearance is predicted using a simplified color appearance model. This is because the results are not prominent and the effect on color appearance is not significant even if it is not predicted with a detailed color appearance model.
  • the processing time is shorter than when a detailed color appearance model is applied to the entire image, and the entire image is also processed.
  • the color appearance of can be accurately predicted.
  • the third embodiment is characterized in that when selecting a color appearance model, classification is performed according to hues that are not classified according to brightness as in the second embodiment. Since hue is one of the parameters that determine the color gamut, classification by hue is also included in the concept of color gamut classification. Since the configuration of the image processing apparatus of the third embodiment is the same as that of the first embodiment, reference is made to FIG. 1 and description thereof is omitted.
  • FIG. 8 is an example of an experimental result of a color appearance experiment similar to the experiment described in the second embodiment.
  • the color appearance prediction when the background luminance changes from the color of the left color patch 13 to Y of Yb force using CIECAM02 The result is the color of color patch 14 of right patch 12.
  • the actual background luminance Y of patch 12 on the right side does not change whatever value Yb 'entered in CIECAM02, and the right background color patch is the result of converting the conversion destination background luminance applied to CIECAM02 as Y correctly.
  • FIG. 8 shows the result of such an experiment. From this experimental result, even in the case of colors with similar brightness, for example, in the case of yellow to green, there is a large variation in the results. On the contrary, in the case of magenta, for example, clear results are obtained.
  • the solid line in Fig. 8 indicates that the color appearance predicted by a lot of human power SCIECAM02 is selected in the case of a magenta system even if the brightness is similar.
  • the broken line in Fig. 8 indicates that many people do not always select the color appearance predicted by CIECAM02 for yellow to green systems with similar colors.
  • the color appearance prediction is more correct when the detailed color appearance model is used for a magenta color hue, but the hue is yellow even if the color has the same luminance.
  • the colors of Green even if they are predicted with a simplified color appearance model, the color appearance is not greatly affected.
  • FIG. 9 is a diagram illustrating a flowchart of processing in the third embodiment. Since only step S31 is different from FIG. 5 of the first embodiment, step S31 will be mainly described below, and description of other steps will be omitted.
  • step S31 since color conversion is performed for each pixel, it is determined whether or not the color of the target pixel is within the predetermined hue range obtained in the experiment.
  • the predetermined hue range is stored in advance as data based on the experimental results, and by referring to the data, it is possible to determine whether or not the pixel color is within the predetermined hue range.
  • step S15 the color appearance is predicted by applying a detailed color appearance model.
  • step S16 a simple color appearance model is created. Use to predict color appearance. This is because the results are not prominent and the effect on color appearance is not significant even if not predicted by a detailed color appearance model.
  • the processing time is shorter than when a detailed color appearance model is applied to the entire image, and the color appearance of the entire image is accurately predicted. can do.
  • the example of selecting which conversion method to apply for each pixel has been described.
  • a method is considered in which a plurality of neighboring pixels are regarded as one area in image data that is not selected for each pixel, and which conversion method is applied for each area. explain. In other words, even if the color state of each pixel changes within the same area, it is converted using the same method. Note that the configuration of the image processing apparatus according to the fourth embodiment is the same as that of the first embodiment, and therefore, the description thereof is omitted with reference to FIG.
  • the region is divided by a dividing method of a plurality of closed spaces extracted by edge extraction and the outside thereof.
  • a method may be used in which adjacent regions are considered to be the same region when the color difference is close, and the region is divided where the color difference is a predetermined value or more away.
  • the XYZ color system is converted to the L * a * b * color system, and the color difference ⁇ between adjacent pixels Ll * al * bl * and L2 * a2 * b2 * is obtained from the following equation.
  • other methods may be used.
  • FIG. 12 is a diagram for explaining an example of dividing an image into a plurality of regions in the present embodiment.
  • edge extraction is performed on an image as shown in FIG. If edge extraction is performed, it can be divided into seven regions from the edge extraction result.
  • Region 1 is the mountain in the frame
  • Region 2 is the frame of the frame
  • Region 3 is the background in the frame
  • Region 4 is the human skin
  • Region 5 is the clothes
  • Region 6 is the table
  • Region 7 is the region 1 ⁇ It is a background other than 6.
  • Which conversion method is to be selected for each divided area is determined by determining a representative color for each divided area and selecting a conversion method to be applied to all pixels in the area.
  • the color that represents the area is the average of the colors of all the pixels in the area, the average of the pixels excluding the boundary, or the color with a predetermined number of pixels near the center of the area. You may use the color which averaged.
  • the average color may be an average of the colorimetric values XYZ, an average of L * a * b *, or a color averaged in another color system.
  • FIG. 13 is a diagram showing a flowchart of processing executed by the personal computer 1 in the fourth embodiment. The captured image will be described with reference to FIG.
  • Steps S41 to S43 are the same as steps S11 to S13 in FIG. 5 of the first embodiment, and thus description thereof is omitted.
  • step S44 the image data acquired in step S41 is prayed and edges in the image are extracted.
  • step S45 using the edge extraction result of step S44, the captured image is divided into a plurality of closed spaces and the outside thereof. In the example of the photographed image in FIG. 12, the photographed image is divided into seven regions 1-7.
  • step S46 Then, except for the vicinity of the boundary included in the area, the average color of all the pixels is calculated, and the representative color of the area is determined.
  • step S47 it is determined whether or not the representative color of the selected region is in a predetermined color gamut.
  • the predetermined color gamut is a predetermined color gamut (a color in which the experimental result appears remarkably) obtained in the experiment described in the first embodiment. Colors included in a predetermined color gamut are stored in advance as data based on experimental results, and it is possible to determine whether the representative color is within the predetermined color gamut by referring to the data.
  • step S48 color adaptation conversion using a detailed color appearance model is selected as the color adaptation conversion method for the target region.
  • step S50 chromatic adaptation conversion is performed on each pixel in the target area using a detailed conversion method. That is, the color appearance is predicted by applying a detailed color appearance model.
  • step S52 it is determined whether or not the processing has been completed for all pixels in the target area. If the process has not ended, return to step S50 and repeat the process. If processing is complete Proceed to step S54.
  • step S49 chromatic adaptation conversion using a simple color appearance model is selected as the chromatic adaptation conversion method for the target area.
  • step S51 chromatic adaptation conversion is performed on each pixel in the target area by a simple conversion method. That is, color appearance is predicted using a simplified color appearance model. This is because the result is not remarkable, so the effect on the color appearance is not great even if it is not predicted with a detailed color appearance model.
  • step S53 it is determined whether or not the processing has been completed for all pixels in the target area. If the process has not been completed, the process returns to step S51 to repeat the process. If the process has been completed, the process proceeds to step S54.
  • step S54 it is determined whether or not the chromatic adaptation conversion processing has been completed for all regions.
  • step S55 the converted pixel value is output as image data, and the process ends.
  • step S50 employs chromatic adaptation conversion according to CIECAM02 as in step S17 of Fig. 5 of the first embodiment. Therefore, for details of the processing in step S50, refer to the description of the chromatic adaptation conversion by CIECAM02 in the first embodiment, and the description is omitted in this embodiment.
  • the simple chromatic adaptation conversion of step S51 employs chromatic adaptation conversion by von Kries as in step S18 of FIG. 5 of the first embodiment. Therefore, details of the processing in step S51 are referred to the description of chromatic adaptation conversion by von Kries in the first embodiment, and the description is omitted in this embodiment.
  • step S47 determines whether or not the representative color of the selected region is in the predetermined color gamut.
  • detailed chromatic adaptation conversion or simple chromatic adaptation conversion is performed by determining whether the luminance value of the representative color in the selected area is equal to or less than a predetermined threshold value. Even if you decide to do it ⁇ .
  • the processing in step S47 in FIG. 13 is simply replaced with processing for determining whether or not the luminance value of the representative color of the area is equal to or smaller than a predetermined threshold value, and thus the figure is omitted.
  • the predetermined threshold value of the luminance value is the same as that of the second embodiment, the description thereof is omitted.
  • the CIE XYZ color space is converted to the CIE L * a * b * color space, and L * is the brightness. Treat as data.
  • the Y range of the CIE XYZ color space may be determined from the L * range determined in advance in the experiment, and Y may be handled as luminance data.
  • step S47 in FIG. 13 is simply replaced with processing for determining whether or not the representative color of the region is within a predetermined hue range, and thus the illustration is omitted.
  • the predetermined hue range is the same as that of the third embodiment, so that the description thereof is omitted.
  • FIG. 14 is a diagram illustrating an example of processing when determination based on luminance values and determination based on hue are combined. Step S47 in FIG. 13 is replaced with the processing in steps S56 and S57 in FIG. Other steps are the same as those in FIG.
  • a predetermined threshold value 75 in FIG. 14
  • the luminance value of the representative color is equal to or less than a predetermined threshold and the hue of the representative color is within the predetermined hue range, detailed chromatic adaptation conversion is performed, otherwise simple chromatic adaptation conversion is performed. It is what you do. If the luminance value of the representative color is greater than the predetermined threshold value or the hue of the representative color is outside the predetermined hue range, even if it is only one of the deviations, the color can be predicted without predicting with a detailed color appearance model. This is because the effect on the appearance of is not significant.
  • the fourth embodiment instead of selecting the chromatic adaptation conversion method for each pixel, a plurality of neighboring pixels are regarded as one region in the image data, and which conversion method is applied for each region is selected. Explained how to do. In this case, the representative color in the area is determined. An example of processing is described above.
  • the fifth embodiment another selection method when selecting a conversion method for each region will be described. Since the configuration of the image processing apparatus of the fifth embodiment is the same as that of the first embodiment, reference is made to FIG. 1 and description thereof is omitted.
  • FIG. 15 is a diagram illustrating a flowchart of processing executed by the personal computer 1 according to the fifth embodiment. Steps having the same contents as those in the process of FIG. 13 of the fourth embodiment are given the same step numbers, and description thereof is omitted. Specifically, instead of step S46 and step S47 in FIG. 13, FIG. 15 differs only in that step S66 to step S68 are provided. Hereinafter, step S66 to step S68 will be described.
  • step S66 it is determined whether or not the color of each pixel is within a predetermined color gamut in the selected area, and the number of pixels within the predetermined color gamut is counted.
  • step S67 it is determined whether or not the force has been determined for all pixels in the selected region. If the determination is V ⁇ , the process returns to step S66 to repeat the process. If the determination is completed, the process proceeds to step S68.
  • step S68 it is determined whether or not the number of pixels in the predetermined color gamut within the conversion target area is equal to or greater than a predetermined ratio with respect to the total number of pixels in the conversion target area. If the ratio is greater than the predetermined ratio, the process proceeds to step S48 to perform detailed chromatic adaptation conversion. If it is less than the predetermined ratio, the process proceeds to step S49 to perform simple chromatic adaptation conversion.
  • the predetermined color gamut it is not always necessary to determine whether all the pixels in the conversion target region are in the predetermined color gamut.
  • the case where the number falls within a predetermined color gamut may be counted, and the process may proceed to step S48 immediately when the value becomes equal to or greater than a predetermined ratio.
  • the predetermined ratio has been exceeded.
  • the same conversion method can be selected for pixels in the same region.
  • unnaturalness such as a conspicuous boundary due to the difference in the conversion method does not appear in the determined region.
  • step S66 it is determined whether or not the color of each pixel in the selected area is within the predetermined color gamut, and the number of pixels in the predetermined color gamut is counted.
  • the process of step S66 in FIG. 15 is simply replaced with a process of determining whether the luminance value of each pixel is below a predetermined threshold in the selected area and counting the number of pixels below the predetermined threshold. The figure is omitted because there is.
  • the predetermined threshold value of the luminance value is the same as that in the second embodiment, and thus the description thereof is omitted.
  • the CIE XYZ color space is converted to the CIE L * a * b * color space, and L * is treated as brightness data.
  • the L * range force predetermined in the experiment may be defined as the Y range in the CIE XYZ color space, and Y may be treated as luminance data.
  • step S66 in FIG. 15 is a process of determining whether or not the color of each pixel in the selected area is within a predetermined hue range and counting the number of pixels within the predetermined hue range. The figure is omitted because it is only replaced. Further, the predetermined hue range is the same as that of the third embodiment, so that the description thereof is omitted.
  • the determination may be made by combining the determination based on the luminance value and the determination based on the hue.
  • image data captured under a certain imaging condition is converted into image data that reproduces color appearance according to an observation condition in which the illumination condition is different from the imaging condition.
  • image data created on the assumption that observation is performed under a certain observation condition is used as an input image. Note that the configuration of the image processing apparatus of the sixth embodiment is the same as that of the first embodiment, and therefore will be omitted with reference to FIG.
  • the personal computer 1 uses the image data created based on the first viewing condition in consideration of human chromatic adaptation characteristics, and the lighting condition is the first viewing condition. Convert to image data that reproduces the color appearance according to different second viewing conditions.
  • FIG. 17 is a diagram showing a basic flow of processing performed by the personal computer 1.
  • image data C created on the assumption of certain observation conditions is acquired by, for example, a digital camera or a personal computer.
  • the image data C may be an image created by a process equivalent to the conversion process (FIGS. 5, 7, 9, 13, and 15) described in the first to fifth embodiments.
  • an image created by chromatic adaptation conversion of the entire image may be used.
  • it is assumed that the image data C is expressed in the CIE 1931 XYZ color system.
  • step S172 the observation condition used when the image data C is created is input as the first observation condition.
  • the first viewing condition may be data attached to the image data C, or may be input as appropriate by the keyboard power of the personal computer 1.
  • step S173 using an appearance model of a predetermined color, image data C depends on both the first viewing condition and the viewing condition (second viewing condition) of the output image (image data D). Convert to unrecognized color appearance data.
  • the first observation condition input in step S172 is used as an input parameter of the color appearance model in step S173.
  • the data obtained by the conversion is expressed as color appearance data regardless of the observation equipment and the observation conditions of the image data C and the observation conditions of the image data D.
  • Step S174 is the same as step S4 in FIG. 2 of the first embodiment, and a description thereof will be omitted.
  • step S175 the same color as in step S173 is used for the color appearance data that does not depend on the observation equipment or observation conditions of the image data C and image data D acquired in step S173. Apply the appearance model. However, the reverse conversion from that in step S173 is performed. At this time, the observation condition force of the image data D input in step S174 is used as an input parameter of the color appearance model in step S175.
  • step S 176 image data that reproduces the color appearance according to the observation conditions of the image data D is acquired.
  • the image data D is image data expressed in the CIE 1931 XYZ color system.
  • the first observation condition described above is a condition related to the illumination used in the observation of the image data C and the equipment used for the observation of the image data C and the surrounding observation environment.
  • the second observation condition is a condition related to the illumination of the equipment used for the image data D observation and the surrounding observation environment.
  • This The first observation condition and the second observation condition are conditions related to the visual field and the surrounding environment, that is, the visual environment, which affect the appearance, such as the luminance, white point, and ambient brightness of the illumination light source.
  • This embodiment has a feature in the color appearance model applied in step S173 and step S175, as in the first embodiment.
  • the color appearance model of CIECAM02 is applied only to the data that satisfies the specified condition in the image data C. If the specified condition is not satisfied, the data is lighter and simpler than CIECAM02. The appearance model was applied.
  • FIG. 18 is a diagram illustrating a flowchart of processing executed by the personal computer 1 according to the sixth embodiment.
  • step S111 first image data created on the assumption that the image is observed under the first observation condition is acquired.
  • step S112 the acquired image data force also reads the first observation condition and sets it as the first observation condition. If there is no data related to the first viewing condition in the image data, the sRGB standard viewing environment is set as the first viewing condition.
  • step S113 the visual environment during actual image observation is read and set as the second observation condition.
  • the sRG B environment which is the standard visual environment, is read as the observation visual environment, or the value input by the user (observer) keyboard operation is used.
  • step S114 it is determined whether or not the first observation condition and the second observation condition are the same. If they are equal, the process proceeds to step S122, and the input image is output as it is without performing any processing. On the other hand, if negative in step S114, the process proceeds to step S115.
  • the processing in steps S115 to S121 is the same as that in steps S14 to S20 in FIG. 5 of the first embodiment, and a description thereof will be omitted.
  • FIGS. 10 and 11 showing the processing of steps S17 and S18, the imaging viewing environment is replaced with the first viewing condition, and the observation viewing environment is replaced with the second viewing environment.
  • step S114 determines whether or not the color to be converted is in a predetermined color gamut.
  • whether to perform detailed chromatic adaptation conversion or simple chromatic adaptation conversion by determining whether the luminance value of the conversion target pixel is equal to or less than a predetermined threshold value You may make it decide.
  • the processing is shown in Fig. 18. Since the process of step SI15 is simply replaced with a process for determining whether or not the luminance value of the conversion target pixel is equal to or less than a predetermined threshold value, the figure is omitted. Further, the predetermined threshold value of the luminance value is the same as that in the second embodiment, and thus the description thereof is omitted.
  • the CIE XYZ color space is converted to the CIE L * a * b * color space, and L * is treated as luminance data.
  • the Y range of the CIE XYZ color space can be determined from the L * range that was previously determined in the experiment, and Y can be treated as luminance data.
  • the processing in step S115 in FIG. 18 is simply replaced with processing for determining whether or not the color of the pixel to be converted is a predetermined hue range force, so that the drawing is omitted.
  • the predetermined hue range is the same as that of the third embodiment, so that the description thereof is omitted.
  • the determination based on the luminance value and the determination based on the hue may be combined.
  • FIG. 19 shows a flowchart for determining and processing representative colors in an area. Steps S141 to S144 are the same as steps S111 to S114 in FIG. If the determination in step S144 is affirmative, the process proceeds to step S157. Step S157 is the same as step S122 in FIG. If the determination is negative in step S144, the process proceeds to step S145. The processing in steps S145 to S156 is the same as that in steps S44 to S55 in FIG. 13 of the fourth embodiment, and a description thereof will be omitted.
  • FIG. 20 shows a flowchart when processing is performed using the ratio of pixels in the predetermined color gamut in the conversion target area.
  • Steps S141 to S144 are the same as steps S111 to S114 in FIG. If the determination in step S144 is affirmative, the process proceeds to step S157. Step S157 is the same as step S122 in FIG. If the determination is negative in step S144, the process proceeds to step S145. Steps S145 to S146, Steps S167 to S169, and Steps S149 to S156 are performed according to Steps S44 to S45, Steps S66 to S68, and Steps of FIG. 15 of the fifth embodiment. Since it is the same as S48-S55, description is abbreviate
  • the conversion method is used.
  • the selection may be performed by determining whether the luminance value of each pixel in the conversion target area or the representative color of the area is equal to or less than a predetermined threshold and using the determination result.
  • the processing in step S148 in FIG. 19 is replaced with determination of whether the luminance value of the representative color is equal to or less than a predetermined threshold, and the processing in step S167 in FIG.
  • step S148 in FIG. 19 is replaced with determination of whether the hue of the representative color is within a predetermined range, and the processing in step S167 in FIG. It is simply replaced with a process of determining whether the force is within the range or not, and counting the number of pixels within the predetermined hue range.
  • the determination may be made by combining the determination based on the luminance value and the determination based on the hue.
  • the color appearance model to be used has been described as an alternative of a detailed color appearance model or a simplified color appearance model.
  • a plurality of simplified models may be used by combining a plurality of conditions as shown in the first to sixth embodiments.
  • the simplified color appearance model is the color appearance model based on the von Kries's adaptation conversion formula.
  • a simplified color appearance model may be obtained by omitting a part of the calculation of CIECA M02. For example, 13 steps of forward conversion and some of the reverse conversion may be omitted.
  • the background brightness Yb is 10 degrees around the stimulus value of the 2 field of view. Although it is defined as the luminance of the field of view, it takes a lot of processing time to determine the background luminance of the surrounding pixel that falls within the visual field equivalent to 10 degrees for each pixel when determining this background luminance. Therefore, in this modification, a color appearance experiment similar to the experiment described in the first embodiment is performed, and colors whose color appearance is sensitive to changes in background luminance are divided into color gamuts in advance and the data is stored. Have it.
  • the color of a certain pixel is within this color gamut, it is possible to obtain a correct color appearance prediction by accurately calculating the background luminance for each pixel and applying it to the color appearance model.
  • the predetermined background luminance for example, the average luminance of the entire image may be used.
  • the detailed color appearance model in step S17 in the flowchart of FIG. 5 of the first embodiment and the simplified color appearance model in step S18 are the same.
  • the simplified color appearance model in step S 18 is a CIECAM02 color appearance model with the background luminance set to a fixed value.
  • the background luminance is accurately calculated for each pixel and set as a CIECAM02 parameter to predict the color appearance.
  • the predetermined background brightness is set as a CIECAM02 parameter to predict the color appearance.
  • a luminance range that greatly affects the color appearance when the background luminance changes is determined in advance by a color appearance experiment as described in the second embodiment.
  • the background brightness it is assumed that the CIE L * a * b * L * ⁇ 80 is determined in the color patch before conversion.
  • the correct color appearance cannot be reproduced unless the background brightness is accurately calculated for each pixel and applied to the color appearance model. Regardless, applying a fixed background brightness value that has been set in advance will not affect the color appearance.
  • step S21 of the flowchart of FIG. 7 it is determined whether or not the luminance of the target pixel is within the predetermined range obtained in the experiment (CIE L * a * b * L * ⁇ 80). Do. If it is within the specified range, the background luminance is accurately calculated for each pixel and set in the CIECAM02 parameters to predict the color appearance. If the luminance is out of the predetermined range, the predetermined fixed background luminance is set as a CIECAM02 parameter to predict the color appearance. For luminance, the CIE XYZ color space is converted to the CIE L * a * b * color space, and the LIE is determined from the L * range defined in the example of handling L * as luminance data. Y range may be defined and Y may be treated as luminance data.
  • the simplified color appearance model in step S18 is the CIECAM 02 color appearance with the background luminance set to a fixed value as in Modification 3. Also as a model! /.
  • a hue that greatly affects the color appearance when the background luminance changes is determined in advance by a color appearance experiment as described in the third embodiment.
  • the correct color appearance prediction can be obtained by accurately calculating the background luminance for each pixel and applying it to the color appearance model.
  • the appearance of the color is not affected by applying a fixed background brightness value that is determined in advance regardless of the pixel.
  • FIG. 13 is a flowchart of the fourth embodiment, and FIG. 1 is a fifth embodiment.
  • the simplified color appearance model in step S51 may be a CIECAM02 color appearance model in which the background luminance is a predetermined fixed value as in Modification 3.
  • the simplified color appearance model in step S119 is a CI in which the background luminance is set to a predetermined fixed value as in Modification 3. It may be a color appearance model of ECAM02.
  • the simplified color appearance model of step S152 is also used as the CIECAM02 color appearance model with the background luminance set to a predetermined fixed value as in Modification 3. Yo! /.
  • CIECAM02 is adopted as a detailed color appearance model
  • other color appearance models may be used.
  • it may be CIECAM97s which is an old model of CIECAM02, Fairchild's model, and other models.
  • the example of adopting the von Kries adaptation conversion formula as a simple color appearance model has been described, but the conversion method may be another simple method. In other words, any combination of techniques can be used as long as a detailed technique and a simple technique can be appropriately used according to the state of the pixel to be converted.
  • the force described in the example expressed in the CIE 1931 XYZ color system for both the conversion target image data and the converted image data is not necessarily limited to this content. Other color systems may be used.
  • the example in which the chromatic adaptation conversion method is selected based on whether the color of the conversion target pixel is within a predetermined color gamut or not is described.
  • the example in which the chromatic adaptation conversion method is selected depending on whether the brightness of the conversion target pixel is equal to or lower than a predetermined threshold value has been described.
  • the example in which the chromatic adaptation conversion method is selected depending on whether the color of the conversion target pixel is within a predetermined hue range is described.
  • the chromatic adaptation conversion method may be selected depending on whether or not the color of the conversion target pixel is within a predetermined saturation range.
  • the representative color of the conversion target region and each pixel of the conversion target region are selected.
  • the chromatic adaptation conversion method may be selected depending on whether or not the color is within a predetermined saturation range.
  • observation is performed under the second observation condition that is an actual observation condition.
  • the color of the conversion target pixel used to select the chromatic adaptation conversion method, the representative color of the conversion target area, or the color of each pixel of the conversion target area is within the specified saturation range.
  • the color gamut in the present embodiment refers to a mass or range of colors that satisfy a certain condition.
  • One type of color parameter is brightness, hue, and saturation. Therefore, a color gamut that has a range specified by any one parameter of luminance, hue, and saturation, or a parameter that arbitrarily combines them is determined. That is, the range specified by only brightness, the range specified only by hue, the range specified only by saturation, and the range specified by a combination of V and deviation are all included in this embodiment. So it can be said to be a gamut.
  • the color range specified by the XYZ color system, RGB color system, L * a * b * color system, etc. also specifies the color gamut. In these color systems, not only the range specified by three components (coordinates), but also the range specified by only one component (coordinates) is the range specified by any two components (coordinates). You can also specify the color gamut.
  • the power described in the example in which the image data captured by a digital camera or the like is processed by the personal computer 1 is not necessarily limited to this content. All of the above processing may be performed in the camera. In that case, the memory provided in the camera Install the program described above in the memory, and the CPU in the camera executes the program.
  • FIG. 16 is a diagram showing the configuration of the digital camera (electronic camera) 100 when implemented with a camera.
  • An image sensor 103 such as a CCD images the subject 101 via the taking lens 102.
  • the control device 104 generates image data based on the output signal from the image sensor 103, performs predetermined processing, and stores it in the memory 105 such as a memory card.
  • the control device 104 reads the image data stored in the memory 105 and displays the image on the internal monitor 106 provided in the digital camera 100 or on an external monitor connected from the digital camera 100 via a cable. At this time, the control device 104 displays an image on the internal monitor 106 or the external motor 107 while performing processing equivalent to the conversion processing (FIGS. 5, 7, 9, 13, and 15) described in the above embodiment.
  • the imaging condition data acquired at the time of imaging and stored in the memory 105 as a part of the image data is used.
  • the observation conditions are preset when displayed on the internal monitor 106!
  • the device characteristics (white point and brightness) of the internal monitor 106 are used.
  • the sRGB standard viewing environment is used.
  • the user may use the menu screen of the digital camera 100 to input as appropriate depending on whether the internal monitor 106 is used or the external monitor 107 is used.
  • the imaging condition data acquired at the time of imaging is used as the imaging condition, and the sRGB standard viewing environment is used as the observation condition. Then, processing equivalent to the conversion processing (FIGS. 5, 7, 9, 13, and 15) described in the first to fifth embodiments is performed.
  • the processed image may be stored. In this case, a flag indicating that the conversion process has been completed and the conditions used for the conversion process are also appended to the image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

　ある撮像条件で撮像された第１の画像データを、観察条件に応じた色の見えを再現する第２の画像データに変換する画像処理装置は、撮像条件で撮像された第１の画像データを取得する画像データ取得部と、取得された第１の画像データを、画素単位に、撮像条件と観察条件とに基づき、色順応を考慮した第１の手法により第２の画像データに変換する第１の変換部と、取得された第１の画像データを、画素単位に、撮像条件と観察条件とに基づき、第１の手法より簡易であって色順応を考慮した第２の手法により第２の画像データに変換する第２の変換部と、第１の画像データの変換対象画素又はその近傍画素の状態に応じて、第１の変換部および第２の変換部のいずれかを選択するように制御する制御部とを備える。

Description

明 細 書
画像処理装置、画像処理プログラム、および、画像処理方法
技術分野
[0001] 本発明は、ある撮像条件で撮像された画像データを、観察条件に応じた色の見え を再現する画像データに変換する画像処理装置、画像処理プログラム、画像処理方 法に関する。
背景技術
[0002] ある撮像条件で撮像した画像を、人間の色順応特性を考慮して、撮像条件とは異 なる観察条件に応じた色の見えを再現する色の見えモデルが各種提案されている。 その 1つとして、 CIE (国際照明委員会）が 2002年に提案した CIECAM02 (シーキヤム オーツ一と言う）の色の見えモデルがある（非特許文献 1参照）。 CIECAM02の色の見 えモデルは、照明光源の白色点の違いから、デバイス輝度の違い、デバイス輝度と 周辺輝度の比、背景輝度の違い等の影響まで考慮する。
[0003] 非特許文献 1 :矢口博久、「色の見えモデル CIECAM02の概要と課題一」、 力 ラーフォーラム JAPN2003、 2003年、 p.57-62
発明の開示
発明が解決しょうとする課題
[0004] し力し、 CIECAM02の色の見えモデルは、大変複雑な変換となっており、必要な入 力パラメータも多ぐまた観察条件下の色の見え予測までには多くの計算ステップが 必要となっている。演算そのものも単なる四則演算のみでは足りず、累乗計算も多く 用いられたものとなっている。更に、上記のような色の見えモデルを画像全体に適用 すると、各画素毎に前記変換を行わなければならず、力なり負荷の大きい処理となつ てしまうという問題があった。特に、入力パラメータの一つである背景輝度を決定する ため、各画素毎に周囲 10度視野に入る全画素の平均輝度を計算する等、各画素毎 にパラメータ計算する必要性からも、処理が重くなるという問題があった。
課題を解決するための手段
[0005] 本発明の第 1の態様によると、ある撮像条件で撮像された第 1の画像データを、観 察条件に応じた色の見えを再現する第 2の画像データに変換する画像処理装置は、 撮像条件で撮像された第 1の画像データを取得する画像データ取得部と、取得され た第 1の画像データを、画素単位に、撮像条件と観察条件とに基づき、色順応を考 慮した第 1の手法により第 2の画像データに変換する第 1の変換部と、取得された第 1 の画像データを、画素単位に、撮像条件と観察条件とに基づき、第 1の手法より簡易 であって色順応を考慮した第 2の手法により第 2の画像データに変換する第 2の変換 部と、第 1の画像データの変換対象画素又はその近傍画素の状態に応じて、第 1の 変換部および第 2の変換部の ヽずれかを選択するように制御する制御部とを備える。 本発明の第 2の態様によると、第 1の態様の画像処理装置において、制御部は、第 1の画像データの変換対象画素の色が所定の色域内のとき第 1の変換部を選択し、 第 1の画像データの変換対象画素の色が所定の色域内でないとき第 2の変換部を選 択するように制御するのが好ま 、。
本発明の第 3の態様によると、第 2の態様の画像処理装置において、所定の色域 は、所定の輝度範囲あるいは所定の色相範囲を含むのが好ま 、。
本発明の第 4の態様によると、第 2または 3の態様の画像処理装置において、画像 内における変換対象画素周辺の背景輝度、および、撮像条件と観察条件の違いの 少なくともいずれかの影響を受けて、元の色に対して同じでない特定の色を多くの人 が色の見えが一致するとして選ぶ該元の色の集まりを所定の色域として規定する色 域規定部をさらに備え、制御部は、色域規定部を参照して、第 1の画像データの変 換対象画素の色が所定の色域内にあるかどうかを判断するのが好ましい。
本発明の第 5の態様によると、第 1の態様の画像処理装置において、制御部は、第 1の画像データを複数の領域に分割し、分割された各領域に含まれる画素の状態に 応じて、領域毎に第 1の変換部および第 2の変換部のいずれかを選択し、同一領域 内の各画素は領域毎に選択された同一変換部を選択するように制御するのが好まし い。
本発明の第 6の態様によると、第 5の態様の画像処理装置において、制御部は、第 1の画像データの変換対象領域に含まれる全画素のうち、各画素の色が所定の色域 内にある画素数の割合が所定割合以上のとき第 1の変換部を選択し、各画素の色が 所定の色域内にある画素数の割合が所定割合未満のとき第 2の変換部を選択するよ うに制御するのが好ましい。
本発明の第 7の態様によると、第 6の態様の画像処理装置において、所定の色域 は、所定の輝度範囲あるいは所定の色相範囲を含むのが好ま 、。
本発明の第 8の態様によると、第 6または 7の態様の画像処理装置において、画像 内における変換対象画素周辺の背景輝度、および、撮像条件と観察条件の違いの 少なくともいずれかの影響を受けて、元の色に対して同じでない特定の色を多くの人 が色の見えが一致するとして選ぶ該元の色の集まりを所定の色域として規定する色 域規定部をさらに備え、制御部は、色域規定部を参照して、第 1の画像データの変 換対象領域に含まれる各画素の色が所定の色域内にあるかどうかを判断するのが好 ましい。
本発明の第 9の態様によると、第 5の態様の画像処理装置において、制御部は、第 1の画像データの変換対象領域を代表する色が所定の色域内にあるとき第 1の変換 部を選択し、第 1の画像データの変換対象領域を代表する色が所定の色域内でない とき第 2の変換部を選択するように制御するのが好ま U、。
本発明の第 10の態様によると、第 9の態様の画像処理装置において、所定の色域 は、所定の輝度範囲あるいは所定の色相範囲を含むのが好ま 、。
本発明の第 11の態様によると、第 9または 10の態様の画像処理装置において、画 像内における変換対象画素周辺の背景輝度、および、撮像条件と観察条件の違い の少なくともいずれかの影響を受けて、元の色に対して同じでない特定の色を多くの 人が色の見えが一致するとして選ぶ該元の色の集まりを所定の色域として規定する 色域規定部をさらに備え、制御部は、色域規定部を参照して、第 1の画像データの 変換対象領域を代表する色が所定の色域内にあるかどうかを判断するのが好ましい 本発明の第 12の態様によると、第 9から 11のいずれかの態様の画像処理装置にお いて、変換対象領域を代表する色は、変換対象領域に含まれる全画素、もしくは所 定割合数以上の画素の色を平均した色とするのが好ましい。
本発明の第 13の態様によると、第 1から 12のいずれかの態様の画像処理装置にお いて、第 1の手法および第 2の手法ともに、同一の色の見えモデルによる手法であり、 第 2の手法は、色の見えモデル力 所定の演算を省略したものであるのが好ましい。 本発明の第 14の態様によると、第 1から 12のいずれかの態様の画像処理装置にお いて、第 2の手法は、四則演算のみで変換できる手法であるのが好ましい。
本発明の第 15の態様によると、第 1から 12のいずれかの態様の画像処理装置にお いて、第 1の手法および第 2の手法ともに、変換対象画素の背景輝度を考慮して変 換する手法であり、第 1の手法は変換対象画素の背景輝度を周辺の画素の輝度に 基づき演算し、第 2の手法は変換対象画素の背景輝度を所定の固定値とするのが好 ましい。
本発明の第 16の態様によると、第 13または 15の態様の画像処理装置において、 第 1の手法および第 2の手法ともに、 CIECAM02の色の見えモデルによる手法である のが好ましい。
本発明の第 17の態様によると、第 1から 12、 14のいずれかの態様の画像処理装置 において、第 1の手法は CIECAM02の色の見えモデルによる手法であり、第 2の手法 は von Kriesの順応変換式による手法であるのが好まし!/、。
本発明の第 18の態様によると、第 1の観察条件に基づいて作成された第 1の画像 データを、第 1の観察条件とは異なる第 2の観察条件に応じた色の見えを再現する第 2の画像データに変換する画像処理装置は、第 1の観察条件に基づいて作成された 第 1の画像データを取得する画像データ取得部と、取得された第 1の画像データを、 画素単位に、第 1の観察条件と第 2の観察条件とに基づき、色順応を考慮した第 1の 手法により前記第 2の画像データに変換する第 1の変換部と、取得された第 1の画像 データを、画素単位に、第 1の観察条件と第 2の観察条件とに基づき、第 1の手法より 簡易であって色順応を考慮した第 2の手法により前記第 2の画像データに変換する 第 2の変換部と、第 1の画像データの変換対象画素又はその近傍画素の状態に応じ て、前記第 1の変換部および前記第 2の変換部のいずれかを選択するように制御す る制御部とを備える。
本発明の第 19の態様によると、画像処理プログラムは、第 1から 18のいずれかの態 様の画像処理装置の機能をコンピュータに実現させる画像処理プログラムである。 本発明の第 20の態様によると、ある撮像条件で撮像された第 1の画像データを、観 察条件に応じた色の見えを再現する第 2の画像データに変換する画像処理方法は、 撮像条件で撮像された第 1の画像データを取得し、取得された第 1の画像データを、 撮像条件と観察条件とに基づき、画素単位に第 2の画像データに変換するとき、第 1 の画像データの変換対象画素又はその近傍画素の状態に応じて、色順応を考慮し た第 1の手法および第 1の手法より簡易な色順応を考慮した第 2の手法を使い分ける 本発明の第 21の態様によると、第 20の態様の画像処理方法において、さらに、第 1の画像データを複数の領域に分割し、取得された第 1の画像データを、撮像条件と 観察条件とに基づき、画素単位に第 2の画像データに変換するとき、各領域に含ま れる画素の状態に応じて、領域毎に色順応を考慮した第 1の手法および第 1の手法 より簡易な色順応を考慮した第 2の手法を使い分けるのが好ましい。
本発明の第 22の態様によると、第 1の観察条件に基づいて作成された第 1の画像 データを、第 1の観察条件とは異なる第 2の観察条件に応じた色の見えを再現する第 2の画像データに変換する画像処理方法は、第 1の観察条件に基づいて作成された 第 1の画像データを取得し、取得された第 1の画像データを、第 1の観察条件と第 2 の観察条件とに基づき、画素単位に第 2の画像データに変換するとき、前記第 1の画 像データの変換対象画素又はその近傍画素の状態に応じて、色順応を考慮した第 1の手法および第 1の手法より簡易な色順応を考慮した第 2の手法を使い分ける。 発明の効果
[0006] 本発明は、以上説明したように構成しているので、ある撮像条件で撮像された画像 データを、観察条件に応じた色の見えを再現する画像データに変換するとき、正確 な色の見え再現効果を落とさずに処理を軽くすることができる。
図面の簡単な説明
[0007] [図 1]本発明の一実施の形態である画像処理装置を示す図である。
[図 2]パーソナルコンピュータ 1が処理する処理の基本的な流れを示す図である。
[図 3]色の見え実験に使用するパッチの図である。
[図 4]第 1の実施の形態における実験結果を示す図である。 [図 5]第 1の実施の形態における処理のフローチャートを示す図である。
[図 6]第 2の実施の形態における実験結果を示す図である。
[図 7]第 2の実施の形態における処理のフローチャートを示す図である。
[図 8]第 3の実施の形態における実験結果を示す図である。
[図 9]第 3の実施の形態における処理のフローチャートを示す図である。
[図 10]図 5のステップ S 17の処理の詳細を示す図である。
[図 11]図 5のステップ S 18の処理の詳細を示す図である。
[図 12]第 4の実施の形態において、画像を複数の領域に分割する例を説明する図で ある。
[図 13]第 4の実施の形態における処理のフローチャートを示す図である。
[図 14]輝度値による判定と色相による判定を組み合わせた場合の処理の例を示す図 である。
[図 15]第 5の実施の形態における処理のフローチャートを示す図である。
[図 16]デジタルカメラ 100の構成を示す図である。
[図 17]第 6の実施の形態における処理の基本的な流れを示す図である。
[図 18]第 6の実施の形態における処理のフローチャートを示す図である。
[図 19]第 6の実施の形態の変形例における処理のフローチャートを示す図である。
[図 20]第 6の実施の形態の変形例における処理のフローチャートを示す図である。 発明を実施するための最良の形態
[0008] 第 1の実施の形態
図 1は、本発明の一実施の形態である画像処理装置を示す図である。画像処理装 置は、パーソナルコンピュータ 1で実現される。パーソナルコンピュータ 1は、デジタル カメラ 2、 CD— ROMなどの記録媒体 3、他のコンピュータ 4などと接続され、各種の 画像データの提供を受ける。パーソナルコンピュータ 1は、提供された画像データに 対して、以下に説明する画像処理を行う。コンピュータ 4は、インターネットやその他 の電気通信回線 5を経由して接続される。
[0009] パーソナルコンピュータ 1が画像処理のために実行するプログラムは、図 1の構成と 同様に、 CD— ROMなどの記録媒体や、インターネットやその他の電気通信回線を 経由した他のコンピュータ力 提供され、パーソナルコンピュータ 1内にインストールさ れる。パーソナルコンピュータ 1は、 CPU (不図示）およびその周辺回路（不図示）か ら構成され、 CPU力インストールされたプログラムを実行する。
[0010] プログラム力 sインターネットやその他の電気通信回線を経由して提供される場合は
、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に 変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形 態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。
[0011] 本実施の形態のパーソナルコンピュータ 1は、ある撮像条件で撮像された画像デー タを、人間の色順応特性を考慮して、照明に関する条件が撮像条件とは異なる観察 条件に応じた色の見えを再現する画像データに変換する。この変換を色順応変換と 言う。図 2は、パーソナルコンピュータ 1が処理する処理の基本的な流れを示す図で ある。
[0012] ステップ S 1では、例えばデジタルカメラなどで撮像した画像データ Aを取得する。
本実施の形態では、画像データ Aは CIE 1931 XYZ表色系で表されているものとする 。また、ここでの画像データ Aは、光源の色により影響を受けた色となっており、光源 の輝度や周囲の輝度など撮像条件により影響を受けて視覚で知覚される。ステップ S 2では、画像データ Aが撮像された撮像時の撮像条件を入力する。撮像時の撮像条 件は、画像データ Aに添付されているデータであってもよいし、パーソナルコンビユー タ 1のキーボード力も適宜入力してもよい。
[0013] ステップ S3では、所定の色の見えモデルを使用して、画像データ Aを撮像条件や 観察条件に依存しない色の見えデータに変換する。このとき、ステップ S2で入力され た撮像時の撮像条件力 ステップ S3の色の見えモデルの入力パラメータとして使用 される。変換して得られたデータは、撮影機器や観察用機器、および撮像条件や観 察条件に依存しな 、色の見えデータとして表現されて 、る。
[0014] ステップ S4では、再現した 、観察環境の観察条件をユーザ (観察者）によるパーソ ナルコンピュータ 1のキーボードの操作によって適宜入力する。もしくは、 sRGB標準 視環境等を仮定して、標準の観察条件としてあらかじめ記憶しておき、それを観察条 件として使用してもよい。ステップ S5では、ステップ S3で取得された撮像条件や観察 条件に依存しない色の見えデータに対して、ステップ S3と同じ色の見えモデルを適 用する。ただし、ステップ S3のときとは逆の変換をしていく。このとき、ステップ S4で入 力された観察条件力 ステップ S5の色の見えモデルの入力パラメータとして使用され る。そして、ステップ S6では、観察条件に応じた色の見えを再現する画像データ Bを 取得する。画像データ Bは CIE 1931 XYZ表色系で表された画像データである。
[0015] 前述した撮像条件とは撮像時のシーンの照明に関する条件である。観察条件とは 画像観察に使用する機器や周囲観察環境の照明に関する条件である。これら、撮像 条件や観察条件は、照明光源の輝度や白色点、周囲の明るさなど、見えに影響を与 える視野とその周辺の環境、すなわち視環境に関する条件である。
[0016] 本発明は、ステップ S3およびステップ S5において適用する色の見えモデルに特徴 を有する。 CIECAM02の色の見えモデルは、前述した通り、照明光源の白色点の違 いから、デバイス輝度の違い、デバイス輝度と周辺輝度の比、背景輝度の違い等の 影響まで考慮し、人間の色順応特性を考慮して色の見えを精度良く再現する優れた 色の見えモデルである。し力し、処理が重いという問題がある。
[0017] そこで、本実施の形態では、画像データ Aのうち、所定の条件を満たすデータにつ いてのみ CIECAM02の色の見えモデルを適用し、所定の条件を満たさないデータに ついては CIECAM02より処理が軽い簡略な色の見えモデルを適用することとした。本 実施の形態では、簡略な色の見えモデルとして、 von Kriesの順応変換式を採用する
[0018] (von Kriesの順応変換式）
以下、 von Kriesの順応変換式および CIECAM02の色の見えモデルについて説明 する。所定の条件については、その後に説明する。
[0019] von Kriesの順応変換式は、以下の式の通りである。 von Kriesの順応変換式は、白 色点変換のみを考慮したものである。これは、撮像照明下の被写体三刺激値 (X , Y on 0
, ζ )から、観察照明下の被写体三刺激値 (X , Υ , ζ )を以下の式に従って予測 n on est est est
する。撮像照明下の被写体三刺激値 (X , Υ , ζ )
on on on、観察照明下の被写体三刺激値 (
X , Υ , Ζ )は、 CIE 1931 XYZ表色系で表されており、各画素ごとに Χ,Υ,Ζの刺激 est est est
値を有する。 [数 1]
i l
Figure imgf000011_0001
[0020] ここで、マトリックス Aは、三刺激値を錐体応答 LMSに変換するマトリックスであり、例 えばブラッドフォード変換行列等を用いることができる。また、 L , M , S (i = est_w, ori_w )は、それぞれ撮像照明下、及び観察照明下の白の LMS応答である。撮像条件として 撮像照明の白色点を入力すれば、 L , M , S が導き出され、観察条件として観 on— w on— w on— w
察照明の白色点を入力すれば L , M , S 、が導き出される。この von Kriesの順 est_w est_w est_w
応変換式によるモデルを用いれば、 3 X 3マトリックスの演算で白色点変換を予測す ることができる。すなわち、 von Kriesの順応変換式によると、四則演算のみの簡易な 手法で変換を行なうことができる。
[0021] (CIECAM02の色の見えモデル）
次に、 CIECAM02について説明する。図 3は、色の見え実験に使用するパッチの図 である。図 3に示す 2つのパッチ 11、 12の中心のグレーの色パッチ 13、 14は同じ色 であっても、周囲の背景輝度 Yb、 Yb'が高いか低いかによつて、人間の眼では異なる 色に見えてしまう。図 3のノツチ 11、 12は、各パッチ中心力もそれぞれ 2度視野に色 ノツチ 13、 14を置き、その外側 2度〜 10度視野に背景輝度 Yb、 Yb'を設定している
[0022] CIECAM02は、照明光源の白色点の違いから、デバイス輝度の違い、デバイス輝 度と周辺輝度の比、背景輝度の違い等の影響まで考慮しており、図 3に示す様なパ ツチ 11、 12を用いて、各種視環境の影響を考慮して色の見えが一致するような変換 式が与えられている。本実施の形態では、より詳細な色の見えモデルとして CIECAM 02を採用する。デバイス輝度とは、撮影時においては、被写体を照明する照明の輝 度を言う。観察時には、モニタで観察するのであればそのモニタの輝度を言い、プリ ントで観察するのであればそのプリントを照明する照明の輝度を言う。
[0023] CIECAM02について以下概要を説明する力 より詳細には CIE TC8-01 Technical R印 ortを参照のこと。以下において、添字 wは白に対する値を示す。撮像条件として 、撮像時の照明白色点の三刺激値 (X ,Υ ,Ζ )、撮像時視覚が順応している順応輝
W W W
度し、照明輝度と周辺輝度の比 s、観察条件として、観察照明白色点の三刺激値 (X
A w -
',Υ ',Ζ ')、観察時の順応輝度 L '、デバイス輝度と周辺輝度の比 s'などを入力するこ
W W A
とにより、 CIECAM02で使用される各種のパラメータが設定される。
[0024] 1.デバイス輝度と周辺輝度の比 sに応じて観察パラメータ (c, Nc, F)設定
2.順応輝度 L設定
A
3. CIE 1931 XYZ三刺激値から、色順応をよく説明する色空間へ、 3 X 3マトリックス Μ
CAT02を用いて変換
[数 2] 【数 2】
Figure imgf000012_0002
4. Lを用いて順応ファクタ D計算
A
[数 3] 3】
D
Figure imgf000012_0001
5.順応ファクタ Dを色順応式に適用
[数 4] 【数 4】
Figure imgf000013_0001
6.先ほどの 3X3マトリックス M と Hunt- Pointer- Estevez空間への変換マトリックス
CAT02
M を用いて、 Hunt- Pointer- Estevez空間へ変換
HPE
[数 5]
【数 5】
R'
G' HPEMCAT02
B' B
7.観察環境に依存する以下の係数計算
[数 6]
【数 6】
k=l/(5LA +1)
/3
FL = 0.2k4 (5LA ) + 0. l(l - fe (5LA ) >'1
一】b ' w
Figure imgf000013_0002
8.錐体応答の非線形変換適用
[数 7] 【数 7〕
=— 400(W/100)042
。 + 0.1
27.13 + ( -' Li?7100 -)&(A2
Figure imgf000014_0001
9.色相角 h計算
[数 8]
【数 8】
Figure imgf000014_0002
= tarf1 ( /
10.離心率 e計算
t
[数 9]
【数 9】
Figure imgf000014_0003
11.無彩色応答 Α計算
[数 10]
【数 10】
A = [2 ' + G'a + (l/20)B'a一 0.305] Nbb
12.明度 J計算
[数 11] 【数 1 1】
J = 100(A/Avj )cz
13.クロマ C計算
[数 12]
[数 1 2】
_ .0.9
C = t 1.64 - 0.29" f"
100
[数 13] 【数 1 3】
;iVcbet-v <22 + b
R'a + G'n + (2l/20)B's
[0025] 上記 9、 12、 13で求められた JChは、撮像条件や観察条件に依存しない本来の色 の見えを示すパラメータ (データ)である。これら JChと、変換先の観察条件を用いて、 今度は 13から 1まで逆に変換して行くことにより、変換先観察環境に於ける CIE 1931 XYZ三刺激値が求められることになる。本実施の形態では、変換前および変換後の 画像データは、 CIE 1931 XYZ表色系で表されており、各画素ごとに Χ,Υ,Ζの刺激値 を有する。
[0026] 上記 7.観察環境に依存する係数計算にお!、て、 Ybは前述した背景輝度である。
この背景輝度 Ybは、各画素毎に周囲 10度視野に入る全画素の平均輝度を計算す る。例えば、周囲 10度視野に入る画素範囲が 9 X 9画素の範囲とすると、この 9 X 9画 素の輝度の平均を計算する。 Ywは白色点輝度の相対値であり通常 100である。
[0027] (色の見え実験）
次に、前述した所定の条件について説明する。まず、図 3に示す様な 2種類のパッ チ 11、 12を用い、ノツチ 12については背景輝度ゃ視環境条件を変えて CIECAM02 で色変換した色を中心の色パッチ 14に反映させて、中心の色パッチ 13、 14の色の 見えが一致するパッチを選んでもらう実験を行う。例えば、図 3に示すように、背景輝 度の異なる 2枚のパッチ 11、 12を比較する。左のパッチ 11は変化させず、右のパッ チ 12のみ、背景輝度ゃ視環境条件を示すパラメータを少しずつ変えて中心の色パ ツチ 14を少しずつ変化させたものを複数用意する。そして、左右の色パッチ 13、 14 の色の見えが一致するパッチを選択してもらう実験を複数の人間において実施する。
[0028] 2枚の同じ背景輝度のパッチ間で、視環境条件を変えるような実験も同様に行う。
[0029] 図 4は、上記実験結果の一例を示す図である。図 4の横軸は、色の見えが一致する と選んだ右の色パッチ 14の色力 元の色パッチ（色を固定している左の色パッチ 13 の色)からどれだけ離れているかを色差で示したものである。縦軸は、そのパッチを選 んだ割合 (選んだ人数 Z全体の人数)である。
[0030] 更に、左のパッチの中心の色パッチの色を変えて実験を行うと、図 4の実線に示し た様に、結果が顕著な色と、破線で示した様に顕著ではない色が有ることが判る。結 果が顕著とは、実際には同じでない色を、背景輝度ゃ視環境の影響を受けて多くの 人が色の見えが一致すると選ぶ特定の色があることを言う。またこのような場合、同じ 実験を同一人物で行い再現性を確認しても、同様の結果が得られる。即ち実線で示 したパッチの場合、再現性が高い。
[0031] 一方、結果が顕著でないとは、背景輝度ゃ視環境の影響を受けて色の見えが変化 するが、人によって一致すると選ぶ色がばらばらであることを言う。このような場合、同 じ実験を同一人物で行い再現性を確認しても、同様の結果が得られない。即ち破線 で示したパッチの場合、再現性が低くばらつきが大きくなる。
[0032] この実験を予め様々な色に対して行っておき、結果が顕著に現れる色とそうでない 色を分けておき、前者の属する色域を所定の色域として決め、データとして保有する 。この所定の色域に属する色かどうかを所定の条件とする。なお、色域に含まれる各 色は、本実施の形態では Χ,Υ,Ζ刺激値で特定することができる。
[0033] 結果が顕著に現れる色とそうでない色という場合の色は、上記実験の図 3のパッチ 11の色パッチ 13の色のことを言う。すなわち、ある色が、図 3のように背景輝度を変 えると色の見えが変化し、変えた背景輝度のもとでは特定の色差分離れた異なる色 を多くの人がそのある色である元の色と色の見えが一致すると感じる場合、元の色は 結果が顕著に現われる色である。また、視環境、すなわち観察環境 (観察条件)を変 えた場合も、変えた視環境のもとである色差分離れた異なる色を多くの人が元の色と 色の見えが一致すると感じる場合、その元の色は結果が顕著に現われる色である。
[0034] (変換処理）
図 5は、第 1の実施の形態におけるパーソナルコンピュータ 1が実行する処理のフロ 一チャートを示す図である。ステップ S 11では、色の見えモデルを適用して、撮像時 の色の見えを観察条件下で再現した!/ヽ写真撮影 (撮像)された画像データを取得す る。ステップ S 12では、取得した画像データから撮影時の視環境データを読み込み、 撮影時の視環境を設定する。撮影時の視環境データとして、具体的には、撮影時被 写体を照明していた照明白色点、撮影時被写体を照明していた照明輝度、被写体 周囲輝度などを読み込む。
[0035] 本実施の形態では、ステップ S 11で取得する画像データを出力するデジタルカメラ は、次の機能を有していることを前提とする。オートホワイトバランス (AWB)機能があ り、撮影時の照明白色点を推定し、推定した照明白色点を画像データに記録する機 能。また、露出を自動調整する為に測光機能が備えられており、この結果を解析して 撮影時被写体を照明して ヽた照明輝度を推定し、推定した照明輝度を画像データ に記録する機能。測光範囲を広げて測定した結果や周囲輝度測定用にカメラに設け られた測光機能を使用して撮影被写体周囲輝度を測定し、測定した被写体周囲輝 度を画像データに記録する機能。
[0036] なお、画像データに記録された、オートホワイトバランスに関するデータ、測光デー タ、測光範囲を広げて測定した結果や周囲輝度測定用にカメラに設けられたセンサ の出力データなどを使用して、パーソナルコンピュータ 1において、撮影時の照明白 色点の推定処理、撮影時被写体を照明していた照明輝度の推定処理、被写体周囲 の輝度の推定処理などを行うようにしてもよい。
[0037] ステップ S 13では、観察時の視環境を設定する。モニタで観察する場合には、観察 視環境として、標準視環境である sRGB環境を仮定し、観察時の輝度 =80Cd/m2,白 色点 =D65,周囲輝度 =4.1Cd/m2とする。もしくは、ユーザ (観察者)のキーボード操作 により入力された値を使用する。このようにして、撮影時の視環境、観察時の視環境 等の前記複数の色の見えモデルで必要なパラメータが設定される。
[0038] ステップ S14では、画素毎に色変換を行うため、変換対象としている画素の色が前 記実験で求めた所定の色域 (実験結果が顕著に現れる色）にある力否かの判定を行 う。所定の色域に含まれる色は、実験結果に基づくデータとして予め保有され、その データを参照することにより、画素の色が所定の色域内かどうかの判定を行うことがで きる。
[0039] 所定の色域内の場合はステップ S 15に進む。ステップ S 15では、対象画素の色順 応変換手法として詳細な色の見えモデルを使用した色順応変換を選択する。ステツ プ S17では、対象画素について詳細な変換手法にて色順応変換を行う。すなわち、 詳細な色の見えモデルを適用して色の見えを予測する。
[0040] 一方、所定の色域外の場合、ステップ S 16に進む。ステップ S 16では、対象画素の 色順応変換手法として簡易な色の見えモデルを使用した色順応変換を選択する。ス テツプ S18では、対象画素について簡易な変換手法にて色順応変換を行う。すなわ ち、簡略ィ匕した色の見えモデルを使用して色の見えを予測する。これは、結果が顕 著ではないので詳細な色の見えモデルで予測しなくても色の見えに対する影響は大 きくないためである。
[0041] ステップ S19では、全画素に対して色順応変換が終了した力否かを判定する。まだ 、全画素について終了していない場合は、ステップ S 14に戻り処理を繰り返す。全画 素について色順応変換が終了している場合はステップ S20に進む。ステップ S20で は、変換後の画素値を画像データとして出力し、処理を終了する。
[0042] 図 10は、ステップ S 17の処理の詳細を示す図である。ステップ S101では、ステップ S 11で取得した画像データカゝら画素値 XYZ を得る。本実施の形態では、画像デー on
タは CIE 1931 XYZ表色系で表されているものとしているため、画像データから画素 値 XYZ を直接得る。しかし、 RGB表色系で表わされている画像データを取得する場 on
合は、所定の変換式より RGB表色系から XYZ表色系へ変換する。
[0043] ステップ S102では、対象画素の背景輝度 Ybを計算する。周囲 10° 視野の範囲 (N pixel X N pixel)の輝度値平均 ΣΥ/Ν2を計算し、これを Ybとする。 Nは、前述したように 、例えば 9画素である。ステップ S103では、ステップ S 12で設定された撮影時の視環 境データに基づき、 CIECAM02による色順応変換処理を行なう。具体的には、前記（ CIECAM02の色の見えモデル）で説明した 1〜13の処理を行う。
[0044] ステップ S 104では、ステップ S 13で設定された観察時の視環境データに基づき、 C IECAM02による色順応逆変換処理を行なう。具体的には、前記（CIECAM02の色の 見えモデル)で説明した 1〜13の処理を 13から順に逆の処理を行う。ステップ S105 では、変換後の画素値 XYZ を得る。なお、 RGB表色系で表わされている画像データ
est
を必要とする場合は、所定の変換式より XYZ表色系から RGB表色系へ変換する。
[0045] 図 11は、ステップ S18の処理の詳細を示す図である。ステップ S201では、ステップ S 11で取得した画像データカゝら画素値 XYZ を得る。本実施の形態では、前述したよ
on
うに、画像データは CIE 1931 XYZ表色系で表されているものとしているため、画像デ ータから画素値 XYZ を直接得る。しかし、 RGB表色系で表わされている画像データ
on
を取得する場合は、所定の変換式より RGB表色系から XYZ表色系へ変換する。
[0046] ステップ S202では、ステップ S 12で設定された撮影時の視環境データおよびステ ップ S13で設定された観察時の視環境データに基づき、 von Kriesの順応変換式によ る色順応変換を行なう。 von Kriesの順応変換式は、前記 (von Kriesの順応変換式） で説明した通りである。ステップ S203では、変換後の画素値 XYZ を得る。なお、 RG
est
B表色系で表わされている画像データを必要とする場合は、所定の変換式より XYZ表 色系から RGB表色系へ変換する。
[0047] 以上により、本実施の形態の画像処理装置では、画像全体に詳細な色の見えモデ ルを適用するより処理時間が短くなり、かつ画像全体の色の見えは正確に予測する ことができる。
[0048] 第 2の実施の形態
第 2の実施の形態は、色の見えモデルを選択する際、第 1の実施の形態のようにし て決めた色域で分類するのではなく輝度により分類することを特徴とするものである。 なお、輝度も色域を決めるパラメータの 1つであるので、輝度による分類も色域の分 類という概念に含まれる。第 2の実施の形態の画像処理装置の構成は、第 1の実施 の形態と同様であるので、図 1を参照することとしその説明を省略する。 [0049] 図 6は、第 1の実施の形態で説明した実験と同様の色の見え実験を行った実験結 果の一例である。図 3に示す様な背景輝度の異なる 2つのパッチ 11、 12のうち、左側 の色パッチ 13の色から、 CIECAM02を用いて背景輝度が Yb力 任意の Y に変化し た場合の色の見え予測した結果を右側パッチ 12の色パッチ 14の色とする。右側の パッチ 12の実際の背景輝度 Y は CIECAM02に入力した Yb'がどのような値であって も変えず、 CIECAM02に適用する変換先背景輝度を正しく Y として変換した結果を 右側の色パッチ 14にしたものと、 CIECAM02に適用する変換先背景輝度を実際のパ ツチ 12の背景輝度 Y から変化させて色の見え予測した結果を右側の色パッチ 14と したものを複数用意し、左右のパッチの色の見えが一致するものを選んでもらう実験 を行う。
[0050] このような実験の結果の一例が図 6である。図 6の実験条件は、 L*a*b*空間での色 相角 196度となり、輝度 L*の異なる 2組の色パッチ 13に対して行った実験結果を表 示している。この実験結果から、色相が同じ色でも、色パッチ 13の輝度が高いと結果 にばらつきが大きぐ逆に色パッチ 13の輝度が低いと顕著な結果が得られている。す なわち、図 6の実線は、色相が同じでも輝度が低い場合は、多くの人が CIECAM02で 予測した色の見えを選択することを示している。一方、図 6の破線は、色相が同じでも 輝度が高い場合は、 CIECAM02で予測した色の見えを必ずしも多くの人が選択する とは言えないことを示している。言い換えれば、色相が同じでも輝度が低い色に対し ては詳細な色の見えモデルで予測した方が色の見え予測が正しいが、色相が同じで も輝度が高い色に対しては簡略ィ匕した色の見えモデルで予測しても色の見えに影響 は大きくない。
[0051] この実験を予め様々な色に対して行っておき、結果が顕著に現れる輝度の範囲を 予め決め、データとして保有する。なお、輝度については、 CIE XYZ色空間を CIE L* a*b*の色空間に変換し、 L*を輝度データとして扱う。又は、実験は L*a*b*色空間で 行い、 L*の範囲を予め定め、 CIE L*a*b*色空間力 CIE XYZ色空間への変換を用 V、て Yの範囲を定めれば、 Yを輝度データとして扱ってもよ!、。
[0052] 図 7は、第 2の実施の形態における処理のフローチャートを示す図である。第 1の実 施の形態の図 5とは、ステップ S21のみ異なるので、ステップ S21を中心に以下説明 し、その他のステップの説明は省略する。
[0053] ステップ S21では、画素毎に色変換を行うため、対象としている画素の輝度が前記 実験で求めた所定の閾値以下か否かの判定を行う。所定の閾値は、実験結果に基 づくデータとして予め保有され、そのデータを参照することにより、画素の輝度が所定 の閾値以下かどうかの判定を行うことができる。
[0054] 画素の輝度が、所定の閾値以下である場合はステップ S15に進む。ステップ S15 では、詳細な色の見えモデルを適用して色の見えを予測する。一方、画素の輝度が 所定の閾値よりも大きい場合、ステップ S16に進む。ステップ S16では、簡略化した 色の見えモデルを使用して色の見えを予測する。これは、結果が顕著ではないので 詳細な色の見えモデルで予測しなくても色の見えに対する影響は大きくないためで ある。
[0055] 以上により、本実施の形態の画像処理装置においても、第 1の実施の形態と同様 に、画像全体に詳細な色の見えモデルを適用するより処理時間が短くなり、かつ画 像全体の色の見えは正確に予測することができる。
[0056] 第 3の実施の形態
第 3の実施の形態は、色の見えモデルを選択する際、第 2の実施の形態のように輝 度で分類するのではなぐ色相により分類することを特徴とするものである。なお、色 相も色域を決めるパラメータの 1つであるので、色相による分類も色域の分類という概 念に含まれる。第 3の実施の形態の画像処理装置の構成は、第 1の実施の形態と同 様であるので、図 1を参照することとしその説明を省略する。
[0057] 図 8は、第 2の実施の形態で説明した実験と同様の色の見え実験を行った実験結 果の一例である。図 3に示す様な背景輝度の異なる 2つのパッチ 11、 12のうち、左側 の色パッチ 13の色から、 CIECAM02を用いて背景輝度が Yb力 任意の Y に変化し た場合の色の見え予測した結果を右側パッチ 12の色パッチ 14の色とする。右側の パッチ 12の実際の背景輝度 Y は、 CIECAM02に入力した Yb'がどのような値であつ ても変えず、 CIECAM02に適用する変換先背景輝度を正しく Y として変換した結果 を右側の色パッチ 14にしたものと、 CIECAM02に適用する変換先背景輝度を実際の ノツチ 12の背景輝度 Y から変化させて色の見え予測した結果を右側の色パッチ 1 4としたものを複数用意し、左右のパッチの色の見えが一致するものを選んでもらう実 験を行う。なお、本実施の形態では、左側の色パッチ 13に異なる複数の色相の色を 表示し、各色相の色ごとに上述の実験を行い、色相ごとに環境条件を変えて色変換 を行なっても同じ色として見えるかどうかの頻度を求めて 、る。
[0058] このような実験の結果が図 8である。この実験結果から、輝度が同程度の色でも、例 えば Yellow〜Green系の色の場合、結果にばらつきが大きぐ逆に例えばマジェンタ の場合、はっきりとした結果が得られている。すなわち、図 8の実線は、輝度が同程度 の色でもマジェンタ系の場合は、多くの人力 SCIECAM02で予測した色の見えを選択 することを示している。一方、図 8の破線は、輝度が同程度の色でも Yellow〜Green系 の場合、 CIECAM02で予測した色の見えを必ずしも多くの人が選択するとは言えな いことを示している。言い換えれば、輝度が同程度の色でも色相がマジェンタ系の色 に対しては詳細な色の見えモデルで予測した方が色の見え予測が正 、が、輝度が 同程度の色でも色相が Yellow〜Green系の色に対しては簡略化した色の見えモデル で予測しても色の見えに影響は大きくない。
[0059] この実験を予め様々な色に対して行っておき、結果が顕著に現れる色相範囲を予 め決め、データとして保有する。なお、色相については、 CIE XYZ色空間を CIE L*a* b*の色空間に変換し、 a*、 b*のデータを使用する。
Figure imgf000022_0001
ちょい。
[0060] 図 9は、第 3の実施の形態における処理のフローチャートを示す図である。第 1の実 施の形態の図 5とは、ステップ S31のみ異なるので、ステップ S31を中心に以下説明 し、その他のステップの説明は省略する。
[0061] ステップ S31では、画素毎に色変換を行うため、対象としている画素の色が前記実 験で求めた所定の色相範囲内にある力否かの判定を行う。所定の色相範囲は、実験 結果に基づくデータとして予め保有され、そのデータを参照することにより、画素の色 が所定の色相範囲内かどうかの判定を行うことができる。
[0062] 所定の色相範囲内に色がある場合はステップ S 15に進む。ステップ S 15では、詳 細な色の見えモデルを適用して色の見えを予測する。一方、所定の色相範囲外に色 がある場合、ステップ S 16に進む。ステップ S 16では、簡略ィ匕した色の見えモデルを 使用して色の見えを予測する。これは、結果が顕著ではないので詳細な色の見えモ デルで予測しなくても色の見えに対する影響は大きくないためである。
[0063] 以上により、本実施の形態の画像処理装置においても、画像全体に詳細な色の見 えモデルを適用するより処理時間が短くなり、かつ画像全体の色の見えは正確に予 柳』することができる。
[0064] 第 4の実施の形態
第 1〜第 3の実施の形態では、画素毎にどの変換手法を適用するか選択する例を 説明した。しかし、第 4の実施の形態では、画素毎に選択するのではなぐ画像デー タにおいて複数の近傍画素を一つの領域として捉え、その領域毎にどちらの変換手 法を適用するか選択する方法について説明する。すなわち、同一領域内では各画 素の色の状態が変わったとしても同一手法で変換する。なお、第 4の実施の形態の 画像処理装置の構成は、第 1の実施の形態と同様であるので、図 1を参照することと しその説明を省略する。
[0065] 本実施の形態では、領域の分割は、エッジ抽出により抽出された複数の閉空間とそ の外側という分割方法を採用する。なお、隣接する画素の色差が近い場合同一領域 と考え、色差が所定値以上離れた所で領域を分割するという方法でもよい。この場合 、 XYZ表色系を L*a*b*表色系に変換し、隣接する画素 Ll*al*bl*、 L2*a2*b2*の色 差 Δ Εを以下の式より求める。また、その他の手法によるものでもよい。
A E=^((L2*-Ll*)2+(a2*-al*)2+(b2*-bl*)2))
[0066] 図 12は、本実施の形態において、画像を複数の領域に分割する例を説明する図 である。まず、図 12に示すような画像においてエッジ抽出を行う。エッジ抽出を行うと 、エッジ抽出結果から 7つの領域に分割できる。領域 1は額縁の中の山の部分、領域 2は額縁の枠、領域 3は額縁の中の背景、領域 4は人間の肌、領域 5は洋服、領域 6 はテーブル、領域 7は領域 1〜6以外の背景である。
[0067] これら 7つの領域にっ 、て、夫々詳細な色順応変換法を適用するか簡単な色順応 変換法を適用するかを決定する。この様に同一領域内の画素に対しては同一の変 換法を選択することで、例えば領域 4の顔の様に輝度の高 ヽ頰から輝度の低!、顎ま で輝度が連続的に分布している領域に対しても各画素の変換手法が同一に選択さ れる。変換法の違いによる境界は被写体の輪郭と一致する為、変換法の違いによる 境界が目立つなどの不自然さが現れなくなる。
[0068] 分割した各領域に於いて、どちらの変換手法を選択するかは、分割した領域毎に 代表する色を決定し、その色で領域内の全画素に適用する変換方法を選択する。こ の場合、領域を代表する色は、領域内全画素の色を平均した色を用いたり、境界部 を除 、た画素を平均した色や、領域の中心付近の所定数の画素数の色を平均した 色を用いたりしても良い。ここで平均した色とは、測色値 XYZの平均を用いても良いし 、 L*a*b*の平均でも良いし、他の表色系で平均した色を対象としても良い。
[0069] 図 13は、第 4の実施の形態におけるパーソナルコンピュータ 1が実行する処理のフ ローチャートを示す図である。撮影画像は図 12を例に説明する。
[0070] ステップ S41〜S43は、第 1の実施の形態の図 5のステップ S11〜S13と同様であ るので説明を省略する。ステップ S44では、ステップ S41で取得した画像データを解 祈し、画像内のエッジを抽出する。ステップ S45では、ステップ S44のエッジ抽出結 果を使用して、複数の閉空間とその外側に撮影画像を領域分割する。図 12の撮影 画像の例では、撮影画像を領域 1〜7の 7つの領域に分割する。
[0071] ステップ S46では、
Figure imgf000024_0001
、て、領域内に含まれる境界付近を除!、た全画素 平均の色を算出し、その領域の代表色を決定する。ステップ S47では、選択された領 域の代表色が所定の色域にあるか否かの判定を行う。所定の色域とは、第 1の実施 の形態で説明した実験で求めた所定の色域 (実験結果が顕著に現れる色)である。 所定の色域に含まれる色は、実験結果に基づくデータとして予め保有され、そのデ ータを参照することにより、代表色が所定の色域内かどうかの判定を行うことができる
[0072] 所定の色域内の場合はステップ S48に進む。ステップ S48では、対象領域の色順 応変換手法として詳細な色の見えモデルを使用した色順応変換を選択する。ステツ プ S50では、対象領域内の各画素につ!、て詳細な変換手法にて色順応変換を行う 。すなわち、詳細な色の見えモデルを適用して色の見えを予測する。ステップ S52で は、対象領域内の全画素について処理が終了したかどうかを判定する。処理が終了 していない場合は、ステップ S50に戻り処理を繰り返す。処理が終了している場合は 、ステップ S 54に進む。
[0073] 一方、所定の色域外の場合、ステップ S49に進む。ステップ S49では、対象領域の 色順応変換手法として簡易な色の見えモデルを使用した色順応変換を選択する。ス テツプ S51では、対象領域内の各画素について簡易な変換手法にて色順応変換を 行う。すなわち、簡略ィ匕した色の見えモデルを使用して色の見えを予測する。これは 、結果が顕著ではな 、ので詳細な色の見えモデルで予測しなくても色の見えに対す る影響は大きくないためである。ステップ S53では、対象領域内の全画素について処 理が終了したかどうかを判定する。処理が終了していない場合は、ステップ S51に戻 り処理を繰り返す。処理が終了している場合は、ステップ S54に進む。
[0074] ステップ S54では、全領域に対し色順応変換処理が終了した力どうかを判定する。
処理が終了していない場合は、ステップ S46に戻り処理を繰り返す。処理が終了して いる場合は、ステップ S55に進む。ステップ S55では、変換後の画素値を画像データ として出力し、処理を終了する。
[0075] ステップ S50の詳細な色順応変換は、第 1の実施の形態の図 5のステップ S17と同 様に CIECAM02による色順応変換を採用する。従って、ステップ S50の処理の詳細 は、第 1の実施の形態の CIECAM02よる色順応変換の説明を参照することとし、本実 施の形態では説明を省略する。ステップ S51の簡易な色順応変換は、第 1の実施の 形態の図 5のステップ S18と同様に von Kriesによる色順応変換を採用する。従って、 ステップ S51の処理の詳細は、第 1の実施の形態の von Kriesによる色順応変換の説 明を参照することとし、本実施の形態では説明を省略する。
[0076] なお、上記では、ステップ S47にお 、て、選択された領域の代表色が所定の色域 にある力否かの判定を行う例を説明した。しかし、第 2の実施の形態と同様に、選択さ れた領域の代表色の輝度値が所定閾値以下か否かの判定を行うことにより、詳細な 色順応変換を行なうか簡易な色順応変換を行なうかを決めるようにしてもょ ヽ。処理 としては、図 13のステップ S47の処理を、領域の代表色の輝度値が所定閾値以下か 否かの判定を行う処理に置き換えるだけであるので、図は省略する。また、輝度値の 所定閾値は、第 2の実施の形態と同様であるのでその説明を省略する。なお、代表 色の輝度については、 CIE XYZ色空間を CIE L*a*b*の色空間に変換し、 L*を輝度 データとして扱う。又は、実験で予め定めた L*の範囲から CIE XYZ色空間の Yの範囲 を定め、 Yを輝度データとして扱ってもよい。
[0077] また、第 3の実施の形態と同様に、選択された領域の代表色が所定の色相範囲内 か否かの判定を行うことにより、詳細な色順応変換を行なうか簡易な色順応変換を行 なうかを決めるようにしてもよい。処理としては、図 13のステップ S47の処理を、領域 の代表色が所定の色相範囲内力否かの判定を行う処理に置き換えるだけであるので 、図は省略する。また、所定の色相範囲は、第 3の実施の形態と同様であるのでその 説明を省略する。
[0078] さらに、輝度値による判定と色相による判定を組み合わせるようにして判定するよう にしてもよい。図 14は、輝度値による判定と色相による判定を組み合わせた場合の 処理の例を示す図である。図 13のステップ S47を、図 14のステップ S56とステップ S 57の処理に置き換える。他のステップは図 13のステップと同様である。
[0079] 図 14において、ステップ S46力らステップ S56に進む。ステップ S56では、代表色 の輝度値 L*が所定の閾値（図 14の場合は閾値 =75)以下力否かを判定する。所定の 閾値以下であればステップ S57に進みさらに色相の判定を行い、所定の閾値より大 きい場合はステップ S49に進む。ステップ S57では、代表色の色相が所定の色相範 囲（図 14の場合は青〜マジェンタ〜赤の範囲）内力否かの判定を行う。所定の色相 範囲内であれば、ステップ S48に進み、所定の色相範囲外であれば、ステップ S49 に進む。
[0080] すなわち、代表色の輝度値が所定の閾値以下であり、かつ、代表色の色相が所定 の色相範囲内であれば詳細な色順応変換を行ない、それ以外は簡易な色順応変換 を行なうようにするものである。代表色の輝度値が所定の閾値より大きい、あるいは、 代表色の色相が所定の色相範囲外であるの 、ずれの一方だけであっても、詳細な 色の見えモデルで予測しなくても色の見えに対する影響は大きくないためである。
[0081] 第 5の実施の形態
第 4の実施の形態では、色順応変換手法を画素毎に選択するのではなぐ画像デ ータにおいて複数の近傍画素を一つの領域として捉え、その領域毎にどちらの変換 手法を適用するか選択する方法について説明した。この場合、領域内の代表色を決 めて処理する例を説明した。第 5の実施の形態では、領域毎に変換手法を選択する 場合の、別の選択方法を説明する。第 5の実施の形態の画像処理装置の構成は、第 1の実施の形態と同様であるので、図 1を参照することとしその説明を省略する。
[0082] 図 15は、第 5の実施の形態におけるパーソナルコンピュータ 1が実行する処理のフ ローチャートを示す図である。第 4の実施の形態の図 13の処理と同じ内容のステップ には同じステップ番号を付し、その説明を省略する。具体的には、図 13のステップ S 46とステップ S47の代わりに、図 15ではステップ S66〜ステップ S68が設けられてい る点が異なるのみである。以下、このステップ S66〜ステップ S68について説明する。
[0083] ステップ S66では、選択された領域にお!、て、各画素の色が所定の色域内か否か を判定し、所定の色域内の画素の数をカウントする。ステップ S67では、選択された 領域において、全画素について判定を完了した力否かを判定する。判定が完了して Vヽな 、場合はステップ S66に戻り処理を繰り返し、判定が完了して 、る場合はステツ プ S68へ進む。
[0084] ステップ S68では、変換対象領域内において、所定の色域内にある画素数力 変 換対象領域内の全画素数に対して所定割合以上か否かを判定する。所定の割合以 上であればステップ S48に進み詳細な色順応変換を行なう。所定の割合未満であれ ばステップ S49に進み簡易な色順応変換を行なう。
[0085] ここで、必ずしも変換対象領域内のすべての画素が所定の色域内にあるかないか を判定しなくてもよい。所定の色域内にある場合をカウントしていて、その値が所定の 割合以上になった時点ですぐにステップ S48に進むようにしてもよい。また、所定の 色域内にある場合と所定の色域内にな 、場合の両方をカウントして 、て、 V、ずれか 一方が所定の割合以上になると、その時点で所定の割合以上になった方に対応す る佃 Jへ進むようにしてちょ 、。
[0086] このようにして、同一領域内の画素に対しては同一の変換法を選択することが可能 となる。これにより、第 4の実施の形態と同様に、決定された領域内で、変換法の違い による境界が目立つなどの不自然さが現れなくなる。
[0087] なお、上記では、ステップ S66にお!/、て、選択された領域の各画素の色が所定の 色域内か否かを判定し、所定の色域内の画素の数をカウントする例を説明した。しか し、第 2の実施の形態と同様に、選択された領域の各画素の輝度値が所定閾値以下 か否かの判定を行うようにしてもよい。処理としては、図 15のステップ S66の処理を、 選択された領域において、各画素の輝度値が所定閾値以下力否かを判定し、所定 閾値以下の画素の数をカウントする処理に置き換えるだけであるので、図は省略する 。また、輝度値の所定閾値は、第 2の実施の形態と同様であるのでその説明を省略 する。代表色の輝度については、 CIE XYZ色空間を CIE L*a*b*の色空間に変換し、 L*を輝度データとして扱う。又は、実験で予め定めた L*の範囲力 CIE XYZ色空間 の Yの範囲を定め、 Yを輝度データとして扱ってもよい。
[0088] また、第 3の実施の形態と同様に、選択された領域の各画素の色が所定の色相範 囲内か否かを判定するようにしてもよい。処理としては、図 15のステップ S66の処理 を、選択された領域の各画素の色が所定の色相範囲内か否かを判定し、所定の色 相範囲内の画素の数をカウントする処理に置き換えるだけであるので、図は省略する 。また、所定の色相範囲は、第 3の実施の形態と同様であるのでその説明を省略する
[0089] さらに、第 4の実施の形態の図 14で説明したように、輝度値による判定と色相による 判定を組み合わせるようにして判定するようにしてもょ 、。
[0090] 第 6の実施の形態
第 1〜第 5の実施の形態では、ある撮像条件で撮像された画像データを、照明に関 する条件が撮像条件とは異なる観察条件に応じた色の見えを再現する画像データ に変換する例を説明した。第 6の実施の形態では、撮像された画像データを入力画 像とするのではなく、ある観察条件で観察することを仮定して作成された画像データ を入力画像として使用する方法について説明する。なお、第 6の実施の形態の画像 処理装置の構成は、第 1の実施の形態と同様であるので、図 1を参照することとし省 略する。
[0091] 本実施の形態のパーソナルコンピュータ 1は、第 1の観察条件に基づいて作成され た画像データを、人間の色順応特性を考慮して、照明に関する条件が第 1の観察条 件とは異なる第 2の観察条件に応じた色の見えを再現する画像データに変換する。 図 17は、パーソナルコンピュータ 1が処理する処理の基本的な流れを示す図である [0092] ステップ S171では、例えばデジタルカメラやパーソナルコンピュータで、ある観察条 件を仮定して作成された画像データ Cを取得する。画像データ Cは、上記第 1〜第 5 の実施の形態で説明した変換処理（図 5、 7、 9、 13、 15)と同等の処理で作成された 画像であってもよいし、上記第 1〜第 5の実施の形態で説明した変換処理とは異なり 、画像全体一つの色順応変換にて作成された画像でも良い。本実施の形態では、画 像データ Cは、 CIE 1931 XYZ表色系で表されているものとする。
[0093] ステップ S172では、画像データ Cが作成された時に使用された観察条件を第 1の 観察条件として入力する。第 1の観察条件は、画像データ Cに添付されているデータ であってもよいし、パーソナルコンピュータ 1のキーボード力 適宜入力してもよい。
[0094] ステップ S173では、所定の色の見えモデルを使用して、画像データ Cを第 1の観察 条件にも、出力画像 (画像データ D)の観察条件 (第 2の観察条件）にも依存しない色 の見えデータに変換する。このとき、ステップ S172で入力された第 1の観察条件が、 ステップ S173の色の見えモデルの入力パラメータとして使用される。変換して得られ たデータは、観察機器、および画像データ Cの観察条件や画像データ Dの観察条件 に依存しな 、色の見えデータとして表現されて 、る。
[0095] ステップ S174は、第 1の実施の形態の図 2のステップ S4と同様であるので説明を省 略する。
[0096] ステップ S175では、ステップ S173で取得された、画像データ Cや画像データ Dの!ヽ ずれの観察用機器や観察条件に依存しない色の見えデータに対して、ステップ S17 3と同じ色の見えモデルを適用する。ただし、ステップ S173のときとは逆の変換をして いく。このとき、ステップ S 174で入力された画像データ Dの観察条件力 ステップ S17 5の色の見えモデルの入力パラメータとして使用される。そして、ステップ S 176では、 画像データ Dの観察条件に応じた色の見えを再現する画像データを取得する。なお 、画像データ Dは、 CIE 1931 XYZ表色系で表された画像データである。
[0097] 前述した第 1の観察条件とは、画像データ C作成時に使用された、画像データ C観 察に使用する機器や周囲観察環境の照明に関する条件である。第 2の観察条件とは 、画像データ D観察に使用する機器や周囲観察環境の照明に関する条件である。こ れら、第 1の観察条件や第 2の観察条件は、照明光源の輝度や白色点、周囲の明る さなど、見えに影響を与える視野とその周辺の環境、すなわち視環境に関する条件 である。
[0098] 本実施の形態では、第 1の実施の形態同様、ステップ S173およびステップ S175に おいて適用する色の見えモデルに特徴を有する。すなわち、画像データ Cのうち、所 定の条件を満たすデータについてのみ CIECAM02の色の見えモデルを適用し、所 定の条件を満たさな 、データにっ 、ては CIECAM02より処理が軽 、簡略な色の見え モデルを適用することとした。
[0099] 図 18は、第 6の実施の形態におけるパーソナルコンピュータ 1が実行する処理のフ ローチャートを示す図である。
[0100] ステップ S111では、第 1の観察条件で観察されることを仮定して作成された第 1の 画像データを取得する。ステップ S112では、取得した画像データ力も第 1の観察条 件を読み込み、第 1の観察条件として設定する。画像データに第 1の観察条件に関 するデータが無い場合は sRGB標準視環境を第 1の観察条件として設定する。
[0101] ステップ S113では、実際の画像観察時の視環境を読み込み、第 2の観察条件とし て設定する。モニタで観察する場合には、観察視環境として、標準視環境である sRG B環境を読み込んだり、ユーザ (観察者)のキーボード操作により入力された値を使用 する。
[0102] ステップ S114では、第 1の観察条件と第 2の観察条件が同等か否かを判断し、同 等であれば、ステップ S122に進み、処理を行わずに入力画像をそのまま出力する。 一方ステップ S114で否定された場合は、ステップ S115に進む。ステップ S115〜S12 1の処理は、第 1の実施の形態の図 5のステップ S14〜S20と同様であるので説明を 省略する。なお、ステップ S17、 S18の処理を示す図 10、 11において、撮像視環境を 第 1の観察条件、観察視環境を第 2の視環境に読み替える。
[0103] なお、上記では、ステップ S114において、変換対象がその色が所定の色域にある か否かの判定を行う例を説明した。しかし、第 2の実施の形態と同様に、変換対象画 素の輝度値が所定閾値以下か否かの判定をおこなうことにより、詳細な色順応変換 を行うか簡易な色順応変換を行うかを決める様にしてもよい。処理としては、図 18の ステップ SI 15の処理を、変換対象画素の輝度値が所定閾値以下か否かの判定を行 う処理に置き換えるだけであるので、図は省略する。また、輝度値の所定閾値は、第 2の実施の形態と同様であるのでその説明を省略する。なお、輝度については、 CIE XYZ色空間を CIE L*a*b*の色空間に変換し、 L*を輝度データとして扱う。または、実 験で予め定めた L*の範囲から CIE XYZ色空間の Yの範囲を定め、 Yを輝度データと して扱ってもよ ヽ。
[0104] また第 3の実施の形態と同様に、変換対象画素の色が所定の色相範囲内か否かを 判定する様にしてもよい。処理としては、図 18のステップ S115の処理を、変換対象 画素の色が所定の色相範囲内力否かの判定を行う処理に置き換えるだけであるので 、図は省略する。また所定の色相範囲は、第 3の実施の形態と同様であるのでその 説明を省略する。
[0105] さらに、第 4の実施の形態の図 14で説明したように、輝度値による判定と色相による 判定を組み合わせるようにして判定する様にしても良 、。
[0106] さらに、第 4、第 5の実施の形態と同様に、画像データにおいて複数の近傍画素を 一つの領域として捉え、その領域毎にどちらの変換手法を選択する力選択してもよい 。第 4の実施の形態と同様に、領域内の代表色を決めて処理する場合のフローチヤ 一トを図 19に示す。ステップ S141〜S144は、図 18のステップ S111〜S114と同様 であるので説明を省略する。ステップ S144にて判定が肯定された場合、ステップ S15 7に進む。ステップ S157は図 18のステップ S122と同様である。ステップ S144にて判 定が否定された場合、ステップ S 145に進む。ステップ S145〜S156の処理は、第 4の 実施の形態の図 13のステップ S44〜S55と同様であるので説明を省略する。
[0107] 第 5の実施の形態と同様に、変換対象領域において所定色域内の画素の割合を 用いて処理する場合のフローチャートを図 20に示す。ステップ S141〜S144は、図 1 8のステップ S111〜S114と同様であるので説明を省略する。ステップ S144にて判定 が肯定された場合、ステップ S157に進む。ステップ S157は図 18のステップ S122と 同様である。ステップ S 144にて判定が否定された場合、ステップ S 145に進む。ステ ップ S145〜S146、ステップ S167〜S169、およびステップ S149〜S156の処理は、 第 5の実施の形態の図 15のステップ S44〜S45、ステップ S66〜S68、およびステップ S48〜S55と同様であるので説明を省略する。
[0108] 第 4、第 5の実施の形態と同様に、画像データにおいて複数の近傍画素を一つの 領域として捉え、その領域毎にどちらの変換手法を選択する力選択する場合にも、 変換手法の選択は、第 2の実施の形態と同様に、変換対象領域の各画素や領域の 代表色の輝度値が所定閾値以下か否かを判定し、その判定結果を用いてもよい。処 理としては、図 19のステップ S148の処理を、代表色の輝度値は所定閾値以下か否 かの判定に置き換える、および図 20のステップ S167の処理を、対象領域において 各画素の輝度値は所定閾値以下か否かを判定し、所定閾値以下の画素数をカウン トする処理に置き換えるだけである。また第 3の実施の形態と同様に、変換対象領域 の各画素や領域の代表色の色相が所定色相範囲内か否かを判定し、その判定結果 を用いてもよい。処理としては、図 19のステップ S 148の処理を、代表色の色相は所 定範囲内か否かの判定に置き換える、および図 20のステップ S167の処理を、対象 領域において各画素の色相は所定範囲内以下力否かを判定し、所定色相範囲内の 画素数をカウントする処理に置き換えるだけである。
[0109] さらに、第 4の実施の形態の図 14で説明したように、輝度値による判定と色相による 判定を組み合わせるようにして判定する様にしても良 、。
[0110] 一変形例 1
上記第 1〜第 6の実施の形態では、用いる色の見えモデルは、詳細な色の見えモ デルか簡略ィ匕した色の見えモデルかの二者択一として説明した。しかし、第 1〜第 6 の実施の形態に示したような条件を複数組み合わせて、複数の簡略化モデルを使 ヽ 分けてもよい。
[0111] 一変形例 2—
上記第 1〜第 6の実施の形態では、簡略ィ匕した色の見えモデルは、 von Kriesの順 応変換式による色の見えモデルとした。しかし、簡略ィ匕した色の見えモデルを CIECA M02の一部の計算を省略したものとしてもよい。例えば、順方向変換の 13ステップ、 及びその逆変換のうち一部のステップを省略したものとしてもよい。
[0112] 一変形例 3—
上記第 1の実施の形態において、背景輝度 Ybは、 2度視野の刺激値の周囲 10度 視野の輝度として定義されているが、この背景輝度を決定する際、各画素毎に 10度 視野相当に入る周囲画素力 背景輝度を求めると、多大な処理時間が必要になる。 そこで、本変形例では、第 1の実施の形態で説明した実験と同様の色の見え実験を 行い、予め背景輝度の変化に色の見えが敏感な色を色域で分け、そのデータを保 有しておく。
[0113] ある画素の色がこの色域内にある場合には、画素毎に背景輝度を正確に計算して 色の見えモデルに適用した方が正しい色の見え予測が得られる力 それ以外の場合 には、予め定めた固定値の背景輝度を適用しても色の見えに影響は大きくない。予 め定めた背景輝度は、例えば画像全体の平均輝度を用いるなどが考えられる。一般 的に画像の平均輝度値は 20%程度（18%グレーに基づく）になることが多い為、簡易 な変換方法では背景輝度の固定値として例えば 20%を採用する。すなわち、 Yw=10 0とすると Yb=20とする。
[0114] 従って、本変形例では、第 1の実施の形態の図 5のフローチャートのステップ S17の 詳細な色の見えモデル、および、ステップ S 18の簡略ィ匕した色の見えモデルともに同 一の色の見えモデルである CIECAM02を使用する。そして、ステップ S 18の簡略化し た色の見えモデルでは、背景輝度を予め定めた固定値とした CIECAM02の色の見え モデルとする。すなわち、対象としている画素の色が上述した所定の色域内の場合 は、各画素毎に背景輝度を正確に計算して CIECAM02のパラメータに設定し、色の 見えを予測する。所定の色域外の場合は、前記予め定めた背景輝度を CIECAM02 のパラメータに設定し、色の見えを予測する。
[0115] このようにすれば、背景輝度計算を全ての画素毎に算出する必要がなぐ処理時 間が短くなり、かつ色の見えは正確に予測することができる。
[0116] 一変形例 4
上記第 2の実施の形態の図 7のフローチャートにおいて、ステップ S18の簡略ィ匕し た色の見えモデルを、変形例 3のように背景輝度を予め定めた固定値とした CIECAM 02の色の見えモデルとしてもよ！/、。
[0117] この場合、予め背景輝度が変化すると色の見えに影響が大きい輝度の範囲を第 2 の実施の形態で説明したような色の見え実験で決定しておく。例えば背景輝度が変 化した場合に色の見えに影響が大きい輝度の範囲力 変換前の色パッチにおいて C IE L*a*b*の L*≤80と決定したとする。 L*≤80の画素については、各画素毎に背景 輝度を正確に計算して色の見えモデルに適用しないと正しい色の見えを再現できな いが、 L*>80に対しては画素によらず予め定めた固定値の背景輝度を適用しても色 の見えに影響はない。
[0118] 図 7のフローチャートのステップ S21では、対象としている画素の輝度が前記実験 で求めた所定の範囲内（CIE L*a*b*の L*≤80)にあるか否かの判定を行う。そして、 所定の範囲内の場合は、各画素毎に背景輝度を正確に計算して CIECAM02のパラ メータに設定し、色の見えを予測する。輝度が所定の範囲外の場合は、前記予め定 めた固定値の背景輝度を CIECAM02のパラメータに設定し、色の見えを予測する。 なお、輝度については、 CIE XYZ色空間を CIE L*a*b*の色空間に変換し、 L*を輝度 データとして扱う例で説明した力 実験で定めた L*の範囲から CIE XYZ色空間の Yの 範囲を定め、 Yを輝度データとして扱ってもよい。
[0119] このようにすれば、背景輝度計算を全ての画素毎に算出する必要がなぐ処理時 間が短くなり、かつ色の見えは正確に予測することができる。
[0120] 一変形例 5—
上記第 3の実施の形態の図 9のフローチャートにおいて、ステップ S18の簡略ィ匕し た色の見えモデルを、変形例 3のように背景輝度を予め定めた固定値とした CIECAM 02の色の見えモデルとしてもよ！/、。
[0121] この場合、予め背景輝度が変化すると色の見えに影響が大きい色相を第 3の実施 の形態で説明したような色の見え実験で決定しておく。例えば、背景輝度が変化する と色の見えに影響が大きい色相力 CIE L*a*b*の a*〉=0若しくは a*〈0かつ b*〈0の範 囲と決定したとする。 a*〉=0若しくは a*〈0かつ b*〈0の範囲の画素については、各画素 毎に背景輝度を正確に計算して色の見えモデルに適用した方が正しい色の見え予 測が得られるが、 a*〈0かつ b*〉=0に対しては画素によらず予め定めた固定値の背景 輝度を適用しても色の見えに影響しない。
[0122] 図 9のフローチャートのステップ S31では、対象としている領域の色が前記実験で 求めた所定の色相内（CIE L*a*b*空間で a*〉=0若しくは a*〈0かつ b*〈0の範囲）にあ る力否かの判定を行う。そして、所定の色相内の場合は、各画素毎に背景輝度を正 確に計算して CIECAM02のパラメータに設定し、色の見えを予測する。所定の色相 外の色の場合は、前記予め定めた背景輝度を CIECAM02のパラメータに設定し、色 の見えを予測する。なお、色相については、 CIE XYZ色空間を CIE L*a*b*の色空間 に変換し、上記の通り a*、 b*のデータ、もしくは、色相角 h=tan— ^ ^/a*)のデータを使 用して判断する。
[0123] このようにすれば、背景輝度計算を全ての画素毎に算出する必要がなぐ処理時 間が短くなり、かつ色の見えは正確に予測することができる。
[0124] その他の変形例
上記第 4の実施の形態の図 13のフローチャート、および、第 5の実施の形態の図 1
5のフローチャートにおいて、ステップ S 51の簡略化した色の見えモデルを、変形例 3 のように背景輝度を予め定めた固定値とした CIECAM02の色の見えモデルとしてもよ い。
[0125] また、上記第 6の実施の形態の図 18のフローチャートにおいて、ステップ S119の簡 略ィ匕した色の見えモデルを、変形例 3のように背景輝度を予め定めた固定値とした CI ECAM02の色の見えモデルとしてもよい。また図 19、および図 20のフローチャートに おいて、ステップ S152の簡略ィ匕した色の見えモデルを、変形例 3のように背景輝度 を予め定めた固定値とした CIECAM02の色の見えモデルとしてもよ！/、。
[0126] 上記の実施の形態では、詳細な色の見えモデルとして CIECAM02を採用する例を 説明したが、他の色の見えモデルであってもよい。例えば、 CIECAM02の旧モデルで ある CIECAM97sや、 Fairchildのモデルや、その他のモデルなどであったりしてもよい 。一方、簡易な色の見えモデルとして von Kriesの順応変換式を採用する例を説明し たが、他の簡易な手法により変換手法であってもよい。すなわち、変換対象画素の状 態に応じて詳細な手法と簡易な手法を適宜使 、分けることができるのであれば、どの ような手法の組み合わせであってもよ 、。
[0127] 上記の実施の形態では、変換対象画像データおよび変換後の画像データともに、 CIE 1931 XYZ表色系で表されている例で説明した力 必ずしもこの内容に限定する 必要はない。他の表色系であってもよい。 [0128] 上記の第 1の実施の形態では変換対象画素の色が所定の色域内力否かにより色 順応変換手法を選択する例を説明した。第 2の実施の形態では変換対象画素の輝 度が所定の閾値以下か否かにより色順応変換手法を選択する例を説明した。第 3の 実施の形態では変換対象画素の色が所定の色相範囲内力否かにより色順応変換 手法を選択する例を説明した。さらに、変換対象画素の色が所定の彩度の範囲内か 否かにより色順応変換手法を選択するようにしてもよい。また、第 4の実施の形態や 第 5の実施の形態のように、画像を領域分割して領域毎に変換手法を選択する場合 に、変換対象領域の代表色や、変換対象領域の各画素の色が所定の彩度の範囲 内か否かにより色順応変換手法を選択するようにしてもよい。また第 6の実施の形態 の様に、入力画像として第 1の観察条件で観察することを仮定して作成された画像を 使用し、実際の観察条件である第 2の観察条件で観察した時の色の見えに変換する 場合に、色順応変換手法の選択に使用する変換対象画素の色や変換対象領域の 代表色、もしくは変換対象領域の各画素の色が、所定の彩度の範囲内力否かにより 色順応変換手法を選択する様にしてもよい。彩度については、 CIE XYZ色空間を CI E L*a*b*の色空間に変換し、彩度 C=^(a*2+b*2)の値の大きさで判断する。
[0129] 本実施の形態における色域とは、ある条件を満足する色のかたまりあるいは範囲を 言う。色を表すパラメータの 1種としては、輝度、色相、彩度がある。従って、輝度、色 相、彩度のいずれか 1つのパラメータあるいはそれらを任意に組み合わせたパラメ一 タにより特定される範囲もある色域を決めることになる。すなわち、輝度のみにより特 定される範囲も、色相のみにより特定される範囲も、彩度のみにより特定される範囲も 、 V、ずれかの組み合わせで特定される範囲もすベて本実施の形態で 、う色域と言え る。また、 XYZ表色系、 RGB表色系、 L*a*b*表色系などによって特定される色の範囲 も色域を特定していることになる。これらの表色系では、 3つの成分 (座標）で特定さ れる範囲だけに限らず、 1つの成分 (座標）だけで特定される範囲も、いずれか 2つの 成分 (座標）で特定される範囲も色域を特定して ヽること〖こなる。
[0130] 上記の実施の形態では、デジタルカメラ等で撮影した画像データをパーソナルコン ピュータ 1で処理する例を説明した力 必ずしもこの内容に限定する必要はない。カメ ラ内で上記の処理をすベて行うようにしてもよい。その場合、カメラ内に設けられたメ モリに上記説明したプログラムをインストールし、カメラ内の CPUがプログラムを実行 する。
[0131] 図 16は、カメラで実施する場合のそのデジタルカメラ（電子カメラ） 100の構成を示 す図である。 CCDなどの撮像素子 103は、撮影レンズ 102を介して被写体 101を撮 像する。制御装置 104は、撮像素子 103からの出力信号に基づき画像データを生成 し、所定の処理を行ってメモリカードなどのメモリ 105に格納する。制御装置 104は、 メモリ 105に格納された画像データを読み出して、デジタルカメラ 100に設けられた 内部モニタ 106に、あるいはデジタルカメラ 100からケーブルを介して接続した外部 モニタに画像を表示する。このとき、制御装置 104は、上記実施の形態で説明した変 換処理（図 5、 7、 9、 13、 15)と同等の処理を行いながら内部モニタ 106や外部モ- タ 107に画像を表示する。撮像条件は、撮像時に取得し画像データの一部としてメ モリ 105に格納されたデータを使用する。観察条件は、内部モニタ 106に表示する 場合は、予め設定されて！、る内部モニタ 106のデバイス特性（白色点や輝度）を使用 する。また、外部モニタ 107に表示する場合は、 sRGB標準視環境を使用する。ユー ザ (観察者）が、デジタルカメラ 100のメニュー画面を使用して、内部モニタ 106を使 用する場合や外部モニタ 107を使用する場合に応じて適宜入力ようにしてもょ 、。
[0132] 尚、 JPEGの様な汎用のファイルフォーマットでメモリ 105に格納する場合には、撮 像条件として、撮像時に取得した撮像条件データを使用し、観察条件として、 sRGB 標準視環境を使用し、上記第 1〜第 5の実施の形態で説明した変換処理 (図 5、 7、 9 、 13、 15)と同等の処理を行う。その処理済み画像を格納してもよい。この場合、変 換処理済みを示すフラグと、変換処理に使用した条件も画像データに付記しておく。
[0133] この様な処理済み画像データを、実際にパーソナルコンピュータやデジタルカメラ 1 00に接続された画像出力装置 (モニタやプリンタ等)で出力して、出力画像を観察す る場合には、上記第 6の実施の形態で説明した変換処理（図 18、 19、 20)と同等の 処理を、パーソナルコンピュータやデジタルカメラ 100内部で行ってから画像を出力 する。このとき、撮像条件は、変換処理で使用した観察条件を使用する。なお、観察 条件は、実際の観察条件をユーザ (観察者)が、パーソナルコンピュータに接続され たキーボードやデジタルカメラ 100のメニュー画面を使用して適宜入力する。 [0134] 上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容 に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態 様も本発明の範囲内に含まれる。
[0135] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願 2005年第 202823号（2005年 7月 12日出願）

Claims

請求の範囲
[1] ある撮像条件で撮像された第 1の画像データを、観察条件に応じた色の見えを再 現する第 2の画像データに変換する画像処理装置であって、
前記撮像条件で撮像された第 1の画像データを取得する画像データ取得部と、 前記取得された第 1の画像データを、画素単位に、前記撮像条件と前記観察条件 とに基づき、色順応を考慮した第 1の手法により前記第 2の画像データに変換する第
1の変換部と、
前記取得された第 1の画像データを、画素単位に、前記撮像条件と前記観察条件 とに基づき、前記第 1の手法より簡易であって色順応を考慮した第 2の手法により前 記第 2の画像データに変換する第 2の変換部と、
前記第 1の画像データの変換対象画素又はその近傍画素の状態に応じて、前記 第 1の変換部および前記第 2の変換部の 、ずれかを選択するように制御する制御部 とを備える。
[2] 請求項 1に記載の画像処理装置において、
前記制御部は、前記第 1の画像データの変換対象画素の色が所定の色域内のとき 前記第 1の変換部を選択し、前記第 1の画像データの変換対象画素の色が前記所 定の色域内でな!、とき前記第 2の変換部を選択するように制御する。
[3] 請求項 2に記載の画像処理装置において、
前記所定の色域は、所定の輝度範囲あるいは所定の色相範囲を含む。
[4] 請求項 2または 3に記載の画像処理装置にお 、て、
画像内における変換対象画素周辺の背景輝度、および、前記撮像条件と前記観 察条件の違 、の少なくとも 、ずれかの影響を受けて、元の色に対して同じでな!、特 定の色を多くの人が色の見えが一致するとして選ぶ該元の色の集まりを前記所定の 色域として規定する色域規定部をさらに備え、
前記制御部は、前記色域規定部を参照して、前記第 1の画像データの変換対象画 素の色が前記所定の色域内にあるかどうかを判断する。
[5] 請求項 1に記載の画像処理装置において、
前記制御部は、前記第 1の画像データを複数の領域に分割し、分割された各領域 に含まれる画素の状態に応じて、領域毎に前記第 1の変換部および前記第 2の変換 部のいずれかを選択し、同一領域内の各画素は前記領域毎に選択された同一変換 部を選択するように制御する。
[6] 請求項 5に記載の画像処理装置において、
前記制御部は、前記第 1の画像データの変換対象領域に含まれる全画素のうち、 各画素の色が所定の色域内にある画素数の割合が所定割合以上のとき前記第 1の 変換部を選択し、各画素の色が前記所定の色域内にある画素数の割合が前記所定 割合未満のとき前記第 2の変換部を選択するように制御する。
[7] 請求項 6に記載の画像処理装置において、
前記所定の色域は、所定の輝度範囲あるいは所定の色相範囲を含む。
[8] 請求項 6または 7に記載の画像処理装置にお 、て、
画像内における変換対象画素周辺の背景輝度、および、前記撮像条件と前記観 察条件の違 、の少なくとも 、ずれかの影響を受けて、元の色に対して同じでな!、特 定の色を多くの人が色の見えが一致するとして選ぶ該元の色の集まりを前記所定の 色域として規定する色域規定部をさらに備え、
前記制御部は、前記色域規定部を参照して、前記第 1の画像データの変換対象領 域に含まれる各画素の色が前記所定の色域内にあるかどうかを判断する。
[9] 請求項 5に記載の画像処理装置において、
前記制御部は、前記第 1の画像データの変換対象領域を代表する色が所定の色 域内にあるとき前記第 1の変換部を選択し、前記第 1の画像データの変換対象領域 を代表する色が前記所定の色域内でないとき前記第 2の変換部を選択するように制 御する。
[10] 請求項 9に記載の画像処理装置において、
前記所定の色域は、所定の輝度範囲あるいは所定の色相範囲を含む。
[11] 請求項 9または 10に記載の画像処理装置において、
画像内における変換対象画素周辺の背景輝度、および、前記撮像条件と前記観 察条件の違 、の少なくとも 、ずれかの影響を受けて、元の色に対して同じでな!、特 定の色を多くの人が色の見えが一致するとして選ぶ該元の色の集まりを前記所定の 色域として規定する色域規定部をさらに備え、
前記制御部は、前記色域規定部を参照して、前記第 1の画像データの変換対象領 域を代表する色が前記所定の色域内にあるかどうかを判断する。
[12] 請求項 9から 11の 、ずれかに記載の画像処理装置にお!/、て、
前記変換対象領域を代表する色は、前記変換対象領域に含まれる全画素、もしく は所定割合数以上の画素の色を平均した色とする。
[13] 請求項 1から 12のいずれかに記載の画像処理装置において、
前記第 1の手法および第 2の手法ともに、同一の色の見えモデルによる手法であり 、前記第 2の手法は、前記色の見えモデル力 所定の演算を省略したものである。
[14] 請求項 1から 12のいずれかに記載の画像処理装置において、
前記第 2の手法は、四則演算のみで変換できる手法である。
[15] 請求項 1から 12のいずれかに記載の画像処理装置において、
前記第 1の手法および前記第 2の手法ともに、前記変換対象画素の背景輝度を考 慮して変換する手法であり、前記第 1の手法は前記変換対象画素の背景輝度を周辺 の画素の輝度に基づき演算し、前記第 2の手法は前記変換対象画素の背景輝度を 所定の固定値とする。
[16] 請求項 13または 15に記載の画像処理装置において、
前記第 1の手法および前記第 2の手法ともに、 CIECAM02の色の見えモデルによる 手法である。
[17] 請求項 1から 12、 14のいずれかに記載の画像処理装置において、
前記第 1の手法は CIECAM02の色の見えモデルによる手法であり、前記第 2の手法 は von Kriesの順応変換式による手法である。
[18] 第 1の観察条件に基づいて作成された第 1の画像データを、第 1の観察条件とは異 なる第 2の観察条件に応じた色の見えを再現する第 2の画像データに変換する画像 処理装置であって、
前記第 1の観察条件に基づいて作成された第 1の画像データを取得する画像デー タ取得部と、
前記取得された第 1の画像データを、画素単位に、前記第 1の観察条件と前記第 2 の観察条件とに基づき、色順応を考慮した第 1の手法により前記第 2の画像データに 変換する第 1の変換部と、
前記取得された第 1の画像データを、画素単位に、前記第 1の観察条件と前記第 2 の観察条件とに基づき、前記第 1の手法より簡易であって色順応を考慮した第 2の手 法により前記第 2の画像データに変換する第 2の変換部と、
前記第 1の画像データの変換対象画素又はその近傍画素の状態に応じて、前記 第 1の変換部および前記第 2の変換部の 、ずれかを選択するように制御する制御部 とを備える。
[19] 請求項 1から 18のいずれかに記載の画像処理装置の機能をコンピュータに実現さ せる画像処理プログラム。
[20] ある撮像条件で撮像された第 1の画像データを、観察条件に応じた色の見えを再 現する第 2の画像データに変換する画像処理方法であって、
前記撮像条件で撮像された第 1の画像データを取得し、
前記取得された第 1の画像データを、前記撮像条件と前記観察条件とに基づき、 画素単位に前記第 2の画像データに変換するとき、前記第 1の画像データの変換対 象画素又はその近傍画素の状態に応じて、色順応を考慮した第 1の手法および前 記第 1の手法より簡易な色順応を考慮した第 2の手法を使い分ける。
[21] 請求項 20に記載の画像処理方法において、
さらに、前記第 1の画像データを複数の領域に分割し、
前記取得された第 1の画像データを、前記撮像条件と前記観察条件とに基づき、 画素単位に前記第 2の画像データに変換するとき、前記各領域に含まれる画素の状 態に応じて、領域毎に色順応を考慮した第 1の手法および前記第 1の手法より簡易 な色順応を考慮した第 2の手法を使 、分ける。
[22] 第 1の観察条件に基づいて作成された第 1の画像データを、第 1の観察条件とは異 なる第 2の観察条件に応じた色の見えを再現する第 2の画像データに変換する画像 処理方法であって、
前記第 1の観察条件に基づいて作成された第 1の画像データを取得し、 前記取得された第 1の画像データを、前記第 1の観察条件と前記第 2の観察条件と に基づき、画素単位に、前記第 2の画像データに変換するとき、前記第 1の画像デー タの変換対象画素又はその近傍画素の状態に応じて、色順応を考慮した第 1の手法 および前記第 1の手法より簡易な色順応を考慮した第 2の手法を使い分ける。
PCT/JP2006/313887 2005-07-12 2006-07-12 画像処理装置、画像処理プログラム、および、画像処理方法 WO2007007798A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/988,549 US8270712B2 (en) 2005-07-12 2006-07-12 Image processing device, image processing program, and image processing method
EP06768151.0A EP1909484B1 (en) 2005-07-12 2006-07-12 Image processing device, image processing program, and image processing method
JP2007524682A JP4883007B2 (ja) 2005-07-12 2006-07-12 画像処理装置、画像処理プログラム、および、画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-202823 2005-07-12
JP2005202823 2005-07-12

Publications (1)

Publication Number Publication Date
WO2007007798A1 true WO2007007798A1 (ja) 2007-01-18

Family

ID=37637188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/313887 WO2007007798A1 (ja) 2005-07-12 2006-07-12 画像処理装置、画像処理プログラム、および、画像処理方法

Country Status (4)

Country Link
US (1) US8270712B2 (ja)
EP (1) EP1909484B1 (ja)
JP (1) JP4883007B2 (ja)
WO (1) WO2007007798A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008271232A (ja) * 2007-04-20 2008-11-06 Fuji Xerox Co Ltd 画像ファイル作成装置、画像処理装置、画像処理システム、およびプログラム
JP2009089277A (ja) * 2007-10-02 2009-04-23 Canon Inc 画像処理装置および画像処理方法
JP2009089319A (ja) * 2007-10-03 2009-04-23 Nippon Hoso Kyokai <Nhk> 映像信号処理装置、その方法及びそのプログラム
JP2010062674A (ja) * 2008-09-01 2010-03-18 Canon Inc 色処理装置およびその方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8482572B2 (en) * 2008-05-02 2013-07-09 Nintendo Co., Ltd. Storage medium having stored thereon color conversion program, and color conversion apparatus
US8451287B2 (en) 2008-05-02 2013-05-28 Nintendo Co., Ltd. Color conversion apparatus, imaging apparatus, storage medium storing color conversion program, and storage medium storing imaging program
US8723893B2 (en) * 2008-05-02 2014-05-13 Nintendo Co., Ltd. Color conversion apparatus, imaging apparatus, storage medium storing color conversion program and storage medium storing imaging program
JP5487813B2 (ja) * 2009-09-02 2014-05-14 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、プログラム
JP2011055284A (ja) * 2009-09-02 2011-03-17 Seiko Epson Corp 画像処理装置、画像処理方法、および、プログラム
US8965076B2 (en) 2010-01-13 2015-02-24 Illumina, Inc. Data processing system and methods
WO2012049845A1 (ja) * 2010-10-12 2012-04-19 パナソニック株式会社 色信号処理装置
JP6789877B2 (ja) * 2017-04-28 2020-11-25 キヤノン株式会社 情報処理装置、画像処理システム、制御システム及び情報処理方法
JP6915483B2 (ja) * 2017-09-27 2021-08-04 富士フイルムビジネスイノベーション株式会社 画像処理装置、画像処理システムおよびプログラム
CN114531539B (zh) * 2020-11-23 2024-03-19 华为技术有限公司 拍摄方法及电子设备
KR20230055361A (ko) * 2021-10-18 2023-04-25 캐논 가부시끼가이샤 화상 처리 장치, 화상 처리 방법, 및 프로그램을 저장하는 저장 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320591A (ja) * 2000-05-12 2001-11-16 Fuji Photo Film Co Ltd カラーバランス調整方法および装置並びに記録媒体
JP2002077652A (ja) * 2000-08-31 2002-03-15 Canon Inc 画像処理方法および記録媒体
JP2003069838A (ja) * 2001-08-28 2003-03-07 Minolta Co Ltd データ通信装置、被写体再現方法およびプログラム
JP2005202823A (ja) 2004-01-19 2005-07-28 Nippon Signal Co Ltd:The 自動改札機

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112819A (ja) * 1997-09-30 1999-04-23 Fuji Photo Film Co Ltd 色変換ルックアップテーブル並びにその作成方法および装置並びにそれを用いた画像の色変換方法および装置
US6504952B1 (en) * 1998-03-17 2003-01-07 Fuji Photo Film Co. Ltd. Image processing method and apparatus
JP3072729B2 (ja) 1998-10-09 2000-08-07 日本電気株式会社 カラーマッチング方法、カラーマッチング装置並びにプログラムを記録した機械読み取り可能な記録媒体
JP3291259B2 (ja) * 1998-11-11 2002-06-10 キヤノン株式会社 画像処理方法および記録媒体
EP1085749B1 (en) 1999-09-17 2011-01-12 Canon Kabushiki Kaisha Image processing method and apparatus
JP4652535B2 (ja) * 2000-07-25 2011-03-16 キヤノン株式会社 画像処理装置およびその方法
JP2002204372A (ja) * 2000-12-28 2002-07-19 Canon Inc 画像処理装置およびその方法
JP2003256823A (ja) 2002-02-28 2003-09-12 Oki Data Corp 画像処理方法および装置
JP3984852B2 (ja) * 2002-04-02 2007-10-03 キヤノン株式会社 色処理装置およびその方法
JP2005059360A (ja) * 2003-08-11 2005-03-10 Canon Inc 色分解データ生成方法および画像処理装置
US7483486B2 (en) * 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320591A (ja) * 2000-05-12 2001-11-16 Fuji Photo Film Co Ltd カラーバランス調整方法および装置並びに記録媒体
JP2002077652A (ja) * 2000-08-31 2002-03-15 Canon Inc 画像処理方法および記録媒体
JP2003069838A (ja) * 2001-08-28 2003-03-07 Minolta Co Ltd データ通信装置、被写体再現方法およびプログラム
JP2005202823A (ja) 2004-01-19 2005-07-28 Nippon Signal Co Ltd:The 自動改札機

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROHISA YAGUCHI: "Color Appearance Model - Outline of CIEMCAM02", COLOR FORUM JAPAN 2003, 2003, pages 57 - 62
See also references of EP1909484A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008271232A (ja) * 2007-04-20 2008-11-06 Fuji Xerox Co Ltd 画像ファイル作成装置、画像処理装置、画像処理システム、およびプログラム
US8675247B2 (en) 2007-04-20 2014-03-18 Fuji Xerox Co., Ltd. Image file creation device, method and program storage medium, image processing device, method and program storage medium, and image processing system
JP2009089277A (ja) * 2007-10-02 2009-04-23 Canon Inc 画像処理装置および画像処理方法
JP2009089319A (ja) * 2007-10-03 2009-04-23 Nippon Hoso Kyokai <Nhk> 映像信号処理装置、その方法及びそのプログラム
JP2010062674A (ja) * 2008-09-01 2010-03-18 Canon Inc 色処理装置およびその方法
US8290262B2 (en) 2008-09-01 2012-10-16 Canon Kabushiki Kaisha Color processing apparatus and method thereof

Also Published As

Publication number Publication date
US8270712B2 (en) 2012-09-18
EP1909484A1 (en) 2008-04-09
EP1909484A4 (en) 2009-12-30
JP4883007B2 (ja) 2012-02-22
EP1909484B1 (en) 2014-01-15
JPWO2007007798A1 (ja) 2009-01-29
US20090010535A1 (en) 2009-01-08

Similar Documents

Publication Publication Date Title
JP4883007B2 (ja) 画像処理装置、画像処理プログラム、および、画像処理方法
JP4375781B2 (ja) 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
EP2073167B1 (en) Image processing device, image processing method, and image processing program
Liu et al. CID: IQ–a new image quality database
JP5141557B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、カメラ
US8363125B2 (en) Image processing apparatus, image processing method, and computer program product
US8068686B2 (en) Image recording apparatus, image recording method, image processing apparatus, image processing method and image processing system
US20090060326A1 (en) Image processing apparatus and method
JP5195430B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、カメラ
US20070211272A1 (en) Apparatus and method for image-adaptive color reproduction
JP4687673B2 (ja) カラー画像のモノトーン化処理
JP2012165204A (ja) 信号処理装置、信号処理方法、撮像装置及び撮像処理方法
US8290262B2 (en) Color processing apparatus and method thereof
JP5156423B2 (ja) 色処理装置および色処理方法
JP4001079B2 (ja) カラー画像のモノトーン化処理
JP2009070099A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2004297617A (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
KR101075773B1 (ko) 화이트 밸런스 조정 방법
JP5458776B2 (ja) 画像処理装置、および画像処理プログラム
JP4377733B2 (ja) 色調整モジュールおよび撮像装置、ならびに色調整を実現するためのプログラム
JP2006005543A (ja) 色空間変換装置、電子カメラ、色空間変換方法、および色空間変換プログラム
JP3667171B2 (ja) 画像処理方法、装置および記録媒体
JP2003153026A (ja) 色変換方法および画像表示装置
JP2003324616A (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007524682

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006768151

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11988549

Country of ref document: US