WO2019216072A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2019216072A1
WO2019216072A1 PCT/JP2019/015048 JP2019015048W WO2019216072A1 WO 2019216072 A1 WO2019216072 A1 WO 2019216072A1 JP 2019015048 W JP2019015048 W JP 2019015048W WO 2019216072 A1 WO2019216072 A1 WO 2019216072A1
Authority
WO
WIPO (PCT)
Prior art keywords
white balance
balance gain
sub
main
area
Prior art date
Application number
PCT/JP2019/015048
Other languages
English (en)
French (fr)
Inventor
智紀 増田
祐也 西尾
智大 島田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020518194A priority Critical patent/JP6900577B2/ja
Publication of WO2019216072A1 publication Critical patent/WO2019216072A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program, and more particularly to a white balance correction technique.
  • multi-area white balance correction in which different white balance gains are applied to each pixel or area constituting an image.
  • multi-area white balance correction is preferably used for captured images of scenes with large luminance differences.
  • a shot image of a scene with a large luminance difference each area is placed in a different light environment, so the color temperature may be different between the bright area and the dark area, and multi-area white balance correction is preferably used.
  • a photographed image with a large luminance difference is, for example, a photographed image in which a shaded area and a sunlit area coexist in a single photographed image, or a photographed image in which an indoor illumination area and a sunlight area coexist. Etc.
  • Patent Document 1 when a semi-water surface photograph is taken, a white balance gain for water is set for a subject area on the water, and an underwater white balance is set for an image area corresponding to the subject area for water. It is described that the balance gain is set.
  • Patent Document 2 describes a technique for adjusting a white balance correction value of a color signal obtained from a highly sensitive pixel and a white balance correction value of a color signal obtained from a low sensitive pixel.
  • Patent Document 1 when multi-area white balance correction is performed with different white balance gains obtained independently for each area of a captured image, an image created in the brain when a human views a scene, Unlikely, it feels strange. When a human sees a certain scene, he or she strongly corrects the spot where he / she is gazing, and the correction of the spot where he / she is not gazing is pulled by the influence of the correction of the spot that is gazing.
  • Patent Document 2 does not mention adjustment of the white balance gain obtained for each region of the captured image. That is, there is no mention of white balance adjustment when performing multi-area white balance correction.
  • an image processing apparatus includes an image input unit to which a captured image is input, a main area in the captured image, and a sub area that is an area other than the main area.
  • the white balance gain acquisition section for acquiring the main white balance gain and the sub white balance gain for white balance correction in the main area and the sub area, respectively, and the main white balance gain and the sub white balance gain
  • a determining unit that determines the adjusted sub white balance gain after adjusting the sub white balance gain, and a white balance correcting unit that performs white balance correction on the main area and the sub area using the main white balance gain and the adjusted sub white balance gain.
  • the main region and the sub region are set in the captured image, and the sub white balance gain is determined based on the main white balance gain of the main region and the sub white balance gain of the sub region. Since the white balance correction is performed using the main white balance gain in the main area and the adjusted sub white balance gain in the sub area, natural multi-area white balance correction can be performed.
  • a first control unit that performs control for causing the white balance gain acquisition unit to acquire the main white balance gain and the sub white balance gain based on the luminance difference of the captured image input to the image input unit is provided.
  • the white balance gain acquisition unit can acquire the main white balance gain and the sub white balance gain as necessary, and efficient multi-area white balance correction can be performed.
  • the first control unit causes the white balance gain acquisition unit to acquire the main white balance gain and the sub white balance gain when the luminance difference of the captured image is greater than or equal to the threshold value.
  • the white balance gain acquisition unit can acquire the main white balance gain and the sub white balance gain as necessary, and efficient multi-area white balance correction can be performed.
  • the first control unit causes the white balance gain acquisition unit to acquire a main white balance gain and a sub white balance gain based on a command input from the operation unit.
  • the region setting unit sets a region for adjusting the focus or exposure of the captured image as a main region.
  • the area for adjusting the focus or exposure of the captured image is the main area, multi-area white balance correction reflecting the photographer's intention can be performed.
  • the white balance gain acquisition unit converts the acquired white balance gain into the main white balance gain and the sub white balance gain according to the size of the area from which the white balance gain is obtained or the luminance of the area from which the white balance gain is obtained.
  • the main white balance gain is determined by the size of the area for which the white balance gain is obtained or the luminance of the area for which the white balance gain is obtained, an appropriate multi-area corresponding to the scene of the captured image is obtained.
  • White balance correction can be performed.
  • the determination unit determines the adjusted sub white balance gain based on the main white balance gain and an adjustment threshold value determined according to the main white balance gain and the sub white balance gain.
  • the white balance correction is appropriately performed by determining the adjustment threshold according to the scene. Can be done.
  • the determination unit determines the adjusted sub white balance gain based on the main white balance gain and an adjustment threshold value determined according to the luminance difference of the captured image.
  • the adjusted secondary white balance gain is determined based on the main white balance gain and the adjustment threshold value determined according to the brightness difference of the captured image, it is determined according to the brightness difference of the captured image.
  • the sub white balance gain is adjusted, and natural multi-area white balance correction is appropriately performed.
  • the white balance gain acquisition unit acquires the main white balance gain based on the pixel value of the main area, and acquires the sub white balance gain based on the pixel value of the sub area.
  • a short-exposure photographed image and a long-exposure photographed image are input to the image input unit, and the region setting unit selects one of the short-exposure photographed image and the long-exposure photographed image as a main region. And the other area is set as a sub area.
  • natural multi-area white balance correction can be performed even when a high dynamic range composite image is generated from a short-exposure photographed image and a long-exposure photographed image.
  • the image processing apparatus receives a white balance when a short-exposure photographed image and a long-exposure photographed image are input and a mode in which the short-exposure photographed image and the long-exposure photographed image are combined is selected.
  • a second control unit that performs control for causing the gain acquisition unit to acquire the main white balance gain and the sub white balance gain is provided.
  • the white balance gain acquisition unit can acquire the main white balance gain and the sub white balance gain as necessary, and efficient multi-area white balance correction can be performed.
  • the second control unit causes the white balance gain acquisition unit to acquire the main white balance gain and the sub white balance gain when the exposure of the short-exposure captured image and the long-exposure captured image is equal to or greater than a threshold value. Take control.
  • the white balance gain acquisition unit can acquire the main white balance gain and the sub white balance gain as necessary, and efficient multi-area white balance correction can be performed.
  • the determining unit determines the adjusted sub-white based on the main white balance gain and an adjustment threshold value determined from an exposure difference between the short-exposure captured image and the long-exposure captured image input to the image input unit. Determine the balance gain.
  • the determination unit adjusts based on the main white balance gain and the adjustment threshold value determined from the exposure difference between the short-exposure captured image and the long-exposure captured image input to the image input unit. Since the rear sub-white balance gain is determined, natural multi-area white balance correction can be performed.
  • the white balance gain acquisition unit acquires a main white balance gain based on a short-exposure photographed image or a long-exposure photographed image having a main area, and a short-exposure photographed image or a long-exposure photograph having a sub-area.
  • a sub white balance gain is acquired based on the captured image.
  • the main white balance gain and the sub white balance gain are calculated based on the captured image, a more appropriate white balance gain is acquired and natural multi-area white balance correction is performed.
  • a short-exposure photographed image and a long-exposure photographed image are provided with a main / sub-image determination unit that determines a main image and a sub-image, and the white balance gain acquisition unit acquires the main white balance gain of the main image If the main white balance gain is acquired based on the first importance level assigned to the main area and the sub area, and the sub white balance gain of the sub image is acquired, the inverse of the first importance level is obtained. The secondary white balance gain is acquired based on the second importance degree.
  • the sub white balance gain is calculated based on the second importance level opposite to the first importance level obtained for the main white balance gain, an appropriate sub white balance gain is accurately obtained. be able to.
  • An image processing method includes a step of inputting a captured image, a step of setting a main region and a sub region that is a region other than the main region, and a main region and a sub region.
  • the sub-white balance gain after adjusting the sub-white balance gain based on the steps of acquiring the main white balance gain and sub-white balance gain for correcting the white balance, and the main white balance gain and sub-white balance gain, respectively.
  • the program according to another aspect of the present invention includes a step of inputting a captured image, a step of setting a main region and a sub region other than the main region in the captured image, and white of the main region and the sub region. Based on the steps of obtaining the main white balance gain and the sub white balance gain for balance correction, and the main white balance gain and the sub white balance gain, the adjusted sub white balance gain is determined by adjusting the sub white balance gain. And causing the computer to execute an image processing method including a step and a step of performing white balance correction on the main area and the sub area by using the main white balance gain and the adjusted sub white balance gain.
  • the main region and the sub region are set in the captured image, and the adjusted sub white balance gain is determined based on the main white balance gain of the main region and the sub white balance gain of the sub region. Since the white balance correction is performed by the main white balance gain and the sub-region is adjusted by the sub white balance gain after adjustment, natural multi-area white balance correction can be performed.
  • FIG. 1 is a block diagram illustrating a control processing system of the imaging apparatus.
  • FIG. 2 is a diagram illustrating a functional configuration example of the image processing unit.
  • FIG. 3 is a diagram illustrating an example of a captured image.
  • FIG. 4 is a diagram illustrating an example of setting of the main area and the sub area.
  • FIG. 5 is a diagram illustrating an example of adjusting the sub white balance gain.
  • FIG. 6 is a flowchart showing the operation of the image processing unit.
  • FIG. 7 is a diagram showing a long-exposure photographed image and a short-exposure photographed image.
  • FIG. 8 is a diagram for explaining that a region is set as a main region and a sub region by the region setting unit.
  • FIG. 8 is a diagram for explaining that a region is set as a main region and a sub region by the region setting unit.
  • FIG. 9 is a diagram of chromaticity point distribution of a short-exposure photographed image and a long-exposure photographed image.
  • FIG. 10 is a flowchart illustrating an example of the operation of the image processing unit.
  • FIG. 11 is a flowchart illustrating an example of the operation of the image processing unit.
  • FIG. 12 is a diagram illustrating a functional configuration example of the image processing unit.
  • FIG. 13 is a flowchart showing the operation of the image processing unit.
  • FIG. 14 is a diagram illustrating a functional configuration example of the image processing unit.
  • FIG. 15 is a flowchart illustrating an example of control by the control unit.
  • FIG. 16 is a flowchart illustrating an example of control by the control unit.
  • FIG. 10 is a flowchart illustrating an example of control by the control unit.
  • FIG. 17 is a flowchart illustrating an example of control by the control unit.
  • FIG. 18 is a diagram illustrating a display example of the display unit of the imaging apparatus.
  • FIG. 19 is a diagram illustrating a display example of the display unit of the imaging apparatus.
  • FIG. 20 is a diagram illustrating a display example of the display unit of the imaging apparatus.
  • FIG. 21 is a diagram illustrating a captured image.
  • FIG. 22 is a flowchart showing the control for determining the main white balance gain in accordance with the luminance value of the region.
  • FIG. 1 is a block diagram showing a control processing system of an imaging apparatus 1 equipped with an image processing apparatus (image processing unit 31) of the present invention.
  • the subject light passes through the lens 12, the diaphragm 14, and the mechanical shutter 20 and is received by the image sensor 21.
  • the lens 12 is configured by an imaging optical system including an imaging lens and a diaphragm 14.
  • the image sensor 21 is an element that receives a subject image and generates an image signal (image data), such as a color filter such as RGB (red green blue), a CCD (Charge Coupled Device) that converts an optical image into an electrical signal, And an image sensor such as a complementary metal oxide semiconductor (CMOS).
  • image data such as a color filter such as RGB (red green blue), a CCD (Charge Coupled Device) that converts an optical image into an electrical signal, And an image sensor such as a complementary metal oxide semiconductor (CMOS).
  • the image data output from the image sensor 21 is processed by an AGC (Automatic Gain Control) circuit or the like in the process processing unit 22, and then the analog image data is converted into a digital format by the AD (Analog Digital) conversion unit 23. Converted to image data.
  • the digitized image data is stored in the main memory 24.
  • the main memory 24 is an area for temporarily storing image data, and is configured by a DRAM (Dynamic Random Access Memory) or the like. Image data sent from the AD conversion unit 23 and stored in the main memory 24 is read out by the image processing unit 31 controlled by the system control unit 25.
  • DRAM Dynamic Random Access Memory
  • the image processing unit 31 uses the image data generated by the image sensor 21 as input image data, performs various image processing such as white balance correction, gamma correction processing, and demosaic processing, and the image data after the image processing is again main. Save in the memory 24.
  • white balance correction performed by the image processing unit 31 will be described in detail later.
  • Image data subjected to image processing in the image processing unit 31 and stored in the main memory 24 is read by the display control unit 35 and the compression / decompression unit 32.
  • the display control unit 35 controls the display unit 8 to display the image data read from the main memory 24 on the display unit 8. In this way, the image data output from the image sensor 21 and subjected to image processing in the image processing unit 31 is displayed on the display unit 8 as an imaging confirmation image (postview image).
  • the compression / decompression unit 32 compresses the image data read from the main memory 24 to create image data of an arbitrary compression format such as JPEG (Joint Photographic Experts Group) or TIFF (Tagged Image File Format).
  • the compressed image data is stored in the external memory 10 by the storage control unit 33 that controls data storage processing to the external memory 10 and data reading processing from the external memory 10.
  • the imaging information is added to the image data in an arbitrary format, and for example, an Exif (Exchangeable image file format) format can be adopted.
  • the AF processing function of the imaging apparatus 1 integrates the absolute value of the high-frequency component of the image data corresponding to the AF area that is captured when the shutter button is pressed (half-pressed) in the first stage and performs this integration.
  • the value (AF evaluation value) is output to the system control unit 25.
  • the AE detection function integrates digital signals corresponding to the entire screen when the shutter button is pressed (half-pressed) in the first stage, or integrates image data with different weights at the center and peripheral portions of the screen. Then, the integrated value is output to the system control unit 25.
  • the system control unit 25 controls the main memory 24, the image processing unit 31, and the storage control unit 33 as described above, but also controls other units (AF processing function, AE detection function) in the imaging apparatus 1.
  • the system control unit 25 operates the AE detection function when the shutter button is half-pressed in the auto photographing mode.
  • the subject luminance (imaging Ev value) is calculated from the integrated value input by the AE detection function, and the aperture value and shutter speed (mechanical shutter 20 and / or mechanical shutter 20 and / or shutter speed) via the aperture drive unit 28 based on this imaging Ev value.
  • the charge accumulation time of the image sensor 21) is determined according to the program diagram.
  • the aperture 14 is controlled based on the determined aperture value, and the mechanical shutter 20 is controlled via the shutter drive unit 27 based on the determined shutter speed. Note that the charge accumulation time of the image sensor 21 is controlled by the sensor driving unit 26.
  • the system control unit 25 moves the focus lens of the lens 12 from the closest distance to the infinity side via the lens driving unit 29 and operates the AF processing function to The AF evaluation value at the lens position is acquired from the AF processing function. Then, a focus position where the AF evaluation value is maximized is searched, and the focus lens is moved to the focus position, thereby adjusting the focus on the subject.
  • the system control unit 25 acquires information regarding the in-focus position based on the movement position of the focus lens.
  • the system control unit 25 acquires an operation signal from a user interface 36 including a shutter button, a power switch, and an operation unit, and performs various processes and device control according to the operation signal.
  • Programs and data necessary for various processes and device control performed by the system control unit 25 are stored in the main memory 24.
  • the system control unit 25 can read out programs and data stored in the control memory 30 as necessary, and can store new programs and data in the control memory 30.
  • FIG. 2 is a diagram illustrating a functional configuration example of the image processing unit (image processing apparatus) 31 according to the first embodiment.
  • the image processing unit 31 includes an image input unit 101, a region setting unit 103, a white balance gain acquisition unit 105, a determination unit 107, and a white balance correction unit 109.
  • a captured image is input to the image input unit 101.
  • a captured image of a scene with a large luminance difference is input to the image input unit 101.
  • FIG. 3 is a diagram illustrating an example of a captured image input to the image input unit 101.
  • the photographed image 150 is a photographed image obtained by photographing a retrograde scene.
  • the luminance difference is large and each has a different light environment. That is, the person 151 is a dark area, the background 152 is a bright area, and has different color temperatures.
  • Other scenes with large luminance differences include scenes where shaded areas and sunny areas, indoor lighting areas, and sunlight areas coexist.
  • natural multi-area white balance correction can be performed on a captured image having a large luminance difference.
  • the area setting unit 103 sets a main area and a sub area that is an area other than the main area in the captured image 150.
  • the main area is an area where the photographer is gazing in the captured image 150.
  • multi-area white balance correction which will be described later, with the area that the photographer is gazing at as the main area, correction of the point at which the person is gazing is strong, as in the case where a human views the scene.
  • the correction of the point it is possible to perform a natural correction that is influenced by the correction of the point of interest.
  • FIG. 4 is a diagram illustrating an example of setting of the main region and the sub region in the captured image 150 of FIG.
  • the area setting unit 103 first divides the photographed image 150 into 8 divisions and 8 divisions (8 ⁇ 8), and the average color, brightness, or position within the angle of view of the divided areas. Based on the information, the setting for dividing into a plurality of areas is performed. For example, when the region setting unit 103 divides the region based on the luminance, in the captured image 150, the person 151 belongs to a dark region and the background 152 belongs to a bright region due to backlight. For example, the area setting unit 103 divides the area of the captured image 150 into an area inside the frame W and an area outside the frame W based on the luminance.
  • the area setting unit 103 sets the area inside the frame W as a main area and the area outside the frame W as a sub area.
  • the captured image 150 is divided into 8 ⁇ 8 and the main area and the sub area are set.
  • the region setting unit 103 may set the main region and the sub region for each pixel, or may set the main region and the sub region by dividing by another number.
  • the white balance gain acquisition unit 105 acquires a main white balance gain and a sub white balance gain for white balance correction in the main region and the sub region, respectively.
  • the white balance gain can be acquired by various methods. For example, the white balance gain acquisition unit 105 acquires the main white balance gain based on the pixel value of the main area, and acquires the sub white balance gain based on the pixel value of the sub area.
  • the determination unit 107 determines an adjusted sub white balance gain obtained by adjusting the sub white balance gain based on the main white balance gain and the sub white balance gain.
  • the determination unit 107 adjusts the sub white balance gain so as to be affected by the main white balance gain, and determines the adjusted sub white balance gain.
  • FIG. 5 is a diagram illustrating an example of adjustment of the sub white balance gain performed by the determination unit 107.
  • the vertical axis represents the blue gain
  • the horizontal axis represents the red gain.
  • the main white balance gain of the captured image 150 acquired by the white balance gain acquisition unit 105 is indicated by MG
  • the sub white balance gain is indicated by SG.
  • the adjusted sub white balance gain adjusted by the determination unit 107 is indicated by R-SG.
  • the determination unit 107 determines the adjustment threshold R-TH, and adjusts the sub white balance gain SG so as to be on the main white balance gain MG side within the adjustment threshold R-TH.
  • the adjusted sub white balance gain R-SG is calculated by setting a by the following formula so as to be within the adjustment threshold R-TH.
  • the adjustment threshold value R-TH is indicated by a circle.
  • R-SG_G r represents a red adjusted sub white balance gain
  • R-SG_G b represents a blue adjusted sub white balance gain
  • MG_G r indicates a red main white balance gain
  • MG_G b indicates a blue main white balance gain
  • SG_G r indicates a red sub white balance gain
  • SG_G b indicates a blue sub white balance gain
  • a is a numerical value R-SG_G r and R-SG_G b is set to fall within adjustment threshold.
  • the value of a becomes smaller as the main white balance gain MG and the sub white balance gain SG are farther from each other.
  • the determination unit 107 determines the adjustment threshold R-TH from the relationship between the main white balance gain MG and the sub white balance gain SG. Further, the determination unit 107 determines the adjustment threshold R-TH according to the luminance difference between the captured images input to the image input unit 101. Further, when a plurality of photographed images (short-exposure photographed images and long-exposure photographed images) with different exposures described in the second embodiment are input, the determination unit 107 exposes the plurality of photographed images.
  • the adjustment threshold value R-TH may be determined based on the difference.
  • FIG. 6 is a flowchart showing the operation of the image processing unit 31 of the present embodiment (corresponding to an image processing method).
  • the captured image 150 is input to the image input unit 101 (step S10).
  • the region setting unit 103 divides the region based on the luminance, color, and / or pixel position (step S11), and the region setting unit 103 also acquires the gaze region (step S12).
  • the area including the gaze area is the main area, and the other areas are the sub areas.
  • the white balance gain acquisition unit 105 acquires the main white balance gain and the sub white balance gain (step S13).
  • the determining unit 107 recalculates the sub white balance gain from the main white balance gain and the sub white balance gain, and the adjusted sub white balance gain is determined (step S14).
  • the white balance correction unit 109 performs multi-area white balance correction using the main white balance gain for the main region and the adjusted sub white balance gain for the sub region (step S15).
  • the adjusted sub white balance gain is determined based on the main white balance gain of the main area and the sub white balance gain of the sub area.
  • the main area is determined by the main white balance gain
  • the sub area is adjusted by the adjusted sub white balance gain. Since white balance correction is performed by the white balance gain, natural multi-area white balance correction can be performed.
  • the hardware structure of a processing unit that executes various processes is the following various processors.
  • the circuit configuration can be changed after manufacturing a CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), which is a general-purpose processor that functions as various processing units by executing software (programs).
  • a dedicated electric circuit that is a processor having a circuit configuration specifically designed to execute a specific process such as a programmable logic device (PLD) or an application specific integrated circuit (ASIC). It is.
  • PLD programmable logic device
  • ASIC application specific integrated circuit
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of CPU and FPGA). May be. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC System On Chip
  • various processing units are configured using one or more of the various processors as a hardware structure.
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • a short-exposure captured image acquired by a short exposure and a long-exposure captured image acquired by a long exposure are input to the image input unit 101.
  • the present embodiment is preferably used when a short-exposure photographed image and a long-exposure photographed image are combined to obtain a high dynamic range (HDR) composite image.
  • HDR high dynamic range
  • FIG. 7 is a diagram illustrating a long-exposure photographed image and a short-exposure photographed image input to the image input unit 101.
  • the short-exposure photographed image 163 and the long-exposure photographed image 165 are photographed in the same scene as in FIG.
  • FIG. 8 is a diagram for explaining that the main area and the sub area are set by the area setting unit 103.
  • a region similar to the method described in FIG. 4 is divided into an area inside the frame W and an area outside the frame W.
  • the area setting unit 103 sets one of the short-exposure photographed image 163 and the long-exposure photographed image 165 as a main area, and sets the other area as a sub-area.
  • the region setting unit 103 sets a region other than the region corresponding to the region where the long-exposure captured image 165 is a sub-region.
  • the area setting unit 103 sets the main area based on the characteristics of the areas inside the frame W of the short-exposure captured image 163 and the long-exposure captured image 165.
  • the region setting unit 103 has a captured image in which the luminance of the region inside the frame W is within a predetermined range, a captured image in which the region inside the frame W has higher saturation, and a region in which the frame W has a higher contrast.
  • the area inside the frame W in the captured image is set as the main area.
  • FIG. 9 is a diagram of chromaticity point distributions of the short-exposure photographed image 163 and the long-exposure photographed image 165 of FIG.
  • FIG. 9A shows the chromaticity point distribution of the short-exposure photographed image 163
  • FIG. 9B shows the chromaticity point distribution of the long-exposure photographed image 165.
  • the vertical axis indicates the value of B (blue) / G (green)
  • the horizontal axis indicates the value of R (red) / G (green). ing.
  • the integrated value 181 of the pixels in the frame W is blacked out, and the integrated value is too dark, so the SN (signal-noise) ratio is poor and the values are scattered.
  • the integrated value 183 of the pixels outside the frame W is an appropriate value because the integrated value 183 of the pixels outside the frame W can ignore the integrated value 181 of the pixels inside the frame W.
  • the integrated value 185 of the pixels in the frame W is gathered in a certain region and shows a correct value.
  • the integrated value 187 of the pixels outside the frame W is overexposed (saturated), the chromaticity points are abnormally concentrated in one place.
  • the main white balance gain and the adjusted sub white balance gain are set with the region within the frame W of the long exposure captured image 165 as the main region and the region outside the frame W of the short exposure captured image 163 as the sub region. And performing a multi-area white balance correction, an HDR composite image without a sense of incongruity can be obtained.
  • FIG. 10 is a flowchart showing an example of the operation of the image processing unit 31 of the present embodiment.
  • a captured image is input to the image input unit 101 (step S20).
  • the area setting unit 103 divides the short-exposure photographed image 163 and the long-exposure photographed image 165 based on the luminance, color, and pixel position (step S21), and the area setting unit 103 determines the gaze area. Obtained (step S22), the main area and the sub area are set.
  • the white balance gain acquisition unit 105 acquires a white balance gain for each region (step S23).
  • the white balance gain acquisition unit 105 calculates the average luminance of the gaze area from each of the short-exposure captured image 163 and the long-exposure captured image 165 (step S24).
  • the white balance gain obtained from the gaze area of the image whose average luminance in the gaze area is closer to the middle is set as the main white balance gain (step S25). Further, the white balance gain acquisition unit 105 sets the white balance gain obtained from the area other than the gaze area of the image whose average luminance in the gaze area is far from the middle as the sub white balance gain (step S26). Then, the determination unit 107 determines the adjusted sub white balance gain from the main white balance gain and the sub white balance gain (step S27). Thereafter, the white balance correction unit 109 performs multi-area white balance correction using the main white balance gain for the main region and the adjusted sub white balance gain for the sub region (step S28).
  • FIG. 11 is a flowchart showing another example of the operation of the image processing apparatus of the present embodiment.
  • a captured image is input to the image input unit 101 (step S30).
  • the white balance gain acquisition unit 105 obtains a white balance gain for each of the short-exposure captured image 163 and the long-exposure captured image 165 (step S31).
  • the region setting unit 103 divides the region in the short-exposure photographed image 163 and the long-exposure photographed image 165 based on the luminance, color, and pixel position (step S32).
  • the area setting unit 103 acquires a gaze area (step S33). The average brightness of the gaze area is calculated from each of the short-exposure photographed image 163 and the long-exposure photographed image 165 (step S34).
  • the region setting unit 103 sets the white balance gain obtained from the image having the average luminance closer to the middle as the main white balance gain (step S35). Then, the determination unit 107 determines the adjusted sub white balance gain from the main white balance gain and the sub white balance gain (step S36). Thereafter, the white balance correction unit 109 performs multi-area white balance correction with the main area as the main white balance gain and the sub area as the adjusted sub white balance gain (step S37).
  • the sub white balance gain is obtained based on the importance level. Thereby, an appropriate sub white balance gain is obtained with high accuracy.
  • FIG. 12 is a diagram illustrating a functional configuration example of the image processing unit 31 according to the present embodiment.
  • the part already demonstrated in FIG. 2 attaches
  • the image processing unit 31 includes an image input unit 101, a region setting unit 103, a white balance gain acquisition unit 105, a determination unit 107, a white balance correction unit 109, and a main / sub image determination unit 111.
  • the main / sub image determination unit 111 determines a main image and a sub image in the short-exposure captured image 163 and the long-exposure captured image 165.
  • the white balance gain acquisition unit 105 acquires the main white balance gain based on the first importance level assigned to the main region and the sub region, and acquires the sub image.
  • the secondary white balance gain is acquired, the secondary white balance gain is acquired based on the second importance level opposite to the first importance level.
  • FIG. 13 is a flowchart showing the operation of the image processing unit 31 of the present embodiment.
  • a short-exposure photographed image 163 and a long-exposure photographed image 165 are input to the image input unit 101 (step S40).
  • the gaze area is acquired by the area setting unit 103 (step S41).
  • the main / sub-image determining unit 111 calculates the average luminance of the gaze area from each of the short-exposure photographed image 163 and the long-exposure photographed image 165 (step S42).
  • the main / sub image determining unit 111 sets the average luminance of the gaze area of the short-exposure photographed image 163 and the long-exposure photographed image 165 to the median value of the luminance of the short-exposure photographed image 163 and the long-exposure photographed image 165.
  • the closer image is set as the main image (step S43).
  • the white balance gain acquisition unit 105 obtains a main white balance gain from the determined main image (step S44).
  • the white balance gain acquisition unit 105 sets the importance level for each region, and acquires the white balance gain based on the importance level. For example, the importance level is set to 2 for the gaze area, and the importance level is set to 1 for the areas other than the gaze area. Based on this importance level (first importance level), the white balance gain acquisition unit 105 determines the main white balance from the main image. Get the gain. After that, the white balance gain acquisition unit 105 acquires the importance level for each area when the main white balance gain is obtained from the main image (step S45).
  • the white balance gain acquisition unit 105 sets the importance level that is opposite to the importance level of the main image to the sub image, and obtains the sub white balance gain from the sub image (step S46). That is, in the sub image, the importance level of the gaze area is set to 1, and the importance level of the area other than the gaze area is set to 2, and the sub white balance gain is obtained from the sub image based on the importance level (second importance level). .
  • the determination unit 107 recalculates and adjusts the sub white balance gain acquired by the white balance gain acquisition unit 105 from the main white balance gain and the sub white balance gain, and calculates an adjusted sub white balance gain. (Step S47). Thereafter, the white balance correction unit 109 performs multi-area white balance correction using the main white balance gain for the main area and the adjusted sub white balance gain for the sub area (step S48).
  • FIG. 14 is a diagram illustrating a functional configuration example of the image processing unit 31 according to the present embodiment.
  • the part already demonstrated in FIG. 2 attaches
  • the image processing unit 31 of the present embodiment includes an image input unit 101, a region setting unit 103, a white balance gain acquisition unit 105, a determination unit 107, a white balance correction unit 109, and a control unit 112.
  • the control unit 112 determines whether the white balance gain acquisition unit 105 acquires the main white balance gain and the sub white balance gain, and causes the white balance gain acquisition unit 105 to execute the determination.
  • FIG. 15 is a flowchart illustrating an example of control of the white balance gain acquisition unit 105 of the control unit 112.
  • the control unit (first control unit) 112 controls the white balance gain acquisition unit 105 based on the luminance difference of the input image.
  • the control unit 112 calculates a luminance difference between the input captured images (step S50). Then, the control unit 112 determines whether or not the calculated luminance difference is greater than or equal to the threshold (step S51). If the luminance difference is greater than or equal to the threshold, the white balance gain acquisition unit 105 is informed of the main white balance gain and the secondary A plurality of white balance gains are obtained as white balance gains (step S52). On the other hand, if the luminance difference is less than the threshold value, the white balance gain acquisition unit 105 is not allowed to obtain a plurality of white balance gains of the main white balance gain and the sub white balance gain (step S53).
  • the luminance difference means a luminance difference in one photographed image or a brightness between a plurality of photographed images.
  • FIG. 16 is a flowchart illustrating an example of control of the white balance gain acquisition unit 105 of the control unit 112.
  • the control unit (second control unit) 112 selects a mode in which a short-exposure photographed image and a long-exposure photographed image are combined
  • the white balance gain acquisition unit 105 receives the main white balance gain. And a control for acquiring the sub white balance gain.
  • the control unit 112 determines whether a mode in which the short-exposure photographed image 163 and the long-exposure photographed image 165 are combined is selected (step S60). Note that this mode selection is performed, for example, by the photographer via the user interface 36 of the imaging apparatus 1. Then, when the mode to be combined is selected, the control unit 112 causes the white balance gain acquisition unit 105 to calculate the main white balance gain and the sub white balance gain (step S61). On the other hand, when the mode to be combined is not selected, the control unit 112 does not cause the white balance gain acquisition unit 105 to calculate the main white balance gain and the sub white balance gain (step S62).
  • FIG. 17 is a flowchart illustrating an example of control of the white balance gain acquisition unit 105 of the control unit 112.
  • the control unit (second control unit) 112 selects a mode in which the short-exposure captured image 163 and the long-exposure captured image 165 are combined, and the short-exposure captured image 163 and the long-exposure captured image are captured.
  • the white balance gain acquisition unit 105 is controlled based on a determination criterion that the exposure difference from the image 165 is equal to or greater than a certain threshold.
  • the control unit 112 determines whether or not a mode for combining a short-exposure photographed image and a long-exposure photographed image has been selected (step S70). When the mode to be combined is selected, the control unit 112 further determines whether a mode for photographing with an exposure difference of 2 Ev or more is selected (step S71). Then, when the mode for photographing with an exposure difference of 2 Ev or more is selected, the control unit 112 causes the white balance gain acquisition unit 105 to obtain the main white balance gain and the sub white balance gain (step S72). .
  • control unit 112 sends the main white balance gain and the sub white balance gain to the white balance gain acquisition unit 105. Are not calculated (step S73).
  • Example 1 the main white balance gain is selected based on a command from the photographer.
  • FIG. 18 is a diagram illustrating a display example of the display unit 8 of the imaging apparatus 1.
  • the display unit 8 displays the white balance gain acquired by the white balance gain acquisition unit 105 with respect to the captured image input to the image input unit 101.
  • “white balance 1 clear” (indicated by reference numeral 173) and “white balance 2 shade” (indicated by reference numeral 174) acquired by the white balance gain acquisition unit 105 are displayed on the display unit 8.
  • “white balance 1 clear” indicated by reference numeral 173
  • white balance 2 shade” indicated by reference numeral 174
  • Example 2 the main area is selected based on a command from the photographer.
  • FIG. 19 is a diagram illustrating a display example of the display unit 8 of the imaging apparatus 1.
  • the captured image input to the image input unit 101 is displayed on the display unit 8.
  • the photographer selects an area to watch with the icon 191.
  • the area to be watched by the photographer is selected as the main area, and the area setting unit 103 sets the selected area as the main area.
  • Example 3 This example is an example in which a region for adjusting the focus or exposure of a captured image is a main region.
  • FIG. 20 is a diagram illustrating a display example of the display unit 8 of the imaging apparatus 1.
  • the display unit 8 displays a photographed image (preview image) at the time of photographing.
  • the photographer moves a reference area 193 that is an area for focusing on the area being watched or an area for adjusting exposure.
  • the region setting unit 103 sets the reference region 193 or a region including the reference region 193 as a main region.
  • Example 4 the area where the face is detected is the main area.
  • FIG. 21 is a diagram showing the captured image 150.
  • a face detection area 195 is performed.
  • the area setting unit 103 sets a face detection area 195 or an area including the face detection area 195 as a main area.
  • Example 5 the main white balance gain is determined according to the luminance of the area for which the white balance gain has been obtained.
  • FIG. 22 is a flowchart showing the control for determining the main white balance gain according to the luminance value of the region by the white balance gain acquisition unit 105.
  • the white balance gain acquisition unit 105 determines the main white balance gain for the captured image 150 shown in FIG.
  • the white balance gain acquisition unit 105 calculates the average of the luminance values of the area inside the frame W and the area outside the frame W (step S80). Thereafter, the white balance gain acquisition unit 105 determines an area having an average luminance value as the median value of the luminance values of the captured image 150 among the area inside the frame W and the area outside the frame W (step S81). ). If the average luminance value in the area inside the frame W is close to the median value, the white balance gain calculated based on the area in the frame W is set as the main white balance gain (step S82). On the other hand, when the average luminance value of the area outside the frame W is close to the median value, the white balance gain calculated based on the area outside the frame W is set as the main white balance gain (step S83).
  • Example 6 the main white balance gain is determined according to the size of the area for which the white balance gain has been obtained.
  • the gain acquisition unit 105 sets the white balance gain in the area outside the frame W as the main white balance gain.
  • Imaging device 8 Display section 10: External memory 12: Lens 14: Aperture 20: Mechanical shutter 21: Image sensor 22: Process processing section 23: AD converter 24: Main memory 25: System control unit 26: Sensor drive unit 27: Shutter driving unit 28: Aperture drive unit 29: Lens drive unit 30: Control memory 31: Image processing unit 32: Compression / decompression unit 33: Storage control unit 35: Display control unit 36: User interface 101: Image input unit 103: Area setting unit 105: White balance gain acquisition unit 107: Determination unit 109: White balance correction unit 111: Main / sub image determination unit 112: Control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

自然なマルチエリアホワイトバランス補正を行うことができる画像処理装置、画像処理方法、及びプログラムを提供すること。画像処理装部（画像処理装置）３１は、撮影画像が入力される画像入力部１０１と、撮影画像における主領域と、前記主領域以外の領域である副領域とを設定する領域設定部１０３と、主領域及び副領域のホワイトバランス補正用の主ホワイトバランスゲイン及び副ホワイトバランスゲインをそれぞれ取得するホワイトバランスゲイン取得部１０５と、主ホワイトバランスゲインと副ホワイトバランスゲインとに基づいて、副ホワイトバランスゲインを調整して調整後副ホワイトバランスゲインを決定する決定部１０７と、主領域及び副領域を主ホワイトバランスゲイン及び調整後副ホワイトバランスゲインによりホワイトバランス補正を行うホワイトバランス補正部１０９と、を備える。

Description

画像処理装置、画像処理方法、及びプログラム

　本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特にホワイトバランス補正の技術に関する。

　従来より、画像を構成する画素毎又はエリア毎に、異なるホワイトバランスゲインを適用するホワイトバランス補正（マルチエリアホワイトバランス補正）が行われている。特に輝度差が大きなシーンの撮影画像に対して、マルチエリアホワイトバランス補正は好適に用いられる。輝度差が大きなシーンの撮影画像では、領域ごとに別の光環境に置かれているので、明るい領域と暗い領域で色温度が異なっている事があり、マルチエリアホワイトバランス補正は好適に用いられる。ここで輝度差の大きな撮影画像とは、例えば１枚の撮影画像内に、日陰の領域と日向の領域とが併存する撮影画像や、室内照明の領域と太陽光の領域とが併存する撮影画像などである。

　これまで、マルチエリアホワイトバランス補正に関する技術は提案されてきた。

　例えば、特許文献１では、半水面写真を撮像した場合に、水上の被写体領域に対して水上用のホワイトバランスゲインを設定し、水中の被写体領域に対応する画像領域に対して、水中用のホワイトバランスゲインを設定することが記載されている。

　また、複数の画像の各々から求められた複数のホワイトバランスゲイン間で、ホワイトバランスゲインを調整する技術が知られている。

　例えば、特許文献２では、高感度の画素から得られる色信号のホワイトバランス補正値と、低感度の画素から得られる色信号のホワイトバランス補正値と調整する技術が記載されている。

特開２０１４－１３８２１７号公報 特開２００５－８０１９０号公報

　しかしながら、特許文献１のように、撮影画像の各領域に対して独立に求められた異なるホワイトバランスゲインでマルチエリアホワイトバランス補正を行うと、人間がシーンを見た場合に脳内で作るイメージと異なり違和感が出てしまう。人間は、あるシーンを見る時には、注視した箇所の補正を強く行い、注視していない箇所の補正は注視した箇所の補正の影響に引っ張られてしまう。

　特許文献１に記載された技術では、単に水上の被写体領域及び水中の被写体領域のホワイトバランスゲインを、各領域のコントラストを検出することによりそれぞれ決定し、その決定された各ホワイトバランスゲインが各領域に適用されている。したがって、各領域のホワイトバランスゲインは相互に調整されていなく、違和感があるホワイトバランス補正が行われた画像となってしまう場合がある。

　また、特許文献２では、撮影画像の領域毎に求まるホワイトバランスゲインの調整に関しては言及されていない。すなわち、マルチエリアホワイトバランス補正を行う場合のホワイトバランスの調整に関しては言及されていない。

　上記目的を達成するために、本発明の一の態様である画像処理装置は、撮影画像が入力される画像入力部と、撮影画像における主領域と、主領域以外の領域である副領域とを設定する領域設定部と、主領域及び副領域のホワイトバランス補正用の主ホワイトバランスゲイン及び副ホワイトバランスゲインをそれぞれ取得するホワイトバランスゲイン取得部と、主ホワイトバランスゲインと副ホワイトバランスゲインとに基づいて、副ホワイトバランスゲインを調整した調整後副ホワイトバランスゲインを決定する決定部と、主領域及び副領域を主ホワイトバランスゲイン及び調整後副ホワイトバランスゲインによりホワイトバランス補正を行うホワイトバランス補正部と、を備える。

　本態様によれば、撮影画像において主領域と副領域とが設定され、主領域の主ホワイトバランスゲインと副領域の副ホワイトバランスゲインとに基づいて、副ホワイトバランスゲインが決定される。そして、主領域は主ホワイトバランスゲインにより、副領域は調整後副ホワイトバランスゲインによりホワイトバランス補正が行われるので、自然なマルチエリアホワイトバランス補正を行うことができる。

　好ましくは、画像入力部に入力される撮影画像の輝度差に基づいて、ホワイトバランスゲイン取得部に主ホワイトバランスゲイン及び副ホワイトバランスゲインを取得させる制御を行う第１の制御部を備える。

　本態様によれば、ホワイトバランスゲイン取得部に必要に応じて、主ホワイトバランスゲインと副ホワイトバランスゲインとを取得させることができ、効率的なマルチエリアホワイトバランス補正を行うことができる。

　好ましくは、第１の制御部は、撮影画像の輝度差が閾値以上である場合に、ホワイトバランスゲイン取得部に主ホワイトバランスゲイン及び副ホワイトバランスゲインを取得させる。

　本態様によれば、ホワイトバランスゲイン取得部に必要に応じて、主ホワイトバランスゲインと副ホワイトバランスゲインとを取得させることができ、効率的なマルチエリアホワイトバランス補正を行うことができる。

　好ましくは、第１の制御部は、ホワイトバランスゲイン取得部に、操作部から入力される指令に基づいて、主ホワイトバランスゲインと副ホワイトバランスゲインとを取得させる。

　本態様によれば、操作部から入力される指令に基づいて、主ホワイトバランスゲイン及び副ホワイトバランスゲインが取得されるので、撮影者の意図が反映されたマルチエリアホワイトバランス補正を行うことができる。

　好ましくは、領域設定部は、撮影画像のフォーカス又は露出を調整する領域を主領域とする。

　本態様によれば、撮影画像のフォーカス又は露出を調整する領域が主領域とされるので、撮影者の意図が反映されたマルチエリアホワイトバランス補正を行うことができる。

　好ましくは、ホワイトバランスゲイン取得部は、ホワイトバランスゲインを求めた領域の大きさ、又はホワイトバランスゲインを求めた領域の輝度に応じて、取得したホワイトバランスゲインを主ホワイトバランスゲイン及び副ホワイトバランスゲインとする。

　本態様によれば、主ホワイトバランスゲインが、ホワイトバランスゲインを求めた領域の大きさ、又はホワイトバランスゲインを求めた領域の輝度により決定されるので、撮影画像のシーンに応じた適切なマルチエリアホワイトバランス補正を行うことができる。

　好ましくは、決定部は、主ホワイトバランスゲインと、主ホワイトバランスゲイン及び副ホワイトバランスゲインに応じて決定される調整閾値とに基づいて、調整後副ホワイトバランスゲインを決定する。

　本態様によれば、主ホワイトバランスゲインと決定される調整閾値とに基づいて、調整後副ホワイトバランスゲインが決定されるので、シーンに応じて調整閾値を決定することにより、ホワイトバランス補正を適切に行うことができる。

　好ましくは、決定部は、主ホワイトバランスゲインと、撮影画像の輝度差に応じて決定される調整閾値とに基づいて、調整後副ホワイトバランスゲインを決定する。

　本態様によれば、主ホワイトバランスゲインと、撮影画像の輝度差に応じて決定される調整閾値とに基づいて、調整後副ホワイトバランスゲインが決定されるので、撮影画像の輝度差に応じて、副ホワイトバランスゲインが調整され、自然なマルチエリアホワイトバランス補正が適切に行われる。

　好ましくは、ホワイトバランスゲイン取得部は、主領域の画素値に基づいて主ホワイトバランスゲインを取得し、副領域の画素値に基づいて副ホワイトバランスゲインを取得する。

　本態様によれば、主領域の画素値及び副領域の画素値に基づいて、それぞれ主ホワイトバランスゲイン及び副ホワイトバランスゲインが取得されるので、撮影画像のシーンに応じたマルチエリアホワイトバランス補正が行われる。

　好ましくは、画像入力部には、短露光の撮影画像と長露光の撮影画像とが入力され、領域設定部は、短露光の撮影画像及び長露光の撮影画像のどちらか一方の領域を主領域として設定し、他方の領域を副領域と設定する。

　本態様によれば、短露光の撮影画像と長露光の撮影画像とからハイダイナミックレンジ合成画像を生成する場合においても、自然なマルチエリアホワイトバランス補正を行うことができる。

　好ましくは、画像処理装置は、短露光の撮影画像と長露光の撮影画像とが入力され、短露光の撮影画像と長露光の撮影画像とが合成されるモードが選択された場合に、ホワイトバランスゲイン取得部に主ホワイトバランスゲイン及び副ホワイトバランスゲインを取得させる制御を行う第２の制御部を備える。

　本態様によれば、ホワイトバランスゲイン取得部に必要に応じて、主ホワイトバランスゲインと副ホワイトバランスゲインとを取得させることができ、効率的なマルチエリアホワイトバランス補正を行うことができる。

　好ましくは、第２の制御部は、短露光の撮影画像と長露光の撮影画像との露出が閾値以上である場合に、ホワイトバランスゲイン取得部に主ホワイトバランスゲイン及び副ホワイトバランスゲインを取得させる制御を行う。

　本態様によれば、ホワイトバランスゲイン取得部に必要に応じて、主ホワイトバランスゲインと副ホワイトバランスゲインとを取得させることができ、効率的なマルチエリアホワイトバランス補正を行うことができる。

　好ましくは、決定部は、主ホワイトバランスゲインと、画像入力部に入力される短露光の撮影画像と長露光の撮影画像との露出差から決定される調整閾値とに基づいて、調整後副ホワイトバランスゲインを決定する。

　本態様によれば、決定部により、主ホワイトバランスゲインと、画像入力部に入力される短露光の撮影画像と長露光の撮影画像との露出差から決定される調整閾値とに基づいて、調整後副ホワイトバランスゲインが決定されるので、自然なマルチエリアホワイトバランス補正を行うことができる。

　好ましくは、ホワイトバランスゲイン取得部は、主領域を有する短露光の撮影画像又は長露光の撮影画像に基づいて、主ホワイトバランスゲインを取得し、副領域を有する短露光の撮影画像又は長露光の撮影画像に基づいて、副ホワイトバランスゲインを取得する。

　本態様によれば、主ホワイトバランスゲイン及び副ホワイトバランスゲインが撮影画像に基づいて算出されるので、より適切なホワイトバランスゲインが取得され、自然なマルチエリアホワイトバランス補正が行われる。

　好ましくは、短露光の撮影画像及び長露光の撮影画像において、主画像と副画像を決定する主副画像決定部を備え、ホワイトバランスゲイン取得部は、主画像の主ホワイトバランスゲインを取得する場合には、主領域及び副領域に付与される第１の重視度に基づいて、主ホワイトバランスゲインを取得し、副画像の副ホワイトバランスゲインを取得する場合には、第１の重視度の逆の第２の重視度に基づいて、副ホワイトバランスゲインを取得する。

　本態様によれば、主ホワイトバランスゲインを求めた第１の重視度の逆の第２の重視度に基づいて、副ホワイトバランスゲインが算出されるので、適切な副ホワイトバランスゲインを精度良く求めることができる。

　本発明の他の態様である画像処理方法は、撮影画像が入力されるステップと、撮影画像における主領域と、主領域以外の領域である副領域とを設定するステップと、主領域及び副領域のホワイトバランス補正用の主ホワイトバランスゲイン及び副ホワイトバランスゲインをそれぞれ取得するステップと、主ホワイトバランスゲインと副ホワイトバランスゲインとに基づいて、副ホワイトバランスゲインを調整した調整後副ホワイトバランスゲインを決定するステップと、主領域及び副領域を主ホワイトバランスゲイン及び調整後副ホワイトバランスゲインによりホワイトバランス補正を行うステップと、を含む。

　本発明の他の態様であるプログラムは、撮影画像が入力されるステップと、撮影画像における主領域と、主領域以外の領域である副領域とを設定するステップと、主領域及び副領域のホワイトバランス補正用の主ホワイトバランスゲイン及び副ホワイトバランスゲインをそれぞれ取得するステップと、主ホワイトバランスゲインと副ホワイトバランスゲインとに基づいて、副ホワイトバランスゲインを調整した調整後副ホワイトバランスゲインを決定するステップと、主領域及び副領域を主ホワイトバランスゲイン及び調整後副ホワイトバランスゲインによりホワイトバランス補正を行うステップと、を含む画像処理方法をコンピュータに実行させる。

　本発明によれば、撮影画像において主領域と副領域が設定され、主領域の主ホワイトバランスゲインと副領域の副ホワイトバランスゲインとに基づいて、調整後副ホワイトバランスゲインが決定され、主領域は主ホワイトバランスゲインにより、副領域は調整後副ホワイトバランスゲインによりホワイトバランス補正が行われるので、自然なマルチエリアホワイトバランス補正を行うことができる。

図１は、撮像装置の制御処理系を示すブロック図である。 図２は、画像処理部の機能構成例を示す図である。 図３は、撮影画像の一例を示す図である。 図４は、主領域及び副領域の設定の一例を示す図である。 図５は、副ホワイトバランスゲインの調整例に関して説明する図である。 図６は、画像処理部の動作を示すフロー図である。 図７は、長露光の撮影画像と短露光の撮影画像とを示す図である。 図８は、領域設定部により領域が主領域と副領域を設定されることを説明する図である。 図９は、短露光の撮影画像及び長露光の撮影画像の色度点分布の図である。 図１０は、画像処理部の動作の一例を示すフロー図である。 図１１は、画像処理部の動作の一例を示すフロー図である。 図１２は、画像処理部の機能構成例を示す図である。 図１３は、画像処理部の動作を示すフロー図である。 図１４は、画像処理部の機能構成例を示す図である。 図１５は、制御部の制御の一例を示すフロー図である。 図１６は、制御部の制御の一例を示すフロー図である。 図１７は、制御部の制御の一例を示すフロー図である。 図１８は、撮像装置の表示部の表示例を示す図である。 図１９は、撮像装置の表示部の表示例を示す図である。 図２０は、撮像装置の表示部の表示例を示す図である。 図２１は、撮像画像を示す図である。 図２２は、領域の輝度値に応じて主ホワイトバランスゲインを決定する制御に関して示すフロー図である。

　以下、添付図面に従って本発明にかかる画像処理装置、画像処理方法、及びプログラムの好ましい実施の形態について説明する。

　図１は、本発明の画像処理装置（画像処理部３１）を搭載する撮像装置１の制御処理系を示すブロック図である。

　被写体光は、レンズ１２、絞り１４、メカニカルシャッタ２０を通過し、撮像素子２１によって受光される。レンズ１２は、撮像レンズおよび絞り１４を含む撮像光学系によって構成される。

　撮像素子２１は、被写体像を受光して撮像信号（画像データ）を生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Automatic Gain Control）回路等によってプロセス処理が施され、その後、ＡＤ（Analog Digital)変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはメインメモリ２４に保存される。

　メインメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成される。ＡＤ変換部２３から送られてきてメインメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理部３１によって読み出される。

　画像処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ホワイトバランス補正、ガンマ補正処理およびデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びメインメモリ２４に保存する。なお、画像処理部３１で行われるホワイトバランス補正に関しては後で詳しく説明をする。

　画像処理部３１において画像処理が施されてメインメモリ２４に保存された画像データは、表示制御部３５および圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、メインメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた画像データは、撮像確認画像（ポストビュー画像）として表示部８に表示される。

　一方、圧縮伸張部３２は、メインメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ(Joint Photographic Experts Group)やＴＩＦＦ(Tagged Image File Format)等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、外部メモリ１０へのデータ記憶処理および外部メモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、外部メモリ１０に記憶される。撮像情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ(Exchangeable image file format)形式を採用可能である。

　撮像装置１のＡＦ処理機能は、シャッタボタンの第１段階の押下（半押し）があると、半押し時に取り込まれるＡＦエリアに対応する画像データの高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をシステム制御部２５に出力する。

　ＡＥ検出機能は、シャッタボタンの第１段階の押下（半押し）があると、画面全体に対応するデジタル信号を積算し、または画面中央部と周辺部とで異なる重みづけをした画像データを積算し、その積算値をシステム制御部２５に出力する。

　システム制御部２５は、上述のようにメインメモリ２４、画像処理部３１および記憶制御部３３をコントロールするが、撮像装置１における他の各部（ＡＦ処理機能、ＡＥ検出機能）もコントロールする。

　システム制御部２５は、オート撮影モード時にシャッタボタンが半押しされると、ＡＥ検出機能を動作させる。ＡＥ検出機能により入力される積算値より被写体輝度（撮像Ｅｖ値）を算出し、この撮像Ｅｖ値に基づいて絞り駆動部２８を介して絞り１４の絞り値およびシャッタ速度（メカニカルシャッタ２０および／または撮像素子２１の電荷蓄積時間）をプログラム線図にしたがって決定する。

　シャッタボタンが全押しされると、決定した絞り値に基づいて絞り１４を制御するとともに、決定したシャッタ速度に基づいてシャッタ駆動部２７を介してメカニカルシャッタ２０を制御する。なお、撮像素子２１の電荷蓄積時間は、センサ駆動部２６により制御される。

　システム制御部２５は、オート撮影モード時にシャッタボタンが半押しされると、レンズ駆動部２９を介してレンズ１２のフォーカスレンズを至近から無限遠側に移動させるとともに、ＡＦ処理機能を動作させて各レンズ位置におけるＡＦ評価値をＡＦ処理機能から取得する。そして、ＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体への焦点調節を行う。システム制御部２５は、フォーカスレンズの移動位置に基づいて合焦位置に関する情報を取得する。

　またシステム制御部２５は、シャッタボタン、電源スイッチおよび操作部を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理およびデバイス制御を行う。

　システム制御部２５で行われる各種の処理およびデバイス制御に必要なプログラムやデータ類は、メインメモリ２４に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また、新たなプログラムやデータ類を制御メモリ３０に保存することができる。

　＜第１の実施形態＞

　図２は、第１の実施形態の画像処理部（画像処理装置）３１の機能構成例を示す図である。

　画像処理部３１は、画像入力部１０１、領域設定部１０３、ホワイトバランスゲイン取得部１０５、決定部１０７、及びホワイトバランス補正部１０９を備える。

　画像入力部１０１には、撮影画像が入力される。画像入力部１０１には、例えば輝度差が大きなシーンの撮影画像が入力される。

　図３は、画像入力部１０１に入力される撮影画像の一例を示す図である。撮影画像１５０は、逆行のシーンを撮影した撮影画像である。人物１５１と背景１５２の領域では輝度差が大きく、それぞれ別の光環境となっている。すなわち、人物１５１は暗い領域であり、背景１５２は明るい領域であり、異なる色温度の領域となっている。なお、他に輝度差が大きいシーンとしては、日陰の領域及び日向の領域、室内照明の領域及び太陽光の領域が併存するシーンが挙げられる。本形態では、このように輝度差が大きな撮影画像に対して、自然なマルチエリアホワイトバランス補正を行うことができる。

　領域設定部１０３は、撮影画像１５０において、主領域と、主領域以外の領域である副領域とを設定する。主領域は、撮影画像１５０において撮影者が注視している領域である。このように、撮影者が注視している領域を主領域として、後で説明するマルチエリアホワイトバランス補正を行うことにより、人間がシーンを見る時と同様に、注視した箇所の補正が強く、他の箇所の補正は注視した箇所の補正に影響される自然な補正を行うことができる。

　図４は、図３の撮影画像１５０における主領域及び副領域の設定の一例を示す図である。

　領域設定部１０３は、先ず撮影画像１５０を縦８分割、横８分割（８×８）に分割し、その分割された領域における平均の色、輝度、又は分割された領域の画角内の位置の情報に基づいて、複数の領域に分ける設定を行う。例えば領域設定部１０３は、輝度に基づいて領域を分割する場合には、撮影画像１５０では、逆光によって人物１５１は暗い領域に属し、背景１５２は明るい領域に属する。そして例えば領域設定部１０３は、撮影画像１５０の領域を、輝度に基づいて枠Ｗの内側の領域と、枠Ｗの外側の領域とに分割する。例えば領域設定部１０３は、枠Ｗの内側の領域に撮影者の注視領域が含まれる場合には、枠Ｗの内側の領域を主領域として、枠Ｗの外側の領域を副領域とする。なお、本例では撮影画像１５０を８×８に分割して、主領域及び副領域の設定を行ったがこれに限定されるものではない。領域設定部１０３は、画素毎に主領域及び副領域の設定を行ってもよいし、他の数で分割して主領域及び副領域の設定を行ってもよい。

　ホワイトバランスゲイン取得部１０５は、主領域及び副領域のホワイトバランス補正用の主ホワイトバランスゲイン及び副ホワイトバランスゲインをそれぞれ取得する。主ホワイトバランスゲイン及び副ホワイトバランスゲインは様々な手法により、ホワイトバランスゲインを取得することができる。例えば、ホワイトバランスゲイン取得部１０５は、主領域の画素値に基づいて、主ホワイトバランスゲインを取得し、副領域の画素値に基づいて、副ホワイトバランスゲインを取得する。

　決定部１０７は、主ホワイトバランスゲインと副ホワイトバランスゲインとに基づいて、副ホワイトバランスゲインを調整した調整後副ホワイトバランスゲインを決定する。決定部１０７は、副ホワイトバランスゲインを主ホワイトバランスゲインの影響を受けるように調整を行い調整後副ホワイトバランスゲインを決定する。

　図５は、決定部１０７が行う副ホワイトバランスゲインの調整例に関して説明する図である。図５では縦軸が青色（Blue）のゲインを示し、横軸が赤色（Red）のゲインを示す。また、ホワイトバランスゲイン取得部１０５で取得された撮影画像１５０の主ホワイトバランスゲインをＭＧで示し、副ホワイトバランスゲインをＳＧで示す。さらに、決定部１０７で調整された調整後副ホワイトバランスゲインをＲ－ＳＧで示す。

　決定部１０７は、調整閾値Ｒ－ＴＨを決定し、調整閾値Ｒ－ＴＨ以内の主ホワイトバランスゲインＭＧ側になるように副ホワイトバランスゲインＳＧを調整する。例えば、調整閾値Ｒ－ＴＨ以内になるように、以下に示す式でａを設定することにより、調整後副ホワイトバランスゲインＲ－ＳＧを算出する。ここで図５では、調整閾値Ｒ－ＴＨは、円により図示されている。

Figure JPOXMLDOC01-appb-M000001

　なお、上式では、Ｒ－ＳＧ_Ｇｒ、は赤色の調整後副ホワイトバランスゲインを示し、Ｒ－ＳＧ_Ｇｂ、は青色の調整後副ホワイトバランスゲインを示す。ＭＧ_Ｇｒ、は赤色の主ホワイトバランスゲインを示し、ＭＧ_Ｇｂ、は青色の主ホワイトバランスゲインを示す。ＳＧ_Ｇｒ、は赤色の副ホワイトバランスゲインを示し、ＳＧ_Ｇｂ、は青色の副ホワイトバランスゲインを示す。ａは、Ｒ－ＳＧ_Ｇｒ及びＲ－ＳＧ_Ｇｂが調整閾値以内に収まるように設定された数値である。

　例えばａは、主ホワイトバランスゲインＭＧと副ホワイトバランスゲインＳＧとが遠い程、ａの値は小さくなる。

　また決定部１０７は、主ホワイトバランスゲインＭＧと副ホワイトバランスゲインＳＧとの関係から調整閾値Ｒ－ＴＨを決める。また決定部１０７は、画像入力部１０１に入力される撮影画像の輝度差に応じて、調整閾値Ｒ－ＴＨを決める。さらに決定部１０７は、第２の実施形態で説明する、露出の異なる複数の撮影画像（短露光の撮影画像及び長露光の撮影画像）が入力される場合には、複数の撮影画像間の露出差に基づいて、調整閾値Ｒ－ＴＨを決めてもよい。

　図６は、本実施形態の画像処理部３１の動作を示す（画像処理方法に相当）フロー図である。

　先ず、画像入力部１０１に撮影画像１５０が入力される（ステップＳ１０）。その後、領域設定部１０３により、輝度、色、又は／及び画素位置に基づいて、領域が分割され（ステップＳ１１）、領域設定部１０３により、注視領域も取得される（ステップＳ１２）。この場合、注視領域を含む領域が主領域であり、その他の領域が副領域である。そして、ホワイトバランスゲイン取得部１０５により、主ホワイトバランスゲイン及び副ホワイトバランスゲインが取得される（ステップＳ１３）。その後、決定部１０７により、副ホワイトバランスゲインを主ホワイトバランスゲインと副ホワイトバランスゲインとから再計算を行い、調整後副ホワイトバランスゲインが決定される（ステップＳ１４）。その後、ホワイトバランス補正部１０９により、主領域は主ホワイトバランスゲインにより、副領域は調整後副ホワイトバランスゲインにより、マルチエリアホワイトバランス補正が行われる（ステップＳ１５）。

　以上のように、主領域の主ホワイトバランスゲインと副領域の副ホワイトバランスゲインとに基づいて、調整後副ホワイトバランスゲインが決定され、主領域は主ホワイトバランスゲインにより、副領域は調整後副ホワイトバランスゲインによりホワイトバランス補正が行われるので、自然なマルチエリアホワイトバランス補正を行うことができる。

　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

　＜第２の実施形態＞

　次に、第２の実施形態に関して説明する。本実施形態では、画像入力部１０１に、短時間の露光で取得された短露光の撮影画像と、長時間の露光で取得された長露光の撮影画像とが入力される。本実施形態は、短露光の撮影画像と長露光の撮影画像とを合成して、ハイダイナミックレンジ（ＨＤＲ：High Dynamic Range）合成画像を取得する場合に好適に用いられる。

　図７は、画像入力部１０１に入力される長露光の撮影画像と短露光の撮影画像とを示す図である。短露光の撮影画像１６３及び長露光の撮影画像１６５は、図３と同様のシーンが撮影されている。

　図８は、領域設定部１０３により、主領域及び副領域が設定されることを説明する図である。図４で説明した手法と同様の手法により、枠Ｗの内側の領域と枠Ｗの外側の領域とに分割する。そして領域設定部１０３は、短露光の撮影画像１６３及び長露光の撮影画像１６５のどちらか一方の領域を主領域として設定し、他方の領域を副領域と設定する。例えば、領域設定部１０３は、短露光の撮影画像１６３のある領域を主領域とした場合には、長露光の撮影画像１６５のある領域に対応する領域以外の領域を副領域とする。

　領域設定部１０３は、注視領域が枠Ｗの内側の領域である場合に、短露光の撮影画像１６３及び長露光の撮影画像１６５の枠Ｗの内側の領域の特徴により、主領域を設定する。例えば、領域設定部１０３は、枠Ｗの内側の領域の輝度が所定の範囲の撮影画像、枠Ｗの内側の領域の彩度が高い方の撮影画像、枠Ｗの領域のコントラストが高い方の撮影画像における枠Ｗの内側の領域を主領域として設定する。

　図９は、図８の短露光の撮影画像１６３及び長露光の撮影画像１６５の色度点分布の図である。図９（Ａ）には、短露光の撮影画像１６３の色度点分布が示されており、図９（Ｂ）には、長露光の撮影画像１６５の色度点分布が示されている。なお、図９（Ａ）及び（Ｂ）では、縦軸ではＢ（青）／Ｇ（緑）の値が示されており、横軸ではＲ（赤）／Ｇ（緑）の値が示されている。

　短露光の撮影画像１６３において、枠Ｗ内の画素の積算値１８１は、黒つぶれが発生しており、積算値が暗すぎるのでＳＮ（signal-noise）比が悪く値が散らばる。一方、枠Ｗ外の画素の積算値１８３は、枠Ｗ外の画素の積算値１８３は、枠Ｗ内の画素の積算値１８１を無視することができるので、適切な値を示す。

　長露光の撮影画像１６５において、枠Ｗ内の画素の積算値１８５は、ある一定の領域に集まっており正しい値を示している。一方で、枠Ｗ外の画素の積算値１８７は、白とび（飽和）しているので、色度点が異常に一箇所に集中してしまう。

　このような場合、長露光の撮影画像１６５の枠Ｗ内の領域を主領域とし、短露光の撮影画像１６３の枠Ｗ外の領域を副領域として、主ホワイトバランスゲインと調整後副ホワイトバランスゲインとを求め、マルチエリアホワイトバランス補正を行うことにより、違和感のないＨＤＲ合成画像を得ることができる。

　図１０は、本実施形態の画像処理部３１の動作の一例を示すフロー図である。

　先ず、画像入力部１０１に撮影画像が入力される（ステップＳ２０）。その後、領域設定部１０３により、輝度、色、画素位置に基づいて、短露光の撮影画像１６３、及び長露光の撮影画像１６５の領域が分割され（ステップＳ２１）、領域設定部１０３により注視領域が取得されて（ステップＳ２２）、主領域及び副領域が設定される。その後、ホワイトバランスゲイン取得部１０５は、領域ごとにホワイトバランスゲインを取得する（ステップＳ２３）。次に、ホワイトバランスゲイン取得部１０５は、注視領域の平均輝度を短露光の撮影画像１６３、長露光の撮影画像１６５のそれぞれから算出する（ステップＳ２４）。注視領域の平均輝度が中間に近い方の画像の注視領域から求められたホワイトバランスゲインを主ホワイトバランスゲインとする（ステップＳ２５）。また、ホワイトバランスゲイン取得部１０５は、注視領域の平均輝度が中間から遠い方の画像の注視領域以外の領域から求められたホワイトバランスゲインを副ホワイトバランスゲインとする（ステップＳ２６）。そして、決定部１０７は、主ホワイトバランスゲインと副ホワイトバランスゲインとから調整後副ホワイトバランスゲインを決定する（ステップＳ２７）。その後、ホワイトバランス補正部１０９により、主領域は主ホワイトバランスゲインにより、副領域は調整後副ホワイトバランスゲインにより、マルチエリアホワイトバランス補正を行う（ステップＳ２８）。

　図１１は、本実施形態の画像処理装置の動作の他の例を示すフロー図である。

　先ず、画像入力部１０１に撮影画像が入力される（ステップＳ３０）。その後、ホワイトバランスゲイン取得部１０５は、短露光の撮影画像１６３及び長露光の撮影画像１６５のそれぞれに、画像ごとにホワイトバランスゲインを求める（ステップＳ３１）。次に、領域設定部１０３は、短露光の撮影画像１６３及び長露光の撮影画像１６５において、輝度、色、画素位置に基づいて領域が分割される（ステップＳ３２）。その後、領域設定部１０３は注視領域を取得する（ステップＳ３３）。注視領域の平均輝度を短露光の撮影画像１６３及び長露光の撮影画像１６５それぞれから算出する（ステップＳ３４）。領域設定部１０３は平均輝度が中間に近い方の画像から求められたホワイトバランスゲインを主ホワイトバランスゲインとする（ステップＳ３５）。そして、決定部１０７により、主ホワイトバランスゲインと副ホワイトバランスゲインとから調整後副ホワイトバランスゲインが決定される（ステップＳ３６）。その後、そして、ホワイトバランス補正部１０９により、主領域は主ホワイトバランスゲインで、副領域は調整後副ホワイトバランスゲインで、マルチエリアホワイトバランス補正が行われる（ステップＳ３７）。

　＜第３の実施形態＞

　次に、第３の実施形態に関して説明する。本実施形態では、重視度に基づいて副ホワイトバランスゲインが求められる。これにより、適切な副ホワイトバランスゲインが精度良く求められる。

　図１２は、本実施形態の画像処理部３１の機能構成例を示す図である。なお、図２で既に説明を行った箇所は、同じ符号を付し説明を省略する。

　画像処理部３１は、画像入力部１０１、領域設定部１０３、ホワイトバランスゲイン取得部１０５、決定部１０７、ホワイトバランス補正部１０９、及び主副画像決定部１１１を備える。

　主副画像決定部１１１は、短露光の撮影画像１６３及び長露光の撮影画像１６５において、主画像と副画像とを決定する。

　ホワイトバランスゲイン取得部１０５は、主画像の主ホワイトバランスゲインを取得する場合には、主領域及び副領域に付与される第１の重視度に基づいて、主ホワイトバランスゲインを取得し、副画像の副ホワイトバランスゲインを取得する場合には、第１の重視度の逆の第２の重視度に基づいて、副ホワイトバランスゲインを取得する。

　図１３は、本実施形態の画像処理部３１の動作を示すフロー図である。

　先ず、画像入力部１０１に、短露光の撮影画像１６３及び長露光の撮影画像１６５が入力される（ステップＳ４０）。その後、領域設定部１０３により、注視領域が取得される（ステップＳ４１）。その後、主副画像決定部１１１により、注視領域の平均輝度を短露光の撮影画像１６３及び長露光の撮影画像１６５のそれぞれから算出する（ステップＳ４２）。そして、主副画像決定部１１１により、短露光の撮影画像１６３及び長露光の撮影画像１６５の注視領域の平均輝度が、短露光の撮影画像１６３及び長露光の撮影画像１６５の輝度の中央値に近い方の画像を主画像とする（ステップＳ４３）。そして、ホワイトバランスゲイン取得部１０５は、決定された主画像から主ホワイトバランスゲインを求める（ステップＳ４４）。この際、ホワイトバランスゲイン取得部１０５は、各領域に重視度を設定し、その重視度に基づいてホワイトバランスゲインを取得する。例えば、注視領域は重視度を２とし、注視領域以外の領域は重視度を１として、この重視度（第１の重視度）に基づいて、ホワイトバランスゲイン取得部１０５は主画像から主ホワイトバランスゲインを取得する。その後、ホワイトバランスゲイン取得部１０５は、主画像にて主ホワイトバランスゲインを求めた時の領域ごとの重視度を取得する（ステップＳ４５）。そして、ホワイトバランスゲイン取得部１０５は、主画像の重視度の逆になる重視度を副画像に設定し、副画像から副ホワイトバランスゲインを求める（ステップＳ４６）。すなわち、副画像において、注視領域の重視度を１とし、注視領域以外の領域の重視度を２として、この重視度（第２の重視度）に基づいて、副画像から副ホワイトバランスゲインを求める。次に、決定部１０７は、ホワイトバランスゲイン取得部１０５で取得された副ホワイトバランスゲインを、主ホワイトバランスゲイン及び副ホワイトバランスゲインから再計算を行い調整し、調整後副ホワイトバランスゲインを算出する（ステップＳ４７）。その後、ホワイトバランス補正部１０９により、主領域は主ホワイトバランスゲインにより、副領域は調整後副ホワイトバランスゲインにより、マルチエリアホワイトバランス補正を行う（ステップＳ４８）。

　＜第４の実施形態＞

　次に、第４の実施形態に関して説明する。本実施形態では、制御部１１２（図１４）により、ホワイトバランスゲイン取得部１０５の主ホワイトバランスゲイン及び副ホワイトバランスゲインの取得が制御される。なお、制御部１１２は、第１の制御部及び第２の制御部の機能を有する。

　図１４は、本実施形態の画像処理部３１の機能構成例を示す図である。なお、図２で既に説明を行った箇所は同じ符号を付し説明を省略する。

　本実施形態の画像処理部３１は、画像入力部１０１、領域設定部１０３、ホワイトバランスゲイン取得部１０５、決定部１０７、ホワイトバランス補正部１０９、及び制御部１１２を備える。

　制御部１１２は、ホワイトバランスゲイン取得部１０５に主ホワイトバランスゲイン及び副ホワイトバランスゲインを取得させるか否かを判断し、ホワイトバランスゲイン取得部１０５に実行させる。

　図１５は、制御部１１２のホワイトバランスゲイン取得部１０５の制御の一例を示すフロー図である。本例では、制御部（第１の制御部）１１２が入力画像の輝度差に基づいて、ホワイトバランスゲイン取得部１０５を制御する。

　先ず、制御部１１２は入力された撮影画像の輝度差を算出する（ステップＳ５０）。そして、制御部１１２は算出された輝度差が閾値以上であるか否か判定し（ステップＳ５１）、輝度差が閾値以上である場合には、ホワイトバランスゲイン取得部１０５に主ホワイトバランスゲイン及び副ホワイトバランスゲインの複数のホワイトバランスゲインを求めさせる（ステップＳ５２）。一方、輝度差が閾値未満である場合には、ホワイトバランスゲイン取得部１０５に主ホワイトバランスゲイン及び副ホワイトバランスゲインの複数のホワイトバランスゲインを求めさせない（ステップＳ５３）。なお、ここでいう輝度差とは、１枚の撮影画像における輝度差のこと、又は複数の撮影画像間での輝度を意味する。

　図１６は、制御部１１２のホワイトバランスゲイン取得部１０５の制御の一例を示すフロー図である。本例では、制御部（第２の制御部）１１２が短露光の撮影画像と長露光の撮影画像とが合成されるモードが選択された場合に、ホワイトバランスゲイン取得部１０５に主ホワイトバランスゲイン及び副ホワイトバランスゲインを取得させる制御を行う。

　制御部１１２は、短露光の撮影画像１６３と長露光の撮影画像１６５とが合成されるモードが選択されたかを判定する（ステップＳ６０）。なお、このモード選択は、例えば撮影者により撮像装置１のユーザインタフェース３６を介して行われる。そして、制御部１１２は、合成されるモードが選択される場合には、ホワイトバランスゲイン取得部１０５に、主ホワイトバランスゲインと副ホワイトバランスゲインとを算出させる（ステップＳ６１）。一方、制御部１１２は、合成されるモードが選択されていない場合には、ホワイトバランスゲイン取得部１０５に、主ホワイトバランスゲインと副ホワイトバランスゲインとを算出させない（ステップＳ６２）。

　図１７は、制御部１１２のホワイトバランスゲイン取得部１０５の制御の一例を示すフロー図である。図１７は、制御部（第２の制御部）１１２が短露光の撮影画像１６３と長露光の撮影画像１６５とが合成されるモードが選択され、且つ短露光の撮影画像１６３と長露光の撮影画像１６５との露出差がある閾値以上であることを判断基準に、ホワイトバランスゲイン取得部１０５を制御する。

　制御部１１２は、短露光の撮影画像と長露光の撮影画像とが合成されるモードが選択されたかを判定し、（ステップＳ７０）。合成されるモードが選択された場合には、さらに制御部１１２は露出差２Ｅｖ以上で撮影されるモードが選択されているか判定する（ステップＳ７１）。そして、制御部１１２は、露出差２Ｅｖ以上で撮影されるモードが選択されている場合には、ホワイトバランスゲイン取得部１０５に、主ホワイトバランスゲインと副ホワイトバランスゲインとを求めさせる（ステップＳ７２）。一方、制御部１１２は、合成されるモードが選択されていない場合、又は露出差２Ｅｖ以上の撮影が行われない場合には、ホワイトバランスゲイン取得部１０５に、主ホワイトバランスゲインと副ホワイトバランスゲインとを算出させない（ステップＳ７３）。

　＜主又は副ホワイトバランスゲイン、及び主又は副領域の決定例＞

　次に、主ホワイトバランスゲイン及び副ホワイトバランスゲインの決定、及び、主領域及び副領域の決定に関して説明する。上述で説明した以外の形態でも、主ホワイトバランスゲイン及び副ホワイトバランスゲインの決定、及び、主領域及び副領域の決定は行われる。

　≪例１≫

　本例は、撮影者からの指令に基づいて、主ホワイトバランスゲインが選択される例である。

　図１８は、撮像装置１の表示部８の表示例を示す図である。表示部８には、画像入力部１０１に入力された撮影画像に対して、ホワイトバランスゲイン取得部１０５で取得されたホワイトバランスゲインが表示されている。図１８に示した場合では、ホワイトバランスゲイン取得部１０５により取得された、「ホワイトバランス１晴れ」（符号１７３で示す）と「ホワイトバランス２日陰」（符号１７４で示す）が表示部８に表示されている。撮影者は、撮影画像において、晴れの領域を注視しているので、「ホワイトバランス１晴れ」を選択する。これにより、「ホワイトバランス１晴れ」が主ホワイトバランスゲインとなる。

　≪例２≫

　本例は、撮影者からの指令に基づいて、主領域が選択される例である。

　図１９は、撮像装置１の表示部８の表示例を示す図である。表示部８には、画像入力部１０１に入力された撮影画像が表示される。そして、撮影者はアイコン１９１で注視する領域を選択する。これにより、撮影者が注視する領域が主領域として選択され、領域設定部１０３は選択された領域を主領域として設定する。

　≪例３≫

　本例は、撮影画像のフォーカス又は露出を調整する領域を主領域とする例である。

　図２０は、撮像装置１の表示部８の表示例を示す図である。表示部８には、撮影時の撮影画像（プレビュー画像）が表示されている。撮影者は撮影時に、注視している領域にフォーカスを合わせるための領域又は露出調整を行うため領域である基準領域１９３を移動させる。この場合、領域設定部１０３は、基準領域１９３又は基準領域１９３を含む領域を主領域とする。

　≪例４≫

　本例は、顔検出された領域を主領域とする例である。

　図２１は、撮影画像１５０を示す図である。撮影画像１５０では、顔検出領域１９５が行われている。領域設定部１０３は、顔検出領域１９５又は顔検出領域１９５を含む領域を、主領域として設定する。

　≪例５≫

　本例は、ホワイトバランスゲインを求めた領域の輝度に応じて、主ホワイトバランスゲインを決定する例である。

　図２２は、ホワイトバランスゲイン取得部１０５により、領域の輝度値に応じて主ホワイトバランスゲインを決定する制御に関して示すフロー図である。なお、ここではホワイトバランスゲイン取得部１０５は、図４で示した撮影画像１５０に関しての主ホワイトバランスゲインを決定する。

　先ず、ホワイトバランスゲイン取得部１０５は、枠Ｗの内側の領域と、枠Ｗの外側の領域の輝度値の平均をそれぞれ算出する（ステップＳ８０）。その後、ホワイトバランスゲイン取得部１０５は、枠Ｗの内側の領域及び枠Ｗの外側の領域のうち、撮影画像１５０の輝度値の中央値に、平均輝度値を有する領域が判定される（ステップＳ８１）。そして、枠Ｗの内側の領域の輝度値の平均が中央値に近い場合は、枠Ｗ内の領域に基づいて算出されるホワイトバランスゲインを主ホワイトバランスゲインとする（ステップＳ８２）。一方、枠Ｗの外側の領域の輝度値の平均が中央値に近い場合は、枠Ｗの外側の領域に基づいて算出されるホワイトバランスゲインを主ホワイトバランスゲインとする（ステップＳ８３）。

　≪例６≫

　本例は、ホワイトバランスゲインを求めた領域の大きさに応じて、主ホワイトバランスゲインを決定する例である。

　上述した図２では、枠Ｗの内側の領域と枠Ｗの外側の領域とに基づいて、それぞれホワイトバランスゲインが算出された場合には、枠Ｗの外側の領域の方が大きいので、ホワイトバランスゲイン取得部１０５は、枠Ｗの外側の領域のホワイトバランスゲインを主ホワイトバランスゲインとする。

　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１　　　　：撮像装置

８　　　　：表示部

１０　　　：外部メモリ

１２　　　：レンズ

１４　　　：絞り

２０　　　：メカニカルシャッタ

２１　　　：撮像素子

２２　　　：プロセス処理部

２３　　　：ＡＤ変換部

２４　　　：メインメモリ

２５　　　：システム制御部

２６　　　：センサ駆動部

２７　　　：シャッタ駆動部

２８　　　：絞り駆動部

２９　　　：レンズ駆動部

３０　　　：制御メモリ

３１　　　：画像処理部

３２　　　：圧縮伸張部

３３　　　：記憶制御部

３５　　　：表示制御部

３６　　　：ユーザインタフェース

１０１　　：画像入力部

１０３　　：領域設定部

１０５　　：ホワイトバランスゲイン取得部

１０７　　：決定部

１０９　　：ホワイトバランス補正部

１１１　　：主副画像決定部

１１２　　：制御部

Claims (17)


  1. 　撮影画像が入力される画像入力部と、

    　前記撮影画像における主領域と、前記主領域以外の領域である副領域とを設定する領域設定部と、

    　前記主領域及び前記副領域のホワイトバランス補正用の主ホワイトバランスゲイン及び副ホワイトバランスゲインをそれぞれ取得するホワイトバランスゲイン取得部と、

    　前記主ホワイトバランスゲインと前記副ホワイトバランスゲインとに基づいて、前記副ホワイトバランスゲインを調整した調整後副ホワイトバランスゲインを決定する決定部と、

    　前記主領域及び前記副領域を前記主ホワイトバランスゲイン及び前記調整後副ホワイトバランスゲインによりホワイトバランス補正を行うホワイトバランス補正部と、

    　を備える画像処理装置。

  2. 　前記画像入力部に入力される前記撮影画像の輝度差に基づいて、前記ホワイトバランスゲイン取得部に前記主ホワイトバランスゲイン及び前記副ホワイトバランスゲインを取得させる制御を行う第１の制御部を備える請求項１に記載の画像処理装置。

  3. 　前記第１の制御部は、前記撮影画像の輝度差が閾値以上である場合に、前記ホワイトバランスゲイン取得部に前記主ホワイトバランスゲイン及び前記副ホワイトバランスゲインを取得させる請求項２に記載の画像処理装置。

  4. 　前記第１の制御部は、前記ホワイトバランスゲイン取得部に、操作部から入力される指令に基づいて、前記主ホワイトバランスゲインと前記副ホワイトバランスゲインとを取得させる請求項２又は３に記載の画像処理装置。

  5. 　前記領域設定部は、前記撮影画像のフォーカス又は露出を調整する領域を前記主領域とする請求項１から４のいずれか１項に記載の画像処理装置。

  6. 　前記ホワイトバランスゲイン取得部は、ホワイトバランスゲインを求めた領域の大きさ、又はホワイトバランスゲインを求めた領域の輝度に応じて、取得した前記ホワイトバランスゲインを前記主ホワイトバランスゲイン及び前記副ホワイトバランスゲインとする請求項１から４のいずれか１項に記載の画像処理装置。

  7. 　前記決定部は、前記主ホワイトバランスゲインと、前記主ホワイトバランスゲイン及び前記副ホワイトバランスゲインに応じて決定される調整閾値とに基づいて、前記調整後副ホワイトバランスゲインを決定する請求項１から６のいずれか１項に記載の画像処理装置。

  8. 　前記決定部は、前記主ホワイトバランスゲインと、前記撮影画像の輝度差に応じて決定される調整閾値とに基づいて、前記調整後副ホワイトバランスゲインを決定する請求項１から６のいずれか１項に記載の画像処理装置。

  9. 　前記ホワイトバランスゲイン取得部は、前記主領域の画素値に基づいて前記主ホワイトバランスゲインを取得し、前記副領域の画素値に基づいて前記副ホワイトバランスゲインを取得する請求項１から８のいずれか１項に記載の画像処理装置。

  10. 　前記画像入力部には、短露光の撮影画像と長露光の撮影画像とが入力され、

    　前記領域設定部は、前記短露光の撮影画像及び前記長露光の撮影画像のどちらか一方の領域を前記主領域として設定し、他方の領域を前記副領域と設定する請求項１から９のいずれか１項に記載の画像処理装置。

  11. 　前記短露光の撮影画像と前記長露光の撮影画像とが入力され、前記短露光の撮影画像と前記長露光の撮影画像とが合成されるモードが選択された場合に、前記ホワイトバランスゲイン取得部に前記主ホワイトバランスゲイン及び前記副ホワイトバランスゲインを取得させる制御を行う第２の制御部を備える請求項１０に記載の画像処理装置。

  12. 　前記第２の制御部は、前記短露光の撮影画像と前記長露光の撮影画像との露出が閾値以上である場合に、前記ホワイトバランスゲイン取得部に前記主ホワイトバランスゲイン及び前記副ホワイトバランスゲインを取得させる制御を行う請求項１１に記載の画像処理装置。

  13. 　前記決定部は、前記主ホワイトバランスゲインと、前記画像入力部に入力される前記短露光の撮影画像と前記長露光の撮影画像との露出差から決定される調整閾値とに基づいて、前記調整後副ホワイトバランスゲインを決定する請求項１０から１２のいずれか１項に記載の画像処理装置。

  14. 　前記ホワイトバランスゲイン取得部は、前記主領域を有する前記短露光の撮影画像又は前記長露光の撮影画像に基づいて、前記主ホワイトバランスゲインを取得し、前記副領域を有する前記短露光の撮影画像又は前記長露光の撮影画像に基づいて、前記副ホワイトバランスゲインを取得する請求項１０から１３のいずれか１項に記載の画像処理装置。

  15. 　前記短露光の撮影画像及び前記長露光の撮影画像において、主画像と副画像を決定する主副画像決定部を備え、

    　前記ホワイトバランスゲイン取得部は、前記主画像の前記主ホワイトバランスゲインを取得する場合には、前記主領域及び前記副領域に付与される第１の重視度に基づいて、前記主ホワイトバランスゲインを取得し、前記副画像の前記副ホワイトバランスゲインを取得する場合には、前記第１の重視度の逆の第２の重視度に基づいて、前記副ホワイトバランスゲインを取得する請求項１０から１４のいずれか１項に記載の画像処理装置。

  16. 　撮影画像が入力されるステップと、

    　前記撮影画像における主領域と、前記主領域以外の領域である副領域とを設定するステップと、

    　前記主領域及び前記副領域のホワイトバランス補正用の主ホワイトバランスゲイン及び副ホワイトバランスゲインをそれぞれ取得するステップと、

    　前記主ホワイトバランスゲインと前記副ホワイトバランスゲインとに基づいて、前記副ホワイトバランスゲインを調整した調整後副ホワイトバランスゲインを決定するステップと、

    　前記主領域及び前記副領域を前記主ホワイトバランスゲイン及び前記調整後副ホワイトバランスゲインによりホワイトバランス補正を行うステップと、

    　を含む画像処理方法。

  17. 　撮影画像が入力されるステップと、

    　前記撮影画像における主領域と、前記主領域以外の領域である副領域とを設定するステップと、

    　前記主領域及び前記副領域のホワイトバランス補正用の主ホワイトバランスゲイン及び副ホワイトバランスゲインをそれぞれ取得するステップと、

    　前記主ホワイトバランスゲインと前記副ホワイトバランスゲインとに基づいて、前記副ホワイトバランスゲインを調整した調整後副ホワイトバランスゲインを決定するステップと、

    　前記主領域及び前記副領域を前記主ホワイトバランスゲイン及び前記調整後副ホワイトバランスゲインによりホワイトバランス補正を行うステップと、

    　を含む画像処理方法をコンピュータに実行させるプログラム。
PCT/JP2019/015048 2018-05-08 2019-04-05 画像処理装置、画像処理方法、及びプログラム WO2019216072A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020518194A JP6900577B2 (ja) 2018-05-08 2019-04-05 画像処理装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018090130 2018-05-08
JP2018-090130 2018-05-08

Publications (1)

Publication Number Publication Date
WO2019216072A1 true WO2019216072A1 (ja) 2019-11-14

Family

ID=68466925

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/015048 WO2019216072A1 (ja) 2018-05-08 2019-04-05 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP6900577B2 (ja)
WO (1) WO2019216072A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002223388A (ja) * 2000-11-21 2002-08-09 Hitachi Kokusai Electric Inc 絞り制御装置および絞り制御方法およびテレビジョンカメラ
JP2010213213A (ja) * 2009-03-12 2010-09-24 Ricoh Co Ltd 撮像装置及び撮像方法
JP2013106284A (ja) * 2011-11-16 2013-05-30 Sony Corp 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置
JP2014120844A (ja) * 2012-12-14 2014-06-30 Ricoh Co Ltd 画像処理装置および撮像装置
JP2015146480A (ja) * 2014-01-31 2015-08-13 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
WO2017169287A1 (ja) * 2016-03-31 2017-10-05 富士フイルム株式会社 ホワイトバランス調整装置及びその作動方法並びに作動プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002223388A (ja) * 2000-11-21 2002-08-09 Hitachi Kokusai Electric Inc 絞り制御装置および絞り制御方法およびテレビジョンカメラ
JP2010213213A (ja) * 2009-03-12 2010-09-24 Ricoh Co Ltd 撮像装置及び撮像方法
JP2013106284A (ja) * 2011-11-16 2013-05-30 Sony Corp 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置
JP2014120844A (ja) * 2012-12-14 2014-06-30 Ricoh Co Ltd 画像処理装置および撮像装置
JP2015146480A (ja) * 2014-01-31 2015-08-13 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
WO2017169287A1 (ja) * 2016-03-31 2017-10-05 富士フイルム株式会社 ホワイトバランス調整装置及びその作動方法並びに作動プログラム

Also Published As

Publication number Publication date
JP6900577B2 (ja) 2021-07-07
JPWO2019216072A1 (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
US10567722B2 (en) Image processing apparatus, image processing method, imaging apparatus, and recording medium
TWI524709B (zh) 影像擷取設備、影像擷取設備之控制方法及電子裝置
US8937677B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
US8237854B2 (en) Flash emission method and flash emission apparatus
JP2007259237A (ja) 撮像装置および撮像方法
JP2017022610A (ja) 画像処理装置、画像処理方法
JP2010147786A (ja) 撮像装置及び画像処理方法
US11258956B2 (en) Image capturing apparatus, image capturing method, and program
US11838648B2 (en) Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing
JP2007325145A (ja) 画像処理装置および方法並びにプログラム
JP4626432B2 (ja) 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法
JP5048599B2 (ja) 撮像装置
JP3985005B2 (ja) 撮像装置、画像処理装置、撮像装置の制御方法、およびこの制御方法をコンピュータに実行させるためのプログラム
JP2008017198A (ja) 光源色算出装置、光源色算出方法及び撮影装置
JP5316923B2 (ja) 撮像装置及びそのプログラム
CN116266877A (zh) 图像处理设备和方法、摄像设备和计算机可读介质
JP6900577B2 (ja) 画像処理装置及びプログラム
JP2008083243A (ja) 撮影装置及び露出制御方法
JP2015050733A (ja) 露出制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP5597942B2 (ja) 電子カメラ
JP2015037222A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP5943682B2 (ja) 撮像装置、その制御方法及びプログラム
JP2011199860A (ja) 撮像装置及び画像生成プログラム
WO2019171782A1 (ja) 撮像装置、撮像方法、およびプログラム
JP2017034536A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19799367

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2020518194

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19799367

Country of ref document: EP

Kind code of ref document: A1