WO2023144894A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2023144894A1
WO2023144894A1 PCT/JP2022/002723 JP2022002723W WO2023144894A1 WO 2023144894 A1 WO2023144894 A1 WO 2023144894A1 JP 2022002723 W JP2022002723 W JP 2022002723W WO 2023144894 A1 WO2023144894 A1 WO 2023144894A1
Authority
WO
WIPO (PCT)
Prior art keywords
correction
image data
white balance
degree
light source
Prior art date
Application number
PCT/JP2022/002723
Other languages
English (en)
French (fr)
Inventor
創一 萩原
有司 梅津
順三 櫻井
Original Assignee
株式会社ソシオネクスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソシオネクスト filed Critical 株式会社ソシオネクスト
Priority to PCT/JP2022/002723 priority Critical patent/WO2023144894A1/ja
Publication of WO2023144894A1 publication Critical patent/WO2023144894A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Definitions

  • the present invention relates to an image processing device and an image processing method.
  • an image processing device there is a method of estimating the light source and correcting the color of the image using a color profile created for each type of light source during white balance processing for an image shot under a light source that has a strong color cast. known (see, for example, Patent Document 1).
  • Patent Document 1 There is a known technique for suppressing the saturation of image data based on the color temperature specified from the subject image when the subject image includes a specific light-emitting body during white balance processing for an image captured under illumination ( For example, see Patent Document 2).
  • the color reproducibility of the self-luminous subject can be improved by performing auto white balance processing on the photographed image. may decrease.
  • the present invention has been made in view of the above points, and even when the self-luminous subject is included in the subject area illuminated by the illumination of the main light source, the deterioration of the color reproducibility of the self-luminous subject due to auto white balance processing is achieved.
  • the purpose is to suppress
  • an image processing apparatus includes: an image data acquisition unit that acquires first image data; and a white balance value calculator that calculates a white balance value used in auto white balance processing according to the first image data.
  • a first white balance correction unit that performs auto white balance processing on the first image data according to the white balance value to generate first post-correction image data; an area detection unit that calculates a first luminance, which is luminance obtained by adding a color difference component amount to the luminance, and detects a first area including pixels having the first luminance greater than a first threshold; and the first post-correction image data.
  • a correction degree calculation unit that calculates a correction degree of color information of pixels included in at least the first region according to the first luminance; and a color information correction unit that corrects the color information of the pixel according to the degree of correction.
  • the disclosed technology even when the self-luminous subject is included in the subject area illuminated by the main light source, it is possible to suppress deterioration in the color reproducibility of the self-luminous subject due to auto white balance processing.
  • FIG. 1 is an image diagram showing an example of an image processing system including an image processing device according to a first embodiment
  • FIG. FIG. 2 is a block diagram showing the outline of the configuration of various devices mounted on the moving body of FIG. 1;
  • 3 is a block diagram showing an example of the configuration of the image processing apparatus of FIG. 2;
  • FIG. 3 is a functional block diagram showing an example of the functional configuration of the image processing apparatus of FIG. 2;
  • FIG. 3 is a flow chart showing an example of the operation of the image processing apparatus of FIG. 2;
  • FIG. FIG. 5 is an explanatory diagram showing an example of processing by the point light source region detection unit in FIG. 4;
  • 5 is an explanatory diagram showing an example of processing by a correction degree calculation unit and processing by a point light source region correction unit in FIG. 4;
  • FIG. 5 is a functional block diagram showing an example of the functional configuration of an image processing apparatus according to a second embodiment
  • FIG. FIG. 9 is a flow diagram showing an example of the operation of the image processing apparatus of FIG. 8
  • FIG. 11 is a functional block diagram showing an example of the functional configuration of an image processing apparatus according to a third embodiment
  • FIG. FIG. 14 is a flow chart showing an example of the operation of the image processing apparatus of the fourth embodiment
  • FIG. 12 is an explanatory diagram showing an example of processing in step S65 of FIG. 11
  • FIG. 12 is an explanatory diagram showing an example of image correction according to the processing flow of FIG. 11
  • FIG. 12 is an explanatory diagram showing another example of the process of step S65 of FIG. 11
  • FIG. 12 is a functional block diagram showing an example of the functional configuration of an image processing apparatus according to a fifth embodiment
  • FIG. FIG. 16 is an explanatory diagram showing an example of point light source detection processing by the point light source region detection unit in FIG. 15
  • 16 is a flowchart showing an example of the operation of the image processing apparatus of FIG. 15
  • FIG. FIG. 18 is a flowchart showing the continuation of the operation of FIG. 17
  • FIG. 21 is an explanatory diagram showing an example of correction degree calculation processing by the image processing apparatus according to the sixth embodiment
  • FIG. 21 is an explanatory diagram showing an example of correction degree calculation processing by the image processing apparatus of the seventh embodiment
  • FIG. 21 is a functional block diagram showing an example of the functional configuration of an image processing apparatus according to an eighth embodiment
  • FIG. FIG. 22 is an explanatory diagram showing an example of processing by the point light source region detection unit in FIG. 21;
  • image data may be simply referred to as an image.
  • a pixel value or pixel data may be simply referred to as a pixel.
  • the embodiment described below has a remarkable effect in a situation where the subject is illuminated by streetlights at night or in a tunnel. A predetermined effect can be obtained even in bad weather conditions such as
  • FIG. 1 shows an example of an image processing system including an image processing device according to the first embodiment.
  • the image processing system 100 shown in FIG. 1 is mounted on a moving body 500 such as an automobile, for example.
  • Imaging devices 507A, 507B, 507C, 507D, and 507E such as cameras are installed in front, rear, left and right sides of the moving body 500 and in front of the inside of the vehicle of the moving body 500 .
  • the imaging devices 507A, 507B, 507C, 507D, and 507E are also referred to as an imaging device 507 when they are described without distinction.
  • the number and installation positions of the imaging devices 507 installed on the moving body 500 are not limited to those shown in FIG.
  • one imaging device 507 may be installed only in front of the moving body 500, or two imaging devices 507 may be installed in front and behind.
  • the imaging device 507 may be installed on the ceiling of the moving object 500 .
  • the mobile object 500 on which the image processing system 100 is mounted is not limited to an automobile, and may be, for example, a carrier robot or drone operating in a factory.
  • the image processing system 100 may be a system that processes an image acquired from an imaging device other than the imaging device installed on the moving object 500, such as a surveillance camera, a digital still camera, or a digital camcorder.
  • the image processing system 100 has an image processing device 200 , an information processing device 300 and a display device 400 .
  • the image processing system 100 is superimposed on the image diagram of the moving body 500 viewed from above.
  • the image processing device 200 and the information processing device 300 are mounted on a control board or the like mounted on the moving body 500
  • the display device 400 is installed at a position visible to a person inside the moving body 500 .
  • the image processing device 200 may be mounted on a control board or the like as part of the information processing device 300 .
  • Each imaging device 507 is connected to the image processing device 200 via a signal line or wirelessly.
  • FIG. 2 shows an outline of the configuration of various devices mounted on the moving body 500 of FIG.
  • a mobile object 500 has an image processing device 200, an information processing device 300, a display device 400, at least one ECU (Electronic Control Unit) 501, and a wireless communication device 502, which are interconnected via an internal network.
  • the moving body 500 has a sensor 503 , a driving device 504 , a lamp device 505 , a navigation device 506 and an imaging device 507 .
  • the internal network is an in-vehicle network such as CAN (Controller Area Network) or Ethernet (registered trademark).
  • the image processing device 200 corrects the image data (frame data) acquired by the imaging device 507 and generates post-correction image data. For example, the image processing device 200 displays the generated post-correction image data on the display device 400 . Note that the image processing apparatus 200 may record the generated post-correction image data in an external or internal recording device.
  • the information processing device 300 includes a computer such as a processor that performs recognition processing and the like based on image data received via the image processing device 200 .
  • the information processing device 300 mounted on the moving body 500 detects other moving bodies, traffic lights, signs, road white lines, people, etc. by performing recognition processing of image data, and based on the detection result, The situation around the moving body 500 is determined.
  • the information processing device 300 controls the entire moving body 500 by controlling the ECU 501 .
  • the information processing device 300 may include an automatic operation control device that controls the movement, stop, right turn, left turn, etc. of the mobile object 500 .
  • the information processing device 300 may have a function of recognizing an object outside the moving object 500 based on the image generated by the image processing device 200, and have a function of tracking the recognized object.
  • the display device 400 displays the image generated by the image processing device 200, the corrected image, and the like.
  • the display device 400 is, for example, a side mirror monitor, a rearview mirror monitor, or a display of a navigation device installed on the moving object 500 .
  • the display device 400 may be a display provided on a dashboard or the like, or a head-up display that projects an image onto a projection plate, a windshield, or the like.
  • the display device 400 may display an image of the moving body 500 in the backward direction in real time when the moving body 500 moves backward. Further, display device 400 may display images output from navigation device 506 .
  • the ECU 501 is provided corresponding to each mechanical section such as an engine or a transmission. Each ECU 501 controls a corresponding mechanism based on instructions from the information processing device 300 .
  • a wireless communication device 502 communicates with a device external to the mobile object 500 .
  • a sensor 503 is a sensor that detects various types of information. Sensors 503 may include, for example, a position sensor that obtains current position information of mobile object 500 . Sensor 503 may also include a speed sensor that detects the speed of moving body 500 .
  • the drive device 504 is various devices for moving the moving body 500 .
  • the drive system 504 may include, for example, an engine, a steering system, a braking system (brakes), and the like.
  • the lamp device 505 is various lamps mounted on the moving body 500 .
  • the lamp device 505 may include, for example, headlights (headlamps, headlights), turn indicator lamps, backlights, brake lamps, and the like.
  • the navigation device 506 is a device that guides the route to the destination by voice and display.
  • FIG. 3 shows an example of the configuration of the image processing device 200 of FIG. Note that the information processing apparatus 300 in FIG. 2 also has the same configuration as in FIG.
  • the image processing apparatus 200 has a CPU 20, an interface device 21, a drive device 22, an auxiliary storage device 23 and a memory device 24 interconnected by a bus BUS.
  • the interface device 21 is used to connect to a network (not shown).
  • the auxiliary storage device 23 is, for example, a HDD (Hard Disk Drive) or SSD (Solid State Drive), and holds image processing programs, image data, various parameters used for image processing, and the like.
  • the memory device 24 is, for example, a DRAM (Dynamic Random Access Memory) or the like, and holds image processing programs and the like transferred from the auxiliary storage device 23 .
  • the drive device 22 has an interface for connecting the recording medium 30, and transfers the image processing program stored in the recording medium 30 to the auxiliary storage device 23 based on instructions from the CPU 20, for example.
  • the drive device 22 may transfer image data and the like stored in the auxiliary storage device 23 to the recording medium 30 .
  • FIG. 4 shows an example of the functional configuration of the image processing device 200 of FIG.
  • Each functional unit of the image processing device 200 shown in FIG. hardware may be realized by cooperating software and hardware.
  • the image processing device 200 has an image data acquisition section 210 , a WB (white balance) value calculation section 220 , a WB (white balance) correction section 230 , and an image correction section 240 .
  • the image correction section 240 has a point light source area detection section 250 , a correction degree calculation section 260 and a point light source area correction section 270 .
  • white balance is also referred to as WB
  • AWB auto white balance
  • the image data acquisition unit 210 performs image data acquisition processing for acquiring image data (for example, frame data) representing an image captured by, for example, the imaging device 507E or the imaging device 507A among the plurality of imaging devices 507 shown in FIG. to implement.
  • image data acquired by the image data acquisition unit 210 is an example of first image data.
  • the image data acquisition unit 210 may acquire image data representing images captured by the imaging devices 507 other than the imaging devices 507E and 507A, and image data representing images captured by all the imaging devices 507 may be acquired. may be obtained.
  • the WB value calculation unit 220 Based on the image data acquired by the image data acquisition unit 210, the WB value calculation unit 220 performs detection to determine the main light source illuminating the subject, and calculates the WB value corresponding to the determined light source. Perform balance value calculation processing. That is, the WB value calculator 220 calculates a white balance value used for auto white balance processing.
  • the WB correction unit 230 performs auto white balance processing for each pixel of the image data according to the WB value calculated by the WB value calculation unit 220, and performs first white balance correction processing for generating first corrected image data. do.
  • each pixel that performs auto white balance processing includes one red pixel, one blue pixel, and two green pixels arranged in a Bayer array.
  • the WB corrector 230 is an example of a first white balance corrector.
  • the point light source region detection unit 250 performs region detection processing for detecting a point light source region (pixel region) included in the first post-correction image data.
  • the point light source area detection section 250 is an example of an area detection section, and the point light source area is an example of a first area.
  • the point light source includes a self-luminous subject such as a vehicle headlight or traffic light.
  • the point light source area may include not only the area of the self-luminous subject, but also the area where halation is generated by the self-luminous subject and the area of the subject that reflects the light emitted from the self-luminous subject.
  • the point light source area detection unit 250 outputs point light source area information indicating the detected point light source area to the correction degree calculation unit 260 . An example of point light source detection processing by the point light source region detection unit 250 will be described with reference to FIG.
  • the point light source area detection unit 250 detects, for each pixel of the first corrected image data, a luminance A, which will be described later, which is luminance including a color difference component amount, and a threshold value of the luminance A used for detecting the point light source area. You may output to the correction degree calculation part 260 as light source region information. Further, the point light source area detection section 250 may output the luminance A of each pixel of the first post-correction image data to the correction degree calculation section 260 as the point light source area information. In this case, the correction degree calculation unit 260 performs the process of detecting a pixel region having a luminance A equal to or higher than a predetermined threshold as a point light source region. included. The point light source area detection unit 250 functions as a luminance calculation unit that calculates the luminance A. FIG.
  • the correction degree calculation unit 260 performs correction degree calculation processing for calculating the correction degree ⁇ used for correcting the color information of the pixels in the point light source region according to the point light source region information. Note that the correction degree calculation unit 260 may calculate the correction degree ⁇ for each pixel of the first post-correction image data including not only the point light source region but also the point light source region. An example of calculation of the degree of correction ⁇ by the degree-of-correction calculator 260 will be described with reference to FIG.
  • the point light source area correction unit 270 performs color information correction processing for correcting the color information of each pixel of the point light source area included in the first corrected image data using the correction degree ⁇ calculated by the correction degree calculation unit 260. implement.
  • the point light source area corrector 270 is an example of a color information corrector. A method of further correcting the first post-correction image data that has undergone auto white balance correction using the degree of correction ⁇ will be described with reference to FIG.
  • the point light source area correction unit 270 outputs corrected image data obtained by correcting the color information of the pixels of the point light source area included in the first corrected image data to at least one of the display device 400 and the information processing device 300 .
  • FIG. 5 shows an example of the operation of the image processing device 200 of FIG. 5 shows an example of an image processing method by the image processing device 200, and shows an example of an image processing program executed by the image processing device 200.
  • FIG. 5 shows an example of the operation of the image processing device 200 of FIG. 5 shows an example of an image processing method by the image processing device 200, and shows an example of an image processing program executed by the image processing device 200.
  • step S ⁇ b>10 the image processing device 200 acquires image data captured by each imaging device 507 by using the image data acquisition unit 210 , for example.
  • step S20 the image processing apparatus 200, for example, uses the WB value calculator 220 to perform detection processing for auto white balance processing based on the acquired image data, and calculates the WB value.
  • step S30 the image processing apparatus 200 performs white balance processing on the image data according to the WB value by using the WB correction unit 230, for example, to generate first post-correction image data.
  • the image processing apparatus 200 performs correction processing of the first post-correction image data by the image correction unit 240, for example.
  • the image processing apparatus 200 detects a point light source area included in the first post-correction image data by using the point light source area detection unit 250, for example.
  • a point light source region may be indicated by a luminance A and a threshold.
  • step S50 the image processing apparatus 200 causes the correction degree calculation unit 260, for example, to calculate the color information of at least the pixels of the point light source region in the first post-correction image data according to the luminance A of the point light source region. Calculate the degree of correction ⁇ used for correction.
  • step S60 the image processing apparatus 200 causes the point light source region correction unit 270, for example, the correction degree calculation unit 260 to calculate the color information of at least the pixels of the point light source region in the first post-correction image data. Correct using the degree of correction ⁇ . Then, the point light source area correction unit 270 generates post-correction image data, and ends the processing shown in FIG.
  • FIG. 6 shows an example of processing by the point light source area detection unit 250 in FIG.
  • the point light source region detection unit 250 calculates the distance ⁇ C from the origin of the color of each pixel of the first post-correction image data subjected to white balance processing in the color difference space CbCr.
  • the distance ⁇ C indicates, for example, the color density of the pixel.
  • the point light source region detection unit 250 calculates the brightness A by adding the brightness Y of the pixel and the calculated distance ⁇ C using Equation (1).
  • Luminance A Y+k ⁇ C (1)
  • the luminance A is the sum of the luminance Y, which is the luminance information of the pixel expressed in the YCbCr color space, and the value obtained by multiplying the distance ⁇ C, which is an index of the color depth (vividness) of the pixel, by a coefficient k, It is an example of the first luminance.
  • the coefficient k is used to adjust the weighting of the distance ⁇ C and is a value greater than "0".
  • the coefficient k is set in advance when the image processing device 200 is designed or when its performance is evaluated.
  • the luminance A of a self-luminous subject having a large luminance Y and a relatively large distance ⁇ C is large.
  • the luminance Y of a main light source such as a street lamp that irradiates illumination light onto a subject photographed by the imaging device 507 is large.
  • the brightness A of the main light source is sufficiently smaller than the brightness A of the self-luminous subject.
  • a black pixel has a small luminance Y and a small distance ⁇ C, so the luminance A of the black pixel is sufficiently smaller than the luminance A of the self-luminous subject. Also, the luminance A of a pixel having a large distance ⁇ C (a dark color) but a small luminance Y is sufficiently smaller than the luminance A of the self-luminous subject.
  • the point light source area detection unit 250 determines that pixels whose brightness A is equal to or less than a predetermined threshold VT0 are not point light source areas, and determines pixels whose brightness A is greater than the threshold VT0 to be a point light source area.
  • the threshold VT0 is set to a value greater than the brightness A of the main light source such as a streetlight after auto white balance processing.
  • the graph in FIG. 7 shows an example of processing by the correction degree calculation unit 260 and processing by the point light source area correction unit 270 in FIG.
  • the correction degree calculator 260 sets the correction degree ⁇ to “0” for pixels whose luminance A is less than the threshold VT0, and sets the correction degree ⁇ to “1” for pixels whose luminance A is greater than the threshold VT1.
  • the point light source area correction unit 270 sets the degree of correction ⁇ for pixels whose luminance A is equal to or higher than the threshold VT0 and equal to or lower than the threshold VT1 according to Equation (2) to be larger as the luminance A increases.
  • the threshold VT0 is an example of a first threshold
  • the threshold VT1 is an example of a second threshold.
  • Degree of correction ⁇ (luminance A-VT0)/(VT1-VT0) (2)
  • the degree of correction ⁇ indicates the application rate of correction of the first post-correction image data whose color information is corrected by the point light source area correction unit 270 .
  • the correction degree calculation unit 260 calculates the application rate of the correction of the color information of the first post-correction image data according to the luminance A.
  • a pixel with a correction degree ⁇ of "0" is not corrected as a point light source area for the first post-correction image data.
  • Pixels with a degree of correction ⁇ of "1" are corrected 100% as point light source regions with respect to the image data after the first correction.
  • pixels with a correction degree ⁇ of “0.3” are subjected to 30% correction as a point light source region with respect to the first corrected image data
  • pixels with a correction degree ⁇ of “0.7” are subjected to the first correction.
  • 70% of the corrected image data is corrected as a point light source region.
  • FIG. 7(a) shows an example of a captured image captured by the imaging device 507E.
  • FIG. 7B shows an example of an image based on the first post-correction image data on which auto white balance processing has been performed by the WB correction section 230 .
  • FIG. 7C shows an example of an image based on post-correction image data corrected by the point light source area correction unit 270 .
  • the subject area is illuminated by the main light source such as sodium lamp, and the image of the road and the subject on the road is colored by the illumination of the main light source.
  • the main light source such as sodium lamp
  • the image of the road and the subject on the road is colored by the illumination of the main light source.
  • Images of self-luminous subjects such as vehicle headlights and traffic light lights and point light source areas including their surroundings are not affected by illumination from the main light source, so they have colors similar to those under daylight light sources. (color reproducibility).
  • the image in the area excluding the point light source area has a color similar to that under the daylight light source. (has color reproducibility).
  • the image in the point light source area will have a color different from that under the daylight light source due to auto white balance processing (decrease in color reproducibility).
  • the point light source region detection unit 250 calculates the luminance A of each pixel from the first post-correction image data corresponding to the image shown in FIG. 7B, and detects a point light source region.
  • the image in the area ( ⁇ 0) excluding the point light source area reflects the result of the auto white balance processing as it is, and has a color similar to that under the daylight light source.
  • the point light source area correction unit 270 can correct the color information of each pixel after the auto white balance processing of the point light source area including the self-luminous subject excluding the main light source. As a result, it is possible to prevent the color reproducibility of the point light source region from deteriorating due to the auto white balance processing. In addition, since the main light source such as a street lamp is not included in the correction target of the color information by the point light source area correction unit 270, it is possible to prevent the color of the main light source corrected by the auto white balance processing from becoming unnatural. be able to.
  • the color of a self-luminous subject whose color reproducibility is reduced by auto white balance processing can be corrected to the color under a daylight light source. Therefore, both the image of the road and the subject on the road with the color of the illumination by the main light source, and the image of the point light source area including the self-luminous subject and its surroundings, will be the same as the color under the daylight light source. color can be corrected. As a result, even when a self-luminous subject is included in an image subjected to auto white balance processing under illumination from a main light source, an image reproduced in correct colors can be generated.
  • the colors of the pixels whose color reproducibility has deteriorated due to the auto white balance processing are corrected under the daylight light source. can be corrected to a color similar to that of .
  • the luminance A of the main light source can be made smaller than the threshold VT0.
  • the point light source region detection unit 250 sets the brightness A as the sum of the brightness Y of the pixel represented in the YCbCr color space and the distance ⁇ C (color difference component amount) from the origin in the color difference space CbCr.
  • the correction degree calculation unit 260 calculates the correction degree ⁇ used for correcting the color information of the pixels in the point light source region, so that the color of the pixels in the image at the boundary between the point light source region and the non-point light source region is sharply changed. can be suppressed from changing to As a result, it is possible to reduce the unnatural image of the boundary portion.
  • FIG. 8 shows an example of the functional configuration of an image processing apparatus according to the second embodiment. Elements similar to those in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • An image processing device 200A shown in FIG. 8 is similar to the image processing device 200 shown in FIGS.
  • Each functional unit of the image processing device 200A shown in FIG. 8 may be implemented by software such as an image processing program executed by the image processing device 200A, or may be implemented by hardware. It may be realized by working
  • the image processing device 200A has an image correction section 240A instead of the image correction section 240 in FIG.
  • the image correction section 240A has a point light source area correction section 270A instead of the point light source area correction section 270 of FIG.
  • Other configurations of the image processing device 200A are the same as those of the image processing device 200 in FIG.
  • the point light source region correction section 270A has an inverse WB conversion section 271, a WB correction section 272 and a blend processing section 273.
  • the point light source region corrector 270A is an example of a color information corrector.
  • the inverse WB conversion unit 271 uses the WB value calculated by the WB value calculation unit 220 to convert the first post-correction image data generated by the WB correction unit 230 into the original image data before white balance processing.
  • the WB correction unit 272 performs white balance processing on each pixel of the original image data using, for example, the WB value of the standard light source D65 (daylight light source), and generates second post-correction image data.
  • the WB corrector 272 is an example of a second white balance corrector.
  • the WB value of the standard light source D65 is a preset fixed WB value.
  • the blend processing unit 273 uses Equation (3) to combine the pixel values of the first corrected image data (a) and the second corrected image data ( The pixel values of b) are blended pixel by pixel to generate post-correction image data. a ⁇ (1 ⁇ )+b ⁇ (3)
  • pixels with a degree of correction ⁇ of "0" (pixels in which the luminance A in FIG. 7 is smaller than the threshold value VT0) become pixels of the first post-correction image data (a).
  • Pixels with a degree of correction ⁇ of “1” (pixels whose luminance A in FIG. 7 is greater than the threshold value VT1) are pixels of the second post-correction image data (b).
  • the pixel value of the first corrected image data (a) and the second corrected image data (a) are calculated according to the correction degree ⁇ for the pixels with the correction degree ⁇ of "0" or more and “1" or less (threshold value VT0 or more and the threshold value VT1 or less).
  • the pixel values of the post image data (b) are blended.
  • a pixel with a degree of correction ⁇ of "0.3" is a blend of 70% of the pixel value of the first corrected image data (a) and 30% of the pixel value of the second corrected image data (b). be done.
  • 30% of the pixel value of the first post-correction image data (a) and 70% of the pixel value of the second post-correction image data (b) are blended for pixels with a degree of correction ⁇ of “0.7”. .
  • FIG. 9 is a flowchart showing an example of the operation of the image processing device 200A of FIG. That is, FIG. 9 shows an example of an image processing method by the image processing device 200A, and shows an example of an image processing program executed by the image processing device 200A. Elements similar to those in FIG. 5 are given the same step numbers, and detailed descriptions thereof are omitted.
  • steps S10, S20, S30, and S50 are the same as the processes of steps S10, S20, S30, and S50 in FIG. 5, respectively.
  • steps S41 and S42 are performed instead of step S40 of FIG. 5
  • steps S61, S62 and S63 are performed instead of step S60.
  • the processing of steps S61 and S62 may be performed in parallel with the processing of steps S41, S42 and S50.
  • step S41 the image processing device 200A, for example, uses the point light source region detection unit 250 to calculate the luminance A for each pixel using the above-described formula (1).
  • step S42 the image processing device 200A determines whether the brightness A is greater than the threshold VT0 for each pixel.
  • the image processing apparatus 200A performs the process of step S50 for pixels whose luminance A is greater than the threshold VT0, and terminates the process shown in FIG. 9 for pixels whose luminance A is equal to or less than the threshold VT0.
  • step S50 the image processing device 200A, for example, uses the correction degree calculator 260 to calculate the degree of correction ⁇ according to the luminance A of the pixel selected in step S42.
  • step S61 the image processing device 200A converts the image data after the first correction into the original image data before the white balance processing by using the inverse WB conversion unit 271, for example.
  • step S62 the image processing apparatus 200A, for example, uses the WB correction unit 272 to perform white balance processing on each pixel of the original image data using the WB value of the standard light source D65, and performs the second correction. Generate post-image data.
  • step S63 for example, the blend processing unit 273 of the image processing device 200A converts the pixel value of the first corrected image data and the pixel value of the second corrected image data to each pixel according to the degree of correction ⁇ . to generate the corrected image data. Then, the image processing device 200A ends the processing shown in FIG.
  • FIG. 10 shows an example of the functional configuration of an image processing apparatus according to the third embodiment. Elements similar to those in FIGS. 4 and 8 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • An image processing device 200B shown in FIG. 10 is similar to the image processing device 200 shown in FIGS.
  • Each functional unit of the image processing device 200B shown in FIG. 10 may be implemented by software such as an image processing program executed by the image processing device 200B, or may be implemented by hardware. It may be realized by working
  • the image processing device 200B has a point light source area correction section 270B instead of the point light source area correction section 270A in FIG.
  • the point light source region correction unit 270B has the same configuration and functions as the point light source region correction unit 270A in FIG. 8 except that the inverse WB conversion unit 271 is removed from the point light source region correction unit 270A in FIG.
  • the point light source area corrector 270B is an example of a color information corrector.
  • Other configurations of the image processing device 200B are the same as those of the image processing device 200 in FIG.
  • the WB correction unit 272 uses the WB value of the standard light source D65 to perform white balance processing on each pixel of the image data acquired by the image data acquisition unit 210 from the imaging device 507, and performs the second correction. Generate post-image data.
  • Other functions and operations of the image processing device 200B are the same as those of the image processing device 200A in FIG.
  • the image data acquired by the image data acquisition unit 210 is used to perform white balance processing with the standard light source D65, thereby omitting the inverse WB conversion unit 271 in FIG.
  • the processing load of the image processing device 200B can be reduced from that of the image processing device 200A, and the processing performance of the image processing device 200B can be improved by performing other processes with the reduced processing load. can be done.
  • the point light source area correction unit 270B is configured by hardware, the circuit scale of the circuit of the inverse WB conversion unit 271 can be reduced.
  • the luminance of a self-luminous subject is higher than that of other subjects, so white balance processing based on the WB value of D65 makes the color too dark, resulting in an image of the self-luminous subject after correction. It may become unnatural. In such a case, the characteristic of the WB value of D65 may be slightly shifted to suppress the tint.
  • FIG. 11 shows an example of the operation of the image processing apparatus of the fourth embodiment.
  • An image processing device 200C (not shown) that executes the flow in FIG. 11 has the same configuration as the image processing device 200 in FIG.
  • the image processing device 200C is similar to the image processing device 200 shown in FIGS.
  • FIG. 11 shows an example of an image processing method by the image processing device 200C, and shows an example of an image processing program executed by the image processing device 200C. Elements similar to those in FIGS. 5 and 9 are given the same step numbers, and detailed descriptions thereof are omitted.
  • steps S10, S20, S30, and S50 are the same as the processes of steps S10, S20, S30, and S50 in FIG. 5, respectively.
  • steps S41 and S42 are the same as the processes of steps S41 and S42 in FIG. 9, respectively.
  • step S65 is performed instead of step S60 of FIG.
  • step S65 the image processing device 200C, for example, uses a point light source region correction unit similar to the point light source region correction unit 270 in FIG. Calculate the value C'.
  • a point light source region correction unit (not shown) included in the image processing device 200C is referred to as a point light source region correction unit 270C.
  • the point light source region corrector 270C is an example of a color information corrector.
  • C' C ⁇ M( ⁇ ) (4)
  • symbol C indicates the pixel value of the first corrected image data
  • symbol M( ⁇ ) indicates a function that converts the color of the pixel using the degree of correction ⁇ as a variable.
  • the degree of correction ⁇ is the same as the degree of correction ⁇ described with reference to FIG.
  • the function M( ⁇ ) is explained in FIG.
  • Symbol C' indicates the pixel value of the post-correction image data.
  • the point light source area correction unit 270C corrects the color information of the pixels of the point light source area included in the first post-correction image data, and outputs it to at least one of the display device 400 and the information processing device 300 as post-correction image data. do.
  • FIG. 12 shows an example of processing in step S65 of FIG.
  • the point light source region correction unit 270C of the image processing device 200C converts the first corrected image data expressed in the YCbCr color space, for example, into image data in the RGB color space using the conversion matrix MR .
  • the point light source region correction unit 270C converts the image data in the RGB color space converted using the conversion matrix M R into an image in the RGB color space using the conversion matrix M C including the degree of correction ⁇ as a variable. Convert to data.
  • Variables Wr and Wb in the transformation matrix MC are obtained by performing auto white balance detection on the range of pixels in the point light source region and calculating.
  • the variables Wr and Wb are obtained by Equations (5) and (6), respectively, based on the ratio of the R (red) component, G (green) component, and B (blue) component of neighboring pixels in the point light source region. be done.
  • Wr (Average of G (green) components of neighboring pixels of pixels where ⁇ is “1”)/(Average of R (red) components of neighboring pixels of pixels where ⁇ is “1”) (5)
  • Wb (Average of G (green) components of neighboring pixels of pixels where ⁇ is “1”)/(Average of B (blue) components of neighboring pixels of pixels where ⁇ is “1”) (6)
  • the point light source area correction unit 270C converts the image data in the RGB color space converted using the conversion matrix MC into image data M( ⁇ ) in the YCbCr space using the conversion matrix MY .
  • the function M( ⁇ ) for converting the pixel values of the first corrected image data to the pixel values of the post-correction image data is expressed by Equation (7).
  • M( ⁇ ) MYMC ( ⁇ ) MR (7)
  • the degree of correction ⁇ is "1.0"
  • the color of each pixel of the first corrected image data (indicated by the distance ⁇ C) is expressed by the function M( ⁇ ) is converted to an achromatic color which is the origin of the color difference space CbCr.
  • the closer the correction degree ⁇ is to "1.0” the closer the color of the pixel is to an achromatic color.
  • the color of the self-luminous subject is Can be converted to achromatic color. As a result, it is possible to prevent the color reproducibility of the point light source region from deteriorating due to the auto white balance processing.
  • the point light source region correction unit 270C sets pixels with a correction degree ⁇ of "1.0" (that is, 100%) to an achromatic color.
  • the point light source region correction unit 270C may set pixels with a degree of correction ⁇ of “1.0” to a color close to achromatic, for example.
  • the point light source region correction unit 270C may set pixels with a correction degree ⁇ of “0.9” or more to an achromatic color, for example.
  • FIG. 13 shows an example of image correction according to the processing flow of FIG. Detailed descriptions of elements and processes similar to those in FIG. 7 are omitted.
  • FIG. 13A shows an example of a captured image captured by the imaging device 507E.
  • FIG. 13B shows an example of an image based on first post-correction image data on which auto white balance processing has been performed by a WB correction unit (not shown) of the image processing apparatus 200C.
  • the WB correction section of the image processing device 200C has the same function as the WB correction section 230 in FIG.
  • FIG. 13(c) shows an example of an image based on post-correction image data corrected by the point light source area correction unit 270C of the image processing device 200C.
  • FIG. 14 shows another example of the process of step S65 of FIG.
  • the color correction conversion may be performed in a color space such as the HSV color space, in which colors are easier to correct than the RGB color space.
  • FIG. 15 shows an example of the functional configuration of an image processing apparatus according to the fifth embodiment. Elements similar to those in FIG. 8 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • An image processing device 200D shown in FIG. 15 is similar to the image processing device 200 shown in FIGS.
  • Each functional unit of the image processing device 200D shown in FIG. 15 may be implemented by software such as an image processing program executed by the image processing device 200D, or may be implemented by hardware. It may be realized by working
  • the image processing device 200D has an image correction section 240D instead of the image correction section 240A in FIG.
  • the image correction unit 240D has a point light source area detection unit 250D and a correction degree calculation unit 260D instead of the point light source area detection unit 250 and the correction degree calculation unit 260 of FIG. It has an image selection section 290D.
  • Other configurations of the image processing device 200D are the same as those of the image processing device 200A in FIG. Note that the image processing device 200D may have the point light source area detection section 250B of FIG. 10 instead of the point light source area correction section 270A.
  • the point light source region detection unit 250D detects, in the first corrected image data, a high-luminance point light source region such as a preset traffic light, and a super-high-luminance point light source region such as a vehicle headlight. and a function of detecting a light source area. For example, the point light source region detection unit 250D calculates a luminance A (first luminance), which is luminance obtained by adding color difference component amounts to the luminance, for each of a plurality of types of light sources, and the luminance A (first luminance) is the first threshold value. A first region containing larger pixels is detected.
  • the point light source area detection section 250D is an example of an area detection section. An example of point light source area detection processing by the point light source area detection unit 250D will be described with reference to FIG.
  • the correction degree calculation unit 260D calculates a first correction degree ⁇ 1 used for correcting the color information of pixels in a preset high-luminance point light source area (for example, lights of traffic lights, etc.). Further, the correction degree calculator 260D calculates a second correction degree ⁇ 2 used for correcting the color information of pixels other than the preset high-luminance point light source region.
  • High-brightness pixels such as preset traffic lights are examples of specific pixels that contain specific color information. Pixels other than the specific pixels are examples of normal pixels.
  • the point light source area correction unit 270A uses the first correction degree ⁇ 1 instead of the correction degree ⁇ in FIG.
  • the pixel values are blended pixel by pixel to generate provisional first post-correction image data.
  • the point light source area correction unit 280D uses the method shown in FIG. 12 to correct the pixel values of the first post-correction image data in accordance with the second degree of correction ⁇ 2 to generate provisional second post-correction image data. do.
  • the point light source area correction section 270A is an example of a first color information correction section
  • the point light source area correction section 280D is an example of a second color information correction section.
  • the image selection unit 290D selects, for each pixel, the provisional first post-correction image data generated by the point light source region correction unit 270A or the provisional second post-correction data generated by the point light source region correction unit 280D. Output as image data. For example, the image selection unit 290D selects provisional first post-correction image data for pixels to be corrected by the first degree of correction ⁇ 1, and provisional second post-correction image data for pixels to be corrected by the second degree of correction ⁇ 2. to select.
  • FIG. 16 shows an example of point light source detection processing by the point light source area detection unit 250D of FIG.
  • the image processing device 200D in FIG. 15 selects light sources (self-luminous subjects) to be corrected for further correcting the color information of pixels that have undergone auto white balance correction processing, such as blue lights, red lights, and yellow lights of traffic lights, and lights of vehicles. At least one with headlights set. Then, the image processing device 200D changes the white balance processing for each of the light source assumed to be white and the light source assumed to be colored.
  • the point light source region detection unit 250D limits the range of the argument ⁇ , the distance r (color intensity) from the center, and the luminance range in the polar coordinates (r, ⁇ ) of the color difference space CbCr, and determines the limited range. regarded as a light source.
  • the point light source region detection unit 250D determines that a region where the distance r is greater than the threshold th(Y) is a high saturation region, and that pixels included in the high saturation region are specific pixels and are suitable for white balance processing (D65WB) using the standard light source D65. do.
  • the point light source area detection unit 250D treats an area where the distance r is equal to or less than the threshold th(Y) as a low saturation area, and treats the pixels included in the low saturation area as normal pixels to apply auto white balance (AWB) processing. judge.
  • the threshold th(Y) is a first threshold that changes according to luminance, and decreases as the luminance increases.
  • the threshold th(Y) is an example of a first threshold.
  • the point light source region detection unit 250D detects pixels included in a color region that is within a range of a predetermined argument ⁇ and whose distance r is greater than or equal to a predetermined value. , for example, as a red light on a traffic light.
  • the correction processing of the color information of the pixels including the red light of the traffic light and the pixels other than the red light is as follows. "if ( ⁇ > ⁇ RedMin && ⁇ RedMax) ⁇ if (r>c*th(Y)) ⁇ Apply D65WB or apply WB to a specific color of a traffic light ⁇ else ⁇ apply AWB ⁇ ⁇ else ⁇ if (r>th (Y)) ⁇ D65WB applied ⁇ else ⁇ apply AWB ⁇ ⁇ ”
  • the range from ⁇ RedMin to ⁇ RedMax indicates the red range of the red light.
  • Variable c is a value less than 1.0.
  • FIG. 17 and 18 show an example of the operation of the image processing device 200D of FIG. 15.
  • FIG. 17 and 18 show an example of an image processing method by the image processing device 200D, and show an example of an image processing program executed by the image processing device 200.
  • FIG. Elements similar to those in FIG. 5 are given the same step numbers, and detailed descriptions thereof are omitted.
  • steps S10, S20, S30, S41, S42, S62, and S63 are the same as the processes of steps S10, S20, S30, S41, S42, S62, and S63 in FIG. 9, respectively.
  • the processing of step S65 is the same as the processing of step S65 in FIG.
  • step S42 if the luminance A is greater than the threshold value VT0, the image processing device 200D determines that it is a point light source area, and executes step S43 in FIG.
  • the image processing device 200D determines that the area is the main light source area illuminated by streetlights, and performs step S70.
  • step S70 the image processing device 200D performs auto white balance processing on the main light source region, which is the entire image data acquired by the image data acquisition section 210, and ends the processing shown in FIGS.
  • step S43 of FIG. 18 the image processing device 200D, for example, uses the point light source region detection unit 250D to obtain the polar coordinates (r, ⁇ ) of each pixel of the first post-correction image data in the color difference space CbCr.
  • step S44 the image processing device 200D determines, for each pixel, whether or not the distance r is greater than the threshold th(Y) using the point light source area detection unit 250D, for example. Pixels for which the distance r is greater than the threshold th(Y) are adapted to the white balance processing (D65WB) by the standard light source D65 as specific pixels, so the processing of step S51 is performed (first condition). A pixel whose distance r is equal to or less than the threshold th(Y) is treated as a normal pixel and adapted to auto white balance (AWB), so the process of step S52 is performed (second condition).
  • D65WB white balance processing
  • step S51 the image processing device 200D, for example, uses the correction degree calculation unit 260D to calculate the first correction degree ⁇ 1 for each pixel suitable for D65WB processing, and the process proceeds to step S62.
  • step S52 the image processing device 200D, for example, uses the correction degree calculation unit 260D to calculate the second correction degree ⁇ 2 for each pixel suitable for AWB processing, and the process proceeds to step S64.
  • steps S62 and S63 the image processing device 200D executes the same processes as steps S62 and S63 in FIG. 9 by, for example, the point light source area correction unit 270A, and ends the processes shown in FIGS.
  • step S64 the image processing device 200D, for example, performs detection processing for performing auto white balance processing by the point light source area correction unit 280D, and calculates the WB value (weighted by the second degree of correction ⁇ 2).
  • step S65 the image processing device 200D performs the same processing as step S65 in FIG. is calculated, and the processing shown in FIGS. 17 and 18 is terminated.
  • each of the plurality of types of point light sources can be detected with high accuracy.
  • the color of pixels in the point light source region corresponding to each point light source can be accurately reproduced on the image.
  • the image processing device 200D also detects self-luminous subjects other than traffic lights and headlights as point light source areas in the same manner as in FIG. 16, thereby correcting the color information of pixels in the detected point light source areas. can do. As a result, it is possible to prevent the color reproducibility of the point light source regions corresponding to each of the plurality of types of point light sources from deteriorating due to the auto white balance processing.
  • FIG. 19 shows an example of correction degree calculation processing by the image processing apparatus of the sixth embodiment.
  • An image processing device 200E (not shown) that performs the processing in FIG. 19 has the same configuration as the image processing device 200A in FIG.
  • the image processing device 200E has the image data acquisition unit 210, the WB value calculation unit 220, the WB correction unit 230, the point light source region detection unit 250, and the point light source region correction unit 270A shown in FIG.
  • the function of the correction degree calculator (not shown) of the image processing device 200E is different from the function of the correction degree calculator 260 in FIG.
  • the correction degree calculation unit of the image processing device 200E is hereinafter referred to as a correction degree calculation unit 260E.
  • the image processing device 200E is similar to the image processing device 200 shown in FIGS. 1 to 3, and is installed in the image processing system 100 together with the information processing device 300 and the display device 400.
  • FIG. 1 The image processing device 200E is similar to the image processing device 200 shown in FIGS. 1 to 3, and is installed in the image processing system 100 together with the information processing device 300 and the display device 400.
  • the correction degree calculator 260E of this embodiment sets the correction degree ⁇ to "1" for pixels within the distance D0 from the light source. Further, the correction degree calculation unit 260E sets the correction degree ⁇ of a pixel whose distance from the light source is greater than or equal to D0 and less than or equal to D1 so as to approach "0" as the distance increases. Further, the correction degree calculation unit 260E sets the correction degree ⁇ of the pixels farther than D1 from the light source to "0".
  • a pixel area whose distance from the light source is D0 or more and D1 or less is a blend area where D65WB processing and AWB processing are blended according to the degree of correction ⁇ .
  • the distance from the light source may be the distance from the center of the light source if the light source on the image is small, or the distance from the periphery of the light source that is closest to the pixel whose distance is to be measured if the light source on the image is large. distance.
  • the blending area may be rectangular.
  • a dashed-dotted frame indicates a distance of D0 from the light source
  • a dashed frame around the dashed-dotted frame indicates a distance of D1 from the light source.
  • the area inside the dashed-dotted frame is an example of the first area.
  • the area between the dashed-dotted frame and the dashed-line frame is an example of a second area within a predetermined range outside the first area.
  • the degree of correction ⁇ is set not according to the distance, but according to pixels on a frame of a predetermined shape that sequentially spreads outward from the light source.
  • the shape of the frame may be a circle, an ellipse, a polygon, a curve, or a shape similar to the external shape of the light source on the image.
  • the degree of correction ⁇ is set to "1" near the light source, gradually decreases with distance from the light source, and finally set to "0". Further, as shown in FIG. 19, the degree of correction ⁇ is set for each light source.
  • the image processing device 200E blends the first post-correction image data and the second post-correction image data for each pixel in accordance with the degree of correction ⁇ set by the degree-of-correction calculation unit 260E to generate post-correction image data.
  • the degree of correction ⁇ is the blend ratio of the pixel values of the first corrected image data and the second corrected image data.
  • the first post-correction image data is generated by AWB processing
  • the second post-correction image data is generated by D65WB processing.
  • the blending process for each pixel of the first post-correction image data and the second post-correction image data is performed by a point light source region detection unit (not shown) provided in the image processing device 200E and corresponding to the point light source region detection unit 250A in FIG. carried out by
  • the correction degree calculator 260E of this embodiment may be used instead of the correction degree calculator 260 in FIGS. 8, 10, and FIG. 21 described later. may be used in the calculation method of
  • FIG. 20 shows an example of correction degree calculation processing by the image processing apparatus of the seventh embodiment.
  • An image processing device 200F (not shown) that performs the processing in FIG. 20 has the same configuration as the image processing device 200 in FIG. However, the functions of the point light source region detection unit and the correction degree calculation unit (not shown) of the image processing device 200E are different from the functions of the point light source region detection unit 250 and the correction degree calculation unit 260 in FIG.
  • the point light source area detection section of the image processing device 200F is referred to as a point light source area detection section 250F
  • the correction degree calculation section of the image processing device 200F is referred to as a correction degree calculation section 260F.
  • the image processing device 200F is similar to the image processing device 200 shown in FIGS. 1 to 3, and is installed in the image processing system 100 together with the information processing device 300 and the display device 400.
  • the point light source area detection unit 250F outputs, as point light source area information, information indicating pixels in the point light source area whose brightness A is greater than the threshold value VT0 to the correction degree calculation unit 260F.
  • the correction degree calculation unit 260F obtains the correction degree according to the number of pixels of the point light source region included in each block when dividing the image represented by the first post-correction image data into a plurality of blocks. For example, as shown in method 1 in FIG. 20, the correction degree calculator 260F varies the correction degree ⁇ from "0" (0%) to "1.0%" for each block according to the number of pixels whose luminance A is equal to or greater than the threshold value VT0. Set to 0" (100%).
  • the degree-of-correction calculation unit 260F brings the degree of correction ⁇ closer to "1.0" as the number of pixels whose luminance A is greater than or equal to the threshold VT0 increases.
  • the degree ⁇ is fixed at "1.0".
  • the correction degree calculation unit 260F fixes the correction degree ⁇ to "0" when the number of pixels whose luminance A is smaller than the threshold VT0 is equal to or less than a second predetermined number which is less than the first predetermined number.
  • the correction degree calculation unit 260F sets pixels in the point light source region to the first pixel value (for example, “1.0”) in the image represented by the first post-correction image data, and pixels that are not in the point light source region. is the second pixel value (for example, "0").
  • the degree-of-correction calculation unit 260F applies a Gaussian filter to each pixel of the image represented by the first post-correction image data as the first pixel value or the second pixel value, and performs image smoothing processing. Then, the correction degree calculation unit 260F calculates the pixel value luminance A of each pixel of the smoothed image, and calculates the correction degree ⁇ according to the calculated luminance A.
  • the correction degree calculation unit 260F sets each pixel of the image represented by the first post-correction image data as the first pixel value or the second pixel value. Then, the correction degree calculation unit 260F applies a guided filter, performs edge-preserving smoothing processing of the image, calculates the luminance A of each pixel of the smoothed image, and calculates the degree of correction according to the calculated luminance A. Calculate ⁇ .
  • the point light source Even if there is an area in which the pixels of the point light source area and the pixels of the non-point light source area are mixed in the first corrected image data, the point light source The change in the degree of correction ⁇ at the boundary between the area and the astigmatic light source area can be smoothed. As a result, it is possible to prevent an unnatural image such as mottled color of the corrected image data in which the color information of the pixels is corrected using the degree of correction ⁇ .
  • Method 1 shows an example in which the image represented by the first post-correction image data is divided into nine blocks
  • the number of blocks is not limited to nine. As the number of blocks increases, the accuracy of correction improves, but the computational load increases. The smaller the number of blocks, the lower the accuracy of correction, but the smaller the computational load.
  • the filters applied to methods 2 and 3 are not limited to Gaussian filters or guided filters.
  • FIG. 21 shows an example of the functional configuration of an image processing apparatus according to the eighth embodiment. Elements similar to those in FIG. 8 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • An image processing device 200G shown in FIG. 21 is similar to the image processing device 200 shown in FIGS.
  • Each functional unit of the image processing device 200G shown in FIG. 21 may be implemented by software such as an image processing program executed by the image processing device 200G, or may be implemented by hardware. It may be realized by working
  • the image processing device 200G has an image correction unit 240G instead of the image correction unit 240A in FIG. 8, and does not have the WB correction unit 230 in FIG.
  • Image correction unit 240G includes point light source region detection unit 250G, correction degree calculation unit 260G, and point light source region correction unit instead of point light source region detection unit 250, correction degree calculation unit 260, and point light source region correction unit 270A in FIG. 270G.
  • the point light source region correction section 270G has a WB correction section 275 similar to the WB correction section 230 in FIG. 8, and does not have the inverse WB conversion section 271 in FIG.
  • the point light source region corrector 270G is an example of a color information corrector.
  • Other configurations of the image processing device 200G are the same as those of the image processing device 200A in FIG. Since the point light source area correction unit 270G does not have the inverse WB conversion unit 271, for example, the inverse WB conversion unit 271 converts the first post-correction image data generated by the WB correction unit 230 in FIG. It is possible to suppress the deterioration of image quality that occurs when
  • the point light source region detection unit 250G performs point light source region detection processing according to the image data (input image) acquired by the image data acquisition unit 210 and the WB value calculated by the WB value calculation unit 220, and detects the point light source region.
  • the information is output to the correction degree calculator 260G.
  • the point light source region detection unit 250G detects the point light source region using the image data before auto white balance processing is performed instead of the first post-correction image data that has been subjected to auto white balance processing. To detect. Therefore, the point light source region cannot be detected using the distance ⁇ C from the origin in the color difference space CbCr in the YCbCr color space described with reference to FIG. This is because the main light source is detected as a point light source area when using image data before auto white balance processing is performed.
  • An example of point light source area detection processing by the point light source area detection unit 250G will be described with reference to FIG.
  • the point light source area detection section 250G is an example of an area detection section.
  • the correction degree calculator 260G sets the correction degree ⁇ of the point light source region to "1.0", and sets the correction degree ⁇ of the non-point light source region to "0". Note that the correction degree calculation unit 260G gradually changes the correction degree ⁇ from "0" to "1.0” from the inner side to the outer side in the boundary portion of the point light source region (peripheral portion of the cylindrical region in FIG. 22). You may let
  • the WB correction unit 275 performs white balance processing on each pixel of the image data according to the WB value calculated by the WB value calculation unit 220, and converts the first post-correction image data. Generate.
  • the functions of the WB correction unit 272 and the blend processing unit 273 are the same as the functions of the WB correction unit 272 and the blend processing unit 273 in FIG. 8, respectively. Therefore, similarly to the point light source region correction unit 270A in FIG. 8, the point light source region correction unit 270G blends the first post-correction image data and the second post-correction image data for each pixel according to the degree of correction ⁇ . Corrected image data can be generated.
  • FIG. 22 shows an example of processing by the point light source area detection unit 250G in FIG.
  • the point light source area detection unit 250G XYZ-converts the input image expressed in the RGB color space, and obtains the coordinates of the input image expressed in the XYZ color space. Furthermore, the point light source region detection unit 250G performs xyY conversion on the coordinates of the input image represented by the XYZ color space, and obtains the coordinates of the input image represented by the xyY color space.
  • the point light source area detection unit 250G performs XYZ conversion on the WB value of the main light source such as the street lamp calculated by the WB value calculation unit 220, and obtains the coordinates of the WB value of the main light source shown in the XYZ color space. Further, the point light source area detection unit 250G performs xyY conversion on the coordinates of the WB value of the main light source indicated in the XYZ color space, and obtains the reference coordinates, which are the coordinates of the WB value of the main light source indicated in the xyY color space.
  • the coefficients used for the XYZ transformation shown in FIG. 22 are calculated in advance according to the characteristics of the imaging device 507. Also, the x-value, y-value and Y-value obtained by the xyY conversion are calculated by the formulas illustrated in FIG. Here, the color of a pixel is represented by an x value and a y value, and the brightness of a pixel is represented by a brightness Y corresponding to luminance.
  • the point light source region detection unit 250G uses the coordinates of the input image converted into the xyY color space and the reference coordinates of the WB value of the main light source to perform detection processing of the point light source region included in the first post-correction image data. do. First, in the xyY color space, the point light source region detection unit 250G detects a color within a range of a first distance ⁇ C with respect to the color (x, y) on the reference coordinates of the WB value of the main light source such as a streetlight. The color of the subject illuminated by the illumination light of A color (x, y) is represented by chromaticity coordinates (x, y) in the xyY color space.
  • the point light source region detection unit 250G detects a pixel value (x , y, Y) is detected as a point light source area.
  • the point light source region detection unit 250G detects the outside of the cylindrical region in the cross-sectional direction where the lightness Y is equal to or greater than the threshold thL and the color (x, y) is within the range of the first distance ⁇ C.
  • a region (first region) is detected as a point light source region.
  • the point light source area detection unit 250G outputs point light source area information indicating the determined point light source area to the correction degree calculation unit 260G in FIG.
  • the correction degree calculator 260G sets the correction degree ⁇ to "1.0" or "0" depending on, for example, whether the area is a point light source area.
  • the point light source region correction unit 270G in FIG. 21 corrects the first corrected image data and the second corrected image data for each pixel according to the degree of correction ⁇ , similarly to the point light source region correction unit 270A in FIG. to generate the corrected image data.
  • the point light source region correction unit 270G does not have the inverse WB conversion unit 271
  • the processing load of the point light source region correction unit 270G can be reduced compared to the case where the inverse WB conversion unit 271 is provided. can be done.
  • the point light source area correction unit 270G does not have the inverse WB conversion unit 271, for example, the first post-correction image data generated by the WB correction unit 230 in FIG. It is possible to suppress deterioration of image quality when converting to .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

画像処理装置は、画像データにオートホワイトバランス処理を実施した第１補正後画像データにおいて、輝度に色差成分量を付加した輝度である第１輝度が第１閾値より大きい画素を含む第１領域を検出する。画像処理装置は、第１輝度に応じて計算した、第１領域に含まれる画素の色情報の補正度合いに応じて、第１領域に含まれる画素の色情報を補正する。これにより、主光源による照明が照射される被写体領域に自発光被写体が含まれる場合にも、オートホワイトバランス処理による自発光被写体の色再現性の低下を抑制することができる。

Description

画像処理装置および画像処理方法
　本発明は、画像処理装置および画像処理方法に関する。
　画像処理装置において、強い色かぶりの影響を及ぼす光源下で撮影された画像に対するホワイトバランス処理時に、光源を推定し、光源種毎に作成されたカラープロファイルを用いて画像の色を補正する手法が知られている（例えば、特許文献１参照）。照明下で取得された画像に対するホワイトバランス処理時に、被写体画像に特定の発光体が含まれる場合、被写体画像から特定した色温度に基づいて画像データの彩度を抑制する手法が知られている（例えば、特許文献２参照）。
特開２０１１－２５４３１１号公報 国際公開第２０１９／１１１９２１号
　例えば、ヘッドライトまたは信号機等の自発光被写体を含む被写体領域がナトリウム灯等の街灯の照明下で撮影される場合、撮影された画像にオートホワイトバランス処理を行うと自発光被写体の色再現性が低下するおそれがある。
　本発明は、上記の点に鑑みてなされたもので、主光源による照明が照射される被写体領域に自発光被写体が含まれる場合にも、オートホワイトバランス処理による自発光被写体の色再現性の低下を抑制することを目的とする。
　本発明の一態様では、画像処理装置は、第１画像データを取得する画像データ取得部と、前記第１画像データに応じてオートホワイトバランス処理に使用するホワイトバランス値を計算するホワイトバランス値計算部と、前記ホワイトバランス値に応じて、前記第１画像データのオートホワイトバランス処理を実施し、第１補正後画像データを生成する第１ホワイトバランス補正部と、前記第１補正後画像データにおいて、輝度に色差成分量を付加した輝度である第１輝度を計算し、前記第１輝度が第１閾値より大きい画素を含む第１領域を検出する領域検出部と、前記第１補正後画像データにおいて、少なくとも前記第１領域に含まれる画素の色情報の補正度合いを前記第１輝度に応じて計算する補正度合い計算部と、前記第１補正後画像データにおいて、少なくとも前記第１領域に含まれる画素の色情報を前記補正度合いに応じて補正する色情報補正部と、を有する。
　開示の技術によれば、主光源による照明が照射される被写体領域に自発光被写体が含まれる場合にも、オートホワイトバランス処理による自発光被写体の色再現性の低下を抑制することができる。
第１の実施形態における画像処理装置を含む画像処理システムの一例を示すイメージ図である。 図１の移動体に搭載される各種装置の構成の概要を示すブロック図である。 図２の画像処理装置の構成の一例を示すブロック図である。 図２の画像処理装置の機能構成の一例を示す機能ブロック図である。 図２の画像処理装置の動作の一例を示すフロー図である。 図４の点光源領域検出部による処理の一例を示す説明図である。 図４の補正度合い計算部による処理と点光源領域補正部による処理の一例を示す説明図である。 第２の実施形態の画像処理装置の機能構成の一例を示す機能ブロック図である。 図８の画像処理装置の動作の一例を示すフロー図である。 第３の実施形態の画像処理装置の機能構成の一例を示す機能ブロック図である。 第４の実施形態の画像処理装置の動作の一例を示すフロー図である。 図１１のステップＳ６５の処理の一例を示す説明図である。 図１１の処理フローによる画像の補正の一例を示す説明図である。 図１１のステップＳ６５の処理の別の例を示す説明図である。 第５の実施形態の画像処理装置の機能構成の一例を示す機能ブロック図である。 図１５の点光源領域検出部による点光源の検出処理の一例を示す説明図である。 図１５の画像処理装置の動作の一例を示すフロー図である。 図１７の動作の続きを示すフロー図である。 第６の実施形態の画像処理装置による補正度合い計算処理の一例を示す説明図である。 第７の実施形態の画像処理装置による補正度合い計算処理の一例を示す説明図である。 第８の実施形態の画像処理装置の機能構成の一例を示す機能ブロック図である。 図２１の点光源領域検出部による処理の一例を示す説明図である。
　以下、図面を用いて実施形態を説明する。以下の説明では、画像データを単に画像と称する場合がある。また、画素値または画素データを単に画素と称する場合がある。なお、以下に示す実施形態は、夜間またはトンネル内等において街灯による照明光が被写体に照らされている状況で顕著な効果を有するが、早朝、夕刻などの薄暗い状況、または、霧が発生している等の悪天候の状況でも所定の効果を得ることができる。
　（第１の実施形態）
　図１は、第１の実施形態における画像処理装置を含む画像処理システムの一例を示す。図１に示す画像処理システム１００は、例えば、自動車等の移動体５００に搭載される。移動体５００の前方、後方、左側および右側と、移動体５００の車内の前方には、カメラ等の撮像装置５０７Ａ、５０７Ｂ、５０７Ｃ、５０７Ｄ、５０７Ｅが設置される。以下では、撮像装置５０７Ａ、５０７Ｂ、５０７Ｃ、５０７Ｄ、５０７Ｅを区別なく説明する場合、撮像装置５０７とも称される。
　なお、移動体５００に設置される撮像装置５０７の数および設置位置は、図１に限定されない。例えば、１つの撮像装置５０７が移動体５００の前方のみに設置されてもよく、２つの撮像装置５０７が前方と後方に設置されてもよい。あるいは、撮像装置５０７は、移動体５００の天井に設置されてもよい。また、画像処理システム１００が搭載される移動体５００は、自動車に限定されず、例えば、工場内で稼働する搬送ロボットまたはドローンでもよい。また、画像処理システム１００は、例えば、監視カメラ、デジタルスチルカメラまたはデジタルカムコーダなどの、移動体５００に設置された撮像装置以外の撮像装置から取得した画像を処理するシステムであってもよい。
　画像処理システム１００は、画像処理装置２００、情報処理装置３００および表示装置４００を有する。なお、図１では、説明を分かりやすくするために、上方から俯瞰した移動体５００のイメージ図に画像処理システム１００を重ねて記載している。しかしながら、実際には、画像処理装置２００および情報処理装置３００は、移動体５００に搭載される制御基板等に実装され、表示装置４００は、移動体５００内の人物から見える位置に設置される。なお、画像処理装置２００は、情報処理装置３００の一部として制御基板等に実装されてもよい。各撮像装置５０７は、信号線または無線を介して画像処理装置２００に接続される。
　図２は、図１の移動体５００に搭載される各種装置の構成の概要を示す。移動体５００は、内部ネットワークを介して相互に接続された画像処理装置２００、情報処理装置３００、表示装置４００、少なくとも１つのＥＣＵ（Electronic Control Unit）５０１および無線通信装置５０２を有する。また、移動体５００は、センサ５０３、駆動装置５０４、ランプ装置５０５、ナビゲーション装置５０６および撮像装置５０７を有する。例えば、内部ネットワークは、ＣＡＮ（Controller Area Network）またはイーサネット（登録商標）等の車載ネットワークである。
　画像処理装置２００は、撮像装置５０７により取得された画像データ（フレームデータ）を補正し、補正後画像データを生成する。例えば、画像処理装置２００は、生成した補正後画像データを、表示装置４００に表示する。なお、画像処理装置２００は、生成した補正後画像データを、外部または内部の記録装置に記録してもよい。
　情報処理装置３００は、画像処理装置２００を介して受信する画像データに基づいて認識処理等を実施するプロセッサ等のコンピュータを含む。例えば、移動体５００に搭載される情報処理装置３００は、画像データの認識処理を実施することで、他の移動体、信号、標識、道路の白線および人物等を検出し、検出結果に基づいて移動体５００の周囲の状況を判断する。
　また、情報処理装置３００は、ＥＣＵ５０１を制御することにより、移動体５００の全体を制御する。さらに、情報処理装置３００は、移動体５００の移動、停止、右折および左折等を制御する自動運転制御装置を含んでもよい。この場合、情報処理装置３００は、画像処理装置２００により生成された画像に基づいて、移動体５００の外部の物体を認識する機能を有してもよく、認識した物体を追尾する機能を有してもよい。
　表示装置４００は、画像処理装置２００により生成された画像および補正画像等を表示する。表示装置４００は、例えば、移動体５００に設置されるサイドミラーモニタ、バックミラーモニタまたはナビゲーション装置のディスプレイである。なお、表示装置４００は、ダッシュボード等に設けられたディスプレイ、または、投影板またはフロントガラス等に画像を投影するヘッドアップディスプレイ（Head Up Display）等でもよい。また、表示装置４００は、移動体５００が後進（バック）する際に、移動体５００の後進方向の画像をリアルタイムで表示してもよい。さらに、表示装置４００は、ナビゲーション装置５０６から出力される画像を表示してもよい。
　ＥＣＵ５０１は、エンジンまたはトランスミッション等の機構部に対応してそれぞれ設けられる。各ＥＣＵ５０１は、情報処理装置３００からの指示に基づいて、対応する機構部を制御する。無線通信装置５０２は、移動体５００の外部の装置との通信を行う。センサ５０３は、各種の情報を検出するセンサである。センサ５０３は、例えば、移動体５００の現在の位置情報を取得する位置センサを含んでもよい。また、センサ５０３は、移動体５００の速度を検出する速度センサを含んでもよい。
　駆動装置５０４は、移動体５００を移動させるための各種装置である。駆動装置５０４には、例えば、エンジン、操舵装置（ステアリング）、および制動装置（ブレーキ）等が含まれてもよい。ランプ装置５０５は、移動体５００に搭載された各種灯具である。ランプ装置５０５には、例えば、前照灯（ヘッドランプ、ヘッドライト）、方向指示器（ウインカー）のランプ、バックライトおよびブレーキランプ等が含まれてもよい。ナビゲーション装置５０６は、目的地への経路を音声および表示により案内する装置である。
　図３は、図２の画像処理装置２００の構成の一例を示す。なお、図２の情報処理装置３００も図３と同様の構成を有する。例えば、画像処理装置２００は、バスＢＵＳで相互に接続されたＣＰＵ２０、インタフェース装置２１、ドライブ装置２２、補助記憶装置２３およびメモリ装置２４を有する。
　ＣＰＵ２０は、メモリ装置２４に格納された画像処理プログラムを実行することで、後述する各種の画像処理を実行する。インタフェース装置２１は、図示しないネットワークに接続するために使用される。補助記憶装置２３は、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等であり、画像処理プログラム、画像データおよび画像処理に使用する各種パラメータ等を保持する。
　メモリ装置２４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等であり、補助記憶装置２３から転送される画像処理プログラム等を保持する。ドライブ装置２２は、記録媒体３０を接続するインタフェースを有し、例えば、ＣＰＵ２０からの指示に基づいて、記録媒体３０に格納された画像処理プログラムを補助記憶装置２３に転送する。なお、ドライブ装置２２は、補助記憶装置２３に記憶された画像データ等を記録媒体３０に転送してもよい。
　図４は、図２の画像処理装置２００の機能構成の一例を示す。図４に示す画像処理装置２００の各機能部は、画像処理装置２００が実行する画像処理プログラムにより実現されてもよく、画像処理装置２００に搭載されるＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアにより実現されてもよい。また、図４に示す画像処理装置２００の各機能部は、ソフトウェアとハードウェアとを協働させることにより実現されてもよい。
　画像処理装置２００は、画像データ取得部２１０、ＷＢ（ホワイトバランス）値計算部２２０、ＷＢ（ホワイトバランス）補正部２３０、および画像補正部２４０を有する。画像補正部２４０は、点光源領域検出部２５０、補正度合い計算部２６０および点光源領域補正部２７０を有する。以下では、ホワイトバランスは、ＷＢとも称され、オートホワイトバランスは、ＡＷＢとも称される。
　画像データ取得部２１０は、図１に示す複数の撮像装置５０７のうち、例えば、撮像装置５０７Ｅまたは撮像装置５０７Ａにより撮像された画像を示す画像データ（例えば、フレームデータ）を取得する画像データ取得処理を実施する。画像データ取得部２１０が取得する画像データは、第１画像データの一例である。なお、画像データ取得部２１０は、撮像装置５０７Ｅ、５０７Ａ以外の撮像装置５０７により撮像された画像を示す画像データを取得してもよく、全ての撮像装置５０７により撮像された画像を示す画像データを取得してもよい。
　ＷＢ値計算部２２０は、画像データ取得部２１０が取得した画像データに基づいて、被写体に照明を照射している主光源を判別する検波を行い、判別した光源に対応するＷＢ値を計算するホワイトバランス値計算処理を実施する。すなわち、ＷＢ値計算部２２０は、オートホワイトバランス処理に使用するホワイトバランス値を算出する。
　ＷＢ補正部２３０は、ＷＢ値計算部２２０が計算したＷＢ値に応じて画像データの各画素のオートホワイトバランス処理を実施し、第１補正後画像データを生成する第１ホワイトバランス補正処理を実施する。例えば、オートホワイトバランス処理を実施する各画素は、ベイヤー配列に配置された１つの赤画素、１つの青画素および２つの緑画素を含む。ＷＢ補正部２３０は、第１ホワイトバランス補正部の一例である。
　点光源領域検出部２５０は、第１補正後画像データに含まれる点光源領域（画素領域）を検出する領域検出処理を実施する。点光源領域検出部２５０は、領域検出部の一例であり、点光源領域は、第１領域の一例である。
　ここで、点光源は、車両のヘッドライトまたは信号機の灯火等の自発光被写体を含む。点光源領域は、自発光被写体の領域だけでなく、自発光被写体によりハレーションが発生した領域と自発光被写体から照射される光を反射する被写体の領域とを含んでもよい。点光源領域検出部２５０は、検出した点光源領域を示す点光源領域情報を補正度合い計算部２６０に出力する。点光源領域検出部２５０による点光源の検出処理の例は、図６で説明される。
　なお、点光源領域検出部２５０は、第１補正後画像データの画素毎に、色差成分量を含む輝度である後述する輝度Ａと、点光源領域の検出に使用した輝度Ａの閾値とを点光源領域情報として補正度合い計算部２６０に出力してもよい。また、点光源領域検出部２５０は、第１補正後画像データの画素毎の輝度Ａを点光源領域情報として補正度合い計算部２６０に出力してもよい。この場合、所定の閾値以上の輝度Ａを有する画素の領域を点光源領域として検出する処理は、補正度合い計算部２６０により実施されるため、点光源領域の検出機能は、補正度合い計算部２６０に含まれる。そして、点光源領域検出部２５０は、輝度Ａを計算する輝度計算部として機能する。
　補正度合い計算部２６０は、点光源領域情報に応じて、点光源領域の画素の色情報の補正に使用する補正度合いαを計算する補正度合い計算処理を実施する。なお、補正度合い計算部２６０は、点光源領域だけでなく、点光源領域を含む第１補正後画像データの画素毎に補正度合いαを計算してもよい。補正度合い計算部２６０による補正度合いαの計算例については、図７で説明される。
　点光源領域補正部２７０は、第１補正後画像データに含まれる点光源領域の各画素の色情報を、補正度合い計算部２６０が計算した補正度合いαを使用して補正する色情報補正処理を実施する。点光源領域補正部２７０は、色情報補正部の一例である。オートホワイトバランス補正が実施された第１補正後画像データを、補正度合いαを使用してさらに補正する手法については、図７で説明される。点光源領域補正部２７０は、第１補正後画像データに含まれる点光源領域の画素の色情報を補正した補正後画像データを表示装置４００および情報処理装置３００の少なくとも一方に出力する。
　図５は、図２の画像処理装置２００の動作の一例を示す。すなわち、図５は、画像処理装置２００による画像処理方法の一例を示し、画像処理装置２００が実行する画像処理プログラムの一例を示す。
　まず、ステップＳ１０において、画像処理装置２００は、例えば、画像データ取得部２１０により、各撮像装置５０７により撮像された画像データを取得する。次に、ステップＳ２０において、画像処理装置２００は、例えば、ＷＢ値計算部２２０により、取得した画像データに基づいてオートホワイトバランス処理を実施するための検波処理を行い、ＷＢ値を計算する。次に、ステップＳ３０において、画像処理装置２００は、例えば、ＷＢ補正部２３０により、ＷＢ値に応じて画像データのホワイトバランス処理を実施し、第１補正後画像データを生成する。
　次に、画像処理装置２００は、ステップＳ４０、Ｓ５０、Ｓ６０において、例えば、画像補正部２４０により、第１補正後画像データの補正処理を実施する。まず、ステップＳ４０において、画像処理装置２００は、例えば、点光源領域検出部２５０により、第１補正後画像データに含まれる点光源領域を検出する。点光源領域は、輝度Ａと閾値とにより示されてもよい。
　次に、ステップＳ５０において、画像処理装置２００は、例えば、補正度合い計算部２６０により、点光源領域の輝度Ａに応じて、第１補正後画像データのうち少なくとも点光源領域の画素の色情報の補正に使用する補正度合いαを計算する。次に、ステップＳ６０において、画像処理装置２００は、例えば、点光源領域補正部２７０により、第１補正後画像データのうち少なくとも点光源領域の画素の色情報を、補正度合い計算部２６０が計算した補正度合いαを使用して補正する。そして、点光源領域補正部２７０は、補正後画像データを生成し、図５に示す処理を終了する。
　図６は、図４の点光源領域検出部２５０による処理の一例を示す。まず、点光源領域検出部２５０は、色差空間ＣｂＣｒにおいて、ホワイトバランス処理が実施された第１補正後画像データの各画素の色の原点からの距離ΔＣを計算する。距離ΔＣは、例えば、画素の色の濃さを示す。次に、点光源領域検出部２５０は、式（１）を使用して、画素の輝度Ｙと計算した距離ΔＣとを加算することで輝度Ａを計算する。
　輝度Ａ＝Ｙ＋ｋ・ΔＣ　‥（１）
　輝度Ａは、ＹＣｂＣｒ色空間で表される画素の輝度情報である輝度Ｙと、画素の色の濃さ（鮮やかさ）の指標である距離ΔＣに係数ｋを乗じた値との和であり、第１輝度の一例である。係数ｋは、距離ΔＣの重み付けを調整に使用され、"０"より大きい値である。係数ｋは、画像処理装置２００の設計時または性能評価時に予め設定される。
　例えば、図６の輝度Ｙと距離ΔＣとのグラフで示されるように、輝度Ｙが大きく、距離ΔＣも比較的大きい自発光被写体の輝度Ａは大きくなる。撮像装置５０７により撮影される被写体に照明光を照射する街灯等の主光源の輝度Ｙは大きい。しかしながら、主光源の色はオートホワイトバランス処理により無彩色になるため、主光源の輝度Ａは、自発光被写体の輝度Ａより十分に小さくなる。
　黒の画素は、輝度Ｙおよび距離ΔＣが小さいため、黒の画素の輝度Ａは、自発光被写体の輝度Ａより十分に小さくなる。また、距離ΔＣが大きいが（色が濃い）、輝度Ｙが小さい画素の輝度Ａも、自発光被写体の輝度Ａより十分に小さくなる。
　点光源領域検出部２５０は、輝度Ａが所定の閾値ＶＴ０以下の画素を点光源領域でないと判定し、輝度Ａが閾値ＶＴ０より大きい画素を点光源領域と判定する。例えば、閾値ＶＴ０は、街灯等の主光源のオートホワイトバランス処理後の輝度Ａより大きい値に設定される。
　図７のグラフは、図４の補正度合い計算部２６０による処理と点光源領域補正部２７０による処理の一例を示す。補正度合い計算部２６０は、輝度Ａが閾値ＶＴ０より小さい画素の補正度合いαを"０"に設定し、輝度Ａが閾値ＶＴ１より大きい画素の補正度合いαを"１"に設定する。また、点光源領域補正部２７０は、輝度Ａが閾値ＶＴ０以上で閾値ＶＴ１以下の画素の補正度合いαを、式（２）にしたがって、輝度Ａが高くなるほど大きく設定する。閾値ＶＴ０は、第１閾値の一例であり、閾値ＶＴ１は、第２閾値の一例である。
　補正度合いα＝（輝度Ａ－ＶＴ０）／（ＶＴ１－ＶＴ０）　‥（２）
　ここで、補正度合いαは、点光源領域補正部２７０により色情報が補正される第１補正後画像データの補正の適用率を示す。このように、補正度合い計算部２６０は、輝度Ａに応じて第１補正後画像データの色情報の補正の適用率を計算する。
　補正度合いαが"０"の画素は、第１補正後画像データに対する点光源領域としての補正が実施されない。補正度合いαが"１"の画素は、第１補正後画像データに対する点光源領域としての補正が１００％実施される。同様に、補正度合いαが"０．３"の画素は、第１補正後画像データに対する点光源領域としての補正が３０％実施され、補正度合いαが"０．７"の画素は、第１補正後画像データに対する点光源領域としての補正が７０％実施される。
　図７（ａ）は、撮像装置５０７Ｅにより撮影された撮影画像の例を示す。図７（ｂ）は、ＷＢ補正部２３０によりオートホワイトバランス処理が実施された第１補正後画像データによる画像の例を示す。図７（ｃ）は、点光源領域補正部２７０により補正された補正後画像データによる画像の例を示す。
　図７（ａ）に示す撮影画像では、ナトリウム灯等の主光源による照明が被写体領域に照射され、道路および道路上の被写体の画像には、主光源による照明の色味が付いている。車両のヘッドライトおよび信号機の灯火等の自発光被写体とその周囲を含む点光源領域の画像は、主光源による照明の影響を受けにいため、昼光光源下での色味と同様の色を有している（色再現性がある）。
　図７（ｂ）に示すオートホワイトバランス処理が実施された第１補正後画像データでは、点光源領域を除く領域の画像は、昼光光源下での色味と同様の色を有している（色再現性がある）。一方、点光源領域の画像は、オートホワイトバランス処理により、昼光光源下での色味と異なる色になる（色再現性の低下）。点光源領域検出部２５０は、図７（ｂ）で示される画像に対応する第１補正後画像データから各画素の輝度Ａを計算し、点光源領域を検出する。
　図７（ｃ）の点光源領域の色情報の補正が実施された補正後画像データでは、点光源領域（０≦α）の画像は、オートホワイトバランス処理により補正された色味が補正度合いαに応じて補正され、昼光光源下での色味と同様の色に変換される。点光源領域を除く領域（α＜０）の画像は、オートホワイトバランス処理の結果がそのまま反映され、昼光光源下での色味と同様の色を有する。
　これにより、点光源領域補正部２７０は、主光源を除いた自発光被写体を含む点光源領域のオートホワイトバランス処理後の各画素の色情報を補正することができる。この結果、点光源領域の色再現性が、オートホワイトバランス処理により低下することを抑制することができる。また、点光源領域補正部２７０による色情報の補正の対象に、街灯等の主光源が含まれないため、オートホワイトバランス処理により補正された主光源の色味が不自然になることを抑制することができる。
　以上、この実施形態では、オートホワイトバランス処理により色再現性が低下する自発光被写体の色味を、昼光光源下での色味に補正することができる。したがって、主光源による照明の色味が付いた道路および道路上の被写体の画像と、自発光被写体とその周囲を含む点光源領域の画像との両方を、昼光光源下での色味と同様の色味に補正することができる。この結果、主光源による照明下でオートホワイトバランス処理される画像に自発光被写体が含まれる場合にも、正しい色に再現された画像を生成することができる。
　この際、自発光被写体によりハレーションが発生した領域および自発光被写体から照射される光を反射する被写体の領域においても、オートホワイトバランス処理により色再現性が低下した画素の色を昼光光源下での色味と同様の色味に補正することができる。
　点光源領域検出部２５０により色差成分量を含む輝度である輝度Ａを計算することで、主光源の輝度Ａを閾値ＶＴ０より小さくすることができる。例えば、点光源領域検出部２５０は、ＹＣｂＣｒ色空間で表される画素の輝度Ｙと、色差空間ＣｂＣｒでの原点からの距離ΔＣ（色差成分量）の和を輝度Ａとする。この結果、ホワイトバランス処理により補正された主光源の画素の色味が、点光源領域補正部２７０により補正されて不自然になることを抑制することができる。
　補正度合い計算部２６０により、点光源領域の画素の色情報の補正に使用する補正度合いαを計算することで、点光源領域と非点光源領域との境界部分の画像において、画素の色が急激に変化することを抑制することができる。この結果、境界部分の画像が不自然になることを軽減することができる。
　（第２の実施形態）
　図８は、第２の実施形態の画像処理装置の機能構成の一例を示す。図４と同様の要素については同じ符号を付し、詳細な説明は省略する。図８に示す画像処理装置２００Ａは、図１から図３に示す画像処理装置２００と同様であり、情報処理装置３００および表示装置４００とともに画像処理システム１００に搭載される。
　図８に示す画像処理装置２００Ａの各機能部は、画像処理装置２００Ａが実行する画像処理プログラム等のソフトウェアにより実現されてもよく、ハードウェアにより実現されてもよく、ソフトウェアとハードウェアとを協働させることにより実現されてもよい。
　画像処理装置２００Ａは、図４の画像補正部２４０の代わりに画像補正部２４０Ａを有する。画像補正部２４０Ａは、図４の点光源領域補正部２７０の代わりに点光源領域補正部２７０Ａを有する。画像処理装置２００Ａのその他の構成は、図４の画像処理装置２００と同様である。
　点光源領域補正部２７０Ａは、逆ＷＢ変換部２７１、ＷＢ補正部２７２およびブレンド処理部２７３を有する。点光源領域補正部２７０Ａは、色情報補正部の一例である。逆ＷＢ変換部２７１は、ＷＢ値計算部２２０が計算したＷＢ値を使用して、ＷＢ補正部２３０が生成した第１補正後画像データをホワイトバランス処理前の元の画像データに変換する。
　ＷＢ補正部２７２は、例えば、標準光源Ｄ６５（昼光光源）のＷＢ値を使用して、元の画像データの各画素のホワイトバランス処理を実施し、第２補正後画像データを生成する。ＷＢ補正部２７２は、第２ホワイトバランス補正部の一例である。例えば、標準光源Ｄ６５のＷＢ値は、予め設定された固定のＷＢ値である。標準光源Ｄ６５によるホワイトバランス処理を実施することで、元の画像データに含まれるヘッドライトおよび信号機の灯火等の自発光被写体の色味を昼光下での自然な色味にすることができる。
　ブレンド処理部２７３は、式（３）を使用して、補正度合い計算部２６０が計算した補正度合いαに応じて、第１補正後画像データ（ａ）の画素値および第２補正後画像データ（ｂ）の画素値を画素毎にブレンドして補正後画像データを生成する。
　ａ×（１－α）＋ｂ×α　‥（３）
　これにより、補正度合いαが"０"の画素（図７の輝度Ａが閾値ＶＴ０より小さい画素）は、第１補正後画像データ（ａ）の画素となる。補正度合いαが"１"の画素（図７の輝度Ａが閾値ＶＴ１より大きい画素）は、第２補正後画像データ（ｂ）の画素となる。
　また、補正度合いαが"０"以上"１"以下の画素（閾値ＶＴ０以上閾値ＶＴ１以下の画素）は、補正度合いαに応じて第１補正後画像データ（ａ）の画素値および第２補正後画像データ（ｂ）の画素値がブレンドされる。例えば、補正度合いαが"０．３"の画素は、第１補正後画像データ（ａ）の画素値の７０％と、第２補正後画像データ（ｂ）の画素値の３０％とがブレンドされる。補正度合いαが"０．７"の画素は、第１補正後画像データ（ａ）の画素値の３０％と、第２補正後画像データ（ｂ）の画素値の７０％とがブレンドされる。
　なお、ブレンド処理部２７３は、α＝０（輝度Ａ＜閾値ＶＴ０）の画素のブレンド処理を実施せず、第１補正画像データを補正後画像データとして出力してもよい。同様に、ブレンド処理部２７３は、α＝１（輝度Ａ＞閾値ＶＴ１）の画素のブレンド処理を実施せず、第２補正後画像データを補正後画像データとして出力してもよい。この場合、ブレンド処理部２７３は、補正度合いαが"０"より大きく"１"より小さい画素のみのブレンド処理を実施すればよいため、計算負荷を軽減することができる。
　図９は、図８の画像処理装置２００Ａの動作の一例を示すフロー図である。すなわち、図９は、画像処理装置２００Ａによる画像処理方法の一例を示し、画像処理装置２００Ａが実行する画像処理プログラムの一例を示す。図５と同様の要素については、同じステップ番号を付し、詳細な説明は省略する。
　ステップＳ１０、Ｓ２０、Ｓ３０、Ｓ５０の処理は、図５のステップＳ１０、Ｓ２０、Ｓ３０、Ｓ５０の処理とそれぞれ同様である。そして、図９では、図５のステップＳ４０の代わりにステップＳ４１、Ｓ４２が実施され、ステップＳ６０の代わりにステップＳ６１、Ｓ６２、Ｓ６３が実施される。なお、ステップＳ６１、Ｓ６２の処理は、ステップＳ４１、Ｓ４２、Ｓ５０の処理と並列に実施されてもよい。
　ステップＳ３０の後、ステップＳ４１において、画像処理装置２００Ａは、例えば、点光源領域検出部２５０により、上述した式（１）を使用して、画素毎の輝度Ａを計算する。次に、ステップＳ４２において、画像処理装置２００Ａは、画素毎に輝度Ａが閾値ＶＴ０より大きいか否かを判定する。画像処理装置２００Ａは、輝度Ａが閾値ＶＴ０より大きい画素については、ステップＳ５０の処理を実施し、輝度Ａが閾値ＶＴ０以下の画素については、図９に示す処理を終了する。
　ステップＳ５０において、画像処理装置２００Ａは、例えば、補正度合い計算部２６０により、ステップＳ４２で選択された画素の輝度Ａに応じて、補正度合いαを計算する。次に、ステップＳ６１において、画像処理装置２００Ａは、例えば、逆ＷＢ変換部２７１により、第１補正後画像データをホワイトバランス処理前の元の画像データに変換する。
　次に、ステップＳ６２において、画像処理装置２００Ａは、例えば、ＷＢ補正部２７２により、標準光源Ｄ６５のＷＢ値を使用して、元の画像データの各画素のホワイトバランス処理を実施し、第２補正後画像データを生成する。次に、ステップＳ６３において、画像処理装置２００Ａは、例えば、ブレンド処理部２７３により、補正度合いαに応じて、第１補正後画像データの画素値および第２補正後画像データの画素値を画素毎にブレンドして補正後画像データを生成する。そして、画像処理装置２００Ａは、図９に示す処理を終了する。
　以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。例えば、主光源による照明下でオートホワイトバランス処理される画像に自発光被写体が含まれる場合にも、正しい色に再現された画像を生成することができる。
　さらに、この実施形態では、画像処理装置２００Ａは、オートホワイトバランス処理が実施された第１補正画像データと、標準光源Ｄ６５によるホワイトバランス処理が実施された第２補正後画像データとを、補正度合いαに応じてブレンド処理する。これにより、元の画像データに含まれるヘッドライトおよび信号機の灯火等の自発光被写体の色味を自然な色味にすることができる。また、ブレンド処理部２７３が、α＝０およびα＝１の画素のブレンド処理を実施しないことで、ブレンド処理部２７３の計算負荷を軽減することができる。
　（第３の実施形態）
　図１０は、第３の実施形態の画像処理装置の機能構成の一例を示す。図４および図８と同様の要素については同じ符号を付し、詳細な説明は省略する。図１０に示す画像処理装置２００Ｂは、図１から図３に示す画像処理装置２００と同様であり、情報処理装置３００および表示装置４００とともに画像処理システム１００に搭載される。
　図１０に示す画像処理装置２００Ｂの各機能部は、画像処理装置２００Ｂが実行する画像処理プログラム等のソフトウェアにより実現されてもよく、ハードウェアにより実現されてもよく、ソフトウェアとハードウェアとを協働させることにより実現されてもよい。
　画像処理装置２００Ｂは、図８の点光源領域補正部２７０Ａの代わりに点光源領域補正部２７０Ｂを有する。点光源領域補正部２７０Ｂは、図８の点光源領域補正部２７０Ａから逆ＷＢ変換部２７１を削除していることを除き、図８の点光源領域補正部２７０Ａの構成および機能と同様である。点光源領域補正部２７０Ｂは、色情報補正部の一例である。画像処理装置２００Ｂのその他の構成は、図８の画像処理装置２００と同様である。
　この実施形態では、ＷＢ補正部２７２は、標準光源Ｄ６５のＷＢ値を使用して、画像データ取得部２１０が撮像装置５０７から取得した画像データの各画素のホワイトバランス処理を実施し、第２補正後画像データを生成する。画像処理装置２００Ｂのその他の機能および動作は、図８の画像処理装置２００Ａと同様である。
　以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、画像データ取得部２１０が取得した画像データを使用して、標準光源Ｄ６５によるホワイトバランス処理を実施することで、図８の逆ＷＢ変換部２７１を省略することができる。この結果、画像処理装置２００Ｂの処理負荷を画像処理装置２００Ａの処理負荷より軽減することができ、軽減した処理負荷により他の処理を実施することで、画像処理装置２００Ｂの処理性能の向上することができる。また、点光源領域補正部２７０Ｂがハードウェアで構成される場合、逆ＷＢ変換部２７１の回路分の回路規模を削減することができる。
　なお、夜間等の環境では、自発光被写体の輝度は、他の被写体の輝度に比べて高いため、Ｄ６５のＷＢ値によるホワイトバランス処理により色が濃くなり過ぎ、補正後の自発光被写体の画像が不自然になる場合がある。このような場合、Ｄ６５のＷＢ値の特性をすこしずらして色味が抑えられるようにしてもよい。
　（第４の実施形態）
　図１１は、第４の実施形態の画像処理装置の動作の一例を示す。図１１のフローを実行する図示しない画像処理装置２００Ｃは、図４の画像処理装置２００と同様の構成を有する。画像処理装置２００Ｃは、図１から図３に示す画像処理装置２００と同様であり、情報処理装置３００および表示装置４００とともに画像処理システム１００に搭載される。図１１は、画像処理装置２００Ｃによる画像処理方法の一例を示し、画像処理装置２００Ｃが実行する画像処理プログラムの一例を示す。図５および図９と同様の要素については、同じステップ番号を付し、詳細な説明は省略する。
　ステップＳ１０、Ｓ２０、Ｓ３０、Ｓ５０の処理は、図５のステップＳ１０、Ｓ２０、Ｓ３０、Ｓ５０の処理とそれぞれ同様である。ステップＳ４１、Ｓ４２の処理は、図９のステップＳ４１、Ｓ４２の処理とそれぞれ同様である。そして、図１１では、図５のステップＳ６０の代わりにステップＳ６５が実施される。
　ステップＳ５０の後、ステップＳ６５において、画像処理装置２００Ｃは、例えば、図４の点光源領域補正部２７０と同様の点光源領域補正部により、式（４）を使用して、色補正後の画素値Ｃ'を計算する。以下では、画像処理装置２００Ｃが有する図示しない点光源領域補正部は、点光源領域補正部２７０Ｃと称される。点光源領域補正部２７０Ｃは、色情報補正部の一例である。
　Ｃ'＝Ｃ×Ｍ（α）　‥（４）
　式（４）において、符号Ｃは、第１補正画像データの画素値を示し、符号Ｍ（α）は、補正度合いαを変数として画素の色を変換する関数を示す。補正度合いαは、図７で説明した補正度合いαと同じである。関数Ｍ（α）については、図１２で説明される。符号Ｃ'は、補正後画像データの画素値を示す。そして、点光源領域補正部２７０Ｃは、第１補正後画像データに含まれる点光源領域の画素の色情報を補正し、補正後画像データとして、表示装置４００および情報処理装置３００の少なくとも一方に出力する。
　図１２は、図１１のステップＳ６５の処理の一例を示す。画像処理装置２００Ｃの点光源領域補正部２７０Ｃは、例えば、ＹＣｂＣｒ色空間で表される第１補正画像データを、変換行列ＭＲを使用してＲＧＢ色空間の画像データに変換する。
　次に、点光源領域補正部２７０Ｃは、変換行列ＭＲを使用して変換されたＲＧＢ色空間の画像データを、補正度合いαを変数に含む変換行列ＭＣを使用してＲＧＢ色空間の画像データに変換する。変換行列ＭＣにおいて、変数Ｗｒ、Ｗｂは、点光源領域の画素の範囲をオートホワイトバランスの検波を実施し、計算することで求められる。例えば、変数Ｗｒ、Ｗｂは、点光源領域の近傍画素のＲ（赤）成分、Ｇ（緑）成分、Ｂ（青）成分の比に基づいて、式（５）および式（６）によりそれぞれ求められる。
　Ｗｒ＝（αが"１"の画素の近傍画素のＧ（緑）成分の平均）／（αが"１"の画素の近傍画素のＲ（赤）成分の平均）　‥（５）
　Ｗｂ＝（αが"１"の画素の近傍画素のＧ（緑）成分の平均）／（αが"１"の画素の近傍画素のＢ（青）成分の平均）　‥（６）
　さらに、点光源領域補正部２７０Ｃは、変換行列ＭＣを使用して変換されたＲＧＢ色空間の画像データを、変換行列ＭＹを使用してＹＣｂＣｒ空間の画像データＭ（α）に変換する。以上をまとめると、第１補正画像データの画素値を補正後画像データの画素値に変換する関数Ｍ（α）は、式（７）により示される。
　Ｍ（α）＝ＭＹＭＣ（α）ＭＲ　‥（７）
　例えば、補正度合いαが"１．０"の場合、第１補正画像データの色差空間ＣｂＣｒにおいて、第１補正後画像データの各画素の色（距離ΔＣで示される）は、関数Ｍ（α）により、色差空間ＣｂＣｒの原点である無彩色に変換される。そして、補正度合いαが"１．０"に近い画素ほど、画素の色は無彩色に近づく。
　したがって、ナトリウム灯などの街灯により照明される被写体領域にヘッドライト等の自発光被写体が含まれ、自発光被写体（点光源領域）がオートホワイトバランス処理される場合にも、自発光被写体の色を無彩色に変換することができる。この結果、点光源領域の色再現性が、オートホワイトバランス処理により低下することを抑制することができる。
　なお、図１２に示す例では、点光源領域補正部２７０Ｃは、補正度合いαが"１．０"（すなわち１００％）の画素を無彩色に設定する。しかしながら、点光源領域補正部２７０Ｃは、例えば、補正度合いαが"１．０"の画素を無彩色に近い色に設定してもよい。あるいは、点光源領域補正部２７０Ｃは、例えば、補正度合いαが"０．９"以上の画素を無彩色に設定してもよい。
　図１３は、図１１の処理フローによる画像の補正の一例を示す。図７と同様の要素および処理については、詳細な説明は省略する。図１３（ａ）は、撮像装置５０７Ｅにより撮影された撮影画像の例を示す。図１３（ｂ）は、画像処理装置２００Ｃが有する図示しないＷＢ補正部によりオートホワイトバランス処理が実施された第１補正後画像データによる画像の例を示す。画像処理装置２００ＣのＷＢ補正部は、図４のＷＢ補正部２３０と同様の機能を有する。
　図１３（ｃ）は、画像処理装置２００Ｃの点光源領域補正部２７０Ｃにより補正された補正後画像データによる画像の例を示す。
　図１４は、図１１のステップＳ６５の処理の別の例を示す。例えば、色補正変換は、ＲＢＧ色空間で行う代わりに、ＨＳＶ色空間などのＲＧＢ色空間よりも色が補正しやすい色空間で行われてもよい。
　以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。例えば、図７と同様に、主光源を除いたヘッドライト等の自発光被写体を含む点光源領域の各画素の色情報を補正することができる。この結果、ヘッドライトおよびその周囲の点光源領域の色再現性が、オートホワイトバランス処理により低下することを抑制することができる。
　（第５の実施形態）
　図１５は、第５の実施形態の画像処理装置の機能構成の一例を示す。図８と同様の要素については同じ符号を付し、詳細な説明は省略する。図１５に示す画像処理装置２００Ｄは、図１から図３に示す画像処理装置２００と同様であり、情報処理装置３００および表示装置４００とともに画像処理システム１００に搭載される。
　図１５に示す画像処理装置２００Ｄの各機能部は、画像処理装置２００Ｄが実行する画像処理プログラム等のソフトウェアにより実現されてもよく、ハードウェアにより実現されてもよく、ソフトウェアとハードウェアとを協働させることにより実現されてもよい。
　画像処理装置２００Ｄは、図８の画像補正部２４０Ａの代わりに、画像補正部２４０Ｄを有する。画像補正部２４０Ｄは、図８の点光源領域検出部２５０および補正度合い計算部２６０の代わりに点光源領域検出部２５０Ｄおよび補正度合い計算部２６０Ｄを有し、新たに、点光源領域補正部２８０Ｄおよび画像選択部２９０Ｄを有する。画像処理装置２００Ｄのその他の構成は、図８の画像処理装置２００Ａと同様である。なお、画像処理装置２００Ｄは、点光源領域補正部２７０Ａの代わりに図１０の点光源領域検出部２５０Ｂを有してもよい。
　点光源領域検出部２５０Ｄは、第１補正後画像データにおいて、例えば、予め設定された信号機の灯火等の高輝度の点光源領域を検出する機能と、車両のヘッドライト等の超高輝度の点光源領域を検出する機能とを有する。例えば、点光源領域検出部２５０Ｄは、複数種の光源毎に、輝度に色差成分量を付加した輝度である輝度Ａ（第１輝度）を計算し、輝度Ａ（第１輝度）が第１閾値より大きい画素を含む第１領域を検出する。点光源領域検出部２５０Ｄは、領域検出部の一例である。点光源領域検出部２５０Ｄによる点光源領域の検出処理の例は、図１６で説明される。
　補正度合い計算部２６０Ｄは、予め設定された高輝度の点光源領域（例えば、信号機の灯火等）の画素の色情報の補正に使用する第１補正度合いα１を計算する。また、補正度合い計算部２６０Ｄは、予め設定された高輝度の点光源領域以外の画素の色情報の補正に使用する第２補正度合いα２を計算する。予め設定された信号機の灯火等の高輝度の画素は、特定の色情報を含む特定画素の一例である。特定画素以外の画素は、通常画素の一例である。
　点光源領域補正部２７０Ａは、図８の補正度合いαの代わりに第１補正度合いα１を使用して、第１補正後画像データ（ａ）の画素値および第２補正後画像データ（ｂ）の画素値を画素毎にブレンドして仮の第１補正後画像データを生成する。点光源領域補正部２８０Ｄは、図１２に示した手法を使用して、第２補正度合いα２に応じて第１補正後画像データの画素値を補正して仮の第２補正後画像データを生成する。点光源領域補正部２７０Ａは、第１色情報補正部の一例であり、点光源領域補正部２８０Ｄは、第２色情報補正部の一例である。
　画像選択部２９０Ｄは、画素毎に、点光源領域補正部２７０Ａが生成する仮の第１補正後画像データまたは点光源領域補正部２８０Ｄが生成する仮の第２補正後データを選択し、補正後画像データとして出力する。例えば、画像選択部２９０Ｄは、第１補正度合いα１による補正対象の画素では仮の第１補正後画像データを選択し、第２補正度合いα２による補正対象の画素では仮の第２補正後画像データを選択する。
　図１６は、図１５の点光源領域検出部２５０Ｄによる点光源の検出処理の一例を示す。例えば、図１５の画像処理装置２００Ｄは、オートホワイトバランス補正処理された画素の色情報をさらに補正する補正対象の光源（自発光被写体）を、信号機の青色灯、赤色灯、黄色灯と車両のヘッドライトとの少なくともいずれかに設定している。そして、画像処理装置２００Ｄは、白が想定される光源と、着色が想定される光源とのそれぞれのホワイトバランス処理を変更する。
　点光源領域検出部２５０Ｄは、色差空間ＣｂＣｒの極座標（ｒ，θ）において、偏角θの範囲、中心からの距離ｒ（色の強さ）および輝度の範囲を限定して、限定した範囲を光源とみなす。ここで、Ｃｂ＝ｒｓｉｎθ、Ｃｂ＝ｒｃｏｓθである。
　例えば、点光源領域検出部２５０Ｄは、距離ｒが閾値ｔｈ（Ｙ）より大きい領域を高彩度領域とし、高彩度領域に含まれる画素を特定画素として標準光源Ｄ６５によるホワイトバランス処理（Ｄ６５ＷＢ）に適応すると判定する。一方、点光源領域検出部２５０Ｄは、距離ｒが閾値ｔｈ（Ｙ）以下の領域を低彩度領域とし、低彩度領域に含まれる画素を通常画素としてオートホワイトバランス（ＡＷＢ）処理に適応すると判定する。閾値ｔｈ（Ｙ）は、輝度に応じて変化する第１閾値であり、輝度が大きいほど小さくなる。閾値ｔｈ（Ｙ）は、第１閾値の一例である。
　さらに、図１６に示す高彩度の光源領域の検出の例では、点光源領域検出部２５０Ｄは、所定の偏角θの範囲にあり、かつ、距離ｒが所定以上の色の領域に含まれる画素を、例えば、信号機の赤色灯として検出する。
　例えば、信号機の赤色灯を含む画素および赤色灯以外の画素の色情報の補正処理は、以下のようになる。
「ｉｆ（θ＞θＲｅｄＭｉｎ　＆＆　θ＜θＲｅｄＭａｘ）｛
　　　ｉｆ（ｒ＞ｃ＊ｔｈ（Ｙ））｛Ｄ６５ＷＢ適用または信号機の特定色になるようにＷＢ適用｝
　　　ｅｌｓｅ｛ＡＷＢ適用｝
｝
ｅｌｓｅ｛
　　　ｉｆ（ｒ＞ｔｈ（Ｙ））｛Ｄ６５ＷＢ適用｝
　　　ｅｌｓｅ｛ＡＷＢ適用｝
｝」
　ここで、θＲｅｄＭｉｎからθＲｅｄＭａｘの範囲は、赤色灯の赤の範囲を示す。変数ｃは１．０より小さい値である。なお、偏角θの範囲と距離ｒとを変えることで青色灯または黄色灯の補正処理にも適用可能になる。また、赤色灯、青色灯および黄色灯の補正処理を順次実施してもよい。
　図１７および図１８は、図１５の画像処理装置２００Ｄの動作の一例を示す。すなわち、図１７および図１８は、画像処理装置２００Ｄによる画像処理方法の一例を示し、画像処理装置２００が実行する画像処理プログラムの一例を示す。図５と同様の要素については、同じステップ番号を付し、詳細な説明は省略する。
　ステップＳ１０、Ｓ２０、Ｓ３０、Ｓ４１、Ｓ４２、Ｓ６２、Ｓ６３の処理は、図９のステップＳ１０、Ｓ２０、Ｓ３０、Ｓ４１、Ｓ４２、Ｓ６２、Ｓ６３の処理とそれぞれ同様である。ステップＳ６５の処理は、図１１のステップＳ６５の処理と同様である。
　ステップＳ４２において、画像処理装置２００Ｄは、輝度Ａが閾値ＶＴ０より大きい場合、点光源領域と判定し、図１８のステップＳ４３を実施する。画像処理装置２００Ｄは、輝度Ａが閾値ＶＴ０以下の場合、街灯の照明が照射された主光源領域と判定し、ステップＳ７０を実施する。ステップＳ７０において、画像処理装置２００Ｄは、画像データ取得部２１０が取得した画像データの全体である主光源領域に対してオートホワイトバランス処理を実施し、図１７および図１８に示す処理を終了する。
　図１８のステップＳ４３において、画像処理装置２００Ｄは、例えば、点光源領域検出部２５０Ｄにより、第１補正後画像データの各画素の色差空間ＣｂＣｒでの極座標（ｒ，θ）を求める。次に、ステップＳ４４において、画像処理装置２００Ｄは、例えば、点光源領域検出部２５０Ｄにより、距離ｒが閾値ｔｈ（Ｙ）より大きいか否かを画素毎に判定する。距離ｒが閾値ｔｈ（Ｙ）より大きい画素は、特定画素として標準光源Ｄ６５によるホワイトバランス処理（Ｄ６５ＷＢ）に適応するため、ステップＳ５１の処理が実施される（第１条件）。距離ｒが閾値ｔｈ（Ｙ）以下の画素は、通常画素としてオートホワイトバランス（ＡＷＢ）に適応するため、ステップＳ５２の処理が実施される（第２条件）。
　ステップＳ５１において、画像処理装置２００Ｄは、例えば、補正度合い計算部２６０Ｄにより、Ｄ６５ＷＢ処理に適応する画素毎に第１補正度合いα１を計算し、処理をステップＳ６２に移行する。ステップＳ５２において、画像処理装置２００Ｄは、例えば、補正度合い計算部２６０Ｄにより、ＡＷＢ処理に適応する画素毎に第２補正度合いα２を計算し、処理をステップＳ６４に移行する。
　ステップＳ６２、Ｓ６３において、画像処理装置２００Ｄは、例えば、点光源領域補正部２７０Ａにより、図９のステップＳ６２、Ｓ６３と同様の処理を実行し、図１７および図１８に示す処理を終了する。
　ステップＳ６４において、画像処理装置２００Ｄは、例えば、点光源領域補正部２８０Ｄにより、オートホワイトバランス処理を実施するための検波処理を行い、ＷＢ値を計算する（第２補正度合いα２で重み付け）。
　次に、ステップＳ６５において、画像処理装置２００Ｄは、例えば、点光源領域補正部２８０Ｄにより、図１１のステップＳ６５と同様の処理を実施し、上述した式（４）を使用して、色補正後の画素値Ｃ'を計算し、図１７および図１８に示す処理を終了する。
　以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、複数種の点光源の検出方法を、各点光源の色情報の特性に応じて設定することで、複数種の点光源のそれぞれを精度よく検出することができる。これにより、各点光源に対応する点光源領域の画素の色を、画像上で精度よく再現することができる。
　なお、画像処理装置２００Ｄは、信号機の灯火およびヘッドライト以外の自発光被写体においても、図１６と同様の手法で点光源領域として検出することで、検出した点光源領域の画素の色情報を補正することができる。これにより、複数種の点光源のそれぞれに対応する点光源領域の色再現性が、オートホワイトバランス処理により低下することを抑制することができる。
　（第６の実施形態）
　図１９は、第６の実施形態の画像処理装置による補正度合い計算処理の一例を示す。図１９の処理を実施する図示しない画像処理装置２００Ｅは、図８の画像処理装置２００Ａと同様の構成を有する。例えば、画像処理装置２００Ｅは、図８の画像データ取得部２１０、ＷＢ値計算部２２０、ＷＢ補正部２３０、点光源領域検出部２５０および点光源領域補正部２７０Ａを有する。但し、画像処理装置２００Ｅが有する図示しない補正度合い計算部の機能は、図８の補正度合い計算部２６０の機能と相違する。
　以下では、画像処理装置２００Ｅの補正度合い計算部は、補正度合い計算部２６０Ｅと称される。画像処理装置２００Ｅは、図１から図３に示す画像処理装置２００と同様であり、情報処理装置３００および表示装置４００とともに画像処理システム１００に搭載される。
　この実施形態の補正度合い計算部２６０Ｅは、光源から距離がＤ０以内にある画素の補正度合いαを"１"に設定する。また、補正度合い計算部２６０Ｅは、光源からの距離がＤ０以上でＤ１以下にある画素の補正度合いαを、距離が大きくなるほど"０"に近づくように設定する。さらに、補正度合い計算部２６０Ｅは、光源からの距離がＤ１より遠い画素の補正度合いαを"０"に設定する。
　光源からの距離がＤ０以上でＤ１以下の画素領域は、補正度合いαに応じてＤ６５ＷＢ処理とＡＷＢ処理とがブレンドされるブレンド領域である。なお、例えば、光源からの距離は、画像上での光源が小さい場合、光源の中心からの距離でもよく、画像上での光源が大きい場合、距離を計測する画素に最も近い光源の外周部からの距離としてもよい。
　なお、図１９に示すように、ブレンド領域は矩形状でもよい。例えば、一点鎖線の枠は、光源からの距離がＤ０であることを示し、一点鎖線の枠の周囲の破線の枠は、光源からの距離がＤ１であることを示す。一点鎖線の枠の内側の領域は、第１領域の一例である。一点鎖線の枠と破線の枠との間の領域は、第１領域の外側の所定範囲の第２領域の一例である。
　ブレンド領域は矩形状にする場合、厳密には、補正度合いαは、距離ではなく、光源から外側に順次広がる所定形状の枠上の画素に対応して設定される。枠の形状は、円、楕円、多角形または曲線でもよく、画像上の光源の外形形状に相似する形状でもよい。この場合にも、補正度合いαは、光源の近くで"１"に設定され、光源から離れるほど徐々に小さくされ、最終的に"０"に設定される。また、図１９に示すように、補正度合いαは、光源毎に設定される。
　そして、画像処理装置２００Ｅは、補正度合い計算部２６０Ｅにより設定された補正度合いαに応じて、第１補正後画像データおよび第２補正後画像データを画素毎にブレンドして補正後画像データを生成する。例えば、補正度合いαは、第１補正後画像データおよび第２補正後画像データの画素値のブレンド率である。
　ここで、第１補正後画像データは、ＡＷＢ処理により生成され、第２補正後画像データは、Ｄ６５ＷＢ処理により生成される。例えば、第１補正後画像データおよび第２補正後画像データの画素毎のブレンド処理は、画像処理装置２００Ｅに設けられる、図８の点光源領域検出部２５０Ａに対応する図示しない点光源領域検出部により実施される。
　以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、光源からの距離に応じて補正度合いαを設定することでも、オートホワイトバランス処理により色再現性が低下する自発光被写体の色味を、昼光光源下での色味に補正することができる。
　なお、この実施形態の補正度合い計算部２６０Ｅは、図８、図１０および後述する図２１の補正度合い計算部２６０の代わりに使用されてもよく、図１５の補正度合い計算部２６０Ｄの補正度合いαの計算方法に使用されてもよい。
　（第７の実施形態）
　図２０は、第７の実施形態の画像処理装置による補正度合い計算処理の一例を示す。図２０の処理を実施する図示しない画像処理装置２００Ｆは、図４の画像処理装置２００と同様の構成を有する。但し、画像処理装置２００Ｅの図示しない点光源領域検出部および補正度合い計算部のそれぞれ機能は、図４の点光源領域検出部２５０および補正度合い計算部２６０の機能と相違する。以下では、画像処理装置２００Ｆの点光源領域検出部は、点光源領域検出部２５０Ｆと称され、画像処理装置２００Ｆの補正度合い計算部は、補正度合い計算部２６０Ｆと称される。画像処理装置２００Ｆは、図１から図３に示す画像処理装置２００と同様であり、情報処理装置３００および表示装置４００とともに画像処理システム１００に搭載される。
　点光源領域検出部２５０Ｆは、輝度Ａが閾値ＶＴ０より大きい点光源領域の画素を示す情報を点光源領域情報として補正度合い計算部２６０Ｆに出力する。
　前記補正度合い計算部２６０Ｆは、方法１では、第１補正後画像データで示される画像を複数のブロック分けする場合に各ブロックに含まれる点光源領域の画素数に応じて補正度合いを求める。例えば、補正度合い計算部２６０Ｆは、図２０の方法１に示すように、ブロック毎に、輝度Ａが閾値ＶＴ０以上の画素数に応じて補正度合いαを"０"（０％）から"１．０"（１００％）に設定する。
　補正度合い計算部２６０Ｆは、輝度Ａが閾値ＶＴ０以上の画素数が多いほど補正度合いαを"１．０"に近づけ、輝度Ａが閾値ＶＴ０以上の画素数が第１所定数以上の場合、補正度合いαを"１．０"に固定する。また、補正度合い計算部２６０Ｆは、輝度Ａが閾値ＶＴ０より小さい画素数が、第１所定数より少ない第２所定数以下の場合、補正度合いαを"０"に固定する。
　補正度合い計算部２６０Ｆは、方法２では、第１補正後画像データで示される画像において、例えば、点光源領域の画素を第１画素値（例えば"１．０"）とし、点光源領域でない画素を第２画素値（例えば、"０"）とする。補正度合い計算部２６０Ｆは、第１補正後画像データで示される画像の各画素を第１画素値または第２画素値としてガウシアンフィルタを適用し、画像の平滑化処理を実施する。そして、補正度合い計算部２６０Ｆは、平滑化処理した画像の各画素の画素値輝度Ａを計算し、計算した輝度Ａに応じて補正度合いαを計算する。
　補正度合い計算部２６０Ｆは、方法３では、方法２と同様に、第１補正後画像データで示される画像の各画素を第１画素値または第２画素値とする。そして、補正度合い計算部２６０Ｆは、ガイデッドフィルタを適用し、画像のエッジ保存平滑化処理を実施し、平滑化処理した画像の各画素の輝度Ａを計算し、計算した輝度Ａに応じて補正度合いαを計算する。
　以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、第１補正後画像データにおいて、点光源領域の画素と非点光源領域の画素とが混在する領域がある場合にも、方法１－方法３のいずれかにより、点光源領域と非点光源領域との境界での補正度合いαの変化をなだらかにすることができる。これにより、補正度合いαを使用して画素の色情報が補正された補正後画像データの画像の色がまだらになるなど、不自然な画像になることを抑制することができる。
　これに対して、図２０に示す点光源領域の検出処理後の画像のように、点光源領域と非点光源領域との画素とが混在する場合に、そのまま補正度合いαが計算されると、色情報の補正後の画像にドット跡が見えるなどの弊害が発生するおそれがある。また、点光源領域の周辺は、光源からの照明光の照射により色が本来の色と変わっている場合がある。このため、点光源領域と非点光源領域との画素とが混在する場合に、そのまま補正度合いαが計算されると、色情報の補正後の画像が不自然になるおそれがある。
　なお、方法１では、第１補正後画像データで示される画像を９個のブロックに分ける例が示されるが、ブロックの数は、９個に限定されない。ブロック数を増やすほど、補正の精度は向上するが、計算負荷は大きくなる。ブロック数が少ないほど、補正の精度は低下するが、計算負荷は小さくなる。また、方法２および方法３に適用するフィルタは、ガウシアンフィルタまたはガイデッドフィルタに限定されない。
　（第８の実施形態）
　図２１は、第８の実施形態の画像処理装置の機能構成の一例を示す。図８と同様の要素については同じ符号を付し、詳細な説明は省略する。図２１に示す画像処理装置２００Ｇは、図１から図３に示す画像処理装置２００と同様であり、情報処理装置３００および表示装置４００とともに画像処理システム１００に搭載される。
　図２１に示す画像処理装置２００Ｇの各機能部は、画像処理装置２００Ｇが実行する画像処理プログラム等のソフトウェアにより実現されてもよく、ハードウェアにより実現されてもよく、ソフトウェアとハードウェアとを協働させることにより実現されてもよい。
　画像処理装置２００Ｇは、図８の画像補正部２４０Ａの代わりに画像補正部２４０Ｇを有し、図８のＷＢ補正部２３０を持たない。画像補正部２４０Ｇは、図８の点光源領域検出部２５０、補正度合い計算部２６０および点光源領域補正部２７０Ａの代わりに、点光源領域検出部２５０Ｇ、補正度合い計算部２６０Ｇおよび点光源領域補正部２７０Ｇを有する。
　点光源領域補正部２７０Ｇは、図８のＷＢ補正部２３０と同様のＷＢ補正部２７５を有し、図８の逆ＷＢ変換部２７１を持たない。点光源領域補正部２７０Ｇは、色情報補正部の一例である。画像処理装置２００Ｇのその他の構成は、図８の画像処理装置２００Ａと同様である。点光源領域補正部２７０Ｇは、逆ＷＢ変換部２７１を持たないため、例えば、図８のＷＢ補正部２３０により生成された第１補正後画像データを逆ＷＢ変換部２７１で元の画像データに変換するときに発生する画質の劣化を抑制することができる。
　点光源領域検出部２５０Ｇは、画像データ取得部２１０が取得した画像データ（入力画像）とＷＢ値計算部２２０が計算したＷＢ値に応じて、点光源領域の検出処理を実施し、点光源領域情報を補正度合い計算部２６０Ｇに出力する。
　この実施形態では、点光源領域検出部２５０Ｇは、オートホワイトバランス処理が実施された第１補正後画像データではなく、オートホワイトバランス処理が実施される前の画像データを使用して点光源領域を検出する。このため、図６で説明したＹＣｂＣｒ色空間における色差空間ＣｂＣｒでの原点からの距離ΔＣを使用して点光源領域を検出することができない。これは、オートホワイトバランス処理が実施される前の画像データを使用する場合、主光源が点光源領域として検出されるためである。点光源領域検出部２５０Ｇによる点光源領域の検出処理の例は、図２２で説明される。点光源領域検出部２５０Ｇは、領域検出部の一例である。
　補正度合い計算部２６０Ｇは、点光源領域の補正度合いαを"１．０"に設定し、点光源領域以外の補正度合いαを"０"に設定する。なお、補正度合い計算部２６０Ｇは、点光源領域の境界部分（図２２の円柱領域の外周部分）において、内側から外側に向けて補正度合いαを"０"から"１．０"に徐々に変化させてもよい。
　ＷＢ補正部２７５は、図８のＷＢ補正部２３０と同様に、ＷＢ値計算部２２０が計算したＷＢ値に応じて画像データの各画素のホワイトバランス処理を実施し、第１補正後画像データを生成する。ＷＢ補正部２７２およびブレンド処理部２７３の機能は、図８のＷＢ補正部２７２およびブレンド処理部２７３の機能とそれぞれ同様である。したがって、点光源領域補正部２７０Ｇは、図８の点光源領域補正部２７０Ａと同様に、補正度合いαに応じて、第１補正後画像データおよび第２補正後画像データを画素毎にブレンドして補正後画像データを生成することができる。
　図２２は、図２１の点光源領域検出部２５０Ｇによる処理の一例を示す。点光源領域検出部２５０Ｇは、ＲＧＢ色空間で表される入力画像をＸＹＺ変換し、ＸＹＺ色空間で示される入力画像の座標を求める。さらに、点光源領域検出部２５０Ｇは、ＸＹＺ色空間で示される入力画像の座標をｘｙＹ変換し、ｘｙＹ色空間で示される入力画像の座標を求める。
　また、点光源領域検出部２５０Ｇは、ＷＢ値計算部２２０が計算した街灯等の主光源のＷＢ値をＸＹＺ変換し、ＸＹＺ色空間で示される主光源のＷＢ値の座標を求める。さらに、点光源領域検出部２５０Ｇは、ＸＹＺ色空間で示される主光源のＷＢ値の座標をｘｙＹ変換し、ｘｙＹ色空間で示される主光源のＷＢ値の座標である基準座標を求める。
　図２２に示すＸＹＺ変換に使用する係数は、撮像装置５０７の特性に応じて予め計算される。また、ｘｙＹ変換により得られるｘ値、ｙ値およびＹ値は、図２２に例示する式により計算される。ここで、画素の色はｘ値およびｙ値により表され、画素の明度は、輝度に相当する明度Ｙにより表される。
　点光源領域検出部２５０Ｇは、ｘｙＹ色空間に変換された入力画像の座標および主光源のＷＢ値の基準座標を使用して、第１補正後画像データに含まれる点光源領域の検出処理を実施する。まず、点光源領域検出部２５０Ｇは、ｘｙＹ色空間において、街灯等の主光源のＷＢ値の基準座標での色（ｘ，ｙ）に対して第１距離ΔＣの範囲にある色を、主光源による照明光により照らされている被写体の色とする。色（ｘ，ｙ）は、ｘｙＹ色空間の色度座標（ｘ，ｙ）により表される。
　次に、点光源領域検出部２５０Ｇは、主光源のＷＢ値の基準座標での明度Ｙに対して第１閾値ｔｈＬ以上大きい明度Ｙであって、第１距離ΔＣの範囲外の画素値（ｘ，ｙ，Ｙ）を有する画素領域である第１領域を点光源領域として検出する。図２２に示す例では、点光源領域検出部２５０Ｇは、明度Ｙが閾値ｔｈＬ以上で、色（ｘ，ｙ）が第１距離ΔＣの範囲で示される円柱領域に対して横断面方向の外側の領域（第１領域）を点光源領域として検出する。
　そして、点光源領域検出部２５０Ｇは、判定した点光源領域を示す点光源領域情報を図２１の補正度合い計算部２６０Ｇに出力する。補正度合い計算部２６０Ｇは、上述したように、例えば、点光源領域であるか否かに応じて、補正度合いαを"１．０"または"０"に設定する。
　この後、図２１の点光源領域補正部２７０Ｇは、図８の点光源領域補正部２７０Ａと同様に、補正度合いαに応じて、第１補正後画像データおよび第２補正後画像データを画素毎にブレンドして補正後画像データを生成する。
　以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、点光源領域補正部２７０Ｇは、逆ＷＢ変換部２７１を持たないため、逆ＷＢ変換部２７１を持つ場合に比べて、点光源領域補正部２７０Ｇの処理負荷を軽減することができる。また、点光源領域補正部２７０Ｇは、逆ＷＢ変換部２７１を持たないため、例えば、図８のＷＢ補正部２３０により生成された第１補正後画像データを逆ＷＢ変換部２７１で元の画像データに変換するときの画質の劣化を抑制することができる。
　以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
　２１　インタフェース装置
　２２　ドライブ装置
　２３　補助記憶装置
　２４　メモリ装置
　３０　記録媒体
　１００　画像処理システム
　２００、２００Ａ、２００Ｂ、２００Ｃ　画像処理装置
　２００Ｄ、２００Ｅ、２００Ｆ、２００Ｇ　画像処理装置
　２１０　画像データ取得部
　２２０　ＷＢ値計算部
　２３０　ＷＢ補正部
　２４０、２４０Ａ、２４０Ｂ、２４０Ｄ　画像補正部
　２５０、２５０Ａ、２５０Ｂ、２５０Ｄ　点光源領域検出部
　２５０Ｅ、２５０Ｆ、２５０Ｇ　点光源領域検出部
　２６０、２６０Ｄ、２６０Ｅ、２６０Ｆ、２６０Ｇ　補正度合い計算部
　２７０、２７０Ａ、２７０Ｂ、２７０Ｃ、２７０Ｅ、２７０Ｇ　点光源領域補正部
　２７１　逆ＷＢ変換部
　２７２　ＷＢ補正部
　２７３　ブレンド処理部
　２７５　ＷＢ補正部
　２８０Ｄ　点光源領域補正部
　２９０Ｄ　画像選択部
　３００　情報処理装置
　４００　表示装置
　５００　移動体
　５０２　無線通信装置
　５０３　センサ
　５０４　駆動装置
　５０５　ランプ装置
　５０６　ナビゲーション装置
　５０７（５０７Ａ、５０７Ｂ、５０７Ｃ、５０７Ｄ、５０７Ｅ）　撮像装置

Claims (17)

  1. 　第１画像データを取得する画像データ取得部と、
    　前記第１画像データに応じてオートホワイトバランス処理に使用するホワイトバランス値を計算するホワイトバランス値計算部と、
    　前記ホワイトバランス値に応じて、前記第１画像データのオートホワイトバランス処理を実施し、第１補正後画像データを生成する第１ホワイトバランス補正部と、
    　前記第１補正後画像データにおいて、輝度に色差成分量を付加した輝度である第１輝度を計算し、前記第１輝度が第１閾値より大きい画素を含む第１領域を検出する領域検出部と、
    　前記第１補正後画像データにおいて、少なくとも前記第１領域に含まれる画素の色情報の補正度合いを前記第１輝度に応じて計算する補正度合い計算部と、
    　前記第１補正後画像データにおいて、少なくとも前記第１領域に含まれる画素の色情報を前記補正度合いに応じて補正する色情報補正部と、
    　を有する画像処理装置。
  2. 　前記領域検出部は、
    　前記第１補正後画像データに含まれる少なくとも１つの画素毎に、輝度情報を含む色空間での輝度と前記色空間での色差成分量とを加算することで、前記第１輝度を計算する
    　請求項１に記載の画像処理装置。
  3. 　前記補正度合い計算部は、前記第１輝度が前記第１閾値以上で、前記第１閾値より大きい第２閾値以下の画素の前記補正度合いを、前記第１輝度が大きくなるにしたがい０％から１００％に設定し、前記第１輝度が前記第２閾値より大きい画素の前記補正度合いを１００％に設定する
    　請求項１または請求項２に記載の画像処理装置。
  4. 　前記領域検出部は、前記第１領域の画素を示す情報を前記補正度合い計算部に出力し、
    　前記補正度合い計算部は、前記第１補正後画像データで示される画像を複数のブロック分けする場合に各ブロックに含まれる前記第１領域の画素数に応じて補正度合いを求める
    　請求項１または請求項２に記載の画像処理装置。
  5. 　前記領域検出部は、前記第１領域の画素を示す情報を前記補正度合い計算部に出力し、
    　前記補正度合い計算部は、前記第１補正後画像データで示される画像において、前記第１領域の画素を第１画素値とし、前記第１領域でない画素を第２画素値として平滑化処理を実施することにより前記補正度合いを求める
    　請求項１または請求項２に記載の画像処理装置。
  6. 　前記色情報補正部は、
    　前記第１画像データに対して標準光源のホワイトバランス値によるホワイトバランス処理を実施し、第２補正後画像データを生成する第２ホワイトバランス補正部と、
    　前記補正度合いに基づいて、前記第１補正後画像データおよび前記第２補正後画像データの画素値をブレンドするブレンド処理部と、
    　を有する請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
  7. 　前記色情報補正部は、前記補正度合いが大きい画素ほど、画素の色を無彩色に近づける
    　請求項３に記載の画像処理装置。
  8. 　第１画像データを取得する画像データ取得部と、
    　前記第１画像データに応じてオートホワイトバランス処理に使用するホワイトバランス値を計算するホワイトバランス値計算部と、
    　前記ホワイトバランス値に応じて、前記第１画像データのオートホワイトバランス処理を実施し、第１補正後画像データを生成する第１ホワイトバランス補正部と、
    　前記第１補正後画像データにおいて、複数種の光源毎に、輝度に色差成分量を付加した輝度である第１輝度を計算し、前記第１輝度が第１閾値より大きい画素を含む第１領域を検出する領域検出部と、
    　前記第１領域において、特定の色情報を含む特定画素の第１補正度合いを計算し、前記特定画素以外の通常画素の第２補正度合いを計算する補正度合い計算部と、
    　少なくとも前記第１領域に含まれる前記特定画素の色情報を前記第１補正度合いに応じて補正する第１色情報補正部と、
    　少なくとも前記第１領域に含まれる前記通常画素の色情報を前記第２補正度合いに応じて補正する第２色情報補正部と、
    　を有する画像処理装置。
  9. 　前記補正度合い計算部は、前記第１領域において、色差空間ＣｂＣｒの極座標（ｒ、θ）の距離ｒが第１閾値より大きい画素を前記特定画素に設定し、前記距離ｒが第１閾値以下の画素を前記通常画素に設定する
    　請求項８に記載の画像処理装置。
  10. 　前記第１色情報補正部は、
    　前記第１画像データに対して標準光源のホワイトバランス値によるホワイトバランス処理を実施し、第２補正後画像データを生成する第２ホワイトバランス補正部と、
    　前記第１補正度合いに基づいて、前記第１補正後画像データおよび前記第２補正後画像データの画素値をブレンドするブレンド処理部と、を有し、
    　前記第２色情報補正部は、前記第２補正度合いが大きい画素ほど、画素の色を無彩色に近づける
    　請求項８または請求項９に記載の画像処理装置。
  11. 　前記補正度合い計算部は、信号機の赤色灯の色情報を含む画素を前記特定画素に設定する
    　請求項８ないし請求項１０のいずれか１項に記載の画像処理装置。
  12. 　第１画像データを取得する画像データ取得部と、
    　前記第１画像データに応じてオートホワイトバランス処理に使用するホワイトバランス値を計算するホワイトバランス値計算部と、
    　前記ホワイトバランス値に応じて、前記第１画像データのオートホワイトバランス処理を実施し、第１補正後画像データを生成する第１ホワイトバランス補正部と、
    　前記第１補正後画像データにおいて、輝度に色差成分量を付加した輝度である第１輝度を計算し、前記第１輝度が第１閾値より大きい画素を含む第１領域を検出する領域検出部と、
    　前記第１領域に含まれる画素、前記第１領域の外側の所定範囲である第２領域に含まれる画素および前記第２領域の外側の領域の画素の補正度合いを、前記第１領域が大きく、前記外側の領域が小さくなるようにそれぞれ設定する補正度合い計算部と、
    　前記第１補正後画像データにおいて、少なくとも前記第１領域に含まれる画素の色情報を前記補正度合いに応じて補正する色情報補正部と、
    　を有する画像処理装置。
  13. 　前記補正度合い計算部は、前記第１領域に含まれる画素の補正度合いを１００％に設定し、前記第１領域の外側の所定範囲の第２領域に含まれる画素の補正度合いを前記第１領域からの距離が大きくなるにしたがい１００％から０％に設定し、前記第２領域の外側の画素の補正度合いを０％に設定する
    　請求項１２に記載の画像処理装置。
  14. 　前記色情報補正部は、
    　前記第１画像データに対して標準光源のホワイトバランス値によるホワイトバランス処理を実施し、第２補正後画像データを生成する第２ホワイトバランス補正部と、を有し、
    　前記第１領域に含まれる画素の画素値を前記第２補正後画像データの画素値に設定し、
    　前記第２領域に含まれる画素の画素値を、前記補正度合いに基づいて、前記第１補正後画像データおよび前記第２補正後画像データの画素値をブレンドすることで設定し、
    　前記第２領域の外側に含まれる画素の画素値を前記第１補正後画像データの画素値に設定し、
    　前記補正度合いは、前記第１補正後画像データの画素値および前記第２補正後画像データの画素値のブレンド率である
    　請求項１２または請求項１３に記載の画像処理装置。
  15. 　第１画像データを取得する画像データ取得部と、
    　前記第１画像データに応じてオートホワイトバランス処理に使用するホワイトバランス値を計算するホワイトバランス値計算部と、
    　前記ホワイトバランス値に応じて、前記第１画像データのオートホワイトバランス処理を実施し、第１補正後画像データを生成する第１ホワイトバランス補正部と、
    　前記ホワイトバランス値のｘｙＹ色空間での座標である基準座標を計算し、ｘｙＹ色空間で示される前記第１画像データにおいて、明度Ｙが前記基準座標の明度Ｙに対して第１閾値以上大きく、かつ、色度座標（ｘ，ｙ）が前記基準座標の色度座標（ｘ，ｙ）より第１距離以上離れた画素を含む第１領域を検出する領域検出部と、
    　前記第１画像データにおいて、前記第１領域に含まれる画素の色情報の補正度合いを前記第１領域に含まれない画素の色情報の補正度合いより大きく設定する補正度合い計算部と、
    　前記第１補正後画像データにおいて、少なくとも前記第１領域に含まれる画素の色情報を前記補正度合いに応じて補正する色情報補正部と、
    　を有する画像処理装置。
  16. 　前記色情報補正部は、
    　前記第１画像データに対して標準光源のホワイトバランス値によるホワイトバランス処理を実施し、第２補正後画像データを生成する第２ホワイトバランス補正部と、
    　前記補正度合いに基づいて、前記第１補正後画像データおよび前記第２補正後画像データの画素値をブレンドするブレンド処理部と、
    　を有する請求項１５に記載の画像処理装置。
  17. 　第１画像データを取得する画像データ取得処理と、
    　前記第１画像データに応じてオートホワイトバランス処理に使用するホワイトバランス値を計算するホワイトバランス値計算処理と、
    　前記ホワイトバランス値に応じて、前記第１画像データのオートホワイトバランス処理を実施し、第１補正後画像データを生成する第１ホワイトバランス補正処理と、
    　前記第１補正後画像データにおいて、輝度に色差成分量を付加した輝度である第１輝度を計算し、前記第１輝度が第１閾値より大きい画素を含む第１領域を検出する領域検出処理と、
    　前記第１補正後画像データにおいて、少なくとも前記第１領域に含まれる画素の色情報の補正度合いを前記第１輝度に応じて計算する補正度合い計算処理と、
    　前記第１補正後画像データにおいて、少なくとも前記第１領域に含まれる画素の色情報を前記補正度合いに応じて補正する色情報補正処理と、
    　を実施する画像処理方法。
PCT/JP2022/002723 2022-01-25 2022-01-25 画像処理装置および画像処理方法 WO2023144894A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/002723 WO2023144894A1 (ja) 2022-01-25 2022-01-25 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/002723 WO2023144894A1 (ja) 2022-01-25 2022-01-25 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2023144894A1 true WO2023144894A1 (ja) 2023-08-03

Family

ID=87471173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002723 WO2023144894A1 (ja) 2022-01-25 2022-01-25 画像処理装置および画像処理方法

Country Status (1)

Country Link
WO (1) WO2023144894A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004200971A (ja) * 2002-12-18 2004-07-15 Nikon Corp 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
JP2019022027A (ja) * 2017-07-14 2019-02-07 キヤノン株式会社 画像処理装置
JP2020156016A (ja) * 2019-03-22 2020-09-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004200971A (ja) * 2002-12-18 2004-07-15 Nikon Corp 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
JP2019022027A (ja) * 2017-07-14 2019-02-07 キヤノン株式会社 画像処理装置
JP2020156016A (ja) * 2019-03-22 2020-09-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US9319647B2 (en) Image processing device
CN111754440B (zh) 车牌图像增强方法、***、设备及存储介质
WO2015015580A1 (ja) 撮像装置、撮像方法並びに車載撮像システム
US11386867B2 (en) In-vehicle display control device
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
CN111209775B (zh) 信号灯图像处理方法、装置、设备及存储介质
CN114189634B (zh) 图像采集方法、电子设备及计算机存储介质
CN113306486B (zh) 车内照明装置控制方法、存储介质和电子设备
CN110365872B (zh) 相机像素的动态去马赛克
CN111861893B (zh) 一种消除图像伪彩色边方法、***、设备及计算机介质
WO2023144894A1 (ja) 画像処理装置および画像処理方法
JP2006311003A (ja) 車両用画像生成装置および方法
KR102333707B1 (ko) 저조도 이미징 시스템
JP6411644B2 (ja) ヒストグラム拡散を伴う自動車両カメラ装置
US20220318968A1 (en) Image processing device and image processing method
CN113421195B (zh) 一种图像处理方法、装置及设备
JP7279613B2 (ja) 画像処理装置
JP2022188888A (ja) 画像処理装置および画像処理方法
WO2023026407A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5252247B2 (ja) ターゲット位置決定装置
WO2022215234A1 (ja) 画像処理装置および画像処理方法
WO2023011191A1 (zh) 昼夜切换方法、电子设备和存储介质
JP2011259087A (ja) カラーターゲット位置決定装置
WO2020195515A1 (ja) 撮像装置及び画像処理方法
JP4145967B2 (ja) 駐車車両検出方法及びその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22923763

Country of ref document: EP

Kind code of ref document: A1