WO2017104395A1 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- WO2017104395A1 WO2017104395A1 PCT/JP2016/085294 JP2016085294W WO2017104395A1 WO 2017104395 A1 WO2017104395 A1 WO 2017104395A1 JP 2016085294 W JP2016085294 W JP 2016085294W WO 2017104395 A1 WO2017104395 A1 WO 2017104395A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- processing apparatus
- image processing
- color difference
- converted
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 164
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 38
- 239000002131 composite material Substances 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 235000019557 luminance Nutrition 0.000 claims 10
- 238000003384 imaging method Methods 0.000 description 58
- 238000012937 correction Methods 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 24
- 238000005304 joining Methods 0.000 description 7
- 239000007787 solid Substances 0.000 description 7
- 230000002950 deficient Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
Definitions
- the present invention relates to an image processing apparatus and an image processing method.
- a plurality of images are selected based on the comparison result of pixel values according to the shooting mode. Select and combine pixel values.
- a method of performing image composition by adding or subtracting a plurality of images is known (see Patent Document 1).
- the output image quality may be poor.
- the present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing apparatus having a high image quality of an output image when a plurality of images are captured under different shooting conditions.
- an image processing apparatus that processes an image generates a plurality of captured images by capturing a plurality of times under different shooting conditions, and generates a converted image indicating luminance and color difference by converting the captured images.
- a conversion unit a storage unit that stores data indicating a coefficient for the luminance indicated by the converted image for each of the shooting conditions, and image generation that generates a composite image by combining the plurality of converted images based on the coefficient And a section.
- each embodiment of the present invention it is possible to provide an image processing apparatus with good image quality of an output image when a plurality of images are captured under different shooting conditions.
- FIG. 1 is a cross-sectional view illustrating an example of an overall configuration of an image processing apparatus according to an embodiment of the present invention. It is a block diagram which shows an example of the hardware constitutions of the image processing apparatus which concerns on one Embodiment of this invention. It is a flowchart which shows an example of the whole process by the image processing apparatus which concerns on one Embodiment of this invention. It is a flowchart which shows an example of the RAW image processing by the image processing apparatus which concerns on one Embodiment of this invention. It is a flowchart which shows an example of the image generation process by the image processing apparatus which concerns on one Embodiment of this invention. It is a figure which shows an example of the coefficient data which concern on one Embodiment of this invention.
- FIG. 1 is a cross-sectional view showing an example of the overall configuration of an image processing apparatus according to an embodiment of the present invention.
- the image processing apparatus 10 has a compound eye configuration, for example. Specifically, the image processing device 10 first includes a photographing device 12, a housing 14, and a shutter button 18.
- the imaging device 12 includes, for example, an imaging optical system 20A, an imaging optical system 20B, a solid imaging element 22A, and a solid imaging element 22B as illustrated.
- the solid-state imaging element 22A and the solid-state imaging element 22B are optical sensors such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor.
- CCD Charge Coupled Device
- CMOS Complementary Metal Oxide Semiconductor
- the imaging optical system 20A and the imaging optical system 20B are, for example, six groups of seven so-called fisheye lenses. Further, it is desirable that the imaging optical system 20A and the imaging optical system 20B have a range of 360 or more images taken by the two optical systems. Further, the image forming optical system 20A and the image forming optical system 20B each have an angle of view of 180 ° or more, and more preferably, each of the angle of view is 185 ° or more or 190 ° or more, and are photographed in duplicate. It is desirable that there is a range. It should be noted that the range that is photographed in duplicate serves as a reference for stitching processing when stitching the images together.
- the imaging optical system 20A and the imaging optical system 20B include optical systems such as a prism, a filter, and a diaphragm.
- the solid imaging element 22A and the solid imaging element 22B correspond to the imaging optical system 20A and the imaging optical system 20B, respectively. Further, for example, as shown in the drawing, the solid-state imaging element 22A and the solid-state imaging element 22B have a position where the light incident on each imaging optical system is orthogonal to the center of the light-receiving area of the corresponding solid-state imaging element, and the light-receiving area. Is positioned at a position to be a coupling surface of the corresponding lens. Further, each solid-state imaging element has a light receiving area, and converts the light incident on the light receiving area into an image signal and outputs it. In this example, the imaging optical system 20A, the imaging optical system 20B, the solid-state imaging element 22A, and the solid-state imaging element 22B have the same specifications, and are installed in opposite directions so that their optical axes match. To do.
- the photographing apparatus is not limited to the case where the solid-state photographing element and the two imaging optical systems are provided.
- the imaging device may have three or more solid imaging elements and an imaging optical system.
- a case where there are two pairs of the solid-state imaging element and the imaging optical system illustrated will be described as an example.
- the housing 14 has components such as a controller for the photographing apparatus 12 and a battery that serves as a power source.
- the shutter button 18 is a button provided on the housing 14 for performing an operation of releasing the shutter of the photographing apparatus 12.
- the image processing apparatus 10 performs a process of joining the images (hereinafter referred to as “captured images”) photographed by the photographing apparatus 12. Next, the image processing apparatus 10 performs a process of connecting and synthesizing a plurality of captured images to generate a composite image with a solid angle of 4 rad (radian) (hereinafter referred to as an “omnidirectional image”).
- the omnidirectional image is an image showing an omnidirectional view that can be seen from the shooting point. That is, the omnidirectional image may be a so-called panorama image in which the horizontal plane is a 360 ° imaging range.
- the image processing apparatus 10 can facilitate each process.
- the scanning direction and the order at the places where the joining process is performed it is possible to easily perform the joining process of the subject of each solid-state imaging element, particularly the moving object.
- the scanning direction of the solid-state imaging element 22A is changed from top to bottom and From left to right.
- the scanning direction of the solid-state imaging element 22B is From left to right.
- the image processing apparatus 10 outputs the processed image to an output device such as a display device or an image forming device, for example.
- the image processing apparatus 10 may output an image to a recording medium such as an SD (registered trademark) card or a compact flash (registered trademark).
- FIG. 2 is a block diagram illustrating an example of a hardware configuration of the image processing apparatus according to the embodiment of the present invention. As shown in the figure, the image processing apparatus has a photographing apparatus 12.
- the imaging device 12 includes a lens 1 that is an example of an optical system, a CMOS sensor 2 that is an example of a solid imaging element, and the like.
- the photographing device 12 is connected to the digital still camera processor 5.
- the photographing apparatus 12 is controlled by a CPU (Central Processing Unit) 29 included in the digital still camera processor 5.
- the image processing apparatus also includes a ROM (Read-Only Memory) 26 such as NAND FLASH. Further, the ROM 26 stores data such as control programs used by the CPU 29 and parameters.
- the image processing apparatus has a switch 21 such as a power switch.
- the switch 21 When the switch 21 is turned on, for example, the control program stored in the ROM 26 is loaded into the main memory, and the image processing apparatus is activated. Further, the CPU 29 controls the operation of each unit according to the program. Further, the CPU 29 stores data in a RAM 15 such as SDRAM (Synchronous Dynamic Random Access Memory) or SRAM (Static Random Access Memory) in control and processing. If a rewritable flash ROM or the like is used as the ROM 26, the control program or control parameters can be changed, and the function can be easily upgraded.
- SDRAM Serial Dynamic Random Access Memory
- SRAM Static Random Access Memory
- An ISP (Image Signal Processor) 6 performs, for image data input from the CMOS 2, white balance, gamma correction, and processing of converting each pixel value indicated by the image data into luminance and color difference.
- a USB (Universal Serial Bus) 27 performs USB communication with an external device such as a PC (Personal Computer).
- the SPI 23 performs serial communication with an external device.
- the JPEG codec unit 16 compresses and decompresses image data into the JPEG format.
- the H.264 video codec 17 converts the image data into H.264 format. 264 format and H.264 format. Decompresses from H.264 format.
- the resizer 19 performs interpolation processing or the like on the image data, and enlarges or reduces the image size.
- the image processing apparatus stores the image data in an SD (registered trademark) card 25 or the like.
- the SD (registered trademark) card 25 is detachable by a memory card throttle or the like.
- the SDRAM 4 stores image data used by the ISP 6 and the distortion correction / combination processing device 24. Further, the distortion correction / combination processing device 24 may perform top-and-bottom correction and tilt correction using data acquired from the triaxial acceleration sensor 36. Next, the face detection device 37 detects a human face or the like from the corrected image. Thereby, the position of the face shown in the image is specified.
- the image data is read into the digital still camera processor 5.
- the image data is “RAW-RGB image data” or the like after white balance and gamma correction by the ISP 6 are performed.
- the image data is “YCbCr image data” or the like after the luminance and color difference conversion by the ISP 6 is performed.
- the image data is “JPEG image data” or the like after JPEG compression by the JPEG codec 16 is performed.
- the image processing apparatus has an LCD (Liquid Crystal Display) driver and the like.
- the image processing apparatus causes the output device such as the LCD monitor 35 to be connected to output an image.
- the LCD driver is a drive circuit that drives the LCD monitor 35, and the LCD driver performs processing for converting various states into signals for displaying on the LCD monitor 35.
- the image processing apparatus is connected to a microphone 32 for inputting voice by a user or the like.
- the image processing apparatus also includes an amplifier that amplifies the audio signal of the audio input by the microphone 32.
- the image processing apparatus includes a storage device that stores data indicating an audio signal.
- the image processing apparatus is connected to a speaker 33 that outputs stored audio.
- the image processing apparatus includes an amplifier that amplifies an audio signal for causing the speaker 33 to output audio.
- FIG. 3 is a flowchart showing an example of overall processing by the image processing apparatus according to the embodiment of the present invention.
- step S01 the image processing apparatus performs photographing.
- the photography performed in step S01 is so-called bracket photography.
- the image processing apparatus changes the shooting conditions such as the exposure conditions, and performs shooting a plurality of times under a plurality of different shooting conditions.
- the exposure condition in each photographing condition is different.
- the exposure conditions are “PropExp”, “U2Exp”, “U1Exp”, and “O1Exp”.
- the exposure condition is indicated by an EV (Exposure Value) value, for example.
- the EV value is an example of conditions under which exposure brightness such as an aperture (F value) and a shutter speed can be specified.
- the shooting condition may be set in consideration of an upper limit value and a lower limit value that can be set in accordance with the characteristics of the camera.
- step S01 image data under each shooting condition is generated.
- the image data generated by “PropExp” is the first image data RawProp.
- the image data generated by “U2Exp” is the second image data RawU2.
- the image data generated by “U1Exp” is the third image data RawU1.
- the image data generated by “O1Exp” is the fourth image data RawO1.
- the first image data RawProp, the second image data RawU2, the third image data RawU1, and the fourth image data RawO1 are each in a RAW image format (Raw image format).
- step S02 the image processing apparatus performs RAW image processing. That is, in step S02, the image processing apparatus performs development processing on the respective image data of the first image data RawProp, the second image data RawU2, the third image data RawU1, and the fourth image data RawO1, thereby obtaining a YCbCr image. Convert to
- FIG. 4 is a flowchart showing an example of RAW image processing by the image processing apparatus according to the embodiment of the present invention.
- the image processing apparatus performs the illustrated process on each RAW image format image data.
- RAW image processing for the first image data RawProp will be described.
- step S10 the image processing apparatus performs OB (Optical Black) correction.
- OB Optical Black
- step S ⁇ b> 10 the image processing apparatus performs correction for clamping the output signal of the effective pixel region in accordance with the magnitude of noise in a flare or dark place.
- step S11 the image processing apparatus performs defective pixel correction.
- the solid-state imaging element has a plurality of pixels arranged. For this reason, the solid-state imaging element is manufactured so that a plurality of photosensitive elements such as photodiodes are formed on a semiconductor substrate. Therefore, in manufacturing, a pixel in which a pixel value cannot be captured, that is, a so-called defective pixel may be manufactured due to impurities mixed into the semiconductor substrate. In order to compensate for such a defective pixel, the image processing apparatus generates a pixel value that supplements the output of the defective pixel based on the pixel value from the peripheral pixel of the defective pixel.
- step S12 the image processing apparatus performs linear correction. That is, in step S12, the image processing apparatus performs linear correction for each of R (red), G (green), and B (blue).
- step S13 the image processing apparatus performs shading correction.
- the image processing apparatus multiplies the output signal of the effective pixel area by a correction coefficient prepared in advance to correct distortion due to shading (shading) of the effective pixel area.
- the correction coefficient is a fixed value.
- step S14 the image processing apparatus calculates a luminance value. Specifically, first, in step S14, the image processing apparatus divides the image into predetermined regions. Next, the image processing apparatus calculates an average luminance value of each region based on the pixel value of each region. Note that the calculated average luminance value is used for, for example, AE processing.
- step S15 the image processing apparatus performs white balance processing.
- a color filter is installed in each photodiode of the solid-state imaging element. For this reason, since the amount of transmitted light varies depending on the color of the filter, the amount of charge accumulated in each photodiode varies. Green is often the most sensitive. On the other hand, the sensitivity of red and blue is often lower than that of green and may be about half. Therefore, in the white balance process, a process of applying a gain to red and blue is performed so as to compensate for the difference in sensitivity and display white in the image as white.
- the color of the subject varies depending on the light source color, for example, sunlight or a fluorescent lamp. Therefore, in the white balance process, the white may be displayed in white according to the light source, so that the gain may be changed for each light source.
- step S16 the image processing apparatus performs gamma correction. That is, gamma correction performs nonlinear input / output conversion. In the case of such a non-linear output, there is often no gradation in brightness. In addition, when the image becomes dark, the image may not be visible to human eyes. Therefore, the image processing apparatus performs nonlinear conversion on the input signal so that the output maintains linearity in consideration of the characteristics of the output apparatus.
- step S17 the image processing apparatus performs Bayer interpolation.
- the image data output from the solid-state imaging element indicates a pixel value of one color for each pixel.
- pixel values of three colors of red, green and blue are required. Therefore, in each pixel, the image processing apparatus interpolates the pixel value of the insufficient color from the surrounding pixels or the like by an interpolation process such as bilinear.
- step S18 the image processing apparatus performs YCbCr conversion. That is, in step S18, the image processing apparatus converts from a RAW image format indicating RGB values to a YCbCr image format of Y indicating luminance and Cb and Cr indicating color differences.
- a “YCbCr image” that is an example of a converted image is generated by YCbCr conversion or the like. That is, in the following example, “Y” indicated by the YCbCr image is an example of luminance. Further, “Cb” indicated by the YCbCr image is an example of the first color difference, and “Cr” indicated by the YCbCr image is an example of the second color difference.
- the converted image is not limited to an image in the YCbCr format.
- the converted image may be an L * U * V * color space defined by CIE (International Commission on delegation 1976), an L * a * b * color space defined by CIE1976, or a YUV format. It may be an image.
- CIE International Commission on delegation 1976
- L * a * b * color space defined by CIE1976 or a YUV format. It may be an image.
- YCbCr image will be described.
- JPEG images are often converted from YUV image format data. Therefore, the image data may be converted into a YUV image format for conversion into a JPEG image.
- the image processing apparatus performs edge enhancement (YCFLT).
- the image processing apparatus includes an edge extraction filter process that extracts an edge from luminance, a gain multiplication that applies gain to the extracted edge, an LPF (low pass filter) process that reduces noise, a gain multiplication, and an LPF process.
- the image data is added.
- step S20 the image processing apparatus performs color correction.
- the image processing apparatus performs saturation setting, hue setting, partial hue change setting, color suppression, or a combination thereof.
- the first YCbCr image data YCbCrProp in the YCbCr image format is output by the processing shown in the figure.
- RAW image processing is not limited to the illustrated processing. For example, a part of the illustrated process may be omitted or another process may be performed.
- the processing shown in FIG. 4 is similarly performed on the second image data RawU2, the third image data RawU1, and the fourth image data RawO1 shown in FIG.
- the second YCbCr image data YCbCrU2, the third YCbCr image data YCbCrU1, and the fourth YCbCr image data YCbCrO1 are generated.
- step S03 the image processing apparatus performs image composition.
- FIG. 5 is a flowchart showing an example of image generation by the image processing apparatus according to the embodiment of the present invention.
- step S03 shown in FIG. 3 the first YCbCr image data YCbCrProp, the second YCbCr image data YCbCrU2, the third YCbCr image data YCbCrU1, and the fourth YCbCr image data YCbCrO1 generated in step S02 are synthesized.
- step S30 the image processing apparatus compares the color differences of the YCbCr images and adopts the maximum value.
- the image processing apparatus extracts a color difference, that is, Cr value data and Cb value data from each YCbCr image.
- the image processing apparatus compares the Cr value and Cb for each pixel.
- the value having the maximum overall value is adopted among the Cr and Cb values.
- the image processing apparatus can generate a composite image using a color difference having a large absolute value. Therefore, the image processing apparatus can generate a composite image with good image quality with enhanced saturation.
- the image processing apparatus can increase the processing speed.
- the image processing apparatus uses a Cb square value, which is an example of the first color difference square value obtained by squaring the Cb value of the YCbCr image, and a second value obtained by squaring the Cr value of the YCbCr image. You may compare each addition result which added Cr square value which is an example of 2 color difference square value. In other words, the image processing apparatus may generate a composite image by using, for each pixel, the Cb value and the Cr value that maximize the absolute value of the addition result.
- the image processing apparatus may calculate by excluding a part of the image, for example, image data generated by “O1Exp”, without using all the captured images as the original image for calculating the maximum value. In this way, by using only images that can be expected to generate an appropriate color difference, the image processing apparatus can generate a composite image with better image quality and better image quality.
- the image data indicating the Cr value and the Cb value of the composite image generated in step S30 is referred to as a “composite CbCr image CbCr”.
- step S31 the image processing apparatus adds a margin. Specifically, first, the image processing apparatus extracts luminance, that is, Y value data, from each YCbCr image. Next, the image processing apparatus adjusts the number of data by adding a margin to each Y value data so that each Y value data can obtain a predetermined number of pyramid stages.
- the image processing apparatus is a value that can be divided by “2 (N ⁇ 1) ” for the number of widths and heights of Y value data. Judge whether or not. Next, when the value is not divisible, the image processing apparatus adds a margin to the Y value data.
- the method for adding the margin includes, for example, a method of copying the pixel value at the end of the Y value data.
- the method for adding the margin may be another method such as adding a fixed pixel value.
- Y value data YP with margin is generated for each YCbCr image data.
- any one of the generated Y value data to which four margins are added is referred to as “Y value data with margin YP”.
- the image processing apparatus determines a coefficient.
- the coefficient is determined by data indicating a coefficient input in advance (hereinafter referred to as “coefficient data DLUT”).
- the coefficient data DLUT is data that varies depending on exposure conditions and the like. Further, the coefficient data DLUT is, for example, data in a LUT (Look Up Table) format.
- the coefficient normalizes the weight between Y value data for each pixel. For example, normalization can be shown as the following equation (1).
- w e indicates the weighting factor of the normalized exposure condition “e”.
- LUT e indicates coefficient data DLUT for the exposure condition “e”, that is, LUT.
- Y e indicates the luminance under the exposure condition “e”.
- normalization is a process of adding “1” to each pixel when the weighting coefficient of each exposure condition is added.
- FIG. 6 is a diagram showing an example of coefficient data according to an embodiment of the present invention.
- the coefficient data is, for example, an LUT that has a luminance value “Y” on the input side and outputs a value of “use ratio” with respect to “Y”. That is, as the “use ratio” increases, the weight used in the synthesis increases.
- the horizontal axis indicates input, and the vertical axis indicates output with respect to the input.
- the usage ratio is set to a value exceeding “0”.
- “Y” is described as an example of a value “0 to 255”.
- “usage ratio” is assumed that the denominator is “255” and the numerator is “1 to 255”. That is, the LUT converts an 8-bit value into an 8-bit value. Therefore, the LUT is an example of 256-byte data.
- the “U2Exp” LUT for photographing darkly is set to increase the ratio on the bright side while decreasing the ratio on the dark side.
- the LUT for “U2Exp” is set so that the output is increased to “1” or the like when the luminance on the bright side, that is, the luminance of a predetermined value or more is input. In this way, the weight that is used in the synthesis with a luminance of a predetermined value or more increases.
- the “O1Exp” LUT for photographing brightly is set to reduce the ratio of the bright side while increasing the ratio of the dark side.
- the LUT for “O1Exp” is set so that the output is increased to “1” or the like when the dark side, that is, the luminance of a predetermined value or less is input. In this way, the weight that is used in the synthesis with a luminance of a predetermined value or less increases.
- the predetermined value is “255 ⁇ 2 ⁇ 127”.
- the predetermined value is a value set in advance.
- the respective LUTs for “PropExp” and “U1Exp” are the same as shown.
- the image processing apparatus can resolve bright and dark areas and maintain an overall brightness to generate an image.
- an image generated using such an LUT is referred to as a “load image”.
- the image processing apparatus performs Gaussian pyramid processing.
- the Gaussian pyramid process generates a Gaussian pyramid LPM from the load image LImg generated in step S32.
- the Gaussian pyramid LPM is generated up to a predetermined “N” level.
- the pyramid process is, for example, a process of generating a plurality of images by changing the resolution of one image. Hereinafter, it expresses similarly.
- step S34 the image processing apparatus performs Y Laplacian pyramid processing.
- the Y Laplacian pyramid process generates a Laplacian pyramid YPM from the Y value data of each YCbCr image. Note that the Laplacian pyramid YPM is generated up to a predetermined “N” level.
- step S35 the image processing apparatus performs Y load averaging processing. Specifically, in step S35, the image processing apparatus multiplies the Gaussian pyramid LPM and the Laplacian pyramid YPM to generate a combined Laplacian pyramid CPM.
- the synthetic Laplacian pyramid CPM can be expressed by the following equation (2).
- Yw j indicates the “j” stage image in the synthetic Laplacian pyramid CPM.
- w e, j indicates the “j” -th stage image in the Gaussian pyramid LPM generated from the normalized weighting coefficient image of the exposure condition “e”.
- Y e, j indicates the “j” level image in the Laplacian pyramid YPM generated from the Y value data of the exposure condition “e”.
- step S36 the image processing apparatus performs Y reverse Laplacian processing. That is, in step S36, the image processing apparatus performs Y reverse Laplacian processing on the combined Laplacian pyramid CPM generated in step S35, and generates post-composite Y value data YB.
- the combined Y value data YB includes a margin.
- step S37 the image processing apparatus deletes the margin. That is, the image processing apparatus deletes the margin from the post-combination Y value data YB generated in step S36.
- the image indicated by the data generated in step S37 is referred to as “composite Y image Y”.
- the data of the composite Y image Y and the composite CbCr image CbCr is composite image data CYCbCr generated by composition.
- the image generation processing shown in FIG. 5 is preferably performed in the processing order in which the processing relating to CbCr such as step S30 is performed first.
- the memory used for the process related to CbCr can be released and used for the process related to Y.
- the image processing apparatus can increase the memory usage efficiency when the processing order in which the processing related to CbCr is performed first.
- the omnidirectional camera connects a plurality of captured images to generate an output image.
- the omnidirectional camera is an example of an image processing apparatus having a so-called compound eye having two solid-state imaging elements. It is desirable that each captured image captured by each of these solid-state imaging elements has a margin for performing multiple composition and a margin corresponding to the “N” stage of the pyramid process. Specifically, it is desirable that light is incident on an area where the captured image is stitched and blank pixels of “2 (N ⁇ 1) ” or more.
- FIG. 7 is a flowchart showing an example of overall processing by the image processing apparatus according to the second embodiment of the present invention.
- the same processes as those in FIG. 3 are denoted by the same reference numerals, and redundant description is omitted.
- FIG. 7 differs from FIG. 3 in that step S41 and subsequent steps are added.
- each process is performed based on a captured image generated by each solid-state imaging element. Therefore, in this example, each process is performed twice, and each image is generated based on the captured image.
- step S41 the image processing apparatus performs distortion correction. That is, in step S41, the image processing apparatus generates a so-called equirectangular image by distortion correction.
- the equirectangular image is composed of a plurality of photographed images, that is, so-called fisheye images.
- stitch processing is performed at a joint portion that connects fish-eye images.
- the image corresponding to the fisheye image is an image indicated by each composite image data CYCbCr. Therefore, each composite image data CYCbCr is distortion-corrected, and a compound eye image CImg is generated.
- step S42 the image processing apparatus performs color luminance correction.
- a color difference or a luminance difference may occur between images taken by two solid-state imaging elements due to the influence of flare or the like. Therefore, a color or luminance step may occur at the joint. Therefore, in step S42, the image processing apparatus performs color luminance correction for correcting such a step. For example, in color luminance correction, color luminance correction is performed such that the joint portion is arranged on the equator of the image and corrected.
- step S42 is preferably performed after the processing for each photographed image such as step S03.
- images captured by the respective solid-state imaging elements are separately processed separately. In this way, the image processing apparatus can improve the image quality of the output image.
- step S43 the image processing apparatus performs zenith correction.
- the zenith correction is performed based on the acceleration sensor data DC.
- the image processing apparatus corrects the orientation indicated by the image in accordance with the zenith direction indicated by the acceleration sensor data DC. An image generated by this correction becomes an output image OutImg.
- FIG. 8 is a functional block diagram showing an example of a functional configuration of the image processing apparatus according to the embodiment of the present invention.
- the image processing apparatus 10 includes an imaging unit 10F1, a conversion unit 10F2, an image generation unit 10F3, and a storage unit 10F4.
- the imaging unit 10F1 generates a plurality of captured images RAWImg by capturing a plurality of times under different imaging conditions.
- the captured image is, for example, the first image data RawProp, the second image data RawU2, the third image data RawU1, the fourth image data RawO1, and the like shown in FIG.
- the photographing unit 10F1 is realized by, for example, the photographing device 12 (FIG. 2).
- the conversion unit 10F2 converts the captured image RawImg to generate a YCbCr image YCbCrImg.
- the conversion unit 10F2 performs the process illustrated in FIG. 4 to generate a YCbCr image YCbCrImg based on the captured image RAWImg.
- the conversion unit 10F2 is realized by, for example, the ISP 6 (FIG. 2).
- the storage unit 10F4 stores data indicating a coefficient for the luminance of the YCbCr image YCbCrImg for each photographing condition.
- the data stored by the storage unit 10F4 is, for example, coefficient data DLUT (FIG. 5). That is, the storage unit 10F4 stores data illustrated in FIG.
- the storage unit 10F4 is realized by, for example, the ROM 26 (FIG. 2).
- the image generation unit 10F3 generates a composite image CYCbCr by combining a plurality of YCbCr images based on the coefficient indicated by the data stored in the storage unit 10F4. For example, the image generation unit 10F3 performs the processing shown in FIG.
- the image generation unit 10F3 is realized by, for example, the ISP 6 or the like.
- the image processing apparatus further includes an output unit that performs a process of connecting a plurality of composite images CYCbCr as shown in FIG. 7 and outputs an output image.
- the color difference is not limited to the Cr value and Cb value of the YCbCr image.
- the color difference may be a and b in Lab.
- the color difference may be U and V in YUV.
- each processing according to the present invention is executed by a computer described in a legacy programming language or an object-oriented programming language such as an assembler, C, C ++, C #, and Java (registered trademark). It may be realized by the program. That is, the program is a computer program for causing a computer such as an image processing apparatus to execute an image processing method.
- the program can be stored and distributed in a computer-readable recording medium such as ROM or EEPROM (Electrically Erasable Programmable ROM).
- a computer-readable recording medium such as ROM or EEPROM (Electrically Erasable Programmable ROM).
- the recording medium is EPROM (Erasable Programmable ROM), flash memory, flexible disk, CD-ROM, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, Blu-ray disc, SD (registered trademark) card or MO Etc.
- the program can be distributed through a telecommunication line.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
画像を処理する画像処理装置が、異なる撮影条件で複数回撮影して複数の撮影画像を生成し、前記撮影画像を変換して輝度及び色差を示す変換画像を生成し、前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶し、前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成することにより、出力する画像の画質が良い画像処理装置を提供する。
Description
本発明は、画像処理装置及び画像処理方法に関する。
近年、複数回撮影を行い、撮影によって得られる複数の画像を合成して画像を生成する方法が知られている。
例えば、ダイナミックレンジ(dynamic range)を拡大するため、まず、多重露光撮影において、撮影モードに応じて、複数の画像を画素値の比較結果に基づいて、複数の画像のうち、いずれかの画像の画素値を選択して合成する。次に、複数の画像を加算又は減算して画像合成を行う方法が知られている(特許文献1参照)。
しかしながら、従来の方法では、異なる撮影条件で複数の画像がそれぞれ撮影される場合において、出力される画像の画質が悪い場合がある。
本発明は、上記課題に鑑みてなされたものであり、異なる撮影条件で複数の画像がそれぞれ撮影される場合において、出力する画像の画質が良い画像処理装置を提供することを目的とする。
一態様における、画像を処理する画像処理装置は、異なる撮影条件で複数回撮影して複数の撮影画像を生成する撮影部と、前記撮影画像を変換して輝度及び色差を示す変換画像を生成する変換部と、前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶する記憶部と、前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成する画像生成部とを備えることを特徴とする。
本発明の各実施形態によれば、異なる撮影条件で複数の画像がそれぞれ撮影される場合において、出力する画像の画質が良い画像処理装置を提供することができる。
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付し、重複した説明を省く。
<第1実施形態>
<画像処理装置例>
図1は、本発明の一実施形態に係る画像処理装置の全体構成の一例を示す断面図である。画像処理装置10は、例えば、複眼の構成である。具体的には、画像処理装置10は、まず、撮影装置12と、筐体14と、シャッタボタン18とを有する。
<画像処理装置例>
図1は、本発明の一実施形態に係る画像処理装置の全体構成の一例を示す断面図である。画像処理装置10は、例えば、複眼の構成である。具体的には、画像処理装置10は、まず、撮影装置12と、筐体14と、シャッタボタン18とを有する。
撮影装置12は、例えば、図示するように結像光学系20Aと、結像光学系20Bと、固体撮影素子22Aと、固体撮影素子22Bとを有する。
固体撮影素子22A及び固体撮影素子22Bは、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)センサ等の光学センサである。
結像光学系20A及び結像光学系20Bは、例えば、6群7枚のいわゆる魚眼レンズ等である。また、結像光学系20A及び結像光学系20Bは、2つの光学系で撮影する範囲が360以上であることが望ましい。さらに、結像光学系20A及び結像光学系20Bは、それぞれの画角が180°以上であり、より望ましくは、それぞれの画角が185°以上又は190°以上であり、重複して撮影される範囲があることが望ましい。なお、重複して撮影される範囲は、各画像をつなぎ合わせる際、つなぎ合わせの処理の参考となる。
結像光学系20A及び結像光学系20Bには、プリズム、フィルタ及び絞り等の光学系が含まれる。
固体撮影素子22A及び固体撮影素子22Bと、結像光学系20A及び結像光学系20Bとは、それぞれ対応する。また、固体撮影素子22A及び固体撮影素子22Bは、例えば図示するように、各結像光学系に入光する光が対応する固体撮影素子の受光領域の中心部に直交する位置、かつ、受光領域が対応するレンズの結合面となる位置に位置決めされる。さらに、各固体撮影素子は、受光領域を有し、受光領域に入光した光を画像信号に変換し、出力する。この例では、結像光学系20A、結像光学系20B、固体撮影素子22A及び固体撮影素子22Bは、同一の仕様であり、それぞれの光軸が合致するように互いに逆向きに設置されるとする。
なお、撮影装置は、固体撮影素子及び結像光学系を2つ有する場合に限られない。撮影装置は、3以上の固体撮影素子及び結像光学系を有してもよい。以下、図示する固体撮影素子及び結像光学系が2対である場合を例に説明する。
筐体14は、撮影装置12のコントローラ及び電源となるバッテリ等の部品を有する。また、シャッタボタン18は、筐体14に設けられ、撮影装置12のシャッタを切る操作を行うためのボタンである。
画像処理装置10は、撮影装置12によって撮影される各画像(以下「撮影画像」という。)をつなぎ合わせる処理を行う。次に、画像処理装置10は、複数の撮影画像をつなぎ合わせて合成し、立体角4rad(radian)の合成画像(以下「全天球画像」という。)を生成する処理を行う。なお、全天球画像は、撮影地点から見渡すことのできる全方位を示す画像である。すなわち、全天球画像は、水平面が360°撮影範囲となる、いわゆるパノラマ(panorama)画像であってもよい。
固体撮影素子22A及び固体撮影素子22Bの各走査方向を一致させることで、画像処理装置10は、各処理を行いやすくすることができる。つまり、つなぎ合わせの処理が行われる箇所等で走査方向及び順序が一致することで、各固体撮影素子の被写体、特に移動物体のつなぎ合わせの処理が行いやすくできる。例えば、固体撮影素子22Aの画像の左上部分及び固体撮影素子22Bの画像の左下部分がつなぎ合わせの処理を行う箇所で一致する場合は、固体撮影素子22Aの走査方向を上から下、かつ、右から左方向とする。また、固体撮影素子22Aの画像の左上部分及び固体撮影素子22Bの画像の左下部分がつなぎ合わせの処理を行う箇所で一致する場合には、固体撮影素子22Bの走査方向を下から上、かつ、左から右方向とする。つなぎ合わせ処理を行う箇所に基づいて走査方向を一致させることによって、画像処理装置10は、つなぎ合わせの処理が行いやすくできる。
画像処理装置10は、処理した画像を、例えば、ディスプレイ装置又は画像形成装置等の出力装置に出力させる。他にも、画像処理装置10は、画像を、例えば、SD(登録商標)カード又はコンパクトフラッシュ(登録商標)等の記録媒体に出力してもよい。
<ハードウェア構成例>
図2は、本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。図示するように、画像処理装置は、撮影装置12を有する。また、撮影装置12は、光学系の例であるレンズ1及び固体撮影素子の例であるCMOSセンサ2等を有する。
図2は、本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。図示するように、画像処理装置は、撮影装置12を有する。また、撮影装置12は、光学系の例であるレンズ1及び固体撮影素子の例であるCMOSセンサ2等を有する。
撮影装置12は、デジタルスチルカメラプロセッサ5に接続される。また、撮影装置12は、デジタルスチルカメラプロセッサ5が有するCPU(Central Processing Unit)29によって制御される。また、画像処理装置は、NAND FLASH等のROM(Read-Only Memory)26を有する。さらに、ROM26には、CPU29が用いる制御プログラム及びパラメータ等のデータが記憶される。
画像処理装置は、電源スイッチ等のスイッチ21を有する。このスイッチ21がオンの状態となると、例えば、ROM26に記憶される制御プログラムがメインメモリにロードされる等の処理が行われ、画像処理装置が起動する。また、CPU29は、プログラムに従って、各部の動作を制御する。さらに、CPU29は、制御及び処理においてデータをSDRAM(Synchronous Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)等のRAM15に記憶する。また、ROM26に、書き換え可能なフラッシュROM等を使用すると、制御プログラム又は制御用のパラメータの変更が可能となり、機能のバージョンアップが容易となる。
ISP(Image Signal Processor)6は、CMOS2から入力される画像データに対して、ホワイトバランス、ガンマ補正並びに画像データが示すそれぞれの画素値を輝度及び色差に変換する処理等を行う。
USB(Universal Serial Bus)27は、PC(Personal Computer)等の外部装置とUSB通信を行う。また、SPI23は、外部装置とシリアル通信を行う。さらに、JPEGコーデック器16は、画像データをJPEG形式に圧縮及びJPEG形式から伸張する。さらにまた、H.264動画コーデック器17は、画像データをH.264形式に圧縮及びH.264形式から伸張する。また、リサイズ器19は、画像データに対して補間処理等を行い、画像サイズを拡大及び縮小させる。さらに、画像処理装置は、画像データをSD(登録商標)カード25等に記憶する。なお、SD(登録商標)カード25は、メモリカードスロットル等によって、着脱可能である。
SDRAM4には、ISP6及び歪曲補正・合成処理装置24が用いる画像データ等が記憶される。また、歪曲補正・合成処理装置24は、3軸加速度センサー36から取得されるデータを利用して、天地補正及び傾き補正等を行ってもよい。次に、顔検出装置37は、補正された画像から人の顔等を検出する。これによって、画像内に写る顔の位置等が特定される。
なお、画像データは、デジタルスチルカメラプロセッサ5に読み込まれる。この例では、画像データは、ISP6によるホワイトバランス及びガンマ補正等が行われた後の状態である「RAW-RGB画像データ」等である。他にも、画像データは、ISP6による輝度及び色差変換等が行われた後の状態である「YCbCr画像データ」等である。さらに、画像データは、JPEGコーデック器16によるJPEG圧縮が行われた後の状態である「JPEG画像データ」等である。
画像処理装置は、LCD(Liquid Crystal Display)ドライバ等を有する。これによって、画像処理装置は、接続されるLCDモニタ35等の出力機器に画像を出力させる。すなわち、LCDドライバは、LCDモニタ35を駆動させるドライブ回路であり、LCDドライバは、各種状態をLCDモニタ35に表示するための信号に変換する処理を行う。
画像処理装置は、ユーザ等による音声を入力するマイク32が接続される。また、画像処理装置は、マイク32によって入力される音声の音声信号を増幅するアンプ等を有する。他にも、画像処理装置は、音声信号を示すデータを記憶する記憶装置を有する。
画像処理装置は、記憶される音声を出力するスピーカ33が接続される。また、画像処理装置は、スピーカ33に音声を出力させるための音声信号を増幅するアンプ等を有する。
<全体処理例>
図3は、本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。
図3は、本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。
ステップS01では、画像処理装置は、撮影を行う。なお、ステップS01で行われる撮影は、いわゆるブラケット撮影である。具体的には、画像処理装置は、露光条件等の撮影条件を変更して、異なる複数の撮影条件で、複数回の撮影を行う。以下、撮影回数を「M=4回」とする例で説明する。この例では、各撮影条件における露光条件が異なる。例えば、露光条件は、「PropExp」、「U2Exp」、「U1Exp」及び「O1Exp」である。また、この例では、露光条件を例えば、EV(Exposure Value)値で示すとする。EV値は、絞り(F値)及びシャッタ速度等の露出の明るさ等を特定できる条件の例である。
以下、「PropExp=0EV」、「U2Exp=-2EV」、「U1Exp=-1EV」及び「O1Exp=+2EV」とする例で説明する。なお、撮影条件は、「PropExp=0EV」、「U2Exp=-2EV」、「U1Exp=-1EV」及び「O1Exp=+2EV」とする条件に限られない。例えば、撮影条件は、カメラの特性に合わせて設定可能な上限値及び下限値を考慮して設定されてもよい。具体的には、「U1Exp」は、「U2Exp」の露光量の半分等と定義され、かつ、「U2Exp」の設定において上限に達するため、「U2Exp=-0.6EV」とする場合には、「U1Exp」は、「-0.3EV」と設定されてもよい。
なお、撮影は、通常のAE(Auto Exposure)よりも低いISO条件で行われるのが望ましい。つまり、撮影回数を「M=1」とする場合よりも、複数回撮影を行う場合には、感度が低くなる条件で撮影が行われるのが望ましい。このように、低いISO条件で撮影が行われると、画像処理装置は、ノイズの影響を少なくすることができる。
ステップS01によって、各撮影条件での画像データがそれぞれ生成される。この例では、「PropExp」によって生成される画像データは、第1画像データRawPropである。同様に、「U2Exp」によって生成される画像データは、第2画像データRawU2である。さらに、「U1Exp」によって生成される画像データは、第3画像データRawU1である。さらにまた、「O1Exp」によって生成される画像データは、第4画像データRawO1である。なお、第1画像データRawProp、第2画像データRawU2、第3画像データRawU1及び第4画像データRawO1は、それぞれRAW画像形式(Raw image format)である。
ステップS02では、画像処理装置は、RAW画像処理を行う。すなわち、ステップS02では、画像処理装置は、第1画像データRawProp、第2画像データRawU2、第3画像データRawU1及び第4画像データRawO1のそれぞれの画像データに対して、現像処理を行い、YCbCr画像に変換する。
図4は、本発明の一実施形態に係る画像処理装置によるRAW画像処理の一例を示すフローチャートである。例えば、ステップS02では、画像処理装置は、図示する処理を各RAW画像形式の画像データに対して、それぞれ行う。以下、第1画像データRawPropに対するRAW画像処理の例で説明する。
ステップS10では、画像処理装置は、OB(Opitical Black)補正を行う。例えば、ステップS10では、画像処理装置は、有効画素領域の出力信号をフレア又は暗い箇所でのノイズの大きさに合わせてクランプする補正を行う。
ステップS11では、画像処理装置は、欠陥画素補正を行う。固体撮影素子は、複数の画素が配列される。そのため、固体撮影素子は、半導体基板上に、複数のフォトダイオード等の感光素子が形成されるように製造される。したがって、製造において、半導体基板上に不純物が混入する等によって、画素値の取り込みができない画素、いわゆる欠陥画素が製造される場合がある。このような欠陥画素を補うため、画像処理装置は、欠陥画素の周辺画素からの画素値に基づいて、欠陥画素の出力を補う画素値を生成する。
ステップS12では、画像処理装置は、リニア(linear)補正を行う。すなわち、ステップS12では、画像処理装置は、R(red)、G(green)及びB(blue)ごとに、それぞれリニア補正を行う。
ステップS13では、画像処理装置は、シェーディング(shading)補正を行う。例えば、ステップS13では、画像処理装置は、あらかじめ用意される補正係数を有効画素領域の出力信号に乗じて、有効画素領域のシェーディング(陰影)による歪みを補正する。なお、補正係数は、固定値である。
ステップS14では、画像処理装置は、輝度値を計算する。具体的には、まず、ステップS14では、画像処理装置は、画像を所定の領域に分割する。次に、画像処理装置は、各領域の画素値に基づいて、それぞれの領域の平均輝度値を計算する。なお、計算される平均輝度値は、例えば、AE処理等に用いられる。
ステップS15では、画像処理装置は、ホワイトバランス処理を行う。固体撮影素子が有するそれぞれのフォトダイオードには、カラーフィルタがそれぞれ設置される。このため、フィルタの色によって、透過する光量が異なるため、各フォトダイオードに蓄積される電荷量が異なる。また、グリーンが最も感度が高くなることが多い。一方で、レッド及びブルーは、グリーンと比較すると、感度が低くなることが多く、半分程度となる場合がある。そこで、ホワイトバランス処理では、これらの感度の差を補い、画像に写る白色が白く表示させるように、レッド及びブルーに対してゲインをかける処理等が行われる。また、被写体の色は、光源色、例えば、太陽光又は蛍光灯等によって異なる。そのため、ホワイトバランス処理では、光源に応じて、白色を白く表示させるため、光源ごとに、ゲインが変更されてもよい。
ステップS16では、画像処理装置は、ガンマ補正を行う。すなわち、ガンマ補正は、非線形な入出力変換を行う。このような非線形な出力である場合には、明るさに階調性がない場合が多い。また、画像が暗くなると、人の目には、画像が見えなくなる場合がある。そこで、画像処理装置は、出力装置の特性を考慮して、出力が線形性を保つように、入力信号に対して非線形な変換を行う。
ステップS17では、画像処理装置は、ベイヤ補間を行う。固体撮影素子が有するそれぞれのフォトダイオードに各色のカラーフィルタがそれぞれ設置される場合には、固体撮影素子が出力する画像データは、画素ごとに、それぞれ1色の画素値を示す。これに対して、カラー画像を表示するには、レッド、グリーン及びブルーの3色の画素値が必要となる。そこで、各画素において、画像処理装置は、足りない色の画素値を周辺の画素等からバイリニア等の補間処理によって補間する。
ステップS18では、画像処理装置は、YCbCr変換を行う。すなわち、ステップS18では、画像処理装置は、RGB値を示すRAW画像形式から、輝度を示すY並びに色差を示すCb及びCrのYCbCr画像形式に変換する。
このように、YCbCr変換等によって、変換画像の例である「YCbCr画像」は、生成される。すなわち、以下の例では、YCbCr画像が示す「Y」が輝度の例である。また、YCbCr画像が示す「Cb」が第1色差の例であり、YCbCr画像が示す「Cr」が第2色差の例である。
なお、変換画像は、YCbCr形式の画像に限られない。例えば、変換画像は、CIE(国際照明委員会、Commission internationale de l'eclairage)1976で定められるL*U*V*色空間、CIE1976で定められるL*a*b*色空間又はYUV形式等の画像でもよい。以下、変換画像がYCbCr画像である例で説明する。
なお、JPEG画像は、YUV画像形式のデータから変換されることが多い。そのため、JPEG画像に変換するため、画像データは、YUV画像形式に変換されてもよい。
ステップS19では、画像処理装置は、エッジ強調(YCFLT)を行う。例えば、画像処理装置は、輝度からエッジを抽出するエッジ抽出フィルタ処理と、抽出されるエッジにゲインをかけるゲイン乗算と、ノイズを減らすLPF(low pass filter)処理と、ゲイン乗算後及びLPF処理後の画像データの加算等を行う。
ステップS20では、画像処理装置は、色補正を行う。例えば、画像処理装置は、彩度設定、色相設定、部分的な色相変更設定、色抑制又はこれらの組み合わせ等を行う。
図示する処理によって、YCbCr画像形式である第1YCbCr画像データYCbCrPropが出力される。
なお、RAW画像処理は、図示する処理に限られない。例えば、図示する処理の一部が省略又は他の処理が行われてもよい。
また、例えば、図3に示す第2画像データRawU2、第3画像データRawU1及び第4画像データRawO1に対しても、同様に、図4に示す処理が行われる。このようにすると、第2YCbCr画像データYCbCrU2、第3YCbCr画像データYCbCrU1及び第4YCbCr画像データYCbCrO1がそれぞれ生成される。
図3に戻り、ステップS03では、画像処理装置は、画像合成を行う。
図5は、本発明の一実施形態に係る画像処理装置による画像生成の一例を示すフローチャートである。例えば、図3に示すステップS03では、ステップS02で生成される第1YCbCr画像データYCbCrProp、第2YCbCr画像データYCbCrU2、第3YCbCr画像データYCbCrU1及び第4YCbCr画像データYCbCrO1を合成して合成画像を生成する。
ステップS30では、画像処理装置は、各YCbCr画像の色差を比較して、最大値を採用する。まず、画像処理装置は、各YCbCr画像から色差、すなわち、Cr値データ及びCb値データをそれぞれ抜き出す。次に、画像処理装置は、画素ごとに、Cr値及びCbを比較する。そして、この例では、4つのYCbCr画像のCr値及びCb値のうち、全体値が最大となる値を採用する。このように、最大値を採用すると、画像処理装置は、絶対値が大きい値の色差を利用して合成画像を生成できる。そのため、画像処理装置は、彩度が強調される画質の良い合成画像を生成できる。また、ステップS30に係る演算は、高速に行うことができるため、画像処理装置は、処理速度を速くすることができる。
なお、彩度補正の程度を抑えたい場合等には、画像処理装置は、YCbCr画像のCb値を二乗した第1色差二乗値の例であるCb二乗値及びYCbCr画像のCr値を二乗した第2色差二乗値の例であるCr二乗値を加算したそれぞれの加算結果を比較してもよい。つまり、画像処理装置は、画素ごとに、加算結果の絶対値が最大となるCb値及びCr値をそれぞれ採用して、合成画像を生成してもよい。
また、画像処理装置は、最大値を算出するための元画像として撮影画像すべてを用いず、一部の画像、例えば「O1Exp」によって生成される画像データを除いて算出してもよい。このように、適切な色差が生成されることが期待できる画像のみを用いることで、画像処理装置は、より適切な彩度をもつ画質の良い合成画像を生成できる。以下、ステップS30によって生成される合成画像のCr値及びCb値を示す画像データを「合成CbCr画像CbCr」という。
ステップS31では、画像処理装置は、余白の追加を行う。具体的には、まず、画像処理装置は、各YCbCr画像から輝度、すなわち、Y値データをそれぞれ抜き出す。次に、画像処理装置は、各Y値データが所定のピラミッド段数を得られるように、各Y値データに余白を追加する等によってデータ数を調整する。
例えば、後段の処理でのピラミッド段数が「N」である場合には、画像処理装置は、Y値データの幅及び高さの数がそれぞれ「2(N-1)」で割り切れる値であるか否かを判断する。次に、割り切れない値である場合には、画像処理装置は、Y値データに余白を追加する。
余白を追加する方法は、例えば、Y値データの端の画素値をコピーする等の方法がある。なお、余白を追加する方法は、固定値の画素値を追加する等の他の方法でもよい。
以下、ステップS31によって余白が追加されたY値データを「余白付Y値データYP」という。なお、余白付Y値データYPは、YCbCr画像データごとにそれぞれ生成される。以下の説明では、生成される4つの余白が追加されたY値データうち、いずれか1つを指して「余白付Y値データYP」という。
ステップS32では、画像処理装置は、係数を決定する。例えば、係数は、あらかじめ入力される係数を示すデータ(以下「係数データDLUT」という。)によって決定される。また、係数データDLUTは、露光条件等によって異なるデータである。さらに、係数データDLUTは、例えば、LUT(Look Up Table)形式のデータである。
係数は、画素ごとに、Y値データ間で重みを正規化する。例えば、正規化は、下記(1)式のように示せる。
図6は、本発明の一実施形態に係る係数データの一例を示す図である。係数データは、例えば、入力側を輝度値「Y」とし、この「Y」に対する「利用割合」の値を出力するLUT等である。すなわち、「利用割合」が高くなると、合成において使用される重みが大きくなる。また、図では、撮影条件ごとに、横軸は、入力を示し、縦軸は、入力に対する出力を示す。なお、利用割合は、「0」を超える値が設定される。また、「Y」は、「0乃至255」の値である例で説明する。さらに、以下の例では、「利用割合」は、分母を「255」とし、分子が「1乃至255」の値であるとする。つまり、LUTは、8ビットの値を8ビットの値に変換する。そのため、LUTは、256バイトのデータである例とする。
この例では、高輝度部分を解像するため、暗く撮影する「U2Exp」用のLUTは、明るい側の割合を増やし、一方で、暗い側の割合を減らすように設定される。図示するように、「U2Exp」用のLUTは、明るい側、すなわち、所定の値以上の輝度が入力されると、出力が「1」等のように高くなるように設定される。このようにすると、所定の値以上の輝度が合成において使用される重みが大きくなる。
逆に、低輝度部分を解像するため、明るく撮影する「O1Exp」用のLUTは、明るい側の割合を減らし、一方で、暗い側の割合を増やすように設定される。図示するように、「O1Exp」用のLUTは、暗い側、すなわち、所定の値以下の輝度が入力されると、出力が「1」等のように高くなるように設定される。このようにすると、所定の値以下の輝度が合成において使用される重みが大きくなる。
なお、この例では、所定の値を「255÷2≒127」とする例である。また、所定の値は、あらかじめ設定される値である。
さらに、中間の撮影条件で撮影する「PropExp」及び「U1Exp」用のそれぞれのLUTは、「Y=0.5」の中央付近の値に対して、割合を増やす。例えば、「PropExp」及び「U1Exp」用のそれぞれのLUTは、図示するように、同一である。このように、各撮影条件において、係数データが設定されると、画像処理装置は、明るい領域及び暗い領域を解像させ、全体的な明るさを維持させて画像を生成できる。以下、このようなLUTを用いて生成される画像を「荷重画像」という。
図5に戻り、ステップS33では、画像処理装置は、ガウシアンピラミッド処理を行う。例えば、ガウシアンピラミッド処理は、ステップS32によって生成される荷重画像LImgからガウシアンピラミッドLPMを生成する。なお、ガウシアンピラミッドLPMは、所定の「N」段まで生成されるとする。なお、ピラミッド処理は、例えば、1つの画像を解像度を変えて複数の画像を生成する処理等である。以下、同様に表現する。
ステップS34では、画像処理装置は、Yラプラシアンピラミッド処理を行う。例えば、Yラプラシアンピラミッド処理は、各YCbCr画像のY値データからラプラシアンピラミッドYPMを生成する。なお、ラプラシアンピラミッドYPMは、所定の「N」段まで生成されるとする。
ステップS35では、画像処理装置は、Y荷重平均処理を行う。具体的には、ステップS35では、画像処理装置は、ガウシアンピラミッドLPM及びラプラシアンピラミッドYPMを乗算し、合成ラプラシアンピラミッドCPMを生成する。なお、合成ラプラシアンピラミッドCPMは、下記(2)式のように示せる。
ステップS36では、画像処理装置は、Y逆ラプラシアン処理を行う。すなわち、ステップS36では、画像処理装置は、ステップS35で生成される合成ラプラシアンピラミッドCPMに対して、Y逆ラプラシアン処理を行い、合成後Y値データYBを生成する。なお、合成後Y値データYBは、余白が含まれる。
ステップS37では、画像処理装置は、余白を削除する。すなわち、画像処理装置は、ステップS36で生成される合成後Y値データYBから余白を削除する。以下、ステップS37によって生成されるデータが示す画像を「合成Y画像Y」という。
合成Y画像Y及び合成CbCr画像CbCrのデータが、合成によって生成される合成画像データCYCbCrである。
なお、図5に示す画像生成の処理は、ステップS30等のCbCrに係る処理を先に行う処理順序であるのが望ましい。このような処理順序とすると、CbCrに係る処理に用いられるメモリを解放し、Yに係る処理に用いることができる。すなわち、CbCrに係る処理を先に行う処理順序であると、画像処理装置は、メモリの使用効率を高めることができる。
<第2実施形態>
以下、2つの魚眼レンズで全方位を撮影するカメラ(以下「全天球カメラ」という。)を用いる例で説明する。全天球カメラは、複数の撮影画像をつなぎ合わせて、出力画像を生成する。なお、全天球カメラは、2つの固体撮影素子を有する、いわゆる複眼を有する画像処理装置の例である。これらの固体撮影素子でそれぞれ撮影される撮影画像は、多重合成を行うための余白を有し、かつ、ピラミッド処理の「N」段に対応する余白を有するのが望ましい。具体的には、撮影画像は、撮影画像をスティッチする領域及び「2(N-1)」以上の余白画素に光が入射されるのが望ましい。
以下、2つの魚眼レンズで全方位を撮影するカメラ(以下「全天球カメラ」という。)を用いる例で説明する。全天球カメラは、複数の撮影画像をつなぎ合わせて、出力画像を生成する。なお、全天球カメラは、2つの固体撮影素子を有する、いわゆる複眼を有する画像処理装置の例である。これらの固体撮影素子でそれぞれ撮影される撮影画像は、多重合成を行うための余白を有し、かつ、ピラミッド処理の「N」段に対応する余白を有するのが望ましい。具体的には、撮影画像は、撮影画像をスティッチする領域及び「2(N-1)」以上の余白画素に光が入射されるのが望ましい。
<全体処理例>
図7は、本発明の第2実施形態の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。以下、図3と同様の処理には同一の符号を付し、重複した説明を省略する。図3と比較すると、図7は、ステップS41以降が加わる点が異なる。また、2つの固体撮影素子を有する全天球カメラでは、各処理が、それぞれの固体撮影素子が生成する撮影画像に基づいてそれぞれ行われる。そのため、この例では、各処理は、2回ずつ行われ、各画像は、撮影画像に基づいてそれぞれ生成される。
図7は、本発明の第2実施形態の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。以下、図3と同様の処理には同一の符号を付し、重複した説明を省略する。図3と比較すると、図7は、ステップS41以降が加わる点が異なる。また、2つの固体撮影素子を有する全天球カメラでは、各処理が、それぞれの固体撮影素子が生成する撮影画像に基づいてそれぞれ行われる。そのため、この例では、各処理は、2回ずつ行われ、各画像は、撮影画像に基づいてそれぞれ生成される。
ステップS41では、画像処理装置は、歪補正を行う。すなわち、ステップS41では、画像処理装置は、歪補正によって、いわゆる正距円筒画像を生成する。この正距円筒画像は、複数の撮影画像、すなわち、いわゆる魚眼画像等から構成される。また、正距円筒画像を生成する際に、魚眼画像同士をつなぐつなぎ目部分で、スティッチ処理が行われる。
この例では、魚眼画像に相当する画像は、各合成画像データCYCbCrが示す画像である。したがって、各合成画像データCYCbCrが歪補正され、複眼画像CImgが生成される。
ステップS42では、画像処理装置は、色輝度補正を行う。例えば、フレア等の影響によって、2つの固体撮影素子が撮影する画像の間には、色差又は輝度差が生じる場合がある。そのため、つなぎ目に、色又は輝度の段差が生じる場合がある。そこで、ステップS42では、画像処理装置は、このような段差を補正する色輝度補正を行う。例えば、色輝度補正では、つなぎ目部分を画像の赤道に配置し、補正する等の色輝度補正が行われる。
なお、ステップS42は、ステップS03等の各撮影画像に対する処理の後に行われるのが望ましい。これによって、各固体撮影素子が撮影した画像は、それぞれ別に分離して処理される。このようにすると、画像処理装置は、出力画像の画質を向上させることができる。
ステップS43では、画像処理装置は、天頂補正を行う。例えば、天頂補正は、加速度センサデータDCに基づいて行われる。この例では、画像処理装置は、加速度センサデータDCが示す天頂方向に合わせて画像が示す向きを補正する。この補正によって生成される画像が出力画像OutImgとなる。
<機能構成例>
図8は、本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図示するように、画像処理装置10は、撮影部10F1と、変換部10F2と、画像生成部10F3と、記憶部10F4とを備える。
図8は、本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図示するように、画像処理装置10は、撮影部10F1と、変換部10F2と、画像生成部10F3と、記憶部10F4とを備える。
撮影部10F1は、異なる撮影条件で複数回撮影して複数の撮影画像RawImgを生成する。なお、撮影画像は、例えば、図3に示す第1画像データRawProp、第2画像データRawU2、第3画像データRawU1及び第4画像データRawO1等である。また、撮影部10F1は、例えば、撮影装置12(図2)等によって実現される。
変換部10F2は、撮影画像RawImgを変換してYCbCr画像YCbCrImgを生成する。なお、変換部10F2は、例えば、図4に示す処理を行って、撮影画像RawImgに基づいてYCbCr画像YCbCrImgを生成する。また、変換部10F2は、例えば、ISP6(図2)等によって実現される。
記憶部10F4は、撮影条件ごとに、YCbCr画像YCbCrImgの輝度に対する係数を示すデータを記憶する。記憶部10F4によって記憶されるデータは、例えば、係数データDLUT(図5)等である。すなわち、記憶部10F4は、図6に示すデータを記憶する。また、記憶部10F4は、例えば、ROM26(図2)等によって実現される。
画像生成部10F3は、記憶部10F4が記憶するデータが示す係数に基づいて、複数のYCbCr画像を合成して合成画像CYCbCrを生成する。例えば、画像生成部10F3は、図5に示す処理等を行う。また、画像生成部10F3は、例えば、ISP6等によって実現される。
また、全天球カメラ等の複眼で撮影を行う画像処理装置では、図7に示すように、画像生成部10F3が生成する複数の合成画像CYCbCrに対して、歪補正等が更に行われてもよい。この場合には、画像処理装置は、図7に示すように複数の合成画像CYCbCrをつなぎ合わせる処理等を行い、出力画像を出力する出力部を更に備える。
なお、色差は、YCbCr画像のCr値及びCb値に限られない。例えば、色差は、Labにおけるa及びbでもよい。さらに、色差は、YUVにおけるU及びVでもよい。
なお、本発明に係る各処理の全部又は一部は、アセンブラ、C、C++、C#、及びJava(登録商標)等のレガシープログラミング言語又はオブジェクト指向プログラミング言語等で記述されたコンピュータに実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、画像処理装置等のコンピュータに画像処理方法を実行させるためのコンピュータプログラムである。
また、プログラムは、ROM又はEEPROM(Electrically Erasable Programmable ROM)等のコンピュータが読み取り可能な記録媒体に格納して頒布することができる。さらに、記録媒体は、EPROM(Erasable Programmable ROM)、フラッシュメモリ、フレキシブルディスク、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、ブルーレイディスク、SD(登録商標)カード又はMO等でもよい。さらにまた、プログラムは、電気通信回線を通じて頒布することができる。
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。
本国際出願は、2015年12月15日に出願された日本国特許出願2015-243679号に基づく優先権を主張するものであり、その全内容を本国際出願に援用する。
10 画像処理装置
RawImg 撮影画像
YCbCrImg YCbCr画像
DLUT 係数データ
CYCbCr 合成画像
RawImg 撮影画像
YCbCrImg YCbCr画像
DLUT 係数データ
CYCbCr 合成画像
Claims (6)
- 画像を処理する画像処理装置であって、
異なる撮影条件で複数回撮影して複数の撮影画像を生成する撮影部と、
前記撮影画像を変換して輝度及び色差を示す変換画像を生成する変換部と、
前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶する記憶部と、
前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成する画像生成部と
を備える画像処理装置。 - 前記画像生成部は、前記変換画像が示す色差を比較して、画素ごとに、値の絶対値が最大となる色差をそれぞれ採用して前記合成画像を生成する請求項1に記載の画像処理装置。
- 前記画像生成部は、前記変換画像が示す複数の色差のうち、第1色差を二乗した第1色差二乗値及び前記変換画像が示す複数の色差のうち、前記第1色差とは異なる第2色差を二乗した第2色差二乗値を加算したそれぞれの加算結果を比較して、画素ごとに、前記加算結果の絶対値が最大となる第1色差及び第2色差をそれぞれ採用して前記合成画像を生成する請求項1に記載の画像処理装置。
- 前記データは、前記撮影条件が暗く撮影する条件である場合、前記輝度のうち、所定の値以上の値となる輝度が前記合成において使用される重みが大きくなるように設定され、かつ、前記撮影条件が明るく撮影する条件である場合、前記輝度のうち、所定の値以下の値となる輝度が前記合成において使用される重みが大きくなるように設定される請求項1に記載の画像処理装置。
- 複眼で撮影を行い、画像を処理する画像処理装置であって、
異なる撮影条件で複数回撮影して複数の撮影画像を生成する撮影部と、
前記撮影画像を変換して輝度及び色差を示す変換画像を生成する変換部と、
前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶する記憶部と、
前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成する画像生成部と、
前記合成画像をつなぎ合わせて出力画像を出力する出力部と
を備える画像処理装置。 - 画像を処理する画像処理装置が行う画像処理方法であって、
前記画像処理装置が、異なる撮影条件で複数回撮影して複数の撮影画像を生成する撮影手順と、
前記画像処理装置が、前記撮影画像を変換して輝度及び色差を示す変換画像を生成する変換手順と、
前記画像処理装置が、前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶する記憶手順と、
前記画像処理装置が、前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成する画像生成手順と
を含む画像処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017555955A JP6597794B2 (ja) | 2015-12-15 | 2016-11-29 | 画像処理装置及び画像処理方法 |
KR1020187015846A KR102102740B1 (ko) | 2015-12-15 | 2016-11-29 | 이미지 프로세싱 장치 및 이미지 프로세싱 방법 |
CN201680071233.8A CN108293090B (zh) | 2015-12-15 | 2016-11-29 | 图像处理设备和图像处理方法 |
EP16875379.6A EP3393117A4 (en) | 2015-12-15 | 2016-11-29 | Image-processing device and image-processing method |
US15/979,928 US10699393B2 (en) | 2015-12-15 | 2018-05-15 | Image processing apparatus and image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015243679 | 2015-12-15 | ||
JP2015-243679 | 2015-12-15 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/979,928 Continuation US10699393B2 (en) | 2015-12-15 | 2018-05-15 | Image processing apparatus and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017104395A1 true WO2017104395A1 (ja) | 2017-06-22 |
Family
ID=59056259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/085294 WO2017104395A1 (ja) | 2015-12-15 | 2016-11-29 | 画像処理装置及び画像処理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10699393B2 (ja) |
EP (1) | EP3393117A4 (ja) |
JP (1) | JP6597794B2 (ja) |
KR (1) | KR102102740B1 (ja) |
CN (1) | CN108293090B (ja) |
WO (1) | WO2017104395A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111369533A (zh) * | 2020-03-05 | 2020-07-03 | 中国铁道科学研究院集团有限公司基础设施检测研究所 | 基于偏振图像融合的钢轨廓形检测方法及装置 |
JP2020150527A (ja) * | 2019-03-15 | 2020-09-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
WO2020189510A1 (ja) * | 2019-03-15 | 2020-09-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
JP2021124526A (ja) * | 2020-01-31 | 2021-08-30 | 株式会社リコー | 記録装置、記録システム、ファイル生成方法およびプログラム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6981106B2 (ja) | 2017-08-29 | 2021-12-15 | 株式会社リコー | 撮像装置、画像表示システム、操作方法、プログラム |
KR102526145B1 (ko) * | 2017-11-24 | 2023-04-28 | 삼성디스플레이 주식회사 | 유기 발광 표시 장치 및 이의 구동 방법 |
US10645358B2 (en) * | 2018-02-20 | 2020-05-05 | Gopro, Inc. | Saturation management for luminance gains in image processing |
CN109410162A (zh) * | 2018-10-19 | 2019-03-01 | 北斗巡星信息科技有限公司 | 一种用于伪装的技术 |
US11961206B2 (en) | 2021-09-09 | 2024-04-16 | Samsung Electronics Co., Ltd. | Image generation using non-linear scaling and tone-mapping based on cubic spline curves |
CN114240792A (zh) * | 2021-12-21 | 2022-03-25 | 北京小米移动软件有限公司 | 图像曝光融合方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005197952A (ja) * | 2004-01-06 | 2005-07-21 | Sony Corp | 撮像装置及び撮像方法 |
JP2013138301A (ja) * | 2011-12-28 | 2013-07-11 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法及び撮像装置 |
JP2015033064A (ja) * | 2013-08-05 | 2015-02-16 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2015084512A (ja) * | 2013-09-18 | 2015-04-30 | 株式会社リコー | 画像処理システム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4573080B2 (ja) | 2001-02-20 | 2010-11-04 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4379408B2 (ja) * | 2004-12-07 | 2009-12-09 | セイコーエプソン株式会社 | 信号処理部および撮像装置 |
CN100539648C (zh) * | 2006-05-11 | 2009-09-09 | 精工爱普生株式会社 | 摄像元件及摄像装置和方法 |
JP2011091595A (ja) * | 2009-10-22 | 2011-05-06 | Kyocera Mita Corp | 画像処理装置、画像処理方法及び画像形成装置 |
JP5136665B2 (ja) * | 2010-07-21 | 2013-02-06 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
JP5899633B2 (ja) * | 2011-03-09 | 2016-04-06 | 富士通株式会社 | 画像合成装置、画像合成方法および画像合成プログラム |
JP5791336B2 (ja) * | 2011-04-01 | 2015-10-07 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP5822606B2 (ja) | 2011-08-31 | 2015-11-24 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
JP5832855B2 (ja) * | 2011-11-01 | 2015-12-16 | クラリオン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
KR20130051584A (ko) | 2011-11-10 | 2013-05-21 | 삼성전자주식회사 | 드럼 세탁기 |
JP5990004B2 (ja) * | 2012-02-08 | 2016-09-07 | キヤノン株式会社 | 撮像装置 |
JP6123274B2 (ja) | 2012-03-08 | 2017-05-10 | 株式会社リコー | 撮像装置 |
JP2013214947A (ja) | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
JP6079031B2 (ja) | 2012-08-01 | 2017-02-15 | 株式会社リコー | 撮像装置 |
US10666860B2 (en) | 2012-09-11 | 2020-05-26 | Ricoh Company, Ltd. | Image processor, image processing method and program, and imaging system |
JP6065474B2 (ja) | 2012-09-11 | 2017-01-25 | 株式会社リコー | 撮像制御装置、撮像制御方法およびプログラム |
JP5971207B2 (ja) | 2012-09-18 | 2016-08-17 | 株式会社リコー | 画像調整装置、画像調整方法およびプログラム |
JP2014112302A (ja) | 2012-12-05 | 2014-06-19 | Ricoh Co Ltd | 所定領域管理システム、通信方法、及びプログラム |
JP6044328B2 (ja) | 2012-12-26 | 2016-12-14 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
JP6119719B2 (ja) * | 2014-02-05 | 2017-04-26 | カシオ計算機株式会社 | 医療用皮膚検査装置、皮膚病変を検査する方法並びにプログラム |
JP2016040870A (ja) | 2014-08-12 | 2016-03-24 | 株式会社リコー | 画像処理装置、像形成方法およびプログラム |
-
2016
- 2016-11-29 EP EP16875379.6A patent/EP3393117A4/en not_active Withdrawn
- 2016-11-29 KR KR1020187015846A patent/KR102102740B1/ko active IP Right Grant
- 2016-11-29 WO PCT/JP2016/085294 patent/WO2017104395A1/ja unknown
- 2016-11-29 JP JP2017555955A patent/JP6597794B2/ja active Active
- 2016-11-29 CN CN201680071233.8A patent/CN108293090B/zh active Active
-
2018
- 2018-05-15 US US15/979,928 patent/US10699393B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005197952A (ja) * | 2004-01-06 | 2005-07-21 | Sony Corp | 撮像装置及び撮像方法 |
JP2013138301A (ja) * | 2011-12-28 | 2013-07-11 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法及び撮像装置 |
JP2015033064A (ja) * | 2013-08-05 | 2015-02-16 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2015084512A (ja) * | 2013-09-18 | 2015-04-30 | 株式会社リコー | 画像処理システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3393117A4 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020150527A (ja) * | 2019-03-15 | 2020-09-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
WO2020189510A1 (ja) * | 2019-03-15 | 2020-09-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
JP7395259B2 (ja) | 2019-03-15 | 2023-12-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
US12010433B2 (en) | 2019-03-15 | 2024-06-11 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
JP2021124526A (ja) * | 2020-01-31 | 2021-08-30 | 株式会社リコー | 記録装置、記録システム、ファイル生成方法およびプログラム |
CN111369533A (zh) * | 2020-03-05 | 2020-07-03 | 中国铁道科学研究院集团有限公司基础设施检测研究所 | 基于偏振图像融合的钢轨廓形检测方法及装置 |
CN111369533B (zh) * | 2020-03-05 | 2023-06-06 | 中国铁道科学研究院集团有限公司基础设施检测研究所 | 基于偏振图像融合的钢轨廓形检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3393117A4 (en) | 2018-11-14 |
KR102102740B1 (ko) | 2020-04-21 |
KR20180080297A (ko) | 2018-07-11 |
JPWO2017104395A1 (ja) | 2018-09-06 |
EP3393117A1 (en) | 2018-10-24 |
US10699393B2 (en) | 2020-06-30 |
US20180260945A1 (en) | 2018-09-13 |
CN108293090A (zh) | 2018-07-17 |
CN108293090B (zh) | 2020-10-20 |
JP6597794B2 (ja) | 2019-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6597794B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5971207B2 (ja) | 画像調整装置、画像調整方法およびプログラム | |
JP6065474B2 (ja) | 撮像制御装置、撮像制御方法およびプログラム | |
JP6455601B2 (ja) | 制御システム、撮像装置、およびプログラム | |
US9426437B2 (en) | Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing | |
US8797427B2 (en) | Image processing apparatus | |
JP6933059B2 (ja) | 撮影装置、情報処理システム、プログラム、画像処理方法 | |
JP2009017306A (ja) | 画像表示装置及びそれを用いた撮像装置 | |
JP5843027B1 (ja) | 撮像装置、制御方法およびプログラム | |
US11798143B2 (en) | Image processing apparatus and control method thereof | |
US10785462B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
WO2016117137A1 (ja) | 撮像装置、撮像方法、および画像表示装置 | |
JP6299116B2 (ja) | 撮像装置、撮像方法および記録媒体 | |
JP7247609B2 (ja) | 撮像装置、撮像方法およびプログラム | |
US11805326B2 (en) | Image processing apparatus, control method thereof, and storage medium | |
US20190246043A1 (en) | Image processing apparatus configured to generate auxiliary image showing luminance value distribution, method for controlling the image processing apparatus, and storage medium | |
JP2016040870A (ja) | 画像処理装置、像形成方法およびプログラム | |
JP6725105B2 (ja) | 撮像装置及び画像処理方法 | |
US11641525B2 (en) | Image capturing apparatus capable of displaying live view image high in visibility, method of controlling image capturing apparatus, and storage medium | |
US20200314349A1 (en) | Image processing device, image processing method, and program | |
WO2020071108A1 (ja) | 画像処理装置および画像処理方法 | |
JP5513311B2 (ja) | 撮像モジュール、画像処理装置および画像信号処理方法 | |
JP2006148791A (ja) | 撮像装置 | |
JP2020061726A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16875379 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017555955 Country of ref document: JP Kind code of ref document: A |
|
ENP | Entry into the national phase |
Ref document number: 20187015846 Country of ref document: KR Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |