WO2013145487A1 - 画像処理装置、撮像素子、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、撮像素子、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2013145487A1 WO2013145487A1 PCT/JP2012/083615 JP2012083615W WO2013145487A1 WO 2013145487 A1 WO2013145487 A1 WO 2013145487A1 JP 2012083615 W JP2012083615 W JP 2012083615W WO 2013145487 A1 WO2013145487 A1 WO 2013145487A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- image
- rgbw
- rgb
- sensor
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 535
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000000034 method Methods 0.000 claims abstract description 142
- 238000006243 chemical reaction Methods 0.000 claims abstract description 128
- 239000000470 constituent Substances 0.000 claims abstract description 26
- 230000000737 periodic effect Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 135
- 239000011159 matrix material Substances 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 41
- 239000000203 mixture Substances 0.000 claims description 36
- 230000015572 biosynthetic process Effects 0.000 claims description 26
- 238000003786 synthesis reaction Methods 0.000 claims description 26
- 239000003086 colorant Substances 0.000 claims description 19
- 238000002156 mixing Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 description 46
- 238000001514 detection method Methods 0.000 description 21
- 230000002194 synthesizing effect Effects 0.000 description 14
- 238000012937 correction Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 201000005569 Gout Diseases 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 241001071861 Lethrinus genivittatus Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
- H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
- H04N25/626—Reduction of noise due to residual charges remaining after image readout, e.g. to remove ghost images or afterimages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
Definitions
- the present disclosure relates to an image processing device, an imaging device, an image processing method, and a program.
- the present invention relates to an image processing apparatus, an image sensor, an image processing method, and a program that realize image generation with reduced noise and false colors included in an image.
- Solid-state image sensors such as CCD image sensors and CMOS (Complementary Metal Oxide Semiconductor) image sensors used in video cameras and digital still cameras accumulate charges according to the amount of incident light and output electrical signals corresponding to the accumulated charges. Perform photoelectric conversion.
- Each image sensor is provided with a color filter for individually storing light of a specific wavelength, that is, a signal corresponding to a specific color, for each pixel.
- a filter having a Bayer array composed of RGB colors is often used.
- an image sensor having such high-density pixels is indispensable for capturing a high-resolution image.
- an image pickup device having such a high-density pixel has a problem that the amount of charge that can be accumulated per pixel decreases, and the amount of noise included in the signal of each pixel relatively increases.
- Patent Document 1 Japanese Patent Laid-Open No. 2006-253876
- an exposure element is changed in units of pixels using an image sensor having high density pixels, and a long exposure image and a short exposure image are acquired at the same time.
- a configuration for generating a high dynamic range image by combining a plurality of different exposure time images is proposed.
- the imaging method using this method has a problem that the amount of noise is relatively increased as compared with the conventional method when pixels of either long exposure or short exposure cannot be used effectively. For example, in a dark scene, the amount of noise in the short-time exposure image is large, and an image is generated using only the long-time exposure image. In such a case, an image is generated using only half of the pixels in the conventional method, resulting in a decrease in resolution and an increase in noise.
- Patent Document 2 Japanese Patent Application Laid-Open No. 2004-304706
- Patent Document 3 US Patent No. 2007/0024879
- W White
- An image sensor configuration having an RGBW array with pixels added is proposed. By setting W pixels in addition to RGB, the charge accumulation amount per pixel is increased and the relative noise amount included in the pixel signal is reduced.
- the RGBW array disclosed in these patent documents has a configuration in which the pixel density of other color pixels is significantly reduced by adding W pixels. Specifically, there is only one R pixel or B pixel for every 8 pixels. For this reason, the color resolution is lowered, the color noise is increased, and the image quality is lowered.
- the present disclosure has been made in view of the above-described problems, for example, and includes an image processing device, an imaging element, and an image processing method capable of reducing color noise and false color while having a high-density pixel array,
- the purpose is to provide a program.
- the first aspect of the present disclosure is: An RGB image sensor having an RGBW array including an RGB pixel that is a light receiving element corresponding to wavelength light of each RGB color, and a W pixel that is a light receiving element that receives light of almost all wavelengths of RGB, An image processing unit that performs image processing by inputting a sensor image composed of RGBW pixel signals output from the image sensor;
- the image sensor has a periodic arrangement of unit configurations composed of RGBW pixels, and has an arrangement in which the configuration ratios of RGB pixels in the unit configuration are the same,
- the image processing unit A pixel array of the sensor image composed of the RGBW pixel signals is converted to generate an RGB array image, or each RGB image signal in which all RGB pixel values are set at each pixel position of the sensor image is generated.
- the image processing apparatus executes at least one of the signal processing.
- the image processing unit includes an array conversion unit that converts a pixel array of a sensor image including the RGBW pixel signals and generates an RGB array image including a Bayer array.
- the array conversion unit sets a W pixel at the RGB pixel position of the sensor image to generate an all W pixel image signal, and reduces the RGBW pixel signal at each pixel position of the sensor image.
- An RGBW pixel generation unit that generates an RGBW-compatible low-frequency signal that is a frequency signal, the W-pixel image signal, and the RGBW-compatible low-frequency signal are input, and it is estimated that the W pixel and the RGB pixel have a positive correlation
- a correlation processing unit that performs an array conversion of the constituent pixels of the sensor image and generates an RGB image of the Bayer array.
- the W pixel interpolation unit detects an edge direction by applying a pixel value of the W pixel of the sensor image, and a pixel in the detected edge direction is a reference pixel. As described above, the W pixel value at the interpolation pixel position is determined.
- the image processing unit executes a demosaic process of the sensor image, and sets each pixel value of RGB in each pixel position of the sensor image.
- a demosaic processing unit that generates a signal, wherein the demosaic processing unit sets a W pixel at an RGB pixel position of the sensor image and generates an all W pixel image signal; and each of the sensor images
- An RGBW pixel generation unit that generates an RGBW-compatible low-frequency signal that is a low-frequency signal of each RGBW pixel signal at the pixel position, the all-W pixel image signal, and the RGBW-compatible low-frequency signal are input, and the W pixel and the RGB pixel
- the W pixel interpolation unit detects an edge direction by applying a pixel value of the W pixel of the sensor image, and a pixel in the detected edge direction is a reference pixel. As described above, the W pixel value at the interpolation pixel position is determined.
- the image processing unit performs linear matrix processing that performs pixel value conversion by applying a preset matrix to the RGB image signals generated by the demosaic processing unit. Part.
- the image processing unit performs a demosaic process on the sensor image, and sets all pixel values of RGB and W at each pixel position of the sensor image.
- a demosaic processing unit for generating each image signal wherein the demosaic processing unit sets a W pixel at an RGB pixel position of the sensor image to generate an all W pixel image signal; and the sensor image
- An RGBW pixel generation unit that generates an RGBW-compatible low-frequency signal that is a low-frequency signal of each RGBW pixel signal at each pixel position, the all-W pixel image signal, and the RGBW-compatible low-frequency signal are input, By calculating pixel values based on the assumption that RGB pixels have a positive correlation, RGB image signals in which all pixel values of RGB are set at each pixel position of the sensor image are obtained. Having a correlation processing unit that formed.
- the image processing unit performs linear matrix processing that performs pixel value conversion using a preset matrix for each RGBW image signal generated by the demosaic processing unit. Part.
- the image sensor is configured to output an image having an addition pixel value of pixel values of the same color adjacent in an oblique direction as a sensor image
- the image processing unit Includes an array conversion unit that converts a pixel array of a sensor image composed of RGBW pixel signals constituted by the added pixel values and generates an RGB array image composed of a Bayer array, and the array conversion unit
- An RGBW pixel generation unit that generates an RGBW-compatible low-frequency signal that is a low-frequency signal of each RGBW pixel signal at each pixel position, an all-W pixel image signal that is output as a sensor image, and the RGBW-compatible low-frequency signal are input.
- the pixel value calculation based on the estimation that the W pixel and the RGB pixel have a positive correlation is performed to convert the constituent pixels of the sensor image. Having a correlation processing unit which generates an RGB image yer sequence.
- the image sensor is configured to output an image including a long-time exposure pixel and a short-time exposure pixel set according to control of the control unit as a sensor image
- the image processing unit generates a high dynamic range (HDR) image by applying a sensor image including the long-time exposure pixels and the short-time exposure pixels, converts the pixel array, and converts the RGB array HDR image including the Bayer array.
- HDR high dynamic range
- An array conversion unit for generating wherein the array conversion unit applies a long exposure pixel signal of the sensor image to set a long exposure W pixel at all pixel positions, and A W pixel interpolation unit that applies a short exposure pixel signal of the sensor image to generate an all W pixel short exposure image in which short exposure W pixels are set at all pixel positions; Applying the long exposure pixel signal of the sensor image, the long exposure RGBW corresponding low frequency signal which is the low frequency signal of the long exposure RGBW pixel signal at each pixel position, and the short exposure pixel signal of the sensor image An RGBW pixel generation unit that generates a low-frequency signal corresponding to a short-time exposure RGBW that is a low-frequency signal of each pixel signal of the short-time exposure RGBW at each pixel position, the all-W pixel long-time exposure image, A W pixel short exposure image, the long exposure RGBW compatible low frequency signal, and the short exposure RGBW compatible low frequency signal, and an all W pixel image signal as a high dynamic range (HDR)
- the HDR synthesis processing unit performs a high dynamic range (by a blend process of the short exposure pixel signal and the long exposure pixel signal after gain adjustment according to the exposure ratio. HDR) The constituent pixel values of the image are calculated.
- the W pixel interpolation unit detects an edge direction by applying a long-exposure W pixel signal of the sensor image, and refers to a pixel in the detected edge direction.
- a W pixel value at an interpolated pixel position is determined to generate an all W pixel long exposure image in which long exposure W pixels are set at all pixel positions, and a short exposure W pixel signal of the sensor image is applied.
- the edge direction is detected, and the W pixel value of the interpolation pixel position is determined using the pixel in the detected edge direction as a reference pixel, and the short exposure image of all W pixels in which short exposure W pixels are set at all pixel positions is obtained.
- the image sensor includes two long exposure pixel rows and short exposure pixel rows that are alternately set according to control of the control unit, and further, in units of two rows.
- a long exposure pixel signal having an added pixel value of pixel values of the same color adjacent in the oblique direction of the long exposure pixel row and a pixel value of the same color adjacent in the oblique direction of the short exposure pixel row in units of two rows An image composed of a short-exposure pixel signal having an added pixel value is output as a sensor image, and the image processing unit applies a sensor image including the long-exposure pixel and the short-exposure pixel to apply a high dynamic A range (HDR) image is generated, and an array conversion unit that converts a pixel array and generates an RGB array HDR image including a Bayer array is provided.
- HDR high dynamic A range
- a W pixel interpolating unit that generates an all W pixel short-time exposure image in which W pixels are set, and a low-frequency signal of each long-time exposure RGBW pixel signal at each pixel position by applying the long-time exposure pixel signal of the sensor image
- the low-frequency signal corresponding to the short-time exposure RGBW which is the low-frequency signal of each pixel signal of the short-time exposure RGBW at each pixel position, by applying the low-frequency signal corresponding to the long-time exposure RGBW and the short-time exposure pixel signal of the sensor image RGBW pixel generation unit for generating a signal, the all W pixel long exposure image, the all W pixel short exposure image, the long exposure RGBW compatible low frequency signal, and the short exposure RGB A corresponding low-frequency signal is input, an all-W
- the HDR synthesis processing unit performs a high dynamic range (by a blend process of the short exposure pixel signal and the long exposure pixel signal after gain adjustment according to the exposure ratio. HDR) The constituent pixel values of the image are calculated.
- the W pixel interpolation unit detects an edge direction by applying a long-exposure W pixel signal of the sensor image, and refers to a pixel in the detected edge direction.
- a W pixel value at an interpolated pixel position is determined to generate an all W pixel long exposure image in which long exposure W pixels are set at all pixel positions, and a short exposure W pixel signal of the sensor image is applied.
- the edge direction is detected, and the W pixel value of the interpolation pixel position is determined using the pixel in the detected edge direction as a reference pixel, and the short exposure image of all W pixels in which short exposure W pixels are set at all pixel positions is obtained.
- the second aspect of the present disclosure is: An RGB image sensor having an RGBW array including an RGB pixel that is a light-receiving element corresponding to wavelength light of each RGB color, and a W pixel that is a light-receiving element that receives light of almost all wavelengths of RGB,
- the image sensor is in an image pickup device having a periodic arrangement of unit configurations composed of RGBW pixels, and an array having the same configuration ratio of RGB pixels in the unit configuration.
- the imaging device has a periodic arrangement with 6 ⁇ 6 pixels, or 6 ⁇ 4 pixels, or 6 ⁇ 2 pixels as a unit configuration, and RGBW in the unit configuration
- the composition ratio of each pixel is 1: 1: 1: 3.
- the imaging device has a configuration in which RGBW pixels are arranged in each row and each column.
- the third aspect of the present disclosure is: An image processing method executed in an image processing apparatus,
- the image processing apparatus includes a periodic array of unit configurations composed of RGBW pixels each including RGB pixels that are light-receiving elements corresponding to wavelength lights of RGB colors and W pixels that are light-receiving elements that receive substantially all wavelengths of RGB light.
- An image processing unit that performs image processing on a sensor image that is an output of an image sensor having an arrangement in which the composition ratios of RGB pixels in the unit configuration are the same;
- the image processing unit A pixel array of the sensor image composed of the RGBW pixel signals is converted to generate an RGB array image, or each RGB image signal in which all RGB pixel values are set at each pixel position of the sensor image is generated.
- the image processing method executes at least one of signal processing.
- the fourth aspect of the present disclosure is: A program for executing image processing in an image processing apparatus;
- the image processing apparatus includes a periodic array of unit configurations composed of RGBW pixels each including RGB pixels that are light-receiving elements corresponding to wavelength lights of RGB colors and W pixels that are light-receiving elements that receive substantially all wavelengths of RGB light.
- An image processing unit that performs image processing on a sensor image that is an output of an image sensor having an arrangement in which the composition ratios of RGB pixels in the unit configuration are the same;
- the program is stored in the image processing unit.
- An array conversion process for converting a pixel array of the sensor image composed of the RGBW pixel signals to generate an RGB array image is Alternatively, the program is for executing at least one of signal processing for generating RGB image signals in which RGB pixel values are set at the pixel positions of the sensor image.
- the program according to the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes. .
- processing corresponding to the program is realized on the information processing apparatus or the computer system.
- an apparatus and method for generating an RGB image with little color noise and false colors by inputting an RGBW image Specifically, an image sensor having an RGBW array and an image processing unit that performs image processing by inputting a sensor image composed of RGBW pixel signals output from the image sensor.
- the image sensor has a periodic arrangement of unit configurations made up of RGBW pixels, and has an arrangement in which the composition ratios of RGB pixels in the unit configuration are the same, and the image processing unit has a sensor image made up of RGBW pixel signals.
- the number of RGB pixels per unit configuration of the image sensor is set evenly. Therefore, when setting the pixel values of each color of RGB for each pixel position, it is possible to sufficiently obtain the pixel values of each color from the reference area. Therefore, it is possible to perform the RGB color setting process for each pixel position with high accuracy, and to generate an RGB image with less color noise and false colors.
- FIG. 1 shows a configuration example of an image processing apparatus 100 as an imaging apparatus.
- Light incident through the optical lens 101 is photoelectrically converted by an image sensor (imaging device) 102, and a sensor output image 103 is output from the image sensor 102.
- the image sensor 102 is configured by, for example, a CMOS.
- the pixel array of the image sensor (imaging device) 102 is visible in addition to RGB pixels that transmit light corresponding to wavelength light of each RGB color and accumulate charges. It has an RGBW array including W pixels that transmit light in almost all wavelength regions of light and accumulate charges.
- RGBW array including W pixels that transmit light in almost all wavelength regions of light and accumulate charges.
- FIG. 2A in order from the first row, (First line) Repeat of RWGWWB, (Second line) Repeat of WRWGWB, (3rd line) GWBWRW repetition, (Fourth line) Repeating WGWBWR, (Line 5) Repeating BWRWGW, (Line 6) Repeat WBWRWG, It has become. In the following, the first and sixth lines are repeated for the seventh and subsequent lines.
- the image sensor (imaging device) 102 shown in FIG. 1 has the RGBW arrangement shown in FIG.
- a sensor output image 103 output from the image sensor 102 is input to the array conversion unit 104.
- the blocks subsequent to the array conversion unit 104 correspond to an image processing unit that performs image processing on the sensor output image 103.
- the array conversion unit 104 converts the pixel array of the sensor image 103 having the RGBW array shown in FIG. 2A, generates a Bayer array image 105, and outputs the image to the camera signal processing unit 106. That is, processing for conversion into a Bayer array shown in FIG. 2B is executed.
- the camera signal processing unit 106 performs signal processing on the Bayer array image 105, for example, general camera signal processing such as white balance adjustment, gamma correction, and demosaic processing, and generates an output image 107.
- general camera signal processing such as white balance adjustment, gamma correction, and demosaic processing
- the control unit 108 generates control signals for exposure control of the image sensor 102, processing control of the array conversion unit 104, and processing control of the camera signal processing unit 106, supplies the control signals to these components, and outputs from image capturing The overall control of the process leading to image generation is executed.
- the control unit 108 includes a CPU having a program execution function, for example, and performs overall control of processing executed in the imaging apparatus according to a program stored in a memory (not shown).
- FIG. 3 shows a partial configuration of the CMOS type image sensor 102, and a rectangular area corresponds to one pixel. This is a pixel 124.
- the image sensor 102 includes a vertical scanning circuit 122, a horizontal scanning circuit 123, and a plurality of pixels 124 arranged in an array.
- the charge accumulated in the photodiode is output to the vertical signal line 133 as a signal current through the amplifier transistor and the transfer transistor.
- the signal current is supplied to the horizontal scanning circuit 123, and after predetermined signal processing is executed, it is output to the outside through the signal output line 134.
- the horizontal reset line 131 is a line that supplies a signal for resetting the accumulated charge of each horizontal pixel, and the horizontal selection line 132 outputs the accumulated charge of each pixel after reset as each pixel signal.
- This line supplies an output timing control signal. That is, the time from the horizontal reset timing to the horizontal selection timing is the charge accumulation period.
- charge accumulation times can be controlled in units of horizontal lines, that is, in units of rows. For example, long-time exposure and short-time exposure can be performed every other row. By executing such exposure control, a long exposure image and a short exposure image are acquired simultaneously in one shooting process, and a high dynamic range image with an expanded dynamic range is generated by combining these images. It is also possible to do.
- the array conversion unit 104 performs array conversion of the sensor image 103, that is, the sensor image 103 having the RGBW pixel array shown in FIG. 2A, and the Bayer array image 105 having the Bayer array shown in FIG. And output to the camera signal processing unit 106.
- the array conversion unit 104 includes a W pixel interpolation unit 151, an RGBW pixel generation unit 152, and a correlation processing unit 153.
- the array conversion unit 104 receives the sensor image 103 having an RGBW array, generates a Bayer array image 105 having an RGB array, and outputs the image.
- the W pixel interpolation unit 151 sets W pixels at pixel positions other than the W pixels of the sensor image 103 having the RGBW arrangement, and generates an all W pixel image signal 161 of all pixels W pixels.
- the RGBW pixel generation unit 152 generates an RGBW-compatible LPF signal 162 as a low-frequency signal (LPF signal) of each RGBW pixel signal at each pixel position of the sensor image 103 having an RGBW array.
- the correlation processing unit 153 receives the all-W pixel image signal 161 and the RGBW-compatible LPF signal 162 and applies these input signals to generate and output a Bayer array image 105 having an RGB array.
- the configuration and processing of the W pixel interpolation unit 151 will be described with reference to FIG.
- the W pixel interpolation unit 151 receives the sensor image 103 having an RGBW pixel array and executes a W pixel interpolation process for setting the W pixel to the RGB pixel in the RGBW pixel array.
- a plurality of directional filters 171-1 to 171-1 for executing filter processing such as averaging processing using pixel values of W pixels in different directions as reference pixels, and edges for detecting edge directions
- a direction detection unit 172 and a filter selection unit 173 that determines an interpolation pixel value by filter selection are included.
- a predetermined reference region for example, k pixels ⁇ k pixels
- the edge direction detection unit 172 detects the edge direction based on the pixel value of the reference region, and the filter selection unit 173 sets the W pixel along the edge direction, that is, the direction in which the gradient of the pixel value is small, as the reference pixel.
- a filter for executing filter processing is selected, and the selected filter is applied to calculate a W pixel value as an interpolation pixel value. For example, an average value of pixel values of W pixels in a direction with a small gradient is calculated, and the W pixel value is set at the RGB pixel position of the processing target pixel position.
- FIG. 6 shows a processing example when the number N of applicable directional filters is 2, that is, two types of vertical and horizontal directions.
- the interpolation pixel position is a pixel position of W (2, 2) shown in FIG. 6, and this pixel position is a pixel in which any pixel value of RGB is set in the sensor image 103.
- W pixels W (1, 2) and W (3, 2) in the vertical direction, and there are also W pixels: W (2, 1), W (2, 3) in the horizontal direction.
- the edge direction detector 172 When the pixel value of each W pixel (x, y) is W (x, y), The edge direction detector 172
- It is determined whether or not the above equation holds. If the above equation holds, The edge direction is determined to be the vertical direction, and the filter selection unit 173 selects a pixel value of a pixel in the vertical direction along the edge direction as a reference pixel, and performs a filtering process based on the pixel value of the reference pixel, for example, an averaging process I do. Specifically, for example, the interpolated pixel value W ′ (2, 2) is calculated according to the following equation. W ′ (2,2) (W (1,2) + W (3,2)) / 2
- the edge direction is determined to be the horizontal direction, and the filter selection unit 173 selects a pixel value of a pixel in the horizontal direction along the edge direction as a reference pixel and performs a filtering process based on the pixel value of the reference pixel, for example, an averaging process I do.
- the interpolation pixel value W ′ (2, 2) is calculated according to the following equation.
- W ′ (2,2) (W (2,1) + W (2,3)) / 2
- the W pixel interpolation unit 151 generates an all W pixel image signal 161 in which W pixels are set for all the pixels shown in FIG.
- the RGBW pixel generation unit 152 generates an RGBW-compatible LPF signal 162 as a low-frequency signal (LPF signal) of each RGBW pixel signal at each pixel position of the sensor image 103 having an RGBW array.
- LPF signal low-frequency signal
- An R pixel generation unit 181R that generates an R average value (R low frequency signal) mR; G pixel generation unit 181G for generating a G average value (G low frequency signal) mG; A B pixel generation unit 181B that generates a B average value (B low frequency signal) mB; A W pixel generation unit 181W that generates a W average value (W low frequency signal) mW; It has these configurations.
- Each processing unit generates an RGBW-compatible LPF signal 162 as a low frequency signal (LPF signal) at each pixel position to be converted in the pixel array.
- mR, mG, mB, and mW can be calculated according to the following (Equation 1).
- K, L, M, and N are, for example, the total number of each color included in a predetermined reference area having a predetermined size centered on the pixel to be processed, and mR, mG, mB, and mW are average values of the respective colors. Equivalent to.
- FIG. An example of the reference area 185 in the case of calculating mR is shown.
- K 14.
- the RGBW pixel generation unit 152 generates an RGBW-compatible LPF signal 162 as a low-frequency signal (LPF signal) of each RGBW pixel signal at each pixel position of the sensor image 103 having an RGBW array.
- LPF signal low-frequency signal
- the correlation processing unit 153 receives the entire W pixel image signal 161 generated by the W pixel interpolation unit 151 and the RGBW-compatible LPF signal 162 generated by the RGBW pixel generation unit 152, and applies these input signals to generate an RGB array. Is generated and output.
- the correlation processing unit 153 includes an output color selection unit 191 and a correlation calculation unit 192.
- the output color selection unit 191 selects an output color according to which pixel position in the Bayer array image 105 to which the processing target pixel position corresponds.
- the RGB output LPF signal 162 generated by the RGBW pixel generation unit 152 by selecting one of the RGB output colors is mR. Either mG or mB is selected and output to the correlation calculation unit 192.
- mC shown to a figure is mR. Indicates either mG or mB.
- the correlation calculation unit 192 uses the property that the W pixel and the R, G, B pixel have a strong positive correlation, and adjusts the high frequency of the W pixel by gain and superimposes it on each color.
- the correlation processing unit 153 receives the entire W pixel image signal 161 generated by the W pixel interpolation unit 151 and the RGBW-compatible LPF signal 162 generated by the RGBW pixel generation unit 152, and applies these input signals. Then, a Bayer array image 105 having an RGB array is generated and output.
- the array conversion unit 104 shown in FIGS. 1 and 4 converts the pixel array of the sensor image 103 having the RGBW array shown in FIG. 2A by these processes to generate a Bayer array image 105 to generate FIG.
- the subsequent processing can be the same as the processing in the conventional imaging apparatus.
- the camera signal processing unit 106 performs signal processing on the Bayer array image 105, for example, general camera signal processing such as white balance adjustment, gamma correction, and demosaic processing, and generates an output image 107.
- the image sensor has the configuration described above with reference to FIG. 2A, and the number of RGB pixels per unit configuration is set equally. Therefore, when setting the pixel values of each color of RGB for each pixel position, it is possible to sufficiently obtain the pixel values of each color from the reference area. Therefore, it is possible to perform the RGB color setting process for each pixel position with high accuracy, and to generate an RGB image with less color noise and false colors.
- FIG. 10 is a diagram illustrating a configuration example of the image processing apparatus 200 according to the second embodiment of the present disclosure.
- An imaging apparatus will be described as one representative example of an image processing apparatus.
- the present embodiment is an embodiment in which the processing of the array conversion unit described in the first embodiment is set to be executed in the signal processing unit.
- the light incident through the optical lens 201 is photoelectrically converted by an image sensor (imaging device) 202, and a sensor output image 203 is output from the image sensor 202.
- the image sensor 202 is configured by, for example, a CMOS.
- the pixel array of the image sensor (imaging device) 202 has the RGBW array shown in FIG.
- a sensor output image 203 output from the image sensor 22 is input to the camera signal processing unit 204.
- the camera signal processing unit 204 uses the sensor output image 203 having the RGBW arrangement shown in FIG. 2A as it is, executes various signal processing, and generates an output image 205.
- the output image 205 is an image in which RGB pixel values are set for each pixel.
- FIG. 11 is a diagram illustrating a configuration example of the camera signal processing unit 204.
- the camera signal processing unit 204 has the following configuration.
- a white balance processing unit 211 that receives the sensor image 203 and adjusts the color to a more correct color by applying a different gain for each color in consideration of the sensitivity difference of each color and shooting condition information.
- a demosaic processing unit 212 that sets each color of RGB at each pixel position of the RGBW pixel array.
- a linear matrix processing unit 213 that corrects, for example, a mixed color generated between pixels by applying a matrix operation.
- a gamma conversion unit 214 that performs gamma conversion.
- the camera signal processing unit 204 has these configurations. Hereinafter, processing of each component will be described.
- the processing of the white balance processing unit 211 will be described with reference to FIG.
- the white balance processing unit 211 inputs the sensor image 203 having the RGBW arrangement shown in FIG. 2A, and adjusts to a more correct color by applying a different gain for each color in consideration of the sensitivity difference of each color and shooting condition information. Then, as shown in FIG. 12, a WB processed image 230 is generated and output to the demosaic processing unit 212 at the subsequent stage.
- the input color gain selection unit 222 illustrated in FIG. 12 receives coordinate information 221 corresponding to the pixel position of the processing target pixel, selects gain information 220 corresponding to the color of the processing target pixel based on the coordinate information, and performs gain processing. Output to the unit 222.
- the coordinate information 221 corresponding to the pixel position of the processing target pixel and the gain information 220 are provided from the control unit. For example, the gain information is held in the memory as attribute information corresponding to the image at the time of shooting.
- the gain processing unit 223 applies gain information corresponding to the processing target color input from the input color gain selection unit 222 to adjust the gain of the processing target pixel. Further, the clip processing unit 224 executes clip processing for adjusting the pixel value set by the gain adjustment to be within a predetermined range when the pixel value exceeds a preset default range.
- a WB processed image 230 that is an image after the WB adjustment shown in FIG. 12 is generated.
- the WB processed image 230 generated by the white balance processing unit 211 is output to the demosaic processing unit 212.
- the process of the demosaic processing unit 212 will be described with reference to FIG.
- the demosaic processing unit 212 receives the WB processed image 230 generated by the white balance processing unit 211 and generates a demosaic image 245RGB in which RGB pixel values are set at the respective pixel positions.
- the demosaic processing unit 212 includes a W pixel interpolation unit 231, an RGBW pixel generation unit 232, and a correlation processing unit 233.
- the W pixel interpolation unit 231 sets W pixels at pixel positions other than W pixels in the WB processed image 230 having the RGBW arrangement, and generates an all W pixel image signal 241 of all pixels W pixels.
- the RGBW pixel generation unit 232 generates an RGBW-compatible LPF signal 242 as a low-frequency signal (LPF signal) of each RGBW pixel signal at each pixel position of the WB processed image 230 having an RGBW array.
- the correlation processing unit 233 receives the all-W pixel image signal 241 and the RGBW-compatible LPF signal 242 and applies these input signals to generate a demosaic image 245RGB in which each RGB pixel value is set at each pixel position.
- the configuration and processing of the W pixel interpolation unit 231 and the RGBW pixel generation unit 232 are the same as the configuration and processing of the W pixel interpolation unit 151 and the RGBW pixel generation unit 152 in the first embodiment described above.
- the correlation processing unit 233 receives the entire W pixel image signal 241 generated by the W pixel interpolation unit 231 and the RGBW-compatible LPF signal 242 generated by the RGBW pixel generation unit 232 and applies these input signals to each pixel.
- a demosaic image 245RGB in which RGB pixel values are set at positions is generated.
- the correlation processing unit 233 includes a correlation calculation unit 251 as illustrated in FIG.
- the correlation calculation unit 251 uses the property that the W pixel and the R, G, and B pixels have a strong positive correlation, and adjusts the high frequency of the W pixel to superimpose it on each color.
- the correlation processing unit 233 sets RGB pixel values at all pixel positions.
- the output pixel value (ROut, GOut, BOut) is calculated according to, for example, the following (Formula 3).
- ROut mR + (W-mW) (mR / mW)
- GOut mG (W-mW) (mG / mW)
- Bout mB + (W ⁇ mW) (mB / mW) ...
- the correlation processing unit 233 receives the entire W pixel image signal 241 generated by the W pixel interpolation unit 231 and the RGBW-compatible LPF signal 242 generated by the RGBW pixel generation unit 232, and applies these input signals. Then, a demosaic image 245 in which RGB pixel values are set for all pixels is generated and output.
- the demosaic image 245 generated by the demosaic processing unit 212 is output to the linear matrix processing unit 213.
- the linear matrix processing unit 213 performs processing for correcting color mixture or the like generated between pixels by applying, for example, matrix calculation.
- the linear matrix processing unit 213 includes a matrix calculation unit 261.
- the matrix calculation unit 261 performs a calculation that applies a preset matrix to the R, G, and B pixel values (Rin, Gin, Bin) constituting the demosaic image 245 generated by the demosaic processing unit 212, and the characteristics of the color filter
- a corrected pixel value (Rout, Gout, Bout) that eliminates the problem of color mixing caused by pixel characteristics and optical characteristics is calculated and output.
- the matrix calculation in the matrix calculation unit is executed as a process according to the following (Equation 4), for example.
- Cxy is a parameter set according to the sensor, light source characteristics, and the like.
- the linear matrix processing unit 213 performs, for example, a matrix calculation in the matrix calculation unit 261 illustrated in FIG. 15 to correct a color mixture that occurs between pixels.
- the corrected pixel value is output to the gamma correction unit 214.
- the gamma correction unit 214 executes cancer conversion according to a preset nonlinear conversion mode. As shown in FIG. 16, the gamma correction unit 214 follows input values (Rin, Gin,%) From the linear matrix processing unit 213 according to a gamma correction curve corresponding to each color of RGB, for example, a gamma correction curve as shown in FIG. Each pixel value of Bin) is converted, and output values (Rout, Gout, Bout) are generated and output. This output is an output image 205 shown in FIG.
- the image processing apparatus 200 generates and outputs the output image 205 in which the RGB pixel values are set for all the pixels from the sensor image 203 having the RGBW arrangement in the camera signal processing unit 204.
- the image sensor has the configuration described above with reference to FIG. 2A, and the number of RGB pixels per unit configuration is set equally. Therefore, when setting the pixel values of each color of RGB for each pixel position, it is possible to sufficiently obtain the pixel values of each color from the reference area. Therefore, it is possible to perform the RGB color setting process for each pixel position with high accuracy, and to generate an RGB image with less color noise and false colors.
- the image processing apparatus of the third embodiment has a configuration in which the processes of the demosaic processing unit 212 and the linear matrix processing unit 213 in the image processing apparatus 200 of the second embodiment described with reference to FIGS. 10 to 16 are changed. Other configurations are the same as those of the second embodiment.
- the demosaic processing unit in the third embodiment will be described as a demosaic processing unit 212B, and the linear matrix processing unit will be described as a linear matrix processing unit B213 with reference to FIGS.
- FIG. 17 shows a configuration example of the correlation processing unit 233B of the demosaic processing unit 212B in the third embodiment.
- the correlation processing unit 233B receives the all W pixel image signal 241 generated by the W pixel interpolation unit 231 and the RGBW-compatible LPF signal 242 generated by the RGBW pixel generation unit 232, and applies these input signals to each pixel.
- a demosaic image 245RGB in which RGB pixel values are set at positions is generated. These processes are the same as in the second embodiment.
- the correlation processing unit 233B of the third embodiment further outputs the all W pixel image signal 241 generated by the W pixel interpolation unit 231.
- the correlation processing unit 233B includes a correlation calculation unit 251 as illustrated in FIG.
- the correlation calculation unit 251 uses the property that the W pixel and the R, G, and B pixels have a strong positive correlation, and adjusts the high frequency of the W pixel to superimpose it on each color. This process is the same as that of the second embodiment.
- the correlation processing unit 233B further sets pixel values for each color of RGBW at all pixel positions.
- the output pixel value (WOut, ROut, GOut, BOut) is calculated according to, for example, the following (Formula 5).
- GOut mG (W-mW) (mG / mW)
- Bout mB + (W ⁇ mW) (mB / mW) ...
- the correlation processing unit 233B receives the entire W pixel image signal 241 generated by the W pixel interpolation unit 231 and the RGBW-compatible LPF signal 242 generated by the RGBW pixel generation unit 232, and applies these input signals. Then, a demosaic image 245RGBW in which RGBW pixel values are set for all pixels is generated and output.
- the demosaic image 245RGBW generated by the demosaic processing unit 212B is output to the linear matrix processing unit 213B.
- the linear matrix processing unit 213B performs a process of correcting color mixture or the like occurring between pixels by applying a matrix operation, for example.
- the linear matrix processing unit 213B includes a matrix calculation unit 261B.
- the matrix calculation unit 261B executes a calculation that applies a preset matrix to the RGBW pixel values (Win, Rin, Gin, Bin) constituting the demosaic image 245 generated by the demosaic processing unit 212B, and performs color filtering.
- Correction pixel values (Rout, Gout, Bout) that eliminate the problem of color mixing caused by the above characteristics, pixel characteristics, and optical characteristics are calculated and output.
- the matrix calculation in the matrix calculation unit is executed as a process according to the following (Equation 6), for example.
- Cxy is a parameter set according to the sensor, the light source characteristics, and the like.
- the linear matrix processing unit 213 performs, for example, matrix calculation in the matrix calculation unit 261B illustrated in FIG. 18 and corrects color mixing or the like occurring between pixels.
- the third embodiment unlike the second embodiment, four colors of RGBW are used. With this structure, further improvement in color reproducibility can be expected.
- the image sensor has the configuration described above with reference to FIG. 2A, and the number of RGB pixels per unit configuration is set equally. Therefore, when setting the pixel values of each color of RGB for each pixel position, it is possible to sufficiently obtain the pixel values of each color from the reference area. Therefore, it is possible to perform the RGB color setting process for each pixel position with high accuracy, and to generate an RGB image with less color noise and false colors.
- the CMOS image sensor which is an image sensor used in the above-described embodiments, includes an AD converter that converts an analog value, which is a charge amount accumulated in each pixel, into a digital value.
- the output speed of each pixel signal is limited by the processing of this AD converter. As the number of pixels increases, there is a problem that the processing load of the AD converter increases and the signal output speed from the sensor decreases.
- FIG. 19A shows the pixel array of the image sensor, which is the RGBW array described above with reference to FIG.
- FIG. 19B shows pixel addition processing executed inside the image sensor. Addition processing of pixel values of two pixels of the same color in an oblique direction is executed. As a result, an image lancer output shown in FIG. 19C is obtained.
- an image signal that is lower than the resolution level of the original image sensor is output.
- the processing of the AD converter is reduced, high-speed output is possible and high-frame-rate image output can be realized. Become.
- FIG. 20 shows a configuration example of an image processing apparatus 400 according to the fourth embodiment.
- the image processing apparatus 400 has the same configuration as the image processing apparatus 100 according to the first embodiment described above with reference to FIG.
- Light incident through the optical lens 401 is photoelectrically converted by an image sensor (imaging device) 402, and a sensor output image 403 is output from the image sensor 402.
- the image sensor 402 is configured by, for example, a CMOS.
- the pixel array of the image sensor (imaging element) 402 has the RGBW array shown in FIG.
- the pixel addition described with reference to FIG. 19 is executed inside the image sensor 402, and an output image as a result of adding the pixel values of two pixels of the same color, that is, 1 of the original number of pixels as shown in FIG.
- An image (W image + RGB image) having a pixel number of / 2 is output as a sensor image 503.
- the array conversion unit 404 receives the sensor image 503 configured by the addition pixels, that is, (W image + RGB image), performs array conversion processing, and generates a Bayer array image 405.
- the camera signal processing unit 406 performs signal processing on the Bayer array image 405 to generate an output image 407.
- the control unit 408 generates control signals for exposure control of the image sensor 402, processing control of the array conversion unit 404, and processing control of the camera signal processing unit 406, supplies the control signals to each of these components, and outputs from image capturing The overall control of the process leading to image generation is executed.
- the control unit 408 includes a CPU having a program execution function, for example, and performs overall control of processing executed in the imaging apparatus according to a program stored in a memory (not shown).
- the array conversion unit 404 receives the sensor image 503, that is, the sensor image 403 generated by analog addition in the image sensor 502 described with reference to FIG. 19, that is, (W image + RGB image), and performs array conversion processing. To generate a Bayer array image 405.
- the sensor image 503 is composed of a combination of a W image composed of only W pixels and an RGB image.
- the W image is directly input to the correlation processing unit 452 as an all W pixel image signal 461. Further, the W image and the RGB image are input to the RGBW pixel generation unit 451.
- the RGBW pixel generation unit 451 generates an RGBW-compatible LPF signal 462 as a low-frequency signal (LPF signal) of each RGBW pixel signal at each pixel position of the sensor image 403. This process is the same as the process described with reference to FIGS. 7 and 8 in the first embodiment.
- the correlation processing unit 452 receives the all-W pixel image signal 461 and the RGBW-compatible LPF signal 462, applies these input signals, and generates and outputs a Bayer array image 405 having an RGB array. This process is the same as the process described with reference to FIG. 9 and the like in the first embodiment.
- the W pixel generation section required for the array conversion section 104 of the first embodiment that is, the W pixel generation section 151 shown in FIG. It becomes possible.
- the addition output processing configuration of the fourth embodiment can also be applied in combination with the processing of the second and third embodiments described above.
- the image sensor has the configuration described above with reference to FIG. 2A, and the number of RGB pixels per unit configuration is set equally. Therefore, when setting the pixel values of each color of RGB for each pixel position, it is possible to sufficiently obtain the pixel values of each color from the reference area. Therefore, it is possible to perform the RGB color setting process for each pixel position with high accuracy, and to generate an RGB image with less color noise and false colors.
- the exposure time of the constituent pixels of the image sensor is controlled in units of pixels, the long exposure pixel and the short exposure pixel are set, and a long exposure image and a short exposure image are generated by one shooting,
- a configuration of an image processing apparatus that generates an image having a wide dynamic range, that is, a high dynamic range image (HDR image) by combining these images having different exposure times will be described.
- FIG. 22 shows a configuration example of the image processing apparatus 500 according to the present embodiment.
- Light incident through the optical lens 501 is photoelectrically converted by an image sensor (imaging device) 502, and a sensor output image 503 is output from the image sensor 502.
- the image sensor 502 is configured by, for example, a CMOS.
- the pixel array of the image sensor (imaging device) 502 has the RGBW array shown in FIG.
- the image sensor (imaging device) 502 is set to two different exposure times, and outputs an image composed of a long exposure pixel and a short exposure pixel.
- long-time exposure pixels and short-time eye term pixels are alternately set for each line of the image sensor.
- these pixel-by-pixel exposure controls are performed under the control of the control unit 510. A specific example of the exposure control process will be described later with reference to FIG.
- the array conversion unit 504 inputs a sensor image 503 composed of pixels set at different exposure times, that is, an image in which, for example, long exposure pixels and short exposure pixels are alternately set in units of rows, and two exposures are performed.
- a high dynamic range image (HDR image) is generated by performing time image synthesis processing. Further, pixel array conversion processing is performed in conjunction with generation of a high dynamic range image (HDR image), and a Bayer array HDR image 505 is generated.
- the Bayer array HDR image 505 is input to the gradation conversion unit 506.
- the gradation conversion unit 506 performs a process of adjusting the range of pixel values set by the high dynamic process to a range that can be processed by the camera signal processing unit 508 in the next stage. For example, when the pixel value that can be processed by the camera signal processing unit 508 is 8-bit data, gradation conversion processing for setting all the constituent pixel values of the Bayer array HDR image 505 within 8 bits is executed. Through this process, a gradation-converted HDR image 507 is generated and output.
- the camera signal processing unit 508 performs signal processing on the gradation-converted HDR image 507 having the Bayer array to generate an output image 509.
- the control unit 510 generates control signals for controlling the exposure of the image sensor 502, the array conversion unit 504, the gradation conversion unit 506, and the camera signal processing unit 508, and supplies the control signals to each of these components. Overall control of processing from shooting to generation of an output image is executed.
- the control unit 508 includes a CPU having a program execution function, for example, and performs overall control of processing executed in the imaging apparatus according to a program stored in a memory (not shown).
- a specific example of the exposure control process in the image sensor 502 will be described with reference to FIG.
- a method of generating pixels with different sensitivities for example, a configuration in which the light transmittance of the pixel filter is set differently for each pixel, or a configuration in which the exposure time is controlled for each pixel can be applied. Any method may be applied to this apparatus.
- a process of generating a long exposure image and a short exposure image by changing the exposure time in units of rows will be described.
- FIG. 23 is a diagram illustrating a control signal output from the control unit 510 to the image sensor 502 and a time transition of charge accumulation in the image cent. The following five signals are shown. (1) Read timing (2) Long exposure pixel reset timing (3) Long exposure pixel charge amount (4) Short exposure pixel reset timing (5) Short exposure pixel charge amount
- the read timing is a timing signal for reading the accumulated charge of each pixel as a pixel value.
- the timings at times ta and tc are read timings.
- the long exposure reset timing corresponds to the setting timing of the exposure start time of the long exposure pixels.
- the time tb is the reset timing, and after this time tb, the accumulation of the electric charge according to the incident light is started in the long-time exposure pixel.
- the long-time exposure pixel charge amount indicates an increase transition of the charge amount in the exposure time (exposure time 1) from the long-time exposure reset timing to the next readout timing.
- the short-time exposure reset timing corresponds to the setting timing of the exposure start time of the short-time exposure pixels.
- the time td is the reset timing, and after this time td, the accumulation of charges according to the incident light is started in the short-time exposure pixels.
- the short-time exposure pixel charge amount indicates an increase transition of the charge amount in the exposure time (exposure time 2) from the short-time exposure reset timing to the next readout timing.
- the long exposure pixels and the short exposure pixels are alternately set for each row of the image sensor.
- an odd-numbered row is a short-time exposure pixel row and an even-numbered row is a long-time exposure pixel row.
- Various other settings are possible.
- the image sensor 502 generates a sensor image 503 including long exposure pixels and short exposure pixels by the exposure control described with reference to FIG. 23 and outputs the sensor image 503 to the array conversion unit 504.
- the array conversion unit 504 includes a W pixel interpolation unit 551, an RGBW pixel generation unit 552, an HDR synthesis processing unit 553, and a correlation processing unit 554.
- the sensor image 503 input by the array conversion unit 504 is in units of one line, Short exposure pixel (Short) Long exposure pixel (Long) These different exposure time setting pixels are arranged.
- the pixel array is the RGBW array described above with reference to FIG.
- the W pixel interpolation unit 551 inputs a sensor image 503 having an RGBW array in which long exposure pixels and short exposure pixels are alternately set in units of rows, and sets all W pixels with long exposure W pixels set to all pixels.
- a pixel long exposure image 561L and an all W pixel short exposure image 561S in which short exposure W pixels are set for all pixels are generated.
- This interpolation process is the same as the process in the first embodiment described above. However, when generating an all-W pixel long exposure image 561L, processing is performed with reference to only the long exposure pixel, and when generating an all W pixel short exposure image 561S, only the short exposure pixel is referred to. Process.
- the process of the W pixel interpolation unit 551 will be described with reference to FIG.
- the W pixel interpolation unit 551 inputs W pixel data in a sensor image 503 having an RGBW array in which long exposure pixels and short exposure pixels are alternately set in units of rows, and applies long pixel W pixels to all pixels. All W pixel long exposure image 561L, and all W pixel short exposure image 561S in which short exposure W pixels are set for all pixels are generated.
- FIG. 25 shows a processing configuration for generating an all-W pixel long exposure image 561L in which long exposure W pixels are set for all the pixels.
- the W pixel interpolation unit 551 includes a plurality of directional filters 571-1 to 571-1 to perform filter processing such as averaging processing using pixel values of W pixels in different directions as reference pixels, An edge direction detection unit 572 that detects an edge direction and a filter selection unit 573 that determines an interpolation pixel value by filter selection are included.
- the W pixel data 560L that has been exposed for a long time in the sensor image 503 is selected and input.
- a predetermined reference region for example, k pixels ⁇ k pixels
- the edge direction detection unit 572 detects the edge direction based on the pixel value of the reference region, and the filter selection unit 573 uses the W pixel along the edge direction, that is, the direction in which the gradient of the pixel value is small, as the reference pixel.
- a filter for executing filter processing is selected, and the selected filter is applied to calculate a W pixel value as an interpolation pixel value. For example, an average value of pixel values of W pixels in a direction with a small gradient is calculated, and the W pixel value at the processing target pixel position is set.
- FIG. 26 shows an example of processing when the number N of directional filters to be applied is four, that is, four types of horizontal direction, vertical direction, left-up diagonal direction, and right-up diagonal direction.
- the edge direction detection unit 572 has four types of edges: a horizontal edge amount (Dh), a vertical edge amount (Dv), a left upward diagonal direction edge amount (Dd), and a right upward diagonal direction edge amount (Da).
- ) / 8 Dv (
- ) / 8 Dd (
- / 4 Da (
- the edge direction detection unit 572 performs edge direction determination according to the following determination formula using the edge amounts in the four directions calculated according to the above calculation formula: Dh, Dv, Dd, Da.
- the filter selection unit 573 performs an interpolation process by selecting and applying a direction filter for selecting a reference pixel from the edge direction detected by the edge direction detection unit 572 and setting an interpolation pixel value.
- This processing example will be described with reference to FIG. FIG. (A) A processing example in which W pixels are interpolated at a center position where four W pixels are set in an oblique direction is shown. The center position of the four W pixels (W1 to W4) shown in FIG.
- the filter selection process corresponding to the edge direction detected by the edge direction detection unit 572 is the process shown in FIG. 27 (step 1).
- 27A1 to 27A3 show the following filter setting examples.
- A1 A filter when the edge direction is horizontal or vertical
- a2 A filter when the edge direction is a left-up diagonal direction
- a3 A filter when the edge direction is a right-up diagonal direction
- One of the filters is selected, and the pixel value at each pixel position is multiplied by a coefficient set in each filter and added.
- step 2 shown in FIG. 27 the sum of the added values is divided by 4.
- This division value becomes the interpolation W pixel value set at the interpolation pixel position 581.
- the filter of FIG. 27A1 is applied.
- FIG. (B) A processing example in which W pixels are interpolated at positions between W pixels set in the vertical direction. The central position of the six W pixels (W1 to W6) shown in FIG.
- FIGS. 28B1 to 28B4 show the following filter setting examples.
- (B1) A filter when the edge direction is a horizontal direction
- (b2) A filter when the edge direction is a vertical direction
- (b3) A filter when the edge direction is a left-up diagonal direction
- An edge direction is a right-up diagonal Filter in the case of a direction
- One of the filters is selected according to the edge direction, and the pixel value at each pixel position is multiplied by a coefficient set in each filter and added.
- step 2 shown in FIG. 28 the sum of the added values is divided by 8.
- This division value becomes the interpolation W pixel value set at the interpolation pixel position 582.
- the filter of FIG. 28 (b1) is applied.
- the interpolation pixel position includes a position sandwiched between W pixels in the horizontal direction as shown in FIG.
- the filter described in FIG. 28 may be applied after being rotated by 90 degrees.
- the W pixel interpolation unit 551 applies only the long-time exposed W pixel data 560L in the sensor image 503, and sets the long-time exposure W pixel value to the missing pixel position other than the long-time exposure W pixel.
- a W pixel interpolation process to be set is executed to generate an all W pixel long exposure image 561L in which long exposure W pixels are set for all pixels.
- W pixel interpolation processing for setting a short exposure W pixel value at a missing pixel position other than the short exposure W pixel is executed.
- an all W pixel short exposure image 561S in which short exposure W pixels are set for all pixels is generated.
- the RGBW pixel generation unit 552 of the array conversion unit 504 illustrated in FIG. 24 inputs a sensor image 503 having an RGBW array in which long-time exposure pixels and short-time exposure pixels are alternately set in units of rows, and at each pixel position.
- An RGBW-compatible LPF signal is generated as a low-frequency signal (LPF signal) of each RGBW pixel signal.
- a long-time exposure RGBW-compatible low-frequency signal 562L which is a low-frequency signal (LPF signal) of the long-time exposure RGBW signal
- LPF signal low-frequency signal
- an RGBW-compatible short-time exposure low-frequency signal 562S that is a low-frequency signal (LPF signal) of the short-time exposure RGBW signal is generated.
- the HDR synthesizing unit 553 receives the generation signal of the W pixel interpolation unit 551 and the generation signal of the RGBW pixel generation unit 552 and generates a high dynamic range (HDR) image.
- the HDR synthesizing unit 553 A generated signal of the W pixel interpolation unit 551. All W pixel long exposure image 561L All W pixel short exposure image 561S, A generation signal of the RGBW pixel generation unit 552. Long exposure LPF signal 562L, Short exposure LPF signal 562S Each of these signals is input.
- the HDR synthesizing unit 553 executes the following two processes.
- First process A generation signal of the W pixel interpolation unit 551.
- A1 All W pixel long exposure image 561L,
- A2) All W pixel short exposure image 561S,
- (Second process) A generation signal of the RGBW pixel generation unit 552.
- B1 Long exposure LPF signal 562L, (B2) Short-time exposure LPF signal 562S A process of inputting these two signals to generate and output an RGBW low frequency (LPF) signal 564 having a high dynamic range.
- LPF RGBW low frequency
- the HDR synthesizing unit 553 performs these two processes, (A) All-W pixel image 563 having a high dynamic range; (B) RGBW low frequency (LPF) signal 564 having a high dynamic range; These are generated and output to the correlation processing unit 554.
- A All-W pixel image 563 having a high dynamic range
- B RGBW low frequency (LPF) signal 564 having a high dynamic range
- FIG. 29 shows, as a representative example, a configuration for generating the above-described process (A) all-W pixel image 563 having a high dynamic range during the above two processes. That is, a generation signal of the W pixel interpolation unit 551. (A1) All W pixel long exposure image 561L, (A2) All W pixel short exposure image 561S, The configuration is such that these two signals are input to generate and output an all-W pixel image 563 having a high dynamic range.
- the HDR synthesizing unit 553 calculates a pixel value of a high dynamic range (HDR) image by executing a synthesizing process (blending) of the pixel values of the long-time exposure pixel and the short-time exposure pixel of the same color. For example, an image with less noise is obtained by using a long exposure pixel for a dark subject, and an image without saturation is obtained by using a short exposure pixel for a bright subject.
- HDR high dynamic range
- the HDR synthesizing unit 553 includes an exposure ratio gain adjusting unit 595, a blend rate calculating unit 596, and a blend processing unit 597.
- the exposure ratio gain adjustment unit 595 receives exposure ratio information 590 between the exposure time of the short-time exposure pixel at the time of shooting and the exposure time of the long-time exposure pixel from the control unit, and enters the short-time exposure pixel 592 in the input image.
- the gain corresponding to the exposure ratio information 590 is multiplied and the result is output to the blend processing unit 597.
- the blend rate calculation unit 596 inputs the short-time exposure pixel 592 and the long-time exposure pixel 593 to be blended, and calculates the blend rate.
- the pixels to be blended are a short-time exposure pixel and a long-time exposure pixel of the same color within a preset pixel area unit. In this example, a long exposure W pixel and a short exposure W pixel.
- the correspondence relationship between the pixel value (DL) of the long-time exposure pixel and the blend rate ( ⁇ ) corresponding to the blend rate calculation formula is a graph setting shown in FIG.
- the pixel value (DL) of the long exposure pixel is a dark pixel value
- an image with less noise can be obtained by using a large amount of the pixel value of the long exposure pixel.
- An image without saturation is acquired by using a large number of pixel values.
- the blend processing unit 597 shown in FIG. 29 receives the blend rate ( ⁇ ) from the blend rate calculation unit 596, and according to the input blend rate ( ⁇ ), the pixel value of the short-time exposure pixel (WS) 591 and the long time
- the pixel value of the exposure pixel (WL) 592 is blended to determine the W pixel value of the all W pixel image 563 as an HDR image.
- the pixel value of the short-time exposure pixel (WS) 591 is set to DS, DL, the pixel value of the long exposure pixel (WL) 592 Gain ratio between long exposure pixel and short exposure pixel
- the blend processing unit 597 determines the W pixel value of the all W pixel image 563 as the HDR image according to the above formula.
- the correlation processing unit 554 starts from the HDR synthesis processing unit 553.
- the correlation processing unit 554 performs the same processing as the correlation processing unit 153 in the first embodiment described above with reference to FIG.
- the array conversion unit 504 of the image processing apparatus according to the present embodiment illustrated in FIG. 22 generates the Bayer array HDR image 505 and outputs it to the gradation conversion unit 506 illustrated in FIG.
- the gradation conversion unit 506 performs processing for adjusting the range of pixel values set by the high dynamic processing as described above to a range that can be processed by the camera signal processing unit 508 in the next stage. For example, when the pixel value that can be processed by the camera signal processing unit 508 is 8-bit data, gradation conversion processing for setting all the constituent pixel values of the Bayer array HDR image 505 within 8 bits is executed. Through this process, a gradation-converted HDR image 507 is generated and output.
- the output of the sensor is 12 bits and the exposure ratio is 16 times, the output of the array conversion unit is 16 bits. Processing for compressing such a signal to the bit width of the signal that can be handled by conventional camera signal processing is performed. It should be noted that existing technology can be applied to this gradation conversion processing. As described above, the gradation conversion unit 506 generates the gradation-converted HDR image 507 by the gradation conversion process and outputs the gradation-converted HDR image 507 to the camera signal processing unit 508.
- the subsequent processing can be the same as the processing in the conventional imaging apparatus. That is, the camera signal processing unit 508 performs signal processing on the gradation-converted HDR image 507, for example, general camera signal processing such as white balance adjustment, gamma correction, and demosaic processing, and generates an output image 509.
- general camera signal processing such as white balance adjustment, gamma correction, and demosaic processing
- HDR high dynamic range
- the image sensor has the configuration described above with reference to FIG. 2A, and the number of RGB pixels per unit configuration is set equally. Therefore, when setting the pixel values of each color of RGB for each pixel position, it is possible to sufficiently obtain the pixel values of each color from the reference area. Therefore, it is possible to perform the RGB color setting process for each pixel position with high accuracy, and to generate an RGB image with less color noise and false colors.
- FIG. 31 shows a configuration example of an image processing apparatus 600 according to the present embodiment.
- An image processing apparatus 600 shown in FIG. 31 includes the same components as the image processing apparatus 500 described above with reference to FIG. 22 as the fifth embodiment.
- Light incident through the optical lens 601 is photoelectrically converted by an image sensor (imaging device) 602, and a sensor output image 603 is output from the image sensor 602.
- the image sensor 602 is composed of, for example, a CMOS.
- the pixel array of the image sensor (imaging device) 602 has the RGBW array shown in FIG.
- the image sensor (imaging device) 602 is set to two different exposure times as in the fifth embodiment. Further, similarly to the above-described fourth embodiment, pixel addition of the same color pixel is performed, and an image composed of the long exposure pixel and the short exposure pixel of the added pixel value is output.
- the long exposure pixels and the short eye eye pixels are alternately set in units of two rows of the image sensor. Note that these pixel-by-pixel exposure controls are performed under the control of the control unit 610. Specific exposure control settings and output images will be described later with reference to FIG.
- the array conversion unit 604 inputs a sensor image 603 composed of pixels set at different exposure times, that is, an image in which long exposure pixels and short exposure pixels constituted by added pixel values are alternately set in units of rows. Then, a high dynamic range image (HDR image) is generated by executing a synthesis process of images having two exposure times. Furthermore, pixel array conversion processing is performed in conjunction with the generation of a high dynamic range image (HDR image), and a Bayer array HDR image 605 is generated. The Bayer array HDR image 605 is input to the gradation conversion unit 606.
- the gradation conversion unit 606 performs a process of adjusting the range of pixel values set by the high dynamic process to a range that can be processed by the camera signal processing unit 608 in the next stage. For example, when the pixel value that can be processed by the camera signal processing unit 608 is 8-bit data, gradation conversion processing is performed in which all the constituent pixel values of the Bayer array HDR image 605 are set within 8 bits. Through this process, a gradation-converted HDR image 607 is generated and output.
- the camera signal processing unit 608 generates a output image 509 by performing signal processing on the gradation-converted HDR image 507 having the Bayer array.
- the control unit 510 generates control signals for controlling the exposure of the image sensor 602, the array conversion unit 604, the gradation conversion unit 606, and the camera signal processing unit 608, and supplies the control signals to each of these components. Overall control of processing from shooting to generation of an output image is executed.
- the control unit 608 includes a CPU having a program execution function, for example, and performs overall control of processing executed in the imaging apparatus according to a program stored in a memory (not shown).
- FIG. 32A shows a drive processing mode of the image sensor 602.
- FIG. 32B shows a sensor image 603 output from the image sensor 602.
- the short-time exposure pixel (Short) and the long-time exposure pixel (Long) are alternately set in units of two rows.
- the pixel values of pixels of the same color adjacent in the oblique direction in the two rows of short-time exposure pixels (Short) are added and output.
- This addition is the analog addition described in the fourth embodiment, and this processing reduces the processing load on the AD converter and enables output processing at a high frame rate.
- a sensor image 603 output from the image sensor 602 is an image shown in FIG. That is, RGB image 621 in which short exposure pixels and long exposure pixels are alternately set in units of rows, W image 622 in which short exposure pixels and long exposure pixels are alternately set in units of rows, These are the images. These images are output to the array conversion unit 604.
- the array conversion unit 604 includes a W pixel interpolation unit 651, an RGBW pixel generation unit 652, an HDR synthesis processing unit 653, and a correlation processing unit 654.
- the sensor image 603 input by the array conversion unit 604 is as follows.
- RGB image 621 in which short exposure pixels and long exposure pixels are alternately set in units of rows
- W image 622 in which short exposure pixels and long exposure pixels are alternately set in units of rows
- the W pixel interpolation unit 651 receives a W image 622 in which long exposure pixels and short exposure pixels are alternately set in units of rows, and generates the following two all W pixel images. That is, (1) All W pixel long exposure image 661L in which long exposure W pixels are set for all pixels, (2) All W pixel short exposure image 661S in which short exposure W pixels are set for all pixels, These images are generated.
- This interpolation process is the same as the process in the first embodiment described above. However, when generating an all-W pixel long-time exposure image 661L, processing is performed with reference to only the long-time exposure pixel. When generating an all-W pixel short-time exposure image 661S, only the short-time exposure pixel is referred to. Process.
- the processing of the W pixel interpolation unit 651 will be described with reference to FIG.
- the W pixel interpolating unit 651 inputs a W image 622 in which long exposure pixels and short exposure pixels are alternately set in units of rows, and sets the long exposure W pixels for all pixels.
- An exposure image 661L and an all W pixel short exposure image 661S in which short exposure W pixels are set for all pixels are generated.
- FIG. 34 shows a processing configuration for generating an all-W pixel long-exposure image 661L in which long-exposure W pixels are set for all the pixels.
- the W pixel interpolation unit 651 includes a plurality of directional filters 671-1 to 671 -N that perform filter processing such as averaging processing using pixel values of W pixels in different directions as reference pixels.
- An edge direction detection unit 672 that detects an edge direction and a filter selection unit 673 that determines an interpolation pixel value by filter selection.
- a predetermined reference region for example, k pixels ⁇ k pixels
- the edge direction detection unit 672 detects the edge direction based on the pixel value of the reference region
- the filter selection unit 673 uses the W pixel along the edge direction, that is, the direction in which the gradient of the pixel value is small as the reference pixel.
- a filter for executing filter processing is selected, and the selected filter is applied to calculate a W pixel value as an interpolation pixel value. For example, an average value of pixel values of W pixels in a direction with a small gradient is calculated, and the W pixel value at the processing target pixel position is set.
- the interpolation pixel position of the W pixel is a position indicated by the interpolation pixel 682. That is, in the setting in which the long exposure W pixels W1 to W5 are continuously arranged in the upper row and the long exposure W pixels W6 to W10 are continuously arranged in the lower row, the pixels between W3 and W8 are exposed to the long exposure W. This is a process of interpolating pixels.
- W1 to W10 are pixel values at the respective pixel positions.
- Each direction filter performs the following filter processing as shown in FIG.
- F2 (W3 + W8) / 2
- F3 (W4 + W7) / 2
- the direction 1 filter F1 is a filter applied when the edge direction is a diagonally upward left direction.
- the direction 2 filter F2 is a filter applied when the edge direction is the vertical direction.
- the direction 3 filter F3 is a filter applied when the edge direction is diagonally right upward.
- FIG. 35B shows an example of filter selection processing based on the edge direction determination performed by the edge direction detection unit 672 and the edge direction determination result performed by the filter selection unit 673.
- edge direction determination performed by the edge direction detection unit 672 first, three edge amounts are calculated according to the following equations.
- Edge direction detection unit 672 Based on the edge amounts in the three directions, the following edge direction determination processing is performed.
- Edge direction upper left direction (direction 1)
- Edge direction diagonally upward right (direction 3)
- neither Edge direction vertical direction (direction 2)
- Such edge direction determination is executed, and the determination result is output to the filter selection unit 673.
- the filter selection unit 673 receives the edge direction determination result of the edge direction detection unit 672, and an interpolation pixel to which one of the three direction filters shown in FIG. 35A is applied according to the input edge direction determination result. Calculate the value.
- the interpolation pixel value W is calculated by applying one of the following selection filters (1) to (3).
- the edge direction the upper left direction (direction 1)
- the following interpolation pixel value W is calculated by applying the direction 1 filter F1.
- W (W2 + W9) / 2
- the edge direction vertical direction (direction 2)
- the following interpolation pixel value W is calculated by applying the direction 2 filter F2.
- W (W3 + W8) / 2
- the edge direction upward rightward direction (direction 3)
- the following interpolation pixel value W is calculated by applying the direction 3 filter F3.
- W (W4 + W7) / 2
- the W pixel interpolation unit 651 applies only the long exposure W pixel 660L in the sensor image 603, and sets the long exposure W pixel value at the missing pixel position other than the long exposure W pixel.
- a pixel interpolation process is executed to generate an all W pixel long exposure image 661L in which long exposure W pixels are set for all pixels.
- the W pixel interpolation unit 651 executes W pixel interpolation processing that sets only the short exposure W pixels and sets the short exposure W pixel values at the missing pixel positions other than the short exposure W pixels, An all W pixel short exposure image 661S in which short exposure W pixels are set for all pixels is generated.
- the RGBW pixel generation unit 652 of the array conversion unit 604 shown in FIG. 33 inputs a sensor image 603 having an RGBW array in which long-time exposure pixels and short-time exposure pixels are alternately set in units of rows, and at each pixel position.
- An RGBW-compatible LPF signal is generated as a low-frequency signal (LPF signal) of each RGBW pixel signal.
- a long-time exposure LPF signal 662L which is a low-frequency signal (LPF signal) of the long-time exposure RGBW signal
- LPF signal low-frequency signal
- a short exposure LPF signal 662S which is a low frequency signal (LPF signal) of the short exposure RGBW signal.
- the HDR synthesizing unit 653 receives the generation signal of the W pixel interpolation unit 651 and the generation signal of the RGBW pixel generation unit 652 and generates a high dynamic range (HDR) image.
- the HDR synthesizing unit 653 A generated signal of the W pixel interpolation unit 651. All W pixel long exposure image 661L All W pixel short exposure image 661S, It is a generation signal of the RGBW pixel generation unit 652, Long exposure LPF signal 662L, Short exposure LPF signal 662S Each of these signals is input.
- the HDR synthesizing unit 653 performs the following two processes.
- First process A generated signal of the W pixel interpolation unit 651.
- A1 All W pixel long exposure image 661L,
- A2) All W pixel short exposure image 661S,
- (Second process) It is a generation signal of the RGBW pixel generation unit 652, (B1) Long exposure LPF signal 662L, (B2) Short-time exposure LPF signal 662S, A process of inputting these two signals to generate and output an RGBW low frequency (LPF) signal 664 having a high dynamic range.
- LPF RGBW low frequency
- the HDR synthesizing unit 653 performs these two processes as shown in FIG. (A) All-W pixel image 663 having a high dynamic range; (B) RGBW low frequency (LPF) signal 664 with a high dynamic range; These are generated and output to the correlation processing unit 654.
- A All-W pixel image 663 having a high dynamic range
- B RGBW low frequency (LPF) signal 664 with a high dynamic range
- the process executed by the HDR synthesizing unit 653 is the same as the process described above with reference to FIGS. 29 to 30 in the fifth embodiment. That is, the pixel value of the HDR image is set by blending the long exposure pixel and the short exposure pixel.
- the pixel value (DL) of the long exposure pixel is a dark pixel value, an image with less noise can be obtained by using a large amount of the pixel value of the long exposure pixel.
- An image without saturation is acquired by using a large number of pixel values.
- the correlation processing unit 654 starts from the HDR synthesis processing unit 653.
- the correlation processing unit 654 performs the same process as the correlation processing unit 153 in the first embodiment described above with reference to FIG.
- the array conversion unit 604 of the image processing apparatus according to the present embodiment illustrated in FIG. 33 generates the Bayer array HDR image 605 and outputs it to the gradation conversion unit 606 illustrated in FIG.
- the gradation conversion unit 606 performs a process of adjusting the range of pixel values set by the high dynamic process as described above to a range that can be processed by the camera signal processing unit 608 in the next stage. For example, when the pixel value that can be processed by the camera signal processing unit 608 is 8-bit data, gradation conversion processing is performed in which all the constituent pixel values of the Bayer array HDR image 605 are set within 8 bits. Through this process, a gradation-converted HDR image 607 is generated and output.
- the output of the sensor is 12 bits and the exposure ratio is 16 times, the output of the array conversion unit is 16 bits. Processing for compressing such a signal to the bit width of the signal that can be handled by conventional camera signal processing is performed. It should be noted that existing technology can be applied to this gradation conversion processing. As described above, the gradation conversion unit 606 generates the gradation-converted HDR image 607 by the gradation conversion process, and outputs it to the camera signal processing unit 608.
- the subsequent processing can be the same as the processing in the conventional imaging apparatus.
- the camera signal processing unit 608 performs signal processing on the gradation-converted HDR image 607, for example, general camera signal processing such as white balance adjustment, gamma correction, and demosaic processing, and generates an output image 609.
- the pixel addition in the image sensor and the high dynamic range (HDR) of the image are executed together.
- the HDR image generation configuration of the sixth embodiment can be applied together with the processing of the second and third embodiments described above.
- the image sensor has the configuration described above with reference to FIG. 2A, and the number of RGB pixels per unit configuration is set equally. Therefore, when setting the pixel values of each color of RGB for each pixel position, it is possible to sufficiently obtain the pixel values of each color from the reference area. Therefore, it is possible to perform the RGB color setting process for each pixel position with high accuracy, and to generate an RGB image with less color noise and false colors.
- the pixel array of the image sensor is configured to have the RGBW pixel array shown in FIG. 2A, and array conversion is performed to convert the image sensor into an RGB array Bayer array based on the image sensor output. Described as a configuration to execute. However, the processing according to each embodiment described above can be applied not only to the output from the image sensor having the RGBW array shown in FIG. 2A but also to the sensor output image having another pixel array. .
- FIG. 36 illustrates an example of an RGBW pixel array having a 6 ⁇ 6 pixel cycle to which the process of the present disclosure can be applied.
- a pixel arrangement example 1 shown in FIG. 36A is the same arrangement as the RGBW pixel arrangement shown in FIG. Starting from the first row, (First line) Repeat of RWGWWB, (Second line) Repeat of WRWGWB, (3rd line) GWBWRW repetition, (Fourth line) Repeating WGWBWR, (Line 5) Repeating BWRWGW, (Line 6) Repeat WBWRWG, It has become. In the following, the first and sixth lines are repeated for the seventh and subsequent lines.
- a pixel array example 2 illustrated in FIG. 36 (2) is another array of the RGBW pixel array having a 6 ⁇ 6 pixel cycle to which the process of the present disclosure can be applied.
- the first and sixth lines are repeated for the seventh and subsequent lines.
- a pixel array example 3 illustrated in FIG. 37 (3) is an array example of an RGBW pixel array having a 6 ⁇ 4 pixel cycle to which the process of the present disclosure can be applied.
- the first to fourth lines are repeated for the fifth and subsequent lines.
- a pixel array example 4 illustrated in FIG. 37 (4) is another array example of the RGBW pixel array having a 6 ⁇ 4 pixel cycle to which the process of the present disclosure can be applied.
- the first to fourth lines are repeated for the fifth and subsequent lines.
- a pixel array example 5 illustrated in FIG. 37 (5) is an array example of an RGBW pixel array having a 4 ⁇ 6 pixel cycle to which the process of the present disclosure can be applied.
- the first and sixth lines are repeated for the seventh and subsequent lines.
- a pixel array example 6 illustrated in FIG. 38 (6) is an array example of an RGBW pixel array having a 6 ⁇ 2 pixel cycle to which the process of the present disclosure can be applied. Starting from the first row, (First line) Repeat of RWGWWB, (Second line) Repeat of WRWGWB, It has become. Hereinafter, the first and second lines are repeated for the third and subsequent lines.
- a pixel array example 7 illustrated in FIG. 38 (7) is an array example of an RGBW pixel array having a 2 ⁇ 6 pixel cycle to which the process of the present disclosure can be applied.
- the first and second columns are repeated for the third and subsequent columns.
- the processing according to the first to sixth embodiments described above can be applied to, for example, the output of an image sensor having any one of the pixel arrangement examples 1 to 7 in FIG. 36 to FIG. .
- An RGB image sensor having an RGBW array including a RGB pixel that is a light receiving element corresponding to wavelength light of each RGB color, and a W pixel that is a light receiving element that receives light of almost all wavelengths of RGB;
- An image processing unit that performs image processing by inputting a sensor image composed of RGBW pixel signals output from the image sensor;
- the image sensor has a periodic arrangement of unit configurations composed of RGBW pixels, and has an arrangement in which the configuration ratios of RGB pixels in the unit configuration are the same,
- the image processing unit A pixel array of the sensor image composed of the RGBW pixel signals is converted to generate an RGB array image, or each RGB image signal in which all RGB pixel values are set at each pixel position of the sensor image is generated.
- An image processing apparatus that executes at least one of signal processing.
- the image processing unit includes an array conversion unit that converts a pixel array of a sensor image including the RGBW pixel signals and generates an RGB array image including a Bayer array, and the array conversion unit includes the sensor image.
- a W pixel interpolating unit that generates W pixel image signals by setting W pixels at RGB pixel positions, and generates RGBW-compatible low frequency signals that are low frequency signals of the RGBW pixel signals at the pixel positions of the sensor image.
- the RGBW pixel generation unit, the all W pixel image signal, and the RGBW-compatible low-frequency signal are input, and pixel value calculation based on the estimation that the W pixel and the RGB pixel have a positive correlation causes the sensor image
- the image processing apparatus according to (1) further including a correlation processing unit that performs array conversion of the constituent pixels and generates an RGB image having a Bayer array.
- the W pixel interpolation unit detects the edge direction by applying the pixel value of the W pixel of the sensor image, and determines the W pixel value of the interpolation pixel position using the pixel in the detected edge direction as a reference pixel.
- the image processing unit includes a demosaic processing unit that performs demosaic processing of the sensor image and generates RGB image signals in which all pixel values of RGB are set at the pixel positions of the sensor image.
- the demosaic processing unit sets a W pixel at the RGB pixel position of the sensor image to generate an all W pixel image signal, and a low frequency signal of each RGBW pixel signal at each pixel position of the sensor image Based on an estimation that an RGBW pixel generation unit that generates an RGBW-compatible low-frequency signal, the all-W pixel image signal, and the RGBW-compatible low-frequency signal are input and the W pixel and the RGB pixel have a positive correlation Any one of (1) to (3), further including a correlation processing unit that generates RGB image signals in which all RGB pixel values are set at each pixel position of the sensor image by calculating a pixel value.
- the image processing apparatus detects the edge direction by applying the pixel value of the W pixel of the sensor image, and determines the W pixel value of the interpolation pixel position using the pixel in the detected edge direction as a reference pixel.
- the image processing unit includes a linear matrix processing unit that performs pixel value conversion by applying a preset matrix to the RGB image signals generated by the demosaic processing unit. An image processing apparatus according to 1.
- the image processing unit includes a demosaic processing unit that performs demosaic processing of the sensor image and generates RGBW image signals in which all pixel values of RGB and W are set at the pixel positions of the sensor image.
- the demosaic processing unit sets a W pixel at the RGB pixel position of the sensor image to generate an all W pixel image signal, and reduces the RGBW pixel signal at each pixel position of the sensor image.
- An RGBW pixel generation unit that generates an RGBW-compatible low-frequency signal that is a frequency signal, the W-pixel image signal, and the RGBW-compatible low-frequency signal are input, and it is estimated that the W pixel and the RGB pixel have a positive correlation
- a correlation processing unit that generates RGB image signals in which all RGB pixel values are set at the pixel positions of the sensor image.
- the image sensor is configured to output an image having an added pixel value of pixel values of the same color adjacent in the oblique direction as a sensor image, and the image processing unit includes RGBW pixels configured by the added pixel value.
- An array conversion unit that converts a pixel array of a sensor image including signals to generate an RGB array image including a Bayer array, and the array conversion unit includes low-frequency signals of RGBW pixel signals at pixel positions of the sensor image.
- An RGBW pixel generation unit that generates an RGBW-compatible low-frequency signal as a signal, an all-W pixel image signal output as a sensor image, and the RGBW-compatible low-frequency signal are input, and the W pixel and the RGB pixel have a positive correlation.
- a correlation processing unit that performs an array conversion of the constituent pixels of the sensor image and generates an RGB image of the Bayer array by calculating a pixel value based on the estimation of having Wherein (1) - (8) The image processing apparatus according to any one.
- the image sensor is configured to output, as a sensor image, an image including a long-time exposure pixel and a short-time exposure pixel that are set according to control of a control unit, and the image processing unit includes the long-time exposure pixel and An array conversion unit that generates a high dynamic range (HDR) image by applying a sensor image including short-time exposure pixels, converts the pixel array, and generates an RGB array HDR image including a Bayer array.
- the conversion unit applies the long-exposure pixel signal of the sensor image and applies the all-W pixel long-exposure image in which the long-exposure W pixel is set at all pixel positions and the short-exposure pixel signal of the sensor image.
- a W pixel interpolating unit that generates an all W pixel short exposure image in which short exposure W pixels are set at all pixel positions, and a long exposure pixel signal of the sensor image, Applying a low-frequency signal corresponding to a long-time exposure RGBW, which is a low-frequency signal of each pixel signal of long-time exposure RGBW at the original position, and a short-time exposure pixel signal of the sensor image, each short-time exposure RGBW pixel at each pixel position
- An RGBW pixel generation unit that generates a low-frequency signal corresponding to short-time exposure RGBW, which is a low-frequency signal of the signal, the all-W pixel long-time exposure image, the all-W pixel short-time exposure image, and the long-time exposure RGBW A corresponding low-frequency signal, and the short-time exposure RGBW-compatible low-frequency signal, an all-W pixel image signal as a high dynamic range (HDR) image, and an HDR synthesis processing unit that generates an RGBW-compatible low-frequency
- the HDR synthesizing unit calculates a constituent pixel value of a high dynamic range (HDR) image by blending a short exposure pixel signal and a long exposure pixel signal after gain adjustment according to an exposure ratio.
- the image processing device according to (10).
- the W pixel interpolating unit detects an edge direction by applying a long-exposure W pixel signal of the sensor image, and uses a pixel in the detected edge direction as a reference pixel to obtain a W pixel value at an interpolation pixel position.
- An all W pixel long exposure image in which long exposure W pixels are determined and set at all pixel positions is generated, the edge direction is detected by applying the short exposure W pixel signal of the sensor image, and the detected edge direction
- the W pixel value at the interpolated pixel position is determined using the pixel located at the reference pixel as the reference pixel, and the all W pixel short exposure image in which the short exposure W pixel is set at all pixel positions is generated.
- the image processing unit generates a high dynamic range (HDR) image by applying the sensor image including the long-time exposure pixel and the short-time exposure pixel, and outputs the image as a sensor image.
- HDR high dynamic range
- An array conversion unit that converts the array and generates an RGB array HDR image including a Bayer array, and the array conversion unit applies a long-time exposure pixel signal of the sensor image to a long time at all pixel positions. All W pixel long exposure image with light W pixel set and short exposure pixel signal of the sensor image are applied to generate all W pixel short exposure image with short exposure W pixel set at all pixel positions.
- a W pixel interpolating unit that applies a long exposure pixel signal of the sensor image, a long exposure RGBW corresponding low frequency signal that is a low frequency signal of each pixel signal of long exposure RGBW at each pixel position, and the sensor
- An RGBW pixel generation unit that applies a short-time exposure pixel signal of an image to generate a low-frequency signal corresponding to short-time exposure RGBW that is a low-frequency signal of each pixel signal of short-time exposure RGBW at each pixel position; Input a long exposure image, the all W pixel short exposure image, the long exposure RGBW compatible low frequency
- the HDR synthesis processing unit calculates a constituent pixel value of a high dynamic range (HDR) image by blending a short exposure pixel signal and a long exposure pixel signal after gain adjustment according to an exposure ratio.
- the image processing apparatus according to (13).
- the W pixel interpolation unit detects an edge direction by applying a long-exposure W pixel signal of the sensor image, and uses a pixel in the detected edge direction as a reference pixel to calculate a W pixel value at an interpolation pixel position.
- An all W pixel long exposure image in which long exposure W pixels are determined and set at all pixel positions is generated, the edge direction is detected by applying the short exposure W pixel signal of the sensor image, and the detected edge direction (13) or (14) 3 in which the W pixel value at the interpolated pixel position is determined using the pixel located at the reference pixel, and the short exposure image for all W pixels is set with the short exposure W pixels at all pixel positions.
- An image sensor having an RGBW array including an RGB pixel that is a light-receiving element corresponding to wavelength light of each RGB color and a W pixel that is a light-receiving element that receives substantially all wavelengths of RGB light includes: An imaging device having a periodic arrangement of unit configurations composed of RGBW pixels, and an arrangement in which the composition ratios of RGB pixels in the unit configuration are the same.
- the imaging device has a periodic arrangement with 6 ⁇ 6 pixels, 6 ⁇ 4 pixels, or 6 ⁇ 2 pixels as a unit configuration, and the configuration ratio of each RGBW pixel in the unit configuration is 1: 1.
- the imaging device according to (16), wherein the imaging element is 1: 3.
- the configuration of the present disclosure includes a method of processing executed in the above-described apparatus and the like, and a program for executing processing.
- the series of processing described in the specification can be executed by hardware, software, or a combined configuration of both.
- the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
- the program can be recorded in advance on a recording medium.
- the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
- the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
- the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
- an apparatus and a method for generating an RGB image with little color noise and false colors by inputting an RGBW image are provided.
- an image sensor having an RGBW array and an image processing unit that performs image processing by inputting a sensor image composed of RGBW pixel signals output from the image sensor.
- the image sensor has a periodic arrangement of unit configurations made up of RGBW pixels, and has an arrangement in which the composition ratios of RGB pixels in the unit configuration are the same, and the image processing unit has a sensor image made up of RGBW pixel signals.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
しかし、このような高密度画素を持つ撮像素子は1画素あたりの蓄積可能な電荷量が少なくなり、各画素の信号に含まれるノイズ量が相対的に増加してしまうという問題がある。
RGB以外にW画素を設定することで、1画素あたりの電荷蓄積量を増加させて画素信号に含まれる相対的なノイズ量を低減させるものである。
RGB各色の波長光対応の受光素子であるRGB画素と、RGBのほぼ全波長光を受光する受光素子であるW画素を備えたRGBW配列を有するイメージセンサと、
前記イメージセンサの出力するRGBW画素信号からなるセンサ画像を入力して画像処理を実行する画像処理部を有し、
前記イメージセンサは、RGBW各画素からなる単位構成の周期配列を有し、前記単位構成内のRGB各画素の構成比を同一とした配列を有し、
前記画像処理部は、
前記RGBW画素信号からなるセンサ画像の画素配列を変換し、RGB配列画像を生成する配列変換処理、または、前記センサ画像の各画素位置にRGBの全画素値を設定したRGB各画像信号を生成する信号処理の少なくともいずれかの処理を実行する画像処理装置にある。
RGB各色の波長光対応の受光素子であるRGB画素と、RGBのほぼ全波長光を受光する受光素子であるW画素を備えたRGBW配列を有する撮像素子であり、
前記イメージセンサは、RGBW各画素からなる単位構成の周期配列を有し、前記単位構成内のRGB各画素の構成比を同一とした配列を有する撮像素子にある。
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、RGB各色の波長光対応の受光素子であるRGB画素と、RGBのほぼ全波長光を受光する受光素子であるW画素を備えたRGBW各画素からなる単位構成の周期配列を有し、前記単位構成内のRGB各画素の構成比を同一とした配列を有する撮像素子の出力であるセンサ画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記RGBW画素信号からなるセンサ画像の画素配列を変換し、RGB配列画像を生成する配列変換処理、または、前記センサ画像の各画素位置にRGBの全画素値を設定したRGB各画像信号を生成する信号処理の少なくともいずれかの処理を実行する画像処理方法にある。
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、RGB各色の波長光対応の受光素子であるRGB画素と、RGBのほぼ全波長光を受光する受光素子であるW画素を備えたRGBW各画素からなる単位構成の周期配列を有し、前記単位構成内のRGB各画素の構成比を同一とした配列を有する撮像素子の出力であるセンサ画像に対する画像処理を実行する画像処理部を有し、
前記プログラムは前記画像処理部に、
前記RGBW画素信号からなるセンサ画像の画素配列を変換し、RGB配列画像を生成する配列変換処理、
または、前記センサ画像の各画素位置にRGBの全画素値を設定したRGB各画像信号を生成する信号処理の少なくともいずれかの処理を実行させるプログラムにある。
具体的には、RGBW配列を有するイメージセンサと、イメージセンサの出力するRGBW画素信号からなるセンサ画像を入力して画像処理を実行する画像処理部を有する。イメージセンサは、RGBW各画素からなる単位構成の周期配列を有し、単位構成内のRGB各画素の構成比を同一とした配列を有し、画像処理部は、RGBW画素信号からなるセンサ画像の画素配列を変換し、RGB配列画像を生成する配列変換処理、または、センサ画像の各画素位置にRGBの全画素値を設定したRGB各画像信号を生成する信号処理の少なくともいずれかの処理を実行する。
本開示の構成では、イメージセンサの単位構成あたりのRGB各画素数が均等に設定されている。従って、各画素位置に対するRGB各色の画素値を設定する場合、参照領域から各色の画素値を十分取得することが可能となる。従って各画素位置に対するRGB各色の設定処理を高精度に行うことが可能となり、色ノイズや偽色の少ないRGB画像を生成することが可能となる。
1.第1実施例の画像処理装置の構成と処理、および撮像素子の構成について
2.第2実施例の画像処理装置の構成と処理について
3.第3実施例の画像処理装置の構成と処理について
4.第4実施例の画像処理装置の構成と処理について
5.第5実施例の画像処理装置の構成と処理について
6.第6実施例の画像処理装置の構成と処理について
7.イメージセンサ(撮像素子)の画素配列の例について
8.本開示の構成のまとめ
まず、本開示の画像処理装置の第1実施例の全体構成と撮像素子の構成について説明する。なお、以下の実施例においては、撮像装置を画像処理装置の1つの代表例として説明する。
図1に、撮像装置としての画像処理装置100の構成例を示す。
光学レンズ101を通して入射される光は、イメージセンサ(撮像素子)102によって光電変換され、イメージセンサ102からセンサ出力画像103が出力される。イメージセンサ102は例えばCMOS等によって構成される。
図2(a)に示すように、第1行から順に、
(第1行)RWGWBWの繰り返し、
(第2行)WRWGWBの繰り返し、
(第3行)GWBWRWの繰り返し、
(第4行)WGWBWRの繰り返し、
(第5行)BWRWGWの繰り返し、
(第6行)WBWRWGの繰り返し、
となっている。
以下、第7行以下は、上記の1~6行の繰り返しとなる。
1/2の18画素がW画素、
1/6の6画素がR画素、
1/6の6画素がG画素、
1/6の6画素がB画素、
このような設定となっている。
すなわち、イメージセンサ102は単位構成(図2(a)に示す例では6×6画素)あたりのRGB各画素数が均等に設定されている。
すなわち、図2(b)に示すベイヤー(Bayer)配列に変換する処理を実行する。
イメージセンサ102は、垂直走査回路122、水平走査回路123、アレイ状に配置された複数の画素124から構成される。
画素内では、フォトダイオードに蓄積された電荷が、アンプトランジスタおよび転送トランジスタを介して信号電流として垂直信号線133に出力される。
信号電流が、水平走査回路123に供給されて、所定の信号処理が実行された後、信号出力線134を介して外部へ出力される。
なお、水平リセット線131は、各水平方向の画素の蓄積電荷をリセットするための信号を供給するラインであり、水平選択線132は、リセット後の各画素の蓄積電荷を各画素信号として出力する出力タイミングの制御信号を供給するラインである。
すなわち、水平リセットタイミングから水平選択タイミングまでの時間が電荷蓄積期間である。
配列変換部104は、センサ画像103、すなわち図2(a)に示すRGBW画素配列をもつセンサ画像103の配列変換を行い、図2(b)に示すベイヤー(Bayer)配列を持つベイヤー配列画像105を生成してカメラ信号処理部106に出力する。
図4に示すように、配列変換部104は、W画素補間部151、RGBW画素生成部152、相関処理部153を有する。
配列変換部104は、RGBW配列を有するセンサ画像103を入力してRGB配列を有するベイヤー配列画像105を生成して出力する。
RGBW画素生成部152は、RGBW配列を有するセンサ画像103の各画素位置におけるRGBW各画素信号の低周波信号(LPF信号)としてのRGBW対応LPF信号162を生成する。
相関処理部153は、全W画素画像信号161とRGBW対応LPF信号162を入力し、これらの入力信号を適用して、RGB配列を有するベイヤー配列画像105を生成して出力する。
W画素補間部151は、RGBW画素配列からなるセンサ画像103を入力し、RGBW画素配列中のRGB画素にW画素を設定するW画素補間処理を実行する。
図5に示すように、複数の異なる方向にあるW画素の画素値を参照画素とした平均化処理等のフィルタ処理を実行する複数の方向フィルタ171-1~Nと、エッジ方向を検出するエッジ方向検出部172と、フィルタ選択による補間画素値を決定するフィルタ選択部173を有する。
エッジ方向検出部172は、
|W(1,2)-W(3,2)|≦|W(2,1-W2,3)|
上記式が成立するか否かを判定する。
上記式が成立する場合、
エッジ方向は、垂直方向であると判定し、フィルタ選択部173は、エッジ方向に沿った垂直方向の画素の画素値を参照画素として選択し参照画素の画素値に基づくフィルタ処理、例えば平均化処理を行う。具体的には、たとえぱ、補間画素値W'(2,2)を以下の式に従って算出する。
W'(2,2)=(W(1,2)+W(3,2))/2
|W(1,2)-W(3,2)|>|W(2,1-W2,3)|
上記式が成立すると判定した場合は、
エッジ方向は、水平方向であると判定し、フィルタ選択部173は、エッジ方向に沿った水平方向の画素の画素値を参照画素として選択し参照画素の画素値に基づくフィルタ処理、例えば平均化処理を行う。具体的には、たとえぱ、補間画素値W'(2,2)を以下の式に従って算出する。
W'(2,2)=(W(2,1)+W(2,3))/2
RGBW画素生成部152は、RGBW配列を有するセンサ画像103の各画素位置におけるRGBW各画素信号の低周波信号(LPF信号)としてのRGBW対応LPF信号162を生成する。
R平均値(R低周波信号)mRを生成するR画素生成部181R、
G平均値(G低周波信号)mGを生成するG画素生成部181G、
B平均値(B低周波信号)mBを生成するB画素生成部181B、
W平均値(W低周波信号)mWを生成するW画素生成部181W、
これらの構成を有する。
各処理部は、画素配列の変換対象画素位置各々の低周波信号(LPF信号)としてのRGBW対応LPF信号162を生成する。
例えばmR,mG,mB,mWは以下の(式1)に従って算出することができる。
K,L,M,Nは、例えば処理対象画素を中心とした予め設定した大きさの所定の参照領域に含まれる各色の総数であり、mR,mG,mB,mWは、各色の平均値に相当する。
図8には、
mRを算出する場合の参照領域185の例を示している。図8に示す参照領域185を利用した場合、K=14となる。
相関処理部153は、W画素補間部151の生成した全W画素画像信号161と、RGBW画素生成部152の生成したRGBW対応LPF信号162を入力し、これらの入力信号を適用して、RGB配列を有するベイヤー配列画像105を生成して出力する。
出力色選択部191は、処理対象画素位置が、出力するベイヤー配列画像105中のどの画素位置に対応するかに応じて出力色を選択する。RGBいずれかの出力色を選択して、RGBW画素生成部152の生成したRGBW対応LPF信号162であるmR.mG,mBのいずれかを選択して相関演算部192に出力する。
なお、図に示すmCは、mR.mG,mBのいずれかを示す。
Out=mC+(W-mW)(mC/mW)
・・・・・(式2)
次に、本開示の第2実施例の画像処理装置の構成と処理について説明する。
図10は、本開示の第2実施例の画像処理装置200の構成例を示す図である。撮像装置を画像処理装置の1つの代表例として説明する。
本実施例は、前述の第1実施例において説明した配列変換部の処理を信号処理部において実行する設定とした実施例である。
イメージセンサ22から出力されたセンサ出力画像203は、カメラ信号処理部204に入力される。
図11は、カメラ信号処理部204の構成例を示す図である。
図11に示すように、カメラ信号処理部204は、以下の構成を有する。
センサ画像203を入力して、各色の感度差や撮影条件情報を考慮し色ごとに異なるゲインをかけてより正しい色に調整するホワイトバランス処理部211。
RGBW画素配列の各画素位置にRGB各色を設定するデモザイク処理部212。
画素間に生じる混色等を、例えば行列演算を適用して補正するリニアマトリクス処理部213。
ガンマ変換を実行するガンマ変換部214。
カメラ信号処理部204は、これらの構成を有する。
以下、各構成部の処理について説明する。
ホワイトバランス処理部211は、図2(a)に示すRGBW配列を有するセンサ画像203を入力して、各色の感度差や撮影条件情報を考慮し色ごとに異なるゲインをかけてより正しい色に調整し、図12に示すようにWB処理画像230を生成して後段のデモザイク処理部212に出力する。
なお、処理対象画素の画素位置に対応する座標情報221や、ゲイン情報220は制御部から提供される。例えば、ゲイン情報は、撮影時の画像に対応る属性情報としてメモリに保持されている。
さらにクリップ処理部224は、ゲイン調整によって設定された画素値が、予め設定した既定範囲を超えた場合などに既定範囲内に調整するクリップ処理を実行する。
これらの処理によって、図12に示すWB調整後の画像であるWB処理画像230を生成する。ホワイトバランス処理部211の生成したWB処理画像230はデモザイク処理部212に出力される。
デモザイク処理部212は、ホワイトバランス処理部211の生成したWB処理画像230を入力して、各画素位置にRGB各画素値を設定したデモザイク画像245RGBを生成する。
図13に示すように、デモザイク処理部212は、W画素補間部231、RGBW画素生成部232、相関処理部233を有する。
RGBW画素生成部232は、RGBW配列を有するWB処理画像230の各画素位置におけるRGBW各画素信号の低周波信号(LPF信号)としてのRGBW対応LPF信号242を生成する。
相関処理部233は、全W画素画像信号241とRGBW対応LPF信号242を入力し、これらの入力信号を適用して、各画素位置にRGB各画素値を設定したデモザイク画像245RGBを生成する。
相関処理部233は、W画素補間部231の生成した全W画素画像信号241と、RGBW画素生成部232の生成したRGBW対応LPF信号242を入力し、これらの入力信号を適用して、各画素位置にRGB各画素値を設定したデモザイク画像245RGBを生成する。
相関演算部251は、W画素とR,G,B画素とは正の相関が強いという性質を利用して、W画素の高周波をゲイン調整して各色に重畳する。相関処理部233は、全画素位置にRGB各色の画素値を設定する。
ROut=mR+(W-mW)(mR/mW)
GOut=mG(W-mW)(mG/mW)
BOut=mB+(W-mW)(mB/mW)
・・・・・(式3)
リニアマトリクス処理部213は、画素間に生じる混色等を、例えば行列演算を適用して補正する処理を行う。
リニアマトリクス処理部213は、図15に示すように、行列演算部261を有する。
行列演算部261は、デモザイク処理部212の生成したデモザイク画像245を構成するRGB各画素値(Rin,Gin,Bin)に対して、予め設定した行列を適用した演算を実行し、カラーフィルタの特性や、画素特性、光学特性によって生じる混色の問題を排除した補正画素値(Rout,Gout,Bout)を算出して出力する。
行列演算部における行列演算は、例えば、以下の(式4)に従った処理として実行される。
このように、リニアマトリクス処理部213は、例えば図15に示す行列演算部261における行列演算を行い、画素間に生じる混色等を補正する。
補正画素値は、ガンマ補正部214に出力される。
ガンマ補正部214は、図16に示すようにRGB各色に応じたガンマ補正曲線、例えば図16(a)に示すようなガンマ補正曲線に従って、リニアマトリクス処理部213からの入力値(Rin,Gin,Bin)の各画素値を変換し、出力値(Rout,Gout,Bout)を生成して出力する。
この出力が、図10に示す出力画像205となる。
次に、本開示の第3実施例の画像処理装置について説明する。
第3実施例の画像処理装置は、図10~図16を参照して説明した第2実施例の画像処理装置200におけるデモザイク処理部212とリニアマトリクス処理部213の処理を変更した構成である。その他の構成は、第2実施例と同様である。
第3実施例におけるデモザイク処理部をデモザイク処理部212B、リニアマトリクス処理部をリニアマトリクス処理部B213として、図17、図18を参照して説明する。
相関処理部233Bは、W画素補間部231の生成した全W画素画像信号241と、RGBW画素生成部232の生成したRGBW対応LPF信号242を入力し、これらの入力信号を適用して、各画素位置にRGB各画素値を設定したデモザイク画像245RGBを生成する。
これらの処理は、第2実施例と同様である。
本第3実施例の相関処理部233Bは、さらに、W画素補間部231の生成した全W画素画像信号241も出力する。
相関演算部251は、W画素とR,G,B画素とは正の相関が強いという性質を利用して、W画素の高周波をゲイン調整して各色に重畳する。この処理は第2実施例と同様の処理である。相関処理部233Bは、さらに、全画素位置にRGBW各色の画素値を設定する。
Wout=W
ROut=mR+(W-mW)(mR/mW)
GOut=mG(W-mW)(mG/mW)
BOut=mB+(W-mW)(mB/mW)
・・・・・(式5)
リニアマトリクス処理部213Bは、画素間に生じる混色等を、例えば行列演算を適用して補正する処理を行う。
リニアマトリクス処理部213Bは、図18に示すように、行列演算部261Bを有する。
行列演算部261Bは、デモザイク処理部212Bの生成したデモザイク画像245を構成するRGBW各画素値(Win,Rin,Gin,Bin)に対して、予め設定した行列を適用した演算を実行し、カラーフィルタの特性や、画素特性、光学特性によって生じる混色の問題を排除した補正画素値(Rout,Gout,Bout)を算出して出力する。
行列演算部における行列演算は、例えば、以下の(式6)に従った処理として実行される。
このように、リニアマトリクス処理部213は、例えば図18に示す行列演算部261Bにおける行列演算を行い、画素間に生じる混色等を補正する。
本実施例3では、実施例2と異なりRGBWの4色を利用する構成であり、この構成により、さらなる色再現性の向上が期待できる。
次に、本開示の画像処理装置の第4実施例として、イメージセンサ内部で画素加算された信号に対する処理を実行する構成例について説明する。
図19(a)は、イメージセンサの画素配列であり、先に図2(a)を参照して説明したRGBW配列である。
図19(b)は、イメージセンサ内部で実行する画素加算処理である。斜め方向の同一色2画素の画素値の加算処理を実行する。
この結果、図19(c)に示すイメージランサ出力が得られる。
図19(c)に示すセンサ出力は、図19(a)に示す6×6=36画素のイメージセンサ領域から得られる出力である。
この加算処理により、元のイメージセンサの解像度レベルより低下した画像信号が出力されるが、AD変換部の処理が軽減されるため、高速出力が可能となり、高フレームレートの画像出力が実現可能となる。
光学レンズ401を通して入射される光は、イメージセンサ(撮像素子)402によって光電変換され、イメージセンサ402からセンサ出力画像403が出力される。イメージセンサ402は例えばCMOS等によって構成される。イメージセンサ(撮像素子)402の画素配列は、先に説明した図2(a)に示すRGBW配列を有する。
カメラ信号処理部406は、ベイヤー配列画像405に対する信号処理を実行して出力画像407を生成する。
制御部408は、イメージセンサ402の露光制御、配列変換部404の処理制御、カメラ信号処理部406の処理制御用の制御信号を生成してこれらの各構成部に供給し、画像の撮影から出力画像の生成に至る処理の全体的な制御を実行する。なお、制御部408は、例えばプログラム実行機能を持つCPUを備え、図示しないメモリに格納されたプログラムに従って、撮像装置において実行される処理の全体的な制御を行う。
配列変換部404は、センサ画像503、すなわち図19を参照して説明したイメージセンサ502内のアナログ加算によって生成されたセンサ画像403、すなわち、(W画像+RGB画像)を入力して、配列変換処理を行い、ベイヤー配列画像405を生成する。
W画像は、そのまま全W画素画像信号461として相関処理部452に入力する。
さらに、W画像とRGB画像は、RGBW画素生成部451に入力される。RGBW画素生成部451は、センサ画像403の各画素位置におけるRGBW各画素信号の低周波信号(LPF信号)としてのRGBW対応LPF信号462を生成する。
この処理は、先に第1実施例において、図7、図8等を参照して説明した処理と同様の処理である。
この処理は、第1実施例において、図9等を参照して説明した処理と同様の処理である。
なお、この第4実施例の加算出力処理構成は、先に説明した第2実施例、第3実施例の処理に併せて適用することも可能である。
次に、イメージセンサの構成画素の露光時間を画素単位で制御し、長時間露光画素と短時間露光画素を設定して、1回の撮影で長時間露光画像と短時間露光画像を生成し、これらの異なる露光時間の画像を合成することでダイナミックレンジの広い画像、すなわち高ダイナミックレンジ画像(HDR画像)を生成する画像処理装置の構成について説明する。
光学レンズ501を通して入射される光は、イメージセンサ(撮像素子)502によって光電変換され、イメージセンサ502からセンサ出力画像503が出力される。イメージセンサ502は例えばCMOS等によって構成される。イメージセンサ(撮像素子)502の画素配列は、先に説明した図2(a)に示すRGBW配列を有する。
例えば、イメージセンサの1行単位で長時間露光画素と短時間眼項画素が交互に設定される。なお、これらの画素単位の露光制御は制御部510の制御によって行われる。
この具体的な露光制御処理例については、図23を参照して後段で説明する。
さらに、高ダイナミックレンジ画像(HDR画像)の生成に併せて画素配列変換処理を行い、ベイヤー配列HDR画像505を生成する。
ベイヤー配列HDR画像505は階調変換部506に入力される。
制御部510は、イメージセンサ502の露光制御、配列変換部504、階調変換部506、カメラ信号処理部508の処理制御用の制御信号を生成してこれらの各構成部に供給し、画像の撮影から出力画像の生成に至る処理の全体的な制御を実行する。なお、制御部508は、例えばプログラム実行機能を持つCPUを備え、図示しないメモリに格納されたプログラムに従って、撮像装置において実行される処理の全体的な制御を行う。
なお、異なる感度の画素を生成する方法としては、例えば画素のフィルタの光透過率を画素単位で異なる設定とした構成、あるいは画素単位で露光時間を制御する構成などが適用可能であり、本開示の装置ではいずれの方法を適用してもよい。
以下では、一例として、露光時間を行単位で変更して長時間露光画像と短時間露光画像を生成する処理について説明する。
(1)読み出しタイミング
(2)長時間露光画素リセットタイミング
(3)長時間露光画素電荷量
(4)短時間露光画素リセットタイミング
(5)短時間露光画素電荷量
(2)長時間露光リセットタイミングは、長時間露光画素の露光開始時間の設定タイミングに対応する。図に示す例では時間tbがリセットタイミングであり、このtb以降に、長時間露光画素に入射光に応じた電荷の蓄積が開始される。
図24に示すように、配列変換部504は、W画素補間部551、RGBW画素生成部552、HDR合成処理部553、相関処理部554を有する。
短時間露光画素(Short)
長時間露光画素(Long)
これらの異なる露光時間設定画素が配列した構成である。なお、画素配列は先に図2(a)を参照して説明したRGBW配列である。
この補間処理は、先に説明した第1実施例における処理と同様の処理である。ただし、全W画素長時間露光画像561Lを生成する場合は、長時間露光画素のみを参照して処理を行い、全W画素短時間露光画像561Sを生成する場合は、短時間露光画素のみを参照して処理を行う。
W画素補間部551は、長時間露光画素と短時間露光画素が行単位で交互に設定されたRGBW配列を有するセンサ画像503中のW画素データを入力して、全画素に長時間露光W画素を設定した全W画素長時間露光画像561L、全画素に短時間露光W画素を設定した全W画素短時間露光画像561Sを生成する。
図25には、この全画素に長時間露光W画素を設定した全W画素長時間露光画像561Lを生成する処理構成を示している。
これらの処理は、入出力データが異なるのみであり、基本的に図25に示す構成によって処理が行われる。
以下、代表例として、図25を参照して画素に長時間露光W画素を設定した全W画素長時間露光画像561Lを生成する処理について説明する。
エッジ方向検出部572は、水平方向のエッジ量(Dh)、垂直方向のエッジ量(Dv)、左上がり斜め方向のエッジ量(Dd)、右上がり斜め方向のエッジ量(Da)の4種類エッジ量を以下の式に従って算出する。
Dh=(|W1-W2|+|W2-W3|+2(|W4-W5|+|W5-W6|)+|W7-W8|+|W8-W9|)/8
Dv=(|W1-W4|+|W4-W7|+2(|W2-W5|+|W5-W8|)+|W3-W6|+|W6-W9|)/8
Dd=(|W1-W5|+|W2-W6|+|W4-W8|+|W5-W9|/4
Da=(|W2-W4|+|W3-W5|+|W5-W7|+|W6-W8|/4
これらの各算出式に従って、4方向のエッジ量を算出する。
|Dh-Dv|≧|Dd-Da|のとき、
Dh≦Dvなら、エッジ方向=水平方向、
Dh>Dvなら、エッジ方向=垂直方向、
|Dh-Dv|<|Dd-Da|のとき、
Dd≦Daなら、エッジ方向=左上がり斜め方向、
Dd>Daなら、エッジ方向=右上がり斜め方向、
エッジ方向検出部572は、このような判定処理を行い、判定結果をフィルタ選択部573に出力する。
この処理例について図27以下を参照して説明する。
図27は、
(a)斜め方向に4つのW画素の設定された中心位置にW画素を補間する処理例
を示している。
図27に示す4つのW画素(W1~W4)の中心位置が補間画素位置581である。
(a1)エッジ方向が水平または垂直方向である場合のフィルタ
(a2)エッジ方向が左上がり斜め方向である場合のフィルタ
(a3)エッジ方向が右上がり斜め方向である場合のフィルタ
エッジ方向に応じていずれかのフィルタを選択し、各画素位置の画素値を各フィルタに設定された係数を乗じて加算する。
具体的には、例えばエッジ方向が水平方向である場合、図27(a1)のフィルタを適用する。4つのW画素(W1~W4)の画素値をW1~W4としたとき、補間画素位置581に設定する補間画素値Wは、以下の式で算出される。
W=(W1+W2+W3+W4)/4
(b)上下垂直方向にW画素の設定された間の位置にW画素を補間する処理例
を示している。
図28に示す6つのW画素(W1~W6)の中心位置が補間画素位置582である。
(b1)エッジ方向が水平方向である場合のフィルタ
(b2)エッジ方向が垂直方向である場合のフィルタ
(b3)エッジ方向が左上がり斜め方向である場合のフィルタ
(b4)エッジ方向が右上がり斜め方向である場合のフィルタ
エッジ方向に応じていずれかのフィルタを選択し、各画素位置の画素値を各フィルタに設定された係数を乗じて加算する。
具体的には、例えばエッジ方向が水平方向である場合、図28(b1)のフィルタを適用する。6つのW画素(W1~W6)の画素値をW1~W6としたとき、補間画素位置582に設定する補間画素値Wは、以下の式で算出される。
W=(W1+(2×W2)+W3+W4+(2×W5)+W6)/8
同様に、センサ画像503中の短時間露光されたW画素データ560Sのみを適用して、短時間露光W画素以外の欠落画素位置に短時間露光W画素値を設定するW画素補間処理を実行して、全画素に短時間露光W画素を設定した全W画素短時間露光画像561Sを生成する。
HDR合成部553は、
W画素補間部551の生成信号である、
全W画素長時間露光画像561L
全W画素短時間露光画像561S、
RGBW画素生成部552の生成信号である、
長時間露光LPF信号562L、
短時間露光LPF信号562S
これらの各信号を入力する。
(第1の処理)
W画素補間部551の生成信号である、
(a1)全W画素長時間露光画像561L、
(a2)全W画素短時間露光画像561S、
これらの2つの信号を入力して、高ダイナミックレンジ化した全W画素画像563を生成して出力する処理。
(第2の処理)
RGBW画素生成部552の生成信号である、
(b1)長時間露光LPF信号562L、
(b2)短時間露光LPF信号562S、
これらの2つの信号を入力して、高ダイナミックレンジ化したRGBW低周波(LPF)信号564を生成して出力する処理。
(A)高ダイナミックレンジ化した全W画素画像563、
(B)高ダイナミックレンジ化したRGBW低周波(LPF)信号564、
これらを生成して相関処理部554に出力する。
図29には、上記2つの処理中、上記の処理(A)高ダイナミックレンジ化した全W画素画像563を生成する構成を代表例として示している。
すなわち、W画素補間部551の生成信号である、
(a1)全W画素長時間露光画像561L、
(a2)全W画素短時間露光画像561S、
これらの2つの信号を入力して、高ダイナミックレンジ化した全W画素画像563を生成して出力する処理を実行する構成である。
露光比ゲイン調整部595は、制御部から撮影時の短時間露光画素の露光時間と、長時間露光画素の露光時間との露光比情報590を入力し、入力画像中の短時間露光画素592に対して露光比情報590に応じたゲインを乗じて結果をブレンド処理部597に出力する。
if(DL<Th0)
α=0
Else if(DL<Th1)
α=(DL-Th0)/(Th1-Th0)
Else
α=1
上記算出式において、
α:出力HDR画素における短時間露光画素のブレンド率
Th0,Th1:予め設定した閾値、
である。
例えば、
短時間露光画素(WS)591の画素値をDS、
長時間露光画素(WL)592の画素値をDL、
長時間露光画素と短時間露光画素とのゲイン比をGain
ブレンド率をαとしたとき、
HDR画像としての全W画素画像563のW画素値:DOは以下の算出式によって算出される。
DO=DL×(1-α)+DS×Gain×α
ブレンド処理部597は、上記式に従って、HDR画像としての全W画素画像563のW画素値を決定する。
(A)高ダイナミックレンジ化した全W画素画像563、
(B)高ダイナミックレンジ化したRGBW低周波(LPF)信号564、
これらを生成して相関処理部554に出力する。
(A)高ダイナミックレンジ化した全W画素画像563、
(B)高ダイナミックレンジ化したRGBW低周波(LPF)信号564、
これらを入力して、これらの入力信号を適用して、RGB配列を有するベイヤー配列HDR画像505を生成して出力する。
この相関処理部554は、先に図9等を参照して説明した第1実施例における相関処理部153と同様の処理を行う。
このように、階調変換部506は、階調変換処理によって、階調変換HDR画像507を生成してカメラ信号処理部508に出力する。
なお、この第5実施例のHDR画像生成構成は、先に説明した第2実施例、第3実施例の処理に併せて適用することも可能である。
次に、先に第4実施例として説明した画素加算処理と、第5実施例として説明した高ダイナミックレンジ(HDR)画像生成処理を合わせて実行する処理例を、第6実施例として説明する。
図31に示す画像処理装置600は、先に第5実施例として図22を参照して説明した画像処理装置500と同様の構成要素からなる。
光学レンズ601を通して入射される光は、イメージセンサ(撮像素子)602によって光電変換され、イメージセンサ602からセンサ出力画像603が出力される。イメージセンサ602は例えばCMOS等によって構成される。イメージセンサ(撮像素子)602の画素配列は、先に説明した図2(a)に示すRGBW配列を有する。
具体的な露光制御設定と出力画像については、図32を参照して後段で説明する。
さらに、高ダイナミックレンジ画像(HDR画像)の生成に併せて画素配列変換処理を行い、ベイヤー配列HDR画像605を生成する。
ベイヤー配列HDR画像605は階調変換部606に入力される。
制御部510は、イメージセンサ602の露光制御、配列変換部604、階調変換部606、カメラ信号処理部608の処理制御用の制御信号を生成してこれらの各構成部に供給し、画像の撮影から出力画像の生成に至る処理の全体的な制御を実行する。なお、制御部608は、例えばプログラム実行機能を持つCPUを備え、図示しないメモリに格納されたプログラムに従って、撮像装置において実行される処理の全体的な制御を行う。
図32(a)は、イメージセンサ602の駆動処理態様を示している。
図32(b)は、イメージセンサ602の出力するセンサ画像603を示している。
本実施例では、図23(a)に示すように、2行単位で、短時間露光画素(Short)と長時間露光画素(Long)を交互に設定する。さらに、2行の短時間露光画素(Short)内の斜め方向に隣接する同一色の画素の画素値を加算して出力する。この加算は、先に第4実施例において説明したアナログ加算であり、この処理により、ADコンバータの処理負荷を軽減して高速フレームレートでの出力処理が可能となる。
短時間露光画素と長時間露光画素が行単位で交互に設定されたRGB画像621、
短時間露光画素と長時間露光画素が行単位で交互に設定されたW画像622、
これらの画像となる。
これらの画像が配列変換部604に出力される。
図33に示すように、配列変換部604は、W画素補間部651、RGBW画素生成部652、HDR合成処理部653、相関処理部654を有する。
短時間露光画素と長時間露光画素が行単位で交互に設定されたRGB画像621、
短時間露光画素と長時間露光画素が行単位で交互に設定されたW画像622、
これらの2種類の画像となる。
(1)全画素に長時間露光W画素を設定した全W画素長時間露光画像661L、
(2)全画素に短時間露光W画素を設定した全W画素短時間露光画像661S、
これらの画像を生成する。
この補間処理は、先に説明した第1実施例における処理と同様の処理である。ただし、全W画素長時間露光画像661Lを生成する場合は、長時間露光画素のみを参照して処理を行い、全W画素短時間露光画像661Sを生成する場合は、短時間露光画素のみを参照して処理を行う。
W画素補間部651は、長時間露光画素と短時間露光画素が行単位で交互に設定されたてW画像622を入力して、全画素に長時間露光W画素を設定した全W画素長時間露光画像661L、全画素に短時間露光W画素を設定した全W画素短時間露光画像661Sを生成する。
図34には、この全画素に長時間露光W画素を設定した全W画素長時間露光画像661Lを生成する処理構成を示している。
これらの処理は、入出力データが異なるのみであり、基本的に図34に示す構成によって処理が行われる。
以下、代表例として、図34を参照して画素に長時間露光W画素を設定した全W画素長時間露光画像661Lを生成する処理について説明する。
図35において、W画素の補間画素位置を補間画素682に示す位置とする。
すなわち、上の行に長時間露光W画素W1~W5が連続配置され、下の行に長時間露光W画素W6~W10が連続配置された設定においてW3とW8の間の画素に長時間露光W画素を補間する処理である。
W1~W10をそれぞれ各画素位置の画素値とする。
各方向フィルタは、図35(a)に示すように、以下のフィルタ処理を行う。
方向1フィルタ:F1=(W2+W9)/2
方向2フィルタ:F2=(W3+W8)/2
方向3フィルタ:F3=(W4+W7)/2
方向2フィルタF2は、エッジ方向が垂直方向の場合に適用するフィルタである。
方向3フィルタF3は、エッジ方向が右斜め上方向の場合に適用するフィルタである。
エッジ方向検出部672の実行するエッジ方向判定においては、まず、以下の式に従って3つのエッジ量を算出する。
(1)左斜め上方向(方向1)のエッジ量:D1=(|W1-W8|+2|W2-W9|+|W3-W10|)/4
(2)垂直方向(方向2)のエッジ量:D2=(|W2-W7|+2|W3-W8|+|W4-W9|)/4
(1)右斜め上方向(方向3)のエッジ量:D3=(|W3-W6|+2|W4-W7|+|W5-W8|)/4
上記3つの方向のエッジ量に基づいて、以下のエッジ方向判定処理を行う。
D1<D2、かつ、D1<D3のとき、
エッジ方向=左斜め上方向(方向1)、
D3<D1、かつ、D3<D2のとき、
エッジ方向=右斜め上方向(方向3)、
いずれでもない場合、
エッジ方向=垂直方向(方向2)、
このようなエッジ方向判定を実行し、判定結果をフィルタ選択部673に出力する。
(1)エッジ方向=左斜め上方向(方向1)である場合は、方向1フィルタF1を適用して、以下の補間画素値Wの算出を行う。
W=(W2+W9)/2
(2)エッジ方向=垂直方向(方向2)である場合は、方向2フィルタF2を適用して、以下の補間画素値Wの算出を行う。
W=(W3+W8)/2
エッジ方向=右斜め上方向(方向3)である場合は、方向3フィルタF3を適用して、以下の補間画素値Wの算出を行う。
W=(W4+W7)/2
W画素補間部651は、同様に、短時間露光W画素のみを適用して、短時間露光W画素以外の欠落画素位置に短時間露光W画素値を設定するW画素補間処理を実行して、全画素に短時間露光W画素を設定した全W画素短時間露光画像661Sを生成する。
HDR合成部653は、
W画素補間部651の生成信号である、
全W画素長時間露光画像661L
全W画素短時間露光画像661S、
RGBW画素生成部652の生成信号である、
長時間露光LPF信号662L、
短時間露光LPF信号662S
これらの各信号を入力する。
(第1の処理)
W画素補間部651の生成信号である、
(a1)全W画素長時間露光画像661L、
(a2)全W画素短時間露光画像661S、
これらの2つの信号を入力して、高ダイナミックレンジ化した全W画素画像563を生成して出力する処理。
(第2の処理)
RGBW画素生成部652の生成信号である、
(b1)長時間露光LPF信号662L、
(b2)短時間露光LPF信号662S、
これらの2つの信号を入力して、高ダイナミックレンジ化したRGBW低周波(LPF)信号664を生成して出力する処理。
(A)高ダイナミックレンジ化した全W画素画像663、
(B)高ダイナミックレンジ化したRGBW低周波(LPF)信号664、
これらを生成して相関処理部654に出力する。
すなわち、長時間露光画素と短時間露光画素のブレンドによってHDR画像の画素値を設定する。
長時間露光画素の画素値(DL)が暗い画素値である場合は、長時間露光画素の画素値を多く利用することで、ノイズの少ない画像を取得し、明るい被写体には短時間露光画素の画素値を多く利用することで、飽和の無い画像を取得する。
(A)高ダイナミックレンジ化した全W画素画像663、
(B)高ダイナミックレンジ化したRGBW低周波(LPF)信号664、
これらを入力して、これらの入力信号を適用して、RGB配列を有するベイヤー配列HDR画像605を生成して出力する。
この相関処理部654は、先に図9等を参照して説明した第1実施例における相関処理部153と同様の処理を行う。
このように、階調変換部606は、階調変換処理によって、階調変換HDR画像607を生成してカメラ信号処理部608に出力する。
なお、この第6実施例のHDR画像生成構成は、先に説明した第2実施例、第3実施例の処理に併せて適用することも可能である。
上述した第1~第6実施例では、イメージセンサの画素配列を図2(a)に示すRGBW画素配列を有する構成とし、このイメージセンサ出力に基づいてRGB配列のベイヤー配列に変換する配列変換を実行する構成として説明した。
しかし、上述した各実施例に従った処理は、図2(a)に示すRGBW配列を持つイメージセンサからの出力のみならず、その他の画素配列を持つセンサ出力画像に対しても適用可能である。
図36には、本開示の処理が適用可能な6×6画素周期のRGBW画素配列の例を示している。
図36(1)に示す画素配列例1は、先に説明した図2(a)のRGBW画素配列と同様の配列である。
第1行から順に、
(第1行)RWGWBWの繰り返し、
(第2行)WRWGWBの繰り返し、
(第3行)GWBWRWの繰り返し、
(第4行)WGWBWRの繰り返し、
(第5行)BWRWGWの繰り返し、
(第6行)WBWRWGの繰り返し、
となっている。
以下、第7行以下は、上記の1~6行の繰り返しとなる。
1/2の18画素がW画素、
1/6の6画素がR画素、
1/6の6画素がG画素、
1/6の6画素がB画素、
このような設定となっている。
第1行から順に、
(第1行)RWGWBWの繰り返し、
(第2行)WRWGWBの繰り返し、
(第3行)BWRWGWの繰り返し、
(第4行)WBWRWGの繰り返し、
(第5行)GWBWRWの繰り返し、
(第6行)WGWBWRの繰り返し、
となっている。
以下、第7行以下は、上記の1~6行の繰り返しとなる。
1/2の18画素がW画素、
1/6の6画素がR画素、
1/6の6画素がG画素、
1/6の6画素がB画素、
このような設定となっている。
第1行から順に、
(第1行)RWGWBWの繰り返し、
(第2行)WRWGWBの繰り返し、
(第3行)GWBWRWの繰り返し、
(第4行)WGWBWRの繰り返し、
となっている。
以下、第5行以下は、上記の1~4行の繰り返しとなる。
1/2の12画素がW画素、
1/6の4画素がR画素、
1/6の4画素がG画素、
1/6の4画素がB画素、
このような設定となっている。
第1行から順に、
(第1行)RWGWBWの繰り返し、
(第2行)WGWRWBの繰り返し、
(第3行)RWBWGWの繰り返し、
(第4行)WGWRWBの繰り返し、
となっている。
以下、第5行以下は、上記の1~4行の繰り返しとなる。
1/2の12画素がW画素、
1/6の4画素がR画素、
1/6の4画素がG画素、
1/6の4画素がB画素、
このような設定となっている。
第1行から順に、
(第1行)RWGWの繰り返し、
(第2行)WRWGの繰り返し、
(第3行)GWBWの繰り返し、
(第4行)WGWBの繰り返し、
(第5行)BWRWの繰り返し、
(第6行)WBWRの繰り返し、
となっている。
以下、第7行以下は、上記の1~6行の繰り返しとなる。
1/2の12画素がW画素、
1/6の4画素がR画素、
1/6の4画素がG画素、
1/6の4画素がB画素、
このような設定となっている。
第1行から順に、
(第1行)RWGWBWの繰り返し、
(第2行)WRWGWBの繰り返し、
となっている。
以下、第3行以下は、上記の1~2行の繰り返しとなる。
1/2の6画素がW画素、
1/6の2画素がR画素、
1/6の2画素がG画素、
1/6の2画素がB画素、
このような設定となっている。
第1列から順に、
(第1列)RWGWBWの繰り返し、
(第2列)WRWGWBの繰り返し、
となっている。
以下、第3列以下は、上記の1~2列の繰り返しとなる。
1/2の6画素がW画素、
1/6の2画素がR画素、
1/6の2画素がG画素、
1/6の2画素がB画素、
このような設定となっている。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) RGB各色の波長光対応の受光素子であるRGB画素と、RGBのほぼ全波長光を受光する受光素子であるW画素を備えたRGBW配列を有するイメージセンサと、
前記イメージセンサの出力するRGBW画素信号からなるセンサ画像を入力して画像処理を実行する画像処理部を有し、
前記イメージセンサは、RGBW各画素からなる単位構成の周期配列を有し、前記単位構成内のRGB各画素の構成比を同一とした配列を有し、
前記画像処理部は、
前記RGBW画素信号からなるセンサ画像の画素配列を変換し、RGB配列画像を生成する配列変換処理、または、前記センサ画像の各画素位置にRGBの全画素値を設定したRGB各画像信号を生成する信号処理の少なくともいずれかの処理を実行する画像処理装置。
(3)前記W画素補間部は、前記センサ画像のW画素の画素値を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のW画素値を決定する前記(2)に記載の画像処理装置。
(5)前記W画素補間部は、前記センサ画像のW画素の画素値を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のW画素値を決定する前記(4)に記載の画像処理装置。
(6)前記画像処理部は、前記デモザイク処理部の生成したRGB各画像信号に対して、予め設定した行列を適用した画素値変換を行うリニアマトリクス処理部を有する前記(4)または(5)に記載の画像処理装置。
(8)前記画像処理部は、前記デモザイク処理部の生成したRGBW各画像信号に対して、予め設定した行列を適用した画素値変換を行うリニアマトリクス処理部を有する前記(7)に記載の画像処理装置。
(12)前記W画素補間部は、前記センサ画像の長時間露光W画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のW画素値を決定して全画素位置に長時間露光W画素を設定した全W画素長時間露光画像を生成し、前記センサ画像の短時間露光W画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のW画素値を決定して全画素位置に短時間露光W画素を設定した全W画素短時間露光画像を生成する前記(10)または(11)に記載の画像処理装置。
(15)前記W画素補間部は、前記センサ画像の長時間露光W画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のW画素値を決定して全画素位置に長時間露光W画素を設定した全W画素長時間露光画像を生成し、前記センサ画像の短時間露光W画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のW画素値を決定して全画素位置に短時間露光W画素を設定した全W画素短時間露光画像を生成する前記(13)または(14)3に記載の画像処理装置。
(17)前記撮像素子は、6×6画素、または6×4画素、または6×2画素を単位構成とした周期配列を有し、単位構成中のRGBW各画素の構成比は、1:1:1:3である前記(16)に記載の撮像素子。
(18)前記撮像素子は、各行、各列にRGBW各画素を配置した構成である前記(16)または(17)に記載の撮像素子。
具体的には、RGBW配列を有するイメージセンサと、イメージセンサの出力するRGBW画素信号からなるセンサ画像を入力して画像処理を実行する画像処理部を有する。イメージセンサは、RGBW各画素からなる単位構成の周期配列を有し、単位構成内のRGB各画素の構成比を同一とした配列を有し、画像処理部は、RGBW画素信号からなるセンサ画像の画素配列を変換し、RGB配列画像を生成する配列変換処理、または、センサ画像の各画素位置にRGBの全画素値を設定したRGB各画像信号を生成する信号処理の少なくともいずれかの処理を実行する。
本開示の構成では、イメージセンサの単位構成あたりのRGB各画素数が均等に設定されている。従って、各画素位置に対するRGB各色の画素値を設定する場合、参照領域から各色の画素値を十分取得することが可能となる。従って各画素位置に対するRGB各色の設定処理を高精度に行うことが可能となり、色ノイズや偽色の少ないRGB画像を生成することが可能となる。
101 レンズ
102 イメージセンサ(撮像素子)
103 センサ画像
104 配列変換部
105 ベイヤー配列画像
106 カメラ信号処理部
107 出力画像
108 制御部
122 垂直走査回路
123 水平走査回路
124 画素
131 水平リセット線
132 水平選択線
133 垂直信号線
134 信号出力線
151 W画素補間部
152 RGBW画素生成部
153 相関処理部
171 方向フィルタ
172 エッジ方向検出部
173 フィルタ選択部
181 画素生成部
191 出力色選択部
192 相関演算部
200 画像処理装置
201 レンズ
202 イメージセンサ(撮像素子)
203 センサ画像
204 カメラ信号処理部
205 出力画像
206 制御部
211 ホワイトバランス処理部
212 デモザイク処理部
213 リニアマトリクス処理部
214 ガンマ変換部
220 ゲイン情報
221 座標情報
222 入力色ゲイン選択部
223 ゲイン処理部
224 クリップ処理部
231 W画素補間部
232 RGBW画素生成部
233 相関処理部
251 相関演算部
261 行列演算部
271 ガンマ変換部
400 画像処理装置
401 レンズ
402 イメージセンサ(撮像素子)
403 センサ画像
404 配列変換部
405 ベイヤー配列画像
406 カメラ信号処理部
407 出力画像
408 制御部
451 RGBW画素生成部
452 相関処理部
500 画像処理装置
501 レンズ
502 イメージセンサ(撮像素子)
503 センサ画像
504 配列変換部
505 ベイヤー配列HDR画像
506 階調変換部
507 階調変換HDR画像
508 カメラ信号処理部
509 出力画像
510 制御部
551 W画素補間部
552 RGBW画素生成部
553 HDR合成処理部
554 相関処理部
571 方向フィルタ
572 エッジ方向検出部
573 フィルタ選択部
590 露光比情報
595 露光比ゲイン調整部
596 ブレンド率算出部
597 ブレンド処理部
600 画像処理装置
601 レンズ
602 イメージセンサ(撮像素子)
603 センサ画像
604 配列変換部
605 ベイヤー配列HDR画像
606 階調変換部
607 階調変換HDR画像
608 カメラ信号処理部
609 出力画像
610 制御部
651 W画素補間部
652 RGBW画素生成部
653 HDR日合成処理部
654 相関処理部
671 方向フィルタ
672 エッジ方向検出部
673 フィルタ選択部
Claims (20)
- RGB各色の波長光対応の受光素子であるRGB画素と、RGBのほぼ全波長光を受光する受光素子であるW画素を備えたRGBW配列を有するイメージセンサと、
前記イメージセンサの出力するRGBW画素信号からなるセンサ画像を入力して画像処理を実行する画像処理部を有し、
前記イメージセンサは、RGBW各画素からなる単位構成の周期配列を有し、前記単位構成内のRGB各画素の構成比を同一とした配列を有し、
前記画像処理部は、
前記RGBW画素信号からなるセンサ画像の画素配列を変換し、RGB配列画像を生成する配列変換処理、または、前記センサ画像の各画素位置にRGBの全画素値を設定したRGB各画像信号を生成する信号処理の少なくともいずれかの処理を実行する画像処理装置。 - 前記画像処理部は、
前記RGBW画素信号からなるセンサ画像の画素配列を変換し、ベイヤー配列からなるRGB配列画像を生成する配列変換部を有し、
前記配列変換部は、
前記センサ画像のRGB画素位置にW画素を設定して全W画素画像信号を生成するW画素補間部と、
前記センサ画像の各画素位置におけるRGBW各画素信号の低周波信号であるRGBW対応低周波信号を生成するRGBW画素生成部と、
前記全W画素画像信号と、前記RGBW対応低周波信号を入力し、W画素とRGB画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のRGB画像を生成する相関処理部を有する請求項1に記載の画像処理装置。 - 前記W画素補間部は、
前記センサ画像のW画素の画素値を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のW画素値を決定する請求項2に記載の画像処理装置。 - 前記画像処理部は、
前記センサ画像のデモザイク処理を実行して、前記センサ画像の各画素位置にRGBの全画素値を設定したRGB各画像信号を生成するデモザイク処理部を有し、
前記デモザイク処理部は、
前記センサ画像のRGB画素位置にW画素を設定して全W画素画像信号を生成するW画素補間部と、
前記センサ画像の各画素位置におけるRGBW各画素信号の低周波信号であるRGBW対応低周波信号を生成するRGBW画素生成部と、
前記全W画素画像信号と、前記RGBW対応低周波信号を入力し、W画素とRGB画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の各画素位置にRGBの全画素値を設定したRGB各画像信号を生成する相関処理部を有する請求項1に記載の画像処理装置。 - 前記W画素補間部は、
前記センサ画像のW画素の画素値を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のW画素値を決定する請求項4に記載の画像処理装置。 - 前記画像処理部は、
前記デモザイク処理部の生成したRGB各画像信号に対して、予め設定した行列を適用した画素値変換を行うリニアマトリクス処理部を有する請求項4に記載の画像処理装置。 - 前記画像処理部は、
前記センサ画像のデモザイク処理を実行して、前記センサ画像の各画素位置にRGBおよびWの全画素値を設定したRGBW各画像信号を生成するデモザイク処理部を有し、
前記デモザイク処理部は、
前記センサ画像のRGB画素位置にW画素を設定して全W画素画像信号を生成するW画素補間部と、
前記センサ画像の各画素位置におけるRGBW各画素信号の低周波信号であるRGBW対応低周波信号を生成するRGBW画素生成部と、
前記全W画素画像信号と、前記RGBW対応低周波信号を入力し、W画素とRGB画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の各画素位置にRGBの全画素値を設定したRGB各画像信号を生成する相関処理部を有する請求項1に記載の画像処理装置。 - 前記画像処理部は、
前記デモザイク処理部の生成したRGBW各画像信号に対して、予め設定した行列を適用した画素値変換を行うリニアマトリクス処理部を有する請求項7に記載の画像処理装置。 - 前記イメージセンサは、斜め方向に隣接する同一色の画素値の加算画素値を持つ画像をセンサ画像として出力する構成であり、
前記画像処理部は、
加算画素値によって構成されたRGBW画素信号からなるセンサ画像の画素配列を変換し、ベイヤー配列からなるRGB配列画像を生成する配列変換部を有し、
前記配列変換部は、
前記センサ画像の各画素位置におけるRGBW各画素信号の低周波信号であるRGBW対応低周波信号を生成するRGBW画素生成部と、
センサ画像として出力される全W画素画像信号と、前記RGBW対応低周波信号を入力し、W画素とRGB画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のRGB画像を生成する相関処理部を有する請求項1に記載の画像処理装置。 - 前記イメージセンサは、制御部の制御に従って設定される長時間露光画素と短時間露光画素を含む画像をセンサ画像として出力する構成であり、
前記画像処理部は、
前記長時間露光画素と短時間露光画素を含むセンサ画像を適用して高ダイナミックレンジ(HDR)画像を生成するとともに、画素配列を変換し、ベイヤー配列からなるRGB配列HDR画像を生成する配列変換部を有し、
前記配列変換部は、
前記センサ画像の長時間露光画素信号を適用して、全画素位置に長時間露光W画素を設定した全W画素長時間露光画像と、
前記センサ画像の短時間露光画素信号を適用して、全画素位置に短時間露光W画素を設定した全W画素短時間露光画像を生成するW画素補間部と、
前記センサ画像の長時間露光画素信号を適用して、各画素位置における長時間露光RGBW各画素信号の低周波信号である長時間露光RGBW対応低周波信号と、
前記センサ画像の短時間露光画素信号を適用して、各画素位置における短時間露光RGBW各画素信号の低周波信号である短時間露光RGBW対応低周波信号を生成するRGBW画素生成部と、
前記全W画素長時間露光画像と、前記全W画素短時間露光画像、および、
前記長時間露光RGBW対応低周波信号と、前記短時間露光RGBW対応低周波信号を入力して、高ダイナミックレンジ(HDR)画像としての全W画素画像信号と、RGBW対応低周波信号を生成するHDR合成処理部と、
前記HDR合成処理部の生成する高ダイナミックレンジ(HDR)画像としての全W画素画像信号と、RGBW対応低周波信号を入力し、W画素とRGB画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のRGB画像を生成する相関処理部を有する請求項1に記載の画像処理装置。 - 前記HDR合成処理部は、
露光比に応じたゲイン調整後の短時間露光画素信号と長時間露光画素信号のブレンド処理により、高ダイナミックレンジ(HDR)画像の構成画素値を算出する請求項10に記載の画像処理装置。 - 前記W画素補間部は、
前記センサ画像の長時間露光W画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のW画素値を決定して全画素位置に長時間露光W画素を設定した全W画素長時間露光画像を生成し、
前記センサ画像の短時間露光W画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のW画素値を決定して全画素位置に短時間露光W画素を設定した全W画素短時間露光画像を生成する請求項10に記載の画像処理装置。 - 前記イメージセンサは、制御部の制御に従って2行の長時間露光画素行と短時間露光画素行が交互に設定され、さらに、2行単位の長時間露光画素行の斜め方向に隣接する同一色の画素値の加算画素値を持つ長時間露光画素信号と、2行単位の短時間露光画素行の斜め方向に隣接する同一色の画素値の加算画素値を持つ短時間露光画素信号とからなる画像をセンサ画像として出力する構成であり、
前記画像処理部は、
前記長時間露光画素と短時間露光画素を含むセンサ画像を適用して高ダイナミックレンジ(HDR)画像を生成するとともに、画素配列を変換し、ベイヤー配列からなるRGB配列HDR画像を生成する配列変換部を有し、
前記配列変換部は、
前記センサ画像の長時間露光画素信号を適用して、全画素位置に長時間露光W画素を設定した全W画素長時間露光画像と、
前記センサ画像の短時間露光画素信号を適用して、全画素位置に短時間露光W画素を設定した全W画素短時間露光画像を生成するW画素補間部と、
前記センサ画像の長時間露光画素信号を適用して、各画素位置における長時間露光RGBW各画素信号の低周波信号である長時間露光RGBW対応低周波信号と、
前記センサ画像の短時間露光画素信号を適用して、各画素位置における短時間露光RGBW各画素信号の低周波信号である短時間露光RGBW対応低周波信号を生成するRGBW画素生成部と、
前記全W画素長時間露光画像と、前記全W画素短時間露光画像、および、
前記長時間露光RGBW対応低周波信号と、前記短時間露光RGBW対応低周波信号を入力して、高ダイナミックレンジ(HDR)画像としての全W画素画像信号と、RGBW対応低周波信号を生成するHDR合成処理部と、
前記HDR合成処理部の生成する高ダイナミックレンジ(HDR)画像としての全W画素画像信号と、RGBW対応低周波信号を入力し、W画素とRGB画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のRGB画像を生成する相関処理部を有する請求項1に記載の画像処理装置。 - 前記HDR合成処理部は、
露光比に応じたゲイン調整後の短時間露光画素信号と長時間露光画素信号のブレンド処理により、高ダイナミックレンジ(HDR)画像の構成画素値を算出する請求項13に記載の画像処理装置。 - 前記W画素補間部は、
前記センサ画像の長時間露光W画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のW画素値を決定して全画素位置に長時間露光W画素を設定した全W画素長時間露光画像を生成し、
前記センサ画像の短時間露光W画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のW画素値を決定して全画素位置に短時間露光W画素を設定した全W画素短時間露光画像を生成する請求項13に記載の画像処理装置。 - RGB各色の波長光対応の受光素子であるRGB画素と、RGBのほぼ全波長光を受光する受光素子であるW画素を備えたRGBW配列を有する撮像素子であり、
前記イメージセンサは、RGBW各画素からなる単位構成の周期配列を有し、前記単位構成内のRGB各画素の構成比を同一とした配列を有する撮像素子。 - 前記撮像素子は、6×6画素、または6×4画素、または6×2画素を単位構成とした周期配列を有し、単位構成中のRGBW各画素の構成比は、1:1:1:3である請求項16に記載の撮像素子。
- 前記撮像素子は、各行、各列にRGBW各画素を配置した構成である請求項16に記載の撮像素子。
- 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、RGB各色の波長光対応の受光素子であるRGB画素と、RGBのほぼ全波長光を受光する受光素子であるW画素を備えたRGBW各画素からなる単位構成の周期配列を有し、前記単位構成内のRGB各画素の構成比を同一とした配列を有する撮像素子の出力であるセンサ画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記RGBW画素信号からなるセンサ画像の画素配列を変換し、RGB配列画像を生成する配列変換処理、または、前記センサ画像の各画素位置にRGBの全画素値を設定したRGB各画像信号を生成する信号処理の少なくともいずれかの処理を実行する画像処理方法。 - 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、RGB各色の波長光対応の受光素子であるRGB画素と、RGBのほぼ全波長光を受光する受光素子であるW画素を備えたRGBW各画素からなる単位構成の周期配列を有し、前記単位構成内のRGB各画素の構成比を同一とした配列を有する撮像素子の出力であるセンサ画像に対する画像処理を実行する画像処理部を有し、
前記プログラムは前記画像処理部に、
前記RGBW画素信号からなるセンサ画像の画素配列を変換し、RGB配列画像を生成する配列変換処理、
または、前記センサ画像の各画素位置にRGBの全画素値を設定したRGB各画像信号を生成する信号処理の少なくともいずれかの処理を実行させるプログラム。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12873437.3A EP2833635B1 (en) | 2012-03-27 | 2012-12-26 | Image processing device, image-capturing element, image processing method, and program |
JP2014507336A JP5935876B2 (ja) | 2012-03-27 | 2012-12-26 | 画像処理装置、撮像素子、および画像処理方法、並びにプログラム |
AU2012374649A AU2012374649A1 (en) | 2012-03-27 | 2012-12-26 | Image processing device, image-capturing element, image processing method, and program |
CN201280071623.7A CN104170376B (zh) | 2012-03-27 | 2012-12-26 | 图像处理设备、成像装置及图像处理方法 |
US14/384,835 US9699429B2 (en) | 2012-03-27 | 2012-12-26 | Image processing apparatus, imaging device, image processing method, and program for reducing noise or false colors in an image |
BR112014023256A BR112014023256A8 (pt) | 2012-03-27 | 2012-12-26 | Aparelho e método de processamento de imagem, e, dispositivo de formação de imagem, e, programa |
RU2014138087A RU2014138087A (ru) | 2012-03-27 | 2012-12-26 | Устройство обработки изображения, устройство формирования изображения, способ обработки изображения и программа |
IN7842DEN2014 IN2014DN07842A (ja) | 2012-03-27 | 2014-09-19 | |
US15/597,719 US10200664B2 (en) | 2012-03-27 | 2017-05-17 | Image processing apparatus, image device, image processing method, and program for reducing noise or false colors in an image |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012070538 | 2012-03-27 | ||
JP2012-070538 | 2012-03-27 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/384,835 A-371-Of-International US9699429B2 (en) | 2012-03-27 | 2012-12-26 | Image processing apparatus, imaging device, image processing method, and program for reducing noise or false colors in an image |
US15/597,719 Continuation US10200664B2 (en) | 2012-03-27 | 2017-05-17 | Image processing apparatus, image device, image processing method, and program for reducing noise or false colors in an image |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013145487A1 true WO2013145487A1 (ja) | 2013-10-03 |
Family
ID=49258816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/083615 WO2013145487A1 (ja) | 2012-03-27 | 2012-12-26 | 画像処理装置、撮像素子、および画像処理方法、並びにプログラム |
Country Status (9)
Country | Link |
---|---|
US (2) | US9699429B2 (ja) |
EP (1) | EP2833635B1 (ja) |
JP (1) | JP5935876B2 (ja) |
CN (1) | CN104170376B (ja) |
AU (1) | AU2012374649A1 (ja) |
BR (1) | BR112014023256A8 (ja) |
IN (1) | IN2014DN07842A (ja) |
RU (1) | RU2014138087A (ja) |
WO (1) | WO2013145487A1 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014017615A (ja) * | 2012-07-06 | 2014-01-30 | Fujifilm Corp | カラー撮像素子 |
CN103905802A (zh) * | 2014-04-21 | 2014-07-02 | 浙江宇视科技有限公司 | 一种基于p模式色彩滤镜阵列的去马赛克方法及装置 |
JP2016213650A (ja) * | 2015-05-08 | 2016-12-15 | キヤノン株式会社 | 撮像装置、撮像システム、および信号処理方法 |
KR101794726B1 (ko) * | 2016-03-25 | 2017-11-07 | 연세대학교 산학협력단 | 영상 컬러 보간 장치 및 방법 |
KR101809384B1 (ko) | 2016-12-30 | 2017-12-14 | 인하대학교 산학협력단 | Rwb 컬러 필터 어레이 사용 시 관심영역기반 화이트 채널과 밝기의 상관관계를 이용한 그린 채널 추출 방법 및 장치 |
KR101823256B1 (ko) * | 2016-08-11 | 2018-01-29 | 삼성전기주식회사 | 이미지 처리 장치 및 이미지 처리 방법 |
WO2018230367A1 (ja) * | 2017-06-16 | 2018-12-20 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
WO2019082462A1 (ja) * | 2017-10-26 | 2019-05-02 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、及び撮像装置 |
JP2019106574A (ja) * | 2017-12-08 | 2019-06-27 | キヤノン株式会社 | 撮像装置及び撮像システム |
JP2020027979A (ja) * | 2018-08-09 | 2020-02-20 | キヤノン株式会社 | 撮像装置及び撮像方法 |
JP2020036117A (ja) * | 2018-08-28 | 2020-03-05 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
WO2021060118A1 (ja) | 2019-09-26 | 2021-04-01 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
US20220394219A1 (en) * | 2021-06-08 | 2022-12-08 | Samsung Electronics Co., Ltd. | Image device, image sensor, and operation method of image sensor |
WO2023136169A1 (ja) * | 2022-01-12 | 2023-07-20 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置及び電子機器 |
Families Citing this family (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5665508B2 (ja) * | 2010-11-30 | 2015-02-04 | キヤノン株式会社 | 画像処理装置及び方法、並びにプログラム及び記憶媒体 |
CN103975585B (zh) * | 2011-12-16 | 2016-10-12 | 本田技研工业株式会社 | 图像处理装置 |
WO2013111449A1 (ja) | 2012-01-24 | 2013-08-01 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
RU2014138087A (ru) | 2012-03-27 | 2016-04-10 | Сони Корпорейшн | Устройство обработки изображения, устройство формирования изображения, способ обработки изображения и программа |
CN104247409B (zh) * | 2012-04-24 | 2016-10-12 | 索尼公司 | 图像处理装置、图像处理方法以及程序 |
TWI644568B (zh) * | 2013-07-23 | 2018-12-11 | 新力股份有限公司 | 攝像元件、攝像方法及攝像程式 |
US9742973B2 (en) * | 2013-08-08 | 2017-08-22 | Sony Corporation | Array camera design with dedicated Bayer camera |
JP5968944B2 (ja) * | 2014-03-31 | 2016-08-10 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法 |
US9520077B2 (en) * | 2014-05-29 | 2016-12-13 | Shenzhen China Star Optoelectronics Technology Co., Ltd | Four color converter, display apparatus and method for converting three color data to four color data |
US10104388B2 (en) * | 2014-06-30 | 2018-10-16 | Sony Corporation | Video processing system with high dynamic range sensor mechanism and method of operation thereof |
JP6568719B2 (ja) * | 2014-08-29 | 2019-08-28 | 株式会社 日立産業制御ソリューションズ | 撮像方法及び撮像装置 |
WO2016047240A1 (ja) | 2014-09-24 | 2016-03-31 | ソニー株式会社 | 画像処理装置、撮像素子、撮像装置および画像処理方法 |
WO2016098641A1 (ja) * | 2014-12-18 | 2016-06-23 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム |
EP3043558B1 (en) | 2014-12-21 | 2022-11-02 | Production Resource Group, L.L.C. | Large-format display systems having color pixels and white pixels |
WO2016103481A1 (ja) * | 2014-12-26 | 2016-06-30 | キヤノン株式会社 | 撮像装置の駆動方法、信号処理方法 |
US10574910B2 (en) | 2015-02-26 | 2020-02-25 | Sony Semiconductor Solutions Corporation | Method and apparatus for controlling a luminance composition unit |
WO2016147508A1 (ja) * | 2015-03-18 | 2016-09-22 | ソニー株式会社 | 画像処理装置と画像処理方法および撮像装置 |
CN104732924B (zh) * | 2015-03-27 | 2017-04-19 | 深圳市华星光电技术有限公司 | 一种三色数据到四色数据的转换方法及转换*** |
US9681109B2 (en) * | 2015-08-20 | 2017-06-13 | Qualcomm Incorporated | Systems and methods for configurable demodulation |
WO2020139493A1 (en) * | 2018-12-28 | 2020-07-02 | Qualcomm Incorporated | Systems and methods for converting non-bayer pattern color filter array image data |
KR102329440B1 (ko) | 2015-10-01 | 2021-11-19 | 에스케이하이닉스 주식회사 | 칼라 필터 어레이의 변환 방법 및 장치 |
CN105578006B (zh) * | 2015-12-18 | 2018-02-13 | 广东欧珀移动通信有限公司 | 成像方法、成像装置及电子装置 |
CN105578079B (zh) * | 2015-12-18 | 2017-11-17 | 广东欧珀移动通信有限公司 | 图像传感器及画质调节方法、成像装置及方法和移动终端 |
CN105430361B (zh) * | 2015-12-18 | 2018-03-20 | 广东欧珀移动通信有限公司 | 成像方法、图像传感器、成像装置及电子装置 |
CN105611123B (zh) * | 2015-12-18 | 2017-05-24 | 广东欧珀移动通信有限公司 | 成像方法、图像传感器、成像装置及电子装置 |
CN105592303B (zh) * | 2015-12-18 | 2018-09-11 | 广东欧珀移动通信有限公司 | 成像方法、成像装置及电子装置 |
CN105578080B (zh) * | 2015-12-18 | 2019-02-05 | Oppo广东移动通信有限公司 | 成像方法、成像装置及电子装置 |
CN105611125B (zh) * | 2015-12-18 | 2018-04-10 | 广东欧珀移动通信有限公司 | 成像方法、成像装置及电子装置 |
TWI560495B (en) * | 2016-01-28 | 2016-12-01 | Au Optronics Corp | Display apparatus and display control method thereof |
US9998695B2 (en) * | 2016-01-29 | 2018-06-12 | Ford Global Technologies, Llc | Automotive imaging system including an electronic image sensor having a sparse color filter array |
WO2017149932A1 (ja) * | 2016-03-03 | 2017-09-08 | ソニー株式会社 | 医療用画像処理装置、システム、方法及びプログラム |
US11202045B2 (en) * | 2016-03-09 | 2021-12-14 | Sony Corporation | Image processing apparatus, imaging apparatus, image processing method, and program |
US10863158B2 (en) * | 2016-05-17 | 2020-12-08 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
CN106341670B (zh) | 2016-11-29 | 2017-09-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106454289B (zh) | 2016-11-29 | 2018-01-23 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106454054B (zh) | 2016-11-29 | 2019-03-19 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106504218B (zh) | 2016-11-29 | 2019-03-12 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106454288B (zh) | 2016-11-29 | 2018-01-19 | 广东欧珀移动通信有限公司 | 控制方法、控制装置、成像装置及电子装置 |
CN106507068B (zh) | 2016-11-29 | 2018-05-04 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、控制方法及装置、成像及电子装置 |
CN106412407B (zh) * | 2016-11-29 | 2019-06-07 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN114422766B (zh) * | 2018-08-03 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 一种图像采集设备 |
KR102585654B1 (ko) * | 2018-12-07 | 2023-10-10 | 삼성전자주식회사 | 수광 시간이 다른 복수의 픽셀을 이용하여 획득한 데이터의 합성을 통해 이미지를 생성하는 전자 장치 및 방법 |
RU2707714C1 (ru) * | 2019-01-28 | 2019-11-28 | федеральное государственное бюджетное образовательное учреждение высшего образования "Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова" | Устройство автоматического получения и обработки изображений |
US11470286B2 (en) * | 2019-07-16 | 2022-10-11 | Mritunjay Singh | Image sensors with color, panchromatic and infrared pixels |
RU2712436C1 (ru) * | 2019-08-09 | 2020-01-28 | Самсунг Электроникс Ко., Лтд. | Способ обработки rccb-изображения |
WO2021033326A1 (ja) * | 2019-08-22 | 2021-02-25 | オリンパス株式会社 | 撮像素子、内視鏡および内視鏡システム |
CN114073068B (zh) * | 2019-09-09 | 2023-11-03 | Oppo广东移动通信有限公司 | 图像采集方法、摄像头组件及移动终端 |
KR20210104462A (ko) | 2020-02-17 | 2021-08-25 | 삼성전자주식회사 | 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치 |
CN111405204B (zh) * | 2020-03-11 | 2022-07-26 | Oppo广东移动通信有限公司 | 图像获取方法、成像装置、电子设备及可读存储介质 |
CN111432099B (zh) * | 2020-03-30 | 2021-04-30 | Oppo广东移动通信有限公司 | 图像传感器、处理***及方法、电子设备和存储介质 |
CN111491110B (zh) * | 2020-04-17 | 2021-09-17 | Oppo广东移动通信有限公司 | 高动态范围图像处理***及方法、电子设备和存储介质 |
CN111491111B (zh) * | 2020-04-20 | 2021-03-26 | Oppo广东移动通信有限公司 | 高动态范围图像处理***及方法、电子设备和可读存储介质 |
EP3917138A1 (en) * | 2020-05-29 | 2021-12-01 | Canon Kabushiki Kaisha | Encoding apparatus and method, image capture apparatus, and storage medium |
CN111711766B (zh) * | 2020-06-17 | 2022-01-04 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端和计算机可读存储介质 |
CN111726549B (zh) * | 2020-06-29 | 2022-08-23 | 深圳市汇顶科技股份有限公司 | 图像传感器、电子设备和芯片 |
CN111741277B (zh) * | 2020-07-13 | 2022-04-29 | 深圳市汇顶科技股份有限公司 | 图像处理的方法和图像处理装置 |
WO2022027469A1 (zh) * | 2020-08-06 | 2022-02-10 | 深圳市汇顶科技股份有限公司 | 图像处理方法、装置和存储介质 |
CN111970461B (zh) * | 2020-08-17 | 2022-03-22 | Oppo广东移动通信有限公司 | 高动态范围图像处理***及方法、电子设备和可读存储介质 |
CN111899178B (zh) * | 2020-08-18 | 2021-04-16 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理***、电子设备及可读存储介质 |
CN112261391B (zh) * | 2020-10-26 | 2022-01-04 | Oppo广东移动通信有限公司 | 图像处理方法、摄像头组件及移动终端 |
CN112351172B (zh) * | 2020-10-26 | 2021-09-17 | Oppo广东移动通信有限公司 | 图像处理方法、摄像头组件及移动终端 |
CN116250247A (zh) * | 2020-11-06 | 2023-06-09 | Oppo广东移动通信有限公司 | 电子设备、生成图像数据的方法和非暂时性计算机可读介质 |
KR20220125103A (ko) | 2021-03-04 | 2022-09-14 | 삼성전자주식회사 | 이미지 센서 및 이의 동작 방법 |
CN113781303B (zh) * | 2021-09-01 | 2024-05-10 | 瑞芯微电子股份有限公司 | 图像处理方法、介质、处理器及电子设备 |
US11778337B2 (en) | 2021-11-09 | 2023-10-03 | Samsung Electronics Co., Ltd. | Image sensor and method for sensing image |
CN115442573B (zh) * | 2022-08-23 | 2024-05-07 | 深圳市汇顶科技股份有限公司 | 图像处理方法、装置和电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004304706A (ja) | 2003-04-01 | 2004-10-28 | Fuji Photo Film Co Ltd | 固体撮像装置およびその補間処理方法 |
JP2006253876A (ja) | 2005-03-09 | 2006-09-21 | Sony Corp | 物理量分布検知装置および物理量分布検知装置の駆動方法 |
US20070024879A1 (en) | 2005-07-28 | 2007-02-01 | Eastman Kodak Company | Processing color and panchromatic pixels |
JP2007184904A (ja) * | 2005-12-30 | 2007-07-19 | Internatl Business Mach Corp <Ibm> | ピクセル・アレイ、ピクセル・アレイを含むイメージング・センサ、及びイメージング・センサを含むデジタルカメラ |
JP2008022521A (ja) * | 2006-06-14 | 2008-01-31 | Toshiba Corp | 固体撮像素子 |
JP2008172289A (ja) * | 2007-01-05 | 2008-07-24 | Toshiba Corp | 固体撮像装置 |
JP2010136225A (ja) * | 2008-12-08 | 2010-06-17 | Sony Corp | 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 |
JP2011055038A (ja) * | 2009-08-31 | 2011-03-17 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5323233A (en) * | 1990-07-31 | 1994-06-21 | Canon Kabushiki Kaisha | Image signal processing apparatus having a color filter with offset luminance filter elements |
JP3368041B2 (ja) * | 1994-04-26 | 2003-01-20 | キヤノン株式会社 | 撮像装置 |
US6879731B2 (en) | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
EP1594321A3 (en) * | 2004-05-07 | 2006-01-25 | Dialog Semiconductor GmbH | Extended dynamic range in color imagers |
US8139130B2 (en) * | 2005-07-28 | 2012-03-20 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
US7893976B2 (en) * | 2006-12-01 | 2011-02-22 | Eastman Kodak Company | Light sensitivity in image sensors |
JP4930109B2 (ja) * | 2007-03-06 | 2012-05-16 | ソニー株式会社 | 固体撮像装置、撮像装置 |
JP4905187B2 (ja) * | 2007-03-09 | 2012-03-28 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
JP5222625B2 (ja) * | 2007-06-01 | 2013-06-26 | 富士フイルム株式会社 | 撮像装置 |
JP2008306379A (ja) * | 2007-06-06 | 2008-12-18 | Toshiba Corp | 固体撮像素子 |
US20090051984A1 (en) * | 2007-08-23 | 2009-02-26 | O'brien Michele | Image sensor having checkerboard pattern |
US8452082B2 (en) * | 2007-09-27 | 2013-05-28 | Eastman Kodak Company | Pattern conversion for interpolation |
KR101531709B1 (ko) * | 2008-10-17 | 2015-07-06 | 삼성전자 주식회사 | 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법 |
TWI422020B (zh) * | 2008-12-08 | 2014-01-01 | Sony Corp | 固態成像裝置 |
US8203633B2 (en) * | 2009-05-27 | 2012-06-19 | Omnivision Technologies, Inc. | Four-channel color filter array pattern |
US8125546B2 (en) * | 2009-06-05 | 2012-02-28 | Omnivision Technologies, Inc. | Color filter array pattern having four-channels |
KR101613973B1 (ko) * | 2009-12-24 | 2016-04-21 | 삼성전자주식회사 | 컬러 필터 어레이 |
KR101652722B1 (ko) * | 2010-01-15 | 2016-09-01 | 삼성전자주식회사 | 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체 |
US9417479B2 (en) * | 2011-05-13 | 2016-08-16 | Samsung Display Co., Ltd. | Method for reducing simultaneous contrast error |
JP2013066146A (ja) | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
WO2013111449A1 (ja) | 2012-01-24 | 2013-08-01 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2013214272A (ja) | 2012-03-08 | 2013-10-17 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
RU2014138087A (ru) | 2012-03-27 | 2016-04-10 | Сони Корпорейшн | Устройство обработки изображения, устройство формирования изображения, способ обработки изображения и программа |
JP2013218487A (ja) | 2012-04-06 | 2013-10-24 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
JP2013219705A (ja) | 2012-04-12 | 2013-10-24 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US9575304B2 (en) * | 2012-06-25 | 2017-02-21 | Huron Technologies International Inc. | Pathology slide scanners for fluorescence and brightfield imaging and method of operation |
US9692992B2 (en) * | 2013-07-01 | 2017-06-27 | Omnivision Technologies, Inc. | Color and infrared filter array patterns to reduce color aliasing |
-
2012
- 2012-12-26 RU RU2014138087A patent/RU2014138087A/ru not_active Application Discontinuation
- 2012-12-26 WO PCT/JP2012/083615 patent/WO2013145487A1/ja active Application Filing
- 2012-12-26 BR BR112014023256A patent/BR112014023256A8/pt not_active IP Right Cessation
- 2012-12-26 AU AU2012374649A patent/AU2012374649A1/en not_active Abandoned
- 2012-12-26 CN CN201280071623.7A patent/CN104170376B/zh active Active
- 2012-12-26 JP JP2014507336A patent/JP5935876B2/ja active Active
- 2012-12-26 US US14/384,835 patent/US9699429B2/en active Active
- 2012-12-26 EP EP12873437.3A patent/EP2833635B1/en active Active
-
2014
- 2014-09-19 IN IN7842DEN2014 patent/IN2014DN07842A/en unknown
-
2017
- 2017-05-17 US US15/597,719 patent/US10200664B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004304706A (ja) | 2003-04-01 | 2004-10-28 | Fuji Photo Film Co Ltd | 固体撮像装置およびその補間処理方法 |
JP2006253876A (ja) | 2005-03-09 | 2006-09-21 | Sony Corp | 物理量分布検知装置および物理量分布検知装置の駆動方法 |
US20070024879A1 (en) | 2005-07-28 | 2007-02-01 | Eastman Kodak Company | Processing color and panchromatic pixels |
JP2007184904A (ja) * | 2005-12-30 | 2007-07-19 | Internatl Business Mach Corp <Ibm> | ピクセル・アレイ、ピクセル・アレイを含むイメージング・センサ、及びイメージング・センサを含むデジタルカメラ |
JP2008022521A (ja) * | 2006-06-14 | 2008-01-31 | Toshiba Corp | 固体撮像素子 |
JP2008172289A (ja) * | 2007-01-05 | 2008-07-24 | Toshiba Corp | 固体撮像装置 |
JP2010136225A (ja) * | 2008-12-08 | 2010-06-17 | Sony Corp | 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 |
JP2011055038A (ja) * | 2009-08-31 | 2011-03-17 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP2833635A4 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014017615A (ja) * | 2012-07-06 | 2014-01-30 | Fujifilm Corp | カラー撮像素子 |
CN103905802A (zh) * | 2014-04-21 | 2014-07-02 | 浙江宇视科技有限公司 | 一种基于p模式色彩滤镜阵列的去马赛克方法及装置 |
JP2016213650A (ja) * | 2015-05-08 | 2016-12-15 | キヤノン株式会社 | 撮像装置、撮像システム、および信号処理方法 |
KR101794726B1 (ko) * | 2016-03-25 | 2017-11-07 | 연세대학교 산학협력단 | 영상 컬러 보간 장치 및 방법 |
KR101823256B1 (ko) * | 2016-08-11 | 2018-01-29 | 삼성전기주식회사 | 이미지 처리 장치 및 이미지 처리 방법 |
KR101809384B1 (ko) | 2016-12-30 | 2017-12-14 | 인하대학교 산학협력단 | Rwb 컬러 필터 어레이 사용 시 관심영역기반 화이트 채널과 밝기의 상관관계를 이용한 그린 채널 추출 방법 및 장치 |
WO2018230367A1 (ja) * | 2017-06-16 | 2018-12-20 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
US11301958B2 (en) | 2017-10-26 | 2022-04-12 | Sony Semiconductor Solutions Corporation | Image processing apparatus, image processing method, and imaging apparatus |
WO2019082462A1 (ja) * | 2017-10-26 | 2019-05-02 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、及び撮像装置 |
JP2019106574A (ja) * | 2017-12-08 | 2019-06-27 | キヤノン株式会社 | 撮像装置及び撮像システム |
JP2020027979A (ja) * | 2018-08-09 | 2020-02-20 | キヤノン株式会社 | 撮像装置及び撮像方法 |
JP7150514B2 (ja) | 2018-08-09 | 2022-10-11 | キヤノン株式会社 | 撮像装置及び撮像方法 |
JP2020036117A (ja) * | 2018-08-28 | 2020-03-05 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
WO2021060118A1 (ja) | 2019-09-26 | 2021-04-01 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
US20220394219A1 (en) * | 2021-06-08 | 2022-12-08 | Samsung Electronics Co., Ltd. | Image device, image sensor, and operation method of image sensor |
US12022205B2 (en) * | 2021-06-08 | 2024-06-25 | Samsung Electronics Co., Ltd. | Image device, image sensor, and operation method of image sensor |
WO2023136169A1 (ja) * | 2022-01-12 | 2023-07-20 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置及び電子機器 |
Also Published As
Publication number | Publication date |
---|---|
RU2014138087A (ru) | 2016-04-10 |
EP2833635A4 (en) | 2015-09-09 |
EP2833635A1 (en) | 2015-02-04 |
US20150029358A1 (en) | 2015-01-29 |
IN2014DN07842A (ja) | 2015-04-24 |
CN104170376B (zh) | 2016-10-19 |
AU2012374649A1 (en) | 2014-09-11 |
BR112014023256A2 (ja) | 2017-06-20 |
JPWO2013145487A1 (ja) | 2015-12-10 |
US9699429B2 (en) | 2017-07-04 |
JP5935876B2 (ja) | 2016-06-15 |
US10200664B2 (en) | 2019-02-05 |
CN104170376A (zh) | 2014-11-26 |
US20170251188A1 (en) | 2017-08-31 |
BR112014023256A8 (pt) | 2017-07-25 |
EP2833635B1 (en) | 2018-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5935876B2 (ja) | 画像処理装置、撮像素子、および画像処理方法、並びにプログラム | |
US8547451B2 (en) | Apparatus and method for obtaining high dynamic range image | |
US9288399B2 (en) | Image processing apparatus, image processing method, and program | |
US9462237B2 (en) | Pixel correction method and image capture device | |
US8405750B2 (en) | Image sensors and image reconstruction methods for capturing high dynamic range images | |
KR101012537B1 (ko) | 고체 이미지 센서 | |
WO2012063634A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
WO2013008596A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
US8982236B2 (en) | Imaging apparatus | |
TW201545556A (zh) | 在產生數位影像中曝光像素群組 | |
JP4852321B2 (ja) | 撮像装置 | |
JP4600315B2 (ja) | カメラ装置の制御方法及びこれを用いたカメラ装置 | |
JPWO2011132618A1 (ja) | 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム | |
US20130033622A1 (en) | Method and apparatus for motion artifact correction in hdr video | |
US8218021B2 (en) | Image capture apparatus, method of controlling the same, and program | |
US8471936B2 (en) | Imaging device and signal processing method | |
KR20120024448A (ko) | 촬상 장치, 신호 처리 방법 및 프로그램 | |
WO2018092400A1 (ja) | 固体撮像素子、信号処理回路、及び、電子機器 | |
US8823825B2 (en) | Image processing device, image processing method, and solid-state imaging device | |
JP5633518B2 (ja) | データ処理装置 | |
JP2011114474A (ja) | 撮像装置及び固体撮像素子の駆動方法 | |
JP2006339689A (ja) | 撮像装置およびその駆動方法 | |
JP2009017372A (ja) | 撮像装置及びその駆動方法 | |
JP2009038483A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12873437 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2014507336 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2012873437 Country of ref document: EP |
|
ENP | Entry into the national phase |
Ref document number: 2012374649 Country of ref document: AU Date of ref document: 20121226 Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14384835 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2014138087 Country of ref document: RU |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
REG | Reference to national code |
Ref country code: BR Ref legal event code: B01A Ref document number: 112014023256 Country of ref document: BR |
|
ENP | Entry into the national phase |
Ref document number: 112014023256 Country of ref document: BR Kind code of ref document: A2 Effective date: 20140919 |