WO2013031368A1 - 撮像装置、および信号処理方法、並びにプログラム - Google Patents

撮像装置、および信号処理方法、並びにプログラム Download PDF

Info

Publication number
WO2013031368A1
WO2013031368A1 PCT/JP2012/066671 JP2012066671W WO2013031368A1 WO 2013031368 A1 WO2013031368 A1 WO 2013031368A1 JP 2012066671 W JP2012066671 W JP 2012066671W WO 2013031368 A1 WO2013031368 A1 WO 2013031368A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
same color
pixel block
unit
Prior art date
Application number
PCT/JP2012/066671
Other languages
English (en)
French (fr)
Inventor
光永　知生
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP12828890.9A priority Critical patent/EP2753073A1/en
Priority to RU2014106535/07A priority patent/RU2014106535A/ru
Priority to US14/238,216 priority patent/US9357137B2/en
Priority to CA2844889A priority patent/CA2844889A1/en
Priority to AU2012303230A priority patent/AU2012303230A1/en
Priority to MX2014002064A priority patent/MX2014002064A/es
Priority to CN201280040981.1A priority patent/CN103748868A/zh
Priority to BR112014004189A priority patent/BR112014004189A2/pt
Publication of WO2013031368A1 publication Critical patent/WO2013031368A1/ja
Priority to US15/143,336 priority patent/US10110827B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Definitions

  • the present disclosure relates to an imaging apparatus, a signal processing method, and a program. More specifically, the present invention relates to an imaging apparatus that generates an image with a wide dynamic range, a signal processing method, and a program.
  • Solid-state imaging devices such as CCD image sensors and CMOS (Complementary Metal Oxide Semiconductor) image sensors used in video cameras and digital still cameras accumulate charges according to the amount of incident light and output electrical signals corresponding to the accumulated charges. Perform photoelectric conversion.
  • CMOS Complementary Metal Oxide Semiconductor
  • the amount of stored charge reaches a saturation level when the amount of light exceeds a certain level, and the subject area with a certain level of brightness is set to a saturated luminance level. So-called overexposure occurs.
  • processing is performed in which the exposure time is adjusted by controlling the charge accumulation period in the photoelectric conversion element and the sensitivity is controlled to the optimum value in accordance with changes in external light or the like. For example, for a bright subject, the exposure time is shortened by turning the shutter at a high speed, the charge accumulation period in the photoelectric conversion element is shortened, and an electric signal is output before the accumulated charge amount reaches the saturation level.
  • the exposure time is shortened by turning the shutter at a high speed
  • the charge accumulation period in the photoelectric conversion element is shortened, and an electric signal is output before the accumulated charge amount reaches the saturation level.
  • a technique for realizing such processing a technique is known in which a plurality of images having different exposure times are continuously photographed and combined. That is, a long-exposure image and a short-exposure image are taken individually and continuously, a long-exposure image is used for dark image areas, and a bright image area that is overexposed for long-exposure images.
  • This is a technique for generating one image by a synthesis process using a short-time exposure image. In this way, by combining a plurality of different exposure images, an image having a wide dynamic range without overexposure, that is, a high dynamic range image (HDR image) can be obtained.
  • HDR image high dynamic range image
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2000-50151 discloses a configuration in which two images set with a plurality of different exposure times are photographed and these images are combined to obtain a wide dynamic range image. Yes. This process will be described with reference to FIG.
  • the imaging device outputs image data of two different exposure times within a video rate (30-60 fps).
  • image data with two different exposure times are generated and output.
  • FIG. 1 is a diagram illustrating the characteristics of an image (long exposure image and short exposure image) having two different exposure times generated by the imaging device.
  • the horizontal axis represents time (t)
  • the vertical axis represents the accumulated charge amount (e) in the light receiving photodiode (PD) constituting the photoelectric conversion element corresponding to one pixel of the solid-state imaging element.
  • the amount of light received by the light-receiving photodiode (PD) when the amount of light received by the light-receiving photodiode (PD) is large, that is, when the subject corresponds to a bright subject, as shown in the high luminance region 11 shown in FIG.
  • the amount of light received by the light-receiving photodiode (PD) when the amount of light received by the light-receiving photodiode (PD) is small, that is, when the object corresponds to a dark subject, the charge accumulation amount gradually increases as time passes, as shown in the low luminance region 12 shown in FIG.
  • the time t0 to t3 corresponds to the exposure time TL for acquiring the long-time exposure image. Even when the long exposure time TL is shown, the line shown in the low luminance region 12 is obtained based on the charge accumulation amount (Sa) without the charge accumulation amount reaching the saturation level at the time t3 (unsaturated point Py). An accurate gradation expression can be obtained by the gradation level of the pixel determined using the electric signal.
  • the accumulated charge of the light receiving photodiode (PD) is once swept out at a time before reaching the time t3, for example, at a time t1 (charge sweep start point P1) shown in the figure.
  • the charge sweeping is performed not to all charges accumulated in the light receiving photodiode (PD) but to an intermediate voltage holding level controlled in the photodiode (PD).
  • short-time exposure with exposure time TS (t2 to t3) is performed again. That is, short-time exposure is performed for a period from the short-time exposure start point P2 to the short-time exposure end point P3 shown in the figure.
  • a charge accumulation amount (Sb) is obtained by this short-time exposure, and a gradation level of the pixel is determined based on an electric signal obtained based on the charge accumulation amount (Sb).
  • Patent Document 1 needs to perform a process of individually capturing and combining the long exposure image and the short exposure image.
  • a high dynamic range image can be generated by using a plurality of images with different exposure times.
  • processing based on the plurality of images has the following problems, for example.
  • Problem 1 It is necessary to shoot a plurality of times, and further, a memory for storing these images is required.
  • Problem 2 Since a plurality of images having different shooting timings are combined or long-time exposure shooting data is used, it is vulnerable to camera shake.
  • Patent Document 2 JP-A-11-29880
  • Patent Document 3 JP-A 2000-69491
  • These are set to arrange a plurality of pixels of the same color, such as 2 ⁇ 2 R pixels, 2 ⁇ 2 G pixels, 2 ⁇ 2 B pixels, etc. on the image sensor (image sensor). Shooting is performed by setting the two constituent pixels to different exposure times. A high dynamic range image is obtained by combining pixel values of the same color with different exposure times taken by the image sensor.
  • the present disclosure has been made in view of, for example, such a situation, and provides an imaging apparatus, a signal processing method, and a program that can generate a high-quality, high dynamic range image based on a single captured image.
  • the purpose is to do.
  • an object of the present disclosure is to provide an imaging apparatus, a signal processing method, and a program that generate a high dynamic range image based on a captured image having an array different from, for example, a Bayer array.
  • the first aspect of the present disclosure is: A pixel portion in which pixel blocks composed of a plurality of pixels of the same color are arranged; A control unit for controlling different exposure times for each of a plurality of the same color pixels constituting the pixel block; An addition pixel value generation unit that generates an addition pixel value obtained by adding outputs of a plurality of pixels of the same color in the pixel block; In an imaging apparatus having
  • the addition pixel value generation unit is configured by an addition circuit having an addition unit that adds outputs of a plurality of pixels of the same color in the pixel block.
  • the pixel block is configured by pixels of the same color including a plurality of pixels of a plurality of rows and a plurality of columns, and the addition circuit is set to a preceding readout row of the pixel block.
  • a register for storing the pixel values of the plurality of pixels, and an adder for adding the readout pixel values of the plurality of pixels set in the subsequent readout row of the pixel block and the storage pixel values of the register.
  • the pixel block is configured by pixels of the same color made up of 4 pixels of 2 rows ⁇ 2 columns, and the addition circuit is set in a preceding readout row of the pixel block.
  • a register for storing the pixel values of the two pixels, an adder for adding the read pixel values of the two pixels set in the subsequent read row of the pixel block and the storage pixel values of the register.
  • the addition pixel value generation unit is configured by a floating diffusion (FD) set in units of the pixel block, and the floating diffusion (FD) includes the pixel block. It has a configuration in which charges output from each of a plurality of pixels of the same color are configured.
  • FD floating diffusion
  • the pixel unit has a four-divided Bayer RGB arrangement, and has a configuration in which pixel blocks including four pixels are arranged for each RGB color unit.
  • the pixel unit has a four-divided WRB array in which G pixels in a four-divided Bayer RGB array are replaced with all visible light wavelength-transmissive W pixels, and each WRB color
  • This is a configuration in which pixel blocks composed of four pixels are arranged as a unit.
  • the second aspect of the present disclosure is: A signal processing method executed in the imaging apparatus,
  • the imaging device has a pixel unit in which pixel blocks composed of a plurality of pixels of the same color are arranged, An exposure control process in which the control unit controls different exposure times for each of a plurality of the same color pixels constituting the pixel block;
  • the addition pixel value generation unit executes addition pixel value generation processing for generating an addition pixel value obtained by adding the outputs of a plurality of the same color pixels of the pixel block.
  • the third aspect of the present disclosure is: A program for executing signal processing in an imaging apparatus;
  • the imaging device has a pixel unit in which pixel blocks composed of a plurality of pixels of the same color are arranged,
  • the program is An exposure control process for causing the control unit to control different exposure times for each of a plurality of the same color pixels constituting the pixel block;
  • the program of the present disclosure is a program that can be provided by, for example, a storage medium or a communication medium provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
  • a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • an apparatus and a method for generating a high dynamic range image by executing pixel value synthesis processing of a long exposure pixel and a short exposure pixel are realized. Specifically, for example, different exposure times are controlled for each of a plurality of the same color pixels constituting the pixel block, and an added pixel value obtained by adding the outputs of the plurality of the same color pixels of the pixel block is generated. The generation of the added pixel value is executed by, for example, an arithmetic unit having an adding unit that adds outputs of a plurality of pixels of the same color in the pixel block.
  • FD floating diffusion
  • FIG. 2 shows pixel unit configuration examples of the following three imaging devices.
  • the Bayer array is an array adopted in many cameras, and signal processing for a captured image having a color filter having the Bayer array is almost established.
  • the four-divided Bayer type RGB array and (3) the four-divided WRB type array signal processing for images taken by an image sensor equipped with these filters has been sufficiently studied. That is not the case.
  • the four-divided Bayer type RGB array corresponds to an array in which one R, G, B pixel of the Bayer array shown in (1) is set as four pixels.
  • the 4-split WRB array corresponds to an array in which each R, G, B pixel of the Bayer array shown in (1) is set as four pixels, and W (white) pixels are set instead of G pixels. To do.
  • an image pickup apparatus that executes signal processing on an image shot by an image pickup device including a color filter having a (2) four-part Bayer RGB array shown in FIG. 2 will be described as an example.
  • FIG. 3 is a block diagram illustrating a configuration example of the imaging apparatus 100 according to the present disclosure.
  • the light incident through the optical lens 101 is incident on an imaging device 102 constituted by an imaging unit, for example, a CMOS image sensor, and outputs image data by photoelectric conversion.
  • the output image data is input to the signal processing unit 103.
  • the signal processing unit 103 performs signal processing in a general camera, such as white balance (WB) adjustment and gamma correction, and generates an output image 120.
  • the output image 120 is stored in a storage unit (not shown). Or it outputs to a display part.
  • WB white balance
  • the control unit 105 outputs a control signal to each unit according to a program stored in a memory (not shown), for example, and controls various processes.
  • FIG. 4 is a diagram illustrating a configuration of the imaging device 102 according to an embodiment of the present disclosure.
  • the imaging device 102 includes a pixel unit 151 and a calculation unit 160 as an addition pixel value generation unit.
  • the calculation unit 160 includes an AD conversion unit 161, a pixel information synthesis unit 162, and an output unit 163.
  • the arithmetic unit 160 may be configured on the same chip as the pixel unit 151, that is, on-chip, or may be configured in a different chip or device from the pixel unit 151.
  • the pixel unit 151 accumulates electric charges based on subject light in each of a large number of pixels, and outputs image data having a high pixel number that is a high-resolution image. Although details will be described with reference to FIG. 5 and subsequent figures, the pixel unit 151 is configured to output pixel information of four types of different exposure times in units of the same color pixel block in units of 2 ⁇ 2 pixels. . That is, a plurality of different exposure time pixel information 181 shown in FIG. 4 is output.
  • the calculation unit 160 functioning as an addition pixel value generation unit receives a plurality of different exposure time pixel information 181 from the pixel unit 151.
  • the A / D conversion unit 161 of the calculation unit 160 performs A / D conversion of these input signals, that is, a process of converting an analog signal into a digital signal, and inputs the converted digital value to the pixel information synthesis unit 162. .
  • the pixel information composition unit 162 calculates an output pixel value by adding a plurality of different exposure time pixel information 181. For example, one pixel value of the output image is calculated based on four pixel signals. Such a pixel value synthesis process is executed to generate a high dynamic range image with a reduced number of pixels and output it via the output unit 163.
  • FIG. 5 shows the following figures.
  • Exposure control processing (2) Output pixel value calculation processing
  • the pixel unit 151 is described earlier with reference to FIG. 2 (2) as shown in FIG. 5 (2) (a).
  • the four-divided Bayer type RGB array is provided.
  • the 4-split Bayer RGB array corresponds to an array in which each R, G, B pixel of the Bayer array shown in FIG. 2A is set as four pixels.
  • the configuration of the pixel portion has a four-divided Bayer type RGB array shown in FIG.
  • a 2 ⁇ 2 block of 4 pixels is set for each pixel of the same color (R, G, or B).
  • an image is taken under the setting of four exposure times as shown in FIG.
  • FIG. 5 (1) as an exposure time control sequence, ⁇ 1, ⁇ 2, ⁇ 3, ⁇ 4, The control sequences for these four different exposure times are shown.
  • the length of exposure time is ⁇ 1> ⁇ 3> ⁇ 4> ⁇ 2
  • the above settings are used.
  • G1 pixel value corresponding to the first longest exposure time according to the exposure control pattern ⁇ 1
  • G3 pixel value corresponding to the second longest exposure time according to the exposure control pattern ⁇ 3
  • G4 third value according to the exposure control pattern ⁇ 4
  • G2 Pixel value corresponding to the fourth longest exposure time according to the exposure control pattern ⁇ 2
  • the pixel information combining unit 162 of the calculation unit 160 After exposing each of the four pixels of the same color in the four-divided Bayer array with different exposure times, the pixel information combining unit 162 of the calculation unit 160 generates and outputs a signal obtained by adding the pixel values of the four pixels of the same color. . As shown in (d) of FIG. 5 (2), one output pixel value corresponding to a block composed of four pixels is set and output. By this processing, a high dynamic range image is generated and output. With this configuration, an increase in fixed pattern noise is suppressed, and a configuration in which the dynamic range can be adjusted electronically is realized.
  • FIG. 6 shows one pixel structure of the CMOS image sensor.
  • PD Photodiode FD: Floating diffusion
  • M1 to M4 Transistor (MOSFET)
  • RS reset signal line
  • TR transfer signal line
  • SL row selection signal line
  • SIG column signal line
  • a charge corresponding to the amount of light is generated by photoelectric conversion in the photodiode (PD).
  • the charge accumulated in the photodiode (PD) is transferred to the floating diffusion (FD) through the transistor (M1).
  • the transistor (M1) is controlled by a control signal of the transfer signal line (TR).
  • the transistor (M2) When the transistor (M2) is energized, the transistor (M2) performs a reset operation of the charge accumulated in the floating diffusion (FD).
  • the transistor (M2) is controlled by a control signal of the reset signal line (RS).
  • the electric charge accumulated in the floating diffusion (FD) is amplified by the transistor (M3) and output from the column signal line (SIG) through the transistor (M4).
  • the transistor (M4) is controlled by a control signal via a row selection signal line.
  • FIG. 7 illustrates a circuit configuration example including a calculation unit that outputs an addition signal of pixel values corresponding to different exposure times acquired in the four-pixel block 201 of the same color of the present disclosure.
  • FIG. 7 is composed of a pixel block composed of four pixels of the same color, that is, a pixel of any one color of R, G, B in the four-divided Bayer RGB array shown in FIG. 2 (2), for example. 2 ⁇ 2 pixels and an arithmetic processing configuration for the output are shown.
  • the pixel control signal is supplied from a row selector (ROW SELECTOR) 202. Pixels ⁇ 1 and ⁇ 2 and pixels ⁇ 3 and ⁇ 4 in the same row (Row) share a reset signal line RS and a row selection signal line SL, respectively.
  • the transfer signal line TR is wired to each of the pixels ⁇ 1, ⁇ 2, ⁇ 3, and ⁇ 4 and is not shared.
  • a pixel signal read from each pixel passes through a column signal line SIG and is converted into a digital value by an AD converter (A / D CONVERTOR) 203. Reading from the pixels is performed in a 1H (horizontal) cycle in synchronization with one row (Row).
  • Pixel signals converted into digital values by the AD converter (A / D CONVERTOR) 203 are added in units of 2 ⁇ 2 pixels of the same color in the adding circuit 204 to become one pixel signal.
  • the output from the AD converter (A / D CONVERTOR) 203 is the output signal Row (2i) of the pixel in the upper row (row 2i) of the four-pixel block 201
  • the switch (SW) 205 of the adder circuit 204 is a register.
  • the pixel signal of Row (2i) that opens to the (Reg) 206 side is temporarily held in the register (Reg) 206.
  • the switch (SW) 205 of the addition circuit 204 Is opened to the adder (ADD) 207 side, and the pixel signal of Row (2i + 1) is added by the adder (ADD) 207 with the pixel signal of Row (2i) held in the register (Reg) 206 immediately before.
  • an adder (ADD) 208 in the subsequent stage adds the pixel signal after addition in the adjacent column (Column) to obtain a 4-pixel addition signal.
  • the pixel signal after the addition is sequentially selected from the column selector (COLUMN SELECTOR) 209 according to the selection control signal from the timing generator (TG) 210 and sent to the output signal line.
  • FIG. 8 is a diagram showing a timing chart of pixel control signals for setting different exposure times for each of the four pixels included in the pixel block 201 having four pixels shown in FIG. 7, for example.
  • the read control signal 301 (solid line circle) is a control signal for sending pixels signals to an AD converter (A / D CONVERTOR) 203 in synchronization with pixels in one row (1 Row).
  • the timing of the output signal Row (2i) of the upper row pixel of the pixel block 201 composed of 4 pixels shown in FIG. 7 and the output signal Row (2i + 1) of the lower row are shifted by 1H.
  • the configuration of the four pixels of the pixel block 201 including four pixels shown in FIG. 7 is the configuration described above with reference to FIG. A pixel signal generation process in each pixel will be described with reference to FIG.
  • the reset signal RS is applied to the transistor M2, and the accumulated charge in the floating diffusion FD is reset.
  • the row selection signal SL is applied to the transistor M4, the source current of the transistor M3 corresponding to the reset level of the FD flows to the column signal line (SIG), and the AD converter (A / D CONVERTOR) 203 is transmitted as a reset level.
  • the reset signal RS and the row selection signal SL are once turned off, and then the transfer signal TS is applied to the transistor M1 and the charge generated in the photodiode PD is transferred to the floating diffusion FD.
  • the Column selection signal SL is again applied to the transistor M4, and the source current of the transistor M3 corresponding to the charge amount of the floating diffusion FD flows to the Column signal line, and the AD converter (A / D CONVERTOR) 203 is transmitted as a pixel signal level.
  • the AD converter (A / D CONVERTOR) 203 an accurate pixel signal can be obtained by detecting a difference between the reset level and the pixel signal level.
  • the exposure period is between the readout control and the next readout control after 1V.
  • the reset control signal (broken line circle) 302 is a control for transferring the charge accumulated in the photodiode PD to the floating diffusion FD by giving a transfer signal TS as appropriate during the exposure period. Since the charge transferred by the reset control is first reset in the read control, it is not read out as a pixel signal. For this reason, the period from the reset control transfer signal to the read control transfer signal is a substantial exposure period. In the configuration of the present invention, since the transfer signal TS can be independently applied to four pixels in the 2 ⁇ 2 pixel unit, a desired combination of exposure periods of four pixels can be made.
  • reset control is not given to the pixel ⁇ 1, but different reset control is performed by giving the reset control signal 302 to the other pixels ⁇ 2, ⁇ 3, and ⁇ 4 at different timings.
  • ⁇ Shows an example of realizing exposure for a short time, ⁇ 3 ⁇ medium short time, ⁇ 4 ⁇ medium long time.
  • CHG ⁇ 1 to CHG ⁇ 4 shown in FIG. 8 the solid line period indicates the exposure period.
  • the exposure period is ⁇ 1> ⁇ 4> ⁇ 3> ⁇ 2 The above settings are used.
  • each of the four pixels constituting the pixel block has the configuration shown in FIG. 6, and the output pixel value is generated by adding the output from each pixel in an arithmetic unit having an addition circuit.
  • Met As shown in FIG. 6, each pixel has an individual floating diffusion (FD) in units of pixels, and the output from each FD is added in the adding circuit 204 shown in FIG.
  • the floating diffusion (FD) for each pixel unit is omitted, and one shared floating diffusion (FD) is set for each of the four pixel units constituting the pixel block.
  • FD floating diffusion
  • a configuration example in which pixel values of pixel blocks are added in shared floating diffusion (FD) will be described. That is, the shared floating diffusion (FD) functions as an addition pixel value generation unit.
  • each of the four pixels ⁇ 1, 401 to ⁇ 4, 404 of the same color receives a transfer signal from different transfer signal lines (TR1 to TR4), and a shared floating diffusion (FD) 412 and The reset signal line (RS) is shared.
  • the charges generated under different exposure times in each of the pixels ⁇ 1, 401 to ⁇ 4, 404 are all accumulated in one shared floating diffusion (FD) 412.
  • the pixel signals of the four pixels ⁇ 1, 401 to ⁇ 4, 404 having different exposure times can be added in one shared floating diffusion (FD) 412.
  • FIG. 9 shows a circuit configuration of a pixel portion in the same color 2 ⁇ 2 pixel unit.
  • a region surrounded by four solid line rectangles corresponds to a pixel ( ⁇ 1, 401, ⁇ 2, 402, ⁇ 3, 403, ⁇ 4, 404).
  • Each pixel has photodiodes PD1 to PD4 and transfer transistors M1 to M4.
  • each pixel ( ⁇ 1, 401, ⁇ 2, 402, ⁇ 3, 403, ⁇ 4, 404) is a portion shared by these 2 ⁇ 2 pixel block, Reset transistors M5, 411, Floating diffusion FD412 Amplifying transistors M6, 413, Row selection transistors M7, 417, These are set as shared elements in pixel block units.
  • the reset signal line RS and the row selection signal line are shared by the 2 ⁇ 2 pixels, and the transfer signal lines TS (TS1, TS2, TS3, TS4) are individually supplied to each pixel.
  • FIG. 10 is a diagram illustrating a configuration example of a pixel unit and a calculation unit having the floating diffusion (FD) addition configuration illustrated in FIG. 9.
  • FIG. 10 shows each configuration of the pixel block 501 having the same color 2 ⁇ 2 pixels and the output control unit 502.
  • the pixel block 501 in units of 2 ⁇ 2 pixels includes four pixels ( ⁇ 1, ⁇ 2, ⁇ 3, ⁇ 4) having the internal configuration described with reference to FIG.
  • the pixel control signal is supplied from a row selector (ROW SELECTOR) 511. From the row selector (ROW SELECTOR) 511, in units of 2 rows (2 Row) in which each pixel block is set, Reset signal line RS, Row selection signal line SL, 4 transfer signal lines TS, These control signals are supplied in units of 2 ⁇ 2 pixels arranged in the row direction and juxtaposed in the row direction.
  • ROW SELECTOR row selector
  • the pixel value read processing for each pixel block 501 of 2 ⁇ 2 pixels is performed, so pixel value reading from the pixels is performed in a 2H cycle.
  • the pixel signal converted into a digital value by the AD converter (A / D CONVERTOR) 521 is sequentially selected from the column selector (COLUMN SELECTOR) 523 according to the control signal output via the timing generator (TG) 522 and output signal. Sent to the line.
  • FIG. 11 is a diagram illustrating a timing chart of pixel control signals in a configuration in which the floating diffusion (FD) addition process described with reference to FIGS. 9 and 10 is performed.
  • FD floating diffusion
  • the readout control signal 601 is control for sending the pixel signal to the AD converter (A / D CONVERTOR) 521 shown in FIG.
  • the reset signal RS is applied to the transistors M5 and 411 shown in FIG. 9 to reset the accumulated charge in the FD 412 which is a shared FD for each pixel block.
  • the Row selection signal SL is applied to the transistors M7 and 414, the source currents of the transistors M6 and 413 corresponding to the reset level of the FD 412 flow to the Column signal line, and the AD converter ( A / D CONVERTOR) 521 is transmitted as a reset level.
  • the reset signal RS and the row selection signal SL are temporarily turned off, and the four transfer signals TR1, TR2, TR3, TR4 corresponding to each pixel constituting the pixel block composed of 2 ⁇ 2 pixels are converted into the respective pixels shown in FIG.
  • Charges applied to the transistors M1, M2, M3, and M4 of ⁇ 1, 401 to ⁇ 4, 404 and generated in the photodiode PD of each of the four pixels ⁇ 1, 401 to ⁇ 4, 404 are supplied to the floating diffusion FD412 in units of pixel blocks. The total charge amount is transferred and accumulated in the FD 412.
  • the column selection signal SL is again applied to the transistors M7 and 414, and the source currents of the transistors M6 and 413 corresponding to the charge amount of the FD 412 flow to the column signal line, and the AD converter shown in FIG. (A / D CONVERTOR) 521 is transmitted as the pixel signal level.
  • an AD converter (A / D CONVERTOR) 521 shown in FIG. 10 an accurate pixel signal can be obtained by detecting a difference between the reset level and the pixel signal level.
  • the exposure period is between the read control signal 601a and the next read control signal 601b after 1V.
  • the reset control signal 602 is a control signal for transferring the charge accumulated in the photodiode PD of each pixel to the shared FD 412 by appropriately applying the transfer signal TS during the exposure period.
  • the charge transferred by the reset control is first reset in the readout control, and thus is not read out as a pixel signal. For this reason, the period from the reset control transfer signal to the read control transfer signal is a substantial exposure period.
  • the transfer signal TS can be independently applied to the four pixels in the 2 ⁇ 2 pixel unit, so that a desired combination of exposure periods of four pixels can be created.
  • the control shown in FIG. 11 does not give reset control to the pixel ⁇ 1, but performs reset processing with reset control signals 602 at different timings on the pixels ⁇ 2, ⁇ 3, and ⁇ 4, so that ⁇ 1 ⁇ long time, ⁇ 2 ⁇ short time, In this example, ⁇ 3 ⁇ medium time and ⁇ 4 ⁇ medium time are realized.
  • the solid line period indicates the exposure period. In this example, the exposure period is ⁇ 1> ⁇ 4> ⁇ 3> ⁇ 2 The above setting.
  • the color arrangement of 2 ⁇ 2 pixels there is no particular limitation on the color arrangement of 2 ⁇ 2 pixels as long as the pixel arrangement is the same color setting in units of 2 ⁇ 2 pixels.
  • the present invention can also be applied to the 4-split WRB type array described above with reference to FIG. That is, as shown in FIG. 12 (2), the WRB in which the G pixel in the four-divided RGB array is replaced with a W pixel that transmits all visible light wavelengths (for example, using an on-chip filter that transmits all visible light wavelengths).
  • a similar process can be performed for a 2 ⁇ 2 pixel Bayer array of the mold.
  • the exposure time control and calculation processing described in the above-described embodiments can be executed as processing according to a program executed in the control unit, for example.
  • the technology disclosed in this specification can take the following configurations. (1) a pixel portion in which pixel blocks composed of a plurality of pixels of the same color are arranged; A control unit for controlling different exposure times for each of a plurality of the same color pixels constituting the pixel block; An addition pixel value generation unit that generates an addition pixel value obtained by adding outputs of a plurality of pixels of the same color in the pixel block; An imaging apparatus having
  • the addition pixel value generation unit includes an addition circuit having an addition unit that adds outputs of a plurality of pixels of the same color in the pixel block.
  • the pixel block is configured by pixels of the same color composed of a plurality of pixels in a plurality of rows and a plurality of columns, and the adder circuit stores pixel values of a plurality of pixels set in a preceding read row of the pixel block.
  • the pixel block is composed of pixels of the same color composed of 4 pixels of 2 rows ⁇ 2 columns, and the adder circuit stores a pixel value of 2 pixels set in a preceding read row of the pixel block
  • the imaging apparatus according to any one of (1) to (3), further including: an adder that adds the readout pixel value of two pixels set in the subsequent readout row of the pixel block and the pixel value stored in the register .
  • the addition pixel value generation unit is configured by a floating diffusion (FD) set in units of the pixel block, and the floating diffusion (FD) is output from each of a plurality of same color pixels configuring the pixel block.
  • FD floating diffusion
  • the imaging device according to any one of (1) to (5), wherein the pixel unit has a four-divided Bayer RGB arrangement and has a configuration in which pixel blocks each including four pixels are arranged in units of RGB colors. . (7) The pixel unit has a four-part WRB array in which G pixels in a four-part Bayer RGB array are replaced with all visible light wavelength transmission type W pixels, and a pixel block composed of four pixels in each WRB color unit.
  • the imaging device according to any one of (1) to (5), which has an arrangement.
  • a method of processing executed in the above-described apparatus and system, a program for executing the processing, and a recording medium recording the program are also included in the configuration of the present disclosure.
  • the series of processing described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • an apparatus and a method for generating a high dynamic range image by executing pixel value synthesis processing of a long exposure pixel and a short exposure pixel are realized.
  • the generation of the added pixel value is executed by, for example, an arithmetic unit having an adding unit that adds outputs of a plurality of pixels of the same color in the pixel block.
  • FD floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

異なる複数の露光時間設定画素の画素値合成処理を実行して高ダイナミックレンジ画像を生成する装置、方法を提供する。画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行い、画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する。加算画素値の生成は、例えば、画素ブロックの複数の同一色画素の出力を加算する加算部を有する演算部において実行される。あるいは、画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって実行され、フローティングディフュージョン（ＦＤ）において、画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積して出力する。

Description

撮像装置、および信号処理方法、並びにプログラム
　本開示は、撮像装置、および信号処理方法、並びにプログラムに関する。さらに詳細には、ダイナミックレンジの広い画像を生成する撮像装置、および信号処理方法、並びにプログラムに関する。
　ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像デバイスは入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
　このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
　しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
　このような処理を実現する手法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち高ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
　例えば特許文献１（特開２０００－５０１５１号公報）は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０－６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。
　例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
　時間ｔ０～ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。
　しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。
　そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２～ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２～短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
　なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
　このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。
　しかしながら、上記の特許文献１に記載された構成は、いずれも長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。
　このように、露光時間を変えた複数枚の画像を利用することで、高ダイナミックレンジ画像（ＨＤＲ画像）を生成可能であるが、この複数画像に基づく処理には、例えば以下の課題がある。
　課題１：複数回の撮影を行うことが必要であり、さらに、これらの画像を格納するメモリを必要とする点。
　課題２：撮影タイミングが異なる複数の画像を合成したり、長時間露光の撮影データを用いるため、カメラのブレに弱い点。
　このように複数の画像を利用することなく、１枚の撮影画像内に長時間露光画素と短時間露光画素を設定してこれらの異なる露光時間の画素を合成して高ダイナミックレンジ画像を生成する処理についても提案されている。
　例えば、特許文献２（特開平１１－２９８８０号公報）、特許文献３（特開２０００－６９４９１号公報）などに記載がある。
　これらは、撮像素子（イメージセンサ）に２×２画素のＲ画素、２×２画素のＧ画素、２×２画素のＢ画素等、同色の複数画素を配置する設定とし、同一色の２×２画素の構成画素を異なる露光時間に設定して撮影を実行するものである。このイメージセンサで撮影された異なる露光時間の同色の画素値の合成を実行して、高ダイナミックレンジ画像を得る。
　しかし、これらの開示構成では、素子やフィルタの製造バラツキなどに起因するノイズが発生する可能性が高く、高品質な画像を取得することが困難であるという問題がある。
特開２０００－５０１５１号公報 特開平１１－２９８８０号公報 特開２０００－６９４９１号公報
　本開示は、例えばこのような状況に鑑みてなされたものであり、１回の撮影画像に基づいて高品質な高ダイナミックレンジ画像を生成可能とした撮像装置、および信号処理方法、並びにプログラムを提供することを目的とする。
　さらに、本開示は、例えばベイヤ配列と異なる配列を持つ撮影画像に基づいて高ダイナミックレンジ画像を生成する撮像装置、および信号処理方法、並びにプログラムを提供することを目的とする。
　本開示の第１の側面は、
　複数の同一色画素から構成される画素ブロックを配列した画素部と、
　前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う制御部と、
　前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成部と、
　を有する撮像装置にある。
　さらに、本開示の撮像装置の一実施態様において、前記加算画素値生成部は、前記画素ブロックの複数の同一色画素の出力を加算する加算部を有する加算回路によって構成される。
　さらに、本開示の撮像装置の一実施態様において、前記画素ブロックは、複数行×複数列の複数画素からなる同一色画素によって構成され、前記加算回路は、前記画素ブロックの先行読み出し行に設定された複数画素の画素値を格納するレジスタと、前記画素ブロックの後続読み出し行に設定された複数画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する。
　さらに、本開示の撮像装置の一実施態様において、前記画素ブロックは、２行×２列の４画素からなる同一色画素によって構成され、前記加算回路は、前記画素ブロックの先行読み出し行に設定された２画素の画素値を格納するレジスタと、前記画素ブロックの後続読み出し行に設定された２画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する。
　さらに、本開示の撮像装置の一実施態様において、前記加算画素値生成部は、前記画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって構成され、前記フローティングディフュージョン（ＦＤ）は、前記画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積する構成を持つ。
　さらに、本開示の撮像装置の一実施態様において、前記画素部は、４分割ベイヤ型ＲＧＢ配列を有し、ＲＧＢ各色単位で４つの画素からなる画素ブロックを配列した構成である。
　さらに、本開示の撮像装置の一実施態様において、前記画素部は、４分割ベイヤ型ＲＧＢ配列におけるＧ画素を全可視光波長透過型のＷ画素に置換した４分割ＷＲＢ配列を有し、ＷＲＢ各色単位で４つの画素からなる画素ブロックを配列した構成である。
　さらに、本開示の第２の側面は、
　撮像装置において実行する信号処理方法であり、
　前記撮像装置は、複数の同一色画素から構成される画素ブロックを配列した画素部を有し、
　制御部が、前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う露光制御処理と、
　加算画素値生成部が、前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成処理を実行する信号処理方法にある。
　さらに、本開示の第３の側面は、
　撮像装置において信号処理を実行させるプログラムであり、
　前記撮像装置は、複数の同一色画素から構成される画素ブロックを配列した画素部を有し、
　前記プログラムは、
　制御部に、前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行わせる露光制御処理と、
　加算画素値生成部に、前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成させる加算画素値生成処理を実行させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して高ダイナミックレンジ画像を生成する装置、方法が実現される。
　具体的には、例えば、画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行い、画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する。加算画素値の生成は、例えば、画素ブロックの複数の同一色画素の出力を加算する加算部を有する演算部において実行される。あるいは、画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって実行され、フローティングディフュージョン（ＦＤ）において、画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積して出力する。
　これらの構成により、高ダイナミックレンジ画像を生成することができる。
複数の画像撮影による高ダイナミックレンジ画像の撮影処理例について説明する図である。 撮像素子の構成例について説明する図である。 撮像装置の構成例について説明する図である。 撮像デバイスの構成例について説明する図である。 露光制御と出力画像の生成例について説明する図である。 撮像デバイスの構成例について説明する図である。 撮像デバイスの構成例について説明する図である。 露光制御シーケンスについて説明する図である。 撮像デバイスの構成例について説明する図である。 撮像デバイスの構成例について説明する図である。 露光制御シーケンスについて説明する図である。 撮像素子の構成と処理例について説明する図である。
　以下、図面を参照しながら本開示の撮像装置、および信号処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　　１．撮像デバイスの画素部構成例について
　　２．撮像装置の構成例について
　　３．撮像デバイスの構成例について
　　４．画素部の露光時間制御構成と出力画素値の算出処理例について
　　５．撮像デバイスの具体的回路構成例について
　　６．フローティングディフージョン（ＦＤ）加算構成例
　　７．その他の実施例について
　　８．本開示の構成のまとめ
　　［１．撮像デバイスの画素部構成例について］
　図２を参照して本開示の撮像装置の構成要素である撮像デバイスの画素部の構成例について説明する。図２には、以下の３つの撮像デバイスの画素部構成例を示している。
　（１）ベイヤ（Ｂａｙｅｒ）配列
　（２）４分割ベイヤ型ＲＧＢ配列
　（３）４分割ＷＲＢ型配列
　（１）ベイヤ（Ｂａｙｅｒ）配列は多くのカメラにおいて採用されている配列であり、このベイヤ配列を持つカラーフィルタを持つ撮像画像に対する信号処理はほぼ確立している。
　しかし、（２）４分割ベイヤ型ＲＧＢ配列や、（３）４分割ＷＲＢ型配列については、まだ、これらのフィルタを備えた撮像素子によって撮影された画像に対する信号処理について十分な検討がなされているとは言えないというのが現状である。
　なお、（２）４分割ベイヤ型ＲＧＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
　（３）４分割ＷＲＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定し、Ｇ画素の代わりにＷ（ホワイト）画素を設定した配列に相当する。
　以下の実施例では、一例として図２に示す（２）４分割ベイヤ型ＲＧＢ配列を持つカラーフィルタを備えた撮像素子によって撮影される画像に対する信号処理を実行する撮像装置について説明する。
　　［２．撮像装置の構成例について］
　図３は、本開示の撮像装置１００の構成例を示すブロック図である。光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、光電変換による画像データを出力する。出力画像データは信号処理部１０３に入力される。信号処理部１０３は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。
　制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
　　［３．撮像デバイスの構成例について］
　次に、撮像デバイス１０２の構成例について図４を参照して説明する。
　図４は、本開示の一実施例の撮像デバイス１０２の構成を示す図である。
　撮像デバイス１０２は、図４に示すように画素部１５１、加算画素値生成部としての演算部１６０を有する。
　演算部１６０はＡＤ変換部１６１、画素情報合成部１６２、出力部１６３を有する。
　なお、演算部１６０は、画素部１５１と同一のチップ上の構成、すなわちオンチップにある設定としてもよいし、画素部１５１と異なるチップや装置内に設定する構成としてもよい。
　画素部１５１は、多数の画素各々に被写体光に基づく電荷を蓄積し、高解像度画像である高画素数の画像データを出力する。
　なお、画素部１５１は、詳細については図５以下を参照して説明するが、２×２画素単位の同一色画素ブロック単位で４種類の異なる露光時間の画素情報を出力する構成となっている。すなわち、図４に示す複数の異なる露光時間画素情報１８１を出力する。
　加算画素値生成部として機能する演算部１６０は、画素部１５１から、複数の異なる露光時間画素情報１８１が入力される。
　演算部１６０のＡ／Ｄ変換部１６１はこれらの入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を画素情報合成部１６２に入力する。
　画素情報合成部１６２では、複数の異なる露光時間画素情報１８１の加算処理により出力画素値を算出する。例えば、４つの画素信号に基づいて出力画像の１つの画素値を算出する。このような画素値合成処理を実行して画素数を削減した高ダイナミックレンジ画像を生成して出力部１６３を介して出力する。
　　［４．画素部の露光時間制御構成と出力画素値の算出処理例について］
　次に、画素部１５１の露光時間制御構成と演算部１６０の画素情報合成部１６２において実行する出力画素値の算出処理例について説明する。
　図５には、以下の各図を示している。
　（１）露光制御処理
　（２）出力画素値算出処理
　本処理例において、画素部１５１は、図５（２）の（ａ）に示すように、先に図２（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列を有する。４分割ベイヤ型ＲＧＢ配列は、図２（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
　画素部の構成は、図５（２）の（ａ）に示す４分割ベイヤ型ＲＧＢ配列を有する。すなわち、同一色（ＲまたはＧまたはＢ）画素各々について、２×２の４画素のブロックが設定された構成となっている。
　これらの各同一色ブロックの４画素各々に対して、図５（１）に示すように４つの露光時間の設定の下で画像撮影を行う。
　図５（１）には、露光時間制御シーケンスとして、
　Φ１、
　Φ２、
　Φ３、
　Φ４、
　これら４つの異なる露光時間の制御シーケンスを示している。
　露光時間の長さは、
　Φ１＞Φ３＞Φ４＞Φ２
　上記設定としている。
　図５（２）の（ｂ）に示すように、Ｒ，Ｇ，Ｂの各４画素ブロック単位で、これらの４つの異なる露光時間設定の下で撮影を行う。
　この露光制御の下で撮影された画像は、図５（２）の（ｃ）に示すように、Ｒ，Ｇ，Ｂの各４画素ブロック単位で、４つの異なる露光画素値を取得することになる。
　例えば、図５（２）（ｃ）の左上部の４つのＧ画素では、
　Ｇ１＝露光制御パターンΦ１に従った１番目に長い露光時間対応の画素値
　Ｇ３＝露光制御パターンΦ３に従った２番目に長い露光時間対応の画素値
　Ｇ４＝露光制御パターンΦ４に従った３番目に長い露光時間対応の画素値
　Ｇ２＝露光制御パターンΦ２に従った４番目に長い露光時間対応の画素値
　これらの４つの露光時間対応の画素値が得られる。
　その他、すべてのＲ，Ｇ，Ｂ画素ブロックについても同様であり、４つの露光時間対応の画素値が得られる。
　このように、４分割ベイヤ型配列の同色４画素それぞれに異なる露光時間で露光した後、演算部１６０の画素情報合成部１６２は、同色４画素の画素値を加算した信号を生成して出力する。
　図５（２）の（ｄ）に示すように、４つの画素からなるブロックに対応する１つの出力画素値を設定して出力する。この処理によって、高ダイナミックレンジ画像を生成して出力する。
　この構成によって、固定パターンノイズの増大を抑制し、ダイナミックレンジを電子的に調整可能な構成が実現される。
　　［５．撮像デバイスの具体的回路構成例について］
　次に、撮像デバイスの具体的回路構成例について説明する。
　図６は、ＣＭＯＳイメージセンサの１つの画素構造を示している。
　ＰＤ：フォトダイオード
　ＦＤ：フローティングディフュージョン
　Ｍ１～Ｍ４：トランジスタ（ＭＯＳＦＥＴ）
　ＲＳ：リセット信号線
　ＴＲ：転送信号線
　ＳＬ：行（Ｒｏｗ）選択信号線
　ＳＩＧ：列（Ｃｏｌｕｍｎ）信号線
　である。
　画素に光が入射されるとフォトダイオード（ＰＤ）において光電変換により光量に応じた電荷が発生する。フォトダイオード（ＰＤ）に蓄積した電荷はトランジスタ（Ｍ１）を介してフローティングディフュージョン（ＦＤ）に転送される。トランジスタ（Ｍ１）は、転送信号線（ＴＲ）の制御信号によって制御される。トランジスタ（Ｍ２）は、通電することによって、フローティングディフュージョン（ＦＤ）に蓄積された電荷のリセット動作を行う。トランジスタ（Ｍ２）は、リセット信号線（ＲＳ）の制御信号によって制御される。フローティングディフュージョン（ＦＤ）に蓄積された電荷はトランジスタ（Ｍ３）によって増幅され、トランジスタ（Ｍ４）を介して列（Ｃｏｌｕｍｎ）信号線（ＳＩＧ）から出力される。トランジスタ（Ｍ４）は行（Ｒｏｗ）選択信号線を介した制御信号によって制御される。
　図７は、本開示の同一色の４画素ブロック２０１において取得する異なる露光時間に対応する画素値の加算信号を出力する演算部を含む回路構成例を示している。
　図７は、ある同一色の４つの画素からなる画素ブロック、すなわち、例えば図２（２）に示す４分割ベイヤ型ＲＧＢ配列におけるＲ，Ｇ，Ｂのいずれかの１つの色の画素によって構成される２×２画素と、その出力に対する演算処理構成を示している。
　同一色の２×２画素単位中に、図６に示す内部構成をもつ異なる露光時間制御がなされる４画素がある。
　以下、これらの４画素を（Φ１、Φ２、Φ３、Φ４）として説明する。
　画素制御信号は行セレクタ（ＲＯＷ　ＳＥＬＥＴＯＲ）２０２より供給される。同じ行（Ｒｏｗ）にある画素Φ１とΦ２、および画素Φ３とΦ４は、それぞれリセット信号線ＲＳとＲｏｗ選択信号線ＳＬを共有する。
　転送信号線ＴＲは画素Φ１、Φ２、Φ３、Φ４それぞれに配線され、共有しない。
　各画素から読みだされる画素信号は列（Ｃｏｌｕｍｎ）信号線ＳＩＧを通って、ＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）２０３においてデジタル値に変換される。画素からの読み出しは１Ｈ（水平）周期で、１行（Ｒｏｗ）分が同期しておこなわれる。
　ＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）２０３においてデジタル値に変換された画素信号は、加算回路２０４において、同色２×２画素単位で加算されて１つの画素信号となる。
　ＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）２０３からの出力が、４画素ブロック２０１の上側の行（行２ｉ）の画素の出力信号Ｒｏｗ（２ｉ）であるとき、加算回路２０４のスイッチ（ＳＷ）２０５はレジスタ（Ｒｅｇ）２０６側に開き、Ｒｏｗ（２ｉ）の画素信号は一旦レジスタ（Ｒｅｇ）２０６に保持される。
　一方、ＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）２０３からの出力が４画素ブロック２０１の下側の行（行２ｉ＋１）の画素の出力信号Ｒｏｗ（２ｉ＋１）であるとき、加算回路２０４のスイッチ（ＳＷ）２０５は加算器（ＡＤＤ）２０７側に開き、Ｒｏｗ（２ｉ＋１）の画素信号は直前にレジスタ（Ｒｅｇ）２０６に保持されたＲｏｗ（２ｉ）の画素信号と加算器（ＡＤＤ）２０７で加算される。その後，後段の加算器（ＡＤＤ）２０８によって隣接する列（Ｃｏｌｕｍｎ）の加算後の画素信号と加算され、４画素加算信号を得る。
　加算後の画素信号は、タイミングジェネレータ（ＴＧ）２１０からの選択制御信号に従って、列セレクタ（ＣＯＬＵＭＮ　ＳＥＬＥＣＴＯＲ）２０９から順次選択されて出力信号線へ送られる。
　図８は、例えば図７に示す４画素からなる画素ブロック２０１に含まれる４つの画素の各々に異なる露光時間を設定するための画素制御信号のタイミングチャートを示す図である。
　１Ｖ（垂直）周期で伝達される「実線マル」で囲まれた読み出し制御信号３０１と、露出の長さに応じて各画素に適宜伝達される「破線マル」で囲まれたＰＤリセット制御信号３０２の組み合わせによって、異なる露光時間制御を実現している。
　読み出し制御信号３０１（実線マル）は、１つの行（１Ｒｏｗ）の画素が同期して画素信号を、ＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）２０３に送るための制御信号である。
　そのため、例えば、図７に示す４画素からなる画素ブロック２０１の上側の行の画素の出力信号Ｒｏｗ（２ｉ）と、下側の行の出力信号Ｒｏｗ（２ｉ＋１）はタイミングが１Ｈ分ずれる。
　図７に示す４画素からなる画素ブロック２０１の４さつの画素の構成は、先に図６を参照して説明した構成である。各画素における画素信号の生成処理について図６を参照して説明する。
　最初にリセット信号ＲＳがトランジスタＭ２に印加されて、フローティングディフュージョンＦＤ内の蓄積電荷がリセットされる。十分にリセットレベルに達したところでＲｏｗ選択信号ＳＬがトランジスタＭ４に印加され、ＦＤのリセットレベルに応じたトランジスタＭ３のソース電流がＣｏｌｕｍｎ信号線（ＳＩＧ）に流れて、図７に示すＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）２０３へリセットレベルとして伝達される。
　次にリセット信号ＲＳと、Ｒｏｗ選択信号ＳＬが一旦オフとなり、変わって転送信号ＴＳがトランジスタＭ１に印加され、フォトダイオードＰＤで発生した電荷がフローティングディフュージョンＦＤに転送される。転送が十分に完了したところで、再びＣｏｌｕｍｎ選択信号ＳＬがトランジスタＭ４に印加され、フローティングディフュージョンＦＤの電荷量に応じたトランジスタＭ３のソース電流がＣｏｌｕｍｎ信号線に流れて、図７に示すＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）２０３へ画素信号レベルとして伝達される。ＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）２０３では、リセットレベルと画素信号レベル間の差分を検出することで正確な画素信号が得られるようになっている。
　読み出し制御と１Ｖ後の次の読み出し制御の間が露光期間である。リセット制御信号（破線マル）３０２は、その露光期間中に適宜、転送信号ＴＳを与えることにより、フォトダイオードＰＤで蓄積された電荷をフローティングディフュージョンＦＤに転送する制御である。リセット制御により転送された電荷は、読み出し制御において最初にリセットされてしまうので、画素信号として読みだされない。そのため、リセット制御の転送信号から読み出し制御の転送信号までの期間が実質的な露光期間となる。本発明の構成では、２×２画素単位内の４画素に独立に転送信号ＴＳを印加出来るようになっているので、所望の４画素の露光期間の組み合わせを作ることができる。
　図８に示すタイミングチャートでは、画素Φ１にはリセット制御を与えず、その他の画素Φ２、Φ３、Φ４に異なるタイミングでリセット制御信号３０２を与えて異なるリセット制御をおこなって、Φ１⇒長時間、Φ２⇒短時間、Φ３⇒中短時間、Φ４⇒中長時間の露光を実現している例を示している。図８に示すＣＨＧ　Φ１～ＣＨＧ　Φ４において実線の期間が露光期間を示す。
　露光期間は、
　Φ１＞Φ４＞Φ３＞Φ２
　上記設定としている。
　　［６．フローティングディフージョン（ＦＤ）加算構成例］
　前述した実施例では、画素ブロックを構成する４つの画素各々が、図６に示す構成を有し、各画素からの出力を、加算回路を持つ演算部において加算して出力画素値を生成する構成であった。
　各画素は、図６に示すように画素単位で個別のフローティングディフージョン（ＦＤ）を有し、各ＦＤからの出力を図７に示す加算回路２０４において加算する構成としていた。
　次に、図９に示すように、各画素単位のフローティングディフージョン（ＦＤ）を省略して、画素ブロックを構成する４つの画素単位で１つの共有フローティングディフージョン（ＦＤ）を設定して、この共有フローティングディフージョン（ＦＤ）において画素ブロックの画素値の加算処理を行う構成例について説明する。すなわち、共有フローティングディフージョン（ＦＤ）が加算画素値生成部として機能する。
　本実施例では、図９に示すように、同色４画素の各画素Φ１，４０１～Φ４，４０４はそれぞれ異なる転送信号線（ＴＲ１～ＴＲ４）から転送信号を受け、共有フローティングディフュージョン（ＦＤ）４１２とリセット信号線（ＲＳ）を共有する。
　各画素Φ１，４０１～Φ４，４０４において異なる露光時間の下で発生した電荷は、すべて１つの共有フローティングディフュージョン（ＦＤ）４１２に集積される。
　この構成により、異なる露光時間の４画素Φ１，４０１～Φ４，４０４の画素信号は、１つの共有フローティングディフュージョン（ＦＤ）４１２において加算することが可能になる。
　本構成では、４つの画素の画素値の個別読み出しが不要となり、１つの共有フローティングディフュージョン（ＦＤ）４１２での加算結果の読み出しを行えばよく、必要な読み出し回数が１／４になるので高速駆動が可能となる。
　図９を参照して、フローティングディフージョン（ＦＤ）加算を行う撮像デバイスの構成と処理について説明する。
　図９には、同色２×２画素単位の画素部の回路構成を示している。４つの実線矩形に囲まれた領域が画素（Φ１，４０１、Φ２，４０２、Φ３，４０３、Φ４，４０４）に対応する。
　画素毎にフォトダイオードＰＤ１～ＰＤ４と、転送トランジスタＭ１～Ｍ４を持つ。
　各画素（Φ１，４０１、Φ２，４０２、Φ３，４０３、Φ４，４０４）の外の構成は、これら２×２画素の画素ブロックで共有する部分であり、
　リセットトランジスタＭ５，４１１、
　フローティングディフュージョンＦＤ４１２、
　増幅トランジスタＭ６，４１３、
　行（Ｒｏｗ）選択トランジスタＭ７，４１７、
　これらが画素ブロック単位の共有素子として設定されている。
　このように、リセット信号線ＲＳと行（Ｒｏｗ）選択信号線はこの２×２画素で共有し、転送信号線ＴＳ（ＴＳ１、ＴＳ２、ＴＳ３、ＴＳ４）は各画素に個別に供給される。
　図１０は、図９に示すフローティングディフージョン（ＦＤ）加算構成を持つ画素部と演算部の構成例を示す図である。
　図１０には、同色２×２画素の画素ブロック５０１と出力制御部５０２の各構成を示している。
　２×２画素単位の画素ブロック５０１には、図９を参照して説明した内部構成を有する４画素（Φ１、Φ２、Φ３、Φ４）がある。
　画素制御信号は行セレクタ（ＲＯＷ　ＳＥＬＥＴＯＲ）５１１から供給される。
　行セレクタ（ＲＯＷ　ＳＥＬＥＴＯＲ）５１１からは、各画素ブロックが設定される２行（２Ｒｏｗ）単位で、
　リセット信号線ＲＳ、
　Ｒｏｗ選択信号線ＳＬ、
　４つの転送信号線ＴＳ、
　これらが行（Ｒｏｗ）方向にのび、行（Ｒｏｗ）方向に並置される２×２画素単位に、これらの制御信号を供給する。
　２×２画素単位の各画素ブロック５０１からは、各画素ブロック内の２×２＝４画素の画素値を内部の共有フローティングディフュージョン（ＦＤ）において加算した画素信号が列（Ｃｏｌｕｍｎ）信号線ＳＩＧを通って、ＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）５２１に入力され、ＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）５２１においてデジタル値に変換される。なお、本構成では、２×２画素の各画素ブロック５０１単位で加算された画素値の読み出し処理が実行されるため、画素からの画素値読み出しは２Ｈ周期でおこなわれる。
　ＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）５２１においてデジタル値に変換された画素信号は、タイミングジェネレータ（ＴＧ）５２２を介して出力される制御信号に従って、列セレクタ（ＣＯＬＵＭＮ　ＳＥＬＥＣＴＯＲ）５２３から順次選択されて出力信号線へ送られる。
　図１１は、図９、図１０を参照して説明したフローティングディフージョン（ＦＤ）加算処理を行う構成における画素制御信号のタイミングチャートを示す図である。
　１Ｖ周期で伝達される「実線マル」で囲まれた読み出し制御信号６０１と、露出の長さに応じて各画素に適宜伝達される「破線マル」で囲まれたＰＤリセット制御信号６０２の組み合わせによって露光時間制御がなされる。
　読み出し制御信号６０１は、２Ｒｏｗの画素が同期して画素信号を図１０に示すＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）５２１に送るための制御である。
　２×２＝４画素からなる各画素ブロックの上側の行の画素信号Ｒｏｗ（２ｉ）と、下側の行の画素信号Ｒｏｗ（２ｉ＋１）は、各画素ブロックに設定された１つのフローティングディフュジョン（ＦＤ）における加算処理が行われるため、この読み出し制御信号６０１は、４画素単位の１つの同じタイミングとなる。
　最初にリセット信号ＲＳが、図９に示すトランジスタＭ５，４１１に印加されて、画素ブロック単位の共有ＦＤであるＦＤ４１２内の蓄積電荷がリセットされる。十分にリセットレベルに達したところでＲｏｗ選択信号ＳＬがトランジスタＭ７，４１４に印加され、ＦＤ４１２のリセットレベルに応じたトランジスタＭ６，４１３のソース電流がＣｏｌｕｍｎ信号線に流れて、図１０に示すＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）５２１へリセットレベルとして伝達される。
　次に、リセット信号ＲＳとＲｏｗ選択信号ＳＬが一旦オフとなり、２×２画素からなる画素ブロックを構成する各画素対応の４つの転送信号ＴＲ１、ＴＲ２、ＴＲ３、ＴＲ４が、図９に示す各画素Φ１，４０１～Φ４，４０４の各トランジスタＭ１、Ｍ２、Ｍ３、Ｍ４に印加され、４つの画素Φ１，４０１～Φ４，４０４各々のフォトダイオードＰＤで発生した電荷が、画素ブロック単位のフローティングディフュージョンＦＤ４１２に転送され、その総電荷量がＦＤ４１２に蓄積される。転送が十分に完了したところで、再びＣｏｌｕｍｎ選択信号ＳＬがトランジスタＭ７，４１４に印加され、ＦＤ４１２の電荷量に応じたトランジスタＭ６，４１３のソース電流がＣｏｌｕｍｎ信号線に流れて、図１０に示すＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）５２１へ画素信号レベルとして伝達される。図１０に示すＡＤコンバータ（Ａ／Ｄ　ＣＯＮＶＥＲＴＯＲ）５２１では、リセットレベルと画素信号レベル間の差分を検出することで正確な画素信号が得られるようになっている。
　図１１に示すタイミングチャートにおいて、読み出し制御信号６０１ａと、１Ｖ後の次の読み出し制御信号６０１ｂの間が露光期間である。リセット制御信号６０２は、その露光期間中に適宜転送信号ＴＳを与えることにより、各画素のフォトダイオードＰＤで蓄積された電荷を共有ＦＤ４１２に転送する制御信号である。リセット制御により転送された電荷は、読み出し制御において最初にリセットされてしまうので、画素信号として読みだされない。そのため、リセット制御の転送信号から読み出し制御の転送信号までの期間が実質的な露光期間となる。本開示の構成では、２×２画素単位内の４画素に独立に転送信号ＴＳを印加出来るようになっているので、所望の４画素の露光期間の組み合わせを作ることができる。
　なお、図１１に示す制御は、画素Φ１にはリセット制御を与えず、画素Φ２、Φ３、Φ４に異なるタイミングのリセット制御信号６０２によるリセット処理をおこなって、Φ１⇒長時間、Φ２⇒短時間、Φ３⇒中短時間、Φ４⇒中長時間の露光を実現している例である。ＣＨＧ　Φ１～ＣＨＧ　Φ４において実線の期間が露光期間を示す。
　この例では、露光期間は、
　Φ１＞Φ４＞Φ３＞Φ２
　上記設定である。
　　［７．その他の実施例について］
　上述した実施例では、図１（２）に示す４分割ベイヤ型ＲＧＢ配列を持つに撮像素子に対する処理例を説明したが、本開示の構成はその他の画素構成に対しても適用可能である。
　すなわち、２×２画素単位で同色の設定となる画素配列であれば、２×２画素の色の配列については特に制限がない。画素加算出力後に信号処理によってカラー画像を得るためには、ＲＧＢの２×２画素をＢａｙｅｒ配列のように配置するのが有効であるが、適切な信号処理（デモザイク処理や色補正、カラーマトリクス処理）が用意できるのであれば、ＲＧＢのベイヤ（Ｂａｙｅｒ）配列以外の配列に本発明を適用することは可能である。
　例えば、先に図２（３）を参照して説明した４分割ＷＲＢ型配列に対しても適用可能である。
　すなわち、図１２（２）に示すように、４分割ＲＧＢ型配列におけるＧ画素を全可視光波長透過型のＷ画素に（例えば全可視光波長を透過するオンチップフィルタを利用）に置き換えたＷＲＢ型の２×２画素のベイヤ（Ｂａｙｅｒ）配列に対しても同様の処理が実行できる。
　なお、前述した実施例において説明した露光時間制御や演算処理は、例えば制御部において実行するプログラムに従った処理として実行することが可能である。
　　［８．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　複数の同一色画素から構成される画素ブロックを配列した画素部と、
　前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う制御部と、
　前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成部と、
　を有する撮像装置。
　（２）前記加算画素値生成部は、前記画素ブロックの複数の同一色画素の出力を加算する加算部を有する加算回路によって構成される前記（１）に記載の撮像装置。
　（３）前記画素ブロックは、複数行×複数列の複数画素からなる同一色画素によって構成され、前記加算回路は、前記画素ブロックの先行読み出し行に設定された複数画素の画素値を格納するレジスタと、前記画素ブロックの後続読み出し行に設定された複数画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する前記（１）または（２）に記載の撮像装置。
　（４）前記画素ブロックは、２行×２列の４画素からなる同一色画素によって構成され、前記加算回路は、前記画素ブロックの先行読み出し行に設定された２画素の画素値を格納するレジスタと、前記画素ブロックの後続読み出し行に設定された２画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する前記（１）～（３）いずれかに記載の撮像装置。
　（５）前記加算画素値生成部は、前記画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって構成され、前記フローティングディフュージョン（ＦＤ）は、前記画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積する構成を持つ前記（１）に記載の撮像装置。
　（６）前記画素部は、４分割ベイヤ型ＲＧＢ配列を有し、ＲＧＢ各色単位で４つの画素からなる画素ブロックを配列した構成である前記（１）～（５）いずれかに記載の撮像装置。
　（７）前記画素部は、４分割ベイヤ型ＲＧＢ配列におけるＧ画素を全可視光波長透過型のＷ画素に置換した４分割ＷＲＢ配列を有し、ＷＲＢ各色単位で４つの画素からなる画素ブロックを配列した構成である前記（１）～（５）いずれかに記載の撮像装置。
　さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して高ダイナミックレンジ画像を生成する装置、方法が実現される。
　具体的には、例えば、画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行い、画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する。加算画素値の生成は、例えば、画素ブロックの複数の同一色画素の出力を加算する加算部を有する演算部において実行される。あるいは、画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって実行され、フローティングディフュージョン（ＦＤ）において、画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積して出力する。
　これらの構成により、高ダイナミックレンジ画像を生成することができる。
　　１０　輝度閾値レベル
　　１１　高輝度領域
　　１２　低輝度領域
　１００　撮像装置
　１０１　光学レンズ
　１０２　撮像デバイス
　１０３　信号処理部
　１０５　制御部
　１２０　出力画像
　１５１　画素部
　１６０　演算部
　１６１　ＡＤ変換部
　１６２　画素情報合成部
　１６３　出力部
　１８１　複数の異なる露光時間画素情報
　２０１　画素ブロック
　２０２　行セレクタ
　２０３　ＡＤコンバータ
　２０４　加算回路
　２０５　スイッチ
　２０６　レジスタ
　２０７，２０８　加算部
　２０９　列セレクタ
　２１０　タイミングジェネレータ（ＴＧ）
　４０１～４０４　画素
　４１１，４１３，４１４　トランジスタ
　４１２　フローティングディフュージョン（ＦＤ）
　５０１　画素ブロック
　５０２　出力制御部
　５１１　行セレクタ
　５２１　ＡＤコンバータ
　５２２　タイミングジェネレータ（ＴＧ）
　５２３　列セレクタ

Claims (9)

  1. 　複数の同一色画素から構成される画素ブロックを配列した画素部と、
    　前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う制御部と、
    　前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成部と、
    　を有する撮像装置。
  2. 　前記加算画素値生成部は、
    　前記画素ブロックの複数の同一色画素の出力を加算する加算部を有する加算回路によって構成される請求項１に記載の撮像装置。
  3. 　前記画素ブロックは、複数行×複数列の複数画素からなる同一色画素によって構成され、
    　前記加算回路は、
    　前記画素ブロックの先行読み出し行に設定された複数画素の画素値を格納するレジスタと、
    　前記画素ブロックの後続読み出し行に設定された複数画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する請求項２に記載の撮像装置。
  4. 　前記画素ブロックは、２行×２列の４画素からなる同一色画素によって構成され、
    　前記加算回路は、
    　前記画素ブロックの先行読み出し行に設定された２画素の画素値を格納するレジスタと、
    　前記画素ブロックの後続読み出し行に設定された２画素の読み出し画素値と、前記レジスタの格納画素値とを加算する加算部を有する請求項２に記載の撮像装置。
  5. 　前記加算画素値生成部は、
    　前記画素ブロック単位で設定されるフローティングディフュージョン（ＦＤ）によって構成され、
    　前記フローティングディフュージョン（ＦＤ）は、前記画素ブロックを構成する複数の同一色画素各々から出力する電荷を集積する構成を持つ請求項１に記載の撮像装置。
  6. 　前記画素部は、４分割ベイヤ型ＲＧＢ配列を有し、ＲＧＢ各色単位で４つの画素からなる画素ブロックを配列した構成である請求項１に記載の撮像装置。
  7. 　前記画素部は、４分割ベイヤ型ＲＧＢ配列におけるＧ画素を全可視光波長透過型のＷ画素に置換した４分割ＷＲＢ配列を有し、ＷＲＢ各色単位で４つの画素からなる画素ブロックを配列した構成である請求項１に記載の撮像装置。
  8. 　撮像装置において実行する信号処理方法であり、
    　前記撮像装置は、複数の同一色画素から構成される画素ブロックを配列した画素部を有し、
    　制御部が、前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行う露光制御処理と、
    　加算画素値生成部が、前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成する加算画素値生成処理を実行する信号処理方法。
  9. 　撮像装置において信号処理を実行させるプログラムであり、
    　前記撮像装置は、複数の同一色画素から構成される画素ブロックを配列した画素部を有し、
    　前記プログラムは、
    　制御部に、前記画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行わせる露光制御処理と、
    　加算画素値生成部に、前記画素ブロックの複数の同一色画素の出力を加算した加算画素値を生成させる加算画素値生成処理を実行させるプログラム。
PCT/JP2012/066671 2011-08-31 2012-06-29 撮像装置、および信号処理方法、並びにプログラム WO2013031368A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
EP12828890.9A EP2753073A1 (en) 2011-08-31 2012-06-29 Imaging device, signal processing method, and program
RU2014106535/07A RU2014106535A (ru) 2011-08-31 2012-06-29 Устройство получения изображений, способ обработки сигнала и программа
US14/238,216 US9357137B2 (en) 2011-08-31 2012-06-29 Imaging apparatus, signal processing method, and program
CA2844889A CA2844889A1 (en) 2011-08-31 2012-06-29 Imaging apparatus, signal processing method, and program
AU2012303230A AU2012303230A1 (en) 2011-08-31 2012-06-29 Imaging device, signal processing method, and program
MX2014002064A MX2014002064A (es) 2011-08-31 2012-06-29 Dispositivo de formacion de imagenes, meto0do de procesamiento de señales y programa.
CN201280040981.1A CN103748868A (zh) 2011-08-31 2012-06-29 成像设备、信号处理方法及程序
BR112014004189A BR112014004189A2 (pt) 2011-08-31 2012-06-29 aparelho de formação de imagem, método de processamento de sinal, e, programa
US15/143,336 US10110827B2 (en) 2011-08-31 2016-04-29 Imaging apparatus, signal processing method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011190054 2011-08-31
JP2011-190054 2011-08-31
JP2011273426A JP2013066140A (ja) 2011-08-31 2011-12-14 撮像装置、および信号処理方法、並びにプログラム
JP2011-273426 2011-12-14

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/238,216 A-371-Of-International US9357137B2 (en) 2011-08-31 2012-06-29 Imaging apparatus, signal processing method, and program
US15/143,336 Continuation US10110827B2 (en) 2011-08-31 2016-04-29 Imaging apparatus, signal processing method, and program

Publications (1)

Publication Number Publication Date
WO2013031368A1 true WO2013031368A1 (ja) 2013-03-07

Family

ID=47755878

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/066671 WO2013031368A1 (ja) 2011-08-31 2012-06-29 撮像装置、および信号処理方法、並びにプログラム

Country Status (10)

Country Link
US (2) US9357137B2 (ja)
EP (1) EP2753073A1 (ja)
JP (1) JP2013066140A (ja)
CN (1) CN103748868A (ja)
AU (1) AU2012303230A1 (ja)
BR (1) BR112014004189A2 (ja)
CA (1) CA2844889A1 (ja)
MX (1) MX2014002064A (ja)
RU (1) RU2014106535A (ja)
WO (1) WO2013031368A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104780321A (zh) * 2014-01-10 2015-07-15 全视科技有限公司 获取图像数据的方法、供使用的hdr成像***及像素
CN113660430A (zh) * 2015-07-24 2021-11-16 索尼半导体解决方案公司 光检测设备

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
US20140192235A1 (en) 2011-02-25 2014-07-10 Sony Corporation Systems, methods, and media for reconstructing a space-time volume from a coded image
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
WO2014099320A1 (en) 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP6239975B2 (ja) 2013-12-27 2017-11-29 キヤノン株式会社 固体撮像装置及びそれを用いた撮像システム
KR102184714B1 (ko) * 2014-04-11 2020-12-02 에스케이하이닉스 주식회사 이미지 센싱 장치
KR20150118213A (ko) * 2014-04-11 2015-10-22 에스케이하이닉스 주식회사 이미지 센싱 장치
WO2015160967A1 (en) 2014-04-15 2015-10-22 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for extracting information and a display image from two captured images
KR102277178B1 (ko) * 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
US9819913B2 (en) * 2015-08-26 2017-11-14 Stmicroelectronics International N.V. Image sensor device with macropixel processing and related devices and methods
US9521351B1 (en) * 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
US9848137B2 (en) * 2015-11-24 2017-12-19 Samsung Electronics Co., Ltd. CMOS image sensors having grid array exposure control
CN105516695B (zh) * 2015-12-18 2018-06-15 广东欧珀移动通信有限公司 图像传感器和具有其的终端
CN105635532B (zh) * 2015-12-18 2017-05-24 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105611122B (zh) 2015-12-18 2019-03-01 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN105578005B (zh) * 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
WO2017101864A1 (zh) 2015-12-18 2017-06-22 广东欧珀移动通信有限公司 图像传感器、控制方法和电子装置
CN105554419B (zh) * 2015-12-18 2018-04-10 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105516696A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器、成像方法、成像装置和电子装置
CN105611198B (zh) * 2015-12-18 2017-06-27 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN105578075A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN105578076A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578065A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN105578074B (zh) * 2015-12-18 2017-11-10 广东欧珀移动通信有限公司 图像传感器及具有其的终端
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
EP3487166B1 (en) * 2016-07-15 2022-01-05 Sony Semiconductor Solutions Corporation Solid-state imaging element, method for operating solid-state imaging element, imaging device, and electronic device
CN106507080B (zh) 2016-11-29 2018-07-17 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106604001B (zh) * 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106791477B (zh) * 2016-11-29 2019-07-19 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、成像装置及制造方法
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106412407B (zh) 2016-11-29 2019-06-07 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
JP6718831B2 (ja) * 2017-02-27 2020-07-08 アルパイン株式会社 表示制御装置、表示システム及び表示制御方法
CN107135340A (zh) 2017-04-28 2017-09-05 广东欧珀移动通信有限公司 图像传感器、对焦控制方法、成像装置和移动终端
KR102354991B1 (ko) 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
CN108322669B (zh) * 2018-03-06 2021-03-23 Oppo广东移动通信有限公司 图像获取方法及装置、成像装置和可读存储介质
KR20210128395A (ko) * 2019-02-19 2021-10-26 소니 세미컨덕터 솔루션즈 가부시키가이샤 신호 처리 방법 및 촬상 장치
US11405535B2 (en) * 2019-02-28 2022-08-02 Qualcomm Incorporated Quad color filter array camera sensor configurations
US11678075B2 (en) 2019-03-25 2023-06-13 Samsung Electronics Co., Ltd. Image sensor that includes sensing pixels sharing a floating diffusion node and operation method thereof
US11653101B2 (en) * 2019-05-17 2023-05-16 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image
JP2021034749A (ja) * 2019-08-13 2021-03-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
CN110782429B (zh) * 2019-09-26 2022-04-15 长沙天仪空间科技研究院有限公司 一种基于星载遥感相机的成像质量评估方法
KR20210054628A (ko) 2019-11-05 2021-05-14 삼성전자주식회사 이미지 센서
US10855931B1 (en) * 2019-11-07 2020-12-01 Novatek Microelectronics Corp. High dynamic range image sensing method for image sensing device
CN116261052A (zh) * 2019-12-30 2023-06-13 Oppo广东移动通信有限公司 图像传感器、成像装置、电子设备、图像处理***及信号处理方法
KR20210135380A (ko) 2020-05-04 2021-11-15 삼성전자주식회사 이미지 센서
JP7497216B2 (ja) 2020-05-29 2024-06-10 キヤノン株式会社 画像処理装置及び方法、撮像装置、プログラム、記憶媒体
US11381789B2 (en) 2020-06-28 2022-07-05 Shenzhen GOODIX Technology Co., Ltd. Partial pixel binning for CIS
US11350047B2 (en) 2020-06-28 2022-05-31 Shenzhen GOODIX Technology Co., Ltd. Pixel binning for hexa-deca RGBW color filter arrays
CN115066719A (zh) * 2020-12-09 2022-09-16 京东方科技集团股份有限公司 显示面板及其驱动方法、显示装置
KR20220131054A (ko) * 2021-03-19 2022-09-27 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 동작 방법
US11350048B1 (en) 2021-07-25 2022-05-31 Shenzhen GOODIX Technology Co., Ltd. Luminance-adaptive processing of hexa-deca RGBW color filter arrays in CMOS image sensors

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1129880A (ja) 1997-07-09 1999-02-02 Yoshiaki Tatsumi ダミーウェハー
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP2000069491A (ja) 1998-08-19 2000-03-03 Nikon Corp 撮像素子およびこれを用いた撮像装置
JP2005072966A (ja) * 2003-08-25 2005-03-17 Fuji Film Microdevices Co Ltd 固体撮像素子及び撮像装置
JP2006311240A (ja) * 2005-04-28 2006-11-09 Olympus Corp 撮像装置
JP2007124137A (ja) * 2005-10-26 2007-05-17 Sony Corp 撮像装置
JP2008099073A (ja) * 2006-10-13 2008-04-24 Sony Corp 固体撮像装置および撮像装置
JP2010136225A (ja) * 2008-12-08 2010-06-17 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2011066505A (ja) * 2009-09-15 2011-03-31 Fujifilm Corp 固体撮像素子の動画像信号読出方法及び撮像装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999119B1 (en) * 1998-04-10 2006-02-14 Nikon Corporation Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element
DE60025647T2 (de) * 1999-11-22 2007-01-11 Matsushita Electric Industrial Co., Ltd., Kadoma Festkörperbildaufnahemvorrichtung
US20070177048A1 (en) * 2006-01-31 2007-08-02 Phil Van Dyke Long exposure images using electronic or rolling shutter
JP2009004845A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 撮像装置、撮像方法、プログラム、および集積回路
EP2088788B1 (en) * 2007-08-07 2014-11-05 Panasonic Corporation Image picking-up processing device, image picking-up device, image processing method and computer program
KR101424717B1 (ko) * 2007-09-13 2014-08-01 삼성전자주식회사 노출 시간 설정 장치 및 방법
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP5153378B2 (ja) * 2008-02-15 2013-02-27 キヤノン株式会社 固体撮像装置及びその駆動方法
US20090290052A1 (en) * 2008-05-23 2009-11-26 Panavision Imaging, Llc Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor
JP4661912B2 (ja) * 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
TWI422020B (zh) 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
JP2010279016A (ja) * 2009-04-30 2010-12-09 Sony Corp 固体撮像素子とその駆動方法および撮像装置
JP2011061684A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 固体撮像素子及びその駆動方法並びに撮像装置
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
EP2387229B1 (en) * 2010-05-14 2016-04-06 Casio Computer Co., Ltd. Image capturing apparatus and camera shake correction method, and computer-readable medium
JP5538553B2 (ja) * 2010-09-29 2014-07-02 富士フイルム株式会社 固体撮像素子及び撮像装置
EP2442556A1 (en) * 2010-10-15 2012-04-18 ST-Ericsson SA Apparatus and method for capturing images with high dynamic range
JP2012175234A (ja) 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
JP5655626B2 (ja) 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012175600A (ja) * 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
US20140192235A1 (en) 2011-02-25 2014-07-10 Sony Corporation Systems, methods, and media for reconstructing a space-time volume from a coded image
JP2012182657A (ja) 2011-03-01 2012-09-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2012234393A (ja) 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013005017A (ja) 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2013021660A (ja) 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013038504A (ja) 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
JP2013050538A (ja) 2011-08-30 2013-03-14 Sony Corp 表示装置および電子機器
JP2013050537A (ja) 2011-08-30 2013-03-14 Sony Corp 表示装置および電子機器
JP2013066145A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
WO2014099320A1 (en) 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
WO2015160967A1 (en) 2014-04-15 2015-10-22 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for extracting information and a display image from two captured images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1129880A (ja) 1997-07-09 1999-02-02 Yoshiaki Tatsumi ダミーウェハー
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP2000069491A (ja) 1998-08-19 2000-03-03 Nikon Corp 撮像素子およびこれを用いた撮像装置
JP2005072966A (ja) * 2003-08-25 2005-03-17 Fuji Film Microdevices Co Ltd 固体撮像素子及び撮像装置
JP2006311240A (ja) * 2005-04-28 2006-11-09 Olympus Corp 撮像装置
JP2007124137A (ja) * 2005-10-26 2007-05-17 Sony Corp 撮像装置
JP2008099073A (ja) * 2006-10-13 2008-04-24 Sony Corp 固体撮像装置および撮像装置
JP2010136225A (ja) * 2008-12-08 2010-06-17 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2011066505A (ja) * 2009-09-15 2011-03-31 Fujifilm Corp 固体撮像素子の動画像信号読出方法及び撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104780321A (zh) * 2014-01-10 2015-07-15 全视科技有限公司 获取图像数据的方法、供使用的hdr成像***及像素
US20150201139A1 (en) * 2014-01-10 2015-07-16 Omnivision Technologies, Inc. Split pixel high dynamic range sensor
US9571763B2 (en) * 2014-01-10 2017-02-14 Omnivision Technologies, Inc. Split pixel high dynamic range sensor
CN104780321B (zh) * 2014-01-10 2018-02-16 豪威科技股份有限公司 获取图像数据的方法、供使用的hdr成像***及像素
CN113660430A (zh) * 2015-07-24 2021-11-16 索尼半导体解决方案公司 光检测设备
CN113660430B (zh) * 2015-07-24 2023-06-20 索尼半导体解决方案公司 光检测设备

Also Published As

Publication number Publication date
US10110827B2 (en) 2018-10-23
US20160248956A1 (en) 2016-08-25
CN103748868A (zh) 2014-04-23
CA2844889A1 (en) 2013-03-07
MX2014002064A (es) 2014-05-30
RU2014106535A (ru) 2015-08-27
BR112014004189A2 (pt) 2017-03-07
US9357137B2 (en) 2016-05-31
US20140192250A1 (en) 2014-07-10
AU2012303230A1 (en) 2014-02-20
EP2753073A1 (en) 2014-07-09
JP2013066140A (ja) 2013-04-11

Similar Documents

Publication Publication Date Title
WO2013031368A1 (ja) 撮像装置、および信号処理方法、並びにプログラム
WO2013008596A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5342969B2 (ja) 撮像装置及び撮像方法
JP4484944B2 (ja) 撮像装置及び撮像装置の駆動方法
JP5150795B2 (ja) 撮像装置及び撮像方法
JP4958602B2 (ja) 撮像装置及びその画像合成方法
JP2013066145A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20080218598A1 (en) Imaging method, imaging apparatus, and driving device
US7646413B2 (en) Imaging device for adding signals including same color component
JP4887314B2 (ja) 撮像装置及び画像信号処理方法
JP2011244309A (ja) 画像処理装置、画像処理方法及びプログラム
JP4501350B2 (ja) 固体撮像装置および撮像装置
JP2014154982A (ja) 撮像装置およびその制御方法
JP5885431B2 (ja) 撮像素子及び撮像装置
JP2011055351A (ja) 撮影装置及びその制御方法
JP2013183380A (ja) 撮像素子、撮像素子の駆動方法及び撮像システム
JP2014217011A (ja) 固体撮像素子および撮像装置
JP6393087B2 (ja) 撮像素子及び撮像装置
JP2020057882A (ja) 撮像装置
WO2016203966A1 (ja) 撮像装置、撮像方法、並びにプログラム
JP2010166396A (ja) 撮像素子の駆動方法
WO2023162483A1 (ja) 撮像装置及びその制御方法
JP5428792B2 (ja) 固体撮像素子およびその駆動方法、カメラシステム、プログラム
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法
JP2008091437A (ja) 固体撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12828890

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012828890

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2844889

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14238216

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2012303230

Country of ref document: AU

Date of ref document: 20120629

Kind code of ref document: A

Ref document number: 2014106535

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2014/002064

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014004189

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014004189

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140221