WO2011081187A1 - 撮像素子、および、撮像装置 - Google Patents
撮像素子、および、撮像装置 Download PDFInfo
- Publication number
- WO2011081187A1 WO2011081187A1 PCT/JP2010/073731 JP2010073731W WO2011081187A1 WO 2011081187 A1 WO2011081187 A1 WO 2011081187A1 JP 2010073731 W JP2010073731 W JP 2010073731W WO 2011081187 A1 WO2011081187 A1 WO 2011081187A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- photoelectric conversion
- imaging device
- microlenses
- elements
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 claims description 128
- 238000003384 imaging method Methods 0.000 claims description 54
- 230000015572 biosynthetic process Effects 0.000 claims description 19
- 239000000203 mixture Substances 0.000 claims description 19
- 238000003786 synthesis reaction Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 17
- 239000002131 composite material Substances 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 230000004907 flux Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- VYQRBKCKQCRYEE-UHFFFAOYSA-N ctk1a7239 Chemical compound C12=CC=CC=C2N2CC=CC3=NC=CC1=C32 VYQRBKCKQCRYEE-UHFFFAOYSA-N 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
- H01L31/02—Details
- H01L31/0232—Optical elements or arrangements associated with the device
- H01L31/02327—Optical elements or arrangements associated with the device the optical elements being integrated or being directly associated to the device, e.g. back reflectors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
Definitions
- the present invention relates to an imaging element and an imaging apparatus.
- This application claims priority based on Japanese Patent Application No. 2009-298364 filed in Japan on December 28, 2009, the contents of which are incorporated herein by reference.
- Image composition that synthesizes an image focused on an arbitrary image plane of the photographic lens by using the received light signal obtained by receiving the light flux from the photographic lens with multiple light receiving elements via each microlens of the microlens array
- An imaging apparatus including the apparatus is known (for example, see Patent Document 1).
- the imaging apparatus when the received light signals obtained by a plurality of light receiving elements are thinned and used, it is correct if the positions of the light receiving elements that output the signals to be used do not correspond between the microlenses. The image cannot be synthesized.
- the aspect according to the present invention has been made in view of such circumstances, and the purpose thereof is to obtain a correct image even when a light reception signal obtained by receiving light with a plurality of light receiving elements via a microlens is thinned out and used. It is an object of the present invention to provide an imaging device and an imaging apparatus that can synthesize the above.
- An imaging device corresponds to a photoelectric conversion element group including a photoelectric conversion element array in which a plurality of photoelectric conversion elements are continuously arranged and a part of the photoelectric conversion elements in the photoelectric conversion element array. And a plurality of microlenses arranged along the arrangement direction of the photoelectric conversion element group at a pitch according to the number of the photoelectric conversion elements included in the photoelectric conversion element group. The received light corresponding to the photoelectric conversion element selected from the plurality of photoelectric conversion elements at a predetermined interval among the plurality of light reception signals obtained by receiving the light beam that has passed through the microlens by the photoelectric conversion element. An output unit for outputting a signal.
- An imaging apparatus includes the imaging element according to the above aspect and an optical system that forms a target image on the imaging element.
- a correct image can be synthesized even when light reception signals obtained by receiving light with a plurality of light receiving elements via a microlens are thinned out and used.
- FIG. 1 is a cross-sectional view illustrating a configuration of a digital single-lens reflex camera (hereinafter referred to as a camera) including a focus detection device 100 according to an embodiment of the present invention.
- a camera digital single-lens reflex camera
- FIG. 1 illustrates a configuration of a digital single-lens reflex camera (hereinafter referred to as a camera) including a focus detection device 100 according to an embodiment of the present invention.
- a lens barrel 20 is attached to the camera body 1, and the lens barrel 20 can be replaced with various photographing lenses.
- an interchangeable lens camera will be described as an example.
- the present invention is not limited to the interchangeable lens camera and can be applied to a fixed lens camera.
- the lens barrel 20 includes a zooming lens 21, a focusing lens 22, an aperture 24, a lens and an aperture driving actuator 25, a lens memory 26, and the like.
- the zooming lens 21 and the focusing lens 22 are represented by a single photographing lens 23.
- the zooming lens 21 is a lens that is driven in the optical axis direction by an actuator 25 to change the focal length of the photographing lens 23.
- the focusing lens 22 is a lens that is driven in the optical axis direction by an actuator 25 to adjust the focus of the photographing lens 23.
- the diaphragm 24 is driven by an actuator 25 to change the diaphragm opening diameter.
- the lens memory 26 stores information about the lens barrel 20 and the photographing lens 23 such as the open F value and focal length of the photographing lens 23.
- the camera body 1 includes an image pickup device 2 for image pickup, a shutter 3, an image pickup device unit 50 (image pickup device), an image composition unit 62, a display control unit 63, a focus detection calculation unit 64, a lens drive amount calculation unit 65, a control circuit 7, A drive circuit 8, a quick return mirror 9, a sub mirror 10, a focusing screen 11, a transmissive liquid crystal display 12, a pentaprism 13, a photometric lens 14, a photometric sensor 15, an eyepiece 16, an operation member 17, and a display unit 18 are provided. ing.
- the imaging element unit 50 includes, for example, a microlens array 4, a photoelectric conversion element array 5, and an output unit 61.
- the imaging element 2 for imaging is composed of a CCD, a CMOS, or the like, and converts the subject image formed by the photographing lens (imaging lens) 23 in the lens barrel 20 into an electrical signal and outputs it.
- the shutter 3 is opened only when the release button (not shown) is fully pressed (during shutter release), based on the exposure calculation result, or for the shutter time manually set by the photographer, and exposes the image sensor 2 for imaging.
- the image sensor unit 50 and the focus detection calculation unit 64 constitute the focus detection device 100 and detect a defocus amount indicating the focus state of the photographing lens 23.
- the lens drive amount calculation unit 65 calculates the drive amount of the focus lens (focusing lens) based on the defocus amount detected by the focus detection calculation unit 64 of the focus detection apparatus 100.
- the control circuit 7 is composed of peripheral components such as a microcomputer and a memory, and performs sequence control such as photometry, focus detection, photographing, and calculation control such as exposure calculation. Further, the control circuit 7 drives the actuator 25 via the drive circuit 8 based on the lens drive amount calculated by the lens drive amount calculation unit 65 to drive the focusing lens 22 in focus.
- the drive circuit 8 drives and controls the lens and the aperture driving actuator 25 provided in the lens barrel 20.
- the photometric sensor 15 divides the photographing screen into a plurality of areas and outputs a photometric signal corresponding to the luminance of each area.
- an operation member 17 that is operated by the photographer is disposed on the camera body 1.
- the operation member 17 includes a release half-press switch that is turned on when the release button is operated (half-pressed), a release full-press switch that is turned on when the release button is operated (second press).
- a release half-push switch is pressed, a signal indicating the start of AF (autofocusing) is input to the control circuit 7.
- a signal indicating the start of imaging is input to the control circuit 7.
- the quick return mirror 9 and the sub mirror 10 are positioned in the photographing optical path as shown in FIG. At this time, a part of the light from the subject that has passed through the photographing lens 23 is reflected by the quick return mirror 9 and guided to the focusing screen (screen) 11, and an object image is formed on the focusing screen 11.
- the transmissive liquid crystal display 12 superimposes and displays information indicating the focus detection position on the subject image on the focusing screen 11 and displays information related to shooting such as the shutter speed, aperture value, and number of shots outside the subject image. .
- the subject image on the focusing screen 11 can be observed by the photographer via the pentaprism 13 and the eyepiece 16 and is guided to the photometric sensor 15 via the pentaprism 13 and the photometric lens 14.
- the control circuit 7 performs an exposure calculation based on a photometric signal for each photometric area output from the photometric sensor 15, and calculates a shutter speed and an aperture value corresponding to the luminance of the subject.
- the shutter speed and aperture value set by the photographer operating the operation member 17 are used.
- the focus detection calculation unit 64 of the focus detection apparatus 100 described above detects a defocus amount indicating the focus state of the taking lens 23 based on another part of the light from the subject.
- the image sensor unit 50 thins out pixel signals based on another part of the light from the subject with a predetermined thinning pattern and outputs the thinned pixel signals to the image composition unit 62.
- the image composition unit 62 composes an image based on the pixel signal output from the image sensor unit 50.
- the display control unit 63 continuously displays the images combined by the image combining unit 62 on the display unit 18. Thus, live view (current subject image) can be displayed.
- the focus detection calculation unit 64 of the focus detection apparatus 100 described above indicates the focus state of the photographic lens 23 based on the pixel signal that is thinned out in a predetermined thinning pattern and output from the image sensor unit 50.
- the defocus amount may be detected.
- the quick return mirror 9 and the sub mirror 10 are retracted (mirror-up) from the shooting optical path, and the light flux from the subject that has passed through the shooting lens 23 with the shutter 3 opened is guided to the imaging device 2 for imaging. A subject image formed on the imaging surface of the image sensor 2 is captured.
- a plurality of photoelectric conversion elements are continuously arranged.
- a plurality of photoelectric conversion elements one row of photoelectric conversion elements
- a plurality of photoelectric conversion elements are arranged two-dimensionally in the row direction and the column direction.
- the photoelectric conversion element array 5 includes an axis that is perpendicular to the paper surface of FIG. 1 and an axis that is lateral to the paper surface of FIG. 1 (transverses the paper surface horizontally).
- the plurality of photoelectric conversion elements are two-dimensionally arranged in the row direction (for example, the horizontal direction with respect to the paper surface) and the column direction (for example, the axis perpendicular to the paper surface). Are arranged in a shape.
- the microlens array 4 has a plurality of microlenses arranged in association with a photoelectric conversion element group including a part of continuous photoelectric conversion elements of the photoelectric conversion element array 5. Furthermore, as will be described later, in the microlens array 4, a plurality of microlenses are arranged along the arrangement direction of the photoelectric conversion element group at a pitch corresponding to the number of photoelectric conversion elements included in the photoelectric conversion element group. .
- FIG. 2 is a plan view when the microlens array 4 and the photoelectric conversion element array 5 are viewed from the top to the bottom on the paper surface of FIG.
- a region corresponding to one microlens provided in the microlens array 4 on the pixel surface of the photoelectric conversion element array 5 will be described with a circle.
- a pixel in a region corresponding to the microlens is shown and described.
- a case where 5 ⁇ 5 pixels of the photoelectric conversion element array 5 correspond to one microlens will be described.
- the plurality of photoelectric conversion elements includes a plurality of photoelectric conversion element groups (element groups) respectively corresponding to the plurality of microlenses.
- the plurality of microlenses have row numbers m1, m2, m3, m4, m5... In the row direction and column numbers n1, n2, n3, n4, n5. ⁇
- a photoelectric conversion element group is set corresponding to each microlens.
- 25 pixels are sequentially assigned row numbers o1, o2, o3, o4, and o5 in the row direction and column numbers p1, p2, p3, p4, and p5 in the column direction.
- Conversion elements are arranged in a grid pattern.
- the substantial arrangement number (first predetermined number) of the photoelectric conversion elements in the row direction is 5
- the substantial arrangement number (first predetermined number) of the photoelectric conversion elements in the column direction is 5. 5.
- FIG. 2 only the pixels (photoelectric conversion elements) corresponding to the microlens among the pixels included in the photoelectric conversion element array 5 are shown. However, there may be a pixel (photoelectric conversion element) between the pixel corresponding to the microlens (see FIGS. 5, 6A, and 6B described later).
- the photoelectric conversion element array 5 includes, for example, a plurality of photoelectric conversion elements arranged one-dimensionally in the row direction and continuously arranged in the column direction, so that the pixels are two-dimensionally formed. Is arranged.
- the output unit 61 applies a photoelectric conversion element selected from a plurality of photoelectric conversion elements at regular intervals among a plurality of light reception signals obtained by receiving a light beam through the microlens with a photoelectric conversion element included in the photoelectric conversion element array 5. Output the corresponding received light signal. That is, the output unit 61 reads out and outputs the photoelectric conversion elements included in the photoelectric conversion element array 5 by thinning them out with a predetermined thinning pattern. In other words, the output unit 61 outputs a signal (selected signal) of the photoelectric conversion element selected based on the pattern indicating the arrangement of the selection element and the non-selection element.
- the microlens array 4 and the photoelectric conversion element array 5 can also be used as a phase difference type focus detection sensor.
- FIG. 3 is a first example of a thinning pattern, which is an example in which one line is thinned, and is a pattern for reading out odd-numbered rows of pixels of photoelectric conversion elements corresponding to microlenses.
- pixels (selected elements) to be read are shown in gray (dot pattern), and pixels (non-selected elements) that are not read out are shown in white (blank pattern).
- One line thinning is a pattern in which pixels are thinned out for each row. In the pixels (photoelectric conversion elements) in each photoelectric conversion element group, the selection elements and the non-selection elements are alternately repeated one by one along the row direction.
- the ideal condition for the thinning pattern is that the central portion of the pixel corresponding to the microlens is not thinned, and the thinning pattern has the same configuration in a plurality of pixels corresponding to each microlens. It is that.
- the condition that the center portion of the pixel corresponding to the microlens is not thinned is that, for example, when compositing an image, the pixel corresponding to the center of the microlens is a reference for synthesis, and the center of the microlens This is because it is necessary to read out the pixels corresponding to.
- the thinning patterns have the same configuration in a plurality of pixels corresponding to each microlens. For example, when synthesizing an image, pixel thinning is performed for each of the plurality of pixels corresponding to each microlens. This is because if the patterns are different, the calculation for image synthesis becomes complicated.
- the center pixel row is not thinned out, and the thinning pattern is the same among a plurality of pixels corresponding to all the microlenses. .
- the thinning pattern in FIG. 3 is one of appropriate thinning methods (satisfying the above conditions).
- FIG. 4 is a second example of the thinning pattern.
- the second example of FIG. 4 is the same as the first example of the thinning pattern in FIG.
- the second example of FIG. 4 is different from the first example of the thinning pattern in FIG. 3 in that the pattern is a pattern for reading even-numbered rows of pixels of the photoelectric conversion element corresponding to the microlens.
- the center pixel row is thinned out, and for example, a pixel corresponding to the center of the microlens serving as a reference when combining images is thinned out. Since the thinning pattern in FIG. 4 does not satisfy the above condition, it is one of inappropriate thinning patterns.
- the output unit 61 may read by thinning out by the thinning pattern as in the case of FIG.
- the case of FIG. 3 is not necessarily appropriate.
- the case of FIG. 4 may be appropriate.
- FIG. 3 or FIG. 4 when the positional relationship between the microlens array 4 and the photoelectric conversion element array 5 is shifted upward or downward by one pixel, the case of FIG. 4 is appropriate.
- the output unit 61 receives a light reception signal corresponding to the photoelectric conversion element selected from the plurality of photoelectric conversion elements at the first interval (pattern) and a second interval (pattern) different from the first interval (pattern). And selectively receiving a light reception signal corresponding to the photoelectric conversion element selected in (1).
- the output unit 61 receives a light reception signal from the photoelectric conversion element array 5 with a thinning pattern selected from a first thinning pattern as shown in FIG. 3 and a second thinning pattern as shown in FIG. Read out the data.
- the row of the image sensor is identified by a row Y (Y is a natural number other than 0). Further, a case where the line thinning pattern is a pattern of one line thinning will be described.
- the output unit 61 selects an appropriate thinning pattern from these two thinning patterns. Thereby, a thinning pattern can be selected appropriately. Therefore, the output unit 61 can always read out the received light signal from the photoelectric conversion element array 5 appropriately as shown in FIG.
- Another pattern other than one line thinning which is patterned with a somewhat short cycle, provides an optimum thinning pattern at the time of image synthesis as described above by providing the thinned first pixel for one cycle of the pattern. Can be made.
- the output unit 61 is selected from the first thinning pattern as shown in FIG. 3 and the second thinning pattern as shown in FIG.
- the received light signal is read out from the photoelectric conversion element array 5 by the thinning pattern.
- FIG. 5, FIG. 6A, and FIG. 6B differ in the number of pixels (the number of intermediate pixels, the second predetermined number) between the pixels corresponding to this microlens.
- the intermediate pixel number L1 is 4 rows
- the intermediate pixel number L2 is 3 rows.
- the pixel thinning pattern included in the upper microlens A1 and the pixel thinning pattern included in the lower microlens A2 Is different.
- the pixel thinning pattern included in the upper microlens A1 is a pattern for reading even rows
- the pixel thinning pattern included in the lower microlens A2 is a pattern for reading odd rows.
- the upper microlens A1 and the lower microlens A2 are, for example, the same microlens in FIG. 2 and the microlens in which the row is the upper of the two microlenses in which the row is continuous. And the lower microlens (the row number is larger).
- the upper microlens A1 is a microlens whose column number is n1 and whose row number is m1 in FIG.
- the lower microlens A2 is a microlens whose column number is n1 and whose row number is m2 in FIG.
- L (L1) p ⁇ 2m (p: pixel pitch)
- M natural number other than 0).
- L ⁇ p ⁇ (2m ⁇ 1) there is a deviation in the configuration of pixels included in all adjacent microlenses.
- the pitch of the microlenses is determined according to the interval between the selected photoelectric conversion elements and the number of photoelectric conversion elements included in the photoelectric conversion element group.
- a case of thinning out one line as a thinning pattern (a case where a selection element and a non-selection element are alternately repeated one by one along a predetermined direction) has been described.
- other thinning patterns can be employed.
- two or three selection elements and non-selection elements may be alternately repeated along a predetermined direction.
- a pattern in which one selection element and two non-selection elements are continuous can be alternately repeated along a predetermined direction.
- a pattern in which two selection elements and one non-selection element are continuous can be alternately repeated along a predetermined direction.
- the positional relationship (pitch relationship) between the microlens and the pixel is determined according to the thinning pattern so that the configuration of the pixels included in each microlens is the same. Good.
- the pitch of the micro lenses is the number of photoelectric conversion elements (second predetermined number) positioned between the plurality of photoelectric conversion element groups corresponding to the plurality of micro lenses adjacent to each other in the micro lens array 4.
- the sum of the total number of photoelectric conversion elements in a predetermined direction is determined to be an integral multiple of the interval (selection interval) of the photoelectric conversion elements selected by the output unit 61.
- the central pixel row is not thinned out, and a thinning pattern can be formed in a plurality of pixels corresponding to both microlenses. Therefore, it can thin out appropriately.
- a sense amplifier is provided corresponding to each row of pixels arranged in a grid included in the photoelectric conversion element array 5, and pixel information is obtained from the pixel via the sense amplifier. May be read.
- the sense amplifiers are not provided in a one-to-one manner in all the rows, but may be shared by a plurality of rows. For example, one sense amplifier may be shared by two rows that are continuous in the column direction. This is to reduce the number of sense amplifiers.
- an example of the operation of the imaging apparatus 1 according to the present embodiment will be described with reference to FIG.
- an example of the operation when the image information is thinned out and read out from the image pickup device unit 50, combined, and displayed as a through image on the display unit 18 will be described. That is, an example of the operation of the imaging device 1 when displaying a through image (live view display) will be described.
- step S ⁇ b> 901 the output unit 61 reads out the pixel signal from the image sensor of the photoelectric conversion element array 61 and outputs the read pixel signal to the focus detection device 64 and the image composition unit (image processing unit) 62.
- This thinning pattern for thinning and reading satisfies the two conditions described above.
- lens information of the photographing lens 23 provided in the lens barrel 20 is input from the lens barrel 20 to the control circuit 7.
- This lens information is information used for image composition such as the current position of the focus lens, the focal length, and the open F value.
- the current position of the focus lens is detected by an encoder (not shown) provided in the lens barrel 20. Then, the control circuit 7 reads the detected current position of the focus lens from this encoder. Further, the control circuit 7 reads information such as the focal length and the open F value from the lens memory 26 provided in the lens barrel 20.
- the synthesis information is input to the control circuit 7.
- the composite information is information indicating a setting for which aperture to display the initial image.
- the composite information is set when the user operates the operation member 17.
- the user inputs composite information indicating that the minimum aperture is set to the control circuit 7 via the operation member 17.
- a through image can be displayed as a composite image with the minimum aperture.
- the set composite information is controlled via the operation member 17. Input to the circuit 7.
- step S ⁇ b> 904 the image composition unit 62 generates an image focused on the image plane at the current lens position based on the lens information and composition information input to the control circuit 7.
- the pixel signal output from 61 is image-synthesized.
- step S 905 the display control unit 63 displays the image (composite screen) synthesized by the image synthesis unit 62 on the display unit 18.
- the display control unit 63 changes the composite image displayed on the display unit 18 to a composite screen synthesized by the image synthesis unit 62.
- step S906 the control circuit 7 determines whether the user has selected an area position.
- the operation member 17 includes a touch panel and the user operates the touch panel. Then, the user selects an area position by selecting a predetermined position on the touch panel. The control circuit 7 determines whether or not the user has selected an area position by determining whether or not the user has selected a predetermined position using the operation member 17 that is a touch panel.
- step S906 If it is not determined in step S906 that the user has selected an area position, the control circuit 7 repeats the processing from step S901. On the other hand, if it is determined in step S906 that the user has selected an area position, the control circuit 7 advances the process to step S907.
- steps S907 to S909 processing similar to that in steps S901 to S906 described above is executed.
- the focus detection calculation unit 64 calculates the image plane position of the selected subject based on the pixel signal output from the output unit 61.
- the focus position is detected using the principle of pupil-dividing phase difference AF.
- the contrast value of the area range selected from the compositable range is calculated, and if a peak is detected, the position (selected area range) is set as the image plane position of the selected subject.
- step S911 the control circuit 7 determines whether or not the image plane position calculated in step S910 is within a synthesis range that can be synthesized from the current lens position.
- control circuit 7 can synthesize by comparing the defocus amount with a synthesizable range determined from the current lens position. It is determined whether or not it is within a proper synthesis range.
- step S912 If it is determined in step S911 that it is not within the compositible synthesis range, in step S912, the control circuit 7 drives the actuator 25 via the drive circuit 8 so as to be within the compositible range, The focusing lens 22 is driven to focus. That is, when the selected subject is not in the composition range, the control circuit 7 drives the focusing lens 22 within the composition range of the selected subject.
- the control circuit 7 may directly drive the focusing lens 22 up to the focal plane instead of within the synthesis range.
- the control circuit 7 detects the peak position of the contrast and drives the focusing lens 22 to the detected peak position.
- steps S913 to S915 the same processing as in steps S901 to S906 described above is executed.
- step S916 the image composition unit 62 performs image composition that is determined to be in focus at the image plane position of the main subject based on the pixel signal output from the output unit 61.
- step S917 the display control unit 63 displays the image (synthesized screen) synthesized by the image synthesizing unit 62 on the display unit 18, as in step S905. Thereafter, for example, the processing from step S901 is repeated.
- step S911 when it is determined in step S911 described above that the image is within the compositing range that can be combined, an image in focus on the main subject can be combined even if the combining process is performed at the current lens position. . Therefore, the control circuit 7 performs image composition without driving the focusing lens 22.
- step S911 determines whether it is within the compositing range that can be combined. If it is determined in step S911 described above that it is not within the compositing range that can be combined, the control circuit 7 drives the focusing lens 22 by the processing of step S911, and then performs image combining.
- the imaging apparatus can appropriately synthesize an image whether it is within the synthesizable synthesis range or not.
- the processing time is generally dependent on the processing speed of the arithmetic unit such as the image synthesis unit 62. It takes a long time. Then, when it is necessary to synthesize an image in real time, such as when displaying a moving image such as a live view, there is a possibility that the image cannot be properly synthesized due to the processing speed of the arithmetic unit such as the image synthesizer 62. is there.
- the positional relationship is important.
- the pitch of the microlenses and the thinning pattern are appropriately configured. This is because the information of the light passing through the microlens array and entering the light receiving element is appropriately thinned and output.
- pixel signals can be read out appropriately from the pixels of the image sensor provided in the photoelectric conversion element array 5.
- the data amount of the pixel signal can be reduced. Therefore, even when the processing speed of the arithmetic unit such as the image synthesis unit 62 is not high, the image amount can be appropriately synthesized by the image synthesis unit 62 because the data amount is reduced. Note that in the case of image composition in still image shooting, the output unit 61 does not have to thin out pixels.
- the present embodiment it is possible to appropriately thin out and output information on light that has passed through the microlens array and entered the light receiving element. Therefore, a correct image can be synthesized even when light reception signals obtained by receiving light with a plurality of light receiving elements via a microlens are thinned out. Further, according to the present embodiment, it is possible to prevent the pixel located at the center of the microlens from being thinned out. In addition, even if the thinning pattern is the same, it is possible to make the thinning pattern of pixels included in each microlens the same by changing the target pixel column, and the calculation at the time of combining is simplified. Also, by thinning out, the processing time is shortened, and real-time image composition is facilitated during moving image shooting.
- the imaging element includes a microlens array including a plurality of microlenses, a photoelectric conversion element array including a plurality of photoelectric conversion elements, and a plurality of selected elements among the plurality of photoelectric conversion elements.
- An output unit that outputs a plurality of selected signals, wherein the plurality of photoelectric conversion elements are a plurality of element groups respectively corresponding to the plurality of microlenses, and the photoelectric conversion in each one direction
- the plurality of element groups including a substantially predetermined number of elements arranged in a first predetermined number, and the plurality of microlenses have an arrangement pitch determined based on at least the first predetermined number in the direction.
- the arrangement pitch of the plurality of microlenses can be determined based on at least the first predetermined number and a selection interval that is an interval between the plurality of selected elements.
- the arrangement pitch of the plurality of microlenses is a second predetermined number that is the number of the photoelectric conversion elements positioned between the plurality of element groups in the direction, and the first predetermined number.
- the sum with the number can be determined to be an integral multiple of the selection interval.
- the plurality of selected elements can be selected based on the positional relationship between the microlens array and the photoelectric conversion element array.
- the imaging element is selected under a first condition among a microlens array including a plurality of microlenses, a photoelectric conversion element array including a plurality of photoelectric conversion elements, and the plurality of photoelectric conversion elements.
- an output unit that selectively outputs one of a first plurality of signals from the plurality of elements and a second plurality of signals from the plurality of elements selected under the second condition.
- the selective output in the output unit can be based on a positional relationship between the microlens array and the photoelectric conversion element array.
- the plurality of photoelectric conversion elements are a plurality of element groups respectively corresponding to the plurality of microlenses, and a substantial number of the photoelectric conversion elements in each one direction is first.
- a plurality of element groups that are a predetermined number, and each of the first condition and the second condition is a pattern indicating an array of selected elements and non-selected elements along the direction in each of the plurality of element groups; , And a pattern start position of the pattern.
- the pattern of the second condition is the same as that of the first condition, and the pattern start position of the second condition can be different from that of the first condition.
- the pattern of the second condition is the same as that of the first condition, and the pattern start position of the second condition is shifted by one pixel in the direction from that of the first condition. You can do that.
- SYMBOLS 4 Microlens array, 5 ... Photoelectric conversion element array, 61 ... Output part, 62 ... Image composition part, 63 ... Display control part, 64 ... Focus detection calculating part, 65 ... Lens drive amount calculating part, 7 ... Control circuit, DESCRIPTION OF SYMBOLS 8 ... Drive circuit, 18 ... Display part, 100 ... Focus detection apparatus, 50 ... Image pick-up element part
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Focusing (AREA)
Abstract
撮像素子が、複数の光電変換素子を連続的に配列した光電変換素子アレイと、光電変換素子アレイの一部の連続した光電変換素子からなる光電変換素子群に対応付けて配置される複数のマイクロレンズを有するとともに、光電変換素子群に含まれる光電変換素子の数に応じたピッチで複数のマイクロレンズを光電変換素子群の配列方向に沿って配列したマイクロレンズアレイと、マイクロレンズを介した光束を光電変換素子で受光して得られる複数の受光信号のうち、複数の光電変換素子から所定間隔で選択した光電変換素子に対応する受光信号を出力する出力部とを備える。
Description
本発明は、撮像素子、および、撮像装置に関する。
本願は、2009年12月28日に、日本に出願された特願2009-298364号に基づき優先権を主張し、その内容をここに援用する。
本願は、2009年12月28日に、日本に出願された特願2009-298364号に基づき優先権を主張し、その内容をここに援用する。
撮影レンズからの光束をマイクロレンズアレイの各マイクロレンズを介して複数の受光素子で受光して得られる受光信号を用いて、撮影レンズの任意の像面に焦点のあった画像を合成する画像合成装置を備える撮像装置が知られている(例えば、特許文献1参照)。
ところで、上述のような撮像装置において、複数の受光素子で得られる受光信号を間引いて用いる場合には、用いる信号を出力する受光素子の位置が各マイクロレンズ間で対応したものでなければ、正しい画像を合成することができない。
本発明に係る態様は、このような事情に鑑みてなされたもので、その目的は、マイクロレンズを介して複数の受光素子で受光して得られる受光信号を、間引いて用いる場合にも正しい画像を合成することができる撮像素子、および、撮像装置を提供することにある。
本発明に係る一態様における撮像素子は、複数の光電変換素子を連続的に配列した光電変換素子アレイと、前記光電変換素子アレイの一部の連続した光電変換素子からなる光電変換素子群に対応付けて配置される複数のマイクロレンズを有するとともに、前記光電変換素子群に含まれる前記光電変換素子の数に応じたピッチで前記複数のマイクロレンズを前記光電変換素子群の配列方向に沿って配列したマイクロレンズアレイと、前記マイクロレンズを介した光束を前記光電変換素子で受光して得られる複数の受光信号のうち、前記複数の光電変換素子から所定間隔で選択した光電変換素子に対応する受光信号を出力する出力部とを備える。
本発明に係る一態様における撮像装置は、上記態様による撮像素子と、前記撮像素子に対して対象の像を結像する光学系とを備える。
本発明に係る態様によれば、マイクロレンズを介して複数の受光素子で受光して得られる受光信号を、間引いて用いる場合にも正しい画像を合成することができる。
図1は、本発明に係る一実施形態における、焦点検出装置100を備えたデジタル一眼レフカメラ(以下、カメラという)の構成を示す断面図である。なお、本発明の焦点検出装置100、撮像装置に関わる機器、装置以外のカメラの一般的な機器および装置については図示と説明を省略する。本実施形態のカメラはカメラボディ1にレンズ鏡筒20が装着され、レンズ鏡筒20は各種の撮影レンズに交換可能である。なお、本実施形態ではレンズ交換式カメラを例に上げて説明するが、本発明はレンズ交換式カメラに限定されず、レンズ固定式カメラに対しても適用できる。
レンズ鏡筒20は、ズーミングレンズ21、フォーカシングレンズ22、絞り24、レンズおよび絞り駆動用アクチュエーター25、レンズメモリ26などを備えている。なお、図1ではズーミングレンズ21とフォーカシングレンズ22を一つの撮影レンズ23で代表して表す。ズーミングレンズ21はアクチュエーター25により光軸方向に駆動され、撮影レンズ23の焦点距離を変えるレンズである。
また、フォーカシングレンズ22はアクチュエーター25により光軸方向に駆動され、撮影レンズ23の焦点調節を行うレンズである。絞り24はアクチュエーター25に駆動されて絞り開口径を変化させる。レンズメモリ26には、撮影レンズ23の開放F値、焦点距離などのレンズ鏡筒20および撮影レンズ23に関する情報が記憶されている。
カメラボディ1は、撮像用撮像素子2、シャッター3、撮像素子部50(撮像素子)、画像合成部62、表示制御部63、焦点検出演算部64、レンズ駆動量演算部65、制御回路7、駆動回路8、クイックリターンミラー9、サブミラー10、焦点板11、透過型液晶表示器12、ペンタプリズム13、測光レンズ14、測光センサ15、接眼レンズ16、操作部材17、および、表示部18を備えている。
この撮像素子部50は、たとえば、マイクロレンズアレイ4と、光電変換素子アレイ5と、出力部61とを備えている。
撮像用撮像素子2はCCDやCMOSなどから構成され、レンズ鏡筒20内の撮影レンズ(撮像レンズ)23により結像した被写体像を電気信号に変換して出力する。シャッター3は、レリーズボタン(不図示)の全押し時(シャッターレリーズ時)に露出演算結果によって、または撮影者が手動で設定したシャッター秒時だけ開放され、撮像用撮像素子2を露光する。
撮像素子部50と焦点検出演算部64とは、焦点検出装置100を構成し、撮影レンズ23の焦点状態を示すデフォーカス量を検出する。
レンズ駆動量演算部65は、焦点検出装置100の焦点検出演算部64が検出したデフォーカス量に基づいて、フォーカスレンズ(フォーカシングレンズ)の駆動量を算出する。
制御回路7はマイクロコンピューターとメモリなどの周辺部品から構成され、測光、焦点検出、撮影などのシーケンス制御や、露出演算などの演算制御を行う。また、制御回路7は、レンズ駆動量演算部65が算出したレンズ駆動量に基づいて、駆動回路8を介してアクチュエーター25を駆動して、フォーカシングレンズ22を合焦駆動する。
駆動回路8は、レンズ鏡筒20内に設けられるレンズおよび絞り駆動用アクチュエーター25を駆動制御する。測光センサ15は、撮影画面を複数の領域に分割して各領域ごとの輝度に応じた測光信号を出力する。
また、カメラボディ1には、撮影者が操作する操作部材17が配置される。操作部材17には、レリーズボタンの第1ストロークの操作(半押し)時にオンするレリーズ半押しスイッチ、レリーズボタンの第2ストロークの操作(全押し)時にオンするレリーズ全押しスイッチなどが含まれる。レリーズ半押しスイッチが押されると、AF(オートフォーカシング)の開始を示す信号が制御回路7に入力される。レリーズ全押しスイッチが押されると、撮像の開始を示す信号が制御回路7に入力される。
撮像用撮像素子2を露光しない状態では、クイックリターンミラー9とサブミラー10が図1に示すように撮影光路中に位置する。このとき、撮影レンズ23を透過した被写体からの光の一部は、クイックリターンミラー9に反射されて焦点板(スクリーン)11へ導かれ、焦点板11上に被写体像を結像する。透過型液晶表示器12は、焦点板11上の被写体像に焦点検出位置を示す情報を重畳して表示するとともに、被写体像外にシャッター速度、絞り値、撮影枚数などの撮影に関する情報を表示する。
焦点板11上の被写体像は、ペンタプリズム13と接眼レンズ16を介して撮影者により観測可能とされるとともに、ペンタプリズム13と測光レンズ14を介して測光センサ15へ導かれる。制御回路7は、測光センサ15から出力される測光領域ごとの測光信号に基づいて露出演算を行い、被写体の輝度に応じたシャッター速度と絞り値を算出する。なお、手動露出撮影モード設定時には、撮影者が操作部材17を操作して設定したシャッター速度と絞り値を用いる。
一方、撮影レンズ23を通過した被写体からの光の他の一部は、クイックリターンミラー9を透過してサブミラー10により反射され、焦点検出装置100を構成する撮像素子部50へ導かれる。上述した焦点検出装置100の焦点検出演算部64は、この被写体からの光の他の一部に基づいて、撮影レンズ23の焦点状態を示すデフォーカス量を検出する。
また、撮像素子部50は、被写体からの光の他の一部に基づいた画素信号を、予め定められている間引きパターンで間引いて、画像合成部62に出力する。画像合成部62は、撮像素子部50から出力された画素信号に基づいて、画像を合成する。表示制御部63は、画像合成部62により合成された画像を、表示部18に連続的に表示する。これにより、ライブビュー(現時点での被写体の像)表示が可能となる。
なお、上述した焦点検出装置100の焦点検出演算部64は、予め定められている間引きパターンで間引かれて撮像素子部50から出力される画素信号に基づいて、撮影レンズ23の焦点状態を示すデフォーカス量を検出してもよい。
撮影時は、クイックリターンミラー9とサブミラー10が撮影光路から退避(ミラーアップ)され、シャッター3が開放されて撮影レンズ23を透過した被写体からの光束が撮像用撮像素子2へ導かれ、撮像用撮像素子2の撮像面に結像された被写体像が撮像される。
次に、撮像素子部50の詳細について説明する。ここでは、図2から図4を用いて、撮像素子部50の構成のうち、マイクロレンズアレイ4と光電変換素子アレイ5との構成の一例について説明する。また出力部61が、光電変換素子アレイ5から画素信号を間引いて読み出す方法について説明する。
光電変換素子アレイ5は、複数の光電変換素子が連続的に配列されている。たとえば、光電変換素子アレイ5は、行方向に連続的に配列されている複数の光電変換素子(1行の光電変換素子)が、列方向に連続的に複数配列されている。すなわち、光電変換素子アレイ5は、複数の光電変換素子が、行方向と列方向とに二次元状に配列されている。
光電変換素子アレイ5は、たとえば図1の場合、図1の紙面に対して垂直となる軸と、図1の紙面に対して横になる(紙面上を水平に横断する)軸とで構成される平面において、上述したように、複数の光電変換素子が、行方向(例えば、上記紙面に対して横になる)と列方向(例えば、上記紙面に対して垂直となる軸)とに二次元状に配列されている。
マイクロレンズアレイ4は、光電変換素子アレイ5の一部の連続した光電変換素子からなる光電変換素子群に対応付けて配置される複数のマイクロレンズを有する。さらに、このマイクロレンズアレイ4は、後述するように、光電変換素子群に含まれる光電変換素子の数に応じたピッチで複数のマイクロレンズを光電変換素子群の配列方向に沿って配列されている。
図2は、マイクロレンズアレイ4と光電変換素子アレイ5とを、図1の紙面において上から下の方向に見た場合の平面図である。この図2において、光電変換素子アレイ5の画素の面において、マイクロレンズアレイ4が備える1つのマイクロレンズに対応する領域を円で示して説明する。また、光電変換素子アレイ5の格子状に配列されている画素において、このマイクロレンズに対応する領域内の画素を示して説明する。また、ここでは、1つのマイクロレンズに対して光電変換素子アレイ5の5×5画素が対応する場合について説明する。光電変換素子アレイ5において、複数の光電変換素子は、複数のマイクロレンズにそれぞれ対応する複数の光電変換素子群(素子群)を含む。
図2の場合、複数のマイクロレンズは、行方向に順に行番号m1、m2、m3、m4、m5・・・とし、かつ、列方向に順に列番号n1、n2、n3、n4、n5・・・として格子状に配置されている。そして、それぞれのマイクロレンズに対応して光電変換素子群が設定されている。各々の光電変換素子群において、行方向に順に行番号o1、o2、o3、o4、o5とし、かつ、列方向に順に列番号p1、p2、p3、p4、p5として、25個の画素(光電変換素子)が格子状に配置されている。各々の光電変換素子群において、行方向における光電変換素子の実質的な配列数(第1所定数)が5であり、列方向における光電変換素子の実質的な配列数(第1所定数)が5である。
なお、図2においては、光電変換素子アレイ5が備える画素のうち、マイクロレンズに対応する画素(光電変換素子)のみを示している。しかし、マイクロレンズに対応する画素と画素との間にも画素(光電変換素子)があってもよい(後述する図5、図6Aおよび図6Bを参照)。
この図2に示すように、光電変換素子アレイ5は、たとえば、行方向に一次元状に配置されている複数の光電変換素子が、列方向に連続的に配列されて、画素が二次元状に配置されている。
出力部61は、マイクロレンズを介した光束を光電変換素子アレイ5が備える光電変換素子で受光して得られる複数の受光信号のうち、複数の光電変換素子から一定間隔で選択した光電変換素子に対応する受光信号を出力する。すなわち、出力部61は、光電変換素子アレイ5が備える光電変換素子を、予め定められている間引きパターンで間引いて読み出して出力する。換言すると、出力部61は、選択素子及び非選択素子の配列を示すパターンに基づいて選択される光電変換素子の信号(選択された信号)を出力する。
なお、このマイクロレンズアレイ4と光電変換素子アレイ5とは、位相差方式の焦点検出センサとしても用いることが可能である。
図3は、間引きパターンの第1例であり、1ライン間引きした場合の例であり、マイクロレンズに対応する光電変換素子の画素の奇数行目を読み出すパターンである。この図3では、読み出す画素(選択素子)を灰色(ドットパターン)で示し、読み出さない画素(非選択素子)を白色(空白パターン)で示している。なお、1ライン間引きとは、1行ごとに画素を間引くパターンのことである。各光電変換素子群における画素(光電変換素子)において、行方向に沿って、選択素子と非選択素子とが1つずつ交互に繰り返される。
ここで、間引きパターンの理想的な条件は、マイクロレンズに対応する画素の中央部が間引かれていないこと、および、各マイクロレンズに対応する複数の画素において、間引きパターンがすべて同じ構成になっていることである。
このマイクロレンズに対応する画素の中央部が間引かれていないことが条件となるのは、例えば画像合成する際には、マイクロレンズの中心に対応する画素が合成の基準となり、マイクロレンズの中心に対応する画素を読み出すことが必要であるためである。
また、各マイクロレンズに対応する複数の画素において間引きパターンがすべて同じ構成になっていることが条件となるのは、例えば画像合成する際、各マイクロレンズに対応する複数の画素毎に画素の間引きパターンが異なってしまうと、画像合成の為の演算が複雑になってしまうためである。
従って、図3のようであれば、中央の画素列が間引かれておらず、かつ、全てのマイクロレンズに対応する複数の画素において間引きパターンが同じであるので、理想的な間引きパターンである。図3の間引きパターンは、適切な(上記条件を満たす)間引き方の1つである。
また、図4は、間引きパターンの第2例である。この図4の第2例において、1ライン間引きした場合の例である点は図3の間引きパターンの第1例と同様である。しかし、この図4の第2例においては、マイクロレンズに対応する光電変換素子の画素の偶数行目を読み出すパターンである点が、図3の間引きパターンの第1例とは異なる。
この場合、中央の画素列が間引かれており、例えば画像合成する際に基準となるマイクロレンズ中心に相当する画素が間引かれている。図4の間引きパターンは、上記条件を満たしていないため、不適切な間引き方の1つとなる。
このように、同じマイクロレンズアレイ4と光電変換素子アレイ5との組み合わせであるにも関わらず、図3の場合と図4の場合とのように間引き方が適切であるか否かという違いが生じる。この違いは、図3の場合と図4の場合とでは、1ライン間引きという間引きパターンは同様であっても、その読み出し開始位置が異なる。
上述した図3と図4との場合は、出力部61は、図3の場合のような間引きパターンで間引いて読み出せばいい。しかし、必ずしも図3の場合が適切とは限らない。マイクロレンズアレイ4と光電変換素子アレイ5との位置関係によっては、図4の場合が適切な場合がありうる。たとえば、図3または図4において、マイクロレンズアレイ4と光電変換素子アレイ5との位置関係が、1画素分だけ上方向または下方向にシフトした場合には、図4の場合が適切となる。
そこで、出力部61は、複数の光電変換素子から第1の間隔(パターン)で選択した光電変換素子に対応する受光信号と、第1の間隔(パターン)とは異なる第2の間隔(パターン)で選択した光電変換素子に対応する受光信号とを選択的に出力する。たとえば、出力部61は、図3に示したような第1の間引きパターンと、図4に示したような第2の間引きパターンとから選択された間引きパターンで、光電変換素子アレイ5から受光信号を間引いて読み出す。
このことを、一般化して説明する。ここでは、撮像素子の横列を行Y(Yは0でない自然数)で識別して説明する。また、ライン間引きのパターンを、1ライン間引きというパターンの場合について説明する。
この場合、出力部61は、ライン間引きのパターンは同じとして、間引く行を行Y=2,4,・・・・2nにする場合と、間引く行を行Y=1,3,5,・・・2n-1にする場合とを選択する。このnは0でない自然数である。
そして、マイクロレンズアレイ4と光電変換素子アレイ5との位置関係に基づいて、出力部61は、この2つの間引きパターンから適切な間引きパターンを選択する。これにより、適切に間引きパターンを選択することができる。そのため、出力部61は、常に図3のように、光電変換素子アレイ5から受光信号を適切に間引いて読み出すことができる。
なお、1ライン間引き以外の別のパターンでも、ある程度短い周期でパターン化されているものは、間引く先頭画素をパターンの1周期分設けてやることで、上記のように画像合成時に最適な間引きパターンにすることが出来る。
なお、上記に図3と図4とを用いて説明したような問題は、製造工程において、マイクロレンズアレイ4と光電変換素子アレイ5との位置関係を精密に調整することで回避することも可能である。
これに対して本実施形態においては、上述したように、出力部61が、図3に示したような第1の間引きパターンと、図4に示したような第2の間引きパターンとから選択された間引きパターンで、光電変換素子アレイ5から受光信号を間引いて読み出す。これにより、製造工程において、マイクロレンズアレイ4と光電変換素子アレイ5との位置関係を精密に調整しなくても、光電変換素子アレイ5から受光信号を適切に間引いて読み出すことが出来る。
ところで、図3のような理想的な間引きパターンにするもう1つの課題として、マイクロレンズアレイ4のピッチ(配列ピッチ、配列間隔、配置パターン)と光電変換素子アレイ5のピッチとの関係がある。次に、このピッチについて、図5と図6Aおよび図6Bとを用いて説明する。ここでは、マイクロレンズに対応する画素と画素(マイクロレンズに対応する光電変換素子群と、別の隣り合うマイクロレンズに対応する光電変換素子群)との間の画素も示して説明する。
この図5と図6Aおよび図6Bとでは、このマイクロレンズに対応する画素と画素との間の画素の数(中間画素数、第2所定数)が異なる。図5の場合には中間画素数L1が4行であるのに対して、図6Aおよび図6Bの場合には中間画素数L2が3行である。
図5のようなマイクロレンズアレイ4と光電変換素子アレイ5との位置関係の場合、上側のマイクロレンズA1に含まれる画素の間引きパターンと、下側のマイクロレンズA2に含まれる画素の間引きパターンとが異なる。
すなわち、上側のマイクロレンズA1に含まれる画素の間引きパターンが偶数行を読み出すパターンであるのに対して、下側のマイクロレンズA2に含まれる画素の間引きパターンが奇数行を読み出すパターンである。
ここで、上側のマイクロレンズA1と下側のマイクロレンズA2とは、たとえば図2において、同じ列であり、かつ、行が連続している2つのマイクロレンズのうち、行が上側となるマイクロレンズと下側となる(行番号がより大きい)マイクロレンズのことである。
たとえば、上側のマイクロレンズA1は、図2において、列番号がn1であり、かつ、行番号がm1であるマイクロレンズのことである。また、下側のマイクロレンズA2は、図2において、列番号がn1であり、かつ、行番号がm2であるマイクロレンズのことである。
この図5の場合、上述した条件のうち、各マイクロレンズに対応する複数の画素において間引きパターンがすべて同じ構成になっているという条件が満たされていない。また、上側のマイクロレンズA1においては、上述した条件のうち、マイクロレンズに対応する画素の中央部が間引かれていないという条件も満たされていない。よって、不適切な間引き方である。
これに対して、マイクロレンズのピッチが図6Aおよび図6Bに示すような場合、上側のマイクロレンズA1と下側のマイクロレンズA2とにおいて、中央の画素列が間引かれておらず、かつ、両方のマイクロレンズに対応する複数の画素において間引きパターンが同じである。よって、図6Aおよび図6Bの場合は、図3および図4の場合と同様に、適切な間引き方である。
次に、この図5と図6Aおよび図6Bとの間引き方の違いについて説明する。
図5の間引きの例では、隣り合うマイクロレンズ(A1、A2)間で画像合成に使用しない画素の列(上述した中間画素数)Lが、L(L1) = p×2m(p:画素ピッチ、m:0でない自然数)となっている。この場合は、適切な間引き方ではない。そのため、理想的な間引きパターンでの画像合成が難しいことになる。実際には、中途半端な位置関係となる場合もあり得るのでL≠p×(2m-1)である場合は、全て隣り合うマイクロレンズに含まれる画素の構成にズレが生じる。
なお、画像合成を行う際、例えば撮像素子の左上端の画素と右下端の画素を積算するケースは低く、基準となるマイクロレンズに対して近接しているマイクロレンズに含まれる画素が積算対象となるケースが多いので、p×2mに対しある程度の範囲までは大きな影響とはなりにくい可能性もある。
これに対して、マイクロレンズのピッチが図6Aおよび図6Bに示すような場合、隣り合うマイクロレンズ(A1、A2)間で画像合成に使用しない画素の列がL(L2) = p×(2m-1) (p:画素ピッチ、m:0でない自然数)となっている。この場合は、適切な間引き方である。
このように、マイクロレンズのピッチは、選択された光電変換素子の間隔と光電変換素子群に含まれる光電変換素子の数とに応じて決める。
なお、本実施形態では、間引きパターンとして1ライン間引きの場合(所定の方向に沿って、選択素子と非選択素子とが1つずつ交互に繰り返される場合)について説明しているが、他の実施形態において、他の間引きパターンを採用できる。例えば、他の実施形態において、所定の方向に沿って、選択素子と非選択素子とが2又は3ずつ交互に繰り返すようにできる。あるいは、所定の方向に沿って、1つの選択素子と2つの非選択素子とが連続するパターンが交互に繰り返すようにできる。あるいは、所定の方向に沿って、2つの選択素子と1つの非選択素子とが連続するパターンが交互に繰り返すようにできる。他の実施形態においても、例えば、各マイクロレンズ内に含まれる画素の構成が同じになるように、間引きパターンに応じて、マイクロレンズと画素との位置関係(ピッチの関係)を決めてやればよい。
間引きパターンが任意の場合、マイクロレンズのピッチは、マイクロレンズアレイ4のうち互いに隣接する複数のマイクロレンズに対応する複数の光電変換素子群の間に位置する光電変換素子の数(第2所定数、所定の方向における複数の素子群の各間に実質的に位置する光電変換素子の数)と、光電変換素子群に含まれる光電変換素子の数(第1所定数、各光電変換素子群の所定の方向における光電変換素子の実質的な配列数)との和が、出力部61によって選択された光電変換素子の間隔(選択間隔)の整数倍となるように決定される。
このようになっていれば、1ライン間引きの場合と同様に、中央の画素列が間引かれておらず、かつ、両方のマイクロレンズに対応する複数の画素において間引きパターンとすることができる。よって、適切に間引くことができる。
なお、出力部61の回路構成として、光電変換素子アレイ5が備える格子状に配置されている画素の各行に対応してセンスアンプを設けておき、このセンスアンプを介して、画素から画素情報を読み出すことがある。このセンスアンプは、全ての行に1対1に設けられているのではなく、複数の行で共有されている場合がある。たとえば、列方向に連続している2つの行で、1つのセンスアンプが共有されている場合がある。これは、センスアンプの個数を減ずるためである。
このような場合、図3および図4を用いて説明したように、間引きパターンとして1ライン間引きとすることは好適である。これは、それぞれのセンスアンプにおいて、共有対象である2つの行のうち、いずれか一方のみを読み出すことでよく、間引いて読み出す場合の制御が簡易であるからである。
次に、図7を用いて、本実施形態による撮像装置1の動作の一例について説明する。ここでは、撮像素子部50から画像情報を間引いて読み出し、画像合成してスルー画として表示部18に表示する場合の動作の一例について説明する。すなわち、スルー画表示(ライブビュー表示)する場合の撮像装置1の動作の一例について説明する。
まず、ステップS901において、出力部61は、光電変換素子アレイ61の撮像素子から画素信号を間引いて読み出し、読み出した画素信号を焦点検出装置64および画像合成部(画像処理部)62に出力する。この間引いて読み出す場合の間引きパターンは、上記説明した2つの条件を満たしている。
次にステップS902において、制御回路7には、レンズ鏡筒20が備える撮影レンズ23のレンズ情報を、レンズ鏡筒20から入力される。このレンズ情報とは、フォーカスレンズの現在位置、焦点距離、開放F値などの画像合成に用いられる情報である。
たとえば、フォーカスレンズの現在位置は、レンズ鏡筒20が備えるエンコーダ(不図示)により検出される。そして、制御回路7は、検出されたフォーカスレンズの現在位置を、このエンコーダから読み出す。また、制御回路7は、焦点距離および開放F値などの情報を、レンズ鏡筒20が備えるレンズメモリ26から読み出す。
次にステップS903において、制御回路7には、合成情報が入力される。この合成情報とは、どのような絞りで初期画像を表示させるかの設定を示す情報である。たとえば、ユーザが操作部材17を操作することにより、この合成情報を設定する。ユーザは、たとえば、動画像をパンフォーカス像で表示したい場合は、最小絞りに設定することを示す合成情報を、制御回路7に操作部材17を介して入力する。これにより、最小絞りでの合成画像でスルー画表示可能である。(この合成情報に基づき、スルー画表示の際に、最小絞りでの合成画像を表示する制御を行なうことができる。)このように、設定された合成情報が、操作部材17を介して、制御回路7に入力される。
次にステップS904において、画像合成部62は、制御回路7に入力されたレンズ情報および合成情報に基づいて、現在のレンズ位置の像面にピントが合焦した画像を生成できるように、出力部61から出力された画素信号を画像合成する。
次にステップS905において、表示制御部63は、画像合成部62により合成された画像(合成画面)を、表示部18に表示する。既に表示部18に合成画像が表示されている場合には、表示制御部63は、表示部18に表示されている合成画像を、画像合成部62により合成された合成画面に変更する。
次にステップS906において、制御回路7は、ユーザがエリア位置の選択をしたか否かを判定する。たとえば、操作部材17がタッチパネルなどを備えており、このタッチパネルをユーザは操作する。そして、ユーザは、タッチパネル上の所定の位置を選択することにより、エリア位置を選択する。制御回路7は、タッチパネルである操作部材17により、ユーザが所定の位置を選択したか否かを判定することにより、ユーザがエリア位置の選択をしたか否かを判定する。
このステップS906において、ユーザがエリア位置の選択をしたと判定されない場合には、制御回路7は、ステップS901からの処理を繰り返す。一方、このステップS906において、ユーザがエリア位置の選択をしたと判定された場合には、制御回路7は、処理をステップS907に進める。
次にステップS907からステップS909において、上述したステップS901からステップS906と同様の処理が実行される。
次にステップS910において、焦点検出演算部64は、出力部61から出力された画素信号に基づいて、選択被写体の像面位置を算出する。この算出方法としては、たとえば、瞳分割式の位相差AFの原理を用いて、焦点位置を検出する。または、合成可能範囲から選択したエリア範囲のコントラスト値を算出し、ピークが検出されればその位置(選択したエリア範囲)を選択被写体の像面位置とする。
次にステップS911において、制御回路7は、ステップS910で算出した像面位置が、現在のレンズ位置から合成可能な合成範囲内にあるか否かを判定する。
例えば、ステップS910で瞳分割式の位相差AFの原理を用いた場合には、制御回路7は、デフォーカス量と、現在のレンズ位置から決められる合成可能範囲とを比較することにより、合成可能な合成範囲内にあるか否かを判定する。
このステップS911において、合成可能な合成範囲内にないと判定された場合、ステップS912において、制御回路7は、合成可能範囲内となるように、駆動回路8を介してアクチュエーター25を駆動して、フォーカシングレンズ22を合焦駆動する。すなわち、選択被写体が合成範囲にない場合には、制御回路7は、選択被写体の合成可能範囲内へフォーカシングレンズ22を駆動させる。
たとえば、瞳分割式の位相差AFの場合、デフォーカス量が算出されているため、制御回路7は、合成範囲内ではなく焦点面まで、フォーカシングレンズ22を直接駆動してもよい。また、コントラストを算出する場合は、制御回路7は、コントラストのピーク位置を検出し、この検出したピーク位置へフォーカシングレンズ22を駆動する。
上述したステップS911またはステップ912に続いて、次にステップS913からステップS915において、上述したステップS901からステップS906と同様の処理が実行される。
次にステップS916において、画像合成部62は、出力部61から出力された画素信号に基づいて、主要被写体の像面位置でピントが合ったとされる画像合成を行う。
次にステップS917において、表示制御部63は、ステップS905の場合と同様に、画像合成部62により合成された画像(合成画面)を表示部18に表示する。その後、たとえば、ステップS901からの処理が繰り返される。
このように、上述したステップS911において、合成可能な合成範囲内にあると判定された場合は、現在のレンズ位置で合成処理を行っても、主要被写体にピントの合った画像を合成可能である。そのため、制御回路7は、フォーカシングレンズ22を駆動させずに画像合成を行う。
一方、上述したステップS911において、合成可能な合成範囲内にないと判定された場合は、制御回路7は、ステップS911の処理によりフォーカシングレンズ22を駆動した後、画像合成を行う。
これにより、合成可能な合成範囲内にある場合であっても、ない場合であっても、撮像装置は、適切に画像を合成することができる。
なお、この図7の説明においては、画像合成部62により合成された画像(合成画面)を表示部18に表示する場合について説明したが、この合成画像は、記録媒体に静止画または動画として記録されてもよい。
ところで、光電変換素子アレイ5が備える撮像素子の画素を全画素読出しながら、この読み出した画像を合成する場合、画像合成部62などの演算装置の処理速度にもよるが、一般的に処理時間は長くかかる。そして、ライブビューなどの動画を表示する場合のように、リアルタイムで画像合成する必要がある場合には、画像合成部62などの演算装置の処理速度の関係から、適切に合成できなくなる可能性がある。
本実施形態のようにマイクロレンズアレイ4を用いない通常のカメラに用いられる撮像素子においては、演算を高速にするための撮像素子の間引きモードは各種あるが、同じパターンで、異なる列を間引くようなモードはないのが常である。
このような通常のカメラとは異なり、本実施形態のようにマイクロレンズアレイ4を用いる撮像装置においては、上述したように光電変換素子アレイ5が備える画素とマイクロレンズアレイ4が備えるマイクロレンズとの位置関係が重要である。また、画素を間引く場合、マイクロレンズのピッチと間引きパターンを適切に構成する。これは、マイクロレンズアレイを通過し受光素子に入射した光の情報を適切に間引いて出力するためである。
また、図7を用いて説明したようにリアルタイムで画像合成を行う場合には、間引く処理が特に必要となってくる。本実施形態によれば、光電変換素子アレイ5が備える撮像素子の画素から、適切に間引いて画素信号を読み出すことができる。これにより、画素信号のデータ量を減じることができる。よって、画像合成部62などの演算装置の処理速度が高くない場合であっても、データ量が減じられているために、画像合成部62は画素信号を適切に合成できる。なお、静止画撮影での画像合成の場合は、出力部61は、画素を間引かなくてもよい。
以上説明したように、本実施形態によれば、マイクロレンズアレイを通過し受光素子に入射した光の情報を、適切に間引いて出力することができる。そのため、マイクロレンズを介して複数の受光素子で受光して得られる受光信号を、間引いて用いる場合にも正しい画像を合成することができる。
また、本実施形態によれば、マイクロレンズの中心に位置する画素を間引かないようにすることが可能になる。また、同じ間引きパターンでも、対象となる画素列を異ならせることで、各マイクロレンズに含まれる画素の間引きパターンを同じにすることが可能になり、かつ、合成する際の演算が簡単になる。また、間引くことで、処理時間が短縮され、動画撮影時にリアルタイムでの画像合成が行いやすくなる。
また、本実施形態によれば、マイクロレンズの中心に位置する画素を間引かないようにすることが可能になる。また、同じ間引きパターンでも、対象となる画素列を異ならせることで、各マイクロレンズに含まれる画素の間引きパターンを同じにすることが可能になり、かつ、合成する際の演算が簡単になる。また、間引くことで、処理時間が短縮され、動画撮影時にリアルタイムでの画像合成が行いやすくなる。
一実施形態において、撮像素子は、複数のマイクロレンズを含むマイクロレンズアレイと、複数の光電変換素子を含む光電変換素子アレイと、前記複数の光電変換素子のうちの選択された複数の素子からの、選択された複数の信号を出力する出力部と、を備え、前記複数の光電変換素子は、前記複数のマイクロレンズにそれぞれ対応する複数の素子群であり、各々の1つの方向における前記光電変換素子の実質的な配列数が第1所定数である前記複数の素子群を含み、前記複数のマイクロレンズは、前記方向において、少なくとも前記第1所定数に基づいて定められた配列ピッチを有する。
この実施形態において、前記複数のマイクロレンズの前記配列ピッチは、少なくとも、前記第1所定数と、前記選択された複数の素子の間隔である選択間隔とに基づいて定めることができる。
また、この実施形態において、前記複数のマイクロレンズの前記配列ピッチは、前記方向における前記複数の素子群の各間に位置する前記光電変換素子の数である第2所定数と、前記第1所定数との和が、前記選択間隔の整数倍となるように定めることができる。
また、この実施形態において、前記選択された複数の素子は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づいて選択できる。
一実施形態において、撮像素子は、複数のマイクロレンズを含むマイクロレンズアレイと、複数の光電変換素子を含む光電変換素子アレイと、前記複数の光電変換素子のうちの、第1条件で選択された複数の素子からの第1の複数の信号と、第2条件で選択された複数の素子からの第2の複数の信号とのいずれかを選択的に出力する出力部と、を備える。
この実施形態において、前記出力部における前記選択的な出力は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づくことができる。
また、この実施形態において、前記複数の光電変換素子は、前記複数のマイクロレンズにそれぞれ対応する複数の素子群であり、各々の1つの方向における前記光電変換素子の実質的な配列数が第1所定数である前記複数の素子群を含み、前記第1条件及び前記第2条件はそれぞれ、各々の前記複数の素子群における、前記方向に沿った選択素子及び非選択素子の配列を示すパターンと、前記パターンのパターン開始位置とを含む、ことができる。
また、この実施形態において、前記第2条件の前記パターンが、前記第1条件のそれと同じであり、前記第2条件の前記パターン開始位置が、前記第1条件のそれと異なるようにできる。
また、この実施形態において、前記第2条件の前記パターンが、前記第1条件のそれと同じであり、前記第2条件の前記パターン開始位置が、前記第1条件のそれから前記方向に1画素分シフトするようにできる。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
4…マイクロレンズアレイ、5…光電変換素子アレイ、61…出力部、62…画像合成部、63…表示制御部、64…焦点検出演算部、65…レンズ駆動量演算部、7…制御回路、8…駆動回路、18…表示部、100…焦点検出装置、50…撮像素子部
Claims (20)
- 複数のマイクロレンズを含むマイクロレンズアレイと、
複数の光電変換素子を含む光電変換素子アレイと、
前記複数の光電変換素子のうちの選択された複数の素子からの、選択された複数の信号を出力する出力部と、を備え、
前記複数の光電変換素子は、前記複数のマイクロレンズにそれぞれ対応する複数の素子群であり、各々の1つの方向における前記光電変換素子の実質的な配列数が第1所定数である前記複数の素子群を含み、
前記複数のマイクロレンズは、前記方向において、少なくとも前記第1所定数に基づいて定められた配列ピッチを有する、撮像素子。 - 請求項1に記載の撮像素子において、
前記複数のマイクロレンズの前記配列ピッチは、少なくとも、前記第1所定数と、前記選択された複数の素子の間隔である選択間隔とに基づいて定められる、撮像素子。 - 請求項2に記載の撮像素子において、
前記複数のマイクロレンズの前記配列ピッチは、前記方向における前記複数の素子群の各間に位置する前記光電変換素子の数である第2所定数と、前記第1所定数との和が、前記選択間隔の整数倍となるように定められる、撮像素子。 - 請求項1から3のいずれか一項に記載の撮像素子において、
前記選択された複数の素子は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づいて選択される、撮像素子。 - 請求項1から4のいずれか一項に記載の撮像素子と、
前記撮像素子に対して対象の像を結像する光学系と、を備えた撮像装置。 - 請求項5に記載の撮像装置において、
前記出力部から出力された信号のうち、前記光学系の特定の像面の位置に対応して選択された信号に基づいて画像を合成する画像合成部をさらに備えることを特徴とする撮像装置。 - 請求項6に記載の撮像装置において、
前記出力部から繰り返し出力される信号に基づいて前記画像合成部によって合成された画像を動画として表示する表示部をさらに備えたことを特徴とする撮像装置。 - 請求項7に記載の撮像装置において、
前記画像合成部によって前記光学系の第1の像面に対応する第1の動画を前記表示部に表示するとともに、前記第1の像面とは異なる第2の像面に対応する第2の動画を、前記第1の動画に代えて表示する制御部とを備えることを特徴とする撮像装置。 - 複数のマイクロレンズを含むマイクロレンズアレイと、
複数の光電変換素子を含む光電変換素子アレイと、
前記複数の光電変換素子のうちの、第1条件で選択された複数の素子からの第1の複数の信号と、第2条件で選択された複数の素子からの第2の複数の信号とのいずれかを選択的に出力する出力部と、
を備えた撮像素子。 - 請求項9に記載の撮像素子において、
前記出力部における前記選択的な出力は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づく、撮像素子。 - 請求網9又は10に記載の撮像素子において、
前記複数の光電変換素子は、前記複数のマイクロレンズにそれぞれ対応する複数の素子群であり、各々の1つの方向における前記光電変換素子の実質的な配列数が第1所定数である前記複数の素子群を含み、
前記第1条件及び前記第2条件はそれぞれ、各々の前記複数の素子群における、前記方向に沿った選択素子及び非選択素子の配列を示すパターンと、前記パターンのパターン開始位置とを含む、撮像素子。 - 請求項9から11のいずれか一項に記載の撮像素子において、
前記第2条件の前記パターンが、前記第1条件のそれと同じであり、
前記第2条件の前記パターン開始位置が、前記第1条件のそれと異なる、撮像素子。 - 請求項9から12のいずれか一項に記載の撮像素子において、
前記第2条件の前記パターンが、前記第1条件のそれと同じであり、
前記第2条件の前記パターン開始位置が、前記第1条件のそれから前記方向に1画素分シフトしている、撮像素子。 - 請求項9から13のいずれか一項に記載の撮像素子において、
前記複数のマイクロレンズは、前記方向において、少なくとも前記第1所定数に基づいて定められた配列ピッチを有する、撮像素子。 - 請求項9から14のいずれか一項に記載の撮像素子において、
前記複数のマイクロレンズの前記配列ピッチは、少なくとも、前記第1所定数と、前記選択された複数の素子の間隔である選択間隔とに基づいて定められる、撮像素子。 - 請求項9から15のいずれか一項に記載の撮像素子において、
前記複数のマイクロレンズの前記配列ピッチは、前記複数の素子群の各間に位置する前記光電変換素子の数である第2所定数と、前記第1所定数との和が、前記選択間隔の整数倍となるように定められる、撮像素子。 - 請求項1から16のいずれか一項に記載の撮像素子と、
前記撮像素子に対して対象の像を結像する光学系と、を備えた撮像装置。 - 請求項17に記載の撮像装置において、
前記出力部から出力された信号のうち、前記光学系の特定の像面の位置に対応して選択された信号に基づいて画像を合成する画像合成部をさらに備えることを特徴とする撮像装置。 - 請求項18に記載の撮像装置において、
前記出力部から繰り返し出力される信号に基づいて前記画像合成部によって合成された画像を動画として表示する表示部をさらに備えたことを特徴とする撮像装置。 - 請求項19に記載の撮像装置において、
前記画像合成部によって前記光学系の第1の像面に対応する第1の動画を前記表示部に表示するとともに、前記第1の像面とは異なる第2の像面に対応する第2の動画を、前記第1の動画に代えて表示する制御部とを備えることを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011547718A JP5970816B2 (ja) | 2009-12-28 | 2010-12-28 | 画像処理装置、撮像素子、および、撮像装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009298364 | 2009-12-28 | ||
JP2009-298364 | 2009-12-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011081187A1 true WO2011081187A1 (ja) | 2011-07-07 |
Family
ID=44226589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/073731 WO2011081187A1 (ja) | 2009-12-28 | 2010-12-28 | 撮像素子、および、撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5970816B2 (ja) |
WO (1) | WO2011081187A1 (ja) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013172219A (ja) * | 2012-02-20 | 2013-09-02 | Canon Inc | 撮像装置 |
WO2013105672A3 (en) * | 2012-01-13 | 2013-10-31 | Canon Kabushiki Kaisha | Image pickup apparatus, control method therefor and image pickup system |
JP2013254114A (ja) * | 2012-06-07 | 2013-12-19 | Canon Inc | 撮像装置、制御方法、及びプログラム |
JP2014081519A (ja) * | 2012-10-17 | 2014-05-08 | Nippon Hoso Kyokai <Nhk> | 撮影装置および表示装置 |
JP2014209722A (ja) * | 2013-03-25 | 2014-11-06 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2015520992A (ja) * | 2012-05-09 | 2015-07-23 | ライトロ, インコーポレイテッドLytro, Inc. | ライトフィールドの取り込み及び操作を改善するための光学系の最適化 |
WO2018155019A1 (en) * | 2017-02-22 | 2018-08-30 | Omron Corporation | Optical sensor, learning apparatus, and image processing system |
US10205896B2 (en) | 2015-07-24 | 2019-02-12 | Google Llc | Automatic lens flare detection and correction for light-field images |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
US10552947B2 (en) | 2012-06-26 | 2020-02-04 | Google Llc | Depth-based image blurring |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2008294741A (ja) * | 2007-05-24 | 2008-12-04 | Olympus Corp | 撮像システム |
JP2009130580A (ja) * | 2007-11-22 | 2009-06-11 | Nikon Corp | 撮像素子および撮像装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5515396B2 (ja) * | 2009-05-08 | 2014-06-11 | ソニー株式会社 | 撮像装置 |
JP5490514B2 (ja) * | 2009-12-22 | 2014-05-14 | 三星電子株式会社 | 撮像装置及び撮像方法 |
-
2010
- 2010-12-28 WO PCT/JP2010/073731 patent/WO2011081187A1/ja active Application Filing
- 2010-12-28 JP JP2011547718A patent/JP5970816B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2008294741A (ja) * | 2007-05-24 | 2008-12-04 | Olympus Corp | 撮像システム |
JP2009130580A (ja) * | 2007-11-22 | 2009-06-11 | Nikon Corp | 撮像素子および撮像装置 |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
WO2013105672A3 (en) * | 2012-01-13 | 2013-10-31 | Canon Kabushiki Kaisha | Image pickup apparatus, control method therefor and image pickup system |
GB2513280B (en) * | 2012-01-13 | 2019-02-13 | Canon Kk | Image pickup apparatus, control method therefor and image pickup system |
GB2513280A (en) * | 2012-01-13 | 2014-10-22 | Canon Kk | Image pickup apparatus, control method therefor and image pickup system |
US9392193B2 (en) | 2012-01-13 | 2016-07-12 | Canon Kabushiki Kaisha | Image pickup apparatus, control method therefor and image pickup system |
JP2013172219A (ja) * | 2012-02-20 | 2013-09-02 | Canon Inc | 撮像装置 |
JP2015520992A (ja) * | 2012-05-09 | 2015-07-23 | ライトロ, インコーポレイテッドLytro, Inc. | ライトフィールドの取り込み及び操作を改善するための光学系の最適化 |
US9866810B2 (en) | 2012-05-09 | 2018-01-09 | Lytro, Inc. | Optimization of optical systems for improved light field capture and manipulation |
JP2013254114A (ja) * | 2012-06-07 | 2013-12-19 | Canon Inc | 撮像装置、制御方法、及びプログラム |
US10552947B2 (en) | 2012-06-26 | 2020-02-04 | Google Llc | Depth-based image blurring |
JP2014081519A (ja) * | 2012-10-17 | 2014-05-08 | Nippon Hoso Kyokai <Nhk> | 撮影装置および表示装置 |
JP2014209722A (ja) * | 2013-03-25 | 2014-11-06 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10205896B2 (en) | 2015-07-24 | 2019-02-12 | Google Llc | Automatic lens flare detection and correction for light-field images |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
WO2018155019A1 (en) * | 2017-02-22 | 2018-08-30 | Omron Corporation | Optical sensor, learning apparatus, and image processing system |
US11563903B2 (en) | 2017-02-22 | 2023-01-24 | Omron Corporation | Optical sensor, learning apparatus, and image processing system for selection and setting light-receving elements |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
Also Published As
Publication number | Publication date |
---|---|
JP5970816B2 (ja) | 2016-08-17 |
JPWO2011081187A1 (ja) | 2013-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5970816B2 (ja) | 画像処理装置、撮像素子、および、撮像装置 | |
JP5388544B2 (ja) | 撮像装置およびそのフォーカス制御方法 | |
JP5043626B2 (ja) | 撮像装置 | |
JP5034556B2 (ja) | 焦点検出装置および撮像装置 | |
EP2181349B1 (en) | Image sensing apparatus | |
JP5662667B2 (ja) | 撮像装置 | |
CN102318335B (zh) | 摄像设备 | |
JP4952060B2 (ja) | 撮像装置 | |
CN102687499B (zh) | 摄像设备 | |
JP5003132B2 (ja) | 撮像素子および撮像装置 | |
WO2011004686A1 (en) | Focus detection apparatus | |
WO2012132306A1 (en) | Lens driving control apparatus and lens apparatus | |
JP4995002B2 (ja) | 撮像装置、合焦装置、撮像方法および合焦方法 | |
JP6465704B2 (ja) | 撮像装置及びその制御方法 | |
JP5169541B2 (ja) | 撮像装置 | |
JP2008310072A (ja) | デジタルカメラ | |
JP2013113857A (ja) | 撮像装置及びその制御方法 | |
JP6561437B2 (ja) | 焦点調節装置および撮像装置 | |
JP2014123050A (ja) | 焦点検出装置、焦点検出方法およびプログラム、並びに撮像装置 | |
JP2012083584A (ja) | 撮像装置 | |
JP5240591B2 (ja) | 撮像装置、合焦装置、撮像方法および合焦方法 | |
JP6234094B2 (ja) | 焦点検出装置および撮像装置 | |
JP4095142B2 (ja) | カメラ | |
JP5157525B2 (ja) | 撮像装置 | |
JP2019074634A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10841042 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2011547718 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 10841042 Country of ref document: EP Kind code of ref document: A1 |