WO2013133115A1 - デフォーカス量検出装置およびカメラ - Google Patents
デフォーカス量検出装置およびカメラ Download PDFInfo
- Publication number
- WO2013133115A1 WO2013133115A1 PCT/JP2013/055332 JP2013055332W WO2013133115A1 WO 2013133115 A1 WO2013133115 A1 WO 2013133115A1 JP 2013055332 W JP2013055332 W JP 2013055332W WO 2013133115 A1 WO2013133115 A1 WO 2013133115A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pupil
- image
- image shape
- shape correction
- image data
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 104
- 210000001747 pupil Anatomy 0.000 claims abstract description 288
- 238000012937 correction Methods 0.000 claims abstract description 191
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 38
- 230000003287 optical effect Effects 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 230000004907 flux Effects 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 description 58
- 238000006243 chemical reaction Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 18
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
- G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Definitions
- the present invention relates to a defocus amount detection device and a camera.
- a part of the imaging pixels arranged on the imaging surface is replaced with a focus detection pixel of a pupil division type phase difference detection method, and an entire pupil pixel signal sequence obtained from the imaging pixel and a pupil division pixel obtained from the focus detection pixel
- a technique for detecting a defocus state by detecting a phase difference from a signal train is known.
- Patent Document 1 a pair of pupils obtained from each of a whole pupil pixel having a square photoelectric conversion unit and a pupil division pixel having a left half photoelectric conversion unit obtained by dividing the square by a vertical bisector.
- a phase difference type defocus amount detection apparatus that performs an image shift detection calculation on an image signal is described.
- the prior art has a problem in that the image shape differs depending on the size of the pupil between the image signal obtained from all pupil pixels and the image signal obtained from pupil-divided pixels, and the accuracy of phase difference detection is reduced. It was.
- the defocus amount detection apparatus includes pupil-divided image data output from a first pixel that receives one of a pair of pupil-divided light beams and a light beam that has passed through an area including at least the pupil.
- An image shape correction unit that performs a correction process for correcting a difference in image shape between the pupil division image data and the whole pupil image data for at least one of the whole pupil image data output from the second pixel that receives the light.
- the image shape correction unit is configured to apply a predetermined image shape correction filter coefficient to at least one of the pupil divided image data and the entire pupil image data. It is preferable to perform a correction process for convolution.
- the first pixels are arranged at an interval wider than the interval between the second pixels, and the image shape correction unit includes the entire pupil image data.
- the image shape correction filter coefficient is convoluted with respect to.
- the first stage of detecting the phase difference between the pupil divided image data and the whole pupil image data before the correction processing is performed by the image shape correction unit.
- a phase difference detection unit, and the image shape correction unit selects one of a plurality of image shape correction filter coefficients based on the phase difference detected by the preceding phase difference detection unit, and outputs the pupil-divided image data and all It is preferable to convolve the selected image shape correction filter coefficient with respect to at least one of the pupil image data.
- the first stage of detecting the phase difference between the pupil divided image data and the whole pupil image data before the correction processing is performed by the image shape correction unit.
- a phase difference detection unit wherein the first pixels are arranged at a wider interval than the second pixel interval, and the image shape correction unit has a phase difference detected by the preceding phase difference detection unit that is greater than a predetermined threshold value.
- the image shape correction unit performs the pupil division image data and the entire pupil image data for each of the plurality of image shape correction filter candidate coefficients.
- the image shape correction filter candidate coefficient is convoluted with respect to at least one, the correlation value between the pupil division image data and the whole pupil image data is calculated, and the image shape correction filter candidate coefficient having the smallest correlation value is calculated. It is preferable to perform correction processing as a shape correction filter coefficient.
- the image shape correction filter coefficient is obtained by converting the light image of the predetermined test chart formed by the photographing optical system to the first pixel and the first pixel.
- the defocus amount detection device passes at least a region including the pupil with respect to the pupil divided image data output from the first pixel that receives one of the pair of luminous fluxes divided in the pupil.
- An image shape correction unit that performs a correction process for correcting a difference in image shape from the whole pupil image data output from the second pixel that receives the light beam is provided.
- a camera includes the defocus amount detection device according to any one of the first to eighth aspects.
- the defocus amount can be detected with high accuracy.
- FIG. 3 is a schematic diagram illustrating a configuration of all pupil pixels 21.
- FIG. 3 is a schematic diagram illustrating a configuration of a pupil division pixel 22.
- FIG. 2 is a diagram schematically illustrating an imaging surface of an imaging element 12.
- FIG. It is the elements on larger scale which expanded the focus detection area
- It is a typical optical path diagram in the state of what is called a front pin.
- FIG. 1 is a block diagram showing the configuration of a digital camera according to the first embodiment of the present invention.
- the digital camera 1 includes a photographing optical system 11, an image sensor 12, a lens control unit 13, a camera control unit 14, a display unit 15, and a storage medium 16.
- the photographing optical system 11 forms an image of the subject on a predetermined scheduled imaging surface.
- the photographing optical system 11 is illustrated as a single lens for the sake of convenience, but in reality, it is configured by a plurality of lenses including a focusing lens for focus adjustment.
- the image pickup device 12 is a solid-state image pickup device such as a CCD or a CMOS, for example, and is arranged so that the image pickup surface substantially coincides with the planned image formation surface of the photographing optical system 11.
- a plurality of imaging pixels (light receiving elements) are two-dimensionally arranged on the imaging surface of the imaging element 12. The configuration of the imaging surface of the imaging element 12 will be described in detail later.
- the light reception outputs (imaging signals) of a plurality of imaging pixels included in the imaging element 12 are input to the camera control unit 14.
- the camera control unit 14 includes a microcomputer (not shown) and its peripheral circuits, and controls each unit of the digital camera 1 by executing a predetermined control program.
- the camera control unit 14 detects the defocus amount of the imaging optical system 11 based on the imaging signal output from the imaging device 12. Then, the lens control unit 13 is controlled so that the focusing lens is driven by a drive amount corresponding to the detected defocus amount.
- the lens control unit 13 includes an actuator such as a stepping motor or an ultrasonic motor, for example, and drives a focusing lens (not shown) in the optical axis direction under the control of the camera control unit 14.
- the camera control unit 14 performs various image processing on the image pickup signal output from the image pickup device 12 to create image data of the subject image.
- the camera control unit 14 displays the created image data on the display unit 15 or stores it in the storage medium 16.
- the display unit 15 is a display device such as a liquid crystal display.
- the storage medium 16 is a portable storage medium configured by, for example, a flash memory.
- imaging surface of imaging device 12 On the imaging surface of the imaging device 12, two types of imaging pixels called all pupil pixels and pupil division pixels are arranged in a two-dimensional manner. Hereinafter, these two types of imaging pixels will be described in order.
- FIG. 2A is a plan view of the entire pupil pixel 21 as viewed from the incident direction of the subject light
- FIG. 2B is a cross-sectional view of the entire pupil pixel 21.
- the all-pupil pixel 21 includes a microlens 31, a photoelectric conversion unit 32, and a color filter 33.
- the photoelectric conversion unit 32 of all the pupil pixels 21 is designed to have a shape that receives all the light beams passing through the exit pupil (for example, F1.0) of the photographing optical system 11 by the micro lens 31.
- the entire pupil pixel 21 includes a color filter 33 of any one of red (R), green (G), and blue (B).
- all pupil pixels 21 including these three color filters 33 are two-dimensionally arranged in a so-called Bayer array.
- a microlens 31 is disposed in front of the photoelectric conversion unit 32, and the photoelectric conversion unit 32 is projected forward by the microlens 31.
- the photoelectric conversion unit 32 is formed on the semiconductor circuit substrate 34, and the color filter 33 is disposed between the microlens 31 and the photoelectric conversion unit 32.
- FIG. 3A is a plan view of the pupil division pixel 22 viewed from the incident direction of the subject light
- FIG. 3B is a cross-sectional view of the pupil division pixel 22.
- the pupil division pixel 22 is configured by a light shielding mask 35 that covers a part of the photoelectric conversion unit 32 in addition to the microlens 31, the photoelectric conversion unit 32, and the color filter 33 that are the same as those of the whole pupil pixel 21.
- the light shielding mask 35 of the present embodiment has a shape that covers the right half of the photoelectric conversion unit 32.
- FIG. 4 is a diagram schematically showing the imaging surface of the imaging device 12.
- five focus detection areas G1 to G5 are set.
- pupil division pixels 22 are linearly arranged in the longitudinal directions LD1 to LD5 of the respective areas.
- the photographer manually selects an arbitrary focus detection area from the focus detection areas G1 to G5 according to the shooting composition.
- the camera control unit 14 detects the defocus amount based on the light reception output of each imaging pixel in the focus detection area selected by the photographer.
- FIG. 5 is a partially enlarged view in which the focus detection region G1 and its periphery are enlarged as an example among the five focus detection regions G1 to G5 set on the imaging surface G.
- all pupil pixels 21 including color filters 33 of red (R), green (G), and blue (B) colors are two-dimensionally arranged in a Bayer array.
- a part of the entire pupil pixel 21 provided with the red color filter 33 is replaced with the pupil division pixel 22 provided with the green color filter 33. Yes.
- the reason why the color filter 33 of the pupil division pixel 22 is green is that all pupil pixels 21 having the green color filter 33 in the Bayer array are more than all pupil pixels 21 having the color filters 33 of other colors. This is because there are many.
- the camera control unit 14 When calculating the defocus amount, the camera control unit 14 generates a light reception output (G component) at a pixel position where the pupil division pixel 22 does not exist (details will be described later). Since the number is larger than that of all the pupil pixels 21, interpolation generation can be performed with higher accuracy than other colors. In addition, it is desirable to compare signals of the same color for phase difference detection. However, since the Bayer array has a lot of green, this signal comparison is also easier than other colors.
- the color filter 33 of the pupil division pixel 22 may be a color other than green. For example, a red color filter 33 may be provided, and the pixel output may be converted into a green component for comparison.
- the pupil division pixels 22 are arranged in a line at intervals of 3 pixels. In other words, one pupil division pixel 22 is arranged for every four pixels. In the pupil division pixel 22, part of the incident subject light is shielded by the light shielding mask 35. For this reason, when the camera control unit 14 creates image data based on the imaging signal output from the imaging device 12, the pixel corresponding to the pupil division pixel 22 is selected based on the output of all surrounding pupil pixels 21. Interpolate. Since such pixel interpolation is well known, a description thereof will be omitted.
- the camera control unit 14 executes automatic focus adjustment control according to this operation.
- the image sensor 12 photoelectrically converts a subject image formed by the photographing optical system 11 and outputs an imaging signal to the camera control unit 14.
- the camera control unit 14 uses the light reception output of the pupil division pixel 22 and the light reception outputs of all the surrounding pupil pixels 21 in the focus detection region selected by the photographer among the focus detection regions G1 to G5 for focus detection. Extract as data. Specifically, as indicated by a thick line in FIG. 9, (1) the output of the pupil divided pixels 22 arranged in a line, and (2) green (G) arranged in the same row as the pupil divided pixels 22. The output of all pupil pixels 21 having the color filter 33 and (3) columns adjacent to the column in which the pupil division pixels 22 are arranged (in FIG. 9, the upper and lower columns of the row in which the pupil division pixels 22 are arranged) ), And the outputs of all the pupil pixels 21 having the green (G) color filter 33 are extracted.
- the camera control unit 14 detects the defocus amount by a method described later using the extracted focus detection data. Then, a command for driving the focusing lens by a drive amount corresponding to the detected defocus amount is sent to the lens control unit 13. In response to this command, the lens controller 13 drives the focusing lens by an actuator (not shown). As a result, the subject within the focus detection area designated by the photographer is focused.
- the image pickup device 12 picks up a subject image and outputs an image pickup signal to the camera control unit 14.
- the camera control unit 14 performs various kinds of image processing including interpolation processing of the pupil division pixels 22 on the imaging signal, and generates image data of the subject image.
- the camera control unit 14 displays the generated image data on the display unit 15 or stores it in the storage medium 16.
- FIG. 6 is a diagram schematically showing the relationship between the distance measuring pupil of the photographing optical system 11 and each imaging pixel.
- the exit pupil 90 of the photographic optical system 11 is set at a position of a distance L in front of the microlens 31 arranged on the planned imaging plane of the photographic optical system 11.
- the distance L is a value determined according to the curvature and refractive index of the microlens 31, the distance between the microlens 31 and the photoelectric conversion unit 32, and the like.
- the microlens 31 is disposed on the planned imaging plane of the photographing optical system 11, and the shape of the photoelectric conversion unit 32 excluding the portion covered with the light shielding mask 35 by the microlens 31 of the pupil division pixel 22 is the microlens 31.
- the projection shape includes at least the distance measuring pupil 93, but does not include the distance measuring pupil 92 corresponding to the portion covered with the light shielding mask 35.
- the shape of the photoelectric conversion unit 32 is projected onto the exit pupil 90 separated by the distance L by the microlens 31 of the entire pupil pixel 21, and the projected shape includes at least the distance measuring pupils 92 and 93.
- the photoelectric conversion unit 32 of the pupil division pixel 22 outputs a signal corresponding to the intensity of the image formed on the microlens 31 by the focus detection light beam 73 that passes through the distance measuring pupil 93 and travels toward the microlens 31.
- the focus detection light beam 72 passing through the distance measuring pupil 92 toward the microlens 31 is blocked by the light shielding mask 35 and does not enter the photoelectric conversion unit 32. Therefore, the light reception output by the photoelectric conversion unit 32 of the pupil division pixel 22 does not include the component of the focus detection light beam 72.
- the intensity of an image formed on the microlens 31 by the focus detection light beams 82 and 83 that pass through the distance measuring pupils 92 and 93 and go to the microlens 31 is input to the photoelectric conversion unit 32 of all the pupil pixels 21.
- the signal corresponding to is output.
- the arrangement direction of the pupil division pixels 22 is made to coincide with the division direction of the pair of distance measurement pupils 92 and 93.
- all pupil pixels 21 and pupil-divided pixels 22 have different pupil sizes through which the received light flux passes. This causes a difference in the image shape of the received light output between the all-pupil pixel 21 and the pupil division pixel 22.
- the defocus amount is detected with high accuracy by correcting such a difference in image shape.
- the all-pupil pixel 21 is referred to as “all-pupil” for the sake of convenience, but it is not always necessary to receive all of the light flux that passes through the exit pupil 90 of the photographing optical system 11. It is sufficient that at least a light beam including a light beam received by the photoelectric conversion unit 32 of the pupil division pixel 22 and having a larger spread than the light beam can be received. That is, it is only necessary to receive a light beam that includes a distance measuring pupil 93 corresponding to the pupil division pixel 22 and passes through a region larger than the distance measuring pupil 93.
- FIG. 7 is a schematic optical path diagram in a so-called rear pin state where the rear side of the subject is in focus.
- the light beam from the object point P1 is incident on the imaging surface G of the imaging device 12 with a certain spread.
- the photoelectric conversion unit 32 of the pupil division pixel 22 does not receive the light incident from the left side of the microlens 31. Accordingly, in the rear pin state as shown in FIG. 7, the photoelectric conversion unit 32 of the pupil division pixel 22 irradiates the right side of the principal ray including the light beam from the distance measuring pupil 93 out of the light beam emitted from the object point P1. Only the luminous flux that is received is received.
- the light reception output 52 of the pupil division pixels 22 is on the right side of the light reception output 51 of the whole pupil pixels 21. Will appear.
- FIG. 8 is a schematic optical path diagram in a so-called front pin state where the front side of the subject is in focus.
- the light flux from the object point P2 is incident on the imaging surface G of the imaging device 12 with a certain spread as in the case of the rear pin described above.
- the light beam from the distance measuring pupil 93 is applied to the left side of the principal ray.
- the photoelectric conversion unit 32 of the pupil-divided pixel 22 receives only the light beam irradiated to the left side of the principal ray including the light beam from the distance measuring pupil 92 among the light beams emitted from the object point P2.
- the light reception output 52 of pupil division pixels 22 is on the left side with respect to the light reception output 51 of all pupil pixels 21. Will appear.
- the appearance position of the light reception output of the pupil division pixel 22 with respect to the light reception output of the whole pupil pixel 21 is different between the case of the front pin and the case of the rear pin. That is, it is possible to detect the defocus amount by examining the positional relationship between the light reception output of all pupil pixels 21 and the light reception output of pupil division pixel 22.
- FIG. 10 is a block diagram illustrating a functional unit for detecting the defocus amount included in the camera control unit 14.
- the light receiving output of all pupil pixels 21 and the light receiving output of pupil division pixels 22 are input from the image sensor 12 to the camera control unit 14.
- the light reception output of all pupil pixels 21 is referred to as “all pupil pixel data”.
- the light reception output of the pupil division pixel 22 is referred to as “pupil division pixel data”.
- the G interpolation unit 61 applies G to all pixel positions that are not “all pupil pixels 21 having the green (G) color filter 33” among the imaging pixels arranged in the same row as the pupil division pixels 22. Interpolate components. Interpolation generation is performed as follows. First, the absolute value of the difference between the output values of the two all-pupil pixels 21 arranged above and below the pixel position to be generated is calculated. Next, the absolute value of the difference between the output values of the two all-pupil pixels 21 arranged on the left and right of the pixel position to be generated is calculated.
- the G interpolation unit 61 complementarily generates the G component by the above procedure, and it seems as if all the pupil pixels 21 having the green (G) color filter 33 exist without a gap in the row where the pupil division pixel 22 exists. All pupil pixel data is generated and output. Note that the G interpolation unit 61 may perform interpolation generation of the G component by a procedure different from that described above.
- the pre-stage phase difference detection unit 62 detects the phase difference between the pupil division pixel data and the entire pupil pixel data interpolated by the G interpolation unit 61.
- the pupil division pixel data at the pixel position of the coordinate x is P (x)
- the whole pupil pixel data at the pixel position of the coordinate x is Q (x)
- the shift number d is changed in the range of ⁇ 70 to 70, for example.
- the evaluation value E (d) is calculated from the equation (1).
- the photoelectric conversion unit 32 of the pupil division pixel 22 can receive only approximately half of the light beam compared to the photoelectric conversion unit 32 of all the pupil pixels 21. That is, when the same amount of light flux is irradiated, the light reception output of the pupil division pixel 22 is about half of the light reception output of all pupil pixels 21, so that the pupil division pixel data is calculated in advance when calculating the evaluation value E (d).
- the scales of P (x) and all pupil pixel data Q (x) are matched.
- x is the coordinates of all the pupil division pixels 22 arranged in a line in the focus detection area of the focus detection target. That is, the above equation (1) is an equation for summing the absolute value of the difference between the pupil division pixel data of all the pixel division pixels 22 and the whole pupil pixel data corresponding to the position shifted by d from that pixel. is there.
- the pre-stage phase difference detecting unit 62 selects the value of d that gives the minimum E (d) among the values of E ( ⁇ 70) to E (70) calculated in this way as the pre-stage phase difference da. To the unit 63.
- each image shape correction filter includes a plurality of (for example, about 100) filter coefficients.
- the filter selection unit 63 selects any one of the eleven image shape correction filters fA, fB, fC,..., FK according to the previous phase difference output from the previous phase difference detection unit 62, and the image shape. Output to the difference correction unit 64.
- FIG. 11 is a diagram illustrating a method for determining an image shape correction filter output by the filter selection unit 63.
- the filter selection unit 63 outputs the image shape correction filter fA as f (i).
- correction target data is designated in advance for the image shape correction filters fA to fK.
- Image shape correction filters fA, fB, fC, fD, fH, fI, fJ, and fK are filters for correcting pupil division pixel data, and image shape correction filters fE, fF, and fG correct all pupil pixel data. It is a filter for.
- the image shape difference correction unit 64 convolves the image shape correction filter output from the filter selection unit 63 with the pupil division pixel data or the whole pupil pixel data, so that the image shapes of the pupil division pixel data and the whole pupil pixel data are obtained. Correct the difference.
- the filter selection unit 63 outputs an image shape correction filter f (i) for correcting pupil division pixel data
- the image shape difference correction unit 64 outputs pupil division pixel data T (x) after image shape correction, and All-eye pixel data U (x) after image shape correction is calculated and output by the following equations (2) and (3).
- the image shape difference correction unit 64 outputs the entire pupil pixel data as it is without any modification, and outputs the pupil divided pixel data after correction by the image shape correction filter f (i).
- the filter selection unit 63 outputs the image shape correction filter f (i) for correcting all pupil pixel data
- the calculation is performed by T (x) and U (x), and the following equations (4) and (5). And output.
- the image shape difference correction unit 64 outputs all the pupil pixel data after correction by the image shape correction filter f (i), and outputs the pupil division pixel data as it is without any modification.
- Q (x + i) in the above equation (5) may be combined with the above equation (2) to be “Q (x + 4 ⁇ i)”.
- the pupil division pixel data T (x) and all pupil pixel data U (x) output from the image shape difference correction unit 64 are input to the phase difference detection unit 65.
- the phase difference detection unit 65 detects and outputs the phase difference between these two data. Since the method of detecting the phase difference is the same as that of the preceding phase difference detection unit 62, the description thereof is omitted. However, the phase difference detection unit 65 calculates the phase difference with decimal precision using a known interpolation method or the like.
- the defocus amount conversion unit 66 multiplies the phase difference output by the phase difference detection unit 65 by a predetermined defocus amount conversion coefficient K to calculate the defocus amount Df.
- a method of determining the defocus amount conversion coefficient K will be described in detail later.
- a large number of image shape correction filters fA to fK are prepared, and they are switched and used in accordance with the preceding phase difference da detected by the preceding phase difference detecting unit 62. is doing. This is because an appropriate image shape correction filter varies depending on the phase difference.
- either the pupil division pixel data or the whole pupil pixel data is switched according to the preceding phase difference da, because the interval between the pupil division pixels 22 is wider than the interval between all the pupil pixels 21. is there. Since the number of pieces of pupil division pixel data is smaller than that of all pupil pixel data, from the viewpoint of calculation amount, it is desirable to perform the convolution calculation using the image shape correction filter on the pupil division pixel data if possible.
- the absolute value of the preceding phase difference da is large with respect to the interval between the pupil division pixels 22, the blur amount of the subject image is sufficiently large. That is, the brightness of the subject image changes gently to some extent with respect to the arrangement direction of the pupil division pixels 22.
- the pupil division pixel 22 has resolved the optical image. Therefore, it is possible to appropriately correct the image shape with respect to the pupil division pixel data.
- the case where the absolute value of the previous phase difference da is smaller than the interval between the pupil-divided pixels means that the blur amount of the subject image formed by the photographing optical system 11 is small.
- the subject image has a sharp edge. That is, the luminance of the subject image changes steeply with respect to the arrangement direction of the pupil division pixels 22. Therefore, it is difficult to specify the position of the edge of the subject image in the pupil division pixel 22 arranged only for every four pixels, and the luminance change of the subject image cannot be captured sufficiently. In other words, the pupil division pixel 22 cannot reproduce a fine optical image.
- the corrected image shape is likely to be inaccurate compared to the original image shape, and it is inappropriate to correct the image shape for the pupil-divided pixel data (convolve the image shape correction filter). It is. Therefore, in the present embodiment, when the absolute value of the previous phase difference da is relatively small, all pupil pixel data is corrected.
- a memory (not shown) included in the camera control unit 14 stores image shape correction filters fA to fK and a defocus amount conversion coefficient K that are calculated in advance.
- the manufacturer of the digital camera 1 performs the processing described below to calculate the image shape correction filters fA to fK and the defocus amount conversion coefficient K, and stores these data in the memory when the digital camera 1 is shipped.
- test chart about the size of A3 paper.
- black vertical lines having different thicknesses of about several millimeters to several centimeters are depicted.
- the test chart is photographed by the procedure described below using the digital camera 1 itself shipped or a camera having the same optical characteristics as the digital camera 1.
- a camera used to create a test chart is referred to as a sample camera.
- test chart is fixed at a position 1 meter from the imaging surface of the sample camera, and the focusing lens of the photographing optical system 11 is fixed at a specific position. Then, photographing with the sample camera is performed while moving the test chart 1 cm forward and backward in the optical axis direction. At this time, the calculation of the defocus amount and the detection of the phase difference similar to the pre-phase difference detection unit 62 are performed on the image pickup signal output from the image pickup device 12 in each photographing.
- the defocus amount when the photographing result having the highest contrast is obtained is set to 0, and the photographing magnification of the photographing optical system 11 is added to the amount obtained by moving the test chart back and forth from there.
- the amount obtained is set as the defocus amount.
- the correspondence between the defocus amount and the phase difference can be obtained by performing the photographing by the above procedure. For example, assuming a proportional relationship between the defocus amount and the phase difference amount, approximation may be performed using a proportional expression.
- x is the coordinates of all pupil-divided pixels 22 arranged in a line in the focus detection area of the focus detection target, as in formula (1).
- Sij is a square matrix having the same number of rows and columns as the number of filter coefficients included in each image shape correction filter, and Rj is a vector having the same number of elements. If Sij and Rj are calculated, the image shape correction filter fAr (i) before correcting the center of gravity position is obtained by solving the simultaneous linear equations shown in the following equation (8).
- fAr (i + C) may be obtained by well-known linear interpolation or the like from the value of the image shape correction filter fAr corresponding to integers before and after (i + C), for example.
- the image shape correction filter fA is obtained by the above procedure.
- the pupil division pixel data P (x) and the whole pupil pixel data Q (() when the test chart is photographed with defocus amounts corresponding to the phase differences of ⁇ 50, ⁇ 30, ⁇ 15, 15, 30, 50, and 70 pixels, respectively. and x) are used in the same procedure to obtain image shape correction filters fB, fC, fD, fH, fI, fJ, and fK, respectively.
- x is a coordinate corresponding to all the pupil pixel data.
- the image shape correction filter fE is obtained by applying the above equations (8), (9), and (10) to the coefficients Rij and Sj calculated here. Using the pupil division pixel data P (x) and the whole pupil pixel data Q (x) when the test chart is photographed with the defocus amounts corresponding to the phase differences of 0 and 6 pixels, the calculation is performed in the same procedure. As a result, image shape correction filters fF and fG are obtained, respectively.
- the image shape correction filters fA to fK derived by the above procedure are stored in a memory (not shown) in the camera control unit 14 of the sample camera so that the filter selection unit 63 can use them. Then, with respect to the imaging signal output from the imaging device 12 when the test chart is captured with each defocus amount, the process from the interpolation processing by the G interpolation unit 61 to the phase difference detection processing by the phase difference detection unit 65 in FIG. 10 is executed. . A proportional relationship is assumed between the phase difference in which the image shape difference obtained by this correction is corrected and the defocus amount, and a proportional coefficient between the phase difference and the defocus amount is derived. This proportionality coefficient is the defocus amount conversion coefficient K described above.
- the image shape correction filters fA to fK and the defocus amount conversion coefficient K derived by the above procedure are stored in a memory (not shown) in the camera control unit 14 of the digital camera 1 to be shipped.
- the image shape difference correction unit 64 uses any one of the image shape correction filters fE to fG to All pupil pixel data Q (x) is corrected by (4) and (5).
- the image shape correction filter fE will be described as an example. If the filter coefficients of the image shape correction filter fE (i) are appropriately adjusted here, the shapes of T (x) and U (x) after correction are substantially reduced. Can be matched. For this purpose, the square error e between T (x) and U (x) is defined by the following equation (13), and fE (i) that minimizes this e may be obtained.
- conditional expression is as shown in the following expression (14).
- the image shape correction filter fE (i) is calculated.
- the image shape correction filter fE (i) is determined by the optical conditions of the photographing optical system 11 and the characteristics of the image sensor 12, and does not depend on the shape of the subject. Accordingly, if the pupil division pixel data P (x) and all pupil pixel data Q (x) output from the image sensor 12 when the test chart is photographed are given to the above equations (15), (16), and (17).
- An image shape correction filter fE (i) applicable to a general subject can be obtained. The same applies to the other image shape correction filters fF and fG and image shape correction filters fA to fD and fH to fK for correcting pupil division pixel data.
- the phase difference detection unit 65 receives pupil divisional image data output from the pupil division pixel 22 that receives one of the pupil-divided pair of light beams and does not receive the other, and imaging optics arranged around the pupil division pixel 22.
- the phase difference between the entire pupil image data output from the entire pupil pixel 21 that receives the light beam that has passed through the entire pupil region of the system 11 is detected.
- the defocus amount conversion unit 66 detects the defocus amount based on this phase difference.
- the image shape correcting unit 64 differs in image shape between the pupil divided image data and the whole pupil image data with respect to at least one of the pupil divided image data and the whole pupil image data used by the phase difference detecting unit 65 to detect the phase difference. Correction processing is performed to correct. Since it did in this way, defocus amount can be detected accurately.
- the image shape difference correction unit 64 performs a correction process for convolving predetermined image shape correction filters fA to fK on one of the pupil division pixel data and all pupil pixel data. Since it did in this way, the difference in the image shape of a pair of data is correct
- the pupil-divided pixels 22 are arranged in the imaging element 12 at a wider interval than the interval between all the pupil pixels 21, and the image shape difference correction unit 64 applies the image shape correction filter fE to all the pupil pixel data. Fold up ⁇ fG. As a result, even if the previous phase difference da is small and the pupil-divided pixel 22 cannot reproduce a fine optical image, the difference in image shape can be reliably corrected.
- the pre-stage phase difference detection unit 62 detects the pre-stage phase difference da of the pupil division pixel data and all pupil pixel data before the image shape difference correction unit 64 performs the correction process.
- the image shape difference correction unit 64 selects any one of the plurality of image shape correction filters fA to fK on the basis of the previous phase difference da detected by the previous phase difference detection unit 62, and outputs the pupil-divided pixel data and all of the image data. Convolve the selected image shape correction filter for one of the pupil pixel data. Since it did in this way, it becomes possible to use the suitable image shape correction filter according to the magnitude
- the pre-stage phase difference detection unit 62 detects the pre-stage phase difference da of the pupil division pixel data and all the pupil pixel data before the image shape difference correction unit 64 performs the correction process.
- pupil-divided pixels 22 are arranged on the image sensor 12 at intervals wider than the intervals between all pupil pixels 21.
- the image shape difference correction unit 64 convolves an image shape correction filter with the pupil division pixel data when the absolute value of the previous phase difference da detected by the previous phase difference detection unit 62 is greater than 10. Since the number of pieces of pupil division pixel data is smaller than that of all pupil pixel data, it is possible to reduce the amount of calculation necessary for the convolution calculation.
- the image shape correction filters fA to fK are one of pupil division pixel data and all pupil pixel data obtained by taking an image of a predetermined test chart formed by the photographing optical system 11 with the image pickup device 12.
- the image shape correction filter is convoluted, the image shape difference between the pupil division pixel data and the whole pupil pixel data is minimized. Since it did in this way, the difference in image shape is correct
- the digital camera of this embodiment has the same configuration as that of the first embodiment, but the defocus amount detection method by the camera control unit 14 is different from that of the first embodiment.
- a defocus amount detection method according to the second embodiment will be described in detail.
- the same parts as those of the first embodiment are denoted by the same reference numerals as those of the first embodiment, and the description thereof is omitted.
- FIG. 12 is a block diagram illustrating a functional unit for detecting a defocus amount, which is included in the camera control unit 14 according to the second embodiment.
- the G interpolation unit 61 is as if all the pupil pixels 21 having the green (G) color filter 33 exist without gaps in the row where the pupil division pixels 22 exist. All pupil data is generated and output.
- the filter selection unit 163 outputs all the image shape correction filters fA to fK stored in a memory (not shown).
- the image shape correction filters fA to fK output from the filter selection unit 163, the entire pupil pixel data output from the G interpolation unit 61, and the pupil division pixel data are input to the image shape difference correction unit 164.
- the image shape difference correction unit 164 corrects the image shape difference using the image shape correction filter for each of the image shape correction filters fA to fK input from the filter selection unit 163.
- the image shape difference correction unit 164 sets 11 sets of corrected pupil division pixel data T (x) and corrected all pupil pixel data U (x) corresponding to each of the image shape correction filters fA to fK. Create a pair.
- the eleven sets of created pupil division pixel data T (x) and all pupil pixel data U (x) are all output to the phase difference detection unit 165.
- the phase difference detection unit 165 is the same as that of the first embodiment for each of the 11 sets of pupil division pixel data T (x) and all pupil pixel data U (x) output from the image shape difference correction unit 164.
- the correlation value E (d) is calculated by the following equation (18) while changing the shift number d in the range of ⁇ 70 to 70.
- x is the coordinates of all pupil-divided pixels 22 arranged in a line in the focus detection area of the focus detection target. That is, the above equation (1) is an equation for summing the absolute value of the difference between the pupil division pixel data of all the pixel division pixels 22 and the whole pupil pixel data corresponding to the position shifted by d from that pixel. is there.
- the phase difference detection unit 165 sets the value of d giving the minimum E (d) among the values of E ( ⁇ 70) to E (70) calculated in this way as the phase difference.
- the phase difference detection unit 165 performs this calculation for each of the 11 sets of pupil division pixel data T (x) and all the pupil pixel data U (x), and 11 sets of phase differences d and the correlation value E (d) at that time. Get. Then, among these 11 sets of values, the smallest correlation value E (d) is selected (that is, the set having the smallest difference in image shape), and the phase difference d giving that E (d) is selected as the defocus amount conversion unit. 66.
- the camera control unit 14 of this embodiment actually corrects the image shape difference and detects the phase difference for all the image shape correction filters fA to fK, and obtains the result that the image shape difference is minimized. Adopted as a result of final phase difference detection.
- the image shape correction unit 164 convolves the image shape correction filter with respect to one of the pupil divided image data and the whole pupil image data for each of the plurality of image shape correction filters fA to fK, and the phase difference detection unit 165. Thereafter, the phase difference d and the correlation value E (d) between the pupil divided image data and the whole pupil image data are calculated.
- the defocus amount conversion unit 66 detects the defocus amount based on the phase difference d when the correction process is performed using the image shape correction filter coefficient having the smallest correlation value. Since this is done, it is possible to reflect the correction of the image shape using the optimum image shape correction filter in the phase difference detection without detecting the previous phase difference da by the previous phase difference detection unit 62 in advance. .
- the digital camera of the present embodiment has the same configuration as that of the first embodiment, but the application pattern of the eleven image shape correction filters with respect to the preceding phase difference da is different from that of the first embodiment.
- application patterns of the eleven image shape correction filters in the third embodiment will be described in detail.
- the same parts as those of the first embodiment are denoted by the same reference numerals as those of the first embodiment, and the description thereof is omitted.
- FIG. 13 is a diagram illustrating a method for determining an image shape correction filter output by the filter selection unit 63 according to the third embodiment.
- the filter selection unit 63 of the present embodiment selects any one of 11 image shape correction filters fA, fB, fC,..., FK according to the previous phase difference output from the previous phase difference detection unit 62. And output to the image shape difference correction unit 64.
- the filter selection unit 63 When the pre-stage phase difference da is less than ⁇ 12, the filter selection unit 63 outputs the image shape correction filter fA as f (i). When the pre-stage phase difference da is ⁇ 12 or more and less than ⁇ 8, the filter selection unit 63 outputs the image shape correction filter fB as f (i). When the previous phase difference da is ⁇ 8 or more and less than ⁇ 4, the filter selection unit 63 outputs the image shape correction filter fC as f (i). When the previous phase difference da is ⁇ 4 or more and less than ⁇ 2, the filter selection unit 63 outputs the image shape correction filter fD as f (i).
- the filter selection unit 63 When the pre-stage phase difference da is ⁇ 2 or more and less than ⁇ 1, the filter selection unit 63 outputs the image shape correction filter fE as f (i). When the preceding phase difference da is ⁇ 1 or more and 1 or less, the filter selection unit 63 outputs the image shape correction filter fF as f (i). When the previous phase difference da exceeds 1 and is 2 or less, the filter selection unit 63 outputs the image shape correction filter fG as f (i). When the previous phase difference da exceeds 2 and is 4 or less, the filter selection unit 63 outputs the image shape correction filter fH as f (i).
- the filter selection unit 63 When the previous phase difference da exceeds 4 and is 8 or less, the filter selection unit 63 outputs the image shape correction filter fI as f (i). When the previous phase difference da exceeds 8 and is 12 or less, the filter selection unit 63 outputs the image shape correction filter fJ as f (i). When the preceding phase difference da exceeds 12, the filter selection unit 63 outputs the image shape correction filter fK as f (i).
- the image shape correction filters fA to fK in the present embodiment have a phase difference of ⁇ 14, ⁇ 10, ⁇ 6, ⁇ 3, ⁇ 1.5, 0, 1.5, 3, 6, 10, and 14 pixels. This is obtained using the pupil division pixel data P (x) and the whole pupil pixel data Q (x) when the test chart is photographed with the corresponding defocus amount.
- the digital camera of the present embodiment has the same configuration as that of the third embodiment, but when the previous phase difference da is sufficiently small, neither the pupil division pixel data nor all pupil pixel data is corrected. This is different from the third embodiment.
- the application pattern of the image shape correction filter in the fourth embodiment will be described in detail. In the following description, the same portions as those of the third embodiment are denoted by the same reference numerals as those of the third embodiment, and the description thereof is omitted.
- FIG. 14 is a diagram illustrating a method for determining an image shape correction filter output by the filter selection unit 63 according to the fourth embodiment.
- Eight image shape correction filters fA, fB, fC, fD, fH, fI, fJ, and fK are stored in advance in a memory (not shown) of the camera control unit 14.
- fE, fF, and fG are not stored in the memory among the 11 image shape correction filters mentioned in the third embodiment.
- the filter selection unit 63 When the pre-stage phase difference da is less than ⁇ 12, the filter selection unit 63 outputs the image shape correction filter fA as f (i). When the pre-stage phase difference da is ⁇ 12 or more and less than ⁇ 8, the filter selection unit 63 outputs the image shape correction filter fB as f (i). When the previous phase difference da is ⁇ 8 or more and less than ⁇ 4, the filter selection unit 63 outputs the image shape correction filter fC as f (i). When the previous phase difference da is ⁇ 4 or more and less than ⁇ 2, the filter selection unit 63 outputs the image shape correction filter fD as f (i).
- the filter selection unit 63 When the previous phase difference da exceeds 2 and is 4 or less, the filter selection unit 63 outputs the image shape correction filter fH as f (i). When the previous phase difference da exceeds 4 and is 8 or less, the filter selection unit 63 outputs the image shape correction filter fI as f (i). When the previous phase difference da exceeds 8 and is 12 or less, the filter selection unit 63 outputs the image shape correction filter fJ as f (i). When the preceding phase difference da exceeds 12, the filter selection unit 63 outputs the image shape correction filter fK as f (i).
- the filter selection unit 63 does not output the image shape correction filter f (i).
- the image shape difference correction unit 64 calculates the pupil division pixel data T (x) and the whole pupil pixel data U (x) as Calculate and output according to (19) and (20).
- T (x) P (x) (19)
- U (x) Q (x) (20)
- the image shape difference correction unit 64 when the previous phase difference da is not less than ⁇ 2 and not more than 2 (that is, when the blur amount of the subject image is sufficiently small), both the whole-eye pixel data and the pupil-divided pixel data are manually processed. Output as is without adding.
- the image shape correcting unit 64 receives a light beam that has passed through the entire pupil region of the photographing optical system 11 with respect to pupil-divided image data output from a pupil-divided pixel that receives one of a pair of light beams divided into pupils. A correction process is performed to correct the difference in image shape from the entire pupil image data output from the entire pupil pixel 21. Since it did in this way, defocus amount can be detected accurately.
- Modification 1 In each of the above-described embodiments, only one of the pupil division pixel data and all pupil pixel data is corrected according to the image shape correction filter, thereby correcting the difference in image shape between the two data.
- both data may be corrected.
- a correction process for convolving an image shape correction filter on one side and a known filter for smoothing on the other side may be performed. By doing in this way, it becomes possible to detect a more accurate phase difference.
- the arrangement interval of the pupil division pixels 22 is not limited to that for every four pixels shown in FIG. It may be wider or narrower than this.
- the method of covering the photoelectric conversion unit 32 with the light-shielding mask 35 is not limited to those in the above-described embodiments.
- the light shielding mask 35 may cover the left half of the pupil division pixel 22.
- the shape of the photoelectric conversion unit 32 may not be a square as in the above-described embodiments. For example, it may be circular along the shape of the microlens 31. Further, the imaging device 12 may be configured by arranging a large number of photoelectric conversion units 32 on the rear side of one microlens 31. When such a configuration is adopted, the light shielding mask 35 is unnecessary, and the photoelectric conversion unit 32 used for detecting the defocus amount can be arbitrarily selected. That is, the positions of the distance measuring pupils 92 and 93 can be arbitrarily selected.
- the positions of the distance measuring pupils 92 and 93 are not limited to the above-described embodiment. As long as all the pupil pixels 21 are configured to receive at least both of the pair of light beams that have passed through the pair of distance measuring pupils, and the pupil division pixel 22 is configured to receive one of the pair of light beams and not receive the other, The present invention can be applied.
- the focus detection areas G1 to G5 may be different from those illustrated in FIG. For example, it may be in a different place from that in FIG. 4, or it may be a larger number (or a smaller number). Further, the defocus amount may be detected simultaneously for all the focus detection areas G1 to G5. Further, instead of defining the focus detection regions G1 to G5 and arranging the pupil division pixels 22 there, the pupil division pixels 22 may be arranged over the entire imaging surface G. When the pupil division pixels 22 are arranged in this way, the defocus amount can be detected at an arbitrary position on the imaging surface G.
- the number of filter coefficients included in the image shape correction filter is not limited to the number described above. Further, the correspondence relationship between the value of the preceding phase difference da shown in FIG. 11 and each of the image shape correction filters fA to fK is an example, and other correspondence relationships may be set. Further, the number of image shape correction filters may not be eleven from fA to fK, and a larger number of image shape correction filters may be prepared or fewer.
- the data to be corrected by each of the image shape correction filters fA to fK is not limited to that illustrated in FIG. For example, the image shape difference correction unit 64 may be configured to always correct only one data.
- the digital camera to which the defocus amount detection device of the present invention is applied has been described.
- the present invention is not limited to such an embodiment.
- the present invention can be applied to an apparatus that only detects the defocus amount and does not store a captured image.
- the present invention is applied to a defocus amount detection device that does not have the photographing optical system 11 and the image sensor 12 and detects the defocus amount based on pupil division pixel data and all pupil pixel data input from the outside of the device. It is also possible.
- the present invention is not limited to the above-described embodiments, and other forms conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention. .
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Abstract
デフォーカス量検出装置は、瞳分割した一対の光束の一方を受光する第1画素から出力される瞳分割像データと、少なくとも瞳を含む領域を通過した光束を受光する第2画素から出力される全瞳像データと、の少なくとも一方に対し瞳分割像データと全瞳像データとの像形状の差異を補正する補正処理を行う像形状補正部を備える。
Description
本発明は、デフォーカス量検出装置およびカメラに関する。
従来、撮像面に配列した撮像画素のうち、一部を瞳分割型位相差検出方式の焦点検出画素に置き換え、撮像画素から得られる全瞳画素信号列と、焦点検出画素から得られる瞳分割画素信号列との間の位相差を検出することによりデフォーカス状態を検出する技術が知られている。例えば特許文献1には、正方形の光電変換部を有する全瞳画素と、その正方形を垂直二等分線で分割した左半分の光電変換部を有する瞳分割画素と、のそれぞれから得られる一対の像信号に対して像ずれ検出演算を行う位相差方式のデフォーカス量検出装置が記載されている。
従来技術には、全瞳画素から得られる像信号と瞳分割画素から得られる像信号とで瞳の大きさの差によって像形状が異なり、位相差検出の精度が低下してしまうという問題があった。
本発明の第1の態様によると、デフォーカス量検出装置は、瞳分割した一対の光束の一方を受光する第1画素から出力される瞳分割像データと、少なくとも瞳を含む領域を通過した光束を受光する第2画素から出力される全瞳像データと、の少なくとも一方に対し瞳分割像データと全瞳像データとの像形状の差異を補正する補正処理を行う像形状補正部を備える。
本発明の第2の態様によると、第1の態様のデフォーカス量検出装置において、像形状補正部は、瞳分割像データおよび全瞳像データの少なくとも一方に対し、所定の像形状補正フィルター係数を畳み込む補正処理を行うことが好ましい。
本発明の第3の態様によると、第2の態様のデフォーカス量検出装置において、第1画素は、第2画素の間隔よりも広い間隔で配列され、像形状補正部は、全瞳像データに対して像形状補正フィルター係数を畳み込むことが好ましい。
本発明の第4の態様によると、第2の態様のデフォーカス量検出装置において、像形状補正部により補正処理が行われる前の瞳分割像データおよび全瞳像データの位相差を検出する前段位相差検出部を備え、像形状補正部は、前段位相差検出部により検出された位相差に基づいて、複数の像形状補正フィルター係数からいずれか1つを選択し、瞳分割像データおよび全瞳像データの少なくとも一方に対して当該選択された像形状補正フィルター係数を畳み込むことが好ましい。
本発明の第5の態様によると、第2の態様のデフォーカス量検出装置において、像形状補正部により補正処理が行われる前の瞳分割像データおよび全瞳像データの位相差を検出する前段位相差検出部を備え、第1画素は、第2画素の間隔よりも広い間隔で配列され、像形状補正部は、前段位相差検出部により検出された位相差が所定のしきい値よりも大きい場合には、瞳分割像データに対して像形状補正フィルター係数を畳み込むことが好ましい。
本発明の第6の態様によると、第2の態様のデフォーカス量検出装置において、像形状補正部は、複数の像形状補正フィルター候補係数の各々について、瞳分割像データおよび全瞳像データの少なくとも一方に対して当該像形状補正フィルター候補係数を畳み込んだ後に該瞳分割像データと該全瞳像データとの相関値を演算し、相関値が最も小さくなる像形状補正フィルター候補係数を像形状補正フィルター係数として補正処理を行うことが好ましい。
本発明の第7の態様によると、第2の態様のデフォーカス量検出装置において、像形状補正フィルター係数は、撮影光学系により結像された所定のテストチャートの光像を第1画素および第2画素により受光することで得られた瞳分割像データおよび全瞳像データの少なくとも一方に対して、当該像形状補正フィルター係数を畳み込んだ場合に瞳分割像データおよび全瞳像データの像形状の差異が最小となる係数であることが好ましい。
本発明の第8の態様によると、デフォーカス量検出装置は、瞳分割した一対の光束の一方を受光する第1画素から出力される瞳分割像データに対し、少なくとも瞳を含む領域を通過した光束を受光する第2画素から出力される全瞳像データとの像形状の差異を補正する補正処理を行う像形状補正部を備える。
本発明の第9の態様によると、カメラは、第1~8のいずれか一態様のデフォーカス量検出装置を備える。
本発明の第2の態様によると、第1の態様のデフォーカス量検出装置において、像形状補正部は、瞳分割像データおよび全瞳像データの少なくとも一方に対し、所定の像形状補正フィルター係数を畳み込む補正処理を行うことが好ましい。
本発明の第3の態様によると、第2の態様のデフォーカス量検出装置において、第1画素は、第2画素の間隔よりも広い間隔で配列され、像形状補正部は、全瞳像データに対して像形状補正フィルター係数を畳み込むことが好ましい。
本発明の第4の態様によると、第2の態様のデフォーカス量検出装置において、像形状補正部により補正処理が行われる前の瞳分割像データおよび全瞳像データの位相差を検出する前段位相差検出部を備え、像形状補正部は、前段位相差検出部により検出された位相差に基づいて、複数の像形状補正フィルター係数からいずれか1つを選択し、瞳分割像データおよび全瞳像データの少なくとも一方に対して当該選択された像形状補正フィルター係数を畳み込むことが好ましい。
本発明の第5の態様によると、第2の態様のデフォーカス量検出装置において、像形状補正部により補正処理が行われる前の瞳分割像データおよび全瞳像データの位相差を検出する前段位相差検出部を備え、第1画素は、第2画素の間隔よりも広い間隔で配列され、像形状補正部は、前段位相差検出部により検出された位相差が所定のしきい値よりも大きい場合には、瞳分割像データに対して像形状補正フィルター係数を畳み込むことが好ましい。
本発明の第6の態様によると、第2の態様のデフォーカス量検出装置において、像形状補正部は、複数の像形状補正フィルター候補係数の各々について、瞳分割像データおよび全瞳像データの少なくとも一方に対して当該像形状補正フィルター候補係数を畳み込んだ後に該瞳分割像データと該全瞳像データとの相関値を演算し、相関値が最も小さくなる像形状補正フィルター候補係数を像形状補正フィルター係数として補正処理を行うことが好ましい。
本発明の第7の態様によると、第2の態様のデフォーカス量検出装置において、像形状補正フィルター係数は、撮影光学系により結像された所定のテストチャートの光像を第1画素および第2画素により受光することで得られた瞳分割像データおよび全瞳像データの少なくとも一方に対して、当該像形状補正フィルター係数を畳み込んだ場合に瞳分割像データおよび全瞳像データの像形状の差異が最小となる係数であることが好ましい。
本発明の第8の態様によると、デフォーカス量検出装置は、瞳分割した一対の光束の一方を受光する第1画素から出力される瞳分割像データに対し、少なくとも瞳を含む領域を通過した光束を受光する第2画素から出力される全瞳像データとの像形状の差異を補正する補正処理を行う像形状補正部を備える。
本発明の第9の態様によると、カメラは、第1~8のいずれか一態様のデフォーカス量検出装置を備える。
本発明によれば、精度よくデフォーカス量を検出を行うことができる。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係るデジタルカメラの構成を示すブロック図である。デジタルカメラ1は、撮影光学系11、撮像素子12、レンズ制御部13、カメラ制御部14、表示部15、および記憶媒体16を備える。
図1は、本発明の第1の実施の形態に係るデジタルカメラの構成を示すブロック図である。デジタルカメラ1は、撮影光学系11、撮像素子12、レンズ制御部13、カメラ制御部14、表示部15、および記憶媒体16を備える。
撮影光学系11は、被写体像を所定の予定結像面に結像させる。なお、図1では撮影光学系11を便宜上1枚のレンズとして図示しているが、実際には焦点調節用のフォーカシングレンズを含む複数枚のレンズにより構成されている。撮像素子12は、例えばCCDやCMOS等の固体撮像素子であり、撮像面が撮影光学系11の予定結像面と略一致するように配置される。撮像素子12の撮像面には、複数の撮像画素(受光素子)が二次元状に配列されている。撮像素子12の撮像面の構成については後に詳述する。
撮像素子12が有する複数の撮像画素の受光出力(撮像信号)は、カメラ制御部14に入力される。カメラ制御部14は、不図示のマイクロコンピュータおよびその周辺回路から構成され、所定の制御プログラムを実行することによりデジタルカメラ1の各部を制御する。
焦点検出時、カメラ制御部14は撮像素子12から出力される撮像信号に基づいて、撮影光学系11のデフォーカス量を検出する。そして、検出したデフォーカス量に応じた駆動量だけフォーカシングレンズが駆動されるように、レンズ制御部13を制御する。レンズ制御部13は、例えばステッピングモータや超音波モータ等のアクチュエータを備え、カメラ制御部14の制御に従って不図示のフォーカシングレンズを光軸方向に駆動する。
撮影時、カメラ制御部14は撮像素子12から出力される撮像信号に対して種々の画像処理を実行し、被写体像の画像データを作成する。カメラ制御部14は、作成された画像データを表示部15に表示したり、記憶媒体16に記憶したりする。表示部15は、例えば液晶ディスプレイ等の表示装置である。記憶媒体16は、例えばフラッシュメモリ等により構成される可搬性の記憶媒体である。
(撮像素子12の撮像面の構成の説明)
撮像素子12の撮像面には、全瞳画素および瞳分割画素と称する2種類の撮像画素が二次元状に配列されている。以下、これら2種類の撮像画素について、順に説明する。
撮像素子12の撮像面には、全瞳画素および瞳分割画素と称する2種類の撮像画素が二次元状に配列されている。以下、これら2種類の撮像画素について、順に説明する。
図2(a)は全瞳画素21を被写体光の入射方向から見た平面図であり、図2(b)は全瞳画素21の断面図である。全瞳画素21はマイクロレンズ31、光電変換部32、および色フィルター33から構成される。全瞳画素21の光電変換部32は、マイクロレンズ31によって撮影光学系11の射出瞳(たとえばF1.0)を通過する光束をすべて受光する形状に設計される。全瞳画素21は赤(R)、緑(G)、青(B)のいずれかの色フィルター33を備えている。撮像素子12の撮像面には、それら3色の色フィルター33を備える全瞳画素21が、いわゆるベイヤー配列で2次元状に配置されている。
図2(b)に示すように、全瞳画素21において、光電変換部32の前方にマイクロレンズ31が配置され、マイクロレンズ31により光電変換部32が前方に投影される。光電変換部32は半導体回路基板34上に形成され、色フィルター33はマイクロレンズ31と光電変換部32の中間に配置される。
図3(a)は瞳分割画素22を被写体光の入射方向から見た平面図であり、図3(b)は瞳分割画素22の断面図である。瞳分割画素22は全瞳画素21と同様のマイクロレンズ31、光電変換部32、色フィルター33に加え、更に光電変換部32の一部を覆う遮光マスク35により構成される。本実施形態の遮光マスク35は、光電変換部32の右半分を覆う形状を有する。
図4は、撮像素子12の撮像面を模式的に示す図である。撮像素子12の撮像面G上には、G1~G5の5つの焦点検出領域が設定されている。これらの各焦点検出領域には、それぞれの領域の長手方向LD1~LD5に、瞳分割画素22が直線状に配列されている。撮影者は、撮影構図に応じて焦点検出領域G1~G5の中から任意の焦点検出領域を手動で選択する。カメラ制御部14は、撮影者により選択された焦点検出領域の各撮像画素の受光出力に基づいてデフォーカス量を検出する。
図5は、撮像面G上に設定された5つの焦点検出領域G1~G5のうち、一例として焦点検出領域G1とその周辺を拡大した部分拡大図である。撮像素子12の撮像面Gには、赤(R)、緑(G)、青(B)各色の色フィルター33を備えた全瞳画素21が二次元状にベイヤー配列される。本実施形態では、焦点検出領域G1の長手方向LD1に沿って、赤の色フィルター33を備えた全瞳画素21の一部が、緑の色フィルター33を備えた瞳分割画素22に置き換えられている。ここで、瞳分割画素22の色フィルター33を緑にしたのは、ベイヤ配列において緑の色フィルター33を備えた全瞳画素21が、他の色の色フィルター33を備えた全瞳画素21よりも多いためである。カメラ制御部14はデフォーカス量の算出に際し、瞳分割画素22が存在しない画素位置における受光出力(G成分)を補間生成する(詳細は後述する)が、緑の全瞳画素21は他の色の全瞳画素21よりも数が多いので、他の色よりも補間生成を精度よく行うことが可能である。また、位相差検出には同色同士の信号を比較することが望ましいが、ベイヤ配列では緑が多いため、この信号比較も他の色に比べて行いやすい。なお、瞳分割画素22の色フィルター33は、緑以外の色であってもよい。例えば赤の色フィルター33を設け、その画素出力を緑の成分に変換して比較を行ってもよい。
瞳分割画素22は3画素分の間隔を空けて一列に配置されている。換言すれば、瞳分割画素22は4画素毎に1つ配置されている。瞳分割画素22は、入射した被写体光の一部が遮光マスク35により遮光される。このため、カメラ制御部14は、撮像素子12から出力される撮像信号に基づいて画像データを作成する際、瞳分割画素22に相当する画素を、その周囲の全瞳画素21の出力に基づいて補間する。このような画素補間については周知であるので説明を省略する。
(撮影動作の説明)
次に、デジタルカメラ1を用いた撮影の手順について説明する。撮影者が不図示のシャッターボタンを半押しすると、カメラ制御部14はこの操作に応じて自動焦点調節制御を実行する。自動焦点調節制御では、まず撮像素子12が撮影光学系11により結像された被写体像を光電変換し、撮像信号をカメラ制御部14に出力する。
次に、デジタルカメラ1を用いた撮影の手順について説明する。撮影者が不図示のシャッターボタンを半押しすると、カメラ制御部14はこの操作に応じて自動焦点調節制御を実行する。自動焦点調節制御では、まず撮像素子12が撮影光学系11により結像された被写体像を光電変換し、撮像信号をカメラ制御部14に出力する。
カメラ制御部14は、焦点検出領域G1~G5のうち、撮影者により選択された焦点検出領域内の、瞳分割画素22の受光出力およびその周囲の全瞳画素21の受光出力を、焦点検出用データとして抽出する。具体的には、図9に太線で示すように、(1)一列に配列されている瞳分割画素22の出力と、(2)瞳分割画素22と同一行に配列されている緑(G)の色フィルター33を有する全瞳画素21の出力と、(3)瞳分割画素22が配列されている列の両隣の列(図9では、瞳分割画素22が配列されている列の上下の列)に配置されている、緑(G)の色フィルター33を有する全瞳画素21と、の出力を抽出する。
カメラ制御部14は、抽出した焦点検出用データを用いて、後述する方法によりデフォーカス量を検出する。そして、検出したデフォーカス量に応じた駆動量だけフォーカシングレンズを駆動する指令をレンズ制御部13に送出する。レンズ制御部13はこの指令に応じて、不図示のアクチュエータによりフォーカシングレンズを駆動する。これにより、撮影者により指定された焦点検出領域内の被写体にピントが合わせられる。
その後、撮影者が不図示のシャッターボタンを全押しすると、撮像素子12は被写体像を撮像し、カメラ制御部14へ撮像信号を出力する。カメラ制御部14は、この撮像信号に対し、瞳分割画素22の補間処理を含む種々の画像処理を行い、被写体像の画像データを生成する。カメラ制御部14は、生成した画像データを表示部15に表示したり、記憶媒体16に記憶したりする。
(デフォーカス量の検出方法の説明)
まず、撮像素子12を用いたデフォーカス量の検出原理について説明し、その後に具体的なデフォーカス量の検出方法について説明する。
まず、撮像素子12を用いたデフォーカス量の検出原理について説明し、その後に具体的なデフォーカス量の検出方法について説明する。
図6は、撮影光学系11の測距瞳と各撮像画素との関係を模式的に示した図である。撮影光学系11の予定結像面に配置したマイクロレンズ31の前方の距離Lの位置に、撮影光学系11の射出瞳90を設定する。ここで、距離Lは、マイクロレンズ31の曲率、屈折率、マイクロレンズ31と光電変換部32との間の距離などに応じて決まる値である。
マイクロレンズ31は撮影光学系11の予定結像面に配置されており、瞳分割画素22のマイクロレンズ31によって、遮光マスク35に覆われた部位を除く光電変換部32の形状が、マイクロレンズ31から距離Lだけ離れた射出瞳90上に投影される。その投影形状は少なくとも測距瞳93を含むが、遮光マスク35に覆われた部位に対応する測距瞳92は含まない。一方、全瞳画素21のマイクロレンズ31によって光電変換部32の形状が距離Lだけ離れた射出瞳90上に投影され、その投影形状は測距瞳92、93を少なくとも含む。
瞳分割画素22の光電変換部32は、測距瞳93を通過しマイクロレンズ31へ向う焦点検出光束73によってマイクロレンズ31上に形成される像の強度に対応した信号を出力する。他方、測距瞳92を通過しマイクロレンズ31へ向う焦点検出光束72は、遮光マスク35により遮られ、光電変換部32に入射しない。従って、瞳分割画素22の光電変換部32による受光出力には、焦点検出光束72の成分が含まれない。その一方で、全瞳画素21の光電変換部32には、測距瞳92、93を通過しマイクロレンズ31へ向う焦点検出光束82、83の各々によってマイクロレンズ31上に形成される像の強度に対応した信号を出力する。なお、瞳分割画素22の配列方向は一対の測距瞳92、93の分割方向と一致させる。
以上のように、全瞳画素21と瞳分割画素22とは、受光する光束が通過する瞳の広さが異なる。これが原因で、全瞳画素21と瞳分割画素22とでは、受光出力の像形状に差異が生じてしまう。詳細は後述するが、本実施形態ではこのような像形状の差異を補正することにより、高精度なデフォーカス量の検出を実現している。なお、全瞳画素21は、便宜上「全瞳」と称しているが、必ずしも撮影光学系11の射出瞳90を通過する光束の全てを受光する必要はない。少なくとも、瞳分割画素22の光電変換部32が受光する光束を含み当該光束より大きな広がりを持つ光束を受光できればよい。つまり、瞳分割画素22に対応する測距瞳93を含み測距瞳93より大きな領域を通過する光束を受光できればよい。
図7は、被写体より後側にピントが合っている、いわゆる後ピンの状態における模式的な光路図である。このとき、物点P1からの光束は、撮像素子12の撮像面Gに一定の広がりを持って入射する。前述のように、瞳分割画素22の光電変換部32は、マイクロレンズ31の左側から入射した光を受光しない。従って、図7のように後ピンの状態では、瞳分割画素22の光電変換部32は、物点P1から出射した光束のうち、測距瞳93からの光束を含む、主光線の右側に照射する光束のみを受光する。また、撮像面Gに一列に配列された全瞳画素21および瞳分割画素22の受光出力をそれぞれプロットすると、瞳分割画素22の受光出力52は、全瞳画素21の受光出力51に対して右側に表れることになる。
図8は、被写体より前側にピントが合っている、いわゆる前ピンの状態における模式的な光路図である。このとき、物点P2からの光束は、前述した後ピンの場合と同様に、撮像素子12の撮像面Gに一定の広がりを持って入射する。ただし、後ピンの場合とは異なり、測距瞳93からの光束は、主光線の左側に照射する。従って、瞳分割画素22の光電変換部32は、物点P2から出射した光束のうち、測距瞳92からの光束を含む、主光線の左側に照射する光束のみを受光する。また、撮像面Gに一列に配列された全瞳画素21および瞳分割画素22の受光出力をそれぞれプロットすると、瞳分割画素22の受光出力52は、全瞳画素21の受光出力51に対して左側に表れることになる。
以上のように、前ピンの場合と後ピンの場合とでは、全瞳画素21の受光出力に対する瞳分割画素22の受光出力の出現位置が異なる。つまり、全瞳画素21の受光出力と瞳分割画素22の受光出力との位置関係を調べることにより、デフォーカス量を検出することが可能である。
次に、具体的なデフォーカス量の検出方法を説明する。図10は、カメラ制御部14が備える、デフォーカス量を検出するための機能部を示すブロック図である。デフォーカス量を検出する際、カメラ制御部14には、撮像素子12から全瞳画素21の受光出力と瞳分割画素22の受光出力とが入力される。以下の説明では、全瞳画素21の受光出力を「全瞳画素データ」と呼ぶ。また、瞳分割画素22の受光出力を「瞳分割画素データ」と呼ぶ。
まずG補間部61が、瞳分割画素22と同一行に配列されている各撮像画素のうち、「緑(G)の色フィルター33を有する全瞳画素21」ではない全ての画素位置について、G成分を補間生成する。補間生成は以下のようにして行われる。まず、生成対象の画素位置の上下に配置されている2つの全瞳画素21の出力値について、その差分の絶対値を計算する。次に、生成対象の画素位置の左右に配置されている2つの全瞳画素21の出力値について、その差分の絶対値を計算する。そして、計算されたそれら2つの値を比較し、上下の差分の絶対値の方が小さければ、上下の全瞳画素21の出力値の平均値を補間値とする。他方、左右の差分の絶対値の方が小さければ、左右の全瞳画素21の出力値の平均値を補間値とする。G補間部61は以上の手順でG成分を補完生成し、瞳分割画素22がある行について、あたかも緑(G)の色フィルター33を有する全瞳画素21が隙間無く存在しているかのような全瞳画素データを生成して出力する。なお、G補間部61が、上述したものとは異なる手順でG成分の補間生成を行うようにしてもよい。
次に、前段位相差検出部62が、瞳分割画素データと、G補間部61により補間された全瞳画素データとの位相差を検出する。座標xの画素位置の瞳分割画素データをP(x)、座標xの画素位置の全瞳画素データをQ(x)として、シフト数dを例えば-70~70の範囲で変化させながら、次式(1)により評価値E(d)を算出する。
ここで、瞳分割画素データP(x)には、予め約2倍のゲイン補正が為されているものとする。これは、図2および図3から明らかなように、瞳分割画素22の光電変換部32は、全瞳画素21の光電変換部32に比べて、略半分の光束しか受光できないことに拠る。つまり、同一光量の光束が照射されたとき、瞳分割画素22の受光出力は全瞳画素21の受光出力の半分程度になるため、評価値E(d)を算出するに際し、予め瞳分割画素データP(x)と全瞳画素データQ(x)とのスケールを合わせ込んでおく。上式(1)においてxは、焦点検出対象の焦点検出領域に一列に配列されている全ての瞳分割画素22の座標である。つまり上式(1)は、全ての瞳分割画素22について、その画素の瞳分割画素データと、そこからdだけずれた位置に相当する全瞳画素データとの差の絶対値を合計する式である。
前段位相差検出部62は、このようにして算出したE(-70)~E(70)の値のうち、最小となるE(d)を与えるdの値を、前段位相差daとしてフィルター選択部63に出力する。
カメラ制御部14が有する不図示のメモリには、予め11個の像形状補正フィルターが記憶されている。各々の像形状補正フィルターには、複数個(例えば100個程度)のフィルター係数が含まれる。フィルター選択部63は、前段位相差検出部62から出力された前段位相差に応じて、11個の像形状補正フィルターfA、fB、fC、…、fKからいずれか1つを選択し、像形状差補正部64に出力する。以下、フィルター選択部63が出力する像形状補正フィルターをf(i)(i=―W~W)と称する。なお、予めメモリに記憶しておく像形状補正フィルターfA~fKの算出方法については、後に詳述する。
図11は、フィルター選択部63が出力する像形状補正フィルターの決定方法を示す図である。例えば前段位相差daが-60を下回るようであれば、フィルター選択部63は像形状補正フィルターfAをf(i)として出力する。また、図11に示すように、像形状補正フィルターfA~fKには、予め補正対象のデータが指定されている。像形状補正フィルターfA、fB、fC、fD、fH、fI、fJ、fKは瞳分割画素データを補正するためのフィルターであり、像形状補正フィルターfE、fF、fGは全瞳画素データを補正するためのフィルターである。
次に、像形状差補正部64が、フィルター選択部63から出力された像形状補正フィルターを瞳分割画素データまたは全瞳画素データに畳み込むことによって、瞳分割画素データと全瞳画素データの像形状の差を補正する。像形状差補正部64は、フィルター選択部63が瞳分割画素データを補正するための像形状補正フィルターf(i)を出力した場合、像形状補正後の瞳分割画素データT(x)と、像形状補正後の全瞳画素データU(x)を、次式(2)、(3)により演算して出力する。
すなわち像形状差補正部64は、全瞳画素データについては手を加えずにそのまま出力し、瞳分割画素データについては像形状補正フィルターf(i)による補正を加えて出力する。
他方、フィルター選択部63が全瞳画素データを補正するための像形状補正フィルターf(i)を出力した場合、T(x)およびU(x)、次式(4)、(5)により演算して出力する。
すなわち像形状差補正部64は、全瞳画素データについては像形状補正フィルターf(i)による補正を加えて出力し、瞳分割画素データについては手を加えずにそのまま出力する。なお、上式(5)における「Q(x+i)」を、上式(2)に合わせ「Q(x+4×i)」としてもよい。
像形状差補正部64が出力した瞳分割画素データT(x)および全瞳画素データU(x)は、位相差検出部65に入力される。位相差検出部65は、これら2つのデータの位相差を検出して出力する。位相差の検出方法は前段位相差検出部62と同様であるので、説明を省略する。ただし、位相差検出部65は、周知の内挿法などを用いて、位相差を小数精度で算出する。
最後に、デフォーカス量換算部66が、位相差検出部65により出力された位相差に対し所定のデフォーカス量換算係数Kを掛け合わせ、デフォーカス量Dfを算出する。デフォーカス量換算係数Kの決定方法は後に詳述する。
なお、図11に示すように、本実施形態では多数の像形状補正フィルターfA~fKを用意しておき、前段位相差検出部62により検出された前段位相差daに応じてそれらを切り替えて利用している。これは、適切な像形状補正フィルターが位相差に応じて異なるためである。
また、前段位相差daに応じて瞳分割画素データと全瞳画素データのどちらを補正するかを切り替えているが、これは瞳分割画素22の間隔が全瞳画素21の間隔よりも広いためである。瞳分割画素データの方が全瞳画素データよりも個数が少ないため、演算量の観点から、像形状補正フィルターによる畳み込み演算は可能であれば瞳分割画素データに対して行うことが望ましい。瞳分割画素22の間隔に対して前段位相差daの絶対値が大きい場合、被写体像のぼけ量は十分に大きい。つまり、被写体像の輝度は瞳分割画素22の配列方向に対してある程度なだらかに変化している。よって、4画素毎にしか配置されていない瞳分割画素22であっても、被写体像の輝度変化を十分に捉えることが可能である。換言すれば、瞳分割画素22は光学像を解像している。そのため、瞳分割画素データに対して適切に像形状の補正を行うことができる。
一方、前段位相差daの絶対値が瞳分割画素の間隔よりも小さい場合とはすなわち、撮影光学系11により結像される被写体像のぼけ量が小さい場合である。このとき、被写体像は先鋭なエッジを有している。つまり、瞳分割画素22の配列方向に対して被写体像の輝度は急峻に変化している。よって、4画素毎にしか配置されていない瞳分割画素22では、被写体像のエッジの位置を特定することは困難であり、被写体像の輝度変化を十分に捉えることができない。換言すれば、瞳分割画素22は細かい光学像を再現できていない。そのため、補正後の像形状が本来の像形状に比べ不正確なものになる可能性が高く、瞳分割画素データに対して像形状の補正を行う(像形状補正フィルターを畳み込む)のは不適切である。そこで本実施形態では、前段位相差daの絶対値が比較的小さい場合には、全瞳画素データの補正を行うようにしている。
(像形状補正フィルターおよびデフォーカス量換算係数の決定方法の説明)
カメラ制御部14が有する不図示のメモリには、予め演算された像形状補正フィルターfA~fKおよびデフォーカス量換算係数Kが記憶されている。デジタルカメラ1のメーカーは、以下で説明する処理を行って像形状補正フィルターfA~fKおよびデフォーカス量換算係数Kを算出しておき、デジタルカメラ1の出荷時に上記のメモリへこれらの各データを記憶させておく。
カメラ制御部14が有する不図示のメモリには、予め演算された像形状補正フィルターfA~fKおよびデフォーカス量換算係数Kが記憶されている。デジタルカメラ1のメーカーは、以下で説明する処理を行って像形状補正フィルターfA~fKおよびデフォーカス量換算係数Kを算出しておき、デジタルカメラ1の出荷時に上記のメモリへこれらの各データを記憶させておく。
まず、A3用紙程度のサイズのテストチャートを作成する。このテストチャートには、それぞれが数ミリメートル~数センチメートル程度の互いに異なる太さを有する黒い縦線を描写する。このテストチャートを、出荷するデジタルカメラ1そのものか、あるいはそのデジタルカメラ1と同様の光学特性を有するカメラにより、以下に説明する手順で撮影する。なお、以下の説明では、テストチャートの作成に用いるカメラをサンプルカメラと呼ぶ。
次に、テストチャートとサンプルカメラの位置関係を設定する。例えば、テストチャートをサンプルカメラの撮像面から1メートルの位置に固定し、撮影光学系11のフォーカシングレンズを特定の位置に固定する。そして、テストチャートを光軸方向の前後に1cmずつ移動させながら、サンプルカメラによる撮影を行う。このとき、各々の撮影において撮像素子12から出力された撮像信号について、デフォーカス量の算出と、前段位相差検出部62と同様の位相差の検出とを行う。なお、デフォーカス量の算出は、例えば最もコントラストの高い撮影結果が得られたときのデフォーカス量を0とし、そこから前後にテストチャートを移動させた量に撮影光学系11の撮影倍率を加味した量をデフォーカス量とする。
以上の手順で撮影を行うことにより、デフォーカス量と位相差との対応関係を得ることができる。例えば、デフォーカス量と位相差量とに比例関係を仮定して、比例式で近似すればよい。
次に、-70画素の位相差に対応するデフォーカス量で撮影した際の瞳分割画素データP(x)および全瞳画素データQ(x)とを用いて、次式(6)、(7)により係数Sij、Rjを算出する。
なお、上式(6)、(7)においてxは、式(1)と同様に、焦点検出対象の焦点検出領域に一列に配列されている全ての瞳分割画素22の座標である。また、Sijは各像形状補正フィルターに含まれるフィルター係数の個数と同一の行数および列数を有する正方行列であり、Rjはその個数と同一の要素を有するベクトルである。SijおよびRjが算出されれば、次式(8)に示す連立一次方程式を解くことにより、重心位置を補正する前の像形状補正フィルターfAr(i)が得られる。
次に、像形状補正フィルターfAr(i)の重心位置Cを次式(9)で求めた後、重心位置を0に補正した最終的な像形状補正フィルターfA(i)を次式(10)で生成する。
なお、重心位置Cが整数でない場合には、例えば(i+C)の前後の整数に対応する像形状補正フィルターfArの値から、周知の線型補間等によってfAr(i+C)を求めればよい。
以上の手順によって、像形状補正フィルターfAが求まる。-50、―30、-15、15、30、50、70画素の位相差にそれぞれ対応するデフォーカス量でテストチャートを撮影した際の瞳分割画素データP(x)および全瞳画素データQ(x)とを用いて、同様の手順で演算を行うことにより、それぞれ像形状補正フィルターfB、fC、fD、fH、fI、fJ、fKが求まる。
次に、-6画素の位相差に対応するデフォーカス量でテストチャートを撮影した際の瞳分割画素データP(x)および全瞳画素データQ(x)とを用いて、次式(11)、(12)により係数Rij、Sjを算出する。
なお、上式(11)、(12)においてxは、全ての全瞳画素データに対応する座標である。ここで算出された係数Rij、Sjに上式(8)、(9)、(10)を適用することにより、像形状補正フィルターfEが求まる。0、6画素の位相差にそれぞれ対応するデフォーカス量でテストチャートを撮影した際の瞳分割画素データP(x)および全瞳画素データQ(x)とを用いて、同様の手順で演算を行うことにより、それぞれ像形状補正フィルターfF、fGが求まる。
次に、以上の手順で導出された像形状補正フィルターfA~fKを、サンプルカメラのカメラ制御部14内の不図示のメモリに記憶させ、フィルター選択部63から利用できるようにする。そして、各デフォーカス量でテストチャートを撮影した際に撮像素子12から出力された撮像信号について、図10のG補間部61による補間処理から位相差検出部65による位相差検出処理までを実行する。これにより得られる、像形状の差異が補正されている位相差と、デフォーカス量との間に、比例関係を仮定し、位相差とデフォーカス量の間の比例係数を導出する。この比例係数が、上述したデフォーカス量換算係数Kである。
以上の手順により導出された像形状補正フィルターfA~fKとデフォーカス量換算係数Kが、出荷されるデジタルカメラ1のカメラ制御部14内の不図示のメモリに記憶される。
なお、このようにして導出される像形状補正フィルターfA~fKによって、瞳分割画素データP(x)と全瞳画素データQ(x)との像形状の差異が補正できる理由は以下の通りである。
図11より、前段位相差検出部62により検出される前段位相差の絶対値が大きくない場合には、像形状差補正部64は像形状補正フィルターfE~fGのいずれかを用いて、上式(4)、(5)により全瞳画素データQ(x)を補正する。像形状補正フィルターfEを例に挙げて説明すると、ここで像形状補正フィルターfE(i)の各フィルター係数を適切に調整すれば、補正後のT(x)とU(x)の形状を略一致させることができる。そのためには、T(x)とU(x)の二乗誤差eを次式(13)で定義し、このeを最小にするようなfE(i)を求めればよい。
二乗誤差eはf(i)について下に凸の二次関数なので、eを各フィルター係数fE(i)で偏微分した値が0になることがeを最小とする条件である。つまり、条件式は次式(14)のようになる。
上式(14)より、次式(15)、(16)、(17)が導かれる。
上式(15)、(16)、(17)に、具体的な瞳分割画素データP(x)および全瞳画素データQ(x)を与えれば、係数SijおよびRjが決まり、連立一次方程式を解くことにより像形状補正フィルターfE(i)が算出される。像形状補正フィルターfE(i)は撮影光学系11の光学条件と撮像素子12の特性によって決まり、被写体の形状には依存しない。従って、テストチャートを撮影した際に撮像素子12から出力される瞳分割画素データP(x)および全瞳画素データQ(x)を上式(15)、(16)、(17)に与えれば、一般的な被写体に適用可能な像形状補正フィルターfE(i)を求めることができる。その他の像形状補正フィルターfF、fG、および瞳分割画素データを補正する像形状補正フィルターfA~fD、fH~fKについても同様である。
上述した第1の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
(1)位相差検出部65は、瞳分割した一対の光束の一方を受光し他方を受光しない瞳分割画素22から出力される瞳分割像データと、瞳分割画素22の周辺に配列され撮影光学系11の全瞳領域を通過した光束を受光する全瞳画素21から出力される全瞳像データと、の位相差を検出する。デフォーカス量換算部66は、この位相差に基づいてデフォーカス量を検出する。像形状補正部64は、位相差検出部65が位相差の検出に用いる瞳分割像データと全瞳像データとの少なくとも一方に対し、瞳分割像データと全瞳像データとの像形状の差異を補正する補正処理を行う。このようにしたので、精度よくデフォーカス量を検出することができる。
(1)位相差検出部65は、瞳分割した一対の光束の一方を受光し他方を受光しない瞳分割画素22から出力される瞳分割像データと、瞳分割画素22の周辺に配列され撮影光学系11の全瞳領域を通過した光束を受光する全瞳画素21から出力される全瞳像データと、の位相差を検出する。デフォーカス量換算部66は、この位相差に基づいてデフォーカス量を検出する。像形状補正部64は、位相差検出部65が位相差の検出に用いる瞳分割像データと全瞳像データとの少なくとも一方に対し、瞳分割像データと全瞳像データとの像形状の差異を補正する補正処理を行う。このようにしたので、精度よくデフォーカス量を検出することができる。
(2)像形状差補正部64は、瞳分割画素データおよび全瞳画素データの一方に対し、所定の像形状補正フィルターfA~fKを畳み込む補正処理を行う。このようにしたので、一対のデータの像形状の差異が確実に補正される。
(3)撮像素子12には、全瞳画素21の間隔よりも広い間隔で瞳分割画素22が配列されており、像形状差補正部64は、全瞳画素データに対して像形状補正フィルターfE~fGを畳み込む。このようにしたので、前段位相差daが小さく、瞳分割画素22が細かい光学像を再現できない場合であっても、像形状の差異を確実に補正することが可能となる。
(4)前段位相差検出部62は、像形状差補正部64により補正処理が行われる前の瞳分割画素データおよび全瞳画素データの前段位相差daを検出する。像形状差補正部64は、前段位相差検出部62により検出された前段位相差daに基づいて、複数の像形状補正フィルターfA~fKからいずれか1つを選択し、瞳分割画素データおよび全瞳画素データの一方に対して選択された像形状補正フィルターを畳み込む。このようにしたので、瞳分割画素データおよび全瞳画素データのずれ量の大きさに応じた適切な像形状補正フィルターを利用することが可能となり、像形状の差異を精度よく補正することができる。
(5)前段位相差検出部62は、像形状差補正部64により補正処理が行われる前の瞳分割画素データおよび全瞳画素データの前段位相差daを検出する。また、撮像素子12には、全瞳画素21の間隔よりも広い間隔で瞳分割画素22が配列されている。像形状差補正部64は、前段位相差検出部62により検出された前段位相差daの絶対値が10よりも大きい場合には、瞳分割画素データに対して像形状補正フィルターを畳み込む。瞳分割画素データは全瞳画素データよりも個数が少ないので、畳み込み演算に必要な演算量を削減することができる。
(6)像形状補正フィルターfA~fKは、撮影光学系11により結像された所定のテストチャートの像を撮像素子12により撮像することにより得られた瞳分割画素データおよび全瞳画素データの一方に対して、その像形状補正フィルターを畳み込んだ場合に瞳分割画素データおよび全瞳画素データの像形状の差異が最小となるフィルターである。このようにしたので、像形状の差異が確実に補正される。
(第2の実施の形態)
本実施形態のデジタルカメラは、第1の実施の形態と同様の構成を有するが、カメラ制御部14によるデフォーカス量の検出方法が第1の実施の形態とは異なる。以下、第2の実施の形態におけるデフォーカス量の検出方法について詳述する。なお、以下の説明において、第1の実施の形態と同一の箇所については、第1の実施の形態と同一の符号を付して説明を省略する。
本実施形態のデジタルカメラは、第1の実施の形態と同様の構成を有するが、カメラ制御部14によるデフォーカス量の検出方法が第1の実施の形態とは異なる。以下、第2の実施の形態におけるデフォーカス量の検出方法について詳述する。なお、以下の説明において、第1の実施の形態と同一の箇所については、第1の実施の形態と同一の符号を付して説明を省略する。
図12は、第2の実施の形態に係るカメラ制御部14が備える、デフォーカス量を検出するための機能部を示すブロック図である。まずG補間部61が、第1の実施の形態と同様に、瞳分割画素22がある行について、あたかも緑(G)の色フィルター33を有する全瞳画素21が隙間無く存在しているかのような全瞳画素データを生成して出力する。フィルター選択部163は、第1の実施の形態とは異なり、不図示のメモリに記憶されている像形状補正フィルターfA~fKを全て出力する。
フィルター選択部163から出力された像形状補正フィルターfA~fKと、G補間部61から出力された全瞳画素データと、瞳分割画素データと、は像形状差補正部164に入力される。像形状差補正部164は、フィルター選択部163から入力された像形状補正フィルターfA~fKの各々について、その像形状補正フィルターを用いた像形状差の補正を行う。つまり像形状差補正部164は、補正後の瞳分割画素データT(x)および補正後の全瞳画素データU(x)の組を、像形状補正フィルターfA~fKのそれぞれに対応して11組作成する。作成された11組の瞳分割画素データT(x)および全瞳画素データU(x)は、全て位相差検出部165に出力される。
位相差検出部165は、像形状差補正部164から出力された11組の瞳分割画素データT(x)および全瞳画素データU(x)の各々について、第1の実施の形態と同様の位相差検出処理を行う。例えばシフト数dを-70~70の範囲で変化させながら、次式(18)により相関値E(d)を算出する。
位相差検出部165は、像形状差補正部164から出力された11組の瞳分割画素データT(x)および全瞳画素データU(x)の各々について、第1の実施の形態と同様の位相差検出処理を行う。例えばシフト数dを-70~70の範囲で変化させながら、次式(18)により相関値E(d)を算出する。
上式(18)においてxは、焦点検出対象の焦点検出領域に一列に配列されている全ての瞳分割画素22の座標である。つまり上式(1)は、全ての瞳分割画素22について、その画素の瞳分割画素データと、そこからdだけずれた位置に相当する全瞳画素データとの差の絶対値を合計する式である。
位相差検出部165は、このようにして算出したE(-70)~E(70)の値のうち、最小となるE(d)を与えるdの値を位相差とする。位相差検出部165はこの演算を11組の瞳分割画素データT(x)および全瞳画素データU(x)の各々について行い、11組の位相差dおよびそのときの相関値E(d)を得る。そして、それら11組の値のうち、最も小さな相関値E(d)を(すなわち最も像形状の差異が小さい組を)選択し、そのE(d)を与える位相差dをデフォーカス量換算部66に出力する。
以上のように、本実施形態のカメラ制御部14は、全ての像形状補正フィルターfA~fKについて実際に像形状差の補正および位相差の検出を行い、像形状の差異が最も小さくなる結果を最終的な位相差検出の結果として採用する。
上述した第2の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。(1)像形状補正部164は、複数の像形状補正フィルターfA~fKの各々について、瞳分割像データおよび全瞳像データの一方に対してその像形状補正フィルターを畳み込み、位相差検出部165はその後に該瞳分割像データと該全瞳像データとの位相差dおよび相関値E(d)を演算する。デフォーカス量換算部66は、相関値が最も小さくなる像形状補正フィルター係数により補正処理が行われた場合における位相差dに基づいて、デフォーカス量を検出する。このようにしたので、あらかじめ前段位相差検出部62により前段位相差daを検出しておかずとも、最適な像形状補正フィルターを用いた像形状の補正を位相差検出に反映させることが可能となる。
(第3の実施の形態)
本実施形態のデジタルカメラは、第1の実施の形態と同様の構成を有するが、前段位相差daに対する11個の像形状補正フィルターの適用パターンが、第1の実施の形態とは異なる。以下、第3の実施の形態における11個の像形状補正フィルターの適用パターンについて詳述する。なお、以下の説明において、第1の実施の形態と同一の箇所については、第1の実施の形態と同一の符号を付して説明を省略する。
本実施形態のデジタルカメラは、第1の実施の形態と同様の構成を有するが、前段位相差daに対する11個の像形状補正フィルターの適用パターンが、第1の実施の形態とは異なる。以下、第3の実施の形態における11個の像形状補正フィルターの適用パターンについて詳述する。なお、以下の説明において、第1の実施の形態と同一の箇所については、第1の実施の形態と同一の符号を付して説明を省略する。
図13は、第3の実施の形態に係るフィルター選択部63が出力する像形状補正フィルターの決定方法を示す図である。本実施形態のフィルター選択部63は、前段位相差検出部62から出力された前段位相差に応じて、11個の像形状補正フィルターfA、fB、fC、…、fKからいずれか1つを選択し、像形状差補正部64に出力する。
前段位相差daが-12を下回る場合、フィルター選択部63は像形状補正フィルターfAをf(i)として出力する。前段位相差daが-12以上-8未満である場合、フィルター選択部63は像形状補正フィルターfBをf(i)として出力する。前段位相差daが-8以上-4未満である場合、フィルター選択部63は像形状補正フィルターfCをf(i)として出力する。前段位相差daが-4以上-2未満である場合、フィルター選択部63は像形状補正フィルターfDをf(i)として出力する。前段位相差daが-2以上-1未満である場合、フィルター選択部63は像形状補正フィルターfEをf(i)として出力する。前段位相差daが-1以上1以下である場合、フィルター選択部63は像形状補正フィルターfFをf(i)として出力する。前段位相差daが1を上回り2以下である場合、フィルター選択部63は像形状補正フィルターfGをf(i)として出力する。前段位相差daが2を上回り4以下である場合、フィルター選択部63は像形状補正フィルターfHをf(i)として出力する。前段位相差daが4を上回り8以下である場合、フィルター選択部63は像形状補正フィルターfIをf(i)として出力する。前段位相差daが8を上回り12以下である場合、フィルター選択部63は像形状補正フィルターfJをf(i)として出力する。前段位相差daが12を上回る場合、フィルター選択部63は像形状補正フィルターfKをf(i)として出力する。
なお、本実施形態における像形状補正フィルターfA~fKは、-14、-10、―6、-3、-1.5、0、1.5、3、6、10、14画素の位相差にそれぞれ対応するデフォーカス量でテストチャートを撮影した際の瞳分割画素データP(x)および全瞳画素データQ(x)とを用いて求められたものである。
上述した第3の実施の形態によるデジタルカメラによれば、第1の実施の形態と同様の作用効果が得られる。
(第4の実施の形態)
本実施形態のデジタルカメラは、第3の実施の形態と同様の構成を有するが、前段位相差daが十分に小さい場合には、瞳分割画素データにも全瞳画素データにも補正を行わない点で、第3の実施の形態とは異なる。以下、第4の実施の形態における像形状補正フィルターの適用パターンについて詳述する。なお、以下の説明において、第3の実施の形態と同一の箇所については、第3の実施の形態と同一の符号を付して説明を省略する。
本実施形態のデジタルカメラは、第3の実施の形態と同様の構成を有するが、前段位相差daが十分に小さい場合には、瞳分割画素データにも全瞳画素データにも補正を行わない点で、第3の実施の形態とは異なる。以下、第4の実施の形態における像形状補正フィルターの適用パターンについて詳述する。なお、以下の説明において、第3の実施の形態と同一の箇所については、第3の実施の形態と同一の符号を付して説明を省略する。
図14は、第4の実施の形態に係るフィルター選択部63が出力する像形状補正フィルターの決定方法を示す図である。カメラ制御部14が有する不図示のメモリには、予め8個の像形状補正フィルターfA、fB、fC、fD、fH、fI、fJ、fKが記憶されている。つまり本実施形態では、第3の実施の形態で挙げた11個の像形状補正フィルターのうち、fE、fF、fGがメモリに記憶されていない。
前段位相差daが-12を下回る場合、フィルター選択部63は像形状補正フィルターfAをf(i)として出力する。前段位相差daが-12以上-8未満である場合、フィルター選択部63は像形状補正フィルターfBをf(i)として出力する。前段位相差daが-8以上-4未満である場合、フィルター選択部63は像形状補正フィルターfCをf(i)として出力する。前段位相差daが-4以上-2未満である場合、フィルター選択部63は像形状補正フィルターfDをf(i)として出力する。前段位相差daが2を上回り4以下である場合、フィルター選択部63は像形状補正フィルターfHをf(i)として出力する。前段位相差daが4を上回り8以下である場合、フィルター選択部63は像形状補正フィルターfIをf(i)として出力する。前段位相差daが8を上回り12以下である場合、フィルター選択部63は像形状補正フィルターfJをf(i)として出力する。前段位相差daが12を上回る場合、フィルター選択部63は像形状補正フィルターfKをf(i)として出力する。
他方、前段位相差daが-2以上2以下である場合(すなわち被写体像のぼけ量が十分に小さい場合)、フィルター選択部63は像形状補正フィルターf(i)を出力しない。像形状差補正部64は、フィルター選択部63が像形状補正フィルターf(i)を出力しなかった場合、瞳分割画素データT(x)と、全瞳画素データU(x)を、次式(19)、(20)により演算して出力する。
T(x)=P(x) …(19)
U(x)=Q(x) …(20)
T(x)=P(x) …(19)
U(x)=Q(x) …(20)
つまり像形状差補正部64は、前段位相差daが-2以上2以下である場合(すなわち被写体像のぼけ量が十分に小さい場合)、全瞳画素データと瞳分割画素データとを、共に手を加えずにそのまま出力する。
上述した第4の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
(1)像形状補正部64は、瞳分割した一対の光束の一方を受光する瞳分割画素から出力される瞳分割像データに対し、撮影光学系11の全瞳領域を通過した光束を受光する全瞳画素21から出力される全瞳像データとの像形状の差異を補正する補正処理を行う。このようにしたので、精度よくデフォーカス量を検出することができる。
(1)像形状補正部64は、瞳分割した一対の光束の一方を受光する瞳分割画素から出力される瞳分割像データに対し、撮影光学系11の全瞳領域を通過した光束を受光する全瞳画素21から出力される全瞳像データとの像形状の差異を補正する補正処理を行う。このようにしたので、精度よくデフォーカス量を検出することができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
上述の各実施形態では、像形状補正フィルターに応じて瞳分割画素データと全瞳画素データのうち、一方のみを補正することにより、それら2つのデータの像形状の差異を補正していた。これを、両方のデータを補正するようにしてもよい。例えば、一方に像形状補正フィルターを畳み込む補正処理を行い、他方に平滑化を行う周知のフィルターを適用する補正処理を行ってもよい。このようにすることで、より正確な位相差の検出を行うことが可能となる。
上述の各実施形態では、像形状補正フィルターに応じて瞳分割画素データと全瞳画素データのうち、一方のみを補正することにより、それら2つのデータの像形状の差異を補正していた。これを、両方のデータを補正するようにしてもよい。例えば、一方に像形状補正フィルターを畳み込む補正処理を行い、他方に平滑化を行う周知のフィルターを適用する補正処理を行ってもよい。このようにすることで、より正確な位相差の検出を行うことが可能となる。
(変形例2)
瞳分割画素22の配置間隔は、図5に示した4画素毎のものに限定されない。これより広くても狭くてもよい。
瞳分割画素22の配置間隔は、図5に示した4画素毎のものに限定されない。これより広くても狭くてもよい。
(変形例3)
遮光マスク35による光電変換部32の覆い方は、上述の各実施形態のものに限定されない。例えば、遮光マスク35が瞳分割画素22の左半分を覆うようにしてもよい。
遮光マスク35による光電変換部32の覆い方は、上述の各実施形態のものに限定されない。例えば、遮光マスク35が瞳分割画素22の左半分を覆うようにしてもよい。
(変形例4)
光電変換部32の形状は、上述した各実施形態のように正方形でなくてもよい。例えば、マイクロレンズ31の形状に沿った円形にしてもよい。また、撮像素子12を、1つのマイクロレンズ31の後側に光電変換部32を多数配列して構成してもよい。このような構成を採用する場合、遮光マスク35は不要であり、且つ、デフォーカス量の検出に用いる光電変換部32を任意に選択することができる。すなわち、測距瞳92、93の位置を任意に選択することができる。
光電変換部32の形状は、上述した各実施形態のように正方形でなくてもよい。例えば、マイクロレンズ31の形状に沿った円形にしてもよい。また、撮像素子12を、1つのマイクロレンズ31の後側に光電変換部32を多数配列して構成してもよい。このような構成を採用する場合、遮光マスク35は不要であり、且つ、デフォーカス量の検出に用いる光電変換部32を任意に選択することができる。すなわち、測距瞳92、93の位置を任意に選択することができる。
(変形例5)
測距瞳92、93の位置は上述した実施形態に限定されない。全瞳画素21が一対の測距瞳をそれぞれ通過した一対の光束の両方を少なくとも受光し、瞳分割画素22が一対の光束の一方を受光し他方を受光しないようにさえ構成されていれば、本発明を適用することが可能である。
測距瞳92、93の位置は上述した実施形態に限定されない。全瞳画素21が一対の測距瞳をそれぞれ通過した一対の光束の両方を少なくとも受光し、瞳分割画素22が一対の光束の一方を受光し他方を受光しないようにさえ構成されていれば、本発明を適用することが可能である。
(変形例6)
焦点検出領域G1~G5は、図4に例示したものと異なっていてもよい。例えば、図4とは違う場所にあってもよいし、より多数(もしくは少数)であってもよい。また、全ての焦点検出領域G1~G5について、同時にデフォーカス量の検出が行われるようにしてもよい。更に、焦点検出領域G1~G5を定めてそこに瞳分割画素22を配列するのではなく、撮像面Gの全域に渡って瞳分割画素22が配列されるようにしてもよい。瞳分割画素22をこのように配列した場合、撮像面Gの任意の位置でデフォーカス量の検出を行うことが可能になる。
焦点検出領域G1~G5は、図4に例示したものと異なっていてもよい。例えば、図4とは違う場所にあってもよいし、より多数(もしくは少数)であってもよい。また、全ての焦点検出領域G1~G5について、同時にデフォーカス量の検出が行われるようにしてもよい。更に、焦点検出領域G1~G5を定めてそこに瞳分割画素22を配列するのではなく、撮像面Gの全域に渡って瞳分割画素22が配列されるようにしてもよい。瞳分割画素22をこのように配列した場合、撮像面Gの任意の位置でデフォーカス量の検出を行うことが可能になる。
(変形例7)
像形状補正フィルターに含まれるフィルター係数の個数は、上述した数に限定されない。また、図11に示した前段位相差daの値と各像形状補正フィルターfA~fKとの対応関係は一例であり、他の対応関係を設定してもよい。更に、像形状補正フィルターはfA~fKの11個でなくてもよく、より多数の像形状補正フィルターを用意してもよいし、より少数であってもよい。各像形状補正フィルターfA~fKが補正の対象とするデータ(瞳分割画素データおよび全瞳画素データのいずれか)についても、図11に例示したものに限定されない。例えば、常に一方のデータのみを補正するように像形状差補正部64を構成してもよい。
像形状補正フィルターに含まれるフィルター係数の個数は、上述した数に限定されない。また、図11に示した前段位相差daの値と各像形状補正フィルターfA~fKとの対応関係は一例であり、他の対応関係を設定してもよい。更に、像形状補正フィルターはfA~fKの11個でなくてもよく、より多数の像形状補正フィルターを用意してもよいし、より少数であってもよい。各像形状補正フィルターfA~fKが補正の対象とするデータ(瞳分割画素データおよび全瞳画素データのいずれか)についても、図11に例示したものに限定されない。例えば、常に一方のデータのみを補正するように像形状差補正部64を構成してもよい。
(変形例8)
上述した各実施形態では、本発明のデフォーカス量検出装置を適用したデジタルカメラについて説明したが、本発明はこのような実施形態に限定されない。例えば、デフォーカス量の検出のみを行い撮影画像の記憶を行わない装置に本発明を適用することが可能である。また、撮影光学系11や撮像素子12を持たず、装置の外部から入力された瞳分割画素データおよび全瞳画素データに基づいてデフォーカス量を検出するデフォーカス量検出装置に本発明を適用することも可能である。
上述した各実施形態では、本発明のデフォーカス量検出装置を適用したデジタルカメラについて説明したが、本発明はこのような実施形態に限定されない。例えば、デフォーカス量の検出のみを行い撮影画像の記憶を行わない装置に本発明を適用することが可能である。また、撮影光学系11や撮像素子12を持たず、装置の外部から入力された瞳分割画素データおよび全瞳画素データに基づいてデフォーカス量を検出するデフォーカス量検出装置に本発明を適用することも可能である。
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2012年第49362号(2012年3月6日出願)
日本国特許出願2013年第37554号(2013年2月27日出願)
日本国特許出願2012年第49362号(2012年3月6日出願)
日本国特許出願2013年第37554号(2013年2月27日出願)
Claims (9)
- 瞳分割した一対の光束の一方を受光する第1画素から出力される瞳分割像データと、少なくとも前記瞳を含む領域を通過した光束を受光する第2画素から出力される全瞳像データと、の少なくとも一方に対し前記瞳分割像データと前記全瞳像データとの像形状の差異を補正する補正処理を行う像形状補正部を備えるデフォーカス量検出装置。
- 請求項1に記載のデフォーカス量検出装置において、
前記像形状補正部は、前記瞳分割像データおよび前記全瞳像データの少なくとも一方に対し、所定の像形状補正フィルター係数を畳み込む前記補正処理を行うデフォーカス量検出装置。 - 請求項2に記載のデフォーカス量検出装置において、
前記第1画素は、前記第2画素の間隔よりも広い間隔で配列され、
前記像形状補正部は、前記全瞳像データに対して前記像形状補正フィルター係数を畳み込むデフォーカス量検出装置。 - 請求項2に記載のデフォーカス量検出装置において、
前記像形状補正部により前記補正処理が行われる前の前記瞳分割像データおよび前記全瞳像データの位相差を検出する前段位相差検出部を備え、
前記像形状補正部は、前記前段位相差検出部により検出された位相差に基づいて、複数の前記像形状補正フィルター係数からいずれか1つを選択し、前記瞳分割像データおよび前記全瞳像データの少なくとも一方に対して当該選択された像形状補正フィルター係数を畳み込むデフォーカス量検出装置。 - 請求項2に記載のデフォーカス量検出装置において、
前記像形状補正部により前記補正処理が行われる前の前記瞳分割像データおよび前記全瞳像データの位相差を検出する前段位相差検出部を備え、
前記第1画素は、前記第2画素の間隔よりも広い間隔で配列され、
前記像形状補正部は、前記前段位相差検出部により検出された位相差が所定のしきい値よりも大きい場合には、前記瞳分割像データに対して前記像形状補正フィルター係数を畳み込むデフォーカス量検出装置。 - 請求項2に記載のデフォーカス量検出装置において、
前記像形状補正部は、複数の像形状補正フィルター候補係数の各々について、前記瞳分割像データおよび前記全瞳像データの少なくとも一方に対して当該像形状補正フィルター候補係数を畳み込んだ後に該瞳分割像データと該全瞳像データとの相関値を演算し、相関値が最も小さくなる前記像形状補正フィルター候補係数を前記像形状補正フィルター係数として前記補正処理を行うデフォーカス量検出装置。 - 請求項2に記載のデフォーカス量検出装置において、
前記像形状補正フィルター係数は、前記撮影光学系により結像された所定のテストチャートの光像を前記第1画素および前記第2画素により受光することで得られた前記瞳分割像データおよび前記全瞳像データの少なくとも一方に対して、当該像形状補正フィルター係数を畳み込んだ場合に前記瞳分割像データおよび前記全瞳像データの像形状の差異が最小となる係数であるデフォーカス量検出装置。 - 瞳分割した一対の光束の一方を受光する第1画素から出力される瞳分割像データに対し、少なくとも前記瞳を含む領域を通過した光束を受光する第2画素から出力される全瞳像データとの像形状の差異を補正する補正処理を行う像形状補正部を備えるデフォーカス量検出装置。
- 請求項1~8のいずれか一項に記載のデフォーカス量検出装置を備えるカメラ。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-049362 | 2012-03-06 | ||
JP2012049362 | 2012-03-06 | ||
JP2013037554A JP6136364B2 (ja) | 2012-03-06 | 2013-02-27 | デフォーカス量検出装置およびカメラ |
JP2013-037554 | 2013-02-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013133115A1 true WO2013133115A1 (ja) | 2013-09-12 |
Family
ID=49116597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/055332 WO2013133115A1 (ja) | 2012-03-06 | 2013-02-28 | デフォーカス量検出装置およびカメラ |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6136364B2 (ja) |
WO (1) | WO2013133115A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6052057B2 (ja) * | 2013-05-22 | 2016-12-27 | ソニー株式会社 | 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004191629A (ja) * | 2002-12-11 | 2004-07-08 | Canon Inc | 焦点検出装置 |
JP2007121896A (ja) * | 2005-10-31 | 2007-05-17 | Nikon Corp | 焦点検出装置および光学システム |
JP2009141390A (ja) * | 2007-12-03 | 2009-06-25 | Nikon Corp | 撮像素子および撮像装置 |
JP2012037551A (ja) * | 2010-08-03 | 2012-02-23 | Canon Inc | 焦点検出装置および撮像装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5762002B2 (ja) * | 2011-01-06 | 2015-08-12 | キヤノン株式会社 | 撮像装置 |
-
2013
- 2013-02-27 JP JP2013037554A patent/JP6136364B2/ja active Active
- 2013-02-28 WO PCT/JP2013/055332 patent/WO2013133115A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004191629A (ja) * | 2002-12-11 | 2004-07-08 | Canon Inc | 焦点検出装置 |
JP2007121896A (ja) * | 2005-10-31 | 2007-05-17 | Nikon Corp | 焦点検出装置および光学システム |
JP2009141390A (ja) * | 2007-12-03 | 2009-06-25 | Nikon Corp | 撮像素子および撮像装置 |
JP2012037551A (ja) * | 2010-08-03 | 2012-02-23 | Canon Inc | 焦点検出装置および撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6136364B2 (ja) | 2017-05-31 |
JP2013214048A (ja) | 2013-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5901246B2 (ja) | 撮像装置 | |
JP5163068B2 (ja) | 撮像装置 | |
JP5012495B2 (ja) | 撮像素子、焦点検出装置、焦点調節装置および撮像装置 | |
US8018524B2 (en) | Image-pickup method and apparatus having contrast and phase difference forcusing methods wherein a contrast evaluation area is changed based on phase difference detection areas | |
JP5762002B2 (ja) | 撮像装置 | |
JP5676962B2 (ja) | 焦点検出装置および撮像装置 | |
US9083879B2 (en) | Focus detection apparatus, control method thereof, and image pickup apparatus | |
US20140139725A1 (en) | Focus detection apparatus and method, and image capturing apparatus | |
CN107960120B (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
JP6700986B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2020088689A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP5850648B2 (ja) | 撮像装置 | |
JP2015194736A (ja) | 撮像装置およびその制御方法 | |
JP5381646B2 (ja) | 撮像装置 | |
JP5786355B2 (ja) | デフォーカス量検出装置および電子カメラ | |
JP6136364B2 (ja) | デフォーカス量検出装置およびカメラ | |
JP6493444B2 (ja) | 撮像装置 | |
JP2009251523A (ja) | 相関演算方法、相関演算装置、焦点検出装置および撮像装置 | |
JP5589799B2 (ja) | 撮像装置 | |
JP2016057402A (ja) | 撮像装置及びその制御方法 | |
CN113596431B (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
JP5691440B2 (ja) | 撮像装置 | |
JP5338118B2 (ja) | 相関演算装置、焦点検出装置および撮像装置 | |
JP7019442B2 (ja) | 撮像装置およびその制御方法 | |
JP2016045322A (ja) | 撮像装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13758589 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13758589 Country of ref document: EP Kind code of ref document: A1 |