WO2011045850A1 - 焦点調節装置及び焦点調節方法 - Google Patents
焦点調節装置及び焦点調節方法 Download PDFInfo
- Publication number
- WO2011045850A1 WO2011045850A1 PCT/JP2009/067742 JP2009067742W WO2011045850A1 WO 2011045850 A1 WO2011045850 A1 WO 2011045850A1 JP 2009067742 W JP2009067742 W JP 2009067742W WO 2011045850 A1 WO2011045850 A1 WO 2011045850A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- image signal
- focus
- defocus amount
- signal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000003702 image correction Methods 0.000 claims abstract description 82
- 210000001747 pupil Anatomy 0.000 claims abstract description 70
- 238000003384 imaging method Methods 0.000 claims abstract description 45
- 230000003287 optical effect Effects 0.000 claims abstract description 28
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 238000005315 distribution function Methods 0.000 claims description 65
- 238000009826 distribution Methods 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 description 63
- 238000010586 diagram Methods 0.000 description 34
- 238000004364 calculation method Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000005484 gravity Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
Definitions
- the present invention relates to a focus adjustment apparatus and a focus adjustment method, and more particularly to autofocus used for an electronic camera or the like.
- Patent Document 1 discloses a solid-state imaging device that also serves as an imaging element in which pixels in which the relative positions of a microlens and a photoelectric conversion unit are displaced are two-dimensionally arranged.
- the solid-state imaging device of Patent Literature 1 when a normal image is taken, an image is generated by adding pixels having different relative displacement directions between the microlens and the photoelectric conversion unit.
- the focal position of the photographic lens when calculating the focal position of the photographic lens, the focal position of the photographic lens is calculated based on a pair of images generated by pixel rows having different relative displacement directions of the microlens and the photoelectric conversion unit. Then, a correlation calculation is performed on the relative image shift amount of the pair of images, and the focal position of the photographing lens is calculated.
- the pitch of the image correction filter is constant regardless of the defocus amount or the F-number, so that an accurate filter shape cannot be expressed due to aliasing distortion or the like near the in-focus position where the filter length becomes short. There was a problem that the calculation accuracy was poor.
- An object of the present invention is to realize accurate focus adjustment even in a state where vignetting is caused by a photographing lens.
- the technical features of the present invention include a first pixel group that receives a light beam passing through a first pupil region of an imaging optical system that forms a subject image;
- a focus adjustment method of a focus adjustment apparatus including an imaging unit having a second pixel group that receives a light beam passing through a second pupil region different from the first pupil region, wherein the focus adjustment method includes: Image correction information corresponding to the defocus amount obtained from the relative image shift amount of the first image signal based on the output signal of the second image signal and the second image signal based on the output signal from the second pixel group.
- the focus state of the imaging optical system is determined based on the defocus amount obtained from the amount of image deviation. And having a focus adjustment step of controlling to clause.
- FIG. 1 is a configuration diagram of an imaging apparatus according to the present embodiment.
- reference numeral 101 denotes a first lens group disposed at the tip of a photographing lens (imaging optical system), which is held so as to be able to advance and retract in the optical axis direction.
- Reference numeral 102 denotes an aperture / shutter, which adjusts the light amount at the time of shooting by adjusting the aperture diameter, and also has a function as an exposure time adjustment shutter at the time of still image shooting.
- Reference numeral 103 denotes a second lens group of the photographing lens.
- the diaphragm shutter 102 and the second lens group 103 integrally move forward and backward in the optical axis direction, and perform a zooming function (zoom function) in conjunction with the forward and backward movement of the first lens group 101.
- Reference numeral 105 is a third lens group of the taking lens, and performs focus adjustment by advancing and retreating in the optical axis direction.
- Reference numeral 106 denotes an optical low-pass filter, which is an optical element for reducing false colors and moire in a captured image.
- Reference numeral 107 denotes an image sensor composed of a C-MOS sensor and its peripheral circuits. The image sensor is a two-dimensional single-plate color sensor in which a Bayer-array primary color mosaic filter is formed on-chip on light receiving pixels of horizontal m pixels and vertical n pixels.
- Reference numeral 111 denotes a zoom actuator, which rotates a cam cylinder (not shown) to drive the first lens group 101 or the second lens group 103 back and forth in the optical axis direction, thereby performing a zooming operation.
- Reference numeral 112 denotes an aperture shutter actuator that controls the aperture diameter of the aperture / shutter 102 to adjust the amount of photographing light, and controls the exposure time during still image photographing.
- Reference numeral 114 denotes a focus actuator, which performs focus adjustment by driving the third lens group 105 back and forth in the optical axis direction.
- Reference numeral 116 denotes an AF auxiliary light unit, which projects a mask image having a predetermined aperture pattern onto a subject field via a light projection lens, thereby improving the focus calculation ability for a dark subject or a low-contrast subject.
- the CPU 121 is a CPU which controls various controls of the image pickup apparatus main body.
- the CPU 121 includes a calculation unit, a ROM, a RAM, an A / D converter, a D / A converter, a communication interface circuit, and the like, and drives various circuits included in the imaging device based on a predetermined program stored in the ROM. A series of operations such as photographing, image processing and recording are executed.
- Reference numeral 123 denotes an auxiliary light driving circuit that controls the lighting of the AF auxiliary light unit 116 in synchronization with the focus calculation operation.
- An image sensor driving circuit 124 controls the image capturing operation of the image sensor 107 and A / D converts the acquired image signal and transmits the image signal to the CPU 121.
- An image processing circuit 125 performs processes such as ⁇ conversion, color interpolation, and JPEG compression of the image acquired by the image sensor 107.
- a shutter drive circuit 128 controls the aperture shutter actuator 112 to control the aperture of the aperture / shutter 102.
- Reference numeral 129 denotes a zoom drive circuit that drives the zoom actuator 111 in accordance with the zoom operation of the photographer.
- Reference numeral 131 denotes a display such as an LCD, which displays information related to the shooting mode of the imaging apparatus, a preview image before shooting and a confirmation image after shooting, a focus state display image when calculating focus, and the like.
- An operation switch group 132 includes a power switch, a release (shooting trigger) switch, a zoom operation switch, a shooting mode selection switch, and the like.
- Reference numeral 133 denotes a detachable flash memory that records a photographed image.
- FIG. 2 is a diagram illustrating the structure of the imaging pixel.
- FIG. 2 shows an enlarged plan view and cross-sectional view of a part of the imaging pixels.
- imaging pixels G pixels
- R pixel, B pixel having spectral sensitivities of R (Red) and B (Blue) are arranged in the other two pixels. That is, in this embodiment, an example in which a Bayer array is adopted is shown. Further, focus detection pixels having a structure to be described later are arranged in a distributed manner between the Bayer arrays.
- FIG. 2A is a plan view of 2 ⁇ 2 imaging pixels located in the center of the imaging device.
- G pixels are arranged diagonally, and R pixels and B pixels are arranged in the other two pixels.
- the structure of 2 rows ⁇ 2 columns is repeatedly arranged.
- FIG. 2B shows a cross section AA of FIG. ML is an on-chip microlens disposed on the forefront of each imaging pixel, CFR is an R (Red) color filter, and CFG is a G (Green) color filter.
- PD is a schematic diagram showing the photoelectric conversion unit of the C-MOS sensor, and CL is a wiring layer for forming signal lines for transmitting various signals in the C-MOS sensor.
- TL schematically shows a photographing lens.
- the on-chip microlens ML and the photoelectric conversion unit PD of the imaging pixel are configured to capture the light beam that has passed through the photographing lens TL as effectively as possible.
- the exit pupil EP also referred to as a pupil region
- the effective area of the photoelectric conversion unit is designed to be large.
- the incident light beam of the R pixel has been described in FIG. 2B, the G pixel and the B pixel have the same structure. Accordingly, the exit pupil EP corresponding to each of the RGB pixels for imaging has a large diameter, and the S / N of the image signal is improved by efficiently capturing the light flux from the subject.
- FIG. 3 is a diagram illustrating the structure of the focus detection pixel.
- FIG. 3 shows an enlarged plan view and a cross-sectional view of a part of focus detection pixels for performing pupil division in the x direction in FIG. 3B of the photographing lens TL.
- FIG. 3A is a plan view of 2 ⁇ 2 columns of focus detection pixels including focus detection pixels located in the center of the image sensor.
- the R pixel or the B pixel is an imaging pixel for acquiring color information, but since humans are insensitive to the color information, the R pixel or B pixel for acquiring the color information may have some loss. Difficult to notice image quality degradation. Therefore, in this embodiment, among the 2 ⁇ 2 imaging pixels, the G pixels are left as imaging pixels, and focus detection pixels are arranged at a certain ratio at positions corresponding to R pixels and B pixels. Yes. This is indicated by SHA and SHB in FIG.
- FIG. 3 (b) shows a cross section BB of FIG. 3 (a).
- the microlens ML and the photoelectric conversion unit PD have the same structure as that of the imaging pixel shown in FIG.
- a transparent film CFW White
- the opening of the wiring layer CL is deviated in the x direction with respect to the center line of the microlens ML.
- the opening OPHA of the focus detection pixel SHA is biased in the ⁇ x direction, the light beam that has passed through the exit pupil EPHA on the left side of the drawing lens TL in FIG. 3B is received.
- the focus detection pixels SHA are regularly arranged in the x direction, and the first image signal acquired by these focus detection pixels SHA is defined as an image signal A.
- the focus detection pixels SHB are also regularly arranged in the x direction, and the second image signal acquired by these focus detection pixel groups SHB is defined as an image signal B. Then, by calculating the defocus amount from the relative image shift amount between the image signal A and the image signal B using the correlation calculation, the focal position of the photographing lens can be calculated. Therefore, based on this, the focus state of the photographing lens can be adjusted.
- FIG. 4 is a diagram conceptually illustrating the pupil division state of the image sensor in the present embodiment.
- TL is a photographing lens
- 107 is an image sensor
- OBJ is a subject
- IMG is an image signal.
- the imaging pixel receives the light beam that has passed through the entire exit pupil EP of the imaging lens.
- the focus detection pixel has a pupil division function as described with reference to the plan view and the cross-sectional view of the focus detection pixel for performing pupil division in the x direction in FIG.
- the focus detection pixels are distributed over the entire area of the image sensor 107, thereby making it possible to calculate the focus in the entire imaging area.
- pupil intensity distribution and line image distribution function when vignetting does not occur the intensity distribution in the exit pupil plane of the light beam is simply referred to as a pupil intensity distribution.
- FIG. 5 is a diagram showing the pupil intensity distribution of the focus detection pixels and the line image distribution function obtained from the pupil intensity distribution.
- FIG. 5A shows the characteristics of the focus detection pixel SHA
- FIG. 5B shows the characteristics of the focus detection pixel SHB.
- the x-axis and y-axis in FIG. 5 correspond to the x-axis and y-axis in FIG. FIG. 5 shows that the received light intensity is higher as the color becomes darker.
- the exit pupil of the focus detection pixel SHA is shown separately as EPHA
- the exit pupil of the focus detection pixel SHB is shown separately as EPHB.
- the focus detection pixel SHA and the focus detection pixel are blurred and spread by the influence of diffraction by the openings OPHA and the opening OPHAB shown in FIG.
- the exit pupil of SHB has a portion where some areas overlap.
- FIG. 5C is a diagram showing the line image distribution function of the focus detection pixels. This is a projection of the pupil intensity distributions of FIGS. 5A and 5B in the y direction.
- the horizontal axis corresponds to the x-axis in FIGS. 5A and 5B, and the vertical axis represents the intensity of the line image distribution function.
- the origin O corresponds to the optical axis position of the taking lens.
- the intensity distribution of a point image that a certain point light source passes through the exit pupil of the optical system and forms on the image plane is the shape of the exit pupil when the optical system has no aberration. It is thought that the projection is reduced. Since the line image distribution function is a projection of the point image distribution function, the projection of the pupil intensity distribution is used as the line image distribution function.
- the line image distribution functions LSF A and LSF B are substantially symmetric with respect to the optical axis (the shape of the image is substantially the same).
- the line image distribution functions LSF A and LSF B are substantially symmetrical in the x-axis direction with the center of gravity in the x-axis direction as the center.
- FIG. 6 is a diagram showing the pupil intensity distribution and the line image distribution function obtained from the pupil intensity distribution when vignetting occurs due to the photographing lens with respect to the pupil intensity distribution of FIG.
- FIG. 6A shows the characteristics of the pupil intensity distribution when there is vignetting by the photographing lens of the focus detection pixel SHA
- FIG. 6B shows the focus detection pixel SHB.
- FIG. 6C is a diagram showing a line image distribution function when vignetting is caused by the photographing lens.
- FIG. 6C is a projection of the pupil intensity distributions of FIGS. 6A and 6B in the y direction as in FIG. 5C.
- the horizontal axis corresponds to the x-axis in FIGS. 5A and 5B, and the vertical axis represents the intensity of the line image segment function.
- the origin O corresponds to the optical axis position of the taking lens.
- the line image distribution functions LSF A ′ and LSF B ′ are substantially symmetric with respect to the optical axis, as in FIG. 5C. .
- the pupil intensity distribution is in a state of being partially cut out by Area1, so when looking at the entire line image distribution functions LSF A ′ and LSF B ′, It is asymmetric in the x-axis direction with the center of gravity in the x-axis direction as the center.
- FIG. 7 is a diagram schematically showing a focus calculation configuration of the image sensor 107 and the image sensor drive circuit 124 in FIG. In FIG. 7, the A / D conversion unit is omitted for easy understanding.
- the image sensor 107 has a plurality of focus detection pixels 901 composed of the focus detection pixels 901a and the focus detection pixels 901b described in FIG.
- the focus detection pixel 901a corresponds to the focus detection pixel SHA
- the focus detection pixel 901b corresponds to the focus detection pixel SHB.
- the image sensor 107 includes a plurality of imaging pixels for photoelectrically converting a subject image formed by the photographing lens.
- the image sensor driving circuit 124 includes a combining unit 902 and a connecting unit 903.
- the image sensor drive circuit 124 assigns a plurality of sections (regions) CST to the imaging surface of the image sensor 107 so as to include a plurality of focus detection pixels 901.
- the image sensor driving circuit 124 can appropriately change the size, arrangement, number, and the like of the section CST.
- the synthesizing unit 902 performs a process of synthesizing output signals from the focus detection pixels 901a to obtain a first synthesized signal of one pixel in each of the plurality of sections CST assigned to the image sensor 107.
- the combining unit 902 also performs processing for combining each output signal from the focus detection pixel 901b to obtain a second combined signal of one pixel in each section CST.
- the connection unit 903 connects the focus detection pixels that are the first combined signal to obtain the first connection signal, and connects the second combined signal to the second connection.
- a process for obtaining a signal is performed. In this way, a connection signal obtained by connecting the focus detection pixels of the number of sections to each of the focus detection pixels 901a and 901b is obtained.
- the CPU 121 calculates the defocus amount of the photographing lens based on the first connection signal and the second connection signal. In this way, since the output signals of the focus detection pixels in the same pupil division direction arranged in the section are synthesized, even if the brightness of each of the focus detection pixels 901 is small, the brightness of the subject The distribution can be sufficiently detected.
- FIG. 8 shows a pair of image signals formed by the focus detection pixel 901, the combining unit 902, and the connecting unit 903 in FIG. 7 and sent to the CPU 121.
- the horizontal axis indicates the pixel arrangement direction of the connected signals
- the vertical axis indicates the signal intensity.
- the image signal 430a is a signal formed by the focus detection pixel 901a
- the image signal 430b is a signal formed by the focus detection pixel 901b. Since the focus position of the photographing lens is in the defocused state, the image signal 430a is shifted to the left side and the image signal 430b is shifted to the right side.
- the line image distribution function is asymmetric with respect to the center of gravity due to the vignetting by the photographing lens. Asymmetry also occurs in B. In other words, the degree of coincidence of images decreases. In the focus detection using the phase difference method, the amount of image shift cannot be accurately calculated when there is a decrease in image coincidence (asymmetry). Therefore, in this embodiment, this problem is solved by correcting the asymmetry of the obtained image signal.
- the light intensity distribution of the subject is f (x, y) and the light intensity distribution of the image signal is g (x, y).
- h (a, b) is a transfer function representing a state in which the subject deteriorates in the image forming system, and is called a point spread function. Therefore, in order to know a pair of image signals used for focus calculation, it is necessary to know a point spread function.
- the image shift amount is calculated. For this reason, an image system related to focus calculation can be evaluated by a line image distribution function (line spread function) which is a one-dimensional function instead of a two-dimensional point image distribution function. Therefore, when the light amount distribution of the subject is replaced with f (x) and the light amount distribution of the image signal is replaced with g (x), the above equation (1) can be rewritten as follows using the line image distribution function L (a).
- the intensity distribution of the point image that a point light source passes through the exit pupil of the optical system and forms on the imaging surface forms an image of the exit pupil when the optical system has no aberration. It is thought that the projection is reduced on the surface. Therefore, the point spread function h (a, b) can be replaced with the pupil intensity distribution.
- the line image distribution function can be considered as a projection of the pupil intensity distribution. Therefore, in FIGS. 5 and 6, the projection of the pupil intensity distribution has been described as a line image distribution function. Therefore, from Equation (2), the subject image of the present embodiment is convolved with the asymmetric line image distribution functions LSF A ′ and LSF B ′ described in FIG.
- Asymmetry has occurred. As described above, when the asymmetry is generated in the pair of image signals used for the correlation calculation, the calculation accuracy of the focal position is also lowered. In order to improve the calculation accuracy of the focal position, it is effective to correct the asymmetry of the pair of image signals and increase the degree of coincidence of the images.
- an image signal obtained by the focus detection pixel 901a in FIG. 7 is called an image signal A
- an image signal obtained by the focus detection pixel 901b is called an image signal B.
- the asymmetry between the image signal A and the image signal B is caused by convolution integration of asymmetric line image distribution functions LSF A ′ and LSF B ′.
- FIG. 9 is a conceptual diagram illustrating image correction filter processing for eliminating image signal asymmetry.
- the horizontal axis indicates the pixel arrangement direction
- the vertical axis indicates the intensity of the image signal.
- 9A shows the light amount distribution of the subject by Obj
- FIGS. 9B and 9C show the line image distribution functions of the focus detection pixel SHA and the focus detection pixel SHB as LSFAx and LSFBx. It is a representation.
- FIGS. 9D and 9E show the image signal A (ImgA) and the image signal B (ImgB).
- the line image distribution function LSFAx and the line image distribution function LSFBx are convolved with the light amount distribution Obj of the subject, respectively.
- FIG. 9F shows a corrected image ReImgA obtained by convolving and integrating the image signal A (ImgA) with the line image distribution function LSFBx of the image signal B which is an image correction filter.
- FIG. 9G shows a corrected image ReImgB obtained by convolving and integrating the image signal B (ImgB) with the line image distribution function LSFAx of the image signal A which is an image correction filter.
- the respective corrected images have the same shape. The principle of the corrected image having the same shape will be described.
- the image signal A (ImgA) is obtained by the above-described equation (2).
- the corrected image ReImgA obtained by convolving and integrating the line image distribution function LSFBx with the obtained image signal A (ImgA) is k (x)
- k (x) is obtained as follows.
- step S001 lens information for knowing the vignetting state by the taking lens is acquired.
- step S002 the pupil intensity distribution stored in the ROM of the CPU 121 is read for each focus detection pixel, and the line image distribution function is calculated together with the vignetting information obtained by the photographing lens obtained in step S001.
- step S003 the center of gravity of the line image distribution function obtained in step S002 is calculated, and the baseline length is obtained.
- step S004 the image signal of the focus detection pixel at the focus detection position is read, and the image signal A and the image signal B are formed.
- step S005 shading correction is performed by predicting the shading of the image signal A and the image signal B formed in step S004 using the lens information and pupil intensity distribution obtained in step S001.
- step S006 dark correction is performed on the image signal A and image signal B formed in step S004 from the dark value stored in the ROM of the CPU 121.
- step S007 an image shift amount is obtained by correlation calculation using the image signal A after dark correction and the image signal B after dark correction obtained in step S006, and is combined with the base line length obtained in step S003 to obtain a temporary data. Find the focus amount.
- step S008 the CPU 121 determines whether or not the provisional defocus amount calculated in step S007 is within a range set by a certain threshold value.
- the process proceeds to step S011 without changing the pitch of the image correction filter (the sampling pitch of the line image distribution function as image correction information).
- the process proceeds to step S009 in order to newly calculate the pitch of the image correction filter. That is, not only the shape of the image correction filter is changed but also the pitch is switched depending on the amount of provisional defocus. The reason for this will be described.
- the image correction processing section relaxes the asymmetry of the image signal and calculates the defocus amount with high accuracy. Can do.
- the filter length is short, and the pitch of the same image correction filter as that when the defocus amount is large is too coarse, and aliasing distortion occurs, so that the shape of the line image distribution function obtained in step S002 is changed. It cannot be expressed accurately. Therefore, even if the image correction processing unit is performed, the asymmetry of the image signal cannot be reduced, and the defocus amount cannot be calculated with high accuracy.
- Steps S009 and S010 are processes performed when the provisional defocus amount calculated in step S007 is smaller than the threshold value.
- step S009 the pitch of the image correction filter is calculated based on the provisional defocus amount calculated in step S007.
- step S010 image signal interpolation processing is performed using linear interpolation or spline interpolation in accordance with the pitch of the image correction filter calculated in step S009.
- step S011 the CPU 121 calculates an image correction filter.
- step S012 the image correction filter calculated in step S011 is convolved with the image signal to obtain a corrected image signal.
- step S013 using the corrected image signal calculated in step S012, the image shift amount is calculated by correlation calculation in the same manner as in step S007. Then, the defocus amount is obtained together with the baseline length obtained in step S003, and a series of focus calculation flows is completed.
- FIG. 11 is a diagram illustrating light rays incident on the image sensor 107 at the time of defocusing.
- FIG. 11A shows a ray diagram at the time of the front pin
- FIG. 11B shows a ray diagram at the time of the rear pin.
- Zaf is the distance from the imaging element 107 surface to the pupil plane Me
- Raf is the width of Area 1 shown in FIG. 6 in the x-axis direction
- Def is the defocus amount.
- Wf obtained by this equation (8) is the line image distribution function at the time of the previous pin, that is, the width of the image correction filter.
- the line image distribution function LSF A2 ′ in the case of the rear pin is reduced to the width Wb on the surface of the image sensor 107.
- the line image distribution function LSF A2 ′ is not horizontally reversed.
- the width of the line image distribution function LSF A2 ′, that is, the width Wb of the image correction filter at the time of the back pin is calculated by Expression (8).
- the line image distribution function LSF B ′ and detailed description thereof is omitted.
- step S005 adjust the gain so that the strength of the image correction filter is constant. This is because the image signal A and the image signal B are subjected to shading correction in step S005, so that there is no difference in intensity between the image signal A and the image signal B after image correction. The intensity of the B image correction filter is adjusted.
- the waveform is moved so that the centroids of the image correction filters of the image signal A and the image signal B are matched. This is to prevent the center of gravity of the image signal after image correction from moving. In this way, an image correction filter is calculated.
- FIGS. 12 to 14 are diagrams simulating how an image correction filter is created from a line image distribution function in accordance with the defocus amount.
- FIG. 12 shows a line image distribution function LSF that is the basis of the image correction filter, where W is the filter width and H is the filter strength.
- FIG. 13 shows an image correction filter Filw obtained by sampling the line image distribution function LSFw and the line image distribution function LSFw changed in accordance with large defocus.
- FIG. 14 shows an image obtained by sampling the line image distribution function LSFn, the image correction filter Filn obtained by sampling the line image distribution function LSFn, and the pitch of the line image distribution function LSFn. It is a correction filter Filmp.
- the filter length becomes long like the line image distribution function LSFw in FIG. 13A, so that the filter width is ⁇ 1W. Further, the height is ⁇ 1H in order to adjust the strength.
- the image correction filter Filw in FIG. 13B obtained by sampling can accurately represent the shape of the line image distribution function LSFw to some extent.
- the filter length is shortened like the line image distribution function LSFn in FIG. 14A, so the filter width is ⁇ 2W. Further, the height is ⁇ 2H in order to make the strength constant. Then, since the filter width ⁇ 2W of the image correction filter Filn in FIG.
- the image signal can be corrected even near the in-focus position.
- the focus can be adjusted with higher accuracy.
- the image shift method is used for the correlation calculation, but the same result can be obtained even if another method is used.
- the second embodiment is a modification of the first embodiment.
- the pitch of the image correction filter is changed according to the defocus amount.
- the pitch of the image correction filter is also changed depending on the F number of the photographing lens. Note that the operation in the flow of FIG.
- the focus adjustment and photographing process of the optical device of the second embodiment are the same as those of the optical device of the first embodiment, description thereof is omitted.
- FIG. 15 and 16 are diagrams relating to the second embodiment of the present embodiment.
- FIG. 15 is a diagram simulating the creation of an image correction filter from a line image distribution function in accordance with the F number.
- FIG. 16 is a flowchart obtained by adding a determination to change the pitch according to the F number to the flowchart of FIG.
- FIG. 15 is a diagram showing vignetting by the photographing lens on the pupil plane of the focus detection pixel corresponding to the F number.
- FIGS. 15A and 15B both show a vignetting diagram, line image distribution functions LSFfw and LSFfn, and image correction filters Filfw and Filfn from the top. More specifically, the upper diagram shows vignetting of the pupil intensity distribution of the incident light beam on the pupil plane of the focus detection pixel at the center of the image sensor by the photographing lens. Moreover, the center figure is the line image distribution functions LSFfw and LSFfn obtained from the pupil intensity distribution. The lower diagram shows image correction filters Filfw and Filf obtained by sampling the line image distribution function. As shown in FIG.
- the image correction filter Filfw can well express the asymmetry of the line image LSFfw.
- the F number at the time of shooting is large as shown in FIG. 15B, a line image is created from the light flux that has passed through a more limited region of the pupil intensity distribution. Therefore, the image correction filter Filfn cannot correctly represent the line image LSFfn at the same pitch as that when the F number in FIG.
- step S001 to step S007 are the same as those in FIG. 10 used in the description of the first embodiment, the description thereof is omitted.
- step S008 the CPU 121 determines whether or not the F number at the time of shooting obtained in step S001 is within a set range. If it is determined that the F number at the time of shooting is greater than or equal to the set threshold, the process proceeds to step S010. On the other hand, if it is determined that the F number at the time of shooting is smaller than the set threshold, the process proceeds to step S009 to calculate the pitch of the image correction filter. That is, the pitch of the image correction filter is switched depending on the F number at the time of shooting.
- step S009 a first filter pitch (that is, a sampling pitch of information for image correction) determined from the F number at the time of photographing obtained in step S001 is calculated.
- step S010 it is determined whether the pitch of the image correction filter is switched according to the amount of provisional defocus calculated in step S007, as in the first embodiment.
- Steps S011 and S012 are processes performed when the provisional defocus amount calculated in step S007 is smaller than the threshold value.
- the second filter pitch is calculated based on the provisional defocus amount calculated in step S007.
- step S012 the pitch of the image correction filter is determined.
- step S008 if it is determined in step S008 that the F number is greater than or equal to a certain threshold value and it is determined in step S010 that the provisional defocus amount is greater than or equal to a certain threshold value, the pitch of the image correction filter determined in advance is set. .
- step S008 if it is determined in step S008 that the F number is smaller than a certain threshold value, and it is determined in step S010 that the provisional defocus amount is greater than or equal to a certain threshold value, the first filter pitch calculated in step S009 Is the pitch of the image correction filter.
- step S008 If it is determined in step S008 that the F number is greater than or equal to a certain threshold value and it is determined in step S010 that the provisional defocus amount is smaller than a certain threshold value, the second filter pitch calculated in step S011 is set. The pitch of the image correction filter.
- the small pitch is set as the pitch of the image correction filter.
- the small pitch is a value obtained by comparing the first filter pitch calculated in step S009 with the second filter pitch calculated in step S011 and selecting the smaller one.
- step S013 image signal interpolation processing is performed using linear interpolation or spline interpolation in accordance with the pitch of the image correction filter calculated in step S012.
- step S014 an image correction filter is calculated at the pitch of the image correction filter determined in step S012. Then, as in the first embodiment, image correction filter processing is performed in step S015, and in step S016, the defocus amount is obtained by combining the image shift amount obtained from the correlation calculation and the baseline length obtained in step S003. This completes the focus calculation flow.
- the image signal can be corrected near the in-focus position by changing the shape and pitch of the image correction filter according to the F number.
- the focus can be adjusted with higher accuracy.
- the image shift method is used for the correlation calculation, but the same result can be obtained even if another method is used.
- the present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
- Image sensor 121 CPU 124 Image sensor driving circuit 125 Image processing circuit TL Shooting lens OBJ Subject IMG Image signal EP Exit pupil EPHA, EPHB Divided exit pupil SHA, SHB Focus detection pixel ML On-chip micro lens CL Wiring layer OPHA, OPHB Pixel opening 430a 430b Image signal LSFw, LSFn, LSFA, LSFB Line image distribution function Filw, Filn, Filfw, Filfn Image correction filter
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
撮影レンズによるケラレが発生している状態においても精度のよい焦点調節を実現させる。 被写体像を結像する結像光学系の第1の瞳領域を通過する光束を受光する第1の画素群の出力信号から得られる第1の像信号と、前記第1の瞳領域と異なる第2の瞳領域を通過する光束を受光する第2の画素群の出力信号から得られる第2の像信号とを修正する際に用いる像修正情報のサンプリングピッチを、デフォーカス量に応じて変化させ、当該像信号修正処理後の第1の修正像信号と第2の修正像信号の相対的な像ずれ量に基づいて、結像光学系の焦点調節を行なう。
Description
本発明は、焦点調節装置及び、焦点調節方法に関しており、特に電子カメラ等に利用されるオートフォーカスに関する。
マイクロレンズと光電変換部の相対位置を偏位させた画素を2次元的に配置した、撮像素子を兼ねた固体撮像装置が特許文献1に開示されている。特許文献1の固体撮像装置では、通常の画像を撮影するときは、マイクロレンズと光電変換部の相対偏位方向が異なる画素を加算することにより、画像を生成している。一方、撮影レンズの焦点位置を算出する時は、マイクロレンズと光電変換部の相対偏位方向が異なる画素列で生成される一対の像に基づいて撮影レンズの焦点位置を算出している。そして、その一対の像の相対的な像ずれ量に対して相関演算を行って、撮影レンズの焦点位置が算出される。
また、撮影レンズによるケラレが発生している状態の位相差AF(Auto Focus)において焦点位置を算出する場合、撮影レンズによるケラレによって像信号の非対称性(像の一致度の低下)が生じてしまう。そこで、特許文献2では、撮像装置に格納された特定の像修正フィルタを口径比、射出瞳位置、デフォーカス量によって変形し、該像修正フィルタを像信号に適用したのち、焦点位置を算出する技術が開示されている。前記像修正フィルタは畳み込み積分により前記像信号に適用する為、該像修正フィルタのピッチは該像信号のピッチと一致させている。
しかしながら、従来例では像修正フィルタのピッチをデフォーカス量やFナンバーによらず一定としている為、フィルタ長が短くなる合焦近傍においては、折り返し歪などにより正確なフィルタ形状を表現できず、焦点算出精度が悪いという問題があった。
本発明の目的は、撮影レンズによるケラレが発生している状態においても、精度のよい焦点調節を実現させることである。
上述のような課題を解決するために、本発明の技術的特徴としては、被写体像を結像する結像光学系の第1の瞳領域を通過する光束を受光する第1の画素群と、前記第1の瞳領域と異なる第2の瞳領域を通過する光束を受光する第2の画素群とを有する撮像手段を備える焦点調節装置の焦点調節方法であって、前記第1の画素群からの出力信号に基づく第1の像信号と前記第2の画素群からの出力信号に基づく第2の像信号の相対的な像ずれ量から得られるデフォーカス量に応じた像修正情報を用いて、前記第1の像信号と前記第2の像信号とを修正する修正工程と、前記修正工程により得られた像の修正後の第1の修正像信号と第2の修正像信号の相対的な像ずれ量から得られるデフォーカス量に基づいて、前記結像光学系の焦点状態を調節するよう制御する焦点調節工程とを有することを特徴とする。
本発明によれば、焦点調節精度を向上させることが可能となる。
以下、図面を参照しながら本発明の一実施形態を説明する。
〔第1の実施形態〕
本発明の第1の実施形態について、図1~図14を用いて以下に説明する。
本発明の第1の実施形態について、図1~図14を用いて以下に説明する。
(撮像装置の構成)
図1は本実施形態に関わる撮像装置の構成図を示している。図1において、101は撮影レンズ(結像光学系)の先端に配置された第1レンズ群で、光軸方向に進退可能に保持される。102は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。103は撮影レンズの第2レンズ群である。そして絞り兼用シャッタ102及び第2レンズ群103は一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)をなす。
図1は本実施形態に関わる撮像装置の構成図を示している。図1において、101は撮影レンズ(結像光学系)の先端に配置された第1レンズ群で、光軸方向に進退可能に保持される。102は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。103は撮影レンズの第2レンズ群である。そして絞り兼用シャッタ102及び第2レンズ群103は一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)をなす。
105は撮影レンズの第3レンズ群で、光軸方向の進退により、焦点調節を行なう。106は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。107はC-MOSセンサとその周辺回路で構成された撮像素子である。該撮像素子は、横方向m画素、縦方向n画素の受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラーセンサが用いられる。
111はズームアクチュエータで、不図示のカム筒を回動することで、第1レンズ群101ないし第2レンズ群103を光軸方向に進退駆動し、変倍操作を行なう。112は絞りシャッタアクチュエータで、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。114はフォーカスアクチュエータで、第3レンズ群105を光軸方向に進退駆動して焦点調節を行なう。
115は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するLEDを備えた照明装置を用いても良い。116はAF補助光部で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点算出能力を向上させる。
121はCPUで、撮像装置本体の種々の制御を司る。CPU121は演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有し、ROMに記憶された所定のプログラムに基づいて、撮像装置が有する各種回路を駆動し、AF、撮影、画像処理と記録等の一連の動作を実行する。
122は電子フラッシュ制御回路で、撮影動作に同期して照明部115を点灯制御する。123は補助光駆動回路で、焦点算出動作に同期して、AF補助光部116を点灯制御する。124は撮像素子駆動回路で、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換してCPU121に送信する。125は画像処理回路で、撮像素子107が取得した画像のγ変換、カラー補間、JPEG圧縮等の処理を行なう。
126はフォーカス駆動回路で、焦点算出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行なう。128はシャッタ駆動回路で、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。129はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。
131はLCD等の表示器で、撮像装置の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点算出時の合焦状態表示画像等を表示する。132は操作スイッチ群で、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。133は着脱可能なフラッシュメモリで、撮影済み画像を記録する。
(撮像用画素の構造)
図2は、撮像用画素の構造を説明する図である。図2は、撮像用画素の一部分を拡大した平面図と断面図を示している。本実施形態においては、2行×2列の4画素のうち、対角2画素にG(Green)の分光感度を有する撮像用画素(G画素)を配置する。そして、他の2画素にR(Red)とB(Blue)の分光感度を有する撮像用画素(R画素、B画素)を各1個配置する。つまり、本実施形態ではベイヤー配列を採用した例を示す。そして、該ベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。
図2は、撮像用画素の構造を説明する図である。図2は、撮像用画素の一部分を拡大した平面図と断面図を示している。本実施形態においては、2行×2列の4画素のうち、対角2画素にG(Green)の分光感度を有する撮像用画素(G画素)を配置する。そして、他の2画素にR(Red)とB(Blue)の分光感度を有する撮像用画素(R画素、B画素)を各1個配置する。つまり、本実施形態ではベイヤー配列を採用した例を示す。そして、該ベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。
図2(a)は撮像素子中央に位置する2行×2列の撮像用画素の平面図である。ベイヤー配列では対角方向にG画素が、他の2画素にR画素とB画素が配置される。そして該2行×2列の構造が繰り返し配置される。
図2(a)の断面A-Aを図2(b)に示す。MLは各撮像用画素の最前面に配置されたオンチップマイクロレンズ、CFRはR(Red)のカラーフィルタ、CFGはG(Green)のカラーフィルタである。PDはC-MOSセンサの光電変換部を模式的に示したもの、CLはC-MOSセンサ内の各種信号を伝達する信号線を形成するための配線層である。TLは撮影レンズを模式的に示したものである。
ここで、撮像用画素のオンチップマイクロレンズMLと光電変換部PDは、撮影レンズTLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影レンズTLの射出瞳EP(瞳領域ともいう)と光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図2(b)ではR画素の入射光束について説明したが、G画素及びB画素も同一の構造となっている。従って、撮像用のRGB各画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込んで画像信号のS/Nを向上させている。
(焦点検出用画素の構造)
図3は、焦点検出用画素の構造を説明する図である。図3は、撮影レンズTLの図3(b)中x方向に瞳分割を行なうための焦点検出用画素の一部分を拡大した平面図と断面図を示している。図3(a)は、撮像素子中央に位置する焦点検出用画素を含む2行×2列の焦点検出用画素の平面図である。画像信号を得る場合、人間の画像認識特性は輝度情報に敏感である為、G画素が欠損すると画質劣化が認められやすい。その為、G画素は輝度情報の主成分をなす。一方でR画素もしくはB画素は、色情報を取得する撮像用画素であるが、人間は色情報には鈍感であるため、色情報を取得するR画素もしくはB画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、2行×2列の撮像用画素のうち、G画素は撮像用画素として残してR画素とB画素に相当する位置に、ある割合で焦点検出用画素を配列している。これを図3(a)においてSHA及びSHBで示す。
図3は、焦点検出用画素の構造を説明する図である。図3は、撮影レンズTLの図3(b)中x方向に瞳分割を行なうための焦点検出用画素の一部分を拡大した平面図と断面図を示している。図3(a)は、撮像素子中央に位置する焦点検出用画素を含む2行×2列の焦点検出用画素の平面図である。画像信号を得る場合、人間の画像認識特性は輝度情報に敏感である為、G画素が欠損すると画質劣化が認められやすい。その為、G画素は輝度情報の主成分をなす。一方でR画素もしくはB画素は、色情報を取得する撮像用画素であるが、人間は色情報には鈍感であるため、色情報を取得するR画素もしくはB画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、2行×2列の撮像用画素のうち、G画素は撮像用画素として残してR画素とB画素に相当する位置に、ある割合で焦点検出用画素を配列している。これを図3(a)においてSHA及びSHBで示す。
図3(a)の断面B-Bを図3(b)に示す。マイクロレンズMLと、光電変換部PDは図2(b)に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像生成には用いないため、色分離用カラーフィルタの代わりに透明膜CFW(White)が配置される。また、撮像素子で瞳分割を行なうため、配線層CLの開口部はマイクロレンズMLの中心線に対してx方向に偏倚している。具体的には、焦点検出用画素SHAの開口部OPHAは-x方向に偏倚しているため、図3(b)の撮影レンズTLの紙面左側の射出瞳EPHAを通過した光束を受光する。同様に、画素SHBの開口部OPHBは+x方向に偏倚しているため、図3(b)の撮影レンズTLの紙面右側の射出瞳EPHBを通過した光束を受光する。ここで、焦点検出用画素SHAをx方向に規則的に配列し、これらの焦点検出用画素群SHAで取得した第1の像信号を像信号Aとする。また、焦点検出用画素SHBもx方向に規則的に配列し、これらの焦点検出用画素群SHBで取得した第2の像信号を像信号Bとする。すると、像信号Aと像信号Bの相対的な像ずれ量から相関演算を用いてデフォーカス量を算出することで、撮影レンズの焦点位置が算出できる。よって、これに基づいて、撮影レンズの焦点状態を調節することができる。
(撮像素子の瞳分割状況の概念)
図4は、本実施形態における撮像素子の瞳分割状況を概念的に説明する図である。TLは撮影レンズ、107は撮像素子、OBJは被写体、IMGは像信号である。撮像用画素は図2の撮像素子の撮像用画素の平面図と断面図で説明したように、撮影レンズの射出瞳全域EPを通過した光束を受光する。一方、焦点検出用画素は図3(a)のx方向に瞳分割を行なうための焦点検出用画素の平面図と断面図で説明したように、瞳分割機能を有している。具体的には、図3(a)の画素SHAは+X方向の側の瞳を通過した光束、すなわち図4の瞳EPHAを通過した光束を受光する。そして、焦点検出用画素を、撮像素子107の全領域に渡って分布させることで、撮像領域全域で焦点算出を可能とさせている。
図4は、本実施形態における撮像素子の瞳分割状況を概念的に説明する図である。TLは撮影レンズ、107は撮像素子、OBJは被写体、IMGは像信号である。撮像用画素は図2の撮像素子の撮像用画素の平面図と断面図で説明したように、撮影レンズの射出瞳全域EPを通過した光束を受光する。一方、焦点検出用画素は図3(a)のx方向に瞳分割を行なうための焦点検出用画素の平面図と断面図で説明したように、瞳分割機能を有している。具体的には、図3(a)の画素SHAは+X方向の側の瞳を通過した光束、すなわち図4の瞳EPHAを通過した光束を受光する。そして、焦点検出用画素を、撮像素子107の全領域に渡って分布させることで、撮像領域全域で焦点算出を可能とさせている。
なお、ここではx方向に輝度分布を有した被写体に対応した構成について説明したが、同様の構成をy方向にも展開することでy方向に輝度分布を有した被写体にも対応した構成をとることが可能である。
(ケラレが生じない場合の瞳強度分布と線像分布関数)
光束の射出瞳面内での強度分布を、以降では単に瞳強度分布と呼ぶ。
光束の射出瞳面内での強度分布を、以降では単に瞳強度分布と呼ぶ。
図5は焦点検出用画素の瞳強度分布とその瞳強度分布から得られる線像分布関数を表した図である。図5(a)は焦点検出用画素SHA、図5(b)は焦点検出用画素SHBの特性を示している。図5のx軸、y軸は図4のx軸、y軸に対応している。図5では、色が濃くなるほど受光強度が高いことを示している。図3(a)では説明をしやすくするため、焦点検出用画素SHAの射出瞳をEPHA、焦点検出用画素SHBの射出瞳をEPHBと、それぞれ分離して表した。しかし、図5に示すように、実際には、図3(b)で示した開口部OPHA及び開口部OPHBの開口部による回折の影響でぼけて広がり、焦点検出用画素SHAと焦点検出用画素SHBの射出瞳は一部領域の重なる部分がある。
図5(c)は焦点検出用画素の線像分布関数を表した図である。これは図5(a)と図5(b)の瞳強度分布をy方向に射影をとったものである。横軸は図5(a)、(b)のx軸に対応し、縦軸は線像分布関数の強度を表している。原点Oが撮影レンズの光軸位置に対応している。
ここで、ある点光源が光学系の射出瞳を通過し結像面上に形成する点像の強度分布、いわゆる点像分布関数は、光学系が無収差の場合、射出瞳形状が結像面上に縮小投影されていると考えられる。そして、線像分布関数は、点像分布関数の射影であるので、瞳強度分布の射影を線像分布関数としている。
図5(c)に示すように、撮像素子中央の焦点検出用画素では、線像分布関数LSFAとLSFBは、光軸に対して略対称(像の形状が略一致)となる。また、線像分布関数LSFAとLSFBは、それぞれのx軸方向の重心位置を中心として、x軸方向に略対称形となっている。
(ケラレが生じた場合の瞳強度分布と線像分布関数)
図6は図5の瞳強度分布に対して、撮影レンズによるケラレが生じた場合の瞳強度分布とその瞳強度分布から得られる線像分布関数を表した図である。図6(a)は焦点検出用画素SHA、図6(b)は焦点検出用画素SHBの撮影レンズによるケラレがある場合の瞳強度分布の特性を示している。そして、図5で示した焦点検出用画素SHA、SHBの瞳強度分布のうち、Area1で表した形状の内側のみが焦点検出用画素SHA、SHBで受光される領域となる。図6(c)は撮影レンズによるケラレが生じた場合の線像分布関数を表した図である。図6(c)は図5(c)と同様に図6(a)と図6(b)の瞳強度分布をy方向に射影をとったものである。横軸は図5(a)、(b)のx軸に対応し、縦軸は線像分関数の強度を表している。原点Oが撮影レンズの光軸位置に対応している。
図6は図5の瞳強度分布に対して、撮影レンズによるケラレが生じた場合の瞳強度分布とその瞳強度分布から得られる線像分布関数を表した図である。図6(a)は焦点検出用画素SHA、図6(b)は焦点検出用画素SHBの撮影レンズによるケラレがある場合の瞳強度分布の特性を示している。そして、図5で示した焦点検出用画素SHA、SHBの瞳強度分布のうち、Area1で表した形状の内側のみが焦点検出用画素SHA、SHBで受光される領域となる。図6(c)は撮影レンズによるケラレが生じた場合の線像分布関数を表した図である。図6(c)は図5(c)と同様に図6(a)と図6(b)の瞳強度分布をy方向に射影をとったものである。横軸は図5(a)、(b)のx軸に対応し、縦軸は線像分関数の強度を表している。原点Oが撮影レンズの光軸位置に対応している。
図6(c)に示すように、撮像素子中央の焦点検出用画素では図5(c)と同様に、線像分布関数LSFA’とLSFB’は、光軸に対して略対称となる。しかし、図6(a)、(b)に示すように瞳強度分布はArea1により一部が切り取られた状態となっているため、線像分布関数LSFA’とLSFB’全体をみると、それぞれのx軸方向の重心位置を中心として、x軸方向に非対称形となっている。
(撮像素子107と撮像素子駆動回路124の焦点検出のための構成)
図7は、図1における撮像素子107と撮像素子駆動回路124の焦点算出構成を概略的に示す図である。なお図7では、分かりやすく説明するためにA/D変換部を省略してある。
図7は、図1における撮像素子107と撮像素子駆動回路124の焦点算出構成を概略的に示す図である。なお図7では、分かりやすく説明するためにA/D変換部を省略してある。
撮像素子107は、図3で説明した焦点検出用画素901aと焦点検出用画素901bとで構成される焦点検出用画素901を複数有する。焦点検出用画素901aが焦点検出用画素SHAに、焦点検出用画素901bが焦点検出用画素SHBにそれぞれ対応する。また、撮像素子107は撮影レンズで結像された被写体像を光電変換するための撮像用画素を複数含む。
撮像素子駆動回路124は、合成部902と、連結部903とを含む。また、撮像素子駆動回路124は複数の焦点検出用画素901を含むように、撮像素子107の撮像面にセクション(領域)CSTを複数割り当てる。そして、撮像素子駆動回路124はセクションCSTの大きさ、配置、数等を適宜変更することができる。合成部902は、撮像素子107に割り当てられた複数のセクションCSTの各々において、焦点検出用画素901aからの出力信号を合成して1画素の第1の合成信号を得る処理を行なう。合成部902はまた、各セクションCSTにおいて、焦点検出用画素901bからの出力信号を合成して1画素の第2の合成信号を得る処理を行なう。連結部903は、複数のセクションCSTにおいて、第1の合成信号である各焦点検出用画素を連結して第1の連結信号を得る処理と、第2の合成信号を連結して第2の連結信号を得る処理とを行なう。このように、焦点検出用画素901a及び901bのそれぞれに対して、セクション数の焦点検出用画素が連結された連結信号が得られる。CPU121で第1の連結信号及び第2の連結信号に基づいて、撮影レンズのデフォーカス量を演算する。このように、セクション内に配置された同一の瞳分割方向における焦点検出用画素の出力信号を合成するため、焦点検出用画素901の1つ1つの輝度は小さい場合であっても、被写体の輝度分布を十分に検出することが可能となる。
(撮像素子107より出力される像信号)
図8は、図7の焦点検出用画素901、合成部902、連結部903により形成され、CPU121へ送られる対の像信号を示す。図8において、横軸は連結された信号の画素並び方向を示し、縦軸は信号の強度である。像信号430aは焦点検出用画素901aで、像信号430bは焦点検出用画素901bでそれぞれ形成される信号である。そして、撮影レンズの焦点位置がデフォーカス状態であるため、像信号430aは左側に、像信号430bは右側にずれた状態となっている。
図8は、図7の焦点検出用画素901、合成部902、連結部903により形成され、CPU121へ送られる対の像信号を示す。図8において、横軸は連結された信号の画素並び方向を示し、縦軸は信号の強度である。像信号430aは焦点検出用画素901aで、像信号430bは焦点検出用画素901bでそれぞれ形成される信号である。そして、撮影レンズの焦点位置がデフォーカス状態であるため、像信号430aは左側に、像信号430bは右側にずれた状態となっている。
この像信号430a、430bの像ずれ量を相関演算によって算出することにより、撮影レンズの焦点位置がどれだけずれているかを知ることができるため焦点調節を行なうことが可能となる。ここで、本実施形態の焦点算出では、図6で説明した通り、撮影レンズによるケラレによって線像分布関数が重心に対して非対称となるので、焦点検出用画素で得られる像信号Aと像信号Bにも非対称性が生じてしまう。言い換えると、像の一致度が低下してしまう。位相差方式の焦点検出においては、像の一致度の低下(非対称性)が生じている場合、像ずれ量を正確に算出することができない。そこで、本実施形態では、得られた像信号の非対称性を補正することで、この問題を解決する。
(像信号の非対称性)
以下、像信号に非対称性が生じる理由と、非対称性の補正について詳細を説明する。
以下、像信号に非対称性が生じる理由と、非対称性の補正について詳細を説明する。
いま被写体の光量分布をf(x,y)、像信号の光量分布をg(x,y)としたとき、
の関係(たたみこみ積分;convolution)が成立する。ここでh(a,b)は被写体が画像形成システムにおいて劣化する状態を表す伝達関数で、点像分布関数(point spread function)と呼ばれる。従って、焦点算出に用いる1対の像信号を知るには、点像分布関数を知る必要がある。ここで、像ずれ方式の焦点算出においては、1対の像信号の1次元方向に注目し、その像ずれ量を算出する。このため、2次元の点像分布関数の代わりに1次元の関数である線像分布関数(line spread function)により、焦点算出に関する画像システムを評価することができる。そこで、被写体の光量分布をf(x)、像信号の光量分布をg(x)と置き換えると、上記式(1)は線像分布関数L(a)を用いて以下のように書き換えられる。
また、点像分布関数と線像分布関数の関係は、以下の式(3)で表すことができる。
前述したとおり、ある点光源が光学系の射出瞳を通過し結像面上に形成する点像の強度分布、いわゆる点像分布関数は、光学系が無収差の場合、射出瞳形状が結像面上に縮小投影されていると考えられる。したがって、点像分布関数h(a,b)は、瞳強度分布で置き換えることができる。さらに、式(3)より、線像分布関数は瞳強度分布の射影と考えることができる。よって、図5、6では瞳強度分布の射影を線像分布関数として説明してきた。したがって、式(2)より、本実施形態の被写体像には、図6で説明した非対称な線像分布関数LSFA’、LSFB’がそれぞれ畳み込まれているため、対の像信号にも非対称性が生じている。前述したように相関演算に使用する対の像信号に非対称性が生じている場合は、焦点位置の算出精度も低下する。焦点位置の算出精度を向上させるためには、対の像信号の非対称性を補正し、像の一致度を上げることが有効である。
(像信号の非対称性を補正する方法)
次に、像信号の非対称性を補正する方法について説明する。ここで、図7の焦点検出用画素901aで得られる像信号を像信号A、焦点検出用画素901bで得られる像信号を像信号Bと呼ぶ。前述したように、像信号Aと像信号Bの非対称性は、非対称な線像分布関数LSFA’、LSFB’が畳み込み積分されることによって生じる。
次に、像信号の非対称性を補正する方法について説明する。ここで、図7の焦点検出用画素901aで得られる像信号を像信号A、焦点検出用画素901bで得られる像信号を像信号Bと呼ぶ。前述したように、像信号Aと像信号Bの非対称性は、非対称な線像分布関数LSFA’、LSFB’が畳み込み積分されることによって生じる。
図9は像信号の非対称性を解消するための像修正フィルタ処理を説明する概念図である。図9の各図において、横軸は画素並び方向を示し、縦軸は像信号の強度を表している。図9(a)は被写体の光量分布をObjで表しており、図9(b)と図9(c)は焦点検出用画素SHA及び焦点検出用画素SHBの線像分布関数をLSFAx、LSFBxで表したものである。図9(d)、図9(e)は像信号A(ImgA)、像信号B(ImgB)を表しており、それぞれ被写体の光量分布Objに線像分布関数LSFAx、線像分布関数LSFBxを畳み込み積分したときこのような形状となる。図9(f)は像信号A(ImgA)に像修正フィルタである像信号Bの線像分布関数LSFBxを畳み込み積分した修正像ReImgAを表している。また、図9(g)は像信号B(ImgB)に像修正フィルタである像信号Aの線像分布関数LSFAxを畳み込み積分した修正像ReImgBを表している。図9(f)、図9(g)に示すように、各修正像は同形状となる。修正像が同形状になる原理について説明する。
像信号A(ImgA)は前述した式(2)により得られる。得られた像信号A(ImgA)に線像分布関数LSFBxを畳み込み積分して得られる修正像ReImgAをk(x)とすると、k(x)は以下のように求められる。
修正像ReImgBについても同様に計算すると
が得られる。上式(6)、(7)より、得られたReImgAとReImgBは等しくなり、ReImgAとReImgBを用いて相関演算を行なうことで、像ずれ量を算出することが可能となる。
(焦点算出のフロー)
次に第1の実施形態の焦点算出フローについて図10のフロー図を用いて説明する。なお、図10のフローにおける動作はCPU121によって実行される。
次に第1の実施形態の焦点算出フローについて図10のフロー図を用いて説明する。なお、図10のフローにおける動作はCPU121によって実行される。
ステップS001では、撮影レンズによるケラレ状態を知る為のレンズ情報を取得する。ステップS002では、各焦点検出用画素においてCPU121のROMに保管されている瞳強度分布を読み出し、ステップS001で得られた撮影レンズによるケラレ情報と合わせて線像分布関数を算出する。
ステップS003ではステップS002で得られた線像分布関数の重心を算出し、基線長を求める。ステップS004では、焦点検出位置での焦点検出用画素の像信号を読み出し、像信号A、像信号Bが形成される。ステップS005ではステップS001で得られたレンズ情報と瞳強度分布を用いてステップS004で形成された像信号Aと像信号Bのシェーディングを予測し、シェーディング補正を行なう。
ステップS006ではステップS004で形成された像信号Aと像信号Bに対して、CPU121のROMに保管されているダーク値からダーク補正を行なう。ステップS007ではステップS006で得られたダーク補正後の像信号Aとダーク補正後の像信号Bを用いて、相関演算により像ずれ量を求め、ステップS003で求めた基線長と合わせて、暫定デフォーカス量を求める。
ステップS008では、ステップS007で算出された暫定デフォーカス量がある閾値によって設定された範囲であるか否かがCPU121によって判定される。まず暫定デフォーカス量が設定された閾値以上と判定された場合には、像修正フィルタのピッチ(像修正情報である線像分布関数のサンプリングピッチ)を変えずにステップS011に進む。一方、暫定デフォーカス量が設定された閾値より小さいと判定された場合には、像修正フィルタのピッチを新たに算出する為、ステップS009へと進む。つまり、暫定デフォーカス量の大小によって像修正フィルタの形状を変化させるだけでなくピッチも切り替える。この理由について説明する。デフォーカス量が大きい時にはフィルタ長が長くなり、像修正フィルタの形状をある程度正確に表すことができる為、像修正処理部により像信号の非対称性が緩和し、精度よくデフォーカス量を算出することができる。一方、デフォーカス量が小さい時にはフィルタ長が短くなり、デフォーカス量が大きい場合と同じ像修正フィルタのピッチでは粗すぎてしまい、折り返し歪が生じてステップS002で得られる線像分布関数の形状を正確に表すことが出来ない。その為、像修正処理部を行っても像信号の非対称性を緩和することができず、精度よくデフォーカス量を算出することが出来ない。
以上の理由より、デフォーカス量によって像修正フィルタのピッチを変えることが望ましい。また、それに合わせて像信号のピッチも変化させる。
ステップS009、ステップS010は、ステップS007で算出された暫定デフォーカス量が閾値より小さい場合に行なわれる処理である。ステップS009では、ステップS007で算出された暫定デフォーカス量を元に像修正フィルタのピッチを算出する。
ステップS010ではステップS009で算出した像修正フィルタのピッチにあわせて線形補間やスプライン補間などを用いて像信号の補間処理を行なう。
ステップS011では、CPU121が像修正フィルタを算出する。
ステップS012では、ステップS011で算出された像修正フィルタを像信号に畳み込み積分して、修正像信号を得る。
ステップS013ではステップS012で算出された修正像信号を用いて、ステップS007と同様に、相関演算により像ずれ量を算出する。そして、ステップS003で求めた基線長と合わせてデフォーカス量を求め、一連の焦点算出フローが終了する。
(像修正フィルタの決定)
像修正フィルタの算出方法について、図11から図14を用いて説明する。まず、像修正フィルタの幅決定方法について、図11を用いて説明する。
像修正フィルタの算出方法について、図11から図14を用いて説明する。まず、像修正フィルタの幅決定方法について、図11を用いて説明する。
図11はデフォーカス時の撮像素子107に入射する光線を表す図である。図11(a)は前ピン時の光線図を示したもので、図11(b)は後ピン時の光線図を示したものである。Zafは撮像素子107面から瞳面Meまでの距離、Rafは図6で示したArea1のx軸方向の幅、Defはデフォーカス量である。まず、前ピン時についてみてみると図11(a)で明らかなように、線像分布関数LSFA1’は瞳面上MeでRafの幅を有しており、撮像素子107面では幅Wfに縮小されている。そして、前ピンに結像しているため線像分布関数LSFA1’は左右方向に反転した状態となっている。そして、Wfは前ピンではDefが負であることを考慮して以下の式によって得られる。
この式(8)で得られたWfが前ピン時の線像分布関数、すなわち像修正フィルタの幅となる。同様に、後ピンの場合の線像分布関数LSFA2’は、撮像素子107面で幅Wbに縮小されている。なお、後ピンの場合、線像分布関数LSFA2’は左右反転とならない。そして、線像分布関数LSFA2’の幅、すなわち後ピン時の像修正フィルタの幅Wbは式(8)により算出される。なお、線像分布関数LSFB’についても同様であり、詳細な説明は省略する。
次に、像修正フィルタの強度が一定になるようにゲインを与えて調整する。これはステップS005において、像信号Aと像信号Bとをシェーディング補正している為で、像修正後の像信号Aと像信号Bとで強度差が出ないように、像信号Aと像信号Bの像修正フィルタの強度を調整する。
その後、像信号Aと像信号Bの像修正フィルタの重心を合わせるように波形を移動する。これは、像修正後の像信号の重心移動を防ぐためである。このようにして像修正フィルタを算出する。
次に、第1の実施形態であるデフォーカスによってフィルタのピッチを変えることについて、図12から図14を用いて説明する。図12から図14はデフォーカス量に応じて、線像分布関数から像修正フィルタを作成する様子を模した図である。図12は像修正フィルタの元となる線像分布関数LSFであり、Wはフィルタ幅、Hはフィルタ強度である。図13は大デフォーカスに応じて変化させた線像分布関数LSFwと線像分布関数LSFwをサンプリングして得られた像修正フィルタFilwである。図14は小デフォーカスに応じて変化させた線像分布関数LSFnと線像分布関数LSFnをサンプリングして得られた像修正フィルタFiln、そして線像分布関数LSFnのピッチを細かくしてサンプリングした像修正フィルタFilnpである。
まず、図13の大デフォーカス時には図13(a)の線像分布関数LSFwのようにフィルタ長が長くなるので、フィルタ幅はα1Wとなる。また、強度を調整するため高さはβ1Hとなる。そして、サンプリングして得られる図13(b)の像修正フィルタFilwは線像分布関数LSFwの形状をある程度正確に表すことが出来る。一方、図14の小デフォーカス時には、図14(a)の線像分布関数LSFnのようにフィルタ長が短くなるので、フィルタ幅はα2Wとなる。また、強度を一定にするため高さはβ2Hとなる。そして、サンプリングして得られる図14(b)の像修正フィルタFilnはフィルタ幅α2Wが像修正フィルタのピッチに対してとても狭いので、線像分布関数LSFnの形状を正確に表すことが出来ない。そこで、図14(c)のように像修正フィルタのピッチを細かくしてサンプリングすることで、線像分布関数LSFnの形状をある程度正確に表したFilnpを得ることが出来る。
以上のように、デフォーカス量に応じてフィルタピッチ(つまり、像修正情報のサンプリングピッチ)を変えることで小デフォーカス時においても線像分布関数の形状をある程度正確に表した像修正フィルタを算出することが出来る。以上のように第1の実施形態によれば、暫定デフォーカス量によって像修正フィルタの形状やピッチを変えることでデフォーカス量を算出する為に最適なピッチを設定することができた。
また、暫定デフォーカス量によって像修正フィルタの形状やピッチを変えることで、合焦近傍においても像信号の修正ができた。
さらに、合焦近傍における像信号の修正ができることで、より高精度な焦点調節を行なうことができた。
なお、第1の実施形態では相関演算に像ずれ方式を用いたが、他の方法を用いたとしても同様の結果が得られる。
〔第2の実施形態〕
第2の実施形態は、第1の実施形態の変形例である。
第2の実施形態は、第1の実施形態の変形例である。
(Fナンバーに応じた像修正フィルタ)
第1の実施形態ではデフォーカス量に応じて、像修正フィルタのピッチを変えていた。それに対して、撮影レンズのFナンバーによっても像修正フィルタのピッチを変えることが第2の実施形態の特徴である。なお、図16のフローにおける動作はCPU121によって実行される。また、第2の実施形態の光学装置の焦点調節及び撮影工程は、第1の実施形態の光学装置と同じであるため、説明を省略する。
第1の実施形態ではデフォーカス量に応じて、像修正フィルタのピッチを変えていた。それに対して、撮影レンズのFナンバーによっても像修正フィルタのピッチを変えることが第2の実施形態の特徴である。なお、図16のフローにおける動作はCPU121によって実行される。また、第2の実施形態の光学装置の焦点調節及び撮影工程は、第1の実施形態の光学装置と同じであるため、説明を省略する。
図15、図16は本実施形態の第2の実施形態に関する図である。図15はFナンバーに応じて、線像分布関数から像修正フィルタを作成する様子を模した図である。図16は図10のフローチャートにさらにFナンバーによって、ピッチを変える判定を加えたフローチャートである。
図15はFナンバーに応じた焦点検出用画素の瞳面上での撮影レンズによるケラレを示した図である。図15(a)、図15(b)はともに、上から、ケラレを表した図、線像分布関数LSFfw、LSFfn、像修正フィルタFilfw、Filfnを示している。より詳しくは、上の図が、撮像素子中央の焦点検出用画素の瞳面上での入射光束の瞳強度分布の撮影レンズによるケラレを表した図である。また、中央の図が、その瞳強度分布から得られる線像分布関数LSFfw、LSFfnである。そして、下の図が、その線像分布関数をサンプリングして得られた像修正フィルタFilfw、Filfnである。図15(a)のように撮影時のFナンバーが小さい時には、像修正フィルタFilfwは線像LSFfwの非対称性をよく表すことができる。一方、図15(b)のように撮影時のFナンバーが大きい時には、瞳強度分布のより限定的な領域を通過した光束から線像を作成する。したがって、図15(a)のFナンバーが小さい場合と同じピッチでは粗すぎて像修正フィルタFilfnは線像LSFfnを正しく表現できない。
以上の2点より、Fナンバーによって像修正フィルタのピッチを変えることが望ましい。また、それに合わせて像信号のピッチも変化させる。
第2の実施形態の焦点算出フローについて図16のフロー図を用いて説明する。
ステップS001からステップS007までのステップについては、第1の実施形態の説明で用いた図10と同じである為、説明を省略する。
ステップS008では、ステップS001で得た撮影時のFナンバーがある設定された範囲であるか否かがCPU121によって判定される。撮影時のFナンバーが設定された閾値以上であると判定された場合には、ステップS010へと進む。一方、撮影時のFナンバーが設定された閾値より小さいと判定された場合には、像修正フィルタのピッチを算出する為にステップS009へと進む。つまり、撮影時のFナンバーによって像修正フィルタのピッチを切り替える。
ステップS009では、ステップS001で得られた撮影時のFナンバーから決まる第1のフィルタピッチ(つまり像修正のための情報のサンプリングピッチ)を算出する。
ステップS010では、第1の実施形態と同様にステップS007で算出された暫定デフォーカス量の大小によって像修正フィルタのピッチを切り替えるか判定する。
ステップS011、ステップS012は、ステップS007で算出された暫定デフォーカス量が閾値より小さい場合に行なわれる処理である。ステップS010では、ステップS007で算出された暫定デフォーカス量を元に第2のフィルタピッチを算出する。
ステップS012では、像修正フィルタのピッチを決定する。
まず、ステップS008でFナンバーがある閾値以上であると判定され、かつステップS010で暫定デフォーカス量がある閾値以上であると判定された場合には、あらかじめ決められた像修正フィルタのピッチとする。
次に、ステップS008でFナンバーがある閾値より小さいと判定され、かつステップS010で暫定デフォーカス量がある閾値以上であると判定された場合には、ステップS009で算出される第1のフィルタピッチを像修正フィルタのピッチとする。
また、ステップS008でFナンバーがある閾値以上であると判定され、かつステップS010で暫定デフォーカス量がある閾値より小さいと判定された場合には、ステップS011で算出される第2のフィルタピッチを像修正フィルタのピッチとする。
また、ステップS008でFナンバーがある閾値より小さいと判定され、かつステップS010で暫定デフォーカス量がある閾値より小さいと判定された場合には、小さいピッチを像修正フィルタのピッチとする。この小さいピッチとは、ステップS009で算出される第1のフィルタピッチとステップS011で算出される第2のフィルタピッチとを比較し、小さいほうを選択したものである。
ステップS013では、ステップS012で算出した像修正フィルタのピッチにあわせて線形補間やスプライン補間などを用いて像信号の補間処理を行なう。
以降、ステップS014ではステップS012で決定した像修正フィルタのピッチで像修正フィルタを算出する。そして、第1の実施形態と同じようにステップS015で像修正フィルタ処理を行い、ステップS016で相関演算から得られる像ずれ量とステップS003で得られる基線長と合わせてデフォーカス量を求め、一連の焦点算出フローが終了する。
以上のように第2の実施形態によれば、Fナンバーによって像修正フィルタの形状やピッチを変えることでデフォーカス量を算出する為に最適なピッチを設定することができた。
また、Fナンバーによって像修正フィルタの形状やピッチを変えることで合焦近傍においても像信号の修正ができた。
さらに、合焦近傍における像信号の修正ができることで、より高精度な焦点調節を行なうことができた。
なお、第2の実施形態では相関演算に像ずれ方式を用いたが、他の方法を用いたとしても同様の結果が得られる。
〔その他の実施例〕
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
107 撮像素子
121 CPU
124 撮像素子駆動回路
125 画像処理回路
TL 撮影レンズ
OBJ 被写体
IMG 像信号
EP 射出瞳
EPHA、EPHB 分割された射出瞳
SHA、SHB 焦点検出用画素
ML オンチップマイクロレンズ
CL 配線層
OPHA、OPHB 画素開口部
430a、430b 像信号
LSFw、LSFn、LSFA、LSFB 線像分布関数
Filw、Filn、Filfw、Filfn 像修正フィルタ
121 CPU
124 撮像素子駆動回路
125 画像処理回路
TL 撮影レンズ
OBJ 被写体
IMG 像信号
EP 射出瞳
EPHA、EPHB 分割された射出瞳
SHA、SHB 焦点検出用画素
ML オンチップマイクロレンズ
CL 配線層
OPHA、OPHB 画素開口部
430a、430b 像信号
LSFw、LSFn、LSFA、LSFB 線像分布関数
Filw、Filn、Filfw、Filfn 像修正フィルタ
Claims (9)
- 被写体像を結像する結像光学系の第1の瞳領域を通過する光束を受光する第1の画素群と、前記第1の瞳領域と異なる第2の瞳領域を通過する光束を受光する第2の画素群とを有する撮像手段と、
前記第1の画素群からの出力信号に基づく第1の像信号と前記第2の画素群からの出力信号に基づく第2の像信号の相対的な像ずれ量から得られるデフォーカス量に応じたサンプリングピッチの像修正情報を用いて、前記第1の像信号と前記第2の像信号とを修正する修正手段と、
前記修正手段による像の修正後の第1の修正像信号と第2の修正像信号の相対的な像ずれ量から得られるデフォーカス量に基づいて、前記結像光学系の焦点状態を調節する焦点調節手段と
を備えることを特徴とする焦点調節装置。 - 前記修正手段において、前記第1の像信号と前記第2の像信号の相対的な像ずれ量から得られるデフォーカス量が第1のデフォーカス量の場合よりも、前記第1のデフォーカス量よりも小さい第2のデフォーカス量の場合のほうが、前記像修正情報のサンプリングピッチを細かくすることを特徴とする請求項1に記載の焦点調節装置。
- 前記像修正情報とは、前記第1の像信号と前記第2の像信号の相対的な像ずれ量から得られるデフォーカス量に応じた線像分布関数であり、
前記第1の修正像信号は、前記第1の画素群から得られた第1の像信号に前記第2の瞳領域に対応した第2の線像分布関数を畳み込み積分することにより生成され、前記第2の修正像信号は、前記第2の画素群から得られた第2の被写体像に前記第1の瞳領域に対応した第1の線像分布関数を畳み込み積分することにより生成されることを特徴とする請求項1又は請求項2に記載の焦点調節装置。 - 前記像修正情報は、前記結像光学系のケラレ情報と瞳強度分布の情報とに基づいて算出されることを特徴とする請求項1乃至請求項3のいずれか1項に記載の焦点調節装置。
- 前記像修正情報は、像の一致度を高めるための情報であることを特徴とする請求項1乃至請求項4のいずれか1項に記載の焦点調節装置。
- 前記修正手段において、撮影レンズのFナンバーが第1の値よりも前記第1の値よりも大きい第2の値の場合のほうが前記像修正情報のサンプリングピッチを細かくすることを特徴とする請求項1乃至請求項5に記載の焦点調節装置。
- 被写体像を結像する結像光学系の第1の瞳領域を通過する光束を受光する第1の画素群と、前記第1の瞳領域と異なる第2の瞳領域を通過する光束を受光する第2の画素群とを有する撮像手段を備える焦点調節装置の焦点調節方法であって、
前記第1の画素群からの出力信号に基づく第1の像信号と前記第2の画素群からの出力信号に基づく第2の像信号の相対的な像ずれ量から得られるデフォーカス量に応じたサンプリングピッチの像修正情報を用いて、前記第1の像信号と前記第2の像信号とを修正する修正工程と、
前記修正工程により得られた像の修正後の第1の修正像信号と第2の修正像信号の相対的な像ずれ量から得られるデフォーカス量に基づいて、前記結像光学系の焦点状態を調節するよう制御する焦点調節工程とを有する
ことを特徴とする焦点調節方法。 - コンピュータに、請求項7に記載の焦点調節方法の各工程を実行させるためのプログラム。
- 請求項8に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/067742 WO2011045850A1 (ja) | 2009-10-13 | 2009-10-13 | 焦点調節装置及び焦点調節方法 |
JP2011543900A JP5645846B2 (ja) | 2009-10-13 | 2009-10-13 | 焦点調節装置及び焦点調節方法 |
CN200980161956.7A CN102713713B (zh) | 2009-10-13 | 2009-10-13 | 焦点调节设备和焦点调节方法 |
EP09850392.3A EP2490060B1 (en) | 2009-10-13 | 2009-10-13 | Focusing device and focusing method |
US12/901,419 US8488956B2 (en) | 2009-10-13 | 2010-10-08 | Focus adjusting apparatus and focus adjusting method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/067742 WO2011045850A1 (ja) | 2009-10-13 | 2009-10-13 | 焦点調節装置及び焦点調節方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011045850A1 true WO2011045850A1 (ja) | 2011-04-21 |
Family
ID=43854917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/067742 WO2011045850A1 (ja) | 2009-10-13 | 2009-10-13 | 焦点調節装置及び焦点調節方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8488956B2 (ja) |
EP (1) | EP2490060B1 (ja) |
JP (1) | JP5645846B2 (ja) |
CN (1) | CN102713713B (ja) |
WO (1) | WO2011045850A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013218137A (ja) * | 2012-04-10 | 2013-10-24 | Canon Inc | 焦点検出装置、その制御方法および撮像装置 |
JP2014219549A (ja) * | 2013-05-08 | 2014-11-20 | キヤノン株式会社 | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010160313A (ja) * | 2009-01-08 | 2010-07-22 | Sony Corp | 撮像素子および撮像装置 |
JP5898481B2 (ja) * | 2011-12-13 | 2016-04-06 | キヤノン株式会社 | 撮像装置及び焦点検出方法 |
JP5963514B2 (ja) * | 2012-04-19 | 2016-08-03 | キヤノン株式会社 | 測距装置、測距方法及び撮像システム |
JP6004768B2 (ja) * | 2012-06-14 | 2016-10-12 | キヤノン株式会社 | 焦点検出のための信号処理装置、信号処理方法およびプログラム、ならびに焦点検出装置を有する撮像装置 |
JP5620522B2 (ja) * | 2013-01-07 | 2014-11-05 | オリンパスイメージング株式会社 | 撮像装置及び撮像方法 |
US9451152B2 (en) * | 2013-03-14 | 2016-09-20 | Apple Inc. | Image sensor with in-pixel depth sensing |
JP5911445B2 (ja) * | 2013-03-19 | 2016-04-27 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP6021780B2 (ja) * | 2013-10-07 | 2016-11-09 | キヤノン株式会社 | 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法 |
JP6381422B2 (ja) * | 2014-11-21 | 2018-08-29 | キヤノン株式会社 | 距離検出装置、撮像装置、および距離検出方法 |
JP6506560B2 (ja) * | 2015-01-20 | 2019-04-24 | キヤノン株式会社 | フォーカス制御装置及びその方法、プログラム、記憶媒体 |
JP6464118B2 (ja) * | 2016-06-27 | 2019-02-06 | キヤノン株式会社 | 焦点検出装置および方法、撮像装置、およびレンズユニット |
CN106842496B (zh) * | 2017-01-24 | 2019-03-19 | 青岛大学 | 基于频域比较法的自动调节焦点的方法 |
WO2018163683A1 (ja) * | 2017-03-10 | 2018-09-13 | ヤマハ発動機株式会社 | 撮像システム |
CN107426492B (zh) * | 2017-05-17 | 2020-05-15 | 上海集成电路研发中心有限公司 | 一种自动对焦*** |
JP2021193412A (ja) * | 2020-06-08 | 2021-12-23 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd | 装置、撮像装置、撮像システム、移動体 |
CN113920028B (zh) * | 2021-10-15 | 2023-05-30 | 中国科学院光电技术研究所 | 一种基于变宽滤波的渐晕图像校正方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04267211A (ja) | 1991-02-22 | 1992-09-22 | Sony Corp | 固体撮像装置 |
JPH05127074A (ja) | 1991-11-01 | 1993-05-25 | Canon Inc | 焦点検出装置 |
JPH06102451A (ja) * | 1992-09-22 | 1994-04-15 | Nikon Corp | 焦点検出装置 |
JPH11258492A (ja) * | 1998-03-10 | 1999-09-24 | Canon Inc | 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体 |
JP2002014277A (ja) * | 2000-06-29 | 2002-01-18 | Canon Inc | 焦点検出装置、撮像装置、焦点検出方法、及び処理プログラムを提供する媒体 |
JP2002118779A (ja) * | 2000-10-06 | 2002-04-19 | Olympus Optical Co Ltd | 撮像装置、撮像素子ユニット、撮像素子本体、及び焦点調節方法 |
JP2002165126A (ja) * | 2000-11-28 | 2002-06-07 | Canon Inc | 撮像装置及び撮像システム、並びに撮像方法 |
JP2007121896A (ja) * | 2005-10-31 | 2007-05-17 | Nikon Corp | 焦点検出装置および光学システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59155809A (ja) * | 1983-02-24 | 1984-09-05 | Olympus Optical Co Ltd | 自動焦点検出装置 |
US5523553A (en) * | 1983-10-19 | 1996-06-04 | Nikon Corporation | Camera with focus detecting device for removing vignetting effects |
US5367153A (en) | 1991-11-01 | 1994-11-22 | Canon Kabushiki Kaisha | Apparatus for detecting the focus adjusting state of an objective lens by performing filter processing |
US7358999B2 (en) | 1998-03-10 | 2008-04-15 | Canon Kabushiki Kaisha | Focus sensing apparatus, focus sensing method using phase-differential detection and computer-readable storage medium therefor |
JP2004191629A (ja) * | 2002-12-11 | 2004-07-08 | Canon Inc | 焦点検出装置 |
JP2005303409A (ja) * | 2004-04-07 | 2005-10-27 | Canon Inc | 固体撮像装置 |
JP4763469B2 (ja) * | 2005-03-07 | 2011-08-31 | 富士フイルム株式会社 | 固体撮像装置および画像入力装置、ならびにその画像補正方法 |
JP5458475B2 (ja) * | 2007-04-18 | 2014-04-02 | 株式会社ニコン | 焦点検出装置および撮像装置 |
US8203645B2 (en) * | 2007-08-10 | 2012-06-19 | Canon Kabushiki Kaisha | Image-pickup apparatus and control method thereof with image generation based on a detected spatial frequency |
JP5180795B2 (ja) * | 2007-12-10 | 2013-04-10 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5225151B2 (ja) * | 2008-03-11 | 2013-07-03 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
-
2009
- 2009-10-13 JP JP2011543900A patent/JP5645846B2/ja not_active Expired - Fee Related
- 2009-10-13 CN CN200980161956.7A patent/CN102713713B/zh not_active Expired - Fee Related
- 2009-10-13 EP EP09850392.3A patent/EP2490060B1/en not_active Not-in-force
- 2009-10-13 WO PCT/JP2009/067742 patent/WO2011045850A1/ja active Application Filing
-
2010
- 2010-10-08 US US12/901,419 patent/US8488956B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04267211A (ja) | 1991-02-22 | 1992-09-22 | Sony Corp | 固体撮像装置 |
JPH05127074A (ja) | 1991-11-01 | 1993-05-25 | Canon Inc | 焦点検出装置 |
JPH06102451A (ja) * | 1992-09-22 | 1994-04-15 | Nikon Corp | 焦点検出装置 |
JPH11258492A (ja) * | 1998-03-10 | 1999-09-24 | Canon Inc | 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体 |
JP2002014277A (ja) * | 2000-06-29 | 2002-01-18 | Canon Inc | 焦点検出装置、撮像装置、焦点検出方法、及び処理プログラムを提供する媒体 |
JP2002118779A (ja) * | 2000-10-06 | 2002-04-19 | Olympus Optical Co Ltd | 撮像装置、撮像素子ユニット、撮像素子本体、及び焦点調節方法 |
JP2002165126A (ja) * | 2000-11-28 | 2002-06-07 | Canon Inc | 撮像装置及び撮像システム、並びに撮像方法 |
JP2007121896A (ja) * | 2005-10-31 | 2007-05-17 | Nikon Corp | 焦点検出装置および光学システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP2490060A4 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013218137A (ja) * | 2012-04-10 | 2013-10-24 | Canon Inc | 焦点検出装置、その制御方法および撮像装置 |
JP2014219549A (ja) * | 2013-05-08 | 2014-11-20 | キヤノン株式会社 | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2490060B1 (en) | 2018-06-13 |
EP2490060A1 (en) | 2012-08-22 |
US8488956B2 (en) | 2013-07-16 |
US20110085786A1 (en) | 2011-04-14 |
EP2490060A4 (en) | 2012-10-24 |
CN102713713B (zh) | 2016-01-27 |
JP5645846B2 (ja) | 2014-12-24 |
JPWO2011045850A1 (ja) | 2013-03-04 |
CN102713713A (zh) | 2012-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5645846B2 (ja) | 焦点調節装置及び焦点調節方法 | |
JP5676962B2 (ja) | 焦点検出装置および撮像装置 | |
JP5901246B2 (ja) | 撮像装置 | |
JP5762002B2 (ja) | 撮像装置 | |
EP2169459B1 (en) | Image sensing apparatus, image sensing system and focus detection method | |
JP5183715B2 (ja) | 画像処理装置及び画像処理方法 | |
RU2585235C2 (ru) | Устройство захвата изображения | |
JP5898481B2 (ja) | 撮像装置及び焦点検出方法 | |
JP5606208B2 (ja) | 焦点検出装置および撮像装置 | |
JP5947601B2 (ja) | 焦点検出装置、その制御方法および撮像装置 | |
JP2008209761A (ja) | 焦点検出装置および撮像装置 | |
JP2011023823A (ja) | 画像処理装置及び画像処理方法 | |
JP2010286826A (ja) | 焦点検出装置 | |
JP5858683B2 (ja) | 焦点検出装置および撮像装置 | |
JP5735784B2 (ja) | 撮像装置及びその制御方法、レンズ装置及びその制御方法 | |
JP5793210B2 (ja) | 撮像装置 | |
JP5352003B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2019144462A (ja) | 撮像装置及びその制御方法、プログラム | |
JP2012145757A (ja) | 撮像装置およびその被写体距離分布情報取得方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 200980161956.7 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09850392 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2011543900 Country of ref document: JP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2009850392 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |