WO2007086378A1 - 合焦検出装置 - Google Patents

合焦検出装置 Download PDF

Info

Publication number
WO2007086378A1
WO2007086378A1 PCT/JP2007/050998 JP2007050998W WO2007086378A1 WO 2007086378 A1 WO2007086378 A1 WO 2007086378A1 JP 2007050998 W JP2007050998 W JP 2007050998W WO 2007086378 A1 WO2007086378 A1 WO 2007086378A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus
evaluation value
area
search area
focus detection
Prior art date
Application number
PCT/JP2007/050998
Other languages
English (en)
French (fr)
Inventor
Toru Matsuzawa
Akikazu Yachi
Nobuyuki Watanabe
Satoko Furuki
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Publication of WO2007086378A1 publication Critical patent/WO2007086378A1/ja

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions

Definitions

  • the present invention relates to a focus detection apparatus that determines a focus position using a light beam that has passed through an optical system that forms an image of light from a subject at a predetermined position.
  • the most common technique for performing focus detection using an image sensor is a technique called a hill-climbing method or a contrast method, which is widely used in electronic imaging devices such as digital cameras.
  • This focus detection method is performed by driving a focus lens in the optical axis direction and calculating an evaluation value of blur for a plurality of images captured during that time.
  • This evaluation value uses the contrast of the image and the sum of the high frequency components, and indicates that the larger the value is, the better the focus is.
  • the blur size itself may be used as the evaluation value. For example, when the integrated value of the low frequency component of the spatial frequency of the image is used as the evaluation value, the smaller the value, the better the focus.
  • the focus lens is driven a minute distance in either the near point side or the far point side. For example, if the evaluation value calculated in the meantime is decreased compared to the evaluation value calculated at the starting point, the evaluation value is calculated in the direction opposite to the driving direction (near point side). There is a peak. Therefore, the focus lens is driven in the reverse direction.
  • DFF depth from focus
  • DFD Depth From Defocus
  • luminance signals are acquired at two locations with different optical path lengths.
  • a blur parameter is calculated by performing arithmetic processing on a plurality of images having different blurs, and in-focus determination is performed.
  • the blur parameter is a representative value indicating the blur state of the luminance signal, and indicates a value correlated with the dispersion value of the point spread function (PSF) of the optical system.
  • PSF is a function that expresses how light rays spread when an ideal point image passes through an optical system.
  • the DFD method at least two focus determination luminance signals from the same subject, the same part, and the same line-of-sight direction are changed, and at least one shooting parameter that affects the blurred state of the captured image is changed.
  • the shooting parameters include focus lens position, aperture amount, focal length, and the like. In this description, the description is limited to the case where only the position of the focus lens is changed.
  • this DFD method for example, to change the optical path length between the imaging unit that acquires the luminance signal and the object, that is, to change the blurring state of the image formed on the image plane of the imaging unit.
  • the focus lens is moved to a predetermined first position and second position. Then, the first luminance signal is acquired at the first position, and the second luminance signal is acquired at the second position.
  • the acquired luminance signal is subjected to low-pass filter processing to remove electrical noise, image magnification correction processing to correct different magnifications between the first and second images, and normal processing such as luminance distribution. Applied. If necessary, select the area in the acquired luminance signal that should be focused.
  • the selection is performed for one of the luminance signals, and the corresponding area is selected for the other luminance signal. Then, the difference between the first luminance signal and the second luminance signal is calculated from the two normalization processing results in the region where the focus determination is to be performed. In addition, the second derivative of each of the first luminance signal and the second luminance signal is calculated, and the average value thereof is calculated. Then, by dividing the difference between the first luminance signal and the second luminance signal by the average value of the second derivative of the luminance signal, the dispersion of the PSF corresponding to the first or second luminance signal The blur parameter correlated with is calculated.
  • the subject distance is obtained based on the relational expression between the dispersion of the PSF and the subject distance described in US Pat. No. 4,965,840.
  • the relationship between the blur parameter and the subject distance varies depending on the lens configuration and state (zoom, aperture). Further, the relationship between a certain subject distance and a focus lens position for focusing on the subject distance, that is, a focus lens position is given in advance by data of the lens system. Therefore, the relationship between the blur parameter and the focus lens position to be controlled can be obtained by an individual relational expression or a calculation table depending on the lens system and the lens state.
  • the present invention has been made in view of the above points, and an object of the present invention is to provide a focus detection apparatus capable of performing focus detection on a main subject with high accuracy.
  • One aspect of the focus detection apparatus of the present invention is a focus detection apparatus that performs focus detection using a light beam that has passed through a photographing optical system, and photoelectrically converts incident light with an image sensor.
  • Brightness obtained Imaging means for capturing an image by outputting a signal
  • focus detection means for performing focus detection by calculating an evaluation value for each luminance signal in a plurality of times of imaging.
  • the detecting means includes an area extracting means for setting a search area to be a focus detection target based on additional information obtained based on the luminance signal, and a search area based on the luminance signal in the search area in a plurality of imaging operations.
  • FIG. 1 is a diagram showing a configuration of a compact camera to which an in-focus detection device according to a first embodiment of the present invention is applied.
  • FIG. 2 is a block diagram of the focus detection apparatus according to the first embodiment.
  • FIG. 3 is a diagram showing a relationship between a blur parameter and a focusing lens position.
  • FIG. 4 is a diagram showing the relationship between the focus evaluation value and the lens position for explaining the hill-climbing method from the DFD estimation results.
  • FIG. 5 is a block configuration diagram of a focus detection apparatus according to a modification of the first embodiment.
  • FIG. 6 is a block configuration diagram of a focus detection apparatus according to a second embodiment of the present invention.
  • FIG. 7 is a flowchart for explaining details of a focus detection process of the focus detection apparatus according to the third embodiment of the present invention.
  • FIG. 8 is a flowchart for explaining details of focus detection processing of the focus detection apparatus according to the fourth embodiment of the present invention.
  • FIG. 9 is a flowchart for explaining details of focus detection processing of the focus detection apparatus according to the sixth embodiment of the present invention.
  • FIG. 10 is a flowchart for explaining details of focus detection processing of the focus detection apparatus according to the sixth embodiment of the present invention.
  • FIGS. 11 (A) to 11 (E) are explanatory diagrams for resetting the effective window.
  • the focus detection apparatus is applied to a compact camera 10 as shown in FIG. 1, and as shown in FIG. 2, the optical system 12, the image sensor 14, the luminance signal control unit 16, and the region extraction. It is composed of a Z focus estimation switching unit 18, a distance estimation calculation unit 20, a hill climbing method calculation unit 22, and an optical system control unit 24.
  • the optical system 12 is composed of a plurality of lens groups, and is a lens group (taking lens) for the purpose of taking an image, and some of the lens groups adjust the focus. Therefore, it can be driven in the direction of the optical axis.
  • This lens group is called a focus lens.
  • the subject image formed by the optical system 12 is converted into an electrical signal by the photoelectric conversion element of the image sensor 14.
  • the converted electrical signal is converted into a digital signal by the luminance signal control unit 16.
  • This converted digital signal is called a luminance signal.
  • This luminance signal is input to the distance estimation calculation unit 20 and the hill climbing method calculation unit 22.
  • the hill-climbing method calculation unit 22 functioning as the focus estimation unit further increases the accuracy.
  • the process for obtaining the focusing result is performed.
  • Switching between the hill-climbing calculation unit 22 and the distance estimation calculation unit 20 is performed by the region extraction Z-focus estimation switching unit 18.
  • the optical system control unit 24 is for controlling the optical system 12 to an arbitrary position, and is configured by an actuator and a drive circuit for driving the actuator, although not particularly shown.
  • the drive circuit sends a signal to the actuator to place the optical system 12 at the lens position. Then, the signal is input to the actuator and the focus lens of the optical system 12 is placed at a desired position.
  • the distance estimation calculation unit 20 estimates the subject distance by the DFD method as described in the background art above.
  • the distance estimation calculation unit 20 includes a blur parameter calculation unit 26, a control parameter calculation unit 28, and an LUT storage unit 30.
  • the blur parameter calculation unit 26 includes a difference calculation unit 32, a secondary differential calculation unit 34, a parameter calculation unit 36, and a buffer 38.
  • the difference calculation unit 32 calculates the difference between the images necessary for calculating the blur parameter.
  • the second-order derivative calculation unit 34 calculates the second-order derivative of the image, and calculates the average of the second-order derivative results obtained from the two luminance signal forces having different blurs.
  • the DF D blur parameter calculation unit 36 divides the image difference calculated by the difference calculation unit 32 and the average of the second derivative calculated by the second derivative calculation unit 34 to calculate a blur parameter.
  • the buffer 38 arranges the focus lens at different positions and acquires a plurality of luminance signals at different times, and therefore holds the luminance signal photographed on the first image and the result of the second derivative thereof.
  • the LUT storage unit 30 stores the relationship between the blur parameter and the focus lens position in the form of a look-up table (LUT) as the relationship between the blur parameter and the light focus position of the subject force. .
  • the arrangement of the optical system 12 is determined according to the focus lens position.
  • the control parameter calculation unit 28 refers to the LUT in the LUT storage unit 30 to obtain a focus lens position corresponding to the blur parameter calculated by the blur parameter calculation unit 36.
  • the hill climbing method calculation unit 22 includes a high-pass filter (HPF) 40, a DFF control parameter calculation unit 42, and an evaluation value storage unit 44.
  • HPF 40 extracts the high frequency component of the luminance signal.
  • the DFF control parameter calculation unit 42 adds the results of HPF40 and calculates the evaluation value h (t).
  • the evaluation value storage unit 44 stores the lens position when the luminance signal is acquired and the evaluation value calculated by the DFF control parameter calculation unit 42.
  • the evaluation value the contrast of the image and the sum of the high frequency components are used. The larger the value, the better the focus.
  • the size of the blur itself may be used as the evaluation value. For example, when the integrated value of the low-frequency component of the spatial frequency of the image is used as the evaluation value, the smaller the value, the more focused.
  • a DFF region extraction unit 46 and an extraction information storage unit 48 are provided as components constituting both the distance estimation calculation unit 20 and the hill-climbing method calculation unit 22.
  • the DFF area extracting unit 46 obtains the focusing lens position of the subject that is the closest distance.
  • the extraction information storage unit 48 selects a window in which a subject having the closest distance exists in a search area composed of at least one window, and stores the address of the selected window.
  • the optical system control unit 24 drives the focus lens of the optical system 12 to a predetermined first lens position L1 in accordance with control of a controller (not shown).
  • the luminance signal of the first image of the subject is acquired by the imaging element 14 and the luminance signal control unit 16.
  • the region extraction Z focus estimation switching unit 18 supplies the acquired luminance signal to the distance estimation calculation unit 20.
  • the distance estimation calculation unit 20 stores the supplied luminance signal in the buffer 38 in the blur parameter calculation unit 26.
  • the optical system control unit 24 drives the focus lens of the optical system 12 to a predetermined second lens position L2 according to the control of a controller (not shown).
  • the luminance signal of the second image of the subject is acquired by the image sensor 14 and the luminance signal control unit 16.
  • the region extraction Z focus estimation switching unit 18 supplies the acquired second luminance signal to the distance estimation calculation unit 20.
  • the distance estimation calculation unit 20 calculates a blur parameter according to the control of a controller (not shown). That is, in the blur parameter calculation unit 26, the difference calculation unit 32 reads the first luminance signal from the buffer 38 and supplies the second luminance supplied from the area extraction Z focus estimation switching unit 18. Calculate the difference from the signal. In addition, the second derivative calculation unit 34 calculates the second derivative of the second luminance signal supplied from the region extraction Z focus estimation switching unit 18, and if it is calculated, Read the luminance signal of the first sheet from the buffer 38 and calculate its second derivative. Then, the average value of the second derivative of the first and second images calculated is calculated. When the difference and the average value of the second derivative as the differential information are obtained in this way, the DFD blur parameter calculation unit 36 calculates those divisions to obtain the blur parameter.
  • the blur parameter has a linear relationship with the reciprocal of the subject distance, and the relationship between the subject distance and the focusing lens position has a one-to-one correspondence. Therefore, the relationship between the blur parameter and the in-focus lens position is also saved as a one-to-one correspondence as shown in Fig. 3. This relationship is stored in the LUT storage unit 30 as a table (LUT).
  • the control parameter calculation unit 28 calculates a subject distance value corresponding to the blur parameter.
  • the The distance information corresponding to the subject distance value is expressed by the focus lens position that is in focus. Therefore, the in-focus lens position DFD-LF corresponding to the blur parameter obtained by the blur parameter calculation unit 26 can be obtained by linear approximation with reference to the table stored in the LUT storage unit 30.
  • This focusing lens position is calculated in units of pixels or in units of a plurality of pixels with respect to the edge portion of the subject imaged on the image plane.
  • the control parameter calculation unit 28 further obtains an image called a distance image by converting the value of the focusing lens position into a luminance value.
  • the distance image is passed to the DFF region extraction unit 46.
  • a subject distance that is a distance from the focus detection device to a subject existing in the window. Calculate. That is, since the brightness value of the distance image is also affected by the value of the focusing lens position, this focusing lens position is calculated as the subject distance. Since the distance image is handled as corresponding to the luminance signal obtained by the luminance signal control unit 16, the subject distance of the subject existing in each window of the distance image corresponds to the image represented by the luminance signal. This corresponds to the subject distance of the subject that exists in each window. Note that the subject distance of each window is determined based on the subject distance for each pixel (or each unit configured with a plurality of pixel forces) in the window. For example, let the average object distance for each pixel in the window be the object distance for that window.
  • the DFF region extraction unit 46 obtains the focusing lens position DFD-LF of the subject using the information of the distance image.
  • a position where the subject distance is the closest distance is obtained as the focusing lens position DFD-LF.
  • For the focus lens position DFD-LF find the position where the subject distance is the farthest distance, or the position where the subject distance is within a predetermined range.
  • the DFF region extraction unit 46 selects an effective window that is effective for focus detection because the target object exists from a plurality of windows divided in advance.
  • a window in which a subject whose subject distance is the closest distance exists is selected as an effective window.
  • a window with a subject whose subject distance is the farthest is selected as an effective window, or a window with a subject whose subject distance is within a predetermined range is selected as an effective window.
  • the effective window can be selected using other information such as information obtained from a luminance signal other than only information from a distance image.
  • the window with the largest average luminance value is selected as the effective window
  • the window with the average luminance value within the predetermined range is selected as the effective window
  • the spatial frequency is the predetermined frequency.
  • a window that fits in can also be set as an effective window.
  • a window in which a subject having a predetermined shape or the like is detected by a technique such as luminance signal power template matching can be detected, and the detected window can be selected as an effective window.
  • a technique such as luminance signal power template matching
  • a known face image recognition technique can be used to select a window in which a subject recognized as a face exists as an effective window.
  • the effective window may be selected by adding other information such as the information obtained from the luminance signal force as described above to the information on the distance image force. For example, if the above-mentioned distance image power information satisfies the above-mentioned conditions and the information obtained from the luminance signal satisfies the above-mentioned conditions, the window is selected as an effective window.
  • the DFF region extraction unit 46 has at least a subject (a subject of interest) having a focused! /! Subject characteristic. Select one or more windows as active windows !, and! /.
  • the information from the distance image as described above and the information equivalent to the information obtained from the luminance signal correspond to additional information for selecting an effective window.
  • the DFF region extraction unit 46 may obtain the luminance signal from the region extraction Z-focus estimation switching unit 18 when obtaining the luminance signal information.
  • the DFF area extraction unit 46 stores the effective window address in the extraction information storage unit 48.
  • the estimated error ⁇ of the focusing lens position DFD-LF obtained here may be larger than the allowable error because the focusing lens position with respect to the subject varies slightly depending on the lens frame mounting error of each individual. . Therefore, the control parameter calculation unit 28 calculates a position DFD—LF + ⁇ that is separated from the estimated focusing lens position force by the estimated error ⁇ from the attachment error of the lens frame.
  • the target lens position L (t—1) is input to the optical system control unit 24.
  • the optical system control unit 24 drives the focus lens of the optical system 12 to the target lens position L (t 1).
  • the position of DFD—LF + ⁇ coincides with the lens position (LI, L2) from which the second luminance signal photographed in the process of calculating the blur parameter was acquired.
  • Focus lens position DFD Position between LF. By setting this position, the drive distance of the focus lens can be minimized.
  • the hill climbing method is started next. That is, the region extraction Z focus estimation switching unit 18 is switched to the execution of the hill-climbing method calculation unit 22 under the control of a controller (not shown). Thereby, the luminance signal of the subject at the lens position L (t ⁇ 1) obtained from the imaging element 14 via the luminance signal control unit 16 is passed to the DFF region extraction unit 46. Based on the result of the DFD described above, the address of the effective window in which the object of interest exists is stored in advance in the extracted information storage unit 48.
  • the DFF region extraction unit 46 extracts a region including at least a part of the effective window as an image region from which the luminance signal is acquired, that is, a search region. Then, the luminance signal in the search area is extracted by mask processing. Let all the active windows be the search area. An area including a part or all of the effective window may be used as a search area. Use the active window as the search area.
  • a high frequency component is extracted by the HPF 40 from the luminance signal extracted by the DFF region extraction unit 46 and input to the DFF control parameter calculation unit 42.
  • the DFF control parameter calculation unit 42 calculates the evaluation value h (t 1) by adding the results of HPF40.
  • the calculated evaluation value is stored in the evaluation value storage unit 44 together with the lens position when the luminance signal from the optical system control unit 24 is acquired.
  • the DFF control parameter calculation unit 42 causes the optical system control unit 24 to shift the focus lens of the optical system 12 based on the current lens position stored in the evaluation value storage unit 44 to the above-described estimated focus. Step the lens by a predetermined amount ⁇ in the direction of lens position DFD—LF. Then, the image sensor 14 and the luminance signal control unit 16 acquire the luminance signal of the subject at the driven lens position L (t), and the hill-climbing method calculation unit 22 calculates the evaluation value again as described above. . At this time, the evaluation value is calculated only for the search area. this The calculated evaluation value is stored in the evaluation value storage unit 44 together with the lens position given from the optical system control unit 24.
  • the DFF control parameter calculation unit 42 determines the peak position DFF-LF. Make an estimate. That is, the evaluation value stored in the evaluation value storage unit 44 and the lens position are approximated to a quadratic function to obtain the lens position DFF-LF that is the peak of the mountain. Then, the DFF control parameter calculation unit 42 gives the calculated lens position DFF-LF to the optical system control unit 24, and drives the focus lens of the optical system 12 to that position, thereby completing the focus detection.
  • the subject of interest is extracted by the DFD method, and the hill-climbing method is performed only on the search region corresponding to the result of the DFD method, so that the luminance signal power other than the subject of interest is affected by the calculated value.
  • the peak of the evaluation value can be calculated without any problem, and as a result, the focusing accuracy can be improved.
  • the hill-climbing method by performing the hill-climbing method on a part of the search area that is not in the entire luminance signal, the calculation cost can be reduced.
  • the calculation result of the second-order differential calculation unit 34 is used as the DFF region extraction unit.
  • the effective window may be selected using the result of the second derivative obtained in the blur parameter calculation process.
  • the first luminance signal of the subject is obtained at the first lens position L1
  • the second luminance signal of the subject is obtained at the second lens position L2.
  • the second-order differential calculation unit 34 obtains the second-order derivatives of the two images taken at different focus lens positions, and calculates the average value thereof.
  • the average value of the second derivative is supplied to the DFF region extraction unit 46 as additional information.
  • the additional information is not limited to the average value of the second derivative, but may be obtained by other calculation methods instead of the average value.
  • the supplied secondary is provided for each of the windows divided in advance. It is determined whether or not there is a pixel (or each unit composed of a plurality of pixel forces) whose derivative average exceeds a preset threshold. Then, the DFF region extraction unit 46 selects at least one window having a value exceeding the threshold as an effective window effective for focus detection where the subject of interest exists. In this modified example, as described above, the effective window may be selected in consideration of the information obtained from the luminance signal power.
  • the DFF area extraction unit 46 stores the address of the effective window in the extraction information storage unit 48.
  • the blur parameter calculation unit 26 calculates a blur parameter by dividing a difference between two images taken at a focus lens position different from the average value of the second derivative of the two images. Then, the control parameter calculation unit 28 uses the calculated blur parameter and the LUT information stored in the LUT storage unit 30 to obtain the in-focus lens position with respect to the subject by linear interpolation.
  • This focusing lens position is calculated in units of pixels or in units of a plurality of pixels with respect to the edge portion of the subject imaged on the image plane.
  • DFD Calculated as LF. The position where the subject distance is the farthest distance or the position within the predetermined range may be used as the focusing lens position DFD-LF.
  • the focus lens position estimation error ⁇ obtained here is larger than the allowable error because the focus lens position with respect to the subject is slightly different depending on the lens frame mounting error of each individual. Therefore, the estimated focus lens position force is also set to the target lens position DFD—LF + ⁇ , which is separated from the lens frame mounting error by the estimated error ⁇ , and is input to the optical system controller 24 to drive the focus lens. To do.
  • the hill-climbing method is performed on the search area defined by the effective window.
  • the following processing is the same as the processing shown in the first embodiment, and will be omitted.
  • the value of the second derivative is used as additional information. Since the second derivative extracts the edge of the subject, the subject area existing on the image plane can be detected.
  • the effect obtained in the first embodiment can be obtained by extracting the window with the highest edge strength by the DFF region extraction unit 46 and executing the hill-climbing method using only the luminance signal of the search region including a part of the window. Equivalent to the effect.
  • the effective window extraction is determined based on the edge strength.
  • a subject may be extracted.
  • the search may be performed only for the search region including a part of the effective window extracted by the DFF region extraction unit 46.
  • the second embodiment is applied to a compact camera 10 as shown in FIG. 1.As shown in FIG. 6, the optical system 12, the image sensor 14, the luminance signal control unit 16, the region extraction Z focus estimation.
  • the switching unit 18, the hill climbing method calculation unit 22, and the optical system control unit 24 are configured.
  • the hill climbing method calculation unit 22 includes an HPF 40, a DFF control parameter calculation unit 42, an evaluation value storage unit 44, a DFF region extraction unit 46, and an extraction information storage unit 48.
  • the hill-climbing method calculation unit 22 functioning as the focus estimation means performs the alignment with higher accuracy. A process for obtaining a focus result was performed.
  • the region extracting means is configured to share resources with the focus estimating means.
  • the region extracting means is configured by the HPF 40, the DFF control parameter calculating unit 42, the DFF region extracting unit 46, and the extracted information storage unit 48 in the hill climbing method calculating unit 22.
  • the HPF40 has functions to remove low-frequency noise and extract high-frequency components such as contrast and edges.
  • the region extraction Z focus estimation switching unit 18 supplies the luminance signal obtained by the imaging device 14 and the luminance signal control unit 16 to the HPF 40, and high frequency components are extracted by the HPF 40.
  • the DFF control parameter calculation unit 42 calculates the evaluation value by adding the results of the HPF 40. In this embodiment, this evaluation value is used as additional information.
  • the DFF region extraction unit 46 extracts a window whose evaluation value exceeds a preset threshold value from among a plurality of windows divided in advance. For example, edge strength is used as the evaluation value. Then, the DFF region extraction unit 46 selects at least one window having a high edge strength as an effective window effective for focus detection when the subject of interest exists. In this modification as well, the effective window may be selected in consideration of other information obtained from the luminance signal power as described above. DFF area extraction unit 46 The address is stored in the extracted information storage unit 48.
  • the hill-climbing method calculation unit 22 is caused to function as a focus estimation unit. That is, the DFF control parameter calculation unit 42 first stores the calculated evaluation value in the evaluation value storage unit 44 together with the lens position when the luminance signal from the optical system control unit 24 is acquired. Thereafter, the optical system control unit 24 drives the focus lens of the optical system 12 by a predetermined amount ⁇ in a predetermined direction.
  • the image sensor 14 and the luminance signal control unit 16 obtain the luminance signal of the subject at the driven lens position.
  • the region extraction / focus estimation switching unit 18 supplies the luminance signal to the DFF region extraction unit 46 under the control of a controller (not shown).
  • the DFF region extraction unit 46 extracts a region including at least a part of the effective window as a search region, and extracts a luminance signal in the search region by mask processing. All valid windows may be used as the search area.
  • the search area may include an area that includes a part or all of the effective window. Use the active window as the search area.
  • the DFF control parameter calculation unit 42 obtains the rate of change of the evaluation value from the previous evaluation value stored in the evaluation value storage unit 44 and the current evaluation value. Based on the previous and current lens positions stored in the evaluation value storage unit 44, the focus lens of the optical system 12 is placed in the optical system control unit 24 in the direction in which the evaluation value increases. Step drive by fixed amount ⁇ .
  • the lens position driven by the image sensor 14 and the luminance signal control unit 16 is The luminance signal of the subject at is acquired, and the evaluation value is calculated again in the hill-climbing method calculation unit 22 as described above.
  • the calculated evaluation value is stored in the evaluation value storage unit 44 together with the lens position given from the optical system control unit 24. Thereafter, it is determined whether or not the rate of change of the evaluation value has increased. If it has increased, this process is repeated with the current lens position as the previous lens position.
  • the DFF control parameter calculation unit 42 estimates the peak position DFF-LF. That is, the evaluation value stored in the evaluation value storage unit 44 and the lens position are approximated to a quadratic function to obtain the lens position DFF-LF that is the peak of the mountain. Then, the DFF control parameter calculation unit 42 gives the calculated lens position DFF-LF to the optical system control unit 24 and drives the focus lens of the optical system 12 to the position, thereby completing the focus detection. .
  • the luminance signal power other than the subject of interest is not affected by the calculated evaluation value, and the peak of the evaluation value is calculated in more detail.
  • the evaluation value for example, edge strength
  • the evaluation value is commonly used for selecting the effective window in the region extraction means and for estimating the in-focus position by the in-focus estimation means. The effect of the first embodiment or more can be obtained in the reduction.
  • the present embodiment is characterized in that, by performing area extraction and focus estimation by the hill-climbing method, the search area can be narrowed down for the object of interest so that resources can be shared.
  • This embodiment is applied to a compact camera 10 as shown in FIG. 1, and this compact camera 10 has the same structure as the first embodiment (or a modified example thereof) or the second embodiment. It is.
  • FIG. 7 is a diagram showing details of focus detection processing by a controller (not shown) when the region extraction and focus estimation processing is divided into a plurality of phases in the compact camera having such a configuration. .
  • the focus detection process is performed by determining whether or not a search area needs to be set (step S 10), an area extraction process (step S 20), a search area setting process (step S 30), and a focus estimation process (step S 40) and lens position setting processing (step S50).
  • step S 10 determination as to whether or not the search area needs to be set in step S 10 is performed using flag information as to whether or not to select an effective window for narrowing down the search area before focus estimation. Select whether to execute by setting before.
  • the region extraction Z focus estimation switching unit 18 is controlled depending on whether or not to narrow down the search region (select an effective window).
  • the process proceeds to the area extraction process in step S20, and as described in the first and second embodiments, the focus lens of the optical system 12 is moved (step S21) and acquisition of additional information (step S22) are performed, and selection of an effective window is started based on the additional information. That is, in the configuration as in the first embodiment, the region extraction Z focus estimation switching unit 18 is switched to the distance estimation calculation unit 20 side that functions as a region extraction unit, and selection of an effective window is started. Further, in the second embodiment, in order to cause the hill-climbing calculation calculation unit 22 to function as a region extraction means, the region extraction Z focus estimation switching unit 18 is switched to the HPF 40 side to start selecting an effective window. .
  • the area extraction unit repeats the movement of the focus lens (step S21) and the acquisition of additional information (step S22) until the selection of the effective window is completed.
  • the search area is set for the effective window by the method described in the above embodiment (step S30), and the process proceeds to the next focus estimation process.
  • the determination of whether or not the effective window selection is complete power is performed by, for example, a force power obtained by repeating a predetermined number of times of photographing (step S21 and step S22), or addition of each window. The judgment can be made based on whether or not the difference in information is a predetermined difference enough to select an effective window.
  • step S10 If the search area narrowing (selection of valid window) is disabled (step S10), the area extraction process in step S20 is omitted, and the focus estimation process ( The process proceeds to step S40).
  • the focus estimation process in step S40 switches the region extraction Z focus estimation switching unit 18 to the hill-climbing method calculation unit 22 that functions as the focus estimation unit.
  • the hill-climbing calculation calculation unit 22 is used as the focus estimation means. Therefore, the region extraction Z focus estimation switching unit 18 is switched to the DFF region extraction unit 46 side.
  • a hill-climbing method is performed on the search region set in step S30. That is, as described in the first and second embodiments, the focus lens of the optical system 12 is moved (step S41) and evaluation values are acquired (step S42), and the evaluation values are combined based on the evaluation values. Estimate the focal position.
  • the focus estimation output means repeatedly performs the movement of the focus lens (step S41) and the evaluation value acquisition (step S42) until the estimation of the focus position is completed. Then, when the focus position estimation is completed (step S43), a force lens is set at the estimated lens position (step S50), and the focus detection ends.
  • step S43 Whether or not the in-focus position estimation is completed (step S43) is determined based on whether or not the predetermined number of times of photographing (step S42) is repeated, or the evaluation value change rate h (t) — The determination can be made based on whether the force h (t ⁇ l) decreases to a predetermined threshold value.
  • the present embodiment is applied to a compact camera 10 as shown in FIG. 1, and the configuration thereof is the same as that of the first embodiment (or a modified example thereof) or the second embodiment. Therefore, the description is omitted.
  • FIG. 8 is a diagram showing details of focus detection processing by a controller (not shown) when the region extraction and focus estimation processing is divided into a plurality of phases in the compact camera having such a configuration. .
  • the focus detection process in the present embodiment includes a lens position setting process (step S60), Necessity determination of search area setting (step S10), area extraction process (step S20), search area setting process (step S30), focus estimation process (step S40), and lens position setting process (step S50) Consists of.
  • the focus lens of the optical system 12 is moved to a predetermined position. Thereafter, in step S10, it is determined whether or not a search area needs to be set. Before focus estimation, information on whether or not to set the search area and information on how often the search area is set (updated) when taking multiple shots are updated. It is set in advance. If the setting of the search area is set, and the number of times of shooting is the number of times the search area is set (updated), the area extraction process in step S20 is performed. The region extraction Z-focus estimation switching unit 18 is controlled depending on whether or not the search region is set.
  • the luminance signal obtained by shooting at the focus lens position set in step S60 is the region extraction Z focus estimation.
  • the switching unit 18 supplies the distance estimation calculation unit 20 that functions as a region extraction unit.
  • the region extraction process in step S20 the luminance signal obtained by shooting at the focus lens position set in step S60 is subjected to region extraction by the hill-climbing calculation calculation unit 22.
  • the region extraction Z focus estimation switching unit 18 supplies the HPF 40 of the hill climbing method calculation unit 22 to the HPF 40.
  • the area extraction means performs acquisition of additional information (step S22) and selection of an effective window (step S24). Then, in the search area setting process in step S30, the search area is set for the effective window by the method described in the above embodiment.
  • step S10 After that, or when it is determined in step S10 that the search area setting is set to invalid or it is valid, it is determined that the number of times of shooting should be set (updated)! Move to focus estimation process.
  • the region extraction Z focus estimation switching unit 18 is switched to the hill-climbing method calculation unit 22 side that functions as the focus estimation means.
  • the region extraction Z focus estimation switching unit 18 is provided in the focus estimation process in step S40. Switch to DFF area extraction unit 46 side.
  • step S43 it is determined whether or not the in-focus position estimation has been completed. If it has not been completed, the process returns to step S60 and the above processing is repeated.
  • step S43 the focus lens is set at the estimated lens position (step S50), and the focus detection is terminated.
  • the search area can be set for each set number of times of shooting, so that the area extraction means and the focus estimation means can be pipelined.
  • focus detection can be performed.
  • the region extraction means and the focus estimation means are operated in pipelines to perform focus detection, thereby enabling a small amount of data and detailed detection, and processing High speed and high accuracy can be achieved.
  • the effect of the displacement of the imaging signal is very good under the condition that the displacement amount increases only in a part of the region with respect to the entire displacement amount.
  • the present embodiment is applied to a compact camera 10 as shown in FIG. 1, and its configuration is the same as that of the second embodiment. Therefore, the description is omitted.
  • the present embodiment is characterized in that the additional information calculated in the region extraction process is also used when the focus position is estimated in the focus estimation process. As a result, the in-focus position can be determined with high accuracy.
  • the evaluation value as additional information acquired at the time of region extraction is A case where the weighting coefficient is used during the focus estimation process will be described.
  • the process until the evaluation value as additional information is acquired in the region extraction process is performed by the same process as in the third embodiment.
  • the evaluation value acquired at the time of area extraction is stored in the extraction information storage unit 48 as the weighting coefficient of each window.
  • the edge strength of each window can be considered as an evaluation value as a weighting factor.
  • an evaluation value is acquired (step S42), and focus position estimation is performed. During this focus estimation, the focus positions of all windows may not match.
  • the window priority is changed according to the evaluation value (for example, edge strength) using the evaluation value as the weighting factor of each window recorded at the time of area extraction.
  • the focus position obtained for a window having a high priority according to the weight coefficient, for example, a window having a strong edge strength is finally set as the focus position.
  • This modification is also characterized in that the additional information calculated during the region extraction process is also used when the focus position is estimated by the focus estimation process.
  • the additional information distance acquired at the time of region extraction
  • the additional information when performing focus detection as in the third embodiment or the fourth embodiment in the configuration shown in the first embodiment. The case where image information and the average value of the second derivative are used as weighting factors during the focus estimation process will be described.
  • the process until acquiring additional information at the time of region extraction is performed in the same manner as in the fourth embodiment.
  • additional information acquired at the time of area extraction is stored in the extraction information storage unit 48 as a weighting factor of each window.
  • the additional information may be the amount of blur.
  • an evaluation value is acquired (step S42), and focus position estimation is performed.
  • the additional information recorded at the time of region extraction is used for this focus estimation.
  • the subject distance (distance image information) as additional information is used as a weight coefficient for the evaluation value.
  • a new evaluation value is calculated using a predetermined relational expression between the new evaluation value, the evaluation value, and the weighting coefficient, and the focus estimation process is performed using this new evaluation value instead of the evaluation value.
  • Focus detection can be performed by adding distance measurement information to the hill-climbing method.
  • the present embodiment is applied to a compact camera 10 as shown in FIG. 1, and the configuration thereof is the same as that of the first embodiment (or a modified example thereof) or the second embodiment. Therefore, the description is omitted.
  • FIG. 9 and 10 show the flow of processing in the present embodiment.
  • the processing of FIG. 9 or FIG. 10 is performed.
  • the effective window is reset in step S130.
  • the focus estimation processing in step S40 is performed on the effective window reset in step S130.
  • the evaluation value is calculated from the search area.
  • the luminance signal power evaluation values for all the search areas are not calculated, but the effective window reset in step S130 is not calculated. The evaluation value is calculated only for the luminance signal.
  • FIGS. 11 (A) to 11 (E) are explanatory diagrams regarding the resetting of the effective window performed in step S130.
  • the effective window is selected again from the search area that has already been set.
  • the search area a already set in step S30 is divided into a plurality of windows with a predetermined pattern. Then, in the same way as when an effective window is selected in the first or second embodiment, the object in each window in the search area a is copied. Based on the body distance, luminance value, spatial frequency, edge strength, etc., an effective window is selected from within search area a.
  • the effective window may be selected by a method different from the method of the first embodiment or the second embodiment.
  • a window in which a subject having a predetermined shape exists is detected by a known template matching method, and the window in which a subject having a predetermined shape exists is set as an effective window. select . Further, a window in which a subject having a predetermined color exists is detected from the windows in the search area a, and a window in which a subject having a predetermined color exists is selected as an effective window.
  • the division pattern when dividing the search area a already set in step S30 into a plurality of windows with a predetermined pattern is then used. It is determined in advance according to the lens position and the set shooting scene.
  • the search area a already set in step S30 is divided into a plurality of windows in various patterns. Yes. The number of divisions, division width, and coordinate position are individually specified.
  • the search region a already set in step S30 is displayed in the window in the region extraction process of the above-described embodiment.
  • the window is subdivided by dividing it by the same number. Then, as in the case of FIG. 11 (A) described above, an effective window is selected from the search area a.
  • the effective window resetting method shown in Fig. 11 (B) and the effective window resetting method shown in Fig. 11 (C) may be selectively performed. For example, depending on the user's direct selection or the shooting mode selected by the user (white balance condition setting or shooting condition setting according to the image that the user wants to take), Fig. 11 (B) Either the effective window reset method shown or the effective window reset method shown in Fig. 11 (C) is adopted.
  • Fig. 11 (D) and Fig. 11 (E) show the region extraction result and other than the high frequency component or distance information.
  • the effective window is reset using the information. For example, an image area in which a person exists or an image area having a specific shape or color is extracted, and an effective window is set so as to surround the extracted image area.
  • the subject in the search area a can be extracted in more detail and focus detection can be performed with high accuracy.
  • an area where a subject having a predetermined shape exists in the search area a is detected by a known method such as template matching, and an area where a subject having a predetermined shape exists is set as an effective window.
  • an area where a subject having a predetermined color exists is detected from the search area a, and an area where a subject having a predetermined color exists may be set as an effective window.
  • the evaluation value is limited to the valid window newly set in the search area, and thus the evaluation value calculated from the luminance signal other than the subject of interest is affected. Therefore, the evaluation value can be calculated in more detail, and as a result, the focusing accuracy can be improved.
  • this example allows the number of windows and the number of parameters to be adjusted as necessary. Since it can be adjusted, high functionality can be achieved with less resources.
  • the position of the optical system 12 is changed by driving the position of the focus lens and the diaphragm to obtain two different brightness signals, and the arrangement of the focus lens is adjusted.
  • the arrangement of the image sensor 14 is changed by driving the image sensor 14 in the optical axis direction. Even in a configuration in which luminance signals with different blurs are acquired, the same effect as in the above embodiment can be obtained.
  • each calculation unit and calculation unit may be configured by a single piece of hardware such as a DSP or a CPU.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

　光学系（１２）を通過した光線を用いて合焦検出を行う合焦検出装置は、複数回の撮像における各輝度信号に対する評価値を算出することで合焦検出を行う際に、上記輝度信号を基に求められる付加情報に基づいて合焦検出の対象となる探索領域を設定し、複数回の撮像において上記探索領域における輝度信号から当該探索領域における評価値を算出することで、上記探索領域における評価値を複数回の撮像に対して取得する。そして、それら複数回の撮像に対して取得した上記探索領域における評価値を用いて合焦位置を推定することで、着目被写体に限定した探索領域に対して合焦推定を行う。

Description

合焦検出装置
技術分野
[0001] 本発明は、被写体からの光を所定の位置に結像する光学系を通過した光線を用い て合焦位置を定める合焦検出装置に関する。
背景技術
[0002] 撮像素子を用いて合焦検出を行う手法として、最も一般的な手法に、山登り法又は コントラスト法と呼ばれる技術があり、デジタルカメラをはじめとする電子撮像機器に 広く用いられている。
[0003] この合焦検出法は、フォーカスレンズを光軸方向に駆動し、その間に撮影される複 数枚の画像に対するぼけの評価値を算出して行われる。この評価値は、画像のコン トラストや高周波成分の和が用いられ、値が大き 、ほどフォーカスが合って 、ることを 示している。一方、ぼけの大きさそのものを評価値とする場合もある。例えば像の空 間周波数のうち低周波成分の積分値をもってその評価値とする場合、値が小さいほ どフォーカスが合って 、ることを示す。
[0004] 以下、前者の評価値による合焦検出法を説明する。
[0005] 始点から、フォーカスレンズを近点側もしくは遠点側どちらかの方向に微小距離駆 動する。例えば、まず遠点側に駆動し、その間に算出される評価値が、始点で算出し た評価値に比べて減少すれば、その駆動方向とは逆の方向（近点側）に評価値のピ ークが存在する。従って、逆方向へフォーカスレンズを駆動する。
[0006] 一方、始点より近点側に評価値のピークが存在する場合に、始点から、まず近点側 に駆動した場合には、はじめに駆動した方向における評価値が増加することになる。 従ってこの場合には、はじめに駆動した方向にピークが存在するので、引き続き同方 向に駆動することになる。
[0007] こうして駆動している間、画像の撮影を一定時間間隔で行い、そのときの撮影画像 における評価値を算出する。評価値が増カロしている間はレンズの駆動と評価値の算 出を続ける。そして、評価値の変化が増カロから減少に変わったとき、フォーカスレンズ は合焦位置を過ぎたと判断する。
[0008] 次に、算出した評価値の最大値と、その最大値を挟んで前後のフォーカスレンズ位 置で算出した評価値の 3つの評価値を使って、曲線で示した 2次関数近似を行 ヽ、 評価値が最大となるフォーカスレンズ位置を推定する。そして、その推定した位置 (合 焦レンズ位置）にレンズを駆動することにより、合焦検出が完了する。
[0009] このように、フォーカスレンズ位置の推定によって、被写体の合焦情報、または距離 情報を推定することから、 Depth From Focus (以下、 DFFと略記する）法と呼ばれる。 また、評価値が高くなる様に制御を行い、評価値のピークを推定することから、「山登 り法」とも呼ばれている。
[0010] これに対して、例えば米国特許第 4, 965, 840号には、 Depth From Defocus (以下 、 DFDと略記する）法と呼ばれる合焦検出法が開示されている。この方法では、光路 長の異なる 2箇所で輝度信号を取得する。そして、ぼけの異なる複数の画像を演算 処理することにより、ぼけパラメータを算出して、合焦判定する。ここで、ぼけパラメ一 タとは、輝度信号のぼけ状態を示す代表値であり、光学系のポイントスプレッドファン クシヨン (PSF)の分散値と相関のある値を示す。また、 PSFとは、理想的な点像が光 学系を通過した場合にどのように光線が広がるかを表した関数である。
[0011] 上記米国特許第 4, 965, 840号に記載されている DFD法の概略ステップを説明 する。なお、これら概略ステップで行われる演算処理の詳細は、上記米国特許に記 載されているので、ここでは説明を省略する。
[0012] DFD法では、同一被写体、同一部位、同一視線方向からの最低二つの合焦判定 用輝度信号を、撮像画像のぼけ状態に影響を与える撮影パラメータを最低 1つ変更 すること〖こよって、取得する。撮影パラメータとしては、フォーカスレンズ位置、絞り量 、焦点距離などがある。本説明では、フォーカスレンズの位置のみを変更する場合に 限定して説明を行う。
[0013] 本 DFD法では、例えば輝度信号を取得する撮像部と対象物までの光路長を変更 するため、つまり、撮像部の像面上に結像される像のぼけの状態を変えるために、フ オーカスレンズを所定の第 1の位置と第 2の位置に移動する。そして、第 1の位置にお いて第 1の輝度信号を取得し、また、第 2の位置で第 2の輝度信号を取得する。これ ら取得された輝度信号は、電気的なノイズを除去するためのローパスフィルタ処理、 第 1及び第 2の画像間で異なる倍率を補正する像倍率補正処理、輝度分布などの正 規ィ匕処理が施される。必要であれば取得した輝度信号中の合焦判定をすべき領域 を選択する。選択はどちらか一方の輝度信号に対して行い、もう一方の輝度信号に 対しては対応領域が選定される。そして、それら合焦判定をすべき領域における 2つ の正規化処理結果から、第 1の輝度信号と第 2の輝度信号との差分とを演算する。ま た、第 1の輝度信号及び第 2の輝度信号それぞれの 2次微分を計算して、それらの平 均値を計算する。そして、上記第 1の輝度信号と第 2の輝度信号との差分を、上記輝 度信号の 2次微分の平均値で除算することで、第 1または第 2の輝度信号に対応した PSFの分散と相関のあるぼけパラメータが算出される。
[0014] この算出された PSFのぼけパラメータから、被写体距離は、上記米国特許第 4, 96 5, 840号に記載されている PSFの分散と被写体距離の関係式に基づいて求められ る。
[0015] このような、ぼけパラメータと被写体距離の関係は、レンズの構成、状態 (ズーム、絞 り）によって異なる。また、ある被写体距離と被写体距離に合焦するフォーカスレンズ 位置即ち合焦レンズ位置の関係は、レンズシステムのデータにより予め与えられる。 従って、ぼけパラメータと制御対象の合焦レンズ位置との関係は、レンズシステム、レ ンズの状態によってそれぞれ個別の関係式、または演算テーブルによって求められ る。
発明の開示
[0016] 上記の山登り法による合焦検出では、特に高感度撮影のように、撮像信号のゲイン が大きい状態での撮影においてノイズの影響を受けやすぐ平坦な領域でのノイズに よる評価値とエッジ領域でのノイズの評価値とを判別することが難しい。そのため、そ のような場合には、合焦検出精度があまり良くない。
[0017] 本発明は、上記の点に鑑みてなされたもので、主要被写体に対する合焦検出を高 精度に行うことの可能な合焦検出装置を提供することを目的とする。
[0018] 本発明の合焦検出装置の一態様は、撮影光学系を通過した光線を用いて合焦検 出を行う合焦検出装置であって、入射光を撮像素子にて光電変換して得られる輝度 信号を出力することで画像の撮像を行う撮像手段と、複数回の撮像における各輝度 信号に対する評価値を算出することで合焦検出を行う合焦検出手段と、を具備し、上 記合焦検出手段は、上記輝度信号を基に求められる付加情報に基づいて合焦検出 の対象となる探索領域を設定する領域抽出手段と、複数回の撮像において上記探 索領域における輝度信号から当該探索領域における評価値を算出することで、上記 探索領域における評価値を複数回の撮像に対して取得し、複数回の撮像に対して 取得した上記探索領域における評価値を用いて合焦位置を推定する合焦推定手段 と、を含むことを特徴とする。
図面の簡単な説明
[図 1]図 1は、本発明の第 1実施例に係る合焦検出装置が適用されたコンパクトカメラ の構成を示す図である。
[図 2]図 2は、第 1実施例に係る合焦検出装置のブロック構成図である。
[図 3]図 3は、ぼけパラメータと合焦レンズ位置との関係を示す図である。
[図 4]図 4は、 DFDの推定結果からの山登り法を説明するための、合焦評価値とレン ズ位置との関係を示す図である。
[図 5]図 5は、第 1実施例の変形例に係る合焦検出装置のブロック構成図である。
[図 6]図 6は、本発明の第 2実施例に係る合焦検出装置のブロック構成図である。
[図 7]図 7は、本発明の第 3実施例に係る合焦検出装置の合焦検出処理の詳細を説 明するためのフローチャートを示す図である。
[図 8]図 8は、本発明の第 4実施例に係る合焦検出装置の合焦検出処理の詳細を説 明するためのフローチャートを示す図である。
[図 9]図 9は、本発明の第 6実施例に係る合焦検出装置の合焦検出処理の詳細を説 明するためのフローチャートを示す図である。
[図 10]図 10は、本発明の第 6実施例に係る合焦検出装置の合焦検出処理の詳細を 説明するためのフローチャートを示す図である。
[図 11]図 11 (A)乃至図 11 (E)はそれぞれ、有効ウィンドウの再設定につ!、ての説明 図である。
発明を実施するための最良の形態 [0020] 以下、本発明を実施するための最良の形態を図面を参照して説明する。
[0021] [第 1実施例]
本実施例に係る合焦検出装置は、図 1に示すようなコンパクトカメラ 10に適用したも のであり、図 2に示すように、光学系 12、撮像素子 14及び輝度信号制御部 16、領域 抽出 Z合焦推定切替部 18、距離推定計算部 20、山登り法計算部 22、及び光学系 制御部 24によって構成される。
[0022] ここで、光学系 12は複数のレンズ群で構成され、画像を撮影することを目的とした レンズ群（テーキングレンズ）であり、そのうちの一部のレンズ群はフォーカスを調整す るために光軸方向に駆動できる構成になって 、る。このレンズ群をフォーカスレンズと 呼ぶ。光学系 12によって結像した被写体の像は、撮像素子 14の光電変換素子によ つて電気信号に変換される。変換された電気信号は、輝度信号制御部 16でデジタ ル信号に変換される。この変換されたデジタル信号を輝度信号と呼ぶ。この輝度信 号は、距離推定計算部 20と山登り法計算部 22に入力される。
[0023] 本実施例においては、領域抽出手段として機能する距離推定計算部 20によって 探索領域の設定を行った後、合焦推定手段として機能する山登り法計算部 22によつ て、より高い精度で合焦結果を得るための処理が行われる。山登り法計算部 22と距 離推定計算部 20の切り替えは、領域抽出 Z合焦推定切替部 18によって行われる。 また、光学系制御部 24は、光学系 12を任意の位置に制御するためのもので、特に 図示はしないが、ァクチユエータと該ァクチユエータを駆動するための駆動回路とに よって構成されている。例えば、山登り法計算部 22で得られた合焦レンズ位置が光 学系制御部 24に入力されると、駆動回路は、そのレンズ位置に光学系 12を配置す るためにァクチユエータへ与える信号を生成し、ァクチユエータにその信号を入力し て、光学系 12のフォーカスレンズを所望の位置に配置する。
[0024] なお、各部の動作制御は、当該コンパクトカメラ 10を制御する不図示のコントローラ により為される。
[0025] ここで、上記距離推定計算部 20は、上述の背景技術で説明したような DFD法によ り被写体距離を推定するものである。この距離推定計算部 20は、ぼけパラメータ演算 部 26、制御パラメータ計算部 28、及び LUT記憶部 30によって構成される。 [0026] ぼけパラメータ演算部 26は、差分演算部 32、 2次微分演算部 34、パラメータ演算 部 36、及びバッファ 38を備えている。差分演算部 32は、ぼけパラメータの算出のた めに必要な画像の差分を計算する。 2次微分演算部 34は、画像の 2次微分を計算し 、ぼけの異なる 2つの輝度信号力 得られる 2次微分の結果の平均を計算する。 DF Dぼけパラメータ演算部 36は、差分演算部 32で計算された画像の差分と 2次微分演 算部 34で計算された 2次微分の平均とを除算して、ぼけパラメータを計算する。バッ ファ 38は、フォーカスレンズを異なる位置に配置し、複数の輝度信号を異なる時刻で 取得するため、 1枚目に撮影した輝度信号とその 2次微分の結果を保持する。
[0027] LUT記憶部 30は、ぼけパラメータと被写体力 の光の合焦位置との関係として、ぼ けパラメータと合焦レンズ位置との関係をルックアップテーブル (LUT)の形で記憶し ている。合焦レンズ位置に応じて、光学系 12の配置が定まる。
[0028] 制御パラメータ計算部 28は、上記 LUT記憶部 30の LUTを参照することにより、上 記ぼけパラメータ演算部 36で計算したぼけパラメータに対応した合焦レンズ位置を 求める。
[0029] また、上記山登り法計算部 22は、ハイパスフィルタ (HPF) 40、 DFF制御パラメータ 計算部 42、及び評価値記憶部 44を備えている。ここで、 HPF40は、輝度信号の高 周波成分を抽出する。 DFF制御パラメータ計算部 42は、 HPF40の結果を加算し、 評価値 h (t)の算出を行う。評価値記憶部 44は、輝度信号を取得したときのレンズ位 置と、 DFF制御パラメータ計算部 42で算出した評価値とを記憶する。なお、評価値と しては、画像のコントラストや高周波成分の和が用いられ、値が大きいほどフォーカス が合っていることを示している。一方、ぼけの大きさそのものを評価値とする場合もあ る。例えば像の空間周波数のうち低周波成分の積分値をもってその評価値とする場 合、値が小さ 、ほどフォーカスが合って 、ることを示す。
[0030] また、上記距離推定計算部 20と山登り法計算部 22の両方を構成するものとして、 DFF領域抽出部 46と抽出情報記憶部 48とが設けられている。ここで、 DFF領域抽 出部 46は、最近距離となる被写体の合焦レンズ位置を求める。抽出情報記憶部 48 は、少なくとも一つ以上のウィンドウより構成される探索領域においてその最近距離と なる被写体が存在するウィンドウを選択し、選択したウィンドウのアドレスを記憶する。 [0031] このような構成において、まず、図示しないコントローラの制御に従って、光学系制 御部 24は、光学系 12のフォーカスレンズを予め決められた第 1のレンズ位置 L1に駆 動する。この第 1のレンズ位置 L1において、被写体の 1枚目の画像の輝度信号が撮 像素子 14及び輝度信号制御部 16によって取得される。不図示コントローラの制御に 従って、領域抽出 Z合焦推定切替部 18は、この取得された輝度信号を距離推定計 算部 20に供給する。距離推定計算部 20においては、この供給された輝度信号を、 ぼけパラメータ演算部 26内のバッファ 38に記憶する。
[0032] その後、不図示コントローラの制御に従って、光学系制御部 24は、光学系 12のフ オーカスレンズを予め決められた第 2のレンズ位置 L2に駆動する。この第 2のレンズ 位置 L1にお 、て、被写体の 2枚目の画像の輝度信号が撮像素子 14及び輝度信号 制御部 16によって取得される。不図示コントローラの制御に従って、領域抽出 Z合 焦推定切替部 18は、この取得された 2枚目の輝度信号を距離推定計算部 20に供給 する。
[0033] 2枚目の輝度信号の取得が完了すると、不図示コントローラの制御に従って、距離 推定計算部 20は、ぼけパラメータの計算を行う。即ち、ぼけパラメータ演算部 26にお いて、差分演算部 32は、上記 1枚目の輝度信号をバッファ 38から読み出し、上記領 域抽出 Z合焦推定切替部 18から供給される 2枚目の輝度信号との差分を計算する 。また、 2次微分演算部 34では、上記領域抽出 Z合焦推定切替部 18から供給され る 2枚目の輝度信号の 2次微分を計算し、それが計算されたならば、更に、上記 1枚 目の輝度信号をバッファ 38から読み出して、その 2次微分を計算する。そして、それ ら計算した 1枚目と 2枚目の 2次微分の平均値を計算する。こうして差分と、微分情報 としての 2次微分の平均値とが求められたならば、 DFDぼけパラメータ演算部 36は、 それらの除算を計算して、ぼけパラメータを得る。
[0034] ぼけパラメータは、被写体距離の逆数に対して線形な関係があり、更に、被写体距 離と合焦レンズ位置の関係は 1対 1対応である。従って、ぼけパラメータと合焦レンズ 位置の関係も、図 3に示すように、 1対 1対応の関係が保存される。この関係は、 LUT 記憶部 30にテーブル (LUT)として記憶されて 、る。
[0035] 制御パラメータ計算部 28は、ぼけパラメータに対応する被写体距離の値を算出す る。被写体距離の値に対応する距離情報は、フォーカスの合う、フォーカスレンズの 位置で表される。よって、ぼけパラメータ演算部 26で求められたぼけパラメータに対 応する合焦レンズ位置 DFD— LFは、 LUT記憶部 30に記憶されて ヽるテーブルを 参照し、線形近似によって求めることができる。この合焦レンズ位置は、像面に結像し た被写体のエッジの部分に対してピクセル単位で又は複数のピクセルを単位として 算出される。制御パラメータ計算部 28は、更に、この合焦レンズ位置の値を輝度値に 変換することで、距離画像と呼ばれる画像を得る。
[0036] この距離画像は、 DFF領域抽出部 46に渡される。 DFF領域抽出部 46では、複数 に予め分割された画像領域 (各画像領域を「ウィンドウ」と呼ぶ。）ごとに、合焦検出装 置から当該ウィンドウ内に存在する被写体までの距離である被写体距離を算出する 。即ち、距離画像の輝度値力も合焦レンズ位置の値がわ力るため、この合焦レンズ位 置を被写体距離として算出する。距離画像は輝度信号制御部 16で得た輝度信号に 対応したものとして扱われるため、距離画像の各ウィンドウ内に存在する被写体の被 写体距離は、輝度信号で表される画像中で対応する各ウィンドウ内に存在する被写 体の被写体距離に相当する。なお、各ウィンドウの被写体距離は、そのウィンドウ内 の各ピクセル (又は複数のピクセル力 構成される各単位）に対する被写体距離に基 づいて定める。例えば、ウィンドウ内の各ピクセルに対する被写体距離の平均値を、 そのウィンドウの被写体距離とすればよ 、。
[0037] DFF領域抽出部 46は、距離画像の情報を用いて被写体の合焦レンズ位置 DFD — LFを求める。本実施例では、合焦レンズ位置 DFD— LFとして、被写体距離が最 近距離となる位置を求める。合焦レンズ位置 DFD— LFとしては、被写体距離が最遠 距離となる位置や、被写体距離が所定の範囲の距離となる位置を求めてもょ 、。
[0038] さらに、 DFF領域抽出部 46は、複数に予め分割されたウィンドウの中から、注目被 写体が存在し、合焦検出に有効な有効ウィンドウを選択する。本実施例では、被写 体距離が最近距離となる被写体が存在するウィンドウを有効ウィンドウとして選択す る。この他に、被写体距離が最遠距離となる被写体が存在するウィンドウを有効ウイ ンドウとして選択したり、被写体距離が所定の範囲の距離となる被写体が存在するゥ インドウを有効ウィンドウとして選択したりすることもできる。 [0039] さらに、距離画像からの情報だけではなぐ輝度信号から得られる情報等のその他 の情報を用いて有効ウィンドウを選択することもできる。例えば、輝度信号において、 輝度値の平均値が最も大きいウィンドウを有効ウィンドウとして選択したり、輝度値の 平均値が所定の範囲に収まるウィンドウを有効ウィンドウとして選択したり、空間周波 数が所定の周波数に収まるウィンドウを有効ウィンドウとすることもできる。他にも、複 数色の輝度信号を取得す場合には、所定の色のウィンドウを有効ウィンドウとして選 択することちでさる。
[0040] さらに他にも、輝度信号力 テンプレートマッチング等の手法により所定の形状等を 有する被写体が存在するウィンドウを検出して、検出されたウィンドウを有効ウィンド ゥとして選択することもできる。公知の顔画像認識技術を用いて、顔として認識された 被写体が存在するウィンドウを有効ウィンドウとして選択することもできる。
[0041] さらに他にも、距離画像力 の情報に、上述したような輝度信号力 得られる情報 等のその他の情報を加味して有効ウィンドウを選択することもできる。例えば、上述の 距離画像力ゝらの情報が上述のような条件を充たし、かつ輝度信号から得られる情報 が上述のような条件を充たす場合に、そのウィンドウを有効ウィンドウとして選択する
[0042] 有効ウィンドウを選択する上述の何れの方法の場合も、要は、 DFF領域抽出部 46 は、合焦させた!/ヽ被写体の特徴を備えた被写体 (注目被写体)が存在する少なくも 1 つ以上のウィンドウを有効ウィンドウとして選択するようにすればよ!、と!/、うことである。 本実施例では、上述のような距離画像からの情報や、輝度信号から得られる情報等 力 有効ウィンドウを選択するための付加情報に相当する。なお、 DFF領域抽出部 4 6は、輝度信号カゝら情報を得る場合には、領域抽出 Z合焦推定切替部 18から輝度 信号を得るようにすればよい。 DFF領域抽出部 46は、有効ウィンドウのアドレスを抽 出情報記憶部 48に記憶させる。
[0043] ここで求められた合焦レンズ位置 DFD—LFの推定誤差 Δは、被写体に対する合 焦レンズ位置が各個体の鏡枠取り付け誤差によって微小に異なるため、許容誤差よ りも大きい場合がある。よって、制御パラメータ計算部 28は、推定した合焦レンズ位 置力ゝら鏡枠の取り付け誤差よりも推定誤差 Δの分だけ離れた位置 DFD— LF+ Δを 目標レンズ位置 L (t—1)とし、光学系制御部 24に入力する。光学系制御部 24は、 光学系 12のフォーカスレンズをその目標レンズ位置 L (t 1)に駆動する。
[0044] ここで、 DFD— LF+ Δの位置は、図 4に示すように、前述のぼけパラメータを算出 する過程で撮影した 2枚目の輝度信号を取得したレンズ位置 (LI, L2)と合焦レンズ 位置 DFD— LFの間の位置である。この位置にすることで、フォーカスレンズの駆動 距離を最短にすることができる。
[0045] 光学系制御部 24によって前述の目標レンズ位置 L (t 1)への制御が完了すると、 次に山登り法が開始される。即ち、図示しないコントローラの制御により、領域抽出 Z 合焦推定切替部 18は、山登り法計算部 22の実行に切り替えられる。これにより、撮 像素子 14から輝度信号制御部 16を経て得たレンズ位置 L (t- 1)での被写体の輝 度信号は、 DFF領域抽出部 46に渡される。上述した DFDの結果により、注目被写 体の存在する有効ウィンドウのアドレスが予め抽出情報記憶部 48に記憶されている 。よって、 DFF領域抽出部 46は、その有効ウィンドウの少なくとも一部を含む領域を 、輝度信号の取得対象となる画像領域、即ち探索領域として抽出する。そして、その 探索領域における輝度信号をマスク処理によって抽出する。有効ウィンドウすべてを 探索領域としてもょ 、。有効ウィンドウの一部又は全部を包含するような領域を探索 領域としてもよ 、。有効ウィンドウをそのまま探索領域としてもょ 、。
[0046] DFF領域抽出部 46によって抽出された輝度信号は、 HPF40によって高周波成分 が抽出されて、 DFF制御パラメータ計算部 42に入力される。 DFF制御パラメータ計 算部 42は、この HPF40の結果を加算することで評価値 h(t 1)の算出を行う。この 算出された評価値は、光学系制御部 24からの輝度信号を取得したときのレンズ位置 と共に、評価値記憶部 44に記憶される。
[0047] その後、 DFF制御パラメータ計算部 42は、上記評価値記憶部 44に記憶された現 在のレンズ位置に基づいて、光学系制御部 24により光学系 12のフォーカスレンズを 前述の推定合焦レンズ位置 DFD— LFの方向に、所定量 δだけステップ駆動する。 そして、撮像素子 14及び輝度信号制御部 16によって、その駆動されたレンズ位置 L (t)での被写体の輝度信号を取得して、上述したように山登り法計算部 22において 再び評価値を算出する。このとき評価値は、探索領域についてだけ算出される。この 算出された評価値は、光学系制御部 24から与えられるレンズ位置と共に、評価値記 憶部 44に記憶される。その後、評価値の変化率 h (t)— h(t— 1)が増加しているか否 かが判別されて、増加している場合には、現在のレンズ位置 L (t)を一つ前のレンズ 位置 L (t—1)として、この処理を繰り返すことになる。
[0048] 而して、評価値の変化率 h (t) -h (t- 1)が予め定めた閾値程度に減少したときに は、 DFF制御パラメータ計算部 42では、ピーク位置 DFF— LFの推定を行う。即ち、 評価値記憶部 44に記憶された評価値とレンズ位置を 2次関数に近似し、山のピーク となるレンズ位置 DFF— LFを求める。そして、 DFF制御パラメータ計算部 42は、そ の計算したレンズ位置 DFF—LFを光学系制御部 24に与え、その位置に光学系 12 のフォーカスレンズを駆動することで、合焦検出が完了する。
[0049] このように、注目被写体を DFD法によって抽出し、 DFD法の結果に対応する探索 領域のみに山登り法を行うことにより、注目被写体以外の輝度信号力 算出される評 価値の影響を受けることがなく評価値のピークを算出することができ、結果として合焦 精度を向上させることができる。また、山登り法を輝度信号全体ではなぐ一部の探索 領域に対して行うことにより、演算コストも削減できる効果が得られる。
[0050] [第 1実施例の変形例]
領域の抽出を DFDの結果得られる距離情報を用いて行った場合について、本第 1 実施例を説明したが、図 5に示すように、 2次微分演算部 34の演算結果を DFF領域 抽出部 46に与えることで、ぼけパラメータの算出過程で求められる 2次微分の結果を 用いて有効ウィンドウの選択を行うようにしても良 、。
[0051] この場合には、第 1のレンズ位置 L1で被写体の 1枚目の輝度信号を取得し、その 後、第 2のレンズ位置 L2で被写体の 2枚目の輝度信号を取得する。そして、ぼけパラ メータ演算部 26では、 2次微分演算部 34は、異なるフォーカスレンズ位置で撮影し た 2枚の画像それぞれの 2次微分を求め、それらの平均値を計算する。この 2次微分 の平均値は、付加情報として DFF領域抽出部 46に供給される。なお、付加情報は 2 次微分の平均値に限らず、平均値の代わりにその他の計算手法により求めてもよい
[0052] DFF領域抽出部 46では、複数に予め分割されたウィンドウごとに、供給された 2次 微分の平均値が予め設定された閾値を越えるピクセル (又は複数のピクセル力 構 成される各単位）が存在するかを判定する。そして、 DFF領域抽出部 46は、閾値を 越える値が存在する少なくとも 1つ以上のウィンドウを、注目被写体が存在し、合焦検 出に有効な有効ウィンドウとして選択する。なお、本変形例でも、上述のように、輝度 信号力 得られる情報も加味して有効ウィンドウを選択するようにしてもょ 、。 DFF領 域抽出部 46は、有効ウィンドウのアドレスを抽出情報記憶部 48に記憶する。
[0053] また、ぼけパラメータ演算部 26は、上記 2枚の画像の 2次微分の平均値と異なるフ オーカスレンズ位置で撮影した 2枚の画像の差分の除算によって、ぼけパラメータを 計算する。そして、制御パラメータ計算部 28では、その算出したぼけパラメータと LU T記憶部 30に記憶された LUTの情報とを使って、被写体に対する合焦レンズ位置を 線形補間によって求める。この合焦レンズ位置は、像面に結像した被写体のエッジの 部分に対してピクセル単位又は複数のピクセルを単位として算出されるものであり、 最近距離となる位置を、被写体の合焦レンズ位置 DFD— LFとして求める。被写体距 離が最遠距離となる位置や、所定の範囲となる位置を合焦レンズ位置 DFD—LFと してちよい。
[0054] ここで求められた合焦レンズ位置の推定誤差 Δは、被写体に対する合焦レンズ位 置が各個体の鏡枠取り付け誤差によって微小に異なるため、許容誤差よりも大きい。 よって、推定した合焦レンズ位置力も鏡枠の取り付け誤差よりも推定誤差 Δの分だけ 離れた位置を目標レンズ位置 DFD— LF+ Δとし、光学系制御部 24に入力して、フ オーカスレンズを駆動する。
[0055] 次に、山登り法を、有効ウィンドウにより定められる探索領域に対して行う。以下の 処理は、上記第 1実施例で示した処理と同じであるので省略する。
[0056] このように、本変形例では、 2次微分の値を付加情報として 、る。 2次微分は被写体 のエッジ部分を抽出するので、像面上に存在する被写体領域を検出することができ る。エッジの強度が最も高いウィンドウを DFF領域抽出部 46で抽出し、そのウィンド ゥの一部を含む探索領域のみの輝度信号を使って山登り法を実行することにより、第 1実施例で得られる効果と等し 、効果が得られる。
[0057] なお、有効ウィンドウの抽出をエッジの強度で判断した力 エッジの構造から主要 被写体を抽出しても良い。
[0058] また、ぼけ DFDぼけパラメータ演算部 36でのぼけパラメータの計算においても、上 記 DFF領域抽出部 46で抽出した有効ウィンドウの一部を含む探索領域についての み行うようにしても良い。
[0059] [第 2実施例]
本第 2実施例は、図 1に示すようなコンパクトカメラ 10に適用したものであり、図 6に 示すように、光学系 12、撮像素子 14、輝度信号制御部 16、領域抽出 Z合焦推定切 替部 18、山登り法計算部 22、及び光学系制御部 24によって構成される。ここで、山 登り法計算部 22は、 HPF40、 DFF制御パラメータ計算部 42、評価値記憶部 44、 D FF領域抽出部 46、及び抽出情報記憶部 48を備えている。
[0060] 上記第 1実施例は、領域抽出手段として機能する距離推定計算部 20によって探索 領域の設定を行った後、合焦推定手段として機能する山登り法計算部 22によって、 より高い精度で合焦結果を得るための処理が行われるものであった。本実施例は、そ の領域抽出手段を合焦推定手段と資源を共用した構成としたものである。
[0061] 即ち、このような構成においては、領域抽出手段は、山登り法計算部 22における H PF40、 DFF制御パラメータ計算部 42、 DFF領域抽出部 46、及び抽出情報記憶部 48によって構成される。 HPF40は、低周波ノイズの除去と、コントラストやエッジ等の 高周波成分を抽出する機能を備えている。図示しないコントローラの制御に従って、 領域抽出 Z合焦推定切替部 18は、撮像素子 14及び輝度信号制御部 16によって得 られた輝度信号を、この HPF40に供給し、該 HPF40によって高周波成分が抽出さ れる。そして、 DFF制御パラメータ計算部 42は、上記 HPF40の結果を加算すること で評価値の算出を行う。本実施例は、この評価値を付加情報として用いる。
[0062] DFF領域抽出部 46は、複数に予め分割されたウィンドウの中から、評価値が予め 設定された閾値を越えるウィンドウを抽出する。評価値としては、例えばエッジ強度を 用いる。そして、 DFF領域抽出部 46は、高いエッジ強度を持つ少なくとも 1つ以上の ウィンドウを、注目被写体が存在し、合焦検出に有効な有効ウィンドウとして選択する 。なお、本変形例でも、上述のような輝度信号力 得られるその他の情報も加味して 有効ウィンドウを選択するようにしてもよい。 DFF領域抽出部 46は、有効ウィンドウの アドレスを抽出情報記憶部 48に記憶する。
[0063] このようにして、注目被写体が存在する有効ウィンドウを山登り法によって抽出、選 択する。
[0064] その後、山登り法計算部 22を合焦推定手段として機能させる。即ち、 DFF制御パ ラメータ計算部 42は、まず、上記算出した評価値を、光学系制御部 24からの輝度信 号を取得したときのレンズ位置と共に、評価値記憶部 44に記憶する。その後、光学 系制御部 24は、光学系 12のフォーカスレンズを所定の方向に所定量 δだけステツ プ駆動する。
[0065] そして、撮像素子 14及び輝度信号制御部 16によって、その駆動されたレンズ位置 での被写体の輝度信号が取得される。ここで、領域抽出 Ζ合焦推定切替部 18は、 図示しないコントローラの制御に従って、上記輝度信号を DFF領域抽出部 46に供 給する。
[0066] 上述のようにして注目被写体の存在する有効ウィンドウのアドレスが抽出情報記憶 部 48に記憶されている。よって、 DFF領域抽出部 46は、その有効ウィンドウの少なく とも一部を含む領域を探索領域として抽出し、その探索領域における輝度信号をマ スク処理によって抽出する。有効ウィンドウすべてを探索領域としてもよい。有効ウイ ンドウの一部又は全部を包含するような領域を探索領域としてもょ 、。有効ウィンドウ をそのまま探索領域としてもょ 、。
[0067] この DFF領域抽出部 46によって抽出された輝度信号は、 HPF40によって高周波 成分が抽出され、 DFF制御パラメータ計算部 42で、 HPF40の結果を加算し評価値 の算出を行う。この算出された評価値は、光学系制御部 24からの輝度信号を取得し たときのレンズ位置と共に、評価値記憶部 44に記憶される。
[0068] その後、 DFF制御パラメータ計算部 42は、上記評価値記憶部 44に記憶されてい る一つ前の評価値と今回の評価値とから評価値の変化率を求める。そして、同じく上 記評価値記憶部 44に記憶された一つ前と現在のレンズ位置に基づ 、て、評価値が 増加する方向に、光学系制御部 24に光学系 12のフォーカスレンズを所定量 δだけ ステップ駆動させる。
[0069] そして、撮像素子 14及び輝度信号制御部 16によって、その駆動されたレンズ位置 での被写体の輝度信号を取得して、上述したように山登り法計算部 22にお 、て再び 評価値を算出する。この算出された評価値は、光学系制御部 24から与えられるレン ズ位置と共に、評価値記憶部 44に記憶される。その後、評価値の変化率が増加して いるか否かを判別し、増加している場合には、現在のレンズ位置を一つ前のレンズ位 置として、この処理を繰り返すことになる。
[0070] 而して、評価値の変化率が減少したときには、 DFF制御パラメータ計算部 42では、 ピーク位置 DFF— LFの推定を行う。即ち、評価値記憶部 44に記憶された評価値と レンズ位置を 2次関数に近似し、山のピークとなるレンズ位置 DFF— LFを求める。そ して、 DFF制御パラメータ計算部 42は、その計算したレンズ位置 DFF— LFを光学 系制御部 24に与え、その位置に光学系 12のフォーカスレンズを駆動することで、合 焦検出が完了する。
[0071] 以上のように、探索領域に対して山登り法を行うことにより、注目被写体以外の輝度 信号力も算出される評価値の影響を受けることがなく評価値のピークをより詳細に算 出することができ、結果として合焦精度を向上させることができる。また、領域抽出手 段における有効ウィンドウの選択と、合焦推定手段での合焦位置の推定において、 評価値 (たとえばエッジ強度)を共通に用いているため、資源を共用することにより、 演算コストを削減において第 1実施例以上の効果を得ることができる。
[0072] なお、本実施例では、山登り法による領域抽出と合焦推定を行うことで、注目被写 体に対する探索領域の絞り込みが資源共用を図り構成できる点に特徴がある。
[0073] [第 3実施例]
本実施例は、図 1のようなコンパクトカメラ 10に適用したものであり、このコンパクト力 メラ 10は、上記第 1実施例 (又はその変形例)或いは上記第 2実施例のような構成の ものである。
[0074] 図 7は、そのような構成のコンパクトカメラにおいて、領域抽出と合焦推定の処理を 複数のフェーズに分割したときの、図示しないコントローラによる合焦検出処理の詳 細を示す図である。
[0075] 即ち、合焦検出処理は、探索領域の設定の要否判定 (ステップ S 10)、領域抽出処 理 (ステップ S20)、探索領域の設定処理 (ステップ S30)、合焦推定処理 (ステップ S 40)、及びレンズ位置設定処理 (ステップ S50)によって構成される。
[0076] ここで、上記ステップ S 10の探索領域の設定の要否判定は、合焦推定前に探索領 域の絞り込みを行うための有効ウィンドウの選択を行うか否かをフラグ情報として、事 前に設定することで、実行するかどうかを選択する。その探索領域の絞り込み (有効 ウィンドウの選択)を行うか否かにより、領域抽出 Z合焦推定切替部 18を制御するこ とになる。
[0077] 探索領域の絞り込みが有効に設定されている場合、ステップ S20の領域抽出処理 に移行し、上記第 1及び第 2実施例で説明したように、光学系 12のフォーカスレンズ の移動 (ステップ S21)や付加情報の取得 (ステップ S22)を行 、、それら付加情報を 元に有効ウィンドウの選択を開始する。即ち、上記第 1実施例のような構成であれば 、領域抽出 Z合焦推定切替部 18を、領域抽出手段として機能する距離推定計算部 20側に切り替えて、有効ウィンドウの選択を開始させる。また、上記第 2実施例であ れば、山登り法計算部 22を領域抽出手段として機能させるために、領域抽出 Z合焦 推定切替部 18を HPF40側に切り替えて、有効ウィンドウの選択を開始させる。
[0078] 領域抽出手段では、有効ウィンドウの選択が完了するまで、フォーカスレンズの移 動 (ステップ S21)と付加情報の取得 (ステップ S22)を繰り返す。有効ウィンドウの選 択が完了した時点で (ステップ S23)、有効ウィンドウに対して、上述の実施例で説明 したような方法で探索領域を設定し (ステップ S30)、次の合焦推定処理に移る。なお 、有効ウィンドウの選択が完了力否かの判定 (ステップ S23)は、例えば、予め設定さ れた所定回数の撮影 (ステップ S21とステップ S22)を繰り返した力否力、または、各 ウィンドウの付加情報の差が有効ウィンドウを選択するのに充分な程度の予め定めら れた差になっている力否かで判定することができる。
[0079] また、探索領域の絞り込み (有効ウィンドウの選択)が無効に設定されている場合に は (ステップ S10)、このようなステップ S20の領域抽出の処理を省略して、合焦推定 処理 (ステップ S40)に移行する。
[0080] 上記第 1実施例の構成であれば、ステップ S40の合焦推定処理は、領域抽出 Z合 焦推定切替部 18を、合焦推定手段として機能する山登り法計算部 22側に切り替え る。また、上記第 2実施例の構成であれば、山登り法計算部 22を合焦推定手段とし て機能させるために、領域抽出 Z合焦推定切替部 18を DFF領域抽出部 46側に切 り替える。
[0081] そして、上記ステップ S30で設定された探索領域に対して山登り法を行う。即ち、上 記第 1及び第 2実施例で説明したように、光学系 12のフォーカスレンズの移動 (ステツ プ S41)や評価値の取得 (ステップ S42)を行 、、それら評価値を元に合焦位置の推 定を行う。合焦推定出手段では、合焦位置の推定が完了するまで、フォーカスレンズ の移動 (ステップ S41)と評価値の取得 (ステップ S42)を繰り返し行う。そして、合焦 位置推定が完了した時点で (ステップ S43)、その推定されたレンズ位置にフォー力 スレンズを設定して (ステップ S50)、合焦検出を終了する。なお、合焦位置推定が完 了か否かの判定 (ステップ S43)は、予め設定された所定回数の撮影 (ステップ S42) を繰り返したか否力、または、評価値の変化率 h(t)—h(t—l)が予め定めた閾値程 度に減少した力否かで判定することができる。
[0082] このようにすることにより、探索領域以外の輝度信号力 算出される評価値の影響 を受けることがなく評価値のピークをより詳細に算出することができ、結果として合焦 精度を向上させることができる。
[0083] このように、領域抽出手段と合焦推定手段の処理フェーズを分割することで、複数 の AF手法の組合せや時分割処理による両手段の資源共有、従来処理を可能とし、 合焦精度を向上させるために柔軟な構成を選択することができる。また、領域抽出を 無効化する機構を設けることで探索領域の設定が不要の際には省略することができ 、合焦時間の短縮や演算コストの削減する効果がある。
[0084] [第 4実施例]
本実施例は、図 1のようなコンパクトカメラ 10に適用したものであり、その構成は、上 記第 1実施例 (又はその変形例)或いは上記第 2実施例のそれと同様である。よって 、その説明は省略する。
[0085] 図 8は、そのような構成のコンパクトカメラにおいて、領域抽出と合焦推定の処理を 複数のフェーズに分割したときの、図示しないコントローラによる合焦検出処理の詳 細を示す図である。
[0086] 即ち、本実施例における合焦検出処理は、レンズ位置設定処理 (ステップ S60)、 探索領域の設定の要否判定 (ステップ S10)、領域抽出処理 (ステップ S20)、探索領 域の設定処理 (ステップ S30)、合焦推定処理 (ステップ S40)、及びレンズ位置設定 処理 (ステップ S50)によって構成される。
[0087] ここで、上記ステップ S60のレンズ位置設定処理では、所定の位置に光学系 12の フォーカスレンズを移動する。その後の、上記ステップ S10で、探索領域の設定の要 否判定を行う。合焦推定前には、探索領域の設定を行うか否力の情報と、複数回撮 影する際に探索領域の設定 (更新)を何回目の撮影で行うの力の更新頻度の情報が 、事前に設定されている。探索領域の設定を行うことが設定され、かつ、撮影の回数 が探索領域の設定 (更新)を行う回数である場合には、ステップ S20の領域抽出処理 が行われる。探索領域の設定を行うか否かにより、領域抽出 Z合焦推定切替部 18を 制御することになる。
[0088] 第 1実施例の構成の場合には、ステップ S20の領域抽出処理では、上記ステップ S 60で設定されたフォーカスレンズ位置での撮影で得られた輝度信号は、領域抽出 Z 合焦推定切替部 18により、領域抽出手段として機能する距離推定計算部 20に供給 される。第 2実施例の構成の場合には、ステップ S20の領域抽出処理では、上記ステ ップ S60で設定されたフォーカスレンズ位置での撮影で得られた輝度信号は、山登り 法計算部 22を領域抽出手段として機能させるために、領域抽出 Z合焦推定切替部 18により、山登り法計算部 22の HPF40に供給される。領域抽出手段では、付加情 報の取得 (ステップ S22)と有効ウィンドウの選択 (ステップ S24)を行わせる。そして、 ステップ S30の探索領域の設定処理で、有効ウィンドウに対して、上述の実施例で 説明したような方法で探索領域を設定する。
[0089] その後、或いは、上記ステップ S10で探索領域の設定が無効に設定されている場 合又は有効であっても設定 (更新)すべき撮影回数でな!、と判別され場合には、合焦 推定処理に移行する。
[0090] 第 1実施例の構成の場合には、ステップ S40の合焦推定処理では、領域抽出 Z合 焦推定切替部 18を、合焦推定手段として機能する山登り法計算部 22側に切り替え る。第 2実施例の構成の場合には、ステップ S40の合焦推定処理では、山登り法計 算部 22を合焦推定手段として機能させるために、領域抽出 Z合焦推定切替部 18を DFF領域抽出部 46側に切り替える。
[0091] そして、上記ステップ S30で設定された探索領域に対して山登り法を行う。即ち、評 価値の取得 (ステップ S42)と合焦位置推定を行う。そして、合焦位置推定が完了し たか否かを判別して (ステップ S43)、完了していなければ、上記ステップ S60に戻つ て、上記の処理を繰り替えする。而して、合焦位置推定が完了したならば (ステップ S 43)、その推定されたレンズ位置にフォーカスレンズを設定して (ステップ S50)、合焦 検出を終了する。
[0092] このように、複数回撮影を以て合焦検出するときに、設定された撮影回数毎に探索 領域の設定を可能にすることで、領域抽出手段と合焦推定手段とをパイプライン動 作させて合焦検出を行うことができる。
[0093] このように、合焦検出において、領域抽出手段と合焦推定手段とをパイプライン動 作させて合焦検出を行うことで、データの少量化と詳細な検出を可能とし、処理の高 速化と高精度化を図ることができる。結果、移動物体の撮影のように、撮像信号の変 位が、全体の変位量に対して一部の領域のみ変位量が大きくなる条件で、非常に効 果が得られる。
[0094] [第 5実施例]
本実施例は、図 1のようなコンパクトカメラ 10に適用したものであり、その構成は、上 記第 2実施例のそれと同様である。よって、その説明は省略する。本実施例は、領域 抽出の処理の際に算出した付加情報を、合焦推定処理で合焦位置を推定する際に も用いることを特徴とする。これにより、高精度に合焦位置を決定できるようにしている 。以下に説明する本実施例では、上記のような第 2実施例の構成において、第 3実施 例のような合焦検出を実行する際に、領域抽出時に取得した付加情報としての評価 値を、合焦推定処理時に重み係数として用いる場合について説明する。
[0095] まず、領域抽出処理において付加情報としての評価値を取得するまでの工程は、 上記第 3実施例と同様の処理にて行う。ただし、この際に、本実施例では、有効ウイ ンドウのアドレスの他に、各ウィンドウの重み係数として領域抽出時に取得した評価 値を抽出情報記憶部 48に記憶する。重み係数としての評価値は、例えば各ウィンド ゥのエッジ強度が考えられる。 [0096] 次に、ステップ S40の合焦推定処理にぉ 、ては、評価値を取得し (ステップ S42)、 合焦位置推定を行う。この合焦推定の折に、すべてのウィンドウの合焦位置が一致し ないことがある。
[0097] このようなときに、領域抽出時に記録した各ウィンドウの重み係数としての評価値を 用い、評価値 (例えばエッジ強度）に応じてウィンドウの優先度を変更する。即ち、重 み係数によって優先度が高いウィンドウ、例えば、エッジ強度の強いウィンドウに対し て求められた合焦位置を、最終的に合焦位置とする。
[0098] これにより、合焦推定処理によって、複数の合焦位置が推定された場合においても 、各ウィンドウの重み係数としての評価値が高ぐ主要情報がより多く含まれると推定 できる重要なウィンドウを優先させて、より高精度に合焦検出を行うことができる。
[0099] [第 5実施例の変形例]
本変形例も、領域抽出の処理の際に算出した付加情報を、合焦推定処理で合焦 位置を推定する際にも用いることを特徴とする。以下に説明する本変形例は、第 1実 施例に示した構成において、第 3実施例または第 4実施例のような合焦検出を実行 する際に、領域抽出時に取得した付加情報 (距離画像の情報や 2次微分の平均値な ど)を、合焦推定処理時に重み係数として用いる場合について説明する。
[0100] 本変形例では、領域抽出時の付加情報を取得するまでの工程は、上記第 4実施例 と同様の処理に行う。ただし、この際に、本実施例では、有効ウィンドウのアドレスの 他に、各ウィンドウの重み係数として領域抽出時に取得した付加情報を抽出情報記 憶部 48に記憶する。なお、付加情報を、ぼけ量としてもよい。
[0101] 次に、ステップ S40の合焦推定処理においては、評価値を取得し (ステップ S42)、 合焦位置推定を行う。この合焦推定の折に、領域抽出時に記録した付加情報を用い る。例えば、付加情報としての被写体距離 (距離画像の情報)を、評価値に対する重 み係数として用いる。即ち、予め定められた新評価値と評価値，重み係数の関係式 を用いて、新評価値を算出し、この新評価値を評価値の代わりに用いて、合焦推定 処理を行う。新評価値と評価値，重み係数の関係式としては、例えば、新評価値 = 評価値 ÷被写体距離などの式が考えられる。
[0102] このように新評価値を用いて合焦推定処理を行うことで、近点に存在する物体に合 焦させるなど、山登り法に測距情報を付加した合焦検出をおこなうことができる。
[0103] なお、除算処理は乗算処理に較べハードウェアの資源 (演算に要する処理時間や 回路規模）において劣ることが多いため、被写体距離の逆数がぼけ量に比例すると V、う特性より、被写体距離の代わりにぼけ量を利用する (新評価値 =評価値 Xぼけ 量)ことちでさる。
[0104] [第 6実施例]
本実施例は、図 1のようなコンパクトカメラ 10に適用したものであり、その構成は、上 記第 1実施例 (又はその変形例)或いは上記第 2実施例のそれと同様である。よって 、その説明は省略する。
[0105] 図 9及び図 10は、本実施例における処理の流れを示している。本実施例では、図 9 又は図 10の処理が行われる。図 9に従って処理する場合、図 10に従って処理する 場合、いずれの場合においても、本実施例では、上述した実施例におけるステップ S 30の探索領域の設定に続いて、ステップ S 130で有効ウィンドウの再設定を行う。そ して、ステップ S 130で再設定した有効ウィンドウに対して、ステップ S40の合焦推定 の処理を行う。上述した実施例では探索領域内から評価値を算出していた。これに 対して、本実施例では、ステップ S40の合焦推定の処理において、探索領域内すベ ての輝度信号力 評価値を算出するのではなく、ステップ S 130で再設定した有効ゥ インドウの輝度信号に限定して評価値を算出する。
[0106] 図 11 (A)〜図 11 (E)は、ステップ S 130で行う有効ウィンドウの再設定についての 説明図である。ステップ S 130の有効ウィンドウの再設定では、既に設定した探索領 域の中から有効ウィンドウを再度選択する。
[0107] 図 11 (A)〜図 11 (E)それぞれの図において、最外周の四角枠は画面全体を示し ており、その中の太枠は探索領域 a、破線は本実施例で設定されるウィンドウ分割状 況をそれぞれ示している。また、濃淡レベルは色が濃くなるにつれて注目すべき被写 体である事を表す。
[0108] 図 11 (A)に示した例では、ステップ S30で既に設定された探索領域 a内を、予め定 められたパターンで複数のウィンドウに分割する。そして、第 1実施例や第 2実施例で 有効ウィンドウを選択したときと同様の手法で、探索領域 a内の各ウィンドウでの被写 体距離，輝度値，空間周波数，又はエッジ強度，等に基づいて、探索領域 a内から有 効ウィンドウを選択する。第 1実施例や第 2実施例の手法とは別の手法で有効ウィン ドウを選択してもよい。例えば、探索領域 a内のウィンドウから、所定の形状等を有す る被写体が存在するウィンドウを公知のテンプレートマッチングなどの方法で検出し て、所定の形状を有する被写体が存在するウィンドウを有効ウィンドウとして選択する 。また、探索領域 a内のウィンドウから、所定の色を有する被写体が存在するウィンド ゥを検出して、所定の色を有する被写体が存在するウィンドウを有効ウィンドウとして 選択してちょい。
[0109] なお、図 11 (A)に示した例では、ステップ S30で既に設定された探索領域 a内を、 予め定められたパターンで複数のウィンドウに分割する際の分割パターンは、そのと きのレンズ位置や設定された撮影シーンなどに応じて予め決定する。これに対して、 次に説明する図 11 (B)〜図 11 (E)に示した例では、ステップ S30で既に設定された 探索領域 a内を、様々なパターンで複数のウィンドウに分割している。分割数，分割 幅，及び座標位置は個々に指定している。
[0110] 図 11 (B)に示した例では、合焦検出を高精度に行いたいときに、ステップ S30で既 に設定された探索領域 a内を、上述の実施例の領域抽出処理におけるウィンドウの 分割数と同じ数で分割することでウィンドウの細分ィ匕を行う。そして、上述の図 11 (A) の場合と同様に、探索領域 a内から有効ウィンドウを選択する。
[0111] 図 11 (C)に示した例では、合焦検出を効率よく短時間で行いたいときに、上述の 実施例の領域抽出処理におけるウィンドウと同座標のウィンドウから、再度、有効ウイ ンドウを選択する。
[0112] 図 11 (B)に示した有効ウィンドウの再設定の方法と、図 11 (C)に示した有効ウィン ドウの再設定の方法とを、選択的におこなうようにしてもよい。例えば、ユーザの直接 的な選択、又はユーザが選択した撮影モード (ホワイトバランスの条件設定、又は、ュ 一ザが撮りたい画像に応じた撮影条件の設定）に応じて、図 11 (B)に示した有効ウイ ンドウの再設定の方法と、図 11 (C)に示した有効ウィンドウの再設定の方法の何れ かを採用する。
[0113] 図 11 (D)、図 11 (E)は、上記領域抽出結果と高周波数成分又は距離情報以外の 情報とを用いて、有効ウィンドウの再設定を行う。例えば、人物が存在する画像領域 、または特定の形状や色の画像領域を抽出して、抽出された画像領域を囲うように有 効ウィンドウを設定する。これにより、探索領域 a内の被写体をより詳細に抽出し、高 精度の合焦検出を行うことができる。例えば、探索領域 a内から、所定の形状等を有 する被写体が存在する領域を公知のテンプレートマッチングなどの方法で検出して、 所定の形状を有する被写体が存在する領域を有効ウィンドウとして設定する。また、 探索領域 aから、所定の色を有する被写体が存在する領域を検出して、所定の色を 有する被写体が存在する領域を有効ウィンドウとして設定してもよい。
[0114] このように、本実施例では、探索領域内に新たに設定した有効ウィンドウに限定し て評価値を算出することにより、注目被写体以外の輝度信号から算出される評価値 の影響を受けることがなく評価値をより詳細に算出することができ、結果として合焦精 度を向上させることができる。また、ハードウェアのように資源が限られ、演算資源や 情報を記憶する領域が確保出来ない状況においても、この実施例を行うことで、ウイ ンドウの数や各パラメータの数を必要に応じて調整することができるので、少ないリソ ースで高機能化を図ることができる。
[0115] 以上実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定され るものではなぐ本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論で ある。
[0116] 例えば、上記第 1実施例では、フォーカスレンズの位置や絞りを駆動することで光 学系 12の配置を変更して 2つのぼけの異なる輝度信号を取得し、フォーカスレンズ の配置を調整して合焦画像を得る構成で説明したが、撮像素子 14に撮像素子制御 部が取り付けられている構成で、光軸方向に撮像素子 14を駆動することで撮像素子 14の配置を変更して、ぼけの異なる輝度信号を取得する構成であっても、上記実施 例と同様の効果が得られる。
[0117] また、各演算部や計算部を、 DSPや CPU等の一つのハードウェアによって構成し ても構わない。

Claims

請求の範囲
[1] 撮影光学系（12)を通過した光線を用いて合焦検出を行う合焦検出装置であって、 入射光を撮像素子（14)にて光電変換して得られる輝度信号を出力することで画像 の撮像を行う撮像手段（12, 14, 16)と、
複数回の撮像における各輝度信号に対する評価値を算出することで合焦検出を行 う合焦検出手段（20, 22)と、
を具備し、
上記合焦検出手段（20, 22)は、
上記輝度信号を基に求められる付加情報に基づいて合焦検出の対象となる探索 領域を設定する領域抽出手段 (20； 22)と、
複数回の撮像において上記探索領域における輝度信号から当該探索領域にお ける評価値を算出することで、上記探索領域における評価値を複数回の撮像に対し て取得し、複数回の撮像に対して取得した上記探索領域における評価値を用いて 合焦位置を推定する合焦推定手段 (22)と、
を含むことを特徴とする合焦検出装置。
[2] 上記領域抽出手段（20 ; 22)は、上記輝度信号を基に求められる付加情報に基づ いて、上記輝度信号中の予め複数に分割された領域力 合焦検出に有効な領域で ある有効ウィンドウを選択し、上記探索領域として上記有効ウィンドウの少なくとも一 部を包含する領域を設定することを特徴とする請求項 1に記載の合焦検出装置。
[3] 上記評価値及び上記付加情報には、上記領域毎の被写体距離を含み、
上記領域抽出手段 (20)は、上記領域毎の被写体距離に基づいて上記複数に分 割された領域から上記有効ウィンドウを選択し、
上記合焦推定手段（22)は、複数回の撮像に対して取得した上記探索領域におけ る被写体距離を用いて合焦検出を行うことを特徴とする請求項 2に記載の合焦検出 装置。
[4] 上記領域抽出手段（22)は、上記付加情報として上記評価値と共通の情報を用い ることを特徴とする請求項 1又は請求項 2に記載の合焦検出装置。
[5] 上記合焦推定手段 (22)は、上記領域抽出手段 (20 ; 22)で上記探索領域が設定 された後に、該設定された探索領域における評価値を、複数回の撮像を繰り返し行う ことで連続的に算出することによって、複数回の撮像に対する上記探索領域におけ る評価値を取得することを特徴とする請求項 1又は請求項 2に記載の合焦検出装置
[6] 上記合焦推定手段 (22)は、上記領域抽出手段 (20 ; 22)で上記探索領域が設定 された後に、該設定された探索領域における評価値を算出し、さらに、上記領域抽 出手段 (20； 22)で上記探索領域が再び設定された後に、該再び設定された探索領 域における評価値を算出することで、複数回の撮像に対する上記探索領域における 評価値を取得することを特徴とする請求項 1又は請求項 2に記載の合焦検出装置。
[7] 上記合焦推定手段 (22)は、上記領域抽出手段 (22)で算出する付加情報を上記 合焦推定時に用いることを特徴とする請求項 1又は請求項 2に記載の合焦検出装置
[8] 上記領域抽出手段 (20 ; 22)は、上記探索領域を設定した後に、当該探索領域内 に新たに有効ウィンドウを設定し、
上記合焦推定手段 (22)は、上記探索領域内の上記領域抽出手段 (20 ; 22)で新 たに設定された有効ウィンドウについての評価値を算出して、上記領域抽出手段 (2 0； 22)で新たに設定された有効ウィンドウにつ 、ての評価値を用いて合焦位置を推 定することを特徴とする請求項 1又は請求項 2に記載の合焦検出装置。
PCT/JP2007/050998 2006-01-30 2007-01-23 合焦検出装置 WO2007086378A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006021119A JP2007199633A (ja) 2006-01-30 2006-01-30 合焦検出装置
JP2006-021119 2006-01-30

Publications (1)

Publication Number Publication Date
WO2007086378A1 true WO2007086378A1 (ja) 2007-08-02

Family

ID=38309168

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/050998 WO2007086378A1 (ja) 2006-01-30 2007-01-23 合焦検出装置

Country Status (2)

Country Link
JP (1) JP2007199633A (ja)
WO (1) WO2007086378A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015194686A (ja) * 2014-03-19 2015-11-05 パナソニックＩｐマネジメント株式会社 撮像装置
US9274402B2 (en) 2013-03-26 2016-03-01 Panasonic Intellectual Property Management Co., Ltd. Imaging device that executes auto focus control by referring to distance image data regarding a depth of a region
CN110198395A (zh) * 2018-02-25 2019-09-03 奥宝科技股份有限公司 光学成像***中用于自动聚焦的范围区别器

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101415872B1 (ko) * 2007-09-14 2014-07-11 삼성전기주식회사 영상 획득 장치의 자동초점조절 방법 및 장치
JP5164626B2 (ja) * 2008-03-22 2013-03-21 三洋電機株式会社 電子カメラ
JP4990234B2 (ja) * 2008-07-07 2012-08-01 オリンパス株式会社 測距装置、測距方法、測距プログラム又は撮像装置
JP5374119B2 (ja) * 2008-11-13 2013-12-25 オリンパス株式会社 距離情報取得装置、撮像装置、及びプログラム
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
US8045046B1 (en) * 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
JP5665512B2 (ja) * 2010-12-10 2015-02-04 富士フイルム株式会社 撮像装置及び主要被写体検出方法
JP5932476B2 (ja) * 2012-05-17 2016-06-08 キヤノン株式会社 画像処理装置、撮像装置、距離計測方法および距離計測プログラム
US9354489B2 (en) * 2014-02-10 2016-05-31 Raytheon Company Robust autofocus algorithm for multi-spectral imaging systems
JP6362068B2 (ja) * 2014-02-17 2018-07-25 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP6300670B2 (ja) * 2014-07-09 2018-03-28 キヤノン株式会社 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
JP6482247B2 (ja) * 2014-11-14 2019-03-13 キヤノン株式会社 焦点調節装置、撮像装置、焦点調節装置の制御方法、及びプログラム
WO2016104839A1 (ko) * 2014-12-26 2016-06-30 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05199443A (ja) * 1992-01-21 1993-08-06 Konica Corp 電子カメラの合焦位置検出装置
JPH0698239A (ja) * 1992-09-10 1994-04-08 Canon Inc 自動焦点調節装置
JPH09281386A (ja) * 1996-04-15 1997-10-31 Eastman Kodak Japan Kk 画像の自動被写体検出方法
JP2002090616A (ja) * 2000-09-12 2002-03-27 Olympus Optical Co Ltd カメラの焦点検出装置
JP2004037733A (ja) * 2002-07-02 2004-02-05 Minolta Co Ltd オートフォーカス装置
JP2004361484A (ja) * 2003-06-02 2004-12-24 Nikon Corp オートフォーカスカメラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05199443A (ja) * 1992-01-21 1993-08-06 Konica Corp 電子カメラの合焦位置検出装置
JPH0698239A (ja) * 1992-09-10 1994-04-08 Canon Inc 自動焦点調節装置
JPH09281386A (ja) * 1996-04-15 1997-10-31 Eastman Kodak Japan Kk 画像の自動被写体検出方法
JP2002090616A (ja) * 2000-09-12 2002-03-27 Olympus Optical Co Ltd カメラの焦点検出装置
JP2004037733A (ja) * 2002-07-02 2004-02-05 Minolta Co Ltd オートフォーカス装置
JP2004361484A (ja) * 2003-06-02 2004-12-24 Nikon Corp オートフォーカスカメラ

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9274402B2 (en) 2013-03-26 2016-03-01 Panasonic Intellectual Property Management Co., Ltd. Imaging device that executes auto focus control by referring to distance image data regarding a depth of a region
JP2015194686A (ja) * 2014-03-19 2015-11-05 パナソニックＩｐマネジメント株式会社 撮像装置
US10250805B2 (en) 2014-03-19 2019-04-02 Panasonic Intellectual Property Management Co., Ltd. Imaging device for performing DFD processing at appropriate timing
CN110198395A (zh) * 2018-02-25 2019-09-03 奥宝科技股份有限公司 光学成像***中用于自动聚焦的范围区别器
EP3531688A3 (en) * 2018-02-25 2019-12-04 Orbotech Ltd. Range differentiators for auto-focusing in optical imaging systems
US11159712B2 (en) 2018-02-25 2021-10-26 Orbotech Ltd. Range differentiators for auto-focusing in optical imaging systems
TWI809043B (zh) * 2018-02-25 2023-07-21 以色列商奧寶科技有限公司 用於光學成像系統中之自動聚焦之範圍區別器

Also Published As

Publication number Publication date
JP2007199633A (ja) 2007-08-09

Similar Documents

Publication Publication Date Title
WO2007086378A1 (ja) 合焦検出装置
WO2007058100A1 (ja) 合焦検出装置
JP4665718B2 (ja) 撮影装置
US9076204B2 (en) Image capturing device, image capturing method, program, and integrated circuit
US8830363B2 (en) Method and apparatus for estimating point spread function
CN108337428B (zh) 图像稳定设备及其控制方法、摄像设备和存储介质
US8315512B2 (en) Method and apparatus for auto-focus control of digital camera
JP5374119B2 (ja) 距離情報取得装置、撮像装置、及びプログラム
US20060232700A1 (en) Autofocus device and method
JP2019092119A (ja) 撮像装置、レンズ装置およびこれらの制御方法
WO2016203692A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP4145308B2 (ja) 手ぶれ補正装置
US20070140677A1 (en) Automatic focusing methods and image capture devices utilizing the same
JP6838894B2 (ja) 焦点調節装置、その制御方法及びプログラム
KR101653272B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP2007024941A (ja) 焦点検出装置、焦点調節装置および撮像装置
JP2010154306A (ja) 撮像制御装置、撮像制御プログラム及び撮像制御方法
JP2009267523A (ja) 画像復元装置及び撮像装置
US10747089B2 (en) Imaging apparatus and control method of the same
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム
JP6584259B2 (ja) 像ブレ補正装置、撮像装置および制御方法
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP5355252B2 (ja) 撮像装置及びその制御方法
JP2002277730A (ja) 電子カメラの自動焦点制御方法、装置及びプログラム
JP7134712B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07713690

Country of ref document: EP

Kind code of ref document: A1