WO2014125682A1 - 撮像装置及び合焦制御方法 - Google Patents

撮像装置及び合焦制御方法 Download PDF

Info

Publication number
WO2014125682A1
WO2014125682A1 PCT/JP2013/079888 JP2013079888W WO2014125682A1 WO 2014125682 A1 WO2014125682 A1 WO 2014125682A1 JP 2013079888 W JP2013079888 W JP 2013079888W WO 2014125682 A1 WO2014125682 A1 WO 2014125682A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus
evaluation value
focus lens
sharpness
evaluation values
Prior art date
Application number
PCT/JP2013/079888
Other languages
English (en)
French (fr)
Inventor
仁史 桜武
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201380073094.9A priority Critical patent/CN105190392B/zh
Priority to JP2015500091A priority patent/JP5750558B2/ja
Publication of WO2014125682A1 publication Critical patent/WO2014125682A1/ja
Priority to US14/825,678 priority patent/US9703070B2/en
Priority to US15/614,216 priority patent/US10095004B2/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Definitions

  • the present invention relates to an imaging apparatus having an autofocus function.
  • an imaging device In recent years, with the increase in the resolution of solid-state imaging devices such as CCD (Charge Coupled Device) image sensors and CMOS (Complementary Metal Oxide Semiconductor) image sensors, mobile phones such as digital still cameras, digital video cameras, and smartphones, PDA (Personal Digital). Demand for information equipment having a photographing function such as an assistant (mobile information terminal) is rapidly increasing. Note that an information device having the above imaging function is referred to as an imaging device.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • These imaging apparatuses employ a contrast AF (Auto Focus) method or a phase difference AF method as a focusing control method for focusing on a main subject.
  • a contrast AF Auto Focus
  • a phase difference AF method as a focusing control method for focusing on a main subject.
  • the contrast AF method is a method of acquiring the captured image contrast obtained at each driving stage as an evaluation value while driving the focus lens along the optical axis direction, and setting the lens position having the highest evaluation value as the in-focus position.
  • the focus lens is a lens that adjusts the focal length of the photographing optical system by moving in the optical axis direction.
  • the lens unit composed of a plurality of lenses a lens that adjusts the focal position is shown.
  • the entire group is shown.
  • Patent Document 2 describes a method of obtaining a function of a curve passing through the above three points and calculating a lens position corresponding to the maximum point of the evaluation value curve from this function.
  • a spline function or a Bezier function is used as the function.
  • the vicinity of the maximum point of the evaluation value curve may be a steep mountain shape.
  • the frequency band of the image is closer to the high frequency side, so that the vicinity of the maximum point of the evaluation value curve becomes a steep mountain shape.
  • many recent imaging apparatuses are equipped with a wide-angle lens, and the vicinity of the maximum point of the evaluation value curve tends to be steep due to the influence of the wide-angle lens. In recent cameras, since the lens is bright, the vicinity of the maximum point of the evaluation value curve tends to be steep.
  • the method of obtaining the focus position using the slope of the straight line can obtain the focus position with a certain degree of accuracy regardless of the shape of the evaluation value curve.
  • the error tends to increase as the evaluation value sampling number is decreased in order to improve the AF speed.
  • the present invention has been made in view of the above circumstances, and provides an imaging apparatus and a focusing control method capable of performing AF with high accuracy regardless of the subject to be photographed while realizing high-speed AF. Objective.
  • the image pickup apparatus of the present invention includes a focus lens that can move in the optical axis direction, an image pickup device that picks up an image of a subject through the focus lens, and the image pickup device for each position of the focus lens while moving the focus lens.
  • An evaluation value calculation unit that calculates an evaluation value for focusing using a captured image signal obtained by imaging, and a sharp point near the maximum point of an evaluation value curve indicating a relationship between the evaluation value and the position of the focus lens
  • a degree of sharpness calculation unit that calculates the degree using information on the position of the focus lens corresponding to each of the at least three evaluation values calculated by the evaluation value calculation unit and the at least three evaluation values; , Information on the position of the focus lens corresponding to each of the at least three evaluation values and the at least three evaluation values is used.
  • At least one is selected according to the sharpness calculated by the sharpness calculation unit, and the selected calculation method allows the focus lens corresponding to the maximum point of the evaluation value curve to be selected.
  • a focus position calculation unit that calculates a position as a focus position
  • a focus control unit that performs focus control to move the focus lens to the focus position.
  • the first calculation method for calculating the in-focus position, the at least three evaluation values, and the position information of the focus lens corresponding to each of the at least three evaluation values And calculating a first-order function and using the first-order function to calculate the in-focus position.
  • the at least three evaluation values are calculated by the evaluation value calculation unit. And the evaluation value calculated for the position before and after the position of the focus lens corresponding to the evaluation value of the maximum value.
  • the focus control method of the present invention is a focus control method by an image pickup apparatus having an image pickup device that picks up an image of a subject through a focus lens that is movable in the optical axis direction, and the focus lens is moved while moving the focus lens.
  • an evaluation value calculating step for calculating an evaluation value for focusing using a captured image signal obtained by imaging with the image sensor, and an evaluation indicating a relationship between the evaluation value and the position of the focus lens Using the at least three evaluation values calculated by the evaluation value calculation step and the position information of the focus lens corresponding to each of the at least three evaluation values, the sharpness around the maximum point of the value curve is calculated.
  • the sharpness calculation step to be calculated, the at least three evaluation values, and the at least three evaluation values respectively.
  • At least one is selected according to the sharpness calculated in the sharpness calculation step, and the evaluation value curve is determined by the selected calculation method.
  • a focus position calculating step for calculating the position of the focus lens corresponding to the maximum point as a focus position; and a focus control step for performing focus control for moving the focus lens to the focus position.
  • the type of calculation method uses the information on the position of the focus lens corresponding to each of the at least three evaluation values and the at least three evaluation values to calculate a multi-order function indicating the evaluation value curve.
  • a second calculation method of calculating a first-order function using information on the position of the corresponding focus lens and calculating the in-focus position using the first-order function includes the maximum value among the evaluation values calculated in the evaluation value calculation step and the evaluation values calculated for the positions before and after the position of the focus lens corresponding to the evaluation value of the maximum value. It is a waste.
  • an imaging apparatus and a focus control method capable of performing AF with high accuracy regardless of the subject to be photographed while realizing high-speed AF.
  • FIG. 4 is a diagram for explaining the calculation error of the in-focus position by the first calculation method and the second calculation method when the AF evaluation value curve is as shown in FIG.
  • Flowchart for explaining the AF operation of the digital camera shown in FIG. The flowchart for demonstrating the modification of AF operation
  • movement of the digital camera shown in FIG. The figure explaining a smart phone as an imaging device Internal block diagram of the smartphone of FIG.
  • FIG. 1 is a diagram showing a schematic configuration of a digital camera as an example of an imaging apparatus for explaining an embodiment of the present invention.
  • the imaging system of the digital camera shown in FIG. 1 includes an imaging optical system (including a photographing lens 1 and a diaphragm 2) and a solid-state imaging device 5 such as a CCD type or a CMOS type.
  • An imaging optical system including the photographing lens 1 and the diaphragm 2 is detachable or fixed to the camera body.
  • the photographing lens 1 includes a focus lens that can move in the optical axis direction.
  • the solid-state imaging device 5 is not equipped with an optical low-pass filter, and thereby achieves high resolution.
  • the system control unit 11 that controls the entire electric control system of the digital camera controls the flash light emitting unit 12 and the light receiving unit 13. Further, the system control unit 11 controls the lens driving unit 8 to adjust the position of the focus lens included in the photographing lens 1. Further, the system control unit 11 adjusts the exposure amount by controlling the aperture amount of the aperture 2 via the aperture drive unit 9.
  • system control unit 11 drives the solid-state imaging device 5 via the imaging device driving unit 10 and outputs a subject image captured through the photographing lens 1 as a captured image signal.
  • An instruction signal from the user is input to the system control unit 11 through the operation unit 14.
  • the electric control system of the digital camera further includes an analog signal processing unit 6 that performs analog signal processing such as correlated double sampling processing connected to the output of the solid-state imaging device 5, and an analog output from the analog signal processing unit 6. And an A / D conversion circuit 7 for converting the signal into a digital signal.
  • the analog signal processing unit 6 and the A / D conversion circuit 7 are controlled by the system control unit 11.
  • the analog signal processing unit 6 and the A / D conversion circuit 7 may be built in the solid-state imaging device 5.
  • the electric control system of the digital camera includes an interpolation calculation and a gamma correction for the main memory 16, the memory control unit 15 connected to the main memory 16, and the captured image signal output from the A / D conversion circuit 7.
  • a digital signal processing unit 17 that performs calculation, RGB / YC conversion processing, and the like to generate captured image data, and the captured image data generated by the digital signal processing unit 17 is compressed into a JPEG format or the compressed image data is expanded.
  • FIG. 2 is a functional block diagram of the contrast AF processing unit 19 in the digital camera shown in FIG.
  • the contrast AF processing unit 19 includes an AF evaluation value calculation unit 191, a sharpness calculation unit 192, and an in-focus position calculation unit 193. These functional blocks are formed when a processor included in the system control unit 11 executes a program.
  • the sharpness calculation unit 192 calculates the maximum value among the AF evaluation values calculated by the AF evaluation value calculation unit 191 and the two calculated positions before and after the focus lens position corresponding to the AF evaluation value of the maximum value. Using at least three AF evaluation values including the AF evaluation value and information on the focus lens position corresponding to each of the at least three AF evaluation values, the focus lens position and the AF evaluation value for the subject being shot The sharpness in the vicinity of the maximum point (the point at which the evaluation value becomes maximum) of the evaluation value curve showing the relationship is calculated.
  • FIG. 3 and 4 are diagrams showing an example of the evaluation value curve.
  • the evaluation value curve 30 has a low sharpness near the maximum point.
  • the evaluation value curve 40 has a high sharpness near the maximum point.
  • FIG. 3 shows at least three AF evaluation values (y0, y1, y2) and focus lens position information (x0, x1, x2) corresponding to each of the at least three AF evaluation values.
  • the AF evaluation value y1 is the maximum value among the AF evaluation values calculated by the AF evaluation value calculation unit 191.
  • the sharpness calculation unit 192 calculates the sharpness S as an index indicating the sharpness near the maximum point of the evaluation value curve.
  • the sharpness calculation unit 192 uses, instead of the sharpness S, the following skewness skew representing the degree of bilateral asymmetry around the average value of the data distribution as an index indicating the sharpness near the maximum point of the evaluation value curve. calculate.
  • the in-focus position calculation unit 193 includes at least three AF evaluation values (y0, y1, y2) described above, and information (x0, x1, x2) on the focus lens position corresponding to each of the at least three AF evaluation values. Is selected according to the sharpness calculated by the sharpness calculation unit 192, and the selected calculation method allows the focus lens corresponding to the maximum point of the evaluation value curve to be selected. The position is calculated as the in-focus position.
  • the first calculation method uses (x0, y0), (x1, y1), (x2, y2) to calculate a quadratic function indicating an evaluation value curve passing through these three points, and the calculated quadratic function This is a method for calculating the in-focus position using.
  • the in-focus position calculation unit 193 sets up a parabolic simultaneous equation that passes through three points (x0, y0), (x1, y1), and (x2, y2), and shows this parabola by solving this equation.
  • the inflection point of the parabola (corresponding to the maximum point of the evaluation value curve) is calculated by differentiating the obtained quadratic function, and the in-focus position is calculated.
  • the second calculation method uses (x0, y0), (x1, y1), (x2, y2), and uses only a linear function passing through these two points and the sign of the slope of this linear function. This is a method of calculating the in-focus position using two calculated linear functions and calculating a linear function passing through the remaining one point.
  • the in-focus position calculation unit 193 first has a linear function indicating a straight line (reference numeral 31 in FIG. 3) passing through (x0, y0) and (x1, y1). Then, a linear function indicating a straight line (reference numeral 32 in FIG. 3) passing through (x1, y1) and (x2, y2) is calculated.
  • the in-focus position calculation unit 193 calculates the x coordinate (xg in FIG. 3) at the point where the straight line 31 and the straight line 33 intersect as the in-focus position using a linear function indicating the straight line 31 and the straight line 33. To do.
  • the first calculation method is advantageous for increasing the AF speed because the AF accuracy can be maintained even if the number of AF evaluation value samplings is reduced.
  • the error of the calculated focus position becomes large.
  • FIG. 5 shows the focus position x (1) calculated by the first calculation method and the focus position x (2) calculated by the second calculation method in the case of the evaluation value curve shown in FIG. FIG.
  • the in-focus position obtained by the second calculation method is closer to an accurate value.
  • the result shown in FIG. 5 is an example, and the calculation result of the in-focus position may be larger by the first calculation method and the second calculation method. Also, even with the difference of the degree shown in FIG. 5, since the focus shift affects the image quality, it is better to use the second calculation method.
  • the system control unit 11 moves the focus lens from the MOD end to the INF end. While the focus lens is moving, imaging is performed by the solid-state imaging device 5 every predetermined time, and a captured image signal obtained by this imaging is sent to the contrast AF processing unit 19.
  • step S3 if the sharpness exceeds the threshold value TH1 (step S3: YES), the in-focus position calculation unit 193 uses the pre-peak point data, the peak point data, and the peak post-point data to perform the second calculation method. To calculate the in-focus position (step S5).
  • the system control unit 11 When the in-focus position is calculated in steps S4 and S5, the system control unit 11 performs control to move the focus lens to the in-focus position in accordance with the calculated in-focus position information (step S6). The focus process ends.
  • the sharpness can be calculated, and the AF method can be improved by switching the calculation method by this sharpness. For this reason, there is no need to improve the AF accuracy by reducing the moving speed of the focus lens and increasing the number of AF evaluation value samplings. Therefore, the AF accuracy can be improved while increasing the AF speed.
  • the curve function used in the first calculation method is a quadratic function indicating a left-right symmetric parabola.
  • the evaluation value curve may not be symmetrical depending on the moving speed of the subject.
  • the in-focus position is calculated using not only a quadratic function but also a higher order function (for example, a spline curve function or a Bezier curve function) as a curve function. Is good.
  • step S3 when the determination in step S3 is YES, the in-focus position calculation unit 193 determines the amount of noise included in the AF evaluation value calculated in step S1 (step S10), and the noise amount is If the threshold value TH2 is exceeded, the process of step S4 is performed, and if the noise amount is less than TH2, the process of step S5 is performed.
  • the second calculation method having a relatively large error is employed in spite of the fact that the evaluation value curve becomes as shown in FIG. be able to.
  • the evaluation value curve When performing panning, if the moving speed of the subject (synonymous with the moving speed of the camera that follows this) is high, the evaluation value curve will not have a symmetrical shape. In this way, in a shooting situation where a left-right asymmetric evaluation value curve is obtained, a cubic or higher order such as a spline curve function or a Bezier curve function is used rather than calculating a focus position using a quadratic function or a linear function. The error is smaller when the in-focus position is calculated using the curve function.
  • step S2 the process after step S2 is performed.
  • step S10 may be added as in FIG.
  • the evaluation value curve may have a high sharpness as shown in FIG. 4 depending on the subject. For this reason, even when a solid-state image sensor equipped with an optical low-pass filter is used as the solid-state image sensor 5, it is effective to adopt the AF control described in the present embodiment.
  • FIG. 10 is a block diagram showing a configuration of the smartphone 200 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 210, a display input unit 204, a call unit 211, an operation unit 207, a camera unit 208, a storage unit 212, and an external input / output unit. 213, a GPS (Global Positioning System) receiving unit 214, a motion sensor unit 215, a power supply unit 216, and a main control unit 220.
  • a wireless communication function for performing mobile wireless communication via a base station device BS (not shown) and a mobile communication network NW (not shown) is provided.
  • the wireless communication unit 210 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 220. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display panel 202 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the display panel 202 and the operation panel 203 of the smartphone 200 exemplified as an embodiment of the photographing apparatus of the present invention integrally constitute a display input unit 204.
  • the arrangement 203 covers the display panel 202 completely.
  • the operation panel 203 may have a function of detecting a user operation even in an area outside the display panel 202.
  • the operation panel 203 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 202 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 202. May be included).
  • the operation panel 203 may include two sensitive areas of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 201 and the like.
  • the position detection method employed in the operation panel 203 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, and the like. You can also
  • the call unit 211 includes a speaker 205 and a microphone 206, converts user's voice input through the microphone 206 into voice data that can be processed by the main control unit 220, and outputs the voice data to the main control unit 220. 210 or the audio data received by the external input / output unit 213 is decoded and output from the speaker 205.
  • the speaker 205 can be mounted on the same surface as the display input unit 204 and the microphone 206 can be mounted on the side surface of the housing 201.
  • the operation unit 207 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 207 is mounted on the side surface of the housing 201 of the smartphone 200 and is turned on when pressed with a finger or the like, and turned off when the finger is released with a restoring force such as a spring. It is a push button type switch.
  • the storage unit 212 includes a control program and control data of the main control unit 220, application software, address data that associates the name and telephone number of a communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 212 includes an internal storage unit 217 built in the smartphone and an external storage unit 218 having a removable external memory slot.
  • Each of the internal storage unit 217 and the external storage unit 218 constituting the storage unit 212 includes a flash memory type (hard memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), This is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • a flash memory type hard memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • the external input / output unit 213 serves as an interface with all external devices connected to the smartphone 200, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE 1394, etc.
  • a network for example, the Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark) ZigBee) (registered trademark, etc.) for direct or indirect connection.
  • an external device connected to the smartphone 200 for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card (Memory card) connected via a card socket, or a SIM (Subscriber).
  • Identity Module Card / UIM (User Identity Module Card) card external audio / video equipment connected via audio / video I / O (Input / Output) terminal, external audio / video equipment connected wirelessly, yes / no
  • the external input / output unit 213 transmits data received from such an external device to each component inside the smartphone 200, or allows the data inside the smartphone 200 to be transmitted to the external device. Can do.
  • the GPS receiving unit 214 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 220, executes positioning calculation processing based on the received GPS signals, and calculates the latitude of the smartphone 200 Detect the position consisting of longitude and altitude.
  • the GPS reception unit 214 can acquire position information from the wireless communication unit 210 or the external input / output unit 213 (for example, a wireless LAN), the GPS reception unit 214 can also detect the position using the position information.
  • the motion sensor unit 215 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 200 in accordance with an instruction from the main control unit 220. By detecting the physical movement of the smartphone 200, the moving direction and acceleration of the smartphone 200 are detected. The detection result is output to the main control unit 220.
  • the power supply unit 216 supplies power stored in a battery (not shown) to each unit of the smartphone 200 in accordance with an instruction from the main control unit 220.
  • the main control unit 220 includes a microprocessor, operates according to a control program and control data stored in the storage unit 212, and controls each unit of the smartphone 200 in an integrated manner.
  • the main control unit 220 includes a mobile communication control function that controls each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 210.
  • the application processing function is realized by the main control unit 220 operating according to the application software stored in the storage unit 212.
  • Examples of the application processing function include an infrared communication function for controlling the external input / output unit 213 to perform data communication with the opposite device, an e-mail function for transmitting / receiving e-mails, and a web browsing function for browsing web pages. .
  • the main control unit 220 executes display control for the display panel 202 and operation detection control for detecting a user operation through the operation unit 207 and the operation panel 203.
  • the main control unit 220 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 202.
  • the camera unit 208 includes configurations other than the external memory control unit 20, the recording medium 21, the display control unit 22, the display unit 23, and the operation unit 14 in the digital camera shown in FIG.
  • the captured image data generated by the camera unit 208 can be recorded in the storage unit 212 or output through the input / output unit 213 or the wireless communication unit 210.
  • the camera unit 208 is mounted on the same surface as the display input unit 204, but the mounting position of the camera unit 208 is not limited to this, and the camera unit 208 may be mounted on the back surface of the display input unit 204. Good.
  • the camera unit 208 can be used for various functions of the smartphone 200.
  • an image acquired by the camera unit 208 can be displayed on the display panel 202, or the image of the camera unit 208 can be used as one of operation inputs of the operation panel 203.
  • the GPS receiving unit 214 detects a position
  • the position can be detected with reference to an image from the camera unit 208.
  • the optical axis direction of the camera unit 208 of the smartphone 200 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 208 can also be used in the application software.
  • the position information acquired by the GPS receiver 214 to the image data of the still image or the moving image, the voice information acquired by the microphone 206 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 215 can be added and recorded in the recording unit 212, or output through the input / output unit 213 and the wireless communication unit 210.
  • the camera unit 208 is provided with the contrast AF processing unit 19 of FIG.
  • the disclosed imaging device includes a focus lens that can move in an optical axis direction, an imaging device that captures an image of a subject through the focus lens, and the imaging device that moves the focus lens while moving the focus lens.
  • An evaluation value calculation unit that calculates an evaluation value for focusing using a captured image signal obtained by imaging, and a sharp point near the maximum point of an evaluation value curve indicating a relationship between the evaluation value and the position of the focus lens
  • a degree of sharpness calculation unit that calculates the degree using information on the position of the focus lens corresponding to each of the at least three evaluation values calculated by the evaluation value calculation unit and the at least three evaluation values; , Information on the position of the focus lens corresponding to each of the at least three evaluation values and the at least three evaluation values.
  • At least one is selected according to the sharpness calculated by the sharpness calculation unit, and the focus lens corresponding to the maximum point of the evaluation value curve is selected by the selected calculation method.
  • a focus position calculation unit that calculates a position as a focus position
  • a focus control unit that performs focus control to move the focus lens to the focus position.
  • a multi-order function indicating the evaluation value curve is calculated, and the multi-order function is used.
  • the at least three evaluation values are calculated by the evaluation value calculation unit.
  • the maximum value among the calculated evaluation values and the evaluation values calculated for the positions before and after the position of the focus lens corresponding to the maximum evaluation value are included.
  • the in-focus position calculation unit selects the second calculation method when the sharpness exceeds a threshold value, and the first calculation method when the sharpness is equal to or less than the threshold value. Is to select.
  • the focus position calculation unit when the focus position calculation unit performs panning, and the moving speed of the imaging device or the speed of a moving object included in the subject being shot exceeds a third threshold value Regardless of the sharpness, the at least three evaluation values, the position information of the focus lens corresponding to each of the at least three evaluation values, and a function of a third order or higher are used.
  • the focal position is calculated.
  • the disclosed imaging device includes the imaging device in which the optical low-pass filter is not mounted.
  • the disclosed focus control method is a focus control method by an imaging apparatus having an imaging element that images a subject through a focus lens that is movable in the optical axis direction, and the focus lens is moved while moving the focus lens.
  • an evaluation value calculation step for calculating an evaluation value for focusing using a captured image signal obtained by imaging with the image sensor, and an evaluation indicating a relationship between the evaluation value and the position of the focus lens Using the information on the position of the focus lens corresponding to each of the at least three evaluation values calculated by the evaluation value calculating step and the at least three evaluation values, the sharpness near the maximum point of the value curve is calculated.
  • a first calculation method for calculating the in-focus position using the plurality of functions, the at least three evaluation values, and the at least three evaluation values A second calculation method of calculating a first-order function using information on the position of the focus lens corresponding to each, and calculating the focus position using the first-order function.
  • the two evaluation values include the maximum value among the evaluation values calculated in the evaluation value calculation step and the evaluation values calculated for the positions before and after the position of the focus lens corresponding to the evaluation value of the maximum value. It is a waste.
  • the present invention is particularly convenient and effective when applied to a digital camera or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

 AF高速化を実現しながら、撮影する被写体に関わらずに精度良くAFを行うことのできる撮像装置を提供する。AF指示があると、フォーカスレンズを移動させながら撮影が行われ、コントラストAF処理部19によりフォーカスレンズ位置毎にAF評価値が算出される。コントラストAF処理部19は、算出したAF評価値のうちの最大値と、その最大値に対応するフォーカスレンズ位置の前後の位置で算出されたAF評価値との3つのAF評価値とこれらに対応するフォーカスレンズ位置の情報とから、評価値曲線の極大点付近の尖鋭度を算出し、尖鋭度に応じて複数種類の中から選択した演算方法により合焦位置の算出を行う。

Description

撮像装置及び合焦制御方法
 本発明は、オートフォーカス機能を有する撮像装置に関する。
 近年、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン等の携帯電話機、PDA(Personal Digital Assistant,携帯情報端末)等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。
 これら撮像装置では、主要な被写体に焦点を合わせる合焦制御方法として、コントラストAF(Auto Focus、自動合焦)方式や位相差AF方式が採用されている。
 コントラストAF方式は、フォーカスレンズを光軸方向に沿って駆動させつつ各駆動段階で得られる撮像画像コントラストを評価値として取得し、最も評価値の高いレンズ位置を合焦位置とする方式である。
 ここでいうフォーカスレンズとは、光軸方向に移動することで、撮影光学系の焦点距離を調節するレンズである。複数枚のレンズからなるレンズユニットの中で、焦点位置の調節をするレンズを示し、全群繰り出しのレンズの場合は、全群全体を示す。
 評価値が最大となるレンズ位置を求める方法としては様々なものがある。例えば、特許文献1には、横軸をレンズ位置とし、縦軸を評価値としたグラフにおける3点(取得した評価値のうちの最大値(最大評価値)をプロットした点P2、最大評価値の前に取得された評価値をプロットした点P1、最大評価値の後に取得された評価値をプロットした点P3)について、いわゆる3点内挿演算を行って評価値曲線の極大点に対応するレンズ位置(合焦位置)を算出する方法が記載されている。具体的には、合焦位置を、点P2と点P3とを通る傾きαの直線と、点P1を通る傾き-αの直線との交点から求めている。
 また、特許文献2には、上記の3点を通る曲線の関数を求め、この関数から、評価値曲線の極大点に対応するレンズ位置を算出する方法が記載されている。関数としては、スプライン関数やベジェ関数が用いられている。
日本国特開2005-345695号公報 日本国特開2004-279721号公報
 特許文献2に記載の方法は、実際の評価値曲線の極大点付近がなだらかな山形になっていれば、誤差の少ない合焦位置を求めることが可能である。また、評価値のサンプリング数が少なくても、合焦位置を精度良く算出可能なため、AF高速化に有利である。
 しかし、撮影する被写体によっては、評価値曲線の極大点付近が急峻な山形になることがある。例えば、葉を沢山持つ木を含むような風景シーンでは、画像の周波数帯域が高周波側に寄るため、評価値曲線の極大点付近が急峻な山形になる。特に、最近の撮像装置は広角レンズを搭載するものが多く、広角レンズの影響によって評価値曲線の極大点付近が急峻になりやすくなっている。また、近年のカメラではレンズが明るくなっているために、評価値曲線の極大点付近が急峻になりやすい傾向がある。
 このように、評価値曲線の極大点付近が急峻な山形になると、特許文献2に記載のように曲線の関数によって評価値曲線の極大点を推定する方法では、評価値曲線が想定する曲線形状とは大きく異なる場合がある。このため、求まる合焦位置の誤差が大きくなる。
 特許文献1に記載のように、直線の傾きを利用して合焦位置を求める方法は、評価値曲線がどのような形状であっても、合焦位置をある程度の精度で求めることができる。しかし、この方法は、AF速度を向上させるために評価値のサンプリング数を少なくするほど、誤差が大きくなる傾向がある。
 本発明は、上記事情に鑑みてなされたものであり、AF高速化を実現しながら、撮影する被写体に関わらずに精度良くAFを行うことのできる撮像装置及び合焦制御方法を提供することを目的とする。
 本発明の撮像装置は、光軸方向に移動可能なフォーカスレンズと、上記フォーカスレンズを通して被写体を撮像する撮像素子と、上記フォーカスレンズを移動させながら、上記フォーカスレンズの位置毎に、上記撮像素子により撮像して得られる撮像画像信号を利用して合焦のための評価値を算出する評価値算出部と、上記フォーカスレンズの位置に対する上記評価値の関係を示す評価値曲線の極大点付近の尖鋭度を、上記評価値算出部によって算出された少なくとも3つの上記評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を利用して算出する尖鋭度算出部と、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を用いた複数種類の演算方法の中から、少なくとも上記尖鋭度算出部によって算出された尖鋭度に応じて1つを選択し、選択した演算方法により、上記評価値曲線の極大点に対応するフォーカスレンズの位置を合焦位置として算出する合焦位置算出部と、上記合焦位置に上記フォーカスレンズを移動させる合焦制御を行う合焦制御部と、を備え、上記複数種類の演算方法は、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を用いて、上記評価値曲線を示す複数次の関数を算出し、上記複数次の関数を利用して上記合焦位置を算出する第一の演算方法と、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を用いて1次の関数を算出し、上記1次の関数を利用して上記合焦位置を算出する第二の演算方法とを含み、上記少なくとも3つの評価値は、上記評価値算出部により算出される上記評価値のうちの最大値と、上記最大値の評価値に対応するフォーカスレンズの位置の前後の位置について算出された評価値とを含むものである。
 本発明の合焦制御方法は、光軸方向に移動可能なフォーカスレンズを通して被写体を撮像する撮像素子を有する撮像装置による合焦制御方法であって、上記フォーカスレンズを移動させながら、上記フォーカスレンズの位置毎に、上記撮像素子により撮像して得られる撮像画像信号を利用して合焦のための評価値を算出する評価値算出ステップと、上記フォーカスレンズの位置に対する上記評価値の関係を示す評価値曲線の極大点付近の尖鋭度を、上記評価値算出ステップによって算出した少なくとも3つの上記評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を利用して算出する尖鋭度算出ステップと、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を用いた複数種類の演算方法の中から、少なくとも上記尖鋭度算出ステップで算出した尖鋭度に応じて1つを選択し、選択した演算方法により、上記評価値曲線の極大点に対応するフォーカスレンズの位置を合焦位置として算出する合焦位置算出ステップと、上記合焦位置に上記フォーカスレンズを移動させる合焦制御を行う合焦制御ステップと、を備え、上記複数種類の演算方法は、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を用いて、上記評価値曲線を示す複数次の関数を算出し、上記複数次の関数を利用して上記合焦位置を算出する第一の演算方法と、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を用いて1次の関数を算出し、上記1次の関数を利用して上記合焦位置を算出する第二の演算方法とを含み、上記少なくとも3つの評価値は、上記評価値算出ステップで算出される上記評価値のうちの最大値と、上記最大値の評価値に対応するフォーカスレンズの位置の前後の位置について算出された評価値とを含むものである。
 本発明によれば、AF高速化を実現しながら、撮影する被写体に関わらずに精度良くAFを行うことのできる撮像装置及び合焦制御方法を提供することができる。
本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図 図1に示すデジタルカメラにおけるコントラストAF処理部19の機能ブロック図 AF評価値曲線の一例を示す図 AF評価値曲線の一例を示す図 AF評価値曲線が図4に示すような場合の第一の演算方法と第二の演算方法による合焦位置の算出誤差を説明するための図 図1に示すデジタルカメラのAF動作を説明するためのフローチャート 図1に示すデジタルカメラのAF動作の変形例を説明するためのフローチャート 図1に示すデジタルカメラのAF動作の別の変形例を説明するためのフローチャート 撮像装置としてスマートフォンを説明する図 図9のスマートフォンの内部ブロック図
 以下、本発明の実施形態について図面を参照して説明する。
 図1は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。
 図1に示すデジタルカメラの撮像系は、撮像光学系(撮影レンズ1と絞り2とを含む)と、CCD型やCMOS型等の固体撮像素子5とを備えている。撮影レンズ1及び絞り2を含む撮像光学系は、カメラ本体に着脱可能又は固定となっている。撮影レンズ1は、光軸方向に移動可能なフォーカスレンズを含む。固体撮像素子5は、光学ローパスフィルタを非搭載のものであり、これにより、高い解像力を実現している。
 デジタルカメラの電気制御系全体を統括制御するシステム制御部11は、フラッシュ発光部12及び受光部13を制御する。また、システム制御部11は、レンズ駆動部8を制御して撮影レンズ1に含まれるフォーカスレンズの位置を調整する。更に、システム制御部11は、絞り駆動部9を介して絞り2の開口量を制御することにより、露光量の調整を行う。
 また、システム制御部11は、撮像素子駆動部10を介して固体撮像素子5を駆動し、撮影レンズ1を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部11には、操作部14を通してユーザからの指示信号が入力される。
 デジタルカメラの電気制御系は、更に、固体撮像素子5の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部6と、このアナログ信号処理部6から出力されるアナログ信号をデジタル信号に変換するA/D変換回路7とを備える。アナログ信号処理部6及びA/D変換回路7は、システム制御部11によって制御される。アナログ信号処理部6及びA/D変換回路7は固体撮像素子5に内蔵されることもある。
 更に、このデジタルカメラの電気制御系は、メインメモリ16と、メインメモリ16に接続されたメモリ制御部15と、A/D変換回路7から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びRGB/YC変換処理等を行って撮影画像データを生成するデジタル信号処理部17と、デジタル信号処理部17で生成された撮影画像データをJPEG形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部18と、コントラストAF処理部19と、着脱自在の記録媒体21が接続される外部メモリ制御部20と、カメラ背面等に搭載された表示部23が接続される表示制御部22と、を備えている。メモリ制御部15、デジタル信号処理部17、圧縮伸張処理部18、コントラストAF処理部19、外部メモリ制御部20、及び表示制御部22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
 図2は、図1に示すデジタルカメラにおけるコントラストAF処理部19の機能ブロック図である。
 コントラストAF処理部19は、AF評価値算出部191と、尖鋭度算出部192と、合焦位置算出部193と、を備える。これらの機能ブロックは、システム制御部11に含まれるプロセッサがプログラムを実行することによって形成される。
 AF評価値算出部191は、システム制御部11の制御によって撮影レンズ1のフォーカスレンズ位置を動かしながら、動かした位置(3つ以上の位置)毎に固体撮像素子5で撮像して得られる撮像画像信号を用いて、合焦を行うためのAF評価値を算出する。AF評価値は、例えば、固体撮像素子5の各画素(光電変換素子)における隣接画素との輝度の差を積算することで得る。あるいは、撮像素子からの画像出力の高周波成分を、高周波透過フィルタを用いて抽出し、これを積算して得ても良い。
 尖鋭度算出部192は、AF評価値算出部191によって算出されたAF評価値のうちの最大値と、この最大値のAF評価値に対応するフォーカスレンズ位置の前後の位置について算出された2つのAF評価値とを含む少なくとも3つのAF評価値と、この少なくとも3つのAF評価値の各々に対応するフォーカスレンズ位置の情報とを用いて、撮影中の被写体に対する、フォーカスレンズ位置とAF評価値との関係を示す評価値曲線の極大点(評価値が最大となる点)付近における尖鋭度を算出する。
 図3及び図4は、評価値曲線の一例を示す図である。合焦させたいエリア(AFエリア)における被写体が低周波成分優位になっている場合は、図3に示すように、極大点付近における尖鋭度が低い評価値曲線30となる。一方、AFエリアにおける被写体が高周波成分優位になっている場合は、図4に示すように、極大点付近における尖鋭度が高い評価値曲線40となる。
 このように、評価値曲線は、被写体によって、極大点付近における尖鋭度が変化する。尖鋭度算出部192は、このような被写体の違いによって変化する尖鋭度を算出する。
 以下、尖鋭度の算出方法について説明する。
 図3には、上述した少なくとも3つのAF評価値(y0,y1,y2)と、この少なくとも3つのAF評価値の各々に対応するフォーカスレンズ位置の情報(x0,x1,x2)とを示している。AF評価値y1が、AF評価値算出部191により算出されたAF評価値の中の最大値である。
 尖鋭度算出部192は、評価値曲線の極大点付近の尖鋭度を示す指標として、シャープネスSを算出する。
 3つのAF評価値(y0、y1、y2)と、そのときのフォーカスレンズ位置(x0、x1、x2)の関係が仮に2次関数で表されるとすると、その近似関数をy=c0+c1(x-x0)+c2(x-x0)(x-x1)・・(1)と仮にする。この式(1)における“c2”を、たとえば良く知られたニュートン補間の方法を用いて求める。
 式(1)にx=x0、y=y0を代入すると
 y0=c0・・・(2)
が得られる。
 式(1)にx=x1、y=y1を代入すると
 y1=c0+c1(x1-x0)・・・(3)
が得られる。
 式(3)から式(2)を減算すると、
y1-y0=c1(x1-x0)となり、この式から
c1=(y1-y0)/(x1-x0)となる。
 式(1)にx=x2、y=y2を代入すると
 y2=c0+c1(x2-x0)+c2(x2-x0)(x2-x1)・・・(4)
が得られる。
 式(4)から式(3)を減算すると、
 y2-y1=c1(x2-x1)+c2(x2-x0)(x2-x1)
={c1+c2(x2-x0)}(x2-x1)となり、
c2={(y2-y1)/(x2-x1)-c1}/(x2-x0)
となる。
 AF評価値の放物線は上に凸なので、上記c2は負になるが、説明を単純にするため、ここではc2の絶対値をとりシャープネスを判断する。
 c2の絶対値が大きい場合は、xの変化に対してyの変化がより大きい放物線になるので、AF評価値の近似曲線は急峻な放物線となる。
 AF評価値をサンプリングした点は3点だけなので、上記の方法で算出したc2の値が本来の尖鋭度から大きく異なる場合がある。近似の2次曲線からサンプリング点が外れるからである。
 例えば、3点のうちAF評価値が最大値をy1として、y1が本来の値より何らかの影響で大きい方向に外れている場合は、c2はy1に引かれる形で、本来のカーブから、尖鋭度が大きい方向に外れることがある。同様に、AF評価値のサンプリング点のうち、最大値以外の2点のx0、x2が大きくx軸方向にずれている場合は、見かけ上、c2の絶対値は小さくなってしまう。
 これを補正するために、正規化の係数として
{|x1-x0|×|x1-x2|}/y1
を用い、これをc2に乗算した値をシャープネスSとして評価すると良いことを発明者は見出した。
 ここで、AF評価値はx0、x1、x2の3点で取るとして、x0<x1<x2で、x1のときのAF評価値y1がy0、y1、y2のうち最大になるようにAF評価値を取得するものとする。
 すなわち、
S={|c2|×|x1-x0|×|x1-x2|}/y1 ・・・(5)
で尖鋭度を評価する。この指標を用いると、放物線の広がり具合を、AF評価値の大きさや、サンプリング点の間隔が違っても一つの変数だけで判定出来るようになり、より正確に尖鋭度を判定できる。
 又は、尖鋭度算出部192は、シャープネスSの代わりに、データの分布の平均値周辺での両側非対称度を表す以下に示す歪度skewを評価値曲線の極大点付近の尖鋭度を示す指標として算出する。
 歪度skewを算出する場合は、上述した少なくとも3つのAF評価値に加えて、少なくとも2つのAF評価値を用い、最大となるAF評価値に対応するフォーカスレンズ位置のx座標を0として扱う。これにより、以下の式(6)により、歪み度skewを得ることができる。
Figure JPOXMLDOC01-appb-M000001
 式(6)における“n”は、演算に用いるAF評価値の数であり、最低で5である。式(6)のXiはフォーカスレンズの位置を示す値であるが、X1からXnの中で、AF評価値が最大となるときのXiを0とする。また、式(6)のμはn個のAF評価値の平均値であり、δはn個のAF評価値の標準偏差である。
 合焦位置算出部193は、上述した少なくとも3つのAF評価値(y0,y1,y2)と、この少なくとも3つのAF評価値の各々に対応するフォーカスレンズ位置の情報(x0,x1,x2)とを用いた複数種類の演算方法の中から、尖鋭度算出部192によって算出された尖鋭度に応じて1つを選択し、選択した演算方法により、評価値曲線の極大点に対応するフォーカスレンズの位置を合焦位置として算出する。
 複数種類の演算方法は、第一の演算方法と第二の演算方法とを含む。
 第一の演算方法は、(x0,y0),(x1,y1),(x2,y2)を用いて、この3点を通る評価値曲線を示す2次関数を算出し、算出した2次関数を利用して合焦位置を算出する方法である。
 第一の演算方法で合焦位置を算出する場合、合焦位置算出部193は、想定される評価値曲線が左右対称の放物線(y=αx+βx+γ)であると仮定する。そして、合焦位置算出部193は、(x0,y0),(x1,y1),(x2,y2)の3点を通る放物線の連立方程式を立て、この方程式を解くことで、この放物線を示す2次関数の係数α,β,γを求める。そして、求めた2次関数を微分することで、放物線の変曲点(評価値曲線の極大点に相当)を算出し、合焦位置を算出する。
 第二の演算方法は、(x0,y0),(x1,y1),(x2,y2)を用いて、これらのうちの2点を通る1次関数と、この1次関数の傾きの符号だけを正負逆にしかつ残り1点を通る1次関数とを算出し、算出した2つの1次関数を利用して合焦位置を算出する方法である。
 第二の演算方法で合焦位置を算出する場合、合焦位置算出部193は、まず、(x0,y0),(x1,y1)を通る直線(図3における符号31)を示す1次関数と、(x1,y1),(x2,y2)を通る直線(図3における符号32)を示す1次関数を算出する。
 そして、合焦位置算出部193は、これら2つの1次関数の傾き(符号を除く絶対値)の大小を比較し、傾きが大きい方の1次関数(図3の例では直線31を示す1次関数)とは傾きの符号が正負逆であり、かつ、傾きが大きい方の直線を通る2点を除く残りの点(x2,y2)を通る直線(図3における符号33)を示す1次関数を算出する。
 最後に、合焦位置算出部193は、直線31と直線33を示す1次関数を利用して、直線31と直線33とが交わる点におけるx座標(図3におけるxg)を合焦位置として算出する。
 第一の演算方法は、AF評価値のサンプリング数を減らしてもAF精度を保つことができるためAF高速化に有利である。しかし、実際の評価値曲線が図4に示すように、その極大点付近の尖鋭度が高くなっていると、算出される合焦位置の誤差が大きくなる。
 一方、第二の演算方法は、評価値曲線が図4に示すようなものであった場合には、算出される合焦位置の誤差を、第一の演算方法を用いた場合より小さくすることができる。
 図5は、図4に示す評価値曲線である場合に、第一の演算方法で算出される合焦位置x(1)と、第二の演算方法で算出される合焦位置x(2)とを示す図である。図5に示すように、評価値曲線の尖鋭度が高い場合は、第二の演算方法によって求まる合焦位置の方が正確な値に近くなる。図5に示す結果は一例であり、第一の演算方法と第二の演算方法とで合焦位置の算出結果がもっと大きくなることもある。また、図5に示す程度の差でも、ピントのずれは画質に影響を与えるため、第二の演算方法を用いる方がよい。
 そこで、合焦位置算出部193は、尖鋭度算出部192によって算出された尖鋭度が予め決めた閾値TH1以下の場合には、第一の演算方法によって合焦位置を算出し、尖鋭度算出部192によって算出された尖鋭度が閾値TH1を超える場合には、誤差が相対的に少なくなる第二の演算方法によって合焦位置を算出する。つまり、合焦位置算出部193は、尖鋭度に応じて、相対的に誤差の少ない演算方法を選択し、選択した方法によって合焦位置を算出することで、AF精度の低下を防ぐ。
 次に、図1に示すデジタルカメラのAF動作を説明する。
 図6は、図1に示すデジタルカメラのAF動作を説明するためのフローチャートである。図6に示すフローは、シャッタボタンが半押しされる等して、AFを行う指示がシステム制御部11に入力されることで開始される。
 AFを行う指示があると、システム制御部11がフォーカスレンズをMOD端からINF端まで移動させる。フォーカスレンズが移動している間は、所定時間毎に固体撮像素子5により撮像が行われ、この撮像によって得られる撮像画像信号がコントラストAF処理部19に送られる。
 コントラストAF処理部19は、撮像画像信号を取得する毎に、取得した撮像画像信号からAF評価値を算出し、この撮像画像信号が得られたときのフォーカスレンズの位置の情報と、算出したAF評価値とを対応付けてメインメモリ16に記憶する(ステップS1)。
 尖鋭度算出部192は、メインメモリ16に記憶されていくAF評価値をモニタし、AF評価値が最大になったときの当該AF評価値とそれに対応するフォーカスレンズ位置の情報からなるピーク点データと、このフォーカスレンズ位置よりも前(MOD端側又はINF端側)の位置の情報とこれに対応するAF評価値とからなるピーク前点データと、このフォーカスレンズ位置よりも後(INF端側又はMOD端側)の位置の情報とこれに対応するAF評価値からなるピーク後点データとを、メインメモリ16から取得する。そして、尖鋭度算出部192は、取得したピーク前点データ、ピーク点データ、及びピーク後点データを用いて、評価値曲線の極大点付近における尖鋭度を算出する(ステップS2)。
 合焦位置算出部193は、ステップS2で算出された尖鋭度を閾値TH1と比較する(ステップS3)。尖鋭度が閾値TH1以下であれば(ステップS3:NO)、合焦位置算出部193は、ピーク前点データ、ピーク点データ、及びピーク後点データを用いて、第一の演算方法により合焦位置を算出する(ステップS4)。
 一方、尖鋭度が閾値TH1を超えていれば(ステップS3:YES)、合焦位置算出部193は、ピーク前点データ、ピーク点データ、及びピーク後点データを用いて、第二の演算方法により合焦位置を算出する(ステップS5)。
 ステップS4,S5において合焦位置が算出されると、システム制御部11が、算出された合焦位置の情報にしたがって、フォーカスレンズをその合焦位置に移動させる制御を行い(ステップS6)、オートフォーカス処理を終了する。
 以上のように、図1のデジタルカメラによれば、多数のフォーカスレンズ位置毎のAF評価値を求めることで得られる評価値曲線の極大点付近の尖鋭度を、少なくとも3つの点データによって推定し、この尖鋭度に応じて、誤差の少ない演算方法により合焦位置を算出するため、第一の演算方法のみ、又は、第二の演算方法のみによって合焦位置を算出する従来方式と比較して、AF精度を向上させることができる。
 また、図1のデジタルカメラによれば、少なくとも3つの点データがあれば、尖鋭度を算出することができ、この尖鋭度によって演算方法を切り替えてAF精度を向上させることができる。このため、フォーカスレンズの移動速度を遅くして、AF評価値のサンプリング数を増やしてAF精度を向上させる必要がない。したがって、AF速度を高速化しながら、AF精度を向上させることができる。
 なお、以上の説明では、第一の演算方法にて用いる曲線関数を、左右対称の放物線を示す2次関数としている。しかし、動く被写体に追従しながらこの被写体にピントを合わせて撮影を行う、いわゆる流し撮りを行う場合には、被写体の動く速度によって、評価値曲線が左右対称とはならないことがある。
 そこで、第一の演算方法を選択する場合は、曲線関数として2次関数だけでなく、それよりも高次の関数(例えばスプライン曲線関数、ベジェ曲線関数)を用いて合焦位置を算出するのがよい。
 3次以上の関数を用いる場合には、その次数に応じた数の点データをメインメモリ16から取得して、その関数を算出すればよい。また、第一の演算方法を選択する場合において、どの関数を用いるかは、動く被写体の速度を画像処理によって検出し、又は、デジタルカメラの動く速度をジャイロセンサ等の動き検出部によって検出し、検出した速度に応じて決めればよい。
 また、第一の演算方法を選択する場合に、曲線関数として2次関数を用いる場合には、ピーク前点データ、ピーク点データ、及びピーク後点データ以外の別の点データを利用し、ピーク前点データ、ピーク点データ、及びピーク後点データを通る放物線の位相をずらす処理を行ってから、合焦位置を算出して、合焦位置の演算誤差を減らすようにしてもよい。
 以下では、図1に示すデジタルカメラのAF動作の変形例を説明する。
 図7は、図1に示すデジタルカメラのAF動作の変形例を説明するためのフローチャートである。図7に示すフローチャートは、ステップS10を追加した点を除いては、図6に示したフローチャートと同じである。図7において図6に示した処理と同じものには同一符号を付して説明を省略する。
 尖鋭度算出部192は、少なくとも3つの点データから尖鋭度を推定するものである。このため、点データに含まれるAF評価値にノイズが多く乗ってしまっている場合には、算出される尖鋭度の信頼性は低下する。また、AF評価値にノイズが多く含まれていると、第一の演算方法よりも第二の演算方法の方が、誤差が大きくなる。
 例えば、撮影環境が暗い場所の場合は、ノイズの影響が大きくなる。ノイズ量の測定の仕方としては、例えば、ライブビュー画像の明るさの変動をノイズ量とする方法、ライブビュー画像から求めたAF評価値の変動をノイズ量とする方法、AF時の評価値を帯域の違う複数のフィルタを通してそれらの結果(評価値の形の違い)を比較して判定する方法等がある。
 そこで、この変形例では、ステップS3の判定がYESの場合に、合焦位置算出部193が、ステップS1において算出されたAF評価値に含まれるノイズ量を判定し(ステップS10)、ノイズ量が閾値TH2を超える場合にはステップS4の処理を行い、ノイズ量がTH2以下の場合にはステップS5の処理を行う。
 AF評価値に含まれるノイズ量は、被写体輝度が低く、撮像画像信号のアナログゲインが大きくなるような状況(高ISO感度設定時)において多くなる。また、手ブレが発生している状況でも、AF評価値に含まれるノイズ量は多くなる。
 合焦位置算出部193は、被写体輝度やISO感度の大きさや、手ブレ発生の有無によって、AF評価値に含まれるノイズ量が閾値TH2を超えるか否かを判定し、ノイズ量が閾値TH2を超えるときには、尖鋭度算出部192により算出される尖鋭度の信頼性が低いと判断して、サンプリング数が少なくても合焦位置を精度良く算出できかつノイズが多くても相対的に誤差の少ない第一の演算方法によって合焦位置を算出する。
 これにより、実際には、評価値曲線が図3に示すようになるのにも関わらず、誤差が相対的に大きい第二の演算方法が採用されてしまって、AF精度が低下するのを防ぐことができる。
 図8は、図1に示すデジタルカメラのAF動作の別の変形例を説明するためのフローチャートである。図8に示すフローチャートは、ステップS11、S12,S13を追加した点を除いては、図6に示したフローチャートと同じである。図8において図6に示した処理と同じものには同一符号を付して説明を省略する。
 流し撮りを行っている場合には、被写体の動く速度(これに追従するカメラの動く速度と同義)が大きいと、評価値曲線が左右対称の形状とはならない。このように、左右非対称の評価値曲線になるような撮影状況では、2次関数や1次関数を用いて合焦位置を算出するよりも、スプライン曲線関数やベジェ曲線関数等の3次以上の曲線関数を用いて合焦位置の算出を行う方が、誤差が少ない。
 このため、ステップS1の後、システム制御部11は、流し撮りが行われているか否かを判定する(ステップS11)。
 システム制御部11は、デジタルカメラに設けたジャイロセンサ等の動き検出部による検出情報を用いてカメラが動いていることを検知したり、ライブビュー画像を解析して撮影中の被写体に動体が含まれることを検知したり、これらを組み合わせたりすることで、流し撮りか否かを判定する。
 流し撮りが行われていない場合は、ステップS2以降の処理が行われる。
 一方、流し撮りが行われていた場合は、システム制御部11が、動き検出部によって検出されるカメラの移動速度、又は、ライブビュー画像の解析により検出される動体の移動速度を予め決めた閾値TH3と比較する(ステップS12)。
 カメラの移動速度又は動体の移動速度が閾値TH3以下の場合はステップS2以降の処理が行われ、カメラの移動速度又は動体の移動速度が閾値TH3を超える場合はステップS13の処理が行われる。
 ステップS13において、合焦位置算出部193は、ステップS1で算出された評価値とこれに対応するフォーカスレンズ位置の情報から、スプライン曲線関数やベジェ曲線関数等の3次以上の曲線関数を算出し、算出した関数を用いて合焦位置の算出を行う。ステップS13の後は、ステップS6の処理が行われる。
 以上のように、この変形例のデジタルカメラによれば、流し撮りが行われていて、更に、カメラ又は動体の移動速度が大きい状況、つまり、評価値曲線が左右非対称になるような状況においては、尖鋭度を算出することなく、3次以上の高次の曲線関数を用いて合焦位置を算出するため、AF処理を効率的かつ精度良く行うことができる。
 なお、図8において、ステップS2以降は、図7と同様にステップS10を追加したものにしてもよい。
 ここまでは、固体撮像素子5が光学ローバスフィルタを非搭載のものとして説明した。光学ローバスフィルタ非搭載の固体撮像素子は、光学ローバスフィルタを搭載する固体撮像素子と比べると解像力が高まるため、撮影画像における高周波成分が多くなる。このため、光学ローバスフィルタ非搭載の固体撮像素子は、図4に示したような先鋭度の高い評価値曲線となる傾向が強く、本実施形態で説明したAF制御を採用することが特に有効となる。
 光学ローバスフィルタを搭載する固体撮像素子であっても、被写体によっては、評価値曲線が図4に示したような先鋭度の高いものになることはある。このため、固体撮像素子5として、光学ローバスフィルタを搭載する固体撮像素子を用いる場合でも、本実施形態で説明したAF制御を採用することは有効である。
 次に、撮像装置としてスマートフォンの構成について説明する。
 図9は、本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。図9に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
 図10は、図9に示すスマートフォン200の構成を示すブロック図である。図9に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。また、スマートフォン200の主たる機能として、図示省略の基地局装置BSと図示省略の移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
 無線通信部210は、主制御部220の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
 表示入力部204は、主制御部220の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
 表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
 操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
 図9に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
 係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
 なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体201の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
 通話部211は、スピーカ205やマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。また、図9に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
 操作部207は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図9に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
 記憶部212は、主制御部220の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
 外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
 スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達することや、スマートフォン200の内部のデータが外部機器に伝送されるようにすることができる。
 GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン200の緯度、経度、高度からなる位置を検出する。GPS受信部214は、無線通信部210や外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
 モーションセンサ部215は、例えば、3軸の加速度センサなどを備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向や加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
 電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
 主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。また、主制御部220は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
 アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
 また、主制御部220は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
 更に、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
 また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
 更に、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
 また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
 カメラ部208は、図1に示したデジタルカメラにおける外部メモリ制御部20、記録媒体21、表示制御部22、表示部23、及び操作部14以外の構成を含む。カメラ部208によって生成された撮像画像データは、記憶部212に記録したり、入出力部213や無線通信部210を通じて出力したりすることができる。図8に示すにスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
 また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示することや、操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用することができる。また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。更には、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
 その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等などを付加して記録部212に記録したり、入出力部213や無線通信部210を通じて出力したりすることもできる。
 以上のような構成のスマートフォン200においても、カメラ部208に図1のコントラストAF処理部19を設けることで、高速・高精度のAFが可能になる。
 以上説明してきたように、本明細書には以下の事項が開示されている。
 開示された撮像装置は、光軸方向に移動可能なフォーカスレンズと、上記フォーカスレンズを通して被写体を撮像する撮像素子と、上記フォーカスレンズを移動させながら、上記フォーカスレンズの位置毎に、上記撮像素子により撮像して得られる撮像画像信号を利用して合焦のための評価値を算出する評価値算出部と、上記フォーカスレンズの位置に対する上記評価値の関係を示す評価値曲線の極大点付近の尖鋭度を、上記評価値算出部によって算出された少なくとも3つの上記評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を利用して算出する尖鋭度算出部と、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を用いた複数種類の演算方法の中から、少なくとも上記尖鋭度算出部によって算出された尖鋭度に応じて1つを選択し、選択した演算方法により、上記評価値曲線の極大点に対応するフォーカスレンズの位置を合焦位置として算出する合焦位置算出部と、上記合焦位置に上記フォーカスレンズを移動させる合焦制御を行う合焦制御部と、を備え、上記複数種類の演算方法は、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を用いて、上記評価値曲線を示す複数次の関数を算出し、上記複数次の関数を利用して上記合焦位置を算出する第一の演算方法と、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を用いて1次の関数を算出し、上記1次の関数を利用して上記合焦位置を算出する第二の演算方法とを含み、上記少なくとも3つの評価値は、上記評価値算出部により算出される上記評価値のうちの最大値と、上記最大値の評価値に対応するフォーカスレンズの位置の前後の位置について算出された評価値とを含むものである。
 開示された撮像装置は、上記合焦位置算出部が、上記尖鋭度と、上記評価値に含まれるノイズ量とに応じて、上記複数種類の演算方法から1つを選択するものである。
 開示された撮像装置は、上記合焦位置算出部が、上記尖鋭度が第一の閾値を超えかつ上記ノイズ量が第二の閾値以下の場合に上記第二の演算方法を選択し、上記尖鋭度が上記第一の閾値を超えかつ上記ノイズ量が上記第二の閾値を超える場合、及び、上記尖鋭度が上記第一の閾値以下の場合に上記第一の演算方法を選択するものである。
 開示された撮像装置は、上記合焦位置算出部が、上記尖鋭度が閾値を超える場合に上記第二の演算方法を選択し、上記尖鋭度が上記閾値以下の場合に上記第一の演算方法を選択するものである。
 開示された撮像装置は、上記合焦位置算出部が、流し撮りが行われており、かつ、上記撮像装置の移動速度又は撮影中の被写体に含まれる動体の速度が第三の閾値を超える場合は、上記尖鋭度に関わらず、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報と、3次以上の関数とを利用して上記合焦位置を算出するものである。
 開示された撮像装置は、上記撮像素子が、光学ローパスフィルタ非搭載のものであるものを含む。
 開示された合焦制御方法は、光軸方向に移動可能なフォーカスレンズを通して被写体を撮像する撮像素子を有する撮像装置による合焦制御方法であって、上記フォーカスレンズを移動させながら、上記フォーカスレンズの位置毎に、上記撮像素子により撮像して得られる撮像画像信号を利用して合焦のための評価値を算出する評価値算出ステップと、上記フォーカスレンズの位置に対する上記評価値の関係を示す評価値曲線の極大点付近の尖鋭度を、上記評価値算出ステップによって算出した少なくとも3つの上記評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を利用して算出する尖鋭度算出ステップと、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を用いた複数種類の演算方法の中から、少なくとも上記尖鋭度算出ステップで算出した尖鋭度に応じて1つを選択し、選択した演算方法により、上記評価値曲線の極大点に対応するフォーカスレンズの位置を合焦位置として算出する合焦位置算出ステップと、上記合焦位置に上記フォーカスレンズを移動させる合焦制御を行う合焦制御ステップと、を備え、上記複数種類の演算方法は、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を用いて、上記評価値曲線を示す複数次の関数を算出し、上記複数次の関数を利用して上記合焦位置を算出する第一の演算方法と、上記少なくとも3つの評価値、及び、上記少なくとも3つの評価値の各々に対応する上記フォーカスレンズの位置の情報を用いて1次の関数を算出し、上記1次の関数を利用して上記合焦位置を算出する第二の演算方法とを含み、上記少なくとも3つの評価値は、上記評価値算出ステップで算出される上記評価値のうちの最大値と、上記最大値の評価値に対応するフォーカスレンズの位置の前後の位置について算出された評価値とを含むものである。
 本発明は、特にデジタルカメラ等に適用して利便性が高く、有効である。
 以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
 本出願は、2013年2月14日出願の日本特許出願(特願2013-26862)に基づくものであり、その内容はここに取り込まれる。
1 撮影レンズ(フォーカスレンズ含む)
5 固体撮像素子
19 コントラストAF処理部
191 AF評価値算出部
192 尖鋭度算出部
193 合焦位置算出部

Claims (7)

  1.  光軸方向に移動可能なフォーカスレンズと、
     前記フォーカスレンズを通して被写体を撮像する撮像素子と、
     前記フォーカスレンズを移動させながら、前記フォーカスレンズの位置毎に、前記撮像素子により撮像して得られる撮像画像信号を利用して合焦のための評価値を算出する評価値算出部と、
     前記フォーカスレンズの位置に対する前記評価値の関係を示す評価値曲線の極大点付近の尖鋭度を、前記評価値算出部によって算出された少なくとも3つの前記評価値、及び、前記少なくとも3つの評価値の各々に対応する前記フォーカスレンズの位置の情報を利用して算出する尖鋭度算出部と、
     前記少なくとも3つの評価値、及び、前記少なくとも3つの評価値の各々に対応する前記フォーカスレンズの位置の情報を用いた複数種類の演算方法の中から、少なくとも前記尖鋭度算出部によって算出された尖鋭度に応じて1つを選択し、選択した演算方法により、前記評価値曲線の極大点に対応するフォーカスレンズの位置を合焦位置として算出する合焦位置算出部と、
     前記合焦位置に前記フォーカスレンズを移動させる合焦制御を行う合焦制御部と、を備え、
     前記複数種類の演算方法は、前記少なくとも3つの評価値、及び、前記少なくとも3つの評価値の各々に対応する前記フォーカスレンズの位置の情報を用いて、前記評価値曲線を示す複数次の関数を算出し、前記複数次の関数を利用して前記合焦位置を算出する第一の演算方法と、前記少なくとも3つの評価値、及び、前記少なくとも3つの評価値の各々に対応する前記フォーカスレンズの位置の情報を用いて1次の関数を算出し、前記1次の関数を利用して前記合焦位置を算出する第二の演算方法とを含み、
     前記少なくとも3つの評価値は、前記評価値算出部により算出される前記評価値のうちの最大値と、前記最大値の評価値に対応するフォーカスレンズの位置の前後の位置について算出された評価値とを含む撮像装置。
  2.  請求項1記載の撮像装置であって、
     前記合焦位置算出部は、前記尖鋭度と、前記評価値に含まれるノイズ量とに応じて、前記複数種類の演算方法から1つを選択する撮像装置。
  3.  請求項2記載の撮像装置であって、
     前記合焦位置算出部は、前記尖鋭度が第一の閾値を超えかつ前記ノイズ量が第二の閾値以下の場合に前記第二の演算方法を選択し、前記尖鋭度が前記第一の閾値を超えかつ前記ノイズ量が前記第二の閾値を超える場合、及び、前記尖鋭度が前記第一の閾値以下の場合に前記第一の演算方法を選択する撮像装置。
  4.  請求項1記載の撮像装置であって、
     前記合焦位置算出部は、前記尖鋭度が閾値を超える場合に前記第二の演算方法を選択し、前記尖鋭度が前記閾値以下の場合に前記第一の演算方法を選択する撮像装置。
  5.  請求項1乃至4のいずれか1項記載の撮像装置であって、
     前記合焦位置算出部は、流し撮りが行われており、かつ、前記撮像装置の移動速度又は撮影中の被写体に含まれる動体の速度が第三の閾値を超える場合は、前記尖鋭度に関わらず、前記少なくとも3つの評価値、及び、前記少なくとも3つの評価値の各々に対応する前記フォーカスレンズの位置の情報と、3次以上の関数とを利用して前記合焦位置を算出する撮像装置。
  6.  請求項1乃至5のいずれか1項記載の撮像装置であって、
     前記撮像素子は、光学ローパスフィルタ非搭載のものである撮像装置。
  7.  光軸方向に移動可能なフォーカスレンズを通して被写体を撮像する撮像素子を有する撮像装置による合焦制御方法であって、
     前記フォーカスレンズを移動させながら、前記フォーカスレンズの位置毎に、前記撮像素子により撮像して得られる撮像画像信号を利用して合焦のための評価値を算出する評価値算出ステップと、
     前記フォーカスレンズの位置に対する前記評価値の関係を示す評価値曲線の極大点付近の尖鋭度を、前記評価値算出ステップによって算出した少なくとも3つの前記評価値、及び、前記少なくとも3つの評価値の各々に対応する前記フォーカスレンズの位置の情報を利用して算出する尖鋭度算出ステップと、
     前記少なくとも3つの評価値、及び、前記少なくとも3つの評価値の各々に対応する前記フォーカスレンズの位置の情報を用いた複数種類の演算方法の中から、少なくとも前記尖鋭度算出ステップで算出した尖鋭度に応じて1つを選択し、選択した演算方法により、前記評価値曲線の極大点に対応するフォーカスレンズの位置を合焦位置として算出する合焦位置算出ステップと、
     前記合焦位置に前記フォーカスレンズを移動させる合焦制御を行う合焦制御ステップと、を備え、
     前記複数種類の演算方法は、前記少なくとも3つの評価値、及び、前記少なくとも3つの評価値の各々に対応する前記フォーカスレンズの位置の情報を用いて、前記評価値曲線を示す複数次の関数を算出し、前記複数次の関数を利用して前記合焦位置を算出する第一の演算方法と、前記少なくとも3つの評価値、及び、前記少なくとも3つの評価値の各々に対応する前記フォーカスレンズの位置の情報を用いて1次の関数を算出し、前記1次の関数を利用して前記合焦位置を算出する第二の演算方法とを含み、
     前記少なくとも3つの評価値は、前記評価値算出ステップで算出される前記評価値のうちの最大値と、前記最大値の評価値に対応するフォーカスレンズの位置の前後の位置について算出された評価値とを含む合焦制御方法。
PCT/JP2013/079888 2013-02-14 2013-11-05 撮像装置及び合焦制御方法 WO2014125682A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380073094.9A CN105190392B (zh) 2013-02-14 2013-11-05 摄像装置和对焦控制方法
JP2015500091A JP5750558B2 (ja) 2013-02-14 2013-11-05 撮像装置及び合焦制御方法
US14/825,678 US9703070B2 (en) 2013-02-14 2015-08-13 Imaging apparatus and focusing control method
US15/614,216 US10095004B2 (en) 2013-02-14 2017-06-05 Imaging apparatus and focusing control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-026862 2013-02-14
JP2013026862 2013-02-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/825,678 Continuation US9703070B2 (en) 2013-02-14 2015-08-13 Imaging apparatus and focusing control method

Publications (1)

Publication Number Publication Date
WO2014125682A1 true WO2014125682A1 (ja) 2014-08-21

Family

ID=51353701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/079888 WO2014125682A1 (ja) 2013-02-14 2013-11-05 撮像装置及び合焦制御方法

Country Status (4)

Country Link
US (2) US9703070B2 (ja)
JP (1) JP5750558B2 (ja)
CN (1) CN105190392B (ja)
WO (1) WO2014125682A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139564A (zh) * 2015-09-30 2018-06-08 富士胶片株式会社 对焦控制装置、摄像装置、对焦控制方法及对焦控制程序

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6799924B2 (ja) * 2016-02-16 2020-12-16 株式会社Screenホールディングス 細胞観察装置および細胞観察方法
JP6602954B2 (ja) 2016-03-18 2019-11-06 富士フイルム株式会社 合焦位置検出装置及び合焦位置検出方法
CN106101565B (zh) * 2016-08-22 2020-04-10 浙江宇视科技有限公司 一种电动镜头聚焦方法及装置
CN106501917B (zh) * 2016-12-07 2019-12-27 歌尔科技有限公司 一种镜头辅助调焦方法和装置
CN108345085A (zh) * 2017-01-25 2018-07-31 广州康昕瑞基因健康科技有限公司 聚焦方法和聚焦***
CN113888761A (zh) * 2017-05-19 2022-01-04 谷歌有限责任公司 使用环境传感器数据的高效的图像分析
CN109584198B (zh) * 2017-09-26 2022-12-23 浙江宇视科技有限公司 一种人脸图像质量评价方法、装置及计算机可读存储介质
JP2020020991A (ja) * 2018-08-02 2020-02-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、方法およびプログラム
KR102667875B1 (ko) * 2018-10-29 2024-05-22 한화비전 주식회사 오토 포커스를 수행하는 이미지 촬영 장치
CN109480766A (zh) * 2018-11-14 2019-03-19 深圳盛达同泽科技有限公司 视网膜自动对焦方法、装置、***及眼底相机
CN113703321B (zh) * 2021-08-27 2024-05-14 西安应用光学研究所 用于车载光电伺服控制***的贝塞尔曲线缓动处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005345695A (ja) * 2004-06-02 2005-12-15 Nikon Corp カメラ
JP2009027212A (ja) * 2007-06-20 2009-02-05 Ricoh Co Ltd 撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3103587B2 (ja) * 1990-04-25 2000-10-30 オリンパス光学工業株式会社 自動合焦装置
JP4265233B2 (ja) * 2003-02-13 2009-05-20 株式会社ニコン カメラ
JP2004279721A (ja) * 2003-03-14 2004-10-07 Ricoh Co Ltd 自動合焦装置
US7880800B2 (en) * 2004-12-08 2011-02-01 Fujifilm Corporation Auto focus system that controls focusing speeds and movements based on image conditions
JP4769616B2 (ja) * 2006-03-27 2011-09-07 富士フイルム株式会社 駆動制御装置
JP4678603B2 (ja) * 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
EP2007135B1 (en) 2007-06-20 2012-05-23 Ricoh Company, Ltd. Imaging apparatus
JP4518131B2 (ja) * 2007-10-05 2010-08-04 富士フイルム株式会社 撮像方法及び装置
TWI374664B (en) * 2007-12-05 2012-10-11 Quanta Comp Inc Focusing apparatus and method
JP5328526B2 (ja) * 2009-07-03 2013-10-30 キヤノン株式会社 撮像装置
KR101593995B1 (ko) * 2009-09-22 2016-02-15 삼성전자주식회사 자동 초점 조절 방법, 상기 방법을 기록한 기록 매체, 및 상기 방법을 실행하는 자동 초점 조절 장치
JP5445150B2 (ja) * 2010-01-12 2014-03-19 株式会社リコー 自動合焦制御装置、電子撮像装置及びデジタルスチルカメラ
US8643730B2 (en) * 2010-12-20 2014-02-04 Samsung Electronics Co., Ltd Imaging device and image capturing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005345695A (ja) * 2004-06-02 2005-12-15 Nikon Corp カメラ
JP2009027212A (ja) * 2007-06-20 2009-02-05 Ricoh Co Ltd 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139564A (zh) * 2015-09-30 2018-06-08 富士胶片株式会社 对焦控制装置、摄像装置、对焦控制方法及对焦控制程序
US10795118B2 (en) 2015-09-30 2020-10-06 Fujifilm Corporation Focusing control device, imaging device, focusing control method, and focusing control program

Also Published As

Publication number Publication date
US20150346585A1 (en) 2015-12-03
CN105190392A (zh) 2015-12-23
US10095004B2 (en) 2018-10-09
JPWO2014125682A1 (ja) 2017-02-02
CN105190392B (zh) 2018-02-13
US20170269326A1 (en) 2017-09-21
JP5750558B2 (ja) 2015-07-22
US9703070B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
JP5750558B2 (ja) 撮像装置及び合焦制御方法
US9235916B2 (en) Image processing device, imaging device, computer-readable storage medium, and image processing method
JP5657182B2 (ja) 撮像装置及び信号補正方法
US20170004603A1 (en) Image processing device, imaging device, image processing method, and image processing program
JP6186521B2 (ja) 合焦制御装置、撮像装置、合焦制御方法、及び合焦制御プログラム
JP5982601B2 (ja) 撮像装置及び合焦制御方法
US9826150B2 (en) Signal processing device, imaging apparatus, parameter generating method, signal processing method, and program
JP6307526B2 (ja) 撮像装置及び合焦制御方法
JP6028112B2 (ja) 撮像装置及び合焦制御方法
JP5677625B2 (ja) 信号処理装置、撮像装置、信号補正方法
JPWO2016080538A1 (ja) 撮像装置及び撮像方法
JP6255540B2 (ja) 合焦制御装置、撮像装置、合焦制御方法、及び合焦制御プログラム
JP5982600B2 (ja) 撮像装置及び合焦制御方法
JP5990665B2 (ja) 撮像装置及び合焦制御方法
JP6171105B2 (ja) 撮像装置及び合焦制御方法
JP5789725B2 (ja) 撮像装置及びその合焦方法と合焦制御プログラム
CN113454706B (zh) 显示控制装置、摄像装置、显示控制方法
WO2017057072A1 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
WO2014073441A1 (ja) 撮像装置およびその動作制御方法
WO2020158200A1 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
WO2013145887A1 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380073094.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13875041

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015500091

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13875041

Country of ref document: EP

Kind code of ref document: A1