WO2011099626A1 - 焦点調節装置、及び焦点調節プログラム - Google Patents

焦点調節装置、及び焦点調節プログラム Download PDF

Info

Publication number
WO2011099626A1
WO2011099626A1 PCT/JP2011/053156 JP2011053156W WO2011099626A1 WO 2011099626 A1 WO2011099626 A1 WO 2011099626A1 JP 2011053156 W JP2011053156 W JP 2011053156W WO 2011099626 A1 WO2011099626 A1 WO 2011099626A1
Authority
WO
WIPO (PCT)
Prior art keywords
edge
detection unit
focus
image
color component
Prior art date
Application number
PCT/JP2011/053156
Other languages
English (en)
French (fr)
Inventor
鉾井　逸人
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to US13/578,927 priority Critical patent/US9066001B2/en
Priority to CN201180015740.7A priority patent/CN102844705B/zh
Publication of WO2011099626A1 publication Critical patent/WO2011099626A1/ja
Priority to US14/727,572 priority patent/US9883095B2/en
Priority to US15/848,893 priority patent/US20180115698A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing

Definitions

  • the present invention relates to a focus adjustment device that adjusts a focus by applying chromatic aberration, and a focus adjustment program.
  • Patent Document 1 A video camera that applies chromatic aberration when focusing on a subject image obtained through a lens is known (see Patent Document 1).
  • the video camera disclosed in Patent Document 1 can quickly focus on a subject image that has been focused once, but can quickly focus on a subject image that has never been focused. I could not. That is, the video camera disclosed in Patent Document 1 has a problem that it cannot quickly focus on the subject image.
  • the focus adjustment apparatus includes an edge detection unit that detects an edge of the subject image for each color component constituting the image including the subject image; and based on the edge detected by the edge detection unit.
  • a distribution detection unit that detects a distribution of the in-focus state and the out-of-focus state of the image; and a control unit that moves the lens based on the distribution detected by the distribution detection unit.
  • the subject image is incident from an optical system having the lens. Further, as a result of the control unit moving the lens, the subject image is focused.
  • the focus adjustment apparatus may be configured as follows: the distribution detection unit detects the distribution based on a gradient of the color component amount of the edge detected by the edge detection unit.
  • the focus adjustment device may be configured as follows: the distribution detection unit is configured to be nearer to the subject based on a ratio or difference between the color component amounts of the edges detected by the edge detection unit. And a defocus amount indicating a direction index indicating which of the two points is in focus.
  • the focus adjustment apparatus may be configured as follows: the distribution detection unit is configured to perform the defocusing based on a peak-to-peak distance of a color component amount ratio or a difference detected by the edge detection unit. Detect the amount.
  • the focus adjustment apparatus may be configured as follows: the distribution detection unit is configured to detect the near point side and the far side of the subject based on a line spread function corresponding to the edge detected by the edge detection unit. A direction index indicating which point is in focus and a defocus amount are detected.
  • the focus adjustment apparatus may be configured as follows: the distribution detection unit is configured to perform the defocusing based on a standard deviation or a half value width of a line spread function corresponding to the edge detected by the edge detection unit. Detect the amount.
  • the focus adjustment apparatus may be configured as follows: the distribution detection unit selects, from the edges detected by the edge detection unit, an upper edge in descending order of color component amount, and selects the selected edge Based on the edge, the distribution of the focused state and the out-of-focus state of the image is detected.
  • the focus adjustment apparatus may be configured as follows: the distribution detection unit selects, from the edges detected by the edge detection unit, a higher-order edge in descending order of contrast of the color component; Based on the selected edge, the distribution of the in-focus state and the out-of-focus state of the image is detected.
  • the focus adjustment apparatus may be configured as follows: the distribution detection unit includes a mixture of edges having the same contrast of the color components and edges having different signal-to-noise ratios of the color components.
  • the upper edge is selected in descending order of the signal-to-noise ratio of the color component, and the distribution of the in-focus state and the out-of-focus state of the image is detected based on the selected edge.
  • the focus adjustment apparatus may be configured as follows: the distribution detection unit has a relatively low signal-to-noise ratio when edges having different signal-to-noise ratios of the color components are mixed. And selecting at least one of an edge having a relatively high contrast and an edge having a relatively high signal-to-noise ratio and a relatively low contrast, and based on the selected edge, The distribution of the in-focus state and the out-of-focus state is detected.
  • the focus adjustment apparatus may be configured as follows: the distribution detection unit includes edges in which two or more primary colors are included and the color components change in phase among the edges detected by the edge detection unit And the distribution of the in-focus state and the out-of-focus state of the image is detected based on the selected edge.
  • the focus adjustment apparatus may be configured as follows: the distribution detection unit selects an edge including a green component when the edge includes two primary colors.
  • the focus adjustment apparatus may be configured as follows: the distribution detection unit detects an edge whose color component is flat more than a predetermined width among the edges detected by the edge detection unit. Based on the selected edge, the distribution of the in-focus state and the out-of-focus state of the image is detected.
  • the focus adjustment apparatus may be configured as follows: the distribution detection unit has a length greater than or equal to a length determined according to a signal-to-noise ratio of the color component among the edges detected by the edge detection unit. An edge is selected, and the distribution of the in-focus state and the out-of-focus state of the image is detected based on the selected edge.
  • the focus adjustment apparatus includes an edge detection unit that detects an edge of the subject image for each color component constituting the image including the subject image; and a line spread of the edge detected by the edge detection unit A distribution detection unit that calculates a function; and a control unit that moves the lens based on the line spread function.
  • the subject image is incident from an optical system having the lens. Further, as a result of the control unit moving the lens, the subject image is focused.
  • the computer is a computer that executes a focus adjustment program.
  • the focus adjustment program detects an edge of the subject image for each color component constituting an image including a subject image incident from an optical system having a lens for performing focus adjustment; and based on the edge And a procedure for detecting the distribution of the in-focus state and the out-of-focus state of the image; and a step of moving the lens to focus on the subject image based on the distribution.
  • the computer is a computer that executes a focus adjustment program.
  • the focus adjustment program includes a procedure for detecting an edge of the subject image for each color component constituting an image including the subject image incident from an optical system having a lens for performing focus adjustment; A procedure for calculating a function; and a procedure for moving the lens to focus on the subject image based on the line spread function.
  • the focus adjustment device and the focus adjustment program according to the present invention have an effect that a subject image can be focused quickly.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging device 100 including a lens barrel 111 and a focus adjustment device 191, and a storage medium 200.
  • FIG. 2 is a diagram illustrating the relationship between the subject at a position away from the AF lens 112 by the subject distance, the AF lens 112, the imaging surface of the imaging device 119, and the circle of confusion.
  • FIG. 3 is a diagram illustrating a positional relationship on the optical axis between the focal point of the red light incident on the AF lens 112, the focal point of the green light, and the focal point of the blue light.
  • FIG. 4 is a diagram showing the relationship between the wavelength of light incident on the AF lens 112 and the position of the image plane on the optical axis.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging device 100 including a lens barrel 111 and a focus adjustment device 191, and a storage medium 200.
  • FIG. 2 is a diagram illustrating the relationship between the subject at a position away from the
  • FIG. 5A is a diagram illustrating the relationship between the AF lens 112, the imaging surface of the imaging device 119, and the circle of confusion in the front pin state.
  • FIG. 5B is a diagram illustrating a circle of confusion in the front pin state formed on the imaging surface.
  • FIG. 5C is a diagram illustrating a relationship between a color component amount and a radial position from the center of the circle of confusion in the front pin state toward the outer periphery.
  • FIG. 6A is a diagram illustrating the relationship between the AF lens 112, the imaging surface of the imaging device 119, and the circle of confusion in the rear pin state.
  • FIG. 6B is a diagram illustrating a circle of confusion in the rear pin state formed on the imaging surface.
  • FIG. 7 is a diagram illustrating an example of a captured image.
  • FIG. 8A is a diagram showing the amount of color components in the vicinity of the edge position 13, and is a gradation sectional view in a state in which the focus is on the G channel.
  • FIG. 8B is a diagram showing the amount of color components in the vicinity of the edge position 13, and is a gradation cross-sectional view in a state in which the R channel is in focus.
  • FIG. 8C is a diagram showing the amount of color components in the vicinity of the edge position 13, and is a gradation cross-sectional view in a state in which focusing is performed on the B channel.
  • FIG. 8A is a diagram showing the amount of color components in the vicinity of the edge position 13, and is a gradation sectional view in a state in which the focus is on the G channel.
  • FIG. 8B is a diagram showing the amount of color components in the vicinity of the edge position 13, and is a gradation cross-sectional view in a state in
  • FIG. 9A is a diagram showing the amount of color components in the vicinity of the edge position 13, and shows the relationship between the edge of the R channel in the front pin state, the edge of the R channel in the rear pin state, and the edge of the G channel in the focused state.
  • FIG. 9B is a diagram showing the amount of color components in the vicinity of the edge position 13, and shows the relationship between the edge of the B channel in the front pin state, the edge of the B channel in the rear pin state, and the edge of the G channel in the focused state.
  • FIG. 10A is a diagram showing a “color component amount difference” in the vicinity of the edge position 13, and shows a relationship between the position on the axis D and the difference between the R channel color component amount and the G channel color component amount.
  • FIG. 10B is a diagram showing a “color component amount difference” in the vicinity of the edge position 13, and shows a waveform when approaching the in-focus state as compared with FIG. 10A.
  • FIG. 11A is a diagram showing LSF in the focused state in the G channel.
  • FIG. 11B is a diagram showing LSF in the out-of-focus state (small blur) in the G channel.
  • FIG. 11C is a diagram showing LSF in the out-of-focus state (large blur) in the G channel.
  • FIG. 12A is a diagram showing the LSF in the focused state for each color channel (R, G, B).
  • FIG. 12B is a diagram illustrating the LSF in the front pin state for each color channel (R, G, B).
  • FIG. 12C is a diagram illustrating LSF in the rear pin state for each color channel (R, G, B).
  • FIG. 13 is a diagram showing the relationship between the LSF profile (data) for each color channel (R, G, B) and the degree of blur.
  • FIG. 14 is a diagram illustrating a relationship between a function value using a difference in standard deviation of LSF as a parameter and a subject distance.
  • FIG. 15A shows an example of a part (partial image) of an image captured by the imaging unit.
  • FIG. 15B shows an R-channel edge image extracted from the captured image.
  • FIG. 15C shows an edge image of the G channel extracted from the captured image.
  • FIG. 15D is an image showing a result of calculating a logical product (AND) of the edge image of the R channel and the edge image of the G channel.
  • FIG. 16 is a flowchart showing the operation of the edge detection unit 192.
  • FIG. 17 is a diagram illustrating a color component amount in the vicinity of the edge position 13 and a calculation example using a Laplacian filter.
  • FIG. 18 is a diagram illustrating an example of a depth map.
  • FIG. 19 is a flowchart showing a focus drive procedure of the focus adjustment device 191 in a tracking operation for tracking a subject.
  • FIG. 20 is a flowchart showing an edge characteristic analysis procedure.
  • FIG. 21 is a diagram illustrating a scan area when it is determined to be in the front pin state and a scan area when it is determined to be in the back pin state.
  • FIG. 22A is a diagram showing the movement of the lens position in the hill-climbing contrast scan in the shooting AF, and shows an example of the relationship between the position of the AF lens 112 in the contrast scan and the contrast value.
  • FIG. 22B shows the movement of the position of the AF lens 112 in the normal contrast scan (see the middle part of FIG. 21).
  • FIG. 22C shows the movement of the position of the AF lens 112 in a contrast scan (see the lower part of FIG. 21) based on determination of the front pin state and the rear pin state based on the evaluation value.
  • FIG. 22A is a diagram showing the movement of the lens position in the hill-climbing contrast scan in the shooting AF, and shows an example of the relationship between the position of the AF lens 112 in the contrast scan and the contrast value.
  • FIG. 22B shows the
  • FIG. 23 is a flowchart showing the procedure of focusing driving based on LSF.
  • FIG. 24 is a diagram illustrating an example of a “defocus-drive pulse table”.
  • FIG. 25 is a diagram illustrating a contrast scan area when the front pin and the degree thereof are determined, and a contrast scan area when the rear pin and the degree are determined.
  • FIG. 26 is a flowchart showing the procedure of focusing drive of the focus adjustment device 191 in the tracking operation for tracking the subject.
  • FIG. 27 is a diagram showing an example of focusing driving in contrast scanning based on the “defocus-driving pulse table”.
  • FIG. 28 is an enlarged view of an example of focus drive in contrast scan based on “defocus-drive pulse table”.
  • FIG. 29 is a flowchart showing the operation of the focus adjustment apparatus 191 having the moving image capturing mode.
  • FIG. 30A is a diagram showing a histogram of difference data in a focused state.
  • FIG. 30B is a diagram illustrating a histogram of difference data in an out-of-focus state.
  • FIG. 31 is a flowchart showing the operation of the focus adjustment apparatus 191 for determining spot light.
  • FIG. 32 is a diagram for explaining the switching determination operation to the macro imaging mode.
  • FIG. 33A is a diagram for explaining the priority order of edges selected when edges having different signal-to-noise ratios of color components are mixed, and the signal-to-noise ratio is relatively high and the contrast is relative. The case of a low edge is shown.
  • FIG. 30A is a diagram showing a histogram of difference data in a focused state.
  • FIG. 30B is a diagram illustrating a histogram of difference data in an out-of-focus state.
  • FIG. 31
  • FIG. 33B is a diagram for explaining the priority order of edges selected when edges having different signal-to-noise ratios of color components are mixed, and the signal-to-noise ratio is relatively low and the contrast is relative.
  • FIG. 34A is a diagram showing the priority order of edges selected when two primary colors are included, and shows the case of an edge constituted by an R channel and a G channel that change in the same phase.
  • FIG. 34B is a diagram showing the priority order of edges selected when two primary colors are included.
  • the edge having the priority shown in FIG. 34B is configured by the R channel and the G channel that change in the same phase, and the contrast of the R channel is lower than the contrast of the R channel shown in FIG. 34A.
  • FIG. 34C is a diagram illustrating the priority order of edges selected when two primary colors are included.
  • FIG. 34C shows the case of an edge composed of an R channel and a B channel that change in phase.
  • FIG. 35A shows a change in the amount of color component in accordance with the position crossing one edge where the color component is flat.
  • FIG. 35B shows a change in the amount of color component depending on the position crossing a plurality of edges.
  • FIG. 36 is a flowchart illustrating a procedure for selecting an upper edge in accordance with the priority order.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging device 100 including a lens barrel 111 and a focus adjustment device 191, and a storage medium 200.
  • the imaging apparatus 100 captures a subject image incident from the lens barrel 111 and stores the obtained image in the storage medium 200 as a still image or a moving image.
  • the lens barrel 111 includes a focus adjustment lens (hereinafter referred to as “AF (Auto-Focus) lens”) 112, a lens driving unit 116, an AF encoder 117, and a lens barrel control unit 118.
  • the lens barrel 111 may be detachably connected to the imaging device 100 or may be integrated with the imaging device 100.
  • the AF lens 112 is driven by the lens driving unit 116.
  • the AF lens 112 guides a subject image to a light receiving surface (photoelectric conversion surface) of an imaging element 119 of the imaging unit 110 described later.
  • the AF encoder 117 detects the movement of the AF lens 112 and outputs a signal corresponding to the movement amount of the AF lens 112 to the lens barrel control unit 118.
  • the signal corresponding to the movement amount of the AF lens 112 may be, for example, a sine wave signal whose phase changes according to the movement amount of the AF lens 112.
  • the lens barrel control unit 118 controls the lens driving unit 116 in accordance with a drive control signal input from the focus adjustment device 191 (described later) of the imaging device 100.
  • the drive control signal is a control signal for driving the AF lens 112 in the optical axis direction.
  • the lens barrel control unit 118 changes the number of steps of the pulse voltage output to the lens driving unit 116, for example, according to the drive control signal.
  • the lens barrel control unit 118 outputs the position (focus position) of the AF lens 112 in the lens barrel 111 to a focus adjusting device 191 described later based on a signal corresponding to the movement amount of the AF lens 112.
  • the lens barrel control unit 118 calculates the movement amount (position) of the AF lens 112 in the lens barrel 111 by, for example, integrating signals corresponding to the movement amount of the AF lens 112 according to the movement direction. May be.
  • the lens driving unit 116 drives the AF lens 112 according to the control of the lens barrel control unit 118.
  • the lens driving unit 116 moves the AF lens 112 in the lens barrel 111 in the optical axis direction.
  • the imaging apparatus 100 includes an imaging unit 110, an image processing unit 140, a display unit 150, a buffer memory unit 130, an operation unit 180, a storage unit 160, a CPU 190, a communication unit 170, and a focus adjustment device 191. Is provided.
  • the imaging unit 110 includes an imaging element 119 and an A / D (Analog / Digital) conversion unit 120.
  • the imaging unit 110 is controlled by the CPU 190 in accordance with the set imaging conditions (for example, aperture value, exposure value, etc.).
  • the image sensor 119 includes a photoelectric conversion surface.
  • the image sensor 119 converts an optical image formed on the photoelectric conversion surface by the lens barrel 111 (optical system) into an electrical signal and outputs the electrical signal to the A / D converter 120.
  • the image sensor 119 may be configured by, for example, a CMOS (Complementary Metal Oxide Semiconductor). Further, the image sensor 119 may convert an optical image into an electric signal (cut out) for a partial region of the photoelectric conversion surface.
  • CMOS Complementary Metal Oxide Semiconductor
  • the image sensor 119 stores an image obtained when a shooting instruction is received via the operation unit 180 in the storage medium 200 via the A / D conversion unit 120.
  • the A / D conversion unit 120 is connected to the focus adjustment device 191 and the display unit 150 using continuously obtained images as through images. Output via.
  • the A / D converter 120 digitizes the electrical signal converted by the image sensor 119. Then, the A / D conversion unit 120 outputs the image that has become a digital signal to the buffer memory unit 130.
  • the operation unit 180 includes, for example, a power switch, a shutter button, a multi-selector (cross key), or other operation keys.
  • the operation unit 180 receives a user operation input when operated by the user. Then, the operation unit 180 outputs a signal corresponding to the operation input to the CPU 190.
  • the image processing unit 140 refers to the image processing conditions stored in the storage unit 160 and performs image processing on the image temporarily stored in the buffer memory unit 130.
  • the processed image is stored in the storage medium 200 via the communication unit 170.
  • the image obtained by the imaging unit 110, the operation screen, and the like are displayed.
  • An example of the display unit 150 is a liquid crystal display.
  • the buffer memory unit 130 temporarily stores the image captured by the imaging unit 110.
  • the CPU 190 stores the determination condition referred to when the scene is determined. Furthermore, the storage unit 160 stores imaging conditions associated with each scene determined by the scene determination.
  • the CPU 190 controls the imaging unit 110 according to the set imaging conditions (for example, aperture value, exposure value, etc.). Further, the CPU 190 causes the image processing unit 140 to perform image processing as a still image or a moving image based on the “signal according to the operation input” input from the operation unit 180.
  • the set imaging conditions for example, aperture value, exposure value, etc.
  • the communication unit 170 is connected to a removable storage medium 200 such as a card memory.
  • the communication unit 170 writes, reads, or erases information (image data or the like) on the storage medium 200.
  • the storage medium 200 is a storage unit that is detachably connected to the imaging apparatus 100 and stores information (image data and the like). Note that the storage medium 200 may be integrated with the imaging device 100.
  • the focus adjustment device 191 detects the edge of the subject image from the image generated based on the electrical signal output from the image sensor 119. Then, the focus adjusting device 191 analyzes the color shift caused by the longitudinal chromatic aberration that occurs at the detected edge.
  • the axial chromatic aberration is a characteristic that the focal length of the lens differs depending on the wavelength (color) of incident light.
  • the focus adjustment device 191 detects a defocus (defocus) feature quantity based on the color shift analysis result. Further, the focus adjustment device 191 generates a drive control signal based on the detected defocus feature value so as to focus on the subject image, and sends this drive control signal to the lens barrel control unit 118 of the lens barrel 111. Output (focus drive).
  • the defocus feature amount is a direction index, a defocus amount, a movement amount necessary for focus adjustment of the AF lens 112 (hereinafter referred to as “focus shift amount”), and a history thereof.
  • the direction index means that the subject is focused on the near point side (hereinafter referred to as “front pin”), or that the subject is focused on the far point side (hereinafter referred to as “rear pin”). ).
  • the amount of focus shift increases as the defocus amount increases.
  • the focus shift amount may be expressed by, for example, the number of steps of the pulse voltage output from the lens barrel control unit 118 to the lens driving unit 116 in response to the drive control signal.
  • the evaluation value for detecting the direction index and the defocus amount includes Edge (Difference (hereinafter referred to as “Ed”), a defocus amount reference value (Width of Subtraction, hereinafter referred to as “Wd”), and a line spreading function. (Line Spread Function, hereinafter referred to as “LSF”).
  • FIG. 2 the subject at a position away from the AF lens 112 by the subject distance, the AF lens 112, the imaging surface of the image sensor 119 (shown as “imaging surface” in FIG. 2), and the circle of confusion.
  • the AF lens 112 collects light incident from the subject and forms a subject image on the photoelectric conversion surface (imaging surface) of the image sensor 119.
  • a circle of confusion is formed on the imaging surface of the imaging device 119 by the point image included in the subject image.
  • FIG. 3 shows the focus of red light (hereinafter referred to as “R channel” or “R”), which is a component of light incident on the AF lens 112, and green light (hereinafter referred to as “G channel” or “G”). ) And the position of the blue light (hereinafter referred to as “B channel” or “B”) on the optical axis.
  • FIG. 3 shows that the position where the light is imaged (imaging plane) varies depending on the wavelength of the light.
  • imaging plane The reason why the image forming plane varies depending on the wavelength of light is that, for example, the refractive index of the lens varies depending on the wavelength of light.
  • the refractive index of a lens may differ for every lens as a characteristic intrinsic
  • FIG. 4 shows the relationship between the wavelength of light incident on the AF lens 112 and the position of the image plane on the optical axis.
  • the horizontal axis indicates the wavelength of light incident on the AF lens 112.
  • the vertical axis indicates the position of the image plane, and the larger the value, the farther away from the AF lens 112. As described above, the position of the image formation plane becomes farther from the AF lens 112 as the wavelength of the incident light is longer.
  • the AF lens 112 is optically designed so that the color shift on the imaging surface (imaging surface) is minimized in a focused state. For this reason, in the out-of-focus state, the color misregistration becomes larger than in the in-focus state.
  • the color shift is known to change depending on the lens position (focus position, zoom position) or other factors.
  • the radius of confusion circle increases as the amount of defocus (out of focus) increases.
  • the color arrangement in the circle of confusion also changes depending on the lens position (focus position).
  • FIG. 5A, 5B, and 5C show circles of confusion in the front pin state.
  • FIG. 5A shows the relationship between the AF lens 112, the imaging surface of the imaging device 119, and the circle of confusion.
  • the light incident on the AF lens 112 is refracted (spectral) from the outside in the order of R, G, and B due to axial chromatic aberration, guided to the imaging surface of the image sensor 119, and a circle of confusion on the imaging surface.
  • the circle of confusion may be expressed by a point spread function (Point Spread Function, hereinafter referred to as “PSF”).
  • PSF Point Spread Function
  • FIG. 5B shows a circle of confusion formed on the imaging surface.
  • the circle of confusion in the front pin state is formed in the order of R, G, and B from the outside due to axial chromatic aberration, and thus is formed in the order of red, cyan, and white from the outside.
  • FIG. 5C is a diagram in which the relationship between the radial position from the center of the circle of confusion toward the outer periphery and the color component amount (color intensity) is represented by the color component amount on the vertical axis (hereinafter referred to as “gradation sectional view”). It is indicated by).
  • FIG. 5C shows that the gradient (gradient) of the color component amount in the radial direction from the center of the circle of confusion to the outer circumference is the gentlest R gradient and the steep B gradient in the front pin state. Yes.
  • the circle of confusion in the front pin state is formed in the order of white, cyan, blue, yellow, yellow-red, and red in the radial direction from the center toward the outer periphery.
  • FIG. 6A and 6B show a circle of confusion in the rear pin state.
  • FIG. 6A shows the relationship between the AF lens 112, the imaging surface of the imaging device 119, and the circle of confusion.
  • the light incident on the AF lens 112 is refracted (spectral) from the outside in the order of B, G, and R between the focal point on the optical axis and the image sensor 119 due to axial chromatic aberration, and is incident on the image pickup surface of the image sensor 119. Guided to form a circle of confusion on the imaging surface.
  • FIG. 6B shows a circle of confusion formed on the imaging surface.
  • the circle of confusion in the rear pin state is formed in the order of white, yellow, and blue (border) in the radial direction from the center to the outer periphery because of the axial chromatic aberration in the order of B, G, and R from the outer periphery.
  • the focus adjustment device 191 can detect the in-focus state and the out-of-focus state based on the formation of the color of the circle of confusion.
  • FIG. 7 shows an example of a captured image.
  • a state where a black and white edge chart is captured will be described.
  • the following description will be made without considering the lateral chromatic aberration and lens flare, but the gist of the present invention remains unchanged even if these are not taken into consideration.
  • the image 10 (monochrome edge chart) imaged by the imaging unit 110 is composed of a black area 11 and a white area 12.
  • the black area 11 is rectangular and is in the center of the white area 12.
  • an axis that crosses both the black region 11 and the white region 12 in the horizontal direction is defined as an axis D.
  • the axis D is an axis orthogonal to the boundary (knife edge) between the black region 11 and the white region 12.
  • a boundary where the color changes from white to black on the axis D is defined as an edge position 14.
  • a boundary where the color changes from black to white on the axis D is defined as an edge position 13.
  • the position on the axis D may be expressed in units of pixels.
  • the color component amount of each color channel is expressed by a value “0 to 250” (8 bits). The larger the value of the color component amount of each color channel, the darker the color.
  • the color component amount of each color channel may be expressed by a value “0 to 255” (8 bits).
  • the color is white at the “position on axis D” where the color component amounts of R, G, and B are all “250”. On the other hand, the color is black at the “position on axis D” where the color component amounts of R, G, and B are all “0”.
  • FIG. 8A shows a gradation cross-sectional view in a state where the G channel is in focus (in focus).
  • the R channel is the front pin and the B channel is the rear pin.
  • the white region 12 side of the edge position 13 becomes green.
  • the black region 11 side of the edge position 13 is magenta.
  • FIG. 8B shows a gradation cross-sectional view in a state in which focusing is performed on the R channel.
  • the G channel is the rear pin, and the gradient (gradient) of the G channel is steeper than the gradient of the B channel.
  • FIG. 8C shows a gradation cross-sectional view in a state in which focusing is performed on the B channel. In this state, the G channel is the front pin, and the gradient (gradient) of the G channel is steeper than the gradient of the R channel.
  • the focus adjustment device 191 calculates an evaluation value from the gradient of the color channel in the gradation cross-sectional view. In this way, the focus adjustment device 191 can detect the in-focus state and the out-of-focus state.
  • 9A and 9B show the color component amounts in the vicinity of the edge position 13 (see FIG. 7) as gradation cross-sectional views.
  • the vertical axis indicates the amount of color components for each of R, G, and B (color channel).
  • the horizontal axis indicates the position on the axis D (see FIG. 7). Since human eyes have high sensitivity to the G channel, here, as an example, a case where the subject image is focused (focused) on the G channel will be described.
  • FIG. 9A shows the relationship between the edge of the R channel in the front pin state, the edge of the R channel in the rear pin state, and the edge of the G channel in the focused state.
  • the gradient (tilt) of the R channel in the front pin state is gentler than the gradient of the G channel in the focused state.
  • the gradient (gradient) of the R channel in the rear pin state is steeper than the gradient of the G channel in the focused state.
  • a section on the right side of the intersection of lines indicating the color component amounts of the R channel and the G channel and having a gradient in the line indicating the G channel is referred to as a section “ ⁇ 1”.
  • a section on the left side of the intersection of the lines indicating the color component amount and having a gradient in the line indicating the G channel is defined as a section “ ⁇ 2”.
  • the length of these sections may be expressed by the number of pixels.
  • the edge of the R channel is in the front pin state or the back pin state according to the comparison result of Ed based on the R channel color component amount and the G channel color component amount (hereinafter referred to as “EdRG”) and a threshold value. Is detected (determined) as follows.
  • the value “1” in equations 1 and 2 is a threshold value.
  • ( ⁇ (R / G)) in Equations 1 and 2 is a sum obtained by adding the value obtained by dividing the R channel color component amount by the G channel color component amount at the same position in the image over the section “ ⁇ 1”. is there.
  • a value obtained by dividing the sum by the length of the section “ ⁇ 1” is “EdRG”.
  • Formula 1 is materialized, EdRG shows that the edge of R channel is in a back pin state.
  • Expression 2 is satisfied, EdRG indicates that the edge of the R channel is in the front pin state (direction index). The difference between EdRG and the threshold “1” indicates the defocus amount.
  • the front pin and the rear pin may be detected by using the “ratio” of the color component amounts as in Expressions 1 and 2.
  • the SN ratio Signal to Noise ratio
  • the value “0” in equations 3 and 4 is a threshold value.
  • ( ⁇ (GR)) in Equations 3 and 4 is a sum obtained by adding a value obtained by subtracting the color component amount of the G channel at the same position in the image from the color component amount of the R channel over the section “ ⁇ 2”. is there. Further, the value obtained by dividing the sum by the length of the section “ ⁇ 2” is “EdRG”. And when Formula 3 is materialized, EdRG shows that the edge of R channel is in a back pin state. On the other hand, when Expression 4 is satisfied, EdRG indicates that the edge of the R channel is in the front pin state (direction index). The difference between EdRG and the threshold “0” indicates the defocus amount.
  • FIG. 9B shows the relationship between the edge of the B channel in the front pin state, the edge of the B channel in the rear pin state, and the edge of the G channel in the focused state.
  • the gradient (tilt) of the B channel in the front pin state is gentler than the gradient of the G channel in the focused state.
  • the gradient (gradient) of the B channel in the rear pin state is steeper than the gradient of the G channel in the focused state.
  • a section on the right side of the intersection of the lines indicating the color component amounts of the B channel and the G channel and having a gradient in the line indicating the G channel is referred to as a section “ ⁇ 3”.
  • a section on the left side of the intersection of the lines indicating the color component amounts and having a gradient in the line indicating the G channel is defined as a section “ ⁇ 4”.
  • EdBG Ed based on the color component amount of the B channel and the color component amount of the G channel and a predetermined threshold
  • the edge of the B channel is in the front pin state or the rear pin. The state is detected as follows.
  • EdBG ( ⁇ (B / G)) / ( ⁇ 3)> 1 Equation 5
  • EdBG ( ⁇ (B / G)) / ( ⁇ 3) ⁇ 1 Equation 6
  • the value “1” in Equations 5 and 6 is a threshold value.
  • ( ⁇ (B / G)) in Equations 5 and 6 is a sum obtained by adding the value obtained by dividing the B channel color component amount by the G channel color component amount at the same position in the image over the section “ ⁇ 3”.
  • a value obtained by dividing the sum by the length of the section “ ⁇ 3” is “EdBG”.
  • the front pin and the rear pin may be detected by using the “ratio” of the color component amounts as in equations 5 and 6.
  • the SN ratio between the color component amount and noise is small. Therefore, in this case, it is more advantageous for detecting the in-focus state to detect the front pin and the rear pin by the “difference” of the color component amount instead of the “ratio” of the color component amount.
  • the value “0” in Equations 7 and 8 is a threshold value.
  • ( ⁇ (GB)) in Expressions 7 and 8 is a sum obtained by adding the value obtained by subtracting the G channel color component amount at the same position in the image from the B channel color component amount over the section “ ⁇ 4”.
  • a value obtained by dividing the sum by the length of the section “ ⁇ 4” is “EdBG”. If Equation 7 holds, EdBG indicates that the edge of the B channel is in the rear pin state. On the other hand, when Expression 8 is satisfied, EdBG indicates that the edge of the B channel is in the front pin state (direction index). The difference between EdBG and the threshold “0” indicates the defocus amount.
  • the focus adjustment device 191 (see FIG. 1) can detect the in-focus state and the out-of-focus state based on the evaluation value Ed.
  • the focus adjustment device 191 may detect the front pin and the rear pin based on the “ratio” of the color component amounts in a section where the color component amount is small. Further, the focus adjustment device 191 may detect the front pin and the rear pin based on the “difference” in the color component amount for the section where the color component amount is large.
  • the subject image is focused on the G channel, but the focus adjustment device 191 detects (determines) the front pin state and the rear pin state by focusing on the subject image on the R channel or the B channel. May be.
  • FIG. 10A and 10B show a “color component amount difference” in the vicinity of the edge position 13 (see FIG. 7).
  • FIG. 10A shows the relationship between the position on the axis D and the difference between the R channel color component amount and the G channel color component amount.
  • the horizontal axis indicates the position on the axis D (see FIG. 7).
  • Wd is a value indicating the defocus amount (defocus amount reference value). As shown in FIG. 10A, Wd is indicated by the distance between peaks of the waveform of the color component amount difference. Wd is expressed by Equation 9 using the positions X1 and X2 on the axis D.
  • the positions X1 and X2 are positions where the waveform of the color component amount difference (color component amount ratio) shows a peak in FIG. 10A. And the intersection of a solid line and a broken line respond
  • the color component amount difference shows the maximum value “max (RG)”, and at position X1, the color component amount difference shows the minimum value “min (RG)”.
  • the polarity (positive / negative) of the waveform indicates that the R channel is in the rear pin state (direction indicator). This is because when the R channel is in the back pin state, as shown in FIG. 9A, the color component amount of the R channel is equal to or greater than the color component amount of the G channel on the right side of FIG. 9A, and on the left side of FIG. This is because the color component amount of the R channel is equal to or less than the color component amount of the G channel.
  • the color component amount difference shows the maximum value “max (RG)” at the position X1 in FIG. 10A and the color component amount difference shows the minimum value “min (RG)” at the position X2.
  • the polarity (positive / negative) of the waveform indicates that the R channel is in the front pin state (direction indicator). This is because when the R channel is in the front pin state, as shown in FIG. 9A, on the right side of FIG. 9A, the color component amount of the R channel is less than the color component amount of the G channel, and on the left side of FIG. This is because the R channel color component amount is equal to or greater than the G channel color component amount.
  • FIG. 10B shows a waveform when approaching the in-focus state as compared with FIG. 10A.
  • the value of Wd decreases. Note that the difference between the maximum value “max (RG)” of the color component amount difference and the minimum value “min (RG)” of the color component amount difference varies depending on the “blur degree”. Also good.
  • the focus adjustment device 191 (see FIG. 1) can detect the in-focus state and the out-of-focus state based on the evaluation value Wd. Further, the focus adjustment device 191 can detect the front pin state or the rear pin state based on the polarity of the color component amount difference.
  • MTF ModulationMoTransfer Function
  • the MTF of the system is the product of the MTF of the imaging system (optical system) and the MTF of the sensor (imaging device) system.
  • the focus adjustment device can detect (determine) the in-focus state based on the MTF of the system. For example, the focus adjustment device may detect the in-focus state by evaluating the MTF of the edge of the subject image. Note that the focus adjustment device detects the in-focus state by further considering image processing processes (for example, circuit response characteristics, demosaic, noise reduction, edge enhancement, etc.) subsequent to the imaging system and the sensor system. Also good.
  • MTF and LSF are reversible via Fourier transform when the light incident on the optical system is incoherent light. Also, the LSF can be easily calculated from the edges included in the image (see, for example, the “ISO12233” standard).
  • the LSF may be calculated by differentiating an ESF (Edge Spread Function).
  • the LSF may be calculated based on a difference in pixel values (for example, color component amounts) between adjacent pixels.
  • the MTF may be calculated by subjecting the LSF to discrete Fourier transform (Discrete Fourier Transform, DFT).
  • the focus adjusting device 191 may detect (determine) the in-focus state based on LSF as an evaluation value in addition to the above-described Ed and Wd.
  • the focus adjustment device 191 is based on “LSF profile (data) for each color channel” created in advance according to a known image processing process. ) May be detected as follows.
  • 11A, 11B and 11C show the LSF of the G channel according to the “blurring degree” of the focused state.
  • the LSF is expressed by a standard deviation ⁇ (statistic) that is one of the feature quantities of the LSF.
  • ⁇ statistic
  • the LSF may be expressed by a half-value width or a peak value, which is one of the feature amounts of the LSF.
  • FIG. 11A shows the LSF in the focused state.
  • FIG. 11B shows LSF in an out-of-focus (small blur) state.
  • FIG. 11C shows the LSF in an out-of-focus (large blurred) state.
  • FIG. 12A, 12B, and 12C show the LSF for each color channel and the “blurred degree” in the focused state.
  • FIG. 12A shows the LSF in the focused state for each color channel (R, G, B).
  • the magnitude relationship of the standard deviation ⁇ for each color channel may be different for each lens as a characteristic characteristic of the lens.
  • the standard deviation “ ⁇ R” of the R channel LSF in the focused state the standard deviation “ ⁇ G” of the L channel LSF in the focused state
  • ⁇ B standard deviation “ ⁇ B” of the B channel LSF in the focused state.
  • FIG. 12B shows the LSF in the front pin state for each color channel (R, G, B).
  • the rightmost side of FIG. 12B shows the relationship between the position on the axis D and the color component amount in the front pin state.
  • the G channel is also shown in the front pin state, and therefore the gradients of all R, G, and B are gentle.
  • the rightmost diagram in FIG. 12B shows that in the front pin state, the gradient (gradient) of the color component amount at the edge has the slowest gradient of R and the steep gradient of B. .
  • the slope of R is the slowest and the slope of B is the steepest. Therefore, in the front pin state, the standard deviation “ ⁇ Rdf” of the R channel LSF and the standard of the G channel LSF
  • the deviation “ ⁇ Gdf” and the standard deviation “ ⁇ Bdf” of the B channel have a magnitude relationship of “ ⁇ Rdf> ⁇ Gdf> ⁇ Bdf”. More specifically, there is a magnitude relationship of “ ⁇ Rdf> K1 ⁇ ⁇ Gdf” and “ ⁇ Bdf ⁇ K2 ⁇ ⁇ Gdf”.
  • FIG. 12C shows the LSF in the rear pin state for each color channel (R, G, B). Also, the rightmost side of FIG. 12C shows the relationship between the position on the axis D and the color component amount in the rear pin state.
  • the G channel is also shown in the rear pin state, and therefore the gradients of all R, G, and B are gentle.
  • the rightmost diagram in FIG. 12C shows that in the rear pin state, the gradient (gradient) of the color component amount at the edge is that the gradient of B is the gentlest and the gradient of R is the steepest. Yes.
  • the standard deviation “ ⁇ Rdb” of the R channel LSF and the standard of the G channel LSF have a magnitude relationship of “ ⁇ Bdb> ⁇ Gdb> ⁇ Rdb”. More specifically, there is a magnitude relationship of “ ⁇ Rdb ⁇ K1 ⁇ ⁇ Gdb” and “ ⁇ Bdb> K2 ⁇ ⁇ Gdb”.
  • FIG. 13 shows the relationship between the LSF profile (data) for each color channel and the degree of blur.
  • the horizontal axis indicates the degree of blur.
  • LSF profiles are shown in the order of G channel, R channel, and B channel.
  • the number of the subscript of the standard deviation is larger as the LSF has a larger absolute value (defocus amount) of the degree of blur.
  • the LSF profile in the focused state is shown at the center position “0” on the horizontal axis.
  • the right side from the center position “0” on the horizontal axis is an area where the edge is in the front pin state (front pin area), and the absolute value of the degree of blur increases as the distance from the center position “0” increases.
  • the left side from the center position “0” on the horizontal axis is an area where the edge is in the rear pin state (rear pin area), and the absolute value of the degree of blur increases as the distance from the center position “0” increases.
  • the LSF profile for each color channel is created before the imaging apparatus 100 captures an image of a subject, and is stored in advance in the storage unit 160 for each degree of blur.
  • the LSF profile for each color channel is expressed in standard deviation, for example, and stored in advance in the storage unit 160.
  • the LSF profile may be expressed in half width or peak value and stored in advance in the storage unit 160.
  • the “blurring degree” on the horizontal axis may be expressed as a subject distance (depth).
  • the LSF profile for each color channel includes, in addition to the “blurring degree”, information indicating the zoom magnification, subject distance, position with respect to the angle of view, and the horizontal (H) or vertical (V) direction in the captured image.
  • Information indicating the noise reduction processing method, or information indicating the edge enhancement method may be stored in advance in the storage unit 160.
  • FIG. 14 shows the relationship between the function value using the difference in standard deviation of LSF as a parameter and the subject distance (relative distance map, distance function).
  • the vertical axis indicates the difference in standard deviation of LSF.
  • the horizontal axis indicates the subject distance.
  • the subject distance (Depth) is expressed by Expression 10.
  • ⁇ Rd is the standard deviation of LSF LSF.
  • ⁇ Gd is a standard deviation of the LSF of the G channel.
  • ⁇ Bd is the standard deviation of the B channel LSF.
  • F ( ⁇ Rd ⁇ Gd) is a function having a difference of the standard deviation “ ⁇ Rd ⁇ Gd” as a parameter, which is a negative value in the rear pin state and a positive value in the front pin state.
  • F1 ( ⁇ Bd ⁇ Gd) is a function having a standard deviation difference “ ⁇ Bd ⁇ Gd” as a parameter, and is a function having a positive value in the rear pin state and a negative value in the front pin state.
  • the function G is a function having “F ( ⁇ Rd ⁇ Gd) ⁇ F1 ( ⁇ Bd ⁇ Gd)” as a parameter, and is a function that selects at least one of the value of the function F or the value of the function F1.
  • the function G is a function used to calculate the subject distance (Depth) by selecting the value of the function F in the front pin state and selecting the value of the function F1 in the rear pin state.
  • the LSF may be calculated for only one color channel (single color).
  • the focus adjustment device 191 may detect the in-focus state and the out-of-focus state by matching the LSF of the imaged color channel with the LSF profile of one color channel. For example, when the captured LSF matches (matches) the LSF profile indicating the degree of blur “0”, the focus adjustment device 191 may determine that the edge is in focus.
  • the focus adjustment device 191 (see FIG. 1) can detect the in-focus state and the out-of-focus state based on the standard deviation or half-value width of the evaluation value LSF. Further, the focus adjustment device 191 can detect the front pin state or the rear pin state by comparing the standard deviation or the half value width of the evaluation value LSF for each color channel.
  • the focus adjustment device 191 includes an edge detection unit 192, a distribution detection unit 193, and a control unit 194.
  • the edge detection unit 192 detects the edge of the subject image for each color component (R channel, G channel, B channel) constituting the image output by the imaging unit 110.
  • FIG. 15A, 15B, 15C, and 15D each show an example of a captured image, an edge image extracted from the captured image, and an image that shows the result of the logical product of the two edge images.
  • FIG. 15A illustrates an example of a part (partial image) of an image captured by the imaging unit 110.
  • a frame indicated by a broken line indicates a detection area for the edge detection unit 192 to detect an edge.
  • the detection region may be a region that extends only on one side of the edge. Further, the position of the detection region in the partial image may be determined in advance.
  • the edge detection unit 192 extracts (detects) an edge image of the subject image captured in the detection area (a mask image masked other than the edges) for each color component from the partial image.
  • FIG. 15B shows an extracted R channel edge image.
  • FIG. 15C shows an extracted edge image of the G channel.
  • FIG. 15D shows an image obtained as a result of calculating a logical product (AND) of the R channel edge image and the G channel edge image.
  • the procedure for extracting (generating) these images will be described below.
  • FIG. 16 is a flowchart showing the operation of the edge detection unit 192.
  • the edge detection unit 192 extracts (generates) an edge image for each color channel using a Laplacian filter or the like from a rough image (for example, QVGA resolution) captured by the imaging unit 110 (step Sa1).
  • a rough image for example, QVGA resolution
  • FIG. 17 shows an example of a gradation sectional view of the color component amount in the vicinity of the edge position 13 and an example of calculation using a Laplacian filter.
  • a case where an edge extending in the vertical direction of an image is extracted (generated) will be described.
  • the edge detection unit 192 adds a value obtained by multiplying each color component amount by a coefficient of a Laplacian filter for each color component. Then, the edge detection unit 192 compares the addition result with a predetermined threshold value Ek1 for each color component.
  • the edge detection unit 192 compares the addition result “( ⁇ 1) ⁇ R1 + 8 ⁇ R2 + ( ⁇ 1) ⁇ R3” for the R channel with the threshold value Ek1. Since the addition result for the R channel is larger than the threshold value Ek1, the edge detection unit 192 generates an R channel edge image using the R channel edge as an effective edge.
  • the edge detection unit 192 compares the addition result “( ⁇ 1) ⁇ G1 + 8 ⁇ G2 + ( ⁇ 1) ⁇ G3” for the G channel with the threshold value Ek1. Since the addition result for the G channel is larger than the threshold value Ek1, the edge detection unit 192 generates a G channel edge image using the G channel edge as an effective edge. Similarly, as a result of comparing the addition result for the B channel with the threshold value Ek1, the addition result for the B channel is equal to or less than the threshold value Ek1, so that the edge detection unit 192 sets the edge of the B channel as an effective edge, Do not generate channel edge images.
  • the edge detection unit 192 sets the R channel color component amount in the edge image to the same level as the G channel color component amount. For example, the edge detection unit 192 uses a value obtained by dividing the color component amount of the G channel by the color component amount of the R channel as a gain (correction magnification). The edge detection unit 192 multiplies the R channel color component amount by a gain. In this way, the edge detection unit 192 generates an edge image (see FIGS. 15B and 15C).
  • the edge detection unit 192 extracts edges (edge pairs) of two or more colors that are correlated with respect to the position. Specifically, the edge detection unit 192 extracts the color component amount of the R channel edge and the color component amount of the G channel edge for the same pixel. Then, the edge detection unit 192 sets the color component amount logical product (AND) of these edge pairs as a common edge image (step Sa2).
  • the edge detection unit 192 extracts, as a common edge, the logical product of the color component amounts of edges (edge pairs, color pairs) of adjacent R channels and G channels within “ ⁇ 1 pixel”, even if they are not edges of the same pixel. It may be (thickening). Further, the edge detection unit 192 may extract a common edge based on the logical product of the color component amounts of edges that are equal to or longer than a predetermined length L.
  • the edge detection unit 192 causes the storage unit 160 to store the common edges of the R channel and the G channel that constitute the common edge (step Sa3). In this manner, the edge detection unit 192 generates an edge image (see FIG. 15D) from which common edges between the R channel edge and the G channel edge are extracted.
  • the image captured by the imaging unit 110 is divided into grid-like blocks.
  • the distribution detection unit 193 detects the in-focus state and the out-of-focus state (direction index and defocus amount) of the common edge for each of the divided blocks.
  • FIG. 18 shows an example of a depth map.
  • the depth map is a map showing the distribution of the in-focus state and the out-of-focus state (the degree of blur) in the captured image in units of blocks (partial images).
  • an image captured by the imaging unit 110 is divided into “4 ⁇ 4” blocks, and an edge image in one of the blocks is described as an edge image illustrated in FIG. 15D.
  • the distribution detector 193 detects the distribution of the in-focus state and the out-of-focus state of the common edge based on at least one of Ed, Wd, or LSF of the common edge extracted from the edge image. Based on Ed of the three common edges extracted from the edge image of FIG. 15D, the distribution detection unit 193 detects the in-focus state and the out-of-focus state (degree of blur) of the common edge as follows.
  • the lengths of the three common edges extracted in the edge image of FIG. 15D are L1, L2, and L3, respectively.
  • the distribution detection unit 193 calculates Expression 11.
  • ⁇ is the length of the section orthogonal to the edge.
  • ⁇ is the length of the section ⁇ 1 or ⁇ 2.
  • the distribution detection unit 193 sets EdRG as a value obtained by dividing Equation 11 “ ⁇ (L (( ⁇ (R / G)) / ⁇ ))” by “L1 + L2 + L3”.
  • the distribution detection unit 193 determines that the common edge is in the rear pin state.
  • Expression 2 the distribution detection unit 193 determines that the common edge is in the front pin state.
  • a value surrounded by a square frame indicates a “blurring degree” in the block.
  • a block having a negative value indicates that the edge imaged in the block is in the back pin state.
  • a block having a positive value indicates that the edge imaged in that block is in the front pin state.
  • the distribution detection unit 193 may further subdivide one block divided into “4 ⁇ 4” into small blocks (segments) of “2 ⁇ 2”. Then, the distribution detection unit 193 may detect the in-focus state and the out-of-focus state of the common edge for those small blocks based on the blur degree histogram. For example, the distribution detecting unit 193 may interpolate the “blurring degree” of the small block between the value “2” and the value “8” with a histogram to obtain the value “4”. This interpolated value is an example. When an effective edge having a sufficient color component amount (power) is not detected, an undetectable block in which the direction index and the defocus amount cannot be detected may remain in the depth map.
  • the distribution detection unit 193 detects the distribution of the in-focus state and the out-of-focus state of the common edge based on Ed, and creates a depth map. Similarly, the distribution detection unit 193 may detect the distribution of the in-focus state and the out-of-focus state of the common edge based on the above-described Wd, and create a depth map.
  • the distribution detection unit 193 may detect the distribution of the in-focus state and the out-of-focus state of the common edge based on the above-described LSF, and create a depth map. Specifically, the distribution detection unit 193 divides the image captured by the imaging unit 110 into grid-like blocks, and extracts an edge image for each block (see FIG. 15D). Then, the distribution detection unit 193 calculates the LSF of the edge extracted from the edge image by the procedure described above in the description of the evaluation value LSF. Further, the distribution detection unit 193 detects the “blurring degree” for each block according to the procedure described in the description of the evaluation value LSF based on the LSF profile and the LSF of the imaged edge, thereby obtaining a depth map. Create
  • the distribution detection unit 193 may detect the distribution of the in-focus state and the out-of-focus state of the common edge by combining the evaluation values Ed, Wd, and LSF. For example, the distribution detection unit 193 detects the distribution of the in-focus state and the out-of-focus state of the common edge based on Ed, and then detects the common edge based on the LSF for the block in which the effective edge is not detected. The distribution of the focused state and the out-of-focus state of the edge may be detected complementarily.
  • the control unit 194 selects a block in which the subject image is captured from the distribution based on the in-focus state distribution and the out-of-focus state distribution detected by the distribution detection unit 193. Then, the control unit 194 moves the AF lens 112 so as to focus on the edge of the subject image. In addition, the control unit 194 determines whether a shooting instruction for storing the image captured by the imaging unit 110 in the storage medium 200 is output from the operation unit 180 to the CPU 190. Further, the control unit 194 determines whether or not a focus instruction for focusing on the subject image is output from the operation unit 180 to the CPU 190. Based on these determinations, the control unit 194 changes the focus drive procedure as described later.
  • FIG. 19 is a flowchart showing the procedure of focusing drive of the focus adjustment device 191 in the tracking operation for tracking the subject image.
  • the CPU 190 of the imaging device 100 sets the focus adjustment device 191 to the tracking mode so as to execute a tracking operation for tracking the subject image (step S1). Further, the CPU 190 designates (sets) the subject image to be tracked in the focus adjustment device 191 (step S2). These settings may be executed based on a user operation input received by the operation unit 180.
  • the control unit 194 of the focus adjustment device 191 executes the first focusing drive (step S3).
  • the focusing method in this focusing drive may be selected as appropriate.
  • the focusing method may be a contrast AF (Auto Focus) method or another focusing method (such as a phase difference detection method).
  • the image sensor 119 further converts an optical image formed on the photoelectric conversion surface into an electric signal.
  • the image pick-up element 119 outputs the electrical signal obtained here to the A / D conversion part 120 as a through image (step S4).
  • the resolution of the through image output from the image sensor 119 may be low because a part of the data is thinned out.
  • the imaging apparatus 100 and the focus adjustment apparatus 191 perform steps S5 to S7 and steps S8 to S16 described below in parallel. Further, the imaging device 100 and the focus adjustment device 191 may repeatedly execute steps S4 to S17.
  • the CPU 190 controls the imaging unit 110 to execute automatic exposure (Automatic Exposure, AE) processing and debayer (color interpolation) processing. Further, the image processing unit 140 acquires a through image and executes image processing (step S5). For example, the image processing unit 140 performs, as image processing, white balance (White Balance, WB) adjustment processing, noise reduction (Noise) Reduction, NR) processing, magnification chromatic aberration correction processing, and the like on the acquired through image.
  • white Balance White Balance, WB
  • WB noise reduction
  • NR noise reduction
  • the image processing unit 140 searches for a tracking target imaged in the tracking region of the acquired through image by image matching processing or the like (step S6). Further, the image processing unit 140 superimposes the tracking frame indicating the tracking region and the through image, and causes the display unit 150 to display the superimposed image (step S7).
  • the edge detection unit 192 of the focus adjustment device 191 extracts an imaged edge within a tracking region having a predetermined initial window size (see each of FIGS. 15A, 15B, 15C, and 15D) (step S8). ). Then, the edge detection unit 192 analyzes the edge characteristics in the procedure described above with reference to FIG. 16 (step S9).
  • the edge detection unit 192 determines whether there is an edge to be tracked (step S10). If no edge exists (step S10—NO), the processing of the edge detection unit 192 returns to step S8. On the other hand, when an edge exists (step S10—YES), the edge detection unit 192 sets an edge to be tracked (step S11).
  • the edge detection unit 192 may set, for example, an edge having a strong power (a large amount of color component) as a tracking target.
  • the CPU 190 controls the imaging unit 110 to increase the resolution of the through image output from the imaging element 119.
  • the resolution of the through image may be increased.
  • the CPU 190 controls the image capturing unit 110 to cut out a part of the optical image formed on the photoelectric conversion surface of the image sensor 119 and convert the image into an electrical signal.
  • the data is output to the conversion unit 120 (step S12).
  • the edge detection unit 192 analyzes the edge characteristics and stores the evaluation value in the storage unit 160 (step 13). In step 13, the edge detection unit 192 executes the procedure shown in FIG. FIG. 20 shows a flowchart showing an edge characteristic analysis procedure.
  • the edge detection unit 192 calculates a gain (magnification) based on the R channel edge image and the G channel edge image, and multiplies the R channel edge by the gain (see FIG. 17 and the like) (steps). Sb1).
  • the edge detection unit 192 performs affine transformation or cosine correction, thereby transforming the edge extending obliquely with respect to the image so as to be horizontal with respect to the image (step Sb2). Furthermore, the distribution detection unit 193 of the focus adjustment device 191 calculates an evaluation value for each grid-like block in the image captured by the imaging unit 110 based on the interval ⁇ around the edge (see, for example, Equation 1). .
  • the distribution detection unit 193 calculates each evaluation value for each edge (see FIG. 15D) extracted by the edge detection unit 192, and averages the calculated evaluation value with the length of the edge to be Ed ( For example, see Equation 11) (step Sb4).
  • the distribution detection unit 193 calculates at least one of Ed, Wd, and LSF as the evaluation value.
  • the distribution detection unit 193 causes the storage unit 160 to store an evaluation value, an edge pair (color pair) for each color channel, a color component amount (color intensity), and a gain as edge characteristics. In this way, the distribution detection unit 193 creates a depth map (see FIG. 18).
  • the distribution detection unit 193 determines whether the edge is in the focused state, the front pin state, or the rear pin state. (See, for example, equations 1 to 4) (step S14).
  • the distribution detection unit 193 determines whether or not the evaluation value Ed exceeds a predetermined first threshold value. Further, the distribution detection unit 193 determines whether or not the difference between the previous Ed and the current Ed is larger than a predetermined second threshold value (step S15).
  • control unit 194 executes the contrast scan by limiting the moving direction of the AF lens 112.
  • FIG. 21 shows a scan area when the front pin state is determined and a scan area when the rear pin state is determined.
  • the middle part of FIG. 21 shows that in “normal contrast scanning”, the AF lens 112 moves in the lens barrel 111 within a predetermined lens movable range (nearest to infinity) while performing contrast scanning. Has been.
  • This “normal contrast scan” is executed without being based on the determination result of the front pin state and the rear pin state.
  • the lower part of FIG. 21 shows the movement in the contrast scan executed based on the determination results of the front pin state and the rear pin state.
  • the AF lens 112 moves in a part of a predetermined lens movable range (nearest to infinity) in the lens barrel 111 while performing contrast scanning.
  • the control unit 194 restricts the moving direction of the AF lens 112 from the current position of the AF lens 112 to the region on the closest side. To perform a contrast scan.
  • the control unit 194 changes the moving direction of the AF lens 112 from the current position of the AF lens 112 to the infinite region. Limited, perform contrast scan.
  • the focus adjustment device 191 can focus on the subject image more quickly than the normal contrast scan.
  • the control unit 194 moves the AF lens 112 to a focus position detected by a contrast scan executed based on the determination result of the front pin state and the rear pin state in order to focus on the edge of the subject image (Step S194). S16).
  • step S15 when the evaluation value Ed does not exceed the predetermined first threshold and the difference between the previous Ed and the current Ed is not greater than the predetermined second threshold (step S15-NO) )
  • step S17 the process of the control unit 194 proceeds to step S17 after executing step S16.
  • the control unit 194 determines whether or not an imaging instruction for storing the image captured by the imaging unit 110 in the storage medium 200 is output from the operation unit 180 to the CPU 190 (step S17). For example, when the user operates the shutter button of the operation unit 180, a shooting instruction is output from the operation unit 180 to the CPU 190.
  • step S17—NO If no shooting instruction is output from the operation unit 180 to the CPU 190 (step S17—NO), the processing of the control unit 194 returns to step S4. On the other hand, when a shooting instruction is output from the operation unit 180 to the CPU 190 (step S17—YES), the process of the control unit 194 proceeds to step S18.
  • FIG. 22A shows an example of the relationship between the position of the AF lens 112 in contrast scanning and the contrast value.
  • a region on the near side from the current position of the lens is defined as a near side region.
  • the region on the infinite side from the current lens position is defined as the infinite side region.
  • the AF lens 112 is controlled by the control unit 194 from a start position (for example, a position in the near side region) to an end position (for example, a position in the infinite side region) in a lens movable range determined in advance in the lens barrel 111.
  • a start position for example, a position in the near side region
  • an end position for example, a position in the infinite side region
  • the lens position at which the contrast value shows a peak is set as the in-focus position.
  • the AF lens 112 is in the focus position, the edge of the subject image is in focus.
  • FIG. 22B shows the movement of the position of the AF lens 112 in the normal contrast scan (see the middle part of FIG. 21).
  • the control unit 194 moves the AF lens 112 while performing a contrast scan over the entire lens movable range in the lens barrel 111.
  • the control unit 194 moves the AF lens 112 from the lens position at time t1 to the contrast scan start position from time t1 to time t2 (initial position driving). Then, the control unit 194 moves the AF lens 112 from time t2 to time t3a while performing contrast scan from the start position to the end position (scan driving). Further, the control unit 194 moves the AF lens 112 to the in-focus position where the contrast value shows a peak from time t3a to time t4a (focus position drive).
  • control unit 194 causes the entire range of lens movement to be contrast scanned. For this reason, it takes time to move the AF lens 112 to the in-focus position.
  • FIG. 22C shows the movement of the position of the AF lens 112 in the contrast scan (see the lower part of FIG. 21) based on the determination of the front pin state and the rear pin state based on the evaluation value.
  • the control unit 194 moves the AF lens 112 while performing a contrast scan of a predetermined region of the lens movable range in the lens barrel 111.
  • the distribution detection unit 193 detects the distribution of the in-focus state and the out-of-focus state of the common edge as described above.
  • the distribution detection unit 193 determines that the edge of the subject image to be tracked is in the front pin state by time t1.
  • the control unit 194 moves the AF lens 112 from the lens position at time t1 to the contrast scan start position from time t1 to time t2 (initial position driving).
  • the control unit 194 predicts that the focus position is in the near side region. Then, from time t2 to t3b, the control unit 194 moves the AF lens 112 while performing contrast scan from the start position to “lens position at time t1” (scan driving). Further, the control unit 194 moves the AF lens 112 to the in-focus position where the contrast value shows a peak from time t3b to t4b (focus position drive).
  • control unit 194 may end the focus drive when the evaluation value Ed converges within a predetermined range in the scan drive. Further, in the scan drive, the control unit 194 may detect the focus state based on the LSF as described above, and end the focus drive.
  • control unit 194 calculates the in-focus position by interpolation by temporarily passing through the position where the contrast value showed a peak while performing contrast scanning in scan driving.
  • the control unit 194 moves the AF lens 112 to the focus position calculated by interpolation (focus position drive).
  • the CPU 190 controls the imaging unit 110 so as to expose the edge that is brought into focus by the shooting AF. Then, the CPU 190 stores (records) the image captured by the imaging unit 110 in the storage medium 200 via the communication unit 170 (step S19).
  • the focus adjustment device 191 detects the edge of the subject image for each color component constituting the image including the subject image incident from the lens barrel 111 having the AF lens 112 for performing focus adjustment.
  • An edge detection unit 192 is provided.
  • the focus adjustment device 191 further includes a distribution detection unit 193 that detects the distribution of the in-focus state and the out-of-focus state in the image based on the edge detected by the edge detection unit 192 for each color component.
  • the focus adjustment device 191 further includes a control unit 194 that moves the AF lens 112 to focus on the subject image based on the distribution (depth map) detected by the distribution detection unit 193.
  • the control unit 194 moves the AF lens 112 only in the near side region.
  • the focusing drive is completed in a short time compared to the case where the normal contrast scan is executed.
  • the control unit 194 moves the AF lens 112 only in the infinite side region.
  • the focusing drive is completed in a short time compared to the case where the normal contrast scan is executed.
  • the focus adjustment device 191 can quickly focus on a subject image that has never been focused.
  • the distribution detection unit 193 detects the distribution of the in-focus state and the out-of-focus state based on the gradient of the color component amount of the edge detected for each color component by the edge detection unit 192. Thereby, the focus adjustment device 191 can quickly focus on the subject image based on the gradient of the color component amount of the edge.
  • the distribution detection unit 193 is focused on the near point side of the subject based on the ratio or difference of the color component amounts of the edges detected by the edge detection unit 192 for each color component, or is far from the subject. A direction indicator indicating that the camera is focused on the side is detected. At the same time, the distribution detection unit 193 also detects the defocus amount. Accordingly, the focus adjustment device 191 can quickly focus on the subject image without increasing the calculation load based on the ratio or difference of the color component amounts of the edges.
  • the distribution detection unit 193 detects the defocus amount based on the edge color component amount ratio or the difference between peaks detected by the edge detection unit 192 for each color component. Accordingly, the focus adjustment device 191 can quickly focus on the subject image without increasing the calculation load based on the ratio of the color component amounts of the edges or the distance between peaks of the difference.
  • FIG. 23 shows a flowchart showing the procedure of focusing drive based on LSF.
  • the CPU 190 of the imaging apparatus 100 sets an area (central area area) in the center of the through image as an area to be focused (AF) on the edge (step Sd1). This setting may be executed based on a user operation input received by the operation unit 180.
  • CPU 190 controls imaging unit 110 to execute exposure control (step Sd2).
  • the image processing unit 140 acquires a through image (step Sd3).
  • the CPU 190 controls the imaging unit 110 to execute a debayer (color interpolation) process.
  • the image processing unit 140 performs image processing on the acquired through image.
  • the image processing unit 140 performs white balance (White Balance, WB) adjustment processing and noise reduction (Noise Reduction, NR) processing on the acquired through image (step Sd4).
  • the through image acquired by the image processing unit 140 may be an image in which the resolution is reduced by thinning out the electrical signal output by the image sensor 119. In this way, the amount of image processing executed by the image processing unit 140 can be reduced.
  • the image processing unit 140 displays the through image subjected to the image processing on the display unit 150 (step Sd5).
  • CPU 190 determines whether or not a focus instruction is input to CPU 190 (step Sd6). When the focus instruction is not input (step Sd6-NO), the process of the CPU 190 returns to step Sd3. If a focus instruction has been input (step Sd6-YES), the process of the CPU 190 proceeds to step Sd7.
  • the image processing unit 140 acquires a through image at full resolution (step Sd7). Then, the CPU 190 controls the imaging unit 110 to execute a debayer (color interpolation) process. In addition, the image processing unit 140 performs image processing on the acquired through image. For example, the image processing unit 140 performs white balance adjustment processing and noise reduction processing on the acquired through image (step Sd8).
  • the edge detection unit 192 extracts an edge image for each color channel with a Laplacian filter or the like in the central area region (step Sb9). Then, the edge detection unit 192 extracts an effective edge whose color component amount (edge power) is a certain amount or more (step Sb10). Further, the edge detection unit 192 calculates the LSF of the extracted edge with respect to the horizontal direction of the image (step Sd11).
  • the edge detection unit 192 detects the positional correlation for the edge of each color channel (step Sb12). Then, the edge detection unit 192 selects the edges of two or more color channels having a positional correlation, and extracts an edge image (step Sb13).
  • an edge image of the R channel and an edge image of the G channel are extracted will be described as an example.
  • the edge detection unit 192 thickens the edges of the extracted edge image, and creates a mask image (see FIG. 15D) that masks other than the edges (step Sd14).
  • the distribution detection unit 193 divides the mask image into “8 ⁇ 8” blocks. Then, the distribution detection unit 193 refers to the LSF of each block and calculates the average value of the LSF per pixel (step Sd15). Furthermore, the distribution detection unit 193 may perform labeling of the subject image based on the calculated average value. When there are a plurality of labels in the central area, the distribution detection unit 193 determines that there are a plurality of subject distances in the central area (step Sd16).
  • the control unit 194 calculates the driving direction of the AF lens 112 and the defocus amount (contrast scan start position) based on the R channel edge and the G channel edge (step Sd17).
  • the control unit 194 moves the AF lens 112 to a start position (for example, a position in the near side region in the front pin state).
  • the control unit 194 executes contrast scanning while calculating the LSF. While executing the contrast scan, the control unit 194 once passes through the position where the LSF indicates the in-focus state (see FIG. 13), and stops the scan drive (step Sd18).
  • control unit 194 calculates a focus position by interpolation, and moves the AF lens 112 to the calculated focus position (step Sd19).
  • image processing unit 140 repeatedly acquires through images (step Sd20).
  • the image processing unit 140 displays the through image on the display unit 150 (step Sd21).
  • the control unit 194 may set a region wider than the central area region as a region to be focused on the edge (AF region).
  • the distribution detection unit 193 is focused on the near point side from the subject based on the line spread function (LSF) corresponding to the edge detected for each color component by the edge detection unit 192, or A direction index indicating that the subject is focused on the far point side from the subject is detected. Furthermore, the distribution detection unit 193 also detects the defocus amount. Thereby, the focus adjustment device 191 can quickly focus even when the subject image is a single color, when the area of the subject image is small, or when the spatial frequency of the subject image is low (content tolerance).
  • LSF line spread function
  • the distribution detection unit 193 detects the defocus amount based on the standard deviation or half-value width of the line spread function (LSF) corresponding to the edge detected for each color component by the edge detection unit 192. Accordingly, the focus adjustment device 191 can quickly focus on the subject image based on the standard deviation or the half-value width of the edge line spread function.
  • LSF line spread function
  • the focus adjustment device 191 includes an edge detection unit 192 that detects the edge of the subject image for each color component constituting the image including the subject image incident from the lens barrel 111 having the AF lens 112 for performing focus adjustment. Prepare.
  • the focus adjustment device 191 further includes a distribution detection unit 193 that calculates an edge line spread function (LSF) detected by the edge detection unit 192 for each color component.
  • the focus adjustment device 191 further includes a control unit 194 that moves the AF lens 112 to focus on the subject image based on the line spread function.
  • the focus adjustment device 191 can quickly focus even when the subject image is a single color, when the area of the subject image is small, or when the spatial frequency of the subject image is low.
  • a second embodiment of the present invention will be described in detail with reference to the drawings.
  • the second embodiment is different from the first embodiment in that the distribution detection unit 193 predicts an in-focus position (defocus amount) based on a “defocus-drive pulse table” described later. Only the differences between the second embodiment and the first embodiment will be described below.
  • FIG. 24 shows an example of “defocus-drive pulse table”.
  • the items (reference) of the defocus-drive pulse table include the lens position, the evaluation value, the number of steps of the drive pulse in the front pin state (hereinafter referred to as “the number of steps in the front pin state”), the rear pin The number of steps of the driving pulse in the state (hereinafter referred to as “the number of steps in the rear pin state”).
  • the evaluation value may be any of defocus amounts based on Ed, Wd, and LSF.
  • the number of steps of the driving pulse is a driving pulse output from the lens barrel control unit 118 to the lens driving unit 116 in response to the driving control signal.
  • the number of steps of the drive pulse is determined in advance based on the structure of the lens barrel control unit 118.
  • the number of steps in the front pin state indicates the number of steps necessary to move from the current lens position to the in-focus position in the front pin state.
  • the number of steps in the rear pin state indicates the number of steps necessary to move from the current lens position to the in-focus position in the rear pin state.
  • the defocus-drive pulse table may be stored in the storage unit 160.
  • the distribution detector 193 periodically detects an evaluation value (defocus amount). Then, the distribution detection unit 193 registers the detected evaluation value and the lens position at the time of detection in the item “evaluation value” of the defocus-drive pulse table. Furthermore, the distribution detection unit 193 registers “the number of steps in the front pin state” and “the number of steps in the rear pin state” in the defocus-drive pulse table. These “number of steps in the front pin state” and “number of steps in the rear pin state” are determined in advance based on the structure of the lens barrel control unit 118. The distribution detection unit 193 creates a history by repeating these registration operations.
  • control unit 194 limits the moving direction of the AF lens 112 and the contrast scan area based on the defocus-drive pulse table.
  • FIG. 25 shows the contrast scan area when the front pin and the degree thereof are determined. At the same time, FIG. 25 also shows the contrast scan area when the rear pin and the degree thereof are determined.
  • the control unit 194 focuses on the closest region based on the defocus-drive pulse table (see FIG. 24). Define the forecast range.
  • the lens position (focus position) output from the lens barrel control unit 118 is the value “1”
  • the evaluation value (defocus amount) detected by the distribution detection unit 193 is the value “1”
  • the distribution detection unit It is assumed that the direction indicator detected by 193 indicates the front pin state.
  • the control unit 194 determines whether or not the number of steps at the front pin corresponding to the lens position “1” and the evaluation value “1” is registered in the defocus-drive pulse table (see FIG. 24). Refer to In the example shown in FIG. 24, the lens position “1” and the “number of steps at the front pin” corresponding to the evaluation value “1” are registered. Therefore, the control unit 194 obtains the step number “23” at the previous pin from the defocus-drive pulse table.
  • control unit 194 predicts that the in-focus position is at the position where the AF lens 112 has moved the movement amount corresponding to the step number “23” of the drive pulse in the closest direction from the current lens position. And the control part 194 determines the prediction range of the predetermined length centering on the estimated position. Furthermore, the control unit 194 executes contrast scanning limited to the prediction range. The length of the prediction range may be further increased by adding a safety coefficient.
  • control unit 194 when it is determined that the edge of the subject image set as the tracking target is in the “rear pin state”, the control unit 194 also uses the defocus-driving pulse table (see FIG. 24) to determine the infinity side. The prediction range of the focus position centering on the focus position in the area is determined. Then, the control unit 194 executes the contrast scan only within the focus position prediction range.
  • FIG. 26 shows a flowchart showing the focus drive procedure of the focus adjustment device 191 in the tracking operation for tracking the subject image.
  • Steps Sc1 to Sc15 in FIG. 26 are the same as steps S1 to S15 in FIG.
  • Steps Sc18 to Sc20 in FIG. 26 are the same as steps S17 to S19 in FIG.
  • Steps Sc16 and Sc17 in FIG. 26 indicate parallel processing.
  • Reference numeral 194 limits the moving direction of the AF lens 112. Then, the control unit 194 refers to the defocus-driving pulse table with reference to FIG. 24 to further determine the focus position prediction range. (Step Sc16).
  • the control unit 194 executes the contrast scan (small scan) by limiting the movement direction of the AF lens 112 and further limiting the focus position prediction range. Further, the control unit 194 moves the AF lens 112 to the in-focus position so as to focus on the edge of the subject image (step Sc17). Then, the process of the control unit 194 proceeds to step Sc18.
  • the subsequent steps are the same as in the first embodiment.
  • the range in which the contrast scan is executed is limited to the in-focus position prediction range.
  • the focus adjustment device 191 can focus on the subject image more quickly than the normal contrast scan.
  • FIG. 27 shows an example of in-focus driving in contrast scanning based on “defocus-driving pulse table”.
  • the control unit 194 executes the focusing drive based on the evaluation value Ed will be described as an example.
  • Each horizontal axis in FIG. 27 indicates the number of frames of a through image captured by the imaging unit 110.
  • the vertical axis in the upper part of FIG. 27 indicates Ed of the common edge.
  • Ed in the frame number f1 is set as “Ed value (initial)”.
  • the vertical axis in the lower part of FIG. 27 indicates the lens position.
  • the control unit 194 executes the contrast scan and focuses on the edge of the subject image.
  • the distribution detection unit 193 calculates Ed at a constant period. If the distribution detection unit 193 determines that the motion per unit time of the subject image is large based on the motion vector of the subject image included in the through image, the distribution detection unit 193 increases the rate of calculating Ed. The distribution detection unit 193 may increase the rate of calculating Ed when it is determined that the relative difference between the previously calculated evaluation value Ed and the currently calculated evaluation value Ed is large.
  • control unit 194 executes contrast scan and scans the AF lens 112 in the number of frames f1 to f2.
  • the distribution detection unit 193 determines that the movement of the subject image per unit time is large during scan driving, the distribution detection unit 193 increases the rate at which Ed is calculated.
  • the control unit 194 drives the AF lens 112 to the in-focus position and focuses on the common edge of the subject image in the frame numbers f2 to f3.
  • the common edge of the subject image is in focus in the frame numbers f3 to f4.
  • the in-focus position in the number of frames f3 to f4 may be different from the in-focus position (initial).
  • the control unit 194 limits the moving direction and moving amount of the AF lens 112 based on the defocus-driving pulse table.
  • the lens position (focus position) output from the lens barrel control unit 118 is the value “1”
  • the evaluation value (defocus amount) detected by the distribution detection unit 193 is the value “1”
  • the distribution detection unit It is assumed that the direction indicator detected by 193 indicates the front pin state.
  • the control unit 194 registers “the number of steps at the front pin” corresponding to the lens position “1” and the evaluation value “1” in the “defocus-drive pulse table (see FIG. 24)”. It is determined whether or not. In the example shown in FIG. 24, since “the number of steps at the front pin” corresponding to the lens position “1” and the evaluation value “1” is registered in the table, the control unit 194 performs defocusing. -Get the number of steps "23" at the previous pin from the drive pulse table.
  • control unit 194 predicts that the in-focus position is located at the position where the AF lens 112 has moved by the amount of movement corresponding to the step number “23” of the drive pulse from the current lens position toward the closest direction. Then, the control unit 194 outputs a drive control signal to the lens barrel control unit 118. Then, the control unit 194 drives the AF lens 112 in the closest direction by the amount of movement corresponding to the step number “23” of the drive pulse. Accordingly, it is assumed that the control unit 194 focuses on the edge at the frame number f5.
  • control unit 194 repeats the same operation as the frame numbers f3 to f5 in the “frame numbers f5 to f7” and the “frame numbers f7 to f9”. Then, it is assumed that a focus instruction or a shooting instruction is input to the CPU 190 at the number of frames f10 by operating the operation unit 160 by the user.
  • FIG. 28 shows an enlarged view of the frame number f10 to f12 in the example of the focusing drive shown in FIG.
  • the vertical axis indicates the lens position.
  • the horizontal axis indicates the number of frames.
  • the control unit 194 determines an in-focus position prediction range centered on the in-focus position based on the defocus-drive pulse table (see FIG. 24) at the frame number f10. And the control part 194 performs a contrast scan about a prediction range. At the same time, the control unit 194 temporarily passes through the in-focus position where the contrast value shows a peak, and calculates the evaluation value Ed by interpolation at the frame number f11.
  • control unit 194 returns the AF lens 112 to the focus position calculated by interpolation (focus position drive).
  • the focus adjustment device 191 detects the edge of the subject image for each color component constituting the image including the subject image incident from the lens barrel 111 having the AF lens 112 for performing focus adjustment.
  • An edge detection unit 192 is provided.
  • the focus adjustment device 191 further includes a distribution detection unit 193 that detects the distribution of the in-focus state and the out-of-focus state in the image based on the edge detected by the edge detection unit 192 for each color component. Then, the focus adjustment device 191 creates a “defocus-driving pulse table” including the history of the distribution detected by the distribution detection unit 193, and based on the history, the AF lens 112 is focused on the subject image.
  • a control unit 194 to be moved is further provided.
  • the focus adjustment device 191 can focus the subject image that has never been focused more quickly than when the defocus-drive pulse table is not referred to.
  • a third embodiment of the present invention will be described in detail with reference to the drawings.
  • the third embodiment is different from the first and second embodiments in that the distribution detection unit 193 calculates a defocus amount using pixel value difference data (autocorrelation) by pixel shift as an evaluation value. Only differences from the first and second embodiments will be described below.
  • FIG. 29 shows a flowchart showing the operation of the focus adjustment device 191 having the moving image capturing mode.
  • the CPU 190 sets the imaging device 100 to the moving image imaging mode (step Se1).
  • the CPU 190 may set the imaging device 100 to the moving image imaging mode based on a user operation input received by the operation unit 180.
  • the CPU 190 controls the image processing unit 140 so as to perform image processing on the image captured by the imaging device 110 as a moving image.
  • the image processing unit 140 acquires 1/30 thinned data (step Se2).
  • 1/30 thinned-out data is a through image output from the image sensor 119 every 1/30 second, and a part of the thinned-out image has a reduced resolution.
  • the CPU 190 controls the imaging unit 110 to execute an automatic exposure (AE) process (step Se3).
  • AE automatic exposure
  • the control unit 194 of the focus adjustment device 191 executes the first focusing drive.
  • the focusing method in this focusing drive may be selected as appropriate.
  • the focusing method may be a contrast AF method or another focusing method (phase difference detection method or the like).
  • the edge detection unit 192 selects a region having a high color component amount contrast from the through image as an evaluation area for evaluating the evaluation value (step Se4).
  • the control unit 194 executes contrast scanning and scans the AF lens 112 (step Se5). Then, the edge detection unit 192 shifts the through image by one pixel in the horizontal direction within the evaluation area. Further, the edge detection unit 192 calculates (collects) difference data of pixel values (for example, color component amounts) between the through image shifted by one pixel in the horizontal direction and the original through image for each color channel (step) Se6).
  • pixel values for example, color component amounts
  • the distribution detection unit 193 creates a histogram of difference data for 10% of the difference data number of the G channel, and calculates an average value of the difference data (Step Se7). Note that the distribution detection unit 193 may create a histogram of difference data for the total number of difference data for the G channel.
  • FIG. 30A shows a histogram of difference data in a focused state.
  • FIG. 30B shows a histogram of difference data in the out-of-focus state.
  • the horizontal axis of Drawing 30A and Drawing 30B shows difference data.
  • the vertical axis indicates the frequency of difference data.
  • the distribution detection unit 193 determines that the through image is out of focus.
  • the image processing unit 140 newly acquires 1/30 thinning data (step Se8). Then, the edge detection unit 192 shifts the through image by one pixel in the horizontal direction within the evaluation area. Furthermore, the edge detection unit 192 calculates (collects) difference data of pixel values (for example, color component amounts) between the through image shifted by one pixel in the horizontal direction and the original through image for each color channel. Further, the distribution detection unit 193 creates a histogram of difference data for 10% of the number of difference data, and calculates an average value of the difference data for each color channel (step Se9). Note that the distribution detection unit 193 may create a histogram of difference data for each color channel with respect to the total number of difference data.
  • the distribution detection unit 193 determines that the through image is in a defocused state (Step Se10). Further, the distribution detection unit 193 determines whether the edge of the subject image is in the front pin state or the back pin state based on the change in the average value of the R channel difference data and the change in the average value of the B channel difference data. Is determined (step Se11).
  • the distribution detection unit 193 determines that the edge of the subject image is in the front pin state when the change in the average value of the R channel difference data is greater than the change in the average value of the B channel difference data. May be.
  • control unit 194 executes a contrast scan by limiting the scan area (step Se12).
  • the focus adjustment device 191 shifts the image by one pixel in the horizontal direction and calculates difference data from the original image, thereby executing a contrast scan by limiting the scan region. Accordingly, the control unit 194 ends the focusing drive in a short time with a light processing load as compared with the case where the normal contrast scan is executed. Therefore, the focus adjustment device 191 can quickly focus on a subject image that has never been focused.
  • the focus adjustment device 191 may improve the performance of the contrast AF of the spotlight subject based on the evaluation value described above.
  • FIG. 31 shows a flowchart showing the operation of the focus adjustment device 191 for determining spot light.
  • the image processing unit 140 acquires a through image (decimated VGA resolution) from the imaging unit 110 (step Sf1).
  • the cycle in which the image processing unit 140 acquires the through image may be a cycle (interval rate) shorter than usual.
  • the CPU 190 controls the imaging unit 110 to execute a debayer (color interpolation) process.
  • the image processing unit 140 performs image processing on the acquired through image. For example, the image processing unit 140 performs white balance adjustment processing and noise reduction processing on the acquired through image (step Sf2).
  • the distribution detection unit 193 creates a histogram of color component amounts and determines whether or not there is a clip channel in the histogram (step Sf3).
  • the clip channel is a channel in which the color component amount is saturated.
  • the distribution detection unit 193 may create a histogram of luminance values.
  • the distribution detection unit 193 determines that there is spot light around a pixel where clipping (saturation) occurs, and searches for an effective edge in the vicinity (step Sf4). Then, in order to search for an effective edge using a high-resolution image (an image that has not been thinned out), the image processing unit 140 acquires a high-resolution image from the imaging unit 110 (multi-scale window). The distribution detection unit 193 searches for a valid edge around a pixel where clipping (saturation) occurs in a high-resolution image (step Sf5).
  • the distribution detection unit 193 calculates the LSF based on the edge information and compares the LSF for each color channel. Then, as described above, the distribution detection unit 193 calculates the direction index and the defocus amount (step Sf6). Then, the control unit 194 drives the AF lens 112 based on the direction indicator and the defocus amount (step Sf7).
  • the focus adjustment device 191 searches for a valid edge around the pixel where clipping (saturation) occurs. As a result, it is possible to improve the performance of the contrast AF of the spotlight subject. Further, the imaging apparatus 100 may change imaging conditions (for example, an aperture value, an exposure value, etc.) based on a result of the spot adjustment device 191 detecting spot light (scene detection).
  • imaging conditions for example, an aperture value, an exposure value, etc.
  • the imaging apparatus 100 may switch the imaging mode to the “macro (close-up) imaging mode” based on the direction index and the defocus amount calculated by the focus adjustment apparatus 191.
  • FIG. 32 is a diagram for explaining the switching determination operation to the macro imaging mode.
  • the distribution detection unit 193 determines that the subject image is in the front pin state when the position of the AF lens 112 is closest.
  • the CPU 190 of the imaging apparatus 100 switches the imaging mode to the “macro (close-up) imaging mode” based on the direction index (front pin state) calculated by the focus adjustment apparatus 191 and the defocus amount.
  • the control unit 194 executes the contrast scan by limiting the scan range to the “close range of macro (close-up)” that is further closer than the close range in the normal contrast scan.
  • the imaging apparatus 100 sets the imaging mode to “macro (close-up) imaging based on the direction index (front pin state) calculated by the focus adjustment apparatus 191 and the defocus amount, regardless of the user's operation input. Can be switched to "mode".
  • the color channel may be expressed in a color space expression format other than RGB.
  • the color channel may be expressed in a color space expression format by color difference (YCbCr, YUV, etc.).
  • the distribution detection unit 193 may subdivide the blocks based on the result of grouping the subject images with the same color and label the subject images.
  • the distribution detection unit 193 may change the resolution of the image when a valid edge is not detected.
  • the distribution detection unit 193 may perform super-resolution processing.
  • each profile, each parameter, and each threshold value described above may be changed according to the zoom position, the image height, and the focus range position.
  • the distribution detection unit 193 determines that the change in the evaluation value is small based on the evaluation value history calculated at a certain period, the distribution detection unit 193 determines the period for calculating the evaluation value as the movement of the subject is small. It may be longer. In this way, the distribution detection unit 193 can reduce the calculation load for calculating the evaluation value.
  • SFR Spatial Frequency Response
  • the focus adjustment device selects N upper edges (N is an integer equal to or greater than 1) as upper edges from the plurality of edges according to the priority order. Then, the focus adjustment device performs focus adjustment based on these selected edges (see, for example, step S11 in FIG. 19). A method of selecting an edge for performing focus adjustment by the focus adjustment apparatus when a plurality of edges exist in the image will be described below.
  • the distribution detection unit 193 selects the upper edge in the descending order of power (the amount of color component is large) among the edges detected by the edge detection unit 192 for each color component. In addition, the distribution detection unit 193 selects an upper edge in descending order of color component contrast among the edges detected by the edge detection unit 192 for each color component.
  • the distribution detection unit 193 determines the color component signal pair.
  • the upper edge is selected in descending order of noise ratio.
  • the distribution detection unit 193 selects the upper edge in descending order of the color component contrast. To do.
  • the distribution detection unit 193 determines that the edge having a relatively low signal-to-noise ratio and a relatively high contrast and the signal-to-noise ratio are relatively At least one of the edges having high and relatively low contrast is selected.
  • FIG. 33A and 33B are diagrams for explaining the priority order of edges selected when edges having different signal-to-noise ratios of color components are mixed.
  • the vertical axis represents the amount of color components.
  • the horizontal axis indicates the position on the axis D (see FIG. 7).
  • FIG. 33A shows an edge with a relatively high signal-to-noise ratio and a relatively low contrast.
  • FIG. 33B shows an edge having a relatively low signal-to-noise ratio and a relatively high contrast.
  • the distribution detection unit 193 selects an edge composed of white and black color components. When there is no edge composed of white and black color components, the distribution detection unit 193 includes two or more primary colors among the edges detected by the edge detection unit 192 for each color component, and the color components have the same phase. Select a changing edge. When two primary colors are included in the edge, the distribution detection unit 193 selects an edge including a green component (G channel). When the green component is not included in the edge, the distribution detection unit 193 selects an edge including the blue component (B channel).
  • G channel green component
  • B channel blue component
  • FIG. 34A, 34B, and 34C are diagrams showing the priority order of edges selected when two primary colors are included.
  • the vertical axis represents the amount of color components.
  • the horizontal axis indicates the position on the axis D (see FIG. 7).
  • FIG. 34A shows an edge constituted by an R channel and a G channel that change in phase.
  • FIG. 34B shows an edge composed of the R channel and the G channel that change in phase, and the edge of the R channel is lower than the contrast of the R channel shown in FIG. 34A. Yes.
  • FIG. 34C shows an edge constituted by an R channel and a B channel that change in phase.
  • the edge with the highest priority is the edge shown in FIG. 34A that includes a green component (G channel) and has high contrast.
  • the edge with the lowest priority among these edges is the edge shown in FIG. 34C that does not contain a green component.
  • the edge containing the green component is detected with high accuracy by the image sensor 119 (see FIG. 1).
  • FIGS. 35A and 35B are diagrams for explaining the change in the color component amount according to the position crossing one edge where the color component is flat and the change in the color component amount according to the position crossing a plurality of edges.
  • shaft of FIG. 35A and 35B shows the amount of color components.
  • the horizontal axis in FIG. 35A indicates a position crossing one edge, that is, a position on the axis D (see FIG. 7).
  • the horizontal axis of FIG. 35B indicates a position crossing a plurality of edges.
  • FIG. 35A shows a change in the amount of the color component according to the position crossing one edge where the color component is flat.
  • the edge has a flat color component amount greater than or equal to predetermined widths W1 and W2.
  • widths W3 and W4 including a range in which the color component amount has a gradient may be determined instead of the widths W1 and W2.
  • FIG. 35B shows a change in the color component amount according to the position crossing the plurality of edges.
  • the color component amount of each edge is not flat. Therefore, the edge with the highest priority among these edges is the edge shown in FIG. 35A, in which the color component is flat beyond a predetermined width.
  • the distribution detection unit 193 selects an edge having a length equal to or longer than the length determined according to the signal-to-noise ratio of the color component from the edges detected by the edge detection unit 192 for each color component. For example, the distribution detection unit 193 selects a longer edge as the signal-to-noise ratio of the color component is lower.
  • FIG. 36 is a flowchart illustrating a procedure for selecting an upper edge in accordance with the priority order.
  • the edge detection unit 192 detects a plurality of edges (step Sg1).
  • the distribution detection unit 193 detects the intensity (power, color component amount) of the edge detected by the edge detection unit 192 (step Sg2).
  • the edge detection unit 192 selects the top N edges with the highest priority based on the detected edge strength. For example, the edge detection unit 192 sets an edge having a large amount of color component as a tracking target (step Sg3).
  • the distribution detection unit 193 selects an edge having a higher priority based on the color components constituting the selected edge (see FIGS. 34A, 34B, and 34C). For example, when two primary colors are included in the edge, the distribution detection unit 193 selects an edge including a green component (G channel) (step Sg4).
  • G channel green component
  • the distribution detection unit 193 selects an edge having a higher priority based on the contrast of the selected edge (see FIG. 33). For example, the distribution detection unit 193 selects an upper edge in descending order of color component amount difference (adjacent difference) between adjacent pixels (step Sg5).
  • the distribution detection unit 193 selects an edge with a higher priority. (Step Sg6).
  • the distribution detection unit 193 selects an edge having a length longer than that determined according to the signal-to-noise ratio of the color component. For example, the distribution detection unit 193 selects a longer edge as the signal-to-noise ratio of the color component is lower (step Sg7).
  • the distribution detection unit 193 registers an edge address which is edge identification information. That is, the distribution detection unit 193 sets the finally selected upper edge as a tracking target (step Sg8).
  • the control unit 194 determines whether the AF lens 112 is in the front pin state or the rear pin state based on the edge evaluation value. That is, the control unit 194 moves the AF lens 112 to focus on the edge of the subject image based on the distribution of the in-focus state and the out-of-focus state detected by the distribution detection unit 193.
  • the control unit 194 executes a contrast scan by limiting the moving direction of the AF lens 112 (step Sg9).
  • the distribution detection unit 193 may select an edge having a higher priority based on the luminance of the edge instead of the color component of the edge.
  • a program for realizing the procedure described with reference to FIGS. 16, 19, 20, 23, 26, 29, 31 and 36 is recorded on a computer-readable recording medium, and the program recorded on the recording medium May be executed by causing the computer system to read and execute.
  • the “computer system” may include an OS and hardware such as peripheral devices.
  • “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
  • the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic) in a computer system which becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) is also assumed to include a recording medium that holds a program for a certain period of time.
  • the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the “transmission medium” for transmitting the program refers to a medium having a characteristic point for transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be a program for realizing a part of the utility described above.
  • the program may be a so-called difference file (difference program) that can realize the above-described utility in combination with a program already recorded in the computer system.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　被写体像を含む画像を構成する色成分毎に、前記被写体像のエッジを検出するエッジ検出部と；前記エッジ検出部が検出した前記エッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出する分布検出部と；前記分布検出部が検出した前記分布に基づいてレンズを移動させる制御部と；を備える焦点調節装置であって、前記被写体像は、前記レンズを有する光学系から入射され、前記制御部が前記レンズを移動させる結果、前記被写体像に焦点が合う。

Description

焦点調節装置、及び焦点調節プログラム
　本発明は、色収差を応用して焦点を調節する焦点調節装置、及び焦点調節プログラムに関する。
　本願は、２０１０年２月１５日に日本に出願された、特願２０１０－０３０４８１号に基づき優先権を主張し、その内容をここに援用する。
　レンズを通じて得られた被写体像に合焦させる際、色収差を応用するビデオカメラが知られている（特許文献１参照）。
　しかしながら、特許文献１に開示されたビデオカメラは、一度合焦された被写体像に速やかに合焦することはできても、一度も合焦されていない被写体像には、速やかに合焦させることができなかった。すなわち、特許文献１に開示されたビデオカメラは、被写体像に速やかに合焦させることができないという問題点があった。
特開平５－４５５７４号公報
　本発明は、色収差を応用して被写体像に速やかに合焦させることができる焦点調節装置、及び焦点調節プログラムを提供することを目的とする。
　本発明の一態様に係る焦点調節装置は、被写体像を含む画像を構成する色成分毎に、前記被写体像のエッジを検出するエッジ検出部と；前記エッジ検出部が検出した前記エッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出する分布検出部と；前記分布検出部が検出した前記分布に基づいてレンズを移動させる制御部と；を備える。前記被写体像は、前記レンズを有する光学系から入射される。また、前記制御部が前記レンズを移動させる結果、前記被写体像に焦点が合う。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記エッジ検出部が検出した前記エッジの色成分量の勾配に基づいて、前記分布を検出する。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記エッジ検出部が検出した前記エッジの色成分量の比又は差に基づいて、被写体に対して近点側と遠点側のどちらに合焦しているかを示す方向指標と、デフォーカス量と、を検出する。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記エッジ検出部が検出した前記エッジの色成分量の比又は差のピーク間距離に基づいて、前記デフォーカス量を検出する。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記エッジ検出部が検出した前記エッジに対応する線広がり関数に基づいて、被写体に対して近点側と遠点側のどちらに合焦しているかを示す方向指標と、デフォーカス量と、を検出する。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記エッジ検出部が検出した前記エッジに対応する線広がり関数の標準偏差又は半値幅に基づいて、前記デフォーカス量を検出する。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記エッジ検出部が検出した前記エッジのうち、色成分量が多い順に上位のエッジを選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出する。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記エッジ検出部が検出した前記エッジのうち、前記色成分のコントラストが高い順に上位のエッジを選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出する。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記色成分の前記コントラストが同じエッジと、前記色成分の信号対雑音比が異なるエッジとが混在している場合、前記色成分の前記信号対雑音比が高い順に上位のエッジを選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出する。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記色成分の信号対雑音比が異なるエッジが混在している場合、前記信号対雑音比が相対的に低く且つ前記コントラストが相対的に高いエッジと、前記信号対雑音比が相対的に高く且つ前記コントラストが相対的に低いエッジとのうち少なくとも一方を選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出する。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記エッジ検出部が検出した前記エッジのうち、２原色以上含まれ且つ前記色成分が同位相で変化するエッジを選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出する。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記エッジに２原色含まれている場合、緑色成分を含むエッジを選択する。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記エッジ検出部が検出した前記エッジのうち、予め定められた幅以上に前記色成分が平坦であるエッジを選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出する。
　上記焦点調節装置は、以下のように構成されてもよい：前記分布検出部は、前記エッジ検出部が検出した前記エッジのうち、前記色成分の信号対雑音比に応じて定まる長さ以上のエッジを選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出する。
　本発明の一態様に係る焦点調節装置は、被写体像を含む画像を構成する色成分毎に、前記被写体像のエッジを検出するエッジ検出部と；前記エッジ検出部が検出した前記エッジの線広がり関数を算出する分布検出部と；前記線広がり関数に基づいてレンズを移動させる制御部と；を備える。前記被写体像は、前記レンズを有する光学系から入射される。また、前記制御部が前記レンズを移動させる結果、前記被写体像に焦点が合う。
　本発明の一態様に係るコンピュータは、焦点調節プログラムを実行するコンピュータである。前記焦点調節プログラムは、焦点調節を行うためのレンズを有する光学系から入射される被写体像を含む画像を構成する色成分毎に、前記被写体像のエッジを検出する手順と；前記エッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出する手順と；前記分布に基づいて、前記被写体像に合焦させるように前記レンズを移動させる手順と；を含む。
　本発明の一態様に係るコンピュータは、焦点調節プログラムを実行するコンピュータである。前記焦点調節プログラムは、焦点調節を行うためのレンズを有する光学系から入射される被写体像を含む画像を構成する色成分毎に、前記被写体像のエッジを検出する手順と；前記エッジの線広がり関数を算出する手順と；前記線広がり関数に基づいて、前記被写体像に合焦させるように前記レンズを移動させる手順と；を含む。
　本発明に係る焦点調節装置及び焦点調節プログラムは、被写体像に速やかに合焦させることができるという効果がある。
図１は、レンズ鏡筒１１１と、焦点調節装置１９１とを備える撮像装置１００と、記憶媒体２００との構成を示すブロック図である。 図２は、ＡＦレンズ１１２から被写体距離だけ離れた位置の被写体と、ＡＦレンズ１１２と、撮像素子１１９の撮像面と、錯乱円との関係を示す図である。 図３は、ＡＦレンズ１１２に入射された赤い光の焦点と、緑の光の焦点と、青い光の焦点との光軸上における位置関係を示す図である。 図４は、ＡＦレンズ１１２に入射された光の波長と、光軸上における結像面の位置との関係を示す図である。 図５Ａは、ＡＦレンズ１１２と、撮像素子１１９の撮像面と、前ピン状態での錯乱円との関係を示す図である。 図５Ｂは、撮像面に形成された、前ピン状態での錯乱円を示す図である。 図５Ｃは、前ピン状態での錯乱円の中心から外周に向かう半径方向の位置と、色成分量との関係を示す図である。 図６Ａは、ＡＦレンズ１１２と、撮像素子１１９の撮像面と、後ピン状態での錯乱円との関係を示す図である。 図６Ｂは、撮像面に形成された、後ピン状態での錯乱円を示す図である。 図７は、撮像された画像の一例を示す図である。 図８Ａは、エッジ位置１３近傍の色成分量を示す図であり、Ｇチャネルで合焦した状態での階調断面図である。 図８Ｂは、エッジ位置１３近傍の色成分量を示す図であり、Ｒチャネルで合焦した状態での階調断面図である。 図８Ｃは、エッジ位置１３近傍の色成分量を示す図であり、Ｂチャネルで合焦した状態での階調断面図である。 図９Ａは、エッジ位置１３近傍の色成分量を示す図であり、前ピン状態のＲチャネルのエッジと、後ピン状態のＲチャネルのエッジと、合焦状態のＧチャネルのエッジとの関係を示す。 図９Ｂは、エッジ位置１３近傍の色成分量を示す図であり、前ピン状態のＢチャネルのエッジと、後ピン状態のＢチャネルのエッジと、合焦状態のＧチャネルのエッジとの関係を示す。 図１０Ａは、エッジ位置１３近傍における「色成分量の差」を示す図であり、軸Ｄにおける位置と、Ｒチャネルの色成分量及びＧチャネルの色成分量の差との関係を示す。 図１０Ｂは、エッジ位置１３近傍における「色成分量の差」を示す図であり、図１０Ａと比較して、合焦状態に近づいた場合の波形を示す。 図１１Ａは、Ｇチャネルにおける合焦状態でのＬＳＦを示す図である。 図１１Ｂは、Ｇチャネルにおける非合焦（小ぼけ）状態でのＬＳＦを示す図である。 図１１Ｃは、Ｇチャネルにおける非合焦（大ぼけ）状態でのＬＳＦを示す図である。 図１２Ａは、合焦状態でのＬＳＦを色チャネル（Ｒ，Ｇ，Ｂ）毎に示す図である。 図１２Ｂは、前ピン状態でのＬＳＦを色チャネル（Ｒ，Ｇ，Ｂ）毎に示す図である。 図１２Ｃは、後ピン状態でのＬＳＦを色チャネル（Ｒ，Ｇ，Ｂ）毎に示す図である。 図１３は、色チャネル（Ｒ，Ｇ，Ｂ）毎のＬＳＦのプロファイル（データ）と、ぼけ度合いとの関係を示す図である。 図１４は、ＬＳＦの標準偏差の差をパラメータとする関数値と、被写体距離との関係を示す図である。 図１５Ａは、撮像部が撮像した画像の一部（部分画像）の例を示す。 図１５Ｂは、撮像された画像から抽出されたＲチャネルのエッジ画像を示す。 図１５Ｃは、撮像された画像から抽出されたＧチャネルのエッジ画像を示す。 図１５Ｄは、Ｒチャネルのエッジ画像とＧチャネルのエッジ画像との論理積（ＡＮＤ）を算出した結果を示す画像である。 図１６は、エッジ検出部１９２の動作を示すフローチャートである。 図１７は、エッジ位置１３近傍の色成分量を示す図の例と、ラプラシアンフィルタを使用した演算例を示す図である。 図１８は、デプスマップの例を示す図である。 図１９は、被写体を追尾する追尾動作における、焦点調節装置１９１の合焦駆動の手順を示すフローチャートである。 図２０は、エッジ特性の解析手順を示すフローチャートである。 図２１は、前ピン状態と判定された場合のスキャン領域と、後ピン状態と判定された場合のスキャン領域とを示す図である。 図２２Ａは、撮影用ＡＦでの山登りコントラストスキャンにおけるレンズ位置の移動を示す図であり、コントラストスキャンにおけるＡＦレンズ１１２の位置と、コントラスト値との関係の一例を示す。 図２２Ｂは、通常コントラストスキャン（図２１の中段を参照）における、ＡＦレンズ１１２の位置の移動を示す。 図２２Ｃは、評価値による前ピン状態及び後ピン状態の判定に基づくコントラストスキャン（図２１の下段を参照）における、ＡＦレンズ１１２の位置の移動を示す。 図２３は、ＬＳＦに基づく合焦駆動の手順を示すフローチャートである。 図２４は、「デフォーカス－駆動パルステーブル」の例を示す図である。 図２５は、前ピンとその度合が判定された場合のコントラストスキャン領域と、後ピンとその度合が判定された場合のコントラストスキャン領域とを示す図である。 図２６は、被写体を追尾する追尾動作における、焦点調節装置１９１の合焦駆動の手順を示すフローチャートである。 図２７は、「デフォーカス－駆動パルステーブル」に基づくコントラストスキャンにおける、合焦駆動の例を示す図である。 図２８は、「デフォーカス－駆動パルステーブル」に基づくコントラストスキャンにおける、合焦駆動の例の拡大図である。 図２９は、動画撮像モードを有する焦点調節装置１９１の動作を示すフローチャートである。 図３０Ａは、合焦状態における差分データのヒストグラムを示す図である。 図３０Ｂは、非合焦状態における差分データのヒストグラムを示す図である。 図３１は、スポット光を判定する焦点調節装置１９１の動作を示すフローチャートである。 図３２は、マクロ撮像モードへの切り替え判定動作を説明するための図である。 図３３Ａは、色成分の信号対雑音比が異なるエッジが混在している場合に選択されるエッジの優先順位を説明するための図であり、信号対雑音比が相対的に高く且つコントラストが相対的に低いエッジの場合を示す。 図３３Ｂは、色成分の信号対雑音比が異なるエッジが混在している場合に選択されるエッジの優先順位を説明するための図であり、信号対雑音比が相対的に低く且つコントラストが相対的に高いエッジの場合を示す。 図３４Ａは、２原色含まれる場合に選択されるエッジの優先順位を示す図であり、同位相で変化するＲチャネル及びＧチャネルにより構成されたエッジの場合を示す。 図３４Ｂは、２原色含まれる場合に選択されるエッジの優先順位を示す図である。図３４Ｂで示す優先順位を有するエッジは、同位相で変化するＲチャネル及びＧチャネルにより構成されており、Ｒチャネルのコントラストが、図３４Ａに示すＲチャネルのコントラストと比較して低い。 図３４Ｃは、２原色含まれる場合に選択されるエッジの優先順位を示す図である。図３４Ｃは、同位相で変化するＲチャネル及びＢチャネルにより構成されているエッジの場合を示す。 図３５Ａは、色成分が平坦である１本のエッジを横切る位置に応じた色成分量の変化を示す。 図３５Ｂは、複数本のエッジを横切る位置に応じた色成分量の変化を示す。 図３６は、優先順位に応じて上位のエッジを選択する手順を示すフローチャートである。
　（第１実施形態）
　本発明の第１実施形態について図面を参照して詳細に説明する。図１は、レンズ鏡筒１１１と、焦点調節装置１９１とを備える撮像装置１００と、記憶媒体２００との構成を示すブロック図である。撮像装置１００は、レンズ鏡筒１１１から入射される被写体像を撮像し、得られた画像を静止画又は動画の画像として、記憶媒体２００に記憶させる。
　まず、レンズ鏡筒１１１の構成を説明する。レンズ鏡筒１１１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、鏡筒制御部１１８とを備える。なお、レンズ鏡筒１１１は、撮像装置１００に着脱可能に接続されてもよいし、撮像装置１００と一体であってもよい。
　ＡＦレンズ１１２は、レンズ駆動部１１６により駆動される。このＡＦレンズ１１２は、後述する撮像部１１０の撮像素子１１９の受光面（光電変換面）に、被写体像を導く。
　ＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、ＡＦレンズ１１２の移動量に応じた信号を、鏡筒制御部１１８に出力する。ここで、ＡＦレンズ１１２の移動量に応じた信号は、例えば、ＡＦレンズ１１２の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。
　鏡筒制御部１１８は、撮像装置１００の、後述する焦点調節装置１９１から入力される駆動制御信号に応じて、レンズ駆動部１１６を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１２を光軸方向に駆動させる制御信号である。鏡筒制御部１１８は、駆動制御信号に応じて、例えば、レンズ駆動部１１６に出力するパルス電圧のステップ数を変更する。
　また、鏡筒制御部１１８は、ＡＦレンズ１１２の移動量に応じた信号に基づいて、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を、後述する焦点調節装置１９１に出力する。ここで、鏡筒制御部１１８は、例えば、ＡＦレンズ１１２の移動量に応じた信号を、移動方向に応じて積算することによって、レンズ鏡筒１１１におけるＡＦレンズ１１２の移動量（位置）を算出してもよい。
　レンズ駆動部１１６は、鏡筒制御部１１８の制御に応じてＡＦレンズ１１２を駆動する。そして、レンズ駆動部１１６は、ＡＦレンズ１１２をレンズ鏡筒１１１内で光軸方向に移動させる。
　次に、撮像装置１００の構成を説明する。撮像装置１００は、撮像部１１０と、画像処理部１４０と、表示部１５０と、バッファメモリ部１３０と、操作部１８０と、記憶部１６０と、ＣＰＵ１９０と、通信部１７０と、焦点調節装置１９１とを備える。
　撮像部１１０は、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備える。この撮像部１１０は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。
　撮像素子１１９は、光電変換面を備える。この撮像素子１１９は、レンズ鏡筒１１１（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。撮像素子１１９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）で構成されていてもよい。また、撮像素子１１９は、光電変換面の一部の領域について、光学像を電気信号に変換してもよい（切り出し）。
　また、撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態では、連続的に得られる画像をスルー画像として、焦点調節装置１９１及び表示部１５０に、Ａ／Ｄ変換部１２０を介して出力する。
　Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化する。そして、Ａ／Ｄ変換部１２０は、デジタル信号となった画像をバッファメモリ部１３０に出力する。
　操作部１８０は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備える。この操作部１８０は、ユーザによって操作されることによってユーザの操作入力を受け付ける。そして、操作部１８０は、操作入力に応じた信号をＣＰＵ１９０に出力する。
　画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記憶されている画像に対して、画像処理を行う。画像処理された画像は、通信部１７０を介して記憶媒体２００に記憶される。
　撮像部１１０によって得られた画像、及び操作画面等を表示する。表示部１５０の例として、液晶ディスプレイが挙げられる。
　バッファメモリ部１３０は、撮像部１１０によって撮像された画像を、一時的に記憶する。
　ＣＰＵ１９０によってシーン判定の際に参照される判定条件を記憶する。さらに、記憶部１６０は、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。
　ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に従って撮像部１１０を制御する。また、ＣＰＵ１９０は、操作部１８０から入力された「操作入力に応じた信号」に基づいて、画像を、静止画又は動画として画像処理部１４０に画像処理させる。
　通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続される。通信部１７０は、この記憶媒体２００への情報（画像データなど）の書込み、読み出し、あるいは消去を行う。
　記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、情報（画像データなど）を記憶する。なお、記憶媒体２００は、撮像装置１００と一体であってもよい。
　次に、焦点調節装置１９１について説明する。焦点調節装置１９１は、撮像素子１１９が出力した電気信号に基づいて生成された画像から、被写体像のエッジを検出する。そして、焦点調節装置１９１は、検出したエッジにおいて生じる、軸上色収差による色ずれを解析する。ここで、軸上色収差とは、入射された光の波長（色）によってレンズの焦点距離が異なるという特性である。
　焦点調節装置１９１は、色ずれの解析結果に基づいて、デフォーカス（焦点ずれ）特徴量を検出する。さらに、焦点調節装置１９１は、検出したデフォーカス特徴量に基づいて、被写体像に合焦させるように駆動制御信号を生成して、この駆動制御信号をレンズ鏡筒１１１の鏡筒制御部１１８に出力する（合焦駆動）。
　ここで、デフォーカス特徴量とは、方向指標と、デフォーカス量と、ＡＦレンズ１１２の焦点調節に必要な移動量（以下、「ピントずらし量」という）と、これらの履歴である。また、方向指標とは、被写体より近点側に合焦していること（以下、「前ピン」という）、又は被写体より遠点側に合焦していること（以下、「後ピン」という）を示す指標である。また、ピントずらし量は、デフォーカス量が多いほど、多くなる。また、ピントずらし量は、例えば、鏡筒制御部１１８が駆動制御信号に応じてレンズ駆動部１１６に出力するパルス電圧のステップ数で表現されてもよい。
　方向指標とデフォーカス量を検出するための評価値には、Ｅｄｇｅ Ｄｉｆｆｅｒｅｎｃｅ（以下、「Ｅｄ」という）と、デフォーカス量参照値（Ｗｉｄｔｈ　ｏｆ　Ｓｕｂｔｒａｃｔｉｏｎ，以下、「Ｗｄ」という）と、線広がり関数（Ｌｉｎｅ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ，以下、「ＬＳＦ」という）との、３つがある。
　まず、評価値の一つであるＥｄについて説明する。図２には、ＡＦレンズ１１２から被写体距離だけ離れた位置の被写体と、ＡＦレンズ１１２と、撮像素子１１９の撮像面（図２では「撮像面」と示されている）と、錯乱円との関係が示されている。ＡＦレンズ１１２は、被写体から入射される光を集光して、撮像素子１１９の光電変換面（撮像面）に被写体像を結像させる。ここで、被写体像に含まれる点像によって、撮像素子１１９の撮像面には、錯乱円が形成される。
　図３には、ＡＦレンズ１１２に入射された光の成分である赤い光（以下、「Ｒチャネル」又は「Ｒ」という）の焦点と、緑の光（以下、「Ｇチャネル」又は「Ｇ」という）の焦点と、青い光（以下、「Ｂチャネル」又は「Ｂ」という）の焦点との光軸上における位置関係が示されている。そして、図３には、光の波長に応じて、光の結像する位置（結像面）が異なることが示されている。光の波長に応じて結像面が異なるのは、例えば、光の波長に応じてレンズの屈折率が異なるためである。なお、レンズの屈折率は、レンズ固有の特性として、レンズ毎に異なっていても良い。以下では、図３に示されているように、Ｒチャネルの焦点がＡＦレンズ１１２から最も離れた位置にあり、Ｂチャネルの焦点がＡＦレンズ１１２から最も近い位置にあるとして説明する。
　図４には、ＡＦレンズ１１２に入射された光の波長と、光軸上における結像面の位置との関係が示されている。ここで、横軸は、ＡＦレンズ１１２に入射された光の波長を示す。また、縦軸は、結像面の位置を示し、値が大きいほどＡＦレンズ１１２から離れた位置を示す。このように、結像面の位置は、入射された光の波長が長いほど、ＡＦレンズ１１２から離れた位置となる。
　一般に、ＡＦレンズ１１２は、合焦状態で結像面（撮像面）における色ずれが最小となるように光学設計される。このため、非合焦状態では、合焦状態と比較して色ずれが大きくなる。そして、色ずれは、レンズ位置（ピント位置、ズーム位置）又はその他の要因により、変化することが知られている。また、錯乱円は、デフォーカス（焦点ぼけ）量が多いほど、その半径が大きくなる。さらに、錯乱円における色の配置は、レンズ位置（ピント位置）によっても変化する。
　図５Ａ，５Ｂ，５Ｃには、前ピン状態での錯乱円が示されている。図５Ａには、ＡＦレンズ１１２と、撮像素子１１９の撮像面と、錯乱円との関係が示されている。ＡＦレンズ１１２に入射された光は、軸上色収差によって、外側からＲ、Ｇ、Ｂの順となるように屈折（分光）され、撮像素子１１９の撮像面に導かれて、撮像面に錯乱円を形成する。なお、錯乱円は、点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ，以下、「ＰＳＦ」という）で表現されてもよい。
　図５Ｂには、撮像面に形成された錯乱円が示されている。前ピン状態での錯乱円は、軸上色収差によって、外側からＲ、Ｇ、Ｂの順になるため、外側から赤色、シアン色、白色の順に形成される。
　図５Ｃには、錯乱円の中心から外周に向かう半径方向の位置と、色成分量（色強度）との関係が、色成分量を縦軸に表した図（以下、「階調断面図」という）で示されている。錯乱円の中心から外周に向かう半径方向における色成分量の勾配（傾き）は、前ピン状態では、Ｒの勾配が最も緩やかで、Ｂの勾配が最も急であることが図５Ｃに示されている。このため、前ピン状態での錯乱円は、中心から外周に向かう半径方向に、白色、シアン色、青色、黄色、黄赤色、赤色の順に形成される。
　図６Ａ，６Ｂには、後ピン状態での錯乱円が示されている。図６Ａには、ＡＦレンズ１１２と、撮像素子１１９の撮像面と、錯乱円との関係が示されている。ＡＦレンズ１１２に入射された光は、軸上色収差によって、光軸上の焦点と撮像素子１１９との間では外側からＢ、Ｇ、Ｒの順に屈折（分光）され、撮像素子１１９の撮像面に導かれて、撮像面に錯乱円を形成する。
　図６Ｂには、撮像面に形成された錯乱円が示されている。後ピン状態での錯乱円は、軸上色収差によって、外周からＢ、Ｇ、Ｒの順になるため、中心から外周に向かう半径方向に、白色、黄色、青色（縁取り）の順に形成される。
　このように、軸上色収差によって、合焦状態及び非合焦状態に応じて、錯乱円の色の形成が異なる。この結果、焦点調節装置１９１（図１を参照）は、錯乱円の色の形成に基づいて、合焦状態及び非合焦状態を検出することができる。
　図７には、撮像された画像の一例が示されている。ここでは、一例として、白黒エッジチャートが撮像されている状態を説明する。なお、説明を簡単にするため、以下では、倍率色収差、レンズフレア（Ｌｅｎｓ ｆｌａｒｅ）を考慮せずに説明するが、これらが考慮されていなくても、本発明の要旨は変わらない。
　撮像部１１０に撮像された画像１０（白黒エッジチャート）は、黒い領域１１と、白い領域１２とで構成されている。そして、黒い領域１１は、長方形であり、白い領域１２の中央にある。ここで、黒い領域１１と白い領域１２の両方を水平方向に横切る軸を、軸Ｄと定義する。そして、軸Ｄは、黒い領域１１と白い領域１２との境界（ナイフエッジ）に直交する軸である。そして、軸Ｄにおいて、色が白色から黒色に変化する境界を、エッジ位置１４とする。同様に、軸Ｄにおいて、色が黒色から白色に変化する境界を、エッジ位置１３とする。なお、軸Ｄにおける位置は、画素単位で表現されてもよい。
　図８Ａ，８Ｂ，８Ｃには、エッジ位置１３（図７を参照）近傍の色成分量が、階調断面図として示されている。ここで、縦軸は、Ｒ、Ｇ、Ｂ（色チャネル）毎の色成分量を示す。また、横軸は、軸Ｄにおける位置（図７を参照）を示す。そして、各色チャネルの色成分量は、値「０～２５０」（８ビット）で表現される。各色チャネルの色成分量の値が大きいほど、その色が濃いことを示している。なお、各色チャネルの色成分量は、値「０～２５５」（８ビット）で表現されてもよい。
　そして、Ｒ、Ｇ、Ｂの色成分量が全て値「２５０」である「軸Ｄにおける位置」では、色は白となる。一方、Ｒ、Ｇ、Ｂの色成分量が全て値「０」である「軸Ｄにおける位置」では、色は黒となる。
　図８Ａには、Ｇチャネルで合焦した（ピントが合った）状態での階調断面図が示されている。この状態では、Ｒチャネルが前ピンとなり、かつＢチャネルが後ピンとなる。これにより、エッジ位置１３の白い領域１２側は、緑色になる。一方、エッジ位置１３の黒い領域１１側は、マゼンダ色になる。
　また、図８Ｂには、Ｒチャネルで合焦した状態での階調断面図が示されている。そして、この状態では、Ｇチャネルが後ピンとなり、Ｇチャネルの勾配（傾き）は、Ｂチャネルの勾配よりも急となっている。また、図８Ｃには、Ｂチャネルで合焦した状態での階調断面図が示されている。この状態では、Ｇチャネルが前ピンとなり、Ｇチャネルの勾配（傾き）は、Ｒチャネルの勾配よりも急となっている。
　このように、階調断面図における勾配が色チャネル毎に異なる。したがって、どの色チャネルで被写体像に合焦させても、焦点調節装置１９１（図１を参照）は、階調断面図における色チャネルの勾配から評価値を算出する。このようにして、焦点調節装置１９１は合焦状態及び非合焦状態を検出することができる。
　次に、評価値Ｅｄの算出手順を説明する。図９Ａ，９Ｂには、エッジ位置１３（図７を参照）近傍の色成分量が、階調断面図として示されている。ここで、縦軸は、Ｒ、Ｇ、Ｂ（色チャネル）毎の色成分量を示す。また、横軸は、軸Ｄにおける位置（図７を参照）を示す。人間の眼はＧチャネルに対して感度が高いため、ここでは、一例として、Ｇチャネルで被写体像に合焦させる（ピントを合わせる）場合について説明する。
　図９Ａには、前ピン状態のＲチャネルのエッジと、後ピン状態のＲチャネルのエッジと、合焦状態のＧチャネルのエッジとの関係が示されている。そして、前ピン状態であるＲチャネルの勾配（傾き）は、合焦状態であるＧチャネルの勾配よりも緩やかとなる。一方、後ピン状態であるＲチャネルの勾配（傾き）は、合焦状態であるＧチャネルの勾配よりも急となる。以下、図９Ａにおいて、Ｒチャネル及びＧチャネルの色成分量を示す線の交点の右側にある区間であって、Ｇチャネルを示す線に勾配のある区間を区間「Δ１」とする。そして、色成分量を示す線の交点の左側にある区間であって、Ｇチャネルを示す線に勾配のある区間を区間「Δ２」とする。これらの区間の長さは、画素数で表現されてもよい。
　Ｒチャネルの色成分量と、Ｇチャネルの色成分量とに基づくＥｄ（以下、「ＥｄＲＧ」という）と、閾値との比較結果によって、Ｒチャネルのエッジが前ピン状態又は後ピン状態であることは、次のように検出（判定）される。
　ＥｄＲＧ＝（Σ（Ｒ／Ｇ））／（Δ１）＞１　…　式１
　ＥｄＲＧ＝（Σ（Ｒ／Ｇ））／（Δ１）＜１　…　式２
　ここで、式１及び２の値「１」は、閾値である。また、式１及び２の（Σ（Ｒ／Ｇ））は、Ｒチャネルの色成分量を画像における同じ位置のＧチャネルの色成分量で除算した値を、区間「Δ１」にわたって加算した総和である。また、その総和を、区間「Δ１」の長さで除算した値が「ＥｄＲＧ」である。そして、式１が成立する場合、ＥｄＲＧは、Ｒチャネルのエッジが後ピン状態であることを示す。一方、式２が成立する場合、ＥｄＲＧは、Ｒチャネルのエッジが前ピン状態であることを示す（方向指標）。また、ＥｄＲＧと、閾値「１」との差は、デフォーカス量を示す。
　また、区間「Δ２」について、式１及び２のように色成分量の「比」を用いて前ピン及び後ピンを検出してもよい。一方、区間「Δ２」のように色成分量が小さい区間では、色成分量とノイズとのＳＮ比（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ ｒａｔｉｏ）が小さい。したがって、この場合は、色成分量の「比」を用いる代わりに、色成分量の「差」によって前ピン及び後ピンを検出するほうが、合焦状態の検出に有利である。
　ＥｄＲＧ＝（Σ（Ｇ－Ｒ））／（Δ２）＞０　…　式３
　ＥｄＲＧ＝（Σ（Ｇ－Ｒ））／（Δ２）＜０　…　式４
　ここで、式３及び４の値「０」は、閾値である。また、式３及び４の（Σ（Ｇ－Ｒ））は、Ｒチャネルの色成分量から画像における同じ位置のＧチャネルの色成分量を減算した値を、区間「Δ２」にわたって加算した総和である。また、その総和を、区間「Δ２」の長さで除算した値が「ＥｄＲＧ」である。そして、式３が成立する場合、ＥｄＲＧは、Ｒチャネルのエッジが後ピン状態であることを示す。一方、式４が成立する場合、ＥｄＲＧは、Ｒチャネルのエッジが前ピン状態であることを示す（方向指標）。ＥｄＲＧと閾値「０」との差は、デフォーカス量を示す。
　同様に、図９Ｂには、前ピン状態のＢチャネルのエッジと、後ピン状態のＢチャネルのエッジと、合焦状態のＧチャネルのエッジとの関係が示されている。そして、前ピン状態であるＢチャネルの勾配（傾き）は、合焦状態であるＧチャネルの勾配よりも緩やかとなる。一方、後ピン状態であるＢチャネルの勾配（傾き）は、合焦状態であるＧチャネルの勾配よりも急となる。以下、図９Ｂにおいて、Ｂチャネル及びＧチャネルの色成分量を示す線の交点の右側にある区間であって、Ｇチャネルを示す線に勾配のある区間を区間「Δ３」とする。一方、色成分量を示す線の交点の左側にある区間であって、Ｇチャネルを示す線に勾配のある区間を区間「Δ４」とする。
　Ｂチャネルの色成分量と、Ｇチャネルの色成分量とに基づくＥｄ（以下、「ＥｄＢＧ」という）と、予め定められた閾値との比較結果によって、Ｂチャネルのエッジが前ピン状態又は後ピン状態であることは、次のように検出される。
　ＥｄＢＧ＝（Σ（Ｂ／Ｇ））／（Δ３）＞１　…　式５
　ＥｄＢＧ＝（Σ（Ｂ／Ｇ））／（Δ３）＜１　…　式６
　ここで、式５及び６の値「１」は、閾値である。式５及び６の（Σ（Ｂ／Ｇ））は、Ｂチャネルの色成分量を画像における同じ位置のＧチャネルの色成分量で除算した値を、区間「Δ３」にわたって加算した総和である。その総和を、区間「Δ３」の長さで除算した値が「ＥｄＢＧ」である。式５が成立する場合、ＥｄＢＧは、Ｂチャネルのエッジが後ピン状態であることを示す。一方、式６が成立する場合、ＥｄＢＧは、Ｂチャネルのエッジが前ピン状態であることを示す（方向指標）。ＥｄＢＧと閾値「１」との差は、デフォーカス量を示す。
　区間「Δ４」について、式５及び６のように色成分量の「比」を用いて前ピン及び後ピンを検出してもよい。一方、区間「Δ４」のように色成分量が小さい区間では、色成分量とノイズとのＳＮ比が小さい。したがって、この場合は、色成分量の「比」の代わりに、色成分量の「差」によって前ピン及び後ピンを検出するほうが、合焦状態の検出に有利である。
　ＥｄＢＧ＝（Σ（Ｇ－Ｂ））／（Δ４）＞０　…　式７
　ＥｄＢＧ＝（Σ（Ｇ－Ｂ））／（Δ４）＜０　…　式８
　式７及び８の値「０」は、閾値である。式７及び８の（Σ（Ｇ－Ｂ））は、Ｂチャネルの色成分量から画像における同じ位置のＧチャネルの色成分量を減算した値を、区間「Δ４」にわたって加算した総和である。その総和を、区間「Δ４」の長さで除算した値が「ＥｄＢＧ」である。式７が成立する場合、ＥｄＢＧは、Ｂチャネルのエッジが後ピン状態であることを示す。一方、式８が成立する場合、ＥｄＢＧは、Ｂチャネルのエッジが前ピン状態であることを示す（方向指標）。ＥｄＢＧと閾値「０」との差は、デフォーカス量を示す。
　このように、焦点調節装置１９１（図１を参照）は、評価値Ｅｄに基づいて、合焦状態及び非合焦状態を検出することができる。なお、焦点調節装置１９１は、色成分量が小さい区間について、色成分量の「比」によって前ピン及び後ピンを検出してもよい。また、焦点調節装置１９１は、色成分量が大きい区間について、色成分量の「差」によって前ピン及び後ピンを検出してもよい。また、上記ではＧチャネルで被写体像に合焦させているが、焦点調節装置１９１は、Ｒチャネル又はＢチャネルで被写体像に合焦させて、前ピン状態及び後ピン状態を検出（判定）してもよい。
　次に、評価値の一つであるＷｄについて説明する。図１０Ａ，１０Ｂには、エッジ位置１３（図７を参照）近傍における「色成分量の差」が示されている。図１０Ａには、軸Ｄにおける位置と、Ｒチャネルの色成分量及びＧチャネルの色成分量の差と、の関係が示されている。ここで、縦軸は、Ｒの色成分量からＧの色成分量を減算した色成分量差（＝Ｒ－Ｇ）を示す。また、横軸は、軸Ｄにおける位置（図７を参照）を示す。なお、縦軸は、色成分量差の代わりに、Ｒの色成分量とＧの色成分量との比（＝Ｒ／Ｇ）であってもよい。
　また、図１０Ａ，１０Ｂにおいて、実線は、Ｒチャネルが「後ピン状態」である場合の色成分量差（＝Ｒ－Ｇ）と、軸Ｄにおける位置との関係を示す。破線は、Ｒチャネルが「前ピン状態」である場合の色成分量差（＝Ｒ－Ｇ）と、軸Ｄにおける位置との関係を示す。
　Ｗｄは、デフォーカス量を示す値（デフォーカス量参照値）である。図１０Ａに示されているように、Ｗｄは、色成分量差の波形のピーク間距離で示される。Ｗｄは、軸Ｄにおける位置Ｘ１及びＸ２を用いて、式９のように表される。
　Ｗｄ＝｜Ｘ２－Ｘ１｜　…　式９
　位置Ｘ１及びＸ２は、図１０Ａにおいて、色成分量差（色成分量比）の波形がピークを示す位置である。そして、実線と破線との交点は、図９Ａにおける各色チャネルの線の交点に対応する。
　まず、図１０Ａの位置Ｘ２において、色成分量差が最大値「ｍａｘ（Ｒ－Ｇ）」を示し、位置Ｘ１において、色成分量差が最小値「ｍｉｎ（Ｒ－Ｇ）」を示した場合（実線の波形を示した場合）、その波形の極性（正負）は、Ｒチャネルが後ピン状態であることを示す（方向指標）。なぜなら、Ｒチャネルが後ピン状態である場合、図９Ａに示されているように、図９Ａの右側では、Ｒチャネルの色成分量はＧチャネルの色成分量以上であり、図９Ａの左側では、Ｒチャネルの色成分量がＧチャネルの色成分量以下だからである。
　一方、図１０Ａの位置Ｘ１において、色成分量差が最大値「ｍａｘ（Ｒ－Ｇ）」を示し、位置Ｘ２において、色成分量差が最小値「ｍｉｎ（Ｒ－Ｇ）」を示した場合（破線の波形を示した場合）、その波形の極性（正負）は、Ｒチャネルが前ピン状態であることを示す（方向指標）。なぜなら、Ｒチャネルが前ピン状態である場合、図９Ａに示されているように、図９Ａの右側では、Ｒチャネルの色成分量はＧチャネルの色成分量以下であり、図９Ａの左側では、Ｒチャネルの色成分量がＧチャネルの色成分量以上だからである。
　図１０Ｂには、図１０Ａと比較して、合焦状態に近づいた場合の波形が示されている。合焦状態に近づくと、Ｗｄの値が小さくなる。なお、色成分量差の最大値「ｍａｘ（Ｒ－Ｇ）」と、色成分量差の最小値「ｍｉｎ（Ｒ－Ｇ）」との差は、「ぼけ度合い」に応じて、変化してもよい。
　このように、焦点調節装置１９１（図１を参照）は、評価値Ｗｄに基づいて、合焦状態及び非合焦状態を検出することができる。また、焦点調節装置１９１は、色成分量差の極性に基づいて、前ピン状態又は後ピン状態を検出することができる。
　次に、評価値の一つである、ＬＳＦについて説明する。まず、レンズ性能を評価する指標の一つに、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）がある。このＭＴＦは、被写体のコントラストをどの程度忠実に再現できるかを、空間周波数特性として表現している。
　一般に、系のＭＴＦは、結像系（光学系）のＭＴＦと、センサ（撮像素子）系のＭＴＦとの積となる。焦点調節装置は、系のＭＴＦに基づいて、合焦状態を検出（判定）することができる。例えば、焦点調節装置は、被写体像のエッジのＭＴＦを評価することで、合焦状態を検出してもよい。なお、焦点調節装置は、結像系及びセンサ系より後段の画像処理プロセス（例えば、回路の応答特性、デモザイク、ノイズ低減、及びエッジ強調など）をさらに考慮して、合焦状態を検出してもよい。
　光学系に入射される光がインコヒーレント光である場合、ＭＴＦとＬＳＦとはフーリエ変換を介して可逆であることが知られている。また、ＬＳＦは、画像に含まれるエッジから容易に算出可能である（例えば、「ＩＳＯ１２２３３」規格を参照）。
　例えば、ＬＳＦは、ＥＳＦ（Ｅｄｇｅ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）が微分されることで算出されてもよい。また、ＬＳＦは、隣接する画素同士の画素値（例えば、色成分量）の差に基づいて、算出されてもよい。そして、ＭＴＦは、ＬＳＦに離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ，ＤＦＴ）が施されることで、算出されてもよい。
　焦点調節装置１９１は、上述したＥｄ、Ｗｄのほか、評価値としてのＬＳＦに基づいて、合焦状態を検出（判定）してもよい。例えば、焦点調節装置１９１は、既知である画像処理プロセスに従って予め作成された「色チャネル毎のＬＳＦのプロファイル（データ）」に基づいて、合焦状態及び非合焦状態（前ピン又は後ピンなど）を、次のように検出してもよい。
　図１１Ａ，Ｂ，Ｃには、合焦状態の「ぼけ度合い」に応じて、ＧチャネルのＬＳＦが示されている。ここで、ＬＳＦは、ＬＳＦの特徴量の１つである標準偏差σ（統計量）で表現される。なお、ＬＳＦは、ＬＳＦの特徴量の１つである半値幅、又はピーク値で表現されてもよい。
　図１１Ａには、合焦状態でのＬＳＦが示されている。図１１Ｂには、非合焦（小ぼけ）状態でのＬＳＦが示されている。図１１Ｃには、非合焦（大ぼけ）状態でのＬＳＦが示されている。これらの図によって、合焦状態の「ぼけ度合い」が大きいほど、ＬＳＦの標準偏差σが大きくなることが示されている。
　図１２Ａ，１２Ｂ，１２Ｃには、合焦状態の「ぼけ度合い」と色チャネル毎に、ＬＳＦが示されている。図１２Ａには、色チャネル（Ｒ，Ｇ，Ｂ）毎に、合焦状態におけるＬＳＦが示されている。なお、標準偏差σの色チャネル毎の大小関係は、レンズ固有の特性として、レンズ毎に異なっていても良い。以下の説明では、合焦状態におけるＲチャネルのＬＳＦの標準偏差「σＲ」と、合焦状態におけるＧチャネルのＬＳＦの標準偏差「σＧ」と、合焦状態におけるＢチャネルのＬＳＦの標準偏差「σＢ」とには、「σＲ＞σＧ＞σＢ」という大小関係があるとして説明する。
　図１２Ｂには、前ピン状態でのＬＳＦが、色チャネル（Ｒ，Ｇ，Ｂ）毎に示されている。また、図１２Ｂの最も右側には、前ピン状態における、軸Ｄにおける位置と、色成分量との関係が示されている。図１２Ｂの最も右側の図では、図８Ａ，８Ｂ，８Ｃと異なり、Ｇチャネルも前ピン状態である場合について示されているため、Ｒ、Ｇ、Ｂすべての勾配が緩やかとなっている。そして、図１２Ｂの最も右側の図には、前ピン状態において、エッジにおける色成分量の勾配（傾き）はＲの勾配が最も緩やかで、Ｂの勾配が最も急であることが示されている。
　このように、前ピン状態では、Ｒの勾配が最も緩やかで、Ｂの勾配が最も急であるため、前ピン状態において、ＲチャネルのＬＳＦの標準偏差「σＲｄｆ」と、ＧチャネルのＬＳＦの標準偏差「σＧｄｆ」と、Ｂチャネルの標準偏差「σＢｄｆ」とには、「σＲｄｆ＞σＧｄｆ＞σＢｄｆ」という大小関係がある。より具体的には、「σＲｄｆ＞Ｋ１・σＧｄｆ」、「σＢｄｆ＜Ｋ２・σＧｄｆ」という大小関係がある。ここで、「Ｋ１＝σＲ／σＧ」、「Ｋ２＝σＢ／σＧ」である。
　図１２Ｃには、後ピン状態におけるＬＳＦが、色チャネル（Ｒ，Ｇ，Ｂ）毎に示されている。また、図１２Ｃの最も右側には、後ピン状態における、軸Ｄにおける位置と、色成分量との関係が示されている。図１２Ｃの最も右側の図では、図８Ａ，８Ｂ，８Ｃと異なり、Ｇチャネルも後ピン状態である場合について示されているため、Ｒ、Ｇ、Ｂすべての勾配が緩やかとなっている。そして、図１２Ｃの最も右側の図には、後ピン状態において、エッジにおける色成分量の勾配（傾き）は、Ｂの勾配が最も緩やかで、Ｒの勾配が最も急であることが示されている。
　このように、後ピン状態では、Ｂの勾配が最も緩やかで、Ｒの勾配が最も急であるため、後ピン状態において、ＲチャネルのＬＳＦの標準偏差「σＲｄｂ」と、ＧチャネルのＬＳＦの標準偏差「σＧｄｂ」と、Ｂチャネルの標準偏差「σＢｄｂ」とには、「σＢｄｂ＞σＧｄｂ＞σＲｄｂ」という大小関係がある。より具体的には、「σＲｄｂ＜Ｋ１・σＧｄｂ」、「σＢｄｂ＞Ｋ２・σＧｄｂ」という大小関係がある。ここで、「Ｋ１＝σＲ／σＧ」、「Ｋ２＝σＢ／σＧ」である。
　図１３には、色チャネル毎のＬＳＦのプロファイル（データ）と、ぼけ度合いとの関係が示されている。横軸は、ぼけ度合いを示す。また、上段から、Ｇチャネル、Ｒチャネル、Ｂチャネルの順に、ＬＳＦのプロファイルが示されている。なお、図１３において、ぼけ度合いの絶対値（デフォーカス量）が大きいＬＳＦほど、標準偏差の添字の数字が大きく示されている。
　また、横軸の中心位置「０」には、合焦状態でのＬＳＦのプロファイルが示されている。そして、横軸の中心位置「０」から右側は、エッジが前ピン状態である領域（前ピン領域）であり、中心位置「０」から離れるほど、ぼけ度合いの絶対値が大きい。一方、横軸の中心位置「０」から左側は、エッジが後ピン状態である領域（後ピン領域）であり、中心位置「０」から離れるほど、ぼけ度合いの絶対値が大きい。
　そして、色チャネル毎のＬＳＦのプロファイルは、撮像装置１００が被写体を撮像する前に作成され、ぼけ度合い毎に、記憶部１６０に予め記憶されている。ここで、色チャネル毎のＬＳＦのプロファイルは、例えば、標準偏差で表現されて、記憶部１６０に予め記憶される。なお、ＬＳＦのプロファイルは、半値幅、又はピーク値で表現されて、記憶部１６０に予め記憶されてもよい。
　なお、横軸の「ぼけ度合い」は、被写体距離（デプス）で表現されてもよい。また、色チャネル毎のＬＳＦのプロファイルは、「ぼけ度合い」の他に、更に、ズーム倍率、被写体距離、画角に対する位置を示す情報、撮像された画像における水平（Ｈ）又は垂直（Ｖ）方向を示す情報、ノイズ低減処理方法を示す情報、又はエッジ強調方法を示す情報に対応付けられて、記憶部１６０に予め記憶されてもよい。
　図１４には、ＬＳＦの標準偏差の差をパラメータとする関数値と、被写体距離との関係（相対距離マップ、距離関数）が示されている。ここで、縦軸は、ＬＳＦの標準偏差の差を示す。また、横軸は、被写体距離を示す。そして、被写体距離（Ｄｅｐｔｈ）は、式１０で表される。
　Ｄｅｐｔｈ＝Ｇ（Ｆ（σＲｄ－σＧｄ）－Ｆ１（σＢｄ－σＧｄ））…　式１０
　ここで、σＲｄは、ＲチャネルのＬＳＦの標準偏差である。σＧｄは、ＧチャネルのＬＳＦの標準偏差である。σＢｄは、ＢチャネルのＬＳＦの標準偏差である。
　そして、Ｆ（σＲｄ－σＧｄ）は、標準偏差の差「σＲｄ－σＧｄ」をパラメータとする関数であり、後ピン状態では負値、前ピン状態では正値となる関数である。また、Ｆ１（σＢｄ－σＧｄ）は、標準偏差の差「σＢｄ－σＧｄ」をパラメータとする関数であり、後ピン状態では正値、前ピン状態では負値となる関数である。
　また、関数Ｇは、「Ｆ（σＲｄ－σＧｄ）－Ｆ１（σＢｄ－σＧｄ）」をパラメータとする関数であり、関数Ｆの値、又は関数Ｆ１の値の少なくとも一方を選択する関数である。そして、関数Ｇは、前ピン状態では関数Ｆの値を選択し、後ピン状態では関数Ｆ１の値を選択することで、被写体距離（Ｄｅｐｔｈ）を算出するために用いられる関数である。
　なお、ＬＳＦは、１つの色チャネル（単色）についてのみ算出されてもよい。この場合、焦点調節装置１９１は、撮像された色チャネルのＬＳＦと、１つの色チャネルのＬＳＦのプロファイルとをマッチングすることで、合焦状態及び非合焦状態を検出してもよい。例えば、撮像されたＬＳＦが、ぼけ度合い「０」を示すＬＳＦのプロファイルと一致（マッチ）した場合には、焦点調節装置１９１は、エッジが合焦状態であると判定してもよい。
　このように、焦点調節装置１９１（図１を参照）は、評価値ＬＳＦの標準偏差又は半値幅に基づいて、合焦状態及び非合焦状態を検出することができる。また、焦点調節装置１９１は、評価値ＬＳＦの標準偏差又は半値幅を色チャネル毎に比較することで、前ピン状態又は後ピン状態を検出することができる。
　以上が、方向指標とデフォーカス量を検出するための評価値の説明である。
　次に、焦点調節装置１９１の構成の説明に戻る。焦点調節装置１９１（図１を参照）は、エッジ検出部１９２と、分布検出部１９３と、制御部１９４とを備える。エッジ検出部１９２は、撮像部１１０が出力した画像を構成する色成分（Ｒチャネル、Ｇチャネル、Ｂチャネル）毎に、被写体像のエッジを検出する。
　図１５Ａ，１５Ｂ，１５Ｃ，１５Ｄには、撮像された画像と、撮像された画像から抽出されたエッジ画像と、２つのエッジ画像の論理積の結果を示す画像と、の例が示されている。図１５Ａには、撮像部１１０が撮像した画像の一部（部分画像）の例が示されている。そして、図１５Ａにおいて、破線で示された枠は、エッジ検出部１９２がエッジを検出するための検出領域を示す。なお、検出領域は、エッジの片側のみに広がる領域であってもよい。また、部分画像における検出領域の位置は、予め定められていてもよい。
　エッジ検出部１９２（図１を参照）は、検出領域に撮像された被写体像のエッジ画像（エッジ以外をマスクしたマスク画像）を、部分画像から色成分毎に抽出（検出）する。図１５Ｂには、抽出されたＲチャネルのエッジ画像が示されている。図１５Ｃには、抽出されたＧチャネルのエッジ画像が示されている。図１５Ｄには、Ｒチャネルのエッジ画像と、Ｇチャネルのエッジ画像との論理積（ＡＮＤ）を算出した結果の画像が示されている。これらの画像の抽出（生成）手順について、以下に説明する。
　図１６には、エッジ検出部１９２の動作がフローチャートで示されている。エッジ検出部１９２は、撮像部１１０が撮像した粗い画像（例えば、ＱＶＧＡ解像）から、ラプラシアンフィルタ等で色チャネル毎のエッジ画像を抽出（生成）する（ステップＳａ１）。
　ステップＳａ１における、色チャネル毎のエッジ画像を抽出する手順を、より具体的に説明する。図１７には、エッジ位置１３近傍の色成分量の階調断面図の例と、ラプラシアンフィルタを使用した演算例とが示されている。一例として、画像の垂直方向に延びたエッジを抽出（生成）する場合について説明する。
　ここで、画素が、エッジに直交する水平方向に、画素Ａ、画素Ｂ、画素Ｃの順に並んでいるとする。そして、各画素は、画素Ａ「色成分量Ｒ１＝値「２００」，色成分量Ｇ１＝値「２２０」，色成分量Ｂ１＝値「１０」」、画素Ｂ「色成分量Ｒ２＝値「２２０」，色成分量Ｇ２＝値「２３０」，色成分量Ｂ２＝値「１０」」、画素Ｃ「色成分量Ｒ３＝値「２２０」，色成分量Ｇ３＝値「２５０」，色成分量Ｂ３＝値「１０」」で構成されているとする。また、閾値Ｅｋ１を値「１００」とする。なお、これらの値は、一例である。
　エッジ検出部１９２は、各色成分量に、ラプラシアンフィルタの係数を乗算した値を、色成分毎に加算する。そして、エッジ検出部１９２は、加算結果と、予め定められた閾値Ｅｋ１とを、色成分毎に比較する。
　具体的に、エッジ検出部１９２は、Ｒチャネルについての加算結果「（－１）×Ｒ１＋８×Ｒ２＋（－１）×Ｒ３」と、閾値Ｅｋ１とを比較する。エッジ検出部１９２は、Ｒチャネルについての加算結果が閾値Ｅｋ１よりも大きいため、Ｒチャネルのエッジを有効エッジとして、Ｒチャネルのエッジ画像を生成する。
　また、エッジ検出部１９２は、Ｇチャネルについての加算結果「（－１）×Ｇ１＋８×Ｇ２＋（－１）×Ｇ３」と、閾値Ｅｋ１とを比較する。エッジ検出部１９２は、Ｇチャネルについての加算結果が閾値Ｅｋ１よりも大きいため、Ｇチャネルのエッジを有効エッジとして、Ｇチャネルのエッジ画像を生成する。同様に、Ｂチャネルについての加算結果と閾値Ｅｋ１とを比較した結果、Ｂチャネルについての加算結果が閾値Ｅｋ１以下であるため、エッジ検出部１９２は、Ｂチャネルのエッジを有効エッジとせずに、Ｂチャネルのエッジ画像を生成しない。
　さらに、エッジ検出部１９２は、エッジ画像におけるＲチャネルの色成分量を、Ｇチャネルの色成分量と同じレベルにする。例えば、エッジ検出部１９２は、Ｇチャネルの色成分量を、Ｒチャネルの色成分量で除算した値をゲイン（補正倍率）とする。そして、エッジ検出部１９２は、Ｒチャネルの色成分量にゲインを乗算する。このようにして、エッジ検出部１９２は、エッジ画像（図１５Ｂ、１５Ｃを参照）を生成する。
　図１６に戻り、エッジ検出部１９２の動作説明を続ける。エッジ検出部１９２は、位置について相関のある２色以上のエッジ（エッジペア）を抽出する。具体的には、エッジ検出部１９２は、同一画素について、Ｒチャネルのエッジの色成分量と、Ｇチャネルのエッジの色成分量を抽出する。そして、エッジ検出部１９２は、これらエッジペアの色成分量論理積（ＡＮＤ）を共通エッジ画像とする（ステップＳａ２）。
　エッジ検出部１９２は、同一画素のエッジでなくとも、「±１画素」以内に隣接するＲチャネル及びＧチャネルのエッジ（エッジペア、色ペア）の色成分量の論理積を、共通エッジとして抽出してもよい（太線化）。さらに、エッジ検出部１９２は、予め定められた長さＬ以上であるエッジの色成分量の論理積に基づいて、共通エッジを抽出してもよい。
　そして、エッジ検出部１９２は、共通エッジを構成するＲチャネル及びＧチャネルの共通エッジを、記憶部１６０に記憶させる（ステップＳａ３）。このようにして、エッジ検出部１９２は、Ｒチャネルのエッジと、Ｇチャネルのエッジとの共通エッジが抽出されたエッジ画像（図１５Ｄを参照）を生成する。
　撮像部１１０が撮像した画像を、格子状のブロックに分割する。そして、分布検出部１９３は、分割したブロック毎に、共通エッジの合焦状態及び非合焦状態（方向指標とデフォーカス量）を検出する。
　図１８には、デプスマップの例が示されている。ここで、デプスマップとは、撮像された画像における合焦状態及び非合焦状態（ぼけ度合い）の分布を、ブロック（部分画像）単位で示したマップである。
　以下では、一例として、撮像部１１０が撮像した画像が「４×４」のブロックに分割され、そのうちの１つのブロックにおけるエッジ画像が、図１５Ｄに例示されたエッジ画像であるとして説明する。
　分布検出部１９３は、エッジ画像に抽出された共通エッジのＥｄ、Ｗｄ、又はＬＳＦの少なくとも１つ以上に基づいて、共通エッジの合焦状態及び非合焦状態の分布を検出する。分布検出部１９３は、図１５Ｄのエッジ画像に抽出された３本の共通エッジのＥｄに基づいて、共通エッジの合焦状態及び非合焦状態（ぼけ度合い）を、次のように検出する。
　図１５Ｄのエッジ画像に抽出された３本の共通エッジの長さを、それぞれＬ１、Ｌ２、Ｌ３とする。まず、分布検出部１９３は、式１１を演算する。
　　Σ（Ｌ（（Σ（Ｒ／Ｇ））／Δ））
　　＝　Ｌ１（（Σ（Ｒ１／Ｇ１））／Δ）
　　　＋Ｌ２（（Σ（Ｒ２／Ｇ２））／Δ）
　　　＋Ｌ３（（Σ（Ｒ３／Ｇ３））／Δ）　…　式１１
　ここで、「Δ」は、エッジに直交する区間の長さである。例えば、図９Ａに例示された階調断面図の場合、「Δ」は、区間Δ１又はΔ２の長さである。さらに、分布検出部１９３は、式１１「Σ（Ｌ（（Σ（Ｒ／Ｇ））／Δ））」を「Ｌ１＋Ｌ２＋Ｌ３」で除算した値を、ＥｄＲＧとする。
　そして、評価値Ｅｄの説明に上述したように、式１が成立する場合、分布検出部１９３は、共通エッジが後ピン状態であると判定する。一方、式２が成立する場合、分布検出部１９３は、共通エッジが前ピン状態であると判定する。
　図１８に例示されたデプスマップにおいて、四角枠で囲まれた値は、そのブロックにおける「ぼけ度合い」を示す。そして、ぼけ度合いの絶対値が大きいほど、デフォーカス量が大きく、非合焦状態であることを示す。また、負値を持つブロックは、そのブロックに撮像されたエッジが、後ピン状態であることを示す。逆に、正値を持つブロックは、そのブロックに撮像されたエッジが、前ピン状態であることを示す。
　分布検出部１９３は、「４×４」に分割した１つのブロックを、さらに「２×２」の小ブロック（セグメント）に細分化してもよい。そして、分布検出部１９３は、それらの小ブロックについて、共通エッジの合焦状態及び非合焦状態を、ぼけ度合いのヒストグラムに基づいて、検出してもよい。例えば、分布検出部１９３は、値「２」と値「８」との間にある小ブロックの「ぼけ度合い」を、ヒストグラムによって補間して、値「４」としてもよい。この補間された値は、一例である。なお、色成分量（パワー）が十分である有効エッジが検出されなかった場合、デプスマップには、方向指標とデフォーカス量とを検出することができなかった検出不能ブロックが残ってもよい。
　このようにして、分布検出部１９３は、Ｅｄに基づいて、共通エッジの合焦状態及び非合焦状態の分布を検出し、デプスマップを作成する。同様に、分布検出部１９３は、上述したＷｄに基づいて、共通エッジの合焦状態及び非合焦状態の分布を検出し、デプスマップを作成してもよい。
　また、分布検出部１９３は、上述したＬＳＦに基づいて、共通エッジの合焦状態及び非合焦状態の分布を検出し、デプスマップを作成してもよい。具体的には、分布検出部１９３は、撮像部１１０に撮像された画像を、格子状のブロックに分割し、ブロック毎にエッジ画像を抽出する（図１５Ｄを参照）。そして、分布検出部１９３は、エッジ画像に抽出されたエッジのＬＳＦを、評価値ＬＳＦの説明に上述した手順で算出する。さらに、分布検出部１９３は、ＬＳＦのプロファイルと、撮像されたエッジのＬＳＦとに基づいて、評価値ＬＳＦの説明に上述した手順で、ブロック毎に「ぼけ度合い」を検出することで、デプスマップを作成する。
　また、分布検出部１９３は、評価値Ｅｄ、Ｗｄ、ＬＳＦを組み合わせて、共通エッジの合焦状態及び非合焦状態の分布を検出してもよい。例えば、分布検出部１９３は、Ｅｄに基づいて、共通エッジの合焦状態及び非合焦状態の分布を検出した後、有効エッジが検出されなかったブロックに対しては、ＬＳＦに基づいて、共通エッジの合焦状態及び非合焦状態の分布を補完的に検出してもよい。
　制御部１９４は、分布検出部１９３が検出した合焦状態及び非合焦状態の分布に基づいて、分布のうちから被写体像が撮像されているブロックを選択する。そして、制御部１９４は、被写体像のエッジに合焦させるようにＡＦレンズ１１２を移動させる。また、制御部１９４は、撮像部１１０が撮像した画像を記憶媒体２００に記憶させる撮影指示が、操作部１８０からＣＰＵ１９０に出力されたか否かを判定する。また、制御部１９４は、被写体像に合焦させるフォーカス指示が、操作部１８０からＣＰＵ１９０に出力されたか否かを判定する。制御部１９４は、これらの判定に基づいて、後述するように合焦駆動の手順を変更する。
　次に、撮像装置１００の動作について、焦点調節装置１９１の動作を中心に説明する。図１９には、被写体像を追尾する追尾動作における、焦点調節装置１９１の合焦駆動の手順を示すフローチャートが示されている。まず、撮像装置１００のＣＰＵ１９０は、被写体像を追尾する追尾動作を実行するよう、焦点調節装置１９１を追尾モードに設定する（ステップＳ１）。また、ＣＰＵ１９０は、追尾する対象である被写体像を焦点調節装置１９１に指定（設定）する（ステップＳ２）。これらの設定は、操作部１８０が受け付けたユーザの操作入力に基づいて、実行されてもよい。
　そして、焦点調節装置１９１の制御部１９４は、初回の合焦駆動を実行する（ステップＳ３）。この合焦駆動における合焦方式は、適宜選択されてよい。例えば、合焦方式は、コントラストＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）方式でもよいし、その他の合焦方式（位相差検出方式など）でもよい。合焦方式によると、さらに、光電変換面に結像した光学像を撮像素子１１９が電気信号に変換する。そして、撮像素子１１９はここで得られた電気信号をスルー画像としてＡ／Ｄ変換部１２０に出力する（ステップＳ４）。撮像素子１１９から出力されるスルー画像は、そのデータの一部が間引かれたことにより、解像度が低くなっていてもよい。
　次に、撮像装置１００及び焦点調節装置１９１は、以下に説明するステップＳ５～Ｓ７と、ステップＳ８～Ｓ１６とを、並列処理する。また、撮像装置１００及び焦点調節装置１９１は、ステップＳ４～Ｓ１７を繰り返し実行してもよい。
　ＣＰＵ１９０は、撮像部１１０を制御して、自動露出（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ、ＡＥ）処理、及びｄｅｂａｙｅｒ（色補間）処理を実行させる。また、画像処理部１４０は、スルー画像を取得し、画像処理を実行する（ステップＳ５）。例えば、画像処理部１４０は、取得したスルー画像に対して、画像処理として、ホワイトバランス（Ｗｈｉｔｅ　Ｂａｌａｎｃｅ、ＷＢ）調整処理、ノイズ低減（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ、ＮＲ）処理、倍率色収差補正処理等を実行する。
　また、画像処理部１４０は、画像マッチング処理等によって、取得したスルー画像の追尾領域内に撮像された追尾対象を探索する（ステップＳ６）。さらに、画像処理部１４０は、追尾領域を示す追尾枠と、スルー画像とを重畳して、表示部１５０に表示させる（ステップＳ７）。
　一方、焦点調節装置１９１のエッジ検出部１９２は、予め定められた初期ウィンドウサイズの追尾領域内に撮像されたエッジを抽出する（図１５Ａ，１５Ｂ，１５Ｃ，１５Ｄの各図を参照）（ステップＳ８）。そして、エッジ検出部１９２は、図１６を用いて上述した手順で、エッジ特性を解析する（ステップＳ９）。
　さらに、エッジ検出部１９２は、追尾対象とするエッジが存在するか否かを判定する（ステップＳ１０）。エッジが存在しない場合（ステップＳ１０－ＮＯ）、エッジ検出部１９２の処理は、ステップＳ８に戻る。一方、エッジが存在する場合（ステップＳ１０－ＹＥＳ）、エッジ検出部１９２は、追尾対象とするエッジを設定する（ステップＳ１１）。ここで、エッジ検出部１９２は、例えば、パワーが強い（色成分量が多い）エッジを、追尾対象に設定してもよい。
　そして、ＣＰＵ１９０は、撮像部１１０を制御して、撮像素子１１９から出力されるスルー画像の解像度を上げる。ここで、スルー画像のデータの一部が間引かれなくなる結果、スルー画像の解像度が上げられることもある。さらに、ＣＰＵ１９０は、撮像部１１０を制御して、撮像素子１１９の光電変換面に結像した光学像の一部を切り出して、その画像を電気信号に変換させて、撮像素子１１９からＡ／Ｄ変換部１２０に出力させる（ステップＳ１２）。
　また、エッジ検出部１９２は、エッジ特性を解析し、評価値を記憶部１６０に記憶させる（ステップ１３）。ステップ１３において、エッジ検出部１９２は、図２０に示す手順を実行する。図２０には、エッジ特性の解析手順を示すフローチャートが示されている。エッジ検出部１９２は、Ｒチャネルのエッジ画像と、Ｇチャネルのエッジ画像とに基づいてゲイン（倍率）を算出し、Ｒチャネルのエッジに対してゲインを乗算する（図１７などを参照）（ステップＳｂ１）。
　そして、エッジ検出部１９２は、アフィン変換又はコサイン補正を実行することで、画像に対して斜めに延びたエッジを、画像に対して水平となるように変換する（ステップＳｂ２）。さらに、焦点調節装置１９１の分布検出部１９３は、エッジ周辺の区間Δに基づいて（例えば、式１を参照）、撮像部１１０が撮像した画像における格子状のブロック毎に、評価値を算出する。
　また、分布検出部１９３は、エッジ検出部１９２が抽出した各エッジ（図１５Ｄを参照）について、各評価値を算出し、算出した評価値をエッジの長さで平均して、Ｅｄとする（例えば、式１１を参照）（ステップＳｂ４）。ここで、分布検出部１９３は、評価値として、Ｅｄ、Ｗｄ、及びＬＳＦの少なくとも１つを算出する。そして、分布検出部１９３は、エッジ特性として、評価値と、色チャネル毎のエッジペア（色ペア）と、色成分量（色強度）と、ゲインとを、記憶部１６０に記憶させる。このようにして、分布検出部１９３は、デプスマップ（図１８を参照）を作成する。
　図１９に戻り、焦点調節装置１９１の合焦駆動の手順の説明を続ける。分布検出部１９３は、ステップＳ２において追尾対象に設定された被写体像のエッジが撮像されているブロックの評価値に基づいて、そのエッジが、合焦状態、前ピン状態、又は後ピン状態のいずれであるかを判定する（例えば、式１～４を参照）（ステップＳ１４）。
　また、分布検出部１９３は、評価値Ｅｄが予め定められた第１閾値を超えているか否かを判定する。また、分布検出部１９３は、前回のＥｄと今回のＥｄとの差が予め定められた第２閾値より大きくなっているか否かを判定する（ステップＳ１５）。
　評価値Ｅｄが予め定められた第１閾値を超えた場合、又は前回のＥｄと今回のＥｄとの差が予め定められた第２閾値より大きくなった場合（ステップＳ１５－ＹＥＳ）、デフォーカス量が多くなったことが判断できる。そこで、制御部１９４は、ＡＦレンズ１１２の移動方向を限定して、コントラストスキャンを実行する。
　次に、制御部１９４がＡＦレンズ１１２の移動方向を限定する手順について、説明する。図２１には、前ピン状態と判定された場合のスキャン領域と、後ピン状態と判定された場合のスキャン領域とが示されている。図２１の中段には、「通常コントラストスキャン」において、ＡＦレンズ１１２が、レンズ鏡筒１１１内に予め定められたレンズ可動域（至近～無限）の全域を、コントラストスキャンしながら移動することが示されている。この「通常コントラストスキャン」は、前ピン状態及び後ピン状態の判定結果に基づかずに実行される。
　図２１の中段に示された「通常コントラストスキャン」に対して、図２１の下段には、前ピン状態及び後ピン状態の判定結果に基づいて実行されるコントラストスキャンにおける移動が示されている。図２１の下段によると、ＡＦレンズ１１２は、レンズ鏡筒１１１内に予め定められたレンズ可動域（至近～無限）の一部の領域を、コントラストスキャンしながら移動する。
　追尾対象に設定された被写体像のエッジが前ピン状態であると判定された場合、制御部１９４は、現在のＡＦレンズ１１２の位置から、至近側の領域にＡＦレンズ１１２の移動方向を限定して、コントラストスキャンを実行する。一方、追尾対象に設定された被写体像のエッジが後ピン状態であると判定された場合、制御部１９４は、現在のＡＦレンズ１１２の位置から、無限側の領域にＡＦレンズ１１２の移動方向を限定して、コントラストスキャンを実行する。
　このように、ＡＦレンズ１１２の移動方向が限定されるので、焦点調節装置１９１は、通常のコントラストスキャンと比較して速やかに、被写体像に合焦させることができる。
　図１９に戻り、焦点調節装置１９１の合焦駆動の手順の説明を続ける。制御部１９４は、被写体像のエッジに合焦させるために、前ピン状態及び後ピン状態の判定結果に基づいて実行されるコントラストスキャンによって検出した合焦位置に、ＡＦレンズ１１２を移動させる（ステップＳ１６）。
　ステップＳ１５において、評価値Ｅｄが予め定められた第１閾値を超えていない、かつ前回のＥｄと今回のＥｄとの差が予め定められた第２閾値より大きくなっていない場合（ステップＳ１５－ＮＯ）、制御部１９４の処理は、ステップＳ１７に進む。また、制御部１９４の処理は、ステップＳ１６を実行後、ステップＳ１７に進む。
　制御部１９４は、撮像部１１０が撮像した画像を記憶媒体２００に記憶させる撮影指示が、操作部１８０からＣＰＵ１９０に出力されたか否かを判定する（ステップＳ１７）。例えば、操作部１８０のシャッタボタンをユーザが操作することよって、撮影指示が操作部１８０からＣＰＵ１９０に出力される。
　操作部１８０からＣＰＵ１９０に撮影指示が出力されていない場合（ステップＳ１７－ＮＯ）、制御部１９４の処理は、ステップＳ４に戻る。一方、操作部１８０からＣＰＵ１９０に撮影指示が出力されている場合（ステップＳ１７－ＹＥＳ）、制御部１９４の処理は、ステップＳ１８に進む。
　次に、制御部１９４は、撮影用ＡＦを実行する（ステップＳ１８）。図２２Ａ，２２Ｂ，２２Ｃには、撮影用ＡＦでの山登りコントラストスキャンにおけるレンズ位置の移動が示されている。そして、図２２Ａには、コントラストスキャンにおけるＡＦレンズ１１２の位置と、コントラスト値との関係の一例が示されている。ここで、レンズの現在位置から至近側の領域を、至近側領域とする。レンズの現在位置から無限側の領域を、無限側領域とする。
　レンズ鏡筒１１１内に予め定められたレンズ可動域における開始位置（例えば、至近側領域にある位置）から終了位置（例えば、無限側領域にある位置）まで、制御部１９４の制御によってＡＦレンズ１１２が移動した場合に、コントラスト値がピークを示したレンズ位置を、合焦位置とする。ＡＦレンズ１１２が合焦位置にある場合、被写体像のエッジは、合焦状態となる。
　図２２Ｂには、通常コントラストスキャン（図２１の中段を参照）における、ＡＦレンズ１１２の位置の移動が示されている。通常コントラストスキャンにおいて、制御部１９４は、レンズ鏡筒１１１内に予め定められたレンズ可動域の全域をコントラストスキャンさせながら、ＡＦレンズ１１２を移動させる。
　制御部１９４は、時刻ｔ１～ｔ２において、時刻ｔ１におけるレンズ位置からコントラストスキャンの開始位置まで、ＡＦレンズ１１２を移動させる（初期位置駆動）。そして、制御部１９４は、時刻ｔ２～ｔ３ａにおいて、開始位置から終了位置まで、コントラストスキャンを実行しながら、ＡＦレンズ１１２を移動させる（スキャン駆動）。さらに、制御部１９４は、時刻ｔ３ａ～ｔ４ａにおいて、コントラスト値がピークを示した合焦位置に、ＡＦレンズ１１２を移動させる（合焦位置駆動）。
　このように、通常コントラストスキャンでは、制御部１９４は、レンズ可動域の全域をコントラストスキャンさせる。このため、合焦位置にＡＦレンズ１１２を移動させるのに時間を要する。
　一方、図２２Ｃには、評価値による前ピン状態及び後ピン状態の判定に基づくコントラストスキャン（図２１の下段を参照）における、ＡＦレンズ１１２の位置の移動が示されている。制御部１９４は、前ピン状態及び後ピン状態の判定に基づいて、レンズ鏡筒１１１内に予め定められたレンズ可動域の一部領域をコントラストスキャンさせながら、ＡＦレンズ１１２を移動させる。
　そして、分布検出部１９３が、共通エッジの合焦状態及び非合焦状態の分布を上述のように検出する。ここで、追尾対象である被写体像のエッジが前ピン状態であると、分布検出部１９３が時刻ｔ１までに判定したとする。制御部１９４は、時刻ｔ１～ｔ２において、時刻ｔ１におけるレンズ位置からコントラストスキャンの開始位置まで、ＡＦレンズ１１２を移動させる（初期位置駆動）。
　被写体像のエッジが前ピン状態であると判定されたので、制御部１９４は、合焦位置が至近側領域にあると予測する。そして、制御部１９４は、時刻ｔ２～ｔ３ｂにおいて、開始位置から「時刻ｔ１におけるレンズ位置」まで、コントラストスキャンを実行しながら、ＡＦレンズ１１２を移動させる（スキャン駆動）。さらに、制御部１９４は、時刻ｔ３ｂ～ｔ４ｂにおいて、コントラスト値がピークを示した合焦位置に、ＡＦレンズ１１２を移動させる（合焦位置駆動）。
　ここで、制御部１９４は、スキャン駆動において、評価値Ｅｄが予め定められた範囲内に収束した時点で、合焦駆動を終了してもよい。また、制御部１９４は、スキャン駆動において、上述したようにＬＳＦに基づいて合焦状態を検出し、合焦駆動を終了してもよい。
　また、制御部１９４は、スキャン駆動において、コントラストスキャンを実行しながら、コントラスト値がピークを示した位置を一旦通過することによって、合焦位置を内挿により算出する。合焦位置が内挿により算出される場合、内挿により算出されない場合と比較して、位置がより正確に検出される可能性が高くなる。そして、制御部１９４は、内挿により算出した合焦位置に、ＡＦレンズ１１２を移動させる（合焦位置駆動）。
　図１９に戻り、合焦駆動の説明を続ける。ＣＰＵ１９０は、撮影用ＡＦによって合焦状態となったエッジを露光するよう、撮像部１１０を制御する。そして、ＣＰＵ１９０は、撮像部１１０が撮像した画像を、通信部１７０を介して記憶媒体２００に記憶（記録）させる（ステップＳ１９）。
　以上のように、焦点調節装置１９１は、焦点調節を行うためのＡＦレンズ１１２を有するレンズ鏡筒１１１から入射される被写体像を含む画像を構成する色成分毎に、被写体像のエッジを検出するエッジ検出部１９２を備える。また、焦点調節装置１９１は、エッジ検出部１９２が色成分毎に検出したエッジに基づいて、画像における合焦状態及び非合焦状態の分布を検出する分布検出部１９３をさらに備える。そして、焦点調節装置１９１は、分布検出部１９３が検出した分布（デプスマップ）に基づいて、被写体像に合焦させるようにＡＦレンズ１１２を移動させる制御部１９４をさらに備える。
　これにより、共通エッジが前ピン状態にあるとの判定に基づくコントラストスキャンでは、制御部１９４は、至近側領域のみでＡＦレンズ１１２を移動させる。この結果、通常コントラストスキャンを実行した場合と比較して、短時間に合焦駆動が終了する。同様に、共通エッジが後ピン状態にあるとの判定に基づくコントラストスキャンでは、制御部１９４は、無限側領域のみでＡＦレンズ１１２を移動させる。この結果、通常コントラストスキャンを実行した場合と比較して、短時間に合焦駆動が終了する。
　したがって、焦点調節装置１９１は、一度も合焦されていない被写体像に、速やかに合焦させることができる。
　また、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジの色成分量の勾配に基づいて、合焦状態及び非合焦状態の分布を検出する。これにより、焦点調節装置１９１は、エッジの色成分量の勾配に基づいて、被写体像に速やかに合焦させることができる。
　また、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジの色成分量の比又は差に基づいて、被写体より近点側に合焦していること、又は被写体より遠点側に合焦していることを示す方向指標を検出する。同時に、分布検出部１９３は、デフォーカス量も検出する。これにより、焦点調節装置１９１は、エッジの色成分量の比又は差に基づいて、演算負荷を増大させることなく、被写体像に速やかに合焦させることができる。
　また、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジの色成分量の比又は差のピーク間距離に基づいて、デフォーカス量を検出する。これにより、焦点調節装置１９１は、エッジの色成分量の比又は差のピーク間距離に基づいて、演算負荷を増大させることなく、被写体像に速やかに合焦させることができる。
　（評価値ＬＳＦに基づいて、合焦駆動を実行する場合について）
　図２３には、ＬＳＦに基づく合焦駆動の手順を示すフローチャートが示されている。撮像装置１００のＣＰＵ１９０は、エッジに合焦（ＡＦ）させる領域として、スルー画像の中央に領域（中央エリア領域）を設定する（ステップＳｄ１）。この設定は、操作部１８０が受け付けたユーザの操作入力に基づいて、実行されてもよい。
　ＣＰＵ１９０は、撮像部１１０を制御して、露出制御を実行させる（ステップＳｄ２）。また、画像処理部１４０は、スルー画像を取得する（ステップＳｄ３）。そして、ＣＰＵ１９０は、撮像部１１０を制御して、ｄｅｂａｙｅｒ（色補間）処理を実行させる。
　また、画像処理部１４０は、取得したスルー画像に対して、画像処理を実行する。例えば、画像処理部１４０は、取得したスルー画像に対して、ホワイトバランス（Ｗｈｉｔｅ　Ｂａｌａｎｃｅ、ＷＢ）調整処理、ノイズ低減（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ、ＮＲ）処理、を実行する（ステップＳｄ４）。ここで、画像処理部１４０が取得したスルー画像は、撮像素子１１９が出力した電気信号が間引かれたことで、解像度が低下した画像であってもよい。このようにすれば、画像処理部１４０が実行する画像処理量を低減させることができる。さらに、画像処理部１４０は、画像処理を施したスルー画像を、表示部１５０に表示させる（ステップＳｄ５）。
　ＣＰＵ１９０は、フォーカス指示がＣＰＵ１９０に入力されたか否かを判定する（ステップＳｄ６）。フォーカス指示が入力されていない場合（ステップＳｄ６－ＮＯ）、ＣＰＵ１９０の処理は、ステップＳｄ３に戻る。フォーカス指示が入力されている場合（ステップＳｄ６－ＹＥＳ）、ＣＰＵ１９０の処理は、ステップＳｄ７に進む。
　画像処理部１４０は、スルー画像をフル解像度で取得する（ステップＳｄ７）。そして、ＣＰＵ１９０は、撮像部１１０を制御して、ｄｅｂａｙｅｒ（色補間）処理を実行させる。また、画像処理部１４０は、取得したスルー画像に対して、画像処理を実行する。例えば、画像処理部１４０は、取得したスルー画像に対して、ホワイトバランス調整処理、ノイズ低減処理を実行する（ステップＳｄ８）。
　エッジ検出部１９２は、中央エリア領域において、ラプラシアンフィルタ等で色チャネル毎のエッジ画像を抽出する（ステップＳｂ９）。そして、エッジ検出部１９２は、色成分量（エッジパワー）が一定量以上である有効なエッジを抽出する（ステップＳｂ１０）。さらに、エッジ検出部１９２は、抽出されたエッジのＬＳＦを画像の水平方向に対して算出する（ステップＳｄ１１）。
　エッジ検出部１９２は、各色チャネルのエッジについて、位置相関を検出する（ステップＳｂ１２）。そして、エッジ検出部１９２は、位置相関のある２色以上のチャネルのエッジを選択し、エッジ画像を抽出する（ステップＳｂ１３）。ここで、Ｒチャネルのエッジと、Ｇチャネルのエッジ画像が抽出された場合を例として説明する。エッジ検出部１９２は、抽出されたエッジ画像のエッジについて太線化を行い、エッジ以外をマスクしたマスク画像（図１５（Ｄ）を参照）を作成する（ステップＳｄ１４）。
　分布検出部１９３は、「８×８」のブロックにマスク画像を分割する。そして、分布検出部１９３は、各ブロックのＬＳＦを参照して、１画素あたりのＬＳＦの平均値を算出する（ステップＳｄ１５）。さらに、分布検出部１９３は、算出した平均値に基づいて、被写体像のラベリングを実行してもよい。中央エリア領域に複数のラベルがある場合、分布検出部１９３は、中央エリア領域に複数の被写体距離があると判定する（ステップＳｄ１６）。
　制御部１９４は、Ｒチャネルのエッジと、Ｇチャネルのエッジと基づいて、ＡＦレンズ１１２の駆動方向と、デフォーカス量（コントラストスキャンの開始位置）とを算出する（ステップＳｄ１７）。制御部１９４は、ＡＦレンズ１１２を開始位置（例えば、前ピン状態であれば、至近側領域にある位置）に移動させる。そして、制御部１９４は、ＬＳＦを算出しながら、コントラストスキャンを実行する。制御部１９４は、コントラストスキャンを実行しながら、ＬＳＦが合焦状態を示した位置（図１３を参照）を一旦通過して、スキャン駆動を停止する（ステップＳｄ１８）。
　そして、制御部１９４は、内挿により合焦位置を算出し、算出した合焦位置にＡＦレンズ１１２を移動させる（ステップＳｄ１９）。また、画像処理部１４０は、スルー画像を繰り返し取得する（ステップＳｄ２０）。そして、画像処理部１４０は、スルー画像を表示部１５０に表示させる（ステップＳｄ２１）。なお、制御部１９４は、中央エリア領域より更に広い領域を、エッジに合焦させる領域（ＡＦ領域）としてもよい。
　以上のように、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジに対応する線広がり関数（ＬＳＦ）に基づいて、被写体より近点側に合焦していること、又は被写体より遠点側に合焦していることを示す方向指標を検出する。さらに、分布検出部１９３は、デフォーカス量も検出する。これにより、焦点調節装置１９１は、被写体像が単色である場合、被写体像の面積が小さい場合、又は被写体像の空間周波数が低い場合でも、速やかに合焦させることができる（コンテンツ耐性）。
　また、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジに対応する線広がり関数（ＬＳＦ）の標準偏差又は半値幅に基づいて、デフォーカス量を検出する。これにより、焦点調節装置１９１は、エッジの線広がり関数の標準偏差又は半値幅に基づいて、被写体像に速やかに合焦させることができる。
　焦点調節装置１９１は、焦点調節を行うためのＡＦレンズ１１２を有するレンズ鏡筒１１１から入射される被写体像を含む画像を構成する色成分毎に、被写体像のエッジを検出するエッジ検出部１９２を備える。また、焦点調節装置１９１は、エッジ検出部１９２が色成分毎に検出したエッジの線広がり関数（ＬＳＦ）を算出する分布検出部１９３をさらに備える。そして、焦点調節装置１９１は、線広がり関数に基づいて、被写体像に合焦させるようにＡＦレンズ１１２を移動させる制御部１９４をさらに備える。
　これにより、焦点調節装置１９１は、被写体像が単色である場合、被写体像の面積が小さい場合、又は被写体像の空間周波数が低い場合でも、速やかに合焦させることができる。
　（第２実施形態）
　本発明の第２実施形態について図面を参照して詳細に説明する。第２実施形態は、後述する「デフォーカス－駆動パルステーブル」に基づいて分布検出部１９３が合焦位置（デフォーカス量）を予測する点が、第１実施形態と異なる。以下、第２実施形態と第１実施形態との相違点についてのみ説明する。
　図２４には、「デフォーカス－駆動パルステーブル」の例が示されている。デフォーカス－駆動パルステーブルの項目（リファレンス）には、レンズ位置と、評価値と、前ピン状態での駆動パルスのステップ数（以下、「前ピン状態でのステップ数」という）と、後ピン状態での駆動パルスのステップ数（以下、「後ピン状態でのステップ数」という）とがある。ここで、評価値は、Ｅｄ、Ｗｄ、ＬＳＦに基づくデフォーカス量のいずれであってもよい。
　また、駆動パルスのステップ数とは、鏡筒制御部１１８が駆動制御信号に応じてレンズ駆動部１１６に出力する駆動パルスである。この駆動パルスのステップ数は、鏡筒制御部１１８の構造に基づいて予め定められている。そして、前ピン状態でのステップ数とは、前ピン状態での現在のレンズ位置から合焦位置まで移動するために必要なステップ数を示す。同様に、後ピン状態でのステップ数とは、後ピン状態での現在のレンズ位置から合焦位置まで移動するために必要なステップ数を示す。また、デフォーカス－駆動パルステーブルは、記憶部１６０に記憶されてもよい。
　分布検出部１９３は、周期的に評価値（デフォーカス量）を検出する。そして、分布検出部１９３は、デフォーカス－駆動パルステーブルの「評価値」の項目に、検出した評価値と、検出した際のレンズ位置とを登録する。さらに、分布検出部１９３は、「前ピン状態でのステップ数」と「後ピン状態でのステップ数」とを、デフォーカス－駆動パルステーブルに登録する。これら「前ピン状態でのステップ数」と「後ピン状態でのステップ数」とは、鏡筒制御部１１８の構造に基づいて予め定められている。分布検出部１９３は、これらの登録動作を繰り返して、履歴を作成する。
　次に、デフォーカス－駆動パルステーブルに基づいて制御部１９４がＡＦレンズ１１２の移動方向及びコントラストスキャン領域を限定する手順について説明する。
　図２５には、前ピンとその度合が判定された場合のコントラストスキャン領域が示されている。同時に、図２５には、後ピンとその度合が判定された場合のコントラストスキャン領域も示されている。追尾対象に設定された被写体像のエッジが前ピン状態であると判定された場合、制御部１９４は、デフォーカス－駆動パルステーブル（図２４を参照）に基づいて、至近側領域に合焦位置の予測範囲を定める。
　例えば、鏡筒制御部１１８から出力されたレンズ位置（フォーカスポジション）が値「１」、かつ、分布検出部１９３が検出した評価値（デフォーカス量）が値「１」、かつ、分布検出部１９３が検出した方向指標が前ピン状態を示したとする。
　この場合、制御部１９４は、レンズ位置「１」、及び評価値「１」に対応する、前ピンでのステップ数が、デフォーカス－駆動パルステーブル（図２４を参照）に登録されているか否かを参照する。図２４に示された例では、レンズ位置「１」、及び評価値「１」に対応する「前ピンでのステップ数」が登録されている。したがって、制御部１９４は、デフォーカス－駆動パルステーブルから、前ピンでのステップ数「２３」を取得する。
　これにより、制御部１９４は、ＡＦレンズ１１２が現在のレンズ位置から至近方向に、駆動パルスのステップ数「２３」に対応する移動量を移動した位置に合焦位置がある、と予測する。そして、制御部１９４は、予測した位置を中心とする所定の長さの予測範囲を定める。さらに、制御部１９４は、予測範囲に限定して、コントラストスキャンを実行する。なお、予測範囲の長さは、安全係数が付加されて、さらに長くなってもよい。
　追尾対象に設定された被写体像のエッジが「後ピン状態」であると判定された場合も同様に、制御部１９４は、デフォーカス－駆動パルステーブル（図２４を参照）に基づいて、無限側領域にある合焦位置を中心とする合焦位置の予測範囲を定める。そして、制御部１９４は、合焦位置の予測範囲に限定して、コントラストスキャンを実行する。
　図２６には、被写体像を追尾する追尾動作における、焦点調節装置１９１の合焦駆動の手順を示すフローチャートが示されている。図２６のステップＳｃ１～Ｓｃ１５は、図１９のステップＳ１～Ｓ１５と同じである。また、図２６のステップＳｃ１８～Ｓｃ２０は、図１９のステップＳ１７～Ｓ１９と同じである。また、図２６のステップＳｃ１６及びＳｃ１７は、並列処理を示す。
　評価値Ｅｄが予め定められた第１閾値を超えた場合、又は、前回のＥｄと今回のＥｄとの差が予め定められた第２閾値より大きくなった場合（ステップＳｃ１５－ＹＥＳ）、制御部１９４は、ＡＦレンズ１１２の移動方向を限定する。そして、制御部１９４は、図２４を用いてデフォーカス－駆動パルステーブルを参照して、さらに合焦位置の予測範囲を定める。（ステップＳｃ１６）。
　制御部１９４は、ＡＦレンズ１１２の移動方向を限定し、さらに合焦位置の予測範囲に限定して、コントラストスキャン（小スキャン）を実行する。また、制御部１９４は、被写体像のエッジに合焦させるように、合焦位置にＡＦレンズ１１２を移動させる（ステップＳｃ１７）。そして、制御部１９４の処理は、ステップＳｃ１８に進む。以降は、第１実施形態と同様である。
　このように、コントラストスキャンを実行する範囲が、合焦位置の予測範囲に限定される。この結果、焦点調節装置１９１は、通常のコントラストスキャンと比較してより速やかに、被写体像に合焦させることができる。
　図２７には、「デフォーカス－駆動パルステーブル」に基づくコントラストスキャンにおける、合焦駆動の例が示されている。以下、評価値Ｅｄに基づいて制御部１９４が合焦駆動を実行する場合を一例として説明する。図２７の各横軸は、撮像部１１０が撮像するスルー画像のフレーム数を示す。また、図２７の上段の縦軸は、共通エッジのＥｄを示す。ここで、フレーム数ｆ１におけるＥｄを、「Ｅｄ値（初期）」とする。また、図２７の下段の縦軸は、レンズ位置を示す。
　コントラストスキャンから一定時間が経過した場合、又は、操作部１８０からＣＰＵ１９０に撮影指示が出力された場合に、制御部１９４はコントラストスキャンを実行し、被写体像のエッジに合焦させる。また、分布検出部１９３は、一定周期でＥｄを算出する。そして、分布検出部１９３は、スルー画像に含まれる被写体像の動きベクトルに基づいて、被写体像の単位時間当たりの動きが大きいと判定した場合には、Ｅｄを算出するレートを速くする。なお、分布検出部１９３は、前回算出された評価値Ｅｄと今回算出された評価値Ｅｄとの相対的な差が大きいと判定した場合に、Ｅｄを算出するレートを速くしてもよい。
　まず、制御部１９４が、フレーム数ｆ１～ｆ２において、コントラストスキャンを実行し、ＡＦレンズ１１２をスキャン駆動させたとする。ここで、分布検出部１９３は、スキャン駆動中に、被写体像の単位時間当たりの動きが大きいと判定した場合には、Ｅｄを算出するレートを速くする。
　そして、制御部１９４は、フレーム数ｆ２～ｆ３において、ＡＦレンズ１１２を合焦位置駆動させ、被写体像の共通エッジに合焦させる。これにより、フレーム数ｆ３～ｆ４において、被写体像の共通エッジは、合焦状態にある。ここで、被写体距離が変化した場合、フレーム数ｆ３～ｆ４における合焦位置は合焦位置（初期）と異なっていてもよい。
　次に、被写体距離が変化したことにより、フレーム数ｆ４において、予め定められた閾値をＥｄが超えたとする。これにより、制御部１９４は、デフォーカス－駆動パルステーブルに基づいて、ＡＦレンズ１１２の移動方向及び移動量を限定する。
　例えば、鏡筒制御部１１８から出力されたレンズ位置（フォーカスポジション）が値「１」、かつ、分布検出部１９３が検出した評価値（デフォーカス量）が値「１」、かつ、分布検出部１９３が検出した方向指標が前ピン状態を示したとする。
　この場合、制御部１９４は、レンズ位置「１」及び評価値「１」に対応する「前ピンでのステップ数」が「デフォーカス－駆動パルステーブル（図２４を参照）」に登録されているか否か、を判定する。そして、図２４に示された例では、レンズ位置「１」及び評価値「１」に対応する「前ピンでのステップ数」が、テーブルに登録されているので、制御部１９４は、デフォーカス－駆動パルステーブルから、前ピンでのステップ数「２３」を取得する。
　これにより、現在のレンズ位置から至近方向に向かって、駆動パルスのステップ数「２３」に対応する移動量だけＡＦレンズ１１２が移動した位置に合焦位置がある、と制御部１９４は予測する。そして、制御部１９４は、駆動制御信号を鏡筒制御部１１８に出力する。そして、制御部１９４は、駆動パルスのステップ数「２３」に対応する移動量だけ、ＡＦレンズ１１２を至近方向に駆動させる。これにより、制御部１９４がフレーム数ｆ５においてエッジに合焦させたとする。
　また、制御部１９４が「フレーム数ｆ５～ｆ７」及び「フレーム数ｆ７～ｆ９」においてフレーム数ｆ３～ｆ５と同様の動作を繰り返したとする。そして、ユーザが操作部１６０を操作したことにより、フレーム数ｆ１０において、フォーカス指示又は撮影指示がＣＰＵ１９０に入力されたとする。
　図２８には、図２７に示された合焦駆動の例における、フレーム数ｆ１０～ｆ１２部分の拡大図が示されている。ここで、縦軸はレンズ位置を示す。また、横軸はフレーム数を示す。制御部１９４は、フレーム数ｆ１０において、デフォーカス－駆動パルステーブル（図２４を参照）に基づいて、合焦位置を中心とする合焦位置の予測範囲を定める。そして、制御部１９４は、予測範囲について、コントラストスキャンを実行する。同時に、制御部１９４は、コントラスト値がピークを示した合焦位置を一旦通過して、フレーム数ｆ１１において、評価値Ｅｄを内挿により算出する。
　さらに、フレーム数ｆ１１～１２において、制御部１９４は、内挿により算出した合焦位置に、ＡＦレンズ１１２を戻す（合焦位置駆動）。
　以上のように、焦点調節装置１９１は、焦点調節を行うためのＡＦレンズ１１２を有するレンズ鏡筒１１１から入射される被写体像を含む画像を構成する色成分毎に、被写体像のエッジを検出するエッジ検出部１９２を備える。また、焦点調節装置１９１は、エッジ検出部１９２が色成分毎に検出したエッジに基づいて、画像における合焦状態及び非合焦状態の分布を検出する分布検出部１９３をさらに備える。そして、焦点調節装置１９１は、分布検出部１９３が検出した分布の履歴を含む「デフォーカス－駆動パルステーブル」を作成し、その履歴に基づいて、被写体像に合焦させるようにＡＦレンズ１１２を移動させる制御部１９４をさらに備える。
　これにより、焦点調節装置１９１は、一度も合焦されていない被写体像に、デフォーカス－駆動パルステーブルを参照しない場合と比較して、より速やかに合焦させることができる。
　（第３実施形態）
　本発明の第３実施形態について図面を参照して詳細に説明する。第３実施形態が第１及び２実施形態と異なる点は、分布検出部１９３が、画素ずらしによる画素値の差分データ（自己相関）を評価値として、デフォーカス量を算出する点である。以下、第１及び２実施形態との相違点についてのみ説明する。
　図２９には、動画撮像モードを有する焦点調節装置１９１の動作を示すフローチャートが示されている。ＣＰＵ１９０は、撮像装置１００を動画撮像モードに設定する（ステップＳｅ１）。ここで、ＣＰＵ１９０は、操作部１８０が受け付けたユーザの操作入力に基づいて、撮像装置１００を動画撮像モードに設定してもよい。これにより、ＣＰＵ１９０は、撮像装置１１０が撮像した画像を、動画として画像処理するように画像処理部１４０を制御する。
　画像処理部１４０は、１／３０間引きデータを取得する（ステップＳｅ２）。ここで、１／３０間引きデータとは、３０分の１秒ごとに撮像素子１１９から出力されるスルー画像であって、その一部が間引かれたことで解像度が低くなったスルー画像である。そして、ＣＰＵ１９０は、撮像部１１０を制御して、自動露出（ＡＥ）処理を実行する（ステップＳｅ３）。
　焦点調節装置１９１の制御部１９４は、初回の合焦駆動を実行する。この合焦駆動における合焦方式は、適宜選択されてよい。例えば、合焦方式は、コントラストＡＦ方式でもよいし、その他の合焦方式（位相差検出方式など）でもよい。そして、エッジ検出部１９２は、スルー画像から色成分量のコントラストが高い領域を、評価値を評価する評価エリアとして選択する（ステップＳｅ４）。
　制御部１９４は、コントラストスキャンを実行し、ＡＦレンズ１１２をスキャン駆動させる（ステップＳｅ５）。そして、エッジ検出部１９２は、評価エリア内にて、スルー画像を水平方向に１画素ずらす。さらに、エッジ検出部１９２は、水平方向に１画素ずらしたスルー画像と、元のスルー画像との画素値（例えば、色成分量）の差分データを、色チャネル毎に算出（採取）する（ステップＳｅ６）。
　分布検出部１９３は、Ｇチャネルの差分データ数の１０％について、差分データのヒストグラムを作成し、差分データの平均値を算出する（ステップＳｅ７）。なお、分布検出部１９３は、Ｇチャネルの差分データ数の全数について、差分データのヒストグラムを作成してもよい。
　図３０Ａには、合焦状態における差分データのヒストグラムが示されている。また、図３０Ｂには、非合焦状態における差分データのヒストグラムが示されている。そして、図３０Ａ及び図３０Ｂの横軸は、差分データを示す。また、縦軸は、差分データの頻度を示す。
　非合焦状態では、デフォーカス量が多いため、隣接する画素同士の画素値の差（隣接差）は、合焦状態での隣接差と比較して少ない。このため、ヒストグラムは、差分データが小さいほうにシフトする。したがって、図１３Ａに示された合焦状態での差分データの平均値「Ａｖｅ」と、図１３Ｂに示された非合焦状態での差分データの平均値「Ａｖｅ１」には、「Ａｖｅ＞Ａｖｅ１」という大小関係が成り立つ。このため、平均値が予め定められた閾値よりも小さくなった場合、分布検出部１９３は、スルー画像が非合焦状態であると判定する。
　図２９に戻り、焦点調節装置１９１の動作の説明を続ける。画像処理部１４０は、１／３０間引きデータを新たに取得する（ステップＳｅ８）。そして、エッジ検出部１９２は、評価エリア内にて、スルー画像を水平方向に１画素ずらす。さらに、エッジ検出部１９２は、水平方向に１画素ずらしたスルー画像と、元のスルー画像との画素値（例えば、色成分量）の差分データを、色チャネル毎に算出（採取）する。さらに、分布検出部１９３は、差分データ数の１０％について、差分データのヒストグラムを作成し、差分データの平均値を色チャネル毎に算出する（ステップＳｅ９）。なお、分布検出部１９３は、差分データ数の全数について、差分データのヒストグラムを色チャネル毎に作成してもよい。
　Ｇチャネルの差分データの平均値が予め定められた閾値よりも小さくなった場合、分布検出部１９３は、スルー画像が非合焦（デフォーカス）状態であると判定する（ステップＳｅ１０）。さらに、分布検出部１９３は、Ｒチャネルの差分データの平均値の変化と、Ｂチャネルの差分データの平均値の変化とに基づいて、被写体像のエッジが前ピン状態であるか又は後ピン状態であるかを判定する（ステップＳｅ１１）。
　例えば、分布検出部１９３は、Ｒチャネルの差分データの平均値の変化が、Ｂチャネルの差分データの平均値の変化よりも大きい場合には、被写体像のエッジが前ピン状態であると判定してもよい。
　そして、制御部１９４は、スキャン領域を限定して、コントラストスキャンを実行する（ステップＳｅ１２）。
　以上のように、焦点調節装置１９１は、画像を水平方向に１画素ずらして、元の画像との差分データを算出することにより、スキャン領域を限定して、コントラストスキャンを実行する。これにより、制御部１９４は、通常コントラストスキャンを実行した場合と比較して、軽い処理負荷で短時間に合焦駆動を終了させる。したがって、焦点調節装置１９１は、一度も合焦されていない被写体像に、速やかに合焦させることができる。
　以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限定されない。本発明の趣旨を逸脱しない範囲で、適宜変更が可能である。
　例えば、スポット光（点光源）を有する被写体像に対して、コントラストスキャンを実行した場合、コントラスト値のピークが複数存在する。このため、合焦位置を限定できない場合が多い。そこで、焦点調節装置１９１は、上述した評価値に基づいて、スポット光被写体のコントラストＡＦの性能を向上させてもよい。
　図３１には、スポット光を判定する焦点調節装置１９１の動作を示すフローチャートが示されている。画像処理部１４０は、スルー画像（間引きＶＧＡ解像）を撮像部１１０から取得する（ステップＳｆ１）。ここで、画像処理部１４０がスルー画像を取得する周期は、通常よりも短い周期（間隔レート）であってもよい。そして、ＣＰＵ１９０は、撮像部１１０を制御して、ｄｅｂａｙｅｒ（色補間）処理を実行させる。また、画像処理部１４０は、取得したスルー画像に対して、画像処理を実行する。例えば、画像処理部１４０は、取得したスルー画像に対して、ホワイトバランス調整処理、ノイズ低減処理、を実行する（ステップＳｆ２）。
　分布検出部１９３は、色成分量のヒストグラムを作成し、ヒストグラムにクリップチャネルがあるか否かを判定する（ステップＳｆ３）。ここで、クリップチャネルとは、色成分量が飽和したチャネルである。なお、分布検出部１９３は、輝度値のヒストグラムを作成してもよい。
　クリップチャネルがある場合、分布検出部１９３は、クリップ（飽和）が発生している画素の周辺にスポット光があると判定し、その周辺について有効エッジを検索する（ステップＳｆ４）。そして、高解像の画像（間引かれていない画像）を使用して有効エッジを検索するため、画像処理部１４０は、高解像の画像を撮像部１１０から取得する（マルチスケールウィンドウ）。分布検出部１９３は、高解像の画像において、クリップ（飽和）が発生している画素の周辺について、有効エッジを検索する（ステップＳｆ５）。
　分布検出部１９３は、上述したように、エッジの情報を基にＬＳＦを算出して、色チャネル毎にＬＳＦを比較する。そして、分布検出部１９３は、上述したように、方向指標と、デフォーカス量を算出する（ステップＳｆ６）。そして、制御部１９４は、方向指標と、デフォーカス量とに基づいて、ＡＦレンズ１１２を駆動させる（ステップＳｆ７）。
　このように、焦点調節装置１９１は、クリップ（飽和）が発生している画素の周辺について有効エッジを検索する。この結果、スポット光被写体のコントラストＡＦの性能を向上させることが可能である。また、撮像装置１００は、焦点調節装置１９１がスポット光を検出（シーン検出）した結果に基づいて、撮像条件（例えば絞り値、露出値等）を変更してもよい。
　また、例えば、撮像装置１００は、焦点調節装置１９１が算出した方向指標とデフォーカス量に基づいて、撮像モードを「マクロ（接写）撮像モード」に切り替えてもよい。図３２には、マクロ撮像モードへの切り替え判定動作を説明する図が示されている。ＡＦレンズ１１２の位置が最至近にある場合に、分布検出部１９３は、被写体像が前ピン状態であると判定したとする。この場合、撮像装置１００のＣＰＵ１９０は、焦点調節装置１９１が算出した方向指標（前ピン状態）とデフォーカス量に基づいて、撮像モードを「マクロ（接写）撮像モード」に切り替える。これにより、制御部１９４は、通常コントラストスキャンにおける至近よりも更に至近側にある「マクロ（接写）の至近域」にスキャン範囲を限定して、コントラストスキャンを実行する。
　このように、撮像装置１００は、焦点調節装置１９１が算出した方向指標（前ピン状態）とデフォーカス量とに基づいて、ユーザの操作入力によらずに、撮像モードを「マクロ（接写）撮像モード」に切り替えることができる。
　また、例えば、色チャネルは、ＲＧＢ以外による色空間表現形式で表現されてもよい。例えば、色チャネルは、色差（ＹＣｂＣｒ、ＹＵＶなど）による色空間表現形式で表現されてもよい。
　また、例えば、分布検出部１９３は、同一色で被写体像をグルーピングした結果に基づいてブロックを細分化し、被写体像をラベリングしてもよい。
　また、例えば、分布検出部１９３は、有効なエッジが検出されたかった場合、画像の解像度を変更してもよい。また、分布検出部１９３は、超解像処理を実行してもよい。
　また、例えば、上記で説明した各プロファイル、各パラメータ、各閾値は、ズームポジション、像高、合焦レンジポジションに応じて、変更されてもよい。
　また、例えば、分布検出部１９３は、一定周期で算出した評価値の履歴に基づいて、評価値の変化が少ないと判定した場合には、被写体の動きが少ないとして、評価値を算出する周期を長くしてもよい。このようにすれば、分布検出部１９３は、評価値を算出する演算負荷を軽くすることができる。
　また、例えば、ＭＴＦの代わりに、ＳＦＲ（Ｓｐａｔｉａｌ Ｆｒｅｑｕｅｎｃｙ Ｒｅｓｐｏｎｓｅ）が用いられてもよい。
　（焦点調節するためのエッジを複数のエッジから選択する方法について）
　複数のエッジが画像に存在する場合、焦点調節装置は、複数のエッジから優先順位に応じて上位のエッジを、予め定められたＮ個（Ｎは、１以上の整数）選択する。そして、焦点調節装置は、選択したこれらのエッジに基づいて焦点調節を行う（例えば、図１９のステップＳ１１を参照）。このように複数のエッジが画像に存在する場合に焦点調節装置が焦点調節を行うためのエッジを選択する方法について、以下に説明する。
　分布検出部１９３（図１を参照）は、エッジ検出部１９２が色成分毎に検出したエッジのうち、パワーが強い（色成分量が多い）順に上位のエッジを選択する。また、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジのうち、色成分のコントラストが高い順に上位のエッジを選択する。
　ここで、エッジ同士で色成分のコントラストが同じであって、色成分の信号対雑音比（Ｓ／Ｎ比）が異なるエッジが混在している場合、分布検出部１９３は、色成分の信号対雑音比が高い順に上位のエッジを選択する。また、エッジ同士で色成分の信号対雑音比が同じであって、色成分のコントラストが異なるエッジが混在している場合、分布検出部１９３は、色成分のコントラストが高い順に上位のエッジを選択する。
　また、エッジ同士で色成分の信号対雑音比が同じでない場合、分布検出部１９３は、信号対雑音比が相対的に低く且つコントラストが相対的に高いエッジと、信号対雑音比が相対的に高く且つコントラストが相対的に低いエッジとのうち少なくとも一方を選択する。
　図３３Ａ，３３Ｂは、色成分の信号対雑音比が異なるエッジが混在している場合に選択されるエッジの優先順位を説明するための図である。縦軸は、色成分量を示す。また、横軸は、軸Ｄにおける位置（図７を参照）を示す。図３３Ａには、信号対雑音比が相対的に高く且つコントラストが相対的に低いエッジが示されている。一方、図３３Ｂには、信号対雑音比が相対的に低く且つコントラストが相対的に高いエッジが示されている。色成分の信号対雑音比がエッジ同士で同じでない場合、これらのエッジのうち少なくとも一方が、分布検出部１９３により選択される。
　分布検出部１９３（図１を参照）は、白及び黒の色成分により構成されたエッジを選択する。また、白及び黒の色成分により構成されたエッジが無い場合、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジのうち、２原色以上含まれ且つ色成分が同位相で変化するエッジを選択する。エッジに２原色含まれている場合、分布検出部１９３は、緑色成分（Ｇチャネル）を含むエッジを選択する。また、エッジに緑色成分が含まれていない場合、分布検出部１９３は、青色成分（Ｂチャネル）を含むエッジを選択する。
　図３４Ａ，３４Ｂ，３４Ｃは、２原色含まれる場合に選択されるエッジの優先順位を示す図である。縦軸は、色成分量を示す。また、横軸は、軸Ｄにおける位置（図７を参照）を示す。図３４Ａには、同位相で変化するＲチャネル及びＧチャネルにより構成されたエッジが示されている。また、図３４Ｂには、同位相で変化するＲチャネル及びＧチャネルにより構成されたエッジであって、Ｒチャネルのコントラストが、図３４Ａに示すＲチャネルのコントラストと比較して低いエッジが示されている。また、図３４Ｃには、同位相で変化するＲチャネル及びＢチャネルにより構成されたエッジが示されている。
　これらのエッジのうち優先順位が最も高いエッジは、緑色成分（Ｇチャネル）が含まれ且つコントラストが高い、図３４Ａに示されたエッジである。一方、これらのエッジのうち優先順位が最も低いエッジは、緑色成分が含まれていない、図３４Ｃに示されたエッジである。緑色成分が含まれているエッジは、撮像素子１１９（図１を参照）により、精度良く検出される。
　分布検出部１９３（図１を参照）は、エッジ検出部１９２が色成分毎に検出したエッジのうち、予め定められた幅以上に色成分が平坦であるエッジを選択する。図３５Ａ，３５Ｂは、色成分が平坦である１本のエッジを横切る位置に応じた色成分量の変化と、複数本のエッジを横切る位置に応じた色成分量の変化とを説明するための図である。図３５Ａ，３５Ｂの各縦軸は、色成分量を示す。また、図３５Ａの横軸は、１本のエッジを横切る位置、すなわち軸Ｄにおける位置（図７を参照）を示す。また、図３５Ｂの横軸は、複数本のエッジを横切る位置を示す。
　図３５Ａには、色成分が平坦である１本のエッジを横切る位置に応じた色成分量の変化が示されている。図３５Ａでは、エッジは、予め定められた幅Ｗ１及びＷ２以上に色成分量が平坦である。ここで、平坦であるエッジの幅については、幅Ｗ１及びＷ２が定められる代わりに、色成分量に勾配が在る範囲を含む幅Ｗ３及びＷ４が定められてもよい。一方、図３５Ｂには、複数本のエッジを横切る位置に応じた色成分量の変化が示されている。図３５Ｂでは、各エッジは、色成分量が平坦で無い。したがって、これらのエッジのうち優先順位が最も高いエッジは、予め定められた幅以上に色成分が平坦である、図３５Ａに示されたエッジである。
　分布検出部１９３（図１を参照）は、エッジ検出部１９２が色成分毎に検出したエッジのうち、色成分の信号対雑音比に応じて定まる長さ以上のエッジを選択する。例えば、分布検出部１９３は、色成分の信号対雑音比が低いほど、長いエッジを選択する。
　次に、優先順位に応じて上位のエッジを選択する手順について説明する。図３６は、優先順位に応じて上位のエッジを選択する手順を示すフローチャートである。エッジ検出部１９２が複数のエッジを検出したとする（ステップＳｇ１）。分布検出部１９３は、エッジ検出部１９２により検出されたエッジの強度（パワー、色成分量）を検出する（ステップＳｇ２）。エッジ検出部１９２は、検出したエッジの強度に基づいて、優先順位が上位Ｎ個のエッジを選択する。例えば、エッジ検出部１９２は、色成分量が多いエッジを追尾対象に設定する（ステップＳｇ３）。
　分布検出部１９３は、選択したエッジを構成する色成分に基づいて（図３４Ａ，３４Ｂ，３４Ｃを参照）、優先順位が上位のエッジを選択する。例えば、エッジに２原色含まれている場合、分布検出部１９３は、緑色成分（Ｇチャネル）を含むエッジを選択する（ステップＳｇ４）。
　分布検出部１９３は、選択したエッジのコントラストに基づいて（図３３を参照）、優先順位が上位のエッジを選択する。例えば、分布検出部１９３は、隣接する画素同士における色成分量の差（隣接差）が多い順に上位のエッジを選択する（ステップＳｇ５）。
　分布検出部１９３は、選択したエッジの色成分の信号対雑音比、及び波形において平坦になっている範囲の幅に基づいて（図３５Ａ，３５Ｂを参照）、優先順位が上位のエッジを選択する（ステップＳｇ６）。
　分布検出部１９３は、色成分の信号対雑音比に応じて定まる長さ以上のエッジを選択する。例えば、分布検出部１９３は、色成分の信号対雑音比が低いほど、長いエッジを選択する（ステップＳｇ７）。
　分布検出部１９３は、エッジの識別情報であるエッジアドレスを登録する。すなわち、分布検出部１９３は、最終的に選択された上位のエッジを追尾対象として設定する（ステップＳｇ８）。
　制御部１９４は、エッジの評価値に基づいて、前ピン状態であるか又は後ピン状態であるかと、ＡＦレンズ１１２の位置とを判定する。すなわち、制御部１９４は、分布検出部１９３が検出した合焦状態及び非合焦状態の分布に基づいて、被写体像のエッジに合焦させるようにＡＦレンズ１１２を移動させる。ここで、制御部１９４は、ＡＦレンズ１１２の移動方向を限定して、コントラストスキャンを実行する（ステップＳｇ９）。
　なお、分布検出部１９３は、エッジの色成分の代わりにエッジの輝度に基づいて、優先順位が上位のエッジを選択してもよい。
　また、図１６、１９、２０、２３、２６、２９、３１及び３６を用いて説明した手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含んでもよい。
　ここで、「コンピュータシステム」とは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含む。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
　さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持している記録媒体も含むとする。
　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する特徴点を有する媒体のことをいう。
　また、上記プログラムは、前述した効用の一部を実現するためのプログラムであっても良い。さらに、上記プログラムは、前述した効用をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できる、いわゆる差分ファイル（差分プログラム）であっても良い。
１００…撮像装置
１１０…撮像部
１１１…レンズ鏡筒
１９０…ＣＰＵ
１９１…焦点調節装置
１９２…エッジ検出部
１９３…分布検出部
１９４…制御部

Claims (17)

  1. 　焦点調節装置であって、
    　被写体像を含む画像を構成する色成分毎に、前記被写体像のエッジを検出するエッジ検出部と；
    　前記エッジ検出部が検出した前記エッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出する分布検出部と；
    　前記分布検出部が検出した前記分布に基づいてレンズを移動させる制御部と；
    を備え、
    　前記被写体像は、前記レンズを有する光学系から入射され、
    　前記制御部が前記レンズを移動させる結果、前記被写体像に焦点が合うことを特徴とする焦点調節装置。
  2. 　前記分布検出部は、前記エッジ検出部が検出した前記エッジの色成分量の勾配に基づいて、前記分布を検出することを特徴とする請求項１に記載の焦点調節装置。
  3. 　前記分布検出部は、前記エッジ検出部が検出した前記エッジの色成分量の比又は差に基づいて、被写体に対して近点側と遠点側のどちらに合焦しているかを示す方向指標と、デフォーカス量と、を検出することを特徴とする請求項１に記載の焦点調節装置。
  4. 　前記分布検出部は、前記エッジ検出部が検出した前記エッジの色成分量の比又は差のピーク間距離に基づいて、前記デフォーカス量を検出することを特徴とする請求項３に記載の焦点調節装置。
  5. 　前記分布検出部は、前記エッジ検出部が検出した前記エッジに対応する線広がり関数に基づいて、被写体に対して近点側と遠点側のどちらに合焦しているかを示す方向指標と、デフォーカス量と、を検出することを特徴とする請求項１に記載の焦点調節装置。
  6. 　前記分布検出部は、前記エッジ検出部が検出した前記エッジに対応する線広がり関数の標準偏差又は半値幅に基づいて、前記デフォーカス量を検出することを特徴とする請求項５に記載の焦点調節装置。
  7. 　前記分布検出部は、前記エッジ検出部が検出した前記エッジのうち、色成分量が多い順に上位のエッジを選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出することを特徴とする請求項１に記載の焦点調節装置。
  8. 　前記分布検出部は、前記エッジ検出部が検出した前記エッジのうち、前記色成分のコントラストが高い順に上位のエッジを選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出することを特徴とする請求項１に記載の焦点調節装置。
  9. 　前記分布検出部は、前記色成分の前記コントラストが同じエッジと、前記色成分の信号対雑音比が異なるエッジとが混在している場合、前記色成分の前記信号対雑音比が高い順に上位のエッジを選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出することを特徴とする請求項８に記載の焦点調節装置。
  10. 　前記分布検出部は、前記色成分の信号対雑音比が異なるエッジが混在している場合、前記信号対雑音比が相対的に低く且つ前記コントラストが相対的に高いエッジと、前記信号対雑音比が相対的に高く且つ前記コントラストが相対的に低いエッジとのうち少なくとも一方を選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出することを特徴とする請求項８に記載の焦点調節装置。
  11. 　前記分布検出部は、前記エッジ検出部が検出した前記エッジのうち、２原色以上含まれ且つ前記色成分が同位相で変化するエッジを選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出することを特徴とする請求項１に記載の焦点調節装置。
  12. 　前記分布検出部は、前記エッジに２原色含まれている場合、緑色成分を含むエッジを選択することを特徴とする請求項１１に記載の焦点調節装置。
  13. 　前記分布検出部は、前記エッジ検出部が検出した前記エッジのうち、予め定められた幅以上に前記色成分が平坦であるエッジを選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出することを特徴とする請求項１に記載の焦点調節装置。
  14. 　前記分布検出部は、前記エッジ検出部が検出した前記エッジのうち、前記色成分の信号対雑音比に応じて定まる長さ以上のエッジを選択し、この選択したエッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出することを特徴とする請求項１に記載の焦点調節装置。
  15. 　焦点調節装置であって、
    　被写体像を含む画像を構成する色成分毎に、前記被写体像のエッジを検出するエッジ検出部と；
    　前記エッジ検出部が検出した前記エッジの線広がり関数を算出する分布検出部と；
    　前記線広がり関数に基づいてレンズを移動させる制御部と；
    を備え、
    　前記被写体像は、前記レンズを有する光学系から入射され、
    　前記制御部が前記レンズを移動させる結果、前記被写体像に焦点が合うことを特徴とする焦点調節装置。
  16. 　焦点調節プログラムを実行するコンピュータであって、前記焦点調節プログラムは、
    　焦点調節を行うためのレンズを有する光学系から入射される被写体像を含む画像を構成する色成分毎に、前記被写体像のエッジを検出する手順と；
    　前記エッジに基づいて、前記画像の合焦状態及び非合焦状態の分布を検出する手順と；
    　前記分布に基づいて、前記被写体像に合焦させるように前記レンズを移動させる手順と；
    を含むことを特徴とするコンピュータ。
  17. 　焦点調節プログラムを実行するコンピュータであって、前記焦点調節プログラムは、
    　焦点調節を行うためのレンズを有する光学系から入射される被写体像を含む画像を構成する色成分毎に、前記被写体像のエッジを検出する手順と；
    　前記エッジの線広がり関数を算出する手順と；
    　前記線広がり関数に基づいて、前記被写体像に合焦させるように前記レンズを移動させる手順と；
    を含むことを特徴とするコンピュータ。
PCT/JP2011/053156 2010-02-15 2011-02-15 焦点調節装置、及び焦点調節プログラム WO2011099626A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/578,927 US9066001B2 (en) 2010-02-15 2011-02-15 Focus adjusting device and focus adjusting program with distribution detection of focalized and unfocused state
CN201180015740.7A CN102844705B (zh) 2010-02-15 2011-02-15 焦点调节装置和焦点调节方法
US14/727,572 US9883095B2 (en) 2010-02-15 2015-06-01 Focus adjusting device and focus adjusting program with control unit to guide a light image based upon detected distributions
US15/848,893 US20180115698A1 (en) 2010-02-15 2017-12-20 Focus adjusting device and focus adjusting program with control unit to guide a light image based upon detected distributions

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010030481 2010-02-15
JP2010-030481 2010-02-15

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/578,927 A-371-Of-International US9066001B2 (en) 2010-02-15 2011-02-15 Focus adjusting device and focus adjusting program with distribution detection of focalized and unfocused state
US14/727,572 Continuation US9883095B2 (en) 2010-02-15 2015-06-01 Focus adjusting device and focus adjusting program with control unit to guide a light image based upon detected distributions

Publications (1)

Publication Number Publication Date
WO2011099626A1 true WO2011099626A1 (ja) 2011-08-18

Family

ID=44367889

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/053156 WO2011099626A1 (ja) 2010-02-15 2011-02-15 焦点調節装置、及び焦点調節プログラム

Country Status (4)

Country Link
US (3) US9066001B2 (ja)
JP (2) JP5757099B2 (ja)
CN (1) CN102844705B (ja)
WO (1) WO2011099626A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504279A (zh) * 2016-10-18 2017-03-15 安庆师范大学 彩色图像自动聚焦方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5757099B2 (ja) * 2010-02-15 2015-07-29 株式会社ニコン 焦点調節装置、及び焦点調節プログラム
JP2011223562A (ja) * 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置
CN102158731B (zh) * 2011-05-26 2014-03-12 威盛电子股份有限公司 影像处理***及方法
CN102158730B (zh) * 2011-05-26 2014-04-02 威盛电子股份有限公司 影像处理***及方法
US9407809B2 (en) 2013-11-27 2016-08-02 Qualcomm Incorporated Strategies for triggering depth sensors and transmitting RGBD images in a cloud-based object recognition system
JP6464553B2 (ja) * 2013-11-28 2019-02-06 株式会社ニコン レンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラム
JP6349703B2 (ja) * 2013-12-03 2018-07-04 株式会社ニコン 電子カメラ及び画像処理プログラム
JP5874753B2 (ja) * 2014-01-28 2016-03-02 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP6478496B2 (ja) * 2014-07-03 2019-03-06 キヤノン株式会社 撮像装置およびその制御方法
WO2016185952A1 (ja) * 2015-05-18 2016-11-24 ソニー株式会社 制御装置及び医療用撮像システム
FR3046256B1 (fr) * 2015-12-23 2018-01-05 Thales Zoom plenoptique a portee optimisee
CN106937107B (zh) * 2015-12-29 2019-03-12 宁波舜宇光电信息有限公司 基于色差的摄像模组调焦方法
US20170321987A1 (en) * 2016-05-05 2017-11-09 Coriolis Games Corporation Simulated firearm with target accuracy detection, and related methods and systems
JP6742178B2 (ja) * 2016-07-19 2020-08-19 日本放送協会 Ｍｔｆ測定装置およびそのプログラム
JP6742180B2 (ja) * 2016-07-21 2020-08-19 日本放送協会 Ｍｔｆ測定装置及びそのプログラム
CN106331499B (zh) * 2016-09-13 2019-10-29 努比亚技术有限公司 对焦方法及拍照设备
JP6967382B2 (ja) * 2017-01-13 2021-11-17 日本放送協会 Ｍｔｆ測定装置およびそのプログラム
US10798316B2 (en) * 2017-04-04 2020-10-06 Hand Held Products, Inc. Multi-spectral imaging using longitudinal chromatic aberrations
WO2018207400A1 (ja) * 2017-05-09 2018-11-15 三菱電機株式会社 Ｍｔｆ測定装置およびｍｔｆ測定方法
US11074677B2 (en) 2018-03-29 2021-07-27 Dolby Laboratories Licensing Corporation Dynamic range extension of partially clipped pixels in captured images
JP2018163365A (ja) * 2018-06-07 2018-10-18 株式会社ニコン 画像処理装置
CN109078342B (zh) * 2018-08-17 2020-03-27 浙江大丰实业股份有限公司 舞台吊杆高度维护***
KR102668212B1 (ko) 2018-09-28 2024-05-23 삼성전자 주식회사 자동 초점 방법 및 이를 수행하는 전자 장치
DE102019117293B3 (de) 2019-06-27 2020-11-05 Carl Zeiss Smt Gmbh Vorrichtung zur Vermessung von Masken für die Mikrolithographie und Autofokussierverfahren
CN110807745B (zh) * 2019-10-25 2022-09-16 北京小米智能科技有限公司 图像处理方法及装置、电子设备
JP7405678B2 (ja) * 2020-04-01 2023-12-26 株式会社Ｓｃｒｅｅｎホールディングス 合焦位置検出方法、合焦位置検出装置および合焦位置検出用プログラム
TWI790758B (zh) * 2021-09-24 2023-01-21 致茂電子股份有限公司 應用軸向色差的對焦方法及使用該方法的光學檢測架構
WO2023150671A1 (en) * 2022-02-04 2023-08-10 Arizona Board Of Regents On Behalf Of The University Of Arizona Methods, systems and devices for increasing image resolution and dynamic range
US11852895B2 (en) 2022-02-28 2023-12-26 e-con Systems India Private Limited System and method for obtaining optimal focus of an image capturing device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003262783A (ja) * 2002-03-08 2003-09-19 Minolta Co Ltd オートフォーカス装置および撮像装置
JP2007139894A (ja) * 2005-11-15 2007-06-07 Olympus Corp 撮像装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62115408A (ja) * 1985-11-15 1987-05-27 Tamuron:Kk 固体撮像素子を有するカメラの合焦検出装置
JPS6394212A (ja) * 1986-10-08 1988-04-25 Canon Inc 合焦検出装置
JPH01246516A (ja) * 1988-03-29 1989-10-02 Sony Corp 焦点位置検出装置
JPH03136012A (ja) * 1989-10-23 1991-06-10 Olympus Optical Co Ltd 合焦検出装置
JPH03204277A (ja) * 1990-01-05 1991-09-05 Canon Inc 合焦検出方法
JPH0545574A (ja) 1991-08-14 1993-02-23 Sony Corp ビデオカメラ
JP3482013B2 (ja) * 1993-09-22 2003-12-22 ペンタックス株式会社 光学系のピント評価方法、調整方法、調整装置、およびチャート装置
JPH08248302A (ja) * 1995-03-14 1996-09-27 Nikon Corp 自動焦点検出装置
KR100197609B1 (ko) 1996-07-27 1999-06-15 윤종용 비데오카메라의 줌(zoom)기능 수행방법 및 그 장치
US6088539A (en) 1997-12-24 2000-07-11 Canon Kabushiki Kaisha Optical apparatus with focus adjusting function and focus adjustment control circuit
JP3630965B2 (ja) 1997-12-24 2005-03-23 キヤノン株式会社 焦点検出装置、カメラ及び焦点検出方法
CN1815359A (zh) * 1998-01-27 2006-08-09 诺日士钢机株式会社 底片扫描器、缺陷识别方法和图像修复方法
JP2000216978A (ja) * 1999-01-22 2000-08-04 Canon Inc 画像抽出方法及び装置並びに記憶媒体
JP2000338385A (ja) * 1999-05-28 2000-12-08 Ricoh Co Ltd 自動合焦装置およびその合焦方法
JP2001141988A (ja) * 1999-08-31 2001-05-25 Canon Inc 焦点調節装置及びその制御方法及びその制御プログラムを供給する媒体
JP2002122774A (ja) * 2000-10-16 2002-04-26 Nec Corp 焦点位置決定システムおよび焦点位置決定方法
JP2002214513A (ja) * 2001-01-16 2002-07-31 Minolta Co Ltd 光学系制御装置、光学系制御方法および記録媒体
JP3748446B2 (ja) * 2003-12-19 2006-02-22 株式会社メガチップス 画像入力装置の画像処理回路
JP4706635B2 (ja) * 2004-04-12 2011-06-22 株式会社ニコン 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ
US20060078217A1 (en) * 2004-05-20 2006-04-13 Seiko Epson Corporation Out-of-focus detection method and imaging device control method
JP4661084B2 (ja) * 2004-05-20 2011-03-30 セイコーエプソン株式会社 ミスフォーカス判定方法およびこれに関するプログラム
KR100866490B1 (ko) * 2007-01-17 2008-11-03 삼성전자주식회사 영상의 색 수차를 보정하기 위한 장치 및 방법
JP4332566B2 (ja) * 2007-03-23 2009-09-16 キヤノン株式会社 撮像装置
JP5036421B2 (ja) * 2007-06-25 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置、画像処理方法、プログラムおよび撮像装置
US8494260B2 (en) 2007-06-25 2013-07-23 Silicon Hive B.V. Image processing device, image processing method, program, and imaging device
KR101399012B1 (ko) * 2007-09-12 2014-05-26 삼성전기주식회사 영상 복원 장치 및 방법
US8264591B2 (en) * 2007-10-22 2012-09-11 Candela Microsystems (S) Pte. Ltd. Method and system for generating focus signal
EP2147854B1 (de) * 2008-07-16 2011-02-16 Torqeedo GmbH Halterung für einen Außenbordmotor
WO2010061352A2 (en) * 2008-11-26 2010-06-03 Hiok Nam Tay Auto-focus image system
US8698905B2 (en) * 2009-03-11 2014-04-15 Csr Technology Inc. Estimation of point spread functions from motion-blurred images
US9131142B2 (en) * 2009-07-17 2015-09-08 Nikon Corporation Focusing device and camera
US8958009B2 (en) * 2010-01-12 2015-02-17 Nikon Corporation Image-capturing device
JP5757099B2 (ja) * 2010-02-15 2015-07-29 株式会社ニコン 焦点調節装置、及び焦点調節プログラム
US8724009B2 (en) * 2010-05-05 2014-05-13 Hiok Nam Tay Auto-focus image system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003262783A (ja) * 2002-03-08 2003-09-19 Minolta Co Ltd オートフォーカス装置および撮像装置
JP2007139894A (ja) * 2005-11-15 2007-06-07 Olympus Corp 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504279A (zh) * 2016-10-18 2017-03-15 安庆师范大学 彩色图像自动聚焦方法
CN106504279B (zh) * 2016-10-18 2019-02-19 安庆师范大学 彩色图像自动聚焦方法

Also Published As

Publication number Publication date
JP5757099B2 (ja) 2015-07-29
JP2011186452A (ja) 2011-09-22
CN102844705A (zh) 2012-12-26
US9066001B2 (en) 2015-06-23
US20180115698A1 (en) 2018-04-26
JP2015200903A (ja) 2015-11-12
US20130016275A1 (en) 2013-01-17
US9883095B2 (en) 2018-01-30
US20150264252A1 (en) 2015-09-17
CN102844705B (zh) 2017-04-12
JP5994904B2 (ja) 2016-09-21

Similar Documents

Publication Publication Date Title
JP5994904B2 (ja) 焦点調節装置
US9936122B2 (en) Control apparatus, control method, and non-transitory computer-readable storage medium for performing focus control
US10326927B2 (en) Distance information producing apparatus, image capturing apparatus, distance information producing method and storage medium storing distance information producing program
US10395348B2 (en) Image pickup apparatus, image processing apparatus, and control method of image pickup apparatus
US9635280B2 (en) Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
EP2963492A1 (en) Image capture apparatus and method for controlling the same
US20170230567A1 (en) Image pickup apparatus, control method, and non-transitory computer-readable storage medium
JP4122865B2 (ja) オートフォーカス装置
US20140185870A1 (en) Image processing apparatus and image processing method
JP6614783B2 (ja) 自動焦点調節装置およびその制御方法
JP5417827B2 (ja) 焦点検出装置及び撮像装置
JP4701111B2 (ja) パターンマッチングシステム及び被写体追尾システム
JP6156532B2 (ja) 領域抽出装置、撮像装置、及び領域抽出プログラム
US11838628B2 (en) Image capturing apparatus, control method therefor, and storage medium
JP5673454B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9710897B2 (en) Image processing apparatus, image processing method, and recording medium
JP6624789B2 (ja) 合焦制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP7023673B2 (ja) 焦点調節装置、焦点調節方法、及び撮像装置
JP2016201600A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6003974B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6464553B2 (ja) レンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラム
JP6238673B2 (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
JP6508259B2 (ja) 撮像装置、及びプログラム
JP2018054815A (ja) 領域判別装置、その制御方法、および制御プログラム、並びに撮像装置
JP2004219461A (ja) 撮像装置およびオートフォーカス装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180015740.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11742365

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13578927

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11742365

Country of ref document: EP

Kind code of ref document: A1