WO2017135276A1 - 制御装置、制御方法および制御プログラム - Google Patents

制御装置、制御方法および制御プログラム Download PDF

Info

Publication number
WO2017135276A1
WO2017135276A1 PCT/JP2017/003537 JP2017003537W WO2017135276A1 WO 2017135276 A1 WO2017135276 A1 WO 2017135276A1 JP 2017003537 W JP2017003537 W JP 2017003537W WO 2017135276 A1 WO2017135276 A1 WO 2017135276A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus detection
subject
detection points
control unit
partial area
Prior art date
Application number
PCT/JP2017/003537
Other languages
English (en)
French (fr)
Inventor
南　智之
俊介 矢島
佳孝 宮谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017565571A priority Critical patent/JP7036423B2/ja
Priority to US16/069,775 priority patent/US10686979B2/en
Priority to CN201780008058.2A priority patent/CN108603997B/zh
Publication of WO2017135276A1 publication Critical patent/WO2017135276A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems

Definitions

  • This technology relates to a control device, a control method, and a control program.
  • AF detection pixels are uniformly embedded in the entire surface of the image pickup device or in a predetermined range.
  • the focus detection pixels is used by fixing the position of the target range displayed on the display unit of the imaging apparatus and focused by autofocus.
  • the problem with the conventional arrangement of the target range to focus on is that the subject range to be focused on is such as when the subject to be focused is small or the subject to be focused is moving. If it is bad, the accuracy of autofocus will be reduced.
  • the present technology has been made in view of such problems, and an object thereof is to provide a control device, a control method, and a control program capable of improving the accuracy of autofocus.
  • the first technique is a focus detection in which the density of focus detection points in a specified partial area is set higher than the density of focus detection points in an area excluding the partial area. It is a control apparatus provided with a control part.
  • the second technique is a control method in which the density of focus detection points in a specified partial area is set higher than the density of focus detection points in an area excluding the partial area.
  • the third technique is a control program for causing a computer to execute a control method for setting a density of focus detection points in a specified partial area to be higher than a density of focus detection points in an area excluding the partial area. It is.
  • the accuracy of autofocus can be increased.
  • the effect described here is not necessarily limited, and may be any effect described in the specification.
  • FIG. 3A is a diagram illustrating a configuration of the first phase difference detection pixel
  • FIG. 3B is a diagram illustrating a configuration of the second phase difference detection pixel
  • 4A to 4C are explanatory diagrams of phase difference detection pixels and focus detection points.
  • FIG. 5A to FIG. 5C are diagrams for explaining the first mode in the first embodiment. It is a flowchart which shows the process of the 1st aspect in 1st Embodiment. 7A to 7C are diagrams illustrating another example of the first mode in the first embodiment.
  • FIG. 8B are diagrams for explaining a second mode in the first embodiment. It is a flowchart which shows the process of the 2nd aspect in 1st Embodiment.
  • FIG. 10A to FIG. 10C are diagrams illustrating a third aspect in the first embodiment. It is a flowchart which shows the process of the 3rd aspect in 1st Embodiment.
  • 12A to 12D are diagrams illustrating another example of the third aspect in the first embodiment. It is a block diagram showing composition of an imaging device provided with an imaging control device concerning a 2nd embodiment of this art.
  • 14A to 14D are diagrams for explaining the second embodiment. It is a flowchart which shows the process in 2nd Embodiment.
  • FIG. 16D are diagrams for explaining a first aspect in the third embodiment. It is a flowchart which shows the process of the 1st aspect in 3rd Embodiment.
  • FIG. 18A and FIG. 18B are diagrams for explaining a second mode in the third embodiment. It is a flowchart which shows the process of the 2nd aspect in 3rd Embodiment.
  • FIG. 20A and FIG. 20B are diagrams illustrating a third mode in the third embodiment. It is a flowchart which shows the process of the 3rd aspect in 3rd Embodiment. 22A to 22D are diagrams for describing a modification example when the subject is out of frame.
  • First Embodiment> [1-1. Configuration of imaging device] [1-2. First Mode of Focus Detection Point Arrangement] [1-3. Second Mode of Focus Detection Point Arrangement] [1-4. Third Mode of Focus Detection Point Arrangement] ⁇ 2. Second Embodiment> [2-1. Configuration of imaging device] [2-2. Focus detection point arrangement] ⁇ 3. Third Embodiment> [3-1. Configuration of imaging device] [3-2. First Mode of Focus Detection Point Arrangement] [3-3. Second Mode of Focus Detection Point Arrangement] [3-4. Third Mode of Focus Detection Point Arrangement] ⁇ 4. Modification>
  • FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus 100.
  • the imaging apparatus 100 includes a control unit 101, an optical imaging system 102, a lens driving driver 103, an imaging device 104, a signal processing LSI (Large-Scale Integration) 105, a preprocessing unit 106, an image signal processing unit 107, a detection unit 108, and a codec.
  • the image forming apparatus includes a focus detection control unit 121 that constitutes a unit 109, a display control unit 110, a storage unit 111, a display unit 112, an input unit 113, an AF control unit 114, a subject specifying unit 115, and an imaging control device 120.
  • the control unit 101 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the ROM stores a program that is read and operated by the CPU.
  • the RAM is used as a work memory for the CPU.
  • the CPU controls the entire imaging apparatus 100 by executing various processes in accordance with programs stored in the ROM and issuing commands.
  • control unit 101 functions as a focus detection control unit 121 constituting the AF control unit 114, the subject specifying unit 115, and the imaging control device 120 by executing a predetermined program.
  • the program may be installed in the imaging apparatus 100 in advance, or may be distributed by download, a storage medium, or the like and installed by the user. Further, these configurations are not only realized by programs, but may be realized by combining dedicated devices, circuits, and the like by hardware having respective functions.
  • the subject specifying unit 115 specifies a subject that is a target of the arrangement of focus detection points within the shooting range. Based on the position of the subject specified by the subject specifying unit 115, the focus detection control unit 121 is within a partial area corresponding to the subject within the shooting range, compared to an area other than the partial area. A process of densely arranging the focus detection points locally is performed. In other words, the density of the focus detection points in the specified partial area is set to be higher than the density of the focus detection points in the area excluding the partial area (outer area). I can say that.
  • “highly arranged” means a plurality of focal points arranged in a partial area than the distance between the centers of a plurality of focus detection points arranged in an area (outside area) excluding the partial area. This means that the distance between the centers of detection points is short.
  • the focus detection control unit 121 performs processing for arranging focus detection points in an outer region more sparsely than a partial region. Further, the focus detection control unit 121 may perform processing for preventing the focus detection points from being arranged in the outer region. Details of the subject specifying unit 115 and the focus detection control unit 121 will be described later.
  • the imaging range is a range that falls within the imaging angle of view of the imaging apparatus 100, and is a range of a subject that is acquired as image data.
  • the partial area is an area corresponding to the position of the specified subject, or an area designated by the user, and includes a subject, a position, and the like that are targets for local placement of focus detection points within the imaging range.
  • the range is smaller than the shooting range.
  • the outer area is all areas other than a partial area within the imaging range.
  • the focus detection point is an area where the defocus amount is calculated in the shooting range for autofocus using the output of the phase difference detection pixel.
  • “Focusly detect focus detection points” means that the intervals between a plurality of focus detection points in a part of the region are arranged narrower than the intervals between the focus detection points in the outer region. Alternatively, the focus detection points are arranged only in a part of the region without arranging the focus detection points in the outer region.
  • “Distributing focus detection points sparsely” means that the intervals between a plurality of focus detection points in an outer region are set wider than the intervals between a plurality of focus detection points in a partial region.
  • the optical imaging system 102 includes a photographing lens for condensing light from a subject on the imaging element 104, a driving mechanism for moving the photographing lens to perform focusing and zooming, a shutter mechanism, an iris mechanism, and the like. Yes. These are driven based on a control signal from the control unit 101.
  • the optical image of the subject obtained through the optical imaging system 102 is formed on the imaging element 104 as an imaging device.
  • the lens driving driver 103 is configured by, for example, a microcomputer, and performs autofocus so as to focus on the target subject by moving the lens by a predetermined amount along the optical axis direction under the control of the AF control unit 114. Further, in accordance with control from the control unit 101, operations of the drive mechanism, shutter mechanism, iris mechanism, and the like of the optical imaging system 102 are controlled. Thereby, adjustment of exposure time (shutter speed), aperture value (F value), etc. are made.
  • the image sensor 104 includes R (Red) pixels, G (Green) pixels, and B (Blue) pixels that are normal pixels, and a first phase difference that is a phase difference detection pixel that performs phase difference detection. It has a detection pixel P1 and a second phase difference detection pixel P2.
  • the phase difference detection pixels have a pair of P1 and P2.
  • the phase difference detection pixels P1 and P2 have different optical characteristics from normal imaging pixels.
  • Each pixel constituting the image sensor 104 photoelectrically converts incident light from a subject to convert it into a charge amount, and outputs a pixel signal. Then, the image sensor 104 finally outputs an image signal composed of pixel signals to the signal processing LSI 105.
  • a CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • FIG. 3 is a diagram showing the configuration of the phase difference detection pixel.
  • FIG. 3A shows the first phase difference detection pixel P1
  • FIG. 3B shows the second phase difference detection pixel P2.
  • the first phase difference detection pixel P1 has a light receiving element 11. Also. A microlens 12 is provided on the light incident side. Further, a light shielding layer 13 that blocks incident light is provided between the light receiving element 11 and the microlens 12 for pupil division. The light shielding layer 13 is configured to have an opening 14 that is eccentric in one direction with respect to the center of the light receiving element 11.
  • the first phase difference detection pixel P1 Since the first phase difference detection pixel P1 is configured in this way, only a part of the incident light enters the light receiving element 11 as shown in FIG. 3A.
  • the second phase difference detection pixel has a light receiving element 21. Also. A microlens 22 is provided on the light incident side. Further, a light shielding layer 23 for blocking incident light is provided between the light receiving element 21 and the microlens 22 for pupil division. The light shielding layer 23 is configured to have an opening 24 that is eccentric in one direction with respect to the center of the light receiving element.
  • the light shielding layer 23 is configured to shield the opposite side of the first phase difference detection pixel P1 from the direction shielded by the light shielding layer 13. Therefore, the first phase difference detection pixel P1 and the second phase difference detection pixel P2 are configured to shield the opposite sides of the distance measuring direction.
  • the second phase difference detection pixel P2 Since the second phase difference detection pixel P2 is configured as described above, only part of the incident light enters the light receiving element 21 as shown in FIG. 3B.
  • the phase difference detection pixel is configured as described above, and so-called image plane phase difference AF (Auto-Focus) can be performed using the output from the phase difference detection pixel.
  • the phase difference detection pixel may function only as a phase difference detection pixel and may not function as a normal pixel. Since one pixel includes two independent photodiodes, It may function for phase difference detection. In such a pixel, two photodiodes can independently take in light.
  • a phase difference signal is detected from each photodiode and functions as a phase difference detection pixel. It functions as one normal pixel and outputs an image signal.
  • any imaging element 104 capable of detecting a phase difference in addition to a normal photographing function such as an imaging element 104 having a structure in which an imaging sensor and an image plane phase difference AF sensor are stacked, is usable. Good.
  • the pre-processing unit 106 performs a sample hold on the image signal output from the image sensor 104 so as to maintain a good S / N (Signal / Noise) ratio by CDS (Correlated Double Sampling) processing. Further, the gain is controlled by AGC (Auto-Gain-Control) processing, A / D (Analog / Digital) conversion is performed, and a digital image signal is output.
  • AGC Auto-Gain-Control
  • a / D Analog / Digital
  • the image signal processing unit 107 performs predetermined signal processing such as demosaic processing, white balance adjustment processing, color correction processing, gamma correction processing, Y / C conversion processing, AE (Auto-Exposure) processing, resolution conversion processing on the image signal. Apply.
  • the detection unit 108 performs AF detection for determining a focus position using a signal from the phase difference detection pixel of the image sensor 104, and calculates a defocus amount. Detection information is supplied to the control unit 101 or the AF control unit 114 by the detection unit 108.
  • the image sensor 104 supplies both the signal from the normal pixel and the signal from the phase difference detection pixel to the signal processing LSI 105, and the signal processing LSI 105 divides the signal from the normal pixel and the signal from the phase difference detection pixel. It is done.
  • the signal from the normal pixel is subjected to predetermined image processing by the target object and image signal processing unit 107 described above, and the signal from the phase difference detection pixel is subjected to detection processing for autofocus by the detection unit 108.
  • Some image sensors can select only signals from phase difference detection pixels and independently supply them to the signal processing LSI 105, and such image sensors may be used.
  • detection processing may be performed on the signal from the phase difference detection pixel in the image sensor 104, and the signal from the normal pixel and detection information may be output from the image sensor 104 to the signal processing LSI 105.
  • a camera or the like provided in the mobile phone may be configured in this way.
  • the codec unit 109 performs, for example, an encoding process for recording or communication on image data on which a predetermined process has been performed.
  • the display control unit 110 controls the display unit 112 to display a monitoring image for displaying a subject being shot as a moving image, various user interfaces for shooting, a shot image or a moving image, and the like.
  • the display control unit 110 acquires focus detection point information from the focus detection control unit 121 and superimposes and displays a frame-shaped icon indicating the focus detection point on the monitoring image on the display unit 112. Thereby, the user can visually confirm how the focus detection points are arranged with respect to which subject. Note that the focus detection point does not necessarily have to be displayed on the monitoring image, and the user may be able to select display on / off.
  • FIG. 4A shows one focus detection point 31 in the imaging range and a region used for detection by the corresponding phase difference detection pixel (hereinafter referred to as a phase difference pixel region 32).
  • the phase difference pixel region 32 includes a plurality of pairs of phase difference detection pixels described with reference to FIG.
  • a defocus amount is calculated for each focus detection point corresponding to the phase difference pixel area.
  • the focus detection point 31 indicated by a bold line and the phase difference pixel area 32 indicated by a thin line corresponding to the focus detection point 31 are not the same in shape and size. It is wider than the focus detection point 31.
  • phase difference pixel regions 32 and 34 of the plurality of focus detection points 31 and 33 overlap each other. (The shaded area in FIG. 4B). Therefore, even when a plurality of focus detection points are arranged sparsely at intervals, all phase difference detection pixels may be used.
  • FIG. 4C a plurality of focus detection points 31 and 33 are sparsely arranged with a large interval, and the phase difference pixel areas 32 and 34 corresponding to the focus detection points 31 and 33 overlap each other. If not, the operation of the phase difference detection pixel corresponding to the phase difference pixel area 35 (dashed line portion in FIG. 4C) not used for detection is stopped.
  • the focus detection point can be arranged at an arbitrary position within the imaging range.
  • the focus detection point is conceptual, and the defocus amount at the focus detection point is calculated based on signals from a plurality of pairs of phase difference detection pixels included in the focus detection region. Since the line of the focus detection area includes a plurality of pairs of phase difference detection pixels symmetrically, the defocus amount at the center of the focus detection area is substantially calculated.
  • the display unit 112 is a display device configured by, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro Luminescence) panel, or the like.
  • the display unit 112 displays a user interface of the image capturing apparatus 100, a menu screen, a monitoring image being captured, a captured image recorded in the storage unit 111, a captured moving image, and the like.
  • the storage unit 111 is a large-capacity storage medium such as a hard disk, a memory stick (registered trademark of Sony Corporation), an SD memory card, and the like.
  • the image is stored in a compressed state based on a standard such as JPEG (Joint Photographic Experts Group). Further, EXIF (Exchangeable Image File Format) data including additional information such as information relating to the saved image and imaging date and time is also stored in association with the image.
  • the moving image is stored in a format such as MPEG2 (Moving / Pictures / Experts / Group2) or MPEG4.
  • the input unit 113 includes, for example, a power button for switching power on / off, a release button for instructing start of recording of a captured image, an operation element for zoom adjustment, and a touch screen configured integrally with the display unit 112. Etc.
  • a control signal corresponding to the input is generated and output to the control unit 101.
  • the control unit 101 performs arithmetic processing and control corresponding to the control signal.
  • the AF control unit 114 controls the lens driving driver 103 using the output of the focus detection pixel corresponding to the focus detection point based on the focus detection point information from the focus detection control unit 121.
  • the lens driving driver 103 By controlling the lens driving driver 103, the lens is moved by a predetermined amount along the optical axis direction, and autofocus control is performed so as to focus on the subject.
  • the imaging plane phase difference AF is performed based on the shift amount of the pair of images formed on the focus detection pixels by the light flux passing through the pair of pupil regions of the imaging optical system. Therefore, focus detection point information is supplied from the focus detection control unit 121 to the AF control unit 114.
  • the subject specifying unit 115 performs processing for specifying a subject, a position, and the like that are targets of focus detection point arrangement.
  • a frame image constituting the monitoring image (hereinafter referred to as a processed image) is input to the subject specifying unit 115 as an image to be processed.
  • the subject specifying unit 115 detects a subject such as a person or an object in the processed image using a known subject detection technique. Then, the detected subject is set as a subject (hereinafter referred to as a target subject) to be a focus detection point arrangement target.
  • the target subject information is supplied to the focus detection control unit 121.
  • a face / object recognition technique based on template matching a matching method based on luminance distribution information of a subject, a method based on a skin color part included in an image, a feature amount of a human face, or the like may be used. it can. Moreover, you may make it improve detection accuracy combining these methods.
  • the subject specifying unit 115 may specify a subject (target subject) to be a focus detection point arrangement in accordance with an input from the user to the input unit 113.
  • a subject target subject
  • the subject at the position where the user touches the finger, stylus pen, or the like in the monitoring image displayed on the display unit 112 is the target subject.
  • the user can move the cursor superimposed on the monitoring image by operating the cross key or dial of the input unit 113 of the imaging apparatus 100, the subject at the cursor position is targeted. The subject.
  • the focus detection control unit 121 determines the arrangement of focus detection points on the shooting screen displayed on the display unit 112 based on the supplied target subject information.
  • the image pickup element 104 for image plane phase difference AF phase difference detection pixels are usually arranged on the entire surface of the image pickup element 104, and a focus detection point can be arranged at an arbitrary position in the photographing range. Yes.
  • This technique makes use of the characteristics of the image sensor 104 for image plane phase difference AF, and improves the accuracy of autofocus for the target subject by arranging the focus detection points according to the target subject. is there.
  • Information indicating the set focus detection point arrangement (hereinafter referred to as focus detection point information) is supplied to the display control unit 110 and the AF control unit 114. The specific arrangement of focus detection points will be described later.
  • the imaging device 100 having the function of the imaging control device 120 is configured as described above.
  • FIG. 5 is a diagram for explaining a setting state of focus detection points in the photographing range
  • FIG. 6 is a flowchart showing a flow of focus detection point arrangement.
  • the first aspect of the focus detection point arrangement is that the focus detection points 54 are denser in the partial area 53 including the target subject 52 specified in the imaging range 51 than in the area 55 other than the partial area 53. Is to be placed.
  • step S111 the processed image is input to the subject specifying unit 115.
  • step S ⁇ b> 112 the subject specifying unit 115 specifies a subject that is a target for focus detection point arrangement from the shooting range 51.
  • the subject is identified based on the subject detection technique, input from the user, and the like.
  • the target subject information is supplied to the focus detection control unit 121.
  • a bird within the shooting range 51 is specified as the target subject 52.
  • a plurality of focus detection points 54 are evenly arranged on the entire surface as an initial state.
  • the initial state is a state in which the focus detection point is not arranged at all by the focus detection control unit 121 after the imaging apparatus 100 is activated, and the focus detection point 54 is arranged over the entire imaging range 51 or a predetermined range.
  • the arrangement of the focus detection points 54 in the initial state covers the entire surface of the imaging range 51, for example, an arrangement that forms a substantially cross shape at the approximate center of the imaging range 51, or an arrangement that forms an approximately central rectangular area. But you can.
  • the imaging apparatus 100 performs autofocus control using a signal from the phase difference detection pixel corresponding to the focus detection point arranged in the initial state.
  • step S113 the focus detection control unit 121 determines a partial region 53 that is a region where the focus detection points 54 are locally arranged so that the entire target subject 52 is included.
  • step S114 the focus detection control unit 121 determines the arrangement of the focus detection points 54 in the partial region 53.
  • the total number of vertical ⁇ horizontal focus detection points 54 is a predetermined number corresponding to the size of the partial area 53, and the focus detection points 54.
  • the focus detection points 54 are determined so as to be evenly arranged in the partial region 53 at intervals according to the size of the partial region 53.
  • the number of focus detection points 54 according to the size of the partial area 53 and the interval between the focus detection points 54 are set such that the size of the partial area 53 corresponds to the number of focus detection points 54 and the distance between the focus detection points 54.
  • the focus detection control unit 121 holds the placed table and can obtain the table by referring to the table. Alternatively, it may be obtained from an arithmetic expression indicating the correspondence between the size of the partial region 53, the number of focus detection points 54, and the focus detection points 54.
  • the focus detection control unit 121 determines the arrangement of the focus detection points 54 so that the interval between the focus detection points 54 in the partial area 53 is narrower than the area 55 other than the partial area 53 in the imaging range 51. To do. As described above, the focus detection points 54 are concentrated in the partial area 53 so as to be densely arranged, so that the accuracy of the autofocus with respect to the target subject 52 can be improved.
  • step S115 the focus detection control unit 121 outputs focus detection point information to the display control unit 110 and the AF control unit 114.
  • the display control unit 110 displays the focus detection point 54 on the display unit 112, and the AF control unit 114 performs autofocus control based on the defocus amount at the focus detection point 54.
  • the focus detection points 54 may be arranged in the region 55 other than the partial region 53 as shown in FIG. 5C.
  • the focus detection points 54 are arranged so that the interval between the focus detection points 54 is wider than that in the partial region 53 and sparser than in the partial region 53.
  • the focus detection points 54 in the outer region 55 may be arranged sparser than the partial region 53 by leaving the initial state.
  • the number of focus detection points 54 may be less sparse than the initial state.
  • some image sensors can select only signals from the phase difference detection pixels, read them independently, and supply them to the signal processing LSI 105.
  • a signal is read out only from the phase difference detection pixels included in the partial area 53.
  • Auto focus control may be performed.
  • readout from the phase difference detection pixels not included in the partial area 53 is not performed, and therefore, the focus detection points 54 are not arranged outside the partial area 53 as shown in FIG. 7B.
  • the calculation resources for autofocus can be concentrated only on the partial area 53, and the processing load can be reduced, the detection processing can be speeded up, the data rate can be reduced, and the power consumption can be reduced.
  • the normal pixels are read from all the normal pixels.
  • the focus detection points other than the partial region can be arranged in the following second and third. The same applies to the above-described aspect, the second embodiment, the third embodiment, and the modification.
  • the number of focus detection points may or may not be constant in the initial state and after the arrangement is changed using the present technology. Further, when there is a restriction on the calculation resource, the arrangement of the focus detection points is changed within the range of the calculation resource.
  • the partial area 53 may be set such that the side of the rectangular partial area 53 is positioned at a predetermined distance from the top, bottom, left, and right ends of the target subject 52 as shown in FIG. 5C. .
  • each side of the partial region 53 may be set to coincide with the vertical and horizontal ends of the target subject 52.
  • the focus detection points 54 are arranged more densely in the partial region 53 including the target subject 52 than in the region 55 other than the partial region 53, so Focus accuracy can be improved.
  • FIG. 8 is a diagram for explaining a setting state of focus detection points in the photographing range.
  • FIG. 8A is a diagram illustrating an example when the target subject is small
  • FIG. 8B is a diagram illustrating an example when the target subject is large.
  • FIG. 9 is a flowchart showing a flow of focus detection point arrangement.
  • the focus detection points 54 are arranged in a partial area 53 including the target subject 52 specified in the photographing range 51 according to the size (area) of the target subject 52. is there.
  • step S121 the processed image is input to the subject specifying unit 115.
  • step S ⁇ b> 122 the subject specifying unit 115 specifies the subject that is the target of the focus detection point arrangement from the imaging range 51.
  • the target subject 52 is specified by subject detection technology, input from the user, or the like. In the example of FIG. 8A, a bird within the shooting range 51 is specified as the target subject 52.
  • the subject specifying unit 115 detects the size of the target subject 52.
  • the size of the target subject 52 can be obtained by the subject recognition technique described above. Further, the size of the subject may be detected based on the input by the user. For example, a frame indicating the size of the subject is superimposed on the monitoring image displayed on the display unit 112, the size of the frame is adjusted by the user, and the determined size of the frame is set as the target subject 52. And so on. Then, target subject information indicating the position and size of the target subject 52 is supplied to the focus detection control unit 121.
  • step S124 the focus detection control unit 121 determines a partial region 53 so that the entire subject 52 is included.
  • step S125 the focus detection control unit 121 determines the interval between the focus detection points 54 in the partial region 53 according to the size of the target subject 52, and is evenly arranged in the partial region 53 at the interval. Thus, the arrangement of the focus detection points 54 is determined.
  • the interval between the focus detection points 54 according to the size of the target subject 52 is, for example, a table in which the focus detection control unit 121 holds a table that associates the size of the target subject 52 with the interval between the focus detection points 54. It can be determined by referring to the table. Alternatively, it may be obtained from an arithmetic expression indicating the correspondence between the size of the target subject 52 and the focus detection point 54.
  • the distance between the focus detection points 54 is made to correspond to each of the case where the area of the partial region 53 is equal to or larger than the threshold value. You may make it obtain the space
  • the threshold value is not limited to one, and a plurality of threshold values may be set, and the interval between the focus detection points 54 may correspond to each threshold value.
  • step S126 the focus detection control unit 121 outputs focus detection point information to the AF control unit 114 and the display control unit 110.
  • the display control unit 110 displays the focus detection point 54 on the display unit 112, and the AF control unit 114 performs autofocus control based on the defocus amount at the focus detection point 54.
  • the area of the partial area 53 is small, that is, as the target subject 52 becomes smaller, the gap between the focus detection points 54 is reduced to detect the focus in the partial area 53.
  • the points 54 are arranged closely.
  • FIG. 8B as the area of the partial region 53 increases, that is, as the target subject 52 increases, the interval between the focus detection points 54 is increased as compared with the case where the target subject 52 is small.
  • a focus detection point 54 is arranged inside.
  • the focus detection points 54 in the outer region 55 may be arranged sparser than the initial state as shown in FIG. 7A, or as shown in FIG. 7B. In addition, the focus detection point 54 may not be arranged in the outer region 55.
  • the focus detection points 54 are densely arranged to increase the accuracy of the autofocus, and the target subject 52 can be photographed without missing.
  • the gap between the focus detection points 54 is increased so that the entire target subject 52 is covered with the focus detection points 54 so that the target subject 52 can be captured without missing.
  • FIG. 10 is a diagram for explaining a setting state of focus detection points in the photographing range.
  • FIG. 11 is a flowchart showing the flow of focus detection point arrangement.
  • FIG. 12 is a diagram illustrating another example of the setting state of the focus detection points in the imaging range.
  • the third mode of the focus detection point arrangement is to determine a partial region 53 according to the moving speed of the target subject 52 specified in the imaging range 51 and to arrange the focus detection points 54.
  • step S131 the processed image is input to the subject specifying unit 115.
  • the subject specifying unit 115 specifies the target subject 52 to be a focus detection point arrangement target from the imaging range 51.
  • the target subject 52 is specified by subject detection technology, input from the user, or the like.
  • a dog within the shooting range 51 is specified as the target subject 52.
  • step S133 the subject specifying unit 115 detects the speed of the target subject 52.
  • the speed can be calculated from, for example, the amount of movement of the position of the subject 52 in the current frame and the previous frame of the processed image and the elapsed time between the current frame and the previous frame. In this way, the acquired speed information of the target subject 52 is supplied to the focus detection control unit 121.
  • the focus detection control unit 121 determines the partial region 53 according to the speed of the target subject 52.
  • the partial area 53 compares the speed of the target subject 52 with a predetermined threshold, and associates the size of the partial area 53 with each of the cases where the speed is equal to or higher than the threshold and the target subject 52 Depending on the speed of 52, the size of the partial area 53 may be obtained.
  • the threshold value is not limited to one, and a plurality of threshold values may be set so that the size of the partial region 53 corresponds to each threshold value.
  • a table in which the speed of the target subject 52 is associated with the size of the partial area 53 is stored, and the size of the partial area 53 corresponding to the speed of the target subject 52 is obtained by referring to the table. You may do it. Further, it may be obtained from an arithmetic expression indicating the correspondence between the speed of the target subject 52 and the size of the partial area 53.
  • step S135 the focus detection control unit 121 determines an interval between the focus detection points 54 in the partial area 53 according to the speed of the target subject 52, and is evenly arranged in the partial area 53 at the interval. Thus, the arrangement of the focus detection points 54 is determined.
  • the speed of the target subject 52 is compared with a predetermined threshold, and the focus detection point 54 is associated with the case where the speed is equal to or higher than the threshold and the focus corresponding to the speed of the target subject 52 is set.
  • An interval between the detection points 54 may be obtained.
  • the threshold value is not limited to one, and a plurality of threshold values may be set, and the interval between the focus detection points 54 may correspond to each threshold value.
  • a table in which the speed of the target subject 52 is associated with the interval between the focus detection points 54 is held, and the interval between the focus detection points 54 corresponding to the speed of the target subject 52 is determined by referring to the table. You may make it obtain. Further, it may be obtained from an arithmetic expression indicating the correspondence between the speed of the target subject 52 and the interval between the focus detection points 54.
  • the target subject 52 moves from the position F to the position G at the speed V1
  • the target subject 52 moves from the position F to the position H at the speed V2 (slower than the speed V1). This will be described as an example.
  • the partial area 53 in FIG. 10B is made larger than the partial area 53 in FIG. 10C.
  • the focus detection points 54 in FIG. 10C are arranged more densely than the focus detection points 54 in FIG. 10B.
  • step S136 the focus detection control unit 121 outputs focus detection point information to the AF control unit 114 and the display control unit 110.
  • the display control unit 110 displays the focus detection point 54 on the display unit 112, and the AF control unit 114 performs autofocus control based on the defocus amount at the focus detection point 54.
  • the focus detection points 54 are widely arranged for the subject with high speed, and the focus detection points 54 are concentrated and densely arranged for the target subject 52 with low speed. As a result, even a fast subject can be captured without missing.
  • the subject specifying unit 115 may detect the moving direction in addition to the speed of the target subject 52, and the focus detection control unit 121 may arrange the focus detection points 54 corresponding to the moving direction of the target subject 52.
  • the moving direction of the target subject 52 can be acquired from, for example, a change in the position of the target subject 52 between the previous frame and the current frame of the processed image.
  • the moving direction information is supplied to the focus detection control unit 121 together with the speed information of the target subject 52.
  • the target subject 52 moves from the P point to the Q point in FIG. 12A, it is predicted that the target subject 52 will move from the current Q point to the R point after t seconds from the speed V3 and the elapsed time t. Can do.
  • the target subject 52 moves from the P point to the S point in FIG. 12B, the target subject 52 is predicted to move from the current S point to the T point after t seconds from the speed V4 and the elapsed time t. can do.
  • the focus detection control unit 121 may determine the partial area 53 and arrange the focus detection points 54 so that the Q point and the R point which are the current positions are included. Also, as shown in FIG. 12D, the focus detection control unit 121 may determine the partial area 53 and arrange the focus detection points 54 so that the S point and the T point which are the current positions are included.
  • the speed V3 is faster than the speed V4, as shown in FIG. 12C, when the focus detection control unit 121 moves at the speed V3, the focus detection point 121 is made wider than the case where it moves at the speed V4. 54 is arranged. Further, since the speed V4 is slower than the speed V3, as shown in FIG. 12D, when the focus detection control unit 121 moves at the speed V4, the partial area 53 is made narrower than the case where the focus detection control unit 121 moves at the speed V3. 54 is arranged more densely.
  • the focus detection points 54 By arranging the focus detection points 54 in this way, the current position, the predicted arrival point, and the entire movement path from the current position to the predicted arrival point are covered by the focus detection point 54, and the target subject 52 is captured and not missed. You can shoot.
  • the method of determining the arrangement of the focus detection points 54 based on this moving direction is effective, for example, when the subject moves in a certain direction for a certain time or more. For example, shooting a race or car race.
  • the method not based on the moving direction is effective when the moving direction of the subject is not stable. For example, in the case of shooting soccer or the like, a player does not always move in a certain direction but is expected to move in various directions. In such a case, if the moving direction is specified and the partial area 53 is determined, the subject may move away from the partial area 53, so it is better not to be based on the moving direction.
  • the third aspect by adjusting the density of the focus detection points 54 according to the moving speed of the target subject 52, the accuracy of the autofocus with respect to the target subject 52 is improved, and the subject with a fast moving speed is used. Therefore, it is possible to capture and take a picture with certainty.
  • FIG. 13 is a block diagram illustrating a configuration of the imaging apparatus 200.
  • the imaging apparatus 200 includes a control unit 101, an optical imaging system 102, a lens driving driver 103, an imaging element 104, a signal processing LSI (Large-Scale Integration) 105, a preprocessing unit 106, an image signal processing unit 107, a codec unit 109, a display
  • the control unit 110, the storage unit 111, the display unit 112, the input unit 113, the AF control unit 114, the subject specifying unit 115, and the focus detection control unit 121 that constitutes the imaging control device 120 are configured. Since this point is the same as that of the first embodiment, the description of each part uses the first embodiment and is omitted.
  • the imaging apparatus 200 further includes a subject type specifying unit 201.
  • the subject type specifying unit 201 performs subject type specifying processing on the target subject specified by the subject specifying unit 115 to specify the type of the subject.
  • Information indicating the type, position, size, and the like of the identified subject (hereinafter referred to as subject type information) is supplied to the focus detection control unit 121.
  • detection of the type of subject can be performed using known subject recognition processing, matching processing, and the like.
  • a recognition method an object recognition technique based on template matching, a matching method based on luminance distribution information of a subject, a method based on a skin color part included in an image, a feature amount of a human face, or the like may be used. Moreover, you may make it raise recognition accuracy combining these methods.
  • the specified subject includes, for example, a human pupil.
  • a description will be given taking a human pupil as an example.
  • the subject specifying unit 115 detects the face of the person, and then the subject type specifying unit 201 has a black eye in the white eye that is a feature of the pupil (the white eye is around the black eye). And the distance between the eyes of a person is substantially constant except for individual differences.
  • the pupil may be detected as such.
  • the imaging apparatus 200 is configured as described above.
  • the focus detection control unit 121 determines a partial area, which is an arrangement area of focus detection points, and the arrangement of focus detection points according to the type of subject.
  • the subject type specifying unit 201 may cause the control unit 101 to function as the subject type specifying unit 201 by executing a predetermined program.
  • the program may be installed in the imaging apparatus 200 in advance, or may be distributed by download, a storage medium, or the like and installed by the user.
  • the subject type specifying unit 201 is not only realized by a program, but may be realized by combining a dedicated device, a circuit, or the like using hardware having the function.
  • FIG. 14 is a diagram for explaining a setting state of the focus detection points 64 in the photographing range 61
  • FIG. 15 is a flowchart showing a flow of the focus detection point arrangement.
  • the arrangement of the partial area 63 and the focus detection point 64 is determined in accordance with the type of the target subject 62 specified in the imaging range 61.
  • step S211 the processed image is input to the subject specifying unit 115.
  • step S212 the subject specifying unit 115 detects a human face from the shooting range 61 as shown in FIG. 14A.
  • Target subject information that is detected face information of a person is supplied from the subject specifying unit 115 to the subject type specifying unit 201.
  • step S213 the subject type specifying unit 201 specifies the pupil 65 of the person who is the target subject 62.
  • step S214 it is determined whether or not the pupil 65 has been specified. If the pupil 65 has been specified, the process proceeds to step S215 (Yes in step S214). In addition, when the pupil 65 is not specified, step S213 and step S214 are repeated and the detection of the pupil 65 is repeated (No in step S214). If the pupil 65 is not specified for a predetermined time, the subject specifying process may be stopped, and the same process as when a person's face is detected may be performed. Subject type information indicating the specified pupil 65 is supplied from the subject type specifying unit 201 to the focus detection control unit 121.
  • step S215 the focus detection control unit 121 determines a partial region 63 so that the entire pupil 65 that is the target subject 62 whose type is specified is included. Since a person usually has two pupils, unless the pupil is hidden by a person's hand or object, when the subject is a pupil, the partial area 63 is placed on each of the two pupils. Is set. Therefore, there are two partial areas 63 in the shooting range 61.
  • step S ⁇ b> 216 the focus detection control unit 121 determines an interval between the focus detection points 64 in the partial region 63 according to the size of the partial region 63, and evenly in the partial region 63 at the interval. The arrangement of the focus detection points 64 is determined so as to be arranged.
  • step S217 the focus detection control unit 121 outputs focus detection point information to the AF control unit 114 and the display control unit 110.
  • the display control unit 110 displays the focus detection point 64 on the display unit 112, and the AF control unit 114 performs autofocus control based on the defocus amount at the focus detection point 64.
  • the focus detection points 64 are arranged according to the type of the subject, it is possible to improve the accuracy of autofocus for the subject whose type is specified.
  • the face detection process in step S212 in the flowchart is not necessary.
  • the type of subject is not limited to the pupil, and a person, a person's face, an animal's face, or an animal's pupil Any object can be used as long as it is a subject such as a car license plate, a sign, a signboard, or a building.
  • FIG. 16 is a diagram for explaining a setting state of the focus detection points 73 in the photographing range 71
  • FIG. 17 is a flowchart showing a flow of the focus detection point arrangement.
  • the first aspect of the focus detection point arrangement is performed in the so-called manual focus mode in which the user himself operates the imaging apparatus 100 to focus on the subject during shooting.
  • the focus position 75 by the manual focus is included.
  • a focus detection point 73 is arranged with a partial area 72 set. Thereby, the precision of the autofocus with respect to the position where a user tries to focus can be improved. Therefore, in this first mode, the focus detection point 73 is arranged based on the position of the in-focus position 75, not the subject.
  • a processed image is input to the subject specifying unit 115 in step S311.
  • the imaging apparatus 100 notifies the focus detection control unit 121 that the function for assisting manual focus is operating. For example, this notification may be automatically made when a function for assisting manual focus is selected by the user. For example, as shown by the alternate long and short dash line in FIG. 16A, an arbitrary range in the shooting range 71 is set by the user as a range to be enlarged by manual focus assist.
  • step S313 When the user operates the imaging apparatus 100 using a function that assists manual focus to focus on the subject, information indicating the in-focus position 75 as shown in FIG. 16B (hereinafter, in-focus position information). Is supplied to the subject specifying unit 115 in step S313. In step S314, the subject specifying unit 115 specifies the focus position 75 indicated by the focus position information as a focus detection point arrangement target. The target information is supplied to the focus detection control unit 121.
  • step S315 the focus detection control unit 121 determines a predetermined area centered on the target in-focus position 75 as the partial area 72.
  • step S316 the focus detection control unit 121 determines the arrangement of the focus detection points 73 in the partial area 72.
  • step S317 the focus detection control unit 121 outputs focus detection point information to the AF control unit 114 and the display control unit 110.
  • the focus detection points 73 are densely arranged around the in-focus position 75 where the user has focused in the manual focus mode. Accordingly, the subject that the user wants to focus can be focused with high accuracy.
  • FIGS. 18 is a diagram for explaining a setting state of the focus detection points 73 in the photographing range 71
  • FIG. 19 is a flowchart showing a flow of the focus detection point arrangement.
  • the second aspect of the focus detection point arrangement is a case where a part of the photographing range 71 such as the center of the display screen on the display unit 112 is enlarged and displayed during photographing with manual focus (hereinafter referred to as an enlarged focus mode).
  • focus detection points 73 are arranged only in the enlarged region 76.
  • the enlarged area 76 is not limited to the center of the display screen that displays the shooting range 71, and may be any area on the display screen that displays the shooting range 71. Note that this second mode is applied only when the enlarged focus is realized by digital zoom. Therefore, in this second mode, the focus detection points 73 are arranged based on the enlarged region 76, not the subject.
  • step S321 the processed image is input to the subject specifying unit 115.
  • the imaging control device 120 is notified that the imaging device is operating in the expanded focus mode. For example, this notification may be automatically made when the enlarged focus mode is selected by the user.
  • step S323 information (referred to as enlarged area information) indicating the area displayed in an enlarged manner as shown in FIG. 18A is supplied to the subject specifying unit 115.
  • step S324 the subject specifying unit 115 specifies the enlarged region 76 indicated by the enlarged region information as a focus detection point arrangement target. Information indicating the target is supplied to the focus detection control unit 121.
  • step S325 the focus detection control unit 121 determines the enlarged region 76 as the partial region 72.
  • step S326 as shown in FIG. 18B, the focus detection control unit 121 uniformly arranges a predetermined number of focus detection points 73 in the enlarged region 76 that is the partial region 72.
  • the number of focus detection points 73 and the interval between the focus detection points 73 may be determined according to the size of the enlarged region 76 that is the partial region 72.
  • the focus detection control unit 121 holds a table in which the size of the partial region 72 is associated with the number of focus detection points 73 and the interval between the focus detection points 73 and is obtained by referring to the table. Can do.
  • the size of the partial area 72, the number of focus detection points 73, and a calculation expression indicating the correspondence between the focus detection points 73 may be obtained.
  • step S327 the focus detection control unit 121 outputs focus detection point information to the AF control unit 114 and the display control unit 110.
  • the enlarged area 76 may be displayed on the entire display unit 112, or the enlarged area 76 is superimposed on the monitoring image on the upper right side of the display unit 112. You may do it.
  • the focus detection points 73 are densely arranged in the enlarged region 76 that includes the subject that the user wants to focus on, thereby improving the autofocus accuracy for the subject. Can do.
  • FIG. 20 is a diagram for explaining the setting state of the focus detection points 73 in the photographing range 71
  • FIG. 21 is a flowchart showing the flow of the focus detection point arrangement.
  • the third aspect of the focus detection point arrangement is that the grid line 77 is used when the function of displaying the grid line 77 extending in the vertical direction, the horizontal direction, the diagonal direction, etc., which is the reference of the composition on the monitoring image at the time of photographing is used.
  • the focus detection points 73 are densely arranged in a partial region 72 including the intersection of the two.
  • the composition indicates the overall structure such as the arrangement of the subject in the photograph, and representative compositions include, for example, a diagonal composition, a three-part composition, and a golden ratio composition.
  • the user can select an intersection of grid lines 77 serving as a reference for densely arranging the focus detection points 73 (the selected intersection is referred to as a selected intersection 78).
  • the selection of the intersection of the grid lines 77 may be performed, for example, by inputting to the touch panel as the input unit 113 configured integrally with the display unit 112 or operating an operation piece such as a cross key or a dial. Therefore, in the third mode, the focus detection point 73 is not based on the subject but based on the position of the selected intersection 78 of the grid line 77.
  • step S331 the processed image is input to the subject specifying unit 115.
  • step S ⁇ b> 332 the imaging control device 120 is notified that the imaging device 100 is in a mode for displaying the grid lines 77.
  • information (referred to as intersection information) indicating the selected intersection 78 selected by the user in step S333 is supplied to the subject specifying unit 115. Is done.
  • step S334 the subject specifying unit 115 specifies the selected intersection 78 as an object on which the focus detection point 73 is arranged.
  • Information indicating the target is supplied to the focus detection control unit 121.
  • step S ⁇ b> 335 the focus detection control unit 121 determines an area having a predetermined size including the selected intersection 78 as the partial area 72.
  • the size of the partial area 72 may be set according to the type of composition, for example. For example, in a composition with a large number of intersections and a composition with a small number of intersections, the partial area 72 in the former is smaller than the partial area 72 in the latter. Further, the partial area 72 may be set so as to include a subject overlapping the selected intersection point 78.
  • the partial region 72 does not necessarily have to be centered on the selected intersection point 78, and may be set in any way as long as the selected intersection point 78 is included therein.
  • the focus detection control unit 121 arranges the focus detection points 73 evenly in the partial area 72.
  • the number of focus detection points 73 and the interval between the focus detection points 73 may be determined according to the size of the partial region 72.
  • the focus detection control unit 121 holds a table in which the size of the partial region 72 is associated with the number of focus detection points 73 and the interval between the focus detection points 73 and is obtained by referring to the table. Can do.
  • the size of the partial area 72, the number of focus detection points 73, and a calculation expression indicating the correspondence between the focus detection points 73 may be obtained.
  • the selected intersection point 78 of the grid line 77 is usually a point where a user wants to focus a subject to be focused. Therefore, according to the third aspect, the partial area 72 is determined so as to include the selected intersection point 78, and the focus detection points 73 are densely arranged therein, so that the user can focus on the subject to be focused on. The accuracy of autofocus can be improved.
  • the focus detection points are arranged in the partial area.
  • the determination of the partial area and the focus detection are performed.
  • the determination of the arrangement of points may be performed simultaneously.
  • focus detection points may or may not be arranged in an area other than a partial area in the imaging range.
  • focus detection points may be arranged in the outer area more sparsely than in some areas.
  • the adjustment of the tracking sensitivity to the subject of autofocus is one of the functions of the imaging apparatus, and can adjust the degree of tracking of the subject captured by autofocus.
  • the tracking sensitivity is low, the camera tries to keep focusing on the captured object as much as possible even when the obstacle crosses the focus detection point or when the focus detection point deviates from the subject.
  • the follow-up sensitivity is high, when a subject other than the currently focused subject captured at the focus detection point crosses the focus detection point, the other subjects are focused.
  • Such tracking sensitivity to the subject can usually be selected as a value or a plurality of stages in a setting mode of the imaging apparatus or the like.
  • the tracking sensitivity to this subject is set high, that is, if it is easy to move from the subject that is currently in focus to another subject, local placement of the focus detection points in a partial area And the focus detection points may be evenly arranged over the entire photographing range.
  • the subject can be captured by autofocus evenly in the entire shooting range, so even if a new subject suddenly enters the shooting range, the new subject is captured by autofocus. be able to.
  • a partial area 83 is determined so as to include the target subject 82 within the imaging range 81, and the focus detection point 84 is arranged in the area 83 to capture the image.
  • the target subject 82 moves rightward during the shooting and is out of the frame as shown in FIG. 22B.
  • the focus detection points 84 that are locally arranged at the position out of the frame are left for a predetermined time.
  • the locally arranged focus detection points 84 are preferably left for a predetermined time, for example, about several seconds. This is because if the image is left for a long time, the subject may be different from the target subject 82 out of the frame.
  • the focus detection point 84 that is locally arranged is canceled, and the focus detection point 84 is placed in the entire imaging range 81 as shown in FIG. 22D. It may be arranged. In this case, when the target subject 82 or another subject 85 enters from a direction other than the direction in which the target subject 82 is out of the frame, it is possible to immediately focus on them.
  • Cropping refers to capturing and shooting a part of an image in a shooting range, or cutting and playing a part of an image on an image playback screen.
  • APS-C Advanced Photo System-C
  • APS-C is one of the size standards for solid-state image sensors of digital cameras.
  • the imaging apparatus 100 may include a motion sensor.
  • the motion sensor detects the movement of the imaging device 100 using, for example, an acceleration sensor or an angular velocity sensor with respect to two or three axes, and supplies information such as the moving speed and moving direction of the imaging device 100 itself to the control unit 101.
  • the motion sensor detects a speed (angular speed) at which the rotation angle changes when the imaging apparatus 100 is turning and an angular speed around the Y-axis direction by the gyro sensor, and outputs the detected speed to the control unit 101.
  • processing similar to the third aspect of the first embodiment may be performed based on the moving speed and moving direction of the imaging apparatus 100.
  • the imaging device 100 moves means that the user moves the camera by holding it with his / her hand, or when the imaging device 100 is mounted on a flying body called a drone, the user moves the head to a part of the body such as the head.
  • the imaging device 100 may be mounted on a moving body such as an in-vehicle camera.
  • the focus detection points are arranged based on the information from the imaging device 100 described in the third embodiment
  • the information from the imaging device 100 is not limited to that described in the third embodiment.
  • the focus detection points may be arranged based on information supplied from the imaging assistance function of the imaging apparatus 100 or information supplied from the imaging assistance function of the external apparatus.
  • any one or a plurality of focus detection points selected by the user from the plurality of focus detection points displayed on the display unit 112 are targets for densely arranging the focus detection points.
  • the information supplied from the imaging assist function of the external device includes in-focus information of the separate phase difference AF module, in-focus information of contrast AF, information on the position where the AF assist light of the external strobe hits the subject, dot site and Information on the light spot for aiming of the optical sighting device referred to, information indicating the position of the line of sight in the line-of-sight input device, and the like.
  • the processing by the imaging control apparatus 120 is performed on the control side of the imaging apparatus 100, but the imaging element 104 includes a control circuit, Focus detection point setting processing according to the present technology may be performed.
  • the focus detection point setting according to the type of subject has been described by taking as an example the case where the subject is a pupil and there are two partial areas in the imaging range, but in other embodiments as well
  • the partial area is not limited to one, and a plurality of partial areas may be set within the imaging range.
  • the partial area where the focus detection points are arranged has been described as a quadrangle.
  • the partial area is not limited to a quadrangle, and may be a triangle, a circle, or a shape substantially equivalent to the contour of the subject.
  • the display of the user interface indicating the focus detection point on the display unit 112 may be performed by a method other than that shown in the embodiment.
  • focus detection points in a partial area may be displayed as a dark line, and focus detection points in an outside area may be displayed or not displayed as a thin line.
  • the focus detection points in some areas are displayed with a line of conspicuous color such as red, and the focus detection points in the outside area are displayed in colors that are less prominent than the focus detection points in some areas such as black and white. It may be displayed.
  • the focus detection points in a partial area may be displayed with a thick line, and the focus detection points in an outside area may be displayed with a thin line. Or you may make it blink only the focus detection point in a partial area
  • all focus detection points in a partial region and an outer region may be displayed with the same line type and line color.
  • colors or meshes may be displayed over the entire partial area.
  • the focus detection points may be arranged in the outer area more sparsely than the partial area, or may not be arranged. Further, when the focus detection points are arranged according to the type of the subject according to the second embodiment, the focus detection points are further arranged according to the size of the subject using the second aspect of the first embodiment. Alternatively, it may be arranged according to the speed of the subject using the third aspect of the first embodiment.
  • this technology is also used for outdoor sports enthusiasts to record their activities, such as small digital video cameras, network cameras, in-vehicle cameras, surveillance Any camera equipped with a camera function, such as a camera, a camera mounted on a flying object such as a drone, a laptop computer, a smartphone, a tablet terminal, a portable game machine, a wristwatch-type wearable terminal, a glasses-type wearable terminal, a car navigation system, an interphone system It can be applied to anything.
  • the present technology can be applied to a so-called multi-camera system in which a plurality of digital cameras, digital video cameras, smartphones, and the like are connected via a WiFi network or the like and images can be simultaneously captured by the plurality of devices. is there.
  • the user uses the present technology to set a focus detection point in a main camera that performs a shutter operation or the like, the setting is transmitted to another sub camera via a WiFi network or the like, and the focus detection point is also set in the sub camera. Is applied, etc.
  • the subject is not limited to a person, a person's face, a pupil, etc., and may be any object such as a car, an airplane, a train, a bicycle, a car license plate, a sign, a signboard, an animal, a plant, or a building. .
  • the present technology can also have the following configurations.
  • a control apparatus comprising a focus detection control unit that sets a density of focus detection points in a specified partial area higher than a density of focus detection points in an area excluding the partial area.
  • the imaging control apparatus according to (1) wherein the focus detection control unit narrows an interval between the plurality of focus detection points in the partial region, compared to an interval between the plurality of focus detection points in the outer region.
  • the focus detection control unit supplies information indicating the focus detection point to the display control unit, and causes the display unit to display a frame indicating the focus detection point corresponding to each of the plurality of focus detection points.
  • the control device according to any one of (3).
  • the control device according to any one of (1) to (3), wherein the subject is specified by subject detection processing or user designation.
  • the focus detection control unit adjusts an interval between the plurality of focus detection points based on a size of the subject, and arranges the focus detection points in the partial area. (4) or (5) Control device.
  • the focus detection control unit widens the interval between the plurality of focus detection points as the subject increases, and decreases the interval between the plurality of focus detection points as the subject decreases.
  • the control device according to (6), wherein the control device is arranged in the partial area.
  • the focus detection control unit adjusts an interval between the plurality of focus detection points based on the speed of the subject, and arranges the focus detection points in the partial area. Any one of (1) to (7) The control device described in 1. (9) The focus detection control unit increases the interval between the plurality of focus detection points as the subject speed increases, and decreases the interval between the plurality of focus detection points as the subject speed decreases.
  • the control device according to (8), wherein a focus detection point is arranged in the partial region.
  • the control device (10) The control device according to (8) or (9), wherein the focus detection control unit adjusts the sizes of the plurality of partial regions based on the speed of the subject.
  • control device (11) Furthermore, the control device according to any one of (8) to (10), wherein the size of the partial area is adjusted based on a moving direction of the subject. (12) The control apparatus according to any one of (1) to (11), wherein the focus detection points are arranged in accordance with the type in the partial area including the subject whose type is specified in the imaging range. (13) The focus detection control unit arranges the plurality of focus detection points in the partial area from the area outside the partial area including the focus position in the imaging range (1) to ( The control device according to any one of 3). (14) The focus detection control unit is a part of the photographing range, and an area to be enlarged and displayed on a display unit is the partial area, and the plurality of focus detection points are arranged in the partial area (1) To (3).
  • the focus detection control unit includes the plurality of focus detection points from the region outside the partial region including intersections of a plurality of lines displayed superimposed on the imaging range displayed on the display unit.
  • a plurality of focus detection points set corresponding to the focus detection pixels of the imaging unit are regions outside a partial region corresponding to the subject in the imaging range of the imaging unit based on the position of the identified subject The control method of arranging in the partial area.
  • a plurality of focus detection points set corresponding to the focus detection pixels of the imaging unit are regions outside a partial region corresponding to the subject in the imaging range of the imaging unit based on the position of the identified subject

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

指定された一部領域における焦点検出点の密度を、一部領域を除いた領域における焦点検出点の密度よりも高く設定する、焦点検出制御部を備える制御装置である。

Description

制御装置、制御方法および制御プログラム
　本技術は、制御装置、制御方法および制御プログラムに関する。
　撮像素子を構成する画素の一部を焦点検出用画素とする撮像素子が従来から知られている（特許文献１）。そのような撮像素子により実現されるオートフォーカスはいわゆる像面位相差ＡＦ（Auto Focus）などと称される。
　そのような像面位相差ＡＦ用の撮像素子の特徴の１つとして、撮像素子の全面または所定の範囲に均一にＡＦ検波用の画素が埋められているという特徴がある。
特開２０１５－１４４１９４号公報
　ところが、従来は撮像装置の表示部に表示される、オートフォーカスでピントを合わせる対象範囲の位置を固定して一部の焦点検出用画素しか使用していなかった。また、従来のピントを合わせる対象範囲の配置の問題点としては、合焦させたい被写体が小さい場合、合焦させたい被写体が動いている場合など、被写体へのピントを合わせる対象範囲のかかり方が悪いとオートフォーカスの精度が低下してしまうという点がある。
　本技術はこのような問題点に鑑みなされたものであり、オートフォーカスの精度を向上させることができる制御装置、制御方法および制御プログラムを提供することを目的とする。
　上述した課題を解決するために、第１の技術は、指定された一部領域における焦点検出点の密度を、一部領域を除いた領域における焦点検出点の密度よりも高く設定する、焦点検出制御部を備える制御装置である。
　また、第２の技術は、指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する制御方法である。
　さらに、第３の技術は、指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する制御方法をコンピュータに実行させる制御プログラムである。
　本技術によれば、オートフォーカスの精度を高めることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。
本技術の第１の実施形態に係る撮像制御装置を備える撮像装置の構成を示すブロック図である。 撮像素子の構成を示す図である。 図３Ａは、第１位相差検出画素の構成を示す図であり、図３Ｂは、第２位相差検出画素の構成を示す図である。 図４Ａ乃至図４Ｃは、位相差検出画素と焦点検出点の説明図である。 図５Ａ乃至図５Ｃは、第１の実施の形態における第１の態様を説明する図である。 第１の実施の形態における第１の態様の処理を示すフローチャートである。 図７Ａ乃至図７Ｃは、第１の実施の形態における第１の態様のその他の例を説明する図である。 図８Ａおよび図８Ｂは、第１の実施の形態における第２の態様を説明する図である。 第１の実施の形態における第２の態様の処理を示すフローチャートである。 図１０Ａ乃至図１０Ｃは、第１の実施の形態における第３の態様を説明する図である。 第１の実施の形態における第３の態様の処理を示すフローチャートである。 図１２Ａ乃至図１２Ｄは、第１の実施の形態における第３の態様のその他の例を説明する図である。 本技術の第２の実施形態に係る撮像制御装置を備える撮像装置の構成を示すブロック図である。 図１４Ａ乃至図１４Ｄは、第２の実施の形態を説明する図である。 第２の実施の形態における処理を示すフローチャートである。 図１６Ａ乃至図１６Ｄは、第３の実施の形態における第１の態様を説明する図である。 第３の実施の形態における第１の態様の処理を示すフローチャートである。 図１８Ａおよび図１８Ｂは、第３の実施の形態における第２の態様を説明する図である。 第３の実施の形態における第２の態様の処理を示すフローチャートである。 図２０Ａおよび図２０Ｂは、第３の実施の形態における第３の態様を説明する図である。 第３の実施の形態における第３の態様の処理を示すフローチャートである。 図２２Ａ乃至図２２Ｄは、被写体がフレームアウトした場合の変形例を説明するための図である。
　以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１－１．撮像装置の構成］
［１－２．焦点検出点配置の第１の態様］
［１－３．焦点検出点配置の第２の態様］
［１－４．焦点検出点配置の第３の態様］
＜２．第２の実施の形態＞
［２－１．撮像装置の構成］
［２－２．焦点検出点配置の態様］
＜３．第３の実施の形態＞
［３－１．撮像装置の構成］
［３－２．焦点検出点配置の第１の態様］
［３－３．焦点検出点配置の第２の態様］
［３－４．焦点検出点配置の第３の態様］
＜４．変形例＞
＜１．第１の実施の形態＞
［１－１．撮像装置の構成］
　まず、第１の実施の形態に係る撮像制御装置１２０の機能を備える撮像装置１００の構成について説明する。図１は、撮像装置１００の構成を示すブロック図である。
　撮像装置１００は、制御部１０１、光学撮像系１０２、レンズ駆動ドライバ１０３、撮像素子１０４、信号処理ＬＳＩ（Large-Scale Integration）１０５、前処理部１０６、画像信号処理部１０７、検波部１０８、コーデック部１０９、表示制御部１１０、記憶部１１１、表示部１１２、入力部１１３、ＡＦ制御部１１４、被写体特定部１１５、撮像制御装置１２０を構成する焦点検出制御部１２１を備えて構成されている。
　制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１００全体の制御を行う。
　また制御部１０１は、所定のプログラムを実行することにより、ＡＦ制御部１１４、被写体特定部１１５および撮像制御装置１２０を構成する焦点検出制御部１２１として機能する。そのプログラムは、予め撮像装置１００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、それらの構成は、プログラムによって実現されるのみでなく、それぞれの機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
　被写体特定部１１５は、撮影範囲内における焦点検出点の配置の対象となる被写体を特定するものである。焦点検出制御部１２１は、被写体特定部１１５により特定された被写体の位置に基づいて、撮影範囲内においてその被写体に対応する領域である一部領域内に、一部領域以外の外の領域よりも密に焦点検出点を局所的に配置する処理を行なうものである。言い換えれば、指定された一部領域における焦点検出点の密度を、その一部領域を除いた領域（外の領域）における焦点検出点の密度よりも高く配置されるように設定するものであるともいえる。ここで「密度を高く配置」とは、一部領域を除いた領域（外の領域）に配置された複数の焦点検出点の中心間の距離よりも一部領域内に配置された複数の焦点検出点の中心間の距離が短いことをいう。また、焦点検出制御部１２１は外の領域に一部領域よりも疎に焦点検出点を配置する処理を行なうものである。さらに、焦点検出制御部１２１は外の領域に焦点検出点を配置させないようにする処理も行なってもよい。被写体特定部１１５および焦点検出制御部１２１の詳細については後述する。
　撮影範囲とは、撮像装置１００の撮影画角内に収まる範囲であり、画像データとして取得される被写体の範囲である。
　一部領域とは、特定された被写体の位置に対応する領域、またはユーザにより指定された領域であり、撮影範囲内において焦点検出点の局所配置の対象となる被写体、位置などを内部に含んでいる、撮影範囲よりも小さい範囲である。外の領域とは、撮影範囲内における一部領域以外の全ての領域である。焦点検出点とは、位相差検出画素の出力を用いてオートフォーカスのために撮影範囲においてデフォーカス量を算出する領域のことである。「密に焦点検出点を配置」とは、一部領域内の複数の焦点検出点間の間隔を外の領域における複数の焦点検出点間の間隔よりも狭くして密集させるように配置すること、または、外の領域に焦点検出点を配置せず、一部領域内にのみ焦点検出点を配置することである。「疎に焦点検出点を配置」とは、外の領域内における複数の焦点検出点間の間隔を一部領域における複数の焦点検出点間の間隔よりも広くして配置することである。
　光学撮像系１０２は、被写体からの光を撮像素子１０４に集光するための撮影レンズ、撮影レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは制御部１０１からの制御信号に基づいて駆動される。光学撮像系１０２を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子１０４上に結像される。
　レンズ駆動ドライバ１０３は、例えばマイコンなどにより構成され、ＡＦ制御部１１４の制御に従いレンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行なう。また、制御部１０１からの制御に従い、光学撮像系１０２の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。
　撮像素子１０４は、図２に示すように、通常画素であるＲ（Red）画素、Ｇ（Green）画素、Ｂ（Blue）画素と、位相差検出を行う位相差検出画素である第１位相差検出画素Ｐ１、第２位相差検出画素Ｐ２を有している。位相差検出画素は、Ｐ１とＰ２とで一対となる構成となっている。位相差検出画素Ｐ１およびＰ２は通常の撮像画素とは光学特性が異なるものである。撮像素子１０４を構成する各画素は被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。そして、撮像素子１０４は、最終的に画素信号からなる撮像信号を信号処理ＬＳＩ１０５に出力する。撮像素子１０４としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。なお、撮像素子１０４は特許請求の範囲における撮像部に相当するものである。
　図３は位相差検出画素の構成を示す図である。図３Ａは第１位相差検出画素Ｐ１を示し、図３Ｂは第２位相差検出画素Ｐ２を示す。
　第１位相差検出画素Ｐ１は受光素子１１を有する。また。光の入射側には、マイクロレンズ１２が設けられている。さらに、受光素子１１とマイクロレンズ１２の間には、瞳分割を行うため、入射する光を遮る遮光層１３が設けられている。遮光層１３は、受光素子１１の中心に対して片側方向に偏心した開口部１４を有するように構成されている。
　第１位相差検出画素Ｐ１はこのように構成されているため、図３Ａに示されるように入射光は一部のみが受光素子１１に入射することとなる。
　第２位相差検出画素は受光素子２１を有する。また。光の入射側には、マイクロレンズ２２が設けられている。さらに、受光素子２１とマイクロレンズ２２の間には、瞳分割を行うため、入射する光を遮る遮光層２３が設けられている。遮光層２３は、受光素子の中心に対して片側方向に偏心した開口部２４を有するように構成されている。
　遮光層２３は、第１位相差検出画素Ｐ１において遮光層１３が遮った方向とは逆側を遮るように構成されている。よって、第１位相差検出画素Ｐ１と第２位相差検出画素Ｐ２とは測距方向に対してそれぞれ逆側を遮光する構成となっている。
　第２位相差検出画素Ｐ２はこのように構成されているため、図３Ｂに示されるように入射光は一部のみが受光素子２１に入射することとなる。
　位相差検出画素はこのように構成されており、この位相差検出画素からの出力を用いて、いわゆる像面位相差ＡＦ（Auto Focus）を行うことができるものである。なお、位相差検出画素は、位相差検出画素としてのみ機能し、通常画素としては機能しないものでもよいし、１つの画素が独立した２つのフォトダイオードで構成されていることにより、撮像用および位相差検出用として機能するものでもよい。このような画素は、２つのフォトダイオードがそれぞれ独立して光を取り込むことが可能であり、オートフォーカス時にはそれぞれのフォトダイオードから位相差信号を検出して位相差検出画素として機能し、撮影時には１つの通常画素として機能して画像信号を出力する。また、撮像用センサと像面位相差ＡＦ用センサを積層した構造を有する撮像素子１０４など、通常の撮影機能に加え、位相差検出を行なうことができる撮像素子１０４であればどのようなものでもよい。
　前処理部１０６は、撮像素子１０４から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。
　画像信号処理部１０７は、デモザイク処理、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理、解像度変換処理などの所定の信号処理を画像信号に対して施す。
　検波部１０８は、撮像素子１０４の位相差検出画素からの信号を用いてフォーカス位置を判定するＡＦ検波を実行し、デフォーカス量を算出する。検波部１０８により検波情報は制御部１０１またはＡＦ制御部１１４に供給される。
　なお、撮像素子１０４からは通常画素からの信号と位相差検出画素からの信号が共に信号処理ＬＳＩ１０５に供給され、信号処理ＬＳＩ１０５内において通常画素からの信号と位相差検出画素からの信号とに分けられる。通常画素からの信号には上述した対象被写体、画像信号処理部１０７により所定の画像処理が施され、位相差検出画素からの信号は検波部１０８によりオートフォーカスのための検波処理が施される。また、撮像素子には、位相差検出画素からの信号のみを選択し、独立して信号処理ＬＳＩ１０５に供給することが可能なものもあり、そのような撮像素子を用いてもよい。
　なお、撮像素子１０４内で位相差検出画素からの信号に対して検波処理を行い、通常画素からの信号と検波情報とを撮像素子１０４から信号処理ＬＳＩ１０５に出力するようにしてもよい。この場合、信号処理ＬＳＩ１０５内部で撮像素子１０４からの信号を通常画素からの信号と位相差検出画素からの信号とに分ける必要が無い。携帯電話機が備えるカメラなどはこのように構成されている場合がある。
　コーデック部１０９は、所定の処理が施された画像データについて、例えば記録用や通信用の符号化処理を行う。
　表示制御部１１０は、撮影中における被写体を動画として表示するモニタリング画像、撮影を行なうための各種ユーザインターフェース、撮影済み画像や動画などを表示部１１２に表示する制御を行うものである。また、表示制御部１１０は、焦点検出制御部１２１から焦点検出点情報を取得し、表示部１１２におけるモニタリング画像上に焦点検出点を示す枠状のアイコンを重畳表示する。これにより、ユーザは焦点検出点がどの被写体に対してどのように配置されているかを目視により確認することができる。なお、焦点検出点はモニタリング画像上に必ずしも表示させなくてもよく、ユーザが表示のオンオフを選択できるようにしてもよい。
　ここで、デフォーカス量算出の対象となる領域である焦点検出点と、撮像素子１０４に設けられた位相差検出画素の関係について図４を参照して説明する。図４Ａは、撮影範囲における１つの焦点検出点３１と、それに対応する位相差検出画素による検出に用いる領域（以下、位相差画素領域３２と称する。）を抜き出して示したものである。位相差画素領域３２には、図２を参照して説明した複数の一対の位相差検出画素が含まれている。位相差画素領域に対応する焦点検出点ごとにデフォーカス量が算出される。図４Ａに示すように、太線で示す焦点検出点３１と、その焦点検出点３１に対応する細線で示す位相差画素領域３２の形状および大きさは同一ではなく、通常、位相差画素領域３２は焦点検出点３１よりも広いものとなっている。
　したがって図４Ｂに示すように、複数の焦点検出点３１、３３が間隔を開けて疎に配置されている場合でも、それら複数の焦点検出点３１、３３それぞれの位相差画素領域３２、３４が重なっていることがある（図４Ｂの斜線部分）。よって、複数の焦点検出点が間隔を開けて疎に配置されている場合でも、全ての位相差検出画素を使用している場合がある。なお、図４Ｃに示すように複数の焦点検出点３１、３３が大きな間隔を開けて疎に配置されており、それぞれの焦点検出点３１、３３に対応する位相差画素領域３２、３４が重なっていない場合には、検出に用いられない位相差画素領域３５（図４Ｃの破線部分）に対応する位相差検出画素の動作を停止させる。
　また、焦点検出点とその焦点検出点に対応する位相差画素領域を変化させることにより、焦点検出点を撮影範囲内における任意の位置に配置することが可能となっている。焦点検出点は概念的なものであり、焦点検出領域に含まれる複数の一対の位相差検出画素からの信号に基づいて焦点検出点におけるデフォーカス量が算出される。焦点検出領域のラインに左右対称で複数の一対の位相差検出画素が含まれているので、実質的には焦点検出領域の中心におけるデフォーカス量が算出されることになる。
　図１のブロック図の説明に戻る。表示部１１２は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部１１２には、撮像装置１００のユーザインターフェース、メニュー画面、撮像中のモニタリング画像、記憶部１１１に記録された撮影済み画像、撮影済み動画などが表示される。
　記憶部１１１は、例えば、ハードディスク、メモリスティック（ソニー株式会社の登録商標）、ＳＤメモリカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。動画は、例えば、ＭＰＥＧ２（Moving Picture Experts Group2）、ＭＰＥＧ４などの形式で保存される。
　入力部１１３は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部１１２と一体に構成されたタッチスクリーンなどからなる。入力部１１３に対して入力がなされると、その入力に応じた制御信号が生成されて制御部１０１に出力される。そして、制御部１０１はその制御信号に対応した演算処理や制御を行う。
　ＡＦ制御部１１４は、焦点検出制御部１２１からの焦点検出点情報に基づいて、焦点検出点に対応する焦点検出用画素の出力を用いてレンズ駆動ドライバ１０３を制御する。レンズ駆動ドライバ１０３を制御することにより、レンズを光軸方向に沿って所定量移動させて、被写体に合焦するようにオートフォーカス制御を行なう。具体的には、撮像光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像のずれ量に基づいて撮像面位相差ＡＦを行う。よって、ＡＦ制御部１１４には、焦点検出制御部１２１から焦点検出点情報が供給される。
　被写体特定部１１５は、焦点検出点配置の対象となる被写体、位置などを特定する処理を行なうものである。被写体特定部１１５には処理を施す画像として、モニタリング画像を構成するフレーム画像（以下、処理画像と称する。）が入力される。被写体特定部１１５は、公知の被写体検出技術により処理画像中における人物、物体などの被写体を検出する。そして、検出した被写体を焦点検出点配置の対象となる被写体（以下、対象被写体と称する。）とする。対象被写体情報は焦点検出制御部１２１に供給される。
　なお、被写体検出方法としては、テンプレートマッチングによる顔／物体認識技術、被写体の輝度分布情報に基づくマッチング方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いることができる。また、これらの手法を組み合わせて検出精度を高めるようにしてもよい。
　また、被写体特定部１１５は、入力部１１３に対するユーザからの入力に応じて焦点検出点配置の対象とする被写体（対象被写体）を特定してもよい。例えば、撮像装置１００の表示部１１２が入力部１１３としてのタッチパネルとして機能する場合、表示部１１２に表示されるモニタリング画像中においてユーザが指、スタイラスペンなどを接触させた位置にある被写体を対象被写体とする。また、ユーザが撮像装置１００の入力部１１３の十字キーやダイヤルなどを操作してモニタリング画像上に重畳表示されているカーソルを移動させる事ができる場合には、そのカーソルの位置にある被写体を対象被写体とする。
　焦点検出制御部１２１は、供給された対象被写体情報に基づき、表示部１１２に表示される撮影画面上における焦点検出点の配置を決定するものである。像面位相差ＡＦ用の撮像素子１０４においては、通常、撮像素子１０４の全面に位相差検出画素が配置されており、撮影範囲の任意の位置に焦点検出点を配置することが可能となっている。本技術はその像面位相差ＡＦ用の撮像素子１０４の特徴を活かしたものであり、焦点検出点を対象被写体に合わせて配置することにより、その対象被写体に対するオートフォーカスの精度を向上させるものである。設定された焦点検出点の配置を示す情報（以下、焦点検出点情報と称する。）は表示制御部１１０とＡＦ制御部１１４に供給される。具体的な焦点検出点の配置については後述する。
　撮像制御装置１２０の機能を備える撮像装置１００は以上のようにして構成されている。
［１－２．焦点検出点配置の第１の態様］
　次に図５乃至図７を参照して第１の実施の形態における焦点検出点配置の第１の態様について説明する。図５は撮影範囲における焦点検出点の設定状態を説明する図であり、図６は焦点検出点配置の流れを示すフローチャートである。
　焦点検出点配置の第１の態様は、撮影範囲５１内において特定された対象被写体５２を含む一部領域５３に、その一部領域５３以外の外の領域５５よりも焦点検出点５４を密に配置するものである。
　まずステップＳ１１１で、処理画像が被写体特定部１１５に入力される。次にステップＳ１１２で、被写体特定部１１５が撮影範囲５１中から焦点検出点配置の対象となる被写体を特定する。被写体の特定は、上述したように被写体検出技術、ユーザからの入力などに基づいて行われる。対象被写体情報は焦点検出制御部１２１に供給される。図５Ａの例では、撮影範囲５１内における鳥が対象被写体５２として特定される。なお、撮影範囲５１には、図５Ａに示すように初期状態として全面に均等に複数の焦点検出点５４が配置されている。初期状態とは、撮像装置１００の起動後、焦点検出制御部１２１による焦点検出点配置がなんら行われておらず、撮影範囲５１の全面または所定の範囲にわたって焦点検出点５４が配置されている状態をいう。初期状態における焦点検出点５４の配置は、撮影範囲５１の全面にわたる他、例えば、撮影範囲５１の略中央において略十字型を構成するような配置や、略中央の矩形領域を構成するような配置でもよい。撮像装置１００は、本技術に係る焦点検出点配置を行わない状態においては、その初期状態で配置されている焦点検出点に対応する位相差検出画素からの信号を用いてオートフォーカス制御を行う。
　次にステップＳ１１３で、図５Ｂに示すように焦点検出制御部１２１は対象被写体５２全体が含まれるように、焦点検出点５４を局所的に配置する領域である一部領域５３を決定する。
　次にステップＳ１１４で、図５Ｃに示すように焦点検出制御部１２１は一部領域５３内における焦点検出点５４の配置を決定する。
　例えば、一部領域５３が四角形状である場合には、縦×横の焦点検出点５４の全個数が一部領域５３の大きさに応じた所定の個数であり、かつ、それら焦点検出点５４が一部領域５３の大きさに応じた間隔で一部領域５３内に均等に配置されるように焦点検出点５４の配置を決定する。
　一部領域５３の大きさに応じた焦点検出点５４の数、焦点検出点５４の間隔は例えば、一部領域５３の大きさと焦点検出点５４の数および焦点検出点５４の間隔を対応させておいたテーブルを焦点検出制御部１２１が保持しておき、そのテーブルを参照することにより得ることができる。また、一部領域５３の大きさと焦点検出点５４の数および焦点検出点５４の対応関係を示す演算式から求めるようにしてもよい。
　焦点検出制御部１２１は、撮影範囲５１内における一部領域５３以外の外の領域５５よりも一部領域５３内の焦点検出点５４間の間隔が狭くなるように焦点検出点５４の配置を決定する。このように一部領域５３内に焦点検出点５４を集中させて密に配置することにより、対象被写体５２に対するオートフォーカスの精度を向上させることができる。
　フローチャートの説明に戻る。ステップＳ１１５で、焦点検出制御部１２１は焦点検出点情報を表示制御部１１０およびＡＦ制御部１１４に出力する。そして、表示制御部１１０が表示部１１２における焦点検出点５４の表示を行い、ＡＦ制御部１１４が焦点検出点５４におけるデフォーカス量に基づくオートフォーカス制御を行なう。
　なお、この第１の態様の場合、図５Ｃに示すように一部領域５３以外の外の領域５５にも焦点検出点５４を配置してもよい。この場合、外の領域５５においては、一部領域５３内よりも焦点検出点５４間の間隔を広くし、一部領域５３内よりも疎になるように焦点検出点５４を配置する。これにより、一部領域５３においては密に配置された焦点検出点５４によって確実に対象被写体５２を捕捉しつつ、対象被写体５２が一部領域５３から外れても、一部領域５３以外の外の領域５５にある焦点検出点５４でその対象被写体５２を捕捉することができる。よって、一部領域５３、外の領域５５どちらにおいても対象被写体５２に対してオートフォーカスによりピントを合わせることができる。
　なお、外の領域５５における焦点検出点５４の配置は、初期状態のままにすることにより一部領域５３よりも疎に配置するようにしてもよい。または、図７Ａに示すように焦点検出点５４の数を初期状態よりも少なくすることにより、疎に配置するようにしてもよい。これにより、オートフォーカス用の演算リソースを一部領域５３に優先的に使用することができる。
　なお、上述したように、撮像素子には位相差検出画素からの信号のみを選択し、独立して読み出して信号処理ＬＳＩ１０５に供給することができるものがある。そのような撮像素子を用いる場合で、被写体検出技術やユーザからの入力などに基づいて一部領域５３を設定した場合、その一部領域５３内に含まれる位相差検出画素のみから信号を読み出して、オートフォーカス制御を行なうようにしてもよい。この場合、一部領域５３内に含まれない位相差検出画素からの読み出しは行わないため、図７Ｂに示すように、一部領域５３以外には焦点検出点５４を配置しないということになる。これにより、オートフォーカス用の演算リソースを一部領域５３のみに集中させることができ、処理の負荷を軽減、検波処理の高速化、データレートの削減、消費電力の削減などを図ることができる。なお、この際、通常画素については全ての通常画素から読み出しを行なう。このように、位相差検出画素からの信号のみを選択して読み出すことができる撮像素子を用いる場合に一部領域以外には焦点検出点を配置しないようにできることは、下記の第２および第３の態様、第２の実施の形態、第３の実施の形態および変形例においても同様である。
　なお、通常の撮像素子の場合には、全ての通常画素および全ての位相差検出画素が読み出しを行い、その後に焦点検出点の配置が行われる。
　焦点検出点は、初期状態と本技術を用いて配置を変更した後とにおいてその数は一定であってもよいし、一定でなくてもよい。また、演算リソースに制約がある場合にはその演算リソースの範囲内で焦点検出点の配置を変更する。
　なお、一部領域５３は、図５Ｃに示すように対象被写体５２の上下左右の端部から所定距離離れた位置に四角形状の一部領域５３の辺を位置させるようにして設定してもよい。または、図７Ｃに示すように対象被写体５２の上下左右における端部に一部領域５３の各辺を一致させるようにして設定してもよい。
　この第１の態様によれば、対象被写体５２を含む一部領域５３に、その一部領域５３以外の外の領域５５よりも焦点検出点５４を密に配置することにより、対象被写体５２に対するオートフォーカスの精度を向上させることができる。
　［１－３．焦点検出点配置の第２の態様］
　次に図８および図９を参照して第１の実施の形態おける焦点検出点配置の第２の態様について説明する。図８は撮影範囲における焦点検出点の設定状態を説明する図である。図８Ａは対象被写体が小さい場合の例を示す図であり、図８Ｂは対象被写体が大きい場合の例を示す図である。図９は焦点検出点配置の流れを示すフローチャートである。
　焦点検出点配置の第２の態様は、撮影範囲５１内において特定された対象被写体５２を含む一部領域５３に対象被写体５２の大きさ（面積）に応じて焦点検出点５４を配置するものである。
　まずステップＳ１２１で、処理画像が被写体特定部１１５に入力される。次にステップＳ１２２で、被写体特定部１１５が撮影範囲５１中から焦点検出点配置の対象となる被写体を特定する。対象被写体５２の特定は、上述したように被写体検出技術、ユーザからの入力などにより行われる。図８Ａの例では、撮影範囲５１内における鳥が対象被写体５２として特定されている。
　次にステップＳ１２３で、被写体特定部１１５は対象被写体５２の大きさを検出する。対象被写体５２の大きさは上述した被写体認識技術により得ることができる。また、ユーザによる入力に基づいて被写体の大きさを検出するようにしてもよい。例えば、表示部１１２に表示されているモニタリング画像上に被写体の大きさを示す枠を重畳表示させ、その枠の大きさをユーザが入力により調整し、決定された枠の大きさを対象被写体５２の大きさとしてするなどである。そして、対象被写体５２の位置および大きさを示す対象被写体情報は焦点検出制御部１２１に供給される。
　次にステップＳ１２４で、焦点検出制御部１２１は対象被写体５２全体が含まれるように一部領域５３を決定する。そしてステップＳ１２５で、焦点検出制御部１２１は対象被写体５２の大きさに応じて一部領域５３内における焦点検出点５４間の間隔を決定し、その間隔で一部領域５３内に均等に配置されるように焦点検出点５４の配置を決定する。対象被写体５２の大きさに応じた焦点検出点５４の間隔は例えば、対象被写体５２の大きさと焦点検出点５４の間隔を対応させておいたテーブルを焦点検出制御部１２１が保持しておき、そのテーブルを参照することにより決定することができる。また、対象被写体５２の大きさと焦点検出点５４の対応関係を示す演算式から求めるようにしてもよい。
　また、一部領域５３の面積と所定の閾値とを比較して、一部領域５３の面積が閾値以上の場合と閾値以下の場合のそれぞれに焦点検出点５４の間隔を対応させおくことにより、一部領域５３の面積に応じた焦点検出点５４の間隔を得るようにしてもよい。なお、閾値は一つに限られず、複数設定し、閾値ごとに焦点検出点５４間の間隔を対応させるようにしてもよい。
　そしてステップＳ１２６で、焦点検出制御部１２１は焦点検出点情報をＡＦ制御部１１４および表示制御部１１０に出力する。そして、表示制御部１１０が表示部１１２における焦点検出点５４の表示を行い、ＡＦ制御部１１４が焦点検出点５４におけるデフォーカス量に基づくオートフォーカス制御を行なう。
　本実施の形態においては、図８Ａに示すように一部領域５３の面積が小さい、すなわち対象被写体５２が小さくなるに従い、焦点検出点５４間の隙間を小さくして一部領域５３内において焦点検出点５４が密に配置されるようにする。一方、図８Ｂに示すように一部領域５３の面積が大きい、すなわち対象被写体５２が大きくなるに従い、対象被写体５２が小さい場合に比べて焦点検出点５４間の間隔を大きくして一部領域５３内に焦点検出点５４を配置する。
　なお、この第２の態様においても第１の態様と同様に図７Ａに示すように外の領域５５の焦点検出点５４を初期状態よりも疎に配置してもよいし、図７Ｂに示すように、外の領域５５には焦点検出点５４を配置しないようにしてもよい。
　この第２の態様によれば、対象被写体５２が小さい場合には焦点検出点５４を密に配置することによりオートフォーカスの精度を高めて、対象被写体５２を逃さずに撮影することを可能にする。一方、対象被写体５２が大きい場合には、焦点検出点５４間の隙間を大きくして対象被写体５２の全体を焦点検出点５４でカバーし、対象被写体５２を逃さずに撮影することを可能にする。
　［１－４．焦点検出点配置の第３の態様］
　次に図１０乃至図１２を参照して第１の実施の形態における焦点検出点配置の第３の態様について説明する。図１０は撮影範囲における焦点検出点の設定状態を説明する図である。図１１は焦点検出点配置の流れを示すフローチャートである。図１２は、撮影範囲における焦点検出点の設定状態の他の例を説明する図である。
　焦点検出点配置の第３の態様は、撮影範囲５１内において特定された対象被写体５２の移動速度に応じて一部領域５３を決定し、焦点検出点５４を配置するものである。
　まず、ステップＳ１３１で、処理画像が被写体特定部１１５に入力される。次にステップＳ１３２で、被写体特定部１１５が撮影範囲５１中から焦点検出点配置の対象となる対象被写体５２を特定する。対象被写体５２の特定は、上述したように被写体検出技術、ユーザからの入力などにより行われる。図１０Ａの例では、撮影範囲５１内における犬が対象被写体５２として特定されている。
　次にステップＳ１３３で、被写体特定部１１５は対象被写体５２の速度を検出する。速度は、例えば、処理画像の現フレームと前フレームとにおける対象被写体５２の位置の移動量および現フレームと前フレーム間の経過時間とから算出することが可能である。このようにして、取得された対象被写体５２の速度情報は焦点検出制御部１２１に供給される。
　次にステップＳ１３４で焦点検出制御部１２１は、対象被写体５２の速度に応じて一部領域５３を決定する。一部領域５３は、対象被写体５２の速度と所定の閾値とを比較して、速度が閾値以上の場合と閾値以下の場合のそれぞれに一部領域５３の大きさを対応させておき、対象被写体５２の速度に応じて一部領域５３の大きさを得るようにしてもよい。なお、閾値は一つに限られず、複数設定し、閾値ごとに一部領域５３の大きさを対応させるようにしてもよい。または、対象被写体５２の速度と一部領域５３の大きさとを対応させたテーブルを保持しておき、そのテーブルを参照することにより対象被写体５２の速度に対応した一部領域５３の大きさを得るようにしてもよい。さらに、対象被写体５２の速度と一部領域５３の大きさとの対応関係を示す演算式から求めるようにしてもよい。
　次にステップＳ１３５で焦点検出制御部１２１は、対象被写体５２の速度に応じて一部領域５３内における焦点検出点５４間の間隔を決定し、その間隔で一部領域５３内に均等に配置されるように焦点検出点５４の配置を決定する。
　例えば、対象被写体５２の速度と所定の閾値とを比較して、閾値以上の場合と閾値以下の場合のそれぞれに焦点検出点５４の間隔を対応させておき、対象被写体５２の速度に応じた焦点検出点５４の間隔を得るようにしてもよい。なお、閾値は一つに限られず、複数設定し、閾値ごとに焦点検出点５４間の間隔を対応させるようにしてもよい。または、対象被写体５２の速度と焦点検出点５４間の間隔とを対応させたテーブルを保持しておき、そのテーブルを参照することにより対象被写体５２の速度に対応した焦点検出点５４間の間隔を得るようにしてもよい。さらに、対象被写体５２の速度と焦点検出点５４の間隔との対応関係を示す演算式から求めるようにしてもよい。
　図１０Ｂに示すように対象被写体５２が位置Ｆから位置Ｇに速度Ｖ１で移動した場合と、図１０Ｃに示すように対象被写体５２が位置Ｆから位置Ｈに速度Ｖ２（速度Ｖ１より遅い）で移動した場合を例にして説明する。
　速度Ｖ１は速度Ｖ２よりも速いため、図１０Ｂにおける一部領域５３は図１０Ｃにおける一部領域５３よりも大きくする。一方、速度Ｖ２は速度Ｖ１よりも遅いため、図１０Ｃにおける焦点検出点５４は図１０Ｂにおける焦点検出点５４よりも密に配置される。
　そしてステップＳ１３６で、焦点検出制御部１２１は焦点検出点情報をＡＦ制御部１１４および表示制御部１１０に出力する。そして、表示制御部１１０が表示部１１２における焦点検出点５４の表示を行い、ＡＦ制御部１１４が焦点検出点５４におけるデフォーカス量に基づくオートフォーカス制御を行なう。
　このように速度が速い被写体に対しては広く焦点検出点５４を配置し、速度が遅い対象被写体５２に対しては焦点検出点５４を集中させて密に配置する。これにより、速度が速い被写体であっても逃すことなく補足して撮影を行なうことができる。
　なお、被写体特定部１１５は対象被写体５２の速度に加えて移動方向を検出し、焦点検出制御部１２１は対象被写体５２の移動方向に対応させて焦点検出点５４を配置してもよい。対象被写体５２の移動方向は、例えば、処理画像の前フレームと現フレームとにおける対象被写体５２の位置の変化から取得することが可能である。移動方向情報は対象被写体５２の速度情報と共に焦点検出制御部１２１に供給される。
　ここで、図１２Ａに示すように、対象被写体５２がＰ地点から現在位置であるＱ地点に速度Ｖ３で移動した場合と、図１２Ｂに示すように、対象被写体５２がＰ地点から現在位置であるＳ地点に速度Ｖ４（速度Ｖ３よりも遅い）で移動した場合を例にして説明する。
　図１２Ａにおいて対象被写体５２がＰ地点からＱ地点へ移動した場合、その速度Ｖ３と経過時間ｔとから対象被写体５２はさらにｔ秒後には現在位置であるＱ地点からＲ地点に移動すると予測することができる。一方、図１２Ｂにおいて対象被写体５２がＰ地点からＳ地点へ移動した場合、その速度Ｖ４と経過時間ｔとから対象被写体５２はさらにｔ秒後には現在位置であるＳ地点からＴ地点に移動すると予測することができる。
　この場合、図１２Ｃに示すように焦点検出制御部１２１は、現在位置であるＱ地点とＲ地点とが含まれるように一部領域５３を決定して焦点検出点５４を配置するとよい。また、図１２Ｄに示すように焦点検出制御部１２１は、現在位置であるＳ地点とＴ地点とが含まれるように一部領域５３を決定して焦点検出点５４を配置するとよい。
　さらに、速度Ｖ３は速度Ｖ４よりも速いため、図１２Ｃに示すように焦点検出制御部１２１は速度Ｖ３で移動する場合には速度Ｖ４で移動する場合より一部領域５３を広くして焦点検出点５４を配置する。また、速度Ｖ４は速度Ｖ３よりも遅いため、図１２Ｄに示すように焦点検出制御部１２１は速度Ｖ４で移動する場合には速度Ｖ３で移動する場合より一部領域５３を狭くして焦点検出点５４をより密に配置する。
　このように焦点検出点５４を配置することにより、現在位置、予測到達地点および現在位置から予測到達地点までの移動経路全体を焦点検出点５４でカバーし、対象被写体５２を捕捉して逃さずに撮影することができる。
　この移動方向に基づいて焦点検出点５４の配置を決定する手法は、例えば、一定時間以上被写体が一定方向に動く場合に有効である。例えば、徒競走やカーレースの撮影などである。一方、移動方向に基づかない手法は、被写体の移動方向が安定しない場合に有効である。例えば、サッカーなどの撮影の場合、選手は常に一定方向に動くわけではなく、様々な方向に動くことが予想される。このような場合に移動方向を特定して一部領域５３を決定すると被写体が一部領域５３から外れてしまう可能性があるため移動方向に基づかない方がよいと考えられる。
　この第３の態様によれば、対象被写体５２の移動速度に応じて焦点検出点５４の密度を調整して配置することにより対象被写体５２に対するオートフォーカスの精度を向上させ、移動速度が速い被写体であって確実に捕捉して撮影を行なうことができる。
＜２．第２の実施の形態＞
［２－１．撮像装置の構成］
　まず、第２の実施の形態に係る撮像制御装置１２０の機能を備える撮像装置２００の構成について説明する。図１３は撮像装置２００の構成を示すブロック図である。
　撮像装置２００は、制御部１０１、光学撮像系１０２、レンズ駆動ドライバ１０３、撮像素子１０４、信号処理ＬＳＩ（Large-Scale Integration）１０５、前処理部１０６、画像信号処理部１０７、コーデック部１０９、表示制御部１１０、記憶部１１１、表示部１１２、入力部１１３、ＡＦ制御部１１４、被写体特定部１１５、撮像制御装置１２０を構成する焦点検出制御部１２１を備えて構成されている。この点は第１の実施の形態と同様であるため、各部の説明は第１の実施の形態を援用し省略する。
　第２の実施の形態において、撮像装置２００はさらに被写体種類特定部２０１を備えている。被写体種類特定部２０１は、被写体特定部１１５が特定した対象被写体に対して被写体種類特定処理を行い、被写体の種類を特定する。特定した被写体の種類、位置、大きさなどを示す情報（以下、被写体種類情報と称する。）は焦点検出制御部１２１に供給される。
　例えば、被写体の種類の検出は公知の被写体認識処理、マッチング処理などを用いて行うことができる。認識方法としては、テンプレートマッチングによる物体認識技術、被写体の輝度分布情報に基づくマッチング方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いてもよい。また、これらの手法を組み合わせて認識精度を高めるようにしてもよい。
ここで、特定される被写体としては例えば人物の瞳などがある。本実施の形態においては、人物の瞳を例にして説明を行なう。瞳の検出は、まず、被写体特定部１１５により人物の顔を検出し、次に、被写体種類特定部２０１が、瞳の特徴である白眼の中に黒眼がある（黒眼の周辺に白眼がある）こと、および人物の両眼の間隔は個体差を除けばほぼ一定であることなどに基づいて行なうことができる。なお、人物の顔の検出を行わずに直接瞳の検出が可能な場合にはそのように瞳の検出を行なうようにしてもよい。
　第２の実施の形態に係る撮像装置２００は以上のようにして構成されている。第２の実施の形態においては、焦点検出制御部１２１は被写体の種類に応じて焦点検出点の配置領域である一部領域および焦点検出点の配置を決定する。
　なお、被写体種類特定部２０１は、所定のプログラムを実行することにより制御部１０１が被写体種類特定部２０１として機能するようにしてもよい。そのプログラムは、予め撮像装置２００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、被写体種類特定部２０１は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
　［２－２．焦点検出点配置の態様］
　次に図１４および図１５を参照して第２の実施の形態における焦点検出点配置の態様について説明する。図１４は撮影範囲６１における焦点検出点６４の設定状態を説明する図であり、図１５は焦点検出点配置の流れを示すフローチャートである。
　第２の実施の形態は、撮影範囲６１内において特定された対象被写体６２の種類に応じて一部領域６３および焦点検出点６４の配置を決定するものである。
　まずステップＳ２１１で、処理画像が被写体特定部１１５に入力される。次にステップＳ２１２で、図１４Ａに示すように被写体特定部１１５が撮影範囲６１の中から人物の顔を検出する。検出した人物の顔の情報である対象被写体情報は被写体特定部１１５から被写体種類特定部２０１に供給される。
　次にステップＳ２１３で、被写体種類特定部２０１が対象被写体６２である人物の瞳６５の特定を行う。次にステップＳ２１４で、瞳６５が特定できたか否かが判定され、瞳６５が特定できた場合にはステップＳ２１５に進む（ステップＳ２１４のＹｅｓ）。なお、瞳６５が特定されない場合には、ステップＳ２１３およびステップＳ２１４を繰り返し、瞳６５の検出が繰り返される（ステップＳ２１４のＮｏ）。所定時間、瞳６５の特定がされない場合には、被写体特定処理を停止し、人物の顔が検出された場合と同様の処理を行なうようにしてもよい。特定された瞳６５を示す被写体種類情報が被写体種類特定部２０１から焦点検出制御部１２１に供給される
　次にステップＳ２１５で、焦点検出制御部１２１は種類が特定された対象被写体６２である瞳６５全体が含まれるように一部領域６３を決定する。なお、人物には通常瞳が２つあるため、瞳が人物の手や物体などによって隠されていないかぎり、被写体の種類が瞳である場合には一部領域６３はその２つの瞳のそれぞれに対して設定される。よって、撮影範囲６１内において一部領域６３が２つとなる。
　次にステップＳ２１６で焦点検出制御部１２１は、一部領域６３の大きさに応じて一部領域６３内における焦点検出点６４間の間隔を決定し、その間隔で一部領域６３内に均等に配置されるように焦点検出点６４の配置を決定する。そしてステップＳ２１７で、焦点検出制御部１２１は焦点検出点情報をＡＦ制御部１１４および表示制御部１１０に出力する。そして、表示制御部１１０が表示部１１２における焦点検出点６４の表示を行い、ＡＦ制御部１１４が焦点検出点６４におけるデフォーカス量に基づくオートフォーカス制御を行なう。
　この第２の実施の形態によれば、被写体の種類に応じて焦点検出点６４を配置するため、種類を特定した被写体に対するオートフォーカスの精度を向上させることができる。
　なお、人物の顔を検出せずに直接瞳６５を検出することができる場合には、フローチャートのステップＳ２１２の顔検出の処理は不要である。
　なお、上述の実施の形態では、被写体の種類の例として瞳を挙げて説明を行ったが、被写体の種類は瞳に限られるものではなく、人物、人物の顔、動物の顔、動物の瞳、自動車のナンバープレート、標識、看板、建築物など被写体であればどのようなものでもよい。
＜３．第３の実施の形態＞
［３－１．撮像装置の構成］
　第３の実施の形態に係る撮像制御装置１２０の機能を備える撮像装置１００の構成は第１の実施の形態と同様であるため、その説明を省略する。第３の実施の形態においては、被写体以外の情報に基づいて焦点検出点の配置が行われる。
［３－２．焦点検出点配置の第１の態様］
　次に図１６および図１７を参照して第３の実施の形態における焦点検出点配置の第１の態様について説明する。図１６は撮影範囲７１における焦点検出点７３の設定状態を説明する図であり、図１７は焦点検出点配置の流れを示すフローチャートである。
　焦点検出点配置の第１の態様は、撮影時において、ユーザが自ら撮像装置１００を操作して被写体にピントを合わせるいわゆるマニュアルフォーカスモードの際に行なうものである。撮影範囲７１中における任意の一部分を表示部１１２に拡大表示してマニュアルフォーカスを補助する機能を使用してユーザが自らの操作でピントを合わせた場合、そのマニュアルフォーカスによる合焦位置７５を含むように一部領域７２を設定して焦点検出点７３を配置する。これにより、ユーザがピントを合わせようとする位置に対するオートフォーカスの精度を向上させることができる。よって、この第１の態様は被写体ではなく、合焦位置７５の位置に基づいて焦点検出点７３を配置する。
　まず、ステップＳ３１１で、処理画像が被写体特定部１１５に入力される。次にステップＳ３１２で、撮像装置１００から焦点検出制御部１２１にマニュアルフォーカスを補助する機能が動作していることを示す通知がなされる。この通知は例えば、ユーザによりマニュアルフォーカスを補助する機能が選択された時点で自動的になされるようにしてもよい。例えば、図１６Ａ中の一点鎖線で示すようにユーザにより撮影範囲７１中の任意の範囲がマニュアルフォーカスアシストにより拡大する範囲として設定される。
　そして、ユーザがマニュアルフォーカスを補助する機能を利用して撮像装置１００を操作して被写体にピントを合わせると、図１６Ｂに示すような、その合焦位置７５を示す情報（以下、合焦位置情報と称する。）がステップＳ３１３で被写体特定部１１５に供給される。そしてステップＳ３１４で、被写体特定部１１５は合焦位置情報が示す合焦位置７５を焦点検出点配置の対象として特定する。対象情報は焦点検出制御部１２１に供給される。
　次にステップＳ３１５で、図１６Ｃに示すように、焦点検出制御部１２１は対象である合焦位置７５を中心にとした所定の領域を一部領域７２として決定する。
　次にステップＳ３１６で、図１６Ｄに示すように、焦点検出制御部１２１は一部領域７２内における焦点検出点７３の配置を決定する。そしてステップＳ３１７で、焦点検出制御部１２１は焦点検出点情報をＡＦ制御部１１４および表示制御部１１０に出力する。
　この第１の態様においては、マニュアルフォーカスモードにおいてユーザがピントを合わせた合焦位置７５周辺に焦点検出点７３を密に配置する。これにより、ユーザがピント合わせたい被写体により高い精度でピント合わせることができる。
　［３－３．焦点検出点配置の第２の態様］
　次に図１８および図１９を参照して第３の実施の形態における焦点検出点配置の第２の態様について説明する。図１８は撮影範囲７１における焦点検出点７３の設定状態を説明する図であり、図１９は焦点検出点配置の流れを示すフローチャートである。
　焦点検出点配置の第２の態様は、マニュアルフォーカスによる撮影時において、表示部１１２における表示画面の中央など撮影範囲７１の一部を拡大して表示する場合（以下、拡大フォーカスモードと称する。）に、その拡大領域７６のみに焦点検出点７３を配置するものである。拡大領域７６は撮影範囲７１を表示する表示画面の中央に限られず、撮影範囲７１を表示する表示画面中のいずれの領域でもよい。なお、この第２の態様は拡大フォーカスがデジタルズームによって実現される場合にのみ適用されるものである。よって、この第２の態様は被写体ではなく、拡大領域７６に基づいて焦点検出点７３を配置する。
　まずステップＳ３２１で、処理画像が被写体特定部１１５に入力される。次にステップＳ３２２で、撮像制御装置１２０に対して撮像装置が拡大フォーカスモードで動作していることを示す通知がなされる。この通知は例えば、ユーザにより拡大フォーカスモードが選択された時点で自動的になされるようにしてもよい。次にステップＳ３２３で、図１８Ａに示すような拡大表示されている領域を示す情報（拡大領域情報と称する。）が被写体特定部１１５に供給される。そしてステップＳ３２４で、被写体特定部１１５は拡大領域情報が示す拡大領域７６を焦点検出点配置の対象として特定する。対象を示す情報は焦点検出制御部１２１に供給される。
　次にステップＳ３２５で、焦点検出制御部１２１は拡大領域７６を一部領域７２として決定する。そしてステップＳ３２６で、図１８Ｂに示すように、焦点検出制御部１２１は一部領域７２である拡大領域７６に所定数の焦点検出点７３を均等に配置する。なお、焦点検出点７３の数および焦点検出点７３間の間隔は、一部領域７２である拡大領域７６の大きさに応じて決定するとよい。例えば、一部領域７２の大きさと焦点検出点７３の数および焦点検出点７３の間隔を対応させておいたテーブルを焦点検出制御部１２１が保持しておき、そのテーブルを参照することにより得ることができる。また、一部領域７２の大きさと焦点検出点７３の数および焦点検出点７３の対応関係を示す演算式から求めるようにしてもよい。
　そしてステップＳ３２７で、焦点検出制御部１２１は焦点検出点情報をＡＦ制御部１１４および表示制御部１１０に出力する。
　なお、拡大領域７６の表示部１１２における表示方法としては、拡大領域７６を表示部１１２の全体に表示してもよいし、拡大領域７６を表示部１１２の右上などにおいてモニタリング画像上に重畳表示するようにしてもよい。
　この第２の態様によれば、通常、ユーザがピントを合わせようとする被写体を含んでいる拡大領域７６に焦点検出点７３を密に配置することにより、被写体に対するオートフォーカスの精度を向上させることができる。
［３－４．焦点検出点配置の第３の態様］
　次に図２０および図２１を参照して第３の実施の形態における焦点検出点配置の第３の態様について説明する。図２０は撮影範囲７１における焦点検出点７３の設定状態を説明する図であり、図２１は焦点検出点配置の流れを示すフローチャートである。
　焦点検出点配置の第３の態様は、撮影時においてモニタリング画像上に構図の基準となる縦方向、横方向、斜め方向などに延びるグリッドライン７７を表示させる機能を用いる場合に、そのグリッドライン７７の交点を含んだ一部領域７２に焦点検出点７３を密に配置するものである。
　構図とは、写真における被写体の配置など全体の構成を示すものであり、代表的な構図としては、例えば、対角構図、３分割構図、黄金比構図などがある。この第３の態様においては、ユーザは焦点検出点７３を密に配置する基準となるグリッドライン７７の交点を選択（選択された交点を選択交点７８と称する。）できるものとする。グリッドライン７７の交点の選択は例えば、表示部１１２と一体に構成された入力部１１３としてのタッチパネルへの入力、または十字キー、ダイヤルなどの操作片を操作することによって行えるようにするとよい。よって、この第３の態様は被写体ではなく、グリッドライン７７の選択交点７８の位置に基づいて焦点検出点７３を配置する。
　まずステップＳ３３１で、処理画像が被写体特定部１１５に入力される。次にステップＳ３３２で、撮像制御装置１２０に撮像装置１００がグリッドライン７７の表示を行なうモードであることを示す通知がなされる。次にユーザによりグリッドライン７７の交点のいずれかが選択交点７８として選択されると、ステップＳ３３３でユーザにより選択された選択交点７８を示す情報（交点情報と称する。）が被写体特定部１１５に供給される。
　次にステップＳ３３４で、被写体特定部１１５は、選択交点７８を焦点検出点７３を配置する対象として特定する。対象を示す情報は焦点検出制御部１２１に供給される。そしてステップＳ３３５で焦点検出制御部１２１は、選択交点７８を内部に含む所定の大きさの領域を一部領域７２として決定する。一部領域７２の大きさは例えば、構図の種類に応じて設定するようにしてもよい。例えば、交点の数が多い構図と交点の数が少ない構図とでは前者における一部領域７２は後者における一部領域７２よりも小さいものとする、などである。また、一部領域７２は選択交点７８に重なっている被写体を含むように設定してよい。なお、一部領域７２は、必ずしも選択交点７８を中心としている必要はなく、選択交点７８を内部に含んでいればどのように設定してもよい。
　次にステップＳ３３６で、焦点検出制御部１２１は一部領域７２内に焦点検出点７３を均等に配置する。なお、焦点検出点７３の数および焦点検出点７３間の間隔は、一部領域７２の大きさに応じて決定するとよい。例えば、一部領域７２の大きさと焦点検出点７３の数および焦点検出点７３の間隔を対応させておいたテーブルを焦点検出制御部１２１が保持しておき、そのテーブルを参照することにより得ることができる。また、一部領域７２の大きさと焦点検出点７３の数および焦点検出点７３の対応関係を示す演算式から求めるようにしてもよい。
　なお、構図の基準となるグリッドライン７７の交点を優先して被写体検出を行なう技術も提案されているため、その技術と組み合わせることによりさらにオートフォーカスの精度を高めることができる。
　グリッドライン７７の選択交点７８は通常、ユーザがピントを合わせたい被写体を位置させる点である。よって、この第３の態様によれば、その選択交点７８を含むように一部領域７２を決定してその中に焦点検出点７３を密に配置することにより、ユーザがピントを合わせたい被写体に対するオートフォーカスの精度を向上させることができる。
＜４．変形例＞
　以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
　上述した第１乃至第３の実施の形態においては、一部領域を決定した後、その一部領域内に焦点検出点を配置する順序で説明を行ったが、一部領域の決定と焦点検出点の配置の決定は同時に行なうようにしてもよい。
　また、第１乃至第３の実施の形態において、撮影範囲内における一部領域以外の外の領域には焦点検出点を配置してもよいし、配置しなくてもよい。また、外の領域には一部領域よりも疎に焦点検出点を配置するようにしてもよい。
　次に、オートフォーカスの設定において、ユーザがオートフォーカスによる被写体への追従の感度を調整できる場合の変形例について説明する。オートフォーカスの被写体への追従感度の調整とは、撮像装置が有する機能の１つであり、オートフォーカスで捕捉した被写体への追従の度合いを調整できるものである。追従感度が低い場合には、障害物が焦点検出点を横切ったときや、焦点検出点が被写体から外れたときでも、できるだけ捕捉している被写体にピントを合わせ続けようとする。一方、追従感度が高い場合には、焦点検出点で捉えている現在ピントが合っている被写体とは別の被写体が焦点検出点を横切ったりした場合にその他の被写体にピントを合わせることになる。このような被写体への追従感度は通常、撮像装置の設定モードなどにおいて値や複数の段階として選択が可能である。
　そして、この被写体への追従感度が高く設定されている場合、すなわち、現在ピントが合っている被写体から別の被写体にピントが移りやすい場合には、焦点検出点の一部領域内への局所配置を解除し、撮影範囲の全体に均等に焦点検出点を配置するとよい。これにより、撮影範囲全体において、均等にオートフォーカスによる被写体の捕捉を行なうことができるので、撮影範囲内に突然新たな被写体が入ってきた場合であってもその新たな被写体をオートフォーカスで捕捉することができる。
　次に、図２２を参照して被写体が撮影範囲から外れた場合（フレームアウト）の変形例について説明する。上述した実施の形態における手法で、図２２Ａに示すように、撮影範囲８１内の対象被写体８２を含むように一部領域８３を決定し、その中に焦点検出点８４を配置して撮影している場合を想定する。
　その撮影の最中に対象被写体８２が右方向に移動し、図２２Ｂに示すようにフレームアウトしたとする。この場合、図２２Ｂに示すようにフレームアウトした位置に局所配置した焦点検出点８４を所定時間残しておく。これにより、図２２Ｃに示すように、そのフレームアウトした対象被写体８２がフレームアウトした位置から再度撮影範囲８１内に入ってきた場合（フレームイン）に、即座にその対象被写体８２に再度ピントを合わせることができる。なお、局所配置した焦点検出点８４は所定時間、例えば、数秒程度残しておくとよい。長時間残していると、フレームアウトした対象被写体８２とは異なる被写体にピントに合わせてしまうおそれがあるからである。
　または、焦点検出点８４を重ねていた対象被写体８２がフレームアウトした場合、局所的に配置していた焦点検出点８４を解除し、図２２Ｄに示すように撮影範囲８１全体に焦点検出点８４を配置するようにしてもよい。この場合、対象被写体８２がフレームアウトした方向以外の方向からその対象被写体８２や他の被写体８５が入ってきた場合にそれらに即座にピントを合わせることができる。
　次にクロップして撮影する場合の変形例について説明する。クロップとは、撮影範囲において画像の一部分を切り出して撮影、または画像の再生画面において画像の一部分を切り出して再生することをいう。フルサイズ（３５ｍｍ）の撮像素子１０４で撮影する場合、撮像素子１０４の中央部分だけを切り出して小さな画像サイズで撮影すると、ＡＰＳ－Ｃ（Advanced Photo System－Ｃ）サイズの画像を得ることができる。ＡＰＳ－Ｃとは、デジタルカメラの固体撮像素子のサイズ規格のひとつである。
　フルサイズの撮像素子１０４を用いて、上述した第１乃至第３の実施の形態における手法で被写体にピントを合わせた状態でクロップして撮影している場合、クロップにより見えなくなっている領域にも焦点検出点を疎に配置しておく。これにより、被写体が撮影範囲外からフレームインしてきた場合に即座にその被写体にピントを合わせることができる。
　次に第１の実施の形態の第３の態様の変形例について説明する。第１の実施の形態の第３の態様において撮像装置１００は動きセンサを備えていてもよい。動きセンサは、例えば２軸または３軸方向に対する加速度センサあるいは角度速度センサなどにより撮像装置１００の動きを検出して、撮像装置１００自体の移動速度、移動方向などの情報を制御部１０１に供給する。また、動きセンサはジャイロセンサにより、撮像装置１００が旋回しているときの回転角の変化する速度（角速度）やＹ軸方向周りの角速度を検出し、制御部１０１に出力する。
　ユーザが撮像装置１００を手に持って撮像装置１００を動かす場合にも第１の実施の形態の第３の態様と同様に撮影範囲内において被写体が移動することになる。このような場合に、撮像装置１００の移動速度、移動方向に基づいて第１の実施の形態の第３の態様と同様の処理を行なうようにしてもよい。
　なお、撮像装置１００が動く場合とは、ユーザが手で持って動かす場合の他、ドローンと称される飛行体に撮像装置１００が搭載されている場合、ユーザが頭部など体の一部に撮像装置１００を装着している場合、車載カメラなど移動体に撮像装置１００を搭載している場合などがある。
　次に第３の実施形態の変形例について説明する。第３の実施の形態で説明した撮像装置１００からの情報に基づいて焦点検出点を配置する実施形態において、撮像装置１００からの情報は第３の実施の形態で述べたものに限定されない。撮像装置１００が有する撮影補助機能から供給される情報または外部装置が有する撮影補助機能から供給される情報に基づいて焦点検出点を配置するようにしてもよい。
　撮像装置１００が有する撮影を補助する機能としては、像面位相差ＡＦ用の焦点検出点がある。この場合、表示部１１２に表示されている複数の焦点検出点からユーザが選択した任意の１または複数の焦点検出点が焦点検出点を密に配置する対象となる。
　また、外部装置の撮影補助機能から供給される情報としては、別***相差ＡＦモジュールの合焦点情報、コントラストＡＦの合焦点情報、外部ストロボのＡＦ補助光が被写体に当たっている位置の情報、ドットサイトと称される光学照準器の照準用光点の情報、視線入力装置における視線の位置を示す情報などである。
　次に撮像装置の構成の変形例について説明する。図２に示す撮像制御装置１２０を備える撮像装置１００の構成では、撮像制御装置１２０による処理を撮像装置１００の制御側で行っているが、撮像素子１０４が制御回路を備え、撮像素子１０４内で本技術に係る焦点検出点の設定処理を行なうようにしてもよい。
　被写体の種類に応じた焦点検出点の設定については、被写体が瞳であり、撮影範囲内に一部領域が２つ存在する場合を例にして説明を行ったが、その他の実施の形態においても一部領域は一つに限られず、撮影範囲内に複数の一部領域が設定されてもよい。
　上述の実施の形態では、焦点検出点を配置する一部領域は四角形として説明を行ったが、一部領域は四角形に限られず、三角形、円形、被写体の輪郭と略同等の形状などでもよい。
　表示部１１２における焦点検出点を示すユーザインターフェースの表示は実施の形態に示したもの以外の方法で行ってもよい。例えば、一部領域内の焦点検出点を濃い線で表示し、外の領域内の焦点検出点を薄い線で表示または表示しないようにしてもよい。また、一部領域内の焦点検出点を赤色など目立つ色の線で表示し、外の領域内の焦点検出点を黒、白など一部領域内の焦点検出点の色よりも目立たない色で表示してもよい。また、一部領域内の焦点検出点を太い線で表示し、外の領域内の焦点検出点を細い線で表示してもよい。または、一部領域内の焦点検出点のみを点滅させるようにしてもよい。なお、一部領域内および外の領域内の全ての焦点検出点を同じ線の種類、線の色で表示してもよい。また、一部領域内全体に色や網目を表示したりしてもよい。
　なお、上述した第１乃至第３の実施の形態の各態様および変形例は組み合わせて使用してもよい。例えば、第１の実施の形態の第２の態様である対象被写体の大きさに応じて一部領域内に焦点検出点を配置する場合、第１の実施の形態の第１の態様の図７で説明したように、焦点検出点を外の領域に一部領域よりも疎に配置してもよいし、配置しなくてもよい。また、第３の実施の形態の第３の態様であるグリッドラインの交点を対象として焦点検出点を配置する場合にも、第１の実施の形態の第１の態様の図７で説明したように、焦点検出点を外の領域に一部領域よりも疎に配置してもよいし、配置しなくてもよい。また、第２の実施の形態である被写体の種類に応じて焦点検出点を配置する場合に、さらに第１の実施の形態の第２の態様を利用して被写体の大きさに応じて配置してもよいし、第１の実施の形態の第３の態様を利用して被写体の速度に応じて配置してもよい。
　本技術は、一眼レフカメラ、デジタルカメラ、デジタルビデオカメラなどの他にも、アウトドアスポーツの愛好者等が自身の活動を記録するために用いる小型のデジタルビデオカメラや、ネットワークカメラ、車載カメラ、監視カメラ、ドローンなどの飛行体搭載用カメラ、ノートパソコン、スマートフォン、タブレット端末、携帯ゲーム機、腕時計型のウェアラブル端末、眼鏡型のウェアラブル端末、カーナビゲーションシステム、インターホンシステムなどカメラ機能を備えるものであればどのようなものにも適用可能である。
　また、複数のデジタルカメラ、デジタルビデオカメラ、スマートフォンなどをＷｉＦｉネットワークなどで接続して、それらの複数の機器で同時に撮影を行なうことができるいわゆるマルチカメラシステムにも本技術を適用することが可能である。例えば、ユーザがシャッタ操作などを行なうメインカメラにおいて本技術を利用し焦点検出点を設定した場合、その設定がＷｉＦｉネットワークなどを通じてその他のサブカメラに送信され、サブカメラにおいてもその焦点検出点の設定が適用される、などである。
　また、被写体は、人物、人物の顔、瞳などに限られず、自動車、飛行機、列車、自転車、自動車のナンバープレート、標識、看板、動物、植物、建築物などどのようなものであってもよい。
　本技術は以下のような構成も取ることができる。
（１）
　指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する、焦点検出制御部を備える
制御装置。
（２）
　前記焦点検出制御部は、前記一部領域における前記複数の焦点検出点間の間隔を前記外の領域における前記複数の焦点検出点間の間隔より狭くする（１）に記載の撮像制御装置。
（３）
　複数の前記焦点検出点ごとのデフォーカス量を算出する検波部からデフォーカス量を取得する（１）または（２）に記載の撮像制御装置。
（４）
　前記焦点検出制御部は、前記焦点検出点を示す情報を表示制御部に供給し、複数の前記焦点検出点の各々に対応した該焦点検出点を示す枠を表示部に表示させる（１）から（３）のいずれかに記載の制御装置。
（５）
　前記被写体は、被写体検出処理またはユーザの指定により特定される（１）から（３）のいずれかに記載の制御装置。
（６）
　前記焦点検出制御部は、前記被写体の大きさに基づいて前記複数の焦点検出点間の間隔を調整して、前記焦点検出点を前記一部領域に配置させる
（４）または（５）に記載の制御装置。
（７）
　前記焦点検出制御部は、前記被写体が大きくなるに従い前記複数の焦点検出点間の間隔を広くし、前記被写体が小さくなるに従い前記複数の焦点検出点間の間隔を狭くして、前記焦点検出点を前記一部領域に配置させる
（６）に記載の制御装置。
（８）
　前記焦点検出制御部は、前記被写体の速度に基づいて複数の前記焦点検出点間の間隔を調整して、前記焦点検出点を前記一部領域に配置させる（１）から（７）のいずれかに記載の制御装置。
（９）
　前記焦点検出制御部は、前記被写体の速度が速くなるに従い前記複数の焦点検出点間の間隔を広くし、前記被写体の速度が遅くなるに従い前記複数の焦点検出点間の間隔を狭くして前記焦点検出点を前記一部領域に配置させる（８）に記載の制御装置。
（１０）
　前記焦点検出制御部は、前記被写体の速度に基づいて複数の前記一部領域の大きさを調整する（８）または（９）に記載の制御装置。
（１１）
　さらに前記被写体の移動方向に基づいて、前記一部領域の大きさを調整する（８）から（１０）のいずれかに記載の制御装置。
（１２）
　前記撮影範囲内において種類が特定された前記被写体が含まれる前記一部領域に前記種類に応じて前記焦点検出点を配置させる（１）から（１１）のいずれかに記載の制御装置。
（１３）
　前記焦点検出制御部は、前記複数の焦点検出点を、前記撮影範囲内における合焦位置が含まれる前記一部領域よりも前記外の領域から、前記一部領域に配置させる（１）から（３）のいずれかに記載の制御装置。
（１４）
　　前記焦点検出制御部は、前記撮影範囲の一部であって、表示部に拡大して表示する領域を前記一部領域とし、前記複数の焦点検出点を前記一部領域に配置させる（１）から（３）のいずれかに記載の制御装置。
（１５）
　前記焦点検出制御部は、前記複数の焦点検出点を、表示部に表示された前記撮影範囲上に重畳表示された複数の線の交点が含まれる前記一部領域よりも前記外の領域から、前記一部領域に配置させる（１）から（３）のいずれかに記載の制御装置。
（１６）
　前記焦点検出は像面位相差方式により行われる（１）から（１５）のいずれかに記載の制御装置。
（１７）
　　撮像部の焦点検出画素に対応して設定される複数の焦点検出点を、特定された被写体の位置に基づいて、前記撮像部の撮影範囲における前記被写体に対応する一部領域よりも外の領域から、前記一部領域に配置させる制御方法。
（１８）
　撮像部の焦点検出画素に対応して設定される複数の焦点検出点を、特定された被写体の位置に基づいて、前記撮像部の撮影範囲における前記被写体に対応する一部領域よりも外の領域から、前記一部領域に配置させる制御方法をコンピュータに実行させる制御プログラム。
５１、６１、７１、８１・・・撮影範囲
５２、６２、８２・・・・・・対象被写体
５３、６３、７２・・・・・・一部領域
５４、６４、７３、８４・・・焦点検出点
５５・・・・・・・・・・・・外の領域
７５・・・・・・・・・・・・合焦位置
７６・・・・・・・・・・・・拡大領域
１２０・・・・・・・・・・・撮像制御装置
１２１・・・・・・・・・・・焦点検出制御部

Claims (18)

  1. 　指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する、焦点検出制御部を備える
    制御装置。
  2. 　前記一部領域は、特定された被写体の位置に対応する領域、またはユーザにより指定された領域である
    　請求項１に記載の制御装置。
  3. 　複数の前記焦点検出点ごとのデフォーカス量を算出する検波部からデフォーカス量を取得する
    請求項１に記載の制御装置。
  4. 　前記焦点検出制御部は、前記焦点検出点を示す情報を表示制御部に供給し、複数の前記焦点検出点の各々に対応した該焦点検出点を示す枠を表示部に表示させる
    請求項１に記載の制御装置。
  5. 　前記被写体は、被写体検出処理またはユーザの指定により特定される
    請求項１に記載の制御装置。
  6. 　前記焦点検出制御部は、前記被写体の大きさに基づいて前記複数の焦点検出点間の間隔を調整して、前記焦点検出点を前記一部領域に配置させる
    請求項１に記載の制御装置。
  7. 　前記焦点検出制御部は、前記被写体が大きくなるに従い前記複数の焦点検出点間の間隔を広くし、前記被写体が小さくなるに従い前記複数の焦点検出点間の間隔を狭くして、前記焦点検出点を前記一部領域に配置させる
    請求項６に記載の制御装置。
  8. 　前記焦点検出制御部は、前記被写体の速度に基づいて複数の前記焦点検出点間の間隔を調整して、前記焦点検出点を前記一部領域に配置させる
    請求項１に記載の制御装置。
  9. 　前記焦点検出制御部は、前記被写体の速度が速くなるに従い前記複数の焦点検出点間の間隔を広くし、前記被写体の速度が遅くなるに従い前記複数の焦点検出点間の間隔を狭くして前記焦点検出点を前記一部領域に配置させる
    請求項８に記載の制御装置。
  10. 　前記焦点検出制御部は、前記被写体の速度に基づいて複数の前記一部領域の大きさを調整する
    請求項８に記載の制御装置。
  11. 　さらに前記被写体の移動方向に基づいて、前記一部領域の大きさを調整する
    請求項８に記載の制御装置。
  12. 　前記撮影範囲内において種類が特定された前記被写体が含まれる前記一部領域に前記種類に応じて前記焦点検出点を配置させる
    請求項１に記載の制御装置。
  13. 　前記焦点検出制御部は、前記複数の焦点検出点を、前記撮影範囲内における合焦位置が含まれる前記一部領域よりも前記外の領域から、前記一部領域に配置させる
    請求項１に記載の制御装置。
  14. 　前記焦点検出制御部は、前記撮影範囲の一部であって、表示部に拡大して表示する領域を前記一部領域とし、前記複数の焦点検出点を前記一部領域に配置させる
    請求項１に記載の制御装置。
  15. 　前記焦点検出制御部は、前記複数の焦点検出点を、表示部に表示された前記撮影範囲上に重畳表示された複数の線の交点が含まれる前記一部領域よりも前記外の領域から、前記一部領域に配置させる
    請求項１に記載の制御装置。
  16. 　前記焦点検出は像面位相差方式により行われる
    請求項１に記載の制御装置。
  17. 　指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する
    制御方法。
  18. 　指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する
    制御方法をコンピュータに実行させる制御プログラム。
PCT/JP2017/003537 2016-02-01 2017-02-01 制御装置、制御方法および制御プログラム WO2017135276A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017565571A JP7036423B2 (ja) 2016-02-01 2017-02-01 制御装置、制御方法および制御プログラム
US16/069,775 US10686979B2 (en) 2016-02-01 2017-02-01 Control apparatus and control method
CN201780008058.2A CN108603997B (zh) 2016-02-01 2017-02-01 控制装置、控制方法和控制程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016017065 2016-02-01
JP2016-017065 2016-02-01

Publications (1)

Publication Number Publication Date
WO2017135276A1 true WO2017135276A1 (ja) 2017-08-10

Family

ID=59499826

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/003537 WO2017135276A1 (ja) 2016-02-01 2017-02-01 制御装置、制御方法および制御プログラム

Country Status (4)

Country Link
US (1) US10686979B2 (ja)
JP (2) JP7036423B2 (ja)
CN (1) CN108603997B (ja)
WO (1) WO2017135276A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864315B (zh) * 2016-09-21 2020-08-11 佳能株式会社 摄像设备、摄像设备的控制方法和记录介质
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
JP7277133B2 (ja) * 2018-12-27 2023-05-18 キヤノン株式会社 フォーカス制御装置、撮像装置、および、プログラム
EP3904956A4 (en) * 2018-12-28 2022-02-16 Sony Group Corporation IMAGING APPARATUS, IMAGING PROCEDURE AND PROGRAM
CN109559522B (zh) * 2019-01-21 2021-09-28 熵基科技股份有限公司 一种调试方法、伸缩立柱、摄像机及存储介质
CN110191287B (zh) * 2019-06-28 2021-05-11 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
JP7490372B2 (ja) * 2020-01-21 2024-05-27 キヤノン株式会社 撮像制御装置及びその制御方法
KR20210105056A (ko) * 2020-02-18 2021-08-26 에스케이하이닉스 주식회사 이미지 센서 및 이를 포함하는 촬영 장치
KR20240013496A (ko) * 2022-07-22 2024-01-30 삼성전자주식회사 위상 데이터의 길이를 가변할 수 있는 이미지 센서

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH063581A (ja) * 1992-06-19 1994-01-14 Nikon Corp 自動焦点調節装置
JP2000155261A (ja) * 1998-11-24 2000-06-06 Canon Inc 焦点検出方法、焦点検出装置及び焦点検出方法を記憶した記憶媒体
JP2001208961A (ja) * 2000-01-26 2001-08-03 Nikon Corp カメラ
JP2003259163A (ja) * 2002-02-28 2003-09-12 Minolta Co Ltd デジタルカメラ及びプログラム
JP2010072284A (ja) * 2008-09-18 2010-04-02 Nikon Corp カメラの焦点調節装置
JP2011090048A (ja) * 2009-10-20 2011-05-06 Olympus Imaging Corp カメラ用自動焦点調節装置
JP2011176457A (ja) * 2010-02-23 2011-09-08 Nikon Corp 電子カメラ
JP2012018014A (ja) * 2010-07-06 2012-01-26 Ricoh Co Ltd 測距装置及び撮像装置
JP2012128343A (ja) * 2010-12-17 2012-07-05 Nikon Corp カメラ
JP2013122494A (ja) * 2011-12-09 2013-06-20 Nikon Corp 焦点検出装置およびカメラ
WO2013088917A1 (ja) * 2011-12-13 2013-06-20 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
JP2014013398A (ja) * 2013-08-06 2014-01-23 Sony Corp 撮像装置および方法、並びにプログラム
JP2014137567A (ja) * 2013-01-18 2014-07-28 Olympus Imaging Corp 撮像装置
JP2015079162A (ja) * 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2015106116A (ja) * 2013-12-02 2015-06-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 撮像装置
JP2015169708A (ja) * 2014-03-05 2015-09-28 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001004367A (ja) 1999-06-22 2001-01-12 Fuji Electric Co Ltd 測距演算装置
US7046290B2 (en) 2000-01-26 2006-05-16 Nikon Corporation Multi-point auto-focus digital camera including electronic zoom
US6456788B1 (en) * 2000-08-21 2002-09-24 Canon Kabushiki Kaisha Optical apparatus and camera provided with line-of-sight detecting device
JP4608425B2 (ja) 2005-12-21 2011-01-12 オリンパス株式会社 撮像システム
JP2008199477A (ja) * 2007-02-15 2008-08-28 Matsushita Electric Ind Co Ltd 撮像装置
JP2009077066A (ja) * 2007-09-19 2009-04-09 Nikon Corp 撮像装置の画像取り込み方法とその方法を用いる撮像装置
JP2010098663A (ja) 2008-10-20 2010-04-30 Samsung Digital Imaging Co Ltd 撮像装置
JP5374119B2 (ja) 2008-11-13 2013-12-25 オリンパス株式会社 距離情報取得装置、撮像装置、及びプログラム
JP4997306B2 (ja) 2010-03-12 2012-08-08 オリンパス株式会社 被写体人物の顔の向き判定方法
JP5836761B2 (ja) 2011-11-04 2015-12-24 キヤノン株式会社 焦点調節装置及びその制御方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH063581A (ja) * 1992-06-19 1994-01-14 Nikon Corp 自動焦点調節装置
JP2000155261A (ja) * 1998-11-24 2000-06-06 Canon Inc 焦点検出方法、焦点検出装置及び焦点検出方法を記憶した記憶媒体
JP2001208961A (ja) * 2000-01-26 2001-08-03 Nikon Corp カメラ
JP2003259163A (ja) * 2002-02-28 2003-09-12 Minolta Co Ltd デジタルカメラ及びプログラム
JP2010072284A (ja) * 2008-09-18 2010-04-02 Nikon Corp カメラの焦点調節装置
JP2011090048A (ja) * 2009-10-20 2011-05-06 Olympus Imaging Corp カメラ用自動焦点調節装置
JP2011176457A (ja) * 2010-02-23 2011-09-08 Nikon Corp 電子カメラ
JP2012018014A (ja) * 2010-07-06 2012-01-26 Ricoh Co Ltd 測距装置及び撮像装置
JP2012128343A (ja) * 2010-12-17 2012-07-05 Nikon Corp カメラ
JP2013122494A (ja) * 2011-12-09 2013-06-20 Nikon Corp 焦点検出装置およびカメラ
WO2013088917A1 (ja) * 2011-12-13 2013-06-20 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
JP2014137567A (ja) * 2013-01-18 2014-07-28 Olympus Imaging Corp 撮像装置
JP2014013398A (ja) * 2013-08-06 2014-01-23 Sony Corp 撮像装置および方法、並びにプログラム
JP2015079162A (ja) * 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2015106116A (ja) * 2013-12-02 2015-06-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 撮像装置
JP2015169708A (ja) * 2014-03-05 2015-09-28 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Also Published As

Publication number Publication date
JPWO2017135276A1 (ja) 2018-11-22
US20190028653A1 (en) 2019-01-24
JP2021105734A (ja) 2021-07-26
JP7036423B2 (ja) 2022-03-15
CN108603997A (zh) 2018-09-28
JP7131647B2 (ja) 2022-09-06
US10686979B2 (en) 2020-06-16
CN108603997B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
JP7131647B2 (ja) 制御装置、制御方法および制御プログラム
JP6512810B2 (ja) 撮像装置および制御方法とプログラム
US9025044B2 (en) Imaging device, display method, and computer-readable recording medium
US20140071303A1 (en) Processing apparatus, processing method, and program
JP6071436B2 (ja) 撮像装置、撮像方法およびプログラム
US10122930B2 (en) Display control apparatus and control method thereof
CN107968913B (zh) 显示控制设备、显示控制设备的控制方法和存储介质
JP2008245055A (ja) 画像表示装置、撮影装置および画像表示方法
JP4552997B2 (ja) 撮像装置及びプログラム
US20170111574A1 (en) Imaging apparatus and imaging method
JP5885395B2 (ja) 撮影機器及び画像データの記録方法
US9451149B2 (en) Processing apparatus, processing method, and program
TWI693828B (zh) 顯示擷取裝置與其操作方法
JP2018040929A (ja) 撮像制御装置および撮像制御方法
WO2014080682A1 (ja) 撮像装置及びその合焦方法と合焦制御プログラム
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
JP7131541B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20230247290A1 (en) Image capture apparatus and control method thereof
US11669975B2 (en) Subject tracking device, subject tracking method, and imaging apparatus
JP5281904B2 (ja) ビューファインダーシステム及びそれを備えた撮像装置
JP5938269B2 (ja) 撮像装置およびその制御方法
JP5387048B2 (ja) テレビジョンカメラシステム、テレビジョンカメラの制御方法、及びプログラム
JP2013162453A (ja) 撮像装置
JP2010220023A (ja) デジタルカメラ
JP2009267824A (ja) 撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17747432

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017565571

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17747432

Country of ref document: EP

Kind code of ref document: A1