WO2021166333A1 - 撮像装置、制御装置、撮像装置の動作方法、及びプログラム - Google Patents
撮像装置、制御装置、撮像装置の動作方法、及びプログラム Download PDFInfo
- Publication number
- WO2021166333A1 WO2021166333A1 PCT/JP2020/040817 JP2020040817W WO2021166333A1 WO 2021166333 A1 WO2021166333 A1 WO 2021166333A1 JP 2020040817 W JP2020040817 W JP 2020040817W WO 2021166333 A1 WO2021166333 A1 WO 2021166333A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- frame
- focus lens
- continuous shooting
- main exposure
- processor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Definitions
- the technology of the present disclosure relates to an image pickup device, a control device, an operation method of the image pickup device, and a program.
- Patent Document 1 discloses an imaging device capable of performing an automatic focusing operation by following the movement of a specific subject.
- the imaging apparatus described in Patent Document 1 has an imaging unit that continuously captures a subject in frame units and generates an captured image, a display unit that displays the captured image generated by the imaging unit in real time, and a display unit. It is equipped with a control unit that displays an AF frame that indicates an area to be automatically focused by superimposing it on the captured image displayed in real time, and the control unit detects the movement of a specific subject from the captured image of the previous frame. , The position of a specific subject in the captured image of the current frame is predicted based on the detected movement, and the AF frame is displayed in the captured image displayed on the display unit based on the predicted position.
- Patent Document 2 describes an imaging optical system including a focus-adjustable optical system, a first focus detection pixel that receives a light beam passing through the first pupil region of the imaging optical system, and an imaging different from the first pupil region.
- a plurality of second focus detection pixels that receive a light beam passing through the second pupil region of the optical system are arranged, and an image pickup element that photoelectrically converts an image formed by the photographing optical system and a subject from the output signal of the image pickup element.
- Is detected, and the subject area detecting means for detecting the first region, the second region, and the third region, which are the focus detection regions from the subject, and the focus detection of the first region and the second region of the subject are performed.
- Focus detection means focus adjustment means that adjusts the focus based on the focus detection result in the second region, and the speed at which the moving speed of the subject is detected based on the focus detection results in the first, second, and third regions. It is characterized by having a detection means, a prediction means for predicting the position of a subject based on the moving speed of the speed detection means, and a focus detection area changing means for changing the focus detection area to the position of the subject predicted by the prediction means.
- the imaging device is disclosed.
- the focusing position of the focus lens is followed by the specific subject without lengthening the time interval of continuous shooting.
- an image pickup device a control device, an operation method of the image pickup device, and a program capable of the above.
- the first aspect according to the technique of the present disclosure includes a processor and an image sensor in which light is imaged by an image pickup lens including a focus lens, and the focus lens determines the period of main exposure by the image sensor according to the instruction of the processor. It is an imaging device that moves while avoiding and continuously takes a main exposure by continuously performing the main exposure at a predetermined time interval by an image sensor, and the processor performs the main exposure within the continuous shooting period.
- the first focusing position of the focus lens with respect to the specific subject is calculated based on the image data obtained by capturing the specific subject with the main exposure by the image sensor in the specific frame, and within the continuous shooting period.
- the second aspect according to the technique of the present disclosure is the image pickup apparatus according to the first aspect in which the specific frame is each frame in which the main exposure is performed.
- the third aspect according to the technique of the present disclosure is the first aspect or the second aspect in which the processor predicts the second in-focus position two or more frames ahead of the specific frame by referring to the first in-focus position.
- This is an imaging device according to the above.
- a fourth aspect according to the technique of the present disclosure is an imaging device according to a third aspect, wherein the processor predicts a second in-focus position two frames ahead of a specific frame by referring to the first in-focus position. ..
- a fifth aspect of the technique of the present disclosure is the imaging apparatus according to the third aspect, wherein the processor refers to the first in-focus position and predicts the second in-focus position three or more frames ahead of the specific frame. be.
- a sixth aspect according to the technique of the present disclosure is an imaging device according to any one of the third to fifth aspects, wherein the processor predicts the second focusing position for each frame in which the main exposure is performed. Is.
- a seventh aspect according to the technique of the present disclosure is an imaging according to any one of the first to sixth aspects in which the processor moves the focus lens toward the latest predicted second in-focus position. It is a device.
- An eighth aspect according to the technique of the present disclosure is that the processor increases the number of frames from a specific frame to the frame to which the second focusing position is predicted as the frame rate for continuous shooting by the image sensor is increased.
- the image pickup apparatus according to the first aspect or the second aspect.
- a ninth aspect according to the technique of the present disclosure is any one of the first to eighth aspects in which the processor predicts the second in-focus position by referring to the first in-focus position for a plurality of frames.
- This is an imaging device according to an aspect.
- a tenth aspect according to the technique of the present disclosure is the first focusing position obtained by the processor calculating in the latest frame in which the latest main exposure is performed, and the past frame temporally adjacent to the latest frame.
- This is an imaging device according to a ninth aspect, which predicts a second focusing position by referring to a plurality of first focusing positions including the first focusing position obtained in the above-described manner.
- the eleventh aspect according to the technique of the present disclosure is from the first aspect to the first aspect in which the processor stores the image data in the storage medium each time the main exposure is performed and then displays the image based on the image data on the display. It is an image pickup apparatus which concerns on any one of 10 aspects.
- a twelfth aspect according to the technique of the present disclosure is any one of the first to eleventh aspects in which the processor increases the continuous shooting interval when the period during which the main exposure is performed is extended beyond the first threshold value. It is an image pickup apparatus which concerns on one aspect.
- a thirteenth aspect according to the technique of the present disclosure is to increase the continuous shooting interval by causing the image sensor to take an image for at least one frame of the first live view image between frames of continuous shooting. It is an image pickup apparatus which concerns on a twelfth aspect.
- a fourteenth aspect of the technique of the present disclosure is that when the processor further moves the focus lens during the main exposure, the focus lens is provided on the condition that the period during which the main exposure is performed is extended to a second threshold value or more.
- the imaging device according to any one of the first to thirteenth aspects of reducing the moving speed.
- a fifteenth aspect according to the technique of the present disclosure is the latest regarding continuous shooting up to a plurality of frames ahead when the calculation period of the first focusing position exceeds the period during which the main exposure for one frame is performed.
- the image pickup apparatus according to any one of the first to fourteenth aspects, wherein the focus lens is divided and moved toward the second in-focus position over a period during which the main exposure is performed.
- the processor causes the image sensor to take an image for at least one frame of the second live view image between frames of continuous shooting, and is used for the second live view image.
- the first to fifteenth aspects of the first to fifteenth aspects in which the first in-focus position is calculated, the second in-focus position is predicted, and the focus lens is moved toward the second in-focus position while the image is being taken. It is an image pickup apparatus which concerns on any one aspect.
- a seventeenth aspect according to the technique of the present disclosure includes a diaphragm having a variable aperture size, and a processor controls the diaphragm so that the aperture within the period during which the main exposure is performed is set as the first size.
- the image pickup apparatus according to the sixteenth aspect wherein the opening during the imaging for the second live view image is set to a second size larger than the first size.
- the eighteenth aspect according to the technique of the present disclosure is the first combination based on the phase difference pixel data obtained by the image sensor having the phase difference pixel group and the processor being imaged by the phase difference pixel group.
- the image pickup apparatus according to any one of the first to seventeenth aspects for calculating the focal position.
- a nineteenth aspect according to the technique of the present disclosure is any one of the first to eighteenth aspects, wherein the mechanical shutter is provided and the processor moves the focus lens while avoiding the winding period required for winding the mechanical shutter. It is an image pickup apparatus which concerns on one aspect.
- the processor transmits an instruction signal instructing the image pickup lens including the focus lens to move the focus lens, and the processor causes the image pickup lens to be connected to the image pickup lens rather than the end of winding.
- a twenty-first aspect according to the technique of the present disclosure is that the processor stops the focus lens when the start timing of the main exposure arrives before the focus lens reaches the second focusing position, and the image sensor is subjected to.
- This is an imaging device according to any one of the first to twentieth aspects of starting the main exposure.
- the processor predicts the third focus position of the focus lens with respect to the specific subject in the first frame of the continuous shooting before the continuous shooting by the image sensor is started.
- the imaging device according to any one of the first to 21st aspects, in which the focus lens is moved toward the third focusing position before the main exposure of the first frame is started.
- a 23rd aspect according to the technique of the present disclosure is that the processor stops the focus lens when the start timing of the main exposure of the first frame arrives before the focus lens reaches the third focusing position. It is an image pickup apparatus which concerns on the 22nd aspect which starts the main exposure to an image sensor.
- the 24th aspect according to the technique of the present disclosure is a stage before the processor starts continuous shooting by the image sensor, or before the prediction of the second focusing position in the first frame of continuous shooting is started.
- the first which predicts the fourth focus position of the focus lens with respect to a specific subject in the second frame of continuous shooting, and moves the focus lens toward the fourth focus position before the main exposure of the second frame is started.
- the image pickup device according to any one of the 23rd aspects from the above aspect.
- a twenty-fifth aspect according to the technique of the present disclosure is that the processor stops the focus lens when the start timing of the main exposure of the second frame arrives before the focus lens reaches the fourth focusing position. It is an image pickup apparatus which concerns on the 24th aspect which starts the main exposure to an image sensor.
- a 26th aspect according to the technique of the present disclosure focuses on a period of main exposure by an image sensor comprising a processor and a memory built in or connected to the processor and in which light is imaged by an imaging lens including a focus lens. It is a control device applied to an imaging device in which the lens moves while avoiding according to the instruction of the processor, and continuous shooting is performed by continuously performing the main exposure at a predetermined time interval by the image sensor.
- the processor of the focus lens for the specific subject based on the image data obtained by capturing the specific subject with the main exposure by the image sensor in the specific frame where the main exposure is performed within the continuous shooting period.
- the first in-focus position is calculated, the second in-focus position of the focus lens is predicted for a specific subject multiple frames ahead of the specific frame by referring to the first in-focus position within the continuous shooting period, and the second in-focus position is predicted. It is a control device that moves the focus lens toward the position.
- a 27th aspect according to the technique of the present disclosure includes a processor and an image sensor in which light is imaged by an image pickup lens including a focus lens, and the focus lens determines the period of main exposure by the image sensor according to the instruction of the processor. It is an operation method of an imaging device that moves while avoiding and continuously performs main exposure at a predetermined time interval by an image sensor, and the main exposure is performed within the continuous shooting period. The first focusing position of the focus lens with respect to the specific subject is calculated based on the image data obtained by capturing the specific subject with the main exposure by the image sensor in the specific frame, within the continuous shooting period. To predict the second focus position of the focus lens for a specific subject multiple frames ahead of the specific frame by referring to the first focus position, and to move the focus lens toward the second focus position. It is an operation method of an image pickup apparatus including.
- a 28th aspect according to the technique of the present disclosure includes a processor and an image sensor in which light is imaged by an image pickup lens including a focus lens, and the focus lens determines the period of main exposure by the image sensor according to the instruction of the processor.
- the main exposure is applied to a computer that is applied to an imaging device that moves while avoiding and continuously performs main exposure at predetermined time intervals by an image sensor.
- the first focusing position of the focus lens with respect to the specific subject is calculated based on the image data obtained by capturing the image of the specific subject with the main exposure by the image sensor in the specific frame in which Predicting the second focus position of the focus lens for a specific subject multiple frames ahead of the specific frame by referring to the first focus position within the period, and moving the focus lens toward the second focus position. It is a program to execute the processing including the thing.
- FIG. 19B It is a continuation of the flowchart shown in FIG. 19B. It is a continuation of the flowchart shown in FIG. 19C. It is a time chart which shows the 1st modification of the processing content of the focusing control processing which concerns on embodiment. It is a time chart which shows the 2nd modification of the processing content of the focusing control processing which concerns on embodiment. It is a time chart which shows the 3rd modification of the processing content of the focusing control processing which concerns on embodiment. It is a time chart which shows the 4th modification of the processing content of the focusing control processing which concerns on embodiment. It is a time chart which shows the 5th modification of the processing content of the focusing control processing which concerns on embodiment.
- CPU is an abbreviation for "Central Processing Unit”.
- RAM is an abbreviation for "Random Access Memory”.
- IC refers to the abbreviation of "Integrated Circuit”.
- ASIC refers to the abbreviation of "Application Specific Integrated Circuit”.
- PLD refers to the abbreviation of "Programmable Logic Device”.
- FPGA refers to the abbreviation of "Field-Programaqble Gate Array”.
- SoC is an abbreviation for "System-on-a-Chip”.
- SSD is an abbreviation for "Solid State Drive”.
- USB is an abbreviation for "Universal Serial Bus”.
- HDD is an abbreviation for "Hard Disk Drive”.
- EEPROM refers to the abbreviation of "Electrically Erasable and Programmable Read Only Memory”.
- EL refers to the abbreviation for "Electro-Luminescence”.
- I / F refers to the abbreviation of "Interface”.
- UI refers to the abbreviation of "User Interface”.
- TOF is an abbreviation for "Time of Flight”.
- fps is an abbreviation for "frame per second”.
- MF is an abbreviation for "Manual Focus”.
- AF is an abbreviation for "Auto Focus”.
- vertical refers to vertical in the sense of including an error generally allowed in the technical field to which the technology of the present disclosure belongs, in addition to perfect vertical.
- match refers to a match in the sense of including an error generally tolerated in the technical field to which the technology of the present disclosure belongs, in addition to a perfect match.
- the image pickup apparatus 10 is a digital camera having an interchangeable lens and omitting a reflex mirror.
- the image pickup apparatus 10 includes an image pickup apparatus main body 12 and an interchangeable lens 14 that is interchangeably attached to the image pickup apparatus main body 12.
- a digital camera having an interchangeable lens and omitting a reflex mirror is mentioned, but the technique of the present disclosure is not limited to this, and a fixed lens type is used. It may be a digital camera, or it may be a digital camera built in various electronic devices such as a smart device, a wearable terminal, a cell observation device, an ophthalmic observation device, or a surgical microscope.
- the image sensor 16 is provided on the image pickup apparatus main body 12.
- the image sensor 16 is a CMOS image sensor.
- the interchangeable lens 14 is attached to the image pickup apparatus main body 12, the subject light indicating the subject is transmitted through the interchangeable lens 14 and imaged on the image sensor 16, and image data indicating the image of the subject is generated by the image sensor 16. Will be done.
- the CMOS image sensor is illustrated as the image sensor 16, but the technique of the present disclosure is not limited to this, and the image sensor 16 is, for example, another type of image sensor such as a CCD image sensor.
- the technology of the present disclosure is established.
- a release button 18 and a dial 20 are provided on the upper surface of the image pickup apparatus main body 12.
- the dial 20 is operated when setting the operation mode of the imaging system, the operation mode of the reproduction system, and the like, and by operating the dial 20, the imaging device 10 selectively selects the imaging mode and the reproduction mode as the operation mode. Is set to.
- the release button 18 functions as an imaging preparation instruction unit and an imaging instruction unit, and can detect a two-step pressing operation of an imaging preparation instruction state and an imaging instruction state.
- the imaging preparation instruction state refers to a state in which the image is pressed from the standby position to the intermediate position (half-pressed position), and the imaging instruction state is a state in which the image is pressed to the final pressed position (fully pressed position) beyond the intermediate position. Point to. In the following, the "state of being pressed from the standby position to the half-pressed position" is referred to as the "half-pressed state", and the "state of being pressed from the standby position to the fully-pressed position” is referred to as the "fully-pressed state”.
- the imaging preparation instruction state may be a state in which the user's finger is in contact with the release button 18, and the imaging instruction state is a state in which the operating user's finger is in contact with the release button 18. It may be a state in which the state has shifted from the state to the state.
- the release button 18 is also operated when giving an instruction for continuous shooting to the image pickup device 10.
- Continuous shooting is imaging for continuous still images accompanied by main exposure by the image sensor 16.
- the image pickup mode is set for the image pickup apparatus 10 and the release button 18 is fully pressed for a certain period of time (for example, 0.5 seconds) or longer, continuous shooting is started. Continuous shooting is performed until the fully pressed state is released.
- the image pickup apparatus 10 continuous shooting is performed by continuously performing the main exposure at predetermined time intervals by the image sensor 16.
- the default time interval refers to a time interval for one frame determined by, for example, a frame rate for continuous shooting of several fps (for example, 8 fps).
- a touch panel display 22 and an instruction key 24 are provided on the back surface of the image pickup apparatus main body 12.
- the touch panel display 22 includes a display 26 and a touch panel 28 (see also FIG. 3).
- An example of the display 26 is an organic EL display.
- the display 26 may be another type of display such as a liquid crystal display instead of the organic EL display.
- the display 26 displays an image and / or character information and the like.
- the display 26 is used for imaging for a live view image, that is, for displaying a live view image obtained by performing continuous imaging when the imaging device 10 is in the imaging mode.
- Imaging for a live view image (hereinafter, also referred to as “imaging for a live view image”) is performed according to, for example, a frame rate of 60 fps.
- the "live view image” refers to a moving image for display based on the image data obtained by being imaged by the image sensor 16. Live view images are also commonly referred to as through images.
- the display 26 displays the still image obtained by performing the imaging for the still image when the imaging device 10 is instructed to capture the still image via the release button 18. Is also used. Further, the display 26 is also used for displaying a reproduced image and displaying a menu screen or the like when the imaging device 10 is in the reproduction mode.
- the touch panel 28 is a transmissive touch panel and is superimposed on the surface of the display area of the display 26.
- the touch panel 28 receives an instruction from the user by detecting contact with an indicator such as a finger or a stylus pen.
- the continuous shooting instruction to the image pickup apparatus 10 is also given via the touch panel 28. That is, continuous shooting is started when the user continuously turns on the soft key for starting imaging displayed on the display 26 via the touch panel 28. The continuous shooting is continued until the on state of the soft key for starting imaging via the touch panel 28 is released.
- the above-mentioned "fully pressed state" includes a state in which the user turns on the soft key for starting imaging via the touch panel 28.
- an out-cell type touch panel display in which the touch panel 28 is superimposed on the surface of the display area of the display 26 is mentioned, but this is only an example.
- an on-cell type or in-cell type touch panel display can be applied as the touch panel display 22
- the instruction key 24 receives various instructions.
- the "various instructions” are, for example, an instruction to display a menu screen on which various menus can be selected, an instruction to select one or a plurality of menus, an instruction to confirm the selected contents, and an instruction to delete the selected contents.
- Zoom in, zoom out, and various instructions such as frame advance. Further, these instructions may be given by the touch panel 28.
- the image sensor 16 includes a photoelectric conversion element 30.
- the photoelectric conversion element 30 has a light receiving surface 30A.
- the photoelectric conversion element 30 is arranged in the image pickup apparatus main body 12 (see FIG. 1) so that the center of the light receiving surface 30A and the optical axis OA (see FIG. 1) coincide with each other.
- the photoelectric conversion element 30 has a plurality of photosensitive pixels arranged in a matrix, and the light receiving surface 30A is formed by the plurality of photosensitive pixels.
- the photosensitive pixel is a pixel having a photodiode PD, which converts the received light by photoelectric conversion and outputs an electric signal according to the amount of received light.
- a color filter is arranged on the photodiode PD.
- the color filter includes a G filter corresponding to the G (green) wavelength range, which contributes most to obtaining a luminance signal, an R filter corresponding to the R (red) wavelength range, and a B filter corresponding to the B (blue) wavelength range. include.
- the non-phase difference pixel N is also referred to as a normal pixel.
- the photoelectric conversion element 30 has three types of photosensitive pixels, R pixel, G pixel, and B pixel, as the non-phase difference pixel N.
- the R pixel, G pixel, B pixel, and phase difference pixel P are in the row direction (for example, the horizontal direction when the bottom surface of the image pickup apparatus main body 12 is in contact with the horizontal plane) and the column direction (for example, in the horizontal direction). It is regularly arranged in each of the vertical directions (vertical directions) with a predetermined periodicity.
- the R pixel is a pixel corresponding to the photodiode PD in which the R filter is arranged
- the G pixel and the phase difference pixel P are pixels corresponding to the photodiode PD in which the G filter is arranged
- the B pixel is B. It is a pixel corresponding to the photodiode PD in which the filter is arranged.
- a plurality of retardation pixel lines 32A and a plurality of non-phase difference pixel lines 32B are arranged on the light receiving surface 30A.
- the retardation pixel line 32A is a horizontal line including the retardation pixel P.
- the phase difference pixel line 32A is a horizontal line in which the phase difference pixel P and the non-phase difference pixel N are mixed.
- the non-phase difference pixel line 32B is a horizontal line including only a plurality of non-phase difference pixels N.
- the retardation pixel lines 32A and the non-phase difference pixel lines 32B corresponding to the predetermined number of lines are alternately arranged along the column direction.
- the "default number of lines" referred to here refers to, for example, two lines.
- 2 lines are illustrated as the default number of lines, but the technique of the present disclosure is not limited to this, and the default number of lines may be several lines of 3 or more lines, or more than 10 lines. , Dozens of lines, hundreds of lines, and the like.
- the phase difference pixel line 32A is arranged by skipping two rows in the column direction from the first row to the last row.
- a part of the pixels of the phase difference pixel line 32A is the phase difference pixel P.
- the phase difference pixel line 32A is a horizontal line in which the phase difference pixel P and the non-phase difference pixel N are periodically arranged.
- the phase difference pixel P is roughly classified into a first phase difference pixel L and a second phase difference pixel R.
- first phase difference pixels L and second phase difference pixels R are alternately arranged as G pixels at intervals of several pixels in the line direction.
- the first phase difference pixel L and the second phase difference pixel R are arranged so as to appear alternately in the column direction.
- the first phase difference pixel L, the second phase difference pixel R, the first phase difference pixel L, and the second phase difference pixel R are arranged along the column direction from the first row. They are arranged in order. That is, the first phase difference pixel L and the second phase difference pixel R are alternately arranged along the column direction from the first row.
- the second phase difference pixel R, the first phase difference pixel L, the second phase difference pixel R, and the first phase difference pixel along the column direction from the first row are arranged in the order of L. That is, the second phase difference pixel R and the first phase difference pixel L are alternately arranged along the column direction from the first row.
- the photoelectric conversion element 30 is divided into two regions. That is, the photoelectric conversion element 30 has a non-phase difference pixel division area 30N and a retardation pixel division area 30P.
- the phase difference pixel division region 30P is a phase difference pixel group composed of a plurality of phase difference pixels P, and receives subject light to generate phase difference image data as an electric signal according to the amount of received light.
- the phase difference image data is used for distance measurement, for example.
- the non-phase difference pixel division region 30N is a group of non-phase difference pixels composed of a plurality of non-phase difference pixels N, and receives subject light to generate non-phase difference image data as an electric signal according to the amount of received light.
- the non-phase difference image data is displayed on the display 26 (see FIG. 2) as a visible light image, for example.
- the first retardation pixel L includes a light-shielding member 34A, a microlens 36, and a photodiode PD.
- a light-shielding member 34A is arranged between the microlens 36 and the light-receiving surface of the photodiode PD.
- the left half of the light receiving surface of the photodiode PD in the row direction (the left side when facing the subject from the light receiving surface (in other words, the right side when facing the light receiving surface from the subject)) is shielded by the light shielding member 34A.
- the second phase difference pixel R includes a light-shielding member 34B, a microlens 36, and a photodiode PD.
- the light-shielding member 34B is arranged between the microlens 36 and the light-receiving surface of the photodiode PD.
- the right half of the light receiving surface of the photodiode PD in the row direction (the right side when facing the subject from the light receiving surface (in other words, the left side when facing the light receiving surface from the subject)) is shielded by the light shielding member 34B.
- the light shielding member 34B In the following, for convenience of explanation, when it is not necessary to distinguish between the light-shielding members 34A and 34B, they are referred to as “light-shielding members” without reference numerals.
- the interchangeable lens 14 includes an imaging lens 40.
- the luminous flux passing through the exit pupil of the image pickup lens 40 is roughly classified into left region passing light 38L and right region passing light 38R.
- the left region passing light 38L refers to the left half of the luminous flux passing through the exit pupil of the imaging lens 40 when facing the subject side from the phase difference pixel P side
- the right region passing light 38R refers to the imaging lens.
- the luminous flux passing through the exit pupil of 40 it refers to the luminous flux of the right half when facing the subject side from the phase difference pixel P side.
- the luminous flux passing through the exit pupil of the image pickup lens 40 is divided into left and right by the microlens 36, the light-shielding member 34A, and the light-shielding member 34B that function as the pupil division portion, and the first retardation pixel L is the light passing through the left region as the subject light. 38L is received, and the second phase difference pixel R receives the right region passing light 38R as the subject light.
- the photoelectric conversion element 30 combines the first phase difference image data corresponding to the subject image corresponding to the left region passing light 38L and the second phase difference image data corresponding to the subject image corresponding to the right region passing light 38R. Will be generated.
- the non-phase difference pixel N is different from the phase difference pixel P in that it does not have a light-shielding member.
- the photodiode PD of the non-phase difference pixel N receives the left region passing light 38L and the right region passing light 38R as the subject light.
- the image pickup lens 40 includes an objective lens 40A, a focus lens 40B, and an aperture 40C.
- the objective lens 40A, the focus lens 40B, and the aperture 40C are the objective lens 40A, the focus lens 40B, and the aperture 40C from the subject side (object side) to the image pickup device main body 12 side (image side) along the optical axis OA. They are arranged in order.
- the interchangeable lens 14 includes a slide mechanism 42, a motor 44, and a motor 46.
- a focus lens 40B is attached to the slide mechanism 42 so as to be slidable along the optical axis OA.
- a motor 44 is connected to the slide mechanism 42, and the slide mechanism 42 operates by receiving the power of the motor 44 to move the focus lens 40B along the optical axis OA.
- the diaphragm 40C is a diaphragm having a variable opening size.
- a motor 46 is connected to the diaphragm 40C, and the diaphragm 40C adjusts the exposure by operating under the power of the motor 46.
- the structure and / or operation method of the interchangeable lens 14 can be changed as needed.
- the motors 44 and 46 are connected to the image pickup apparatus main body 12 via a mount (not shown), and the drive is controlled according to a command from the image pickup apparatus main body 12.
- a stepping motor is adopted as an example of the motors 44 and 46. Therefore, the motors 44 and 46 operate in synchronization with the pulse signal in response to a command from the image pickup apparatus main body 12.
- FIG. 6 an example in which the motors 44 and 46 are provided in the interchangeable lens 14 is shown, but the present invention is not limited to this, and one of the motors 44 and 46 is provided in the image pickup apparatus main body 12. Both the motors 44 and 46 may be provided in the image pickup apparatus main body 12.
- the MF mode and the AF mode are selectively set according to the instruction given to the image pickup device main body 12.
- the MF mode is an operation mode for manually focusing.
- the focus lens 40B moves along the optical axis OA with a movement amount corresponding to the operation amount of the focus ring, whereby the focus is adjusted. Will be done.
- the image pickup device main body 12 calculates the focusing position according to the subject distance, and moves the focus lens 40B toward the calculated focusing position to adjust the focus.
- the in-focus position refers to the position of the focus lens 40B on the optical axis OA in a state of being in focus.
- control for adjusting the focus lens 40B to the in-focus position is also referred to as "AF control”.
- calculation of the focusing position is also referred to as "AF calculation”.
- the image sensor main body 12 includes an image sensor 16, a controller 48, an image memory 50, a UI device 52, an external I / F 54, a photoelectric conversion element driver 56, a motor driver 58, and a motor driver 60. It includes a solenoid driver 62 for the front curtain, a solenoid driver 64 for the rear curtain, a solenoid actuator 66 for the front curtain, a solenoid actuator 68 for the rear curtain, and an input / output interface 70. Further, the image pickup apparatus main body 12 includes a mechanical shutter 72. Further, the image sensor 16 includes a signal processing circuit 74.
- the input / output interface 70 includes a controller 48, an image memory 50, a UI device 52, an external I / F 54, a photoelectric conversion element driver 56, a motor driver 58, a motor driver 60, a solenoid driver for the front curtain 62, and a solenoid driver for the rear curtain. 64 and the signal processing circuit 74 are connected.
- the controller 48 includes a CPU 48A, a storage 48B, and a memory 48C.
- the CPU 48A is an example of a "processor” according to the technology of the present disclosure
- the storage 48B and the memory 48C are an example of a “memory” according to the technology of the present disclosure
- the controller 48 is an example of the "control” according to the technology of the present disclosure. It is an example of "device” and "computer”.
- the CPU 48A, the storage 48B, and the memory 48C are connected via the bus 76, and the bus 76 is connected to the input / output interface 70.
- bus 76 may be a serial bus, or may be a parallel bus including a data bus, an address bus, a control bus, and the like.
- Storage 48B stores various parameters and various programs.
- the storage 48B is a non-volatile storage device.
- EEPROM is adopted as an example of the storage 48B.
- the EEPROM is only an example, and an HDD and / or SSD or the like may be applied as the storage 48B instead of or together with the EEPROM.
- the memory 48C temporarily stores various information and is used as a work memory.
- An example of the memory 48C is RAM, but the present invention is not limited to this, and other types of storage devices may be used.
- the CPU 48A reads a necessary program from the storage 48B and executes the read program on the memory 48C.
- the CPU 48A controls the entire image pickup apparatus main body 12 according to a program executed on the memory 48C.
- the image memory 50, the UI device 52, the external I / F 54, the photoelectric conversion element driver 56, the motor driver 58, the motor driver 60, the solenoid driver 62 for the front curtain, and the solenoid driver 64 for the rear curtain are used. It is controlled by the CPU 48A.
- a photoelectric conversion element driver 56 is connected to the photoelectric conversion element 30.
- the photoelectric conversion element driver 56 supplies an imaging timing signal that defines the timing of imaging performed by the photoelectric conversion element 30 to the photoelectric conversion element 30 according to an instruction from the CPU 48A.
- the photoelectric conversion element 30 resets, exposes, and outputs an electric signal according to the imaging timing signal supplied from the photoelectric conversion element driver 56. Examples of the imaging timing signal include a vertical synchronization signal and a horizontal synchronization signal.
- the photoelectric conversion element 30 photoelectrically converts the subject light received by the light receiving surface 30A, and outputs an electric signal according to the amount of the subject light as analog image data indicating the subject light.
- the signal processing circuit 74 reads analog image data from the photoelectric conversion element 30 in units of one frame and for each horizontal line by an exposure sequential reading method. The analog image data is roughly classified into analog phase difference image data generated by the phase difference pixel P and analog non-phase difference image data generated by the non-phase difference pixel N.
- the signal processing circuit 74 digitizes the analog image data input from the photoelectric conversion element 30 and generates digital image data.
- the signal processing circuit 74 includes a non-phase difference image data processing circuit 74A and a phase difference image data processing circuit 74B.
- the non-phase difference image data processing circuit 74A generates digital non-phase difference image data by digitizing analog non-phase difference image data.
- the phase difference image data processing circuit 74B generates digital phase difference image data by digitizing analog phase difference image data.
- digital image data when it is not necessary to distinguish between digital non-phase difference image data and digital phase difference image data, it is referred to as "digital image data”. Further, in the following, for convenience of explanation, when it is not necessary to distinguish between analog image data and digital image data, they are referred to as "image data”.
- the mechanical shutter 72 is a focal plane shutter and is arranged between the aperture 40C and the light receiving surface 30A.
- the mechanical shutter 72 includes a frame 72A, a front curtain 72B, and a rear curtain 72C.
- the frame 72A is a thin plate-shaped frame, and transmits the subject light emitted from the image pickup lens 40 and guides the subject light to the light receiving surface 30A.
- the frame 72A is formed by the opening 72A1 and the frame edge.
- the frame edge is formed in a rectangular shape and defines the shape, area, and thickness of the opening 72A1.
- the opening 72A1 has a rectangular shape and is formed in the central portion of the frame 72A.
- the frame 72A is arranged closer to the subject than the light receiving surface 30A so that the center of the opening 72A1 coincides with the optical axis OA.
- Each of the front curtain 72B and the rear curtain 72C has a plurality of blades.
- the front curtain 72B is arranged closer to the subject than the frame 72A, and the rear curtain 72C is arranged closer to the light receiving surface 30A than the frame 72A.
- the state of the mechanical shutter 72 changes between the fully open state, the front curtain closed state, and the rear curtain closed state.
- the fully open state is a state in which the opening 72A1 is fully opened by the front curtain 72B and the rear curtain 72C.
- the plurality of blades of the front curtain 72B are housed so as to overlap the subject side of the lower edge portion of the frame 72A, and the plurality of blades of the rear curtain 72C are housed on the light receiving surface of the upper edge portion of the frame 72A. It is housed on the 30A side.
- the opening 72A1 When the opening 72A1 is shielded by the front curtain 72B, the plurality of blades of the front curtain 72B are wound up in the direction of the broken line arrow A, and the opening 72A1 is shielded by the plurality of blades of the front curtain 72B.
- the opening 72A1 When the opening 72A1 is shielded by the rear curtain 72C, the plurality of blades of the rear curtain 72C are pulled down in the direction of the broken line arrow B, and the opening 72A1 is shielded by the plurality of blades of the rear curtain 72C.
- the front curtain closed state is a state in which the front curtain 72B shields the opening 72A1 and the rear curtain 72C opens the opening 72A1.
- the front curtain closed state is a state in which the rear curtain 72C shields the opening 72A1 and the front curtain 72B opens the opening 72A1.
- the rear curtain 72C is pulled down in the direction of the broken line arrow B.
- Each of the front curtain solenoid actuator 66 and the rear curtain solenoid actuator 68 is an actuator having a solenoid as a power source.
- the front curtain solenoid driver 62 controls the front curtain solenoid actuator 66 according to the instruction from the CPU 48A.
- the rear curtain solenoid driver 64 controls the rear curtain solenoid actuator 68 according to the instruction from the CPU 48A.
- the front curtain 72B is mechanically connected to the front curtain solenoid actuator 66, and the front curtain solenoid actuator 66 generates power under the control of the front curtain solenoid driver 62, and the generated power is used as the front curtain 72B.
- the front curtain 72B can be selectively wound and pulled down.
- the rear curtain 72C is mechanically connected to the rear curtain solenoid actuator 68, and the rear curtain solenoid actuator 68 generates power under the control of the rear curtain solenoid driver 64, and the generated power is used as the rear curtain 72C.
- the trailing curtain 72C can be selectively wound and pulled down by giving it to.
- imaging for a live view image and imaging for a recorded image for recording a still image and / or a moving image are performed by an exposure sequential readout method (rolling shutter method).
- the image sensor 16 has an electronic shutter function, and imaging for a live view image is realized by activating the electronic shutter function without operating the mechanical shutter 72 in the fully open state.
- imaging for a still image is realized by activating the electronic shutter function and operating the mechanical shutter 72 so as to shift the mechanical shutter 72 from the front curtain closed state to the rear curtain closed state.
- the mechanical shutter 72 is changed from the front curtain closed state to the rear curtain closed state, the pulling down of the front curtain 72B is first started prior to the pulling down of the rear curtain 72C among the front curtain 72B and the rear curtain 72C. Then, after the withdrawal of the front curtain 72B is started, the withdrawal of the rear curtain 72C is started later than the front curtain 72B.
- the time lag from the start of pulling down of the front curtain 72B to the start of pulling down of the rear curtain 72C is determined according to the specified shutter speed, and the longer the time lag, the more the gap between the front curtain 72B and the rear curtain 72C. As a result, the time required for the main exposure becomes longer.
- Digital image data is stored in the image memory 50. That is, the non-phase difference image data processing circuit 74A stores the non-phase difference image data in the image memory 50, and the phase difference image data processing circuit 74B stores the phase difference image data in the image memory 50.
- the CPU 48A acquires digital image data from the image memory 50 and executes various processes using the acquired digital image data.
- the UI device 52 includes a display 26, and the CPU 48A causes the display 26 to display various information. Further, the UI device 52 includes a reception device 80.
- the reception device 80 includes a touch panel 28 and a hard key unit 82.
- the hard key unit 82 is a plurality of hard keys including an instruction key 24 (see FIG. 2).
- the CPU 48A operates according to various instructions received by the touch panel 28.
- the hard key unit 82 is included in the UI device 52, but the technique of the present disclosure is not limited to this. For example, even if the hard key unit 82 is connected to the external I / F 54. good.
- the external I / F 54 controls the exchange of various information with a device existing outside the image pickup device 10 (hereinafter, also referred to as an “external device”).
- An example of an external I / F 54 is a USB interface.
- External devices such as smart devices, personal computers, servers, USB memory sticks, memory cards, and / or printers are directly or indirectly connected to the USB interface.
- the motor driver 58 is connected to the motor 44 and controls the motor 44 according to an instruction from the CPU 48A. By controlling the motor 44, the position of the focus lens 40B on the optical axis OA is controlled via the slide mechanism 42. The focus lens 40B moves according to the instruction from the CPU 48A, avoiding the period of the main exposure by the image sensor 16.
- the motor driver 60 is connected to the motor 46 and controls the motor 46 according to an instruction from the CPU 48A. By controlling the motor 46, the size of the opening of the diaphragm 40C is controlled.
- the frame rate for continuous shooting becomes high.
- the time to move the focus lens during continuous shooting is also shortened.
- the moving time of the focus lens is shortened, it becomes difficult to follow the focusing position of the focus lens with respect to the focusing target area.
- the continuous shooting interval For example, the time for one frame defined by the frame rate for continuous shooting
- the start timing of the main exposure arrives before the focus lens reaches the predicted focusing position, and the focus lens has to be stopped.
- the focusing control processing program 84 is stored in the storage 48B, and the focusing control processing program 84 is stored by the CPU 48A. Focusing control processing is executed according to the above.
- the focusing control process is realized by reading the focusing control processing program 84 from the storage 48B by the CPU 48A and executing the read focusing control processing program 84 on the memory 48C.
- the focusing control processing program 84 is an example of a “program” according to the technique of the present disclosure.
- the configuration of the focusing control process will be specifically described.
- the release button 18 (see FIG. 1) during the period during which the live view image imaging is performed (hereinafter, also referred to as “live view image imaging period”) before the continuous shooting is performed. ) Is set to the fully pressed state, and an example of the focusing control process performed by the CPU 48A when continuous shooting is started is shown.
- the first frame of the period during which continuous imaging for continuous shooting is performed that is, the period during which continuous imaging for recorded images is performed (hereinafter, also referred to as “continuous shooting period”).
- continuous shooting period A mode in which continuous shooting for three frames from to the third frame is performed is shown.
- one frame of main exposure for a recorded image is performed for each frame of continuous shooting, and a plurality of frames (three frames in the example shown below) are captured for a live view image. Is done.
- closed means a state in which the front curtain is closed
- open means a state in which the front curtain 72B is fully opened, or the mechanical shutter 72 is rearward from the front curtain closed state.
- the state in which the front curtain 72B is fully opened means the state in which the front curtain 72B is fully open or the rear curtain is closed.
- the mechanical shutter 72 will be described on the premise that it will not be fully opened during the transition from the front curtain closed state to the rear curtain closed state, but this is merely an example, and the present exposure
- the mechanical shutter 72 may be in the fully open state during the transition from the front curtain closed state to the rear curtain closed state.
- the technique of the present disclosure is established.
- the live view image imaging is performed with the mechanical shutter 72 fully open.
- the non-phase difference image data generated by the non-phase difference image data processing circuit 74A due to the live view image imaging is stored in the image memory 50.
- the non-phase difference image data is read from the image memory 50 by the CPU 48A, and the image indicated by the read non-phase difference image data is displayed on the display 26 as a live view image.
- the phase difference image data is generated by the phase difference image data processing circuit 74B by performing the live view image imaging, and is stored in the image memory 50.
- the CPU 48A reads out the phase difference image data from the image memory 50, and measures the subject distance with respect to the focusing target area in the subject based on the read out phase difference image data.
- the focusing target area is, for example, an area within the subject designated by the user via the reception device 80. In the present embodiment, the central portion of the subject is adopted as the focusing target area as the focusing target area. Has been done.
- the in-focus target area may be a fixed area, or an area in which the position is changed within the imaging range, for example, it is recognized by performing image recognition processing based on image data or the like by the CPU 48A. It may be an area that follows a specific moving object (for example, a specific person, a specific car, a specific bicycle, or a specific aircraft).
- the CPU 48A performs AF calculation based on the measured subject distance. Further, in the live view image imaging period, the CPU 48A is a focus lens for the focusing target area at the timing when the main exposure of the first frame of continuous shooting is started based on the focusing position obtained by performing the AF calculation. Predict the focusing position of 40B.
- N is a natural number
- the Nth frame of continuous shooting refers to the Nth frame in which the main exposure is performed during the continuous shooting period.
- the focusing position prediction is performed based on, for example, a plurality of focusing positions obtained by the latest plurality of AF operations (for example, the latest two AF operations retroactively from the present time).
- the CPU 48A moves the focus lens 40B along the optical axis OA toward the predicted focusing position.
- the timing for starting continuous shooting comes.
- the continuous shooting start timing arrives, the live view image of the display 26 is hidden. That is, the display area of the display 26 on which the live view image is displayed is blacked out. Further, when the continuous shooting start timing arrives, continuous shooting is started.
- the continuous shooting start timing is, for example, the timing at which the front curtain closing signal instructing the front curtain 72B to close the opening 72A1 is output from the CPU 48A to the front curtain solenoid driver 62.
- the front curtain solenoid driver 62 starts winding the front curtain 72B so as to shift the mechanical shutter 72 from the fully open state to the front curtain closed state.
- the size of the opening of the aperture 40C is adjusted in preparation for the main exposure.
- the CPU 48A performs the main exposure of the second frame of continuous shooting based on the latest focusing position obtained by performing the AF calculation.
- the focusing position of the focus lens 40B with respect to the focusing target region at the timing is predicted.
- the prediction of the focusing position is completed, for example, the prediction of the plurality of focusing positions obtained by the latest multiple AF calculations obtained in the imaging period for the live view image and the prediction of the first frame of continuous shooting. It is done based on the elapsed time from then until the present time.
- the CPU 48A moves the focus lens 40B along the optical axis OA toward the latest predicted focusing position.
- the technique of the present disclosure is described. Is not limited to this, and the second frame of continuous shooting may be predicted before the transition from the fully open state of the mechanical shutter 72 to the closed state of the front curtain is started.
- the prediction of the second frame of continuous shooting may be performed in parallel with the prediction of the first frame of continuous shooting.
- the mechanical shutter 72 When the mechanical shutter 72 is in the closed state of the front curtain, the pulling down of the front curtain 72B is started. Further, the withdrawal of the rear curtain 72C is started with a delay after the withdrawal of the front curtain 72B is started. As a result, the main exposure of the first frame of continuous shooting is started. Further, the focus lens 40B is stopped at the timing when the main exposure is started. This is because if the focus lens 40B is moved during the main exposure, distortion due to the movement of the focus lens 40B will occur in the image obtained by being captured.
- the mechanical shutter 72 is closed at the rear curtain, and the reading of the digital image data of the first frame of continuous shooting is started.
- the reading of the digital image data means that the digital image data of the first frame of continuous shooting is stored in the image memory 50, and the non-phase difference image data is read from the image memory 50 by the CPU 48A, which is the default first storage. It is stored in the area (here, storage 48B as an example), and the phase difference image data is read from the image memory 50 by the CPU 48A and stored in the default second storage area (here, memory 48C as an example). Refers to the processing up to.
- the CPU 48A controls the motor driver 58 to predict the focusing position (continuous) while the mechanical shutter 72 is transitioning from the fully open state to the front curtain closed state.
- the movement of the focus lens 40B is restarted toward the focusing position of the second frame of the image).
- the rear curtain 72C is wound up, and the mechanical shutter 72 transitions from the rear curtain closed state to the front curtain closed state.
- the focus lens 40B continues to move toward the expected focusing position while the mechanical shutter 72 is transitioning from the fully open state to the front curtain closed state.
- the CPU 48A acquires the phase difference image data from the memory 48C.
- the phase difference image data acquired from the memory 48C is the phase difference image data (hereinafter, also referred to as “main exposure image data”) obtained by performing the main exposure.
- the CPU 48A performs the AF calculation based on the main exposure image data acquired from the memory 48C. Based on the focusing position obtained by performing the AF calculation, the CPU 48A predicts the focusing position of the focus lens 40B with respect to the focusing target region at the timing when the main exposure is performed two frames ahead of continuous shooting.
- the CPU 48A controls the motor driver 58 to predict the latest focusing position (the focusing position of the focus lens 40B with respect to the focusing target area at the timing when the main exposure is performed two frames ahead of continuous shooting).
- the focus lens 40B is moved along the optical axis OA toward.
- Imaging for a live view image is performed, and an image indicated by the non-phase difference image data obtained thereby is displayed on the display 26 as a live view image.
- the "imaging for a live view image” performed here is an example of the “imaging for a second live view image” according to the technique of the present disclosure.
- three frames of live view image imaging are illustrated, but this is just an example. It may be an imaging for a live view image of 1 or 2 frames, or an imaging for a live view image of 4 frames or more, and a live performance for a number of frames determined according to the frame rate of the imaging for a live view image. Imaging for the view image is performed.
- the AF calculation is continuously performed by the CPU 48A even during the period during which the live view image imaging is performed, and based on the AF calculation result, two frames ahead of the continuous shooting.
- the focusing position of the focus lens 40B with respect to the focusing target region at the timing when the main exposure is performed is predicted by the CPU 48A.
- the amount of calculation is small, it is possible that at least the AF calculation of the AF calculation and the prediction of the focusing position is completed before the period in which the live view image imaging is performed.
- the focus lens 40B continues to move toward the expected in-focus position while the live view image imaging for 3 frames is being performed. That is, the CPU 48A continues to move the focus lens 40B toward the expected latest focusing position by utilizing the period during which the live view image imaging for three frames is being performed.
- the focusing control process is realized by the focusing position calculation unit 48A1, the focusing position prediction unit 48A2, and the control unit 48A3.
- the CPU 48A reads the focusing control processing program 84 from the storage 48B, and executes the read focusing control processing program 84 on the memory 48C to perform the focusing position calculation unit 48A1, the focusing position prediction unit 48A2, and the control unit. Operates as 48A3.
- the focusing position calculation unit 48A1 obtains the main exposure image data obtained by taking an image of the focus target area with the main exposure by the image sensor 16 in a specific frame in which the main exposure is performed within the continuous shooting period. Based on this, the focusing position of the focus lens 40B with respect to the focusing target region is calculated.
- the focusing position prediction unit 48A2 refers to the focusing position calculated by the focusing position calculation unit 48A1 within the continuous shooting period, and refers to the focus lens 40B for the focusing target region a plurality of frames ahead of the specific frame. Predict the focus position of.
- the control unit 48A3 controls the motor 44 via the motor driver 58 to move the motor 44 while avoiding the period of the main exposure by the image sensor 16.
- control unit 48A3 moves the focus lens 40B toward the focusing position predicted by the focusing position prediction unit 48A2.
- the specific frame refers to each frame in which the main exposure is performed within the continuous shooting period.
- the focusing target area is an example of a "specific subject" according to the technique of the present disclosure.
- the control unit 48A3 when imaging for a live view image is performed by the imaging device 10, the control unit 48A3 outputs a front curtain opening signal instructing the front curtain 72B to be fully opened to the front curtain solenoid driver 62.
- a rear curtain opening signal instructing the full opening of the rear curtain 72C is output to the rear curtain solenoid driver 64.
- the front curtain solenoid driver 62 controls the front curtain solenoid actuator 66 in response to the front curtain opening signal input from the control unit 48A3 to fully open the front curtain 72B.
- the rear curtain solenoid driver 64 fully opens the rear curtain 72C by controlling the rear curtain solenoid actuator 68 in response to the rear curtain opening signal input from the control unit 48A3.
- control unit 48A3 outputs an imaging timing signal to the photoelectric conversion element driver 56, and the photoelectric conversion element driver 56 exposes the image sensor 16 according to the imaging timing signal input from the control unit 48A3.
- the digital image data obtained by being exposed by the image sensor 16 is stored in the image memory 50.
- Non-phase difference image data and phase difference image data are stored in the image memory 50 as digital image data.
- the control unit 48A3 acquires non-phase difference image data as live view image data from the image memory 50.
- the control unit 48A3 displays the image indicated by the live view image data on the display 26 as a live view image.
- the focusing position calculation unit 48A1 acquires the latest phase difference image data from the image memory 50, and based on the acquired phase difference image data. Measure the subject distance with respect to the in-focus target area. Then, the focusing position calculation unit 48A1 performs AF calculation based on the measured subject distance to perform the current focusing position of the focus lens 40B with respect to the focusing target region (hereinafter, referred to as “current focusing position”). Is derived.
- the focus position time series information is stored in the memory 48C.
- the in-focus position time-series information is information indicating the time-series of the current in-focus position obtained each time the AF calculation is performed.
- the time series of the current in-focus position is, for example, the time-series of the current in-focus position obtained by the AF calculations for the last three times.
- the focusing position calculation unit 48A1 updates the focusing position time series information by storing the latest current focusing position obtained by deriving the current focusing position in the memory 48C.
- the current focusing position is an example of the "first focusing position" according to the technique of the present disclosure.
- time series of the current focusing position the time series of the current focusing position obtained by the AF calculation for the last three times is illustrated, but this is only an example, and the current focusing position is present.
- the time series of the focusing position may be a time series of the current focusing position obtained by the AF calculations of the past multiple times, and the AF calculations of the past multiple times are performed for a plurality of times in a period close to the present time. AF calculation is even better.
- the focusing position prediction unit 48A2 predicts the focusing position of the focus lens 40B with respect to the focusing target area of the first frame of continuous shooting before the continuous shooting by the image sensor 16 is started. Specifically, the focusing position prediction unit 48A2 acquires the focusing position time series information from the memory 48C, and based on the acquired focusing position time series information, the first frame when continuous shooting is started. The focusing position of the focus lens 40B with respect to the focusing target region (hereinafter, also referred to as “focusing position at the start of continuous shooting”) is predicted.
- the in-focus position at the start of continuous shooting is an example of the "third in-focus position" according to the technique of the present disclosure.
- the control unit 48A3 generates a lens movement signal instructing the movement of the focus lens 40B to the focusing position predicted by the focusing position prediction unit 48A2, and outputs the lens movement signal to the motor driver 58.
- the lens movement signal generated and output by the control unit 48A3 is predicted by the focusing position prediction unit 48A2.
- This is a signal instructing the movement of the focus lens 40B to the in-focus position at the start of continuous shooting.
- the motor driver 58 operates the slide mechanism 42 in response to the lens movement signal input from the control unit 48A3 to move the focus lens 40B along the optical axis OA toward the in-focus position at the start of continuous shooting.
- the control unit 48A3 when the continuous shooting start timing arrives, the control unit 48A3 outputs the above-mentioned front curtain closing signal to the front curtain solenoid driver 62.
- the front curtain solenoid driver 62 controls the front curtain solenoid actuator 66 in response to the front curtain closing signal input from the control unit 48A3 to start winding the front curtain 72B and to open the mechanical shutter 72 from the fully open state. Transition to the closed state of the first curtain.
- the control unit 48A3 causes the display 26 to hide the live view image by outputting a non-display control signal indicating that the live view image of the display 26 is to be hidden to the display 26. As a result, the display screen on which the live view image is displayed in the screen of the display 26 is blacked out.
- the F value is stored in the storage 48B.
- the F value stored in the storage 48B is updated according to the conditions given to the image pickup apparatus 10 (for example, the instruction received by the reception device 80 and / or the brightness of the live view image, etc.). It is a variable value.
- the F value stored in the storage 48B may be a fixed value that cannot be changed.
- the control unit 48A3 acquires an F value from the storage 48B, and based on the acquired F value, determines the size of the opening of the aperture 40C.
- the F value control signal to be controlled is generated and output to the motor driver 60.
- the F value control signal is a signal that controls the size of the opening of the aperture 40C to a size corresponding to the latest F value acquired from the storage 48B by the control unit 48A3.
- the motor driver 60 controls the size of the opening of the diaphragm 40C by controlling the motor 46 according to the F value control signal input from the control unit 48A3.
- the in-focus position prediction unit 48A2 acquires in-focus position time-series information from the memory 48C, and based on the acquired in-focus position time-series information, focuses the focus lens 40B with respect to the in-focus target area of the previous frame.
- the position (hereinafter, also referred to as "first frame focusing position") is predicted.
- the focus position of the first frame As the focus position of the first frame, the focus position of the focus lens 40B with respect to the focus target area one frame ahead (the focus target at the timing when the main exposure of the second frame of continuous shooting is started).
- the focusing position of the focus lens 40B with respect to the region) is predicted by the focusing position prediction unit 48A2.
- the focusing position of the focus lens 40B with respect to the focusing target region one frame ahead is an example of the “fourth focusing position” according to the technique of the present disclosure.
- the in-focus position prediction unit 48A2 stores the predicted ahead frame in-focus position in the memory 48C.
- the front frame focusing position stored in the memory 48C is updated to the latest front frame focusing position every time the front frame focusing position is predicted by the focusing position prediction unit 48A2.
- the control unit 48A3 is in the latest front frame focusing position (for example, if the current frame of continuous shooting is the first frame of continuous shooting, continuous shooting is performed.
- a lens movement signal corresponding to the focusing position of the focus lens 40B with respect to the focusing target region at the timing when the main exposure of the second frame is started is generated and output to the motor driver 58.
- the lens movement signal generated and output by the control unit 48A3 is a signal instructing the movement of the focus lens 40B to the latest front frame focusing position.
- the motor driver 58 moves the focus lens 40B along the optical axis OA toward the latest front frame focusing position by operating the slide mechanism 42 in response to the lens movement signal input from the control unit 48A3.
- the output of the lens movement signal based on the latest front frame focusing position by the control unit 48A3 is the current frame of continuous shooting except for the main exposure period of the current frame of continuous shooting (for example, the first frame of continuous shooting). (For example, in the first frame of continuous shooting), it is continued until the prediction of the focus position of the previous frame toward the frame of continuous shooting (for example, the third frame of continuous shooting) is completed (see FIG. 16). ..
- the control unit 48A3 uses the above-mentioned front curtain closing signal as the front curtain solenoid. After outputting to the driver 62 and outputting the front curtain closing signal, the rear curtain closing signal is output to the rear curtain solenoid driver 64 with a delay of a time corresponding to a predetermined shutter speed.
- the rear curtain closing signal is a signal instructing the rear curtain 72C to close the opening 72A1.
- the front curtain solenoid driver 62 starts pulling down the front curtain 72B by controlling the front curtain solenoid actuator 66 in response to the front curtain closing signal input from the control unit 48A3.
- the rear curtain solenoid driver 64 starts pulling down the rear curtain 72C by controlling the rear curtain solenoid actuator 68 in response to the rear curtain closing signal input from the control unit 48A3.
- the mechanical shutter 72 transitions from the front curtain closed state to the rear curtain closed state.
- the control unit 48A3 outputs an imaging timing signal to the photoelectric conversion element driver 56, and the photoelectric conversion element driver 56 is transmitted from the control unit 48A3.
- the image sensor 16 is made to perform the main exposure according to the input imaging timing signal.
- the control unit 48A3 Outputs a lens stop signal instructing the stop of the focus lens 40B to the motor driver 58.
- the motor driver 58 stops the focus lens 40B by controlling the motor 44 in response to the lens stop signal input from the control unit 48A3.
- the control unit 48A3 outputs a front curtain closing signal to the front curtain solenoid driver 62.
- the front curtain solenoid driver 62 starts winding the front curtain 72B by controlling the front curtain solenoid actuator 66 in response to the front curtain closing signal input from the control unit 48A3.
- the control unit 48A3 outputs a rear curtain closing signal to the rear curtain solenoid driver 64.
- the rear curtain solenoid driver 64 starts winding the rear curtain 72C by controlling the rear curtain solenoid actuator 68 in response to the rear curtain closing signal input from the control unit 48A3.
- the mechanical shutter 72 is in the front curtain closed state.
- control unit 48A3 has a non-phase difference from the image sensor 16 via the image memory 50. Image data is acquired, and the acquired non-phase difference image data is stored in the storage 48B.
- control unit 48A3 receives a phase difference image from the image sensor 16 via the image memory 50.
- the data is acquired as the main exposure image data, and the acquired main exposure image data is stored in the memory 48C.
- control unit 48A3 adjusts the latest front frame focusing position (for example, if the current frame of continuous shooting is the first frame of continuous shooting, the main exposure of the second frame of continuous shooting is started.
- a lens movement signal corresponding to the focusing position of the focus lens 40B with respect to the focusing target region) is generated and output to the motor driver 58.
- the motor driver 58 moves the focus lens 40B along the optical axis OA toward the latest front frame focusing position by operating the slide mechanism 42 in response to the lens movement signal input from the control unit 48A3.
- the output of the lens movement signal based on the latest front frame focusing position by the control unit 48A3 is the current frame of continuous shooting (for example, the current frame of continuous shooting) except for the main exposure period of the current frame of continuous shooting (for example, the first frame of continuous shooting). , The first frame of continuous shooting) continues until the prediction of the focus position of the previous frame toward the frame of continuous shooting (for example, the third frame of continuous shooting) is completed.
- the imaging for the live view image of the first frame of continuous shooting is started.
- three frames of live view image imaging are performed.
- the imaging device 10 performs the same processing as the example shown in FIG.
- the focusing position calculation unit 48A1 acquires the phase difference image data from the memory 48C while the live view image imaging of the first frame of continuous shooting is performed.
- the focusing position calculation unit 48A1 performs an AF calculation based on the acquired phase difference image data to derive the current focusing position.
- the focusing position calculation unit 48A1 updates the focusing position time series information in the memory 48C by storing the derived current focusing position in the memory 48C as in the example shown in FIG.
- the in-focus position time-series information obtained by updating the second and subsequent frames includes the current in-focus position obtained by AF calculation in the latest frame in which the latest main exposure was performed, and the time adjacent to the latest frame.
- the current focusing position obtained by AF calculation in the past frame to be performed is included. For example, when N is a natural number of 2 or more, if the latest frame is the Nth frame, the past frame means the N-1st frame.
- the focusing position prediction unit 48A2 predicts the focusing position of the previous frame by referring to the current focusing positions of a plurality of frames.
- the focusing position time series information corresponds to the current focusing position for a plurality of frames. Therefore, the in-focus position prediction unit 48A2 acquires the in-focus position time-series information from the memory 48C, and predicts the previous frame in-focus position based on the acquired in-focus position time-series information.
- the focus position of the first frame the focus position of the focus lens 40B with respect to the focus target region two frames ahead of continuous shooting is predicted by the focus position prediction unit 48A2.
- the in-focus position prediction unit 48A2 updates the in-focus position of the first frame in the memory 48C by storing the predicted in-focus position of the first frame in the memory 48C.
- the in-focus position of the focus lens 40B predicted by the in-focus position prediction unit 48A2 that is, the in-focus position of the focus lens 40B with respect to the in-focus target region two frames ahead of continuous shooting, is the "first" in the present disclosure. This is an example of "2 focusing position”.
- the live view image is captured by the image sensor 16 under the control of the CPU 48A. Further, the live view image is displayed on the display 26 as in the example shown in FIG. During the period in which the live view image is captured in the first frame of continuous shooting, the live view image is captured for three frames, so that the live view image for three frames is displayed on the display 26. Further, in the second and subsequent frames of continuous shooting, as in the case of the first frame of continuous shooting, three frames of live view image imaging are performed. That is, within the continuous shooting interval, three frames of live view image imaging are performed.
- imaging for a live view image for three frames is exemplified, but imaging for a live view image for one frame may be performed, or imaging for a live view image for two frames may be performed. It may be an image for a live view image of 4 frames or more.
- the image sensor 16 captures images for live view images within the continuous shooting interval, that is, for each frame of continuous shooting.
- the AF calculation is performed by the focusing position calculation unit 48A1.
- the focusing position time series information in the memory 48C is updated.
- every time the focus position of the front frame is predicted, the focus position of the front frame in the memory 48C is also updated.
- the same processing is performed for each frame after the second frame of continuous shooting.
- the in-focus position time-series information updated in the second and subsequent frames of continuous shooting is an example of "a plurality of first in-focus positions" according to the technique of the present disclosure.
- the control unit 48A3 acquires the latest front frame focusing position from the memory 48C, generates a lens movement signal according to the acquired front frame focusing position, and outputs the lens movement signal to the motor driver 58.
- the lens movement signal generated and output by the control unit 48A3 is a signal instructing the movement of the focus lens 40B to the latest front frame focusing position.
- the latest front frame focusing position refers to the focusing position of the focus lens 40B with respect to the focusing target area two frames ahead of continuous shooting (two frames ahead where the main exposure for continuous shooting is performed). Therefore, during the period during which the live view image is captured, the motor driver 58 operates the slide mechanism 42 in response to the lens movement signal input from the control unit 48A3 to move toward the latest front frame focusing position.
- the focus lens 40B is moved along the optical axis OA.
- the output of the lens movement signal based on the latest front frame focusing position by the control unit 48A3 is continued until the start of the main exposure of the next frame. For example, if the current continuous shooting frame is the first frame, the control unit 48A3 continues to output the lens movement signal based on the latest front frame focusing position until the start of the main exposure of the second frame of continuous shooting. NS. Then, after the end of the main exposure period of the next frame, the output of the lens movement signal based on the latest front frame focusing position by the control unit 48A3 is restarted until the prediction of the front frame focusing position in the next frame is completed. Will be continued.
- control unit 48A3 restarts the output of the lens movement signal based on the latest front frame focusing position, and the second frame. It continues until the prediction of the focus position of the previous frame in is completed.
- the mechanical shutter 72 is in the front curtain closed state.
- the control unit 48A3 operates the solenoid actuator 66 for the front curtain to operate the solenoid actuator 66 for the front curtain, as in the example shown in FIG.
- the pulling down of the rear curtain 72C is started by operating the solenoid actuator 68 for the rear curtain with a delay.
- the control unit 48A3 sends the motor driver 58 to the motor driver 58 as in the example shown in FIG. Outputs a lens stop signal.
- the motor driver 58 stops the focus lens 40B by controlling the motor 44 in response to the lens stop signal input from the control unit 48A3.
- 19A to 19D show an example of the flow of the focusing control process executed by the CPU 48A.
- the description will be made on the premise that the imaging mode is set for the imaging device 10. Further, in the following description, for convenience of explanation, it is assumed that continuous shooting is started when the release button 18 is fully pressed. Further, in the following, for convenience of explanation, the mechanical shutter 72 will be described on the premise that the image for the live view image is performed in the fully open state. Further, for convenience of explanation, the following description is based on the assumption that the frame rate for live view image imaging is 60 fps and the frame rate for continuous shooting is 8 fps.
- step ST100 the control unit 48A3 determines whether or not the imaging timing for the live view image has arrived.
- the live view image imaging timing refers to, for example, the timing for each time interval defined by the frame rate of the live view image imaging. If the live view image imaging timing has not arrived in step ST100, the determination is denied and the focusing control process shifts to step ST114. When the live view image imaging timing arrives in step ST100, the determination is affirmed, and the focusing control process shifts to step ST102.
- step ST102 the control unit 48A3 causes the image sensor 16 to take an image for a live view image, and then the focusing control process shifts to step ST104.
- the non-phase difference image data and the phase difference image data obtained by performing the live view image imaging by the image sensor 16 are stored in the image memory 50.
- the image represented by the non-phase difference image data is displayed on the display 26 as a live view image.
- step ST104 the focusing position calculation unit 48A1 acquires the latest phase difference image data from the image memory 50, and then the focusing control process shifts to step ST106.
- step ST106 the focusing position calculation unit 48A1 derives the current focusing position by performing an AF calculation based on the phase difference image data acquired in step ST104, and then the focusing control process shifts to step ST108. ..
- step ST108 the focusing position calculation unit 48A1 updates the focusing position time series information by storing the current focusing position derived in step ST106 in the memory 48C, and then the focusing control process is performed in step ST110. Move to.
- step ST110 the focusing position prediction unit 48A2 acquires the focusing position time series information from the memory 48C, predicts the focusing position at the start of continuous shooting based on the acquired focusing position time series information, and then focuses.
- the focus control process proceeds to step ST112.
- step ST112 the control unit 48A3 controls the motor 44 via the motor driver 58 to start the movement of the focus lens 40B toward the in-focus position at the start of continuous shooting predicted in step ST110, and then the focus lens 40B is started to move.
- the focusing control process proceeds to step ST114.
- step ST114 the control unit 48A3 determines whether or not the continuous shooting start timing has arrived. If the continuous shooting start timing has not arrived in step ST114, the determination is denied and the focusing control process shifts to step ST100. When the continuous shooting start timing arrives in step ST114, the determination is affirmed, and the focusing control process shifts to step ST116.
- step ST116 the control unit 48A3 starts winding the front curtain 72B by controlling the front curtain solenoid actuator 66 via the front curtain solenoid driver 62, and changes from the fully open state of the mechanical shutter 72 to the front curtain closed state. After that, the focusing control process proceeds to step ST118.
- step ST118 the focusing position prediction unit 48A2 acquires the focusing position time series information from the memory 48C, predicts the focusing position of the previous frame based on the acquired focusing position time series information, and then performs focusing control.
- the process proceeds to step ST120 shown in FIG. 19B.
- the front frame focusing position predicted in this step ST118 is the focusing position of the focus lens 40B with respect to the focusing target region at the timing when the main exposure of the second frame of continuous shooting is started.
- step ST120 shown in FIG. 19B the control unit 48A3 determines whether or not the mechanical shutter 72 is in the front curtain closed state. If the mechanical shutter 72 is not in the front curtain closed state in step ST120, the determination is denied and the determination in step ST120 is performed again. In step ST120, when the mechanical shutter 72 is in the front curtain closed state, the determination is affirmed, and the focusing control process shifts to step ST122.
- step ST122 the control unit 48A3 determines whether or not the current F value of the aperture 40C is not the default value.
- the default value refers to, for example, the F value stored in the storage 48B.
- step ST122 if the current F value of the aperture 40C is the default value, the determination is denied and the focusing control process shifts to step ST124. If the current F value of the aperture 40C is not the default value in step ST120, the determination is affirmed and the focusing control process shifts to step ST123.
- step ST123 the control unit 48A3 sets the F value of the aperture 40C to the default value by controlling the motor 46, and then the focusing control process shifts to step ST124.
- step ST124 the control unit 48A3 stops the focus lens 40B by controlling the motor 44 via the motor driver 58, and then the focusing control process shifts to step ST126.
- step ST126 the control unit 48A3 starts pulling down the front curtain 72B by operating the front curtain solenoid actuator 66 via the front curtain solenoid driver 62, and then later via the rear curtain solenoid driver 64.
- the solenoid actuator 68 for the rear curtain By activating the solenoid actuator 68 for the rear curtain, the pulling down of the rear curtain 72C is started.
- the mechanical shutter 72 is opened by the front curtain 72B and the rear curtain 72C, and the main exposure is started by the image sensor 16.
- step ST1208 the control unit 48A3 determines whether or not the main exposure by the image sensor 16 is completed. If the main exposure by the image sensor 16 is not completed in step ST128, the determination is denied and the determination in step ST128 is performed again. When the main exposure by the image sensor 16 is completed in step ST128, the determination is affirmed and the focusing control process shifts to step ST130.
- step ST130 the control unit 48A3 causes the signal processing circuit 74 to output the non-phase difference image data to the image memory 50.
- non-phase difference image data is stored in the image memory 50.
- the control unit 48A3 reads the non-phase difference image data from the image memory 50, and stores the read non-phase difference image data in the storage 48B.
- the control unit 48A3 causes the signal processing circuit 74 to output the phase difference image data to the image memory 50.
- the phase difference image data is stored in the image memory 50.
- the control unit 48A3 reads out the phase difference image data from the image memory 50, stores the read phase difference image data in the memory 48C as the main exposure image data, and then shifts the focusing control process to step ST132. ..
- step ST132 the focusing position calculation unit 48A1 acquires the latest main exposure image data from the memory 48C, and then the focusing control process shifts to step ST134.
- step ST134 the focusing position calculation unit 48A1 starts the AF calculation based on the main exposure image data acquired in step ST132, and then proceeds to step ST136.
- step ST136 the control unit 48A3 starts the transition from the rear curtain closed state to the front curtain closed state of the mechanical shutter 72. Specifically, first, the control unit 48A3 winds up the front curtain 72B by controlling the front curtain solenoid actuator 66 via the front curtain solenoid driver 62. When the winding of the front curtain 72B is completed, the control unit 48A3 winds the rear curtain 72C by controlling the rear curtain solenoid actuator 68 via the rear curtain solenoid driver 64. When the winding of the rear curtain 72C is completed, the mechanical shutter 72 is in the front curtain closed state. After the process of step ST136 is executed, the focusing control process shifts to step ST138 shown in FIG. 19C.
- step ST138 shown in FIG. 19C the control unit 48A3 determines whether or not the mechanical shutter 72 is in the front curtain closed state. If the mechanical shutter 72 is not in the front curtain closed state in step ST138, the determination is denied and the determination in step ST138 is performed again. In step ST138, when the mechanical shutter 72 is in the front curtain closed state, the determination is affirmed, and the focusing control process shifts to step ST140.
- step ST140 the control unit 48A3 starts the transition of the mechanical shutter 72 from the front curtain closed state to the fully open state. That is, the control unit 48A3 starts pulling down the front curtain 72B by controlling the front curtain solenoid actuator 66 via the front curtain solenoid driver 62, and then the focusing control process shifts to step ST142.
- step ST142 it is determined whether or not the mechanical shutter 72 is in the fully open state. If the mechanical shutter 72 is not in the fully open state in step ST142, the determination is denied and the determination in step ST142 is performed again. In step ST142, when the mechanical shutter 72 is in the fully open state, the determination is affirmed, and the focusing control process shifts to step ST144.
- step ST144 the control unit 48A3 determines whether or not the above-mentioned live view image imaging timing has arrived. If the live view image imaging timing has not arrived in step ST144, the determination is denied and the determination in step ST144 is performed again. When the imaging timing for the live view image arrives in step ST144, the determination is affirmed, and the focusing control process shifts to step ST146.
- step ST146 the control unit 48A3 causes the image sensor 16 to take an image for a live view image, and then the focusing control process shifts to step ST148.
- the non-phase difference image data and the phase difference image data obtained by performing the live view image imaging by the image sensor 16 are stored in the image memory 50.
- the image represented by the non-phase difference image data is displayed on the display 26 as a live view image.
- step ST148 the control unit 48A3 determines whether or not the AF calculation started in step ST134 is completed. If the AF calculation is not completed in step ST148, the determination is denied and the focusing control process shifts to step ST156. When the AF calculation is completed in step ST148, the determination is affirmed and the focusing control process shifts to step ST150.
- step ST150 the focusing position calculation unit 48A1 updates the focusing position time series information by storing the current focusing position obtained by performing the AF calculation in the memory 48C, and then performs the focusing control process. Goes to step ST152.
- step ST152 the focusing position calculation unit 48A1 acquires the focusing position time series information from the memory 48C, and then the focusing control process shifts to step ST154.
- step ST154 the focusing position calculation unit 48A1 predicts the focusing position two frames ahead of continuous shooting as the focusing position of the first frame based on the focusing position time series information acquired in step ST152, and then, The focusing control process proceeds to step ST156.
- the front frame focusing position predicted by the focusing position prediction unit 48A2 in this step ST152 is stored in the memory 48C, and the front frame focusing position in the memory 48C is updated.
- step ST156 the control unit 48A3 determines the number of frames (hereinafter, referred to as “live view frame number”) in which the live view image image of step ST146 was captured between the time when the determination in step ST142 was affirmed and the present time. Determine if the default number of frames has been reached. Here, 3 frames are adopted as the default number of frames. If the number of live view frames is less than the default number of frames in step ST156, the determination is denied and the focusing control process proceeds to step ST144. When the number of live view frames reaches the predetermined number of frames in step ST156, the determination is affirmed, and the focusing control process proceeds to step ST158.
- live view frame number the number of frames in which the live view image image of step ST146 was captured between the time when the determination in step ST142 was affirmed and the present time. Determine if the default number of frames has been reached. Here, 3 frames are adopted as the default number of frames. If the number of live view frames is less than the default number of frames in step ST156, the determination is denied and the focusing
- step ST158 the control unit 48A3 acquires the latest front frame focusing position from the memory 48C and controls the motor 44 via the motor driver 58 to move the focus lens 40B toward the latest front frame focusing position. After that, the focusing control process shifts to step ST160 shown in FIG. 19D.
- step ST160 shown in FIG. 19D the control unit 48A3 starts winding the front curtain 72B by controlling the front curtain solenoid actuator 66 via the front curtain solenoid driver 62, and starts from the fully open state of the mechanical shutter 72. The transition to the curtain closing state is started, and then the focusing control process proceeds to step ST162.
- step ST162 the control unit 48A3 determines whether or not the mechanical shutter 72 is in the front curtain closed state. If the mechanical shutter 72 is not in the front curtain closed state in step ST162, the determination is denied and the determination in step ST162 is performed again. In step ST162, when the mechanical shutter 72 is in the front curtain closed state, the determination is affirmed, and the focusing control process shifts to step ST164.
- step ST164 the control unit 48A3 determines whether or not the current F value of the aperture 40C is not the default value. In step ST164, if the current F value of the aperture 40C is the default value, the determination is denied and the focusing control process shifts to step ST168. If the current F value of the aperture 40C is not the default value in step ST164, the determination is affirmed and the focusing control process shifts to step ST166.
- step ST166 the control unit 48A3 sets the F value of the aperture 40C to the default value by controlling the motor 46, and then the focusing control process shifts to step ST168.
- step ST168 the control unit 48A3 stops the focus lens 40B by controlling the motor 44 via the motor driver 58, and then the focusing control process shifts to step ST170.
- step ST170 the control unit 48A3 starts pulling down the front curtain 72B by operating the front curtain solenoid actuator 66 via the front curtain solenoid driver 62, and then later via the rear curtain solenoid driver 64.
- the solenoid actuator 68 for the rear curtain By activating the solenoid actuator 68 for the rear curtain, the pulling down of the rear curtain 72C is started.
- the mechanical shutter 72 is opened by the front curtain 72B and the rear curtain 72C, and the main exposure is started by the image sensor 16.
- step ST172 the control unit 48A3 determines whether or not the main exposure by the image sensor 16 is completed. If the main exposure by the image sensor 16 is not completed in step ST172, the determination is denied and the determination in step ST172 is performed again. When the main exposure by the image sensor 16 is completed in step ST172, the determination is affirmed, and the focusing control process shifts to step ST174.
- step ST174 the control unit 48A3 causes the signal processing circuit 74 to output the non-phase difference image data to the image memory 50.
- non-phase difference image data is stored in the image memory 50.
- the control unit 48A3 reads the non-phase difference image data from the image memory 50, and stores the read non-phase difference image data in the storage 48B.
- the control unit 48A3 causes the signal processing circuit 74 to output the phase difference image data to the image memory 50.
- the phase difference image data is stored in the image memory 50.
- the control unit 48A3 reads out the phase difference image data from the image memory 50, stores the read phase difference image data in the memory 48C as the main exposure image data, and then the focusing control process shifts to step ST176. ..
- step ST176 the control unit 48A3 determines whether or not the condition for terminating the focusing control process (hereinafter, also referred to as “end condition”) is satisfied.
- end condition there is a condition that the fully pressed state of the release button 18 is released. If the end condition is not satisfied in step ST176, the determination is denied and the focusing control process proceeds to step ST132 shown in FIG. 19B. If the end condition is satisfied in step ST176, the determination is affirmed and the focusing control process ends.
- the current focusing position of the focus lens 40B with respect to the focusing target area is calculated, and the front frame focusing position with respect to the focusing target area two frames ahead is calculated based on the current focusing position within the continuous shooting period. is expected. Then, the focus lens 40B moves toward the front frame focusing position while avoiding the main exposure period.
- the Nth frame of continuous shooting is predicted. From the time when the prediction of the focus position of the previous frame is completed at the end of, until the prediction of the focus position of the previous frame (for example, the focus position two frames ahead of continuous shooting) is completed at the end of the N + 1 frame of continuous shooting During that time, the focus lens 40B moves toward the latest front frame focusing position while avoiding the main exposure period.
- the image pickup apparatus 10 is a focus lens as compared with the case where the focus lens 40B moves toward the focused position predicted for one frame ahead for each frame in which the main exposure is performed within the continuous shooting period.
- a long moving distance of 40B can be secured.
- the focus lens 40B is focused on the predicted front frame as compared with the case where the focus lens 40B moves toward the predicted focusing position for one frame ahead for each frame in which the main exposure is performed within the continuous shooting period. It becomes possible to approach the position.
- the focusing target area is not long (without lowering the frame rate for continuous shooting).
- the focusing position of the focus lens 40B can be made to follow the focus position.
- the current focusing position is calculated for each frame in which the main exposure is performed within the continuous shooting period, and the destination frame with respect to the focusing target area two frames ahead based on the calculated current focusing position.
- the in-focus position is predicted. Therefore, according to this configuration, the current focusing position is calculated after the main exposure is performed a plurality of times, and the focusing position of the previous frame is predicted based on the calculated current focusing position. It is possible to improve the followability of the focusing position of the focus lens 40B with respect to the focusing target region.
- the current focusing position is referred to within the continuous shooting period, and the focusing position two frames ahead of the current frame is predicted.
- the focus lens 40B can be moved toward the predicted focusing position two frames ahead. Therefore, according to this configuration, the in-focus position one frame ahead of the current frame is predicted, and the predicted in-focus position is obtained as compared with the case where the focus lens 40B is moved toward the predicted in-focus position.
- the focus lens 40B can be easily reached. It should be noted that the in-focus position 3 frames or more ahead may be predicted based on the calculated current in-focus position, and the same effect can be obtained in this case as well.
- the focusing position of the preceding frame is predicted for each frame in which the main exposure is performed within the continuous shooting period. Therefore, according to this configuration, it is possible to improve the followability of the focus lens 40B to the focusing target region as compared with the case where the focusing position of the previous frame is not predicted for each frame in which the main exposure is performed.
- the focus lens 40B is moved toward the latest predicted front frame focusing position within the continuous shooting period. Therefore, according to this configuration, as compared with the case where the focus lens 40B is moved toward the front frame focusing position predicted and obtained in the past from the latest front frame focusing position, the focus lens 40B is relative to the focusing target region. You can focus accurately.
- the AF calculation is performed based on the focusing position time series information, and the current focusing position obtained by performing the AF calculation is referred to to predict the previous frame focusing position.
- the in-focus position time-series information is information indicating the time-series of the current in-focus position. That is, the focus position of the previous frame is predicted by referring to the current focus positions of a plurality of frames. Therefore, according to this configuration, it is possible to improve the prediction accuracy of the front frame focusing position as compared with the case where the front frame focusing position is predicted by referring to the current focusing position for one frame.
- the in-focus position time-series information obtained by updating after the second frame of continuous shooting includes the current in-focus position obtained by AF calculation in the latest frame in which the latest main exposure was performed and the latest frame. And the current in-focus position obtained by AF calculation in the past frames that are adjacent in time are included. Then, in the image pickup apparatus 10, the focusing position of the previous frame is predicted by referring to the focusing position time series information.
- live view image imaging is performed within the continuous shooting interval (between frames of continuous shooting). Therefore, according to this configuration, a live view image can be obtained even during continuous shooting.
- the imaging device 10 three frames of live view image imaging are performed within the continuous shooting interval (between frames of continuous shooting). Then, the AF calculation is continuously performed while the live view image imaging for three frames is performed, and the focus lens 40B uses the period during which the live view image imaging is performed to focus the front frame. Move towards. Therefore, according to this configuration, the focus lens 40B can be moved a long distance as compared with the case where the focus lens 40B is moved after waiting for the end of the live view image imaging period.
- the current focusing position is calculated based on the phase difference image data. Therefore, according to this configuration, the current focusing position can be calculated more quickly than in the case where the current focusing position is calculated by the contrast AF method.
- a lens stop signal is output to the motor driver 58 when the start timing of the main exposure arrives before the focus lens 40B reaches the focus position of the front frame.
- the focus lens 40B is stopped, and the main exposure is started with the focus lens 40B stopped. Therefore, according to this configuration, it is possible to obtain an image with less distortion due to the movement of the focus lens 40B by continuous shooting as compared with the case where the focus lens 40B is moved even when the main exposure is started. ..
- the focusing position at the start of continuous shooting is predicted before the continuous shooting by the image sensor 16 is started.
- the focusing position at the start of continuous shooting is the focusing position of the focus lens 40B with respect to the focusing target area of the first frame when continuous shooting is started. Then, the focus lens 40B moves toward the in-focus position at the start of continuous shooting before the main exposure of the first frame of continuous shooting is started. Therefore, according to this configuration, it is possible to focus on the in-focus target region even for the first frame of continuous shooting by the image sensor 16.
- a lens stop signal is output to the motor driver 58 when the start timing of the main exposure arrives before the focus lens 40B reaches the in-focus position at the start of continuous shooting.
- the focus lens 40B is stopped, and the main exposure is started with the focus lens 40B stopped. Therefore, according to this configuration, even when the main exposure of the first frame of continuous shooting by the image sensor 16 is started, the continuous shooting by the image sensor 16 is compared with the case where the focus lens 40B is moved. By imaging the first frame, it is possible to obtain an image with less distortion due to the movement of the focus lens 40B.
- the image pickup apparatus 10 before the prediction of the focusing position (the focusing position of the third frame) two frames ahead in the first frame of continuous shooting is started (in the example shown in FIG. 8, the live view image). From the end of the imaging period to the start of the main exposure of the first frame of continuous shooting), the focusing position of the front frame of the focus lens 40B with respect to the focusing target area of the second frame of continuous shooting is predicted.
- the focused position of the first frame predicted here is the focusing position of the focus lens 40B with respect to the focusing target area one frame ahead, that is, the focusing position of the focus lens 40B with respect to the focusing target area of the second frame of continuous shooting. Is. Then, the focus lens 40B moves toward the focus position of the previous frame before the main exposure of the second frame of continuous shooting is started. Therefore, according to this configuration, it is possible to focus on the in-focus target region even for the second frame of continuous shooting by the image sensor 16.
- the lens stop signal is generated. Is output to the motor driver 58.
- the focus lens 40B is stopped, and the main exposure is started with the focus lens 40B stopped. Therefore, according to this configuration, even when the main exposure of the second frame of continuous shooting by the image sensor 16 is started, the continuous shooting by the image sensor 16 is compared with the case where the focus lens 40B is moved. By imaging the second frame, it is possible to obtain an image with less distortion due to the movement of the focus lens 40B.
- the technique of the present disclosure is not limited to this.
- one or two frames of live-view image imaging may be performed within the continuous shooting interval, or four or more frames of live-view image imaging may be performed.
- the control unit 48C3 causes the image sensor 16 to image the live view image for at least one frame within the continuous shooting interval, so that the live view image is not captured within the continuous shooting interval.
- the continuous shooting interval is longer than in the case. As a result, a live view image can be obtained each time continuous shooting is performed, and the continuous shooting interval can be adjusted.
- the focusing position of the front frame of the focus lens 40B with respect to the focusing target area of the second frame of continuous shooting is predicted.
- the technique of the present disclosure is not limited to this.
- the front frame focusing position of the focus lens 40B with respect to the focusing target area of the second frame of continuous shooting in the stage before the continuous shooting by the image sensor 16 is started (for example, the imaging period for the live view image shown in FIG. 8).
- the focus lens 40B may be started to move toward the predicted front frame focusing position.
- the second frame of continuous shooting by the image sensor 16 can also be focused on the in-focus target area.
- the front frame focusing position of the focus lens 40B with respect to the focusing target region of the second frame of continuous shooting may be predicted while the main exposure of the first frame of continuous shooting is being performed. In this case as well, the same effect can be expected.
- the focus lens 40b is moved during the period in which the front curtain 72B and the rear curtain 72C are wound.
- the technique of the present disclosure is not limited to this, and for example, as shown in FIG. 20, the control unit 48A3 controls the motor 44 via the motor driver 58 to be among the front curtain 72B and the rear curtain 72C.
- the focus lens 40B may be moved while avoiding the winding period required for winding at least one of the above. Therefore, according to this configuration, the power consumption of the image pickup apparatus 10 can be reduced as compared with the case where the focus lens 40B is continuously moved even during the winding period.
- the control unit 48A3 has a default transmission in which the communication time lag between the control unit 48A3 and the image pickup lens 40 is taken into consideration.
- an instruction signal instructing the movement of the focus lens 40B may be transmitted to the image pickup lens 40. That is, the control unit 48A3 may transmit the instruction signal to the image pickup lens 40 earlier than the end of winding the mechanical shutter 72 by the communication time lag between the control unit 48A3 and the image pickup lens 40.
- the instruction signal includes the above-mentioned lens movement signal and a signal generated by the motor driver 58 based on the lens movement signal and output to the motor 44.
- the use of the F value stored in the storage 48B is not limited, but the use of the F value stored in the storage 48B is various.
- the F-number stored in the storage 48B may be the F-number for imaging and the F-number for AF
- the size of the aperture 40C is indicated by the F-number for imaging by the control unit 48A3 during the main exposure period.
- the size of the aperture 40C may be set to the size indicated by the AF F value by the control unit 48A3 during the period during which the AF calculation is performed, that is, during the period during which the live view image imaging is performed.
- the aperture 40C is opened.
- the size of the aperture is larger than that used during the main exposure period. Therefore, with respect to the storage 48B, "the size of the opening for main exposure (hereinafter referred to as” first size ”) ⁇ the size of the opening for AF calculation (hereinafter referred to as” second size "".
- the F-number for imaging and the F-number for AF are stored so as to be (referred to as) ”.
- the F-number for imaging is the F value indicating the first magnitude
- the F-number for AF is the first. It is an F value indicating the magnitude of 2.
- the mechanical shutter 72 transitions from the fully open state to the front closing state before the main exposure is started (for example, the front curtain closed state).
- the aperture 40C is controlled to the first size according to the F value for imaging in the storage 48B by the control unit 48A3, and the imaging for the live view image is started after the main exposure period ends.
- the aperture 40C is controlled to the second size by the control unit 48A3 according to the F value for AF in the storage 48B.
- the image obtained by performing the main exposure is compared with the case where the opening of the diaphragm 40C within the imaging period for the live view image is made smaller than the opening of the diaphragm 40C within the main exposure period.
- the image quality of the image can be improved.
- the in-focus position at the time of main exposure two frames ahead of continuous shooting has been described with reference to a form example in which the in-focus position prediction unit 48A2 predicts, but the technique of the present disclosure is not limited to this. ..
- the focusing position prediction unit 48A2 increases the number of frames from a specific frame (for example, each frame of continuous shooting) to a frame to which the focusing position is predicted as the frame rate for continuous shooting by the image sensor 16 is increased. You may try to increase it.
- the focusing position prediction unit 48A2 may increase the focus position prediction destination from 2 frames ahead to 3 frames ahead, or the focus position prediction destination may be 4 frames ahead. The above may be the destination.
- the frame rate for continuous shooting is increased, the number of frames from a specific frame to the frame to which the in-focus position is predicted is increased (for example, it is increased from 2 frames to 3 frames or more). Even when the frame rate for copying is increased, the focusing position of the focus lens 40B can be made to follow the focusing target region.
- the live view image is displayed on the display 26 within the continuous shooting interval, but the technique of the present disclosure is not limited to this.
- the post-view image may be displayed on the display 26 instead of the live-view image.
- the control unit 48A3 stores (overwrites) the non-phase difference image data in the storage 48B each time the main exposure is performed during the continuous shooting period, and then stores (overwrites) the latest non-phase difference image data from the storage 48B. Is read. Then, the control unit 48A3 shows an image based on the read out non-phase difference image data (for example, an image shown by the non-phase difference image data or an image data obtained by processing the non-phase difference image data).
- the image to be displayed may be displayed on the display 26.
- the storage 48B is an example of the "storage medium” according to the technique of the present disclosure
- the image based on the non-phase difference image data is an example of the "image based on the image data" according to the technique of the present disclosure. be.
- the image based on the non-phase difference image data obtained each time the main exposure is performed during the continuous shooting period is displayed to the user. It can be visually recognized.
- the control unit 48A3 may increase the continuous shooting interval.
- the control unit 48A3 may increase the continuous shooting interval by increasing the number of frames for live view image imaging within the continuous shooting interval.
- the number of frames for live view image imaging within the continuous shooting interval has increased from 3 frames (see FIGS. 8 and 20 to 23) to 6 frames.
- the "threshold value" shown in FIG. 25 is an example of the "first threshold value” according to the technique of the present disclosure.
- the threshold value shown in FIG. 25 may be a fixed value or a variable value.
- the control unit 48A3 can secure the moving time of the focus lens 40B by lengthening the continuous shooting interval. Further, the control unit 48A3 increases the number of frames for live view image imaging within the continuous shooting interval to lengthen the continuous shooting interval, so that the control unit 48A3 can obtain the image within the continuous shooting interval as compared with the case where the number of frames is not increased.
- the live view image can be smoothly displayed on the display 26.
- control unit 48A3 has been described with reference to an example in which the focus lens 40B moves along the optical axis OA while avoiding the main exposure period, but the technique of the present disclosure is not limited to this.
- the control unit 48A3 may move the focus lens 40B along the optical axis OA during the main exposure period.
- the control unit 48A3 reduces the moving speed of the focus lens 40B at least during the main exposure period, provided that the main exposure period is extended to the threshold value or more.
- the low moving speed means that the moving speed is at least lower than the moving speed of the focus lens 40B in a period other than the main exposure period.
- the influence of the movement of the focus lens 40B on the image obtained by performing the main exposure within the continuous shooting period is reduced as compared with the case where the movement speed of the focus lens 40B is always the maximum speed. Can be done.
- the technique of the present disclosure is not limited to this.
- N when N is a natural number, the calculation period of the AF calculation in the N + 1 frame of continuous shooting may exceed the period of the main exposure in the N + 2 frame.
- the control unit 48A3 has the latest front frame focusing position (N in the example shown in FIG. 27) for continuous shooting up to a plurality of frames ahead (in the example shown in FIG. 27, the Nth frame to the third frame ahead).
- the focus lens 40B is divided and moved over the period during which the main exposure of the N + 2nd frame is performed toward the (predicted front frame focusing position) at the frame eye. As a result, even if the AF calculation is performed beyond the period in which the main exposure for one frame is performed, the movement of the focus lens 40B does not affect the image obtained by the main exposure. Can be done.
- the non-phase difference pixel division area 30N and the retardation pixel division area 30P are used in combination, but the technique of the present disclosure is not limited to this.
- an area sensor may be used in which the phase difference image data and the non-phase difference image data are selectively generated and read out.
- a plurality of photosensitive pixels are arranged two-dimensionally in the area sensor.
- a pair of independent photodiodes having no light-shielding member are used.
- Photoelectric conversion is performed by the entire region (a pair of photodiodes) of the photosensitive pixel, and when the phase difference image data is generated and read (for example, passive distance measurement). ), Photoelectric conversion is performed by one of the pair of photodiodes.
- one of the pair of photodiodes is a photodiode corresponding to the first retardation pixel L described in the above embodiment, and one of the pair of photodiodes is the above-mentioned photodiode. It is a photodiode corresponding to the second phase difference pixel R described in the embodiment.
- phase difference image data and the non-phase difference image data may be selectively generated and read by all the photosensitive pixels included in the area sensor, but the present invention is not limited to this and is included in the area sensor.
- the phase difference image data and the non-phase difference image data may be selectively generated and read by the photosensitive pixels of the unit.
- the image plane phase difference pixel is exemplified as the phase difference pixel P, but the technique of the present disclosure is not limited to this.
- a non-phase difference pixel N is arranged in place of the phase difference pixel P included in the photoelectric conversion element 30, and a phase difference AF plate including a plurality of phase difference pixels P is a photoelectric conversion element 30. It may be provided separately in the image pickup apparatus main body 12.
- the AF method using the distance measurement result based on the phase difference image data that is, the phase difference AF method is exemplified, but the technique of the present disclosure is not limited to this.
- the contrast AF method may be adopted instead of the phase difference AF method.
- an AF method based on a distance measurement result using the parallax of a pair of images obtained from a stereo camera, or an AF method using a TOF method distance measurement result using a laser beam or the like may be adopted.
- the imaging method by the rolling shutter method is illustrated, but the technique of the present disclosure is not limited to this, and the imaging method by the global shutter method may be used.
- the focal plane shutter has been described as an example of the mechanical shutter 72, but the technique of the present disclosure is not limited to this, and instead of the focal plane shutter, another type of mechanical shutter such as a lens shutter is used.
- the technique of the present disclosure is established even if the above is applied.
- continuous shooting performed according to a frame rate of several fps has been illustrated, but the technique of the present disclosure is not limited to this.
- the technique of the present disclosure can be applied to continuous shooting performed according to a frame rate of several tens of fps to several hundreds of fps, that is, imaging for recorded moving images.
- the focusing control processing program 84 may be stored in the storage medium 200.
- the storage medium 200 is a non-temporary storage medium.
- An example of the storage medium 200 is any portable storage medium such as an SSD or a USB memory.
- the focusing control processing program 84 stored in the storage medium 200 is installed in the controller 48.
- the CPU 48A executes the focusing control process according to the focusing control processing program 84.
- the focusing control processing program 84 is stored in a storage unit of another computer or server device connected to the controller 48 via a communication network (not shown), and in response to the above-mentioned request of the image pickup device 10.
- the focusing control processing program 84 may be downloaded and installed in the controller 48.
- controller 48 is built in the image pickup device 10
- the technique of the present disclosure is not limited to this, and for example, the controller 48 is provided outside the image pickup device 10. You may be able to do it.
- the CPU 48A is a single CPU, but may be a plurality of CPUs. Further, the GPU may be applied instead of the CPU 48A.
- controller 48 is illustrated, but the technique of the present disclosure is not limited to this, and a device including an ASIC, FPGA, and / or PLD may be applied instead of the controller 48. .. Further, instead of the controller 48, a combination of a hardware configuration and a software configuration may be used.
- the processor includes software, that is, a CPU, which is a general-purpose processor that functions as a hardware resource for executing focusing control processing by executing a program.
- examples of the processor include a dedicated electric circuit which is a processor having a circuit configuration specially designed for executing a specific process such as FPGA, PLD, or ASIC.
- a memory is built in or connected to each processor, and each processor executes focusing control processing by using the memory.
- the hardware resource that executes the focusing control process may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs, etc.). Alternatively, it may be composed of a combination of a CPU and an FPGA). Further, the hardware resource for executing the focusing control process may be one processor.
- one processor is configured by a combination of one or more CPUs and software, and this processor functions as a hardware resource for executing focusing control processing.
- this processor functions as a hardware resource for executing focusing control processing.
- SoC SoC
- a processor that realizes the functions of the entire system including a plurality of hardware resources that execute focusing control processing with one IC chip is used.
- the focusing control process is realized by using one or more of the above-mentioned various processors as a hardware resource.
- a and / or B is synonymous with "at least one of A and B". That is, “A and / or B” means that it may be only A, only B, or a combination of A and B. Further, in the present specification, when three or more matters are connected and expressed by "and / or", the same concept as “A and / or B" is applied.
- the focus lens moves while avoiding the period of main exposure by the image sensor in which light is imaged by the image sensor including the focus lens according to the instruction of the processor, and the image sensor continuously moves the light at a predetermined time interval. It is a control device applied to an imaging device in which continuous shooting is performed by performing the above-mentioned main exposure.
- the above processor Within the continuous shooting period, the focus lens for the specific subject is based on the image data obtained by capturing the specific subject with the main exposure by the image sensor in the specific frame in which the main exposure is performed.
- the second in-focus position of the focus lens with respect to the specific subject which is a plurality of frames ahead of the specific frame, is predicted by referring to the first in-focus position.
- a control device that moves the focus lens toward the second focusing position.
- Appendix 2 The control device according to Appendix 1, wherein the specific frame is each frame in which the main exposure is performed.
- Appendix 3 The control device according to Appendix 1 or Appendix 2, wherein the processor predicts the second focusing position two or more frames ahead of the specific frame with reference to the first focusing position.
- Appendix 4 The control device according to Appendix 3, wherein the processor predicts the second in-focus position two frames ahead of the specific frame with reference to the first in-focus position.
- Appendix 5 The control device according to Appendix 3, wherein the processor predicts the second in-focus position three or more frames ahead of the specific frame with reference to the first in-focus position.
- Appendix 8 The control according to Appendix 1 or Appendix 2, wherein the processor increases the number of frames from the specific frame to the frame to which the second focusing position is predicted as the frame rate for continuous shooting by the image sensor is increased. Device.
- the processor calculates the first focus position obtained by calculating with the latest frame in which the latest main exposure is performed, and the first focus obtained by calculating with a past frame temporally adjacent to the latest frame.
- the control device which predicts the second focusing position by referring to a plurality of the first focusing positions including the focusing position.
- Appendix 13 The control device according to Appendix 12, wherein the processor increases the continuous shooting interval by causing the image sensor to take an image for at least one frame of the first live view image between the continuous shooting frames.
- the processor further moves the focus lens during the main exposure period, and when the period during which the main exposure is performed is extended to a second threshold value or more, the moving speed of the focus lens is reduced. 13.
- the control device according to any one of 13.
- the above processor is made to take an image for at least one frame of the second live view image between the frames of the continuous shooting. While the imaging for the second live view image is being performed, the first focusing position is calculated, the second focusing position is predicted, and the focus lens is moved toward the second focusing position.
- the control device according to any one of Supplementary note 1 to Supplementary note 15 to be moved.
- the processor controls an aperture in which the size of the aperture is variable, so that the aperture within the period during which the main exposure is performed is set as the first size, and imaging for the second live view image is performed.
- the control device according to Appendix 16 wherein the opening is set to a second size larger than the first size.
- the image sensor has a phase difference pixel group and has a phase difference pixel group.
- the control device according to any one of Supplementary note 1 to Supplementary note 17, wherein the processor calculates the first focusing position based on the phase difference pixel data obtained by imaging by the phase difference pixel group.
- the processor transmits an instruction signal instructing the movement of the focus lens to the imaging lens including the focus lens, and the processor transmits the instruction signal to instruct the movement of the focus lens.
- the control device according to Appendix 19, wherein the processor transmits the instruction signal to the image pickup lens by the amount of a communication time lag with the image pickup lens than the end of the winding.
- the processor stops the focus lens when the start timing of the main exposure arrives before the focus lens reaches the second focus position, and causes the image sensor to perform the above.
- the control device according to any one of Supplementary note 1 to Supplementary note 20 for starting the main exposure.
- the processor is in the second frame of the continuous shooting before the continuous shooting by the image sensor is started or before the prediction of the second focusing position is started in the first frame of the continuous shooting. Predicting the fourth focus position of the focus lens with respect to the specific subject of The control device according to any one of Supplementary note 1 to Supplementary note 23, which moves the focus lens toward the fourth focusing position before the main exposure of the second frame is started.
- the processor stops the focus lens when the start timing of the main exposure in the second frame arrives before the focus lens reaches the fourth focus position, and causes the image sensor to stop.
- Imaging device 12 Image device main unit 14 Interchangeable lens 16 Image sensor 18 Release button 20 Dial 22 Touch panel display 24 Instruction key 24 Touch panel display 26 Display 28 Touch panel 30 Photoelectric conversion element 30A Light receiving surface 30N Non-phase difference Pixel division area 30P Phase difference Pixel division area 32A Phase difference pixel line 32B Non-phase difference pixel line 34A Light-shielding member 34B Light-shielding member 36 Micro lens 38L Left area passing light 38R Right area passing light 40 Imaging lens 40A Objective lens 40B Focus lens 40C Aperture 42 Slide mechanism 44 Motor 46 Motor 48 Controller 48A1 Focus position calculation unit 48A2 Focus position prediction unit 48A3 Control unit 48B Storage 48C Memory 50 Image memory 52 UI device 54 External I / F 56 Photoelectric conversion element driver 58 Motor driver 60 Motor driver 62 Front curtain solenoid driver 64 Rear curtain solenoid driver 66 Front curtain solenoid actuator 66 Rear curtain solenoid actuator 68 Rear curtain solenoid actuator 70 Input / output interface 72 Mechanical shutter 72A Frame 72A1 Opening 72B Front curtain 72C Re
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
特定被写体に対して連写が行われる場合に、連写の時間間隔を長くすることなく、特定被写体に対してフォーカスレンズの合焦位置を追従させることができる撮像装置、制御装置、撮像装置の動作方法、及びプログラムを提供する。撮像装置は、フォーカスレンズがイメージセンサによる本露光の期間を回避して移動し、かつ、連続的に本露光が行われることで連写が行われる撮像装置であって、プロセッサは、連写期間内で、本露光が行われる特定フレームにおいて、イメージセンサによって本露光を伴って特定被写体が撮像されることで得られた画像データに基づいて、特定被写体に対するフォーカスレンズの第1合焦位置を演算し、連写期間内で第1合焦位置を参照して特定フレームよりも複数フレーム先の特定被写体に対するフォーカスレンズの第2合焦位置を予測し、第2合焦位置に向けてフォーカスレンズを移動させる。
Description
本開示の技術は、撮像装置、制御装置、撮像装置の動作方法、及びプログラムに関する。
特許文献1には、特定の被写体の動きに追従して自動合焦動作が可能な撮像装置が開示されている。特許文献1に記載の撮像装置は、フレーム単位で連続して被写体を撮像して撮像画像を生成する撮像部と、撮像部により生成された撮像画像をリアルタイムに表示する表示部と、表示部にリアルタイムに表示される撮像画像に重畳して、自動合焦させる領域を示すAF枠を表示する制御部と、を備え、制御部が、以前のフレームの撮像画像から特定の被写体の動きを検出し、検出した動きに基づいて、現フレームの撮像画像における特定の被写体の位置を予測し、予測した位置に基づいて表示部に表示される撮像画像においてAF枠を表示する。
特許文献2には、焦点調節可能な光学系を含む撮影光学系と、撮影光学系の第1瞳部分領域を通過する光束を受光する第1焦点検出画素と、第1瞳部分領域と異なる撮影光学系の第2瞳部分領域を通過する光束を受光する第2焦点検出画素とを複数配列し、撮影光学系により結像された像を光電変換する撮像素子と、撮像素子の出力信号から被写体を検出し、被写体から焦点検出領域である第1の領域と第2の領域と第3の領域を検出する被写体領域検出手段と、被写体の第1の領域と第2の領域の焦点検出を行う焦点検出手段と、第2の領域の焦点検出結果に基づいて焦点調節を行う焦点調節手段と、第1と第2と第3の領域の焦点検出結果に基づいて被写体の移動速度を検出する速度検出手段と、速度検出手段による移動速度に基づいて被写体の位置を予測する予測手段と、予測手段により予測した被写体の位置に焦点検出領域を変更する焦点検出領域変更手段と、を有することを特徴とする撮像装置が開示されている。
本開示の技術に係る一つの実施形態は、特定被写体に対して連写が行われる場合に、連写の時間間隔を長くすることなく、特定被写体に対してフォーカスレンズの合焦位置を追従させることができる撮像装置、制御装置、撮像装置の動作方法、及びプログラムを提供する。
本開示の技術に係る第1の態様は、プロセッサと、フォーカスレンズを含む撮像レンズにより光が結像されるイメージセンサと、を備え、フォーカスレンズがプロセッサの指示に従ってイメージセンサによる本露光の期間を回避して移動し、かつ、イメージセンサによって既定の時間間隔で連続的に本露光が行われることで連写が行われる撮像装置であって、プロセッサが、連写期間内で、本露光が行われる特定フレームにおいて、イメージセンサによって本露光を伴って特定被写体が撮像されることで得られた画像データに基づいて、特定被写体に対するフォーカスレンズの第1合焦位置を演算し、連写期間内で第1合焦位置を参照して特定フレームよりも複数フレーム先の特定被写体に対するフォーカスレンズの第2合焦位置を予測し、第2合焦位置に向けてフォーカスレンズを移動させる撮像装置である。
本開示の技術に係る第2の態様は、特定フレームが、本露光が行われる各フレームである第1の態様に係る撮像装置である。
本開示の技術に係る第3の態様は、プロセッサが、第1合焦位置を参照して特定フレームよりも2フレーム以上先の第2合焦位置を予測する第1の態様又は第2の態様に係る撮像装置である。
本開示の技術に係る第4の態様は、プロセッサが、第1合焦位置を参照して特定フレームよりも2フレーム先の第2合焦位置を予測する第3の態様に係る撮像装置である。
本開示の技術に係る第5の態様は、プロセッサが、第1合焦位置を参照して特定フレームよりも3フレーム以上先の第2合焦位置を予測する第3の態様に係る撮像装置である。
本開示の技術に係る第6の態様は、プロセッサが、本露光が行われるフレーム毎に第2合焦位置を予測する第3の態様から第5の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第7の態様は、プロセッサが、予測した最新の第2合焦位置に向けてフォーカスレンズを移動させる第1の態様から第6の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第8の態様は、プロセッサが、イメージセンサによる連写用フレームレートを高めるに従って、特定フレームから、第2合焦位置を予測する先のフレームまでのフレーム数を増加させる第1の態様又は第2の態様に係る撮像装置である。
本開示の技術に係る第9の態様は、プロセッサが、複数フレーム分の第1合焦位置を参照して第2合焦位置を予測する第1の態様から第8の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第10の態様は、プロセッサが、最新の本露光が行われた最新フレームで演算して得た第1合焦位置と、最新フレームと時間的に隣接する過去フレームで演算して得た第1合焦位置とを含む複数の第1合焦位置を参照して第2合焦位置を予測する第9の態様に係る撮像装置である。
本開示の技術に係る第11の態様は、プロセッサが、本露光が行われる毎に画像データを記憶媒体に記憶させてから画像データに基づく画像をディスプレイに対して表示させる第1の態様から第10の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第12の態様は、プロセッサが、本露光が行われる期間が第1閾値以上に延びた場合に、連写間隔を長くする第1の態様から第11の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第13の態様は、プロセッサが、連写のフレーム間でイメージセンサに対して少なくとも1フレーム分の第1ライブビュー画像用の撮像を行わせることで連写間隔を長くする第12の態様に係る撮像装置である。
本開示の技術に係る第14の態様は、プロセッサが、フォーカスレンズを更に本露光の期間も移動させる場合、本露光が行われる期間が第2閾値以上に延びたことを条件に、フォーカスレンズの移動速度を低くする第1の態様から第13の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第15の態様は、プロセッサが、第1合焦位置の演算期間が1フレーム分の本露光が行われる期間を超える場合に、複数フレーム分先までの連写について、最新の第2合焦位置に向けてフォーカスレンズを本露光が行われる期間を跨いで分割して移動させる第1の態様から第14の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第16の態様は、プロセッサが、連写のフレーム間でイメージセンサに対して少なくとも1フレーム分の第2ライブビュー画像用の撮像を行わせ、第2ライブビュー画像用の撮像が行われている間に、第1合焦位置を演算し、第2合焦位置を予測し、第2合焦位置に向けてフォーカスレンズを移動させる第1の態様から第15の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第17の態様は、開口の大きさが可変な絞りを備え、プロセッサが、絞りを制御することで、本露光が行われている期間内の開口を第1の大きさとし、第2ライブビュー画像用の撮像が行われている間の開口を第1の大きさよりも大きな第2の大きさとする第16の態様に係る撮像装置である。
本開示の技術に係る第18の態様は、イメージセンサが、位相差画素群を有し、プロセッサが、位相差画素群によって撮像されることで得られた位相差画素データに基づいて第1合焦位置を演算する第1の態様から第17の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第19の態様は、メカニカルシャッタを備え、プロセッサが、メカニカルシャッタの巻き上げに要する巻き上げ期間を回避してフォーカスレンズを移動させる第1の態様から第18の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第20の態様は、プロセッサが、フォーカスレンズを含む撮像レンズに対してフォーカスレンズの移動を指示する指示信号を送信し、プロセッサが、巻き上げの終了よりも、撮像レンズとの間の通信タイムラグの分だけ早く指示信号を撮像レンズに送信する第19の態様に係る撮像装置である。
本開示の技術に係る第21の態様は、プロセッサが、第2合焦位置にフォーカスレンズが到達する前に、本露光の開始タイミングが到来した場合に、フォーカスレンズを停止させ、イメージセンサに対して本露光を開始させる第1の態様から第20の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第22の態様は、プロセッサが、イメージセンサによる連写が開始される前段階で、連写の1フレーム目の特定被写体に対するフォーカスレンズの第3合焦位置を予測し、1フレーム目の本露光が開始される前に第3合焦位置に向けてフォーカスレンズを移動させる第1の態様から第21の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第23の態様は、プロセッサが、第3合焦位置にフォーカスレンズが到達する前に、1フレーム目の本露光の開始タイミングが到来した場合に、フォーカスレンズを停止させ、イメージセンサに対して本露光を開始させる第22の態様に係る撮像装置である。
本開示の技術に係る第24の態様は、プロセッサが、イメージセンサによる連写が開始される前段階、又は、連写の1フレーム目において第2合焦位置の予測が開始される前までに、連写の2フレーム目の特定被写体に対するフォーカスレンズの第4合焦位置を予測し、2フレーム目の本露光が開始される前に第4合焦位置に向けてフォーカスレンズを移動させる第1の態様から第23の態様の何れか1つの態様に係る撮像装置である。
本開示の技術に係る第25の態様は、プロセッサが、第4合焦位置にフォーカスレンズが到達する前に、2フレーム目の本露光の開始タイミングが到来した場合に、フォーカスレンズを停止させ、イメージセンサに対して本露光を開始させる第24の態様に係る撮像装置である。
本開示の技術に係る第26の態様は、プロセッサと、プロセッサに内蔵又は接続されたメモリと、を備え、フォーカスレンズを含む撮像レンズにより光が結像されるイメージセンサによる本露光の期間をフォーカスレンズがプロセッサの指示に従って回避して移動し、かつ、イメージセンサによって既定の時間間隔で連続的に本露光が行われることで連写が行われる撮像装置に対して適用される制御装置であって、プロセッサが、連写期間内で、本露光が行われる特定フレームにおいて、イメージセンサによって本露光を伴って特定被写体が撮像されることで得られた画像データに基づいて、特定被写体に対するフォーカスレンズの第1合焦位置を演算し、連写期間内で第1合焦位置を参照して特定フレームよりも複数フレーム先の特定被写体に対するフォーカスレンズの第2合焦位置を予測し、第2合焦位置に向けてフォーカスレンズを移動させる制御装置である。
本開示の技術に係る第27の態様は、プロセッサと、フォーカスレンズを含む撮像レンズにより光が結像されるイメージセンサと、を備え、フォーカスレンズがプロセッサの指示に従ってイメージセンサによる本露光の期間を回避して移動し、かつ、イメージセンサによって既定の時間間隔で連続的に本露光が行われることで連写が行われる撮像装置の動作方法であって、連写期間内で、本露光が行われる特定フレームにおいて、イメージセンサによって本露光を伴って特定被写体が撮像されることで得られた画像データに基づいて、特定被写体に対するフォーカスレンズの第1合焦位置を演算すること、連写期間内で第1合焦位置を参照して特定フレームよりも複数フレーム先の特定被写体に対するフォーカスレンズの第2合焦位置を予測すること、及び第2合焦位置に向けてフォーカスレンズを移動させることを含む、撮像装置の動作方法である。
本開示の技術に係る第28の態様は、プロセッサと、フォーカスレンズを含む撮像レンズにより光が結像されるイメージセンサと、を備え、フォーカスレンズがプロセッサの指示に従ってイメージセンサによる本露光の期間を回避して移動し、かつ、イメージセンサによって既定の時間間隔で連続的に本露光が行われることで連写が行われる撮像装置に対して適用されるコンピュータに、連写期間内で、本露光が行われる特定フレームにおいて、イメージセンサによって本露光を伴って特定被写体が撮像されることで得られた画像データに基づいて、特定被写体に対するフォーカスレンズの第1合焦位置を演算すること、連写期間内で第1合焦位置を参照して特定フレームよりも複数フレーム先の特定被写体に対するフォーカスレンズの第2合焦位置を予測すること、及び第2合焦位置に向けてフォーカスレンズを移動させることを含む処理を実行させるためのプログラムである。
以下、添付図面に従って本開示の技術に係る撮像装置と撮像装置の動作方法の実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
CPUとは、“Central Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。ICとは、“Integrated Circuit”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programaqble Gate Array”の略称を指す。SoCとは、“System-on-a-Chip”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。I/Fとは、“Interface”の略称を指す。UIとは、“User Interface”の略称を指す。TOFとは、“Time of Flight”の略称を指す。fpsとは、“frame per second”の略称を指す。MFとは、“Manual Focus”の略称を指す。AFとは、“Auto Focus”の略称を指す。
本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの一致を指す。
一例として図1に示すように、撮像装置10は、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラである。撮像装置10は、撮像装置本体12と、撮像装置本体12に交換可能に装着される交換レンズ14と、を備えている。なお、ここでは、撮像装置10の一例として、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラが挙げられているが、本開示の技術はこれに限定されず、レンズ固定式のデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に内蔵されるデジタルカメラであってもよい。
撮像装置本体12には、イメージセンサ16が設けられている。イメージセンサ16は、CMOSイメージセンサである。交換レンズ14が撮像装置本体12に装着された場合に、被写体を示す被写体光は、交換レンズ14を透過してイメージセンサ16に結像され、被写体の画像を示す画像データがイメージセンサ16によって生成される。
なお、本実施形態では、イメージセンサ16としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ16がCCDイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
撮像装置本体12の上面には、レリーズボタン18及びダイヤル20が設けられている。ダイヤル20は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル20が操作されることによって、撮像装置10では、動作モードとして撮像モードと再生モードとが選択的に設定される。
レリーズボタン18は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との2段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置(半押し位置)まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置(全押し位置)まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置10の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン18に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン18に接触した状態から離れた状態に移行した状態であってもよい。
レリーズボタン18は、撮像装置10に対して連写の指示を与える場合にも操作される。連写は、イメージセンサ16による本露光を伴う連続的な静止画像用の撮像である。撮像装置10に対して撮像モードが設定されている状況下で、レリーズボタン18の全押し状態が一定時間(例えば、0.5秒)以上継続されると、連写が開始される。連写は、全押状態が解除されるまで行われる。撮像装置10では、イメージセンサ16によって既定の時間間隔で連続的に本露光が行われることで連写が行われる。ここで、既定の時間間隔とは、例えば、数fpsの連写用フレームレート(例えば、8fps)によって定められる1フレーム分の時間間隔を指す。
一例として図2に示すように、撮像装置本体12の背面には、タッチパネル・ディスプレイ22及び指示キー24が設けられている。
タッチパネル・ディスプレイ22は、ディスプレイ26及びタッチパネル28(図3も参照)を備えている。ディスプレイ26の一例としては、有機ELディスプレイが挙げられる。ディスプレイ26は、有機ELディスプレイではなく、液晶ディスプレイなどの他種類のディスプレイであってもよい。
ディスプレイ26は、画像及び/又は文字情報等を表示する。ディスプレイ26は、撮像装置10が撮像モードの場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ライブビュー画像用の撮像(以下、「ライブビュー画像用撮像」とも称する)は、例えば、60fpsのフレームレートに従って行われる。
ここで、「ライブビュー画像」とは、イメージセンサ16によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。また、ディスプレイ26は、撮像装置10に対してレリーズボタン18を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。更に、ディスプレイ26は、撮像装置10が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。
タッチパネル28は、透過型のタッチパネルであり、ディスプレイ26の表示領域の表面に重ねられている。タッチパネル28は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、本実施形態では、撮像装置10に対する連写の指示がタッチパネル28を介しても行われる。すなわち、ディスプレイ26に表示された撮像開始用のソフトキーをユーザがタッチパネル28を介して継続的にオンすることで連写が開始される。連写は、撮像開始用のソフトキーに対してのタッチパネル28を介したオン状態が解除されるまで継続される。なお、以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル28を介してオンした状態も含める。
なお、本実施形態では、タッチパネル・ディスプレイ22の一例として、タッチパネル28がディスプレイ26の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ22として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。
指示キー24は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、1つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル28によってされてもよい。
一例として図3に示すように、イメージセンサ16は、光電変換素子30を備えている。光電変換素子30は、受光面30Aを有する。光電変換素子30は、受光面30Aの中心と光軸OA(図1参照)とが一致するように撮像装置本体12(図1参照)内に配置されている。光電変換素子30は、マトリクス状に配置された複数の感光画素を有しており、受光面30Aは、複数の感光画素によって形成されている。感光画素は、フォトダイオードPDを有する画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。光電変換素子30に含まれている感光画素の種類は、位相差画素Pと、位相差画素Pとは異なる画素である非位相差画素Nとの2種類である。
フォトダイオードPDには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するG(緑色)波長域に対応するGフィルタ、R(赤色)波長域に対応するRフィルタ、及びB(青色)波長域に対応するBフィルタを含む。
一般的に、非位相差画素Nは、通常画素とも称される。光電変換素子30は、非位相差画素Nとして、R画素、G画素、及びB画素の3種類の感光画素を有する。R画素、G画素、B画素、及び位相差画素Pは、行方向(例えば、撮像装置本体12の底面を水平面に接触させた状態での水平方向)及び列方向(例えば、水平方向に対して垂直な方向である垂直方向)の各々に既定の周期性で規則的に配置されている。R画素は、Rフィルタが配置されたフォトダイオードPDに対応する画素であり、G画素及び位相差画素Pは、Gフィルタが配置されたフォトダイオードPDに対応する画素であり、B画素は、Bフィルタが配置されたフォトダイオードPDに対応する画素である。
受光面30Aには、複数の位相差画素ライン32Aと複数の非位相差画素ライン32Bとが配列されている。位相差画素ライン32Aは、位相差画素Pを含む水平ラインである。具体的には、位相差画素ライン32Aは、位相差画素Pと非位相差画素Nとが混在している水平ラインである。非位相差画素ライン32Bは、複数の非位相差画素Nのみを含む水平ラインである。
受光面30Aには、位相差画素ライン32Aと、既定ライン数分の非位相差画素ライン32Bとが列方向に沿って交互に配置されている。ここで言う「既定ライン数」とは、例えば、2ラインを指す。なお、ここでは、既定ライン数として、2ラインを例示しているが、本開示の技術はこれに限らず、既定ライン数は、3ライン以上の数ラインであってもよいし、十数ライン、数十ライン、又は数百ライン等であってもよい。
位相差画素ライン32Aは、1行目から最終行にかけて列方向に2行飛ばしで配列されている。位相差画素ライン32Aの一部の画素が位相差画素Pである。具体的には、位相差画素ライン32Aは、位相差画素Pと非位相差画素Nとが周期的に配列された水平ラインである。位相差画素Pは、第1位相差画素Lと第2位相差画素Rとに大別される。位相差画素ライン32Aには、G画素として第1位相差画素Lと第2位相差画素Rとがライン方向に数画素間隔で交互に配置されている。
第1位相差画素L及び第2位相差画素Rは、列方向で交互に現れるように配置されている。図3に示す例では、4列目において、1行目から列方向に沿って第1位相差画素L、第2位相差画素R、第1位相差画素L、及び第2位相差画素Rの順に配置されている。すなわち、第1位相差画素Lと第2位相差画素Rとが1行目から列方向に沿って交互に配置されている。また、図3に示す例では、10列目において、1行目から列方向に沿って第2位相差画素R、第1位相差画素L、第2位相差画素R、及び第1位相差画素Lの順に配置されている。すなわち、第2位相差画素Rと第1位相差画素Lとが1行目から列方向に沿って交互に配置されている。
光電変換素子30は、2つの領域に区分される。すなわち、光電変換素子30は、非位相差画素区分領域30N及び位相差画素区分領域30Pを有する。位相差画素区分領域30Pは、複数の位相差画素Pによる位相差画素群であり、被写体光を受光して受光量に応じた電気信号として位相差画像データを生成する。位相差画像データは、例えば、測距に用いられる。非位相差画素区分領域30Nは、複数の非位相差画素Nによる非位相差画素群であり、被写体光を受光して受光量に応じた電気信号として非位相差画像データを生成する。非位相差画像データは、例えば、可視光画像としてディスプレイ26(図2参照)に表示される。
一例として図4に示すように、第1位相差画素Lは、遮光部材34A、マイクロレンズ36、及びフォトダイオードPDを備えている。第1位相差画素Lでは、マイクロレンズ36とフォトダイオードPDの受光面との間に遮光部材34Aが配置されている。フォトダイオードPDの受光面における行方向の左半分(受光面から被写体を臨む場合の左側(換言すると、被写体から受光面を臨む場合の右側))は、遮光部材34Aによって遮光されている。
第2位相差画素Rは、遮光部材34B、マイクロレンズ36、及びフォトダイオードPDを備えている。第2位相差画素Rでは、マイクロレンズ36とフォトダイオードPDの受光面との間に遮光部材34Bが配置されている。フォトダイオードPDの受光面における行方向の右半分(受光面から被写体を臨む場合の右側(換言すると、被写体から受光面を臨む場合の左側))は、遮光部材34Bによって遮光されている。なお、以下では、説明の便宜上、遮光部材34A及び34Bを区別して説明する必要がない場合、符号を付さずに「遮光部材」と称する。
交換レンズ14は、撮像レンズ40を備えている。撮像レンズ40の射出瞳を通過する光束は、左領域通過光38L及び右領域通過光38Rに大別される。左領域通過光38Lとは、撮像レンズ40の射出瞳を通過する光束のうち、位相差画素P側から被写体側を臨む場合の左半分の光束を指し、右領域通過光38Rとは、撮像レンズ40の射出瞳を通過する光束のうち、位相差画素P側から被写体側を臨む場合の右半分の光束を指す。撮像レンズ40の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ36、遮光部材34A、及び遮光部材34Bにより左右に分割され、第1位相差画素Lが被写体光として左領域通過光38Lを受光し、第2位相差画素Rが被写体光として右領域通過光38Rを受光する。この結果、左領域通過光38Lに対応する被写体像に相当する第1位相差画像データと、右領域通過光38Rに対応する被写体像に相当する第2位相差画像データとが光電変換素子30によって生成される。
撮像装置10では、例えば、同一の位相差画素ライン32Aにおいて、1ライン分の第1位相差画像データと1ライン分の第2位相差画像データとのずれ量αに基づいて被写体までの距離、すなわち、被写体距離が測定される。なお、ずれ量αから被写体距離が導出される方法は公知技術であるので、ここでの詳細な説明は省略する。
一例として図5に示すように、非位相差画素Nは、位相差画素Pに比べ、遮光部材を有しない点が異なる。非位相差画素NのフォトダイオードPDは、被写体光として左領域通過光38L及び右領域通過光38Rを受光する。
一例として図6に示すように、撮像レンズ40は、対物レンズ40A、フォーカスレンズ40B、及び絞り40Cを備えている。
対物レンズ40A、フォーカスレンズ40B、及び絞り40Cは、被写体側(物体側)から撮像装置本体12側(像側)にかけて、光軸OAに沿って、対物レンズ40A、フォーカスレンズ40B、及び絞り40Cの順に配置されている。
また、交換レンズ14は、スライド機構42、モータ44、及びモータ46を備えている。スライド機構42には、光軸OAに沿ってスライド可能にフォーカスレンズ40Bが取り付けられている。また、スライド機構42にはモータ44が接続されており、スライド機構42は、モータ44の動力を受けて作動することでフォーカスレンズ40Bを光軸OAに沿って移動させる。絞り40Cは、開口の大きさが可変な絞りである。絞り40Cにはモータ46が接続されており、絞り40Cは、モータ46の動力を受けて作動することで露出を調節する。なお、交換レンズ14の構成物及び/又は動作方法は、必要に応じて変更可能である。
モータ44及び46は、マウント(図示省略)を介して撮像装置本体12に接続されており、撮像装置本体12からの命令に従って駆動が制御される。なお、本実施形態では、モータ44及び46の一例として、ステッピングモータが採用されている。従って、モータ44及び46は、撮像装置本体12からの命令によりパルス信号に同期して動作する。また、図6に示す例では、モータ44及び46が交換レンズ14に設けられている例が示されているが、これに限らず、モータ44及び46のうちの一方が撮像装置本体12に設けられていてもよいし、モータ44及び46の双方が撮像装置本体12に設けられていてもよい。
撮像装置10では、撮像モードの場合に、撮像装置本体12に対して与えられた指示に従ってMFモード及びAFモードが選択的に設定される。MFモードは、手動でピントを合わせる動作モードである。MFモードでは、例えば、ユーザによって交換レンズ14のフォーカスリングが操作されることで、フォーカスリングの操作量に応じた移動量でフォーカスレンズ40Bが光軸OAに沿って移動し、これによってピントが調節される。
AFモードでは、撮像装置本体12が被写体距離に応じた合焦位置の演算を行い、演算して得た合焦位置に向けてフォーカスレンズ40Bを移動させることで、ピントを調節する。ここで、合焦位置とは、ピントが合っている状態でのフォーカスレンズ40Bの光軸OA上での位置を指す。
なお、以下では、説明の便宜上、フォーカスレンズ40Bを合焦位置に合わせる制御を「AF制御」とも称する。また、以下では、説明の便宜上、合焦位置の演算を「AF演算」とも称する。
一例として図6に示すように、撮像装置本体12は、イメージセンサ16、コントローラ48、画像メモリ50、UI系デバイス52、外部I/F54、光電変換素子ドライバ56、モータドライバ58、モータドライバ60、先幕用ソレノイドドライバ62、後幕用ソレノイドドライバ64、先幕用ソレノイドアクチュエータ66、後幕用ソレノイドアクチュエータ68、及び入出力インタフェース70を備えている。また、撮像装置本体12は、メカニカルシャッタ72を備えている。また、イメージセンサ16は、信号処理回路74を備えている。
入出力インタフェース70には、コントローラ48、画像メモリ50、UI系デバイス52、外部I/F54、光電変換素子ドライバ56、モータドライバ58、モータドライバ60、先幕用ソレノイドドライバ62、後幕用ソレノイドドライバ64、及び信号処理回路74が接続されている。
コントローラ48は、CPU48A、ストレージ48B、及びメモリ48Cを備えている。CPU48Aは、本開示の技術に係る「プロセッサ」の一例であり、ストレージ48B及びメモリ48Cは、本開示の技術に係る「メモリ」の一例であり、コントローラ48は、本開示の技術に係る「制御装置」及び「コンピュータ」の一例である。
CPU48A、ストレージ48B、及びメモリ48Cは、バス76を介して接続されており、バス76は入出力インタフェース70に接続されている。
なお、図6に示す例では、図示の都合上、バス76として1本のバスが図示されているが、複数本のバスであってもよい。バス76は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
ストレージ48Bは、各種パラメータ及び各種プログラムを記憶している。ストレージ48Bは、不揮発性の記憶装置である。ここでは、ストレージ48Bの一例として、EEPROMが採用されている。EEPROMはあくまでも一例に過ぎず、EEPROMに代えて、又は、EEPROMと共に、HDD、及び/又はSSD等をストレージ48Bとして適用してもよい。また、メモリ48Cは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ48Cの一例としては、RAMが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。
ストレージ48Bには、各種プログラムが記憶されている。CPU48Aは、ストレージ48Bから必要なプログラムを読み出し、読み出したプログラムをメモリ48C上で実行する。CPU48Aは、メモリ48C上で実行するプログラムに従って撮像装置本体12の全体を制御する。図6に示す例では、画像メモリ50、UI系デバイス52、外部I/F54、光電変換素子ドライバ56、モータドライバ58、モータドライバ60、先幕用ソレノイドドライバ62、及び後幕用ソレノイドドライバ64がCPU48Aによって制御される。
光電変換素子30には、光電変換素子ドライバ56が接続されている。光電変換素子ドライバ56は、光電変換素子30によって行われる撮像のタイミングを規定する撮像タイミング信号を、CPU48Aからの指示に従って光電変換素子30に供給する。光電変換素子30は、光電変換素子ドライバ56から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。
交換レンズ14が撮像装置本体12に装着された場合、撮像レンズ40に入射された被写体光は、撮像レンズ40によって受光面30Aに結像される。光電変換素子30は、光電変換素子ドライバ56の制御下で、受光面30Aによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示すアナログ画像データとして信号処理回路74に出力する。具体的には、信号処理回路74が、露光順次読み出し方式で、光電変換素子30から1フレーム単位で且つ水平ライン毎にアナログ画像データを読み出す。アナログ画像データは、位相差画素Pによって生成されたアナログの位相差画像データと、非位相差画素Nによって生成されたアナログの非位相差画像データとに大別される。
信号処理回路74は、光電変換素子30から入力されたアナログ画像データをデジタル化し、デジタル画像データを生成する。信号処理回路74は、非位相差画像データ処理回路74A及び位相差画像データ処理回路74Bを備えている。非位相差画像データ処理回路74Aは、アナログの非位相差画像データをデジタル化することでデジタルの非位相差画像データを生成する。位相差画像データ処理回路74Bは、アナログの位相差画像データをデジタル化することでデジタルの位相差画像データを生成する。
なお、以下では、説明の便宜上、デジタルの非位相差画像データとデジタルの位相差画像データとを区別して説明する必要がない場合、「デジタル画像データ」と称する。また、以下では、説明の便宜上、アナログ画像データとデジタル画像データとを区別して説明する必要がない場合、「画像データ」と称する。
メカニカルシャッタ72は、フォーカルプレーンシャッタであり、絞り40Cと受光面30Aとの間に配置されている。メカニカルシャッタ72は、フレーム72A、先幕72B、及び後幕72Cを備えている。フレーム72Aは、薄板状の枠体であり、撮像レンズ40から射出された被写体光を透過させて受光面30Aに導く。フレーム72Aは、開口72A1と枠縁とで形成されている。枠縁は、矩形状に形成されており、開口72A1の形状、面積、及び厚さを画定している。開口72A1は、矩形状であり、フレーム72Aの中央部に形成されている。フレーム72Aは、開口72A1の中心が光軸OAと一致するように受光面30Aよりも被写体側に配置されている。先幕72B及び後幕72Cの各々は、複数枚の羽根を備えている。先幕72Bは、フレーム72Aよりも被写体側に配置されており、後幕72Cは、フレーム72Aよりも受光面30A側に配置されている。
メカニカルシャッタ72は、全開状態と先幕閉状態と後幕閉状態との間で状態が遷移する。全開状態は、先幕72B及び後幕72Cによって開口72A1が全開されている状態である。全開状態では、先幕72Bの複数枚の羽根が、フレーム72Aの下縁部の被写体側に重ねて収容されており、後幕72Cの複数枚の羽根が、フレーム72Aの上縁部の受光面30A側に重ねて収容されている。先幕72Bによって開口72A1が遮蔽される場合、先幕72Bの複数枚の羽根が破線矢印A方向に巻き上げられ、先幕72Bの複数枚の羽根によって開口72A1が遮蔽される。また、後幕72Cによって開口72A1が遮蔽される場合、後幕72Cの複数枚の羽根が破線矢印B方向に引き下ろされ、後幕72Cの複数枚の羽根によって開口72A1が遮蔽される。
先幕閉状態は、先幕72Bが開口72A1を遮蔽し、かつ、後幕72Cが開口72A1を開放している状態である。全開状態から先幕閉状態にする場合、破線矢印A方向に先幕72Bが巻き上げられる。後幕閉状態は、後幕72Cが開口72A1を遮蔽し、かつ、先幕72Bが開口72A1を開放している状態である。全開状態から後幕閉状態にする場合、破線矢印B方向に後幕72Cが引き下ろされる。
先幕用ソレノイドアクチュエータ66及び後幕用ソレノイドアクチュエータ68の各々は、動力源であるソレノイドを有するアクチュエータである。先幕用ソレノイドドライバ62は、CPU48Aからの指示に従って、先幕用ソレノイドアクチュエータ66を制御する。後幕用ソレノイドドライバ64は、CPU48Aからの指示に従って、後幕用ソレノイドアクチュエータ68を制御する。
先幕72Bは、先幕用ソレノイドアクチュエータ66に機械的に連結されており、先幕用ソレノイドアクチュエータ66は、先幕用ソレノイドドライバ62の制御下で動力を生成し、生成した動力を先幕72Bに付与することで先幕72Bの巻き上げ及び引き下ろしを選択的に行う。後幕72Cは、後幕用ソレノイドアクチュエータ68に機械的に連結されており、後幕用ソレノイドアクチュエータ68は、後幕用ソレノイドドライバ64の制御下で動力を生成し、生成した動力を後幕72Cに付与することで後幕72Cの巻き上げ及び引き下ろしを選択的に行う。
撮像装置10では、ライブビュー画像用撮像と、静止画像及び/又は動画像を記録するための記録画像用の撮像とが露光順次読み出し方式(ローリングシャッタ方式)で行われる。イメージセンサ16は、電子シャッタ機能を有しており、ライブビュー画像用撮像は、メカニカルシャッタ72を全開状態にしたまま作動させずに、電子シャッタ機能を働かせることで実現される。
これに対し、静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ72を先幕閉状態から後幕閉状態に遷移させるようにメカニカルシャッタ72を作動させることで実現される。メカニカルシャッタ72を先幕閉状態から後幕閉状態に遷移させる場合、先幕72B及び後幕72Cのうち、後幕72Cの引き下ろしに先立って、先ず、先幕72Bの引き下ろしが開始される。そして、先幕72Bの引き下ろしが開始されてから、先幕72Bに遅れて後幕72Cの引き下ろしが開始される。先幕72Bの引き下ろしが開始されてから後幕72Cの引き下ろしが開始されるまでのタイムラグは、指定されたシャッタスピードに応じて定まり、タイムラグが長いほど先幕72Bと後幕72Cとの間の隙間が広くなり、これに伴って本露光が行われる時間が長くなる。
画像メモリ50には、デジタル画像データが記憶される。すなわち、非位相差画像データ処理回路74Aが画像メモリ50に対して非位相差画像データを記憶させ、位相差画像データ処理回路74Bが画像メモリ50に対して位相差画像データを記憶させる。CPU48Aは、画像メモリ50からデジタル画像データを取得し、取得したデジタル画像データを用いて各種処理を実行する。
UI系デバイス52は、ディスプレイ26を備えており、CPU48Aは、ディスプレイ26に対して各種情報を表示させる。また、UI系デバイス52は、受付デバイス80を備えている。受付デバイス80は、タッチパネル28及びハードキー部82を備えている。ハードキー部82は、指示キー24(図2参照)を含む複数のハードキーである。CPU48Aは、タッチパネル28によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部82がUI系デバイス52に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部82は、外部I/F54に接続されていてもよい。
外部I/F54は、撮像装置10の外部に存在する装置(以下、「外部装置」とも称する)との間の各種情報の授受を司る。外部I/F54の一例としては、USBインタフェースが挙げられる。USBインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、USBメモリ、メモリカード、及び/又はプリンタ等の外部装置(図示省略)が直接的又は間接的に接続される。
モータドライバ58は、モータ44に接続されており、CPU48Aからの指示に従ってモータ44を制御する。モータ44が制御されることによって、スライド機構42を介してフォーカスレンズ40Bの光軸OA上での位置が制御される。フォーカスレンズ40Bは、CPU48Aからの指示に従って、イメージセンサ16による本露光の期間を回避して移動する。
また、モータドライバ60は、モータ46に接続されており、CPU48Aからの指示に従ってモータ46を制御する。モータ46が制御されることによって絞り40Cの開口の大きさが制御される。
ところで、一般的なAF機能付き撮像装置によって、合焦対象領域(例えば、特定の動体を含む撮像対象領域)に対してAF制御を伴う連写が行われる場合、連写用フレームレートが高くなると、これに伴って連写間にフォーカスレンズを移動させる時間も短くなる。フォーカスレンズの移動時間が短くなると、合焦対象領域に対するフォーカスレンズの合焦位置の追従も困難になる。例えば、AF機能付き撮像装置によって連写の1フレーム毎に1フレーム先の合焦位置が予測され、予測された合焦位置に向けてフォーカスレンズを移動させるようにしたとしても、連写間隔(例えば、連写用フレームレートによって規定される1フレーム分の時間)が短過ぎてフォーカスレンズの移動時間が十分に確保することができない場合がある。この場合、予測された合焦位置にフォーカスレンズが到達する前に本露光の開始タイミングが到来してしまい、フォーカスレンズを停止せざるを得なくなる。
そこで、このような事情を鑑み、本実施形態に撮像装置10では、一例として図7に示すように、ストレージ48Bに合焦制御処理プログラム84が記憶されており、CPU48Aによって合焦制御処理プログラム84に従って合焦制御処理が実行される。合焦制御処理は、CPU48Aによって、ストレージ48Bから合焦制御処理プログラム84が読み出され、読み出された合焦制御処理プログラム84がメモリ48C上で実行されることによって実現される。合焦制御処理プログラム84は、本開示の技術に係る「プログラム」の一例である。以下、合焦制御処理の構成に関して具体的に説明する。
図8には、撮像モードにおいて、連写が行われる前段階でライブビュー画像用撮像が行われている期間(以下、「ライブビュー画像用撮像期間」とも称する)にレリーズボタン18(図1参照)が全押し状態とされることで連写が開始された場合にCPU48Aによって行われる合焦制御処理の一例が示されている。
図8に示す例では、連写用の撮像が行われる期間、すなわち、記録画像用の連続的な撮像が行われている期間(以下、「連写期間」とも称する)のうちの1フレーム目から3フレーム目までの3フレーム分の連写が行われる態様が示されている。また、連写期間では、連写のフレーム毎に、記録画像用の1フレーム分の本露光が行われ、かつ、複数フレーム分(以下に示す例では、3フレーム分)のライブビュー画像用撮像が行われる。
また、図8に示す例において、「閉」とは、先幕閉状態を指し、「開」とは、先幕72Bが全開されている状態、又は、メカニカルシャッタ72が先幕閉状態から後幕閉状態への遷移中の状態を指す。先幕72Bが全開されている状態とは、全開状態又は後幕閉状態を指す。メカニカルシャッタ72が全開状態の場合、ライブビュー画像用撮像が行われ、メカニカルシャッタ72が先幕閉状態から後幕閉状態への遷移中の状態では、イメージセンサ16によって本露光が行われる。
なお、以下では、説明の便宜上、メカニカルシャッタ72が先幕閉状態から後幕閉状態への遷移中に全開状態にならないことを前提として説明するが、これはあくまでも一例に過ぎず、本露光の期間を長くする場合には、メカニカルシャッタ72が先幕閉状態から後幕閉状態への遷移中に全開状態になることもあり得る。このようにメカニカルシャッタ72が先幕閉状態から後幕閉状態への遷移中に全開状態になったとしても本開示の技術は成立する。
一例として図8に示すように、ライブビュー画像用撮像期間では、メカニカルシャッタ72が全開状態でライブビュー画像用撮像が行われる。ライブビュー画像用撮像期間では、ライブビュー画像用撮像が行われることによって非位相差画像データ処理回路74Aによって生成された非位相差画像データが、画像メモリ50に記憶される。そして、CPU48Aによって画像メモリ50から非位相差画像データが読み出され、読み出された非位相差画像データにより示される画像がライブビュー画像としてディスプレイ26に表示される。
また、ライブビュー画像用撮像期間では、ライブビュー画像用撮像が行われることによって位相差画像データ処理回路74Bによって位相差画像データが生成され、画像メモリ50に記憶される。CPU48Aは、画像メモリ50から位相差画像データを読み出し、読み出した位相差画像データに基づいて、被写体内の合焦対象領域に関する被写体距離を測定する。合焦対象領域は、例えば、被写体内のうち、ユーザによって受付デバイス80を介して指定された領域であり、本実施形態では、合焦対象領域として、被写体の中央部が合焦対象領域として採用されている。
なお、合焦対象領域は、固定された領域であってもよいし、撮像範囲内での位置が変更される領域、例えば、画像データ等に基づく画像認識処理がCPU48Aによって行われることで認識された特定の動体(例えば、特定の人物、特定の自動車、特定の自転車、又は特定の航空機など)を追従する領域であってもよい。
ライブビュー画像用撮像期間において、CPU48Aは、測定して得た被写体距離に基づいてAF演算を行う。また、ライブビュー画像用撮像期間において、CPU48Aは、AF演算を行って得た合焦位置に基づいて、連写の1フレーム目の本露光が開始されるタイミングでの合焦対象領域に対するフォーカスレンズ40Bの合焦位置を予測する。ここで、Nを自然数としたとき、連写のNフレーム目とは、連写期間においてN番目に本露光が行われるフレームを指す。合焦位置の予測は、例えば、最新の複数のAF演算(例えば、現時点から過去に遡って最新の2回のAF演算)によって得られた複数の合焦位置に基づいて行われる。CPU48Aは、モータドライバ58を制御することで、予測した合焦位置に向けてフォーカスレンズ40Bを光軸OAに沿って移動させる。
レリーズボタン18が全押しされ、全押し状態が一定時間以上継続すると、やがて連写を開始するタイミング(以下、「連写開始タイミング」とも称する)が到来する。連写開始タイミングが到来すると、ディスプレイ26のライブビュー画像は非表示される。すなわち、ディスプレイ26のうちのライブビュー画像が表示される表示領域がブラックアウトされる。また、連写開始タイミングが到来すると、連写が開始される。連写開始タイミングは、例えば、先幕72Bで開口72A1を閉じることを指示する先幕閉信号がCPU48Aから先幕用ソレノイドドライバ62に出力されたタイミングである。先幕用ソレノイドドライバ62は、先幕閉信号が入力されると、メカニカルシャッタ72を全開状態から先幕閉状態に遷移させるように、先幕72Bの巻き上げを開始する。先幕72Bの巻き上げ中に、本露光に備えて絞り40Cの開口の大きさが調節される。
メカニカルシャッタ72が全開状態から先幕閉状態に遷移している間に、CPU48Aは、AF演算を行って得た最新の合焦位置に基づいて、連写の2フレーム目の本露光が行われるタイミングでの合焦対象領域に対するフォーカスレンズ40Bの合焦位置を予測する。この場合も、合焦位置の予測は、例えば、ライブビュー画像用撮像期間で得られた最新の複数のAF演算によって得られた複数の合焦位置と、連写の1フレーム目の予測が完了してから現時点までの経過時間とに基づいて行われる。CPU48Aは、モータドライバ58を制御することで、予測した最新の合焦位置に向けてフォーカスレンズ40Bを光軸OAに沿って移動させる。なお、ここでは、メカニカルシャッタ72が全開状態から先幕閉状態に遷移している間に、連写の2フレーム目の予測が行われる形態例を挙げて説明しているが、本開示の技術はこれに限定されず、メカニカルシャッタ72の全開状態から先幕閉状態への遷移が開始される前段階で連写の2フレーム目の予測が行われるようにしてもよい。例えば、連写の1フレーム目の予測と並行して、連写の2フレーム目の予測が行われるようにしてもよい。
メカニカルシャッタ72が先幕閉状態になると、先幕72Bの引き下ろしが開始される。また、先幕72Bの引き下ろしが開始されてから遅延して後幕72Cの引き下ろしが開始される。これによって、連写の1フレーム目の本露光が開始される。また、本露光が開始されるタイミングで、フォーカスレンズ40Bを停止させる。本露光中にフォーカスレンズ40Bが移動していると、撮像されて得られた画像に対してフォーカスレンズ40Bの移動に起因する歪みが生じてしまうからである。
連写の1フレーム目の本露光が終了すると、メカニカルシャッタ72が後幕閉状態となり、連写の1フレーム目のデジタル画像データの読み出しが開始される。ここで、デジタル画像データの読み出しとは、連写の1フレーム目のデジタル画像データが画像メモリ50に記憶され、CPU48Aによって画像メモリ50から非位相差画像データが読み出されて既定の第1記憶領域(ここでは、一例としてストレージ48B)に記憶され、かつ、CPU48Aによって画像メモリ50から位相差画像データが読み出されて既定の第2記憶領域(ここでは、一例としてメモリ48C)に記憶されるまでの処理を指す。
連写の1フレーム目の本露光が終了すると、CPU48Aは、モータドライバ58を制御することで、メカニカルシャッタ72が全開状態から先幕閉状態に遷移している間に予測した合焦位置(連写の2フレーム目の合焦位置)に向けてフォーカスレンズ40Bの移動を再開させる。
デジタル画像データの読み出しが終了すると、後幕72Cが巻き上げられ、メカニカルシャッタ72が後幕閉状態から先幕閉状態へ遷移する。この間も、フォーカスレンズ40Bは、メカニカルシャッタ72が全開状態から先幕閉状態に遷移している間に予想された合焦位置に向けて移動し続けている。
一方、デジタル画像データの読み出しが終了すると、CPU48Aは、メモリ48Cから位相差画像データを取得する。ここで、メモリ48Cから取得される位相差画像データは、本露光が行われることによって得られた位相差画像データ(以下、「本露光画像データ」とも称する)である。CPU48Aは、メモリ48Cから取得した本露光画像データに基づいてAF演算を行う。CPU48Aは、AF演算を行って得た合焦位置に基づいて、連写の2フレーム先の本露光が行われるタイミングでの合焦対象領域に対するフォーカスレンズ40Bの合焦位置を予測する。そして、CPU48Aは、モータドライバ58を制御することで、予測した最新の合焦位置(連写の2フレーム先の本露光が行われるタイミングでの合焦対象領域に対するフォーカスレンズ40Bの合焦位置)に向けてフォーカスレンズ40Bを光軸OAに沿って移動させる。
CPU48AによってAF演算が行われている間に、メカニカルシャッタ72が先幕閉状態になると、先幕72Bが引き下ろされてメカニカルシャッタ72は先幕閉状態から全開状態に遷移し、3フレーム分のライブビュー画像用撮像が行われ、これによって得られた非位相差画像データにより示される画像がライブビュー画像としてディスプレイ26に表示される。ここで行われる「ライブビュー画像用撮像」は、本開示の技術に係る「第2ライブビュー画像用の撮像」の一例である。
なお、図8に示す例では、3フレーム分のライブビュー画像用撮像が例示されているが、これはあくまでも一例に過ぎない。1又は2フレーム分のライブビュー画像用撮像であってもよいし、4フレーム以上のライブビュー画像用撮像であってもよく、ライブビュー画像用撮像のフレームレートに応じて定まるフレーム数分のライブビュー画像用撮像が行われる。
また、図8に示す例では、ライブビュー画像用撮像が行われている期間に入っても、CPU48AによってAF演算が継続して行われ、AF演算結果に基づいて、連写の2フレーム先の本露光が行われるタイミングでの合焦対象領域に対するフォーカスレンズ40Bの合焦位置がCPU48Aによって予測される。しかし、演算量が少なければ、ライブビュー画像用撮像が行われる期間前に、AF演算及び合焦位置の予測のうちの少なくともAF演算が完了することはあり得る。
一方で、3フレーム分のライブビュー画像用撮像が行われている間も、フォーカスレンズ40Bは、予想された合焦位置に向けて移動し続けている。つまり、CPU48Aは、3フレーム分のライブビュー画像用撮像が行われている間を利用して、フォーカスレンズ40Bを、予想された最新の合焦位置に向けて移動させ続けている。
合焦制御処理において、連写の2フレーム目以降の各フレームでは、レリーズボタン18の全押し状態が解除されるまでの間、メカニカルシャッタ72が全開状態から先幕閉状態に遷移している間に連写の次フレーム(図8に示す例では、連写の1フレーム目)の合焦対象領域に対するフォーカスレンズ40Bの合焦位置の予測が行われないということを除いて、連写開始タイミングが到来してからの連写の1フレーム目の処理と同様の処理が繰り返し行われる。
一例として図9に示すように、合焦制御処理は、合焦位置演算部48A1、合焦位置予測部48A2、及び制御部48A3によって実現される。CPU48Aは、ストレージ48Bから合焦制御処理プログラム84を読み出し、読み出した合焦制御処理プログラム84をメモリ48C上で実行することで、合焦位置演算部48A1、合焦位置予測部48A2、及び制御部48A3として動作する。
合焦位置演算部48A1は、連写期間内で、本露光が行われる特定フレームにおいて、イメージセンサ16によって本露光を伴って合焦対象領域が撮像されることで得られた本露光画像データに基づいて、合焦対象領域に対するフォーカスレンズ40Bの合焦位置を演算する。合焦位置予測部48A2は、連写期間内で、合焦位置演算部48A1によって演算されて得られた合焦位置を参照して特定フレームよりも複数フレーム先の合焦対象領域に対するフォーカスレンズ40Bの合焦位置を予測する。制御部48A3は、モータドライバ58を介してモータ44を制御することで、イメージセンサ16による本露光の期間を回避して移動させる。また、制御部48A3は、合焦位置予測部48A2によって予測された合焦位置に向けてフォーカスレンズ40Bを移動させる。なお、ここで、特定フレームとは、連写期間内で本露光が行われる各フレームを指す。また、合焦対象領域は、本開示の技術に係る「特定被写体」の一例である。
一例として図10に示すように、撮像装置10によってライブビュー画像用撮像が行われる場合、制御部48A3は、先幕72Bの全開を指示する先幕開信号を先幕用ソレノイドドライバ62に出力し、かつ、後幕72Cの全開を指示する後幕開信号を後幕用ソレノイドドライバ64に出力する。先幕用ソレノイドドライバ62は、制御部48A3から入力された先幕開信号に応じて先幕用ソレノイドアクチュエータ66を制御することで、先幕72Bを全開させる。後幕用ソレノイドドライバ64は、制御部48A3から入力された後幕開信号に応じて後幕用ソレノイドアクチュエータ68を制御することで、後幕72Cを全開させる。
また、制御部48A3は、撮像タイミング信号を光電変換素子ドライバ56に出力し、光電変換素子ドライバ56は、制御部48A3から入力された撮像タイミング信号に従ってイメージセンサ16に対して露光を行わせる。イメージセンサ16によって露光されることで得られたデジタル画像データは画像メモリ50に記憶される。画像メモリ50には、デジタル画像データとして非位相差画像データ及び位相差画像データが記憶される。
一例として図11に示すように、撮像装置10によってライブビュー画像用撮像が行われると、制御部48A3は、画像メモリ50からライブビュー画像データとして非位相差画像データを取得する。制御部48A3は、ライブビュー画像データにより示される画像をライブビュー画像としてディスプレイ26に対して表示させる。
ライブビュー画像用撮像期間から連写開始タイミングが到来するまでの間に、合焦位置演算部48A1は、画像メモリ50から最新の位相差画像データを取得し、取得した位相差画像データに基づいて合焦対象領域に関する被写体距離を測定する。そして、合焦位置演算部48A1は、測定した被写体距離に基づいてAF演算を行うことで、合焦対象領域に対するフォーカスレンズ40Bの現在の合焦位置(以下、「現在合焦位置」と称する)を導出する。
メモリ48Cには、合焦位置時系列情報が記憶されている。合焦位置時系列情報は、AF演算が行われる毎に得られた現在合焦位置の時系列を示す情報である。現在合焦位置の時系列は、例えば、直近の過去3回分のAF演算によって得られた現在合焦位置の時系列である。合焦位置演算部48A1は、現在合焦位置を導出する毎に、導出して得た最新の現在合焦位置をメモリ48Cに記憶させることで合焦位置時系列情報を更新する。なお、現在合焦位置は、本開示の技術に係る「第1合焦位置」の一例である。また、ここでは、現在合焦位置の時系列として、直近の過去3回分のAF演算によって得られた現在合焦位置の時系列を例示しているが、これはあくまでも一例に過ぎず、現在合焦位置の時系列は、過去の複数回分のAF演算によって得られた現在合焦位置の時系列であればよく、過去の複数回分のAF演算が、現時点に近い期間に行われた複数回分のAF演算であれば更によい。
合焦位置予測部48A2は、イメージセンサ16による連写が開始される前段階で、連写の1フレーム目の合焦対象領域に対するフォーカスレンズ40Bの合焦位置を予測する。具体的に説明すると、合焦位置予測部48A2は、メモリ48Cから合焦位置時系列情報を取得し、取得した合焦位置時系列情報に基づいて、連写が開始された場合の1フレーム目の合焦対象領域に対するフォーカスレンズ40Bの合焦位置(以下、「連写開始時合焦位置」とも称する)を予測する。ここで、連写開始時合焦位置は、本開示の技術に係る「第3合焦位置」の一例である。
制御部48A3は、合焦位置予測部48A2によって予測された合焦位置へのフォーカスレンズ40Bの移動を指示するレンズ移動信号を生成してモータドライバ58に出力する。図11に示す例では、合焦位置予測部48A2によって連写開始時合焦位置が予測されるので、制御部48A3によって生成されて出力されるレンズ移動信号は、合焦位置予測部48A2によって予測された連写開始時合焦位置へのフォーカスレンズ40Bの移動を指示する信号である。モータドライバ58は、制御部48A3から入力されたレンズ移動信号に応じてスライド機構42を作動させることで、連写開始時合焦位置に向けてフォーカスレンズ40Bを光軸OAに沿って移動させる。
一例として図12に示すように、連写開始タイミングが到来した場合、制御部48A3は、上述した先幕閉信号を先幕用ソレノイドドライバ62に出力する。先幕用ソレノイドドライバ62は、制御部48A3から入力された先幕閉信号に応じて先幕用ソレノイドアクチュエータ66を制御することで、先幕72Bの巻き上げを開始し、メカニカルシャッタ72を全開状態から先幕閉状態へ遷移させる。また、制御部48A3は、ディスプレイ26のライブビュー画像を非表示することを示す非表示制御信号をディスプレイ26に出力することで、ディスプレイ26に対してライブビュー画像を非表示させる。これにより、ディスプレイ26の画面内のうちのライブビュー画像が表示される表示画面はブラックアウトされる。
一例として図13に示すように、ストレージ48Bには、F値が記憶されている。ストレージ48Bに記憶されているF値は、撮像装置10に対して与えられた条件(例えば、受付デバイス80によって受け付けられた指示、及び/又は、ライブビュー画像の明るさ等)に応じて更新される可変値である。なお、ストレージ48Bに記憶されているF値は、変更不可な固定値であってもよい。
メカニカルシャッタ72が全開状態から先幕閉状態への遷移している間に、制御部48A3は、ストレージ48BからF値を取得し、取得したF値に基づいて、絞り40Cの開口の大きさを制御するF値制御信号を生成してモータドライバ60に出力する。F値制御信号は、絞り40Cの開口の大きさを、ストレージ48Bから制御部48A3によって取得された最新のF値に対応する大きさに制御する信号である。モータドライバ60は、制御部48A3から入力されたF値制御信号に従ってモータ46を制御することで絞り40Cの開口の大きさを制御する。
一方、合焦位置予測部48A2は、メモリ48Cから合焦位置時系列情報を取得し、取得した合焦位置時系列情報に基づいて、先のフレームの合焦対象領域に対するフォーカスレンズ40Bの合焦位置(以下、「先フレーム合焦位置」とも称する)を予測する。図15に示す例では、先フレーム合焦位置として、1フレーム先の合焦対象領域に対するフォーカスレンズ40Bの合焦位置(連写の2フレーム目の本露光が開始されるタイミングでの合焦対象領域に対するフォーカスレンズ40Bの合焦位置)が合焦位置予測部48A2によって予測される。ここで、1フレーム先の合焦対象領域に対するフォーカスレンズ40Bの合焦位置は、本開示の技術に係る「第4合焦位置」の一例である。
合焦位置予測部48A2は、予測した先フレーム合焦位置をメモリ48Cに対して記憶させる。メモリ48Cに記憶される先フレーム合焦位置は、合焦位置予測部48A2によって先フレーム合焦位置が予測される毎に、最新の先フレーム合焦位置に更新される。
連写の1フレーム目の本露光が開始されるまでの間、制御部48A3は、最新の先フレーム合焦位置(例えば、連写の現フレームが連写の1フレーム目であれば、連写の2フレーム目の本露光が開始されるタイミングでの合焦対象領域に対するフォーカスレンズ40Bの合焦位置)に応じたレンズ移動信号を生成してモータドライバ58に出力する。ここで、制御部48A3によって生成されて出力されるレンズ移動信号は、最新の先フレーム合焦位置へのフォーカスレンズ40Bの移動を指示する信号である。モータドライバ58は、制御部48A3から入力されたレンズ移動信号に応じてスライド機構42を作動させることで最新の先フレーム合焦位置に向けてフォーカスレンズ40Bを光軸OAに沿って移動させる。
なお、制御部48A3による最新の先フレーム合焦位置に基づくレンズ移動信号の出力は、連写の現フレーム(例えば、連写の1フレーム目)の本露光期間を除いて、連写の現フレーム(例えば、連写の1フレーム目)において次々回の連写のフレーム(例えば、連写の3フレーム目)に向けての先フレーム合焦位置の予測が完了するまで継続される(図16参照)。
連写期間のうちの本露光が行われる期間(以下、「本露光期間」とも称する)では、一例として図14に示すように、制御部48A3は、上述した先幕閉信号を先幕用ソレノイドドライバ62に出力し、先幕閉信号を出力してから、事前に定められたシャッタスピードに応じた時間だけ遅延させて後幕閉信号を後幕用ソレノイドドライバ64に出力する。後幕閉信号は、後幕72Cで開口72A1を閉じることを指示する信号である。
先幕用ソレノイドドライバ62は、制御部48A3から入力された先幕閉信号に応じて先幕用ソレノイドアクチュエータ66を制御することで先幕72Bの引き下ろしを開始する。後幕用ソレノイドドライバ64は、制御部48A3から入力された後幕閉信号に応じて後幕用ソレノイドアクチュエータ68を制御することで後幕72Cの引き下ろしを開始する。これにより、メカニカルシャッタ72は先幕閉状態から後幕閉状態へ遷移する。メカニカルシャッタ72が先幕閉状態から後幕閉状態への遷移している間、制御部48A3は、光電変換素子ドライバ56に撮像タイミング信号を出力し、光電変換素子ドライバ56は、制御部48A3から入力された撮像タイミング信号に応じて、イメージセンサ16に対して本露光を行わせる。
連写の1フレーム目の本露光が開始されるタイミングが到来すると、フォーカスレンズ40Bが連写開始時合焦位置に到達していなかったとしても、一例として図15に示すように、制御部48A3は、フォーカスレンズ40Bの停止を指示するレンズ停止信号をモータドライバ58に出力する。モータドライバ58は、制御部48A3から入力されたレンズ停止信号に応じてモータ44を制御することでフォーカスレンズ40Bを停止させる。
連写の1フレーム目の本露光期間が終了した時点で、メカニカルシャッタ72は後幕閉状態である。そこで、次のライブビュー画像用撮像を開始するための準備段階として、一例として図16に示すように、制御部48A3は、先幕閉信号を先幕用ソレノイドドライバ62に出力する。先幕用ソレノイドドライバ62は、制御部48A3から入力された先幕閉信号に応じて先幕用ソレノイドアクチュエータ66を制御することで先幕72Bの巻き上げを開始する。また、先幕72Bの巻き上げが完了すると、制御部48A3は、後幕閉信号を後幕用ソレノイドドライバ64に出力する。後幕用ソレノイドドライバ64は、制御部48A3から入力された後幕閉信号に応じて後幕用ソレノイドアクチュエータ68を制御することで後幕72Cの巻き上げを開始する。後幕72Cの巻き上げが完了すると、メカニカルシャッタ72は先幕閉状態となる。
また、連写の1フレーム目の本露光期間が終了してからメカニカルシャッタ72が先幕閉状態に至るまでの間に、制御部48A3は、イメージセンサ16から画像メモリ50を介して非位相差画像データを取得し、取得した非位相差画像データをストレージ48Bに対して記憶させる。
また、連写の1フレーム目の本露光期間が終了してからメカニカルシャッタ72が先幕閉状態に至るまでの間に、制御部48A3は、イメージセンサ16から画像メモリ50を介して位相差画像データを本露光画像データとして取得し、取得した本露光画像データをメモリ48Cに対して記憶させる。
また、制御部48A3は、最新の先フレーム合焦位置(例えば、連写の現フレームが連写の1フレーム目であれば、連写の2フレーム目の本露光が開始されるタイミングでの合焦対象領域に対するフォーカスレンズ40Bの合焦位置)に応じたレンズ移動信号を生成してモータドライバ58に出力する。モータドライバ58は、制御部48A3から入力されたレンズ移動信号に応じてスライド機構42を作動させることで最新の先フレーム合焦位置に向けてフォーカスレンズ40Bを光軸OAに沿って移動させる。制御部48A3による最新の先フレーム合焦位置に基づくレンズ移動信号の出力は、連写の現フレーム(例えば、連写の1フレーム目)の本露光期間を除いて、連写の現フレーム(例えば、連写の1フレーム目)において次々回の連写のフレーム(例えば、連写の3フレーム目)に向けての先フレーム合焦位置の予測が完了するまで継続される。
メカニカルシャッタ72が先幕閉状態に至ると、連写の1フレーム目のライブビュー画像用撮像が開始される。連写の各フレームでは、3フレーム分のライブビュー画像用撮像が行われる。連写の1フレーム目のライブビュー画像用撮像が行われる期間では、撮像装置10によって、図10に示す例と同様の処理が行われる。
また、一例として図17に示すように、連写の1フレーム目のライブビュー画像用撮像が行われる間、合焦位置演算部48A1は、メモリ48Cから位相差画像データを取得する。合焦位置演算部48A1は、取得した位相差画像データに基づいてAF演算を行って現在合焦位置を導出する。そして、合焦位置演算部48A1は、図11に示す例と同様に、導出した現在合焦位置をメモリ48Cに対して記憶させることで、メモリ48C内の合焦位置時系列情報を更新する。
なお、連写の2フレーム目以降も、現在合焦位置がメモリ48Cに記憶されることによってメモリ48C内の合焦位置時系列情報が更新される。2フレーム目以降に更新されて得られた合焦位置時系列情報には、最新の本露光が行われた最新フレームでAF演算して得た現在合焦位置と、最新フレームと時間的に隣接する過去フレームでAF演算して得た現在合焦位置とが含まれる。なお、例えば、Nを2以上の自然数としたとき、最新フレームがN番目のフレームであれば、過去フレームとは、N-1番目のフレームを指す。
連写の1フレーム目のライブビュー画像用撮像が行われる間、合焦位置予測部48A2は、複数フレーム分の現在合焦位置を参照して先フレーム合焦位置を予測する。ここでは、合焦位置時系列情報が複数フレーム分の現在合焦位置に相当する。従って、合焦位置予測部48A2は、メモリ48Cから合焦位置時系列情報を取得し、取得した合焦位置時系列情報に基づいて先フレーム合焦位置を予測する。ここでは、先フレーム合焦位置として、連写の2フレーム先の合焦対象領域に対するフォーカスレンズ40Bの合焦位置が合焦位置予測部48A2によって予測される。合焦位置予測部48A2は、予測した先フレーム合焦位置をメモリ48Cに対して記憶させることで、メモリ48C内の先フレーム合焦位置を更新する。ここで、合焦位置予測部48A2によって予測される先フレーム合焦位置、すなわち、連写の2フレーム先の合焦対象領域に対するフォーカスレンズ40Bの合焦位置は、本開示の技術に係る「第2合焦位置」の一例である。
連写の1フレーム目のライブビュー画像用撮像が行われる期間では、CPU48Aの制御下でイメージセンサ16によって3フレーム分のライブビュー画像用撮像が行われる。また、図11に示す例と同様に、ライブビュー画像がディスプレイ26に表示される。連写の1フレーム目のライブビュー画像用撮像が行われる期間では、3フレーム分のライブビュー画像用撮像が行われるので、3フレーム分のライブビュー画像がディスプレイ26に表示される。また、連写の2フレーム目以降においも、連写の1フレーム目と同様に、3フレーム分のライブビュー画像用撮像が行われる。すなわち、連写間隔内で、3フレーム分のライブビュー画像用撮像が行われる。ここでは、3フレーム分のライブビュー画像用撮像が例示されているが、1フレーム分のライブビュー画像用撮像であってもよいし、2フレーム分のライブビュー画像用撮像であってもよいし、4フレーム以上のライブビュー画像用撮像であってもよい。
このように、連写間隔内、すなわち、連写のフレーム毎に、イメージセンサ16によって3フレーム分のライブビュー画像用撮像が行われる。そして、合焦位置演算部48A1によるAF演算が行われる。AF演算が行われると、メモリ48C内の合焦位置時系列情報が更新される。また、先フレーム合焦位置の予測が行われる毎に、メモリ48C内の先フレーム合焦位置も更新される。連写の2フレーム目以降も、フレーム毎に同様の処理が行われる。なお、連写の2フレーム目以降で更新された合焦位置時系列情報は、本開示の技術に係る「複数の第1合焦位置」の一例である。
制御部48A3は、メモリ48Cから最新の先フレーム合焦位置を取得し、取得した先フレーム合焦位置に応じたレンズ移動信号を生成してモータドライバ58に出力する。ここで、制御部48A3によって生成されて出力されるレンズ移動信号は、最新の先フレーム合焦位置へのフォーカスレンズ40Bの移動を指示する信号である。ここで、最新の先フレーム合焦位置とは、連写の2フレーム先(連写用の本露光が行われる2フレーム先)の合焦対象領域に対するフォーカスレンズ40Bの合焦位置を指す。従って、ライブビュー画像用撮像が行われる期間において、モータドライバ58は、制御部48A3から入力されたレンズ移動信号に応じてスライド機構42を作動させることで、最新の先フレーム合焦位置に向けてフォーカスレンズ40Bを光軸OAに沿って移動させる。
また、制御部48A3による最新の先フレーム合焦位置に基づくレンズ移動信号の出力は、次フレームの本露光の開始まで継続される。例えば、現在の連写のフレームが1フレーム目であれば、連写の2フレーム目の本露光の開始まで、制御部48A3による最新の先フレーム合焦位置に基づくレンズ移動信号の出力は継続される。そして、次フレームの本露光期間終了後に、制御部48A3による最新の先フレーム合焦位置に基づくレンズ移動信号の出力は、再開されて、次フレームでの先フレーム合焦位置の予測が完了するまで継続される。現在の連写のフレームが1フレーム目であれば、2フレーム目の本露光期間終了後に、制御部48A3による最新の先フレーム合焦位置に基づくレンズ移動信号の出力が再開されて、2フレーム目での先フレーム合焦位置の予測が完了するまで継続される。
連写の2フレーム目でも、先ず、一例として図12に示すように、メカニカルシャッタ72が先幕閉状態となる。連写の3フレーム目以降も同様である。連写の2フレーム以降の本露光期間では、一例として図18に示すように、制御部48A3は、図14に示す例と同様に、先幕用ソレノイドアクチュエータ66を作動させることで先幕72Bの引き下ろしを開始してから、遅れて後幕用ソレノイドアクチュエータ68を作動させることで後幕72Cの引き下ろしを開始する。
本露光が開始されるタイミングが到来した場合、最新の先フレーム合焦位置にフォーカスレンズ40Bが到達していなかったとしても、制御部48A3は、図15に示す例と同様に、モータドライバ58にレンズ停止信号を出力する。モータドライバ58は、制御部48A3から入力されたレンズ停止信号に応じてモータ44を制御することでフォーカスレンズ40Bを停止させる。
次に、撮像装置10の作用について図19A~図19Dを参照しつつ説明する。
図19A~図19Dには、CPU48Aによって実行される合焦制御処理の流れの一例が示されている。なお、以下では、説明の便宜上、撮像装置10に対して撮像モードが設定されている状態を前提として説明する。また、以下では、説明の便宜上、レリーズボタン18が全押し状態とされることで連写が開始されることを前提として説明する。また、以下では、説明の便宜上、ライブビュー画像用撮像が行われる前提としてメカニカルシャッタ72が全開状態であることを前提として説明する。また、以下では、説明の便宜上、ライブビュー画像用撮像のフレームレートは60fpsであり、連写のフレームレートは8fpsであることを前提として説明する。
図19Aに示す合焦制御処理では、先ず、ステップST100で、制御部48A3は、ライブビュー画像用撮像タイミングが到来したか否かを判定する。ライブビュー画像用撮像タイミングとは、例えば、ライブビュー画像用撮像のフレームレートによって規定された時間間隔毎のタイミングを指す。ステップST100において、ライブビュー画像用撮像タイミングが到来していない場合は、判定が否定されて、合焦制御処理はステップST114へ移行する。ステップST100において、ライブビュー画像用撮像タイミングが到来した場合は、判定が肯定されて、合焦制御処理はステップST102へ移行する。
ステップST102で、制御部48A3は、イメージセンサ16に対してライブビュー画像用撮像を行わせ、その後、合焦制御処理はステップST104へ移行する。イメージセンサ16によってライブビュー画像用撮像が行われることで得られた非位相差画像データ及び位相差画像データは画像メモリ50に記憶される。非位相差画像データにより示される画像はライブビュー画像としてディスプレイ26に表示される。
ステップST104で、合焦位置演算部48A1は、画像メモリ50から最新の位相差画像データを取得し、その後、合焦制御処理はステップST106へ移行する。
ステップST106で、合焦位置演算部48A1は、ステップST104で取得した位相差画像データに基づいてAF演算を行うことで現在合焦位置を導出し、その後、合焦制御処理はステップST108へ移行する。
ステップST108で、合焦位置演算部48A1は、ステップST106で導出した現在合焦位置をメモリ48Cに対して記憶させることで合焦位置時系列情報を更新し、その後、合焦制御処理はステップST110へ移行する。
ステップST110で、合焦位置予測部48A2は、メモリ48Cから合焦位置時系列情報を取得し、取得した合焦位置時系列情報に基づいて連写開始時合焦位置を予測し、その後、合焦制御処理はステップST112へ移行する。
ステップST112で、制御部48A3は、モータドライバ58を介してモータ44を制御することで、ステップST110で予測された連写開始時合焦位置に向けてフォーカスレンズ40Bの移動を開始させ、その後、合焦制御処理はステップST114へ移行する。
ステップST114で、制御部48A3は、連写開始タイミングが到来したか否かを判定する。ステップST114において、連写開始タイミングが到来していない場合は、判定が否定されて、合焦制御処理はステップST100へ移行する。ステップST114において、連写開始タイミングが到来した場合は、判定が肯定されて、合焦制御処理はステップST116へ移行する。
ステップST116で、制御部48A3は、先幕用ソレノイドドライバ62を介して先幕用ソレノイドアクチュエータ66を制御することで先幕72Bの巻き上げを開始してメカニカルシャッタ72の全開状態から先幕閉状態への遷移を開始させ、その後、合焦制御処理はステップST118へ移行する。
ステップST118で、合焦位置予測部48A2は、メモリ48Cから合焦位置時系列情報を取得し、取得した合焦位置時系列情報に基づいて先フレーム合焦位置を予測し、その後、合焦制御処理は、図19Bに示すステップST120へ移行する。なお、本ステップST118で予測される先フレーム合焦位置は、連写の2フレーム目の本露光が開始されるタイミングでの合焦対象領域に対するフォーカスレンズ40Bの合焦位置である。
図19Bに示すステップST120で、制御部48A3は、メカニカルシャッタ72が先幕閉状態か否かを判定する。ステップST120において、メカニカルシャッタ72が先幕閉状態でない場合は、判定が否定されて、ステップST120の判定が再び行われる。ステップST120において、メカニカルシャッタ72が先幕閉状態の場合は、判定が肯定されて、合焦制御処理はステップST122へ移行する。
ステップST122で、制御部48A3は、絞り40Cの現時点のF値が既定値でないか否かを判定する。ここで、既定値とは、例えば、ストレージ48Bに記憶されているF値を指す。ステップST122において、絞り40Cの現時点のF値が既定値の場合は、判定が否定されて、合焦制御処理はステップST124へ移行する。ステップST120において、絞り40Cの現時点のF値が既定値でない場合は、判定が肯定されて、合焦制御処理はステップST123へ移行する。
ステップST123で、制御部48A3は、モータ46を制御することで絞り40CのF値を既定値に設定し、その後、合焦制御処理はステップST124へ移行する。
ステップST124で、制御部48A3は、モータドライバ58を介してモータ44を制御することでフォーカスレンズ40Bを停止させ、その後、合焦制御処理はステップST126へ移行する。
ステップST126で、制御部48A3は、先幕用ソレノイドドライバ62を介して先幕用ソレノイドアクチュエータ66を作動させることで先幕72Bの引き下ろしを開始してから、遅れて後幕用ソレノイドドライバ64を介して後幕用ソレノイドアクチュエータ68を作動させることで後幕72Cの引き下ろしを開始する。これにより、メカニカルシャッタ72が先幕72B及び後幕72Cによって開放され、イメージセンサ16によって本露光が開始される。
次のステップST128で、制御部48A3は、イメージセンサ16による本露光が終了したか否かを判定する。ステップST128において、イメージセンサ16による本露光が終了していない場合は、判定が否定されて、ステップST128の判定が再び行われる。ステップST128において、イメージセンサ16による本露光が終了した場合は、判定が肯定されて、合焦制御処理はステップST130へ移行する。
ステップST130で、制御部48A3は、信号処理回路74に対して、非位相差画像データを画像メモリ50に出力させる。これにより、画像メモリ50には非位相差画像データが記憶される。そして、制御部48A3は、画像メモリ50から非位相差画像データを読み出し、読み出した非位相差画像データをストレージ48Bに対して記憶させる。また、制御部48A3は、信号処理回路74に対して、位相差画像データを画像メモリ50に出力させる。これにより、画像メモリ50には位相差画像データが記憶される。そして、制御部48A3は、画像メモリ50から位相差画像データを読み出し、読み出した位相差画像データを本露光画像データとしてメモリ48Cに対して記憶させ、その後、合焦制御処理はステップST132へ移行する。
ステップST132で、合焦位置演算部48A1は、メモリ48Cから最新の本露光画像データを取得し、その後、合焦制御処理はステップST134へ移行する。
ステップST134で、合焦位置演算部48A1は、ステップST132で取得した本露光画像データに基づいてAF演算を開始し、その後、ステップST136へ移行する。
本露光が終了した時点で、メカニカルシャッタ72は後幕閉状態である。そこで、ステップST136で、制御部48A3は、メカニカルシャッタ72の後幕閉状態から先幕閉状態への遷移を開始させる。具体的には、先ず、制御部48A3は、先幕用ソレノイドドライバ62を介して先幕用ソレノイドアクチュエータ66を制御することで先幕72Bを巻き上げる。先幕72Bの巻き上げが完了すると、制御部48A3は、後幕用ソレノイドドライバ64を介して後幕用ソレノイドアクチュエータ68を制御することで後幕72Cを巻き上げる。後幕72Cの巻き上げが完了すると、メカニカルシャッタ72が先幕閉状態となる。ステップST136の処理の実行された後、合焦制御処理は、図19Cに示すステップST138へ移行する。
図19Cに示すステップST138で、制御部48A3は、メカニカルシャッタ72が先幕閉状態であるか否かを判定する。ステップST138において、メカニカルシャッタ72が先幕閉状態でない場合は、判定が否定されて、ステップST138の判定が再び行われる。ステップST138において、メカニカルシャッタ72が先幕閉状態の場合は、判定が肯定されて、合焦制御処理はステップST140へ移行する。
ステップST140で、制御部48A3は、メカニカルシャッタ72の先幕閉状態から全開状態への遷移を開始させる。すなわち、制御部48A3は、先幕用ソレノイドドライバ62を介して先幕用ソレノイドアクチュエータ66を制御することで先幕72Bの引き下ろしを開始し、その後、合焦制御処理はステップST142へ移行する。
ステップST142で、メカニカルシャッタ72が全開状態であるか否かを判定する。ステップST142において、メカニカルシャッタ72が全開状態でない場合は、判定が否定されて、ステップST142の判定が再び行われる。ステップST142において、メカニカルシャッタ72が全開状態の場合は、判定が肯定されて、合焦制御処理はステップST144へ移行する。
ステップST144で、制御部48A3は、上述したライブビュー画像用撮像タイミングが到来したか否かを判定する。ステップST144において、ライブビュー画像用撮像タイミングが到来していない場合は、判定が否定されて、ステップST144の判定が再び行われる。ステップST144において、ライブビュー画像用撮像タイミングが到来した場合は、判定が肯定されて、合焦制御処理はステップST146へ移行する。
ステップST146で、制御部48A3は、イメージセンサ16に対してライブビュー画像用撮像を行わせ、その後、合焦制御処理はステップST148へ移行する。イメージセンサ16によってライブビュー画像用撮像が行われることで得られた非位相差画像データ及び位相差画像データは画像メモリ50に記憶される。非位相差画像データにより示される画像はライブビュー画像としてディスプレイ26に表示される。
ステップST148で、制御部48A3は、ステップST134で開始されたAF演算が完了したか否かを判定する。ステップST148において、AF演算が完了していない場合は、判定が否定されて、合焦制御処理はステップST156へ移行する。ステップST148において、AF演算が完了した場合は、判定が肯定されて、合焦制御処理はステップST150へ移行する。
ステップST150で、合焦位置演算部48A1は、AF演算を行うことで得た現在合焦位置をメモリ48Cに対して記憶させることで合焦位置時系列情報を更新し、その後、合焦制御処理はステップST152へ移行する。
ステップST152で、合焦位置演算部48A1は、メモリ48Cから合焦位置時系列情報を取得し、その後、合焦制御処理はステップST154へ移行する。
ステップST154で、合焦位置演算部48A1は、ステップST152で取得した合焦位置時系列情報に基づいて、先フレーム合焦位置として、連写の2フレーム先の合焦位置を予測し、その後、合焦制御処理はステップST156へ移行する。本ステップST152で合焦位置予測部48A2によって予測された先フレーム合焦位置はメモリ48Cに記憶され、メモリ48C内の先フレーム合焦位置が更新される。
ステップST156で、制御部48A3は、ステップST142の判定が肯定されてから現時点までの間にステップST146のライブビュー画像用撮像が行われたフレーム数(以下、「ライブビューフレーム数」と称する)が既定フレーム数に達したか否かを判定する。ここでは、既定フレーム数として、3フレームが採用されている。ステップST156において、ライブビューフレーム数が既定フレーム数未満の場合は、判定が否定されて、合焦制御処理はステップST144へ移行する。ステップST156において、ライブビューフレーム数が既定フレーム数に達した場合は、判定が肯定されて、合焦制御処理はステップST158へ移行する。
ステップST158で、制御部48A3は、メモリ48Cから最新の先フレーム合焦位置を取得し、モータドライバ58を介してモータ44を制御することで、最新の先フレーム合焦位置に向けてフォーカスレンズ40Bの移動を開始させ、その後、合焦制御処理は、図19Dに示すステップST160へ移行する。
図19Dに示すステップST160で、制御部48A3は、先幕用ソレノイドドライバ62を介して先幕用ソレノイドアクチュエータ66を制御することで先幕72Bの巻き上げを開始してメカニカルシャッタ72の全開状態から先幕閉状態への遷移を開始させ、その後、合焦制御処理はステップST162へ移行する。
ステップST162で、制御部48A3は、メカニカルシャッタ72が先幕閉状態か否かを判定する。ステップST162において、メカニカルシャッタ72が先幕閉状態でない場合は、判定が否定されて、ステップST162の判定が再び行われる。ステップST162において、メカニカルシャッタ72が先幕閉状態の場合は、判定が肯定されて、合焦制御処理はステップST164へ移行する。
ステップST164で、制御部48A3は、絞り40Cの現時点のF値が既定値でないか否かを判定する。ステップST164において、絞り40Cの現時点のF値が既定値の場合は、判定が否定されて、合焦制御処理はステップST168へ移行する。ステップST164において、絞り40Cの現時点のF値が既定値でない場合は、判定が肯定されて、合焦制御処理はステップST166へ移行する。
ステップST166で、制御部48A3は、モータ46を制御することで絞り40CのF値を既定値に設定し、その後、合焦制御処理はステップST168へ移行する。
ステップST168で、制御部48A3は、モータドライバ58を介してモータ44を制御することでフォーカスレンズ40Bを停止させ、その後、合焦制御処理はステップST170へ移行する。
ステップST170で、制御部48A3は、先幕用ソレノイドドライバ62を介して先幕用ソレノイドアクチュエータ66を作動させることで先幕72Bの引き下ろしを開始してから、遅れて後幕用ソレノイドドライバ64を介して後幕用ソレノイドアクチュエータ68を作動させることで後幕72Cの引き下ろしを開始する。これにより、メカニカルシャッタ72が先幕72B及び後幕72Cによって開放され、イメージセンサ16によって本露光が開始される。
次のステップST172で、制御部48A3は、イメージセンサ16による本露光が終了したか否かを判定する。ステップST172において、イメージセンサ16による本露光が終了していない場合は、判定が否定されて、ステップST172の判定が再び行われる。ステップST172において、イメージセンサ16による本露光が終了した場合は、判定が肯定されて、合焦制御処理はステップST174へ移行する。
ステップST174で、制御部48A3は、信号処理回路74に対して、非位相差画像データを画像メモリ50に出力させる。これにより、画像メモリ50には非位相差画像データが記憶される。そして、制御部48A3は、画像メモリ50から非位相差画像データを読み出し、読み出した非位相差画像データをストレージ48Bに対して記憶させる。また、制御部48A3は、信号処理回路74に対して、位相差画像データを画像メモリ50に出力させる。これにより、画像メモリ50には位相差画像データが記憶される。そして、制御部48A3は、画像メモリ50から位相差画像データを読み出し、読み出した位相差画像データを本露光画像データとしてメモリ48Cに対して記憶させ、その後、合焦制御処理はステップST176へ移行する。
ステップST176で、制御部48A3は、合焦制御処理を終了する条件(以下、「終了条件」とも称する)を満足したか否かを判定する。終了条件の一例としては、レリーズボタン18の全押し状態が解除された、との条件が挙げられる。ステップST176において、終了条件を満足していない場合は、判定が否定されて、合焦制御処理は、図19Bに示すステップST132へ移行する。ステップST176において、終了条件を満足した場合は、判定が肯定されて、合焦制御処理が終了する。
以上説明したように、撮像装置10では、連写期間内で、本露光が行われる各フレームにおいて、イメージセンサ16によって本露光を伴って合焦対象領域が撮像されることで得られた本露光画像データに基づいて、合焦対象領域に対するフォーカスレンズ40Bの現在合焦位置が演算され、連写期間内で現在合焦位置に基づいて2フレーム先の合焦対象領域に対する先フレーム合焦位置が予測される。そして、フォーカスレンズ40Bが、本露光期間を回避しながら先フレーム合焦位置に向けて移動する。
例えば、Nを自然数としたとき、連写のNフレーム目の最後に先フレーム合焦位置(例えば、連写の2フレーム先の合焦位置)が予測された場合に、連写のNフレーム目の最後に先フレーム合焦位置の予測が完了した時点から、連写のN+1フレーム目の最後に先フレーム合焦位置(例えば、連写の2フレーム先の合焦位置)の予測が完了するまでの間、フォーカスレンズ40Bが、本露光期間を回避しながら最新の先フレーム合焦位置に向けて移動する。そのため、本実施形態に係る撮像装置10は、連写期間内で本露光が行われるフレーム毎に1フレーム先について予測された合焦位置に向けてフォーカスレンズ40Bが移動する場合に比べ、フォーカスレンズ40Bの移動距離を長く確保することができる。この結果、連写期間内で本露光が行われるフレーム毎に1フレーム先について予測された合焦位置に向けてフォーカスレンズ40Bが移動する場合に比べ、フォーカスレンズ40Bを、予測した先フレーム合焦位置に近付けることが可能となる。
従って、本構成によれば、合焦対象領域に対して連写が行われる場合に、連写の時間間隔を長くすることなく(連写用フレームレートを低くすることなく)、合焦対象領域に対してフォーカスレンズ40Bの合焦位置を追従させることができる。
また、撮像装置10では、連写期間内において、本露光が行われるフレーム毎に現在合焦位置が演算され、演算された現在合焦位置に基づいて2フレーム先の合焦対象領域に対する先フレーム合焦位置が予測される。従って、本構成によれば、複数回の本露光が行われてから現在合焦位置が演算され、演算された現在合焦位置に基づいて先フレーム合焦位置が予測される場合に比べ、合焦対象領域に対するフォーカスレンズ40Bの合焦位置の追従性を高めることができる。
また、撮像装置10では、連写期間内において、現在合焦位置が参照されて現在のフレームよりも2フレーム先の合焦位置が予測される。これにより、予測された2フレーム先の合焦位置に向けてフォーカスレンズ40Bを移動させることができる。従って、本構成によれば、現在のフレームよりも1フレーム分先の合焦位置が予測され、予測された合焦位置に向けてフォーカスレンズ40Bを移動させる場合に比べ、予測した合焦位置にフォーカスレンズ40Bを到達させ易くすることができる。なお、演算された現在合焦位置に基づいて3フレーム以上先の合焦位置が予測されるようにしてもよく、この場合も、同様の効果が得られる。
また、撮像装置10では、連写期間内において本露光が行われるフレーム毎に先フレーム合焦位置が予測される。従って、本構成によれば、本露光が行われるフレーム毎に先フレーム合焦位置が予測されない場合に比べ、合焦対象領域に対するフォーカスレンズ40Bの追従性を高めることができる。
また、撮像装置10では、連写期間内において予測された最新の先フレーム合焦位置に向けてフォーカスレンズ40Bを移動させている。従って、本構成によれば、最新の先フレーム合焦位置よりも過去に予測されて得られた先フレーム合焦位置に向けてフォーカスレンズ40Bを移動させる場合に比べ、合焦対象領域に対して精度良くピントを合わせることができる。
また、撮像装置10では、合焦位置時系列情報に基づいてAF演算が行われ、AF演算が行われることで得られた現在合焦位置が参照されて先フレーム合焦位置が予測される。合焦位置時系列情報は、現在合焦位置の時系列を示す情報である。つまり、先フレーム合焦位置は、複数フレーム分の現在合焦位置が参照されて予測される。従って、本構成によれば、1フレーム分の現在合焦位置を参照して先フレーム合焦位置が予測される場合に比べ、先フレーム合焦位置の予測精度を高めることができる。
また、撮像装置10では、連写のフレーム毎にAF演算が行われ、AF演算が行われることによって得られた現在合焦位置がメモリ48Cに記憶されることによって合焦位置時系列情報が更新される。そのため、連写の2フレーム目以降に更新されて得られた合焦位置時系列情報には、最新の本露光が行われた最新フレームでAF演算して得た現在合焦位置と、最新フレームと時間的に隣接する過去フレームでAF演算して得た現在合焦位置とが含まれる。そして、撮像装置10では、合焦位置時系列情報が参照されて先フレーム合焦位置が予測される。従って、本構成によれば、最新の本露光よりも過去に行われた本露光のフレームでAF演算して得た複数の現在合焦位置のみが参照されて先フレーム合焦位置(例えば、連写の2フレーム分先の合焦位置)が予測される場合に比べ、先フレーム合焦位置(例えば、連写の2フレーム分先の合焦位置)の予測精度を高めることができる。
また、撮像装置10では、連写間隔内(連写のフレーム間)でライブビュー画像用撮像が行われる。従って、本構成によれば、連写中であってもライブビュー画像を得ることができる。
また、撮像装置10では、連写間隔内(連写のフレーム間)で、3フレーム分のライブビュー画像用撮像が行われる。そして、3フレーム分のライブビュー画像用撮像が行われる間にもAF演算が継続して行われ、フォーカスレンズ40Bが、ライブビュー画像用撮像が行われる期間を利用して、先フレーム合焦位置に向けて移動する。従って、本構成によれば、ライブビュー画像用撮像期間の終了を待ってからフォーカスレンズ40Bを移動させる場合に比べ、フォーカスレンズ40Bを長距離移動させることができる。
また、撮像装置10では、位相差画像データに基づいて現在合焦位置が演算される。従って、本構成によれば、コントラストAF方式で現在合焦位置が演算される場合に比べ、迅速に現在合焦位置を演算することができる。
また、撮像装置10では、先フレーム合焦位置にフォーカスレンズ40Bが到達する前に、本露光の開始タイミングが到来した場合に、レンズ停止信号がモータドライバ58に出力される。これにより、フォーカスレンズ40Bが停止し、フォーカスレンズ40Bが停止した状態で本露光が開始される。従って、本構成によれば、本露光が開始されているときであってもフォーカスレンズ40Bを移動させる場合に比べ、フォーカスレンズ40Bの移動に起因する歪みが少ない画像を連写によって得ることができる。
また、撮像装置10では、イメージセンサ16による連写が開始される前段階で、連写開始時合焦位置が予測される。連写開始時合焦位置は、連写が開始された場合の1フレーム目の合焦対象領域に対するフォーカスレンズ40Bの合焦位置である。そして、フォーカスレンズ40Bは、連写の1フレーム目の本露光が開始される前に連写開始時合焦位置に向けて移動する。従って、本構成によれば、イメージセンサ16による連写の1フレーム目についても、合焦対象領域に対してピントを合わせることができる。
また、撮像装置10では、連写開始時合焦位置にフォーカスレンズ40Bが到達する前に、本露光の開始タイミングが到来した場合に、レンズ停止信号がモータドライバ58に出力される。これにより、フォーカスレンズ40Bが停止し、フォーカスレンズ40Bが停止した状態で本露光が開始される。従って、本構成によれば、イメージセンサ16による連写の1フレーム目の本露光が開始されているときであってもフォーカスレンズ40Bを移動させる場合に比べ、イメージセンサ16による連写のうちの1フレーム目の撮像によって、フォーカスレンズ40Bの移動に起因する歪みが少ない画像を得ることができる。
また、撮像装置10では、連写の1フレーム目において2フレーム先の合焦位置(3フレーム目の合焦位置)の予測が開始される前までに(図8に示す例では、ライブビュー画像用撮像期間が終了してから連写の1フレーム目の本露光が開始されるまでの間)、連写の2フレーム目の合焦対象領域に対するフォーカスレンズ40Bの先フレーム合焦位置が予測される。ここで予測される先フレーム合焦位置は、1フレーム先の合焦対象領域に対するフォーカスレンズ40Bの合焦位置、すなわち、連写の2フレーム目の合焦対象領域に対するフォーカスレンズ40Bの合焦位置である。そして、フォーカスレンズ40Bは、連写の2フレーム目の本露光が開始される前に先フレーム合焦位置に向けて移動する。従って、本構成によれば、イメージセンサ16による連写の2フレーム目についても、合焦対象領域に対してピントを合わせることができる。
更に、撮像装置10では、連写の2フレーム目の合焦位置として予測された先フレーム合焦位置にフォーカスレンズ40Bが到達する前に、本露光の開始タイミングが到来した場合に、レンズ停止信号がモータドライバ58に出力される。これにより、フォーカスレンズ40Bが停止し、フォーカスレンズ40Bが停止した状態で本露光が開始される。従って、本構成によれば、イメージセンサ16による連写の2フレーム目の本露光が開始されているときであってもフォーカスレンズ40Bを移動させる場合に比べ、イメージセンサ16による連写のうちの2フレーム目の撮像によって、フォーカスレンズ40Bの移動に起因する歪みが少ない画像を得ることができる。
なお、上記実施形態では、連写間隔内で3フレーム分のライブビュー画像用撮像が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、連写間隔内に1又は2フレーム分のライブビュー画像用撮像が行われるようにしてもよいし、4フレーム以上のライブビュー画像用撮像が行われるようにしてもよい。このように、制御部48C3は、連写間隔内でイメージセンサ16に対して少なくとも1フレーム分のライブビュー画像用撮像を行わせることで、連写間隔内にライブビュー画像用撮像が行われない場合に比べ、連写間隔が長くなる。これにより、連写が行われる毎にライブビュー画像が得られ、かつ、連写間隔も調整することが可能となる。
また、上記実施形態では、連写の1フレーム目において2フレーム先の合焦位置(3フレーム目の合焦位置)の予測が開始される前までに(図8に示す例では、ライブビュー画像用撮像期間が終了してから連写の1フレーム目の本露光が開始されるまでの間)、連写の2フレーム目の合焦対象領域に対するフォーカスレンズ40Bの先フレーム合焦位置が予測される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、イメージセンサ16による連写が開始される前段階(例えば、図8に示すライブビュー画像用撮像期間)に連写の2フレーム目の合焦対象領域に対するフォーカスレンズ40Bの先フレーム合焦位置が予測されるようにしてもよく、ここで予測された先フレーム合焦位置に向けてフォーカスレンズ40Bの移動を開始させるようにしてもよい。これにより、イメージセンサ16による連写の2フレーム目についても、合焦対象領域に対してピントを合わせることができる。また、連写の1フレーム目の本露光が行われている間に連写の2フレーム目の合焦対象領域に対するフォーカスレンズ40Bの先フレーム合焦位置が予測されるようにしてもよい。この場合も、同様の効果が期待できる。
また、上記実施形態では、例えば、メカニカルシャッタ72を全開状態から先幕閉状態に遷移させる場合に、先幕72B及び後幕72Cを巻き上げる期間もフォーカスレンズ40bを移動させる形態例を挙げて説明したが、本開示の技術はこれに限定されず、例えば、図20に示すように、制御部48A3は、モータドライバ58を介してモータ44を制御することで、先幕72B及び後幕72Cのうちの少なくとも一方の巻き上げに要する巻き上げ期間を回避してフォーカスレンズ40Bを移動させるようにしてもよい。従って、本構成によれば、巻き上げ期間にもフォーカスレンズ40Bの移動を継続させる場合に比べ、撮像装置10の消費電力を低減することができる。
また、巻き上げ期間を回避してフォーカスレンズ40Bを移動させる場合、一例として図21に示すように、制御部48A3は、制御部48A3と撮像レンズ40との間の通信タイムラグが考慮された既定の送信開始タイミングで、フォーカスレンズ40Bの移動を指示する指示信号を撮像レンズ40に送信するようにしてもよい。すなわち、制御部48A3は、メカニカルシャッタ72の巻き上げの終了よりも、制御部48A3と撮像レンズ40との間の通信タイムラグ分だけ早く指示信号を撮像レンズ40に送信するようにすればよい。なお、ここで、指示信号には、上述したレンズ移動信号と、レンズ移動信号に基づいてモータドライバ58によって生成されてモータ44に出力される信号とが含まれる。このように、メカニカルシャッタ72の巻き上げの終了よりも、制御部48A3と撮像レンズ40との間の通信タイムラグ分だけ早く指示信号を撮像レンズ40に送信することで、制御部48A3と撮像レンズ40との間の通信タイムラグを考慮せずに撮像レンズ40に指示信号が送信される場合に比べ、フォーカスレンズ40Bの移動時間を長く確保することができる。
また、上記実施形態では、ストレージ48Bに記憶されているF値の用途は限定されていないが、ストレージ48Bに記憶されているF値の用途は様々である。例えば、ストレージ48Bに記憶されているF値は、撮像用F値とAF用F値であってもよく、本露光期間に絞り40Cの大きさが制御部48A3によって撮像用F値により示される大きさとされ、AF演算が行われる期間、すなわち、ライブビュー画像用撮像が行われる期間に絞り40Cの大きさが制御部48A3によってAF用F値により示される大きさとされるようにしてもよい。
ライブビュー画像用撮像が行われる期間内では、ライブビュー画像用撮像が行われることによって得られた位相差画像データがAF演算に用いられるので、ピントの精度を高めるために、絞り40Cの開口は、本露光期間に用いられる開口の大きさよりも大きい方が好ましい。そこで、ストレージ48Bに対して、“本露光用の開口の大きさ(以下、「第1の大きさ」と称する)<AF演算用の開口の大きさ(以下、「第2の大きさ」と称する)”となるように定められた撮像用F値及びAF用F値を記憶させておく。撮像用F値は、第1の大きさを示すF値であり、AF用F値は、第2の大きさを示すF値である。
そして、一例として図22に示すように、連写の特定フレーム(例えば、各フレーム)において、本露光が開始される前段階で(例えば、メカニカルシャッタ72が全開状態から先幕閉状態に遷移している間に)、制御部48A3によってストレージ48B内の撮像用F値に従って絞り40Cの開口が第1の大きさに制御され、本露光期間が終了してからライブビュー画像用撮像が開始されるまでの間(例えば、デジタル画像データの読み出し期間)に、制御部48A3によってストレージ48B内のAF用F値に従って絞り40Cの開口が第2の大きさに制御される。従って、本構成によれば、ライブビュー画像用撮像期間内での絞り40Cの開口を本露光期間内での絞り40Cの開口よりも小さくする場合に比べ、本露光が行われることによって得られる画像の画質を高めることができる。
また、上記実施形態では、連写の2フレーム先の本露光時の合焦位置が合焦位置予測部48A2によって予測される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合焦位置予測部48A2は、イメージセンサ16による連写用フレームレートを高めるに従って、特定フレーム(例えば、連写の各フレーム)から、合焦位置を予測する先のフレームまでのフレーム数を増加させるようにしてもよい。例えば、図23に示すように、合焦位置予測部48A2は、合焦位置を予測する先を2フレーム先から3フレーム先に増加させてもよいし、合焦位置を予測する先を4フレーム以上先としてもよい。
このように、連写用フレームレートを高めるに従って、特定フレームから、合焦位置を予測する先のフレームまでのフレーム数を増加させる(例えば、2フレームから3フレーム以上に増加させる)ことで、連写用フレームレートを高めた場合であっても合焦対象領域に対してフォーカスレンズ40Bの合焦位置を追従させることができる。
また、上記実施形態では、連写間隔内でライブビュー画像がディスプレイ26に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図24にしめすように、ライブビュー画像に代えてポストビュー画像がディスプレイ26に表示されるようにしてもよい。この場合、先ず、制御部48A3は、連写期間において本露光が行われる毎に非位相差画像データをストレージ48Bに対して記憶(上書き)させてから、ストレージ48Bから最新の非位相差画像データを読み出す。そして、制御部48A3は、読み出した非位相差画像データに基づく画像(例えば、非位相差画像データにより示される画像、又は、非位相差画像データが加工されることで得られた画像データにより示される画像)をディスプレイ26に対して表示させるようにすればよい。なお、ここで、ストレージ48Bは、本開示の技術に係る「記憶媒体」の一例であり、非位相差画像データに基づく画像は、本開示の技術に係る「画像データに基づく画像」の一例である。
このように、連写間隔内でポストビュー画像がディスプレイ26に表示されることで、連写期間内の本露光が行われる毎に得られた非位相差画像データに基づく画像をユーザに対して視覚的に認識させることができる。
また、上記実施形態では、説明の便宜上、連写期間内のフレーム毎の本露光期間が一定であることを前提として説明したが、本開示の技術はこれに限定されず、本露光期間は変更されてもよい。ここで、例えば、本露光期間が閾値以上に延びた場合、制御部48A3は、連写間隔を長くすればよい。連写間隔を長くする方法としては、連写用フレームレートを低くする方法が挙げられる。また、例えば、図25に示すように、制御部48A3が、連写間隔内でのライブビュー画像用撮像のフレーム数を増やすことで連写間隔を長くするようにしてもよい。図25に示す例では、連写間隔内でのライブビュー画像用撮像のフレーム数が3フレーム(図8及び図20~図23参照)から6フレームに増えている。なお、図25に示す「閾値」は、本開示の技術に係る「第1閾値」の一例である。図25に示す閾値は、固定値であってもよいし、可変値であってもよい。
このように、本露光期間が閾値以上の延びた場合に、制御部48A3が、連写間隔を長くすることで、フォーカスレンズ40Bの移動時間を確保することができる。また、制御部48A3が、連写間隔内でのライブビュー画像用撮像のフレーム数を増やすことで連写間隔を長くすることで、フレーム数を増やさない場合に比べ、連写間隔内で得られたライブビュー画像をディスプレイ26に滑らかに表示させることができる。
また、上記実施形態では、制御部48A3が本露光期間を回避してフォーカスレンズ40Bを光軸OAに沿って移動させる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図26に示すように、制御部48A3は、フォーカスレンズ40Bを本露光期間も光軸OAに沿って移動させるようにしてもよい。この場合、制御部48A3は、本露光期間が閾値以上に延びたことを条件に、少なくとも本露光期間中、フォーカスレンズ40Bの移動速度を低くする。ここで、移動速度が低いとは、少なくとも本露光期間以外の期間でのフォーカスレンズ40Bの移動速度よりも低いことを意味する。これにより、フォーカスレンズ40Bの移動速度が常に最高速度である場合に比べ、連写期間内の本露光が行われることによって得られる画像に対して、フォーカスレンズ40Bの移動が与える影響を軽減することができる。
また、上記実施形態では、AF演算の演算期間が連写の1フレーム分の期間に収まる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図27に示すように、Nを自然数としたとき、連写のN+1フレーム目のAF演算の演算期間がN+2フレーム目の本露光の期間を超えてもよい。この場合、制御部48A3は、複数フレーム分先(図27に示す例では、Nフレーム目から3フレーム先)までの連写について、最新の先フレーム合焦位置(図27に示す例では、Nフレーム目に予測された先フレーム合焦位置)に向けてフォーカスレンズ40BをN+2フレーム目の本露光が行われる期間を跨いで分割して移動させるようにする。これにより、AF演算が1フレーム分の本露光が行われる期間を超えて行われる場合であっても、本露光が行われることによって得られる画像に対してフォーカスレンズ40Bの移動の影響を与えないようにすることができる。
また、上記実施形態では、非位相差画素区分領域30Nと位相差画素区分領域30Pとを併用する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、非位相差画素区分領域30N及び位相差画素区分領域30Pに代えて、位相差画像データと非位相差画像データとが選択的に生成されて読み出されるエリアセンサとしてもよい。この場合、エリアセンサには、複数の感光画素が2次元状に配列されている。エリアセンサに含まれる感光画素には、例えば、遮光部材を有しない独立した一対のフォトダイオードが用いられる。非位相差画像データが生成されて読み出される場合、感光画素の全領域(一対のフォトダイオード)によって光電変換が行われ、位相差画像データが生成されて読み出される場合(例えば、パッシブ方式の測距を行う場合)、一対のフォトダイオードのうちの一方のフォトダイオードによって光電変換が行われる。ここで、一対のフォトダイオードのうちの一方のフォトダイオードは、上記実施形態で説明した第1位相差画素Lに対応するフォトダイオードであり、一対のフォトダイオードのうちの一方のフォトダイオードは、上記実施形態で説明した第2位相差画素Rに対応するフォトダイオードである。なお、エリアセンサに含まれる全ての感光画素によって位相差画像データと非位相差画像データとが選択的に生成されて読み出されるようにしてもよいが、これに限らず、エリアセンサに含まれる一部の感光画素によって位相差画像データと非位相差画像データとが選択的に生成されて読み出されるようにしてもよい。
また、上記実施形態では、位相差画素Pとして像面位相差画素が例示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子30に含まれている位相差画素Pに代えて非位相差画素Nが配置されるようにし、複数の位相差画素Pが含まれる位相差AF板が光電変換素子30とは別体で撮像装置本体12に設けられるようにしてもよい。また、上記実施形態では、位相差画像データに基づく測距結果を利用したAF方式、すなわち、位相差AF方式を例示したが、本開示の技術はこれに限定されない。例えば、位相差AF方式に代えて、コントラストAF方式を採用してもよい。また、ステレオカメラから得られた一対の画像の視差を用いた測距結果に基づくAF方式、又は、レーザ光等によるTOF方式の測距結果を利用したAF方式を採用してもよい。
また、上記実施形態では、ローリングシャッタ方式による撮像方式を例示しているが、本開示の技術はこれに限定されず、グローバルシャッタ方式による撮像方式であってもよい。
また、上記実施形態では、メカニカルシャッタ72の一例としてフォーカルプレーンシャッタを挙げて説明したが、本開示の技術はこれに限定されず、フォーカルプレーンシャッタに代えて、レンズシャッタ等の他種類のメカニカルシャッタを適用しても本開示の技術は成立する。
また、上記実施形態では、数fpsのフレームレートに従って行われる連写を例示したが、本開示の技術はこれに限定されない。例えば、数十fps~数百fpsのフレームレートに従って行われる連写、すなわち、記録動画用の撮像に対しても本開示の技術は適用可能である。
また、上記実施形態では、ストレージ48Bに合焦制御処理プログラム84が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図28に示すように、合焦制御処理プログラム84が記憶媒体200に記憶されていてもよい。記憶媒体200は、非一時的記憶媒体である。記憶媒体200の一例としては、SSD又はUSBメモリなどの任意の可搬型の記憶媒体が挙げられる。
記憶媒体200に記憶されている合焦制御処理プログラム84は、コントローラ48にインストールされる。CPU48Aは、合焦制御処理プログラム84に従って合焦制御処理を実行する。
また、通信網(図示省略)を介してコントローラ48に接続される他のコンピュータ又はサーバ装置等の記憶部に合焦制御処理プログラム84を記憶させておき、上述の撮像装置10の要求に応じて合焦制御処理プログラム84がダウンロードされ、コントローラ48にインストールされるようにしてもよい。
なお、コントローラ48に接続される他のコンピュータ又はサーバ装置等の記憶部、又はストレージ48Bに合焦制御処理プログラム84の全てを記憶させておく必要はなく、合焦制御処理プログラム84の一部を記憶させておいてもよい。
図28に示す例では、撮像装置10にコントローラ48が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コントローラ48が撮像装置10の外部に設けられるようにしてもよい。
図28に示す例では、CPU48Aは、単数のCPUであるが、複数のCPUであってもよい。また、CPU48Aに代えてGPUを適用してもよい。
図28に示す例では、コントローラ48が例示されているが、本開示の技術はこれに限定されず、コントローラ48に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コントローラ48に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
上記実施形態で説明した合焦制御処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、合焦制御処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで合焦制御処理を実行する。
合焦制御処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、合焦制御処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、合焦制御処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、合焦制御処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、合焦制御処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の合焦制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
プロセッサと、
上記プロセッサに内蔵又は接続されたメモリと、を備え、
フォーカスレンズを含む撮像レンズにより光が結像されるイメージセンサによる本露光の期間を上記フォーカスレンズが上記プロセッサの指示に従って回避して移動し、かつ、上記イメージセンサによって既定の時間間隔で連続的に上記本露光が行われることで連写が行われる撮像装置に対して適用される制御装置であって、
上記プロセッサは、
連写期間内で、上記本露光が行われる特定フレームにおいて、上記イメージセンサによって上記本露光を伴って特定被写体が撮像されることで得られた画像データに基づいて、特定被写体に対する上記フォーカスレンズの第1合焦位置を演算し、
上記連写期間内で上記第1合焦位置を参照して上記特定フレームよりも複数フレーム先の上記特定被写体に対する上記フォーカスレンズの第2合焦位置を予測し、
上記第2合焦位置に向けて上記フォーカスレンズを移動させる
制御装置。
プロセッサと、
上記プロセッサに内蔵又は接続されたメモリと、を備え、
フォーカスレンズを含む撮像レンズにより光が結像されるイメージセンサによる本露光の期間を上記フォーカスレンズが上記プロセッサの指示に従って回避して移動し、かつ、上記イメージセンサによって既定の時間間隔で連続的に上記本露光が行われることで連写が行われる撮像装置に対して適用される制御装置であって、
上記プロセッサは、
連写期間内で、上記本露光が行われる特定フレームにおいて、上記イメージセンサによって上記本露光を伴って特定被写体が撮像されることで得られた画像データに基づいて、特定被写体に対する上記フォーカスレンズの第1合焦位置を演算し、
上記連写期間内で上記第1合焦位置を参照して上記特定フレームよりも複数フレーム先の上記特定被写体に対する上記フォーカスレンズの第2合焦位置を予測し、
上記第2合焦位置に向けて上記フォーカスレンズを移動させる
制御装置。
(付記2)
上記特定フレームは、上記本露光が行われる各フレームである付記1に記載の制御装置。
上記特定フレームは、上記本露光が行われる各フレームである付記1に記載の制御装置。
(付記3)
上記プロセッサは、上記第1合焦位置を参照して上記特定フレームよりも2フレーム以上先の上記第2合焦位置を予測する付記1又は付記2に記載の制御装置。
上記プロセッサは、上記第1合焦位置を参照して上記特定フレームよりも2フレーム以上先の上記第2合焦位置を予測する付記1又は付記2に記載の制御装置。
(付記4)上記プロセッサは、上記第1合焦位置を参照して上記特定フレームよりも2フレーム先の上記第2合焦位置を予測する付記3に記載の制御装置。
(付記5)
上記プロセッサは、上記第1合焦位置を参照して上記特定フレームよりも3フレーム以上先の上記第2合焦位置を予測する付記3に記載の制御装置。
上記プロセッサは、上記第1合焦位置を参照して上記特定フレームよりも3フレーム以上先の上記第2合焦位置を予測する付記3に記載の制御装置。
(付記6)
上記プロセッサは、上記本露光が行われるフレーム毎に上記第2合焦位置を予測する付記3から付記5の何れか1つに記載の制御装置。
上記プロセッサは、上記本露光が行われるフレーム毎に上記第2合焦位置を予測する付記3から付記5の何れか1つに記載の制御装置。
(付記7)
上記プロセッサは、予測した最新の上記第2合焦位置に向けて上記フォーカスレンズを移動させる付記1から付記6の何れか1つに記載の制御装置。
上記プロセッサは、予測した最新の上記第2合焦位置に向けて上記フォーカスレンズを移動させる付記1から付記6の何れか1つに記載の制御装置。
(付記8)
上記プロセッサは、上記イメージセンサによる連写用フレームレートを高めるに従って、上記特定フレームから、上記第2合焦位置を予測する先のフレームまでのフレーム数を増加させる付記1又は付記2に記載の制御装置。
上記プロセッサは、上記イメージセンサによる連写用フレームレートを高めるに従って、上記特定フレームから、上記第2合焦位置を予測する先のフレームまでのフレーム数を増加させる付記1又は付記2に記載の制御装置。
(付記9)
上記プロセッサは、複数フレーム分の上記第1合焦位置を参照して上記第2合焦位置を予測する付記1から付記8の何れか1つに記載の制御装置。
上記プロセッサは、複数フレーム分の上記第1合焦位置を参照して上記第2合焦位置を予測する付記1から付記8の何れか1つに記載の制御装置。
(付記10)
上記プロセッサは、最新の上記本露光が行われた最新フレームで演算して得た上記第1合焦位置と、上記最新フレームと時間的に隣接する過去フレームで演算して得た上記第1合焦位置とを含む複数の上記第1合焦位置を参照して上記第2合焦位置を予測する付記9に記載の制御装置。
上記プロセッサは、最新の上記本露光が行われた最新フレームで演算して得た上記第1合焦位置と、上記最新フレームと時間的に隣接する過去フレームで演算して得た上記第1合焦位置とを含む複数の上記第1合焦位置を参照して上記第2合焦位置を予測する付記9に記載の制御装置。
(付記11)
上記プロセッサは、上記本露光が行われる毎に上記画像データを記憶媒体に記憶させてから上記画像データに基づく画像をディスプレイに対して表示させる付記1から付記10の何れか1つに記載の制御装置。
上記プロセッサは、上記本露光が行われる毎に上記画像データを記憶媒体に記憶させてから上記画像データに基づく画像をディスプレイに対して表示させる付記1から付記10の何れか1つに記載の制御装置。
(付記12)
上記プロセッサは、上記本露光が行われる期間が第1閾値以上に延びた場合に、連写間隔を長くする付記1から付記11の何れか1つに記載の制御装置。
上記プロセッサは、上記本露光が行われる期間が第1閾値以上に延びた場合に、連写間隔を長くする付記1から付記11の何れか1つに記載の制御装置。
(付記13)
上記プロセッサは、上記連写のフレーム間で上記イメージセンサに対して少なくとも1フレーム分の第1ライブビュー画像用の撮像を行わせることで上記連写間隔を長くする付記12に記載の制御装置。
上記プロセッサは、上記連写のフレーム間で上記イメージセンサに対して少なくとも1フレーム分の第1ライブビュー画像用の撮像を行わせることで上記連写間隔を長くする付記12に記載の制御装置。
(付記14)
上記プロセッサは、上記フォーカスレンズを更に上記本露光の期間も移動させる場合、上記本露光が行われる期間が第2閾値以上に延びた場合に、上記フォーカスレンズの移動速度を低くする付記1から付記13の何れか1つに記載の制御装置。
上記プロセッサは、上記フォーカスレンズを更に上記本露光の期間も移動させる場合、上記本露光が行われる期間が第2閾値以上に延びた場合に、上記フォーカスレンズの移動速度を低くする付記1から付記13の何れか1つに記載の制御装置。
(付記15)
上記プロセッサは、上記第1合焦位置の演算期間が1フレーム分の上記本露光が行われる期間を超える場合に、複数フレーム分先までの上記連写について、最新の上記第2合焦位置に向けて上記フォーカスレンズを上記本露光が行われる期間を跨いで分割して移動させる付記1から付記14の何れか1つに記載の制御装置。
上記プロセッサは、上記第1合焦位置の演算期間が1フレーム分の上記本露光が行われる期間を超える場合に、複数フレーム分先までの上記連写について、最新の上記第2合焦位置に向けて上記フォーカスレンズを上記本露光が行われる期間を跨いで分割して移動させる付記1から付記14の何れか1つに記載の制御装置。
(付記16)
上記プロセッサは、
上記連写のフレーム間で上記イメージセンサに対して少なくとも1フレーム分の第2ライブビュー画像用の撮像を行わせ、
上記第2ライブビュー画像用の撮像が行われている間に、上記第1合焦位置を演算し、上記第2合焦位置を予測し、上記第2合焦位置に向けて上記フォーカスレンズを移動させる付記1から付記15の何れか1つに記載の制御装置。
上記プロセッサは、
上記連写のフレーム間で上記イメージセンサに対して少なくとも1フレーム分の第2ライブビュー画像用の撮像を行わせ、
上記第2ライブビュー画像用の撮像が行われている間に、上記第1合焦位置を演算し、上記第2合焦位置を予測し、上記第2合焦位置に向けて上記フォーカスレンズを移動させる付記1から付記15の何れか1つに記載の制御装置。
(付記17)
上記プロセッサは、開口の大きさが可変な絞りを制御することで、上記本露光が行われている期間内の上記開口を第1の大きさとし、上記第2ライブビュー画像用の撮像が行われている間の上記開口を上記第1の大きさよりも大きな第2の大きさとする付記16に記載の制御装置。
上記プロセッサは、開口の大きさが可変な絞りを制御することで、上記本露光が行われている期間内の上記開口を第1の大きさとし、上記第2ライブビュー画像用の撮像が行われている間の上記開口を上記第1の大きさよりも大きな第2の大きさとする付記16に記載の制御装置。
(付記18)
上記イメージセンサは、位相差画素群を有し、
上記プロセッサは、上記位相差画素群によって撮像されることで得られた位相差画素データに基づいて上記第1合焦位置を演算する付記1から付記17の何れか1つに記載の制御装置。
上記イメージセンサは、位相差画素群を有し、
上記プロセッサは、上記位相差画素群によって撮像されることで得られた位相差画素データに基づいて上記第1合焦位置を演算する付記1から付記17の何れか1つに記載の制御装置。
(付記19)
上記プロセッサは、メカニカルシャッタの巻き上げに要する巻き上げ期間を回避して上記フォーカスレンズを移動させる付記1から付記18の何れか1つに記載の制御装置。
上記プロセッサは、メカニカルシャッタの巻き上げに要する巻き上げ期間を回避して上記フォーカスレンズを移動させる付記1から付記18の何れか1つに記載の制御装置。
(付記20)
上記プロセッサは、上記フォーカスレンズを含む撮像レンズに対して上記フォーカスレンズの移動を指示する指示信号を送信し、
上記プロセッサは、上記巻き上げの終了よりも、上記撮像レンズとの間の通信タイムラグの分だけ早く上記指示信号を上記撮像レンズに送信する付記19に記載の制御装置。
上記プロセッサは、上記フォーカスレンズを含む撮像レンズに対して上記フォーカスレンズの移動を指示する指示信号を送信し、
上記プロセッサは、上記巻き上げの終了よりも、上記撮像レンズとの間の通信タイムラグの分だけ早く上記指示信号を上記撮像レンズに送信する付記19に記載の制御装置。
(付記21)上記プロセッサは、上記第2合焦位置に上記フォーカスレンズが到達する前に、上記本露光の開始タイミングが到来した場合に、上記フォーカスレンズを停止させ、上記イメージセンサに対して上記本露光を開始させる付記1から付記20の何れか1つに記載の制御装置。
(付記22)
上記プロセッサは、
上記イメージセンサによる連写が開始される前段階で、上記連写の1フレーム目の上記特定被写体に対する上記フォーカスレンズの第3合焦位置を予測し、
上記1フレーム目の上記本露光が開始される前に上記第3合焦位置に向けて上記フォーカスレンズを移動させる付記1から付記21の何れか1つに記載の制御装置。
上記プロセッサは、
上記イメージセンサによる連写が開始される前段階で、上記連写の1フレーム目の上記特定被写体に対する上記フォーカスレンズの第3合焦位置を予測し、
上記1フレーム目の上記本露光が開始される前に上記第3合焦位置に向けて上記フォーカスレンズを移動させる付記1から付記21の何れか1つに記載の制御装置。
(付記23)
上記プロセッサは、上記第3合焦位置に上記フォーカスレンズが到達する前に、上記1フレーム目の上記本露光の開始タイミングが到来した場合に、上記フォーカスレンズを停止させ、上記イメージセンサに対して上記本露光を開始させる付記22に記載の制御装置。
上記プロセッサは、上記第3合焦位置に上記フォーカスレンズが到達する前に、上記1フレーム目の上記本露光の開始タイミングが到来した場合に、上記フォーカスレンズを停止させ、上記イメージセンサに対して上記本露光を開始させる付記22に記載の制御装置。
(付記24)
上記プロセッサは、上記イメージセンサによる連写が開始される前段階、又は、上記連写の1フレーム目において上記第2合焦位置の予測が開始される前までに、上記連写の2フレーム目の上記特定被写体に対する上記フォーカスレンズの第4合焦位置を予測し、
上記2フレーム目の上記本露光が開始される前に上記第4合焦位置に向けて上記フォーカスレンズを移動させる付記1から付記23の何れか1つに記載の制御装置。
上記プロセッサは、上記イメージセンサによる連写が開始される前段階、又は、上記連写の1フレーム目において上記第2合焦位置の予測が開始される前までに、上記連写の2フレーム目の上記特定被写体に対する上記フォーカスレンズの第4合焦位置を予測し、
上記2フレーム目の上記本露光が開始される前に上記第4合焦位置に向けて上記フォーカスレンズを移動させる付記1から付記23の何れか1つに記載の制御装置。
(付記25)
上記プロセッサは、上記第4合焦位置に上記フォーカスレンズが到達する前に、上記2フレーム目の上記本露光の開始タイミングが到来した場合に、上記フォーカスレンズを停止させ、上記イメージセンサに対して上記本露光を開始させる付記24に記載の制御装置。
上記プロセッサは、上記第4合焦位置に上記フォーカスレンズが到達する前に、上記2フレーム目の上記本露光の開始タイミングが到来した場合に、上記フォーカスレンズを停止させ、上記イメージセンサに対して上記本露光を開始させる付記24に記載の制御装置。
10 撮像装置
12 像装置本体
14 交換レンズ
16 イメージセンサ
18 レリーズボタン
20 ダイヤル
22 タッチパネル・ディスプレイ
24 指示キー
24 タッチパネル・ディスプレイ
26 ディスプレイ
28 タッチパネル
30 光電変換素子
30A 受光面
30N 非位相差画素区分領域
30P 位相差画素区分領域
32A 位相差画素ライン
32B 非位相差画素ライン
34A 遮光部材
34B 遮光部材
36 マイクロレンズ
38L 左領域通過光
38R 右領域通過光
40 撮像レンズ
40A 対物レンズ
40B フォーカスレンズ
40C 絞り
42 スライド機構
44 モータ
46 モータ
48 コントローラ
48A1 合焦位置演算部
48A2 合焦位置予測部
48A3 制御部
48B ストレージ
48C メモリ
50 画像メモリ
52 UI系デバイス
54 外部I/F
56 光電変換素子ドライバ
58 モータドライバ
60 モータドライバ
62 先幕用ソレノイドドライバ
64 後幕用ソレノイドドライバ
66 先幕用ソレノイドアクチュエータ
66 後幕ソレノイドアクチュエータ
68 後幕用ソレノイドアクチュエータ
70 入出力インタフェース
72 メカニカルシャッタ
72A フレーム
72A1 開口
72B 先幕
72C 後幕
74 信号処理回路
74A 非位相差画像データ処理回路
74B 位相差画像データ処理回路
76 バス
80 受付デバイス
82 ハードキー部
84 合焦制御処理プログラム
200 記憶媒体
α ずれ量
A 破線矢印
B 破線矢印
L 位相差画素
N 非位相差画素
OA 光軸
P 位相差画素
PD フォトダイオード
R 位相差画素
12 像装置本体
14 交換レンズ
16 イメージセンサ
18 レリーズボタン
20 ダイヤル
22 タッチパネル・ディスプレイ
24 指示キー
24 タッチパネル・ディスプレイ
26 ディスプレイ
28 タッチパネル
30 光電変換素子
30A 受光面
30N 非位相差画素区分領域
30P 位相差画素区分領域
32A 位相差画素ライン
32B 非位相差画素ライン
34A 遮光部材
34B 遮光部材
36 マイクロレンズ
38L 左領域通過光
38R 右領域通過光
40 撮像レンズ
40A 対物レンズ
40B フォーカスレンズ
40C 絞り
42 スライド機構
44 モータ
46 モータ
48 コントローラ
48A1 合焦位置演算部
48A2 合焦位置予測部
48A3 制御部
48B ストレージ
48C メモリ
50 画像メモリ
52 UI系デバイス
54 外部I/F
56 光電変換素子ドライバ
58 モータドライバ
60 モータドライバ
62 先幕用ソレノイドドライバ
64 後幕用ソレノイドドライバ
66 先幕用ソレノイドアクチュエータ
66 後幕ソレノイドアクチュエータ
68 後幕用ソレノイドアクチュエータ
70 入出力インタフェース
72 メカニカルシャッタ
72A フレーム
72A1 開口
72B 先幕
72C 後幕
74 信号処理回路
74A 非位相差画像データ処理回路
74B 位相差画像データ処理回路
76 バス
80 受付デバイス
82 ハードキー部
84 合焦制御処理プログラム
200 記憶媒体
α ずれ量
A 破線矢印
B 破線矢印
L 位相差画素
N 非位相差画素
OA 光軸
P 位相差画素
PD フォトダイオード
R 位相差画素
Claims (28)
- プロセッサと、
フォーカスレンズを含む撮像レンズにより光が結像されるイメージセンサと、を備え、 前記フォーカスレンズが前記プロセッサの指示に従って前記イメージセンサによる本露光の期間を回避して移動し、かつ、前記イメージセンサによって既定の時間間隔で連続的に前記本露光が行われることで連写が行われる撮像装置であって、
前記プロセッサは、
連写期間内で、前記本露光が行われる特定フレームにおいて、前記イメージセンサによって前記本露光を伴って特定被写体が撮像されることで得られた画像データに基づいて、前記特定被写体に対する前記フォーカスレンズの第1合焦位置を演算し、
前記連写期間内で前記第1合焦位置を参照して前記特定フレームよりも複数フレーム先の前記特定被写体に対する前記フォーカスレンズの第2合焦位置を予測し、
前記第2合焦位置に向けて前記フォーカスレンズを移動させる
撮像装置。 - 前記特定フレームは、前記本露光が行われる各フレームである請求項1に記載の撮像装置。
- 前記プロセッサは、前記第1合焦位置を参照して前記特定フレームよりも2フレーム以上先の前記第2合焦位置を予測する請求項1又は請求項2に記載の撮像装置。
- 前記プロセッサは、前記第1合焦位置を参照して前記特定フレームよりも2フレーム先の前記第2合焦位置を予測する請求項3に記載の撮像装置。
- 前記プロセッサは、前記第1合焦位置を参照して前記特定フレームよりも3フレーム以上先の前記第2合焦位置を予測する請求項3に記載の撮像装置。
- 前記プロセッサは、前記本露光が行われるフレーム毎に前記第2合焦位置を予測する請求項3から請求項5の何れか一項に記載の撮像装置。
- 前記プロセッサは、予測した最新の前記第2合焦位置に向けて前記フォーカスレンズを移動させる請求項1から請求項6の何れか一項に記載の撮像装置。
- 前記プロセッサは、前記イメージセンサによる連写用フレームレートを高めるに従って、前記特定フレームから、前記第2合焦位置を予測する先のフレームまでのフレーム数を増加させる請求項1又は請求項2に記載の撮像装置。
- 前記プロセッサは、複数フレーム分の前記第1合焦位置を参照して前記第2合焦位置を予測する請求項1から請求項8の何れか一項に記載の撮像装置。
- 前記プロセッサは、最新の前記本露光が行われた最新フレームで演算して得た前記第1合焦位置と、前記最新フレームと時間的に隣接する過去フレームで演算して得た前記第1合焦位置とを含む複数の前記第1合焦位置を参照して前記第2合焦位置を予測する請求項9に記載の撮像装置。
- 前記プロセッサは、前記本露光が行われる毎に前記画像データを記憶媒体に記憶させてから前記画像データに基づく画像をディスプレイに対して表示させる請求項1から請求項10の何れか一項に記載の撮像装置。
- 前記プロセッサは、前記本露光が行われる期間が第1閾値以上に延びた場合に、連写間隔を長くする請求項1から請求項11の何れか一項に記載の撮像装置。
- 前記プロセッサは、前記連写のフレーム間で前記イメージセンサに対して少なくとも1フレーム分の第1ライブビュー画像用の撮像を行わせることで前記連写間隔を長くする請求項12に記載の撮像装置。
- 前記プロセッサは、前記フォーカスレンズを更に前記本露光の期間も移動させる場合、前記本露光が行われる期間が第2閾値以上に延びたことを条件に、前記フォーカスレンズの移動速度を低くする請求項1から請求項13の何れか一項に記載の撮像装置。
- 前記プロセッサは、前記第1合焦位置の演算期間が1フレーム分の前記本露光が行われる期間を超える場合に、複数フレーム分先までの前記連写について、最新の前記第2合焦位置に向けて前記フォーカスレンズを前記本露光が行われる期間を跨いで分割して移動させる請求項1から請求項14の何れか一項に記載の撮像装置。
- 前記プロセッサは、前記連写のフレーム間で前記イメージセンサに対して少なくとも1フレーム分の第2ライブビュー画像用の撮像を行わせ、
前記第2ライブビュー画像用の撮像が行われている間に、前記第1合焦位置を演算し、前記第2合焦位置を予測し、前記第2合焦位置に向けて前記フォーカスレンズを移動させる請求項1から請求項15の何れか一項に記載の撮像装置。 - 開口の大きさが可変な絞りを備え、
前記プロセッサは、前記絞りを制御することで、前記本露光が行われている期間内の前記開口を第1の大きさとし、前記第2ライブビュー画像用の撮像が行われている間の前記開口を前記第1の大きさよりも大きな第2の大きさとする請求項16に記載の撮像装置。 - 前記イメージセンサは、位相差画素群を有し、
前記プロセッサは、前記位相差画素群によって撮像されることで得られた位相差画素データに基づいて前記第1合焦位置を演算する請求項1から請求項17の何れか一項に記載の撮像装置。 - メカニカルシャッタを備え、
前記プロセッサは、前記メカニカルシャッタの巻き上げに要する巻き上げ期間を回避して前記フォーカスレンズを移動させる請求項1から請求項18の何れか一項に記載の撮像装置。 - 前記プロセッサは、前記フォーカスレンズを含む撮像レンズに対して前記フォーカスレンズの移動を指示する指示信号を送信し、
前記プロセッサは、前記巻き上げの終了よりも、前記撮像レンズとの間の通信タイムラグの分だけ早く前記指示信号を前記撮像レンズに送信する請求項19に記載の撮像装置。 - 前記プロセッサは、前記第2合焦位置に前記フォーカスレンズが到達する前に、前記本露光の開始タイミングが到来した場合に、前記フォーカスレンズを停止させ、前記イメージセンサに対して前記本露光を開始させる請求項1から請求項20の何れか一項に記載の撮像装置。
- 前記プロセッサは、
前記イメージセンサによる連写が開始される前段階で、前記連写の1フレーム目の前記特定被写体に対する前記フォーカスレンズの第3合焦位置を予測し、
前記1フレーム目の前記本露光が開始される前に前記第3合焦位置に向けて前記フォーカスレンズを移動させる請求項1から請求項21の何れか一項に記載の撮像装置。 - 前記プロセッサは、前記第3合焦位置に前記フォーカスレンズが到達する前に、前記1フレーム目の前記本露光の開始タイミングが到来した場合に、前記フォーカスレンズを停止させ、前記イメージセンサに対して前記本露光を開始させる請求項22に記載の撮像装置。
- 前記プロセッサは、
前記イメージセンサによる連写が開始される前段階、又は、前記連写の1フレーム目において前記第2合焦位置の予測が開始される前までに、前記連写の2フレーム目の前記特定被写体に対する前記フォーカスレンズの第4合焦位置を予測し、
前記2フレーム目の前記本露光が開始される前に前記第4合焦位置に向けて前記フォーカスレンズを移動させる請求項1から請求項23の何れか一項に記載の撮像装置。 - 前記プロセッサは、前記第4合焦位置に前記フォーカスレンズが到達する前に、前記2フレーム目の前記本露光の開始タイミングが到来した場合に、前記フォーカスレンズを停止させ、前記イメージセンサに対して前記本露光を開始させる請求項24に記載の撮像装置。
- プロセッサと、
前記プロセッサに内蔵又は接続されたメモリと、を備え、
フォーカスレンズを含む撮像レンズにより光が結像されるイメージセンサによる本露光の期間を前記フォーカスレンズが前記プロセッサの指示に従って回避して移動し、かつ、前記イメージセンサによって既定の時間間隔で連続的に前記本露光が行われることで連写が行われる撮像装置に対して適用される制御装置であって、
前記プロセッサは、
連写期間内で、前記本露光が行われる特定フレームにおいて、前記イメージセンサによって前記本露光を伴って特定被写体が撮像されることで得られた画像データに基づいて、特定被写体に対する前記フォーカスレンズの第1合焦位置を演算し、
前記連写期間内で前記第1合焦位置を参照して前記特定フレームよりも複数フレーム先の前記特定被写体に対する前記フォーカスレンズの第2合焦位置を予測し、
前記第2合焦位置に向けて前記フォーカスレンズを移動させる
制御装置。 - プロセッサと、フォーカスレンズを含む撮像レンズにより光が結像されるイメージセンサと、を備え、前記フォーカスレンズが前記プロセッサの指示に従って前記イメージセンサによる本露光の期間を回避して移動し、かつ、前記イメージセンサによって既定の時間間隔で連続的に前記本露光が行われることで連写が行われる撮像装置の動作方法であって、
連写期間内で、前記本露光が行われる特定フレームにおいて、前記イメージセンサによって前記本露光を伴って特定被写体が撮像されることで得られた画像データに基づいて、特定被写体に対する前記フォーカスレンズの第1合焦位置を演算すること、
前記連写期間内で前記第1合焦位置を参照して前記特定フレームよりも複数フレーム先の前記特定被写体に対する前記フォーカスレンズの第2合焦位置を予測すること、及び 前記第2合焦位置に向けて前記フォーカスレンズを移動させることを含む
撮像装置の動作方法。 - プロセッサと、フォーカスレンズを含む撮像レンズにより光が結像されるイメージセンサと、を備え、前記フォーカスレンズが前記プロセッサの指示に従って前記イメージセンサによる本露光の期間を回避して移動し、かつ、前記イメージセンサによって既定の時間間隔で連続的に前記本露光が行われることで連写が行われる撮像装置に対して適用されるコンピュータに、
連写期間内で、前記本露光が行われる特定フレームにおいて、前記イメージセンサによって前記本露光を伴って特定被写体が撮像されることで得られた画像データに基づいて、特定被写体に対する前記フォーカスレンズの第1合焦位置を演算すること、
前記連写期間内で前記第1合焦位置を参照して前記特定フレームよりも複数フレーム先の前記特定被写体に対する前記フォーカスレンズの第2合焦位置を予測すること、及び 前記第2合焦位置に向けて前記フォーカスレンズを移動させることを含む処理を実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022501626A JP7171966B2 (ja) | 2020-02-20 | 2020-10-30 | 撮像装置、制御装置、撮像装置の動作方法、及びプログラム |
US17/852,071 US12061377B2 (en) | 2020-02-20 | 2022-06-28 | Imaging apparatus, control device, operation method of imaging apparatus, and program |
JP2022176700A JP2023009123A (ja) | 2020-02-20 | 2022-11-02 | 撮像装置、制御装置、撮像装置の動作方法、及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-027212 | 2020-02-20 | ||
JP2020027212 | 2020-02-20 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/852,071 Continuation US12061377B2 (en) | 2020-02-20 | 2022-06-28 | Imaging apparatus, control device, operation method of imaging apparatus, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021166333A1 true WO2021166333A1 (ja) | 2021-08-26 |
Family
ID=77390634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/040817 WO2021166333A1 (ja) | 2020-02-20 | 2020-10-30 | 撮像装置、制御装置、撮像装置の動作方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US12061377B2 (ja) |
JP (2) | JP7171966B2 (ja) |
WO (1) | WO2021166333A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009139795A (ja) * | 2007-12-10 | 2009-06-25 | Sony Corp | 撮像装置 |
JP2011090048A (ja) * | 2009-10-20 | 2011-05-06 | Olympus Imaging Corp | カメラ用自動焦点調節装置 |
JP2018031877A (ja) * | 2016-08-24 | 2018-03-01 | オリンパス株式会社 | 撮像装置および焦点調節方法 |
JP2018037959A (ja) * | 2016-09-01 | 2018-03-08 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5799178B2 (ja) * | 2012-11-29 | 2015-10-21 | 富士フイルム株式会社 | 撮像装置及び合焦制御方法 |
CN105282550A (zh) * | 2014-06-13 | 2016-01-27 | 财团法人工业技术研究院 | 编码方法与解码方法、编解码***、编码器与解码器 |
JP2016218106A (ja) | 2015-05-14 | 2016-12-22 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US9686488B2 (en) * | 2015-09-30 | 2017-06-20 | Semiconductor Components Industries, Llc | Imaging systems with flicker mitigation and high dynamic range |
JP2018087864A (ja) * | 2016-11-28 | 2018-06-07 | オリンパス株式会社 | 焦点調節装置及び焦点調節装置の制御方法 |
JP2018107547A (ja) | 2016-12-26 | 2018-07-05 | キヤノン株式会社 | 撮像装置 |
JP2019106634A (ja) * | 2017-12-13 | 2019-06-27 | オリンパス株式会社 | 撮像素子及び撮像装置 |
-
2020
- 2020-10-30 JP JP2022501626A patent/JP7171966B2/ja active Active
- 2020-10-30 WO PCT/JP2020/040817 patent/WO2021166333A1/ja active Application Filing
-
2022
- 2022-06-28 US US17/852,071 patent/US12061377B2/en active Active
- 2022-11-02 JP JP2022176700A patent/JP2023009123A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009139795A (ja) * | 2007-12-10 | 2009-06-25 | Sony Corp | 撮像装置 |
JP2011090048A (ja) * | 2009-10-20 | 2011-05-06 | Olympus Imaging Corp | カメラ用自動焦点調節装置 |
JP2018031877A (ja) * | 2016-08-24 | 2018-03-01 | オリンパス株式会社 | 撮像装置および焦点調節方法 |
JP2018037959A (ja) * | 2016-09-01 | 2018-03-08 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7171966B2 (ja) | 2022-11-15 |
US20220326479A1 (en) | 2022-10-13 |
US12061377B2 (en) | 2024-08-13 |
JPWO2021166333A1 (ja) | 2021-08-26 |
JP2023009123A (ja) | 2023-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5003543B2 (ja) | 撮像装置、および信号処理方法、並びにコンピュータ・プログラム | |
US7748914B2 (en) | Single-lens reflex camera | |
JP2012060370A (ja) | 撮像システムおよび画素信号読出し方法 | |
JP5051812B2 (ja) | 撮像装置、その合焦方法および記録媒体 | |
US10171766B2 (en) | Imaging device with reduced delay in display | |
US11457136B2 (en) | Imaging element, imaging apparatus, image data processing method, and program | |
JP5007613B2 (ja) | オートフォーカス装置及び撮影装置 | |
JP5628566B2 (ja) | 撮影装置、及び、撮影方法 | |
JP2010016613A (ja) | 撮像装置 | |
WO2021166333A1 (ja) | 撮像装置、制御装置、撮像装置の動作方法、及びプログラム | |
WO2021166332A1 (ja) | 撮像装置、制御装置、撮像装置の動作方法、及びプログラム | |
JP4881727B2 (ja) | 撮像装置 | |
JP2016076747A (ja) | 撮像装置、カメラシステム、制御方法およびプログラム | |
JP2013242408A (ja) | 撮像装置およびその制御方法 | |
JP6997544B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6576227B2 (ja) | 撮像装置、その制御方法およびプログラム | |
JP5938269B2 (ja) | 撮像装置およびその制御方法 | |
JP5938268B2 (ja) | 撮像装置およびその制御方法 | |
JP5772897B2 (ja) | 焦点調節装置及び撮影装置 | |
JP5403109B2 (ja) | 焦点調節装置及び撮影装置 | |
JP6094134B2 (ja) | デジタルカメラ、電子先幕制御方法、および先幕制御情報の編集方法 | |
JP2014236246A (ja) | 撮像装置 | |
JP2013050630A (ja) | 撮像装置 | |
JP2015035754A (ja) | 撮像装置及び撮像方法 | |
JP2009049833A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20919410 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022501626 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20919410 Country of ref document: EP Kind code of ref document: A1 |