WO2020012961A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2020012961A1 WO2020012961A1 PCT/JP2019/025372 JP2019025372W WO2020012961A1 WO 2020012961 A1 WO2020012961 A1 WO 2020012961A1 JP 2019025372 W JP2019025372 W JP 2019025372W WO 2020012961 A1 WO2020012961 A1 WO 2020012961A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image data
- motion vector
- reference value
- image
- calculation unit
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 95
- 238000004364 calculation method Methods 0.000 claims abstract description 57
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims description 3
- 238000013016 damping Methods 0.000 abstract 1
- 230000007246 mechanism Effects 0.000 description 17
- 238000000034 method Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000000449 premovement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Definitions
- the present invention relates to an imaging device.
- An imaging device includes an imaging element that captures an image of a subject using an optical system and outputs a signal, an image data generation unit that generates image data based on the signal, and a first image data generated by the image data generation unit.
- the subject detected in the image data is imaged at a different time from the first image data, and in the second image data generated by the image data generation unit, in a range set based on the focal length of the optical system.
- a motion vector calculating unit that detects and calculates a motion vector of the image of the subject.
- FIG. 2 is a block diagram illustrating a shake correction device included in the camera.
- FIG. 7 is a diagram illustrating an example of a method of obtaining motion vector information.
- FIG. 4 is a diagram illustrating basic calculation timing of motion vector information in a motion vector calculation unit.
- 5 is a flowchart illustrating a flow of an operation of the shake correction apparatus.
- FIG. 5 is a diagram illustrating a reference value calculation unit.
- 6 is a detailed flowchart of a reference value correction step in FIG. (A) is a graph showing the second reference value in the Yaw direction, and (b) is a graph showing the direction of the motion vector information in the X direction.
- FIG. 1 is a sectional view schematically showing the camera 1.
- a three-dimensional orthogonal coordinate system is set. Specifically, an axis parallel to the optical axis of the lens barrel 1B is defined as a Z-axis (horizontal direction on the paper), an axis intersecting the Z-axis in a plane perpendicular to the Z-axis is defined as an X-axis (a depth direction on the paper), and Z An axis perpendicular to the Z axis and the X axis in a plane perpendicular to the axis is defined as a Y axis (vertical direction in the drawing).
- the rotation direction about the Z axis is the Roll direction
- the rotation direction about the Y axis is the Yaw direction
- the rotation direction about the X axis is the Pitch direction.
- the camera body 1A and the camera body 1A and the lens barrel 1B are integrated.
- the present invention is not limited to this, and a camera in which the lens barrel is detachable from the camera body may be used.
- the camera 1 has a structure without a mirror inside in the embodiment, but is not limited thereto, and may be a camera having a mirror.
- the camera body 1A includes an image sensor 3, a recording medium 13, a storage unit 14, an operation unit 15, a release switch 17, a back liquid crystal 18, a shutter 20, and a CPU 2.
- the CPU 2 includes a blur correction device 100 described later.
- the image sensor 3 is provided on a predetermined focal plane of the photographing optical system, and is an element that generates a signal by photoelectrically converting subject light incident through the photographing optical systems 4, 5, and 6 of the lens barrel 1B. , CMOS and the like. From the signal output from the image sensor 3, image data is generated by an image generation unit 40 described later included in the CPU 2.
- the image sensor 3 has focus detection pixels, and the CPU 2 performs focus detection processing by a well-known pupil division type phase difference method using pixel output data from the focus detection pixels. Alternatively, focus detection may be performed by a well-known contrast method using data output from the image sensor 3.
- the recording medium 13 is a medium for recording captured image data, and an SD card, a CF card, or the like is used.
- the storage unit 14 is a memory such as an EEPROM, for example.
- the storage unit 14 stores search range information corresponding to the zoom positions (focal lengths) of the imaging optical systems 4, 5, and 6, as described later.
- the operation unit 15 can perform a zoom operation, and can perform a zoom operation via the operation unit 15 to change the zoom position of the photographing optical system.
- the release switch 17 is a member for performing a shooting operation of the camera 1, and is a switch for operating a shutter drive timing and the like.
- the back liquid crystal 18 is a color liquid crystal display provided on the back of the camera body 1A and displaying a photographed subject image (reproduced image, live view image), operation-related information (menu), and the like.
- the shutter 20 controls the subject light incident on the image sensor 3 by causing the shutter curtain to run in response to a shooting instruction from the release switch 17 or the like.
- the CPU 2 is a central processing unit that controls the entire camera 1 and includes a shake correction device 100 described later.
- the lens barrel 1B includes a zoom lens 4, a focus lens 5, a blur correction lens 6, a zoom lens drive mechanism 7, a focus lens drive mechanism 8, a blur correction lens drive mechanism 9, an aperture 10, an aperture drive mechanism 11, an angular velocity sensor 12 ( A shake detection sensor) and a shake correction lens position detection unit 21.
- the zoom lens 4 is a lens group that is driven by the zoom lens driving mechanism 7 and changes the zoom position (focal length) by moving along the optical axis direction.
- a lens drive amount calculation unit 39 described later included in the CPU 2 calculates the drive amount of the zoom lens 4, and drives the zoom lens 4 via the zoom lens drive mechanism 7. Change the zoom position.
- the focus lens 5 is a lens group that is driven by the focus lens driving mechanism 8, moves in the optical axis direction, and focuses.
- the shake correction lens 6 is a lens group that is optically shake-driven by a shake correction lens driving mechanism 9 such as a VCM (voice coil motor) and is movable on a plane perpendicular to the optical axis.
- a shake correction lens driving mechanism 9 such as a VCM (voice coil motor) and is movable on a plane perpendicular to the optical axis.
- the aperture 10 is driven by an aperture drive mechanism 11 and controls the amount of subject light passing through the photographing optical system.
- the angular velocity sensor 12 is a sensor that detects the angular velocity (blur output signal) of camera shake occurring in the lens barrel 1B, and is a sensor such as a vibration gyro that detects the angular velocity around the X axis (Pitch) and around the Y axis (Yaw). It is. Note that the angular velocity sensor 12 may also detect an angular velocity around the Z axis (Roll).
- the angular velocity sensor 12 is also connected to a later-described motion vector calculation unit 41 included in the CPU 2, and the angular velocity detected by the angular velocity sensor 12 is sent to the motion vector calculation unit 41.
- FIG. 2 is a block diagram illustrating the shake correction device 100 included in the camera 1.
- the blur correction device 100 includes an amplification unit 31, a first A / D conversion unit 32, a second A / D conversion unit 33, a reference value calculation unit 34, a subtraction unit 43, a target position calculation unit 36, a center bias calculation unit 37, A reference value correction unit 50 and a lens drive amount calculation unit 39 are provided.
- the blur correction device 100 further includes an image generation unit 40, a sensor control unit 46, and a motion vector calculation unit 41.
- the amplifying unit 31 amplifies the output of the angular velocity sensor 12.
- the first A / D converter 32 performs A / D conversion on the output of the amplifier 31.
- the reference value calculator 34 calculates a reference value (first reference value, reference value before correction) of the vibration detection signal (output of the first A / D converter 32) obtained from the angular velocity sensor 12.
- the reference value of the angular velocity is, for example, a vibration detection signal output from the angular velocity sensor 12 when the camera 1 (camera body 1A, lens barrel 1B) is stationary.
- the reference value calculation unit 34 can calculate the reference value based on the output of a low-pass filter that reduces a predetermined high-frequency component from the output of the angular velocity sensor 12, for example.
- the subtraction unit 43 subtracts a reference value (second reference value, corrected reference value) obtained by correcting the first reference value calculated by the reference value calculation unit 34 from the output of the first A / D conversion unit 32.
- the target position calculator 36 calculates the target position of the shake correction lens 6 based on the output of the angular velocity sensor 12 after the subtraction of the reference value by the subtractor 43.
- the center bias calculator 37 uses the centripetal force for moving the blur correction lens 6 toward the center of its movable range based on the target position of the blur correction lens 6 calculated by the target position calculator 36 as a bias amount. Calculate. Then, the control position of the blur correction lens 6 is calculated by subtracting the calculated bias amount from the target position of the blur correction lens 6.
- the lens driving amount calculation unit 39 calculates the driving amount of the lenses of the zoom lens 4 and the blur correction lens 6.
- the lens driving amount calculating section 39 is configured to detect the target position from the target position calculating section 36 and the blur detected by the blur correction lens position detecting section 21 and obtained from the A / D converted value by the second A / D converting section 33.
- the drive amount of the shake correction lens drive mechanism 9 is calculated from the current position of the correction lens 6.
- the lens driving amount calculation unit 39 drives the zoom lens 4 by instructing the driving amount to the zoom lens driving mechanism 7.
- the sensor control unit 46 sets the sensor rate of the image sensor 3 based on the measured luminance of the subject. For example, when the subject is dark, the exposure time for obtaining one image becomes long, so the sensor rate is set to a low value of 15 fps. Since the exposure time for obtaining one image becomes shorter as the image becomes brighter, the sensor rate is set high at 30, 60, and 120 fps.
- the image generation unit 40 performs processing such as noise processing and A / D conversion on the image signal acquired by the image sensor 3 and creates recording image data to be recorded on the recording medium 13 as a still image.
- the motion vector calculation unit 41 calculates, from the processing image data generated by the image generation unit 40, motion vector information indicating the motion (movement direction, motion amount) of the image.
- the motion vector information is represented by a signed size in the X-axis direction, the Y-axis direction, the Roll direction, or the like. Further, the motion vector information includes a detection delay time and the like.
- the motion vector calculation unit 41 compares the positions of the reference units included in the two or more pieces of image data captured by the image sensor 3 and obtains motion vector information from the motion direction and the motion amount of the reference units.
- motion vector information may be obtained by image pattern matching or the like.
- the motion vector information may be detected from one image, may be calculated from two separate image data, or may be calculated from three images.
- the motion vector calculation unit 41 includes a partial area of the first image data (a specific place in the screen, hereinafter referred to as a reference unit) and a second area generated after the first image data.
- the image data is compared with the reference part of the image data, and motion vector information is obtained from the movement amount of the reference part of the two image data.
- FIG. 3 is a diagram for explaining an example of a method for obtaining motion vector information.
- the reference section Q is selected in the first image data.
- the reference section Q is, for example, a characteristic high-luminance portion. The case where one reference section in one image data is described below. However, the image data is divided into a plurality of blocks, and the reference section is selected for each block. May be.
- the reference section Q is composed of one or more pixels.
- the position of the reference section Q in the first image data is defined as a pre-movement position P1.
- a predetermined range indicated by a dotted line in the figure centered on the pre-movement position P1 of the reference portion Q of the first image data is set as a search range.
- a portion having a high correlation with the reference portion Q is searched, and the reference portion Q in the second image data is selected in the same manner as the first image data.
- the position of the reference portion Q after the movement having the highest correlation is defined as the moved position P2.
- the displacement between the pre-movement position P1 and the post-movement position P2 of the reference section Q is detected as a motion vector MV.
- the motion vector information is information including the magnitude and direction of the displacement.
- the search range differs depending on the zoom position of the photographing optical system (zoom lens).
- the search range is determined as follows.
- the lens drive amount calculation unit 39 calculates the drive amount of the zoom lens 4 and drives the zoom lens drive mechanism 7.
- the motion vector calculator 41 receives the zoom position of the photographing optical system.
- the motion vector calculator 41 may receive zoom position information from the zoom lens position detector.
- zoom positions for example, when the lens barrel 1 ⁇ / b> B is in a fixed area from the tele (telephoto) end, in a fixed area from the wide (wide angle) end, and in a middle area between the tele area and the wide area. It is divided into areas. As shown in Table 1 below, the storage unit 14 stores different search ranges when the zoom position is a wide area, a middle area, and a tele area.
- the motion vector calculation unit 41 acquires from the storage unit 14 a motion vector search range corresponding to the current zoom position of the imaging optical system.
- the motion vector calculation unit 41 searches the second image data for the reference portion Q within the search range acquired from the storage unit 14 around the position P1 corresponding to the position of the reference portion Q in the first image data. Next, a motion vector MV is obtained from a shift amount between the position P1 of the reference portion Q in the first image data and the position P2 of the reference portion in the second image data.
- the search range of the motion vector is 22 ⁇ 22 pixels.
- the motion vector calculation unit 41 searches the second image data for the reference unit Q within a search range of 22 ⁇ 22 pixels centered on the position P1.
- the search range is expanded, processing time and calculation load are increased. In the embodiment, by narrowing the search range of the wide area as compared with other areas, processing time and calculation load can be reduced as compared with other areas.
- the search range of the motion vector is 38 ⁇ 38 pixels.
- the motion vector calculator 41 searches the second image data for the reference portion Q within a search range of 38 ⁇ 38 pixels centered on the position P1.
- the search range of the motion vector is 64 ⁇ 64 pixels.
- the motion vector calculation unit 41 searches the second image data for the reference unit Q within a search range of 64 ⁇ 64 pixels centered on the position P1.
- the search range is narrow, the reference portion Q may move out of the search range in the second image data, and the reference portion Q may not be detected.
- the search range of the tele area is made wider than that of the wide area, the possibility that the reference section Q cannot be detected because the reference section Q is outside the search range in the second image data is reduced.
- the first image data and the second image data are each divided into a plurality of blocks, and the reference range is searched for in the block between the first image data and the second image data using the range of the block as a search range.
- the search range is narrowed by increasing the number of blocks to be divided in the wide area and making one block smaller than in the tele area. In the tele area, the search range is widened by reducing the number of divided blocks and enlarging one block.
- the search range may be expanded by moving the search range closer to the block frame as the telephoto side is reached.
- FIG. 4 is a diagram illustrating the operation timing of a motion vector in the motion vector operation unit 41.
- the motion vector calculation unit 41 calculates the (n ⁇ 1) th image data (first image data) and the next nth image captured at a time later than the time at which the (n ⁇ 1) th image data was acquired.
- the motion vector information is calculated from the image data (second image data). For example, when image data is sent from the image sensor 3 at 30 fps, motion vector information is obtained once every 33 ms.
- Time t1 is the time when the exposure of the (n-1) th image data is started.
- Time t2 is an intermediate time between the time when the exposure of the (n-1) th image data is started and the time when the exposure is completed.
- Time t4 is a time when exposure of the n-th image data is started.
- the time t5 is a time exactly intermediate between the time when the exposure of the n-th image data is started and the time when the exposure is completed.
- the time t6 is the time when the motion vector information calculated from the n-1 image data and the n image data is obtained, and the generation time of the motion vector information is the time when the motion vector information is between t5 and t2. It is reasonable to think that it is just in the middle.
- a detection delay time of t6-t3 occurs between the time when the motion vector information is obtained and the time when the motion vector is generated.
- the reference value corrector 50 includes a center bias remover 38, a reference value correction amount calculator 35, and a reference value subtractor 42.
- motion vector information X Information in the X direction of the motion vector information is referred to as motion vector information X.
- the correction of the reference value in the Y direction is the same as that in the X direction.
- the Roll direction information of the motion vector information is not received. Note that the Roll vector information of the motion vector information may be received.
- Center bias removing unit 38 subtracts the bias correction amount X calculated from the motion vector information X from the bias amount of the X component calculated by the center bias calculating unit 37 (subtracted from the target position of the blur correction lens 6). I do.
- the reference value correction amount calculation unit 35 Based on the motion vector information X from which the bias correction amount X has been removed by the center bias removing unit 38, the reference value correction amount calculation unit 35 calculates the reference value correction amount from the output value of the angular velocity sensor around the Y axis (Yaw). Is calculated. In the present embodiment, only the sign of the motion vector information X is determined, and if the motion vector information X is confirmed in the minus direction, the correction amount is a certain fixed amount. If the motion vector information is confirmed in the plus direction, the correction amount is Is a certain amount of minus.
- the reference value subtraction / addition unit 42 corrects the first reference value with the correction amount calculated by the reference value calculation unit 35 to obtain a corrected second reference value.
- FIG. 5 is a flowchart illustrating a flow of the operation of the shake correction apparatus 100.
- Step 001 After the power of the camera 1 is turned on, the shake correction apparatus 100 starts a calculation for optical image stabilization. Depending on the camera, when the release switch 17 is half-pressed, the shake correction apparatus 100 starts a calculation for optical image stabilization.
- Step 002 The blur correction device 100 amplifies the output of the angular velocity sensor 12 by the amplifying unit 31, and then performs A / D conversion by the first A / D converting unit 32.
- Step 003 In the shake correction apparatus 100, the reference value calculation unit 34 calculates a reference value (a value corresponding to zero deg / s) of the calculated angular velocity based on the signal after the A / D conversion of the output of the angular velocity sensor 12. calculate. Since the reference value of the angular velocity changes due to temperature characteristics, drift characteristics immediately after startup, and the like, for example, the stationary output of the angular velocity sensor 12 at the time of factory shipment cannot be used as the reference value.
- a method of calculating the reference value a method of calculating a moving average for a predetermined time and a method of calculating by a LPF process are known.
- reference value calculation by LPF processing is used.
- FIG. 6 is a diagram showing the reference value calculation unit 34 (HPF).
- the cutoff frequency fc of the LPF 34 is generally set to a low frequency of about 0.1 [Hz]. This is because camera shake is dominant at a frequency of about 1 to 10 [Hz]. If fc is 0.1 [Hz], the effect on the camera shake component is small, and good blur correction can be performed.
- the reference value calculation result may have an error.
- fc the time constant is large
- the error once increases, there is a problem that it takes time to converge to the true value.
- the error of the reference value is corrected.
- Step 004 The blur correction device 100 proceeds to S005 when the motion vector information is updated (S004, YES), and proceeds to S006 when the information is not updated (S004, NO).
- Step 005 The blur correction device 100 performs reference value correction in the reference value correction unit 50 when the information on the motion vector is updated.
- the reference value correction step will be described later. It should be noted that since information on the motion vector cannot be obtained during the exposure, this step is performed until immediately before the exposure.
- Step 006 In the blur correction device 100, based on the output of the angular velocity sensor 12 after the correction of the reference value in the target position calculation unit 36, the target position calculation unit 36 determines the focal length, the subject distance, the shooting magnification, and the blur correction lens. The target position of the shake correction lens 6 is calculated based on the characteristic information.
- Step 007 The blur correction device 100 performs a center bias process to prevent the blur correction lens 6 from reaching the movable end.
- the center bias processing such as a method of setting a bias amount according to target position information, an HPF processing, an incomplete integration processing (in S006), and the method is not limited here.
- Step 008 The blur correction device 100 calculates the lens drive amount from the difference between the target position information considering the center bias component and the blur correction lens position information in the lens drive amount calculation unit 39.
- Step 009 The blur correction device 100 drives the blur correction lens 6 to the target position via the blur correction lens driving mechanism 9, and returns to S002.
- FIG. 7 is a detailed flowchart of the reference value correction step 005 of FIG.
- Step 101 The blur correction device 100 sums up all the received motion vector information, and proceeds to step 102.
- Step 102 In the shake correction apparatus 100, the center bias removing unit 38 converts the center bias component calculated in step 007 into the same scale as the motion vector information, and proceeds to step 103.
- the conversion method is calculated based on focal length, subject distance, shooting magnification, and resolution information of motion vector information.
- Bias_MV Bias_ ⁇ * f1 + ⁇ / MV_pitch
- Bias_MV Center bias component (same scale as motion vector information)
- Bias_ ⁇ Center bias component (angle)
- f focal length
- ⁇ shooting magnification
- MV_pitch motion vector pitch size
- the center bias component Since a delay time occurs before the motion vector information is detected, it is preferable that the center bias component has the same delay time as the motion vector information. For example, if the delay time is 3 frames at 30 [fps], the delay is about 100 [ms]. Therefore, the center bias component included in the motion vector information can be calculated more accurately by using the bias information before 100 [ms].
- Step 103 The blur correction device 100 subtracts the center bias component calculated in step 102 from the motion vector information in the center bias removing unit 38, and proceeds to step 104. Thereby, motion vector information based on the reference value error can be obtained.
- Step 104 The blur correction device 100 acquires the difference: MV_diff between the latest motion vector information (n) and the motion vector information (n ⁇ 1) one frame before, and proceeds to step 105.
- Step 105 In the blur correction device 100, the reference value correction amount calculation unit 35 sets an amount by which the reference value is corrected based on MV_diff. For the reference value, a correction amount is set based on the following idea, and the process proceeds to step 106.
- Step 106 In the blur correction device 100, the reference value subtraction / addition unit 42 obtains a corrected second reference value by subtracting ⁇ 0_comp calculated in Step 105 from the first reference value calculated in S107.
- FIG. 8A is a graph showing a second reference value in the Yaw direction.
- the dotted line in the drawing indicates the first reference value when the correction is not performed according to the present embodiment, and the solid line in the drawing indicates the second reference value when the correction is performed according to the present embodiment.
- FIG. 8B is a graph showing the direction of the motion vector information in the X direction.
- the first reference value is corrected to minus as shown in FIG.
- the second reference value changes according to the value calculated by the reference value calculation unit 34 until time t3.
- the first reference value is corrected to minus.
- the correction amount at this time is constant as at time t1.
- the first reference value changes according to the value calculated by the reference value calculation unit 34 to become the corrected second reference value.
- the first reference value is corrected to a certain amount minus. Further, when the motion vector information is confirmed in the minus direction as at times t22 and t25 in the drawing, the first reference value is corrected to a certain amount plus.
- the search range may be changed depending on the magnitude of the subject shake. In this case, as the subject blur increases, the search range is expanded.
- the correction amount of the reference value is a certain amount of plus or minus.
- the magnitude may be changed depending on the zoom position.
- the auto-focus operation may be performed by half-pressing the release switch 17, and the calculation of the motion vector may be stopped for a certain period. In such a case, the correction amount of the motion vector after the calculation of the motion vector is restarted after being stopped for a certain period may be increased.
- the angular velocity sensor 12 is provided in the lens barrel 1B.
- the present invention is not limited to this, and the angular velocity sensor 12 may be provided in the camera body 1A.
- an acceleration sensor may be provided in the camera body 1A or the lens barrel 1B.
- the center bias which is a centripetal force for moving the blur correction lens toward the center of its movable range, based on the target position of the blur correction lens calculated by the target position calculation unit.
- the control using is performed, the control without using the center bias may be performed. In that case, there is no center bias calculator and no center bias remover.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
光学的ブレ補正の防振性能をより向上可能な撮像装置を提供する。 本発明の撮像装置1は、光学系による被写体の像を撮像し信号を出力する撮像素子3と、前記信号に基づき画像データを生成する画像データ生成部40と、前記画像データ生成部40で生成された第1画像データで検出された前記被写体を、前記第1画像データと異なる時刻に撮像され、前記画像データ生成部で生成された第2画像データにおいて、前記光学系の焦点距離に基づいて設定した範囲で検出して前記被写体の像の動きベクトルを算出する動きベクトル算出部41と、を備える。
Description
本発明は、撮像装置に関するものである。
例えば、撮影した画像から画像の動きベクトル情報を検出し、この動きベクトル情報を、ブレ補正レンズの目標駆動位置の演算にフィードバックすることにより、光学的ブレ補正の防振性能を高める技術が提案されている(特許文献1参照)。
本発明の撮像装置は、光学系による被写体の像を撮像し信号を出力する撮像素子と、前記信号に基づき画像データを生成する画像データ生成部と、前記画像データ生成部で生成された第1画像データで検出された前記被写体を、前記第1画像データと異なる時刻に撮像され、前記画像データ生成部で生成された第2画像データにおいて、前記光学系の焦点距離に基づいて設定した範囲で検出して前記被写体の像の動きベクトルを算出する動きベクトル算出部と、を有する構成とした。
以下、図面等を参照して、本発明の実施形態について説明する。図1は、カメラ1を模式的に示す断面図である。
図1に示すように、本実施形態においては3次元直交座標系が設定される。具体的には、レンズ鏡筒1Bの光軸に平行な軸をZ軸(紙面水平方向)とし、Z軸に垂直な平面内でZ軸と交わる軸をX軸(紙面奥行き方向)とし、Z軸に垂直な平面内でZ軸とX軸とに垂直に交わる軸をY軸(紙面鉛直方向)とする。そして、Z軸を中心とする回転方向をRoll方向、Y軸を中心とする回転方向をYaw方向、X軸を中心とする回転方向をPitch方向とする。
図1に示すように、本実施形態においては3次元直交座標系が設定される。具体的には、レンズ鏡筒1Bの光軸に平行な軸をZ軸(紙面水平方向)とし、Z軸に垂直な平面内でZ軸と交わる軸をX軸(紙面奥行き方向)とし、Z軸に垂直な平面内でZ軸とX軸とに垂直に交わる軸をY軸(紙面鉛直方向)とする。そして、Z軸を中心とする回転方向をRoll方向、Y軸を中心とする回転方向をYaw方向、X軸を中心とする回転方向をPitch方向とする。
(カメラ1)
カメラ1は、カメラボディ1Aと、このカメラボディ1Aとレンズ鏡筒1Bとが一体型であるが、これに限らず、カメラボディに対してレンズ鏡筒が着脱自在のカメラであってもよい。
また、カメラ1は、実施形態では内部にミラーを備えない構造であるが、これに限定されず、ミラーを有するカメラであってもよい。
カメラ1は、カメラボディ1Aと、このカメラボディ1Aとレンズ鏡筒1Bとが一体型であるが、これに限らず、カメラボディに対してレンズ鏡筒が着脱自在のカメラであってもよい。
また、カメラ1は、実施形態では内部にミラーを備えない構造であるが、これに限定されず、ミラーを有するカメラであってもよい。
(カメラボディ1A)
カメラボディ1Aは、撮像センサ3、記録媒体13、記憶部14、操作部15、レリーズスイッチ17、背面液晶18、シャッタ20、及びCPU2を備える。なお、CPU2は、後述のブレ補正装置100を含む。
カメラボディ1Aは、撮像センサ3、記録媒体13、記憶部14、操作部15、レリーズスイッチ17、背面液晶18、シャッタ20、及びCPU2を備える。なお、CPU2は、後述のブレ補正装置100を含む。
撮像センサ3は撮影光学系の予定焦点面に設けられ、レンズ鏡筒1Bの撮影光学系4,5,6を介して入射した被写体光を光電変換して信号を生成する素子であり、例えばCCD、CMOSなどにより構成されている。
撮像センサ3から出力された信号から、CPU2に含まれる後述の画像生成部40で画像データが生成される。
撮像センサ3から出力された信号から、CPU2に含まれる後述の画像生成部40で画像データが生成される。
撮像センサ3は焦点検出用の画素を有し、CPU2は、焦点検出用画素からの画素出力データを用いて周知の瞳分割式位相差方式により焦点検出処理を行う。または、撮像センサ3から出力されるデータを用いて周知のコントラスト方式により焦点検出を行ってもよい。
記録媒体13は、撮像された画像データを記録するための媒体であり、SDカード、CFカード等が使用される。
記憶部14は、例えばEEPROM等のメモリである。記憶部14は、後述するように、撮影光学系4,5,6のズームポジション(焦点距離)に対応した、サーチ範囲の情報を記憶している。
操作部15は、ズーム操作が可能で、操作部15を介してズーム操作を行うことにより、撮影光学系のズームポジションを変更することができる。
レリーズスイッチ17は、カメラ1の撮影操作を行う部材であって、シャッタ駆動のタイミング等を操作するスイッチである。
背面液晶18は、カメラボディ1Aの背面に設けられ、撮影した被写体像(再生画像、ライブビュー画像)や操作に関連した情報(メニュー)などを表示するカラー液晶ディスプレイである。
シャッタ20は、レリーズスイッチ17などによる撮影指示に応じてシャッタ幕を走行させ、撮像センサ3に入射する被写体光を制御する。
CPU2は、カメラ1の全体の制御を行う中央処理装置であり、後述のブレ補正装置100を備える。
(レンズ鏡筒1B)
次に、レンズ鏡筒1Bについて説明する。レンズ鏡筒1Bは、ズームレンズ4、フォーカスレンズ5、ブレ補正レンズ6、ズームレンズ駆動機構7、フォーカスレンズ駆動機構8、ブレ補正レンズ駆動機構9、絞り10、絞り駆動機構11、角速度センサ12(ブレ検出センサ)及びブレ補正レンズ位置検出部21を備える。
次に、レンズ鏡筒1Bについて説明する。レンズ鏡筒1Bは、ズームレンズ4、フォーカスレンズ5、ブレ補正レンズ6、ズームレンズ駆動機構7、フォーカスレンズ駆動機構8、ブレ補正レンズ駆動機構9、絞り10、絞り駆動機構11、角速度センサ12(ブレ検出センサ)及びブレ補正レンズ位置検出部21を備える。
ズームレンズ4は、ズームレンズ駆動機構7により駆動され、光軸方向に沿って移動することにより、ズームポジション(焦点距離)を変化させるレンズ群である。
撮影者が操作部15を介してズーム操作を行うと、CPU2に含まれる後述のレンズ駆動量演算部39はズームレンズ4の駆動量を演算し、ズームレンズ駆動機構7を介してズームレンズ4のズームポジションを変更する。
撮影者が操作部15を介してズーム操作を行うと、CPU2に含まれる後述のレンズ駆動量演算部39はズームレンズ4の駆動量を演算し、ズームレンズ駆動機構7を介してズームレンズ4のズームポジションを変更する。
フォーカスレンズ5は、フォーカスレンズ駆動機構8により駆動され、光軸方向に移動して、焦点を合わせるレンズ群である。
ブレ補正レンズ6は、VCM(ヴォイスコイルモータ)等のブレ補正レンズ駆動機構9により光学的にブレ補正駆動され、光軸に垂直な面上で可動なレンズ群である。
絞り10は、絞り駆動機構11に駆動され、撮影光学系を通過する被写体光の光量を制御する。
角速度センサ12は、レンズ鏡筒1Bに生じる手ブレの角速度(ブレ出力信号)を検出するセンサで、X軸回り(Pitch)、Y軸回り(Yaw)、の角速度を検出する振動ジャイロ等のセンサである。なお、角速度センサ12は、さらにZ軸回り(Roll)の角速度も検出してもよい。
角速度センサ12は、CPU2に含まれる後述の動きベクトル演算部41にも接続されており、角速度センサ12により検出された角速度は、動きベクトル演算部41に送られる。
角速度センサ12は、CPU2に含まれる後述の動きベクトル演算部41にも接続されており、角速度センサ12により検出された角速度は、動きベクトル演算部41に送られる。
(ブレ補正装置100)
図2は、カメラ1に含まれるブレ補正装置100を示すブロック図である。ブレ補正装置100は、増幅部31と、第1A/D変換部32、第2A/D変換部33、基準値演算部34、減算部43と、目標位置演算部36、センタバイアス演算部37、基準値補正部50及びレンズ駆動量演算部39を備える。ブレ補正装置100は、さらに、画像生成部40、センサ制御部46、及び動きベクトル演算部41を備える。
図2は、カメラ1に含まれるブレ補正装置100を示すブロック図である。ブレ補正装置100は、増幅部31と、第1A/D変換部32、第2A/D変換部33、基準値演算部34、減算部43と、目標位置演算部36、センタバイアス演算部37、基準値補正部50及びレンズ駆動量演算部39を備える。ブレ補正装置100は、さらに、画像生成部40、センサ制御部46、及び動きベクトル演算部41を備える。
増幅部31は、角速度センサ12の出力を増幅する。
第1A/D変換部32は、増幅部31の出力をA/D変換する。
基準値演算部34は、角速度センサ12から得られた振動検出信号(第1A/D変換部32の出力)の基準値(第1基準値、補正前の基準値)を演算する。角速度の基準値とは、例えば、カメラ1(カメラボディ1A、レンズ鏡筒1B)が静止しているときに角速度センサ12から出力される振動検出信号である。基準値演算部34は、例えば、角速度センサ12の出力から所定の高周波成分を低減するローパスフィルタの出力に基づいて基準値を求めることができる。
減算部43は、基準値演算部34において演算された第1基準値を補正した基準値(第2準値、補正後の基準値)を第1A/D変換部32の出力から減算する。
目標位置演算部36は、減算部43において基準値が減算された後の角速度センサ12の出力を基に、ブレ補正レンズ6の目標位置を演算する。
センタバイアス演算部37は、目標位置演算部36によって算出されたブレ補正レンズ6の目標位置に基づいて、ブレ補正レンズ6を、その可動範囲の中心に向かって移動させるための向心力をバイアス量として演算する。そして、ブレ補正レンズ6の目標位置から、算出したバイアス量を減算することによりブレ補正レンズ6の制御位置を算出する。
このようにセンタリングバイアス処理を行うことで、ブレ補正レンズ6がハードリミットに衝突することを有効に防止することができ、さらには、撮影画像の見栄えを向上させることができる。
このようにセンタリングバイアス処理を行うことで、ブレ補正レンズ6がハードリミットに衝突することを有効に防止することができ、さらには、撮影画像の見栄えを向上させることができる。
レンズ駆動量演算部39は、ズームレンズ4及びブレ補正レンズ6のレンズの駆動量演算を行う。
レンズ駆動量演算部39は、目標位置演算部36からの目標位置と、ブレ補正レンズ位置検出部21により検出され、第2A/D変換部33によりA/D変換された値から求められたブレ補正レンズ6の現在位置から、ブレ補正レンズ駆動機構9の駆動量を演算する。
レンズ駆動量演算部39は、操作部15より撮影者がズーム操作を行うと、ズームレンズ駆動機構7に駆動量を指示してズームレンズ4を駆動する。
レンズ駆動量演算部39は、目標位置演算部36からの目標位置と、ブレ補正レンズ位置検出部21により検出され、第2A/D変換部33によりA/D変換された値から求められたブレ補正レンズ6の現在位置から、ブレ補正レンズ駆動機構9の駆動量を演算する。
レンズ駆動量演算部39は、操作部15より撮影者がズーム操作を行うと、ズームレンズ駆動機構7に駆動量を指示してズームレンズ4を駆動する。
(センサ制御部46)
センサ制御部46は、測光された被写体の輝度に基づき、撮像センサ3のセンサレートを設定する。例えば、被写体が暗いときには、1枚の画像を得るための露光時間が長くなるので、センサレートを低く15fpsに設定する。明るくなるに従い、1枚の画像を得るための露光時間が短くなるので、30,60,120fpsとセンサレートを高く設定する。
センサ制御部46は、測光された被写体の輝度に基づき、撮像センサ3のセンサレートを設定する。例えば、被写体が暗いときには、1枚の画像を得るための露光時間が長くなるので、センサレートを低く15fpsに設定する。明るくなるに従い、1枚の画像を得るための露光時間が短くなるので、30,60,120fpsとセンサレートを高く設定する。
(画像生成部40)
画像生成部40は、撮像センサ3によって取得された画像信号に対してノイズ処理やA/D変換等の処理を行い、記録媒体13に静止画として記録される記録用画像データを作成する。
画像生成部40は、撮像センサ3によって取得された画像信号に対してノイズ処理やA/D変換等の処理を行い、記録媒体13に静止画として記録される記録用画像データを作成する。
(動きベクトル演算部41)
動きベクトル演算部41は、画像生成部40により生成された処理用画像データから、像の動き(動き方向、動き量)を示す動きベクトル情報を演算する。動きベクトル情報は、X軸方向、Y軸方向、Roll方向の符号付きの大きさ等で表される。さらに動きベクトル情報は、検出遅れ時間等も含む。
動きベクトル演算部41は、画像生成部40により生成された処理用画像データから、像の動き(動き方向、動き量)を示す動きベクトル情報を演算する。動きベクトル情報は、X軸方向、Y軸方向、Roll方向の符号付きの大きさ等で表される。さらに動きベクトル情報は、検出遅れ時間等も含む。
(動きベクトルの演算方法)
動きベクトル演算部41は、撮像センサ3により撮像された2以上の画像データに含まれる参照部の位置を比較して、その参照部の動き方向及び動き量より、動きベクトル情報を求める。輝度情報以外にも、画像のパターンマッチングなどで動きベクトル情報を求めてもよい。
なお、動きベクトル情報は、1つの画像から検出してもよいし、2つの離れた画像データから算出してもよいし、3つの画像から算出してもよい。
動きベクトル演算部41は、撮像センサ3により撮像された2以上の画像データに含まれる参照部の位置を比較して、その参照部の動き方向及び動き量より、動きベクトル情報を求める。輝度情報以外にも、画像のパターンマッチングなどで動きベクトル情報を求めてもよい。
なお、動きベクトル情報は、1つの画像から検出してもよいし、2つの離れた画像データから算出してもよいし、3つの画像から算出してもよい。
(動きベクトルの演算方法の具体例)
本実施形態において、動きベクトル演算部41は、第1画像データの一部領域(画面内のある特定の箇所であり、以下参照部と称する)と第1画像データよりも後に生成される第2画像データの参照部とを比較し、2つの画像データの参照部の移動量より動きベクトル情報を求める。その求め方の一例を以下に示す。図3は動きベクトル情報の求め方の一例を説明する図である。
本実施形態において、動きベクトル演算部41は、第1画像データの一部領域(画面内のある特定の箇所であり、以下参照部と称する)と第1画像データよりも後に生成される第2画像データの参照部とを比較し、2つの画像データの参照部の移動量より動きベクトル情報を求める。その求め方の一例を以下に示す。図3は動きベクトル情報の求め方の一例を説明する図である。
まず、第1画像データ内で、参照部Qを選択する。参照部Qは、例えば特徴的な高輝度部分等であり、以下において1つの画像データにおける参照部が1つの場合について説明するが、画像データを複数のブロックに分け、ブロックごとに参照部を選択してもよい。参照部Qは1以上の画素で構成されている。第1画像データ内の参照部Qの位置を移動前位置P1とする。
次に、第2画像データにおいて、第1画像データの参照部Qの移動前位置P1を中心とした、図において点線で示すような所定の範囲をサーチ範囲として設定する。そのサーチ範囲内で、参照部Qと相関が高い部分を検索し、第一画像データと同様に、第2画像データにおける参照部Qを選択する。
、最も相関が高い移動後の参照部Qの位置を移動後位置P2とする。
参照部Qの移動前位置P1と移動後位置P2との間の位置ずれを、動きベクトルMVとして検出する。動きベクトル情報とは、この位置ずれの大きさと方向とを含む情報である。
、最も相関が高い移動後の参照部Qの位置を移動後位置P2とする。
参照部Qの移動前位置P1と移動後位置P2との間の位置ずれを、動きベクトルMVとして検出する。動きベクトル情報とは、この位置ずれの大きさと方向とを含む情報である。
本実施形態においてサーチ範囲は、撮影光学系(ズームレンズ)のズームポジションによって異なる。サーチ範囲は以下のように決定される。
(ズームポジション情報取得)
操作部15でズーム操作がなされると、レンズ駆動量演算部39は、ズームレンズ4の駆動量を演算し、ズームレンズ駆動機構7を駆動する。それとともに、動きベクトル演算部41は、撮影光学系のズームポジションを受信する。
なお、レンズ鏡筒1Bにズームレンズの位置検出部が設けられている場合、動きベクトル演算部41は、ズームレンズの位置検出部からズームポジション情報を受信してもよい。
操作部15でズーム操作がなされると、レンズ駆動量演算部39は、ズームレンズ4の駆動量を演算し、ズームレンズ駆動機構7を駆動する。それとともに、動きベクトル演算部41は、撮影光学系のズームポジションを受信する。
なお、レンズ鏡筒1Bにズームレンズの位置検出部が設けられている場合、動きベクトル演算部41は、ズームレンズの位置検出部からズームポジション情報を受信してもよい。
(記憶部14のデータ参照)
ズームポジションは、例えば、レンズ鏡筒1Bがテレ(望遠)端から一定領域のテレ領域、ワイド(広角)端から一定領域のワイド領域、テレ領域とワイド領域との間のミドル領域との3つの領域に分けられている。
記憶部14には以下の表1に示すように、ズームポジションがワイド領域と、ミドル領域と、テレ領域との場合において、異なるサーチ範囲が記憶されている。
ズームポジションは、例えば、レンズ鏡筒1Bがテレ(望遠)端から一定領域のテレ領域、ワイド(広角)端から一定領域のワイド領域、テレ領域とワイド領域との間のミドル領域との3つの領域に分けられている。
記憶部14には以下の表1に示すように、ズームポジションがワイド領域と、ミドル領域と、テレ領域との場合において、異なるサーチ範囲が記憶されている。
(動きベクトルの演算)
動きベクトル演算部41は第2画像データにおいて、第1画像データにおける参照部Qの位置に相当する位置P1を中心とした、記憶部14より取得したサーチ範囲内で参照部Qを検索する。
次いで、第1画像データにおける参照部Qの位置P1と、第2画像データにおける参照部の位置P2とのずれ量より、動きベクトルMVを求める。
動きベクトル演算部41は第2画像データにおいて、第1画像データにおける参照部Qの位置に相当する位置P1を中心とした、記憶部14より取得したサーチ範囲内で参照部Qを検索する。
次いで、第1画像データにおける参照部Qの位置P1と、第2画像データにおける参照部の位置P2とのずれ量より、動きベクトルMVを求める。
(ワイド領域)
ズームポジションがワイド領域の場合、動きベクトルのサーチ範囲は22×22ピクセルである。動きベクトル演算部41は、第2画像データにおいて、位置P1を中心とした22×22ピクセルのサーチ範囲内で、参照部Qを検索する。
通常、ワイド領域の場合は、テレ領域に比べて手ブレによる画面上における被写体像の移動は少なく、そのため、手ブレ補正を行っても残留する動きベクトルは少ない。すなわち、ワイド領域では、第1画像データと第2画像データとの間での参照部Qの位置ずれはテレ側に比べて小さい。したがって、サーチ範囲を不要に広げる必要はなく、逆にサーチ範囲を広げると、処理時間、演算負荷がかかる。
実施形態では、ワイド領域のサーチ範囲を他の領域と比べて狭くすることで、処理時間、演算負荷を他の領域に比べて縮小することができる。
ズームポジションがワイド領域の場合、動きベクトルのサーチ範囲は22×22ピクセルである。動きベクトル演算部41は、第2画像データにおいて、位置P1を中心とした22×22ピクセルのサーチ範囲内で、参照部Qを検索する。
通常、ワイド領域の場合は、テレ領域に比べて手ブレによる画面上における被写体像の移動は少なく、そのため、手ブレ補正を行っても残留する動きベクトルは少ない。すなわち、ワイド領域では、第1画像データと第2画像データとの間での参照部Qの位置ずれはテレ側に比べて小さい。したがって、サーチ範囲を不要に広げる必要はなく、逆にサーチ範囲を広げると、処理時間、演算負荷がかかる。
実施形態では、ワイド領域のサーチ範囲を他の領域と比べて狭くすることで、処理時間、演算負荷を他の領域に比べて縮小することができる。
(ミドル領域)
ズームポジションがミドル領域の場合、動きベクトルのサーチ範囲は38×38ピクセルである。動きベクトル演算部41は、第2画像データにおいて、位置P1を中心とした38×38ピクセルのサーチ範囲内において、参照部Qを検索する。
ズームポジションがミドル領域の場合、動きベクトルのサーチ範囲は38×38ピクセルである。動きベクトル演算部41は、第2画像データにおいて、位置P1を中心とした38×38ピクセルのサーチ範囲内において、参照部Qを検索する。
(テレ領域)
ズームポジションがテレ領域の場合、動きベクトルのサーチ範囲は64×64ピクセルである。動きベクトル演算部41は、第2画像データにおいて、位置P1を中心とした64×64ピクセルのサーチ範囲内で、参照部Qを検索する。
上述した理由のとおり、通常、テレ領域では、第1画像データと第2画像データとの間での参照部Qの位置ずれはワイド側に比べて大きくなる。したがって、サーチ範囲が狭いと、第2画像データにおいて参照部Qがサーチ範囲外に移動し、参照部Qを検出できない可能性がある。
しかし、本実施形態では、テレ領域のサーチ範囲をワイド領域に比べて広くするので、第2画像データにおいて参照部Qがサーチ範囲外になって参照部Qを検出できない可能性が低減される。
ズームポジションがテレ領域の場合、動きベクトルのサーチ範囲は64×64ピクセルである。動きベクトル演算部41は、第2画像データにおいて、位置P1を中心とした64×64ピクセルのサーチ範囲内で、参照部Qを検索する。
上述した理由のとおり、通常、テレ領域では、第1画像データと第2画像データとの間での参照部Qの位置ずれはワイド側に比べて大きくなる。したがって、サーチ範囲が狭いと、第2画像データにおいて参照部Qがサーチ範囲外に移動し、参照部Qを検出できない可能性がある。
しかし、本実施形態では、テレ領域のサーチ範囲をワイド領域に比べて広くするので、第2画像データにおいて参照部Qがサーチ範囲外になって参照部Qを検出できない可能性が低減される。
なお、第1画像データと第2画像データとをそれぞれ複数のブロックに分割し、ブロックの範囲をサーチ範囲として、第1画像データと第2画像データとの間において、ブロック内で参照部を検索してもよい。
この場合、ワイド領域ではテレ領域よりも分割するブロック数を増加して1つのブロックを小さくすることにより、サーチ範囲を狭くする。テレ領域では、分割するブロック数を減らして1つのブロックを大きくすることにより、サーチ範囲を広くする。
この場合、ワイド領域ではテレ領域よりも分割するブロック数を増加して1つのブロックを小さくすることにより、サーチ範囲を狭くする。テレ領域では、分割するブロック数を減らして1つのブロックを大きくすることにより、サーチ範囲を広くする。
第1画像データと第2画像データとをそれぞれ複数のブロックに分割し、処理時間短縮のために、そのブロックよりも小さい範囲をサーチ範囲としている場合がある。このような場合は、テレ側になる従い、サーチ範囲をブロック枠に近づけることで、サーチ範囲を広げるようにしてもよい。
(動きベクトルの演算タイミング)
図4は、動きベクトル演算部41における、動きベクトルの演算タイミングを説明する図である。
動きベクトル演算部41は、n-1番目の画像データ(第1画像データ)と、n-1番目の画像データが取得された時刻よりも後の時刻に撮像された、その次のn番目の画像データ(第2画像データ)とから動きベクトル情報を演算する。
例えば、撮像センサ3から30fpsで画像データが送られる場合、33msに1回、動きベクトル情報が得られる。
図4は、動きベクトル演算部41における、動きベクトルの演算タイミングを説明する図である。
動きベクトル演算部41は、n-1番目の画像データ(第1画像データ)と、n-1番目の画像データが取得された時刻よりも後の時刻に撮像された、その次のn番目の画像データ(第2画像データ)とから動きベクトル情報を演算する。
例えば、撮像センサ3から30fpsで画像データが送られる場合、33msに1回、動きベクトル情報が得られる。
ここで、
時刻t1はn-1番目の画像データの露光が開始された時刻である。
時刻t2はn-1番目の画像データの露光が開始された時刻と露光が終了された時刻とのちょうど中間の時刻である。
時刻t4はn番目の画像データの露光が開始される時刻である。
時刻t5はn番目の画像データの露光が開始された時刻と露光が終了された時刻とのちょうど中間の時刻である。
時刻t6はn-1の画像データとnの画像データとから演算された動きベクトル情報が得られた時刻であるが、この動きベクトル情報の発生時刻は、t5とt2との間のt3とのちょうど中間と考えるのが妥当である。動きベクトル情報が得られた時刻と、動きベクトルが発生した時刻との間には、t6-t3の検出遅れ時間が生じている。
時刻t1はn-1番目の画像データの露光が開始された時刻である。
時刻t2はn-1番目の画像データの露光が開始された時刻と露光が終了された時刻とのちょうど中間の時刻である。
時刻t4はn番目の画像データの露光が開始される時刻である。
時刻t5はn番目の画像データの露光が開始された時刻と露光が終了された時刻とのちょうど中間の時刻である。
時刻t6はn-1の画像データとnの画像データとから演算された動きベクトル情報が得られた時刻であるが、この動きベクトル情報の発生時刻は、t5とt2との間のt3とのちょうど中間と考えるのが妥当である。動きベクトル情報が得られた時刻と、動きベクトルが発生した時刻との間には、t6-t3の検出遅れ時間が生じている。
(基準値補正部50)
基準値補正部50は、センタバイアス除去部38、基準値補正量演算部35、基準値減加算部42を備える。
基準値補正部50は、センタバイアス除去部38、基準値補正量演算部35、基準値減加算部42を備える。
以下の説明では、X方向の基準値の補正について説明する。動きベクトル情報のX方向の情報を、動きベクトル情報Xとする。Y方向の基準値の補正ついても、X方向と同様である。本実施形態では、動きベクトル情報のRoll方向の情報は受信しない。なお、動きベクトル情報のRoll方向の情報を受信してもよい。
(センタバイアス除去部38)
センタバイアス除去部38は、動きベクトル情報Xから、センタバイアス演算部37において演算された(ブレ補正レンズ6の目標位置から減算された)X成分のバイアス量から算出されるバイアス補正量Xを減算する。
センタバイアス除去部38は、動きベクトル情報Xから、センタバイアス演算部37において演算された(ブレ補正レンズ6の目標位置から減算された)X成分のバイアス量から算出されるバイアス補正量Xを減算する。
(基準値補正量演算部35)
基準値補正量演算部35は、センタバイアス除去部38においてバイアス補正量Xが除去された動きベクトル情報Xをもとに、Y軸周り(Yaw)方向の角速度センサの出力値から基準値補正量を演算する。
本実施形態では、動きベクトル情報Xの正負のみ判断し、動きベクトル情報Xがマイナス方向に確認されると、補正量はプラスの一定量、動きベクトル情報がプラス方向に確認されると、補正量はマイナスの一定量である。
基準値補正量演算部35は、センタバイアス除去部38においてバイアス補正量Xが除去された動きベクトル情報Xをもとに、Y軸周り(Yaw)方向の角速度センサの出力値から基準値補正量を演算する。
本実施形態では、動きベクトル情報Xの正負のみ判断し、動きベクトル情報Xがマイナス方向に確認されると、補正量はプラスの一定量、動きベクトル情報がプラス方向に確認されると、補正量はマイナスの一定量である。
(基準値減加算部42)
基準値減加算部42は、基準値演算部35により演算された補正量で第1基準値を補正して補正後の第2基準値を求める。
基準値減加算部42は、基準値演算部35により演算された補正量で第1基準値を補正して補正後の第2基準値を求める。
(ブレ補正装置100の動作)
図5は、ブレ補正装置100の動作の流れを示したフローチャートである。
ステップ001:カメラ1の電源がONにされた後、ブレ補正装置100は光学防振の為の演算を開始する。カメラによっては、レリーズスイッチ17が半押しされた場合、ブレ補正装置100が光学防振の為の演算を開始する。
図5は、ブレ補正装置100の動作の流れを示したフローチャートである。
ステップ001:カメラ1の電源がONにされた後、ブレ補正装置100は光学防振の為の演算を開始する。カメラによっては、レリーズスイッチ17が半押しされた場合、ブレ補正装置100が光学防振の為の演算を開始する。
ステップ002:ブレ補正装置100は、角速度センサ12の出力を増幅部31で増幅した後、第1A/D変換部32によりA/D変換する。
ステップ003:ブレ補正装置100は、基準値演算部34において、角速度センサ12の出力のA/D変換後の信号を基に、演算上の角速度の基準値(ゼロdeg/s相当の値)を算出する。角速度の基準値は、温度特性や、起動直後のドリフト特性等により変化するため、例えば、工場出荷時における角速度センサ12の静止時出力を基準値に用いることはできない。
基準値を算出方法について、所定時間の移動平均を演算する方法や、LPF処理により演算する方法が知られている。本実施形態では、LPF処理による基準値演算を用いる。
図6は基準値演算部34(HPF)を示した図である。LPF34のカットオフ周波数fcは、0.1[Hz]程度の低い周波数に設定するのが一般的である。これは、手ブレは1~10[Hz]程度の周波数が支配的であることに起因する。0.1[Hz]のfcであれば、手ブレ成分に与える影響は少なく、良好なブレ補正を行うことができる。
しかしながら、実際の撮影時には、構図の微調整(パンニング検出できないレベルの)等、低周波の動きが加わるため、基準値演算結果に誤差を持ってしまうこともある。また、fcが低い(時定数が大きい)為に、一端誤差が大きくなってしまった場合、真値に収束するまでに時間を要してしまうという課題がある。本実施形態は、この基準値の誤差を補正するものである。
ステップ004:ブレ補正装置100は、動きベクトルの情報が更新された場合(S004,YES)、S005へ進み、更新されていない場合(S004,NO)は、S006へ進む。
ステップ005:ブレ補正装置100は、動きベクトルの情報が更新された場合、基準値補正部50において基準値補正を行う。基準値補正ステップについては、後述する。なお、露光中は動きベクトルの情報が得られないため、このステップは、露光直前までの実施となる。
ステップ006:ブレ補正装置100は、目標位置演算部36において、基準値補正後の角速度センサ12の出力をもとに、目標位置演算部36は、焦点距離、被写体距離、撮影倍率、ブレ補正レンズ特性情報を基に、ブレ補正レンズ6の目標位置を演算する。
ステップ007:ブレ補正装置100は、ブレ補正レンズ6が可動端へ到達することを防ぐため、センタバイアス処理を行う。
センタバイアス処理の方法については、目標位置情報に応じてバイアス量を設定する方法や、HPF処理、不完全積分処理(S006にて)等、種々あるが、ここでは方法は問わない。
センタバイアス処理の方法については、目標位置情報に応じてバイアス量を設定する方法や、HPF処理、不完全積分処理(S006にて)等、種々あるが、ここでは方法は問わない。
ステップ008:ブレ補正装置100は、レンズ駆動量演算部39において、センタバイアス成分を加味した目標位置情報と、ブレ補正レンズ位置情報の差分から、レンズ駆動量を演算する。
ステップ009:ブレ補正装置100は、ブレ補正レンズ駆動機構9を介してブレ補正レンズ6を目標位置まで駆動させ、S002へ戻る。
(基準値補正ステップ)
図7は、図5の基準値補正ステップ005の詳細なフローチャートである。
ステップ101:ブレ補正装置100は、受信した動きベクトル情報を全て合計し、ステップ102へ進む。
ステップ102:ブレ補正装置100は、センタバイアス除去部38において、ステップ007で演算したセンタバイアス成分を、動きベクトル情報と同一スケールに換算し、ステップ103へ進む。
換算方法は、焦点距離、被写体距離、撮影倍率、動きベクトル情報の分解能情報を基に演算する。
Bias_MV=Bias_θ*f1+β/MV_pitch
Bias_MV:センタバイアス成分(動きベクトル情報同一スケール)
Bias_θ:センタバイアス成分(角度)
f:焦点距離
β:撮影倍率
MV_pitch:動きベクトルピッチサイズ
図7は、図5の基準値補正ステップ005の詳細なフローチャートである。
ステップ101:ブレ補正装置100は、受信した動きベクトル情報を全て合計し、ステップ102へ進む。
ステップ102:ブレ補正装置100は、センタバイアス除去部38において、ステップ007で演算したセンタバイアス成分を、動きベクトル情報と同一スケールに換算し、ステップ103へ進む。
換算方法は、焦点距離、被写体距離、撮影倍率、動きベクトル情報の分解能情報を基に演算する。
Bias_MV=Bias_θ*f1+β/MV_pitch
Bias_MV:センタバイアス成分(動きベクトル情報同一スケール)
Bias_θ:センタバイアス成分(角度)
f:焦点距離
β:撮影倍率
MV_pitch:動きベクトルピッチサイズ
また、動きベクトル情報は検出するまでに遅れ時間が発生するため、センタバイアス成分も、動きベクトル情報と同等の遅れ時間を持たせることが好ましい。例えば、30[fps]で、3フレーム分の遅れ時間を持っている場合、約100[ms]遅れることになる。このため、100[ms]前のバイアス情報を用いることで、より正確に動きベクトル情報に含まれる、センタバイアス成分が演算できる。
ステップ103:ブレ補正装置100は、センタバイアス除去部38においてステップ102で演算したセンタバイアス成分を動きベクトル情報から減算し、ステップ104へ進む。これにより、基準値誤差による動きベクトル情報を取得することができる。
ステップ104:ブレ補正装置100は、最新の動きベクトル情報(n)と1フレーム前の動きベクトル情報(n-1)の差分:MV_diffを取得し、ステップ105へ進む。
ステップ105:ブレ補正装置100は、基準値補正量演算部35において、MV_diffを基に、基準値を補正する量を設定する。基準値は、以下の考えにより、補正量を設定し、ステップ106へ進む。
MV_diff>0:ω0_comp=-ω0_comp_def
MV_diff<0:ω0_comp=+ω0_comp_def
MV_diff=0:ω0_comp=0
ω0_comp :基準値補正量
ω0_comp_def:基準値補正常数
MV_diff>0:ω0_comp=-ω0_comp_def
MV_diff<0:ω0_comp=+ω0_comp_def
MV_diff=0:ω0_comp=0
ω0_comp :基準値補正量
ω0_comp_def:基準値補正常数
ステップ106:ブレ補正装置100は、基準値減加算部42において、ステップ105にて演算したω0_compをS107にて演算した第1基準値から減算して補正後の第2基準値を求める。
図8(a)は、Yaw方向の第2基準値を示したグラフである。図中点線は本実施形態による補正しなかった場合の第1基準値を示し、図中実線は、本実施形態により補正した場合の第2基準値を示す。
図8(b)はX方向の動きベクトル情報の方向を示したグラフである。
例えば、図8(b)の時刻t1のように、動きベクトル情報がプラス方向の場合、(a)に示すように第1基準値はマイナスに補正する。
その後、時刻t3まで第2基準値は、基準値演算部34で演算される値に従い変化する。
時刻t3において、動きベクトル情報がプラス方向に確認されると、また第1基準値をマイナスに補正する。本実施形態では、このときの補正量は時刻t1のときと一定とする。
その後も、動きベクトル情報が確認される時刻と時刻の間、第1基準値は、基準値演算部34で演算された値に従い変化して補正後の第2基準値となる。
また、動きベクトル情報がプラス方向に確認されると、第1基準値を一定量マイナスに補正する。
また、図中の時刻t22やt25のように動きベクトル情報がマイナス方向に確認されると、第1基準値を一定量プラスに補正する。
例えば、図8(b)の時刻t1のように、動きベクトル情報がプラス方向の場合、(a)に示すように第1基準値はマイナスに補正する。
その後、時刻t3まで第2基準値は、基準値演算部34で演算される値に従い変化する。
時刻t3において、動きベクトル情報がプラス方向に確認されると、また第1基準値をマイナスに補正する。本実施形態では、このときの補正量は時刻t1のときと一定とする。
その後も、動きベクトル情報が確認される時刻と時刻の間、第1基準値は、基準値演算部34で演算された値に従い変化して補正後の第2基準値となる。
また、動きベクトル情報がプラス方向に確認されると、第1基準値を一定量マイナスに補正する。
また、図中の時刻t22やt25のように動きベクトル情報がマイナス方向に確認されると、第1基準値を一定量プラスに補正する。
(変形形態)
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
(1)ユーザーの手振れではなく、被写体が移動することで生じる、いわゆる被写体ブレが、撮影した画像データから検出可能な場合、被写体ブレの大きさによって、サーチ範囲を変えてもよい。この場合、被写体ブレが大きくなるに従い、サーチ範囲を広げる。
(2)実施形態では、基準値の補正量は、プラスかマイナスの一定量であったが、ズームポジションによって大きさを変えてもよい。また、レリーズスイッチ17の半押しによりオートフォーカス動作が行われ、動きベクトルの演算が一定期間停止する場合がある。このような場合、動きベクトルの演算が一定期間停止後に再開した後の動きベクトルの補正量を、大きくするようにしてもよい。
(3)本実施形態は角速度センサ12をレンズ鏡筒1Bが備える構造であったが、これに限らず、角速度センサ12はカメラボディ1A内に備えられていてもよい。
(4)また、角速度センサではなく、加速度センサをカメラボディ1A又はレンズ鏡筒1B内に備えるものであってもよい。
(5)上述の実施形態では、目標位置演算部によって算出されたブレ補正レンズの目標位置に基づいて、ブレ補正レンズを、その可動範囲の中心に向かって移動させるための向心力であるセンタバイアスを用いた制御を行ったが、センタバイアスを用いない制御を行ってもよい。その場合は、センタバイアス演算部とセンタバイアス除去部を持たない。
1:カメラ、1A:カメラボディ、1B:レンズ鏡筒、2:CPU、3:撮像センサ、4:ズームレンズ、5:フォーカスレンズ、6:ブレ補正レンズ、7:ズームレンズ駆動機構、8:フォーカスレンズ駆動機構、9:ブレ補正レンズ駆動機構、10:絞り、11:駆動機構、12:角速度センサ、13:記録媒体、14:記憶部、15:操作部、17:レリーズスイッチ、18:背面液晶、20:シャッタ、21:ブレ補正レンズ位置検出部、31:増幅部、34:基準値演算部、35:基準値補正量演算部、36:目標位置演算部、37:センタバイアス演算部、38:センタバイアス除去部、39:レンズ駆動量演算部、40:画像生成部、40A:前処理部、40B:サイズ調整部、41:動きベクトル演算部、42:基準値減加算部、43:減算部、46:センサ制御部、50:基準値補正部、100:ブレ補正装置
Claims (6)
- 光学系による被写体の像を撮像し信号を出力する撮像素子と、
前記信号に基づき画像データを生成する画像データ生成部と、
前記画像データ生成部で生成された第1画像データで検出された前記被写体を、前記第1画像データと異なる時刻に撮像され、前記画像データ生成部で生成された第2画像データにおいて、前記光学系の焦点距離に基づいて設定した範囲で検出して前記被写体の像の動きベクトルを算出する動きベクトル算出部と、
を有する撮像装置。 - 前記動きベクトル算出部は、前記光学系の焦点距離が長いほど前記範囲を広く設定する、
請求項1に記載の撮像装置。 - 前記撮像装置の振れを検出し振れ信号を出力するセンサと、
前記光学系の光軸と交わる方向に移動して、前記被写体の像の位置を変更する素子と、
前記動きベクトルと前記振れ信号とを用いて前記素子の移動量を演算する移動量演算部と、
を有する請求項1または2に記載の撮像装置。 - 前記振れ信号を基に前記振れ信号の基準となる第1基準値を演算する基準値演算部と、
前記動きベクトルに基づいて前記第1基準値を補正し、第2基準値を求める基準値補正部と、
を有し、
前記移動量演算部は、前記振れ信号と前記第2基準値とに基づいて前記素子の移動量を演算する請求項3に記載の撮像装置。 - 前記動きベクトル算出部は、
前記振れ信号が大きいほど前記範囲を広く設定する、
請求項3または4に記載の撮像装置。 - 前記素子は、前記光学系を形成する複数のレンズのうちの一部である請求項3又は5に記載の撮像装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-129973 | 2018-07-09 | ||
JP2018129973 | 2018-07-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020012961A1 true WO2020012961A1 (ja) | 2020-01-16 |
Family
ID=69142338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/025372 WO2020012961A1 (ja) | 2018-07-09 | 2019-06-26 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
TW (1) | TW202007138A (ja) |
WO (1) | WO2020012961A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10145662A (ja) * | 1996-11-15 | 1998-05-29 | Canon Inc | 撮像装置、記憶媒体、レンズユニット及びぶれ補正装置 |
JP2002333644A (ja) * | 2001-05-10 | 2002-11-22 | Canon Inc | 像振れ検出装置 |
JP2005260663A (ja) * | 2004-03-12 | 2005-09-22 | Casio Comput Co Ltd | デジタルカメラ、および、プログラム |
JP2018078582A (ja) * | 2017-11-30 | 2018-05-17 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
-
2019
- 2019-06-26 WO PCT/JP2019/025372 patent/WO2020012961A1/ja active Application Filing
- 2019-07-01 TW TW108123059A patent/TW202007138A/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10145662A (ja) * | 1996-11-15 | 1998-05-29 | Canon Inc | 撮像装置、記憶媒体、レンズユニット及びぶれ補正装置 |
JP2002333644A (ja) * | 2001-05-10 | 2002-11-22 | Canon Inc | 像振れ検出装置 |
JP2005260663A (ja) * | 2004-03-12 | 2005-09-22 | Casio Comput Co Ltd | デジタルカメラ、および、プログラム |
JP2018078582A (ja) * | 2017-11-30 | 2018-05-17 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
TW202007138A (zh) | 2020-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8811809B2 (en) | Image stabilization apparatus, control method therefor, optical apparatus and imaging apparatus | |
JP2010117659A (ja) | 振れ補正機能を有する撮影装置及びその制御方法 | |
JP2008124728A (ja) | 撮像装置 | |
JP6543946B2 (ja) | ブレ補正装置、カメラ及び電子機器 | |
JP6932531B2 (ja) | 像ブレ補正装置、撮像装置および撮像装置の制御方法 | |
JP6171575B2 (ja) | ブレ補正装置及び光学機器 | |
JP2020008785A (ja) | 撮像装置 | |
WO2020012961A1 (ja) | 撮像装置 | |
JP6268981B2 (ja) | ブレ補正装置、交換レンズ及びカメラ | |
JP7208822B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6171576B2 (ja) | ブレ補正装置及び光学機器 | |
WO2020012960A1 (ja) | 撮像装置 | |
JP2019091063A (ja) | ブレ補正装置、電子機器及びカメラ | |
WO2019203147A1 (ja) | 撮像装置 | |
JP2020187244A (ja) | 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム | |
JP2020118789A (ja) | 撮像装置、撮像システム、撮像装置の制御方法、およびプログラム | |
JP6590013B2 (ja) | 交換レンズおよび撮像装置 | |
JP6943323B2 (ja) | 交換レンズ | |
JP7172214B2 (ja) | 交換レンズ、カメラボディ及びカメラシステム | |
JP6590018B2 (ja) | ブレ補正装置及びカメラ | |
JP6468343B2 (ja) | 交換レンズ及び光学機器 | |
JP6717396B2 (ja) | ブレ補正装置及び撮像装置 | |
JP6485499B2 (ja) | ブレ補正装置及び光学機器 | |
JP6610722B2 (ja) | ブレ補正装置及び光学機器 | |
JP6299188B2 (ja) | ブレ補正装置、レンズ鏡筒及びカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19833308 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19833308 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |