WO2020012961A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2020012961A1
WO2020012961A1 PCT/JP2019/025372 JP2019025372W WO2020012961A1 WO 2020012961 A1 WO2020012961 A1 WO 2020012961A1 JP 2019025372 W JP2019025372 W JP 2019025372W WO 2020012961 A1 WO2020012961 A1 WO 2020012961A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
motion vector
reference value
image
calculation unit
Prior art date
Application number
PCT/JP2019/025372
Other languages
English (en)
French (fr)
Inventor
英志 三家本
篠原　隆之
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Publication of WO2020012961A1 publication Critical patent/WO2020012961A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an imaging device.
  • An imaging device includes an imaging element that captures an image of a subject using an optical system and outputs a signal, an image data generation unit that generates image data based on the signal, and a first image data generated by the image data generation unit.
  • the subject detected in the image data is imaged at a different time from the first image data, and in the second image data generated by the image data generation unit, in a range set based on the focal length of the optical system.
  • a motion vector calculating unit that detects and calculates a motion vector of the image of the subject.
  • FIG. 2 is a block diagram illustrating a shake correction device included in the camera.
  • FIG. 7 is a diagram illustrating an example of a method of obtaining motion vector information.
  • FIG. 4 is a diagram illustrating basic calculation timing of motion vector information in a motion vector calculation unit.
  • 5 is a flowchart illustrating a flow of an operation of the shake correction apparatus.
  • FIG. 5 is a diagram illustrating a reference value calculation unit.
  • 6 is a detailed flowchart of a reference value correction step in FIG. (A) is a graph showing the second reference value in the Yaw direction, and (b) is a graph showing the direction of the motion vector information in the X direction.
  • FIG. 1 is a sectional view schematically showing the camera 1.
  • a three-dimensional orthogonal coordinate system is set. Specifically, an axis parallel to the optical axis of the lens barrel 1B is defined as a Z-axis (horizontal direction on the paper), an axis intersecting the Z-axis in a plane perpendicular to the Z-axis is defined as an X-axis (a depth direction on the paper), and Z An axis perpendicular to the Z axis and the X axis in a plane perpendicular to the axis is defined as a Y axis (vertical direction in the drawing).
  • the rotation direction about the Z axis is the Roll direction
  • the rotation direction about the Y axis is the Yaw direction
  • the rotation direction about the X axis is the Pitch direction.
  • the camera body 1A and the camera body 1A and the lens barrel 1B are integrated.
  • the present invention is not limited to this, and a camera in which the lens barrel is detachable from the camera body may be used.
  • the camera 1 has a structure without a mirror inside in the embodiment, but is not limited thereto, and may be a camera having a mirror.
  • the camera body 1A includes an image sensor 3, a recording medium 13, a storage unit 14, an operation unit 15, a release switch 17, a back liquid crystal 18, a shutter 20, and a CPU 2.
  • the CPU 2 includes a blur correction device 100 described later.
  • the image sensor 3 is provided on a predetermined focal plane of the photographing optical system, and is an element that generates a signal by photoelectrically converting subject light incident through the photographing optical systems 4, 5, and 6 of the lens barrel 1B. , CMOS and the like. From the signal output from the image sensor 3, image data is generated by an image generation unit 40 described later included in the CPU 2.
  • the image sensor 3 has focus detection pixels, and the CPU 2 performs focus detection processing by a well-known pupil division type phase difference method using pixel output data from the focus detection pixels. Alternatively, focus detection may be performed by a well-known contrast method using data output from the image sensor 3.
  • the recording medium 13 is a medium for recording captured image data, and an SD card, a CF card, or the like is used.
  • the storage unit 14 is a memory such as an EEPROM, for example.
  • the storage unit 14 stores search range information corresponding to the zoom positions (focal lengths) of the imaging optical systems 4, 5, and 6, as described later.
  • the operation unit 15 can perform a zoom operation, and can perform a zoom operation via the operation unit 15 to change the zoom position of the photographing optical system.
  • the release switch 17 is a member for performing a shooting operation of the camera 1, and is a switch for operating a shutter drive timing and the like.
  • the back liquid crystal 18 is a color liquid crystal display provided on the back of the camera body 1A and displaying a photographed subject image (reproduced image, live view image), operation-related information (menu), and the like.
  • the shutter 20 controls the subject light incident on the image sensor 3 by causing the shutter curtain to run in response to a shooting instruction from the release switch 17 or the like.
  • the CPU 2 is a central processing unit that controls the entire camera 1 and includes a shake correction device 100 described later.
  • the lens barrel 1B includes a zoom lens 4, a focus lens 5, a blur correction lens 6, a zoom lens drive mechanism 7, a focus lens drive mechanism 8, a blur correction lens drive mechanism 9, an aperture 10, an aperture drive mechanism 11, an angular velocity sensor 12 ( A shake detection sensor) and a shake correction lens position detection unit 21.
  • the zoom lens 4 is a lens group that is driven by the zoom lens driving mechanism 7 and changes the zoom position (focal length) by moving along the optical axis direction.
  • a lens drive amount calculation unit 39 described later included in the CPU 2 calculates the drive amount of the zoom lens 4, and drives the zoom lens 4 via the zoom lens drive mechanism 7. Change the zoom position.
  • the focus lens 5 is a lens group that is driven by the focus lens driving mechanism 8, moves in the optical axis direction, and focuses.
  • the shake correction lens 6 is a lens group that is optically shake-driven by a shake correction lens driving mechanism 9 such as a VCM (voice coil motor) and is movable on a plane perpendicular to the optical axis.
  • a shake correction lens driving mechanism 9 such as a VCM (voice coil motor) and is movable on a plane perpendicular to the optical axis.
  • the aperture 10 is driven by an aperture drive mechanism 11 and controls the amount of subject light passing through the photographing optical system.
  • the angular velocity sensor 12 is a sensor that detects the angular velocity (blur output signal) of camera shake occurring in the lens barrel 1B, and is a sensor such as a vibration gyro that detects the angular velocity around the X axis (Pitch) and around the Y axis (Yaw). It is. Note that the angular velocity sensor 12 may also detect an angular velocity around the Z axis (Roll).
  • the angular velocity sensor 12 is also connected to a later-described motion vector calculation unit 41 included in the CPU 2, and the angular velocity detected by the angular velocity sensor 12 is sent to the motion vector calculation unit 41.
  • FIG. 2 is a block diagram illustrating the shake correction device 100 included in the camera 1.
  • the blur correction device 100 includes an amplification unit 31, a first A / D conversion unit 32, a second A / D conversion unit 33, a reference value calculation unit 34, a subtraction unit 43, a target position calculation unit 36, a center bias calculation unit 37, A reference value correction unit 50 and a lens drive amount calculation unit 39 are provided.
  • the blur correction device 100 further includes an image generation unit 40, a sensor control unit 46, and a motion vector calculation unit 41.
  • the amplifying unit 31 amplifies the output of the angular velocity sensor 12.
  • the first A / D converter 32 performs A / D conversion on the output of the amplifier 31.
  • the reference value calculator 34 calculates a reference value (first reference value, reference value before correction) of the vibration detection signal (output of the first A / D converter 32) obtained from the angular velocity sensor 12.
  • the reference value of the angular velocity is, for example, a vibration detection signal output from the angular velocity sensor 12 when the camera 1 (camera body 1A, lens barrel 1B) is stationary.
  • the reference value calculation unit 34 can calculate the reference value based on the output of a low-pass filter that reduces a predetermined high-frequency component from the output of the angular velocity sensor 12, for example.
  • the subtraction unit 43 subtracts a reference value (second reference value, corrected reference value) obtained by correcting the first reference value calculated by the reference value calculation unit 34 from the output of the first A / D conversion unit 32.
  • the target position calculator 36 calculates the target position of the shake correction lens 6 based on the output of the angular velocity sensor 12 after the subtraction of the reference value by the subtractor 43.
  • the center bias calculator 37 uses the centripetal force for moving the blur correction lens 6 toward the center of its movable range based on the target position of the blur correction lens 6 calculated by the target position calculator 36 as a bias amount. Calculate. Then, the control position of the blur correction lens 6 is calculated by subtracting the calculated bias amount from the target position of the blur correction lens 6.
  • the lens driving amount calculation unit 39 calculates the driving amount of the lenses of the zoom lens 4 and the blur correction lens 6.
  • the lens driving amount calculating section 39 is configured to detect the target position from the target position calculating section 36 and the blur detected by the blur correction lens position detecting section 21 and obtained from the A / D converted value by the second A / D converting section 33.
  • the drive amount of the shake correction lens drive mechanism 9 is calculated from the current position of the correction lens 6.
  • the lens driving amount calculation unit 39 drives the zoom lens 4 by instructing the driving amount to the zoom lens driving mechanism 7.
  • the sensor control unit 46 sets the sensor rate of the image sensor 3 based on the measured luminance of the subject. For example, when the subject is dark, the exposure time for obtaining one image becomes long, so the sensor rate is set to a low value of 15 fps. Since the exposure time for obtaining one image becomes shorter as the image becomes brighter, the sensor rate is set high at 30, 60, and 120 fps.
  • the image generation unit 40 performs processing such as noise processing and A / D conversion on the image signal acquired by the image sensor 3 and creates recording image data to be recorded on the recording medium 13 as a still image.
  • the motion vector calculation unit 41 calculates, from the processing image data generated by the image generation unit 40, motion vector information indicating the motion (movement direction, motion amount) of the image.
  • the motion vector information is represented by a signed size in the X-axis direction, the Y-axis direction, the Roll direction, or the like. Further, the motion vector information includes a detection delay time and the like.
  • the motion vector calculation unit 41 compares the positions of the reference units included in the two or more pieces of image data captured by the image sensor 3 and obtains motion vector information from the motion direction and the motion amount of the reference units.
  • motion vector information may be obtained by image pattern matching or the like.
  • the motion vector information may be detected from one image, may be calculated from two separate image data, or may be calculated from three images.
  • the motion vector calculation unit 41 includes a partial area of the first image data (a specific place in the screen, hereinafter referred to as a reference unit) and a second area generated after the first image data.
  • the image data is compared with the reference part of the image data, and motion vector information is obtained from the movement amount of the reference part of the two image data.
  • FIG. 3 is a diagram for explaining an example of a method for obtaining motion vector information.
  • the reference section Q is selected in the first image data.
  • the reference section Q is, for example, a characteristic high-luminance portion. The case where one reference section in one image data is described below. However, the image data is divided into a plurality of blocks, and the reference section is selected for each block. May be.
  • the reference section Q is composed of one or more pixels.
  • the position of the reference section Q in the first image data is defined as a pre-movement position P1.
  • a predetermined range indicated by a dotted line in the figure centered on the pre-movement position P1 of the reference portion Q of the first image data is set as a search range.
  • a portion having a high correlation with the reference portion Q is searched, and the reference portion Q in the second image data is selected in the same manner as the first image data.
  • the position of the reference portion Q after the movement having the highest correlation is defined as the moved position P2.
  • the displacement between the pre-movement position P1 and the post-movement position P2 of the reference section Q is detected as a motion vector MV.
  • the motion vector information is information including the magnitude and direction of the displacement.
  • the search range differs depending on the zoom position of the photographing optical system (zoom lens).
  • the search range is determined as follows.
  • the lens drive amount calculation unit 39 calculates the drive amount of the zoom lens 4 and drives the zoom lens drive mechanism 7.
  • the motion vector calculator 41 receives the zoom position of the photographing optical system.
  • the motion vector calculator 41 may receive zoom position information from the zoom lens position detector.
  • zoom positions for example, when the lens barrel 1 ⁇ / b> B is in a fixed area from the tele (telephoto) end, in a fixed area from the wide (wide angle) end, and in a middle area between the tele area and the wide area. It is divided into areas. As shown in Table 1 below, the storage unit 14 stores different search ranges when the zoom position is a wide area, a middle area, and a tele area.
  • the motion vector calculation unit 41 acquires from the storage unit 14 a motion vector search range corresponding to the current zoom position of the imaging optical system.
  • the motion vector calculation unit 41 searches the second image data for the reference portion Q within the search range acquired from the storage unit 14 around the position P1 corresponding to the position of the reference portion Q in the first image data. Next, a motion vector MV is obtained from a shift amount between the position P1 of the reference portion Q in the first image data and the position P2 of the reference portion in the second image data.
  • the search range of the motion vector is 22 ⁇ 22 pixels.
  • the motion vector calculation unit 41 searches the second image data for the reference unit Q within a search range of 22 ⁇ 22 pixels centered on the position P1.
  • the search range is expanded, processing time and calculation load are increased. In the embodiment, by narrowing the search range of the wide area as compared with other areas, processing time and calculation load can be reduced as compared with other areas.
  • the search range of the motion vector is 38 ⁇ 38 pixels.
  • the motion vector calculator 41 searches the second image data for the reference portion Q within a search range of 38 ⁇ 38 pixels centered on the position P1.
  • the search range of the motion vector is 64 ⁇ 64 pixels.
  • the motion vector calculation unit 41 searches the second image data for the reference unit Q within a search range of 64 ⁇ 64 pixels centered on the position P1.
  • the search range is narrow, the reference portion Q may move out of the search range in the second image data, and the reference portion Q may not be detected.
  • the search range of the tele area is made wider than that of the wide area, the possibility that the reference section Q cannot be detected because the reference section Q is outside the search range in the second image data is reduced.
  • the first image data and the second image data are each divided into a plurality of blocks, and the reference range is searched for in the block between the first image data and the second image data using the range of the block as a search range.
  • the search range is narrowed by increasing the number of blocks to be divided in the wide area and making one block smaller than in the tele area. In the tele area, the search range is widened by reducing the number of divided blocks and enlarging one block.
  • the search range may be expanded by moving the search range closer to the block frame as the telephoto side is reached.
  • FIG. 4 is a diagram illustrating the operation timing of a motion vector in the motion vector operation unit 41.
  • the motion vector calculation unit 41 calculates the (n ⁇ 1) th image data (first image data) and the next nth image captured at a time later than the time at which the (n ⁇ 1) th image data was acquired.
  • the motion vector information is calculated from the image data (second image data). For example, when image data is sent from the image sensor 3 at 30 fps, motion vector information is obtained once every 33 ms.
  • Time t1 is the time when the exposure of the (n-1) th image data is started.
  • Time t2 is an intermediate time between the time when the exposure of the (n-1) th image data is started and the time when the exposure is completed.
  • Time t4 is a time when exposure of the n-th image data is started.
  • the time t5 is a time exactly intermediate between the time when the exposure of the n-th image data is started and the time when the exposure is completed.
  • the time t6 is the time when the motion vector information calculated from the n-1 image data and the n image data is obtained, and the generation time of the motion vector information is the time when the motion vector information is between t5 and t2. It is reasonable to think that it is just in the middle.
  • a detection delay time of t6-t3 occurs between the time when the motion vector information is obtained and the time when the motion vector is generated.
  • the reference value corrector 50 includes a center bias remover 38, a reference value correction amount calculator 35, and a reference value subtractor 42.
  • motion vector information X Information in the X direction of the motion vector information is referred to as motion vector information X.
  • the correction of the reference value in the Y direction is the same as that in the X direction.
  • the Roll direction information of the motion vector information is not received. Note that the Roll vector information of the motion vector information may be received.
  • Center bias removing unit 38 subtracts the bias correction amount X calculated from the motion vector information X from the bias amount of the X component calculated by the center bias calculating unit 37 (subtracted from the target position of the blur correction lens 6). I do.
  • the reference value correction amount calculation unit 35 Based on the motion vector information X from which the bias correction amount X has been removed by the center bias removing unit 38, the reference value correction amount calculation unit 35 calculates the reference value correction amount from the output value of the angular velocity sensor around the Y axis (Yaw). Is calculated. In the present embodiment, only the sign of the motion vector information X is determined, and if the motion vector information X is confirmed in the minus direction, the correction amount is a certain fixed amount. If the motion vector information is confirmed in the plus direction, the correction amount is Is a certain amount of minus.
  • the reference value subtraction / addition unit 42 corrects the first reference value with the correction amount calculated by the reference value calculation unit 35 to obtain a corrected second reference value.
  • FIG. 5 is a flowchart illustrating a flow of the operation of the shake correction apparatus 100.
  • Step 001 After the power of the camera 1 is turned on, the shake correction apparatus 100 starts a calculation for optical image stabilization. Depending on the camera, when the release switch 17 is half-pressed, the shake correction apparatus 100 starts a calculation for optical image stabilization.
  • Step 002 The blur correction device 100 amplifies the output of the angular velocity sensor 12 by the amplifying unit 31, and then performs A / D conversion by the first A / D converting unit 32.
  • Step 003 In the shake correction apparatus 100, the reference value calculation unit 34 calculates a reference value (a value corresponding to zero deg / s) of the calculated angular velocity based on the signal after the A / D conversion of the output of the angular velocity sensor 12. calculate. Since the reference value of the angular velocity changes due to temperature characteristics, drift characteristics immediately after startup, and the like, for example, the stationary output of the angular velocity sensor 12 at the time of factory shipment cannot be used as the reference value.
  • a method of calculating the reference value a method of calculating a moving average for a predetermined time and a method of calculating by a LPF process are known.
  • reference value calculation by LPF processing is used.
  • FIG. 6 is a diagram showing the reference value calculation unit 34 (HPF).
  • the cutoff frequency fc of the LPF 34 is generally set to a low frequency of about 0.1 [Hz]. This is because camera shake is dominant at a frequency of about 1 to 10 [Hz]. If fc is 0.1 [Hz], the effect on the camera shake component is small, and good blur correction can be performed.
  • the reference value calculation result may have an error.
  • fc the time constant is large
  • the error once increases, there is a problem that it takes time to converge to the true value.
  • the error of the reference value is corrected.
  • Step 004 The blur correction device 100 proceeds to S005 when the motion vector information is updated (S004, YES), and proceeds to S006 when the information is not updated (S004, NO).
  • Step 005 The blur correction device 100 performs reference value correction in the reference value correction unit 50 when the information on the motion vector is updated.
  • the reference value correction step will be described later. It should be noted that since information on the motion vector cannot be obtained during the exposure, this step is performed until immediately before the exposure.
  • Step 006 In the blur correction device 100, based on the output of the angular velocity sensor 12 after the correction of the reference value in the target position calculation unit 36, the target position calculation unit 36 determines the focal length, the subject distance, the shooting magnification, and the blur correction lens. The target position of the shake correction lens 6 is calculated based on the characteristic information.
  • Step 007 The blur correction device 100 performs a center bias process to prevent the blur correction lens 6 from reaching the movable end.
  • the center bias processing such as a method of setting a bias amount according to target position information, an HPF processing, an incomplete integration processing (in S006), and the method is not limited here.
  • Step 008 The blur correction device 100 calculates the lens drive amount from the difference between the target position information considering the center bias component and the blur correction lens position information in the lens drive amount calculation unit 39.
  • Step 009 The blur correction device 100 drives the blur correction lens 6 to the target position via the blur correction lens driving mechanism 9, and returns to S002.
  • FIG. 7 is a detailed flowchart of the reference value correction step 005 of FIG.
  • Step 101 The blur correction device 100 sums up all the received motion vector information, and proceeds to step 102.
  • Step 102 In the shake correction apparatus 100, the center bias removing unit 38 converts the center bias component calculated in step 007 into the same scale as the motion vector information, and proceeds to step 103.
  • the conversion method is calculated based on focal length, subject distance, shooting magnification, and resolution information of motion vector information.
  • Bias_MV Bias_ ⁇ * f1 + ⁇ / MV_pitch
  • Bias_MV Center bias component (same scale as motion vector information)
  • Bias_ ⁇ Center bias component (angle)
  • f focal length
  • ⁇ shooting magnification
  • MV_pitch motion vector pitch size
  • the center bias component Since a delay time occurs before the motion vector information is detected, it is preferable that the center bias component has the same delay time as the motion vector information. For example, if the delay time is 3 frames at 30 [fps], the delay is about 100 [ms]. Therefore, the center bias component included in the motion vector information can be calculated more accurately by using the bias information before 100 [ms].
  • Step 103 The blur correction device 100 subtracts the center bias component calculated in step 102 from the motion vector information in the center bias removing unit 38, and proceeds to step 104. Thereby, motion vector information based on the reference value error can be obtained.
  • Step 104 The blur correction device 100 acquires the difference: MV_diff between the latest motion vector information (n) and the motion vector information (n ⁇ 1) one frame before, and proceeds to step 105.
  • Step 105 In the blur correction device 100, the reference value correction amount calculation unit 35 sets an amount by which the reference value is corrected based on MV_diff. For the reference value, a correction amount is set based on the following idea, and the process proceeds to step 106.
  • Step 106 In the blur correction device 100, the reference value subtraction / addition unit 42 obtains a corrected second reference value by subtracting ⁇ 0_comp calculated in Step 105 from the first reference value calculated in S107.
  • FIG. 8A is a graph showing a second reference value in the Yaw direction.
  • the dotted line in the drawing indicates the first reference value when the correction is not performed according to the present embodiment, and the solid line in the drawing indicates the second reference value when the correction is performed according to the present embodiment.
  • FIG. 8B is a graph showing the direction of the motion vector information in the X direction.
  • the first reference value is corrected to minus as shown in FIG.
  • the second reference value changes according to the value calculated by the reference value calculation unit 34 until time t3.
  • the first reference value is corrected to minus.
  • the correction amount at this time is constant as at time t1.
  • the first reference value changes according to the value calculated by the reference value calculation unit 34 to become the corrected second reference value.
  • the first reference value is corrected to a certain amount minus. Further, when the motion vector information is confirmed in the minus direction as at times t22 and t25 in the drawing, the first reference value is corrected to a certain amount plus.
  • the search range may be changed depending on the magnitude of the subject shake. In this case, as the subject blur increases, the search range is expanded.
  • the correction amount of the reference value is a certain amount of plus or minus.
  • the magnitude may be changed depending on the zoom position.
  • the auto-focus operation may be performed by half-pressing the release switch 17, and the calculation of the motion vector may be stopped for a certain period. In such a case, the correction amount of the motion vector after the calculation of the motion vector is restarted after being stopped for a certain period may be increased.
  • the angular velocity sensor 12 is provided in the lens barrel 1B.
  • the present invention is not limited to this, and the angular velocity sensor 12 may be provided in the camera body 1A.
  • an acceleration sensor may be provided in the camera body 1A or the lens barrel 1B.
  • the center bias which is a centripetal force for moving the blur correction lens toward the center of its movable range, based on the target position of the blur correction lens calculated by the target position calculation unit.
  • the control using is performed, the control without using the center bias may be performed. In that case, there is no center bias calculator and no center bias remover.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

光学的ブレ補正の防振性能をより向上可能な撮像装置を提供する。　本発明の撮像装置１は、光学系による被写体の像を撮像し信号を出力する撮像素子３と、前記信号に基づき画像データを生成する画像データ生成部４０と、前記画像データ生成部４０で生成された第１画像データで検出された前記被写体を、前記第１画像データと異なる時刻に撮像され、前記画像データ生成部で生成された第２画像データにおいて、前記光学系の焦点距離に基づいて設定した範囲で検出して前記被写体の像の動きベクトルを算出する動きベクトル算出部４１と、を備える。

Description

撮像装置
　本発明は、撮像装置に関するものである。
　例えば、撮影した画像から画像の動きベクトル情報を検出し、この動きベクトル情報を、ブレ補正レンズの目標駆動位置の演算にフィードバックすることにより、光学的ブレ補正の防振性能を高める技術が提案されている（特許文献１参照）。
特開平１０－１４５６６２号公報
　本発明の撮像装置は、光学系による被写体の像を撮像し信号を出力する撮像素子と、前記信号に基づき画像データを生成する画像データ生成部と、前記画像データ生成部で生成された第１画像データで検出された前記被写体を、前記第１画像データと異なる時刻に撮像され、前記画像データ生成部で生成された第２画像データにおいて、前記光学系の焦点距離に基づいて設定した範囲で検出して前記被写体の像の動きベクトルを算出する動きベクトル算出部と、を有する構成とした。
カメラを模式的に示す断面図である。 カメラに含まれるブレ補正装置を示すブロック図である。 動きベクトル情報の求め方の一例を説明する図である。 動きベクトル演算部での動きベクトル情報の基本的な演算タイミングを説明する図である。 ブレ補正装置の動作の流れを示したフローチャートである。 基準値演算部を示した図である。 図５の基準値補正ステップの詳細なフローチャートである。 （ａ）は、Ｙａｗ方向の第２基準値を示したグラフであり、（ｂ）はＸ方向の動きベクトル情報の方向を示したグラフである。
　以下、図面等を参照して、本発明の実施形態について説明する。図１は、カメラ１を模式的に示す断面図である。
　図１に示すように、本実施形態においては３次元直交座標系が設定される。具体的には、レンズ鏡筒１Ｂの光軸に平行な軸をＺ軸（紙面水平方向）とし、Ｚ軸に垂直な平面内でＺ軸と交わる軸をＸ軸（紙面奥行き方向）とし、Ｚ軸に垂直な平面内でＺ軸とＸ軸とに垂直に交わる軸をＹ軸（紙面鉛直方向）とする。そして、Ｚ軸を中心とする回転方向をＲｏｌｌ方向、Ｙ軸を中心とする回転方向をＹａｗ方向、Ｘ軸を中心とする回転方向をＰｉｔｃｈ方向とする。
（カメラ１）
　カメラ１は、カメラボディ１Ａと、このカメラボディ１Ａとレンズ鏡筒１Ｂとが一体型であるが、これに限らず、カメラボディに対してレンズ鏡筒が着脱自在のカメラであってもよい。
　また、カメラ１は、実施形態では内部にミラーを備えない構造であるが、これに限定されず、ミラーを有するカメラであってもよい。
（カメラボディ１Ａ）
　カメラボディ１Ａは、撮像センサ３、記録媒体１３、記憶部１４、操作部１５、レリーズスイッチ１７、背面液晶１８、シャッタ２０、及びＣＰＵ２を備える。なお、ＣＰＵ２は、後述のブレ補正装置１００を含む。
　撮像センサ３は撮影光学系の予定焦点面に設けられ、レンズ鏡筒１Ｂの撮影光学系４，５，６を介して入射した被写体光を光電変換して信号を生成する素子であり、例えばＣＣＤ、ＣＭＯＳなどにより構成されている。
　撮像センサ３から出力された信号から、ＣＰＵ２に含まれる後述の画像生成部４０で画像データが生成される。
　撮像センサ３は焦点検出用の画素を有し、ＣＰＵ２は、焦点検出用画素からの画素出力データを用いて周知の瞳分割式位相差方式により焦点検出処理を行う。または、撮像センサ３から出力されるデータを用いて周知のコントラスト方式により焦点検出を行ってもよい。
　記録媒体１３は、撮像された画像データを記録するための媒体であり、ＳＤカード、ＣＦカード等が使用される。
　記憶部１４は、例えばＥＥＰＲＯＭ等のメモリである。記憶部１４は、後述するように、撮影光学系４，５，６のズームポジション（焦点距離）に対応した、サーチ範囲の情報を記憶している。
　操作部１５は、ズーム操作が可能で、操作部１５を介してズーム操作を行うことにより、撮影光学系のズームポジションを変更することができる。
　レリーズスイッチ１７は、カメラ１の撮影操作を行う部材であって、シャッタ駆動のタイミング等を操作するスイッチである。
　背面液晶１８は、カメラボディ１Ａの背面に設けられ、撮影した被写体像（再生画像、ライブビュー画像）や操作に関連した情報（メニュー）などを表示するカラー液晶ディスプレイである。
　シャッタ２０は、レリーズスイッチ１７などによる撮影指示に応じてシャッタ幕を走行させ、撮像センサ３に入射する被写体光を制御する。
　ＣＰＵ２は、カメラ１の全体の制御を行う中央処理装置であり、後述のブレ補正装置１００を備える。
（レンズ鏡筒１Ｂ）
　次に、レンズ鏡筒１Ｂについて説明する。レンズ鏡筒１Ｂは、ズームレンズ４、フォーカスレンズ５、ブレ補正レンズ６、ズームレンズ駆動機構７、フォーカスレンズ駆動機構８、ブレ補正レンズ駆動機構９、絞り１０、絞り駆動機構１１、角速度センサ１２（ブレ検出センサ）及びブレ補正レンズ位置検出部２１を備える。
　ズームレンズ４は、ズームレンズ駆動機構７により駆動され、光軸方向に沿って移動することにより、ズームポジション（焦点距離）を変化させるレンズ群である。
　撮影者が操作部１５を介してズーム操作を行うと、ＣＰＵ２に含まれる後述のレンズ駆動量演算部３９はズームレンズ４の駆動量を演算し、ズームレンズ駆動機構７を介してズームレンズ４のズームポジションを変更する。
　フォーカスレンズ５は、フォーカスレンズ駆動機構８により駆動され、光軸方向に移動して、焦点を合わせるレンズ群である。
　ブレ補正レンズ６は、ＶＣＭ（ヴォイスコイルモータ）等のブレ補正レンズ駆動機構９により光学的にブレ補正駆動され、光軸に垂直な面上で可動なレンズ群である。
　絞り１０は、絞り駆動機構１１に駆動され、撮影光学系を通過する被写体光の光量を制御する。
　角速度センサ１２は、レンズ鏡筒１Ｂに生じる手ブレの角速度（ブレ出力信号）を検出するセンサで、Ｘ軸回り（Ｐｉｔｃｈ）、Ｙ軸回り（Ｙａｗ）、の角速度を検出する振動ジャイロ等のセンサである。なお、角速度センサ１２は、さらにＺ軸回り（Ｒｏｌｌ）の角速度も検出してもよい。
　角速度センサ１２は、ＣＰＵ２に含まれる後述の動きベクトル演算部４１にも接続されており、角速度センサ１２により検出された角速度は、動きベクトル演算部４１に送られる。
（ブレ補正装置１００）
　図２は、カメラ１に含まれるブレ補正装置１００を示すブロック図である。ブレ補正装置１００は、増幅部３１と、第１Ａ／Ｄ変換部３２、第２Ａ／Ｄ変換部３３、基準値演算部３４、減算部４３と、目標位置演算部３６、センタバイアス演算部３７、基準値補正部５０及びレンズ駆動量演算部３９を備える。ブレ補正装置１００は、さらに、画像生成部４０、センサ制御部４６、及び動きベクトル演算部４１を備える。
　増幅部３１は、角速度センサ１２の出力を増幅する。
　第１Ａ／Ｄ変換部３２は、増幅部３１の出力をＡ／Ｄ変換する。
　基準値演算部３４は、角速度センサ１２から得られた振動検出信号（第１Ａ／Ｄ変換部３２の出力）の基準値（第１基準値、補正前の基準値）を演算する。角速度の基準値とは、例えば、カメラ１（カメラボディ１Ａ、レンズ鏡筒１Ｂ）が静止しているときに角速度センサ１２から出力される振動検出信号である。基準値演算部３４は、例えば、角速度センサ１２の出力から所定の高周波成分を低減するローパスフィルタの出力に基づいて基準値を求めることができる。
　減算部４３は、基準値演算部３４において演算された第１基準値を補正した基準値（第２準値、補正後の基準値）を第１Ａ／Ｄ変換部３２の出力から減算する。
　目標位置演算部３６は、減算部４３において基準値が減算された後の角速度センサ１２の出力を基に、ブレ補正レンズ６の目標位置を演算する。
　センタバイアス演算部３７は、目標位置演算部３６によって算出されたブレ補正レンズ６の目標位置に基づいて、ブレ補正レンズ６を、その可動範囲の中心に向かって移動させるための向心力をバイアス量として演算する。そして、ブレ補正レンズ６の目標位置から、算出したバイアス量を減算することによりブレ補正レンズ６の制御位置を算出する。
　このようにセンタリングバイアス処理を行うことで、ブレ補正レンズ６がハードリミットに衝突することを有効に防止することができ、さらには、撮影画像の見栄えを向上させることができる。
　レンズ駆動量演算部３９は、ズームレンズ４及びブレ補正レンズ６のレンズの駆動量演算を行う。
　レンズ駆動量演算部３９は、目標位置演算部３６からの目標位置と、ブレ補正レンズ位置検出部２１により検出され、第２Ａ／Ｄ変換部３３によりＡ／Ｄ変換された値から求められたブレ補正レンズ６の現在位置から、ブレ補正レンズ駆動機構９の駆動量を演算する。
　レンズ駆動量演算部３９は、操作部１５より撮影者がズーム操作を行うと、ズームレンズ駆動機構７に駆動量を指示してズームレンズ４を駆動する。
（センサ制御部４６）
　センサ制御部４６は、測光された被写体の輝度に基づき、撮像センサ３のセンサレートを設定する。例えば、被写体が暗いときには、１枚の画像を得るための露光時間が長くなるので、センサレートを低く１５ｆｐｓに設定する。明るくなるに従い、１枚の画像を得るための露光時間が短くなるので、３０，６０，１２０ｆｐｓとセンサレートを高く設定する。
（画像生成部４０）
　画像生成部４０は、撮像センサ３によって取得された画像信号に対してノイズ処理やＡ／Ｄ変換等の処理を行い、記録媒体１３に静止画として記録される記録用画像データを作成する。
（動きベクトル演算部４１）
　動きベクトル演算部４１は、画像生成部４０により生成された処理用画像データから、像の動き（動き方向、動き量）を示す動きベクトル情報を演算する。動きベクトル情報は、Ｘ軸方向、Ｙ軸方向、Ｒｏｌｌ方向の符号付きの大きさ等で表される。さらに動きベクトル情報は、検出遅れ時間等も含む。
（動きベクトルの演算方法）
　動きベクトル演算部４１は、撮像センサ３により撮像された２以上の画像データに含まれる参照部の位置を比較して、その参照部の動き方向及び動き量より、動きベクトル情報を求める。輝度情報以外にも、画像のパターンマッチングなどで動きベクトル情報を求めてもよい。
　なお、動きベクトル情報は、１つの画像から検出してもよいし、２つの離れた画像データから算出してもよいし、３つの画像から算出してもよい。
（動きベクトルの演算方法の具体例）
　本実施形態において、動きベクトル演算部４１は、第１画像データの一部領域（画面内のある特定の箇所であり、以下参照部と称する）と第１画像データよりも後に生成される第２画像データの参照部とを比較し、２つの画像データの参照部の移動量より動きベクトル情報を求める。その求め方の一例を以下に示す。図３は動きベクトル情報の求め方の一例を説明する図である。
　まず、第１画像データ内で、参照部Ｑを選択する。参照部Ｑは、例えば特徴的な高輝度部分等であり、以下において１つの画像データにおける参照部が１つの場合について説明するが、画像データを複数のブロックに分け、ブロックごとに参照部を選択してもよい。参照部Ｑは１以上の画素で構成されている。第１画像データ内の参照部Ｑの位置を移動前位置Ｐ１とする。
　次に、第２画像データにおいて、第１画像データの参照部Ｑの移動前位置Ｐ１を中心とした、図において点線で示すような所定の範囲をサーチ範囲として設定する。そのサーチ範囲内で、参照部Ｑと相関が高い部分を検索し、第一画像データと同様に、第２画像データにおける参照部Ｑを選択する。
、最も相関が高い移動後の参照部Ｑの位置を移動後位置Ｐ２とする。
　参照部Ｑの移動前位置Ｐ１と移動後位置Ｐ２との間の位置ずれを、動きベクトルＭＶとして検出する。動きベクトル情報とは、この位置ずれの大きさと方向とを含む情報である。
　本実施形態においてサーチ範囲は、撮影光学系（ズームレンズ）のズームポジションによって異なる。サーチ範囲は以下のように決定される。
（ズームポジション情報取得）
　操作部１５でズーム操作がなされると、レンズ駆動量演算部３９は、ズームレンズ４の駆動量を演算し、ズームレンズ駆動機構７を駆動する。それとともに、動きベクトル演算部４１は、撮影光学系のズームポジションを受信する。
　なお、レンズ鏡筒１Ｂにズームレンズの位置検出部が設けられている場合、動きベクトル演算部４１は、ズームレンズの位置検出部からズームポジション情報を受信してもよい。
（記憶部１４のデータ参照）
　ズームポジションは、例えば、レンズ鏡筒１Ｂがテレ（望遠）端から一定領域のテレ領域、ワイド（広角）端から一定領域のワイド領域、テレ領域とワイド領域との間のミドル領域との３つの領域に分けられている。
　記憶部１４には以下の表１に示すように、ズームポジションがワイド領域と、ミドル領域と、テレ領域との場合において、異なるサーチ範囲が記憶されている。
Figure JPOXMLDOC01-appb-T000001
 　動きベクトル演算部４１は、記憶部１４より、現在の撮影光学系のズームポジションに対応する動きベクトルサーチ範囲を取得する。
（動きベクトルの演算）
　動きベクトル演算部４１は第２画像データにおいて、第１画像データにおける参照部Ｑの位置に相当する位置Ｐ１を中心とした、記憶部１４より取得したサーチ範囲内で参照部Ｑを検索する。
　次いで、第１画像データにおける参照部Ｑの位置Ｐ１と、第２画像データにおける参照部の位置Ｐ２とのずれ量より、動きベクトルＭＶを求める。
（ワイド領域）
　ズームポジションがワイド領域の場合、動きベクトルのサーチ範囲は２２×２２ピクセルである。動きベクトル演算部４１は、第２画像データにおいて、位置Ｐ１を中心とした２２×２２ピクセルのサーチ範囲内で、参照部Ｑを検索する。
　通常、ワイド領域の場合は、テレ領域に比べて手ブレによる画面上における被写体像の移動は少なく、そのため、手ブレ補正を行っても残留する動きベクトルは少ない。すなわち、ワイド領域では、第１画像データと第２画像データとの間での参照部Ｑの位置ずれはテレ側に比べて小さい。したがって、サーチ範囲を不要に広げる必要はなく、逆にサーチ範囲を広げると、処理時間、演算負荷がかかる。
　実施形態では、ワイド領域のサーチ範囲を他の領域と比べて狭くすることで、処理時間、演算負荷を他の領域に比べて縮小することができる。
（ミドル領域）
　ズームポジションがミドル領域の場合、動きベクトルのサーチ範囲は３８×３８ピクセルである。動きベクトル演算部４１は、第２画像データにおいて、位置Ｐ１を中心とした３８×３８ピクセルのサーチ範囲内において、参照部Ｑを検索する。
（テレ領域）
　ズームポジションがテレ領域の場合、動きベクトルのサーチ範囲は６４×６４ピクセルである。動きベクトル演算部４１は、第２画像データにおいて、位置Ｐ１を中心とした６４×６４ピクセルのサーチ範囲内で、参照部Ｑを検索する。
　上述した理由のとおり、通常、テレ領域では、第１画像データと第２画像データとの間での参照部Ｑの位置ずれはワイド側に比べて大きくなる。したがって、サーチ範囲が狭いと、第２画像データにおいて参照部Ｑがサーチ範囲外に移動し、参照部Ｑを検出できない可能性がある。
　しかし、本実施形態では、テレ領域のサーチ範囲をワイド領域に比べて広くするので、第２画像データにおいて参照部Ｑがサーチ範囲外になって参照部Ｑを検出できない可能性が低減される。
　なお、第１画像データと第２画像データとをそれぞれ複数のブロックに分割し、ブロックの範囲をサーチ範囲として、第１画像データと第２画像データとの間において、ブロック内で参照部を検索してもよい。
　この場合、ワイド領域ではテレ領域よりも分割するブロック数を増加して１つのブロックを小さくすることにより、サーチ範囲を狭くする。テレ領域では、分割するブロック数を減らして１つのブロックを大きくすることにより、サーチ範囲を広くする。
　第１画像データと第２画像データとをそれぞれ複数のブロックに分割し、処理時間短縮のために、そのブロックよりも小さい範囲をサーチ範囲としている場合がある。このような場合は、テレ側になる従い、サーチ範囲をブロック枠に近づけることで、サーチ範囲を広げるようにしてもよい。
（動きベクトルの演算タイミング）
　図４は、動きベクトル演算部４１における、動きベクトルの演算タイミングを説明する図である。
　動きベクトル演算部４１は、ｎ－１番目の画像データ（第１画像データ）と、ｎ－１番目の画像データが取得された時刻よりも後の時刻に撮像された、その次のｎ番目の画像データ（第２画像データ）とから動きベクトル情報を演算する。
　例えば、撮像センサ３から３０ｆｐｓで画像データが送られる場合、３３ｍｓに１回、動きベクトル情報が得られる。
　ここで、
　時刻ｔ１はｎ－１番目の画像データの露光が開始された時刻である。
　時刻ｔ２はｎ－１番目の画像データの露光が開始された時刻と露光が終了された時刻とのちょうど中間の時刻である。
　時刻ｔ４はｎ番目の画像データの露光が開始される時刻である。
　時刻ｔ５はｎ番目の画像データの露光が開始された時刻と露光が終了された時刻とのちょうど中間の時刻である。
　時刻ｔ６はｎ－１の画像データとｎの画像データとから演算された動きベクトル情報が得られた時刻であるが、この動きベクトル情報の発生時刻は、ｔ５とｔ２との間のｔ３とのちょうど中間と考えるのが妥当である。動きベクトル情報が得られた時刻と、動きベクトルが発生した時刻との間には、ｔ６－ｔ３の検出遅れ時間が生じている。
（基準値補正部５０）
　基準値補正部５０は、センタバイアス除去部３８、基準値補正量演算部３５、基準値減加算部４２を備える。
　以下の説明では、Ｘ方向の基準値の補正について説明する。動きベクトル情報のＸ方向の情報を、動きベクトル情報Ｘとする。Ｙ方向の基準値の補正ついても、Ｘ方向と同様である。本実施形態では、動きベクトル情報のＲｏｌｌ方向の情報は受信しない。なお、動きベクトル情報のＲｏｌｌ方向の情報を受信してもよい。
（センタバイアス除去部３８）
　センタバイアス除去部３８は、動きベクトル情報Ｘから、センタバイアス演算部３７において演算された（ブレ補正レンズ６の目標位置から減算された）Ｘ成分のバイアス量から算出されるバイアス補正量Ｘを減算する。
（基準値補正量演算部３５）
　基準値補正量演算部３５は、センタバイアス除去部３８においてバイアス補正量Ｘが除去された動きベクトル情報Ｘをもとに、Ｙ軸周り（Ｙａｗ）方向の角速度センサの出力値から基準値補正量を演算する。
　本実施形態では、動きベクトル情報Ｘの正負のみ判断し、動きベクトル情報Ｘがマイナス方向に確認されると、補正量はプラスの一定量、動きベクトル情報がプラス方向に確認されると、補正量はマイナスの一定量である。
（基準値減加算部４２）
　基準値減加算部４２は、基準値演算部３５により演算された補正量で第１基準値を補正して補正後の第２基準値を求める。
（ブレ補正装置１００の動作）
　図５は、ブレ補正装置１００の動作の流れを示したフローチャートである。
　ステップ００１：カメラ１の電源がＯＮにされた後、ブレ補正装置１００は光学防振の為の演算を開始する。カメラによっては、レリーズスイッチ１７が半押しされた場合、ブレ補正装置１００が光学防振の為の演算を開始する。
　ステップ００２：ブレ補正装置１００は、角速度センサ１２の出力を増幅部３１で増幅した後、第１Ａ／Ｄ変換部３２によりＡ／Ｄ変換する。
　ステップ００３：ブレ補正装置１００は、基準値演算部３４において、角速度センサ１２の出力のＡ／Ｄ変換後の信号を基に、演算上の角速度の基準値（ゼロｄｅｇ／ｓ相当の値）を算出する。角速度の基準値は、温度特性や、起動直後のドリフト特性等により変化するため、例えば、工場出荷時における角速度センサ１２の静止時出力を基準値に用いることはできない。
　基準値を算出方法について、所定時間の移動平均を演算する方法や、ＬＰＦ処理により演算する方法が知られている。本実施形態では、ＬＰＦ処理による基準値演算を用いる。
　図６は基準値演算部３４（ＨＰＦ）を示した図である。ＬＰＦ３４のカットオフ周波数ｆｃは、０．１［Ｈｚ］程度の低い周波数に設定するのが一般的である。これは、手ブレは１～１０［Ｈｚ]程度の周波数が支配的であることに起因する。０．１［Ｈｚ］のｆｃであれば、手ブレ成分に与える影響は少なく、良好なブレ補正を行うことができる。
　しかしながら、実際の撮影時には、構図の微調整（パンニング検出できないレベルの）等、低周波の動きが加わるため、基準値演算結果に誤差を持ってしまうこともある。また、ｆｃが低い（時定数が大きい）為に、一端誤差が大きくなってしまった場合、真値に収束するまでに時間を要してしまうという課題がある。本実施形態は、この基準値の誤差を補正するものである。
　ステップ００４：ブレ補正装置１００は、動きベクトルの情報が更新された場合（Ｓ００４，ＹＥＳ）、Ｓ００５へ進み、更新されていない場合（Ｓ００４，ＮＯ）は、Ｓ００６へ進む。
　ステップ００５：ブレ補正装置１００は、動きベクトルの情報が更新された場合、基準値補正部５０において基準値補正を行う。基準値補正ステップについては、後述する。なお、露光中は動きベクトルの情報が得られないため、このステップは、露光直前までの実施となる。
　ステップ００６：ブレ補正装置１００は、目標位置演算部３６において、基準値補正後の角速度センサ１２の出力をもとに、目標位置演算部３６は、焦点距離、被写体距離、撮影倍率、ブレ補正レンズ特性情報を基に、ブレ補正レンズ６の目標位置を演算する。
　ステップ００７：ブレ補正装置１００は、ブレ補正レンズ６が可動端へ到達することを防ぐため、センタバイアス処理を行う。
　センタバイアス処理の方法については、目標位置情報に応じてバイアス量を設定する方法や、ＨＰＦ処理、不完全積分処理（Ｓ００６にて）等、種々あるが、ここでは方法は問わない。
　ステップ００８：ブレ補正装置１００は、レンズ駆動量演算部３９において、センタバイアス成分を加味した目標位置情報と、ブレ補正レンズ位置情報の差分から、レンズ駆動量を演算する。
　ステップ００９：ブレ補正装置１００は、ブレ補正レンズ駆動機構９を介してブレ補正レンズ６を目標位置まで駆動させ、Ｓ００２へ戻る。
（基準値補正ステップ）
　図７は、図５の基準値補正ステップ００５の詳細なフローチャートである。
　ステップ１０１：ブレ補正装置１００は、受信した動きベクトル情報を全て合計し、ステップ１０２へ進む。
　ステップ１０２：ブレ補正装置１００は、センタバイアス除去部３８において、ステップ００７で演算したセンタバイアス成分を、動きベクトル情報と同一スケールに換算し、ステップ１０３へ進む。
　換算方法は、焦点距離、被写体距離、撮影倍率、動きベクトル情報の分解能情報を基に演算する。
 
　　　Ｂｉａｓ＿ＭＶ＝Ｂｉａｓ＿θ＊ｆ１＋β／ＭＶ＿ｐｉｔｃｈ
　　　Ｂｉａｓ＿ＭＶ：センタバイアス成分（動きベクトル情報同一スケール）
　　　Ｂｉａｓ＿θ：センタバイアス成分（角度）
　　　ｆ：焦点距離
　　　β：撮影倍率
　　　ＭＶ＿ｐｉｔｃｈ：動きベクトルピッチサイズ
 
　また、動きベクトル情報は検出するまでに遅れ時間が発生するため、センタバイアス成分も、動きベクトル情報と同等の遅れ時間を持たせることが好ましい。例えば、３０［ｆｐｓ］で、３フレーム分の遅れ時間を持っている場合、約１００［ｍｓ］遅れることになる。このため、１００［ｍｓ］前のバイアス情報を用いることで、より正確に動きベクトル情報に含まれる、センタバイアス成分が演算できる。
　ステップ１０３：ブレ補正装置１００は、センタバイアス除去部３８においてステップ１０２で演算したセンタバイアス成分を動きベクトル情報から減算し、ステップ１０４へ進む。これにより、基準値誤差による動きベクトル情報を取得することができる。
　ステップ１０４：ブレ補正装置１００は、最新の動きベクトル情報（ｎ）と１フレーム前の動きベクトル情報（ｎ－１）の差分：ＭＶ＿ｄｉｆｆを取得し、ステップ１０５へ進む。
　ステップ１０５：ブレ補正装置１００は、基準値補正量演算部３５において、ＭＶ＿ｄｉｆｆを基に、基準値を補正する量を設定する。基準値は、以下の考えにより、補正量を設定し、ステップ１０６へ進む。
 
　　ＭＶ＿ｄｉｆｆ＞０：ω０＿ｃｏｍｐ＝－ω０＿ｃｏｍｐ＿ｄｅｆ
　　ＭＶ＿ｄｉｆｆ＜０：ω０＿ｃｏｍｐ＝＋ω０＿ｃｏｍｐ＿ｄｅｆ
　　ＭＶ＿ｄｉｆｆ＝０：ω０＿ｃｏｍｐ＝０
 
　　　ω０＿ｃｏｍｐ　：基準値補正量
　　　ω０＿ｃｏｍｐ＿ｄｅｆ：基準値補正常数
 
　ステップ１０６：ブレ補正装置１００は、基準値減加算部４２において、ステップ１０５にて演算したω０＿ｃｏｍｐをＳ１０７にて演算した第１基準値から減算して補正後の第２基準値を求める。
　図８（ａ）は、Ｙaｗ方向の第２基準値を示したグラフである。図中点線は本実施形態による補正しなかった場合の第１基準値を示し、図中実線は、本実施形態により補正した場合の第２基準値を示す。
　図８（ｂ）はＸ方向の動きベクトル情報の方向を示したグラフである。
　例えば、図８（ｂ）の時刻ｔ１のように、動きベクトル情報がプラス方向の場合、（ａ）に示すように第１基準値はマイナスに補正する。
　その後、時刻ｔ３まで第２基準値は、基準値演算部３４で演算される値に従い変化する。
　時刻ｔ３において、動きベクトル情報がプラス方向に確認されると、また第１基準値をマイナスに補正する。本実施形態では、このときの補正量は時刻ｔ１のときと一定とする。
　その後も、動きベクトル情報が確認される時刻と時刻の間、第１基準値は、基準値演算部３４で演算された値に従い変化して補正後の第２基準値となる。
　また、動きベクトル情報がプラス方向に確認されると、第１基準値を一定量マイナスに補正する。
　また、図中の時刻ｔ２２やｔ２５のように動きベクトル情報がマイナス方向に確認されると、第１基準値を一定量プラスに補正する。
（変形形態）
　以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）ユーザーの手振れではなく、被写体が移動することで生じる、いわゆる被写体ブレが、撮影した画像データから検出可能な場合、被写体ブレの大きさによって、サーチ範囲を変えてもよい。この場合、被写体ブレが大きくなるに従い、サーチ範囲を広げる。
（２）実施形態では、基準値の補正量は、プラスかマイナスの一定量であったが、ズームポジションによって大きさを変えてもよい。また、レリーズスイッチ１７の半押しによりオートフォーカス動作が行われ、動きベクトルの演算が一定期間停止する場合がある。このような場合、動きベクトルの演算が一定期間停止後に再開した後の動きベクトルの補正量を、大きくするようにしてもよい。
（３）本実施形態は角速度センサ１２をレンズ鏡筒１Ｂが備える構造であったが、これに限らず、角速度センサ１２はカメラボディ１Ａ内に備えられていてもよい。
（４）また、角速度センサではなく、加速度センサをカメラボディ１Ａ又はレンズ鏡筒１Ｂ内に備えるものであってもよい。
（５）上述の実施形態では、目標位置演算部によって算出されたブレ補正レンズの目標位置に基づいて、ブレ補正レンズを、その可動範囲の中心に向かって移動させるための向心力であるセンタバイアスを用いた制御を行ったが、センタバイアスを用いない制御を行ってもよい。その場合は、センタバイアス演算部とセンタバイアス除去部を持たない。
　１：カメラ、１Ａ：カメラボディ、１Ｂ：レンズ鏡筒、２：ＣＰＵ、３：撮像センサ、４：ズームレンズ、５：フォーカスレンズ、６：ブレ補正レンズ、７：ズームレンズ駆動機構、８：フォーカスレンズ駆動機構、９：ブレ補正レンズ駆動機構、１０：絞り、１１：駆動機構、１２：角速度センサ、１３：記録媒体、１４：記憶部、１５：操作部、１７：レリーズスイッチ、１８：背面液晶、２０：シャッタ、２１：ブレ補正レンズ位置検出部、３１：増幅部、３４：基準値演算部、３５：基準値補正量演算部、３６：目標位置演算部、３７：センタバイアス演算部、３８：センタバイアス除去部、３９：レンズ駆動量演算部、４０：画像生成部、４０Ａ：前処理部、４０Ｂ：サイズ調整部、４１：動きベクトル演算部、４２：基準値減加算部、４３：減算部、４６：センサ制御部、５０：基準値補正部、１００：ブレ補正装置

Claims (6)

  1. 　光学系による被写体の像を撮像し信号を出力する撮像素子と、
    　前記信号に基づき画像データを生成する画像データ生成部と、
    　前記画像データ生成部で生成された第１画像データで検出された前記被写体を、前記第１画像データと異なる時刻に撮像され、前記画像データ生成部で生成された第２画像データにおいて、前記光学系の焦点距離に基づいて設定した範囲で検出して前記被写体の像の動きベクトルを算出する動きベクトル算出部と、
    　を有する撮像装置。
  2. 　前記動きベクトル算出部は、前記光学系の焦点距離が長いほど前記範囲を広く設定する、
    請求項１に記載の撮像装置。
  3. 　前記撮像装置の振れを検出し振れ信号を出力するセンサと、
    　前記光学系の光軸と交わる方向に移動して、前記被写体の像の位置を変更する素子と、
    　前記動きベクトルと前記振れ信号とを用いて前記素子の移動量を演算する移動量演算部と、
    　を有する請求項１または２に記載の撮像装置。
  4. 　前記振れ信号を基に前記振れ信号の基準となる第１基準値を演算する基準値演算部と、
    　前記動きベクトルに基づいて前記第１基準値を補正し、第２基準値を求める基準値補正部と、
    　を有し、
    　前記移動量演算部は、前記振れ信号と前記第２基準値とに基づいて前記素子の移動量を演算する請求項３に記載の撮像装置。
  5. 　前記動きベクトル算出部は、
    　前記振れ信号が大きいほど前記範囲を広く設定する、
    請求項３または４に記載の撮像装置。
  6. 　前記素子は、前記光学系を形成する複数のレンズのうちの一部である請求項３又は５に記載の撮像装置。
PCT/JP2019/025372 2018-07-09 2019-06-26 撮像装置 WO2020012961A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-129973 2018-07-09
JP2018129973 2018-07-09

Publications (1)

Publication Number Publication Date
WO2020012961A1 true WO2020012961A1 (ja) 2020-01-16

Family

ID=69142338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025372 WO2020012961A1 (ja) 2018-07-09 2019-06-26 撮像装置

Country Status (2)

Country Link
TW (1) TW202007138A (ja)
WO (1) WO2020012961A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145662A (ja) * 1996-11-15 1998-05-29 Canon Inc 撮像装置、記憶媒体、レンズユニット及びぶれ補正装置
JP2002333644A (ja) * 2001-05-10 2002-11-22 Canon Inc 像振れ検出装置
JP2005260663A (ja) * 2004-03-12 2005-09-22 Casio Comput Co Ltd デジタルカメラ、および、プログラム
JP2018078582A (ja) * 2017-11-30 2018-05-17 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145662A (ja) * 1996-11-15 1998-05-29 Canon Inc 撮像装置、記憶媒体、レンズユニット及びぶれ補正装置
JP2002333644A (ja) * 2001-05-10 2002-11-22 Canon Inc 像振れ検出装置
JP2005260663A (ja) * 2004-03-12 2005-09-22 Casio Comput Co Ltd デジタルカメラ、および、プログラム
JP2018078582A (ja) * 2017-11-30 2018-05-17 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
TW202007138A (zh) 2020-02-01

Similar Documents

Publication Publication Date Title
US8811809B2 (en) Image stabilization apparatus, control method therefor, optical apparatus and imaging apparatus
JP2010117659A (ja) 振れ補正機能を有する撮影装置及びその制御方法
JP2008124728A (ja) 撮像装置
JP6543946B2 (ja) ブレ補正装置、カメラ及び電子機器
JP6932531B2 (ja) 像ブレ補正装置、撮像装置および撮像装置の制御方法
JP6171575B2 (ja) ブレ補正装置及び光学機器
JP2020008785A (ja) 撮像装置
WO2020012961A1 (ja) 撮像装置
JP6268981B2 (ja) ブレ補正装置、交換レンズ及びカメラ
JP7208822B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6171576B2 (ja) ブレ補正装置及び光学機器
WO2020012960A1 (ja) 撮像装置
JP2019091063A (ja) ブレ補正装置、電子機器及びカメラ
WO2019203147A1 (ja) 撮像装置
JP2020187244A (ja) 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム
JP2020118789A (ja) 撮像装置、撮像システム、撮像装置の制御方法、およびプログラム
JP6590013B2 (ja) 交換レンズおよび撮像装置
JP6943323B2 (ja) 交換レンズ
JP7172214B2 (ja) 交換レンズ、カメラボディ及びカメラシステム
JP6590018B2 (ja) ブレ補正装置及びカメラ
JP6468343B2 (ja) 交換レンズ及び光学機器
JP6717396B2 (ja) ブレ補正装置及び撮像装置
JP6485499B2 (ja) ブレ補正装置及び光学機器
JP6610722B2 (ja) ブレ補正装置及び光学機器
JP6299188B2 (ja) ブレ補正装置、レンズ鏡筒及びカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19833308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19833308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP