JP2021124577A - Image blur correction device and control method therefor, program, and storage medium - Google Patents

Image blur correction device and control method therefor, program, and storage medium Download PDF

Info

Publication number
JP2021124577A
JP2021124577A JP2020017232A JP2020017232A JP2021124577A JP 2021124577 A JP2021124577 A JP 2021124577A JP 2020017232 A JP2020017232 A JP 2020017232A JP 2020017232 A JP2020017232 A JP 2020017232A JP 2021124577 A JP2021124577 A JP 2021124577A
Authority
JP
Japan
Prior art keywords
estimation
value
blur correction
unit
image blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020017232A
Other languages
Japanese (ja)
Other versions
JP7426841B2 (en
Inventor
龍一郎 安田
Ryuichiro Yasuda
龍一郎 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020017232A priority Critical patent/JP7426841B2/en
Publication of JP2021124577A publication Critical patent/JP2021124577A/en
Application granted granted Critical
Publication of JP7426841B2 publication Critical patent/JP7426841B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)

Abstract

To quickly acquire a correct offset estimation value while suppressing a variation in an offset estimation value in the case of estimating an offset of an angular velocity sensor.SOLUTION: An image blur correction device includes a first acquisition unit for acquiring an angular velocity signal detected by a blur detection unit 201 for detecting shake of a device, an estimation unit 202 for estimating an offset value of the blur detection unit on the basis of the angular velocity signal, a second acquisition unit 203 for acquiring at least one of a time and the temperature of the blur detection unit, and a storage control unit 204 for storing the information in a storage unit. In the case of estimating an offset value, the estimation unit sets a degree for changing an estimation value in the case of estimating the offset value on the basis of a comparison result between the information acquired by second acquisition means and the information acquired by the second acquisition unit during estimating the preceding offset value and stored in the storage unit.SELECTED DRAWING: Figure 2

Description

本発明は、カメラの振れに起因する像ブレを補正する技術に関するものである。 The present invention relates to a technique for correcting image blur caused by camera shake.

デジタルカメラなどの撮像装置において、CMOSセンサなどの撮像素子や撮影光学系の一部の光学素子を光軸と直交する方向に移動させることにより、装置に加わる振れに起因する像ブレを補正する技術が多く提案されている。このような像ブレ補正機能を有する撮像装置は、一般的には、装置に加わる振れをジャイロセンサ(角速度センサ)により検出している。 In an image pickup device such as a digital camera, a technique for correcting image blur caused by vibration applied to the device by moving an image sensor such as a CMOS sensor or a part of the optical element of the photographing optical system in a direction orthogonal to the optical axis. Have been proposed a lot. An imaging device having such an image blur correction function generally detects a shake applied to the device by a gyro sensor (angular velocity sensor).

ジャイロセンサは、装置に加わる振れのうち、回転振れを角速度の状態で検出可能なセンサであり、近年その性能向上は著しい。しかし、像ブレ補正性能に対する要求も大幅に増大してきているため、ジャイロセンサの検出精度を向上させることは非常に重要である。ジャイロセンサの検出精度を向上させる上での1つの重要な課題は、ジャイロセンサが持つオフセット成分をいかにして除去するかということである。 The gyro sensor is a sensor that can detect rotational runout in the state of angular velocity among the runouts applied to the device, and its performance has been remarkably improved in recent years. However, since the demand for image blur correction performance has increased significantly, it is very important to improve the detection accuracy of the gyro sensor. One important issue in improving the detection accuracy of the gyro sensor is how to remove the offset component of the gyro sensor.

ジャイロセンサの信号をオフセット成分の除去なしに使用すると、ジャイロセンサの出力信号を積分して角度として取り扱う際、積分誤差として順次積みあがっていく所謂ドリフトを生じることとなり、正確な像ブレ補正が行えなくなってしまう。 If the signal of the gyro sensor is used without removing the offset component, when the output signal of the gyro sensor is integrated and treated as an angle, so-called drift that accumulates as an integration error will occur, and accurate image blur correction can be performed. It will disappear.

特許文献1には、角速度センサの出力と、画像のフレーム間の差分による動きベクトルと、ブレ補正部材の速度を入力として、カルマンフィルタや逐次最小二乗法を用いてオフセットを推定し、推定結果を基にオフセット成分を除去する手法が開示されている。 In Patent Document 1, the output of the angular velocity sensor, the motion vector due to the difference between the frames of the image, and the velocity of the blur correction member are input, and the offset is estimated by using the Kalman filter or the sequential least squares method, and the estimation result is used as the basis. Discloses a method for removing an offset component.

特開2017−92616号公報Japanese Unexamined Patent Publication No. 2017-92616

オフセット推定値の初期値は未知の真のオフセットに近いことが望ましく、例えば、前回推定停止時のオフセット推定値を初期値とすることが考えられる。しかし、オフセットの揺らぎの大きいジャイロセンサの場合、前回推定停止時のオフセット推定値が今回の未知の真のオフセット値に必ずしも近いとは限らない。そのため、前回推定停止時のオフセット推定値と今回の未知の真のオフセット値がどれだけ近いかを条件に応じて推測し、オフセット推定値を修正する度合いを変化させる必要がある。オフセット推定値を修正する度合いを変化させるには、例えば、誤差分散初期値を設定することが考えられる。 It is desirable that the initial value of the offset estimated value is close to the unknown true offset. For example, it is conceivable that the offset estimated value at the time of the previous estimation stop is used as the initial value. However, in the case of a gyro sensor with a large offset fluctuation, the offset estimated value at the time of the previous estimation stop is not always close to the unknown true offset value this time. Therefore, it is necessary to estimate how close the offset estimated value at the time of the previous estimation stop and the unknown true offset value this time are according to the conditions, and change the degree of correction of the offset estimated value. In order to change the degree of correction of the offset estimated value, for example, it is conceivable to set an initial error variance value.

誤差分散初期値を大きくすると修正する度合いが大きくなり、オフセットの推定は進むが、観測値のノイズの影響を受けて変動しやすくなる。一方、誤差分散初期値を小さくすると、修正する度合いが小さくなり、観測値のノイズの影響を受けにくくなるが、オフセットの推定が遅くなる。そのため、適切な誤差分散初期値を設定しないと、早く正しくオフセット値を推定できない。 If the initial value of the error variance is increased, the degree of correction increases and the offset estimation proceeds, but it becomes easy to fluctuate due to the influence of the noise of the observed value. On the other hand, if the initial value of the error variance is made small, the degree of correction becomes small and it becomes difficult to be affected by the noise of the observed value, but the offset estimation becomes slow. Therefore, unless an appropriate initial value of error variance is set, the offset value cannot be estimated quickly and correctly.

特許文献1のカルマンフィルタを用いた手法では、オフセット推定値を修正する度合いを司るパラメータについての決定方法が示されていない。また、オフセット推定初期値についても示されていない。 In the method using the Kalman filter of Patent Document 1, a method for determining the parameter governing the degree of correction of the offset estimated value is not shown. Moreover, the offset estimation initial value is not shown.

本発明は上述した課題に鑑みてなされたものであり、その目的は、角速度センサのオフセットを推定する場合に、オフセット推定値の変動を抑えつつ、早く正しいオフセット推定値を得られるようにすることである。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to make it possible to quickly obtain a correct offset estimated value while suppressing fluctuations in the offset estimated value when estimating the offset of the angular velocity sensor. Is.

本発明に係わる像ブレ補正装置は、装置の振れを検出する振れ検出手段により検出された角速度信号を取得する第1の取得手段と、前記角速度信号に基づいて前記振れ検出手段のオフセット値を推定する推定手段と、時刻または前記振れ検出手段の温度の少なくとも一方の情報を取得する第2の取得手段と、前記情報を記憶手段に記憶させる記憶制御手段と、を備え、前記推定手段は、前記オフセット値を推定する場合に、前記第2の取得手段により取得された前記情報と、前回の前記オフセット値の推定時に前記第2の取得手段により取得され、前記記憶手段に記憶された前記情報との比較結果に基づいて、前記オフセット値を推定する場合の推定値を変化させる度合いを設定することを特徴とする。 The image blur correction device according to the present invention estimates the offset value of the first acquisition means for acquiring the angular velocity signal detected by the runout detecting means for detecting the runout of the device and the runout detecting means based on the angular velocity signal. The estimation means includes, a second acquisition means for acquiring information on at least one of the time and the temperature of the runout detecting means, and a storage control means for storing the information in the storage means. When estimating the offset value, the information acquired by the second acquisition means and the information acquired by the second acquisition means at the time of the previous estimation of the offset value and stored in the storage means. Based on the comparison result of, the degree to which the estimated value is changed when the offset value is estimated is set.

本発明によれば、角速度センサのオフセットを推定する場合に、オフセット推定値の変動を抑えつつ、早く正しいオフセット推定値を得ることが可能となる。 According to the present invention, when estimating the offset of the angular velocity sensor, it is possible to quickly obtain the correct offset estimated value while suppressing the fluctuation of the offset estimated value.

本発明の第1の実施形態に係わるレンズ交換式の一眼レフタイプのカメラシステムの構成を示す図。The figure which shows the structure of the interchangeable-lens type single-lens reflex type camera system which concerns on 1st Embodiment of this invention. 第1の実施形態における像ブレ補正装置の構成を示すブロック図。The block diagram which shows the structure of the image blur correction apparatus in 1st Embodiment. 第1の実施形態における像ブレ補正処理の動作を示すフローチャート。The flowchart which shows the operation of the image blur correction processing in 1st Embodiment. 第1の実施形態における誤差分散値と、時間、温度の関係を示す図。The figure which shows the relationship between the error variance value in 1st Embodiment, time, and temperature. オフセット推定初期値が正しいオフセット値と離れている場合のオフセット推定値の時間推移を示す図。The figure which shows the time transition of the offset estimation value when the offset estimation initial value is separated from the correct offset value. オフセット推定初期値が正しいオフセット値と近い場合のオフセット推定値の時間推移を示す図。The figure which shows the time transition of the offset estimation value when the offset estimation initial value is close to a correct offset value. 第2の実施形態における像ブレ補正装置の構成を示すブロック図。The block diagram which shows the structure of the image blur correction apparatus in 2nd Embodiment. 第2の実施形態における像ブレ補正処理の動作を示すフローチャート。The flowchart which shows the operation of the image blur correction processing in 2nd Embodiment.

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential to the invention, and the plurality of features may be arbitrarily combined. Further, in the attached drawings, the same or similar configurations are given the same reference numbers, and duplicate explanations are omitted.

(第1の実施形態)
<カメラシステムの構成>
図1は、本発明の第1の実施形態に係わるレンズ交換式の一眼レフタイプのカメラシステム(撮像システム)100の構成を示す図である。図1(a)は第1の実施形態におけるカメラシステムの中央断面図であり、図1(b)はカメラシステム100の電気的構成を示すブロック図である。
(First Embodiment)
<Camera system configuration>
FIG. 1 is a diagram showing a configuration of an interchangeable lens type single-lens reflex type camera system (imaging system) 100 according to the first embodiment of the present invention. FIG. 1A is a central sectional view of the camera system according to the first embodiment, and FIG. 1B is a block diagram showing an electrical configuration of the camera system 100.

図1(a)において、カメラシステム100はカメラ本体1と、カメラ本体1に着脱可能に装着されるレンズユニット2とを備える。レンズユニット2は、光軸4を軸とする複数のレンズからなる撮影光学系3を備え、その撮影光学系3の一部に、画像の振れを光学的に補正する振れ補正ユニット19が設けられている。振れ補正ユニット19は、光軸をシフトさせることが可能なユニットであり、例えば、シフトレンズで構成することができる。また、カメラ本体1は、撮像素子ユニット6、背面表示部10aを備える。カメラ本体1とレンズユニット2の間には、カメラ本体1とレンズユニット2を電気的に接続する電気接点14が配置されている。 In FIG. 1A, the camera system 100 includes a camera body 1 and a lens unit 2 that is detachably attached to the camera body 1. The lens unit 2 includes a photographing optical system 3 composed of a plurality of lenses centered on an optical axis 4, and a shake correction unit 19 for optically correcting image shake is provided in a part of the photographing optical system 3. ing. The shake correction unit 19 is a unit capable of shifting the optical axis, and can be configured by, for example, a shift lens. Further, the camera body 1 includes an image sensor unit 6 and a rear display unit 10a. An electrical contact 14 that electrically connects the camera body 1 and the lens unit 2 is arranged between the camera body 1 and the lens unit 2.

図1(b)において、レンズユニット2は、電気的な構成として、レンズシステム制御部15、レンズ側操作部16、レンズ側振れ検出部17、レンズ側振れ補正駆動部18、焦点距離変更部22を備える。レンズシステム制御部15は、レンズユニット2の全体を制御する。レンズ側操作部16は、ユーザーの操作を受け付ける。レンズ側振れ検出部17は、角速度センサなどを備え、カメラシステム100の振れ量(検出結果)を検出する。レンズ側振れ補正駆動部18は、振れ補正ユニット19を駆動して像ブレを補正する。レンズ位置検出部20は、振れ補正ユニット19の位置を検出する。焦点距離変更部22は、撮影光学系3の焦点距離を変更する。 In FIG. 1B, the lens unit 2 has, as an electrical configuration, a lens system control unit 15, a lens side operation unit 16, a lens side shake detection unit 17, a lens side shake correction drive unit 18, and a focal length change unit 22. To be equipped with. The lens system control unit 15 controls the entire lens unit 2. The lens-side operation unit 16 accepts the user's operation. The lens-side runout detection unit 17 includes an angular velocity sensor and the like, and detects the runout amount (detection result) of the camera system 100. The lens-side shake correction driving unit 18 drives the shake correction unit 19 to correct image blur. The lens position detection unit 20 detects the position of the shake correction unit 19. The focal length changing unit 22 changes the focal length of the photographing optical system 3.

また、カメラ本体1は、電気的な構成として、カメラシステム制御部5、撮像素子ユニット6、画像処理部7、メモリ8、カメラ側操作部9、背面表示部10aを含む表示部10、カメラ側振れ検出部12、カメラ側振れ補正駆動部13を備える。カメラシステム制御部5は、カメラシステム100の全体を制御する。撮像素子ユニット6は、被写体像を光電変換し画像信号を出力する撮像素子と、撮像素子を、光軸に垂直な方向において移動またはチルトさせる、圧電素子、ボイスコイルモータなどからなる駆動機構とを有する。画像処理部7は、撮像素子ユニット6の撮像素子から出力された画像信号に必要な画像処理を行う。メモリ8は、画像データを一時記憶する。カメラ側操作部9は、ユーザーの操作を受け付ける。表示部10は、撮影された画像やカメラの状態を示す情報などを表示する。カメラ側振れ検出部12は、角速度センサなどを備え、カメラシステム100の振れ量を検出する。カメラ側振れ補正駆動部13は、撮像素子ユニット6を駆動して撮像素子を光軸4と垂直な面内で移動させ、像ブレ補正を行う。撮像素子位置検出部21は、撮像ユニット6内の撮像素子の位置を検出する。 Further, as an electrical configuration, the camera body 1 includes a camera system control unit 5, an image sensor unit 6, an image processing unit 7, a memory 8, a camera side operation unit 9, a display unit 10 including a rear display unit 10a, and a camera side. It includes a runout detection unit 12 and a camera side runout correction drive unit 13. The camera system control unit 5 controls the entire camera system 100. The image sensor unit 6 includes an image sensor that photoelectrically converts a subject image and outputs an image signal, and a drive mechanism including a piezoelectric element, a voice coil motor, or the like that moves or tilts the image sensor in a direction perpendicular to the optical axis. Have. The image processing unit 7 performs image processing necessary for the image signal output from the image sensor of the image sensor unit 6. The memory 8 temporarily stores image data. The camera-side operation unit 9 accepts the user's operation. The display unit 10 displays captured images, information indicating the state of the camera, and the like. The camera-side runout detection unit 12 includes an angular velocity sensor and the like, and detects the runout amount of the camera system 100. The camera-side shake correction drive unit 13 drives the image sensor unit 6 to move the image sensor in a plane perpendicular to the optical axis 4 to perform image shake correction. The image sensor position detection unit 21 detects the position of the image sensor in the image sensor 6.

また、機能的な面から見ると、カメラ本体1およびレンズユニット2からなるカメラシステム100は、撮像手段、画像処理手段、記録再生手段、制御手段を有する。 From a functional point of view, the camera system 100 including the camera body 1 and the lens unit 2 includes an imaging means, an image processing means, a recording / reproducing means, and a control means.

撮像手段は、撮影光学系3 、撮像素子ユニット6を含み、画像処理手段は、画像処理部7を含む。また、記録再生手段は、メモリ8、表示部10を含む。なお、表示部10は、背面表示部10a、カメラ本体1の上面に設けられた撮影情報を表示する不図示の小型表示パネル、EVFとも呼ばれる不図示の電子ビューファインダーを包含する。制御手段は、カメラシステム制御部5、カメラ側操作部9、カメラ側振れ検出部12、カメラ側振れ補正駆動部13、レンズシステム制御部15、レンズ側操作部16、レンズ側振れ検出部17、レンズ側振れ補正駆動部18、レンズ位置検出部20、撮像素子位置検出部21、焦点距離変更部22を含む。なお、レンズシステム制御部15は、振れ補正ユニット19の他に、不図示のフォーカスレンズ、絞り、ズームなどの駆動も行う。 The image pickup means includes a photographing optical system 3 and an image pickup element unit 6, and the image processing means includes an image processing unit 7. Further, the recording / reproducing means includes a memory 8 and a display unit 10. The display unit 10 includes a rear display unit 10a, a small display panel (not shown) for displaying shooting information provided on the upper surface of the camera body 1, and an electronic viewfinder (also called an EVF) (not shown). The control means include a camera system control unit 5, a camera side operation unit 9, a camera side shake detection unit 12, a camera side shake correction drive unit 13, a lens system control unit 15, a lens side operation unit 16, and a lens side shake detection unit 17. The lens side shake correction drive unit 18, the lens position detection unit 20, the image pickup element position detection unit 21, and the focal length change unit 22 are included. In addition to the shake correction unit 19, the lens system control unit 15 also drives a focus lens (not shown), an aperture, a zoom, and the like.

カメラ側振れ検出部12、レンズ側振れ検出部17は、カメラシステム100に加わる光軸4に対する回転振れを検知可能であり、例えば振動ジャイロなどが用いられる。カメラ側振れ補正駆動部13は撮像素子ユニット6内の撮像素子を、レンズ側振れ補正駆動部18は振れ補正ユニット19を、それぞれ光軸4に垂直な平面上でシフトもしくはチルト駆動させる。各駆動部(13,18)が、各ユニット(6,19)を光軸4に平行な方向においてもシフトさせてもよいが、本実施形態では、光軸4に平行な方向における各ユニットの移動を加味しないものとする。 The camera-side shake detection unit 12 and the lens-side shake detection unit 17 can detect rotational shake with respect to the optical axis 4 applied to the camera system 100, and for example, a vibration gyro or the like is used. The camera-side shake correction drive unit 13 shifts or tilts the image sensor in the image sensor unit 6, and the lens-side shake correction drive unit 18 shifts or tilts the shake correction unit 19 on a plane perpendicular to the optical axis 4, respectively. Each drive unit (13, 18) may shift each unit (6, 19) in a direction parallel to the optical axis 4, but in the present embodiment, each unit (6, 19) may be shifted in a direction parallel to the optical axis 4. Movement shall not be taken into account.

上述した撮像手段は、物体からの光を、撮影光学系3を介して撮像素子の撮像面に結像させる光学処理系である。撮像素子からピント評価量/適切な露光量の情報が得られるため、この情報に基づいて撮影光学系3が調整される。これにより、適切な光量の物体光を、撮像素子上にピントが合った状態で露光させることができる。 The image pickup means described above is an optical processing system that forms an image of light from an object on the image pickup surface of the image pickup device via the photographing optical system 3. Since information on the focus evaluation amount / appropriate exposure amount can be obtained from the image sensor, the photographing optical system 3 is adjusted based on this information. As a result, an object light having an appropriate amount of light can be exposed on the image sensor in a focused state.

画像処理部7は、内部にA/D変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成する。色補間処理部はこの画像処理部7に備えられており、ベイヤ配列の信号から色補間(デモザイキング)処理を施してカラー画像を生成する。また、画像処理部7は、予め定められた方法を用いて静止画、動画、音声などの圧縮を行う。さらには、画像処理部7は撮像素子から得られた複数の画像間の比較に基づいて振れ検知信号を生成することも可能であるため、撮像素子と画像処理部7とでカメラ側振れ検出部12を構成してもよい。 The image processing unit 7 has an A / D converter, a white balance adjustment circuit, a gamma correction circuit, an interpolation calculation circuit, and the like inside, and generates an image for recording. The color interpolation processing unit 7 is provided in the image processing unit 7, and performs color interpolation (demosiking) processing from the signals of the bayer array to generate a color image. In addition, the image processing unit 7 compresses still images, moving images, sounds, and the like using a predetermined method. Further, since the image processing unit 7 can generate a shake detection signal based on the comparison between a plurality of images obtained from the image sensor, the camera side shake detection unit is formed by the image sensor and the image processing unit 7. 12 may be configured.

メモリ8は実際の記憶部を備えている。カメラシステム制御部5により、メモリ8の記憶部へ画像データの出力を行うとともに、表示部10にユーザーに提示する像を表示する。 The memory 8 includes an actual storage unit. The camera system control unit 5 outputs image data to the storage unit of the memory 8 and displays an image to be presented to the user on the display unit 10.

カメラシステム制御部5は撮像の際のタイミング信号などを生成して出力する。外部操作に応じて撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、シャッターレリーズボタン(不図示)の押下をカメラシステム制御部5が検出して、撮像素子ユニット6内の撮像素子の駆動、画像処理部7の動作、圧縮処理などを制御する。さらに情報表示を行う表示部10の各セグメントの状態を制御する。また、背面表示部10aはタッチパネルを有し、表示部10とカメラ側操作部9の役割を兼ねていてもよい。 The camera system control unit 5 generates and outputs a timing signal or the like at the time of imaging. The imaging system, image processing system, and recording / playback system are controlled according to external operations. For example, the camera system control unit 5 detects the pressing of the shutter release button (not shown) and controls the driving of the image sensor in the image sensor unit 6, the operation of the image processing unit 7, the compression processing, and the like. Further, the state of each segment of the display unit 10 that displays information is controlled. Further, the rear display unit 10a may have a touch panel and may also serve as the display unit 10 and the camera-side operation unit 9.

<像ブレ補正装置の構成>
次に、図2は、本実施形態におけるカメラシステム100が備える像ブレ補正装置200のブロック構成を示す図である。図2に示す像ブレ補正装置200の各ブロックとカメラシステム100の各ブロックとの対応関係については、後に詳しく説明する。なお、像ブレ補正軸として、カメラシステム100のPitch方向、Yaw方向については同じ構成であるため、これらのうち1軸についてのみ説明する。
<Configuration of image blur correction device>
Next, FIG. 2 is a diagram showing a block configuration of an image blur correction device 200 included in the camera system 100 according to the present embodiment. The correspondence between each block of the image blur correction device 200 shown in FIG. 2 and each block of the camera system 100 will be described in detail later. Since the image blur correction axes have the same configuration in the Pitch direction and the Yaw direction of the camera system 100, only one of these axes will be described.

振れ検出部201は、像ブレ補正装置200を備えるカメラシステム100に生じている振れを検出する。この振れは、例えば手振れ等であり、例えばジャイロセンサなどを用いて検出する。振れ検出部201は、カメラシステム100の振れ情報の検出信号を、オフセット推定部202および減算器205に出力する。 The shake detection unit 201 detects the shake occurring in the camera system 100 including the image shake correction device 200. This runout is, for example, camera shake, and is detected by using, for example, a gyro sensor. The runout detection unit 201 outputs the detection signal of the runout information of the camera system 100 to the offset estimation unit 202 and the subtractor 205.

オフセット推定部202は、振れ検出部201の出力信号および、カメラ情報取得部203の出力データとカメラ情報保持部204の保存データ(記憶値)に基づき、振れ検出部201の出力信号のオフセットを推定する。オフセット推定部202で推定されたオフセットは減算器205に出力される。また、オフセット推定部202で算出された誤差分散はカメラ情報保持部204に出力される。 The offset estimation unit 202 estimates the offset of the output signal of the runout detection unit 201 based on the output signal of the runout detection unit 201, the output data of the camera information acquisition unit 203, and the stored data (stored value) of the camera information holding unit 204. do. The offset estimated by the offset estimation unit 202 is output to the subtractor 205. Further, the error variance calculated by the offset estimation unit 202 is output to the camera information holding unit 204.

カメラ情報取得部203は、振れ検出部201の温度と現在時刻(あるいはその少なくとも一方)を取得する。カメラ情報取得部203の出力データは、オフセット推定部202およびカメラ情報保持部204に出力される。 The camera information acquisition unit 203 acquires the temperature and the current time (or at least one of them) of the runout detection unit 201. The output data of the camera information acquisition unit 203 is output to the offset estimation unit 202 and the camera information holding unit 204.

カメラ情報保持部204は、カメラ情報取得部203から出力された振れ検出部201の温度と現在時刻、およびオフセット推定部202から出力されたオフセット推定値とその誤差分散を保存する(記憶制御)。カメラ情報保持部204で保存されたデータはオフセット推定部202に出力される。 The camera information holding unit 204 stores the temperature and current time of the runout detection unit 201 output from the camera information acquisition unit 203, the offset estimated value output from the offset estimation unit 202, and the error variance thereof (memory control). The data stored in the camera information holding unit 204 is output to the offset estimation unit 202.

減算器205は、振れ検出部201の出力信号からオフセット推定部202のオフセット推定値を減算する。減算器205の出力信号は積分器206に出力される。 The subtractor 205 subtracts the offset estimated value of the offset estimation unit 202 from the output signal of the runout detection unit 201. The output signal of the subtractor 205 is output to the integrator 206.

積分器206は、減算器205の出力信号に積分処理を施す。積分器206の出力信号は像ブレ補正部207に出力される。 The integrator 206 performs an integration process on the output signal of the subtractor 205. The output signal of the integrator 206 is output to the image blur correction unit 207.

像ブレ補正部207は、積分器206の出力値を補正目標値に変換し、手振れ等の動きを打ち消すようにブレ補正部材を制御する。ブレ補正部材の例としては、撮像光学系を構成するシフトレンズ等の補正レンズや、撮像素子を移動可能に支持する駆動機構部などである。あるいは、撮像装置からの指令により駆動制御可能なジンバル機構や自動制御可能な電動雲台等が挙げられる。 The image blur correction unit 207 converts the output value of the integrator 206 into a correction target value, and controls the blur correction member so as to cancel the movement such as camera shake. Examples of the blur correction member include a correction lens such as a shift lens constituting the image pickup optical system, a drive mechanism unit that movably supports the image pickup element, and the like. Alternatively, a gimbal mechanism that can be driven and controlled by a command from an imaging device, an electric pan head that can be automatically controlled, and the like can be mentioned.

ここで、図2に示す像ブレ補正装置200の各ブロックとカメラシステム100の各ブロックとの対応関係について説明する。例えば本実施形態では、振れ検出部201はレンズ側振れ検出部17に対応し、像ブレ補正部207はレンズ側振れ補正駆動部18に対応するものとする。さらに、オフセット推定部202、カメラ情報取得部203、カメラ情報保存部204、積分器206は、レンズシステム制御部15により実現されるものとする。つまり、像ブレ補正装置200の各構成ブロックが全てレンズユニット2に配置されているものとして説明する。 Here, the correspondence between each block of the image blur correction device 200 shown in FIG. 2 and each block of the camera system 100 will be described. For example, in the present embodiment, the shake detection unit 201 corresponds to the lens side shake detection unit 17, and the image blur correction unit 207 corresponds to the lens side shake correction drive unit 18. Further, the offset estimation unit 202, the camera information acquisition unit 203, the camera information storage unit 204, and the integrator 206 are realized by the lens system control unit 15. That is, it is assumed that all the constituent blocks of the image blur correction device 200 are arranged in the lens unit 2.

しかしながら、それとは逆に、振れ検出部201はカメラ側振れ検出部12に対応し、像ブレ補正部207はカメラ側振れ補正駆動部13に対応するものとしてもよい。さらに、オフセット推定部202、カメラ情報取得部203、カメラ情報保存部204、積分器206は、カメラシステム制御部5により実現されるものとしてもよい。つまり、像ブレ補正装置200の各構成ブロックが全てカメラ本体1に配置されているものとしてもよい。 However, on the contrary, the shake detection unit 201 may correspond to the camera side shake detection unit 12, and the image blur correction unit 207 may correspond to the camera side shake correction drive unit 13. Further, the offset estimation unit 202, the camera information acquisition unit 203, the camera information storage unit 204, and the integrator 206 may be realized by the camera system control unit 5. That is, it is possible that all the constituent blocks of the image blur correction device 200 are arranged in the camera body 1.

このように、図2に示す像ブレ補正装置200は、全ての構成がレンズユニット2に配置されていてもよいし、カメラ本体1に配置されていてもよい。さらには、像ブレ補正装置200を構成する各ブロックがカメラ本体1とレンズユニット2の間の電気接点14で接続されると考えれば、像ブレ補正装置200の任意のブロックをレンズユニット2に配置し、残りのブロックをカメラ本体1に配置してもよい。像ブレ補正装置200のどのブロックをレンズユニット2に配置し、どのブロックをカメラ本体1に配置するかは、設計の都合に合わせて自由に選択することができる。 As described above, in the image blur correction device 200 shown in FIG. 2, all the configurations may be arranged in the lens unit 2 or may be arranged in the camera body 1. Further, considering that each block constituting the image blur correction device 200 is connected by an electric contact 14 between the camera body 1 and the lens unit 2, any block of the image blur correction device 200 is arranged in the lens unit 2. Then, the remaining blocks may be arranged in the camera body 1. Which block of the image blur correction device 200 is arranged in the lens unit 2 and which block is arranged in the camera body 1 can be freely selected according to the convenience of the design.

<カルマンフィルタの説明>
次に、オフセット推定部202による振れ検出部201のオフセット推定処理の方法について数式を用いて説明する。本実施形態のオフセット推定部202を公知の線形カルマンフィルタで構成する場合、線形カルマンフィルタの一般的な式は以下の式(1)〜式(7)で表すことができる。
<Explanation of Kalman filter>
Next, a method of offset estimation processing of the runout detection unit 201 by the offset estimation unit 202 will be described using a mathematical formula. When the offset estimation unit 202 of the present embodiment is configured by a known linear Kalman filter, the general equations of the linear Kalman filter can be expressed by the following equations (1) to (7).

t=Axt-1+But+εt …式(1)
t=Cxt+δt …式(2)
ここで、式(1)は状態空間表現での動作モデルを表し、式(2)は観測モデルを表す。Aは動作モデルでのシステムマトリクス、Bは入力マトリクスを表す。またCは観測モデルでの出力マトリクスを表し、それぞれは行列式で表現される。またεtはプロセスノイズ、δtは観測ノイズ、tは離散的な時間を表す。
x t = Ax t-1 + Bu t + ε t ... formula (1)
z t = Cx t + δ t … Equation (2)
Here, the equation (1) represents an operation model in the state space representation, and the equation (2) represents an observation model. A represents the system matrix in the operation model, and B represents the input matrix. Further, C represents an output matrix in the observation model, and each is represented by a determinant. Ε t is the process noise, δ t is the observed noise, and t is the discrete time.

Figure 2021124577
Figure 2021124577

ここで、式(3)は予測ステップにおける事前推定値、式(4)は事前誤差共分散を表す。またΣxは、動作モデルのノイズの分散を表す。 Here, Eq. (3) represents a pre-estimated value in the prediction step, and Eq. (4) represents a pre-error covariance. Σ x represents the noise variance of the operation model.

Figure 2021124577
Figure 2021124577

ここで、式(5)はフィルタリングステップにおけるカルマンゲインの算出式を表し、添え字のTは転置行列を表している。さらに式(6)はカルマンフィルタによる事後推定値、式(7)は事後誤差共分散を表す。またΣzは、観測モデルのノイズの分散を表す。 Here, the equation (5) represents the calculation formula of the Kalman gain in the filtering step, and the subscript T represents the transposed matrix. Further, Eq. (6) represents the post-estimation value by the Kalman filter, and Eq. (7) represents the post-error covariance. Σ z represents the noise variance of the observation model.

本実施形態では、振れ検出部201のオフセットを推定するため、オフセットをxtとし、観測された振れ量から求められるオフセットをzt、εtをプロセスノイズ、δtを観測ノイズとする。すると、オフセットのモデルは式(1)における入力項uがなく、式(1)および式(2)でA=C=1となる以下の1次線形モデルで表すことができる。 In the present embodiment, in order to estimate the offset of the runout detection unit 201, the offset is x t , the offset obtained from the observed runout amount is z t , ε t is the process noise, and δ t is the observation noise. Then, the offset model can be represented by the following linear linear model in which A = C = 1 in the equations (1) and (2) without the input term u in the equation (1).

t=xt-1+εt …式(8)
t=xt+δt …式(9)
ここで、式(4)における動作モデルのノイズの分散Σxをシステムノイズの分散σx 2で表し、式(5)における観測モデルのノイズの分散Σzを観測ノイズの分散σz 2で表す。時刻tにおけるオフセット事前推定値をx^t -、事後誤差分散をσx^t 2、カルマンゲインをkt、観測ノイズ分散をσzt 2、振れ検出部201によって観測されたオフセットをztとすると、以下の式でカルマンフィルタを構成することができる。
x t = x t-1 + ε t … Equation (8)
z t = x t + δ t … Equation (9)
Here, the variance Σ x of the noise of the operation model in the equation (4) is expressed by the variance σ x 2 of the system noise, and the variance Σ z of the noise of the observation model in the equation (5) is expressed by the variance σ z 2 of the observation noise. .. The offset pre-estimated value at time t x ^ t -, and post the error variance of σ x ^ t 2, the Kalman gain k t, observation noise variance of sigma zt 2, the offset observed by the shake detection unit 201 z t Then, the Kalman filter can be constructed by the following equation.

Figure 2021124577
Figure 2021124577

オフセット推定部202は、上記の式(10)から式(14)までの演算式で構成され、推定演算の更新周期の時間t−1でのオフセット推定値x^t-1とシステムノイズの分散σx 2、時間t−1での事後誤差分散σx^t-1 2により、オフセット事前推定値x^-および事前誤差分散σx^t- 2が算出される。そして事前誤差分散σx^t- 2および、観測ノイズ分散σzt 2を基にカルマンゲインktが算出される。そして式(13)によって、観測されたオフセットztとオフセット事前推定値x^-との誤差にカルマンゲインktを乗じた値によってオフセット事前推定値x^-が修正され、オフセット推定値x^tが算出される。また式(14)により事前誤差分散σx^t- 2が修正されて事後誤差分散σx^t 2が算出される。これらの演算によって事前推定値の更新と修正を演算周期ごとに繰り返すことで、オフセット推定値が算出される。 The offset estimation unit 202 is composed of the above equations (10) to (14) , and distributes the offset estimation value x ^ t-1 and the system noise at the time t-1 of the update cycle of the estimation calculation. sigma x 2, the post-error variance σ x ^ t-1 2 at time t-1, the offset pre-estimated value x ^ - and advance error variance sigma x ^ t-2 is calculated. The pre-error variance sigma x ^ t-2 and the Kalman gain k t is calculated based on the observation noise variance sigma zt 2. Then the equation (13), the observed offset z t and the offset pre-estimated value x ^ - offset advance estimate by a value obtained by multiplying the Kalman gain k t on an error between x ^ - is modified, offset estimate x ^ t is calculated. Further, the pre-error variance σ x ^ t- 2 is corrected by Eq. (14) to calculate the post-error variance σ x ^ t 2. The offset estimated value is calculated by repeating the update and correction of the pre-estimated value for each operation cycle by these operations.

<誤差分散とオフセット推定値を修正する度合いの関係>
以上のように構成されたカルマンフィルタについて、事前誤差分散σx^t- 2の大きさが変化することによるカルマンフィルタによるオフセット推定値を修正する度合いの変化について、式(12)、式(13)を用いて説明する。
<Relationship between error variance and degree of correction of offset estimate>
Regarding the Kalman filter configured as described above, equations (12) and (13) are used to describe the change in the degree of correction of the offset estimate by the Kalman filter due to the change in the magnitude of the prior error variance σ x ^ t- 2. It will be described using.

まず、事前誤差分散σx^t- 2が大きい場合、オフセット推定値x^tの変動は大きくなる。式(12)によって、カルマンゲインkt=1に近い値となり、この場合、式(13)の右辺第2項の値は、観測されたオフセット値ztとオフセット事前推定値x^-との誤差そのままの値に近く、オフセット事前推定値x^-を修正する度合いが大きくなるためである。 First, when the prior error variance σ x ^ t- 2 is large, the variation of the offset estimated value x ^ t becomes large. According to Eq. (12), the value is close to Kalman gain k t = 1. In this case, the value of the second term on the right side of Eq. (13) is the observed offset value z t and the offset pre-estimated value x ^ - . close to the error as it is of value, offset in advance the estimated value x ^ - is because the degree to modify the increases.

反対に、事前誤差分散σx^t- 2が小さい場合、オフセット推定値x^tの変動は大きくなる。式(12)によって、カルマンゲインkt=0に近い値となり、式(13)の右辺第2項の値も0に近い値となる。よって、オフセット事前推定値x^-を修正する度合いが小さくなるためである。 On the contrary, when the prior error variance σ x ^ t- 2 is small, the variation of the offset estimated value x ^ t becomes large. By equation (12) becomes a value close to the Kalman gain k t = 0, a value close to 0 right the value of the second term of formula (13). Thus, the offset pre-estimated value x ^ - is because the degree of correcting the decreases.

よって、事前誤差分散初期値σx^0- 2を設定することによって、オフセット推定開始直後の修正する度合いを調整できる。 Therefore, by setting the pre-error variance initial value sigma x ^ 0- 2, you can adjust the degree of modification immediately after the offset estimation start.

また、カルマンゲインktは、事前誤差分散σx^t- 2と観測ノイズ分散σzt 2の比で決定されるため、観測ノイズ分散σzt 2の大きさを変化させることでもオフセット推定値を修正する度合いは変化させられる。観測ノイズ分散σzt 2が小さい場合は、オフセット推定値x^tの変動は大きくなり、観測ノイズ分散σzt 2が大きい場合は、オフセット推定値x^tの変動は小さくなる。 Also, the Kalman gain k t is because it is determined by the pre-error variance sigma x ^ t-2 as the ratio of the observed noise variance sigma zt 2, the observation noise variance sigma zt be offset estimate by changing the size of 2 The degree of modification can be changed. When the observed noise variance σ zt 2 is small, the fluctuation of the offset estimated value x ^ t is large, and when the observed noise variance σ zt 2 is large, the fluctuation of the offset estimated value x ^ t is small.

<フローチャートの説明>
次に、上記のように構成される像ブレ補正装置200におけるブレ補正目標値の演算処理について、図3のフローチャートを参照して説明する。
<Explanation of flowchart>
Next, the calculation process of the blur correction target value in the image blur correction device 200 configured as described above will be described with reference to the flowchart of FIG.

S301では、カメラ情報保持部204は、保存していたカメラ情報(前回のオフセット推定停止時(推定時)の時刻、温度、オフセット推定値、誤差分散)を読み出す。 In S301, the camera information holding unit 204 reads out the stored camera information (time, temperature, offset estimated value, error variance at the time of the previous offset estimation stop (estimation)).

S302では、カメラ情報取得部203は、現在のカメラ情報(今回のオフセット推定開始時の時刻、温度)を取得する。 In S302, the camera information acquisition unit 203 acquires the current camera information (time and temperature at the start of this offset estimation).

S303では、オフセット推定部202は、現在のカメラ情報とカメラ情報の保存値を比較し、その比較結果に基づき、誤差分散初期値σx^0- 2を算出する。誤差分散初期値の算出方法は後述する。 In S303, the offset estimation unit 202 compares the stored values of the current camera information and camera information, on the basis of the comparison result, to calculate the error distribution initial value σ x ^ 0- 2. The calculation method of the error variance initial value will be described later.

S304では、振れ検出部201は、カメラシステム100に生じている動きを検出して振れ信号を出力する。振れ検出部201は、例えばジャイロセンサを備え、その場合の振れ信号は角速度信号である。 In S304, the runout detection unit 201 detects the movement occurring in the camera system 100 and outputs a runout signal. The runout detection unit 201 includes, for example, a gyro sensor, and the runout signal in that case is an angular velocity signal.

S305では、オフセット推定部202は、前述のカルマンフィルタを用いてジャイロセンサのオフセットを推定する。オフセット推定初期値は、カメラ情報保持部204で保存していたオフセット推定値とする。 In S305, the offset estimation unit 202 estimates the offset of the gyro sensor using the above-mentioned Kalman filter. The offset estimation initial value is the offset estimation value stored in the camera information holding unit 204.

S306では、減算器205は、振れ検出部201から出力される振れ信号からオフセット推定部202から出力されるオフセット推定値を減算する。 In S306, the subtractor 205 subtracts the offset estimation value output from the offset estimation unit 202 from the runout signal output from the runout detection unit 201.

S307では、積分器206は、オフセットの除去された振れ信号に積分処理を施し、像ブレ補正部207に出力する。 In S307, the integrator 206 performs integration processing on the runout signal from which the offset has been removed, and outputs the integrator 206 to the image blur correction unit 207.

S308では、像ブレ補正部207は、積分器206の出力値をブレ補正目標値に変換し、手振れ等の動きを打ち消すようにブレ補正部材を制御する。 In S308, the image blur correction unit 207 converts the output value of the integrator 206 into a blur correction target value, and controls the blur correction member so as to cancel the movement such as camera shake.

S309では、オフセット推定部202が推定を停止したか否かを判定し、停止していればS310へ進み、停止していなければS304へ戻る。オフセット推定部202が推定を停止するタイミングは、例えば、カメラ本体1の電源が切られたときなどである。 In S309, the offset estimation unit 202 determines whether or not the estimation has stopped, and if it has stopped, the process proceeds to S310, and if it has not stopped, the process returns to S304. The timing at which the offset estimation unit 202 stops the estimation is, for example, when the power of the camera body 1 is turned off.

S310では、カメラ情報保持部204は、カメラ情報を保存する。ここでのカメラ情報とは、オフセット推定部202が推定を停止したときの、振れ検出部201の温度、時刻、誤差分散のことである。 In S310, the camera information holding unit 204 stores the camera information. The camera information here is the temperature, time, and error variance of the runout detection unit 201 when the offset estimation unit 202 stops the estimation.

ここで、図4を参照して、誤差分散初期値σx^0- 2の算出方法について説明する。 Referring now to FIG. 4, a description will be given of a method of calculating the error variance initial value σ x ^ 0- 2.

<時間による誤差分散初期値の算出>
図4(a)は、横軸が時間を、縦軸が誤差分散値を表し、前回のオフセット推定停止時から今回のオフセット推定開始時までの時間経過が長いほど誤差分散初期値を線形に大きくすることを表している。誤差分散初期値は大きくしすぎると変動が大きくなってしまうため、時間405以上経過した場合は、誤差分散初期値401以上にならないようにし、誤差分散初期値として設定し得る最大値を予め決めておく。また、誤差分散値403は、誤差分散保存値(前回のオフセット推定停止時の誤差分散値)である。この誤差分散初期値の最大値401と誤差分散保存値403の間で、前回のオフセット推定停止時から今回のオフセット推定開始時までの時間404に従って、誤差分散初期値402を算出する。図4(a)では、誤差分散初期値を線形に大きくする例を示しているが、この例に限らず非線形に大きくするようにしてもよい。
<Calculation of initial error variance over time>
In FIG. 4A, the horizontal axis represents time and the vertical axis represents the error variance value. The longer the time elapsed from the previous stop of offset estimation to the start of this offset estimation, the larger the initial error variance value linearly. It represents to do. If the initial value of the error variance is set too large, the fluctuation becomes large. Therefore, when the time 405 or more elapses, the initial value of the error variance should not exceed 401, and the maximum value that can be set as the initial value of the error variance is determined in advance. back. Further, the error variance value 403 is an error variance preservation value (error variance value at the time of the previous offset estimation stop). Between the maximum value 401 of the error variance initial value and the error variance storage value 403, the error variance initial value 402 is calculated according to the time 404 from the time when the previous offset estimation was stopped to the time when the current offset estimation was started. FIG. 4A shows an example in which the initial value of the error variance is linearly increased, but the present invention is not limited to this example, and the error variance may be increased non-linearly.

<温度による誤差分散初期値の算出>
図4(b)は、横軸が温度差を、縦軸が誤差分散値を表し、前回のオフセット推定停止時の温度と今回のオフセット推定開始時の温度差が大きいほど誤差分散初期値を線形に大きくすることを表している。誤差分散初期値は大きくしすぎると変動が大きくなってしまうため、温度差410以上であった場合は、誤差分散初期値406以上にならないようにし、誤差分散初期値として設定し得る最大値を予め決めておく。また、誤差分散値408は、誤差分散保存値(前回オフセット推定停止時の誤差分散値)である。この誤差分散初期値の最大値406と誤差分散保存値408の間で、前回のオフセット推定停止時の温度と今回のオフセット推定開始時の温度差409に従って誤差分散初期値407を算出する。図4(b)では、誤差分散初期値を線形に大きくする例を示しているが、この例に限らず非線形に大きくするようにしてもよい。
<Calculation of initial error variance by temperature>
In FIG. 4B, the horizontal axis represents the temperature difference and the vertical axis represents the error variance value. The larger the temperature difference between the temperature at the previous offset estimation stop and the current offset estimation start, the more linear the error variance initial value. It means to make it larger. If the initial value of the error variance is made too large, the fluctuation will become large. Therefore, if the temperature difference is 410 or more, the initial value of the error variance should not be greater than or equal to 406, and the maximum value that can be set as the initial value of the error variance is set in advance. Decide. Further, the error variance value 408 is an error variance preservation value (error variance value at the time of the previous offset estimation stop). Between the maximum value 406 of the error variance initial value and the error variance storage value 408, the error variance initial value 407 is calculated according to the temperature difference 409 between the temperature at the previous offset estimation stop and the current offset estimation start. FIG. 4B shows an example in which the initial value of the error variance is linearly increased, but the present invention is not limited to this example, and the error variance may be increased non-linearly.

<重み付け加算による誤差分散初期値の設定>
時間によって算出された誤差分散初期値と、温度差によって算出された誤差分散初期値(複数の条件に基づいて算出された誤差分散初期値)とから、それらの重み付け加算によって最終的な誤差分散初期値を設定する。時間による誤差分散初期値と温度差による誤差分散初期値を、それぞれσx^0-_time 2、σx^0-_temp 2と表記し、それぞれの重みをW_time、W_tempと表記する。すると、誤差分散初期値の設定値σx^0- 2は、下記の式(15)により算出される。
<Setting the initial value of error variance by weighting>
From the initial error variance calculated by time and the initial error variance calculated by temperature difference (initial error variance calculated based on multiple conditions), the final error variance initial value is added by weighting them. Set the value. The initial value of error variance due to time and the initial value of error variance due to temperature difference are expressed as σ x ^ 0-_time 2 and σ x ^ 0-_temp 2 , respectively, and their weights are expressed as W_time and W_temp, respectively. Then, set values σ x ^ 0- 2 of the error distribution initial value is calculated by the following equation (15).

Figure 2021124577
Figure 2021124577

ただし、Wtime+Wtemp=1である。 However, W time + W temp = 1.

重みについては、例えば、各誤差分散初期値に対応する情報源の確からしさに基づいて設定される。各情報源の確からしさが同一であるか、または不明である場合には、全ての重みを同じにすればよい。 The weight is set based on, for example, the certainty of the information source corresponding to each error variance initial value. If the certainty of each source is the same or unknown, all weights may be the same.

<優先順位による誤差分散初期値の設定>
また、時間によって算出された誤差分散初期値と温度差によって算出された誤差分散初期値の優先順位を判定する方法もある。優先順位に基づく方法では、取得される各情報またはそれらに対応する誤差分散初期値に優先順位を付け、優先順位の高い誤差分散初期値が採用される。例えば、涼しい室内でオフセット推定を停止し、炎天下の屋外へカメラシステム100を移動させてからオフセット推定を開始させた場合、時間経過は短いが温度差が大きくなり、オフセットが大きく変動すると考えられる。この場合は温度差による誤差分散初期値の優先度を高くする。
<Setting the initial value of error variance according to priority>
There is also a method of determining the priority of the error variance initial value calculated by time and the error variance initial value calculated by the temperature difference. In the priority-based method, each acquired information or the error variance initial value corresponding to them is prioritized, and the error variance initial value having a high priority is adopted. For example, when the offset estimation is stopped in a cool room, the camera system 100 is moved to the outdoors under the scorching sun, and then the offset estimation is started, it is considered that the time lapse is short but the temperature difference becomes large and the offset fluctuates greatly. In this case, the priority of the initial value of error dispersion due to the temperature difference is increased.

オフセット推定値について適切な誤差分散初期値を設定したときのオフセット推定値の時間推移を、図5及び図6に示す。 The time transition of the offset estimated value when an appropriate error variance initial value is set for the offset estimated value is shown in FIGS. 5 and 6.

図5は、オフセット推定初期値501が正しいオフセット値502と離れていた場合を示している。誤差分散初期値が小さい場合のオフセット推定の破線波形503は正しいオフセット値502に近づくのに時間が掛かっている。これに対し、誤差分散初期値が大きい場合のオフセット推定の実線波形504は、変動が大きいものの、正しいオフセット値502に早く近づいている。 FIG. 5 shows a case where the offset estimation initial value 501 is separated from the correct offset value 502. It takes time for the dashed line waveform 503 of the offset estimation when the initial error variance initial value is small to approach the correct offset value 502. On the other hand, the solid line waveform 504 of the offset estimation when the initial value of the error variance is large fluctuates greatly, but approaches the correct offset value 502 quickly.

また、図6はオフセット推定初期値601が正しいオフセット値602と近い場合を示している。誤差分散初期値が大きい場合のオフセット推定の破線波形603は、オフセット推定値が大きく変動しているのに対し、誤差分散初期値が小さい場合のオフセット推定の実線波形604はオフセット推定値の変動が小さい。 Further, FIG. 6 shows a case where the offset estimation initial value 601 is close to the correct offset value 602. The offset estimated value of the broken line waveform 603 of the offset estimation when the initial error variance initial value is large fluctuates greatly, whereas the solid line waveform 604 of the offset estimation when the error variance initial value is small fluctuates the offset estimated value. small.

以上説明したように、第1の実施形態によれば、前回のオフセット推定停止時と今回のオフセット推定開始時の、温度および時刻を比較することにより、オフセット初期値を推定するにあたり、適切な誤差分散初期値を設定できる。それにより、オフセット推定初期値の変動を抑制しつつ、早く正しいオフセット値を得ることができる。 As described above, according to the first embodiment, an appropriate error is obtained in estimating the offset initial value by comparing the temperature and time at the time when the previous offset estimation is stopped and when the offset estimation is started this time. Distribution initial value can be set. As a result, the correct offset value can be obtained quickly while suppressing the fluctuation of the offset estimation initial value.

(第2の実施形態)
<像ブレ補正装置の構成>
次に、図7は、第2の実施形態におけるカメラシステム100が備える像ブレ補正装置700のブロック構成を示す図である。図7においては、第1の実施形態を示す図2と共通な部分については、同じ符号を付して説明を省略する。
(Second Embodiment)
<Configuration of image blur correction device>
Next, FIG. 7 is a diagram showing a block configuration of the image blur correction device 700 included in the camera system 100 according to the second embodiment. In FIG. 7, the same reference numerals are given to the parts common to those in FIG. 2 showing the first embodiment, and the description thereof will be omitted.

第2の実施形態では、振れ検出部701から出力された振れ信号の他に、動きベクトルとブレ補正部材の速度も用いてオフセット推定を行う。なお、第1の実施形態と同じく、像ブレ補正軸として、カメラシステム100のPitch方向、Yaw方向については同じ構成であるため、これらのうち1軸についてのみ説明する。 In the second embodiment, in addition to the runout signal output from the runout detection unit 701, the motion vector and the speed of the shake correction member are also used to perform offset estimation. As in the first embodiment, the image blur correction axis has the same configuration in the Pitch direction and the Yaw direction of the camera system 100, so only one of these axes will be described.

また、この第2の実施形態では、動きベクトル検出部702はカメラ本体1に配置されるが、像ブレ補正装置700のその他のブロックは、第1の実施形態と同様に、レンズユニット2に配置されてもよいし、カメラ本体1に配置されてもよい。 Further, in the second embodiment, the motion vector detection unit 702 is arranged in the camera body 1, but the other blocks of the image blur correction device 700 are arranged in the lens unit 2 as in the first embodiment. It may be arranged, or it may be arranged in the camera body 1.

振れ検出部701は、像ブレ補正装置700を備えるカメラシステム100に生じている振れを検出する。振れ検出部701はカメラシステム100の振れ情報の検出信号を減算器706および減算器205に出力する。 The shake detection unit 701 detects the shake occurring in the camera system 100 including the image blur correction device 700. The runout detection unit 701 outputs the runout information detection signal of the camera system 100 to the subtractor 706 and the subtractor 205.

動きベクトル検出部702は、撮像素子から得られた複数の画像間の比較に基づいて動きベクトルを検出する。動きベクトル検出部702は検出した動きベクトルを減算器706に出力する。 The motion vector detection unit 702 detects the motion vector based on the comparison between a plurality of images obtained from the image sensor. The motion vector detection unit 702 outputs the detected motion vector to the subtractor 706.

ブレ補正部材位置検出部703は、ブレ補正部材の位置を検出する。ブレ補正部材位置検出部703の出力信号は微分器704に出力される。 The blur correction member position detection unit 703 detects the position of the blur correction member. The output signal of the blur correction member position detection unit 703 is output to the differentiator 704.

微分器704はブレ補正部材位置検出部703の出力信号に微分処理を施す。微分器704の出力信号は加算器705に出力される。 The differentiator 704 performs differentiating processing on the output signal of the blur correction member position detection unit 703. The output signal of the differentiator 704 is output to the adder 705.

加算器705は、動きベクトル検出部702により検出された動きベクトルと微分器704の出力信号を加算する。加算器705の出力信号は減算器706に出力される。 The adder 705 adds the motion vector detected by the motion vector detection unit 702 and the output signal of the differentiator 704. The output signal of the adder 705 is output to the subtractor 706.

減算器706は、振れ検出部701の出力信号から加算器705の出力信号を減算する。減算器706の出力信号はオフセット推定部202に出力される。 The subtractor 706 subtracts the output signal of the adder 705 from the output signal of the runout detection unit 701. The output signal of the subtractor 706 is output to the offset estimation unit 202.

<フローチャートの説明>
次に、上記のように構成される像ブレ補正装置700によるブレ補正目標値の演算処理について、図8のフローチャートを参照して説明する。なお、第1の実施形態の動作を示す図3と同様の処理のステップについては、同じステップ番号を付して、説明を省略する。
<Explanation of flowchart>
Next, the calculation process of the blur correction target value by the image blur correction device 700 configured as described above will be described with reference to the flowchart of FIG. The same step numbers as those in FIG. 3 showing the operation of the first embodiment are assigned the same step numbers, and the description thereof will be omitted.

S801では、動きベクトル検出部702は、動きベクトルを検出する。 In S801, the motion vector detection unit 702 detects the motion vector.

S802では、ブレ補正部材位置検出部703は、ブレ補正部材の位置を検出する。 In S802, the blur correction member position detection unit 703 detects the position of the blur correction member.

S803では、微分器704は、ブレ補正部材位置検出部703の出力信号であるブレ補正部材の位置信号に微分処理を施し、ブレ補正部材の移動速度を算出する。 In S803, the differentiator 704 performs differentiating processing on the position signal of the blur correction member, which is the output signal of the blur correction member position detection unit 703, and calculates the moving speed of the blur correction member.

S804では、加算器705は、動きベクトル検出部702により検出された動きベクトルと微分器704の出力信号であるブレ補正部材の移動速度を加算する。 In S804, the adder 705 adds the motion vector detected by the motion vector detection unit 702 and the moving speed of the blur correction member which is the output signal of the differentiator 704.

S805では、減算器706は、振れ検出部701から出力された振れ信号から加算器705の出力信号を減算する。 In S805, the subtractor 706 subtracts the output signal of the adder 705 from the runout signal output from the runout detection unit 701.

以上説明したように、第2の実施形態によれば、動きベクトルとブレ補正部材の移動速度を加算した信号と振れ信号の差分をオフセットの観測値としてオフセット推定を行うこともできる。 As described above, according to the second embodiment, the offset estimation can be performed by using the difference between the signal obtained by adding the motion vector and the moving speed of the blur correction member and the runout signal as the observed value of the offset.

また、像ブレ補正機能がOFFされて、ブレ補正部材が固定されている場合、微分器704の出力は0となる。この場合は、動きベクトルと振れ信号の差分をオフセットの観測値としてオフセット推定を行うことができる。 Further, when the image blur correction function is turned off and the blur correction member is fixed, the output of the differentiator 704 becomes 0. In this case, the offset can be estimated by using the difference between the motion vector and the runout signal as the observed value of the offset.

(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
(Other embodiments)
The present invention also supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device read the program. It can also be realized by the processing to be executed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above embodiments, and various modifications and modifications can be made without departing from the spirit and scope of the invention. Therefore, a claim is attached to make the scope of the invention public.

1:カメラ本体、2:レンズユニット、3:撮影光学系、5:カメラシステム制御部、6:撮像素子ユニット、12:カメラ側振れ検出部、13:カメラ側振れ補正駆動部、15:レンズシステム制御部、17:レンズ側振れ検出部、18:レンズ側振れ補正駆動部、19:振れ補正ユニット、20:レンズ位置検出部、21:撮像素子位置検出部、200:像ブレ補正装置、202:オフセット推定部、203:カメラ情報取得部、204:カメラ情報保存部 1: Camera body 2: Lens unit 3: Shooting optical system 5: Camera system control unit, 6: Image sensor unit, 12: Camera side shake detection unit, 13: Camera side shake correction drive unit, 15: Lens system Control unit, 17: Lens side shake detection unit, 18: Lens side shake correction drive unit, 19: Shake correction unit, 20: Lens position detection unit, 21: Image pickup element position detection unit, 200: Image blur correction device, 202: Offset estimation unit, 203: Camera information acquisition unit, 204: Camera information storage unit

Claims (15)

装置の振れを検出する振れ検出手段により検出された角速度信号を取得する第1の取得手段と、
前記角速度信号に基づいて前記振れ検出手段のオフセット値を推定する推定手段と、
時刻または前記振れ検出手段の温度の少なくとも一方の情報を取得する第2の取得手段と、
前記情報を記憶手段に記憶させる記憶制御手段と、を備え、
前記推定手段は、前記オフセット値を推定する場合に、前記第2の取得手段により取得された前記情報と、前回の前記オフセット値の推定時に前記第2の取得手段により取得され、前記記憶手段に記憶された前記情報との比較結果に基づいて、前記オフセット値を推定する場合の推定値を変化させる度合いを設定することを特徴とする像ブレ補正装置。
The first acquisition means for acquiring the angular velocity signal detected by the runout detecting means for detecting the runout of the device, and
An estimation means that estimates the offset value of the runout detection means based on the angular velocity signal, and an estimation means.
A second acquisition means for acquiring information on at least one of the time and the temperature of the runout detecting means, and
A storage control means for storing the information in the storage means is provided.
When estimating the offset value, the estimation means acquires the information acquired by the second acquisition means and the second acquisition means at the time of the previous estimation of the offset value, and stores the information in the storage means. An image blur correction device, characterized in that the degree to which the estimated value is changed when the offset value is estimated is set based on the stored comparison result with the information.
前記推定手段はカルマンフィルタを用いて推定を行い、推定結果の誤差分散を算出することを特徴とする請求項1に記載の像ブレ補正装置。 The image blur correction device according to claim 1, wherein the estimation means estimates using a Kalman filter and calculates an error variance of the estimation result. 前記推定手段は、前記推定結果の誤差分散の初期値に基づいて、前記オフセット値を推定する場合の推定値を変化させる度合いを設定することを特徴とする請求項2に記載の像ブレ補正装置。 The image blur correction device according to claim 2, wherein the estimation means sets the degree of change of the estimated value when estimating the offset value based on the initial value of the error variance of the estimation result. .. 前記記憶手段は、前記誤差分散をさらに記憶することを特徴とする請求項3に記載の像ブレ補正装置。 The image blur correction device according to claim 3, wherein the storage means further stores the error variance. 前記推定手段は、前記記憶手段に記憶された前記前回の推定時の時刻と、前記推定時に前記第2の取得手段により取得された今回の推定時の時刻の差分が第1の値の場合、当該差分が前記第1の値よりも小さい第2の値の場合よりも 前記誤差分散の初期値を大きくすることを特徴とする請求項4に記載の像ブレ補正装置。 When the difference between the time of the previous estimation stored in the storage means and the time of the current estimation acquired by the second acquisition means at the time of the estimation is the first value, the estimation means The image blur correction device according to claim 4, wherein the initial value of the error variance is made larger than in the case of the second value in which the difference is smaller than the first value. 前記推定手段は、前記記憶手段に記憶された前記前回の推定時の前記振れ検出手段の温度と、前記推定時に前記第2の取得手段により取得された今回の推定時の前記振れ検出手段の温度の差分が第3の値の場合、当該差分が前記第3の値よりも小さい第4の値の場合よりも前記誤差分散の初期値を大きくすることを特徴とする請求項4または5に記載の像ブレ補正装置。 The estimation means includes the temperature of the runout detecting means stored in the storage means at the time of the previous estimation and the temperature of the runout detecting means at the time of the current estimation acquired by the second acquisition means at the time of the estimation. 4 or 5, wherein when the difference is a third value, the initial value of the error variance is larger than when the difference is a fourth value smaller than the third value. Image blur correction device. 前記推定手段は、複数の条件における前記誤差分散の初期値を重み付け加算して、最終的な誤差分散の初期値とすることを特徴とする請求項4乃至6のいずれか1項に記載の像ブレ補正装置。 The image according to any one of claims 4 to 6, wherein the estimation means weights and adds the initial values of the error variance under a plurality of conditions to obtain the initial value of the final error variance. Blur correction device. 前記推定手段は、複数の条件における前記誤差分散の初期値の優先順位に基づいて、最終的な誤差分散の初期値を求めることを特徴とする請求項4乃至6のいずれか1項に記載の像ブレ補正装置。 The estimation means according to any one of claims 4 to 6, wherein the estimation means obtains the final initial value of the error variance based on the priority of the initial value of the error variance under a plurality of conditions. Image blur correction device. 前記記憶手段は、前記オフセット値の推定値をさらに記憶することを特徴とする請求項1乃至8のいずれか1項に記載の像ブレ補正装置。 The image blur correction device according to any one of claims 1 to 8, wherein the storage means further stores an estimated value of the offset value. 前記記憶手段は、前記推定手段が推定を停止したときに、前記情報を記憶することを特徴とする請求項1乃至5のいずれか1項に記載の像ブレ補正装置。 The image blur correction device according to any one of claims 1 to 5, wherein the storage means stores the information when the estimation means stops the estimation. 撮像素子から出力された画像のフレーム間の差分から動きベクトルを求める動きベクトル検出手段をさらに備え、前記推定手段は、前記角速度信号と、前記動きベクトルとに基づいて、前記振れ検出手段のオフセット値を推定することを特徴とする請求項1乃至10のいずれか1項に記載の像ブレ補正装置。 A motion vector detecting means for obtaining a motion vector from a difference between frames of an image output from an image sensor is further provided, and the estimating means is an offset value of the runout detecting means based on the angular velocity signal and the motion vector. The image blur correction device according to any one of claims 1 to 10, wherein the image blur correction device is characterized in that. 前記装置の振れに起因する像ブレを光学的に補正する補正手段と、前記補正手段の位置を示す位置信号を出力する位置検出手段と、をさらに備え、前記推定手段は、前記角速度信号と、前記動きベクトルと、前記位置信号とに基づいて、前記振れ検出手段のオフセット値を推定することを特徴とする請求項11に記載の像ブレ補正装置。 The estimation means further includes a correction means for optically correcting image blur caused by the shake of the device and a position detection means for outputting a position signal indicating the position of the correction means, and the estimation means includes the angular velocity signal and the angular velocity signal. The image blur correction device according to claim 11, wherein the offset value of the runout detecting means is estimated based on the motion vector and the position signal. 装置の振れを検出する振れ検出手段により検出された角速度信号を取得する第1の取得工程と、
前記角速度信号に基づいて前記振れ検出手段のオフセット値を推定する推定工程と、
時刻または前記振れ検出手段の温度の少なくとも一方の情報を取得する第2の取得工程と、
前記情報を記憶手段に記憶させる記憶制御工程と、を有し、
前記推定工程では、前記オフセット値を推定する場合に、該推定の開始時に前記第2の取得工程において取得された前記情報と、前回の前記オフセット値の推定時に前記第2の取得工程において取得され、前記記憶手段に記憶された前記情報との比較結果に基づいて、前記オフセット値を推定する場合の推定値を変化させる度合いを設定することを特徴とする像ブレ補正装置の制御方法。
The first acquisition step of acquiring the angular velocity signal detected by the runout detecting means for detecting the runout of the device, and
An estimation step of estimating the offset value of the runout detecting means based on the angular velocity signal, and
A second acquisition step of acquiring information on at least one of the time and the temperature of the runout detecting means, and
It has a memory control step of storing the information in a storage means.
In the estimation step, when the offset value is estimated, the information acquired in the second acquisition step at the start of the estimation and the information acquired in the second acquisition step at the time of the previous estimation of the offset value are acquired. A control method for an image blur correction device, which comprises setting a degree of change in an estimated value when estimating the offset value based on a comparison result with the information stored in the storage means.
コンピュータを、請求項1乃至12のいずれか1項に記載の像ブレ補正装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the image blur correction device according to any one of claims 1 to 12. コンピュータを、請求項1乃至12のいずれか1項に記載の像ブレ補正装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium that stores a program for causing the computer to function as each means of the image blur correction device according to any one of claims 1 to 12.
JP2020017232A 2020-02-04 2020-02-04 Image blur correction device, its control method, program, storage medium Active JP7426841B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020017232A JP7426841B2 (en) 2020-02-04 2020-02-04 Image blur correction device, its control method, program, storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020017232A JP7426841B2 (en) 2020-02-04 2020-02-04 Image blur correction device, its control method, program, storage medium

Publications (2)

Publication Number Publication Date
JP2021124577A true JP2021124577A (en) 2021-08-30
JP7426841B2 JP7426841B2 (en) 2024-02-02

Family

ID=77458747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020017232A Active JP7426841B2 (en) 2020-02-04 2020-02-04 Image blur correction device, its control method, program, storage medium

Country Status (1)

Country Link
JP (1) JP7426841B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017092616A (en) * 2015-11-05 2017-05-25 キヤノン株式会社 Image shake correction device and method
JP2018105938A (en) * 2016-12-22 2018-07-05 キヤノン株式会社 Imaging device, interchangeable lens, and method for controlling these

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017092616A (en) * 2015-11-05 2017-05-25 キヤノン株式会社 Image shake correction device and method
JP2018105938A (en) * 2016-12-22 2018-07-05 キヤノン株式会社 Imaging device, interchangeable lens, and method for controlling these

Also Published As

Publication number Publication date
JP7426841B2 (en) 2024-02-02

Similar Documents

Publication Publication Date Title
JP6881969B2 (en) Imaging devices, interchangeable lenses and their control methods
JP6995561B2 (en) Image stabilization device and its control method, image pickup device
JP6776062B2 (en) Imaging device and its control method
CN104683687A (en) Image pickup apparatus and image pickup method
JP2018025703A (en) Shake correction device, optical apparatus, and shake correction correct method
CN104683688A (en) Image pickup apparatus and control method
JP6543946B2 (en) Shake correction device, camera and electronic device
JP2019080137A (en) Imaging apparatus and control method thereof
JP2020076897A (en) Imaging system, control method of the same, lens unit, imaging apparatus, program, and storage medium
US20220264010A1 (en) Lens apparatus, image pickup system, control method of lens apparatus, and storage medium
JP2019216374A (en) Imaging apparatus and control method therefor
JP7426841B2 (en) Image blur correction device, its control method, program, storage medium
JP7346076B2 (en) Control device, lens device, imaging device, control method, and program
JP2018205551A (en) Imaging device and control method of the same
JP7356272B2 (en) Image blur information acquisition device and method, image blur correction device, program, storage medium
JP2019095630A (en) Optical instrument having image tremor correction device
JP7506500B2 (en) Image blur correction device and method, and imaging device
JP7398907B2 (en) Image stabilization system and method, imaging device and imaging system
JP7451152B2 (en) Imaging device, control method and computer program
JP7266480B2 (en) Imaging device, lens device, imaging system, imaging device control method, lens device control method
JP7495800B2 (en) Image blur correction device, control method thereof, program, and storage medium
JP7254555B2 (en) IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE
JP6590013B2 (en) Interchangeable lens and imaging device
JP2018064232A (en) Imaging apparatus and imaging apparatus control method
JP2022021684A (en) Image shake correction device and method for controlling the same, and imaging apparatus

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240123

R151 Written notification of patent or utility model registration

Ref document number: 7426841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151