JP7286415B2 - Image blur correction device, imaging device and control method - Google Patents

Image blur correction device, imaging device and control method Download PDF

Info

Publication number
JP7286415B2
JP7286415B2 JP2019097386A JP2019097386A JP7286415B2 JP 7286415 B2 JP7286415 B2 JP 7286415B2 JP 2019097386 A JP2019097386 A JP 2019097386A JP 2019097386 A JP2019097386 A JP 2019097386A JP 7286415 B2 JP7286415 B2 JP 7286415B2
Authority
JP
Japan
Prior art keywords
panning
imaging device
changing
imaging
cutoff frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019097386A
Other languages
Japanese (ja)
Other versions
JP2020190698A (en
Inventor
龍一郎 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019097386A priority Critical patent/JP7286415B2/en
Publication of JP2020190698A publication Critical patent/JP2020190698A/en
Application granted granted Critical
Publication of JP7286415B2 publication Critical patent/JP7286415B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、像ブレ補正装置、撮像装置および制御方法に関する。 The present invention relates to an image blur correction device, an imaging device, and a control method.

撮像装置の動きには、手振れ等の、撮影者が意図していない動きと、撮影者による意図的なパンニングやチルティング（以下、パンニング等という）の動きがある。撮像装置の動きを検出して像ブレ補正を行うためには、撮影者の意図しない動きと意図的な動きとを区別する必要がある。パンニング等の意図的な動きは、主に低周波の大きな動きとして捉えることができる。撮像装置は、パンニング等の動きが像ブレ補正量の算出にて含まれないように制御する。例えば、撮像装置が、像ブレ補正量算出のための積分手段への入力を制限することで、積分手段の出力に低周波の大きな動きが含まれないようにする方法が提案されている。また、撮像装置が、積分手段そのもののカットオフ周波数を上げて、低周波の大きな動きが出力されないようにする方法が提案されている。 Movements of an imaging device include movement unintended by a photographer, such as camera shake, and intentional panning or tilting (hereinafter referred to as panning or the like) movement by a photographer. In order to detect the movement of the imaging device and correct the image blur, it is necessary to distinguish between the unintended movement and the intentional movement of the photographer. Intentional motion such as panning can be perceived as a large low-frequency motion. The imaging apparatus performs control so that motion such as panning is not included in the calculation of the image blur correction amount. For example, a method has been proposed in which the imaging device limits the input to the integration means for calculating the image blur correction amount so that the output of the integration means does not include a large low-frequency motion. Also, a method has been proposed in which the imaging device raises the cutoff frequency of the integrating means itself so that a large motion at a low frequency is not output.

特許文献１は、パンニング等の開始が検知されると、積分手段への入力を止めて像ブレ補正を止め、パンニング等の終了を検知すると積分手段への入力を再開して像ブレ補正を再開するブレ補正装置を開示している。 In Patent Document 1, when the start of panning or the like is detected, the input to the integration means is stopped to stop the image blur correction, and when the end of the panning or the like is detected, the input to the integration means is restarted to restart the image blur correction. Disclosed is a blur correction device that

特開２０１４－６６８１１号公報JP 2014-66811 A

手振れを含むパンニング等が行われると、パンニング等の終了判定を精度良く実行することが困難となる。パンニング等の撮影方向の変更動作の開始後に積分手段の出力を制限すると、出力が制限されている期間は像ブレ補正性能が通常時よりも低下する。したがって、パンニング等の終了判定の精度が良くないと、パンニング等の終了直後から像ブレ補正性能を最大限に発揮することができない。本発明は、撮像装置の撮影方向の変更動作の終了を精度良く判定し、撮影方向の変更動作の終了直後から良好な像ブレ補正を行うことができる像ブレ補正装置の提供を目的とする。 When panning or the like including camera shake is performed, it becomes difficult to accurately determine the end of panning or the like. If the output of the integrating means is limited after the start of the operation for changing the photographing direction such as panning, the image blur correction performance is lower than normal during the period when the output is limited. Therefore, unless the accuracy of determination of the end of panning or the like is high, the image blur correction performance cannot be maximized immediately after the end of panning or the like. SUMMARY OF THE INVENTION It is an object of the present invention to provide an image blur correction device capable of accurately determining the end of an operation for changing the photographing direction of an imaging device and performing good image blur correction immediately after the end of the operation for changing the photographing direction.

本発明の一実施形態の像ブレ補正装置は、撮像装置に加わる振れに係る振れ検出信号を取得して出力する取得手段と、前記振れ検出信号を積分処理して角度信号を出力する第１の積分手段および第２の積分手段と、前記第１の積分手段が出力する角度信号に基づいて、前記撮像装置に加わる振れにより生じる撮像画像のブレを補正するための制御信号を生成する生成手段と、前記第１の積分手段の出力と前記第２の積分手段の出力との差が閾値以下である場合に、前記撮像装置の撮影方向の変更動作が終了したと判定し、前記第１の積分手段の出力と前記第２の積分手段の出力との差が閾値より大きい場合に、前記撮像装置の撮影方向の変更動作が終了していないと判定し、前記撮像装置の撮影方向の変更動作が開始した場合に、前記第１の積分手段のカットオフ周波数を第１のカットオフ周波数から前記第１のカットオフ周波数より高い前記第２のカットオフ周波数に変更し、前記撮像装置の撮影方向の変更動作が終了したと判定した場合に、前記第１の積分手段のカットオフ周波数を前記第１のカットオフ周波数に戻す制御手段と、を有する。 An image blur correction apparatus according to an embodiment of the present invention includes acquisition means for acquiring and outputting a shake detection signal associated with shake applied to an imaging device, and first acquisition means for integrating the shake detection signal and outputting an angle signal. integration means and second integration means; and generation means for generating a control signal for correcting blurring of a captured image caused by vibration applied to the imaging device, based on the angle signal output by the first integration means. determining that the operation of changing the photographing direction of the imaging device is completed when the difference between the output of the first integrating means and the output of the second integrating means is equal to or less than a threshold; when the difference between the output of the means and the output of the second integration means is larger than a threshold, it is determined that the operation of changing the photographing direction of the imaging device has not been completed, and the operation of changing the photographing direction of the imaging device is the cutoff frequency of the first integrating means is changed from the first cutoff frequency to the second cutoff frequency higher than the first cutoff frequency, and the imaging direction of the imaging device is adjusted. and control means for returning the cutoff frequency of the first integrating means to the first cutoff frequency when it is determined that the changing operation is finished.

本発明の像ブレ補正装置によれば、撮像装置の撮影方向の変更動作の終了を精度良く判定し、撮影方向の変更動作の終了直後から良好な像ブレ補正を行うことが可能となる。 According to the image blur correction device of the present invention, it is possible to accurately determine the end of the operation of changing the shooting direction of the imaging device, and perform good image blur correction immediately after the end of the operation of changing the shooting direction.

像ブレ補正装置を備える撮像装置の構成例を示す図である。It is a figure which shows the structural example of an imaging device provided with an image blur correction apparatus. 像ブレ補正装置の構成例を示す図である。It is a figure which shows the structural example of an image blur correction apparatus. 第１の積分部と第２の積分部の構成を説明する図である。It is a figure explaining the structure of a 1st integration part and a 2nd integration part. 像ブレ補正装置の動作処理を説明するフローチャートである。4 is a flowchart for explaining operation processing of the image blur correction device; パンニング等が行われた際の角速度信号の時間変化を示す図である。FIG. 4 is a diagram showing temporal changes in angular velocity signals when panning or the like is performed; パンニング等が行われた際の角度信号の時間変化を示す図である。FIG. 10 is a diagram showing temporal changes in angle signals when panning or the like is performed; パンニング終了判定を行う間隔の制御を説明する図である。FIG. 10 is a diagram for explaining control of an interval at which panning end determination is performed; 手振れによる動きの角度量と、角度差閾値との関係を示す図である。FIG. 10 is a diagram showing the relationship between the angular amount of movement due to camera shake and the angular difference threshold;

（撮像装置の構成）
図１は、本実施形態の像ブレ補正装置を備える撮像装置の構成例を示す図である。
以下では、撮影者による撮像装置の撮影方向の変更動作の例として、パンニングを例に挙げて説明するが、本発明は、チルティングが行われた場合にも適用可能である。撮像装置１は、デジタルカメラ、デジタルビデオカメラ、または、撮像機能を有する、携帯電話やコンピュータ等の電子機器である。 (Configuration of imaging device)
FIG. 1 is a diagram showing a configuration example of an imaging apparatus including an image blur correction device according to this embodiment.
Panning will be described below as an example of an operation of changing the shooting direction of the imaging device by the photographer, but the present invention can also be applied when tilting is performed. The imaging device 1 is a digital camera, a digital video camera, or an electronic device having an imaging function, such as a mobile phone or a computer.

撮像光学系１１は、フォーカスレンズ、ズームレンズ、シフトレンズ等のレンズ群、およびシャッタや絞り等の光学部材を備える。撮像光学系１１は、ＣＰＵ（中央演算処理装置）１３により制御されて、被写体光を撮像素子１２に結像させる。撮像光学系１１に含まれるシフトレンズは、撮像装置１に加わる振れにより撮像画像に生じる像ブレを光学的に補正するブレ補正手段であり、撮像光学系１１の光軸と略直交する方向に移動可能である。本実施形態ではシフトレンズにより被写体の結像位置の補正する光学的像ブレ補正の例を示すが、これに限定されない。例えば撮像素子１２自体をシフトさせる方法や、撮像素子の移動とシフトレンズの移動を併用する方法等がある。また、撮像装置１からの指令により駆動制御可能なジンバル機構や自動制御可能な電動雲台等をブレ補正手段として適用してもよい。 The imaging optical system 11 includes lens groups such as a focus lens, a zoom lens, and a shift lens, and optical members such as a shutter and a diaphragm. The imaging optical system 11 is controlled by a CPU (Central Processing Unit) 13 and causes subject light to form an image on the imaging device 12 . The shift lens included in the imaging optical system 11 is blur correction means for optically correcting image blurring that occurs in the captured image due to vibration applied to the imaging device 1, and moves in a direction substantially perpendicular to the optical axis of the imaging optical system 11. It is possible. In this embodiment, an example of optical image blur correction in which the imaging position of a subject is corrected using a shift lens will be described, but the present invention is not limited to this. For example, there is a method of shifting the image pickup device 12 itself, a method of moving the image pickup device and a shift lens together, and the like. Also, a gimbal mechanism that can be driven and controlled by a command from the imaging device 1, an electric camera platform that can be automatically controlled, or the like may be applied as the blur correction means.

撮像素子１２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｌｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等である。撮像素子１２は、被写体光を光電変換して、撮像画像に係る信号を出力する。角速度センサ１５はジャイロセンサ等の振れ検出用デバイスである。角速度センサ１５は撮像装置１の動き（振れ）を示す角速度を検出し、振れ検出信号としてＣＰＵ１３へ出力する。 The imaging element 12 is a CCD (Charge Coupled Device) type image sensor, a CMOS (Complementary Metal Oxide Semiconductor) type image sensor, or the like. The imaging device 12 photoelectrically converts subject light and outputs a signal related to a captured image. The angular velocity sensor 15 is a shake detection device such as a gyro sensor. The angular velocity sensor 15 detects an angular velocity indicating the movement (shake) of the imaging device 1 and outputs it to the CPU 13 as a shake detection signal.

ＣＰＵ１３は、入力された信号やメモリに予め記憶されたプログラムに従い、撮像装置１が備える各部を制御して各種の機能を実現させる。本実施形態の像ブレ補正装置は、ＣＰＵ１３の機能によって実現される。ＣＰＵ１３が、撮像装置１に加わる振れに応じてシフトレンズを駆動制御することで撮像画像のブレ（像ブレ）を補正する。記憶部１４は、撮影により取得された情報等の各種情報を記憶する。 The CPU 13 implements various functions by controlling each unit provided in the imaging apparatus 1 according to the input signal and the program pre-stored in the memory. The image blur correction device of this embodiment is implemented by the functions of the CPU 13 . The CPU 13 corrects blurring (image blurring) of the captured image by driving and controlling the shift lens in accordance with the shake applied to the imaging device 1 . The storage unit 14 stores various types of information such as information obtained by photographing.

表示部１７は、液晶表示デバイス等を備え、ＣＰＵ１３からの制御指令にしたがって画面に画像を表示する。例えば、表示部１７は、撮影時のビューファインダ画像の表示、撮影された画像の表示、対話的な操作のためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面等の表示を行う。 The display unit 17 has a liquid crystal display device or the like, and displays an image on the screen according to a control command from the CPU 13 . For example, the display unit 17 displays a viewfinder image at the time of shooting, a shot image, a GUI (Graphical User Interface) screen for interactive operation, and the like.

操作部１８は、ユーザの操作指示を受け付けてＣＰＵ１３へ入力情報を伝達する入力デバイス群を備える。操作部１８は、ユーザが撮影指示を入力するための操作部材であるレリーズスイッチを含む。ＣＰＵ１３は、撮影指示を受け付け、撮像素子１２の露光制御を行って画像データを取得する処理を行う。 The operation unit 18 includes an input device group that receives user's operation instructions and transmits input information to the CPU 13 . The operation unit 18 includes a release switch, which is an operation member for the user to input a photographing instruction. The CPU 13 receives a photographing instruction, performs exposure control of the image sensor 12, and performs processing for acquiring image data.

画像処理部１６は、撮像素子１２により取得される撮像画像データに対して所定の画像処理を行う。画像処理部１６は、いわゆる現像処理を行う他、撮影モードに応じた色調の調整処理等を行う。なお、画像処理部１６の機能の一部を、ＣＰＵ１３が行うソフトウェア処理によって実現してもよい。 The image processing unit 16 performs predetermined image processing on captured image data acquired by the image sensor 12 . The image processing unit 16 performs so-called development processing, and also performs color tone adjustment processing according to the shooting mode. Note that part of the functions of the image processing unit 16 may be realized by software processing performed by the CPU 13 .

（像ブレ補正装置の構成）
図２は、像ブレ補正装置の構成例を示す図である。
像ブレ補正装置１００は、動き検出部１０１、ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｔｅｒ）１０２、パンニング開始判定部１０３、第１の積分部１０４、第２の積分部１０５を備える。また、像ブレ補正装置１００は、パンニング終了判定部１０６、カウンタ１０７、補正信号算出部１０８を備える。 (Configuration of image blur correction device)
FIG. 2 is a diagram showing a configuration example of an image blur correction device.
Image blur correction apparatus 100 includes motion detection section 101 , HPF (High Pass Filter) 102 , panning start determination section 103 , first integration section 104 and second integration section 105 . The image blur correction apparatus 100 also includes a panning end determination unit 106 , a counter 107 , and a correction signal calculation unit 108 .

動き検出部１０１は、像ブレ補正装置１００を備える撮像装置１に生じている動きを検出して、当該動きを示す振れ検出信号を、ＨＰＦ１０２とパンニング終了判定部１０６に出力する。撮像装置１に生じている動きは、例えば、パンニング等の動きや手振れ等である。動き検出部１０１は、例えば、図１に示す角速度センサ１５を有しており、撮像装置１に生じている動きを示す角速度を振れ検出信号として取得して出力する。 The motion detection unit 101 detects motion occurring in the imaging apparatus 1 including the image blur correction device 100 and outputs a shake detection signal indicating the motion to the HPF 102 and the panning end determination unit 106 . The movement occurring in the imaging device 1 is, for example, movement such as panning, camera shake, or the like. The motion detection unit 101 has, for example, the angular velocity sensor 15 shown in FIG. 1, and acquires and outputs the angular velocity indicating the motion occurring in the imaging device 1 as a shake detection signal.

ＨＰＦ１０２は、入力された振れ検出信号から低周波成分を除去または低減することで、フィルタリング処理を行う。ＨＰＦ１０２は、フィルタリング処理を施した信号を第１の積分部１０４と第２の積分部１０５に出力する。パンニング開始判定部１０３は、ＨＰＦ１０２の出力信号に基づいて、パンニングの開始を判定する（パンニング開始判定を行う）。パンニング開始判定部１０３は、パンニング開始判定の結果を示す信号（開始判定信号）を第１の積分部１０４に出力する。 The HPF 102 performs filtering processing by removing or reducing low-frequency components from the input shake detection signal. HPF 102 outputs the filtered signal to first integration section 104 and second integration section 105 . The panning start determination unit 103 determines the start of panning based on the output signal of the HPF 102 (performs panning start determination). Panning start determination section 103 outputs a signal (start determination signal) indicating the result of panning start determination to first integration section 104 .

第１の積分部１０４は、ＨＰＦ１０２の出力信号を積分処理して、角度信号を出力する。積分処理において、第１の積分部１０４は、パンニング開始判定部１０３から受け取った開始判定信号と、パンニング終了判定部１０６から受け取った終了判定信号に基づいて、第１の積分部１０４のカットオフ周波数を変更する制御を実行する。第１の積分部１０４は、積分処理によって得られる角度信号を、パンニング終了判定部１０６と、補正信号算出部１０８とに出力する。また、第１の積分部１０４は、積分処理の内部状態値を第２の積分部１０５に出力する。 A first integration unit 104 integrates the output signal of the HPF 102 and outputs an angle signal. In the integration process, the first integration unit 104 determines the cutoff frequency of the first integration unit 104 based on the start determination signal received from the panning start determination unit 103 and the end determination signal received from the panning end determination unit 106. perform a control that changes the First integration section 104 outputs the angle signal obtained by the integration process to panning end determination section 106 and correction signal calculation section 108 . Also, the first integration unit 104 outputs the internal state value of the integration process to the second integration unit 105 .

第２の積分部１０５は、ＨＰＦ１０２の出力信号を積分処理して、角度信号を出力する。第２の積分部１０５は、積分処理によって得られる角度信号を、パンニング終了判定部１０６に出力する。パンニング終了判定部１０６は、第１の積分部１０４の出力信号と、第２の積分部１０５の出力信号とに基づいて、パンニングの終了を判定する（パンニング終了判定を行う）。 A second integration unit 105 integrates the output signal of the HPF 102 and outputs an angle signal. Second integration section 105 outputs the angle signal obtained by the integration process to panning end determination section 106 . Panning end determination section 106 determines the end of panning based on the output signal of first integration section 104 and the output signal of second integration section 105 (performs panning end determination).

パンニング終了判定部１０６は、動き検出部１０１の出力信号に基づいて、パンニング終了判定の開始タイミングをカウンタ１０７に通知する。この通知を受けて、カウンタ１０７が、カウントを開始する。カウント値が閾値（カウンタ閾値）に達すると、カウンタ１０７は、報知信号をパンニング終了判定部１０６に通知し、カウント値を０にリセットする（カウンタ１０７がリセットされる）。パンニング終了判定部１０６は、カウンタ１０７から報知信号を受け取ると、パンニング終了判定を実行する。カウンタ１０７のカウント値とカウンタ閾値との比較結果に基づいて、パンニング終了判定に用いられる信号のサンプル数が決定される。したがって、パンニング終了判定の間隔は、カウンタ閾値に応じて変化する。本実施形態では、カウンタ１０７のカウント値によってパンニング終了判定のタイミングをとる方法を適用するが、直接時間を測定するなど、他の方法を適用してもよい。パンニング終了判定部１０６は、パンニング終了判定の結果を示す信号（終了判定信号）を第１の積分部１０４と第２の積分部１０５に出力する。 The panning end determination unit 106 notifies the counter 107 of the start timing of the panning end determination based on the output signal of the motion detection unit 101 . Upon receiving this notification, the counter 107 starts counting. When the count value reaches a threshold value (counter threshold value), the counter 107 sends a notification signal to the panning end determination unit 106 and resets the count value to 0 (the counter 107 is reset). Upon receiving the notification signal from the counter 107, the panning end determination unit 106 executes panning end determination. Based on the result of comparison between the count value of the counter 107 and the counter threshold value, the number of samples of the signal used for panning end determination is determined. Therefore, the panning end determination interval changes according to the counter threshold value. In this embodiment, a method of timing the panning end determination based on the count value of the counter 107 is applied, but other methods such as direct time measurement may be applied. Panning end determination section 106 outputs a signal indicating the result of panning end determination (end determination signal) to first integration section 104 and second integration section 105 .

補正信号算出部１０８は、第１の積分部１０４の出力信号に基づいて、シフトレンズ等のブレ補正手段を駆動制御するための制御信号である補正信号を生成（算出）する。そして、ＣＰＵ１３が、不図示の補正制御手段として機能して、補正信号に基づき、ブレ補正手段を駆動制御する。これにより、像ブレが補正される。 The correction signal calculator 108 generates (calculates) a correction signal, which is a control signal for driving and controlling blur correction means such as a shift lens, based on the output signal of the first integration unit 104 . The CPU 13 functions as correction control means (not shown), and drives and controls the shake correction means based on the correction signal. Image blur is thereby corrected.

（積分部の構成）
図３は、第１の積分部と第２の積分部の構成を説明する図である。
図３では、第１の積分部１０４と第２の積分部１０５に適用可能なＩＩＲフィルタの構成を例にとって説明する。図３において、加算器２０２は、入力端２０１に入力された入力Ｘ（ｎ）と、乗算器２０４の出力とを加算し、その演算結果を内部状態値Ｗ（ｎ）として出力する。遅延器２０３は、内部状態値Ｗ（ｎ）を遅延させて内部状態値Ｗ（ｎ－１）として出力する。乗算器２０４は、内部状態値Ｗ（ｎ－１）に重み係数ａを乗じて出力する。また、乗算器２０５は、内部状態値Ｗ（ｎ）に重み係数ｂを乗じて出力し、乗算器２０６は内部状態値Ｗ（ｎ－１）に重み係数ｃを乗じて出力する。加算器２０７は、乗算器２０５の出力と乗算器２０６の出力とを加算し、その演算結果を出力端２０８から出力Ｙ（ｎ）として出力する。 (Structure of integration part)
FIG. 3 is a diagram for explaining the configurations of the first integration section and the second integration section.
In FIG. 3, the configuration of an IIR filter that can be applied to the first integration section 104 and the second integration section 105 will be described as an example. In FIG. 3, the adder 202 adds the input X(n) input to the input terminal 201 and the output of the multiplier 204, and outputs the operation result as the internal state value W(n). A delay device 203 delays the internal state value W(n) and outputs it as an internal state value W(n-1). A multiplier 204 multiplies the internal state value W(n-1) by the weighting factor a and outputs the result. Further, the multiplier 205 multiplies the internal state value W(n) by the weighting coefficient b and outputs it, and the multiplier 206 multiplies the internal state value W(n-1) by the weighting coefficient c and outputs the result. The adder 207 adds the output of the multiplier 205 and the output of the multiplier 206, and outputs the operation result from the output terminal 208 as the output Y(n).

（処理の流れ）
図４乃至図６を参照して、像ブレ補正装置１００の動作処理の一例を説明する。図４は像ブレ補正装置１００の動作処理を説明するフローチャートである。図５は、パンニング等が行われた際の、動き検出部１０１が出力する振れ検出信号（角速度信号）の時間変化を示す図である。図５の横軸は時間、縦軸は角速度を示す。図６は、パンニング等が行われた際の、第１の積分部１０４が出力する角度信号と第２の積分部１０５が出力する角度信号の時間変化を示す図である。図６の横軸は時間、縦軸は角度を示す。 (Processing flow)
An example of operation processing of the image blur correction device 100 will be described with reference to FIGS. 4 to 6. FIG. FIG. 4 is a flow chart for explaining operation processing of the image blur correction device 100 . FIG. 5 is a diagram showing temporal changes in shake detection signals (angular velocity signals) output by the motion detection unit 101 when panning or the like is performed. The horizontal axis of FIG. 5 indicates time, and the vertical axis indicates angular velocity. FIG. 6 is a diagram showing temporal changes in the angle signal output by the first integration section 104 and the angle signal output by the second integration section 105 when panning or the like is performed. The horizontal axis of FIG. 6 indicates time, and the vertical axis indicates angle.

（角速度検出）
図４のＳ３０１において、動き検出部１０１が、撮像装置１の動きを検出し、撮像装置１に生じている動きを示す角速度を振れ検出信号として出力する。Ｓ３０２において、ＨＰＦ１０２が、動き検出部１０１が出力した振れ検出信号の低周波成分を除去または低減する（ＨＰＦ処理を行う）。これにより、振れ検出信号に含まれているオフセット成分が除去される。 (angular velocity detection)
In S301 of FIG. 4, the motion detection unit 101 detects the motion of the imaging device 1 and outputs the angular velocity indicating the motion occurring in the imaging device 1 as a shake detection signal. In S302, the HPF 102 removes or reduces low-frequency components of the shake detection signal output by the motion detection unit 101 (performs HPF processing). This removes the offset component contained in the shake detection signal.

Ｓ３０３において、パンニング開始判定部１０３が、ＨＰＦ１０２が出力した振れ検出信号に基づいて、パンニング開始判定を行う。パンニング開始判定部１０３が、パンニングが開始したと判定した場合は、処理がＳ３０４に進む。そして、Ｓ３０４において、ＣＰＵ１３が、第１の積分部１０４のカットオフ周波数を、第１のカットオフ周波数よりも高い第２のカットオフ周波数に設定する。第１のカットオフ周波数は、パンニング等の動き以外の時（以下、「通常時」という）のカットオフ周波数である。パンニング開始判定部１０３が、パンニングが開始していないと判定した場合は、処理がＳ３０５に進む。 In S<b>303 , the panning start determination unit 103 performs panning start determination based on the shake detection signal output from the HPF 102 . If the panning start determination unit 103 determines that panning has started, the process proceeds to S304. Then, in S304, the CPU 13 sets the cutoff frequency of the first integrating section 104 to a second cutoff frequency higher than the first cutoff frequency. The first cutoff frequency is the cutoff frequency when there is no movement such as panning (hereinafter referred to as "normal time"). When the panning start determination unit 103 determines that panning has not started, the process proceeds to S305.

（パンニング開始判定）
図５において、破線の横線４０２は、振れ検出信号が示す角速度に対して予め定められた閾値を示す。パンニング開始判定部１０３は、角速度が閾値を上回った時刻である時刻４０３をパンニングが開始した時刻と判定する。パンニング開始判定の方法については、例えば、角速度の微分信号である角加速度信号や、映像から取得された動きベクトルを用いて判定する方法等、任意の方法を採用可能である。 (Panning start determination)
In FIG. 5, a dashed horizontal line 402 indicates a predetermined threshold for the angular velocity indicated by the shake detection signal. The panning start determination unit 103 determines that the time 403 when the angular velocity exceeds the threshold is the time when the panning starts. Any panning start determination method may be employed, such as a determination method using an angular acceleration signal, which is a differential signal of an angular velocity, or a motion vector obtained from an image.

（積分処理）
図４の説明に戻る。Ｓ３０５において、第１の積分部１０４が、ＨＰＦ１０２の出力信号に対する積分処理を行って、角速度を角度に変換する。また、Ｓ３０６において、第２の積分部１０５が、ＨＰＦ１０２の出力信号に対する積分処理を行って、角速度を角度に変換する。本実施形態では、第２の積分部１０５のカットオフ周波数（第３のカットオフ周波数）は、第１の積分部１０４に設定されている第２のカットオフ周波数より低い周波数に設定される。例えば、第３のカットオフ周波数は、第１の積分部１０４の通常時のカットオフ周波数（第１のカットオフ周波数）と同じカットオフ周波数に設定される。 (Integral processing)
Returning to the description of FIG. In S305, the first integration unit 104 performs integration processing on the output signal of the HPF 102 to convert the angular velocity into an angle. Also, in S306, the second integration unit 105 performs integration processing on the output signal of the HPF 102 to convert the angular velocity into an angle. In this embodiment, the cutoff frequency (third cutoff frequency) of the second integration section 105 is set to a frequency lower than the second cutoff frequency set in the first integration section 104 . For example, the third cutoff frequency is set to the same cutoff frequency as the normal cutoff frequency (first cutoff frequency) of the first integrating section 104 .

（パンニング終了判定の開始）
次に、Ｓ３０７において、パンニング終了判定部１０６が、パンニングの角速度すなわち動き検出部１０１の出力信号がピークを越えたかを判定する。パンニング終了判定部１０６が、動き検出部１０１の出力信号がピークを越えていないと判定した場合は、処理がＳ３１３に進む。パンニング終了判定部１０６が、動き検出部１０１の出力信号がピークを越えたと判定した場合は、処理がＳ３０８に進む。Ｓ３０８において、パンニング終了判定部１０６が、カウンタ１０７にパンニング終了判定の開始を通知する。そして、Ｓ３０９において、カウンタ１０７が、カウントを開始する。 (Start of panning end determination)
Next, in S307, the panning end determination unit 106 determines whether the angular velocity of panning, that is, the output signal of the motion detection unit 101 has exceeded the peak. When the panning end determination unit 106 determines that the output signal of the motion detection unit 101 has not exceeded the peak, the process proceeds to S313. If the panning end determination unit 106 determines that the output signal of the motion detection unit 101 has exceeded the peak, the process proceeds to S308. In S308, the panning end determination unit 106 notifies the counter 107 of the start of panning end determination. Then, in S309, the counter 107 starts counting.

（パンニング終了判定）
Ｓ３１０において、カウンタ１０７が、カウント値がカウンタ閾値に達したかを判定する。カウンタ１０７が、カウント値がカウンタ閾値に達していないと判定した場合は、処理がＳ３１５に進む。カウンタ１０７が、カウント値がカウンタ閾値に達したと判定した場合は、処理がＳ３１１に進む。そして、Ｓ３１１において、カウンタ１０７がリセットされ、報知信号をパンニング終了判定部１０６へ出力する。 (Panning end determination)
In S310, the counter 107 determines whether the count value has reached the counter threshold value. If the counter 107 determines that the count value has not reached the counter threshold value, the process proceeds to S315. If the counter 107 determines that the count value has reached the counter threshold value, the process proceeds to S311. Then, in S<b>311 , the counter 107 is reset, and a notification signal is output to the panning end determination section 106 .

次に、Ｓ３１２において、パンニング終了判定部１０６が、第１の積分部１０４の出力と、第２の積分部１０５の出力の差が閾値（角度差閾値）以下であるかを判定する。第１の積分部１０４の出力と、第２の積分部１０５の出力の差が閾値以下である場合は、パンニング終了判定部１０６は、パンニングが終了したと判定する。そして、処理がＳ３１４に進む。第１の積分部１０４の出力と、第２の積分部１０５の出力の差が閾値より大きい場合は、パンニング終了判定部１０６は、パンニングが終了していない（パンニング中である）と判定する。そして、処理がＳ３１３に進む。 Next, in S312, the panning end determination unit 106 determines whether the difference between the output of the first integration unit 104 and the output of the second integration unit 105 is equal to or less than a threshold (angle difference threshold). When the difference between the output of the first integration section 104 and the output of the second integration section 105 is equal to or less than the threshold, the panning end determination section 106 determines that panning has ended. Then, the process proceeds to S314. When the difference between the output of the first integration section 104 and the output of the second integration section 105 is larger than the threshold, the panning end determination section 106 determines that panning has not ended (panning is in progress). Then, the process proceeds to S313.

（第２の積分部の内部状態値書き換え）
Ｓ３１３において、ＣＰＵ１３が、第２の積分部１０５の内部状態値を第１の積分部１０４の内部状態値に書き換える。そして、処理がＳ３１５に進む。この書き換え処理により、次のサイクルの積分処理で、第１の積分部１０４の処理結果を使用して第２の積分部１０５による積分処理を行うことができる。 (Rewriting the internal state value of the second integration part)
In S<b>313 , the CPU 13 rewrites the internal state value of the second integrating section 105 to the internal state value of the first integrating section 104 . Then, the process proceeds to S315. This rewrite processing enables integration processing by the second integration unit 105 to be performed using the processing result of the first integration unit 104 in the integration processing of the next cycle.

（パンニング終了判定の具体例）
図６を参照して、パンニング終了判定の具体例を説明する。
図６（Ａ）、（Ｂ）には、パンニング等の動きの終了近くの角度信号の時間変化が示される。図６（Ａ）にて、第１の積分部１０４の出力信号を細線５０１で示す。第２の積分部１０５の出力信号を太線５０２で示す。また、図６（Ｂ）にて、第１の積分部１０４の出力信号を細線５０６で示す。第２の積分部１０５の出力信号を太線５０７で示す。パンニング等の動きの最中では、第１の積分部１０４のカットオフ周波数は通常時よりも高い。また、第２の積分部１０５のカットオフ周波数は通常時と同じ周波数であり、第１の積分部１０４のカットオフ周波数より低い。 (Specific example of panning end determination)
A specific example of panning end determination will be described with reference to FIG.
FIGS. 6A and 6B show temporal changes in the angle signal near the end of movement such as panning. In FIG. 6A, the output signal of the first integrating section 104 is indicated by a thin line 501. FIG. A thick line 502 indicates the output signal of the second integrating section 105 . Also, in FIG. 6B, the output signal of the first integrating section 104 is indicated by a thin line 506 . A thick line 507 indicates the output signal of the second integrating section 105 . During movement such as panning, the cutoff frequency of the first integrating section 104 is higher than normal. Also, the cutoff frequency of the second integration section 105 is the same frequency as in normal operation, and is lower than the cutoff frequency of the first integration section 104 .

カウンタ１０７が、時刻５０３でリセットされたとする。そして、カウンタ１０７が、サンプルごとにカウントしていき、時刻５０４でカウント値がカウンタ閾値に達したとする。第２の積分部１０５のカットオフ周波数は低いので、パンニング等の動きによって、入力が大きい場合、太線５０２のように出力信号が増大する。第１の積分部１０４のカットオフ周波数は高いので、細線５０１のように出力信号は制限される。 Assume that counter 107 is reset at time 503 . Assume that the counter 107 counts for each sample and the count value reaches the counter threshold value at time 504 . Since the cutoff frequency of the second integrator 105 is low, the output signal increases as indicated by the thick line 502 when the input is large due to movement such as panning. Since the cutoff frequency of the first integrator 104 is high, the output signal is limited as indicated by thin line 501 .

時刻５０４において、パンニング終了判定部１０６が、細線５０１と太線５０２の差５０５が角度差閾値以下であるかを判定する。差５０５が角度差閾値よりも大きい場合は、パンニング中であると判定され、第２の積分部１０５の内部状態値が、第１の積分部１０４の内部状態値で書き換えられる。また、時刻５０４で、カウンタ１０７がリセットされる。これにより、図５（Ｂ）の太線５０７のように、第２の積分部１０５の出力信号は、時刻５０４以前は第１の積分部１０４の出力信号と同じであったように更新される。 At time 504, the panning end determination unit 106 determines whether the difference 505 between the thin line 501 and the thick line 502 is equal to or less than the angle difference threshold. If the difference 505 is greater than the angle difference threshold, it is determined that panning is in progress, and the internal state value of the second integrator 105 is rewritten with the internal state value of the first integrator 104 . Also, at time 504, the counter 107 is reset. As a result, the output signal of the second integration section 105 is updated to be the same as the output signal of the first integration section 104 before time 504, as indicated by a thick line 507 in FIG. 5B.

そして、時刻５０４でリセットされたカウンタ１０７が、サンプルごとにカウントしていき、時刻５０８でカウンタ値がカウンタ閾値に達したとする。この時刻５０８において、パンニングが終了に近づいて動きが小さくなっており、積分部への入力は小さくなっているので、第１の積分部１０４の出力信号と第２の積分部１０５の出力信号の差は小さくなる。したがって、細線５０６と太線５０７の差５０９が角度差閾値以下である場合、パンニング終了判定部１０６が、パンニングが終了したと判定する。 Assume that the counter 107 reset at time 504 counts for each sample, and the counter value reaches the counter threshold at time 508 . At this time 508, the panning is nearing the end and the movement is small, and the input to the integration section is small. the difference becomes smaller. Therefore, when the difference 509 between the thin line 506 and the thick line 507 is equal to or less than the angle difference threshold, the panning end determination unit 106 determines that panning has ended.

（パンニング終了判定後の制御）
図４の説明に戻る。Ｓ３１４において、ＣＰＵ１３が、第１の積分部１０４のカットオフ周波数を下げて、通常時のカットオフ周波数に戻す。そして、Ｓ３１５において、補正信号算出部１０８が、第１の積分部１０４の出力信号に基づき、補正信号を算出する。
以上説明したように、像ブレ補正装置は、撮像装置の撮影方向の変更動作が開始した場合に、異なるカットオフ周波数に設定された第１の積分部１０４と第２の積分部１０５の出力に基づき、撮像装置の撮影方向の変更動作が終了したかを判定する（Ｓ３１４）。そして、像ブレ補正装置は、上記の判定結果に基づいて、第１の積分部１０４のカットオフ周波数を制御する（Ｓ３１４）。これにより、撮影方向の変更動作の終了を精度良く判定し、撮影方向の変更動作の終了直後から良好な像ブレ補正を行うことができる。 (Control after panning end determination)
Returning to the description of FIG. In S314, the CPU 13 lowers the cutoff frequency of the first integrating section 104 to return it to the normal cutoff frequency. Then, in S<b>315 , the correction signal calculation section 108 calculates a correction signal based on the output signal of the first integration section 104 .
As described above, in the image blur correction apparatus, when the operation of changing the shooting direction of the image pickup apparatus is started, the output of the first integration section 104 and the second integration section 105 set to different cutoff frequencies are Based on this, it is determined whether or not the operation of changing the imaging direction of the imaging device has been completed (S314). Then, the image blur correction device controls the cutoff frequency of the first integrating section 104 based on the determination result (S314). As a result, it is possible to accurately determine the end of the operation for changing the photographing direction, and perform good image blur correction immediately after the end of the operation for changing the photographing direction.

（パンニング終了判定を行う間隔の制御（パンニング速度の最大値））
図７は、パンニング終了判定を行う間隔の制御を説明する図である。
パンニング終了判定を行う間隔の第１の制御方法では、ＣＰＵ１３が、パンニング速度の最大値に応じて、パンニング終了判定を行う間隔を決定する。なお、本発明をチルティングの終了判定（チルティング終了判定）に適用する場合、ＣＰＵ１３は、チルティング速度の最大値に応じて、チルティング終了判定を行う間隔を決定する。
本実施形態では、ＣＰＵ１３が、パンニング速度の最大値として、動き検出部１０１の出力の最大値を用いるが、ＨＰＦ１０２の出力の最大値を用いてもよい。パンニング終了判定を行う間隔は、カウンタ１０７のカウンタ閾値で決まる。したがって、ＣＰＵ１３は、パンニング速度の最大値に応じたカウンタ閾値を設定することで、パンニング終了判定を行う間隔を決定する。 (Control of interval for judging end of panning (maximum value of panning speed))
FIG. 7 is a diagram for explaining the control of the interval at which panning end determination is performed.
In the first method of controlling the interval at which the panning end determination is performed, the CPU 13 determines the interval at which the panning end determination is performed according to the maximum value of the panning speed. When the present invention is applied to tilting end determination (tilting end determination), the CPU 13 determines an interval for tilting end determination according to the maximum value of the tilting speed.
In this embodiment, the CPU 13 uses the maximum value of the output of the motion detection unit 101 as the maximum value of the panning speed, but the maximum value of the output of the HPF 102 may be used. The interval at which panning end determination is performed is determined by the counter threshold value of the counter 107 . Therefore, the CPU 13 determines an interval for judging the end of panning by setting a counter threshold according to the maximum value of the panning speed.

図７（Ａ）は、第１の制御方法における、パンニング速度の最大値とパンニング終了判定を行う間隔との関係の一例を示す。横軸は、パンニング速度の最大値である。縦軸は、パンニング終了判定を行う間隔である。パンニング速度の最大値は、点Ｐでは第１の値６０１であり、点Ｑでは第２の値６０２である。点Ｑでのカウンタ閾値は、点Ｐでのカウンタ閾値よりも低く設定される。 FIG. 7A shows an example of the relationship between the maximum value of panning speed and the interval at which panning end determination is performed in the first control method. The horizontal axis is the maximum panning speed. The vertical axis is the interval at which panning end determination is performed. The maximum panning speed is at point P at the first value 601 and at point Q at the second value 602 . The counter threshold at point Q is set lower than the counter threshold at point P.

一般に、パンニングが行われる角度は、大きくても１８０ｄｅｇであり、有限であるので、パンニング速度の最大値が大きくなるにつれて、パンニングが行われる時間は短くなる。したがって、より正確にパンニングの終了のタイミングを判定するために、ＣＰＵ１３は、パンニング速度の最大値が大きくなるほど、カウンタ閾値を小さい値に設定して、パンニング終了判定を行う間隔を短くする。 Generally, the maximum panning angle is 180 degrees, which is finite. Therefore, as the maximum panning speed increases, the panning time decreases. Therefore, in order to determine the panning end timing more accurately, the CPU 13 sets the counter threshold value to a smaller value as the maximum value of the panning speed increases, thereby shortening the interval at which the panning end determination is performed.

図７（Ａ）に示す例では、点Ｐから点Ｑまでの区間で、パンニング速度の最大値とパンニング終了判定を行う間隔とが線形関係で変化しているが、パンニング速度の最大値とパンニング終了判定を行う間隔とが非線形関係で対応付けられてもよい。 In the example shown in FIG. 7A, in the section from point P to point Q, the maximum panning speed and the panning end determination interval change in a linear relationship. Intervals at which end determinations are made may be associated in a non-linear relationship.

（パンニング終了判定を行う間隔の制御（角加速度））
パンニング終了判定を行う間隔の第２の制御方法では、ＣＰＵ１３が、パンニング速度を微分して得られるパンニング加速度に基づいて、パンニング終了判定を行う間隔を決定する。具体的には、ＣＰＵ１３は、パンニング加速度に応じたカウンタ閾値を設定することで、パンニング終了判定を行う間隔を決定する。本発明をチルティング終了判定に適用する場合、ＣＰＵ１３は、チルティング速度を微分して得られるチルティング加速度に基づいて、チルティング終了判定を行う間隔を決定する。本実施形態では、ＣＰＵ１３が、動き検出部１０１の出力を用いて、パンニング加速度を算出するが、ＨＰＦ１０２の出力を用いてもよい。 (Control of interval for judging end of panning (angular acceleration))
In the second method of controlling the interval at which the panning end determination is performed, the CPU 13 determines the interval at which the panning end determination is performed based on the panning acceleration obtained by differentiating the panning speed. Specifically, the CPU 13 sets a counter threshold according to the panning acceleration, thereby determining the interval at which the panning end determination is performed. When the present invention is applied to the tilting end determination, the CPU 13 determines an interval for tilting end determination based on the tilting acceleration obtained by differentiating the tilting speed. In this embodiment, the CPU 13 uses the output of the motion detection unit 101 to calculate the panning acceleration, but the output of the HPF 102 may be used.

図７（Ｂ）は、第２の制御方法における、パンニング加速度とパンニング終了判定を行う間隔との関係の一例を示す。横軸は、パンニング加速度である。縦軸は、パンニング終了判定を行う間隔である。パンニング加速度は、点Ｐでは第１の値６０３であり、点Ｑでは第２の値６０４である。点Ｑでのカウンタ閾値は、点Ｐでのカウンタ閾値よりも低く設定される。パンニング加速度の絶対値が大きくなるにつれて、パンニング速度が０となってパンニングが終了する時刻に近づくと予想できる。したがって、より正確にパンニング終了のタイミングを判定するために、ＣＰＵ１３は、パンニング加速度が大きいほど、カウンタ閾値を小さい値に設定して、パンニング終了判定を行う間隔を短くする。 FIG. 7B shows an example of the relationship between the panning acceleration and the panning end determination interval in the second control method. The horizontal axis is the panning acceleration. The vertical axis is the interval at which panning end determination is performed. The panning acceleration is at point P at a first value 603 and at point Q at a second value 604 . The counter threshold at point Q is set lower than the counter threshold at point P. As the absolute value of the panning acceleration increases, it can be expected that the panning speed will become 0 and the panning end time will come closer. Therefore, in order to determine the panning end timing more accurately, the CPU 13 sets the counter threshold to a smaller value as the panning acceleration increases, thereby shortening the interval at which the panning end determination is performed.

図７（Ｂ）に示す例では、点Ｐから点Ｑまでの区間で、パンニング加速度とパンニング終了判定を行う間隔とが線形関係で変化しているが、パンニング加速度とパンニング終了判定を行う間隔とが非線形関係で対応付けられてもよい。 In the example shown in FIG. 7B, in the section from point P to point Q, the panning acceleration and the panning end determination interval change in a linear relationship. may be associated in a non-linear relationship.

（パンニング終了判定を行う間隔の制御（角速度））
パンニング終了判定を行う間隔の第３の制御方法では、ＣＰＵ１３が、パンニング速度に応じて、パンニング終了判定を行う間隔を決定する。なお、本発明をチルティングの終了判定（チルティング終了判定）に適用する場合、ＣＰＵ１３は、チルティング速度に応じて、チルティング終了判定を行う間隔を決定する。 (Control of interval at which panning end determination is performed (angular velocity))
In the third method of controlling the interval at which the panning end determination is performed, the CPU 13 determines the interval at which the panning end determination is performed according to the panning speed. When the present invention is applied to tilting end determination (tilting end determination), the CPU 13 determines an interval for tilting end determination according to the tilting speed.

本実施形態では、ＣＰＵ１３が、パンニング速度として、動き検出部１０１の出力を用いるが、ＨＰＦ１０２の出力を用いてもよい。パンニング終了判定を行う間隔は、カウンタ１０７のカウンタ閾値で決まる。したがって、ＣＰＵ１３は、パンニング速度に応じたカウンタ閾値を設定することで、パンニング終了判定を行う間隔を決定する。 In this embodiment, the CPU 13 uses the output of the motion detection unit 101 as the panning speed, but the output of the HPF 102 may be used. The interval at which panning end determination is performed is determined by the counter threshold value of the counter 107 . Therefore, the CPU 13 determines the interval for judging the end of panning by setting a counter threshold according to the panning speed.

図７（Ｃ）は、第３の制御方法における、パンニング速度とパンニング終了判定を行う間隔との関係の一例を示す。横軸は、パンニング速度である。縦軸は、パンニング終了判定を行う間隔である。パンニング速度は、点Ｐでは第１の値６０５であり、点Ｑでは第２の値６０６である。点Ｑでのカウンタ閾値は、点Ｐでのカウンタ閾値よりも低く設定される。パンニング速度が小さくなるにつれて、パンニングが終了する時刻に近づくと予想できる。したがって、より正確にパンニング終了のタイミングを判定するために、ＣＰＵ１３は、パンニング速度が小さくなるほど、カウンタ閾値を小さい値に設定して、パンニング終了判定を行う間隔を短くする。 FIG. 7C shows an example of the relationship between the panning speed and the panning end determination interval in the third control method. The horizontal axis is the panning speed. The vertical axis is the interval at which panning end determination is performed. The panning speed is at point P at a first value 605 and at point Q at a second value 606 . The counter threshold at point Q is set lower than the counter threshold at point P. As the panning speed decreases, it can be expected that the time at which panning will end will come closer. Therefore, in order to determine the panning end timing more accurately, the CPU 13 sets the counter threshold to a smaller value as the panning speed becomes lower, thereby shortening the interval at which the panning end determination is performed.

図７（Ｃ）に示す例では、点Ｐから点Ｑまでの区間で、パンニング速度とパンニング終了判定を行う間隔とが線形関係で変化しているが、パンニング速度とパンニング終了判定を行う間隔とが非線形関係で対応付けられてもよい。 In the example shown in FIG. 7C, in the section from point P to point Q, the panning speed and the panning end determination interval change in a linear relationship. may be associated in a non-linear relationship.

（パンニング終了判定に用いる角度差閾値の制御）
手振れによる動きが大きいと、パンニングの終了間際は、パンニングによる動きよりも手振れによる動きの方が支配的となる。したがって、手振れによる動きが大きくなるほど、早めにパンニング終了判定をし、早く像ブレ補正性能を通常に戻す必要がある。本実施形態では、ＣＰＵ１３は、パンニングの直前の第１の積分部１０４の出力、すなわち通常時の手振れによる動きの角度量が大きいほど、パンニング終了判定に用いる角度差閾値を大きくする。なお、本発明をチルティング終了判定に適用する場合、ＣＰＵ１３は、チルティングの直前の第１の積分部１０４の出力、すなわち通常時の手振れによる動きの角度量が大きいほど、パンニング終了判定に用いる角度差閾値を大きくする。 (Control of Angle Difference Threshold Used for Panning End Determination)
If the movement due to camera shake is large, the movement due to camera shake is more dominant than the movement due to panning near the end of panning. Therefore, the larger the movement due to camera shake, the earlier it is necessary to determine the end of panning and return the image blur correction performance to normal. In the present embodiment, the CPU 13 increases the angle difference threshold used for panning end determination as the output of the first integrating section 104 immediately before panning, that is, the angular amount of movement due to camera shake in normal times increases. When the present invention is applied to the tilting end determination, the CPU 13 uses the larger the output of the first integration unit 104 immediately before tilting, that is, the larger the angular amount of movement due to hand shake during normal operation, for the panning end determination. Increase the angular difference threshold.

図８は、手振れによる動きの角度量と、角度差閾値との関係の一例を示す図である。
縦軸は、角度差閾値である。横軸は、手振れによる動きの角度量である。手振れによる動きの角度量は、点Ｐでは第１の値７０１であり、点Ｑでは第２の値７０２である。点Ｑでの角度差閾値は、点Ｐでの角度差閾値よりも大きい値に設定される。 FIG. 8 is a diagram showing an example of the relationship between the angular amount of movement due to camera shake and the angular difference threshold.
The vertical axis is the angle difference threshold. The horizontal axis is the angular amount of movement due to camera shake. The angular amount of motion due to camera shake is at point P a first value 701 and at point Q a second value 702 . The angle difference threshold at point Q is set to a value greater than the angle difference threshold at point P.

図８に示す例では、点Ｐから点Ｑまでの区間で、手振れによる動きの角度量と角度差閾値とが線形関係で変化しているが、手振れによる動きの角度量と角度差閾値とが非線形関係で対応付けられてもよい。本実施形態によれば、２つの積分部の出力の差を利用してパンニングまたはチルティングの終了を精度よく判定することで、パンニングまたはチルティング終了直後から防振性能を最大限に発揮できる。 In the example shown in FIG. 8, in the section from point P to point Q, the angular amount of movement due to camera shake and the angle difference threshold change in a linear relationship. They may be associated in a non-linear relationship. According to the present embodiment, by accurately determining the end of panning or tilting using the difference between the outputs of the two integrators, it is possible to maximize the anti-vibration performance immediately after the end of panning or tilting.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

１ 撮像装置
１３ ＣＰＵ 1 imaging device 13 CPU

Claims (10)

撮像装置に加わる振れに係る振れ検出信号を取得して出力する取得手段と、
前記振れ検出信号を積分処理して角度信号を出力する第１の積分手段および第２の積分手段と、
前記第１の積分手段が出力する角度信号に基づいて、前記撮像装置に加わる振れにより生じる撮像画像のブレを補正するための制御信号を生成する生成手段と、
前記第１の積分手段の出力と前記第２の積分手段の出力との差が閾値以下である場合に、前記撮像装置の撮影方向の変更動作が終了したと判定し、前記第１の積分手段の出力と前記第２の積分手段の出力との差が閾値より大きい場合に、前記撮像装置の撮影方向の変更動作が終了していないと判定し、前記撮像装置の撮影方向の変更動作が開始した場合に、前記第１の積分手段のカットオフ周波数を第１のカットオフ周波数から前記第１のカットオフ周波数より高い前記第２のカットオフ周波数に変更し、前記撮像装置の撮影方向の変更動作が終了したと判定した場合に、前記第１の積分手段のカットオフ周波数を前記第１のカットオフ周波数に戻す制御手段と、を有する
ことを特徴とする像ブレ補正装置。 acquisition means for acquiring and outputting a shake detection signal related to shake applied to the imaging device;
a first integration means and a second integration means for integrating the shake detection signal and outputting an angle signal;
generating means for generating a control signal for correcting blurring of a captured image caused by shaking applied to the imaging device, based on the angle signal output by the first integrating means;
when the difference between the output of the first integration means and the output of the second integration means is equal to or less than a threshold value, it is determined that the operation of changing the photographing direction of the imaging device is finished, and the first integration means and the output of the second integrating means is larger than a threshold value, it is determined that the operation of changing the photographing direction of the image pickup device has not been completed, and the operation of changing the photographing direction of the image pickup device is started. the cutoff frequency of the first integrating means is changed from the first cutoff frequency to the second cutoff frequency higher than the first cutoff frequency, and the photographing direction of the imaging device is changed. and control means for returning the cutoff frequency of the first integrating means to the first cutoff frequency when it is determined that the operation is finished. 前記制御手段は、前記撮像装置の撮影方向の変更動作の直前の前記第１の積分手段の出力が大きいほど、前記撮像装置の撮影方向の変更動作が終了したかの判定に用いる前記閾値を大きくする
ことを特徴とする請求項１に記載の像ブレ補正装置。 The control means increases the threshold used for determining whether the operation of changing the imaging direction of the imaging device is completed as the output of the first integrating means immediately before the imaging direction of the imaging device is changed is larger. The image blur correction device according to claim 1 , characterized in that: 前記制御手段は、前記撮像装置の撮影方向の変更動作が終了していないと判定した場合に、前記第２の積分手段の内部状態値を前記第１の積分手段の内部状態値に書き換える
ことを特徴とする請求項１又は２に記載の像ブレ補正装置。 The control means rewrites the internal state value of the second integrating means to the internal state value of the first integrating means when it is determined that the operation of changing the photographing direction of the imaging device is not completed. 3. The image blur correction device according to claim 1 or 2 . 前記制御手段は、前記取得手段の出力がピークを越えた場合に、前記撮像装置の撮影方向の変更動作が終了したかの判定を開始する
ことを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。 4. The control unit according to any one of claims 1 to 3 , wherein, when the output of the acquisition unit exceeds a peak, the control unit starts determining whether or not the operation of changing the photographing direction of the image pickup device is completed. 10. The image blur correction device according to the above item. 前記制御手段は、前記撮像装置の撮影方向の変更動作の速度の最大値が大きいほど、前記撮像装置の撮影方向の変更動作が終了したかの判定を行う間隔を短くする
ことを特徴とする請求項１乃至４のいずれか１項に記載の像ブレ補正装置。 The control means shortens an interval for determining whether or not the operation of changing the shooting direction of the imaging device is completed, as the maximum value of the speed of the shooting direction changing operation of the imaging device increases. 5. The image blur correction device according to any one of items 1 to 4 . 前記制御手段は、前記撮像装置の撮影方向の変更動作の速度が小さくなるほど、前記撮像装置の撮影方向の変更動作が終了したかの判定を行う間隔を短くする
ことを特徴とする請求項１乃至５のいずれか１項に記載の像ブレ補正装置。 3. The control unit shortens the interval for determining whether the operation of changing the imaging direction of the imaging device is completed as the speed of the operation of changing the imaging direction of the imaging device decreases. 6. The image blur correction device according to any one of 5 . 前記制御手段は、前記撮像装置の撮影方向の変更動作の加速度が大きいほど、前記撮像装置の撮影方向の変更動作が終了したかの判定を行う間隔を短くする
ことを特徴とする請求項１乃至６のいずれか１項に記載の像ブレ補正装置。 3. The control unit shortens an interval for determining whether the operation of changing the imaging direction of the imaging device is completed as the acceleration of the operation of changing the imaging direction of the imaging device is increased. 7. The image blur correction device according to any one of 6 . 前記撮像装置の撮影方向の変更動作は、パンニングまたはチルティングである、 the operation of changing the imaging direction of the imaging device is panning or tilting;
請求項１乃至7のいずれか1項に記載の像ブレ補正装置。 The image blur correction device according to any one of claims 1 to 7. 被写体光を光電変換して前記撮像画像に係る信号を出力する撮像素子と、請求項１乃至８のいずれか１項に記載の像ブレ補正装置と、を有する
ことを特徴とする撮像装置。 An imaging apparatus, comprising: an imaging element that photoelectrically converts subject light and outputs a signal related to the captured image; and the image blur correction apparatus according to any one of claims 1 to 8 . 撮像装置に加わる振れに係る振れ検出信号を取得して出力する取得工程と、
第１の積分手段により、前記振れ検出信号を積分処理して角度信号を出力する第１の積分工程と、
第２の積分手段により、前記振れ検出信号を積分処理して角度信号を出力する第２の積分工程と、
前記第１の積分手段が出力する角度信号に基づいて、前記撮像装置に加わる振れにより生じる撮像画像のブレを補正するための制御信号を生成する生成工程と、
前記第１の積分手段の出力と前記第２の積分手段の出力との差が閾値以下である場合に、前記撮像装置の撮影方向の変更動作が終了したと判定し、前記第１の積分手段の出力と前記第２の積分手段の出力との差が閾値より大きい場合に、前記撮像装置の撮影方向の変更動作が終了していないと判定し、前記撮像装置の撮影方向の変更動作が開始した場合に、前記第１の積分手段のカットオフ周波数を第１のカットオフ周波数から前記第１のカットオフ周波数より高い前記第２のカットオフ周波数に変更し、前記撮像装置の撮影方向の変更動作が終了したと判定した場合に、前記第１の積分手段のカットオフ周波数を前記第１のカットオフ周波数に戻す制御工程と、を有する
ことを特徴とする像ブレ補正装置の制御方法。 an acquisition step of acquiring and outputting a shake detection signal related to shake applied to the imaging device;
a first integration step of integrating the shake detection signal and outputting an angle signal by a first integration means;
a second integration step of integrating the shake detection signal and outputting an angle signal by a second integration means;
a generating step of generating a control signal for correcting blurring of a captured image caused by shaking applied to the imaging device, based on the angle signal output by the first integrating means;
when the difference between the output of the first integration means and the output of the second integration means is equal to or less than a threshold value, it is determined that the operation of changing the photographing direction of the imaging device is finished, and the first integration means and the output of the second integrating means is larger than a threshold value, it is determined that the operation of changing the photographing direction of the image pickup device has not been completed, and the operation of changing the photographing direction of the image pickup device is started. the cutoff frequency of the first integrating means is changed from the first cutoff frequency to the second cutoff frequency higher than the first cutoff frequency, and the photographing direction of the imaging device is changed. and a control step of returning the cutoff frequency of the first integrating means to the first cutoff frequency when it is determined that the operation is finished.
JP2019097386A 2019-05-24 2019-05-24 Image blur correction device, imaging device and control method Active JP7286415B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019097386A JP7286415B2 (en) 2019-05-24 2019-05-24 Image blur correction device, imaging device and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019097386A JP7286415B2 (en) 2019-05-24 2019-05-24 Image blur correction device, imaging device and control method

Publications (2)

Publication Number Publication Date
JP2020190698A JP2020190698A (en) 2020-11-26
JP7286415B2 true JP7286415B2 (en) 2023-06-05

Family

ID=73453699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019097386A Active JP7286415B2 (en) 2019-05-24 2019-05-24 Image blur correction device, imaging device and control method

Country Status (1)

Country Link
JP (1) JP7286415B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322958A (en) 2006-06-05 2007-12-13 Sony Corp Shake calculating device, shake calculation method and imaging apparatus
JP2014171110A (en) 2013-03-04 2014-09-18 Canon Inc Image reproduction device, control method thereof, and control program
JP2015105975A (en) 2013-11-28 2015-06-08 キヤノン株式会社 Image shake correction device, control method thereof, program and storage medium
JP2015180917A (en) 2014-03-05 2015-10-15 キヤノン株式会社 Image blur correction device, control method of the same, imaging device, lens device, program, and storage medium
JP2016170285A (en) 2015-03-13 2016-09-23 キヤノン株式会社 Image blur correction device, optical equipment, imaging apparatus, and control method
JP2017107093A (en) 2015-12-10 2017-06-15 リコーイメージング株式会社 Shake correction control device and imaging device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322958A (en) 2006-06-05 2007-12-13 Sony Corp Shake calculating device, shake calculation method and imaging apparatus
JP2014171110A (en) 2013-03-04 2014-09-18 Canon Inc Image reproduction device, control method thereof, and control program
JP2015105975A (en) 2013-11-28 2015-06-08 キヤノン株式会社 Image shake correction device, control method thereof, program and storage medium
JP2015180917A (en) 2014-03-05 2015-10-15 キヤノン株式会社 Image blur correction device, control method of the same, imaging device, lens device, program, and storage medium
JP2016170285A (en) 2015-03-13 2016-09-23 キヤノン株式会社 Image blur correction device, optical equipment, imaging apparatus, and control method
JP2017107093A (en) 2015-12-10 2017-06-15 リコーイメージング株式会社 Shake correction control device and imaging device

Also Published As

Publication number Publication date
JP2020190698A (en) 2020-11-26

Similar Documents

Publication Publication Date Title
JP6341691B2 (en) Image shake correction apparatus, control method therefor, optical apparatus, and imaging apparatus
TWI386040B (en) Image pickup apparatus equipped with function of detecting image shaking
US10904439B2 (en) Image pickup apparatus, lens unit, image pickup system, and control method for image pickup system
RU2591845C2 (en) Image stabilisation apparatus, control method therefor, data medium storing control program therefor, as well as image capturing device equipped with image stabilisation device
JP2013033160A (en) Image blur correction device, its control method, and optical instrument or imaging apparatus
US10708503B2 (en) Image capture system, image capturing apparatus, lens unit, control methods therefor, and storage medium
CN107786809B (en) Image pickup and accessory apparatus, communication control method thereof, image pickup system, and storage medium
JP7257774B2 (en) IMAGING SYSTEM AND CONTROL METHOD THEREOF, LENS UNIT, IMAGING DEVICE, PROGRAM, STORAGE MEDIUM
CN111277747B (en) Information processing apparatus and control method thereof
JP2007206382A (en) Shake detecting device, its control method, photographing device, control program and recording medium
JPWO2018186176A1 (en) Imaging device, imaging control method, and program
JP5886623B2 (en) Imaging apparatus and control method thereof
JP7286415B2 (en) Image blur correction device, imaging device and control method
JP2007199182A (en) Camera with vibration-proof function
JP6746473B2 (en) Imaging device and control method
JP5182395B2 (en) Imaging apparatus, imaging method, and imaging program
JP5110799B2 (en) Camera with anti-vibration function
JP6800642B2 (en) Accessory device, control device, control method of these
JP6465553B2 (en) Imaging apparatus and control method thereof
JP7321844B2 (en) Shake correction control device and shake correction control method
JP6489350B2 (en) Image blur correction apparatus and image blur correction method in the image blur correction apparatus
JP7269119B2 (en) Image blur correction control device, camera body, lens unit, image blur correction control method, and program
JP7254555B2 (en) IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE
JP7266480B2 (en) Imaging device, lens device, imaging system, imaging device control method, lens device control method
JP4613829B2 (en) Imaging apparatus, control method thereof, and control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230524

R151 Written notification of patent or utility model registration

Ref document number: 7286415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151