JP2020190698A - 像ブレ補正装置、撮像装置および制御方法 - Google Patents
像ブレ補正装置、撮像装置および制御方法 Download PDFInfo
- Publication number
- JP2020190698A JP2020190698A JP2019097386A JP2019097386A JP2020190698A JP 2020190698 A JP2020190698 A JP 2020190698A JP 2019097386 A JP2019097386 A JP 2019097386A JP 2019097386 A JP2019097386 A JP 2019097386A JP 2020190698 A JP2020190698 A JP 2020190698A
- Authority
- JP
- Japan
- Prior art keywords
- panning
- blur correction
- tilting
- image blur
- integrating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 59
- 238000003384 imaging method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims description 39
- 230000010354 integration Effects 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000004091 panning Methods 0.000 claims description 177
- 230000001133 acceleration Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
図1は、本実施形態の像ブレ補正装置を備える撮像装置の構成例を示す図である。
以下では、撮影者による撮像装置の撮影方向の変更動作の例として、パンニングを例に挙げて説明するが、本発明は、チルティングが行われた場合にも適用可能である。撮像装置1は、デジタルカメラ、デジタルビデオカメラ、または、撮像機能を有する、携帯電話やコンピュータ等の電子機器である。
図2は、像ブレ補正装置の構成例を示す図である。
像ブレ補正装置100は、動き検出部101、HPF(High Pass Fiter)102、パンニング開始判定部103、第1の積分部104、第2の積分部105を備える。また、像ブレ補正装置100は、パンニング終了判定部106、カウンタ107、補正信号算出部108を備える。
図3は、第1の積分部と第2の積分部の構成を説明する図である。
図3では、第1の積分部104と第2の積分部105に適用可能なIIRフィルタの構成を例にとって説明する。図3において、加算器202は、入力端201に入力された入力X(n)と、乗算器204の出力とを加算し、その演算結果を内部状態値W(n)として出力する。遅延器203は、内部状態値W(n)を遅延させて内部状態値W(n−1)として出力する。乗算器204は、内部状態値W(n−1)に重み係数aを乗じて出力する。また、乗算器205は、内部状態値W(n)に重み係数bを乗じて出力し、乗算器206は内部状態値W(n−1)に重み係数cを乗じて出力する。加算器207は、乗算器205の出力と乗算器206の出力とを加算し、その演算結果を出力端208から出力Y(n)として出力する。
図4乃至図6を参照して、像ブレ補正装置100の動作処理の一例を説明する。図4は像ブレ補正装置100の動作処理を説明するフローチャートである。図5は、パンニング等が行われた際の、動き検出部101が出力する振れ検出信号(角速度信号)の時間変化を示す図である。図5の横軸は時間、縦軸は角速度を示す。図6は、パンニング等が行われた際の、第1の積分部104が出力する角度信号と第2の積分部105が出力する角度信号の時間変化を示す図である。図6の横軸は時間、縦軸は角度を示す。
図4のS301において、動き検出部101が、撮像装置1の動きを検出し、撮像装置1に生じている動きを示す角速度を振れ検出信号として出力する。S302において、HPF102が、動き検出部101が出力した振れ検出信号の低周波成分を除去または低減する(HPF処理を行う)。これにより、振れ検出信号に含まれているオフセット成分が除去される。
図5において、破線の横線402は、振れ検出信号が示す角速度に対して予め定められた閾値を示す。パンニング開始判定部103は、角速度が閾値を上回った時刻である時刻403をパンニングが開始した時刻と判定する。パンニング開始判定の方法については、例えば、角速度の微分信号である角加速度信号や、映像から取得された動きベクトルを用いて判定する方法等、任意の方法を採用可能である。
図4の説明に戻る。S305において、第1の積分部104が、HPF102の出力信号に対する積分処理を行って、角速度を角度に変換する。また、S306において、第2の積分部105が、HPF102の出力信号に対する積分処理を行って、角速度を角度に変換する。本実施形態では、第2の積分部105のカットオフ周波数(第3のカットオフ周波数)は、第1の積分部104に設定されている第2のカットオフ周波数より低い周波数に設定される。例えば、第3のカットオフ周波数は、第1の積分部104の通常時のカットオフ周波数(第1のカットオフ周波数)と同じカットオフ周波数に設定される。
次に、S307において、パンニング終了判定部106が、パンニングの角速度すなわち動き検出部101の出力信号がピークを越えたかを判定する。パンニング終了判定部106が、動き検出部101の出力信号がピークを越えていないと判定した場合は、処理がS313に進む。パンニング終了判定部106が、動き検出部101の出力信号がピークを越えたと判定した場合は、処理がS308に進む。S308において、パンニング終了判定部106が、カウンタ107にパンニング終了判定の開始を通知する。そして、S309において、カウンタ107が、カウントを開始する。
S310において、カウンタ107が、カウント値がカウンタ閾値に達したかを判定する。カウンタ107が、カウント値がカウンタ閾値に達していないと判定した場合は、処理がS315に進む。カウンタ107が、カウント値がカウンタ閾値に達したと判定した場合は、処理がS311に進む。そして、S311において、カウンタ107がリセットされ、報知信号をパンニング終了判定部106へ出力する。
S313において、CPU13が、第2の積分部105の内部状態値を第1の積分部104の内部状態値に書き換える。そして、処理がS315に進む。この書き換え処理により、次のサイクルの積分処理で、第1の積分部104の処理結果を使用して第2の積分部105による積分処理を行うことができる。
図6を参照して、パンニング終了判定の具体例を説明する。
図6(A)、(B)には、パンニング等の動きの終了近くの角度信号の時間変化が示される。図6(A)にて、第1の積分部104の出力信号を細線501で示す。第2の積分部105の出力信号を太線502で示す。また、図6(B)にて、第1の積分部104の出力信号を細線506で示す。第2の積分部105の出力信号を太線507で示す。パンニング等の動きの最中では、第1の積分部104のカットオフ周波数は通常時よりも高い。また、第2の積分部105のカットオフ周波数は通常時と同じ周波数であり、第1の積分部104のカットオフ周波数より低い。
図4の説明に戻る。S314において、CPU13が、第1の積分部104のカットオフ周波数を下げて、通常時のカットオフ周波数に戻す。そして、S315において、補正信号算出部108が、第1の積分部104の出力信号に基づき、補正信号を算出する。
以上説明したように、像ブレ補正装置は、撮像装置の撮影方向の変更動作が開始した場合に、異なるカットオフ周波数に設定された第1の積分部104と第2の積分部105の出力に基づき、撮像装置の撮影方向の変更動作が終了したかを判定する(S314)。そして、像ブレ補正装置は、上記の判定結果に基づいて、第1の積分部104のカットオフ周波数を制御する(S314)。これにより、撮影方向の変更動作の終了を精度良く判定し、撮影方向の変更動作の終了直後から良好な像ブレ補正を行うことができる。
図7は、パンニング終了判定を行う間隔の制御を説明する図である。
パンニング終了判定を行う間隔の第1の制御方法では、CPU13が、パンニング速度の最大値に応じて、パンニング終了判定を行う間隔を決定する。なお、本発明をチルティングの終了判定(チルティング終了判定)に適用する場合、CPU13は、チルティング速度の最大値に応じて、チルティング終了判定を行う間隔を決定する。
本実施形態では、CPU13が、パンニング速度の最大値として、動き検出部101の出力の最大値を用いるが、HPF102の出力の最大値を用いてもよい。パンニング終了判定を行う間隔は、カウンタ107のカウンタ閾値で決まる。したがって、CPU13は、パンニング速度の最大値に応じたカウンタ閾値を設定することで、パンニング終了判定を行う間隔を決定する。
パンニング終了判定を行う間隔の第2の制御方法では、CPU13が、パンニング速度を微分して得られるパンニング加速度に基づいて、パンニング終了判定を行う間隔を決定する。具体的には、CPU13は、パンニング加速度に応じたカウンタ閾値を設定することで、パンニング終了判定を行う間隔を決定する。本発明をチルティング終了判定に適用する場合、CPU13は、チルティング速度を微分して得られるチルティング加速度に基づいて、チルティング終了判定を行う間隔を決定する。本実施形態では、CPU13が、動き検出部101の出力を用いて、パンニング加速度を算出するが、HPF102の出力を用いてもよい。
パンニング終了判定を行う間隔の第3の制御方法では、CPU13が、パンニング速度に応じて、パンニング終了判定を行う間隔を決定する。なお、本発明をチルティングの終了判定(チルティング終了判定)に適用する場合、CPU13は、チルティング速度に応じて、チルティング終了判定を行う間隔を決定する。
手振れによる動きが大きいと、パンニングの終了間際は、パンニングによる動きよりも手振れによる動きの方が支配的となる。したがって、手振れによる動きが大きくなるほど、早めにパンニング終了判定をし、早く像ブレ補正性能を通常に戻す必要がある。本実施形態では、CPU13は、パンニングの直前の第1の積分部104の出力、すなわち通常時の手振れによる動きの角度量が大きいほど、パンニング終了判定に用いる角度差閾値を大きくする。なお、本発明をチルティング終了判定に適用する場合、CPU13は、チルティングの直前の第1の積分部104の出力、すなわち通常時の手振れによる動きの角度量が大きいほど、パンニング終了判定に用いる角度差閾値を大きくする。
縦軸は、角度差閾値である。横軸は、手振れによる動きの角度量である。手振れによる動きの角度量は、点Pでは第1の値701であり、点Qでは第2の値702である。点Qでの角度差閾値は、点Pでの角度差閾値よりも大きい値に設定される。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
13 CPU
Claims (11)
- 撮像装置に加わる振れに係る振れ検出信号を取得して出力する取得手段と、
前記振れ検出信号を積分処理して角度信号を出力する第1の積分手段および第2の積分手段と、
前記第1の積分手段が出力する角度信号に基づいて、前記撮像装置に加わる振れにより生じる撮像画像のブレを補正するための制御信号を生成する生成手段と、
前記撮像装置の撮影方向の変更動作が開始した場合に、異なるカットオフ周波数に設定された前記第1の積分手段と前記第2の積分手段の出力に基づいて、前記撮像装置の撮影方向の変更動作が終了したかを判定し、前記判定の結果に基づいて、前記第1の積分手段のカットオフ周波数を制御する制御手段と、を有する
ことを特徴とする像ブレ補正装置。 - 前記撮像装置の撮影方向の変更動作は、パンニングまたはチルティングであり、
前記制御手段は、前記パンニングまたはチルティングが開始した場合に、前記第1の積分手段のカットオフ周波数を第1のカットオフ周波数から前記第1のカットオフ周波数より高い前記第2のカットオフ周波数に変更し、
前記パンニングまたは前記チルティングが終了したと判定した場合に、前記第1の積分手段のカットオフ周波数を前記第1のカットオフ周波数に戻す
ことを特徴とする請求項1に記載の像ブレ補正装置。 - 前記制御手段は、前記第1の積分手段の出力と前記第2の積分手段の出力との差が閾値以下である場合に、前記パンニングまたはチルティングが終了したと判定し、前記第1の積分手段の出力と前記第2の積分手段の出力との差が閾値より大きい場合に、前記パンニングまたはチルティングが終了していないと判定する
ことを特徴とする請求項2に記載の像ブレ補正装置。 - 前記制御手段は、前記パンニングまたはチルティングの直前の前記第1の積分手段の出力が大きいほど、前記パンニングまたはチルティングが終了したかの判定に用いる前記閾値を大きくする
ことを特徴とする請求項3に記載の像ブレ補正装置。 - 前記制御手段は、前記パンニングまたはチルティングが終了していないと判定した場合に、前記第2の積分手段の内部状態値を前記第1の積分手段の内部状態値に書き換える
ことを特徴とする請求項3または請求項4に記載の像ブレ補正装置。 - 前記制御手段は、前記取得手段の出力がピークを越えた場合に、前記パンニングまたはチルティングが終了したかの判定を開始する
ことを特徴とする請求項2乃至5のいずれか1項に記載の像ブレ補正装置。 - 前記制御手段は、前記パンニングまたはチルティングの速度の最大値が大きいほど、前記パンニングまたは前記チルティングが終了したかの判定を行う間隔を短くする
ことを特徴とする請求項2乃至6のいずれか1項に記載の像ブレ補正装置。 - 前記制御手段は、前記パンニングまたはチルティングの速度が小さくなるほど、前記パンニングまたはチルティングが終了したかの判定を行う間隔を短くする
ことを特徴とする請求項2乃至6のいずれか1項に記載の像ブレ補正装置。 - 前記制御手段は、前記パンニングまたはチルティングの加速度が大きいほど、前記パンニングまたはチルティングが終了したかの判定を行う間隔を短くする
ことを特徴とする請求項2乃至6のいずれか1項に記載の像ブレ補正装置。 - 被写体光を光電変換して前記撮像画像に係る信号を出力する撮像素子と、請求項1乃至9のいずれか1項に記載の像ブレ補正装置と、を有する
ことを特徴とする撮像装置。 - 撮像装置に加わる振れに係る振れ検出信号を取得して出力する取得工程と、
第1の積分手段により、前記振れ検出信号を積分処理して角度信号を出力する第1の積分工程と、
第2の積分手段により、前記振れ検出信号を積分処理して角度信号を出力する第2の積分工程と、
前記第1の積分手段が出力する角度信号に基づいて、前記撮像装置に加わる振れにより生じる撮像画像のブレを補正するための制御信号を生成する生成工程と、
前記撮像装置の撮影方向の変更動作が開始した場合に、異なるカットオフ周波数に設定された前記第1の積分手段と前記第2の積分手段の出力に基づいて、前記撮像装置の撮影方向の変更動作が終了したかを判定し、前記判定の結果に基づいて、前記第1の積分手段のカットオフ周波数を制御する制御工程と、を有する
ことを特徴とする像ブレ補正装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019097386A JP7286415B2 (ja) | 2019-05-24 | 2019-05-24 | 像ブレ補正装置、撮像装置および制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019097386A JP7286415B2 (ja) | 2019-05-24 | 2019-05-24 | 像ブレ補正装置、撮像装置および制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020190698A true JP2020190698A (ja) | 2020-11-26 |
JP7286415B2 JP7286415B2 (ja) | 2023-06-05 |
Family
ID=73453699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019097386A Active JP7286415B2 (ja) | 2019-05-24 | 2019-05-24 | 像ブレ補正装置、撮像装置および制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7286415B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007322958A (ja) * | 2006-06-05 | 2007-12-13 | Sony Corp | ブレ演算装置、ブレ演算方法および撮像装置 |
JP2014171110A (ja) * | 2013-03-04 | 2014-09-18 | Canon Inc | 映像再生装置、その制御方法、および制御プログラム |
JP2015105975A (ja) * | 2013-11-28 | 2015-06-08 | キヤノン株式会社 | 像振れ補正装置及びその制御方法、プログラム、記憶媒体 |
JP2015180917A (ja) * | 2014-03-05 | 2015-10-15 | キヤノン株式会社 | 像振れ補正装置及びその制御方法、撮像装置、レンズ装置、プログラム、記憶媒体 |
JP2016170285A (ja) * | 2015-03-13 | 2016-09-23 | キヤノン株式会社 | 像ブレ補正装置、光学機器、撮像装置および制御方法 |
JP2017107093A (ja) * | 2015-12-10 | 2017-06-15 | リコーイメージング株式会社 | 振れ補正制御装置および撮像装置 |
-
2019
- 2019-05-24 JP JP2019097386A patent/JP7286415B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007322958A (ja) * | 2006-06-05 | 2007-12-13 | Sony Corp | ブレ演算装置、ブレ演算方法および撮像装置 |
JP2014171110A (ja) * | 2013-03-04 | 2014-09-18 | Canon Inc | 映像再生装置、その制御方法、および制御プログラム |
JP2015105975A (ja) * | 2013-11-28 | 2015-06-08 | キヤノン株式会社 | 像振れ補正装置及びその制御方法、プログラム、記憶媒体 |
JP2015180917A (ja) * | 2014-03-05 | 2015-10-15 | キヤノン株式会社 | 像振れ補正装置及びその制御方法、撮像装置、レンズ装置、プログラム、記憶媒体 |
JP2016170285A (ja) * | 2015-03-13 | 2016-09-23 | キヤノン株式会社 | 像ブレ補正装置、光学機器、撮像装置および制御方法 |
JP2017107093A (ja) * | 2015-12-10 | 2017-06-15 | リコーイメージング株式会社 | 振れ補正制御装置および撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7286415B2 (ja) | 2023-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6341691B2 (ja) | 像振れ補正装置およびその制御方法、光学機器、撮像装置 | |
JP5895270B2 (ja) | 撮像装置 | |
US10904439B2 (en) | Image pickup apparatus, lens unit, image pickup system, and control method for image pickup system | |
JPWO2012141193A1 (ja) | 撮像装置 | |
CN107786809B (zh) | 摄像和配件设备及其通信控制方法、摄像***及存储介质 | |
US10708503B2 (en) | Image capture system, image capturing apparatus, lens unit, control methods therefor, and storage medium | |
US11570361B2 (en) | Lens unit, imaging device, control methods thereof, and storage medium | |
CN111277747B (zh) | 信息处理装置及其控制方法 | |
CN111133355B (zh) | 摄像装置、摄像装置的控制方法及存储介质 | |
JP6723438B2 (ja) | 撮像装置、撮像用制御方法、及びプログラム | |
JP5645486B2 (ja) | カメラシステム及びこれに用いられるレンズユニット、カメラユニット | |
JP6932531B2 (ja) | 像ブレ補正装置、撮像装置および撮像装置の制御方法 | |
JP2012078495A (ja) | 撮像装置、ブレ補正装置及びブレ補正方法 | |
JP2016170285A (ja) | 像ブレ補正装置、光学機器、撮像装置および制御方法 | |
JP7286415B2 (ja) | 像ブレ補正装置、撮像装置および制御方法 | |
JP6032967B2 (ja) | 撮像装置、レンズ装置および撮像装置の制御方法 | |
JP6257186B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP2018082232A (ja) | 撮像装置および制御方法 | |
JP6800642B2 (ja) | アクセサリ装置、制御装置、これらの制御方法 | |
JP6786288B2 (ja) | 撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体 | |
JP6312519B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
JP6089232B2 (ja) | 撮像装置 | |
JP6489350B2 (ja) | 像振れ補正装置及び該像振れ補正装置における像振れ補正方法 | |
JP2011172266A (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP7321844B2 (ja) | 振れ補正制御装置及び振れ補正制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230524 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7286415 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |