JP6017381B2 - 像ブレ補正装置及び撮像装置 - Google Patents

像ブレ補正装置及び撮像装置 Download PDF

Info

Publication number
JP6017381B2
JP6017381B2 JP2013151511A JP2013151511A JP6017381B2 JP 6017381 B2 JP6017381 B2 JP 6017381B2 JP 2013151511 A JP2013151511 A JP 2013151511A JP 2013151511 A JP2013151511 A JP 2013151511A JP 6017381 B2 JP6017381 B2 JP 6017381B2
Authority
JP
Japan
Prior art keywords
time
unit
angular velocity
image
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013151511A
Other languages
English (en)
Other versions
JP2015022215A5 (ja
JP2015022215A (ja
Inventor
仁司 土屋
仁司 土屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013151511A priority Critical patent/JP6017381B2/ja
Priority to PCT/JP2014/067614 priority patent/WO2015012076A1/ja
Priority to CN201480039905.8A priority patent/CN105378555B/zh
Publication of JP2015022215A publication Critical patent/JP2015022215A/ja
Priority to US14/993,291 priority patent/US9591223B2/en
Publication of JP2015022215A5 publication Critical patent/JP2015022215A5/ja
Application granted granted Critical
Publication of JP6017381B2 publication Critical patent/JP6017381B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • G03B2205/0038Movement of one or more optical elements for control of motion blur by displacing the image plane with respect to the optical axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影時の手ブレに起因した像ブレに基づいて生じる画質劣化を補正する像ブレ補正装置、及び、その像ブレ補正装置を搭載した撮像装置に関する。
近年、手ブレ補正機能を搭載したカメラが一般的になっている。このようなカメラでは、手持ち撮影時でも、撮影者が、特に手ブレを気にすることなく、像ブレの無い画像を撮影することができる。
一般的に、カメラの手ブレ補正機能の補正性能は、像ブレを補正可能なシャッター速度(露光時間)の値により示される。これは、手ブレ補正機能を実行させずに撮影される画像において手ブレによる像ブレの影響が見え始めるシャッター速度(手ブレ限界シャッター速度とも言う)と、手ブレ補正機能を実行させて撮影される画像において手ブレによる像ブレの影響が見え始めるシャッター速度との比率によって表される。
ところで、従来から知られている、カメラの手ブレ補正の仕組みは、例えば、次のとおりである。まず、手ブレ検知部に対応するジャイロセンサ等により、手ブレによるカメラ本体の姿勢変化に基づく像ブレ量(像面移動量)が検出される。そして、手ブレ検知部によって検出された像ブレ量から、像ブレ補正量が算出される。さらに、像ブレ補正を行う像ブレ補正部が、算出された像ブレ補正量に基づいて、光学系又は撮像素子を、手ブレ検知部によって検出された像ブレ量を打ち消す方向に移動させる。これにより、撮像面に発生する像ブレが抑制される。
しかしながら、手ブレ検知部によって像ブレ量が検出されてから、実際に像ブレが補正されるまで(光学系又は撮像素子の移動が行われるまで)には、応答遅延があり、この応答遅延が、手ブレ補正機能の補正性能を低下させる要因の一つになっている。
また、手ブレ補正機能の補正性能は、カメラの撮影光学系での焦点距離が長くなるほど低下する傾向がある。これは、焦点距離が長くなるほど手ブレにより発生する像面の移動量が大きくなるため、例えば、像ブレ補正部による光学系又は撮像素子の移動をより早く応答させる必要がある等、像面の移動量に合わせて像ブレを補正するための条件が厳しくなることによるものである。
従って、前述の応答遅延による影響も、焦点距離の長い望遠域での撮影の場合や、撮影倍率が大きくなる近接撮影の場合や、撮影者の手ブレの周波数が高い場合等には、更に大きくなる。
このような問題に対し、従来技術では、次のような方法がある。
例えば、特許文献1に開示の方法では、手ブレを検出する角速度センサと、検出されたブレ信号に対して第1の折点周波数よりも低い周波数のブレ信号を減衰処理するハイパスフィルタと、このハイパスフィルタにより処理された信号に対して、処理される前の信号の位相との位相ずれを補償する位相補償フィルタと、この位相補償フィルタによって、位相ズレが補償されたブレ信号に基づいて、撮像装置の像ブレを補正するブレ補正部とを有して、位相補償フィルタによって、ハイパスフィルタにより生じた位相ズレを相殺するように位相を変更することで、位相ズレによる補正性能の低下を防止するようにしている。
また、例えば、特許文献2に開示の方法では、一定周期でジャイロセンサの角速度出力を読み込み(サンプリングし)、時間積分演算を行って角速度の積分値を算出し、算出した積分値と前回積分値の差分から積分値の変化量を求め、変化量とブレ補正モジュールによって定まっている遅延時間及び制御時間に基づいて、レンズの光軸の傾きを相殺可能とするシフトレンズの移動量を得るために加算値を算出し、今回積算値に加算値を加算後の値を用いて、シフトレンズを移動するための制御値を演算し駆動することで、ブレの無い撮影画像を得るようにしている。
特開2011−145354号公報 特開2006−139095号公報
しかしながら、前述の特許文献1に開示の方法は、ハイパスフィルタによる位相ズレに対する位相調整を行うものであり、補正量の演算に伴う遅延時間や、駆動部の応答遅延などによる遅延時間に伴う性能低下について考慮されていない。また、位相補償フィルタでは、特定の周波数範囲に対して位相補償がなされるだけであるため、カメラの手ブレ状態に生じる像ブレ信号のように、様々な周波数成分を含むものに対しては、完全に位相ズレ(遅れ)を補償しているとは言えない。
また、前述の特許文献2に開示の方法では、角速度を積分した補正量の変化量、つまり直前の角速度からの遅延時間に基づいた変化量を補正量に加算していることから、角速度の変化が少ない区間では演算誤差の少ない補正量が得られるが、角速度の変化が大きい区間では演算誤差の大きい補正量が得られる虞がある。また、原理的には、加算される変化量が直線近似で算出されるものであるため、前述の遅延時間が長くなると加算値の誤差が増大し、誤補正になる虞もある。
このように、特許文献1及び2に開示の方法では、様々な周波数が混在する手ブレにおいては、十分な手ブレ補正が行われているとは言えない。また、他の従来技術においても同様である。
本発明は、上記問題に着目しなされたものであり、手ブレ補正によって生じる遅延時間後の手ブレの状態を簡単な演算で高精度に予測することで、遅延時間を相殺し、高い補正性能を実現する手ブレ補正装置及びそれを搭載した撮像装置を提供することを目的とする。
本発明の第1の態様は、撮像装置の姿勢変化に基づく像ブレを補正する像ブレ補正装置であって、被写体像を結像する光学系と、前記光学系によって結像された被写体像を撮像する撮像素子と、前記光学系に含まれるレンズを光軸に対して垂直方向に移動すること、又は、前記撮像素子を結像面上に移動することによって、像ブレを補正するブレ補正部と、前記撮像装置の姿勢変化量を、所定の検出時間周期毎に検出するブレ検出部と、前記ブレ検出部により、現時点である第1の時間に検出された第1の姿勢変化量、および前記第1の時間とは異なる時刻となる第2の時間、および第3の時間に検出された第2の姿勢変化量、および第3の姿勢変化量を保持する保持部と、前記保持部に保持された前記第1の姿勢変化量と、前記第2の姿勢変化量と、前記第3の姿勢変化量に基づき、前記姿勢変化量の時間変化に基づく予め設定された定数である複数の係数値を有する近似関数に基づいて、前記第1の時間から所定時間後となる第4の時間での姿勢変化量の予測値である第4の姿勢変化量を算出する予測部と、前記予測部により算出された第4の姿勢変化量に基づいて、前記被写体像の移動量である像ブレ量を算出するブレ量算出部と、前記ブレ量算出部により算出された像ブレ量に基づいて、前記ブレ補正部による前記レンズ又は前記撮像素子の移動量を算出する駆動制御部と、を備えており、前記複数の係数値は、前記第1の時間と、前記第2の時間との間の時間間隔、および前記第1の時間と、前記第3の時間との間の時間間隔によってそれぞれ決まる値である、像ブレ補正装置を提供する。
本発明の第2の態様は、撮像装置の姿勢変化に基づく像ブレを補正する像ブレ補正装置であって、被写体像を結像する光学系と、前記光学系によって結像された被写体像を撮像する撮像素子と、前記光学系に含まれるレンズを光軸に対して垂直方向に移動すること、又は、前記撮像素子を結像面上に移動することによって、像ブレを補正するブレ補正部と、前記撮像装置の姿勢変化量を、所定の検出時間周期毎に検出するブレ検出部と、前記ブレ検出部によって検出された前記姿勢変化量に基づく前記被写体像の移動量である像面移動量を検出する像面移動量検出部と、前記像面移動量検出部により、現時点である第1の時間に検出された第1の像面移動量、および前記第1の時間とは異なる時刻となる第2の時間、および第3の時間に検出された第2の像面移動量、および第3の像面移動量を保持する保持部と、前記保持部に保持された第1の像面移動量と、第2の像面移動量と、第3の像面移動量に基づき、前記像面移動量の時間変化に基づく予め設定された定数である複数の係数値を有する近似関数に基づいて、前記第1の時間から所定時間後となる第4の時間での像面移動量の予測値である第4の像面移動量を算出する予測部と、前記予測部により算出された前記第4の像面移動量に基づいて、前記ブレ補正部による前記レンズ又は前記撮像素子の移動量を算出する駆動制御部と、を備えており、前記複数の係数値は、前記第1の時間と、前記第2の時間との間の時間間隔、および前記第1の時間と、前記第3の時間との間の時間間隔によってそれぞれ決まる値である、像ブレ補正装置を提供する。
本発明の第の態様は、第1又は第2の態様において、前記予測部により算出される前記第4の時間での予測値は、前記ブレ検出部又は前記像面移動量検出部による検出が行われた時刻である前記第1の時間から前記ブレ補正部による補正が行われるまでの処理時間に相当する時間後の値である、像ブレ補正装置を提供する。
本発明の第の態様は、第1又は第2の態様において、前記予測部が前記近似関数の算出の際に用いる3つの姿勢変化量又は像面移動量が前記ブレ検出部又は前記像面移動量検出部により検出された時刻である前記第1の時間と前記第2の時間の時間間隔および前記第1の時間と前記第3の時間の時間間隔は、所定の検出時間周期毎に対して2の累乗の時間である、像ブレ補正装置を提供する。
本発明の第5の態様は、第1の態様において、前記ブレ検出部は、前記光学系の光軸方向に対して垂直となる方向を回転軸としたピッチ方向、またはヨー方向の回転方向となる前記撮像装置の回転姿勢変化に伴う角速度を、前記所定の検出時間周期毎に検出する角速度センサと、前記光学系の光軸方向に対して垂直方向、または水平方向となる前記撮像装置の平行移動姿勢変化に伴う加速度を、所定の検出時間周期毎に検出する加速度センサと、前記加速度センサが検出した加速度を積分演算して、前記撮像装置の平行移動姿勢変化に伴う移動速度を、所定の検出時間周期毎に算出する積分部と、を有しており、前記姿勢変化量は、前記角速度と前記移動速度からなる状態量であり、前記保持部は、前記角速度センサにより、現時点である第1の時間に検出された第1の角速度と、前記第1の角速度とは異なる時刻となる第2の時間、および第3の時間に検出されたそれぞれの角速度である第2の角速度、および第3の角速度とを保持すると共に、前記第1の時間に前記積分部が算出した第1の移動速度と、前記第2の時間に算出された第2の移動速度と、および前記第3の時間に算出された第3の移動速度とを保持し、前記予測部は、前記保持部に保持された前記第1の角速度と、前記第2の角速度と、前記第3の角速度に基づき、前記角速度姿勢変化量の時間変化に基づく予め設定された係数値を有する近似関数に基づいて、前記第1の時間から所定時間後となる第4の時間での角速度姿勢変化量の予測値である第4の角速度を算出する角速度予測部と、前記保持部に保持された前記第1の移動速度と、前記第2の移動速度と、前記第3の移動速度に基づき、前記移動速度の時間変化に基づく予め設定された係数値を有する近似関数に基づいて、前記第1の時間から所定時間後となる第4の時間での移動速度の予測値である第4の移動速度とを算出する速度予測部と、を有し、前記ブレ量算出部は、前記角速度予測部により算出された前記第4の角速度と、前記速度予測部によって算出された前記第4の移動速度からなる予測値に基づいて、像ブレ量を算出する、像ブレ補正装置を提供する。
本発明の第の態様は、第1乃至の何れか一つの態様の像ブレ補正装置を備える撮像装置を提供する。
本発明によれば、手ブレ補正によって生じる遅延時間後の手ブレの状態を簡単な演算で高精度に予測することで、遅延時間を相殺し、高い補正性能を実現する手ブレ補正装置及びそれを搭載した撮像装置を提供することができる。
像ブレ補正に係る制御の流れと処理時間の一例を示す図である。 遅延時間後の手ブレの状態を予測する方法の一例を説明する図である。 第1の実施形態に係る像ブレ補正装置を含むカメラの構成例を示す図である。 第1の実施形態に係るブレ補正マイコンの構成例を示す図である。 第1の実施形態に係る角速度予測部の構成例を示す図である。 第1の実施形態に係る角速度予測部における、入力角速度の時間変化と予測角速度の時間変化との関係の一例を示す図である。 第2の実施形態に係るブレ補正マイコンの構成例を示す図である。 第2の実施形態に係る補正量予測部の構成例を示す図である。 第2の実施形態に係る補正量予測部における、X方向又はY方向に係る、算出補正量の時間変化と予測補正量の時間変化との関係の一例を示す図である。 第3の実施形態に係る像ブレ補正装置を含むカメラの構成例を示す図である。 第3の実施形態に係るブレ補正マイコンの構成例を示す図である。 第3の実施形態に係る補正量演算部の構成例を示す図である。
本発明の後述する各実施形態に係る像ブレ補正装置は、撮像装置の姿勢変化に基づく像ブレを補正する装置である。はじめに、各実施形態に係る像ブレ補正装置が行う像ブレ補正の概念を、図1及び図2を用いて説明する。
図1は、像ブレ補正に係る制御の流れと処理時間の一例を示す図である。
図1に示したように、像ブレ補正に係る制御の流れでは、まず、ジャイロセンサ等の角速度センサにより検出された角速度(手ブレに対応する角速度)に対して、ノイズを除去するためのローパスフィルタ処理や、DC成分を除去するためのハイパスフィルタ処理などの信号処理が行われる(S1)。続いて、S1で信号処理された角速度を時間積分して補正量を求める演算が行われる(S2)。続いて、S2での演算により求められた補正量に基づいて光学系又は撮像素子をアクチュエータにより移動させるための駆動制御が行われる(S3)。このような制御の流れによって、手ブレに起因する像ブレが補正される。
このような制御の流れにおいて、例えば、図1に示したように、S1の処理に1msを要し、S2の処理に0.5msを要し、S3の処理に0.5msを要するとすると、角速度センサにより角速度の検出が行われてから、アクチュエータによる光学系又は撮像素子の移動により像ブレが補正されるまでに、2msの処理時間を要することとなる。これは、すなわち、検出から補正されるまでに2msの遅延時間が生じることでもある。
そこで、後述の各実施形態に係る像ブレ補正装置では、その遅延時間後の手ブレの状態を予測することによって、遅延時間を実質的に0にし、より高い補正性能を実現するようにしている。
図2は、その遅延時間後の手ブレの状態を予測する方法の一例を説明する図であって、角速度の時間変化の一例を示すグラフでもある。ここでは、遅延時間が2msであるとし、その2ms後の手ブレの状態を予測する方法を説明する。また、ここでは、1ms周期で、角速度の検出および補正量の算出が行われるものとする。
図2において、t=0は最新の角速度が検出された時刻である基準時刻を示し、tが負となる時刻は基準時刻に対して過去となる時刻を示し、tが正となる時刻は基準時刻に対して未来となる時刻を示している。
図2に示したように、t=0に検出された角速度(最新の角速度)をωとし、t=−4(t=0に対して4ms前の時刻)に検出された角速度をωとし、t=−8(t=0に対して8ms前の時刻)に検出された角速度をωとして、その3つの角速度ω、ω、ωを基に2次近似曲線を算出することによって、この2次近似曲線を基にt=2(t=0に対して2ms後の時刻)の角速度ωestを予測することができる。
この場合、2次近似曲線の近似式は、3つの角速度ω、ω、ωから、次式(1)の行列演算式により求めることができる。
なお、tはωが検出された時刻、tはωが検出された時刻、tはωが検出された時刻である。
ここで、t=Xms(t=0に対してXms後の時刻)の角速度ωest_xは、2次近似係数を基に、次式(2)により求められる。
ωest_x=Xa+Xb+c 式(2)
式(1)における行列Aの逆行列A−1を求めると、次式(3)のようになる。
−1= (1/detA)adjA 式(3)
なお、detAは行列Aに対応する行列式、adjAは行列Aの余因子行列である。
ここで、t、t、t、及び、ω、ω、ωは既知の値であるため、2次近似係数a、b、cは、逆行列A−1に基づいて、次式(4)、(5)により算出することができる。
ここで、t、t、tは既知の値であるため、式(4)は、次式(6)となる。
detA=128 式(6)
さらに、t、t、tと式(6)から、式(5)は、次式(7)、(8)、(9)のように、単純化することができる。
a=(4ω−8ω+4ω)/128=(ω−2ω+ω)/32 式(7)
b=(48ω−64ω+16ω)/128=(3ω−4ω+ω)/8 式(8)
c=ω 式(9)
これらの式(7)、(8)、(9)と式(2)から、2ms後(X=2)の予測値である角速度ωestは、次式(10)によって求めることができる。
ωest=(7ω−10ω+3ω)/8+ω 式(10)
このようにして2ms後の角速度ωestを予測する場合には、角速度ω、ω、ωが検出された時刻であるt、t、tの時間間隔が2の累乗となることから、式(10)における除算をシフト演算に置き換えることができる。そのため、演算負荷を抑えることができ、演算で生じる遅延時間の増加を抑えることができる。
なお、本例では、2次多項式の近似式を用いて予測を行う例を示したが、近似式はこれに限定されるものではない。但し、1次多項式の近似式を用いて予測を行う場合には、補正量の演算負荷が減少して演算時間の減少が見込まれるものの、予測値が時間的に単調変化することが必須条件となるため、誤差を少なく予測できる時間が短くなり、適用が限定されることに留意する必要がある。また、3次以上の多項式の近似式を用いて予測を行う場合には、より高精度な予測が可能になることが見込まれるものの、補正量の演算負荷が増大し、処理能力によっては演算時間の増加につながる虞があることに留意する必要がある。実験によれば、カメラの手ブレの周波数範囲が0.1〜数10Hzであり、これに対して数ms程度後の手ブレの状態を予測するのであれば、演算負荷の軽い2次多項式の近似式による予測で十分な精度が得られることが確認されている。
また、本例では、角速度を予測することで手ブレの状態を予測する例を示したが、角速度の代わりに像面移動量(撮像面に結像される被写体像の移動量)を同様にして予測することで手ぶれの状態を予測するようにしてもよい。あるいは、加速度センサを追加し、その加速度センサの出力を基に速度を同様にして予測して、角速度センサの出力を基に予測された角速度又は像面移動量と、加速度センサの出力を基に予測された速度とを組み合わせて手ブレの状態を予測するようにしてもよい。もしくは、角速度センサの代わりに加速度センサを備え、その加速度センサの出力を基に速度を同様にして予測することで手ブレの状態を予測するようにしてもよい。
以下では、一例として、角速度センサの出力を基に角速度を予測することで手ブレの状態を予測するようにした例を第1の実施形態に示し、角速度センサの出力を基に像面移動量を予測することで手ブレの状態を予測するようにした例を第2の実施形態に示し、角速度センサの出力を基に予測された角速度と加速度センサの出力を基に予測された速度とを組み合わせて手ブレの状態を予測するようにした例を第3の実施形態に示す。
<第1の実施形態>
図3は、本発明の第1の実施形態に係る像ブレ補正装置を含むカメラの構成例を示す図である。
図3に示したように、カメラ1は、光学系2と、フォーカルプレーンシャッター(以下単にシャッターという)3と、撮像素子4と、駆動部5と、システムコントローラ6と、ブレ補正マイコン7と、角速度センサ8と、レリーズSW(switch)9と、EVF(Electronic View Finder)10と、メモリカード11を含む。なお、カメラ1は、撮像装置の一例である。
光学系2は、被写体像を結像する。より詳しくは、光学系2は、外部光軸方向からの光束を、撮像素子4の撮像面に、被写体像として結像させる。
シャッター3は、システムコントローラ6の制御の下、撮像素子4の前面で開閉動作を行うことで、撮像素子4を露光状態にしたり、遮光状態にしたりする。
撮像素子4は、システムコントローラ6の制御の下、光学系2によって撮像面に結像された被写体像を撮像して電気信号に変換する。変換された電気信号は、システムコントローラ6によって映像信号として読み出される。
なお、本実施形態では、露光制御を機械式シャッターであるシャッター3により行っているが、これに限らず、撮像素子4への撮像制御信号を与えて露光制御する、いわゆる電子シャッターにより露光制御を行うようにしてもよい。
システムコントローラ6は、前述の映像信号の読み出しの他に、カメラ全体の機能に係る様々な制御を行う。例えば、撮像素子4から読み出した映像信号を、EVF10に表示可能な形式に変換して出力するための制御を行う。また、例えば、撮影時に読み出された映像信号を撮影画像としてメモリカード11に記録するための制御を行う。なお、この制御は、レリーズSW9の検出に応じて行われる。また、例えば、ブレ補正マイコン7と通信を行い統括した制御を行う。
EVF10は、液晶表示デバイス等の表示デバイスであり、例えば、システムコントローラ6から出力された映像信号を撮影者が視認できるように画像表示する。
レリーズSW9は、ユーザが撮影操作を行う際に使用される操作部である。レリーズSW9は、半押し操作(1stレリーズ)及び全押し操作(2ndレリーズ)となる2段階の操作状態を区別して検出し、その検出結果に応じた信号をシステムコントローラ6へ出力する。
メモリカード11は、カメラ1に着脱可能な不揮発性メモリであり、撮影画像等が記録される。
角速度センサ8(8a、8b)は、カメラの姿勢変化に伴う回転運動を検出するセンサ(例えばジャイロセンサ)であり、回転運動時の角度の時間変化を角速度として検出し、ブレ補正マイコン7へ出力する。角速度センサ8aは、カメラ1のYaw方向の回転運動を検出するセンサであり、角速度センサ8bは、カメラ1のPitch方向の回転運動を検出するセンサである。なお、本実施形態において、角速度センサ8は、撮像装置の姿勢変化量を検出するブレ検出部の一例である。
ブレ補正マイコン7は、システムコントローラ6の制御の下、角速度センサ8(8a、8b)の出力から、撮像素子4に結像された被写体像の移動量としてブレ量を算出し、そのブレ量を打ち消す方向に撮像素子4を移動させるための制御信号を駆動部5へ出力する。なお、この制御信号は、駆動部5から出力される位置検出信号に応じた撮像素子4の位置も考慮されている。
駆動部5は、撮像素子4を支持し、且つ、ブレ補正マイコン7の制御の下(ブレ補正マイコン7からの制御信号に応じて)、撮像素子4をX方向(水平方向)及びY方向(垂直方向)に移動させる。これにより、撮像素子4が、撮像面でのブレ量を打ち消す方向に移動し、撮影画像に発生するブレを防止することができる。また、駆動部5は、撮像素子4の位置を検出し、その位置検出信号をブレ補正マイコン7へ出力する。なお、駆動部5は、撮像素子4を結像面上(撮像面上)に移動することにより像ブレを補正するブレ補正部の一例である。
図4は、ブレ補正マイコン7の構成例を示す図である。
図4に示したように、ブレ補正マイコン7は、制御部70と、信号処理部71(71a、71b)と、ドライバ72と、ADC(Analog / digital converter)73と、SIO(Serial Input / Output)74を含む。また、制御部70は、更に、基準算出部701(701a、701b)と、減算部702(702a、702b)と、角速度予測部703(703a、703b)と、補正量演算部704と、駆動制御部705と、通信部706を含む。
信号処理部71aは、角速度センサ8aの出力信号(角速度検出信号)であるアナログ信号に対し、アナログ/デジタル変換処理、ローパスフィルタ処理、ハイパスフィルタ処理を含む信号処理を行う。同様に、信号処理部71bは、角速度センサ8bの出力信号(角速度検出信号)であるアナログ信号に対し、アナログ/デジタル変換処理、ローパスフィルタ処理、ハイパスフィルタ処理を含む信号処理を行う。信号処理部71a、71bの各々での信号処理は、所定のサンプリングレートに対応する周期で行われる。例えば、サンプリングレートを1kHzとした場合には、1ms周期で行われる。なお、信号処理部71a、71bの各々で行われる信号処理は、例えば、アナログ/デジタル変換処理のみとしてもよい。
基準算出部701aは、信号処理部71aの出力信号を基に、基準値を算出する。なお、この基準値は、カメラ1が静止した状態であるときの角速度センサ8aの出力信号に基づくものである。より詳しくは、カメラ1が静止した状態である所定時間の間に検出された角速度の値の平均値(時間平均値)を算出し、これを基準値としている。但し、基準値の算出方法は、これに限定されるものではなく、誤差の少ない基準値が算出されるのであれば何れの方法であってもよい。同様に、基準算出部701bは、信号処理部71bの出力信号を基に、基準値を算出する。
減算部702aは、信号処理部71aの出力信号(角速度)から基準算出部701aの出力信号(基準値)を減算して、符合を持つ角速度の信号を出力する。同様に、減算部702bは、信号処理部71bの出力信号(角速度)から基準算出部701bの出力信号(基準値)を減算して、符合を持つ角速度の信号を出力する。なお、角速度の符号は、検出された角速度の回転方向として取り扱うことができる。
角速度予測部703aは、減算部702aの出力信号(入力角速度ともいう)を基に、角速度の時間変化に基づく近似関数に基づいて、所定時間後の角速度(Yaw方向の角速度)の予測値(予測角速度ともいう)を算出する。同様に、角速度予測部703bは、減算部702bの出力信号(入力角速度ともいう)を基に、角速度の時間変化に基づく近似関数に基づいて、所定時間後の角速度(Pitch方向の角速度)の予測値(予測角速度ともいう)を算出する。ここで、所定時間とは、例えば、角速度の検出が行われてから像ブレが補正されるまでの処理時間に相当する時間のことである。
より具体的には、角速度予測部703a、703bは、それぞれ、図5に示すように、保持バッファ7031と予測演算部7032を含む。ここでは、代表して、角速度予測部703aを例に、説明する。
保持バッファ7031は、角速度センサ8aにより異なる時刻に検出された3つ以上の角速度に対応する3つ以上の入力角速度を保持する。この場合、保持バッファ7031は、例えば、現時点から所定時間前の間に角速度センサ8aにより検出された3つ以上の角速度に対応する3つ以上の入力角速度を保持する。ここで、その3つ以上の入力角速度は、例えば、最新の角速度が検出された時刻とその時刻に対して8ms前の時刻との間に1ms周期で検出された9つの角速度に対応する9つの入力角速度であり、1ms周期毎に更新される。なお、保持バッファ7031は、ブレ検出部により異なる時刻に検出された3つ以上の姿勢変化量を保持する保持部の一例である。
予測演算部7032は、保持バッファ7031に保持された3つ以上の入力角速度に基づき、角速度の時間変化に基づく近似関数に基づいて、所定時間後の角速度(Yaw方向の角速度)の予測値(予測角速度)を算出する。例えば、予測演算部7032は、保持バッファ7031に保持された3つの入力角速度ω、ω、ωに基づき、角速度の時間変化に基づく近似関数である式(10)に基づいて、遅延時間に相当する2ms後の角速度の予測値ωestを算出する。ここで、入力角速度ωは、最新の角速度に対応する入力角速度であり、入力角速度ωは、最新の角速度が検出された時刻に対して4ms(4周期)前の角速度に対応する入力角速度であり、入力角速度ωは、最新の角速度が検出された時刻に対して8ms(8周期)前の角速度に対応する入力角速度である。
補正量演算部704は、角速度予測部703aにより算出された予測値に基づいて、X方向の補正量(像ブレ量)を算出すると共に、角速度予測部703bにより算出された予測値に基づいて、Y方向の補正量(像ブレ量)を算出する。より詳しくは、補正量演算部704は、例えば、後述の図12に示す補正量演算部704に含まれる角度ブレ補正部7044の構成を有しており、角速度予測部703aの出力信号(予測値)を時間積分して得られた値とレンズ特性に基づくパラメータ(焦点距離、像倍率)を用いて乗算演算を行うことで、X方向の補正量(像ブレ量)を算出すると共に、角速度予測部703bの出力信号(予測値)を時間積分して得られた値とレンズ特性に基づくパラメータ(焦点距離、像倍率)を用いて乗算演算を行うことで、Y方向の補正量(像ブレ量)を算出する。
駆動制御部705は、補正量演算部704により算出されたX方向の補正量(像ブレ量)に基づいて、駆動部5による撮像素子4のX方向の移動量を算出すると共に、補正量演算部704により算出されたY方向の補正量(像ブレ量)に基づいて、駆動部5による撮像素子4のY方向の移動量を算出すること等を行う。より詳しくは、駆動制御部705は、例えば、補正量演算部704により算出されたX方向の補正量及びY方向の補正量に基づいて、駆動部5による撮像素子4の移動目標位置を決定し、その移動目標位置と、駆動部5から出力される位置検出信号に応じた信号とに基づいて、フィードバック制御を行いつつ駆動部5により撮像素子4を目標位置まで移動させるための駆動信号を出力する。なお、駆動制御部705は、このように、クローズドループ制御により撮像素子4の移動を制御するものであるが、例えば、オープンループ制御により撮像素子4の移動を制御するようにしてもよい。
ドライバ72は、駆動制御部705からの駆動信号を、駆動部5を駆動する信号形態に変換して出力する。これにより、入力された駆動信号に応じて駆動部5により撮像素子4の移動が行われ、結果として、撮影画像に発生するブレの防止が行われる。
ADC73は、駆動部5から出力される位置検出信号であるアナログ信号をデジタル信号に変換して、駆動制御部705へ出力する。
通信部706は、シリアル入出力インタフェースであるSIO74を制御して、外部デバイス(システムコントローラ6)との間で通信(例えばコマンドの送受等)を行う。
このように、図4及び図5を用いて説明したブレ補正マイコン7によって、所定時間後(例えば2ms後)の角速度を予測し、その予測に基づいて像ブレを補正することで、例えば図1を用いて説明した検出から補正までの遅延時間による応答遅れの影響を補償することができる。
図6は、角速度予測部703(703a又は703b)における、入力角速度の時間変化と予測角速度の時間変化との関係の一例を示す図である。
図6において、任意の時刻における予測角速度は、その時刻の入力角速度を最新の角速度に対応する入力角速度ωとし、その最新の角速度が検出された時刻に対して4ms(4周期)前の角速度に対応する入力角速度をωとし、その最新の角速度が検出された時刻に対して8ms(8周期)前の角速度に対応する入力角速度をωとしたときに、式(10)に基づいて、角速度予測部703により算出された2ms後(その最新の角速度が検出された時刻に対して2ms(2周期)後)の角速度の予測値である。
図6に示したように、角速度予測部703による演算によって、予測角速度の時間変化は、入力角速度の時間変化に対して2ms進んだ状態となる。
なお、予測角速度と2ms後の角速度との差である予測誤差が、現在の角速度と2ms後の角速度との差に対して十分小さいのであれば、遅延による補正性能の低下が小さくなることは自明である。
以上、本実施形態に係る像ブレ補正装置によれば、簡単な計算によって所定時間後(例えば2ms後)の角速度を予測し、その予測値に基づいて補正量を算出することによって、演算時間の増加を抑えて、ブレの検出から補正までの遅延時間を短縮できるので、応答遅延による補正性能の低下を防止することができる。
<第2の実施形態>
本発明の第2の実施形態に係る像ブレ補正装置を含むカメラは、第1の実施形態に係る像ブレ補正装置を含むカメラに対して、ブレ補正マイコンの構成及び動作が異なっている。そこで、本実施形態に係る像ブレ補正装置を含むカメラの説明では、その異なる点を中心に説明する。なお、本実施形態では、第1の実施形態で説明した構成要素と同一の構成要素については同一の符号を付して説明する。
本実施形態に係る像ブレ補正装置を含むカメラ1の構成は、図3に示したカメラ1の構成と同様であるので、ここでは説明を割愛する。
図7は、本実施形態に係る像ブレ補正装置を含むカメラ1に含まれるブレ補正マイコン7の構成例を示す図である。
図7に示したブレ補正マイコン7は、図4に示したブレ補正マイコン7に対して、次の点が異なる。それは、図7に示したブレ補正マイコン7では、図4に示したブレ補正マイコン7に含まれる角速度予測部703(703a、703b)及び補正量演算部704が、補正量演算部707及び補正量予測部708に置き換えられた点である。
補正量演算部707は、例えば、後述の図12に示す補正量演算部704に含まれる角度ブレ補正部7044の構成を有しており、減算部702aの出力信号(角速度)を時間積分して得られた値とレンズ特性に基づくパラメータ(焦点距離、像倍率)を用いて乗算演算を行うことで、X方向の補正量(像面移動量)を算出すると共に、減算部702bの出力信号(角速度)を時間積分して得られた値とレンズ特性に基づくパラメータ(焦点距離、像倍率)を用いて乗算演算を行うことで、Y方向の補正量(像面移動量)を算出する。なお、本実施形態において、補正量演算部707は、撮像装置の姿勢変化に基づく像面移動量を検出するブレ検出部の一例である。
補正量予測部708は、補正量演算部707の出力信号(X方向の算出補正量)を基に、補正量の時間変化に基づく近似関数に基づいて、所定時間後のX方向の補正量(像面移動量)の予測値(予測補正量ともいう)を算出すると共に、補正量演算部707の出力信号(Y方向の算出補正量)を基に、補正量の時間変化に基づく近似関数に基づいて、所定時間後のY方向の補正量(像面移動量)の予測値(予測補正量ともいう)を算出する。ここで、所定時間とは、例えば、角速度の検出又は像面移動量の算出が行われてから像ブレが補正されるまでの処理時間に相当する時間のことである。
より具体的には、補正量予測部708は、X方向及びY方向のそれぞれに対して、図8に示すように、保持バッファ7081と予測演算部7082を含む。ここでは、代表して、X方向に対する、保持バッファ7081と予測演算部7082を例に、説明する。
保持バッファ7081は、補正量演算部707により異なる時刻に算出された3つ以上のX方向の補正量を保持する。この場合、保持バッファ7081は、例えば、現時点から所定時間前の間に補正量演算部707により算出された3つ以上のX方向の補正量を保持する。ここで、その3つ以上のX方向の補正量は、例えば、X方向の最新の補正量が算出された時刻とその時刻に対して8ms前の時刻との間に1ms周期で算出された9つのX方向の補正量であり、1ms周期毎に更新される。なお、保持バッファ7081は、ブレ検出部により異なる時刻に検出された3つ以上の像面移動量を保持する保持部の一例である。
予測演算部7082は、保持バッファ7081に保持された3つ以上のX方向の補正量に基づき、補正量の時間変化に基づく近似関数に基づいて、所定時間後のX方向の補正量の予測値を算出する。例えば、予測演算部7082は、保持バッファ7081に保持された3つのX方向の補正量に基づき、補正量の時間変化に基づく近似関数に基づいて、遅延時間に相当する2ms後のX方向の補正量の予測値を算出する。ここで、保持バッファ7081に保持された3つのX方向の補正量は、最新のX方向の補正量と、その最新のX方向の補正量が算出された時刻に対して4ms(4周期)前に算出されたX方向の補正量と、その最新のX方向の補正量が算出された時刻に対して8ms(8周期)前に算出されたX方向の補正量である。また、補正量の時間変化に基づく近似関数は、式(10)の導出方法と同様にして導出された2次多項式の近似式である。
図7に示したブレ補正マイコン7のその他の構成は、図4に示したブレ補正マイコン7と同様であるので、ここでは説明を割愛する。
このように、図7及び図8を用いて説明したブレ補正マイコン7によって、所定時間後(例えば2ms後)の補正量(像面移動量)を予測し、その予測に基づいて像ブレを補正することで、例えば図1を用いて説明した検出から補正までの遅延時間による応答遅れの影響を補償することができる。
図9は、補正量予測部708における、X方向又はY方向に係る、算出補正量の時間変化と予測補正量の時間変化との関係の一例を示す図である。
図9において、任意の時刻における予測補正量は、その時刻の算出補正量(最新の補正量とする)と、その最新の補正量が算出された時刻に対して4ms(4周期)前の算出補正量と、その最新の補正量が算出された時刻に対して8ms(8周期)前の算出補正量とを用いて、補正量の時間変化に基づく近似関数(式(10)の導出方法と同様にして導出された二次多項式の近似式)に基づいて、補正量予測部708により算出された2ms後(その最新の補正量が算出された時刻に対して2ms(2周期)後)の補正量の予測値である。
図9に示したように、補正量予測部708による演算によって、予測補正量の時間変化は、算出補正量の時間変化に対して2ms進んだ状態となる。
以上、本実施形態に係る像ブレ補正装置によれば、角速度センサ8の出力信号に基づいて算出された補正量(像面移動量)を基に、簡単な計算により所定時間後(例えば2ms後)の補正量(像面移動量)を予測することによって、演算時間の増加を抑えて、ブレの検出から補正までの遅延時間を短縮できるので、応答遅延による補正性能の低下を防止することができる。
また、本実施形態に係る像ブレ補正装置によれば、補正量演算部707により時間積分等が行われた後に補正量予測部708による予測値の算出が行われることから、仮に、減算部702の出力信号に高周波ノイズが重畳されていたとしても、補正量演算部707による時間積分によって、その高周波ノイズの影響が軽減され、その高周波ノイズによる予測誤差の増大を防止することができる。これは、補正量演算部707による時間積分の演算では、積分回路のゲイン伝達特性と同様に、周波数に反比例して伝達特性のゲイン(利得)が変化するため、仮に、減算部702の出力信号に高周波ノイズが重畳されていたとしても、その高周波ノイズが抑制されるからである。
<第3の実施形態>
本発明の第3の実施形態に係る像ブレ補正装置を含むカメラは、第1の実施形態に係る像ブレ補正装置を含むカメラに対して、更に加速度センサを備える点と、それに伴いブレ補正マイコンの構成及び動作が異なっている。そこで、本実施形態に係る像ブレ補正装置を含むカメラの説明では、その異なる点を中心に説明する。なお、本実施形態では、第1の実施形態で説明した構成要素と同一の構成要素については同一の符号を付して説明する。
図10は、本実施形態に係る像ブレ補正装置を含むカメラの構成例を示す図である。
図10に示したカメラ1は、図3に示したカメラ1に対して、更に、加速度センサ12を含む点が異なる。加速度センサ12は、カメラ1のX方向、Y方向、Z方向のそれぞれの方向の加速度を検出し、ブレ補正マイコン7へ出力する。なお、カメラ1のZ方向はカメラ1の光軸方向であり、カメラ1のX方向はカメラ1の水平方向であり、カメラ1のY方向はカメラ1の垂直方向である。
図10に示したカメラ1のその他の構成は、図3に示したカメラ1と同様であるので、ここでは説明を割愛する。
図11は、本実施形態に係る像ブレ補正装置を含むカメラ1に含まれるブレ補正マイコン7の構成例を示す図である。
図11に示したブレ補正マイコン7は、図4に示したブレ補正マイコン7に対して、更に、SIO75を含むと共に、制御部70が、更に、加速度読出部709と、積分演算部710(710a、710b)と、速度予測部711(711a、711b)を含む点が、異なる。
加速度読出部709は、シリアル入出力インタフェースであるSIO75を制御して、加速度センサ12の出力信号を読み出し、その出力信号から、X方向の加速度とY方向の加速度を取得する。なお、加速度センサ12の出力信号はデジタル信号である。また、加速度センサ12の出力信号は、加速度センサ12の内部にて、既に、基準値が減算されている。ここで、基準値とは、例えば、カメラ1に加速度が与えられていない状態(例えば静止状態)である所定時間の間に加速度センサ12で検出された加速度の値の平均値(時間平均値)である。これにより、加速度センサ12の出力信号に係る加速度の値は、カメラ1に加速度が与えられていない状態では0となる。また、加速度センサ12の出力信号に係る加速度の値は、カメラ1に加速度が与えられている状態では、その方向に応じた符号を持つ。
なお、本実施形態では、このように、加速度センサ12の出力信号がSIO75を介して加速度読出部709に入力される構成であるが、例えば、加速度センサ12の代わりに、出力信号としてアナログ信号を出力する加速度センサを設けると共に、SIO75の代わりにADCを設ける構成としてもよい。
積分演算部710aは、加速度読出部709で取得されたX方向の加速度を時間積分して、X方向の移動速度を算出する。同様に、積分演算部710bは、加速度読出部709で取得されたY方向の加速度を時間積分して、Y方向の移動速度を算出する。
速度予測部711aは、積分演算部710aの出力信号(X方向の移動速度)を基に、移動速度の時間変化に基づく近似関数に基づいて、所定時間後のX方向の移動速度の予測値を算出する。同様に、速度予測部711bは、積分演算部710bの出力信号(Y方向の移動速度)を基に、移動速度の時間変化に基づく近似関数に基づいて、所定時間後のY方向の移動速度の予測値を算出する。なお、速度予測部711(711a、711b)での予測値の算出は、角速度予測部703(703a、703b)での予測値の算出と同様にして行われる。但し、その予測値は、角速度予測部703とタイミングが合うように同期して算出されなければならない。例えば、加速度読出部709による読み出し時間が、信号処理部71での処理時間よりも1ms程度長くなってしまう場合には、角速度予測部703(703a、703b)が所定時間後の値(角速度)を予測していることから、速度予測部711(711a、711b)は、その所定時間に上記の1msを加算した時間後の値(速度)を予測するようにすることが望ましい。例えば、角速度予測部703(703a、703b)が2ms後の値(角速度)を予測している場合には、速度予測部711(711a、711b)は、その2msに上記の1msを加算した3ms後の値(速度)を予測するようにすることが望ましい。
このような構成に伴い、図11に示した補正量演算部704は、角速度予測部703aにより算出された予測値と速度予測部711aにより算出された予測値とに基づいて、X方向の補正量(像ブレ量)を算出すると共に、角速度予測部703bにより算出された予測値と速度予測部711bにより算出された予測値とに基づいて、Y方向の補正量(像ブレ量)を算出する。
図11に示したブレ補正マイコン7のその他の構成は、図4に示したブレ補正マイコン7と同様であるので、ここでは説明を割愛する。
図12は、図11に示した補正量演算部704の構成例を示す図である。
図12に示したように、補正量演算部704は、積分演算部7041(7041a、7041b、7041c、7041d)と、乗算器7042(7042a、7042b、7042c、7042d)と、加算部7043(7043a、7043b)を含む。
なお、この補正量演算部704において、積分演算部7041a、7041bと、乗算器7042a、7042bは、角度ブレ補正部7044の構成要素でもある。また、積分演算部7041c、7041dと、乗算器7042c、7042dは、平行ブレ補正部7045の構成要素でもある。
角度ブレ補正部7044において、積分演算部7041aは、角速度予測部703aの出力信号(予測値(Yaw方向の角速度))を時間積分してカメラ1の回転に伴うYaw方向の角度変化量を求める。同様に、積分演算部7041bは、角速度予測部703bの出力信号(予測値(Pitch方向の角速度))を時間積分してカメラ1の回転に伴うPitch方向の角度変化量を求める。
乗算器7042aは、積分演算部7041aにより求められたYaw方向の角度変化量と、例えばシステムコントローラ6から与えられるレンズ特性に基づくパラメータ(焦点距離、像倍率)とを用いて、次式(11)の乗算式により、撮像面でのX方向のブレ量(像面移動量)を算出する。
δ=(1+β)×f×tanθ 式(11)
但し、δ:像面移動量
f:焦点距離
θ:角度変化量
β:像倍率(被写体像の大きさに対する、結像面の大きさの比)
なお、式(11)から明らかなように、焦点距離(f)及び又は像倍率(β)の値が大きくなるほど、単位時間当たりの像面移動量(δ)が大きくなる。これは、カメラ1の姿勢変化が同じであっても、同様である。このことから、高周波で振幅の小さいブレであっても、焦点距離(f)が長くなる望遠撮影や像倍率(β)が大きくなる近接撮影等といった条件によっては、そのブレが無視できないものとなり、予測による遅延短縮の効果は大きくなると言える。
乗算器7042bは、乗算器7042aと同様に、積分演算部7041bにより求められたPitch方向の角度変化量と、例えばシステムコントローラ6から与えられるレンズ特性に基づくパラメータ(焦点距離、像倍率)とを用いて、式(11)の乗算式により、撮像面でのY方向のブレ量(像面移動量)を算出する。
一方、平行ブレ補正部7045において、積分演算部7041cは、速度予測部711aの出力信号(予測値(X方向の速度))を時間積分してカメラ1の平行移動に伴うX方向の平行移動量を求める。同様に、積分演算部7041dは、速度予測部711bの出力信号(予測値(Y方向の速度))を時間積分してカメラ1の平行移動に伴うY方向の平行移動量を求める。乗算器7042cは、積分演算部7041cにより求められたX方向の平行移動量に、例えばシステムコントローラ6から与えられるレンズ特性に基づくパラメータ(像倍率)を乗算して、撮像面でのX方向のブレ量(像面移動量)を算出する。同様に、乗算器7042dは、積分演算部7041dにより求められたY方向の平行移動量に、例えばシステムコントローラ6から与えられるレンズ特性に基づくパラメータ(像倍率)を乗算して、撮像面でのY方向のブレ量(像面移動量)を算出する。
加算部7043aは、乗算器7042aにより算出されたX方向のブレ量(像面移動量)と、乗算器7042cにより算出されたX方向のブレ量(像面移動量)とを加算して出力する。同様に、加算部7043bは、乗算器7042bにより算出されたY方向のブレ量(像面移動量)と、乗算器7042dにより算出されたY方向のブレ量(像面移動量)とを加算して出力する。
以上、本実施形態に係る像ブレ補正装置によれば、所定時間後の角速度を予測すると共に所定時間後の速度を予測して、それらの予測値に基づいて補正量を算出するようにしたことによって、角度ブレ及び並進ブレ共に、応答遅延による補正性能の低下を防止することができる。
なお、本実施形態に係る像ブレ補正装置を含むカメラ1は、第1の実施形態に係る像ブレ補正装置を含むカメラ1に対して、更に加速度センサ12を備える点と、それに伴いブレ補正マイコン7の構成及び動作が異なるものであったが、例えば、第2の実施形態に係る像ブレ補正装置を含むカメラ1に対して、更に加速度センサ12を備える点と、それに伴いブレ補正マイコン7の構成及び動作が異なるものとしてもよい。この場合、例えば、図11に示した、加速度センサ12から速度予測部711(711a、711b)までの構成が、図7に示した構成に追加されると共に、その速度予測部711(711a、711b)の出力が図7に示した補正量予測部708の出力に加算されて駆動制御部705に入力されるようになる。
以上、第1乃至第3の実施形態に係る像ブレ補正装置を含むカメラについて説明したが、各実施形態に係る像ブレ補正装置を含むカメラは種々の変形が可能である。
例えば、各実施形態に係る像ブレ補正装置を含むカメラにおいて、駆動部5は、撮像素子4を結像面上に移動させることによって像ブレを補正するものであったが、その代わりに、光学系2に含まれるレンズを光軸に対して垂直方向に移動させることによって像ブレを補正するようにしてもよい。なお、この場合の駆動部5は、光学系に含まれるレンズを光軸に対して垂直方向に移動することによって像ブレを補正するブレ補正部の一例である。
本発明は、上記実施形態をそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、様々の発明を形成できる。例えば、実施形態にしめされる全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1 カメラ
2 光学系
3 シャッター
4 撮像素子
5 駆動部
6 システムコントローラ
7 ブレ補正マイコン
8 角速度センサ
9 レリーズSW
10 EVF
11 メモリカード
12 加速度センサ
70 制御部
71 信号処理部
72 ドライバ
73 ADC
74、75 SIO
701 基準算出部
702 減算部
703 角速度予測部
704 補正量演算部
705 駆動制御部
706 通信部
707 補正量演算部
708 補正量予測部
709 加速度読出部
710 積分演算部
711 速度予測部
7031 保持バッファ
7032 予測演算部
7041 積分演算部
7042 乗算器
7043 加算部
7044 角度ブレ補正部
7045 平行ブレ補正部
7081 保持バッファ
7082 予測演算部

Claims (6)

  1. 撮像装置の姿勢変化に基づく像ブレを補正する像ブレ補正装置であって、
    被写体像を結像する光学系と、
    前記光学系によって結像された被写体像を撮像する撮像素子と、
    前記光学系に含まれるレンズを光軸に対して垂直方向に移動すること、又は、前記撮像素子を結像面上に移動することによって、像ブレを補正するブレ補正部と、
    前記撮像装置の姿勢変化量を、所定の検出時間周期毎に検出するブレ検出部と、
    前記ブレ検出部により、現時点である第1の時間に検出された第1の姿勢変化量、および前記第1の時間とは異なる時刻となる第2の時間、および第3の時間に検出された第2の姿勢変化量、および第3の姿勢変化量を保持する保持部と、
    前記保持部に保持された前記第1の姿勢変化量と、前記第2の姿勢変化量と、前記第3の姿勢変化量に基づき、前記姿勢変化量の時間変化に基づく予め設定された定数である複数の係数値を有する近似関数に基づいて、前記第1の時間から所定時間後となる第4の時間での姿勢変化量の予測値である第4の姿勢変化量を算出する予測部と、
    前記予測部により算出された第4の姿勢変化量に基づいて、前記被写体像の移動量である像ブレ量を算出するブレ量算出部と、
    前記ブレ量算出部により算出された像ブレ量に基づいて、前記ブレ補正部による前記レンズ又は前記撮像素子の移動量を算出する駆動制御部と、
    を備えており、前記複数の係数値は、前記第1の時間と、前記第2の時間との間の時間間隔、および前記第1の時間と、前記第3の時間との間の時間間隔によってそれぞれ決まる値であることを特徴とする像ブレ補正装置。
  2. 撮像装置の姿勢変化に基づく像ブレを補正する像ブレ補正装置であって、
    被写体像を結像する光学系と、
    前記光学系によって結像された被写体像を撮像する撮像素子と、
    前記光学系に含まれるレンズを光軸に対して垂直方向に移動すること、又は、前記撮像素子を結像面上に移動することによって、像ブレを補正するブレ補正部と、
    前記撮像装置の姿勢変化量を、所定の検出時間周期毎に検出するブレ検出部と、
    前記ブレ検出部によって検出された前記姿勢変化量に基づく前記被写体像の移動量である像面移動量を検出する像面移動量検出部と、
    前記像面移動量検出部により、現時点である第1の時間に検出された第1の像面移動量、および前記第1の時間とは異なる時刻となる第2の時間、および第3の時間に検出された第2の像面移動量、および第3の像面移動量を保持する保持部と、
    前記保持部に保持された第1の像面移動量と、第2の像面移動量と、第3の像面移動量に基づき、前記像面移動量の時間変化に基づく予め設定された定数である複数の係数値を有する近似関数に基づいて、前記第1の時間から所定時間後となる第4の時間での像面移動量の予測値である第4の像面移動量を算出する予測部と、
    前記予測部により算出された前記第4の像面移動量に基づいて、前記ブレ補正部による前記レンズ又は前記撮像素子の移動量を算出する駆動制御部と、
    を備えており、前記複数の係数値は、前記第1の時間と、前記第2の時間との間の時間間隔、および前記第1の時間と、前記第3の時間との間の時間間隔によってそれぞれ決まる値であることを特徴とする像ブレ補正装置。
  3. 請求項1又は2記載の像ブレ補正装置であって、
    前記予測部により算出される前記第4の時間での予測値は、前記ブレ検出部又は前記像面移動量検出部による検出が行われた時刻である前記第1の時間から前記ブレ補正部による補正が行われるまでの処理時間に相当する時間後の値であることを特徴とする像ブレ補正装置。
  4. 請求項1又は2記載の像ブレ補正装置であって、
    前記予測部が前記近似関数の算出の際に用いる3つの姿勢変化量又は像面移動量が前記ブレ検出部又は前記像面移動量検出部により検出された時刻である前記第1の時間と前記第2の時間の時間間隔および前記第1の時間と前記第3の時間の時間間隔は、所定の検出時間周期毎に対して2の累乗の時間であることを特徴とする像ブレ補正装置。
  5. 請求項1記載の像ブレ補正装置であって、
    前記ブレ検出部は、
    前記光学系の光軸方向に対して垂直となる方向を回転軸としたピッチ方向、またはヨー方向の回転方向となる前記撮像装置の回転姿勢変化に伴う角速度を、前記所定の検出時間周期毎に検出する角速度センサと、
    前記光学系の光軸方向に対して垂直方向、または水平方向となる前記撮像装置の平行移動姿勢変化に伴う加速度を、所定の検出時間周期毎に検出する加速度センサと、
    前記加速度センサが検出した加速度を積分演算して、前記撮像装置の平行移動姿勢変化に伴う移動速度を、所定の検出時間周期毎に算出する積分部と、
    を有しており、
    前記姿勢変化量は、前記角速度と前記移動速度からなる状態量であり、
    前記保持部は、前記角速度センサにより、現時点である第1の時間に検出された第1の角速度と、前記第1の角速度とは異なる時刻となる第2の時間、および第3の時間に検出されたそれぞれの角速度である第2の角速度、および第3の角速度とを保持すると共に、前記第1の時間に前記積分部が算出した第1の移動速度と、前記第2の時間に算出された第2の移動速度と、および前記第3の時間に算出された第3の移動速度とを保持し、
    前記予測部は、
    前記保持部に保持された前記第1の角速度と、前記第2の角速度と、前記第3の角速度に基づき、前記角速度姿勢変化量の時間変化に基づく予め設定された係数値を有する近似関数に基づいて、前記第1の時間から所定時間後となる第4の時間での角速度姿勢変化量の予測値である第4の角速度を算出する角速度予測部と、
    前記保持部に保持された前記第1の移動速度と、前記第2の移動速度と、前記第3の移動速度に基づき、前記移動速度の時間変化に基づく予め設定された係数値を有する近似関数に基づいて、前記第1の時間から所定時間後となる第4の時間での移動速度の予測値である第4の移動速度とを算出する速度予測部と、
    を有し、
    前記ブレ量算出部は、前記角速度予測部により算出された前記第4の角速度と、前記速度予測部によって算出された前記第4の移動速度からなる予測値に基づいて、像ブレ量を算出することを特徴とする像ブレ補正装置。
  6. 請求項1乃至の何れか一項に記載の像ブレ補正装置を備えることを特徴とする撮像装置。
JP2013151511A 2013-07-22 2013-07-22 像ブレ補正装置及び撮像装置 Active JP6017381B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013151511A JP6017381B2 (ja) 2013-07-22 2013-07-22 像ブレ補正装置及び撮像装置
PCT/JP2014/067614 WO2015012076A1 (ja) 2013-07-22 2014-07-02 像ブレ補正装置及び撮像装置
CN201480039905.8A CN105378555B (zh) 2013-07-22 2014-07-02 像抖动校正装置以及摄像装置
US14/993,291 US9591223B2 (en) 2013-07-22 2016-01-12 Image blur correction apparatus and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013151511A JP6017381B2 (ja) 2013-07-22 2013-07-22 像ブレ補正装置及び撮像装置

Publications (3)

Publication Number Publication Date
JP2015022215A JP2015022215A (ja) 2015-02-02
JP2015022215A5 JP2015022215A5 (ja) 2016-08-12
JP6017381B2 true JP6017381B2 (ja) 2016-11-02

Family

ID=52393126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013151511A Active JP6017381B2 (ja) 2013-07-22 2013-07-22 像ブレ補正装置及び撮像装置

Country Status (4)

Country Link
US (1) US9591223B2 (ja)
JP (1) JP6017381B2 (ja)
CN (1) CN105378555B (ja)
WO (1) WO2015012076A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6069148B2 (ja) * 2013-09-19 2017-02-01 日立オートモティブシステムズ株式会社 車両制御装置
JP6454869B2 (ja) * 2014-03-24 2019-01-23 パナソニックIpマネジメント株式会社 撮像装置
WO2016103746A1 (ja) * 2014-12-25 2016-06-30 オリンパス株式会社 撮像装置
US10097758B2 (en) * 2015-11-18 2018-10-09 Casio Computer Co., Ltd. Data processing apparatus, data processing method, and recording medium
JP6682336B2 (ja) * 2016-04-20 2020-04-15 オリンパス株式会社 カメラシステム、及びカメラ本体
CN109791342B (zh) * 2016-09-15 2021-02-02 富士胶片株式会社 摄像装置及其抖动检测装置、抖动校正装置、抖动检测方法
JP2020095069A (ja) 2017-03-31 2020-06-18 株式会社ニコン 撮像装置
KR101973095B1 (ko) * 2017-05-31 2019-04-26 주식회사 동운아나텍 카메라 모듈에서의 데이터 전송방법
WO2019008692A1 (ja) 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP7236268B2 (ja) * 2018-01-15 2023-03-09 キヤノン株式会社 像ブレ補正装置、交換レンズ、カメラ本体、像ブレ補正方法、及びプログラム
JP2019145956A (ja) 2018-02-19 2019-08-29 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
AU2019297514B2 (en) 2018-07-03 2023-02-23 Crane & Co., Inc. Security document with attached security device which demonstrates increased harvesting resistance
CN109788200B (zh) * 2019-01-31 2021-04-06 长安大学 一种基于预测分析的摄像稳定控制方法
CN110235431B (zh) * 2019-04-30 2021-08-24 深圳市大疆创新科技有限公司 电子增稳方法、图像采集设备、可移动平台
JP7325216B2 (ja) 2019-05-08 2023-08-14 キヤノン株式会社 防振制御装置及び方法、及び、撮像装置
JP2020190690A (ja) * 2019-05-23 2020-11-26 オリンパス株式会社 像ぶれ補正装置、像ぶれ補正方法、及び像ぶれ補正プログラム
JP7449071B2 (ja) * 2019-10-30 2024-03-13 キヤノン株式会社 防振装置及び方法、及び撮像装置
WO2021111542A1 (ja) 2019-12-04 2021-06-10 オリンパス株式会社 撮像装置
EP4379460A1 (en) * 2021-07-28 2024-06-05 Sony Group Corporation Inertial measurement unit, method for operating inertial measurement unit, imaging device, display device, and program

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237365A (en) * 1990-10-15 1993-08-17 Olympus Optical Co., Ltd. Exposure control apparatus for camera with shake countermeasure
JP3238449B2 (ja) * 1992-01-24 2001-12-17 オリンパス光学工業株式会社 撮影装置の手ぶれ防止装置
US5786853A (en) * 1994-04-12 1998-07-28 Canon Kabushiki Kaisha Lens control device
JPH089222A (ja) * 1994-06-17 1996-01-12 Canon Inc 視線検出機能付き撮像装置
JPH0846846A (ja) * 1994-07-29 1996-02-16 Canon Inc 撮像装置
JPH0946574A (ja) * 1995-07-26 1997-02-14 Matsushita Electric Ind Co Ltd 画像動き補正装置
JP4511766B2 (ja) * 2000-07-10 2010-07-28 株式会社リコー 撮影装置および撮影装置における振れ補正方法
JP2002099014A (ja) * 2000-09-22 2002-04-05 Nikon Corp 信号予測装置及びこれを具えたカメラ
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
JP2004241068A (ja) 2003-02-07 2004-08-26 Sony Corp 電子機器及びその再生制御方法
JP2005189654A (ja) * 2003-12-26 2005-07-14 Konica Minolta Photo Imaging Inc 手振れ補正機構を備えたカメラ
JP2006139095A (ja) 2004-11-12 2006-06-01 Fuji Photo Film Co Ltd 手振れ補正方法、手振れ補正装置及び撮像装置
US7424212B2 (en) 2004-11-12 2008-09-09 Fujifilm Corporation Camera shaking correcting method, camera shaking correcting device, and image pickup device
JP4789789B2 (ja) * 2006-12-12 2011-10-12 キヤノン株式会社 撮像装置
JP4757185B2 (ja) * 2006-12-20 2011-08-24 キヤノン株式会社 光学機器
US8330824B2 (en) * 2007-11-09 2012-12-11 Panasonic Corporation Camera, camera system, and camera body
JP5274130B2 (ja) * 2008-07-15 2013-08-28 キヤノン株式会社 像振れ補正装置及び光学機器、撮像装置並びに像振れ補正装置の制御方法
JP5072764B2 (ja) 2008-08-01 2012-11-14 キヤノン株式会社 光学機器及びカメラシステム
JP5284169B2 (ja) * 2009-04-07 2013-09-11 キヤノン株式会社 像振れ補正装置およびそれを具備する光学機器、撮像装置
US8111272B2 (en) * 2009-07-30 2012-02-07 Lexmark International, Inc. Method for compensating misalignment errors in electrophotographic device
JP5529552B2 (ja) 2010-01-12 2014-06-25 キヤノン株式会社 防振制御装置及び方法
JP5520071B2 (ja) * 2010-02-05 2014-06-11 キヤノン株式会社 像振れ補正装置および像振れ補正装置を備えた光学機器、撮像装置、像振れ補正装置の制御方法
JP2013097970A (ja) * 2011-10-31 2013-05-20 Canon Inc 電子機器
JP2013254432A (ja) * 2012-06-08 2013-12-19 Canon Inc 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US20160127649A1 (en) 2016-05-05
WO2015012076A1 (ja) 2015-01-29
US9591223B2 (en) 2017-03-07
JP2015022215A (ja) 2015-02-02
CN105378555B (zh) 2018-04-03
CN105378555A (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
JP6017381B2 (ja) 像ブレ補正装置及び撮像装置
US10313593B2 (en) Image stabilization apparatus and image stabilization method
JP6682360B2 (ja) 防振制御装置、光学機器、防振制御方法および防振制御プログラム
JP5409342B2 (ja) 撮像装置及びその制御方法
JP6530602B2 (ja) 撮像装置及びその制御方法
US9277102B2 (en) Audio processing apparatus, audio processing method and imaging apparatus
JP2017090580A (ja) 像ブレ補正装置及び方法
JP2016024235A (ja) 撮像装置およびその制御方法
CN108668074B (zh) 图像模糊校正装置及其控制方法、摄像设备和存储介质
JP2012078495A (ja) 撮像装置、ブレ補正装置及びブレ補正方法
JP2012168420A (ja) 撮像装置およびその制御方法
JP2019124871A (ja) 像振れ補正装置およびその制御方法、撮像装置
JP2007208832A (ja) デジタルカメラ
JP6171576B2 (ja) ブレ補正装置及び光学機器
JP6759019B2 (ja) ブレ補正装置およびその制御方法、撮像装置
JP6555937B2 (ja) 画像処理装置及びその制御方法、撮像装置
JP7495800B2 (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2015102745A (ja) ブレ補正装置、レンズ鏡筒及びカメラ
JP7214424B2 (ja) 撮像装置およびその制御方法
JP7073078B2 (ja) 撮像装置およびその制御方法
JP7204855B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP4759238B2 (ja) 光学機器
JP6590013B2 (ja) 交換レンズおよび撮像装置
JP6579900B2 (ja) 像ブレ補正装置及び方法
WO2020012960A1 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160928

R151 Written notification of patent or utility model registration

Ref document number: 6017381

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250