JP3548268B2 - Camera shake prediction device - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、撮影装置の手ぶれによる撮像画質の劣化を防止する装置に関し、特に手ぶれ振動等による撮影装置の移動を補正する手ぶれ予測装置に関する。
【０００２】
【従来技術】
従来よりスチルカメラやビデオカメラの様な撮影装置の手ぶれによる画像の劣化の防止やその画像を改善する機能を有する装置が提案されている。例えば、機械的な振動検出器を用い検出した信号に応じて、撮影装置の光学系をぶれないように補正駆動したり、ＣＣＤなどの電子撮像素子においては、読出しを行うアドレスを補正する等の対策が採れていた。また、画像の撮影速度を向上させたり、ぶれの大きい場合にあっては、その撮影を禁止する等の方法が採用されていた。その他には、手ぶれ状態で撮影された画像を所定の画像処理により精細な画像に再現する方法もある。
【０００３】
【発明が解決しようとする課題】
前者のようなリアルタイムに手ぶれ信号を補正する方式においては、手ぶれ振動に対応して光学系、電子撮像装置に所定の補正処理を施すのであるが、実際には、手ぶれ振動の検出素子や、光学系補正のための機械的な駆動装置の反応時間（ レスポンス） や、撮像素子までに光路を導く装置の動作時間などがかかるために、手ぶれ検出の実時刻から、撮影装置が撮影動作を行う時の手ぶれ振動を予測して、光学系などの補正を行わなければならない。予測の方法としては、手ぶれ信号を周期的変動として近似して補正を行う方法や、フーリエ変換による特徴的な周波数の「揺らぎ」として近似する方法がある。しかしながら、実際の手ぶれ信号は非周期的な変動である故に、前者の近似による方法は適切とは言えない。
【０００４】
また、フーリエ変換による方式では、「揺らぎ」の時間的情報が失われてしまうので関連する計算が複雑であるにも関わらず、その予測精度は望ましくはない。
【０００５】
これらの補正の方法に対し、手ぶれの検出時刻から予測時刻までの変動を線形な関数と考えて、過去の手ぶれ振動の波形から線形な時間的関数の係数を逐次決定し予測を行う手法が、特願平４−１１２２５ 号公報、特願平４−１１３７２ 号公報、特願平４−１１３７３ 号公報、特願平４−１１２７８０号公報および特願平３−３４２４４１号公報に提案されている。
【０００６】
しかしながら、これらの従来技術の手法では、予測可能な時間が短いとともに、手ぶれ信号そのものに起因するいわゆる「ホワイトノイズ」的な小振幅の揺らぎ成分と手ぶれ振動のセンサの感度や測定系の量子化に伴う測定誤差成分の予測値に対する影響を考慮していない。
【０００７】
以上のように、従来の手ぶれ防止装置にはまだ実用上におけるいろいろな不具合を解決することが依然としてある。本発明の課題は、従来よりも効果的な手ぶれ防止を実現し、カメラ等の撮影装置の手ぶれ振動の検出器の応答時間、光学系の補正装置の動作時間および撮像系の動作時間を十分に考慮することである。
【０００８】
本発明の目的は、不規則な手ぶれ振動の長時間の予測が可能な不規則信号予測機能を有する手ぶれ予測装置を提供することにある。
【０００９】
【課題を解決するための手段】
そこで本発明は上記の課題に鑑みてなされた手ぶれ防止装置である処の手ぶれ予測装置であり、その課題を解決し上述の目的を達成するために次のような手段を講じている。
【００１０】
本発明の予測装置は、撮影装置の手ぶれ予測装置であって、手ぶれ振動を検出し電気信号に変換する検出手段と、前記検出手段からの時系列信号のうちの所定の数の信号を抽出し、それぞれを多次元空間の座標の各成分とすることによって、時系列信号を多次元空間内の点に対応させる軌跡生成手段と、前記軌跡生成手段で生成された多次元空間内の複数の点の時系列に基づいて、多次元空間内で時系列的に次に配置される点を予測する予測手段とを有することを特徴とする。
【００１１】
【作用】
以上の手段を有する手ぶれ予測装置は次のような作用を奏する。
【００１２】
撮影者固有の手ぶれ信号は検出手段により検知され電気信号に変換される。時系列的に抽出された所定数の電気信号は、軌跡生成手段により多次元空間の座標の各成分としてその多次元空間内の点に対応づけられる。そして、予測手段によってこの多次元空間内において時系列的に次に配置されるべき点が予測される。その結果、検知された手ぶれ信号を基にして局所線形化の手法が適用されることにより、所定時間後の点の位置、即ちぶれの状態が予測される。
【００１３】
【実施例】
まず最初に、本発明に適用する不規則時系列の予測のための主な２つの手法について説明する。
【００１４】
（１）「Ｊａｃｏｂｉ法」：
局所線形化予測の原理について解説する。すなわち、
手ぶれ信号検出部によって検出された信号は、直交座標系 ｘ， ｙ， ｚ の１つの座標軸方向の変異（変位）に関してみれば、１次元の時系列 ｓ_ｉ ， ｉ＝１，２，３，．．．Ｎより以下のような時系列の組によるベクトルを構成する。
【００１５】
【数１】

【００１６】
図５（ａ） には時系列における手ぶれ信号のｘ軸方向の変位が示されている。上式のｄは「埋め込み次元」と呼ばれるものであり、また、図５（ｂ） が示すｘ_ｉ の描く軌道を「アトラクタ」と呼ぶ。これらの図には１次元の時系列から３次元のアトラクタを構成する様子が示されている。このアトラクタ上のｉ番目の点からある経過時間ｍ後のｉ＋ｍ 番目の点までの「写像」を、形式的にｘ_ｉ＋ｍ ＝ｆ_ｍ （Ｘ_ｉ ） と表現する。予測問題としては、現在の状態から所定時間後の状態への「写像」を表すこの関数の近似解を求めることである。ここでは、１次近似について次に述べる。測定によって記録された過去のデータから、ｘ_ｊ とｘ_ｊ＋ｍ が既知であると仮定すると、ｘ_ｊ の近傍の点ｘ_ｊ ＋δｘのｍステップ後の状態は級数展開を用いて次式のように表される。
【００１７】
【数２】

【００１８】
ここで、Ｄ_ｆｍ（ｘ_ｊ ）は、ｘ_ｊ のまわりでの「Ｊａｃｏｂｉ行列」と呼ばれるが、例えばｘが３次元においてｉ， ｊ， ｋの３成分をもつものとして写像がこれら各成分ごとに次式のような３つの関数ｆ_１ ，ｆ_２ ，ｆ_３ で表現できると仮定する。
【００１９】
【数３】

【００２０】
このとき、Ｊａｃｏｂｉ行列は次のような行列式で表される。
【００２１】
【数４】

【００２２】
Ｏ（２） は、δｘに関して２次以上の高次の項を表している。１次近似ではδｘの値は十分に小さいと仮定して、２次以上の高次項を０と考える。従って、Ｊａｃｏｂｉ行列を近似的に求めることができれば、式（ ２） を近似的に表すことができる。
【００２３】
ここで図６を用いて説明すると、与えられた時系列で基準となる点ｘ_ｊ とその点の所定時間後の状態およびｘ_ｊ の近傍の点とその時間後の状態が既知のものとして与えられている場合に、Ｊａｃｏｂｉ行列を近似的に求める方法を説明する。現在予測したい点をｘ_ＮＯＷ とする。次にアトラクタ上のｘ_ＮＯＷ からの最近接点ｘ_ｊ を探し、これを写像の基準点とする。次にｘ_ｊ の周り半径ε_ｍａｘ 以内にアトラクタ上の点の集合｛ｘ_ｋｉ｜‖ｘ_ｋｉ−ｘ_ｊ ‖ ＜ ε_ｍａｘ ｝を ｘ_ｋｉ， ｉ ＝１，２，・・，Ｎとする。次にこれらの点のｘ_ｊ に対する偏差ベクトルをｙ_ｉ ＝ｘ_ｋｉ−ｘ_ｊ とする。また、ｘ_ｊ およびｘ_ｋｉをτ＝ｍΔｔ（ 但し、Δｔは測定の時間分解能、離散時系列ではτ＝ｍ）だけ時間発展した後の偏差ベクトルをｚ_ｉ ＝ｘ_ｋｉ＋ｍ−ｘ_ｊ＋ｍ とする。これらの間の写像を形式的に次式のように表す。
【００２４】
【数５】

【００２５】
ここで、Ａ_ｊ は、以下のように表される行列である。
【００２６】
【数６】

【００２７】
ただし、Ｃ，Ｖは「共変行列」と呼ばれるもので、次の二式で表されるｋ行ｌ列の要素を持っている。すなわち、
【数７】

【００２８】
【数８】

【００２９】
ここで、ｙ^ｉ _ｌ ，ｚ^ｉ _ｋ はｙ^ｉ ，ｚ^ｉ のｌ 番目およびｋ 番目の成分を表している。
【００３０】
次に、ｘ_ＮＯＷ とｘ_ｊ の偏差ベクトルをγとすると、ｘ_ＮＯＷ のｍ点後の予測ベクトルは次式のように表せる。
【００３１】
【数９】

【００３２】
前述の式１の定義によれば、ｘ_{ＮＯＷ＋ｍ} の１番目の要素は現在からｍステップ後のスカラ変数の予測値である。
【００３３】
以上のように、Ｊａｃｏｂｉ行列を求めるいわゆる「Ｊａｃｏｂｉ法」によるアルゴリズムを適用することにより上記の予測値を求めることができ、この値を基にして手ぶれの補正制御にも使用できる。
【００３４】
次に、本発明に適用するもう１つの予測手法を説明する。
（２）「正規直交基底法」：
前述の計算手法では、逆行列Ｖ^−１の計算が含まれる。この計算は複雑であり、行列Ｖが正則行列であってもしばしば誤差を生じることがある。そこで次に図７（ａ） 〜（ｄ） を参照しながら、前述の手法を簡素化して逆行列の計算を含まずに予測値を与える当手法について説明する。
【００３５】
まず前述の式（ １） と同様に、埋め込み次元ｄでアトラクタを構成する。ここで、ｘ_ＮＯＷ に接近している点をその近い順にｘ_ｐ１，ｘ_ｐ２，ｘ_ｐ３，・・・，ｘ_ｐｋ，ｋ ＝ｄ とする。（参照：図７（ａ） ）
実際にアトラクタ上の接近点を高速に計算する方法としては、先行技術である特願平５−２１２９７６号公報に詳しく教示されている。
【００３６】
次に、これらの点の重心Ｒとする。（参照：図７（ｂ） ）
重心とｘ_ｐｉ ｉ＝１，２，３，・・ｄ の偏差ベクトルをξ_ｉ 、ｘ_ＮＯＷ の偏差ベクトルをξとする。（参照：図７（ｃ） ）
ξ_ｉ ｉ＝ １，２，３， ・・ｄ から次の正規直交系を求める。（参照：図７（ｄ） ）
【数１０】

【００３７】
ただし、‖‖はベクトルのノルムであり、〈， 〉は内積である。
【００３８】
次に、直交系とξとの内積を次式のように定義する。
【００３９】
【数１１】

【００４０】
この定義により、ξは直交基底Ｖ_ｍ を用いて次式のように表される。
【００４１】
【数１２】

【００４２】
次に、重心および偏差ベクトルのｍステップ後の状態をそれぞれ次のように定義する。
【００４３】
【数１３】

【００４４】
ここで、ｘ_{ＮＯＷ＋ｍ} だけは未知の点であり、これを求めることが予測問題である。ここで再び正規直交系を求め、次式のように表す。
【００４５】
【数１４】

【００４６】
【数１８】

【００４７】
【数１５】

【００４８】
ｍステップ後を予測したベクトルは次式のように表される。
【００４９】
【数１６】

【００５０】
この方法は図８が示すように、ｍステップ後の写像によって正規直交基底がどの様になっているかということを表わして新たな直交系Ｖ_ｉ と以前の係数の組Ｌ_ｉ を用いて未知の点の予測値を与えるものである。
【００５１】
以上のように、「正規直交基底法」によるアルゴリズムを適用することにより上記のような予測値を求めることができ、この値を手ぶれの補正制御にも使用できる。
【００５２】
次にその他の手法として、測定値の微小な「揺らぎ」を考慮して、「平滑化」による上述の写像に関する予測値の補正を行う手法について説明する。
【００５３】
測定値の微小な揺らぎをキャンセルする方法には、数値的に移動平均をとる方法、電気的に帯域制限を行うフィルタを利用する方法、等があげられる。ここでは、上記の「局所線形化の手法」に付加できるような方法について述べる。
【００５４】
アトラクタ上でｘ_ｉ からｘ_ｉ＋ｍ までの運動ベクトルを平均化する方法として次式に与えられるようなｘ’ _ｉ＋ｍ をｘ_ｉ＋ｍ の代わりの値として用いる。
【００５５】
【数１７】

【００５６】
あるいは、ｘ_ｉ からｘ_ｉ＋ｍ までの運動を各成分ごとに追跡してそれをローパスフィルタを用いて周波数の高い成分の揺らぎを遮断した軌跡でのｍ点後の値、ｘ’ _ｉ＋ｍ をｘ_ｉ＋ｍ の代わりの値として用いる方法が考えられる。この様な平均化操作を備えたＪａｃｏｂｉ法による局所線形化によって行う予測について、図９（ ａ） 〜（ ｅ） を参照しながら説明する。
【００５７】
まず、図９（ ａ） に示すように、予測したい点ｘ_ｉ の近傍の点ｘ_ｏ を探し出し、そのｘ_ｏ からｘ_ｏ＋ｍ までの軌跡を追跡して平均化するような補正値ｘ’ _ｏ＋ｍ を求める。
【００５８】
図９（ ｂ） に示すように、上記のｘ_ｏ を基準点としてそのε近傍の点Ｘ_ｏ （ｋ） ｋ ＝１，２，・・，Ｎを探索する。また、図９（ ｃ） に示すように、ｘ_ｏ の近傍の点についても前述と同様にｍステップ後までに軌跡を追跡して平均化のための操作を行う。
【００５９】
次に、図９（ ｄ） に示されるように、上述の手順で構成したｘ_ｏ とｘ_ｏ （ｋ） を用いて、前述の図６の説明の手法によってＪａｃｏｂｉ行列Ａの計算を行う。そして、図９（ ｅ） の示すように、ｘ_ｉ とｘ_ｏ の偏差ベクトルにＪａｃｏｂｉ行列Ａを作用させて求める予測値ｘ_ｉ＋ｍ を得ることができる。
【００６０】
以下に、図面を参照して本発明に係わる実施例ついて説明する。
【００６１】
（第１実施例）
図１には本発明の第１実施例に係る手ぶれ予測装置の構成が機能ブロック図で示されている。画像撮影装置の手ぶれ防止装置において、第１実施例としての本発明の装置は、例えばジャイロ式角速度センサからなる手ぶれ信号検出部１０１と、検出された信号を記憶する手ぶれ信号記録部１０２と、記録した手ぶれ信号の時系列から指定時間後の手ぶれ信号の状態を予測する予測演算部１０３と、状態予測を基にしてモーターまたはボイスコイルから成る画像撮影装置の光学系の光軸を機械的に補正するアクチュエータ１０５へ動作信号を生成する補正信号演算部１０４から構成されている。
【００６２】
不規則な手ぶれ信号に関わる小信号の「揺らぎ成分」および計測に関わる誤差成分を統計的に処理して平滑化を図ることが考えられるが、この平滑化の操作は、前述の図１が示す第１実施例の構成においては、信号記録部１０２に記録された信号から移動平均などの数値演算によって平滑化を行うこともよい。
【００６３】
この第１実施例によれば、信号記録部１０２が手ぶれ信号検出部１０１によって検出された手ぶれ振動の時系列信号の現在までの状態を記録する。予測演算部１０３に対してあらかじめ、予測を行う時間と局所線形化を行う際の線形化行列の次元と線形化に必要な過去のデータのサンプル数を設定しておく。この予測演算部１０３では記録された信号から現在の状態に近い過去の履歴を選び出して「局所線形化」を行う。（但し、実際の「局所線形化」の詳細な手法については後述する。）
局所線形化の手法により、現在から所定時間後のぶれの状態を予測する。補正信号演算部１０４は予測した値を電気信号に変換して画像撮影装置の撮像光学系１０６の光軸を機械的に補正するアクチュエータ１０５への動作信号を生成する。以上の作用によりこのアクチュエータは光軸を手ぶれによる移動を補正するように調整し、手ぶれの補正制御を行う。
【００６４】
図２に示された構成は前述の第１実施例の１つの変形例に係るものである。この構成の特徴は、信号の「揺らぎ成分」および計測に関わる誤差成分を平滑化するために、角速度センサ１０１と信号記録部１０２との間にアナログ信号の低域ろ過のための平滑化処理部１０７（フィルタ手段）を配設したものである。
【００６５】
図示のように、手ぶれ信号検出部１０１で検出された信号は、この平滑化処理部（例えば高周波フィルタ）１０７を通過することで高周波の成分が除かれ、その信号が信号記録部１０２に送られる。
【００６６】
変形例によれば、平滑化処理部１０７で処理された誤差信号を予測演算部１０３に読み込ませ、後述する所定のアルゴリズムを利用する方法による予測手段のパラメータを変化させて誤差を最小になるように「学習」させる。これにより、撮影者固有の手ぶれ信号の特徴が学習され、信号記録部に一時記憶される。
【００６７】
次に、図３に示された構成は、前述の第１実施例のその他の変形例に係るものである。この構成の特徴は、誤差演算部１０８を前述の角速度センサ１０１と予測演算部１０３との間に配設したことである。予測演算部１０３で予測された数値と実際に計測された手ぶれ信号をこの誤差演算部１０８に送り込み、予測値と実際の計測値との誤差を計算する。そしてこの算出された誤差を予測演算部１０３にフィードバックすることを特徴とする。
【００６８】
この変形例によれば、予測値と実際の計測値との誤差が計算によって求められるので、その誤差値に基づいて制御および予測の補正処理を行う。その結果、補正制御等の精度の向上が図れる。
【００６９】
（第２実施例）
次に、図４には本発明の手ぶれ予測装置の第２実施例に係る構成が機能ブロック図で示されている。
【００７０】
撮像装置が前述の第１実施例のような光学撮像装置ではない電子撮像素子２０１から成る場合に、第１実施例の構成要素であったアクチュエータ１０５の代わりに、電子撮像素子２０１の画素のアドレスを補正する信号を生成する画素補正信号演算部２０５を備えることを特徴とする手ぶれ予測装置である。また、手ぶれ信号検出部を構成する要素として、この電子撮像素子２０１からの信号を基にぶれを検出するセンサとしての動きベクトル検出部２０２を備えている。このような構成の装置において、予測演算部２０４が現在の状態から所定時間後のぶれの状態を予測するとき、過去の手ぶれ振動データの履歴から局所的な「線形射像関数」を生成してその予測を行う。
【００７１】
また、この予測演算部２０４においては、不規則な手ぶれ信号に関わる小信号の「揺らぎ成分」および計測に関わる誤差成分を統計的に処理して平滑化を行い、局所的な線形射像関数を生成して予測を行うことを特徴とする。
【００７２】
本第２実施例によれば、画素補正信号演算部２０５が、画像を取り込む電子撮像素子２０１の画素のアドレスを補正する信号を生成する。また、動きベクトル検出部２０２は、電子撮像素子２０１からの信号を基に手ぶれの検出センサとして機能する。そして予測演算部２０４が撮影者固有の不規則な信号記録部２０３に蓄積された過去からの手ぶれ振動データ（ 即ち、履歴） を基にして、局所的な線形射像関数の生成および、信号の「揺らぎ成分」や計測誤差成分を統計処理して平滑化を図り予測を行う。
【００７３】
（実施例の動作１）
次に、本実施例の装置の動作について図１０〜図１３を参照しながら説明する。図１０には、図１〜図４に示した装置の予測演算部１０３，２０４が行う処理手順が前述の「Ｊａｃｏｂｉ法」に基づいて流れ図で示されている。
【００７４】
まず手ぶれの予測を行うに際して、あらかじめ手ぶれ検出部の応答速度および、撮像系の動作時間を考慮して予測する時間ｍを計算しておき、予測演算部にこの値を設定する（Ｓ１）。
【００７５】
線形化を行う次元を設定する（Ｓ２）。
【００７６】
線形化を行うに当たって必要な過去の履歴の測定点数ｎを設定する（Ｓ３）。
【００７７】
設定した点数の手ぶれの測定を図１〜図４の要素１０１と１０２を含む手ぶれ信号検出部で検出し、図１〜図４の信号記録部１０２，２０２で記録しておく。予測は記録された最も新しいデータｓ（ ｎ） について行う。式（ １） の方法によってこのｓ（ ｎ） について再編成ベクトルを構成する（Ｓ５）。
【００７８】
次に再編成の状態空間でｘ_ｎ の最近接点を求めるが、近接点を求める具体的方法については、先行技術を開示した特願平５−２１２９７６号公報にも示されるように、スカラ列ｓ（ ｉ） ，ｉ＝１，２，・・， ｎ からソート列を生成して、ベクトルの各要素毎に近接点の探索を行う方法がある。
【００７９】
図１１には、図１０の流れ図中のステップＳ６の詳細手続きを表すサブルーチンが示されている。
【００８０】
まずＳ６１ では、時系列データからソート列を計算する。
【００８１】
Ｓ６２ では、ソート列を参照してｘ_ｎ の１番目の要素ｓ（ ｎ） から順次、ソート順位が近い点からの差分を計算してｍ次元のノルムの計算を行う。
【００８２】
Ｓ６３ では、ノルムが最小であるか否かの判断を行い、この最小値とされた場合には処理を終了する。
【００８３】
次に、最近接点ｘ_ｏ の近接点の集合を求める（Ｓ７）。
図１２には、図１０の流れ図中のステップＳ７の詳細手続きを表すサブルーチンが示されている。
【００８４】
Ｓ７１ では、接近点の基準をεを設定する。
【００８５】
Ｓ７２ 以降では、前述のＳ６１ で計算したソート列を参照してｘ_ｏ の接近点を計算する。
【００８６】
Ｓ７３ では、１番目の要素の差分Ｄｓ を計算する。前述のＳ６２ と同様にソート順位の近い順番に探索していき、このときの差分Ｄ_ｓ が基準εに達した時に検索を終了する（Ｓ７４ ）。
【００８７】
またこの手順以降のＳ７５ 〜７ ７ においては、ｄ次元のノルムを計算してその値が基準値εを越えていなければ、その点をｘ_０ の近傍の点のリストに加える。
【００８８】
なお、図１０のＳ８では、前述のＳ７で探索された近傍点を用いてＪａｃｏｂｉ行列を計算する。この計算は前記の式（ ５） 〜（ ９） に従って行う。
【００８９】
図１３には、図１０の流れ図中のステップＳ８の詳細手続きを表すサブルーチンが示されている。
【００９０】
まずＳ８１ では、前述のＳ７で探索した近接点のリストを参照する。
【００９１】
Ｓ８２ では、近接点に対してｘ_ｏ からの偏差ベクトルｙ_ｉ ＝ｘ_ｋｉ−ｘ_ｊ を計算する。
【００９２】
Ｓ８３ では、信号記録部１０２，２０２に記録された過去の信号の履歴を参照して、ｘ_ｏ＋ｍ と近接点のｍステップ後の時間発展後の偏差ベクトルｚ_ｉ ＝ｘ_ｋｉ＋ｍ−ｘ_ｊ＋ｍ を計算する。
【００９３】
Ｓ８４ では、式（ ７） に従って共変行列Ｃ，Ｖを計算する。
【００９４】
Ｓ８５ では、Ｊａｃｏｂｉ行列 Ａ＝Ｃ・Ｖ_ｉｎｖ を計算する。ここで、Ｖ_ｉｎｖ とは逆行列であることを意味する。
【００９５】
Ｓ９では、前述のＳ８で得られたＪａｃｏｂｉ行列をｘ_ｎ −ｘ_ｏ に作用させ、式（ ９） に従って予測ベクトルｘ_ｎ＋ｍ を得る。
【００９６】
なお、このときのベクトルの１番目の要素は現在のスカラ観測値ｓ_ｎ のｍステップ後の予測値である。
【００９７】
（実施例の動作２）
本実施例について、図１４〜図１６を参照しながら本装置の動作を説明する。
【００９８】
図１４には、図１〜図４に示した装置の予測演算部１０３，２０４が行う処理手順が前述の「正規直交基底法」に基づいて流れ図で示されている。
【００９９】
まず手ぶれの予測を行うに際して、あらかじめ、手ぶれ検出部の応答速度や撮像系の動作時間を考慮して予測時間ｍを計算しておき、予測演算部にこの値を設定する（Ｓ１）。
【０１００】
また、線形化を行うための次元を設定する（Ｓ２）。
【０１０１】
線形化の処理を行うにあたって必要となる過去からの履歴の測定点数ｎを設定する（Ｓ３）。
【０１０２】
この設定した測定点数の手ぶれの測定を、図１〜４の手ぶれ信号検出部１０１，２０１で検出し、図１の信号記録部１０２，２０２で記録しておく。予測は記録された最も新しいデータｓ（ ｎ） について式（ １） の方法により再編成ベクトルを構成する（Ｓ５）。
【０１０３】
また、ｓ（ ｎ） の最近接点の探索は、図１０のステップＳ６と同じ手続きによって行う。
【０１０４】
なお、このＳ６では、ｄ次元空間でｘ_ｎ に対して最も近接しているｄ個の点を探索している。
【０１０５】
図１５には、図１４の流れ図中のステップＳ６の詳細手続きを表すサブルーチンが示されている。この例では、探索処理を高速化するために図１０のＳ６と同様にソーティング列を用いている。
【０１０６】
まずＳ６１ では、探索点の候補の数ｑを設定する。このｑの値は正規直交系の次元ｄよりも大きな値が選ばれる。
【０１０７】
Ｓ６２ では、ソーティング列を参照する。
【０１０８】
Ｓ６３ では、接近点の候補の探索を終了する判断手続きである。
【０１０９】
また、Ｓ６４ とＳ６５ では、ｘ_ｎ の１番目の要素ｓ（ ｎ） のソート順位を参照してソート順位の近い順に各要素の差分を計算してｄ次元のノルムを計算する。
【０１１０】
Ｓ６６ では、ｘ_ｎ 近接点の候補のインデックスとノルムを対応させたリストを作成する。探索点数がｑを超過したところで検索を終了し、ノルムのソーティングを行い（Ｓ６７ ）、ノルムの小さい順にｄ個の点でリストを作成する。これをｘ _ｐｉ ｜ｉ ＝１，２，，，ｄ とする。
【０１１１】
次に、図１４のステップＳ７では、正規直交系を用いてｘ_ｎ のｍステップ後の予測値を計算している。
【０１１２】
図１６には、この図１４の流れ図中のステップＳ７の詳細手続きを表すサブルーチンが示されている。
【０１１３】
Ｓ７１ では、Ｓ６で作成したｘ_ｎ のｄ個の近傍の点を参照してその重心Ｒを計算している。
【０１１４】
Ｓ７２ では、近傍の点と重心Ｒとの偏差ベクトルξ_ｉ を計算する。
【０１１５】
Ｓ７３ では、式（ １０） の基づきξ_ｉ からｄ次元の正規直交系Ｖを構成している。
【０１１６】
Ｓ７４ では、ξとＶ_ｉ の内積Ｌ_ｌ を計算する。
【０１１７】
またＳ７５ では、信号記録部１０２，２０２に記録された過去の信号の履歴を参照してｘ_ｎ の近傍の点のｍステップ後の点ｘ ^＊ _ｐｉの重心Ｒ ^＊ を計算する。
【０１１８】
Ｓ７６ では、重心Ｒ^＊ とｘ^＊ _ｐｉ の偏差ベクトルξ _ｉ ^＊ を計算する。
【０１１９】
Ｓ７７ では、式（ １４） に従ってξ_ｉ ^＊ の正規直交系Ｖ_ｉ ^＊ を計算する。
【０１２０】
Ｓ７８ では、前述の式（ １５） に従いＶ_ｉ ^＊ とＬ_ｌ からξのｍステップ後の状態ξ^＊ を予測している。
【０１２１】
Ｓ７９ では、前述の式（ １６） に従いｘ_ｎ のｍステップ後の点ｘ_ｎ＋ｍ を与える。
【０１２２】
なお、この状態ベクトルの１番目の要素は現在のスカラ観測値ｓ_ｎ のｍステップ後の予測値である。
【０１２３】
（実施例の動作３）
本実施例について、図１７〜図２０を参照しながら装置の動作を説明する。
【０１２４】
図１７には、図１〜図４に示した装置の予測演算部１０３、２０４が行う処理手順を示す図１０の手順に、微少な小信号の「揺らぎ」による予測誤差を低減するために移動平均による履歴データの平滑化手続き処理動作を備えた実施例が示されている。
【０１２５】
ただし、Ｓ１〜Ｓ４の手続きは前述の図１０の説明内容と同じである。
【０１２６】
Ｓ５では、計測データｓ（ ｉ） を移動平均によって平滑化しｓａ（ ｉ） を得る。
【０１２７】
Ｓ６では、式（ １） に従って最新計測データｓ（ ｎ） のベクトル化を行う。
【０１２８】
Ｓ７では、次に平滑化したデータｓａ（ ｉ） から再編成した状態空間で、ｘｎ の最近接点を求める。
【０１２９】
なお図１８には、図１７の流れ図中のステップＳ７の詳細手続きを表すサブルーチンが示されている。
【０１３０】
Ｓ７１ では、平滑化した時系列データｓａ（ ｉ） とｘ_ｎ の要素とからソート列を計算する。
【０１３１】
Ｓ７２ では、ソート列を参照してｘ_ｎ の１番目の要素ｓ（ ｎ） から順次、ソート順位が近い点からの差分を計算してｍ次元のノルムの計算を行う。
【０１３２】
Ｓ７３ では、ノルムが最小か否かの判断を行い、この最小値と判断されたときに処理を終了する。
【０１３３】
次に、平滑化データで構成したアトラクタでｘ_ｎ に最も近い点ｘ_ｏ の近接点の集合を求める（Ｓ８）。
図１９には、図１７の流れ図中のこのステップＳ８の詳細手続きを表すサブルーチンが示されている。
【０１３４】
まずＳ８１ では、接近点の基準εを設定する。
【０１３５】
Ｓ８２ 以降では、Ｓ７１ で計算されたソート列を参照してｘ_ｏ の近接点を計算する。
【０１３６】
Ｓ８３ では、１番目の要素の差分Ｄｓ を計算する。
【０１３７】
また、前述のＳ７２ と同様にソート順位の近い順番に探索していき、このときの差分Ｄｓ が基準εに到達したとき、一連の探索処理を終了する（Ｓ８４ ）。
【０１３８】
以降の Ｓ８５ 〜８ ７ では、ｄ次元のノルムを計算して、その値が基準εを超過していなければ、その点をｘ_０ の近傍の点のリストに加える。
【０１３９】
次に、図１７のＳ９では、ステップＳ８で探索された近傍点を用いてＪａｃｏｂｉ行列を計算する。この計算は式（ ５） 〜（ ９） に従って行われる。
【０１４０】
図２０には、図１７の流れ図中のステップＳ９の詳細手続きを表すサブルーチンが示されている。
【０１４１】
まずＳ９１ では、前述のＳ８で探索した近傍点のリストを参照する。
【０１４２】
Ｓ９２ では、近接点に対してｘ_ｏ からの偏差ベクトルｙ^ｉ ＝ｘ_ｋｉ−ｘ_ｊ を計算する。
【０１４３】
Ｓ９３ では、平滑化データ列ｓａ（ ｉ） を参照する。
【０１４４】
Ｓ９４ では、ｘ_ｏ＋ｍ と近傍点のｍステップ時間発展後のとの間に生じる偏差ベクトルｚ_ｉ ＝ｘ_ｋｉ＋ｍ−ｘ_ｊ＋ｍ を計算する。
【０１４５】
また、Ｓ９５ では定義された式（ ７） に従い、共変行列Ｃ，Ｖを計算している。
【０１４６】
Ｓ９６ では、Ｊａｃｏｂｉ行列 Ａ＝Ｃ・Ｖ_ｉｎｖ を計算する。ただし、Ｖ_ｉｎｖ は逆行列であることを表す。
【０１４７】
次にＳ１０においては、前述のＳ９で得られたＪａｃｏｂｉ行列をｘ_ｎ −ｘ_ｏ に作用させ、式（ ９） に従って予測ベクトルｘ_ｎ＋ｍ を得る。
【０１４８】
なおこのとき、このベクトルの１番目の要素は、現在のスカラ観測値ｓ（ ｎ） のｍステップ時間後の予測値である。
【０１４９】
（実施例の動作４）
本実施例について、図２１〜図２２を参照しながら装置の動作を説明する。
【０１５０】
図２１には、図１〜図４に示した装置の予測演算部１０３，２０４が行う処理手順を示す図１０の手順に、微少な小信号の「揺らぎ」による予測誤差を低減するために、「時間発展」の補正を行った局所線形化により予測を行った実施例が示されている。なお、Ｓ１〜Ｓ７の手続きは、前述の図１０の各ステップと同じである。
【０１５１】
Ｓ８では、ｘ_ｏ およびその近接点の時間発展を、式（ １７） または、図９に示した手法を用いて補正したＪａｃｏｂｉ行列を式（ ５） 〜（ ９） に従って計算を行う。
【０１５２】
図２２には、図２１の流れ図中のステップＳ８の詳細手続きを表すサブルーチンが示されている。
【０１５３】
まずＳ８１ では、前述のＳ７で探索された近傍点のリストを参照する。
【０１５４】
Ｓ８２ では、近傍点に対してｘ_ｏ からの偏差ベクトルｙ_ｉ ＝ｘ_ｋｉ−ｘ_ｊ を計算する。
【０１５５】
Ｓ８３ では、信号記録部１０２，２０２に記録された過去の信号の履歴を参照してｘ_ｏ の経過時間ｍステップの時間発展およびｘ_ｏ と近傍点ｘ_ｏ （ ｉ） の時間発展を式（ １７） を用いて補正を行い、ｘ’ _ｏ ，ｘ’ _ｏ （ ｉ） を得る。
【０１５６】
Ｓ８４ では、補正点の偏差ベクトルｚｉ ＝ｘ’ _ｏ −ｘ’ _ｏ （ ｉ） を計算する。
【０１５７】
Ｓ８５ では、定義された式（ ７） に従って共変行列Ｃ，Ｖを計算する。
【０１５８】
Ｓ８６ では、Ｊａｃｏｂｉ行列Ａ＝Ｃ・Ｖ_ｉｎｖ を計算している。但し、このＶ_ｉｎｖ は逆行列を表している。
【０１５９】
Ｓ９では、前述のＳ８で得られた補正Ｊａｃｏｂｉ行列をｘ_ｎ −ｘ_ｏ に作用させ、式（ ９） に従って予測ベクトルｘ_ｎ＋ｍ を得る。なおこのとき、このベクトルの１番目の要素は現在のスカラ観測値ｓ_ｎ のｍステップ後の予測値である。
【０１６０】
（実施例の動作５）
図２３には、本発明の第１および第２実施例に係わる予測方法に準じた変形として装置の動作が流れ図で示されている。
【０１６１】
前述のＳ６において、経過時間ｍステップ後の予測が求められる。
【０１６２】
Ｓ７では、実際の経過時間ｍステップ後の状態を読み出す。
【０１６３】
Ｓ８では、実測値と予測値の誤差を計算する。ここで、今回の実測値を記憶しておき、Ｓ１０において線形化の次元ｄを変更するＳ２に戻り、再度予測値を計算を行う。
【０１６４】
この様に、線形化の次元ｄを変化させ逐次予測値と実測値の差分が計算される。その結果、使用者の手ぶれの特徴を線形化の次元として記憶することができる。
【０１６５】
また、Ｓ１０において、次元ｄを変更する代わりに、予測に用いる過去のデータのサンプル数ｎの値を変更してもよい。このようにすることで、ｎを変更しながら誤差を最小とする予測値を求めることが可能となると共に、予測に必要なサンプルの最適な数を求めることができる。
【０１６６】
（その他の変形実施例）
なお、手ぶれ振動に関するデータの保存は、多人数の平均データを統計的に収集しＲＯＭ化して記録しておくことも可能である。それにより、統計学上の確率度が向上するために、アトラクタの予測精度が大きくなる効果も生まれる。
【０１６７】
本発明装置に関する実施例としては、以上に列挙した例以外にも本発明の主旨を逸脱しない範囲で種々の変形実施が可能である。
【０１６８】
以上に例示した各実施例のそれぞれには、以下の発明が含まれている。
【０１６９】
（ １） 撮影装置の手ぶれ予測装置において、手ぶれ振動を検出し電気信号に変換する検出手段と、前記検出手段からの時系列信号のうちの所定の数の信号を抽出し、それぞれを多次元空間の座標の各成分とすることによって、時系列信号を多次元空間内の点に対応させる軌跡生成手段と、前記軌跡生成手段で生成された多次元空間内の複数の点の時系列に基づいて、多次元空間内で時系列的に次に配置される点を予測する予測手段とを有することを特徴とする手ぶれ予測装置。
【０１７０】
作用１ ： 検出手段は検出センサとして動き、検出した信号を手ぶれのベクトル検出のための信号に変換する。軌跡生成手段は検出信号を基に時系列的に空間座標化して連続する軌跡を生成し、予測手段はこの軌跡を基に局所線形化を行って現在より所定時間後の状態を予測する。
【０１７１】
効果１ ： 手ぶれ振動の長時間の予測を可能とする手ぶれ予測装置が提供でき、その予測情報に基づき撮影装置の手ぶれ振動に関し補正制御を行って実質的に手ぶれを防止する装置が実現できる。
【０１７２】
（ ２） 前記検出手段からの信号を記憶する記憶手段を更に有し、前記多次元空間内の複数の点と、前記多次元空間内の複数の点よりも時系列的に前の前記記憶手段に格納された信号から生成される多次元空間内の点とに基づいて、多次元空間内で時系列的に次に配置される点を予測することを特徴とする（ １） に記載の手ぶれ予測装置。
【０１７３】
作用２ ： 検出手段で検出された手ぶれ振動の時系列信号の現在までの状態を、記憶手段は撮影者固有の不規則な信号としてあらかじめ履歴データとして蓄積して記録する。予測手段はその履歴データに基づき、局所的な線形射像関数の生成および信号の揺らぎ成分や計測誤差成分を統計処理して予測を行う。つまり予測手段は、生成された手ぶれ信号を基に「線形化」および「ベクトル化」処理を行いアトラクタとしての写像を求めることにより「局所線形予測」を行い手ぶれ信号の予測を行う。
【０１７４】
効果２ ： 検出データの蓄積により、予測の信頼性が向上した手ぶれ予測装置を提供できる。
【０１７５】
（ ３） あらかじめ測定された時系列の手ぶれ信号を記憶した記憶手段を更に有し、前記予測手段は、前記軌跡生成手段によって生成された多次元空間内の複数の点と、前記記憶手段からの出力から生成した多次元空間内の複数の点とに基づいて、多次元空間内で時系列的に次に配置される点を予測することを特徴とする（ １） に記載の手ぶれ予測装置。
【０１７６】
作用３ ： 記憶手段が撮影者固有の不規則な信号を履歴データとして蓄積して記録する。予測手段は、この検出信号と蓄積されている履歴データを利用して多次元空間内での時系列的な点に基づき、次に配置されるべき点を予測する。
【０１７７】
効果３ ： 記憶手段と予測手段との組合せによって、撮影者の個人的な手ぶれ信号の特徴を学習する手ぶれ予測装置を提供できる。
【０１７８】
（ ４） 前記検出手段からの出力を平滑化する平滑手段を更に有し、前記軌跡生成手段は、前記平滑手段からの出力に基づいて多次元空間内の点を生成することを特徴とする（ １） から（ ３） のいずれかに記載の手ぶれ予測装置。
【０１７９】
作用４ ： 手ぶれ信号の移動平均による検出データの平滑化を行うフィルタを用いて高周波成分が除去される。
【０１８０】
効果４ ： 微小な信号の揺らぎによる予測誤差が軽減される。
【０１８１】
（ ５） 前記記憶手段からの出力を平滑化する平滑手段を更に有し、前記予測手段は、前記軌跡生成手段によって生成された多次元空間内の複数の点と、前記平滑手段からの出力から生成した多次元空間内の点とに基づいて、多次元空間内で時系列的に次に配置される点を予測することを特徴とする（ １） に記載の手ぶれ予測装置。
【０１８２】
作用５ ： 手ぶれ信号の移動平均による履歴データの平滑化を行うフィルタを用いて高周波成分が除去される。
【０１８３】
効果５ ： 微小な信号の揺らぎによる予測誤差が軽減される。
【０１８４】
（ ６） 前記予測手段からの出力と当該出力に対する検出手段からの出力とを比較する比較手段と、前記比較手段からの出力が最小となるように前記所定の数を変化させる次元制御手段とを更に有することを特徴とする（ １） から（ ５） のいずれかに記載の手ぶれ予測装置。
【０１８５】
作用６ ： 次元制御手段は、比較手段が出力する差分を所定のパラメータを変化させて最小となるように制御する。つまり、線形化の次元を変化させて逐次予測値と実測値を一致させる。
【０１８６】
効果６ ： 予測値が実測値に一致するように制御することで、実質的に手ぶれ振動によるぶれは抑制できる。
【０１８７】
（ ７） 前記予測手段からの出力と当該出力に対する検出手段からの出力とを比較する比較手段と、前記比較手段からの出力が最小となるように前記軌跡生成手段から出力されて前記予測手段に入力される多次元空間内の複数の点の個数を制御する手段とを更に有することを特徴とする（ １） から（ ６） のいずれかに記載の手ぶれ予測装置。
【０１８８】
作用７ ： 点の個数を制御する手段は、比較手段から出力される差分が最小になるような点の個数にその多次元空間内の複数の点を調整し、予測値と実測値を一致させる。
【０１８９】
効果７ ： 予測値が実測値に一致するように制御することで、実質的に手ぶれ振動によるぶれが抑制できる。
【０１９０】
（ ８） 前記予測手段は、Ｊａｃｏｂｉ法のアルゴリズムに基づいて予測することを特徴とする（ １） から（ ７） のいずれかに記載の手ぶれ予測装置。
【０１９１】
作用８ ： Ｊａｃｏｂｉ法のアルゴリズムを利用する手ぶれ振動の時系列に関する局所線形化の手法によって、所定時間後のぶれの状態が導き出せる。
【０１９２】
効果８ ： 手ぶれ振動の長時間の予測が、この周知なＪａｃｏｂｉ法のアルゴリズムの適用によって容易となる。
【０１９３】
（ ９） 前記予測手段は、直交規格化のアルゴリズムに基づいて予測することを特徴とする（ １） から（ ６） のいずれかに記載の手ぶれ予測装置。
【０１９４】
作用９ ： 直交規格化のアルゴリズムを利用する手ぶれ振動の時系列に関する局所線形化の手法によって、所定時間後のぶれの状態が導き出せる。
【０１９５】
効果９ ： 手ぶれ振動の長時間の予測が、この周知な直交規格化のアルゴリズムの適用によって容易となる。
【０１９６】
【発明の効果】
以上、本発明全体としては、画像撮影装置のユーザ固有の手ぶれ振動に関するデータの蓄積機能を有し、更に従来に確立された予測のための所定のアルゴリズムとを不規則な振動予測のために適用することにより、手ぶれ振動の長期間にわたる予測が容易に可能となり、しかも予測精度が一層向上された信頼性の高い手ぶれ予測装置を提供できる。
【０１９７】
また、この予測された値を電気信号に変換し画像撮影装置の光軸を機械的に補正するアクチュエータ等への動作信号を基にして処理すれば、アクチュエータは光軸を手ぶれによる移動分補正するように調整して手ぶれ補正を行うこともでき、よって、従来に増して信頼性の高い手ぶれ防止機構をも実現できる。
【図面の簡単な説明】
【図１】第１実施例に係わる手ぶれ予測装置の構成を示す機能ブロック図。
【図２】第１実施例の変形例に係わる構成を示す機能ブロック図。
【図３】第１実施例のその他の変形例に係わる構成を示す機能ブロック図。
【図４】第２実施例に係わる手ぶれ予測装置の構成を示す機能ブロック図。
【図５】（ ａ） は時系列における手ぶれ信号のｘ軸方向の変位を示すグラフ、（ ｂ） はｘｉ の軌道を描くアトラクタ。
【図６】Ｊａｃｏｂｉ行列を近似的に求める方法を示すＪａｃｏｂｉ法の概念図。
【図７】（ ａ） 〜（ ｄ） はＪａｃｏｂｉ法を簡素化して予測する方法を説明する概念図。
【図８】写像による正規直交基底の変化を表す説明図。
【図９】（ ａ） 〜（ ｅ） はＪａｃｏｂｉ法による局所線形化による予測方法を説明する概念図。
【図１０】実施例の動作手順１に関するメインルーチンの流れ図。
【図１１】動作手順１のＳ６のサブルーチンの流れ図。
【図１２】動作手順１のＳ７のサブルーチンの流れ図。
【図１３】動作手順１のＳ８のサブルーチンの流れ図。
【図１４】実施例の動作手順２に関するメインルーチンの流れ図。
【図１５】動作手順２のＳ６のサブルーチンの流れ図。
【図１６】動作手順２のＳ７のサブルーチンの流れ図。
【図１７】実施例の動作手順３に関するメインルーチンの流れ図。
【図１８】動作手順３のＳ７のサブルーチンの流れ図。
【図１９】動作手順３のＳ８のサブルーチンの流れ図。
【図２０】動作手順３のＳ９のサブルーチンの流れ図。
【図２１】実施例の動作手順４に関するメインルーチンの流れ図。
【図２２】動作手順のＳ８のサブルーチンの流れ図。
【図２３】実施例の動作手順５に関するメインルーチンの流れ図。
【符号の説明】
１０１…角速度センサ，１０２…信号記録部，１０３…予測演算部，
１０４…補正信号演算部，１０５…アクチュエータ，１０６…撮像光学系，
１０７…平滑化処理部，１０８…誤差演算部，
２０１…電子撮像素子，２０２…動きベクトル検出部，２０３…信号記録部，
２０４…予測演算部，２０５…画素補正信号演算部，２０６…電子撮像素子，
Ｓ１〜Ｓ１０…メイン処理ルーチン，Ｓ６１〜Ｓ６８…Ｓ６のサブルーチン，
Ｓ７１〜Ｓ７９…Ｓ７のサブルーチン，Ｓ８１〜Ｓ８７…Ｓ８のサブルーチン，
Ｓ９１〜Ｓ９６…Ｓ９のサブルーチン。[0001]
[Industrial applications]
The present invention relates to a device that prevents deterioration of image quality due to camera shake of a photographing device, and more particularly to a camera shake prediction device that corrects movement of a photographing device due to camera shake.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been proposed an apparatus having a function of preventing image deterioration due to camera shake of a photographing apparatus such as a still camera or a video camera and improving the image. For example, according to a signal detected using a mechanical vibration detector, correction driving is performed so as not to shake the optical system of the photographing apparatus, and in an electronic imaging device such as a CCD, correction of an address at which reading is performed is performed. Measures were taken. In addition, a method of increasing the image capturing speed or prohibiting the image capturing when the camera shake is large has been adopted. In addition, there is a method of reproducing an image shot in a camera shake state into a fine image by predetermined image processing.
[0003]
[Problems to be solved by the invention]
In the former method of correcting a camera shake signal in real time, a predetermined correction process is performed on an optical system and an electronic image pickup device in response to camera shake, but in reality, a camera shake detection element or an optical Because the response time of the mechanical drive for system correction (response) and the operation time of the device that guides the optical path to the image sensor takes time, the shooting device performs the shooting operation from the actual time of the camera shake detection. It is necessary to correct the optical system and the like by predicting the camera shake vibration. As a prediction method, there is a method of performing correction by approximating a camera shake signal as a periodic fluctuation, or a method of approximating the characteristic as "fluctuation" of a characteristic frequency by Fourier transform. However, since the actual camera shake signal is a non-periodic fluctuation, the former approximation method is not appropriate.
[0004]
Further, in the method based on the Fourier transform, the temporal information of "fluctuation" is lost, so that the prediction accuracy is not desirable despite the complicated calculation involved.
[0005]
In contrast to these correction methods, a method of sequentially determining coefficients of a linear time function from a waveform of a past camera shake vibration and performing prediction by considering a change from a camera shake detection time to a prediction time as a linear function, It is proposed in Japanese Patent Application Nos. 4-112225, 4-11372, 4-11373, 4-112780, and 3-342441.
[0006]
However, these conventional techniques have a short predictable time and a so-called "white noise" caused by the camera shake signal itself. The effect of the accompanying measurement error component on the predicted value is not considered.
[0007]
As described above, the conventional camera shake preventing apparatus still solves various problems in practical use. An object of the present invention is to realize more effective camera shake prevention than before, and to sufficiently reduce the response time of a camera shake vibration detector of a camera or other imaging device, the operation time of an optical system correction device, and the operation time of an imaging system. It is to consider.
[0008]
An object of the present invention is to provide a camera shake prediction device having an irregular signal prediction function capable of predicting irregular camera shake for a long time.
[0009]
[Means for Solving the Problems]
Therefore, the present invention is a camera shake predicting device which is a camera shake preventing device which has been made in view of the above problems, and takes the following means to solve the problems and achieve the above object.
[0010]
The prediction device of the present invention is a camera shake prediction device of a photographing device, which detects a camera shake vibration and converts it into an electric signal, and extracts a predetermined number of signals from a time series signal from the detection unit. A trajectory generating means for making a time-series signal correspond to a point in the multi-dimensional space by using each of the components of the coordinates in the multi-dimensional space; and a plurality of points in the multi-dimensional space generated by the trajectory generating means. And a prediction unit that predicts a point to be arranged next in a time series in a multidimensional space based on the time series.
[0011]
[Action]
The camera shake prediction device having the above-described means has the following operation.
[0012]
The camera shake signal unique to the photographer is detected by the detecting means and converted into an electric signal. The predetermined number of electrical signals extracted in time series are associated with points in the multidimensional space as components of the coordinates in the multidimensional space by the trajectory generating means. Then, a point to be next arranged in this multidimensional space is predicted in time series by the prediction means. As a result, the position of the point after a predetermined time, that is, the state of the blur is predicted by applying the local linearization technique based on the detected camera shake signal.
[0013]
【Example】
First, two main methods for predicting an irregular time series applied to the present invention will be described.
[0014]
(1) "Jacobi method":
The principle of local linearization prediction is explained. That is,
The signal detected by the camera shake signal detection unit is a one-dimensional time series s in terms of a displacement (displacement) in one coordinate axis direction of the orthogonal coordinate system x, y, z._i, I = 1, 2, 3,. . . From N, a vector is formed by the following time series set.
[0015]
(Equation 1)

[0016]
FIG. 5A shows the displacement of the camera shake signal in the x-axis direction in a time series. D in the above equation is called “embedding dimension”, and x shown in FIG._iThe orbit drawn by is called an "attractor." These figures show how a three-dimensional attractor is constructed from a one-dimensional time series. The “mapping” from the i-th point on this attractor to the i + m-th point after a certain elapsed time m is formally expressed as x_{i + m}= F_m(X_i). The prediction problem is to find an approximate solution of this function representing a “mapping” from a current state to a state after a predetermined time. Here, the first-order approximation will be described next. From the past data recorded by the measurement, x_jAnd x_{j + m}Is known, x_jA point x near_jThe state after m steps of + δx is expressed by the following equation using series expansion.
[0017]
(Equation 2)

[0018]
Where D_fm(X_j) Is x_jIs called a "Jacobi matrix". For example, assuming that x has three components of i, j, and k in three dimensions, a mapping is performed for each of these components by three functions f₁, F₂, F₃Assume that can be expressed by
[0019]
(Equation 3)

[0020]
At this time, the Jacobi matrix is represented by the following determinant.
[0021]
(Equation 4)

[0022]
O (2) represents a second-order or higher-order term with respect to δx. In the first-order approximation, it is assumed that the value of δx is sufficiently small, and a second-order or higher-order term is considered to be zero. Therefore, if the Jacobi matrix can be approximately obtained, Expression (2) can be approximately expressed.
[0023]
Here, with reference to FIG. 6, a reference point x in a given time series_jAnd the state of the point after a predetermined time and x_jA method of approximately finding a Jacobi matrix when a point near and a state after that time are given as known ones will be described. X is the point you want to predict_NOWAnd Then x on the attractor_NOWNearest point x from_jAnd use this as the reference point for the mapping. Then x_jRadius ε around_maxThe set of points on the attractor ｛x_ki| ‖X_ki-X_j‖ <Ε_max｝ To x_ki, I = 1, 2,..., N. Then the x of these points_jThe deviation vector for_i= X_ki-X_jAnd Also, x_jAnd x_kiΤ = mΔt (where Δt is the time resolution of measurement, τ = m in a discrete time series)_i= X_{ki + m}-X_{j + m}And The mapping between them is formally expressed as:
[0024]
(Equation 5)

[0025]
Where A_jIs a matrix represented as
[0026]
(Equation 6)

[0027]
Here, C and V are called “covariant matrices” and have elements of k rows and l columns represented by the following two equations. That is,
(Equation 7)

[0028]
(Equation 8)

[0029]
Where yⁱ _l, Zⁱ _kIs yⁱ, ZⁱRepresents the l-th and k-th components of.
[0030]
Then, x_NOWAnd x_jLet γ be the deviation vector of_NOWThe prediction vector after the point m can be expressed by the following equation.
[0031]
(Equation 9)

[0032]
Definition of Equation 1 aboveAccording to x_{NOW + m}  Is the predicted value of the scalar variable m steps after the current time.
[0033]
As described above, the above-described predicted value can be obtained by applying the algorithm based on the so-called “Jacobi method” for obtaining the Jacobi matrix, and the value can be used for camera shake correction control based on this value.
[0034]
Next, another prediction method applied to the present invention will be described.
(2) “Orthonormal basis method”:
In the above calculation method, the inverse matrix V^-1Is included. This calculation is complicated and often causes an error even if the matrix V is a regular matrix. Therefore, with reference to FIGS. 7A to 7D, a description will be given of a method of simplifying the above-described method and providing a predicted value without including calculation of an inverse matrix.
[0035]
First, an attractor is configured with the embedding dimension d, as in the above-described equation (1). Where x_NOWPoints in the order of their proximity x_p1, X_p2, X_p3, ..., x_pk, K = d. (Reference: FIG. 7A)
A method of calculating the approach point on the attractor at high speed is taught in detail in Japanese Patent Application No. 5-212977, which is a prior art.
[0036]
Next, the center of gravity R of these points is set. (Ref: FIG. 7 (b))
Center of gravity and x_pi    The deviation vector of i = 1, 2, 3,._i, X_NOWLet ベ ク ト ル be the deviation vector of. (Reference: FIG. 7 (c))
ξ_i  The following orthonormal system is obtained from i = 1, 2, 3,... d. (Reference: Fig. 7 (d))
(Equation 10)

[0037]
Where ‖‖ is the norm of the vector and <,> are the dot products.
[0038]
Next, the inner product of the orthogonal system and ξ is defined as follows.
[0039]
(Equation 11)

[0040]
By this definition, ξ is an orthogonal basis V_mIs represented by the following equation.
[0041]
(Equation 12)

[0042]
Next, the states after m steps of the center of gravity and the deviation vector are defined as follows.
[0043]
(Equation 13)

[0044]
Where x_{NOW + m}Is an unknown point, and finding it is a prediction problem. Here, the orthonormal system is obtained again and is represented by the following equation.
[0045]
[Equation 14]

[0046]
(Equation 18)

[0047]
(Equation 15)

[0048]
The vector predicted after m steps is represented by the following equation.
[0049]
(Equation 16)

[0050]
In this method, as shown in FIG. 8, a new orthogonal system V is obtained by expressing how the orthonormal base is formed by the mapping after m steps._iAnd the previous set of coefficients L_iIs used to give a predicted value of an unknown point.
[0051]
As described above, the prediction value as described above can be obtained by applying the algorithm based on the “orthonormal basis method”, and this value can be used for camera shake correction control.
[0052]
Next, as another method, a method of correcting the above-described predicted value related to the mapping by “smoothing” in consideration of minute “fluctuation” of the measured value will be described.
[0053]
measured valueofMethods for canceling small fluctuations include a method of numerically obtaining a moving average and a method of using a filter that electrically limits the band. Here, a method that can be added to the above “local linearization method” will be described.
[0054]
X on the attractor_iTo x_{i + m}X ′ as given by the following equation as a method of averaging the motion vectors up to_{i + m}X_{i + m}Use as a value instead of
[0055]
[Equation 17]

[0056]
Or x_iTo x_{i + m}To each component, and using a low-pass filter to block the fluctuation of the high-frequency component, the value after the point m, x ′_{i + m}X_{i + m}Can be used as a value instead of. The prediction performed by the local linearization by the Jacobi method having such an averaging operation will be described with reference to FIGS. 9 (a) to 9 (e).
[0057]
First, as shown in FIG._iA point x near_oAnd find that x_oTo x_{o + m}Correction value x 'that tracks and averages the trajectory up to_{o + m}Ask for.
[0058]
As shown in FIG. 9B, the above x_oA point X near its ε with reference to_o(K) Search for k = 1, 2,..., N. Also, as shown in FIG. 9 (c), x_oSimilarly, the trajectory is tracked and the averaging operation is performed up to the point after m steps in the same manner as described above.
[0059]
Next, as shown in FIG. 9 (d), x_oAnd x_oUsing (k), the Jacobi matrix A is calculated by the method described above with reference to FIG. Then, as shown in FIG._iAnd x_oPredicted value x obtained by applying the Jacobi matrix A to the deviation vector of_{i + m}Can be obtained.
[0060]
Hereinafter, embodiments according to the present invention will be described with reference to the drawings.
[0061]
(First embodiment)
FIG. 1 is a functional block diagram showing a configuration of a camera shake prediction apparatus according to a first embodiment of the present invention. In a camera shake preventing apparatus of an image photographing apparatus, the apparatus of the present invention as a first embodiment includes a camera shake signal detecting unit 101 including a gyro-type angular velocity sensor, a camera shake signal recording unit 102 for storing a detected signal, and a recording apparatus. A prediction operation unit 103 for predicting the state of a shake signal after a specified time from the time series of the shake signal obtained, and mechanically correcting the optical axis of the optical system of the image capturing apparatus including a motor or a voice coil based on the state prediction And a correction signal calculation unit 104 that generates an operation signal to the actuator 105 that performs the operation.
[0062]
It is conceivable to statistically process the “fluctuation component” of the small signal related to the irregular camera shake signal and the error component related to the measurement to smooth the signal.operationIn the configuration of the first embodiment shown in FIG. 1 described above, the smoothing may be performed from the signal recorded in the signal recording unit 102 by numerical operation such as moving average.
[0063]
According to the first embodiment, the signal recording unit 102 records the state of the time-series signal of the camera shake vibration detected by the camera shake signal detection unit 101 up to the present. The time for performing prediction with respect to the prediction calculation unit 103 is determined in advance.localThe dimensions of the linearization matrix and the number of past data samples required for linearization at the time of linearization are set. The prediction operation unit 103 selects a past history close to the current state from the recorded signals and performs “local linearization”. (However, a detailed method of the actual “local linearization” will be described later.)
A blur state after a predetermined time from the present is predicted by a local linearization technique. The correction signal calculation unit 104 converts the predicted value into an electric signal and generates an operation signal to the actuator 105 that mechanically corrects the optical axis of the imaging optical system 106 of the image capturing apparatus. With the above operation, this actuator adjusts the optical axis so as to correct movement due to camera shake, and performs camera shake correction control.
[0064]
The configuration shown in FIG. 2 relates to a modification of the first embodiment. The feature of this configuration is that a smoothing processing unit for low-pass filtering of an analog signal is provided between the angular velocity sensor 101 and the signal recording unit 102 in order to smooth a “fluctuation component” of the signal and an error component related to measurement. 107 (filter means) is provided.
[0065]
As shown in the drawing, the signal detected by the camera shake signal detection unit 101 passes through a smoothing processing unit (for example, a high-frequency filter) 107 to remove high-frequency components, and the signal is sent to a signal recording unit 102. .
[0066]
According to the modification, the error signal processed by the smoothing processing unit 107 is read by the prediction calculation unit 103, and the parameter of the prediction unit is changed by a method using a predetermined algorithm described later so that the error is minimized. To "learn". Thus, the characteristics of the camera shake signal unique to the photographer are learned and temporarily stored in the signal recording unit.
[0067]
Next, the configuration shown in FIG. 3 relates to another modification of the first embodiment. The feature of this configuration is that the error calculation unit 108 is provided between the angular velocity sensor 101 and the prediction calculation unit 103 described above. The numerical value predicted by the prediction calculation unit 103 and the actually measured camera shake signal are sent to the error calculation unit 108, and the error between the predicted value and the actual measurement value is calculated. The calculated error is fed back to the prediction calculation unit 103.
[0068]
According to this modification, the error between the predicted value and the actual measured value is obtained by calculation, and control and prediction correction processing are performed based on the error value. As a result, the accuracy of correction control and the like can be improved.
[0069]
(Second embodiment)
Next, FIG. 4 is a functional block diagram showing a configuration of a camera shake prediction apparatus according to a second embodiment of the present invention.
[0070]
When the image pickup apparatus includes the electronic image pickup device 201 which is not the optical image pickup device as in the above-described first embodiment, the address of the pixel of the electronic image pickup device 201 is used instead of the actuator 105 which is a component of the first embodiment. Is provided with a pixel correction signal calculation unit 205 that generates a signal for correcting the image blur. Further, a motion vector detection unit 202 as a sensor for detecting a shake based on a signal from the electronic imaging element 201 is provided as an element constituting the camera shake signal detection unit. In the device having such a configuration, when the prediction calculation unit 204 predicts a shake state after a predetermined time from the current state, a local “linear projection function” is generated from a history of past shake vibration data. Make that prediction.
[0071]
In addition, in the prediction calculation unit 204, the “fluctuation component” of the small signal relating to the irregular camera shake signal and the error component relating to the measurement are statistically processed and smoothed, and the local linear projection function is calculated. It is characterized in that it is generated and predicted.
[0072]
According to the second embodiment, the pixel correction signal calculation unit 205 generates a signal for correcting the address of the pixel of the electronic image sensor 201 that captures an image. Further, the motion vector detection unit 202 functions as a camera shake detection sensor based on a signal from the electronic image sensor 201. The prediction calculation unit 204 generates a local linear projection function and generates a signal based on camera shake vibration data (that is, history) from the past accumulated in the photographer-specific irregular signal recording unit 203. The “fluctuation component” and the measurement error component are statistically processed for smoothing and prediction.
[0073]
(Operation 1 of Example)
Next, the operation of the apparatus according to the present embodiment will be described with reference to FIGS. FIG. 10 is a flowchart showing the processing procedure performed by the prediction calculation units 103 and 204 of the apparatus shown in FIGS. 1 to 4 based on the aforementioned “Jacobi method”.
[0074]
First, when predicting the camera shake, a time m to be predicted is calculated in advance in consideration of the response speed of the camera shake detection unit and the operation time of the imaging system, and this value is set in the prediction calculation unit (S1).
[0075]
A dimension for linearization is set (S2).
[0076]
The number n of measurement points in the past history required for performing the linearization is set (S3).
[0077]
The camera shake measurement of the set number of points is detected by the camera shake signal detection unit including the elements 101 and 102 of FIGS. 1 to 4 and recorded by the signal recording units 102 and 202 of FIGS. The prediction is made on the most recent data s (n) recorded. A reorganization vector is constructed for this s (n) by the method of equation (1) (S5).
[0078]
Next, in the state space of the reorganization, x_nThe closest point of the scalar sequence s (i), i = 1,2,2 is disclosed in Japanese Patent Application No. 5-212977 which discloses the prior art. There is a method of generating a sort sequence from..., N and searching for a proximity point for each element of the vector.
[0079]
FIG. 11 shows a subroutine representing a detailed procedure of step S6 in the flowchart of FIG.
[0080]
First, in S61, a sort column is calculated from the time-series data.
[0081]
In S62, reference is made to the sort column and x_nThe m-dimensional norm is calculated by sequentially calculating the difference from the point having the closest sort order from the first element s (n) of.
[0082]
In S63, it is determined whether or not the norm is minimum. If the norm is set to this minimum value, the process ends.
[0083]
Next, the closest contact x_oIs obtained (S7).
FIG. 12 shows a subroutine representing a detailed procedure of step S7 in the flowchart of FIG.
[0084]
In S71, the reference of the approach point is set to ε.
[0085]
In and after S72, x is referred to by referring to the sorted column calculated in S61._oCalculate the approach point of.
[0086]
In S73, the difference Ds of the first element is calculated. Similar to S62 described above, the search is performed in the order of the sort order, and the difference D_sTerminates the search when has reached the reference ε (S74).
[0087]
In addition, S75 after this procedure~ 7 7, A d-dimensional norm is calculated, and if the value does not exceed the reference value ε, the point is set to x₀  Add to the list of points near.
[0088]
In S8 of FIG. 10, the Jacobi matrix is calculated using the neighboring points searched in S7. This calculation is performed according to the above equations (5) to (9).
[0089]
FIG. 13 shows a subroutine representing a detailed procedure of step S8 in the flowchart of FIG.
[0090]
First, in S81, a list of adjacent points searched in S7 is referred to.
[0091]
In S82, x is set for the proximity point._oThe deviation vector y from_i= X_ki-X_jIs calculated.
[0092]
In S83, x is referred to with reference to the history of past signals recorded in the signal recording units 102 and 202._{o + m}And the deviation vector z after time evolution of the adjacent point after m steps_i= X_{ki + m}-X_{j + m}Is calculated.
[0093]
In S84, the covariant matrices C and V are calculated according to the equation (7).
[0094]
In S85, the Jacobi matrix A = C · V_invIs calculated. Where V_invMeans an inverse matrix.
[0095]
In S9, the Jacobi matrix obtained in S8 is x_n-X_oAnd predicting vector x according to equation (9)_{n + m}Get.
[0096]
Note that the first element of the vector at this time is the current scalar observation value s_nIs the predicted value after m steps.
[0097]
(Operation 2 of Example)
The operation of the present embodiment will be described with reference to FIGS.
[0098]
FIG. 14 is a flowchart showing the processing procedure performed by the prediction calculation units 103 and 204 of the apparatus shown in FIGS. 1 to 4 based on the above-mentioned “orthogonal orthogonal basis method”.
[0099]
First, when predicting the camera shake, the prediction time m is calculated in advance in consideration of the response speed of the camera shake detection unit and the operation time of the imaging system, and this value is set in the prediction calculation unit (S1).
[0100]
Further, a dimension for performing linearization is set (S2).
[0101]
The number of measurement points n of the history from the past required for performing the linearization processing is set (S3).
[0102]
The measurement of the camera shake at the set number of measurement points is detected by the camera shake signal detection units 101 and 201 in FIGS. 1 to 4 and recorded by the signal recording units 102 and 202 in FIG. The prediction constructs a reorganization vector for the newest recorded data s (n) by the method of equation (1) (S5).
[0103]
The search for the closest point of s (n) is performed by the same procedure as in step S6 in FIG.
[0104]
In this S6, x in the d-dimensional space_nAre searched for the d points closest to.
[0105]
FIG. 15 shows a subroutine representing a detailed procedure of step S6 in the flowchart of FIG. In this example, a sorting sequence is used like S6 in FIG. 10 to speed up the search process.
[0106]
First, in S61, the number q of search point candidates is set. As the value of q, a value larger than the dimension d of the orthonormal system is selected.
[0107]
In S62, the sorting column is referred to.
[0108]
S63 is a procedure for ending the search for the approaching point candidate.
[0109]
In S64 and S65, x_nThe d-dimensional norm is calculated by referring to the sort order of the first element s (n) of, and calculating the difference between the elements in ascending order of the sort order.
[0110]
In S66, x_n  A list is created in which the indices and the norms of the candidates for the proximity points are associated with each other. When the number of search points exceeds q, the search is terminated, the norm is sorted (S67), and a list is created with d points in ascending order of the norm. This is x _pi | I = 1, 2 ,, d.
[0111]
Next, in step S7 in FIG. 14, x is determined using an orthonormal system._nIs calculated after m steps.
[0112]
FIG. 16 shows a subroutine representing a detailed procedure of step S7 in the flowchart of FIG.
[0113]
In S71, the x created in S6_nThe center of gravity R is calculated with reference to d neighboring points.
[0114]
In S72, a nearby point and the center of gravityR andThe deviation vector_i  Is calculated.
[0115]
In S73, based on the equation (10),_iTo form a d-dimensional orthonormal system V.
[0116]
In S74, ξ and V_iDot product L_lIs calculated.
[0117]
In S75, x is referred to with reference to the history of the past signals recorded in the signal recording units 102 and 202._n  A point x after m steps of a point near ^* _piCenter of gravity R ^* Is calculated.
[0118]
In S76, the center of gravity R^*  And x^*   _pi The deviation vector _i ^*  Is calculated.
[0119]
In S77, according to Expression (14), ξ_i ^*Orthonormal system V of_i ^*Is calculated.
[0120]
In S78, V is calculated according to the above-mentioned equation (15)._i ^*And L_lThe state after m steps from ξ^*Is predicted.
[0121]
In S79, x is obtained according to the above-mentioned equation (16)._nPoint x after m steps_{n + m}give.
[0122]
The first element of this state vector is the current scalar observation value s_nIs the predicted value after m steps.
[0123]
(Operation 3 of Example)
The operation of this embodiment will be described with reference to FIGS.
[0124]
FIG. 17 shows the procedure of FIG. 10 showing the processing procedure performed by the prediction calculation units 103 and 204 of the apparatus shown in FIGS. An embodiment with an operation of smoothing the history data by averaging procedure is shown.
[0125]
However, the procedures of S1 to S4 are the same as those described above with reference to FIG.
[0126]
In S5, the measurement data s (i) is smoothed by a moving average to obtain sa (i).
[0127]
In S6, the latest measurement data s (n) is vectorized according to the equation (1).
[0128]
In S7, the closest point of xn is obtained in the state space re-organized from the smoothed data sa (i).
[0129]
FIG. 18 shows a subroutine representing a detailed procedure of step S7 in the flowchart of FIG.
[0130]
In S71, the smoothed time-series data sa (i) and x_n  Elements ofAnd calculate the sort column from
[0131]
In S72, x is referenced with reference to the sorted column._nThe m-dimensional norm is calculated by sequentially calculating the difference from the point having the closest sort order from the first element s (n) of.
[0132]
In S73, it is determined whether or not the norm is the minimum. When it is determined that the norm is the minimum value, the process ends.
[0133]
Next, x using an attractor composed of smoothed data_nThe point x closest to_o(S8).
FIG. 19 shows a subroutine representing a detailed procedure of step S8 in the flowchart of FIG.
[0134]
First, in S81, a reference ε of the approaching point is set.
[0135]
In S82 and subsequent steps, x is referred to with reference to the sort column calculated in S71._oCalculate the proximity point of.
[0136]
In S83, the difference Ds of the first element is calculated.
[0137]
Further, the search is performed in the order of the sort order similar to S72 described above, and when the difference Ds at this time reaches the reference ε, a series of search processing ends (S84).
[0138]
Subsequent S85~ 8 7Then, calculate the d-dimensional norm, and if the value does not exceed the standard ε, change that point to x₀  Add to the list of points near.
[0139]
Next, in S9 of FIG. 17, a Jacobi matrix is calculated using the neighboring points searched in step S8. This calculation is performed according to the equations (5) to (9).
[0140]
FIG. 20 shows a subroutine representing a detailed procedure of step S9 in the flowchart of FIG.
[0141]
First, in S91, a list of neighboring points searched in S8 is referred to.
[0142]
In S92, x is set for the proximity point._oThe deviation vector y fromⁱ= X_ki-X_jIs calculated.
[0143]
In S93, the smoothed data sequence sa (i) is referred to.
[0144]
In S94, x_{o + m}And the deviation vector z generated between the neighborhood point and the m-step time evolution of the neighboring point_i= X_{ki + m}-X_{j + m}Is calculated.
[0145]
In S95, the covariant matrices C and V are calculated according to the defined equation (7).
[0146]
In S96, the Jacobi matrix A = C · V_invIs calculated. Where V_invRepresents an inverse matrix.
[0147]
Next, in S10, the Jacobi matrix obtained in S9 is converted to x_n-X_oAnd predicting vector x according to equation (9)_{n + m}Get.
[0148]
At this time, the first element of this vector is a predicted value of the current scalar observation value s (n) after m step times.
[0149]
(Operation 4 of Example)
The operation of this embodiment will be described with reference to FIGS.
[0150]
FIG. 21 shows a processing procedure performed by the prediction calculation units 103 and 204 of the apparatus shown in FIGS. 1 to 4 in FIG. 10 in order to reduce a prediction error due to “fluctuation” of a small signal. An example is shown in which prediction is performed by local linearization with correction of “time evolution”. Note that the procedures of S1 to S7 are the same as the above-described steps of FIG.
[0151]
In S8, x_oThe time evolution of the adjacent points and the Jacobi matrix corrected by using the method shown in FIG. 9 or the method shown in FIG. 9 are calculated in accordance with the expressions (5) to (9).
[0152]
FIG. 22 shows a subroutine representing a detailed procedure of step S8 in the flowchart of FIG.
[0153]
First, in S81, a list of neighboring points searched in S7 is referred to.
[0154]
In S82, x is set for the neighboring point._oThe deviation vector y from_i= X_ki-X_jIs calculated.
[0155]
In S83, x is referred to with reference to the history of the past signals recorded in the signal recording units 102 and 202._oTime evolution of m steps and x_oAnd the neighboring point x_oThe time evolution of (i) is corrected using equation (17), and x ′_o, X '_o(I) is obtained.
[0156]
In S84, the deviation vector zi = x 'of the correction point_o-X '_o(I) is calculated.
[0157]
In S85, the covariant matrices C and V are calculated according to the defined equation (7).
[0158]
In S86, the Jacobi matrix A = C · V_invIs calculated. However, this V_invRepresents an inverse matrix.
[0159]
In S9, the corrected Jacobi matrix obtained in S8 is x_n-X_oAnd predicting vector x according to equation (9)_{n + m}Get. At this time, the first element of this vector is the current scalar observation value s_nIs the predicted value after m steps.
[0160]
(Operation 5 of Example)
FIG. 23 is a flowchart showing the operation of the apparatus as a modification according to the prediction method according to the first and second embodiments of the present invention.
[0161]
In S6 described above, a prediction after m elapsed steps is obtained.
[0162]
In S7, the state after m steps of the actual elapsed time is read.
[0163]
In S8, an error between the actually measured value and the predicted value is calculated. Here, the actual measurement value of this time is stored, and the process returns to S2 in which the linearization dimension d is changed in S10, and the predicted value is calculated again.
[0164]
In this manner, the difference between the predicted value and the actually measured value is calculated by changing the linearization dimension d. As a result, the user's camera shake characteristics are linearizedAsCan be memorized.
[0165]
In S10, instead of changing the dimension d, the value of the number n of samples of past data used for prediction may be changed. By doing so, it is possible to obtain a predicted value that minimizes the error while changing n, and it is possible to obtain the optimal number of samples necessary for prediction.
[0166]
(Other modified examples)
It is also possible to store data relating to camera shake vibration by statistically collecting average data of a large number of people and storing it in a ROM. As a result, an effect of increasing the predicting accuracy of the attractor is produced because the statistical probability is improved.
[0167]
As the embodiments of the device of the present invention, other than the above-listed examples, various modifications can be made without departing from the gist of the present invention.
[0168]
Each of the embodiments exemplified above includes the following inventions.
[0169]
(1) In a camera shake predicting device of a photographing device, a detecting means for detecting a camera shake vibration and converting it into an electric signal, and extracting a predetermined number of signals from a time series signal from the detecting means, and converting each of the signals into a multidimensional space Trajectory generating means for making the time-series signal correspond to a point in the multi-dimensional space by using each component of the coordinates of the coordinates, based on a time series of a plurality of points in the multi-dimensional space generated by the trajectory generating means. Prediction means for predicting a point to be next arranged in time series in a multidimensional space.
[0170]
Function 1: The detection means operates as a detection sensor, and converts a detected signal into a signal for detecting a shake vector. The trajectory generating means generates a continuous trajectory by converting the time series into spatial coordinates based on the detection signal, and the predicting means performs local linearization based on the trajectory to predict a state after a predetermined time from the present.
[0171]
Effect 1: It is possible to provide a camera-shake prediction device that enables long-term prediction of camera-shake vibration, and it is possible to realize a device that performs correction control on camera-shake vibration of a photographing device based on the prediction information and substantially prevents camera shake.
[0172]
(2) further comprising a storage means for storing a signal from the detection means, wherein the plurality of points in the multi-dimensional space and the storage means chronologically preceding the plurality of points in the multi-dimensional space (1) predicting the next point to be arranged in time series in the multi-dimensional space based on the points in the multi-dimensional space generated from the signals stored in the camera. Prediction device.
[0173]
Function 2: The state of the time-series signal of the camera shake vibration detected by the detection means up to the present is stored and recorded as history data in advance as an irregular signal unique to the photographer. Based on the history data, the prediction unit performs prediction by generating a local linear projection function and performing statistical processing on a signal fluctuation component and a measurement error component. That is, the prediction unit performs “local linear prediction” by performing “linearization” and “vectorization” processing based on the generated camera shake signal to obtain a mapping as an attractor, and predicts the camera shake signal.
[0174]
Effect 2: It is possible to provide a camera shake prediction device with improved prediction reliability by accumulating the detection data.
[0175]
(3) It further comprises storage means for storing a time-series shake signal measured in advance, wherein the prediction means comprises: a plurality of points in a multidimensional space generated by the trajectory generation means; The apparatus according to (1), wherein the next point in the multidimensional space is predicted in time series based on a plurality of points in the multidimensional space generated from the output.
[0176]
Function 3: The storage means stores and records an irregular signal unique to the photographer as history data. The prediction means predicts a point to be next arranged based on the time-series points in the multidimensional space using the detection signal and the accumulated history data.
[0177]
Effect 3: By combining the storage means and the prediction means, it is possible to provide a camera shake prediction device that learns the characteristics of the personal camera shake signal of the photographer.
[0178]
(4) There is further provided a smoothing means for smoothing an output from the detecting means, wherein the trajectory generating means generates a point in a multidimensional space based on the output from the smoothing means. The camera shake prediction device according to any one of (1) to (3).
[0179]
Function 4: A high-frequency component is removed by using a filter for smoothing detection data by a moving average of a camera shake signal.
[0180]
Effect 4: Prediction errors due to small signal fluctuations are reduced.
[0181]
(5) The image processing apparatus further includes a smoothing unit that smoothes an output from the storage unit, wherein the prediction unit calculates a plurality of points in a multidimensional space generated by the trajectory generation unit and an output from the smoothing unit. The camera shake prediction apparatus according to (1), wherein the next point in a multidimensional space is predicted in a time series based on the generated points in the multidimensional space.
[0182]
Function 5: A high-frequency component is removed using a filter for smoothing history data by a moving average of a camera shake signal.
[0183]
Effect 5: Prediction errors due to minute signal fluctuations are reduced.
[0184]
(6) Comparison means for comparing the output from the prediction means with the output from the detection means corresponding to the output, and dimension control means for changing the predetermined number so that the output from the comparison means is minimized. The camera shake prediction apparatus according to any one of (1) to (5), further having:
[0185]
Operation 6: The dimension control means controls the difference outputted by the comparison means so as to be minimized by changing a predetermined parameter. That is, the linearization dimension is changed to make the predicted value coincide with the actually measured value.
[0186]
Effect 6: By controlling the predicted value to coincide with the actually measured value, it is possible to substantially suppress the shake due to the shake vibration.
[0187]
(7) Comparison means for comparing the output from the prediction means with the output from the detection means corresponding to the output; and the output from the trajectory generation means so that the output from the comparison means is minimized. Means for controlling the number of a plurality of points in the input multidimensional space, the apparatus further comprising (1) to (6).
[0188]
Function 7: The means for controlling the number of points adjusts the plurality of points in the multidimensional space to the number of points that minimizes the difference output from the comparing means, and matches the predicted value with the actually measured value. .
[0189]
Effect 7: By controlling the predicted value to coincide with the actually measured value, it is possible to substantially suppress the shake due to the shake vibration.
[0190]
(8) The camera shake prediction device according to any one of (1) to (7), wherein the prediction unit performs prediction based on an algorithm of the Jacobi method.
[0191]
Function 8: The state of the shake after a predetermined time can be derived by the method of local linearization regarding the time series of the shake vibration using the algorithm of the Jacobi method.
[0192]
Effect 8: The long-term prediction of camera shake is facilitated by applying the well-known Jacobi algorithm.
[0193]
(9) The camera shake prediction device according to any one of (1) to (6), wherein the prediction unit performs prediction based on an algorithm of orthogonal normalization.
[0194]
Operation 9: The state of the shake after a predetermined time can be derived by the method of local linearization regarding the time series of the shake vibration using the orthogonal normalization algorithm.
[0195]
Effect 9: The long-term prediction of camera shake is facilitated by applying the well-known orthogonal normalization algorithm.
[0196]
【The invention's effect】
As described above, the present invention as a whole has a function of accumulating data relating to the camera-shake vibration peculiar to the user of the image photographing apparatus, and further applies a predetermined algorithm for prediction that has been conventionally established for irregular vibration prediction. By doing so, it is possible to easily predict the vibration of the camera shake for a long period of time, and to provide a highly reliable camera shake prediction device with further improved prediction accuracy.
[0197]
Also, if the predicted value is converted into an electric signal and processed based on an operation signal to an actuator or the like that mechanically corrects the optical axis of the image capturing device, the actuator corrects the optical axis by the amount of movement due to camera shake. The camera shake correction can be performed by making such adjustments, so that a more reliable camera shake prevention mechanism than before can be realized.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing a configuration of a camera shake prediction apparatus according to a first embodiment.
FIG. 2 is a functional block diagram showing a configuration according to a modification of the first embodiment.
FIG. 3 is a functional block diagram showing a configuration according to another modification of the first embodiment.
FIG. 4 is a functional block diagram showing a configuration of a camera shake prediction device according to a second embodiment.
5A is a graph showing displacement of a shake signal in the x-axis direction in a time series, and FIG. 5B is an attractor that draws a trajectory of xi.
FIG. 6 is a conceptual diagram of the Jacobi method showing a method of approximately calculating a Jacobi matrix.
FIGS. 7A to 7D are conceptual diagrams illustrating a method of simplifying and predicting the Jacobi method.
FIG. 8 is an explanatory diagram showing a change of an orthonormal basis by mapping.
FIGS. 9A to 9E are conceptual diagrams illustrating a prediction method based on local linearization by the Jacobi method.
FIG. 10 is a flowchart of a main routine relating to an operation procedure 1 of the embodiment.
FIG. 11 is a flowchart of a subroutine of S6 of the operation procedure 1;
FIG. 12 is a flowchart of a subroutine of S7 in the operation procedure 1;
FIG. 13 is a flowchart of a subroutine of S8 of the operation procedure 1;
FIG. 14 is a flowchart of a main routine related to an operation procedure 2 of the embodiment.
FIG. 15 is a flowchart of a subroutine of S6 of the operation procedure 2;
FIG. 16 is a flowchart of a subroutine of S7 of the operation procedure 2;
FIG. 17 is a flowchart of a main routine relating to an operation procedure 3 of the embodiment.
FIG. 18 is a flowchart of a subroutine of S7 of the operation procedure 3;
FIG. 19 is a flowchart of a subroutine of S8 in the operation procedure 3;
FIG. 20 is a flowchart of a subroutine of S9 of the operation procedure 3;
FIG. 21 is a flowchart of a main routine related to an operation procedure 4 of the embodiment.
FIG. 22 is a flowchart of a subroutine of S8 of an operation procedure.
FIG. 23 is a flowchart of a main routine relating to an operation procedure 5 of the embodiment.
[Explanation of symbols]
101: angular velocity sensor, 102: signal recording unit, 103: prediction calculation unit,
104: correction signal calculation unit, 105: actuator, 106: imaging optical system,
107: smoothing processing unit, 108: error calculation unit,
201: electronic imaging device, 202: motion vector detecting unit, 203: signal recording unit,
204: prediction operation unit, 205: pixel correction signal operation unit, 206: electronic image sensor,
S1 to S10: a main processing routine; S61 to S68: a subroutine of S6;
S71-S79 ... S7 subroutine, S81-S87 ... S8 subroutine,
S91 to S96... Subroutine of S9.

Claims (9)

撮影装置の手ぶれ予測装置において、
手ぶれ振動を検出し電気信号に変換する検出手段と、
前記検出手段からの時系列信号のうちの所定の数の信号を抽出し、それぞれを多次元空間の座標の各成分とすることによって、時系列信号を多次元空間内の点に対応させる軌跡生成手段と、
前記軌跡生成手段で生成された多次元空間内の複数の点の時系列に基づいて、多次元空間内で時系列的に次に配置される点を予測する予測手段と、
を有することを特徴とする手ぶれ予測装置。In a camera shake prediction device of a photographing device,
Detection means for detecting camera shake vibration and converting it into an electric signal;
Trajectory generation for extracting a predetermined number of signals from the time-series signals from the detection means and using each of the signals as a component of the coordinates of the multi-dimensional space to make the time-series signals correspond to points in the multi-dimensional space Means,
Based on a time series of a plurality of points in the multi-dimensional space generated by the trajectory generation means, prediction means for predicting a point to be next arranged in a time-series in the multi-dimensional space,
A camera shake prediction device, characterized by having: 前記検出手段からの信号を記憶する記憶手段を更に有し、
前記多次元空間内の複数の点と、前記多次元空間内の複数の点よりも時系列的に前の前記記憶手段に格納された信号から生成される多次元空間内の点とに基づいて、多次元空間内で時系列的に次に配置される点を予測することを特徴とする、請求項１に記載の手ぶれ予測装置。Further comprising storage means for storing a signal from the detection means,
Based on a plurality of points in the multi-dimensional space and points in the multi-dimensional space generated from signals stored in the storage means that are chronologically earlier than the plurality of points in the multi-dimensional space. The camera shake prediction apparatus according to claim 1, wherein the next point in a multidimensional space is predicted in time series. あらかじめ測定された時系列の手ぶれ信号を記憶した記憶手段を更に有し、
前記予測手段は、前記軌跡生成手段によって生成された多次元空間内の複数の点と、前記記憶手段からの出力から生成した多次元空間内の複数の点とに基づいて、多次元空間内で時系列的に次に配置される点を予測することを特徴とする、請求項１に記載の手ぶれ予測装置。Further comprising storage means for storing a time-series shake signal measured in advance,
The prediction unit is configured to calculate a plurality of points in the multidimensional space based on a plurality of points in the multidimensional space generated by the trajectory generation unit and a plurality of points in the multidimensional space generated from the output from the storage unit. The apparatus according to claim 1, wherein a point to be next arranged is predicted in a time series. 前記検出手段からの出力を平滑化する平滑手段を更に有し、
前記軌跡生成手段は、前記平滑手段からの出力に基づいて多次元空間内の点を生成することを特徴とする、請求項１から請求項３のいずれか１項に記載の手ぶれ予測装置。Further comprising a smoothing means for smoothing the output from the detection means,
4. The apparatus according to claim 1, wherein the trajectory generation unit generates a point in a multidimensional space based on an output from the smoothing unit. 5. 前記記憶手段からの出力を平滑化する平滑手段を更に有し、
前記予測手段は、前記軌跡生成手段によって生成された多次元空間内の複数の点と、前記平滑手段からの出力から生成した多次元空間内の点とに基づいて、多次元空間内で時系列的に次に配置される点を予測することを特徴とする、請求項１に記載の手ぶれ予測装置。Further comprising a smoothing means for smoothing the output from the storage means,
The prediction unit is configured to generate a time series in the multidimensional space based on a plurality of points in the multidimensional space generated by the trajectory generation unit and points in the multidimensional space generated from the output from the smoothing unit. 2. The apparatus according to claim 1, wherein a point to be arranged next is predicted. 前記予測手段からの出力と当該出力に対する検出手段からの出力とを比較する比較手段と、
前記比較手段からの出力が最小となるように前記所定の数を変化させる次元制御手段と、を更に有することを特徴とする、請求項１から請求項５のいずれか１項に記載の手ぶれ予測装置。Comparison means for comparing the output from the prediction means with the output from the detection means for the output;
The camera shake prediction according to any one of claims 1 to 5, further comprising: a dimension control unit that changes the predetermined number so that an output from the comparison unit is minimized. apparatus. 前記予測手段からの出力と当該出力に対する検出手段からの出力とを比較する比較手段と、
前記比較手段からの出力が最小となるように前記軌跡生成手段から出力されて前記予測手段に入力される多次元空間内の複数の点の個数を制御する手段と、
を更に有することを特徴とする、請求項１から請求項６のいずれか１項に記載の手ぶれ予測装置。Comparison means for comparing the output from the prediction means with the output from the detection means for the output;
Means for controlling the number of a plurality of points in a multidimensional space that is output from the trajectory generation means and input to the prediction means so that the output from the comparison means is minimized;
The camera shake prediction device according to claim 1, further comprising: 前記予測手段は、Ｊａｃｏｂｉ法のアルゴリズムに基づいて予測することを特徴とする、請求項１から請求項７のいずれか１項に記載の手ぶれ予測装置。The apparatus according to any one of claims 1 to 7, wherein the prediction unit performs prediction based on a Jacobi algorithm. 前記予測手段は、直交規格化のアルゴリズムに基づいて予測することを特徴とする、請求項１から請求項６のいずれか１項に記載の手ぶれ予測装置。The apparatus according to any one of claims 1 to 6, wherein the prediction unit performs prediction based on an algorithm of orthogonal normalization.

Images