JP6448218B2

JP6448218B2 - 撮像装置、その制御方法および情報処理システム

Info

Publication number: JP6448218B2
Application number: JP2014098296A
Authority: JP
Inventors: 秀敏椿
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-05-12
Filing date: 2014-05-12
Publication date: 2019-01-09
Anticipated expiration: 2034-05-12
Also published as: US20150326785A1; JP2015216510A; US10043245B2

Description

本発明は、撮像装置、その制御方法および情報処理システムに関する。

近年のカメラの多画素化や高性能化に伴い、更に高度な動画用の防振処理が求められている。防振処理とは、装置のぶれにより撮影画像に生じるブレ（像ブレ）を補正する処理である。一方、カメラ内のＣＰＵやＧＰＵ、メモリを含むＳＯＣ(System on a chip)の性能向上、スマートフォンを先駆としたＷｉＦｉのような通信デバイスを活用した遠隔、分散処理が可能となっている。これにより、多様な防振処理手段を複数搭載し、映像に合わせた最適な処理を適応的に選択したり、撮像機器内に限らずＰＣやクラウドサービス等の外部リソースを防振処理に活用したりすることができる。

特許文献１は、実行プラットフォームにより、映像の揺れ具合に応じて、リアルタイム用の軽い処理とオフライン用の重い処理を適応的に切り替えるディジタル・ビデオ安定化方法を開示している。また、特許文献２は、撮像装置が防振処理を施していない画像データを記録し、撮像装置にネットワーク接続された外部装置によりオフラインで防振処理するカメラシステムを開示している。

特表２０１３−５２０７１７号公報特開２００９−３０２７６２号公報

特許文献２のように、撮像装置がリアルタイムの防振処理を行わず、未防振の映像のみ保存し、後からオフラインで防振する技術では、撮影直後に即時に防振済み映像が見たいユーザ要求には答えられない。

一方、撮像機器内でのリアルタイム防振の制約内で防振性能を向上させようとすると、処理の高度化による複雑化やリソースの増強、つまりコスト増に直結したり、そもそもリアルタイム防振の実現が難しかったりする。さらに、処理結果の表示の遅延等の問題から、フィルタリング処理等で有用な、カレントフレーム処理に対する未来の情報を利用できないという原理的な問題や、利用可能な処理の選択上の制約もある。したがって、オフライン処理を上回る性能を機器内のリアルタイム処理で実現することは原理的にもコスト的にも難しい。

そこで、一旦、撮像装置が、リアルタイムに光学防振や電子防振を適用した後、オフラインで再防振をすることが考えられる。しかし、電子防振を行う撮像装置では、余裕画素を考慮した映像記録をする必要があり、余分な領域を処理・記録することになる。したがって、電力やバス構成に負荷をかけたり、回路やメモリのコスト増につながったりする。また、光学防振や電子防振をかけてしまった映像では、ブレが中途半端に除かれるので、像ブレ要因であるカメラのぶれ軌跡の推定が難しくなる。すなわち、映像の揺れが、撮像装置の回転運動により生じたものなのか、平行移動により生じたものなのかが区別がつかなくなってしまう。したがって、防振済み映像にオフラインで多軸のカメラ動きを想定したカメラモデルに則った高度な防振処理を適用しても、精度の良い防振処理とはならない。このような場合、光学防振や電子防振をかけずに、揺れを小さくするためステディカム等を利用する等、注意を払いかつ手間をかけて画像を撮影し、後からのマッチムーブと要ばれるような高度なカメラ軌跡解析を可能にして防振処理を適用しなければならない。

本発明は、ユーザが撮影直後に即時に防振済み映像を見ることができ、かつ、精度の良い再防振処理を実現できる撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、撮影画像に係る画像データに対して防振処理を実行し、防振処理後の画像データを記録部に記録する第１の防振部と、前記第１の防振部が出力する、前記防振処理の内容に関する補助情報に基づいて、前記記録部に記録された防振処理後の画像データを対象として、前記第１の防振部による前記防振処理の影響を除去する制御処理を行いつつ、再度防振処理を実行する第２の防振部とを備える。

本発明の撮像装置によれば、ユーザが撮影直後に即時に防振済み映像を見ることができ、かつ、精度の良いオフラインでの再防振処理が可能となる。

実施例１の装置構成例を示す図である。撮像装置による防振処理の例を説明するフローチャートである。第１の防振処理の例を説明するフローチャートである。ブロックマッチングを説明する図である。カメラ姿勢の推定処理の例を説明するフローチャートである。防振の補正量の算出処理の例を説明する図である。防振の補正量の算出処理の例を説明するフローチャートである。フィルタリング処理を説明する図である。バックワードマッピングを説明する図である。第２の防振処理を説明するフローチャートである。実施例２のシステム構成を示す図である。

（実施例１）
図１は、実施例１の装置構成例を示す図である。
撮像装置１００は、光学系００１、撮像素子００２、前処理部００３、振れ情報取得部００４、第１の防振部００５、記録部００６、第２の防振部００７を備える。

光学系００１は、被写体０００の光を撮像素子００２上に結像させるコンポーネントであり、複数枚のレンズおよびミラーを有する。撮像素子００２は、センサ面上に結像された光学像を電子像に変換する素子である。前処理部００３は、撮像素子００２で光電変換されたアナログの画像信号に対して相二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）でのゲインアップによる露出制御、黒諧調レベル補正、Ａ／Ｄ変換等の基礎的な処理を行う。これにより、前処理部００３は、デジタル信号に変換された画像データを得る。

振れ情報取得部００４への入力画像に対しては、別途、ベイヤー配列補間等によるカラー画像生成もしくは輝度画像生成を行ってもよい。なお、別途行う画像生成については、ベクトル探索用の簡易レベルの処理でよい。また、動きベクトル検出処理の精度やロバスト性を向上させるために、ローパス、ハイパス等のフィルタリング処理、トーンマッピング等の諧調調整処理を行ってもよい。前処理部００３は、アナログ信号に対する前処理を主として実行するので、主要部はＡＦＥ（アナログフロントエンド）とも呼ばれる。一方、デジタル出力センサと対で使われる部分は、ＤＦＥ（デジタルフロントエンド）と呼ばれる。

振れ情報取得部００４は、撮像装置の振れに関する情報を取得し、ブレ・カメラワーク推定部００５０１に出力する。振れ情報取得部００４は、例えば、多軸のジャイロセンサや加速度センサ等の姿勢センサ、地磁気センサ等により構成され、撮像装置の振れに関する情報を取得する。姿勢センサは、撮像装置の振れを示す姿勢センサ信号を出力する。また、振れ情報取得部００４は、前処理部００３からの撮影画像をブレ・カメラワーク推定部００５０１に出力する。

第１の防振部００５は、撮影画像（映像）に係る画像データに対し、機器内でのリアルタイム処理で防振処理を実行する。第１の防振部００５は、防振処理後の画像データを記録部００６に記録する。また、第１の防振部００５は、防振処理の内容に関する補助情報を出力する。第１の防振部００５は、ブレ・カメラワーク推定部００５０１、補正量算出部００５０２、幾何変形防振部００５０３を備える。

ブレ・カメラワーク推定部００５０１は、振れ情報取得部００４から得られた撮像装置の振れに関する情報、前処理部００３からの撮影画像を基に、防振の観点でのブレ／カメラワークを推定または算出する。この例では、ブレ・カメラワーク推定部００５０１は、撮影画像から検出された動きベクトルに基づいて撮影画像の幾何学的変化(ブレ)を推定または算出する。また、ブレ・カメラワーク推定部００５０１は、撮像装置１００の位置姿勢をカメラワークとして推定または算出する。

補正量算出部００５０２は、ブレ・カメラワーク推定部００５０１が出力するブレ／カメラワークに基づき、ブレ／カメラワークのうち補正対象とする成分を算出し、補正量として出力する。この補正量は、撮影画像に生じるブレを補正するために用いられる。

幾何変形防振部００５０３は、補正量算出部００５０２が算出した補正量に基づき、撮影画像に生じるブレを、当該撮影画像を幾何変形して補正する（幾何変形防振処理を実行する）ことで、防振処理を行う。幾何変形防振処理は、例えば射影変形や自由変形、領域毎変形と呼ばれる画像の幾何学的変形により入力画像フレームを変形して動画を抑振することである。幾何変形防振部００５０３は、電子回路により構成される計算回路、センサからの信号読み出し制御回路、ＣＰＵやメモリとの組み合わせで実現される。なお、本実施例の変形例として、撮像装置が、撮影画像に生じるブレを、レンズや撮像素子等の振れ補正手段を駆動することで補正する光学防振処理を第１の防振処理として実行するようにしてもよい。

記録部００６は、例えば半導体メモリ等からなり、撮像、防振処理された画像データを保存する。また、不図示の液晶等のディスプレイ等から構成される表示部は、記録部００６に記録されている防振処理後の画像データをリアルタイムで表示する。

第２の防振部００７は、記録部００６に記録された防振処理後の画像データを後からオフライン処理により再防振する。第２の防振部００７は、制御部００７００、ブレ・カメラワーク推定部００７０１、補正量算出部００７０２、幾何変形防振部００７０３を備える。

制御部００７００は、ブレ・カメラワーク推定部００７０１、補正量算出部００７０２、幾何変形防振部００７０３を制御して、以下の処理を実行する。制御部００７００は、記録部００６内の防振処理後の画像データを対象として、第１防振部００５が出力した補助情報に基づいて、第１の防振部による防振処理の影響を除去する制御処理（防振影響除去処理）を実行しつつ、再度防振処理を行う。ブレ・カメラワーク推定部００７０１は、ブレ／カメラワークを推定または算出する。補正量算出部００７０２は、ブレ／カメラワークのうち補正対象とする成分を算出し、補正量として出力する。幾何変形防振部００７０３は、補正量算出部００７０２が算出した補正量に基づき、画像に対し幾何変形を施すことで、防振処理を行う。

第２の防振部００７には、リアルタイム実現の制約や、表示部に遅延なく表示させるといった制約がない。したがって、ブレ・カメラワーク推定処理や幾何変形防振処理について、処理の効果を高めるための様々な方法を選択することが可能となる。その結果、第２の防振部００７は、第１の防振部００５と比較して、より抑振率の高い防振処理を実行できる。

図２は、撮像装置による防振処理の例を説明するフローチャートである。
第１の防振部００５が、前処理部００３が出力した撮影画像に係る画像データに対して、第１の防振処理を実行する（ステップＳ２０１）。第１の防振処理は、画像データに対してリアルタイムに実行される。続いて、第１の防振部００５が、第１の防振処理後の画像データを記録部００６に記録する（ステップＳ２０２）。そして、第２の防振部００７が、記録部００６に記録されている画像データに対して、第２の防振処理を実行する（ステップＳ２０３）。

図３は、図２のステップＳ２０１における第１の防振処理の例を説明するフローチャートである。
まず、ブレ・カメラワーク推定部００５０１が、振れ情報取得部００４が出力する撮像装置の振れに関する情報（姿勢センサ信号）、前処理部００３からの撮影画像に基づいて、ブレ／カメラワークを推定する（ステップＳ２０１１）。続いて、補正量算出部００５０２が、推定されたブレ／カメラワークに基づいて、撮影画像のブレを補正するための補正量（防振の補正量）を算出する（ステップＳ２０１２）。そして、幾何変形防振部００５０３が、算出された補正量に基づいて、撮影画像に対して幾何変形防振処理を実行する（ステップＳ２０１３）。

まず、姿勢センサ信号を用いたカメラワークの推定について説明する。姿勢センサは、最大３軸の撮像装置の位置姿勢の変化を検出する、例えばジャイロ等と、最大３軸の撮像装置の位置姿勢の変化を検出する、例えば加速度センサ等を有する。姿勢センサに代えて、地磁気センサや傾斜センサ等を用いてもよい。この例では、ジャイロセンサを用いた位置姿勢の推定について説明する。

ブレ・カメラワーク推定部００５０１は、姿勢センサのサンプリング周波数f_{s_g}で得られる電圧値や電流値もしくはデジタル値で得られるセンサ出力情報を、角度の変化量に変換して出力する。例えば、振れ情報取得部００４がデジタル出力のジャイロセンサからなる場合を想定する。ブレ・カメラワーク推定部００５０１は、各座標軸方向毎に取り付けられたセンサの出力値val_{x_g}に対し、事前のキャリブレーションにより取得した補正ゲインgain_xを乗算することにより、時間iの正確な角速度rat_{x_g}(i)を得る。xは光学系の光軸を基準に直交する各軸に取り付けられたセンサの軸方向を表す。x=Y,P,Rは、撮像装置のヨー方向、ピッチ方向、ロール方向を表す。_gは、ジャイロのサンプリング周波数に基づいて得られた角速度情報であることを示す。

そして角速度はセンサのサンプリング周期t_{s_g}=1/f_{s_g}微小期間の角度変化で表現されるカメラの姿勢変化とみなせる。しかし、情報量としては多すぎるため、よりサンプリング周波数の低い情報に積分する。例えば、フレーム間の姿勢変化を表現するためのサンプリング周波数f_{s_fr}、に積分し、情報量を圧縮して送る。具体的には、f_{s_fr}は６０Ｈｚ、や３０Ｈｚといった値となる。以下、任意のサンプリング周波数をf_{s_y}(:f_{s_fr},・・・)とおく。以下の（式２）に基づく積分により、それぞれの処理に合ったサンプリング期間の姿勢変化量に変換して情報の受け渡しを行う。

但し、dt=t_{s_y}とする。n_{y_g}はジャイロサンプリング期間からみた積分後のサンプリング期間の倍率である。rat_{x_y}(j)は、軸ｘ（ヨー，ピッチ，ロール）に対する、サンプリング目的ｙ、時間ｊの姿勢変化量を表す。t_{s_y}は目的別のサンプリング間隔を表す。但し、以下では、説明の簡略化のためにΔR_x(x:Y,P,R)とする。

また、（式２）は、単位時間における姿勢変化を出力する要素とみなすことが可能である。そのため、構成要素となる角速度センサ等に関し、特有の問題であるオフセットのドリフト除去を行う処理を付加的に行って出力値の精度向上をしてもよい。また、撮像装置のヨー軸、ピッチ軸、ロール軸方向に取り付けられた加速度センサから得られる加速度情報から重力の影響を差引した値を積分することで、撮像装置の速度変化、更には位置変化を算出してもよい。得られるサンプリング間隔における位置変化は、同様にΔt_x(x:Y,P,R)と表すことができる。

ジャイロセンサや加速度センサから構成される慣性センサセットを用いて、当該慣性センサセットを装備した物体の位置姿勢もしくは位置姿勢変化、特に姿勢を算出する技術は、ストラップダウン型のＡＨＡＲＳと呼ばれる一般技術である。

姿勢センサ信号に対する付加的な信号処理には、以下の参考文献１、参考文献２に示されるような任意の既存技術を用いてよい。例えば、加速度センサからの出力情報を利用し姿勢変化情報の比較処理を行い、精度劣化原因となるドリフトの除去を実施し、より高精度な姿勢変化情報を出力する構成であってもよい。同様の理由から、姿勢センサは多軸の姿勢変化を一度に計測可能なアッセンブリの統合型多軸センサであってもよい。重力方向の特定には、地磁気情報から得られる鉛直情報を用いたり、撮像装置の初期姿勢において例えばヨー軸が鉛直方向と一致している等の前提が成立する場合には該情報を利用したりする。参考文献として、D.Tittertonによる以下の参考文献１が挙げられる。また、S.MadgwickによるTechnical report,Department of Mechanical Engineering, University of Bristol発行の以下の参考文献２が挙げられる。また、以下の参考文献３が挙げられる。
参考文献１：”Strapdown Inertial Navigation Technology ”,Peter Peregrinus Ltd
参考文献２：,”An effcient orientation filter for inertial and inertial/magnetic sensor arrays”, Apr. 2010.
参考文献３：http://www.x-io.co.uk/gait-tracking-with-x-imu/,” Gait tracking with x-IMU ”

以下に、ブレ・カメラワーク推定部００５０１による、動きベクトルに基づく撮影画像のブレの推定を説明する。撮影画像のブレの推定には、テンプレートマッチング（ＴＭ）が用いられる。

図４は、ＴＭの一種であるブロックマッチングを説明する図である。
図４中、左側の画像４０１を基準画像とし、右側の画像４０２を参照画像とする。ブレ・カメラワーク推定部００５０１は、先に入力された映像フレームを基準画像、後から入力されたカレント映像フレームを参照画像として、動きベクトルを検出する。左画像中でグリッド状に配置した注目点４０４を中心とした所定サイズの部分領域をテンプレート４０３とする。参照画像中で任意の探索範囲４０７を設定し、順次移動しながらテンプレートが最も合致する位置を探索する。

入力画像は、カラー画像や、輝度画像、微分画像等の変調画像であってもよい。ブレ・カメラワーク推定部００５０１は、右画像中の注目画素４０５を基準とした部分領域４０６と、基準画像のテンプレート４０３との類似度を計算していく。類似度指標としてはＳＳＤ（Sum of Square Difference）、ＳＡＤ（Sum of Absolute Difference）、正規相互相関等の相関演算が用いられる。実写映像の様にフレーム間の輝度変動が激しい場合は、正規相互相関が主に用いられる。正規相互相関の類似度スコアの算出式を以下に示す。

ただし、

であり、(x,y)および(x’,y’)は、基準画像Iおよび参照画像I’内におけるテンプレートの位置を示す。I_(x,y)(i,ｊ)およびI’_(x’,y’)(i,ｊ)は部分画像を示す。

ブレ・カメラワーク推定部００５０１は、探索範囲内の各注目点４０５の部分領域４０６毎の類似度を一通り算出した結果、最も類似度（例えば相関スコア）の高い位置を対応位置とみなし、動きベクトルを算出する。オクルージョンがなければ、基本的に基準画像上で設定した注目点４０４の数だけ動きベクトルが算出される。動きベクトルは、それぞれ基準画像中の注目点位置を始点とし、参照画像中の対応点位置を終点とするベクトルにより表現される。

また、探索領域内の相関スコアに対して多項式フィッティングを実施し、より高精度に類似度のピーク位置を算出したリ、テンプレートと参照画像を高画素化するなどの処理により、サブピクセル精度で動きベクトルもしくは対応点の軌跡を算出してもよい。

以上、注目点をグリッド状に固定的に配置したブロックマッチングの例を示したが、動きベクトルを算出しやすい特徴点を基準画像上で抽出し、その位置を注目点としてベクトル探索してもよい。注目点の抽出には、通常、Ｈａｒｒｉｓオペレータ（参考文献１）等の画像処理フィルタが用いられる。画像のコーナー位置を特徴点として抽出することにより、適切な特徴のない位置で探索することにより発生する開口問題や「滑り」の問題を抑制し、探索可能率を向上したリ、アウトライア率の低下、精度の向上が期待できる。

Ｈａｒｒｉｓオペレータは、まず、ウィンドウサイズWを決定し、水平および垂直方向についての微分画像（I_dx,I_dy）を計算する。微分画像の計算には、Ｓｏｂｅｌフィルタ等を用いればよい。例えばフィルタは、hを横方向にし、縦方向に３つにならべた３×３フィルタh_x、および縦方向にし、横方向に３つならべた３×３フィルタh_yを画像に適用し、（I_dx,I_dy）を得る。

である。そして、ブレ・カメラワーク推定部００５０１は、画像内の全ての座標(x,y)について、ウィンドウWを用いて、次のマトリクスを計算する。

ブレ・カメラワーク推定部００５０１は、マトリクスGの最小特異値が大きい座標(x,y)の順に特徴点を抽出していく。その際、特徴点があまり密集しないほうが好ましい。そこで、既に特徴点が抽出済みの座標(x,y)のウィンドウサイズWの周辺はもう特徴点を算出しない、等の約束を設けてもよい。参考文献としてC. Harris and M. Stephensによる以下の参考文献４が挙げられる。
参考文献４： “A combined corner and edge detector ”, Fourth Alvey Vision Conference, pp.147-151, 1988.

連続するフレーム間では、ブレ・カメラワーク推定部００５０１は、再度特徴点を求めてＴＭを行ってもよいし、得られた動きベクトルの終端を注目点として、新たなフレーム間でＴＭを行い特徴点の軌跡を追跡してもよい。なお、ブレ・カメラワーク推定部００５０１は、各フレームで算出した特徴点間で特徴量をキー情報としてテーブルマッチングを実施し、対応付けを行ってもよい。例えば、枝刈りアルゴリズムを活用することにより冗長な対応付け作業を削減することができるため効率的な対応付けが可能である。

次に、ブレ・カメラワーク推定部００５０１は、得られた動きベクトルを計算精度の向上や計算の安定化を目的に、動きベクトルを構成する各フレーム内の対応点を入力の各フレームのピクセル座標系の対応点値から正規化画像座標系における対応点値へと変換する。以下、(x,y)は入力フレーム上のピクセル座標、(u_d,v_d)は、歪みを含む正規化画像座標、(u,v)は歪みを除去した正規化画像座標である。ブレ・カメラワーク推定部００５０１は、内部パラメータおよび歪み係数を用いて変換を行う。まず、ブレ・カメラワーク推定部００５０１は、内部パラメータにより正規化画像座標に変換する。Inv()は、()のマトリクスの逆行列を表す。

内部パラメータの行列は、カメラ行列Ｋと呼ばれる。

そして、ブレ・カメラワーク推定部００５０１は、歪み係数により歪みを除去する。

上記の式８の演算は以下で説明する処理で実現する。歪み除去は、放射歪の関係、

を用いて行う。k₁,k₂,k₃は、それぞれ、１次、２次、３次の放射方向の歪み係数を表す。これらは光学系の収差より生じる歪みである。歪みは光学系の焦点距離や被写体距離等の撮影条件毎に変化する。したがって、焦点距離等との関係は、設計値より算出しておく。そして焦点距離等に対応するルックアップテーブルもしくは焦点距離等に関する変換式として不図示のＲＯＭ等に記憶しておき、撮影条件に基づき、不図示のＣＰＵが取り出す。本実施例では、放射方向の歪みのみを除去するが、動径方向の歪みのような別の歪みが顕著ならば、別途歪み除去処理を追加して行ってもよい。

そして、ブレ・カメラワーク推定部００５０１は、カレントフレームと過去フレーム間の補正済み対応点を入力として、例えば、当該フレーム間の画像変化をブレとして推定する。画像変化とは、例えば射影変形、ユークリッド変形、アフィン変形等の階層状のモデルで表される画像の幾何学的変化のパラメータである。
参考文献５：R. Hartley,“Multiple View Geometry in computer vision ”, Cambridge Press, pp.25-44, 2003.

以下では、射影ホモグラフィに基づく画像変化の推定について説明する。過去フレームにおける正規化画像座標を(u_i,v_i)、カレントフレームにおける正規化画像座標を、(u_i’,v_i’)、I=1,・・・,m（ｍは対応点数）とすると、射影ホモグラフィについての線形式を得ることができる。

この線形式は、対応点数m≧8ならば過決定となる。そして、線形最小二乗式として解くことによりh=｛h₁₁,・・・,h₃₃｝が求められる。これを以下の３×３のマトリクスに整形することにより、射影ホモグラフィ、つまりはフレーム間の画像の変化量が求められる。

なお、ブレ・カメラワーク推定処理では、ブレ・カメラワーク推定部００５０１は、前処理部００３からの撮影画像を入力として、カメラワークを推定してもよい。具体的には、ブレ・カメラワーク推定部００５０１は、姿勢センサ信号を用いた場合と同様に、カレントフレームと過去フレームのタイミング間における撮像装置の位置姿勢の変化を計算する。ブレ・カメラワーク推定部００５０１は、正規化画像座標系における値へと変換した対応点情報に対して、基本的に基本行列の分解に基づく姿勢推定もしくは５点法のようなピンホールカメラモデルに基づく姿勢推定法を実行し、カメラワークを推定する。一般的には、基本行列の分解に基づく姿勢推定の方が計算が単純である。しかし、対応点算出において、その算出位置がマップされた空間配置が平面上の様な特異配置の場合、基本行列の分解に基づく推定法では縮退により解が得られなくなる。その場合には、上記で求めた射影ホモグラフィを求めて分解操作により撮像装置の位置姿勢を推定する方法を適用する。

図５は、撮像装置の位置姿勢の推定処理の例を説明するフローチャートである。
ブレ・カメラワーク推定部００５０１が、平面度を算出する（ステップＳ５０１）。平面度は、対応点から計算されるデータ行列の条件数の大小により決定される。まず、ブレ・カメラワーク推定部００５０１は、射影ホモグラフィをカメラワーク回転R、シーンの被写体を近似した面の方向n^→、そして並進t^→と深度dの積t^→/dに分解する。なお、以下では、パラメータの右上または上に右矢印を記載することで、ベクトル表記を行う。

ブレ・カメラワーク推定部００５０１が、平面度が所定値より高いかを判断する（ステップＳ５０２）。平面度が所定値より高い場合、ブレ・カメラワーク推定部００５０１は、射影行列（射影ホモグラフィ）分解による位置姿勢の推定を実行する（ステップＳ５０３）。平面度が所定値より高くない場合、ブレ・カメラワーク推定部００５０１は、基本行列・５点法による位置姿勢の推定を実行する（ステップＳ５０４）。
射影ホモグラフィ分解による位置姿勢の推定について説明する。ブレ・カメラワーク推定部００５０１は、以下の手順により、可能な２つの解を算出する。射影ホモグラフィ（射影行列）の２つの解への分解は固有値分解、特異値分解を利用し、不変量を見出すことで行われる。様々な解法が可能であるが、この例では、参考文献６で用いられたアプローチを適用する。
参考文献６：B.Triggs,”Auto calibration from Planar Scene”,ECCV98
射影ホモグラフィとカメラワークおよびシーン配置の関係は、次式により表される。

R、t^→は、カメラの回転および並進、dは基準面までの距離、n^→は基準面のカメラから離れる向きの法線、λは任意定数である。ここで、２画像間からの算出では、空間平面の距離dとカメラワーク並進のノルムnorm(t^→)の積を分けることはできない。ノルムとはベクトルの大きさを表す量である。つまり、ｔ^→は、並進方向を表す単位方向ベクトルnorm(t^→)=1,dは空間平面までの距離と並進量の大きさの積として扱われる。

最初に、Ｈの符号は、平面上の全ての対応点x₁ ^→、x₂ ^→として、x₂ ^→TＨx₁ ^→を満たすように選択されるとする。Ｈの特異値分解は、Ｈ＝ＵＳＶ^Tとなる。ここで、ＵおよびＶは、３×３の回転マトリクスである。Ｓ=diag(σ₁, σ₂, σ₃)は、正の降順対角要素σ₁≧σ₂≧σ₃であり、Ｈの特異値とする。関連する直交マトリクスＵおよびＶの列要素を、u₁,u₂,u₃およびv₁,v₂,v₃で表す。

第１カメラの参照系を採用し、３次元平面をn^→Tx^→=d=1/ξとする。ここでは、n^→は外向き（カメラから離れる方向）の法線とする。ξ=1/d≧0は、平面に対する距離の逆数である。この参照系においては、第１カメラは、以下の３×４の射影マトリクスを持つ。

そして、第２カメラは、以下のマトリクスを持つ。

ここで、t’=Rtであり、t,t’は、カメラ間の並進（第１カメラの光軸中心から第２カメラの光軸中心への並進）、Rはカメラ間の回転を表す。
画像１から画像２へのホモグラフィは、Ｈ=RＨ₁であり、ここでは、

である。平面上の３次元点に対して、

なぜならば、ξn^Tx^→=1であるためである。そして、x^→を画像１内の任意点と扱うと、違いは全体のスケール因子のみである。

積ξt^→n^→Tのみが復元可能で、それゆえ

で正規化する。つまり、平面距離1/ξは、単位基線長||t||において測定される。そして、可能な符号を決めるために、デプス正制約テストを行う。

特異値分解のＨ＝ＵＳＶ^TとＨ_１＝Ｕ_１ＳＶ^Tは、Rの要素まで同じである。すなわち、Ｕ=RＵ_１である。Ｈ₁において、外積ベクトルt^→×n^→は不変である。もし特異値が明確ならば、t^→×n^→は、特異ベクトルに対応しなければならない。これにより、これはいつも２番目の特異ベクトルv₂であると分かる。それゆえＨの補正正規化は、Ｈ→Ｈ／σ_２、つまり、(σ₁, σ₂, σ₃)→(σ₁/σ₂,1,σ₃/σ₂)である。以下、σ₂による正規化が済まされているものと想定する。

画像フレーム１においてt^→×n^→がv₂に対応することが与えられると、｛t^→,n^→｝部分空間は｛v₁,v₃｝により占められなければならない、つまり、任意のパラメータα,β（α²+β²=1）に対して、

である。
n^→に直交する任意方向、特に、n^→×(t^→×n^→)は、ＨもしくはＨ₁によって変化しないノルムを持つ。

もしくは、

である。

t^→×n^→を上記のv₁もしくはv₃に対応させると、解がなくなってしまう。それゆえv₂のみが可能となる。厳密には、左辺の同じ引数が、

を示す。
t^→がＨ₁の固有値1-ξn^→t^→Tの固有ベクトルを満たすならば、

を得る。
したがって、

である。また、単純化後はξ=σ₁-σ₃である。

Ｈ₁の特異値分解の左辺（Ｕ1の列u₁ ^→, u₂ ^→,u₃ ^→）は表記u₂ ^→=v₂ ^→により復元可能であり、t^→がＨ₁の固有ベクトルであることが必要である。そこでは、

ここで、単純化後は、

故に、

として、最後に回転Rが得られる。

以下、回転と並進からなるカメラワーク、R,t^→（方向ベクトル）と空間の基準面の深さ位置dと方向n^→からなるシーン配置との、可能な２つの解を算出するための、一連の具体的な処理をまとめて示す。

ただし、

これらを用いて、可能な２つの解

が求まる。

これらの解の組に対し、方位ベクトルn^→が外向きの約束（デプス正制約）を導入する。

符号の整合性を取ることにより、可能な２つの解が算出される。その後、エピポーラ誤差チェックを行い、誤差の少ない１つの解を抽出する。エピポーラ誤差チェックは、以下のようにして実行される。対応点x₁ ^→,x₂ ^→より求められたホモグラフィを分解して得られる姿勢変化とシーン情報の可能な２つの解のセット

について、対応点を用いてエピポーラ誤差を算出する。

エピポーラ誤差は、

で表される。nは対応点数である。誤差の小さな解を真の解として選択する。これにより、入力されたフレーム間のカメラワークを表す｛R,t^→,n^→,d｝の唯一の解が求まる。
なお、ピンホールカメラモデルを想定した非平面シーンに対するカメラの姿勢推定方法である、基本行列・５点法による位置姿勢の推定については、参考文献７、８に記載される公知技術をベースに実現可能である。参考文献として、R.Hartley,A.Zissermanによる以下の参考文献７、Bill Triggsによる以下の参考文献８が挙げられる。
参考文献７：” Multiple View Geometry in Computer Vision”, Cambridge Univ. Press(2000)
参考文献８：”Routines for Relative Pose of Two Calibrated Cameras from 5 Points”,Documentation, INRIA. juillet 2000.

以上、撮像装置の位置姿勢変化、具体的には、回転と並行移動量の推定では、撮影条件の情報と入力ベクトルのみから推定する方法を適用した。なお、ジャイロセンサ値の積分から求まった撮像装置のフレーム間の回転情報を（式１４）の回転の情報とし、フレーム間の動きベクトル変化、つまり、対応点の変化に対し撮像装置の回転に関する像変化の補正（打ち消し）を先に実施してもよい。そして、フィッティングをかけることにより、平行移動センサ情報のない状態で、撮像装置の平行移動量の推定を行ってもよい。

また、ジャイロセンサ値の積分から求まった撮像装置のフレーム間の回転情報を（式１４）の回転の初期値とし、フレーム間の動きベクトル変化（対応点の変化）に対しフィッティングをかけてもよい。そして、センサ情報のない状態での平行移動量に加え、高精度な撮像装置の回転情報について推定してもよい（参考文献３）。

同様に、以下のような推定処理を実行してもよい。すなわち、ジャイロセンサ値の積分から求まった撮像装置のフレーム間の回転情報を（式１４）の回転の初期値にする。そして、加速度センサ値の積分から求まった撮像装置のフレーム間の平行移動量を（式１４）の平行移動量の初期値にして、フレーム間の動きベクトル変化、つまり対応点の変化に対しフィッティングをかける。これにより、撮像装置の回転及び平行移動量についてセンサ性能を越える高精度な推定を実現できる。

次に、図３の補正量算出処理（Ｓ２０１２）について説明する。
補正量算出部００５０２は、推定されたブレ／カメラワークに基づき、防振の補正量を算出する。例えば、入力が射影変形で表された画像変化の場合、各フレーム間の画像変化量を入力とする。そして、画像変化量の過去のフレーム間について算出された系列

も含めた系列を用いて、対象フレームに対する防振補正量を算出する。ここで、ｎはカレントのフレーム番号、ｋは系列の構成数とする。第１の防振部００５は、周波数の高い動き成分を防振すべき成分とみなして、映像シーケンスから除去するように防振補正し、周波数の低い動き成分を意図ある動き成分とみなして映像に保存する。フィルタリングにより、これら信号成分の分離を行う。フィルタリングは、デジタルフィルタリングにより実現される。入力系列の構成数は、デジタルフィルタのタップ数に対応させる。

図６は、デジタルフィルタリングによる、防振の補正量の算出処理の例を説明する図である。
デジタルフィルタの一例として、５タップのＦＩＲフィルタを適用する。１フレームに対する防振の補正量の算出に５つのフレーム間画像変化量を必要とする。

図７は、防振の補正量の算出処理を説明するフローチャートである。
まず、補正量算出部００５０２が、カレントのフレーム間および過去のフレーム間について算出された画像変化量から、入力系列の先頭を基準とした、累積変化量

を算出する（ステップＳ７０１）。
ここで、

である。
したがって、この例では、

となる。

次に、補正量算出部００５０２が、ホモグラフィフィルタリングを行う（ステップＳ７０２）。つまり、補正量算出部００５０２が、累積変化量ホモグラフィの系列に対し、フィルタリングを行う。デジタルフィルタを設計し、その係数を決定するには、フーリエ級数法や、窓関数法を組み合わせて行う。補正量算出部００５０２は、遷移領域およびタップ数等の特性を決定し、デジタルフィルタの係数を算出する。デジタルフィルタのタップ数(TAP=5)に応じた累積変化量系列の入力

を行い、デジタルフィルタリングを実行する。その結果、遅延の影響を受けた、以下のフィルタリング結果Ｈ³ _{acc_filter}が出力される。
デジタルフィルタがＦＩＲフィルタの場合、遅延量はタップ数に比例する。

したがって、５タップにより構成されるデジタルフィルタの場合、２フレーム間分の遅延が発生する。このため、補正量算出部００５０２がカレントフレーム間から４つ前のフレーム間までの画像変化量

を用いて、累積変化量

を計算し、デジタルフィルタリングを行ったフィルタリング結果は、カレントフレームより２フレーム間前の累積変化量H³ _accに対応することになる。

次に、補正量算出部００５０２が、フィルタリング結果から復元された画像変化量Hⁱ _{acc_filter}と、遅延の結果対応することとなった対象フレーム間の画像変化量の累積変化量Hⁱ _accとを用いて、防振の補正量を算出する（ステップＳ７０３）。デジタルフィルタがローパスフィルタの場合、

を計算することにより、対象フレームの防振の補正量が求まる。ｋは、デジタルフィルタのタップ数である。

タップ数５である場合、

により、カレントフレーム間よりも２フレーム間前のフレーム間に対応する防振の補正量が算出される。本実施例では、ｎ＋１フレームをカレントフレームとすると、ｎ−１フレームが、防振処理されるフレームとなる。

以上のような手順により、対応するフレームに対する防振の補正量が算出される。しかしながら、通常、デジタルフィルタリングは、時間軸のみを持った１次元信号を入力信号の前提とする。このため、フィルタリングステップの前に多次元量であるホモグラフィの系列を複数の１次元量系列、例えば、以下のような系列のセットに変換（成分分離）する必要がある。

本実施例では、フレーム間の画像変化量である、以下の射影ホモグラフィをカメラワークに類似した成分に分離された１次元量系列セットに変換する。

そしてデジタルフィルタリングを実施する。その後、フィルタリング後の１次元量セットを逆変換し、以下のフィルタリング後の射影ホモグラフィを得る。

図８は、図６のフィルタリング処理と、図７のホモグラフィフィルタリング（Ｓ７０２）を説明する図である。
補正量算出部００５０２が、多次元量として表現される射影ホモグラフィを、１次元量に変換する。そして、その時系列をデジタルフィルタリングする。その後、補正量算出部００５０２が、１次元量のフィルタリング結果を復元して、多次元量であるフィルタリング後ホモグラフィを得る。

カメラワークに基づく補正量（位置姿勢の補正量）の算出について説明する。補正量算出部００５０２が、撮像装置の位置姿勢の変化について積分を行うことにより軌跡を算出する。さらに、その積分値に、同様にフィルタリングを行うことにより、位置姿勢の軌跡の補正量を得ることができる。軌跡の積分は、撮像装置の位置姿勢の変化が小さい場合には各軸の位置変化及び姿勢変化毎に近似して積分してもよい。一方、姿勢変化が大きい場合には、姿勢の変化に基づき位置変化の積分の軸を回転して積分し、位置変化を算出する（参考文献１）。本実施例における時系列フィルタリングでは、デジタルフィルタリングを利用した。しかし、意図したカメラワークと、意図しないカメラの動きに関連する画像変化量への分離は、他のフィルタリング手法を利用してもよい。

補正量算出部００５０２が、位置姿勢変化の積分値から位置姿勢の補正量を算出した場合、この補正量は、幾何変形に用いるホモグラフィ表現の画像の幾何変形量へ変換される。
例えば、モーションを３軸回転のみ検知し、３軸回転を補正する場合を想定すると、幾何変形パラメータのホモグラフィが与えられる。

Ｒ、Ｐ、Ｙは、それぞれ、光軸に対するカメラのロール、ピッチ、ヨー回転の補正量を表す。αは、抑振率を表す。符号の負は抑振を表す。撮像装置の位置に関しても同様に位置の補正量を算出した後、画像の各ピクセルの深度情報を用いて各ピクセル毎の幾何変形量を算出できる。

遅延量は、フィルタのタップ数が増加すれば増加するほど、言い換えれば、より低周波の位置姿勢変化を抑制しようとすればするほど増加する。これは、またＦＩＲフィルタやカルマンフィルタにおけるフィードバックゲインを増加させることと同様である。フィルタ処理によりリアルタイムの防振処理を実現しようとすると、補正量算出において、その時点まで算出のブレ／カメラワークのみを用いるので、遅延を小さくしようとすると、物理的な原理法則に基づき、防振効果を抑制しなければならなくなる。

図３のステップＳ２０１３では、幾何変形防振部００５０３は、入力画像に防振の幾何変形を適用する。例えば、射影ホモグラフィで表された画像変化の場合、幾何変形防振部００５０３は、カレントフレームに対応する補正量のホモグラフィに基づき、射影変形を適用する。高品質な画像を得るため、幾何変形は、例えばバックワードマッピングにより実現される。

図９は、バックワードマッピングにおける幾何変換後のピクセル座標位置に対応する幾何変換前のピクセル座標位置を算出する処理を説明するフローチャートである。
幾何変形防振部００５０３が、幾何変換後のピクセル座標位置に対応する幾何変換前のピクセル座標位置を算出を算出し、補間により、当該ピクセル座標位置のピクセル値を算出する。この手順を全ての幾何変換後のピクセル位置について行うことにより防振処理後フレームを得る。

まず、幾何変形防振部００５０３が、正規化処理を実行する（ステップＳ９０１）。具体的には、幾何変形防振部００５０３は、防振処理後フレームのピクセル座標を正規化画像座標系上の座標値に変換する。つまり、カメラ内部パラメータの影響を除去した、焦点距離のカメラ座標系での画像座標を求める。

幾何変形防振部００５０３は、防振処理後の焦点距離f_{c_new}を含む内部パラメータを用いて、正規化画像座標系上の座標値に変換する。Inv()はカッコ内の行列の逆行列を表す。

次に、幾何変形防振部００５０３が、歪み除去処理を実行する（ステップＳ９０２）。具体的には、幾何変形防振部００５０３は、幾何変換後画像に加えられるディストーションを除去する。通常、幾何変換後映像は無歪みの映像とする。そのため、出力映像が無歪み映像の場合、このステップは省略される（(u_d’,v_d’)→(u’,v’)）。

一方、出力映像が歪みを加えた映像の場合は、正規化画像座標上での無歪み座標(u’,v’)を歪み座標(u_d’,v_d’)から算出する。すなわち、幾何変形防振部００５０３は、以下の手順で、無歪み座標(u’,v’)を求める。

次に、幾何変形防振部００５０３が、幾何変形として、例えば正規化画像座標上での防振補正の逆変換を実施する（ステップＳ９０３）。防振の補正量を表す幾何変換マトリクスを３×３の行列Ｈとすると、バックワードマッチングであるため、その逆行列inv(Ｈ)を正規化された座標点(u’,v’)に適用することになる。

これにより、防振補正前の正規化画像座標(u,v)を得る。次に、幾何変形防振部００５０３が、歪み付加（エフェクト処理）を実行する（ステップＳ９０２）。具体的には、幾何変形防振部００５０３は、ステップＳ９０３の幾何変形後の画像に対して、切り出し、リサイズ等のエフェクトをかける。また、幾何変形防振部００５０３が、広角等でパース補正を行ってもよい。例えばパース補正としては、歪曲を付加してパース影響を軽減する処理が考えられる。幾何変形防振部００５０３は、以下の式により、放射方向歪みによる効果を付加する。この幾何変形の内容に関する補助情報は、エフェクト処理に関するエフェクト情報を含む。エフェクト情報は、リサイズに関するリサイズ情報、パース補正に関するパース補正情報を含む。

k₁,k₂,k₃は、それぞれ、１次、２次、３次の放射方向歪み係数を表す。
次に、幾何変形防振部００５０３が、正規化復元を実行する（ステップＳ９０５）。具体的には、幾何変形防振部００５０３は、歪みを加えた防振補正前の正規化画像座標(u_d,v_d)に対し、カメラの内部パラメータを適用することで、入力フレーム上でのピクセル座標を得る。

幾何変形防振部００５０３は、上記のピクセル座標におけるピクセル値をバイキュービック補間等の補間によりサンプリングし、防振処理後のフレームの各ピクセルのピクセル値を得る。防振処理後のフレームの全てについてバックワードマッピングを行うことにより幾何変換処理が完了する。以上の処理ステップにより映像信号の各フレームに対して、第１の防振処理が実施される。

上記では、射影ホモグラフィに基づく防振処理、及びカメラの回転に基づく防振処理を説明したが、撮像装置の位置姿勢の補正量に基づき、視差も含めた幾何学的に正しい防振処理を行ってもよい。位置姿勢の変化に応じた幾何学的に正しい画像の幾何変形および各画素のマッピングに関しては、参考文献９に開示された技術を適用できる。
参考文献９：F.Liu,et.al.,”Content-Preserving Warps for 3D Video Stabilization”,SIGGRAPH2009

図２に戻って、記録処理（Ｓ２０２）では、第１の防振処理部００５が、第１の防振処理後の画像データ（映像ストリーム）を記録部００６に記録する。第１の防振処理部００５は、防振処理された映像ストリームを不図示の符号・復号化部にて、ＮＴＳＣまたはＭＰＥＧ４、動画ＲＡＷ等で表現される映像記録フォーマットに符号化した上で、記録部００６に記録する。

図１０は、図２のステップＳ２０３における第２の防振処理を説明するフローチャートである。
第２の防振部００７の制御部００７００が、記録部００６に記録されている第１の防振処理後の画像データに対して、オフライン処理にて再防振する。オフライン処理であるため、あるカレントフレームについての画像変化もしくは撮像装置の位置姿勢変化のフィルタリングを行う際、未来のフレームに対する画像変化もしくは撮像装置の位置姿勢変化を用いることができる。またライブビュー等の不図示の表示部への表示遅延の問題をリアルタイムの場合と違い、気にしなくても良い。そのため超大なタップ数のフィルタリング処理を適用可能となる。結果より高品質な防振が可能となる。

図１０のブレ・カメラワーク推定（Ｓ２０３１）における基本処理は、図３のブレ・カメラワーク推定（Ｓ２０１１）と同様である。補正量算出（Ｓ２０３２）における基本処理は、図３の補正量算出（Ｓ２０１２）と同様である。また、幾何変形（Ｓ２０３３）における基本処理は、図３の幾何変形（Ｓ２０１３）と同様である。

第２の防振処理において、ブレ・カメラワーク推定部００７０１が、第１の防振処理におけるカメラワーク推定と同様にピンホールカメラを想定した画像ベクトルに基づくカメラワーク推定を行おうとすると、以下の問題がある。すなわち、第１の防振処理においてピンホールカメラ想定が崩れる防振処理を行ってしまっていると、カメラワーク推定が正しくできなくなってしまう。例えば、撮像装置の回転に基づく画像の並進成分を画像変化として検出し、第１の防振処理で補正してしまっていると、第２の防振処理で正しく回転を推定できなくなり、画像変化の残留成分であるあおりや拡大縮小が残留してしまう。また、撮像装置の並進に基づく画像の並進成分を第１の防振処理で補正してしまっていると、第２の防振処理で正しく並進を推定できなくなり、視差が補正できなくなる。

また、第１の防振処理において、リサイズやパース補正等のエフェクト処理をかけている場合も、ピンホールカメラ想定が崩れるため、第２の防振処理において、カメラワーク推定を正しく実行することができない。

ピンホールカメラ想定を崩さない防振処理とは、例えば、撮像装置の回転に基づくカメラワークの補正の式に基づく幾何学的に正しい補正、または撮像装置の並進に基づく幾何学的に正しい３次元的な補正処理である。ピンホールカメラ想定を崩す防振処理とは、例えば、撮像装置の回転に基づく画像変化に対して並進のみを補正する防振補正である。また、ピンホールカメラ想定を崩す防振処理とは、例えば、撮像装置の並進に基づく画像変化に対して同様に並進のみを補正する防振補正である。

そこで、本実施例においては、第１の防振部００５が、第１の防振処理で適用したピンホールカメラ想定を崩す防振処理の内容に関する補助情報を、防振処理後の画像データと共に記録部００６に記録しておく。そして、図１０のステップＳ２０３０において、制御部００７００が、上記補助情報に基づいて、第１の防振処理の影響を除去する防振影響除去処理を実行する。本実施例では、補助情報は、幾何変形された撮影画像の画像変化成分であるものとする。制御部００７００は、第２防振部００７内の各処理部を制御して、第１の防振処理で適用したピンホールカメラ想定を崩す防振処理の影響を、幾何変形で外したり、ブレ／カメラワーク推定において、座標演算上考慮させたりする。つまり、カメラワークの推定処理、撮影画像の幾何変形は、それぞれ、第１の防振部００５によって実行されたピンホールカメラ想定が崩れる防振処理の影響を除去する処理を含む。

例えば、第１の防振処理が並進補正の場合、ブレ・カメラワーク推定部００７０１は、その並進補正がなかったこととして抽出した動きベクトルを基に、ブレ／カメラワークを推定する。また、幾何変形防振部００７０３は、一旦、第１の防振処理での並進補正をキャンセルした上で、幾何変形を実行する。

第１の防振処理がピンホールカメラ想定を崩さない防振処理であっても、第１の防振処理におけるブレ・カメラワーク推定処理で求めた、撮像装置の位置姿勢からなるカメラワーク情報は、第２の防振処理での適切な補正情報や推定の初期情報とはならない。そこで、本実施例では、第２の防振処理のブレ・カメラワーク推定（ステップＳ２０３１）において、第１の防振処理で求めた位置姿勢の変化情報を用いる場合には、以下の処理を実行する。すなわち、第１の防振部００５が、図３の幾何変形（Ｓ２０１３）の適用後の撮像装置１００の位置姿勢の変化を示す位置姿勢変化情報を、防振処理後の画像データと共に記録部００６に記録しておく。そして、ブレ・カメラワーク推定部００７０１は、記録部００６内の位置姿勢変化情報を用いて、ブレ／カメラワークを推定する。これにより、撮像装置の位置姿勢の変化、画像変化を計算する際に適切な初期値を使用することができるので、処理結果の高精度化や計算量の大幅削減が実現できる。

（実施例２）
図１１は、実施例２のシステム構成を示す図である。
図１１中に示す情報処理システムは、撮像装置２００と、情報処理装置００９とを備える。この情報処理装置は、複数のサーバ群から構成されるクラウドサービスや、ＰＣ等によって実現される。情報処理装置００９は、撮像装置２００とネットワークで接続されている。図１１の情報処理システムにおいて、図１の撮像装置１００と同様の構成については、説明を省略する。

撮像装置２００が備える第１の防振部００８は、光学的に、装置の振れにより生じる撮影画像のブレ（像ブレ）を補正する（光学防振する）ことで、第１の防振処理を実現する。
第１の防振部００８は、例えば、振れ補正部材００８０１、制御部００８０２、位置検出部００８０３を備える。もちろん、第１の防振部００８が、実施例１と同様に、幾何変形により撮影画像のブレを補正するようにしてもよい。

光学的に防振を行う際には、撮像装置２００は、像ブレを補正するための補正部材００１１である一部のレンズを駆動させて、撮像素子上の光学像の位置を平行移動させる。補正部材００１１は、振れ情報取得部００４からの情報に基づき駆動されることで、一般的な光学防振を実現する。制御部００８０２は、ＣＰＵ００８０４からの指示により制御される。ＣＰＵ００８０４は、焦点距離等のカメラパラメータや駆動に関する係数を保持し、例えば、振れ情報取得部から得られるブレの要素情報を基に補正量を算出する補正量算出部の機能を有する。ＣＰＵ００８０４は、カメラパラメータや駆動係数を基に補正部材００１１の駆動量に変換し、制御部００８０２に駆動の指令を送る。

位置検出部００８０３は、光学防振を行う補正部材００１１の並行移動量を計測する。具体的には、位置検出部００８０３は、補正部材００１１の並行移動により移動した画像中心の位置とその変化速度を監視するための情報を算出する。画像中心とは、光学系の光軸とセンサの交点である。また、光学像の並行移動量と画像中心の並行移動量は当然等価である。並行移動量は、基本的にはホール素子やエンコーダ等の物理的な構成要素を通して得られる。位置検出部００８０３は、補正部材００１１の並行移動量の計測量に基づき出力値を算出する。正確な移動量を算出するためにキャリブレーション係数を用いても良い。しかしながら、高い精度を必要としない場合には、制御部００８０２から出力される補正部材００１１の制御情報を直接変換しても出力値を算出してもよい。

第１の防振部００８は、光学系００１の一部である補正部材００８０１を駆動する形式ではなく、撮像素子００２を光学系の光軸に対し垂直方向に移動するセンサシフトタイプでもよい。第１の防振部００８は、センサシフトタイプである場合には、監視パラメータとして、センサの駆動シフト量を画像の並進量に変換して得られる出力値を、防振処理に関する補助情報として記録する。

画像の並進量とは、光学防振の効果による映像の並行移動による座標変化の量を表す物理量である。しかしながら、光学系００１がズームレンズの場合、焦点距離の変化があると、姿勢センサから与えられるカメラの回転量が同じであっても、映像の並行移動量が変化してしまう。したがって、制御の扱いやすさを考慮し、カメラの回転量や並行移動量、焦点距離からなる複数の制御物理量の組として扱ってもよい。例えば、光学防振制御情報の一つを、それ自体に光学系の焦点距離を乗算すると、センサ面上での画像の平行移動量となるようにスケーリングする値と取り決める。つまり、カメラ回転をθとすると、

という形で角度として扱ってもよい。この際、光学防振機構がニュートラルな位置にある場合をレンズのシフト量０とする。焦点距離を画像のピクセル単位で扱えば、補正角を画像上での平行移動量として扱うことができる。

カメラ光軸に対し、Ｙａｗ方向へのレンズシフト量をShy、Ｐｉｔｃｈ方向へのレンズシフト量をShpとする。

という形で、第２の防振処理において、第１の防振処理（光学防振）による表示領域の移動をキャンセルすることができる。ここで、Shy，Shpは、カレントフレームにおける防振シフト量、Shy_-1，Shp_-1は、１つ前のフレームにおける防振シフト量を示す。

情報処理装置００９は、撮像装置２００と、外部入出力Ｉ／Ｆを通して画像及び補助情報の授受を行い、第２の防振処理を実行する。外部入出力Ｉ／Ｆは、不図示の無線ＬＡＮやＵＳＢ等の有線ケーブル、ＳＤカード等の固体メディア媒体等を接続可能なＩ／Ｆから構成される。

実施例２における第１、第２の防振処理を説明するフローチャートは、実施例１と同様であるので、詳細な説明は省略する。
実施例２では、第１の防振処理は、レンズの一部または撮像素子を駆動する光学防振により実現される。これは実施例１における、画像の幾何変形推定において並進の画像変化を推定し、射影変形ホモグラフィに包含される並進要素で補正する処理に相当する。そして、この光学防振は、高度なブレ・カメラワーク推定におけるピンホールカメラ想定を崩す防振補正となる。

記録部００６に記録された画像データは、ネットワークを経由し、情報処理装置００９に伝送される。情報処理装置００９は、第１の防振処理による影響を除去する制御処理を行いつつ、第２の防振処理を実行する。

本実施例によれば、すぐ映像が見られる機器内のリアルタイム防振の長所を残し、後からの高度なオフライン防振処理が可能になる。また、記録時の防振マージン領域を減らせるとともに、オフライン処理計算機能力要件を軽減できる。

実施例１の構成と実施例２の構成とを適宜組み合わせてもよい。例えば、図１の撮像装置１００が、第１の防振処理として光学防振処理を実行してもよいし、図１１の撮像装置２００が、第１の防振処理として幾何変形防振処理を実行してもよい。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

００５第１の防振部
００７第２の防振部
１００撮像装置

Claims

撮影画像に係る画像データに対して防振処理を実行し、防振処理後の画像データを記録部に記録する第１の防振部と、
前記第１の防振部が出力する、前記防振処理の内容に関する補助情報に基づいて、前記記録部に記録された防振処理後の画像データを対象として、前記第１の防振部による前記防振処理の影響を除去する制御処理を行いつつ、再度防振処理を実行する第２の防振部とを備える
ことを特徴とする撮像装置。
前記第１の防振部は、前記防振処理後の画像データと共に、前記補助情報を前記記録部に記録し、
前記第２の防振部は、前記記録部に記録された補助情報に基づいて、前記第１の防振部による前記防振処理の影響を除去する制御処理を実行する
ことを特徴とする請求項１に記載の撮像装置。
前記第１の防振部は、前記撮影画像に生じるブレを当該撮影画像を幾何変形することで補正する幾何変形防振処理、または前記撮影画像に生じるブレを、振れ補正手段を駆動することで補正する光学防振処理の少なくとも一方を実行し、
前記第２の防振部は、前記幾何変形防振処理を実行する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
前記第２の防振部は、カメラワークの推定処理を実行し、前記推定されたカメラワークに基づいて、防振の補正量を算出し、前記補正量に基づいて、前記撮影画像を幾何変形することで、前記幾何変形防振処理を実行し、
前記カメラワークの推定処理、前記撮影画像の幾何変形は、それぞれ、前記第１の防振部によって実行されたピンホールカメラ想定が崩れる防振処理の影響を除去する処理を含む
ことを特徴とする請求項３に記載の撮像装置。
前記補助情報は、前記幾何変形された前記撮影画像の画像変化成分を含む
ことを特徴とする請求項４に記載の撮像装置。
前記第１の防振部が実行する前記幾何変形は、エフェクト処理を含んでおり、
前記補助情報は、エフェクト処理に関する情報であるエフェクト情報を含む
ことを特徴とする請求項５に記載の撮像装置。
前記エフェクト処理は、リサイズ、パース補正を含み、
前記エフェクト情報は、前記リサイズに関するリサイズ情報、前記パース補正に関するパース補正情報を含む
ことを特徴とする請求項６に記載の撮像装置。
前記第１の防振部は、前記光学防振処理を実行し、
前記補助情報は、前記振れ補正手段の駆動シフト量を含む
ことを特徴とする請求項４に記載の撮像装置。
前記第１の防振部は、前記防振処理後の前記撮像装置の位置姿勢の変化を示す位置姿勢変化情報を前記補助情報とともに出力し、
前記第２の防振部は、前記位置姿勢変化情報を用いて、前記カメラワークを推定する処理を実行する
ことを特徴とする請求項４乃至８のいずれか１項に記載の撮像装置。
撮影画像に係る画像データに対して防振処理を実行し、防振処理後の画像データを記録部に記録する第１の防振工程と、
前記第１の防振工程での前記防振処理の内容に関する補助情報に基づいて、前記記録部に記録された防振処理後の画像データを対象として、前記第１の防振工程による前記防振処理の影響を除去する制御処理を行いつつ、再度防振処理を実行する第２の防振工程とを有する
ことを特徴とする撮像装置の制御方法。
ネットワークを介して接続された撮像装置と情報処理装置とを備えるシステムであって、
前記撮像装置は、撮影画像に係る防振処理を実行し、防振処理後の画像データを記録部に記録するとともに、前記防振処理の内容に関する補助情報を出力し、
前記情報処理装置は、前記補助情報に基づいて、前記記録部に記録された防振処理後の画像データを対象として、前記撮像装置による前記防振処理の影響を除去する制御処理を行いつつ、再度防振処理を実行する
ことを特徴とする情報処理システム。