JP2007259105A - 手振れ補正方法及びその装置並びに撮像装置 - Google Patents

Abstract

【課題】部品点数を増加させずにコスト増大を抑制し、ズームアップした画像の手振れ補正を適切に行う。
【解決手段】撮像素子により撮像されフレームメモリに格納された画像データの全範囲１１ａに対し全範囲１１ａより狭い範囲Ｚを出力範囲とする撮像装置の手振れ補正において、Ｎフレーム目の画像に対しＮ＋１フレーム目の画像の手振れ補正用移動ベクトルを検出するときの移動ベクトル探索範囲を、フレームメモリに格納されているＮ＋１フレーム目の画像データのうち出力範囲Ｚの画像データに制限し、探索範囲ａ，ｂ，ｃ，ｄとする。
【選択図】図４

Description

本発明は、手振れ補正方法及びその装置並びに撮像装置に関する。

例えば、動画撮影機能を有するデジタルスチルカメラやデジタルビデオカメラ等を手に持ち動画を撮影する場合、カメラを持つ手が振れると、あるフレームの画像中に映っている静止物画像の位置が次フレームの画面では移動してしまい、見づらい動画になってしまう。そこで、あるフレームの画像に対して次フレームの画像の移動ベクトルを検出し、画像が揺れない様に手ぶれ補正を行うことが行われている。

図５は、手振れ補正を行うときの移動ベクトルを検出する原理を示す説明図である。図５（ａ）に示すＮフレーム目の画像１中の所定アドレスで示されるブロック２内の画像を基準画像とすると、（Ｎ＋１）フレーム目の画像３中の同一所定アドレスで示されるブロック４によって切り出された画像が基準画像と同一であれば、画像１に対して画像３は振れていないことになる。

しかし、手振れが発生していれば、ブロック２内の基準画像とブロック４で切り出された画像は一致しない。そこで、画像３中のブロック４を、４ａ，４ｂ，４ｃ，…と、Ｘ方向（水平方向），Ｙ方向（垂直方向）にずらしながら、各ブロック４ａ，４ｂ，４ｃ，…内の夫々の画像を基準画像と比較し、基準画像と最も相関性が高い比較画像を切り出したブロック位置を求める。基準画像と比較画像の相関性を求める演算は、基準画像と比較画像の１画素１画素を比較し各差分のブロック内総画素の総和（積算値）の最小値を求めることで行う。

図５（ｂ）に示す例で、ブロック２の基準画像に対し最も相関性が高い比較画像がブロック４ｃで切り出されたとすると、画像１に対する画像３の差は「Ｋ」となる。このＫが手振れ補正用の移動ベクトルであり、画像１を表示した次に、画像３を移動ベクトルＫだけ同方向に移動させて表示すれば、手振れの無い画像を表示することができる。

この手振れ補正を行っている最中に、撮影対象の主要被写体を電子ズーム機能でズームアップし、主要被写体画像をモニタ装置に拡大表示したとする。このとき、モニタ装置に表示されていない周辺部の画像を基に手振れ補正が行われると、周辺部の画像に大きく依存した手振れ補正が行われてしまう。

周辺部の画像が静止画像であれば問題ないが、動体の画像であると、動体の動きが手振れ補正量に反映されてしまい、主要被写体が動いていないにもかかわらず、モニタ装置の表示画像が大きく揺れてしまうという問題が生じる。

そこで、下記特許文献１記載の従来技術では、周辺部の画像が手振れ補正の演算に反映しないように、即ち、図５（ｃ）に示す様に、周辺部６の画像を、例えば撮像素子前部に配置した液晶表示板でなる透過率可変フィルタでマスクしてしまい、中央部７の映像を探索範囲として手振れ補正を行う様にしている。

特開平１０―１７８５８２号公報

撮像画像中の所定範囲を電子ズーム機能を用いてズームアップしている最中に手振れ補正を行う場合、上述した従来技術に様に、ズームアップ対象外となる画像をマスクすることは有効である。しかし、そのために透過率可変フィルタの様な光学部品を新たに設けると、部品点数が増加し、撮像装置の製造コストを増加させてしまうという問題が生じる。

本発明の目的は、部品点数増加によるコスト増大を抑制し、ズームアップした画像の手振れ補正を適切に行うことが可能な手振れ補正方法及びその装置並びに撮像装置を提供することにある。

本発明の手振れ補正方法及びその装置は、撮像素子により撮像されフレームメモリに格納された画像データの全範囲に対し該全範囲より狭い範囲を出力範囲とする撮像装置の手振れ補正において、Ｎフレーム目の画像に対しＮ＋１フレーム目の画像の手振れ補正用移動ベクトルを検出するときの移動ベクトル探索範囲を、前記フレームメモリに格納されている前記Ｎ＋１フレーム目の画像データのうち前記出力範囲の画像データに制限したことを特徴とする。

本発明の手振れ補正方法及びその装置は、前記出力範囲が電子ズーム機能でズームアップする範囲であることを特徴とする。

本発明の手振れ補正方法及びその装置は、前記移動ベクトル探索範囲が矩形の前記出力範囲の４隅に設定されていることを特徴とする。

本発明の撮像装置は、撮像素子と、該撮像素子から出力される画像データを格納するフレームメモリと、電子ズーム機能と、上記のいずれかに記載の手振れ補正装置とを搭載したことを特徴とする。

本発明によれば、移動ベクトル探索範囲を出力範囲の画像データに制限し、この出力範囲の画像データをフレームメモリから読み出して手ぶれ補正の演算処理を行うため、透過量可変フィルタ等の光学部品が不要となり、低コストでズームアップ画像の手振れ補正を行うことが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置、例えば動画撮影機能付デジタルスチルカメラの要部構成図である。この撮像装置は、撮像部本体１０と、手振れ補正部２０とでなる。

撮像部本体１０は、被写体画像を撮像する固体撮像素子１１と、固体撮像素子１１から出力される画像データを格納するフレームメモリ１２と、フレームメモリ１２から読み出された所要範囲の画像データに対してホワイトバランス補正処理やガンマ補正処理，ＲＧＢ／ＹＣ変換処理等の各種信号処理を施す画像処理部１３と、信号処理後の画像データたとえばＪＰＥＧ圧縮された画像データを記録メディアに格納したりモニタ表示する画像出力部１４とを備えてなる。

手振れ補正部２０は、フレームメモリ１２の格納画像データを取り込み間引き処理する前処理部２１と、前処理部２１で間引き処理され生成された縮小画像データを保存する２つのメモリ２２，２３と、２つのメモリ２２，２３の一方を前処理部２１に切替接続するスイッチ２４とを備える。

この手振れ補正部２０は更に、基準画像切出回路２６と、比較画像切出回路２７と、基準画像切出回路２６及び比較画像切出回路２７とメモリ２２，２３との間に設けられメモリ２２，２３の一方を基準画像切出回路２６に接続したときメモリ２２，２３の他方を比較画像切出回路２７に接続する接続切替回路２８と、両切出回路２６，２７の出力画像データを比較して相関性の演算処理等を行い手振れ補正の移動ベクトルを求め画像処理部１３に出力する比較演算処理部２９とを備える。

図示は省略しているが、撮像部本体１０には撮像装置全体を統括制御するＣＰＵが設けられ、このＣＰＵが撮像素子１１を駆動制御すると共に、スイッチ２４及び接続切換回路２８にフレーム切替信号を出力する。

また、撮像装置のユーザが図示しない操作ボタン等から電子ズームの指示入力を行うと、統括制御用のＣＰＵは、この指示入力に従って前処理部２１，画像処理部１３，比較演算処理部２９に電子ズーム値を出力する。

斯かる撮像装置では、Ｎフレーム目の画像データ，Ｎ＋１フレーム目の画像データ，Ｎ＋２フレーム目の画像データ，……が次々と入力してくる。前処理部２１は、各フレームの画像データを次々と間引き処理して縮小画像データを生成して出力し、スイッチ２４はフレーム切替信号によって切り替え制御される。

これにより、Ｎフレーム目の縮小画像データがメモリ２２に格納され、Ｎ＋１フレーム目の縮小画像データがメモリ２３に格納されると、メモリ２２の格納画像データ（今回の基準画像データ）に対するメモリ２３の格納画像データ（今回の比較画像データ）の移動ベクトルが後述する様にして算出される。

次にＮ＋２フレーム目の縮小画像データがメモリ２２に上書きされると、メモリ２３の格納画像データ（Ｎ＋１フレーム目の縮小画像データ：次回の基準画像データ）に対するメモリ２２の格納画像データ（次回の比較画像データ）の移動ベクトルが後述する様にして算出され、以後、同様の処理が繰り返される。

この様に、移動ベクトルを算出する場合、比較演算処理部２９の処理負荷の軽減と処理速度の高速化を図るために縮小画像データを用いて行うのが好ましいが、縮小画像データを用いずに移動ベクトルを算出することも可能である。

接続切換回路２８は、フレーム切替信号により、基準画像とする方の縮小画像データを格納したメモリ２２，２３の一方を選択して基準画像切出回路２６に接続し、メモリ２２，２３の他方を比較画像切出回路２７に接続する。

基準画像切出回路２６は、基準画像側とするＮフレームの縮小画像データの中からブロック２（図５参照）によって基準画像を切り出し、比較演算処理部２９に出力する。同様に、比較画像切出回路２７は、比較画像側とするＮ＋１フレームの縮小画像データの中からブロック２と同一大きさの比較画像切出ブロックによって比較画像を切り出し、比較演算処理部２９に出力する。

比較演算処理部２９は、切出回路２６，２７から取り込んだ両画像を１画素単位に比較して各画素毎の差分（輝度の差分，色差の差分，原色系フィルタの場合はＲＧＢ色毎の差分，補色系フィルタの場合は補色毎の差分等）を求め、各差分の絶対値のブロック内総画素の積算値（この値が大きいほど、不一致量が大きいことを意味する。）を算出し、自身内の内部メモリ（図示せず）に保存しておく。

積算値が算出された後、比較演算処理部２９は比較画像切出回路２７に移動指令を出力する。これにより、比較画像切出ブロックが同一探索範囲（探索範囲については後述する。）内で次位置に移動し（縮小画像データを用いているため、移動は、縮小画像上の１画素単位となる。）、次の比較画像が切り出され、比較演算処理部２９はこの比較画像と基準画像との比較演算を行い、各画素の差分の上記積算値を同様にして求める。

以下同様にして、次々と探索範囲内の比較画像を切り出し、各比較画像毎の積算値を求め、各積算値のうちの最小値（相関性の最高値）を求める。そして、最小値を示す比較画像を切り出したブロック位置と基準画像を切り出したブロック位置との差を当該探索範囲の移動ベクトルとする。

１つの探索範囲における処理が終了した後は、次に、基準画像切出回路２６と比較画像切出回路２７に探索範囲切替指示を出力する。これにより、次の探索範囲について上記の処理を繰り返す。

以上の様にして、予め定めた探索範囲毎の移動ベクトルが求まると、これら移動ベクトルの平均値が算出され、この平均値が手振れ補正用の移動ベクトルとして比較演算処理部２９から画像処理部１３に出力される。

画像処理部１３は、Ｎフレームメモリ１２から切り出した画像データを信号処理して出力した後、次に出力する画像データをＮ＋１フレームメモリ１３から切り出し信号処理するが、このとき、移動ベクトルと同方向にずらした位置から画像データをＮ＋１フレームメモリ１３から切り出すことで、手振れ補正された画像を出力することが可能となる。出力画像をモニタ表示する場合、手振れの無い画像が表示されることになる。

図２は、図１に示す撮像装置における探索範囲設定処理手順を示すフローチャートである。

先ず、ユーザからズームアップの指示入力があるか否かを判定する（ステップＳ１）。ズームアップしないのであれば、ステップＳ１からステップＳ２に進み、ズームアップ無しの探索範囲の設定を行う。

ズームアップ無しの探索範囲の設定は、例えば図３に示す様に、撮像素子１１から出力される有効画素範囲の画像データの全範囲１１ａに対し、４隅の所定範囲Ａ，Ｂ，Ｃ，Ｄを設定する。

ズームアップする場合には、ステップＳ１からステップＳ３に進み、ズームアップ率とズームアップ場所とに応じた探索範囲の設定を行う。ズームアップ有りの場合の探索範囲の設定は、例えば図４に示す様に、上記の全範囲１１ａに対し、ズームアップする範囲Ｚの４隅の所定範囲ａ，ｂ，ｃ，ｄを探索範囲とする。

ステップＳ２，Ｓ３で探索範囲が設定された場合には、次に、上述した移動ベクトルの算出処理を行う。

図３におけるズームアップ無しの場合には、図３（ａ）の範囲Ａからブロック２―１で切り出した基準画像と、図３（ｂ）の探索範囲Ａからブロック４―１ａ，４―１ｂ，４―１ｃ，…により順次切り出した各比較画像とを比較する。そして、各比較画像に対する上記の積算値を求め、積算値が最小値を示す比較画像を切り出したブロック位置と、基準画像を切り出したブロック２―１と同一アドレスのブロック４―１との差Ｋ―１を当該探索範囲Ａにおける移動ベクトルとする。

以下同様にして、範囲Ｂにおける基準画像を切り出したブロック２―２の位置とこの基準画像と最も相関性の高い（不一致量が最小）比較画像を切り出したブロック位置との差から移動ベクトルＫ―２を求め、同様に、探索範囲Ｃにおける移動ベクトルＫ―３を求め、探索範囲Ｄにおける移動ベクトルＫ―４を求める。そして、各移動ベクトルＫ―１，Ｋ―２，Ｋ―３，Ｋ―４の平均値を求め、この平均値を手振れ補正用の移動ベクトルとする。

図４におけるズームアップ有りの場合にも同様に、図４（ａ）の範囲ａから基準画像をブロック８―１によって切り出し、この基準画像を、図４（ｂ）の探索範囲ａから位置をずらしながら順次切り出した各比較画像と比較することで、範囲ａにおける移動ベクトルを求める。同様に、範囲ｂ，ｃ，ｄにおける移動ベクトルを夫々求め、探索範囲ａ，ｂ，ｃ，ｄの各移動ベクトルの平均値を、ズームアップ範囲Ｚの手振れ補正量とする。

ズームアップ率，ズーム場所を示す電子ズーム値は、統括制御用ＣＰＵから、画像処理部１３，前処理部２１，比較演算処理部２９に通知される。

画像処理部１３は、電子ズーム値に基づきズーム範囲Ｚの画像データをフレームメモリ１２から切り出して信号処理し、拡大した画像を出力する。このとき、比較演算処理部２９から出力されるズーム範囲Ｚにおける手振れ補正量（移動ベクトル）に従ってフレームメモリ１２から切り出す画像データの範囲を移動させることで、手振れの無いズーム画像を出力することができる。

前処理部２１は、フレームメモリ１２内の格納画像データを読み出し縮小してメモリ２２，２３に格納するが、図３，図４に示す様に、探索範囲の画像データのみを縮小すれば済む。しかし、図４（ｂ）に示すズーム画像Ｚの探索範囲ａ，ｂ，ｃ，ｄは、図３（ｂ）に示す探索範囲Ａ，Ｂ，Ｃ，Ｄより狭い範囲となるが、メモリ２２，２３の容量を最大限利用するために、探索範囲ａの画像の縮小率を、探索範囲Ａの画像の縮小率より小さくすることができる。即ち、精度の高い移動ベクトルの算出が可能となる。このため、前処理部２１は、電子ズーム値に応じて、画像縮小を行う場所と間引き率の変更を行う。

比較演算処理部２９は、通知された電子ズーム値に基づき、次の様な処理を行う。比較演算処理部２９は、基準画像と比較画像とが同じズーム率の画像データである場合には、電子ズーム値を用いることなく、上述した比較演算処理を行い、移動ベクトルの算出を行う。

しかし、基準画像と比較画像とのズーム率が異なる遷移的な画像間の比較を行うことが生じる。例えば、電子ズーム開始直後には、基準画像が図３（ａ）のブロック２―４によって切り出され、比較画像が図４（ｂ）の探索範囲ｄから切り出される場合が生じる。この様な場合には、比較演算処理部２９は、基準画像の切り出し位置を変更させたり電子ズーム値に基づいて更に自身で画素間引きし、比較演算処理を行うことになる。

以上述べた様に、本実施形態によれば、撮像素子から出力される画像範囲に対し電子ズーム機能により出力画像範囲が変更されたときフレームメモリから読み出す画像範囲を変更することで対処するため、手振れ補正を低コストで実現することが可能となる。

尚、上述した実施形態では、手振れ補正の移動ベクトルを、出力画像の４隅の探索範囲で検出したが、４つに限定する必要はなく、それ以上の探索範囲たとえば４行４列の計１６個の探索範囲を設けても、また、少ない探索範囲とすることも可能である。

実施形態で４隅を移動ベクトル探索範囲に用いたのは、例えば動体を撮影し動体をズームアップしたとき、動体をズーム画面の中央に映し込むのが普通であり、この場合、４隅が静止画像になる蓋然性が高くなり手振れ量の検出に好適になるからである。

本発明に係る手振れ補正方法等は、電子ズーム機能でズームアップしたときにズーム画面での手振れを適切に検出し補正することができるため、電子ズーム機能付のデジタルカメラ等に適用すると有用である。

本発明の一実施形態に係る手振れ補正機能付デジタルスチルカメラの要部構成図である。 図１に示す撮像装置が実施する手振れ補正量（移動ベクトル）検出用の探索範囲設定処理手順を示すフローチャートである。 電子ズーム機能でズームアップしないときの探索範囲の説明図である。 電子ズーム機能でズームアップしたときの探索範囲の説明図である。 手振れ補正量（移動ベクトル）の算出原理説明図である。

符号の説明

１０ 撮像部本体
１１ 撮像素子
１２ フレームメモリ
１３ 画像処理部
１４ 画像出力部
２０ 手振れ補正部
２１ 前処理部
２２，２３ 縮小画像格納用のメモリ
２６ 基準画像切出回路
２７ 比較画像切出回路
２８ 接続切換回路
２９ 比較演算処理部

Claims (7)

1. 撮像素子により撮像されフレームメモリに格納された画像データの全範囲に対し該全範囲より狭い範囲を出力範囲とする撮像装置の手振れ補正方法において、Ｎフレーム目の画像に対しＮ＋１フレーム目の画像の手振れ補正用移動ベクトルを検出するときの移動ベクトル探索範囲を、前記フレームメモリに格納されている前記Ｎ＋１フレーム目の画像データのうち前記出力範囲の画像データに制限したことを特徴とする手振れ補正方法。
2. 前記出力範囲が電子ズーム機能でズームアップする範囲であることを特徴とする請求項１に記載の手振れ補正方法。
3. 前記移動ベクトル探索範囲が矩形の前記出力範囲の４隅に設定されていることを特徴とする請求項１または請求項２に記載の手振れ補正方法。
4. 撮像素子により撮像されフレームメモリに格納された画像データの全範囲に対し該全範囲より狭い範囲を出力範囲とする撮像装置の手振れ補正装置において、Ｎフレーム目の画像に対しＮ＋１フレーム目の画像の手振れ補正用移動ベクトルを検出するときの移動ベクトル探索範囲を前記フレームメモリに格納されている前記Ｎ＋１フレーム目の画像データのうち前記出力範囲の画像データに制限し読み出す手段を備えることを特徴とする手振れ補正装置。
5. 前記出力範囲が電子ズーム機能でズームアップする範囲であることを特徴とする請求項４に記載の手振れ補正装置。
6. 前記移動ベクトル探索範囲が矩形の前記出力範囲の４隅に設定されていることを特徴とする請求項４または請求項５に記載の手振れ補正装置。
7. 撮像素子と、該撮像素子から出力される画像データを格納するフレームメモリと、電子ズーム機能と、請求項４乃至請求項６のいずれかに記載の手振れ補正装置とを搭載したことを特徴とする撮像装置。

Images