JP2010226314A - 動画処理装置、動画処理方法及び動画処理プログラム - Google Patents

Abstract

【課題】本発明は、フレーム周期と比較して露光時間が極端に短い場合に生じうる、再生時に不連続な印象を与える動きの原因となるブレ経路を緩和する。
【解決手段】本発明の動画処理装置は、動画データからフレーム間の動きを検出する動き検出部と、前記動き検出部の検出結果に基づいてフィルタ係数を生成するフィルタ係数生成部と、前記フィルタ係数により、前記動画データをフィルタリングすることにより、前記フレーム間の動きの経路で、前記動画データの画素値を平均値化するフィルタとを有する。
【選択図】図２

Description

本発明は、動画像の処理に関し、例えば、不連続な印象を与える動きを緩和する動画処理装置、動画処理方法及び動画処理プログラムに関する。

従来、デジタルカメラは、動画像を撮影する場合、動きの滑らかな再生画質を確保するため、露光時間（電荷蓄積時間）をほぼフレーム周期いっぱいに設定してきた。

また、動画像の処理において、動きベクトルを用いて連続するフレーム間の画像データを生成し、動画像のフレームレートを変換する方法が提案されている（例えば、特許文献１参照）。

特開２００７−１６６１９８号公報

ところで、露光時間をほぼフレーム周期いっぱいに設定するためには、光量を制限するため、特殊な絞り装置を用いてガルバノ式と呼ばれる絞り調節により露光制御を行う必要がある。このため、絞りの調節による露光制御に代えて、露光時間を調節して光量を制御する、すなわち、露光時間の調節により露光制御を行えば、絞りに関連する構成部品を削減でき、デジタルカメラの全体構成も簡略化できる。また、動画像を撮影するための露光時間を静止画像を撮影する程度に短くすることができれば、動画像の１コマ１コマをぶれの少ない静止画像として記録することも可能になる。しかしながら、露光時間の調節による露光制御を行う場合、フレーム周期と比較して露光時間が極端に短くなる場合も想定され、動画像の動きが不連続で不自然な印象を与える可能性がある。

また、動きベクトルを用いて連続するフレーム間の画像データを生成し、動画像のフレームレートを変換する方法においては、フレーム間を補間する画像データを生成する必要があることから必然的にデータ量は多くなり、さらに、画像データを用いて補間する処理が複雑になるという課題があった。

本発明は以上の点を考慮してなされたもので、フレーム周期と比較して露光時間が極端に短い場合に生じうる、不連続な印象を与える動きを緩和することができる動画処理装置、動画処理方法及び動画処理プログラムを提供することを目的とする。

上記の課題を解決するため請求項１の発明は、動画処理装置に適用して、動画データからフレーム間の動きを検出する動き検出部と、前記動き検出部の検出結果に基づいてフィルタ係数を生成するフィルタ係数生成部と、前記フィルタ係数により、前記動画データをフィルタリングすることにより、前記フレーム間の動きの経路で、前記動画データの画素値を平均値化するフィルタとを有する。

また請求項２の発明は、請求項１の構成において、前記フィルタから出力される動画データを記録すると共に、前記動画データの１コマを静止画像により記録する記録部を有する。

また請求項３の発明は、請求項１、又は請求項２の構成において、前記動き検出部は、前記動画データのグローバル動きベクトルを検出して前記フレーム間の動きを検出する。

また請求項４の発明は、請求項１の構成において、前記動き検出部は、少なくとも前フレームにおける前々フレームからの動きと、現フレームにおける前フレームからの動きと、次フレームにおける現フレームからの動きとを曲線近似して、前記フレーム間の動きを検出する。

また請求項５の発明は、請求項１の構成において、前記動き検出部は、前記フレーム間の動きをジャイロセンサにより検出する。

また請求項６の発明は、請求項５の構成において、前記動き検出部は、前記動画データのフレーム周期より短い時間間隔で繰り返し前記動画データの動きを検出し、検出結果を曲線近似して前記フレーム間の動きを検出する。

また請求項７の発明は、請求項１から請求項６までのいずれかの構成において、前記動画データの前フレームとの差分情報を検出する差分算出部と、前記差分情報に応じて前記フィルタ係数を補正する係数補正部とを有する。

また請求項８の発明は、請求項１から請求項７までのいずれかの構成において、動画データから高周波成分を除去する高周波成分除去部を有し、前記動き検出部は、前記高周波成分除去部によって高周波成分を除去された動画データからフレーム間の動きを検出する。

また請求項９の発明は、動画処理方法に適用して、動画データからフレーム間の動きを検出する動き検出ステップと、前記動き検出ステップの検出結果に基づいてフィルタ係数を生成するフィルタ係数生成ステップと、前記フィルタ係数により、前記動画データをフィルタリングすることにより、前記フレーム間の動きの経路で、前記動画データの画素値を平均値化するフィルタリングステップとを有する。

また請求項１０の発明は、動画処理方法のプログラムに適用して、動画データからフレーム間の動きを検出する動き検出ステップと、前記動き検出ステップの検出結果に基づいてフィルタ係数を生成するフィルタ係数生成ステップと、前記フィルタ係数により、前記動画データをフィルタリングすることにより、前記フレーム間の動きの経路で、前記動画データの画素値を平均値化するフィルタリングステップとを有する。

本発明によれば、フレーム周期と比較して露光時間が極端に短い場合に生じうる、再生時に不連続な印象を与える動きの原因となるブレ経路を緩和することができる。

本発明の第１の実施の形態に係るデジタルカメラを示すブロック図である。 図１のデジタルカメラにおけるＣＰＵの機能ブロック図である。 図１のデジタルカメラにおける画像処理を説明する図である。 本発明の第２の実施の形態に係るデジタルカメラにおけるＣＰＵの機能ブロック図である。 図４のデジタルカメラにおける画像処理を説明する図である。 図４のデジタルカメラにおけるフィルタ係数を説明する図である。 本発明の第３の実施の形態に係るデジタルカメラを示すブロック図である。 図７のデジタルカメラの画像処理を説明する図である。 本発明の第４の実施の形態に係るデジタルカメラにおけるＣＰＵの機能ブロック図である。

以下、適宜図面を参照しながら本発明の実施の形態を詳述する。

（１）第１の実施の形態

＜第１の実施の形態＞
図１は、本発明の第１の実施の形態の撮像装置の実施の形態であるデジタルカメラの電気的構成を示したブロック図である。このデジタルカメラは、基本となる動作モードとして撮影を行うための記録モードと、撮影した画像を再生するための再生モードとが設けられている。

デジタルカメラ１は、カメラ部２、記憶媒体３、バス４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５、バッファメモリ６、画像表示部７、メモリ８、キー入力部９、被写体検出部１７、ＳＲＡＭ１８、マッチング部１９、画像変形合成加算部２０等を有し、カメラ部２から出力される動画データを記録、再生する。

ここでカメラ部２は、レンズ駆動ブロック１０、レンズ１１、絞り１２、撮像素子１３、ドライバ１４、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１５、信号処理部１６等を有し、動画データＤ１を出力する。すなわちカメラ部２は、バス４を介したＣＰＵ５の制御により、レンズ駆動ブロック１０でレンズ１１のフォーカス、倍率を設定し、レンズ１０により撮像素子１３の撮像面に入射光を集光する。撮像素子１３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子であり、撮像面に形成された光学像を光電変換処理する。信号処理部１６は、撮像素子１３の出力信号を相関二重サンプリング処理（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）した後、自動利得調整（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、アナログデジタル変換処理（ＡＤ：Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）し、動画データＤ１をバス４に出力する。ＴＧ１５は、バス４を介したＣＰＵ５の制御により各部にタイミング信号を出力し、ドライバ１４は、ＴＧ１５から出力されるタイミング信号から撮像素子１３の駆動信号を生成する。

ＣＰＵ５は、メモリ８に格納したプログラムを実行する演算処理手段あり、キー入力部９の操作に応動してこのデジタルカメラ１の制御、動画データの処理等を実行する。すなわちＣＰＵ５は、キー入力部９で再生モードが選択されると、記録媒体３から動画データ、静止画像データを再生してデータ伸張し、画像表示部７で表示する。ここで記録媒体３は、例えばメモリカードであり、画像表示部７は、例えば液晶表示装置である。またキー入力部９で記録モードが選択されると、カメラ部２から出力される動画データＤ１をＹＵＶデータに変換した後、例えばＭＰＥＧによりデータ圧縮して記憶媒体３に記録する。また動画像を撮影している際に、キー入力部９の所定の操作子が操作されると、動画データＤ１の１コマをＪＰＥＧによりデータ圧縮して静止画像ファイルとして記憶媒体３に記録する。記録媒体３は記録部を構成する。なおバッファメモリ６は、ＣＰＵ５の作業用の領域であり、カメラ部２から出力される動画データＤ１、データ圧縮、伸張した動画データ等が一時的に格納される。

このデジタルカメラ１では、カメラ部２の絞り１２が、静止画カメラで使用する程度に簡易に構成され、例えばユーザのマニュアル操作により段階的に開口量を切り換えて撮像素子１３の入射光量を制限する。

またこの絞り１２の構成に対応して、ＣＰＵ５は、露光時間の調節により露光制御する。すなわちＣＰＵ５は、カメラ部２から出力される画像データＤ１から輝度レベルを検出して露光制御用の評価値を検出し、この露光制御用の評価値が所定値となるように、ＴＧ１５から出力するタイミング信号を調節してドライバ１４による撮像素子１３の駆動を制御する。なおこの露光制御用の評価値生成方法は、中央重点測光、スポット測光等、各種の測光方式による評価値生成手法を適用することができる。

従ってカメラ部２から出力される画像データＤ１は、被写体が明るい場合、フレーム周期と比較して露光時間が極端に短くなり、動きがカクカクとした不連続な感じになる。このためこのデジタルカメラ１では、キー入力部９で選択可能に、記録モードにおける動作モードの１つとして流し撮りモードが設けられる。デジタルカメラ１では、この流し撮りモードにおいて、動画データＤ１をＣＰＵ５で画像処理し、カクカクした動きを緩和する。また静止画像を記録する場合には、画像処理前の動画データＤ１を記憶媒体３に記録し、動きボケの少ない鮮鋭な静止画像を記録する。

さらに、ＣＰＵ５には、被写体検出部１７、ＳＲＡＭ１８、マッチング部１９、画像変形合成加算部２０が接続されている。

被写体検出部１７は、被写体画像のうち、メインの被写体とメインの被写体以外の背景とを分離して検出する本発明の検出手段として機能する。メインの被写体は、流し撮りに際して撮影者がフレーム内の中央部分に位置させるようにしてシャッターキーの半押しをした時に認識された物体や、各ブロック毎に検出される動きベクトルによって、動きの量が小さいと認識された物体を特徴部として認識する。なお、ＣＰＵ５は、撮像した被写体画像から特徴部を検出する処理を検出用プログラムを実行させるようにして行ってもよく、ロバーツフィルタ等のフィルタリング処理によって行うことができる。被写体検出部１７は、本発明の動き検出部を構成する。

マッチング部１９は、記録モードでの撮影に際して、ＳＲＡＭ１８を作業メモリとして使用し、撮像素子１３により撮像された被写体画像同士との間でマッチングを行い、時間的に前後する変化前の被写体画像と変化後の被写体画像の相対的な変化量及び変化方向を示す動きベクトルを取得してＣＰＵ５に出力する。マッチングは、被写体画像を３×３や４×４等の複数ブロックに分割した各ブロック毎に行う。

画像変形合成加算部２０は、ＣＰＵ５の指示に応じ、撮像素子１３により撮像された被写体画像にフィルタリングなどをして変形を加えて流し撮り画像を生成する本発明の画像生成処理手段である。画像変形合成加算部２０は、ローパスフィルタであるＬＰＦ５Ａ〜５Ｄを有する。画像変形合成加算部２０は、本発明のフィルタを構成する。ＬＰＦ５Ａ〜５Ｄは高周波成分除去部を構成し、ＣＰＵ５と画像変形合成加算部２０はフィルタ係数生成部を構成する。

次に、以上の構成からなるデジタルカメラにおいて、例えば、記録モードの下位モードである流し撮りモードが設定されているときの動作について説明する。

図２は、本発明の第１の実施の形態のデジタルカメラにおけるＣＰＵ５の機能ブロック図である。ここでは、記録モードが設定されているとき撮影者によって流し撮りモードが設定されている場合に、ＣＰＵ５が画像変形合成加算部２０を制御して、画像変形合成加算部２０が有するローパスフィルタを用いて前フレーム画像と現フレーム画像の動画データＤ１Ａ及びＤ１Ｂを含む２枚以上の画像に対して行う処理を中心として説明する。

ＣＰＵ５は、画像変形合成加算部２０を制御して、ＬＰＦで示す、ローパスフィルタ５Ａ、５Ｂにより前フレーム画像と現フレーム画像の動画データＤ１Ａ及びＤ１Ｂを帯域制限して高周波成分を除去して、低周波成分からなる前フレームＬＰＦ画像Ｄ２Ａと現フレームＬＰＦ画像Ｄ２Ｂを生成する。ローパスフィルタにより高周波成分を除去された動画データＤ２Ａ及びＤ２Ｂは、動画データＤ１Ａ及びＤ１Ｂに含まれている被写体のエッジなどの細部の情報が削減される。したがって、ローパスフィルタにより処理することによって、ＣＰＵ５は、動画データＤ２Ａ及びＤ２Ｂ間の動画像の動きを滑らかにできる。また、画像の細部の微細な空間的な変化は動きとして誤検出されやすい。したがって、微細な空間的な変化に起因する動きの誤検出なども低減できる。なお、理解を容易にするため、前フレーム画像と現フレーム画像の処理について説明しているが、動画データは連続して処理される。したがって、ＣＰＵ５は、前フレームＬＰＦ画像Ｄ２Ａとして、直前のフレームで作成した現フレームＬＰＦ画像Ｄ２Ｂを使用するようにして常時更新しながら処理を続けていく。

ＣＰＵ５は、動画データＤ１のフレーム毎に、フレーム間の動きを検出する。またこの動きに応じてフィルタの特性を設定して動画データＤ１をフィルタリング処理し、後に詳述するように、フレーム間の動きの経路（以下、ブレ経路と呼ぶ）に基づいて画素値を平均値化する。これによりＣＰＵ５は、ブレ経路に沿って画ぶれしたブレ画像を作成し、再生時に不連続な印象を与える動きの原因となるブレ経路を緩和して動画像の動きを滑らかにする。

このデジタルカメラ１では、このフレーム間の動きを、前フレームから現フレームのズレ量を示すグローバル動きベクトルを用いて検出し、グローバル動きベクトル自体をブレ経路として設定する。また平均値化の処理に単純平均の処理を適用する。

ＣＰＵ５は、この前フレームＬＰＦ画像Ｄ２Ａ及び現フレームＬＰＦ画像Ｄ２Ｂからフレーム間ＧＭＶ（ＧＭＶ：グローバル動きベクトル）を算出する（５Ｃ）。なおフレーム間ＧＭＶの算出手法は、例えばブロック単位でマッチング処理して動きベクトルを算出するブロックマッチング法、代表点のマッチングにより動きベクトルを算出する代表点マッチング法等、種々の算出手法を適用することができる。

ＣＰＵ５は、このブレ経路に応じてフィルタ係数を設定し（５Ｄ）、このフィルタ係数により現フレームの画像データＤ１Ｂをフィルタリング処理して記録媒体３に記録する（５Ｅ、Ｄ３）。

ここでブレ経路は、前フレームから現フレームまでの動きの経路であることから、撮像素子１３の各画素には、前フレームから現フレームまでの間、ブレ経路に存在する画素の入射光が順次入射していることになる。従って露光時間がフレーム周期である場合、現フレームの画像データＤ１は、これらブレ経路に存在する画素の入射光が露光され、その結果、滑らかな動きが確保されることになる。

これに対して露光時間がフレーム周期と比較して極端に短い場合、ブレ経路に存在する画素の入射光のうち、近傍画素の入射光のみ選択的に露光されることになり、その結果、動きがカクカクとした感じとなる。従ってブレ経路の画素値を平均値化すれば、カクカクとした感じの動きを緩和することができる。

具体的に、図３に示すように、ブレ経路が「水平方向右向き１０画素」であったとする。この場合、現フレームの特定画素Ａに対応する撮像素子１３の画素には、前フレームから現フレームまでの間、「水平方向右向き１０画素」分の入射光が順次入射することになる。従って露光時間がフレーム周期である場合、これら「水平方向右向き１０画素」分の入射光までも露光されることになる。

これに対して露光時間がフレーム周期より極端に短い場合、これら「水平方向右向き１０画素」のうちの近傍画素の入射光のみ露光されることになる。従ってこの場合、現フレームにおける特定画素Ａからこれら「水平方向右向き１０画素」の画素値を平均値化すれば、カクカクとした不連続な感じの動きを緩和し、動きの滑らかな動画像を得ることができる。

これよりＣＰＵ５は、処理対象画素を中心に設定した２次元のフィルタによる畳み込み演算により現フレームの動画データをフィルタリング処理する。このフィルタの係数を、ブレ経路の画素値を単純平均する係数に設定する。従ってこの図３の例では、処理対象画素Ａから水平方向、１０画素分のタップ係数を、係数行列Coef＝（１１１１１１１１１１）／１０で表されるタップ係数に設定し、残りのタップ係数を値０に設定する。

またＣＰＵ５は、流し撮りモードにおいて、静止画像を記録する場合には、フィルタリング処理前の現フレーム画像Ｄ１Ｂを現フレーム静止画像ＤＭにより記憶媒体３に記録するようにしてフィルタを適用しない。

本実施の形態によれば、フレーム間の動きを検出し、この動きに応じてフィルタ係数を設定して動きの経路で現フレームの画素値を平均化することにより、露光時間がフレーム周期と比較して極端に短い場合でも、再生時に不連続な印象を与える動きの原因となるブレ経路を画像処理により緩和し、動きの滑らかな動画像を撮影することができる。

また本実施の形態によれば、さらに露光時間の調節により露光制御することにより、絞りの構成を簡略化して滑らかな動きの動画像を得ることができるので、絞りに関連する構成部品を削減でき、デジタルカメラの全体構成も簡略化できる。

また本実施の形態によれば、画像処理前の動画像の１コマを静止画像として記録することより、動きぼけの少ない鮮鋭な静止画像を併せて記録することができ、鮮鋭な静止画像の記録と、動きの滑らかな動画像の記録とを同時に実現することができる。

また本実施の形態によれば、さらに動画データの処理によりフレーム間の動きを検出することにより、ジャイロ等の動き検出のための特別な構成を設ける必要もなく、動きの滑らかな動画像を撮影することができる。

以上、第１の実施の形態のデジタルカメラについて説明したが、本発明はこれに限定されない。上述の実施の形態では、例えば、ブレ経路が線形の場合について説明したが、ブレ経路は非線形でもよい。これについて次の実施の形態で説明する。

（２）第２の実施の形態

図４は、本発明の第２の実施の形態のデジタルカメラにおけるＣＰＵ５の機能ブロック図である。ここでも、記録モードが設定されているとき撮影者によって流し撮りモードが設定されている場合に、ＣＰＵ５が画像変形合成加算部２０を制御して、画像変形合成加算部２０が有するローパスフィルタを用いて前フレーム画像と現フレーム画像の動画データＤ１Ａ及びＤ１Ｂを含む２枚以上の画像に対して行う処理を中心として説明する。

本実施の形態のデジタルカメラは、第１の実施の形態のデジタルカメラと、図４に示す構成が異なる点を除いて、第１の実施の形態と同様である。同様の構成には同様の符号を付して説明を省略する。

本実施の形態では、ブレ経路は線形に限定されず、曲線でもよい。このため連続するフレームで検出されるフレーム間ＧＭＶを曲線近似してブレ経路を算出する。本実施の形態では、この曲線近似にスプライン関数を適用する。ＣＰＵ５は、連続するフレームで検出されるフレーム間ＧＭＶをスプライン補間してブレ経路を算出する。なお近似曲線には、例えばベジェ曲線、二次関数曲線等、種々の曲線を適用することができる。

このためＣＰＵ５は、ローパスフィルタ５Ａ、５Ｂ、５Ｃ、５Ｄにより示すように、前々フレーム画像（フレーム（ｉ−２）画像）、前フレーム画像（フレーム（ｉ−１）画像）、現フレーム画像（フレーム（ｉ）画像）、次フレーム画像（フレーム（ｉ＋１）画像）の動画データＤ１Ａ、Ｄ１Ｂ、Ｄ１Ｃ、Ｄ１Ｄを帯域制限して高周波成分を除去して、低周波成分からなるフレーム（ｉ−２）ＬＰＦ画像Ｄ２Ａ、フレーム（ｉ−１）ＬＰＦ画像Ｄ２Ｂ、フレーム（ｉ）ＬＰＦ画像Ｄ２Ｃ、フレーム（ｉ＋１）ＬＰＦ画像Ｄ２Ｄを生成する。

ＣＰＵ５は、これら４つのＬＰＦ画像Ｄ２Ａ〜Ｄ２Ｄ間でフレーム間ＧＭＶ０、フレーム間ＧＭＶ１、フレーム間ＧＭＶ２を算出する（５Ｅ、５Ｆ、５Ｇ）。

さらに図５に示すように、ＣＰＵ５は、前フレーム画像及び現フレーム画像から求めたフレーム間ＧＭＶ１を用いて前フレームと現フレームとの間の相対位置を算出する。また前フレーム及び現フレームにおけるブレ経路の傾きを、前々フレーム及び前フレームのフレーム間ＧＭＶの平均値（（ＧＭＶ０＋ＧＭＶ１）／２）、現フレーム及び次フレームのフレーム間ＧＭＶの平均値（（ＧＭＶ１＋ＧＭＶ２）／２）により算出する。ＣＰＵ５は、これらの相対位置、傾きを用いたスプライン補間によりブレ経路を算出する（５Ｈ）。

さらに図６に示すように、図５を参照して説明したブレ経路の画素値を単純平均により平均値化してフィルタ係数を設定し（５Ｉ）、このフィルタ係数により現フレームの動画データをフィルタリング処理してブレ画像を作成し（５Ｊ）、このブレ画像を記録する（Ｄ３）。

またＣＰＵ５は、流し撮りモードにおいて、静止画像を記録する場合には、フィルタリング処理前の現フレーム画像Ｄ１Ｃを現フレーム静止画像ＤＭにより記憶媒体３に記録するようにしてフィルタを適用しない。

本実施の形態においては、連続するフレームで検出されるフレーム間の動きを、フレーム間の動きが線形に限らず、非線形の場合であっても、曲線近似することにより、連続するブレ画像をスムーズにつなげて動きの自然な動画像を作成することができるので、一層動きの滑らかな動画像を提供することができる。

以上、第１及び第２の実施の形態のデジタルカメラについて説明したが、本発明はこれに限定されない。上述の実施の形態では、ブレ経路を、動きベクトルを用いて検出したが、例えば、ジャイロセンサなどの測定器を用いて検出してもよい。これについて次の実施の形態で説明する。

（３）第３の実施の形態

図７は、本発明の第３の実施の形態に係わるデジタルカメラを示すブロック図である。本実施の形態のデジタルカメラは、ジャイロセンサ２２を有し、このジャイロセンサ２２を用いてデジタルカメラの動きを検出してブレ経路を算出する。また、本実施の形態のデジタルカメラは、このジャイロセンサを用いた動き検出の処理を、１フレーム周期より短い時間間隔で繰り返し実行してブレ経路を曲線近似する。このように本実施の形態のデジタルカメラは、このブレ経路の検出及び動き検出処理に関する構成が異なる点を除いて、第１又は第２の実施の形態のデジタルカメラと同様である。同様の構成には同様の符号を付して説明を省略する。

図７に示すように、ジャイロセンサはバス４を介してＣＰＵ５に接続し、またこのカメラの動きから動画像の動きを検出してブレ経路を計算する。なおこのジャイロセンサを用いて動画像の動きを検出する処理は、手ブレ補正の際の処理を適用することができる。

図８は、このブレ経路の算出処理を説明する図である。このデジタルカメラでは、例えばフレーム周期を８等分してジャイロセンサの出力信号を処理し、それぞれカメラの動きを検出する。

本実施の形態ではジャイロセンサを用いてフレーム間の動きを検出することにより、動画データの処理を一層簡略化して上述の実施の形態と同様の効果を得ることができる。

またフレーム周期より短い時間間隔で動きを繰り返し検出してブレ経路を曲線近似することにより、フレーム周期内の細かな動きをフィルタ係数の設定に反映し、実際のカメラの動きに近いブレ画像を生成することができる。

（４）第４の実施の形態

図９は、本発明の第４の実施の形態のデジタルカメラにおけるＣＰＵ５の機能ブロック図である。本実施の形態のデジタルカメラは、この図９に示す構成が異なる点を除いて、第１の実施の形態と同一に構成される。

ここで例えば流し撮りにより被写体の動きを追跡した場合、被写体を撮影した画素ではフレーム間差分値が小さくなり、この画素に上述の実施の形態に係るブレ経路によるフィルタリング処理を実行したのでは、この被写体がボケることになる。従ってこの場合は、フィルタリングの強度を弱くして画質を向上することができる。

これに対して背景を撮影した画素ではフレーム間差分値が大きくなり、上述した実施の形態に係るブレ経路によるフィルタリング処理を実行して、再生時に不連続な印象を与える動きの原因となるブレ経路を緩和することができる。

そこで本実施の形態では、前フレームとの差分情報を計算し（５Ｆ）、この差分情報により重み係数を生成してフィルタ係数を補正する（５Ｇ、５Ｈ）。より具体的には、差分値が小さい場合程、注目画素以外のブレ経路の画素に割り当てるフィルタ係数を値０に近づけ、フィルタリングの強度を弱くする。またこれとは逆に、差分値が大きい場合程、各画素に割り当てるフィルタ係数を値１に近づけて単純平均による処理に近づけ、フィルタリングの強度を強くする。なおフィルタリング処理に供する画素数の調節によりフィルタリング強度を調節しても良い。またブレ画像を作成した後、差分情報による重み付け係数によりブレ画像と元の現フレーム画像とを重み付け加算し、間接的にフィルタリング強度を調節しても良い。ＣＰＵ５は、本発明の差分算出部及び係数補正部を構成する。

本実施の形態では、前フレームとの差分情報によりフィルタリングの強度を調節することにより、流し撮りした場合のように、主要被写体とデジタルカメラとの位置関係が変化しない場合に、主要被写体のぼけを防止して動きの滑らかな動画像を記録することができる。

（５）他の実施の形態

なお上述の実施の形態では、フレーム毎にフレーム間の動きを算出してフィルタ係数を設定する場合について述べたが、本発明はこれに限らず、複数フレーム毎に、１画面を分割して生成されたブロック毎に、さらには画素毎にフレーム間の動きを算出してフィルタ係数を設定するようにしてもよい。

なお例えばブロック毎にフィルタ係数を設定する場合には、前フレームとの相関検出によりブロック毎に各ブロックを代表する動きベクトルを検出し、この動きベクトルによりブロック毎にブレ経路を算出してフィルタ係数を設定すれば良い。また画素毎にフィルタ係数を設定する場合には、画素毎に動きベクトルを検出し、この動きベクトルにより画素毎にブレ経路を算出してフィルタ係数を設定すれば良い。

また上述の実施の形態では、２次元のフィルタによりフィルタリング処理する場合について述べたが、本発明はこれに限らず、動画像では水平方向の動きが多いことから、水平方向についてのみブレ経路を算出してフィルタリング処理しても良い。このように水平方向についてのみフィルタリング処理すれば、連続するブレ画像を滑らかにつなぎ合わせて、一段と動きの滑らかな動画像を得ることができる。また構成を簡略化して実用上充分に再生時に不連続な印象を与える動きの原因となるブレ経路を緩和することができる。

また上述の実施の形態では、単純平均により、又は差分情報に応じた重み付け平均により、ボケ画像を生成する場合について述べたが、本発明はこれに限らず、例えばフレーム周期に対する露光時間によりフィルタの特性を調節する場合等、種々の撮影の条件によりフィルタリングの特性を調節しても良い。

すなわち動画像の再生時に不連続な印象を与える動きは、フレーム周期と比較して露光時間が短くなればなる程、激しくなり、露光時間がほぼフレーム周期の場合、殆んど発生しない。従って単に、単純平均等によりフィルタリング処理したのでは、過度にフィルタリング処理する場合も発生する。そこでフレーム周期に対する露光時間によりフィルタの特性を調節すれば、過度のフィルタリング処理を防止して一段と画質を向上することができる。

また上述の実施の形態では、前フレームから現フレームまでの動きの経路により現フレームをフィルタリング処理する場合について述べたが、本発明はこれに限らず、現フレームから次フレームまでの動きの経路により現フレームをフィルタリング処理しても良く、さらには前フレームから現フレームまでの動きの経路の現フレーム側１／２の動きの経路と、現フレームから次フレームまでの動きの経路の現フレーム側１／２の動きの経路とにより現フレームをフィルタリング処理しても良い。

また上述の実施の形態では、露光時間の調節により露光制御する場合について述べたが、本発明はこれに限らず、絞りの調節により露光制御する場合にも広く適用することができる。また、説明を容易にするため、流し撮り撮影の場合を例に説明したが、本発明は流し撮り撮影に限定されず、動画像の処理に適用可能である。

また上述の実施の形態では、本発明をデジタルカメラに適用して、カメラ部から動画データを入力して処理する場合について述べたが、本発明はこれに限らず、例えばネットワーク、各種記録媒体から動画データを入力して表示する場合等にも広く適用することができる。

また、上述の実施の形態では、本発明をデジタルカメラに適用して、撮像系から入力する動画データＤ１を処理する場合について説明したが、本発明はこれに限定されず、例えばネットワーク、各種記録媒体により提供される動画データＤ１をハードディスク等の記録媒体に記録する場合等にも広く適用することができる。また、ＣＰＵとメモリを含む、撮像装置が有するコンピュータを上述した各手段として機能させる動画処理プログラムによって動作させることができる。動画処理プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

また本発明は、上述の実施の形態に限定されるものでは無く、その趣旨を逸脱しない範囲で、上述の実施の形態を種々に組み合わせることができ、さらには上述の実施の形態に種々に変形を加えた形態とすることができる。

本発明は、例えばデジタルカメラに適用することができる。

１‥‥デジタルカメラ、２‥‥カメラ部、３‥‥記憶媒体、５‥‥ＣＰＵ、６‥‥バッファメモリ、１３‥‥撮像素子、１６‥‥信号処理部

Claims (10)

1. 動画データからフレーム間の動きを検出する動き検出部と、
   前記動き検出部の検出結果に基づいてフィルタ係数を生成するフィルタ係数生成部と、
   前記フィルタ係数により、前記動画データをフィルタリングすることにより、前記フレーム間の動きの経路で、前記動画データの画素値を平均値化するフィルタとを有することを特徴とする動画処理装置。
2. 前記フィルタから出力される動画データを記録すると共に、前記動画データの１コマを静止画像により記録する記録部を有することを特徴とする請求項１に記載の動画処理装置。
3. 前記動き検出部は、前記動画データのグローバル動きベクトルを検出して前記フレーム間の動きを検出することを特徴とする請求項１、又は請求項２に記載の動画処理装置。
4. 前記動き検出部は、少なくとも前フレームにおける前々フレームからの動きと、現フレームにおける前フレームからの動きと、次フレームにおける現フレームからの動きとを曲線近似して、前記フレーム間の動きを検出することを特徴とする請求項３に記載の動画処理装置。
5. 前記動き検出部は、前記フレーム間の動きをジャイロセンサにより検出することを特徴とする請求項１に記載の動画処理装置。
6. 前記動き検出部は、前記動画データのフレーム周期より短い時間間隔で繰り返し前記動画データの動きを検出し、検出結果を曲線近似して前記フレーム間の動きを検出することを特徴とする請求項５に記載の動画処理装置。
7. 前記動画データの前フレームとの差分情報を検出する差分算出部と、
   前記差分情報に応じて前記フィルタ係数を補正する係数補正部とを有する、請求項１から請求項６までのいずれかに記載の動画処理装置。
8. 動画データから高周波成分を除去する高周波成分除去部を有し、
   前記動き検出部は、前記高周波成分除去部によって高周波成分を除去された動画データからフレーム間の動きを検出する、請求項１から請求項７までのいずれかに記載の動画処理装置。
9. 動画データからフレーム間の動きを検出する動き検出ステップと、
   前記動き検出ステップの検出結果に基づいてフィルタ係数を生成するフィルタ係数生成ステップと、
   前記フィルタ係数により、前記動画データをフィルタリングすることにより、前記フレーム間の動きの経路で、前記動画データの画素値を平均値化するフィルタリングステップとを有することを特徴とする動画処理方法。
10. 動画データからフレーム間の動きを検出する動き検出ステップと、
    前記動き検出ステップの検出結果に基づいてフィルタ係数を生成するフィルタ係数生成ステップと、
    前記フィルタ係数により、前記動画データをフィルタリングすることにより、前記フレーム間の動きの経路で、前記動画データの画素値を平均値化するフィルタリングステップとを演算処理手段に実行させることを特徴とする動画処理プログラム。

Images