JP2007259197A - 手ぶれ補正付き動画復号再生装置および方法 - Google Patents

Abstract

【課題】 再生時に手ぶれ補正が可能で、手ぶれ補正用のメモリが存在しない場合でも手ぶれ補正を行うことが可能な手ぶれ補正付き動画復号再生装置を提供する。
【解決手段】
メモリ１００は再生対象の符号化データやＭＰＥＧ復号処理に必要なワーク領域として使用する。動画復号手段１０１は復号処理を行い、デコード画像をメモリ１００に格納する。動き検出手段１０２は対象フレームの動きベクトルから、手ぶれ量および方向としてフレーム全体の動きベクトルを算出する。フレームバッファ１０５は、表示対象のデコード画像が格納されており、手ぶれ補正画像生成手段１０６は、手ぶれ量および方向に応じて画像の移動を行い、損失した画像領域はフレームバッファ１０５に格納されている１フレーム前の出コード画像を合成して手ぶれ補正画像を生成し、再びフレームバッファ１０５へ出力して表示を行う。
【選択図】 図１

Description

本発明は、圧縮符号化された動画データを復号再生する場合において手ぶれを検出し、補正して表示を行う装置または方法に関する。

近年、携帯端末やムービーカメラ、デジタルカメラといった様々な高性能デジタル機器が普及している。特に動画を撮影する場合において手ぶれ補正技術の重要性は高まり、多くの機器で搭載されている。したがって三脚等で固定しなくても安定した撮影ができるようになっており、撮影時に手ぶれ補正されている動画を再生する場合においては、非常に見やすい高品位な映像となる。手ぶれ補正にはレンズを駆動させて、撮影対象物の位置が移動しないように補正を行う光学式（ＣＣＤシフト方式）や複数フレームのデータから移動量を算出し、有効画素位置を補正する電子式が一般的な技術として知られている。

しかしながら、撮影時に手ぶれ補正を行ったにもかかわらず、実際には手ぶれ補正の効果が充分でない場合もあり、手ぶれの効果を充分に得るには撮影時に意識して注意する必要がある。当然ながら慣れていない者が撮影した場合は手ぶれが大きく、特に大型ディスプレイで再生した場合には非常に見づらい映像となる。携帯端末においても高性能なムービー撮影機能が搭載されるようになったが、手ぶれ補正を搭載していない機種がほとんどであり、メディアに記録した映像をディスプレイなどで再生した場合にも手ぶれが気になる場合が多い。小型機器の場合に手ぶれ補正装置を搭載するためにはメモリなどコスト的に問題となる場合も多い。

したがって、手ぶれ補正を撮影時ではなく、再生時に行うことができれば撮影時の不完全な補正をさらに補うことができ、手ぶれ補正が行われずに撮影された映像に対しては非常に有効な手段となる。再生時に手ぶれ補正を行う技術としては、特許文献１に記載されているものが一般的に知られている。

図１０は特許文献１に示されるような従来の再生時に手ぶれ補正を行う装置の構成を示したものである。メモリ１０００は再生対象のＭＰＥＧデータストリームや、ＭＰＥＧデコード処理のワーク、ＮＴＳＣ表示出力のフレームバッファとして使用される。メモリ１０００に格納されたＭＰＥＧデータストリームをＭＰＥＧデコーダ１００１で復号を行い、結果をメモリ１０００に出力する。ＭＰＥＧデコード処理を行う場合に動きベクトルが用いられるが、動きベクトル選択部１００２が手ぶれ量検出のために参照するマクロブロックの動きベクトルを検索して統計計算部１００３に出力する。画面の中央部は対象物の動きに影響される可能性が高いので、動きベクトル選択部１００２は、画面の周辺部のマクロブロックにおける動きベクトルを参照する。統計計算部１００３は所定の計算を行い、画面全体の動きベクトルを求める。検出された動きベクトルは手ぶれ量決定部１００４に出力される。手ぶれ量決定部１００４は、画面ごとの動きベクトルに基づいてその画面の手ぶれ量を決定し、手ぶれ量記憶部１００５および選択部１００９に出力される。

手ぶれ量記憶部１００５は画面ごとの手ぶれ量を記憶し、連続性検査部１００６は画像の連続的な動き量を水平・垂直移動抽出部１００７に出力する。水平・垂直移動抽出部１００７はその動きがパンニングやティルティング動作か否かを判断し、その検出結果を選択部１００９または手ぶれ成分検出部８０８に出力する。手ぶれ成分検出部１００８では、動作がパンニングやティルティング動作であった場合はその移動分を除外し、新たな手ぶれ量を選択部１００９に出力する。選択部１００９はパンニングやティルティング動作の場合とそうでない場合とで、最終的な手ぶれ量を出力する。読み出し位置修正部１０１
０において、手ぶれ量に相当する分だけアドレスを補正し、そのアドレスによって表示出力が行われて手ぶれ補正が完了する。
特開２０００−４１２２２号公報

特許文献１に示されるような、再生時に手ぶれ補正を行う手法は非常に有効である。しかしながら、再生時の手ぶれ補正に限らず、一般的に電子式手ぶれ補正には以下のような問題点がある。

手ぶれを補正するために、有効画素領域の周辺に補正用の領域が必要となる。例えば、原画像がＶＧＡ（６４０×４８０）の場合に有効画素領域を中央の４８０×３６０とすると、その周囲が手ぶれ補正のために使用される。換言すると、原画像に対して有効画素が小さくなってしまう。

また、手ぶれ補正用の領域を越えてしまう場合は補正を行うことができないという問題点も存在する。例えば上記の例においては、補正用の画素は左右は８０画素、上下は６０画素が補正に使用することができるが、この範囲を超えてしまう場合は補正量を限定するなどの不完全な補正となってしまう。

本発明はこのような問題を解決するためになされたものであり、復号画像表示用フレームバッファを利用して手ぶれ補正画像を生成し、手ぶれ補正のために余分にメモリを持つ必要がなく、かつ非常に簡易な構成・方法で実現可能な手ぶれ補正付き動画復号再生装置および方法に関するものである。

本願第一の発明は、符号化された動画データの再生に伴う手ぶれ補正を行う装置であって、前記符号化された動画データのフレーム画像を復号するデコーダと、前記デコーダにより復号されたフレーム画像を格納するメモリと、前記メモリに格納されたフレーム画像から手ぶれを検出する手ぶれ検出手段と、表示対象となるフレーム画像を格納するフレームバッファと、前記メモリに格納されたフレーム画像を読み出し、前記手ぶれ検出手段の出力に基づき前記読み出されたフレーム画像の位置を修正するとともに、前記位置を修正したフレーム画像の不足領域に、前記フレームバッファに格納されたフレーム画像の前記不足領域に対応した領域を合成して補正画像を生成しフレームバッファに格納する手ぶれ補正画像生成手段とを具備した構成を採る。

この構成により、手ぶれ補正画像の生成に時間的に現在処理している画像よりも前の画像を使用し、手ぶれ補正用のメモリが不要となり、手ぶれ補正ができる範囲を確保するために有効画素を狭める必要がなくなる。

本願第二の発明は、動画データの再生に伴う手ぶれ補正を行う装置であって、前記符号化された動画データのフレーム画像を復号するデコーダと、前記デコーダにより復号されたフレーム画像を格納する、有効画素領域を有するとともに前記有効画素領域変更手段を有するメモリと、前記メモリに格納されたフレーム画像から手ぶれを検出する手ぶれ検出手段と、表示対象となるフレーム画像を格納するフレームバッファと、前記手ぶれ検出手段の出力に基づき前記有効画素領域変更手段によって変更された有効画素領域から前記メモリに格納されたフレーム画像を読み出すとともに、前記有効画素領域に含まれる前記メモリに格納されたフレーム画像に不足領域が生じるときは、前記フレームバッファに格納されたフレーム画像から前記不足部分に対応する部分を合成して補正画像を生成しフレー
ムバッファに格納する手ぶれ補正画像生成手段とを具備した構成を採る。

この構成により、手ぶれが非常に大きく補正可能範囲を超える場合に、時間的に現在処理中の画像より前の画像を使用することによって、手ぶれ補正用のメモリの不足分を補うことが可能となり、事実上手ぶれ補正範囲の制限をなくすことができる。

本願第三の発明は、本願第一の発明および第二の発明の構成に加えて、手ぶれ補正画像に対してポストフィルタ処理を行うポストフィルタ処理手段を具備した構成を採る。

この構成により、簡易な構成を加えるだけで手ぶれ補正画像を高画質化することが可能となり、より手ぶれ補正の視覚的な効果を高めることができる。

本願第四の発明は、メモリに格納された符号化データを復号するステップと、復号されたデコード画像の手ぶれを検出するステップと、検出された手ぶれを補正するために、表示対象となるデコード画像が格納されたフレームバッファより画像を読み出し、補正対象フレームと合成して手ぶれ補正画像を生成するステップ、とからなる方法を採る。

この方法により、手ぶれ補正画像の生成に時間的に１フレーム前の画像を使用し、手ぶれ補正用のメモリが不要となり、手ぶれ補正ができる範囲を確保するために有効画素を狭める必要がなくなる。

本願第五の発明は、本願第四の発明である手ぶれ補正付き動画復号再生方法を実行するプログラムが記録される構成を採る。

本願第六の発明は、本願第一から第三の発明の手ぶれ補正付き動画復号再生装置が具備されることを特徴とする構成を採る。

本発明は、再生時の手ぶれ補正の手段として、時間的に現在処理している画像よりも前の表示画像を利用して、手ぶれ補正用領域が存在しない画素位置においては１フレーム前の画像によって補い、従来の技術における手ぶれ補正の制限をなくすことができる。すなわち、手ぶれ補正用のメモリが不要となり、手ぶれ補正範囲を大きくするために有効画素を極端に狭める必要がない。

手ぶれ補正領域が存在する場合においては、手ぶれが非常に大きく補正可能範囲を超える場合に、手ぶれ補正用のデータを超えた部分においては上記１フレーム前の表示画像を使用することによって、事実上、手ぶれ補正範囲の制限をなくすことができるという点において優れた効果を有する。

更に、手ぶれ補正を行うと同時にポストフィルタ処理を行うことができ、より手ぶれ補正の効果を視覚的に高めることができるという点においても優れた効果を有する。

以下、本発明の実施の形態について、図面を用いて説明する。
（実施の形態１）
図１は本発明の第１の実施の形態における手ぶれ補正付き動画復号再生装置を示す。まずは構成要素の説明を行う。

メモリ１００はワークメモリとして使用し、再生対象の符号化データ（例えばＭＰＥＧビットストリーム）バッファ、ＭＰＥＧ復号処理に使用されるデコード画像領域および予
測参照画像領域などとして利用する。デコード画像領域は、表示対象となる復号画像を格納し、予測参照画像領域はフレーム間予測のための時間的に１つ前のフレームの画像を格納する。

なお、本実施の形態ではフレーム内符号化（Ｉピクチャ）および順方向フレーム間予測（Ｐピクチャ）を使用した符号化データの復号として説明を行うが、逆方向フレーム間予測（Ｂピクチャ）も用いて、双方向フレーム間予測を行ったデータの再生でもよく、そのための領域をメモリ１００に割り当ててもよい。

動画復号手段１０１はフレーム間予測を用いた符号化方式、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４といった方式で符号化されたデータを復号する手段である。動画復号手段１０１は各方式の規格・勧告に従い、一般的に知られる技術により実現できるものでよい。

動き検出手段１０２は、当該処理フレームの各復号化単位ブロック（マクロブロック）の動きベクトルから、フレーム全体の動きベクトルを算出する。前記のような符号化方式では動きベクトルを使用した符号化がなされており、これを利用することによって動き検出処理を大幅に削減・簡略化することができる。フレーム全体の動きベクトルを算出する具体的な方法は一般的に知られている技術でよい。例えば、図２−Ａに示すような画像を各マクロブロックの動きベクトルで表すと図２−Ｂのようになった場合を考える。このフレームは前のフレームと比較して左方向へ手ぶれしたものとする。統計的に撮影対象はフレームの中央に位置する傾向が強いことが知られており、それ以外の背景領域は比較的動きが少ない。したがって、手ぶれが発生した場合には多くの動きベクトルの向き、大きさが均一になる傾向がある。これを利用して背景領域（周辺領域）を抽出し、フレーム全体の動きベクトルを決定することができる。

なお、構成としてはさらに背景領域抽出部やフレーム動きベクトル計算部、統計処理を行うような場合には統計処理部などに分割してもよい。

手ぶれ情報記憶手段１０３は、動き検出手段１０２で抽出されたフレーム動きベクトルを過去数フレーム分記憶しておく。それによって対象フレームが手ぶれか否かを判断するために使用する。パンニングやティルティング動作は手ぶれとは異なる動作であり、一般的には加速度を持った急激な動きとなる動作が手ぶれとなる。

なお、双方向フレーム間予測を使用する場合は未来のフレームが存在するので、過去のフレーム動きベクトルだけでなく、未来のフレーム動きベクトルを記憶してもよい。未来のフレーム動きベクトルを使用することで、より高精度に手ぶれを検出することができる。

手ぶれ判定手段１０４は、手ぶれ情報記憶手段１０３に記憶された過去のフレーム動きベクトルから手ぶれ（手ぶれ方向、手ぶれ量）を検出する。手ぶれを判定する方法は一般的に知られている技術でよい。

フレームバッファ１０５は、動画復号手段１０１によって復号されたデコード画像に対して後述の手ぶれ補正画像生成手段１０６によって手ぶれ補正されたデコード画像または、手ぶれ補正されていないデコード画像がそのまま格納されている。通常は表示のための読み出しと書き込みが衝突しないように２バンクまたは３バンク構成となっている。もしくは、表示とデコード画像の書き込みが同期制御によって排他になっているシステムでは１バンクであってもよい。特に本実施の形態ではバンク数を定めない。

手ぶれ補正画像生成手段１０６は、手ぶれ判定手段１０４で決定した手ぶれから、実際に表示されるデコード画像を生成する。図３−Ａはフレームバッファ１０５に残っている対象フレームよりも１フレーム前の画像であり、すなわちこの画像は現在表示されている画像または既に表示された画像である。

図３−Ｂは対象処理フレームのデコード画像（再構成画像）であり、右方向に手ぶれ（撮影装置は左方向に手ぶれ）を検出したと仮定する。撮影対象が全体的に右方向へ移動しているので、手ぶれ補正として先ず当該処理フレームの画像をフレームの動きベクトルとは逆の左方向にシフトを行う（図３−Ｃ）。この画像のシフトは記憶領域上での記録位置を物理的にずらす移動、たとえばデータのコピーでなくてもよく、論理的にアドレスをずらすような手段、例えばポインタの変更でもよい。この結果、左端の領域は表示領域から外れるので不要となる。逆に右端の部分を手ぶれで失っている。右端部分の画像に相当する部分において、図３−Ａにおける画像、すなわち１つ前のフレームの同じ位置の画像を使用する。手ぶれ補正後の画像は、図３−Ｄに示すように、元の画像を手ぶれと逆の方向にシフトしたものと、失った部分を補うための１つ前のフレームの同じ領域の合成ということになる。

なお、本実施の形態においては、手ぶれ補正画像生成に使用する画像は、時間的に１フレーム前の画像としているが、フレームバッファ１０５が複数の画像を保持できる構成とし、１フレーム前の画像に限定せず、２フレーム以上前のフレーム画像を使用することもできる。

合成画像はフレームバッファ１０５の書き込みバンクへ書き込み、図３−Ｄが次に表示される画像となる。

次に、本実施の形態の動作について、図面を用いて詳細に説明する。図４のフローを用いて動作を説明する。

動画復号手段１０１によってメモリ１００から１フレーム分の符号化データを読み出し、動画の復号処理を行う（ＳＴ４００）。復号後の画像はメモリ１００に格納し、動き検出手段１０２においてフレーム全体の動きベクトルを算出する（ＳＴ４０１）。算出されたフレーム動きベクトルを手ぶれ情報記憶手段１０３へ格納する（ＳＴ４０２）。次に、シーケンスの先頭か否かの判定を行う（ＳＴ４０３）。シーケンスの先頭フレームでは基準となる画像が存在しないので、手ぶれ補正は行わない。よってメモリ１００上のデコード画像をフレームバッファ１０５へ格納する（ＳＴ４０７）。この処理は手ぶれ補正画像生成手段１０６が行う。

先頭フレームではない場合は、１フレーム前の表示画像を用いて手ぶれ補正を行う。手ぶれ判定手段１０４において、手ぶれ情報記憶手段１０３に記憶された過去のフレーム動きベクトルから実際の手ぶれを検出する（ＳＴ４０４）。その結果、手ぶれ補正が必要であるかどうかを判定し（ＳＴ４０５）、手ぶれ補正が必要な場合には手ぶれ補正画像生成手段１０６によって手ぶれ補正画像を生成する。手ぶれ補正画像はフレームバッファ１０５へ格納し（ＳＴ４０６）、次の表示出力画像となる。手ぶれ補正が不要な場合には、メモリ１００上のデコード画像をフレームバッファ１０５へ格納する（ＳＴ４０７）。

以降のフレームの処理も同様となり、ステップＳＴ４００より繰り返す。

このような本発明の実施の形態における手ぶれ補正付き動画復号再生装置は、従来の技術と比較して、手ぶれ補正画像の生成に時間的に１フレーム前の画像を使用し、手ぶれ補正用のメモリが不要となり、手ぶれ補正ができる範囲を確保するために有効画素を狭める
必要がないという効果を有する。

本発明は例えば携帯端末として組み込むことが可能であり、例えば前記携帯端末装置を具備した移動体通信システムとして実現することも可能である。

また、本発明は、ソフトウェアにより方法として実現することも可能であり、このソフトウェアを収めた記録媒体から読み出して本発明を実現することも可能である。
（実施の形態２）
図５は本発明の第２の実施の形態における手ぶれ補正付き動画復号再生装置を示す。実施の形態１と同一の構成手段においては図１と同一の符号を付与し、その説明は省略する。

メモリ１００は実施の形態１と同様に符号化データの格納と、動画復号処理に必要なデコード画像と予測参照画像を格納するが、実施の形態１と異なる点は図６−Ａに示すように手ぶれ補正のためにデコード画像の全てが表示対象となるわけではなく、領域境界によって有効画像領域と手ぶれ補正領域に分けられ、有効画像領域のみが表示される。領域境界の決定の方法はシステムによって任意でよい。例えば、手ぶれ補正可能範囲を大きくするために有効画像領域を狭くとって、有効画像を拡大して表示してみかけ上のサイズを維持するような構成としてもよい。

アドレス補正手段５０７は、手ぶれ判定手段１０４で決定した手ぶれ方向・手ぶれ量に基づいて、補正を行うためにメモリ１００に格納されたデコード画像の領域境界を移動させる手段である。これによって、手ぶれ補正領域の範囲に収まる場合は手ぶれ補正を容易に行うことができる。ただし、本実施の形態２では、メモリ１００の手ぶれ補正領域の範囲を超える場合においても手ぶれ補正を行うことができる。

図６−Ａは１フレーム前のデコード画像と有効画像領域が表示出力されているイメージを示す。次のフレームにおいて、図６−Ｂに示すように右方向に（撮影装置は左方向に手ぶれ）補正可能範囲を超えるような手ぶれが生じた場合である。右端に画像が存在しない領域が存在する。

不足した領域については実施の形態１に示した方法を用いて補正を行う。図６−Ｃに示すように手ぶれ方向とは逆の左方向に画像をシフトさせる（この画像のシフトは記憶領域上での記録位置を物理的にずらす移動、例えばデータのコピーでなくてもよく、論理的にアドレスをずらすような手段、例えばポインタの変更でよい）。図６−Ａに示す画像は１フレーム前の表示画像であり、この画像から、フレームバッファ１０５に格納されている不足領域に対応する部分を手ぶれ補正に使用する。すなわち、図６−Ｄに示すように、最終的な手ぶれ補正画像は、メモリ１００上のデコード画像を手ぶれ方向にシフトしたものと、不足領域に位置に対応する１つ前のフレームの領域が合成されて表示される。なお、本実施の形態においては、手ぶれ補正画像生成に使用する画像は、時間的に１フレーム前の画像としているが、フレームバッファ１０５が複数の画像を保持できる構成とし、１フレーム前の画像に限定せず、２フレーム以上前のフレーム画像を使用することもできる。

手ぶれ補正画像の生成（画像の合成）は手ぶれ補正画像生成手段１０６が行い、フレームバッファ１０５の書き込みバンクへ書き込まれる。

次に、本実施の形態の動作について、図面を用いて詳細に説明する。図７のフローを用いて動作を説明する。

動画復号手段１０１によってメモリ１００から１フレーム分の符号化データを読み出し
、動画の復号処理を行う（ＳＴ７００）。復号後の画像はメモリ１００に格納し、動き検出手段１０２においてフレーム全体の動きベクトルを算出する（ＳＴ７０１）。算出されたフレーム動きベクトルを手ぶれ情報記憶手段１０３へ格納する（ＳＴ７０２）。次に、シーケンスの先頭か否かの判定を行う（ＳＴ７０３）。シーケンスの先頭フレームでは基準となる画像が存在しないので、手ぶれ補正は行わない。よってメモリ１００上のデコード画像をフレームバッファ１０５へ格納する（ＳＴ７０９）。この処理は手ぶれ補正画像生成手段１０６が行う。

先頭フレームではない場合は、１フレーム前の表示画像を用いて手ぶれ補正を行う。手ぶれ判定手段１０４において、手ぶれ情報記憶手段１０３に記憶された過去のフレーム動きベクトルから実際の手ぶれを検出する（ＳＴ７０４）。その結果、手ぶれ補正が必要であるかどうかを判定する（ＳＴ７０５）。

次に手ぶれ補正の範囲が、メモリ１００上の手ぶれ補正領域の範囲で可能であるか否かの判断を行う（ＳＴ７０６）。前記の範囲内であれば手ぶれ補正画像生成手段１０６とアドレス補正手段１０７によって領域境界を移動し、有効画像範囲を切り出して表示対象とすることで手ぶれ補正画像を生成し、手ぶれ補正画像はフレームバッファ１０５へ格納する（ＳＴ７０７）。前記の範囲を超える場合は、手ぶれ補正領域で可能な範囲内において手ぶれ補正画像生成手段１０６とアドレス補正手段１０７によって領域境界を移動し、不足する領域は１フレーム前の画像の対応する領域を用いて手ぶれ補正画像を生成する。手ぶれ補正画像はフレームバッファ１０５へ格納し（ＳＴ７０８）、次の表示出力画像となる。手ぶれ補正が不要な場合には、メモリ１００上のデコード画像をフレームバッファ１０５へ格納する（ＳＴ７０９）。

以降のフレームの処理も同様となり、ステップＳＴ７００より繰り返す。

このような本発明の実施の形態における手ぶれ補正付き動画復号再生装置は、従来の技術と比較して、手ぶれが非常に大きく補正可能範囲を超える場合に、時間的に１フレーム前の画像を使用することによって、手ぶれ補正用のメモリの不足分を補うことが可能となり、事実上手ぶれ補正範囲の制限をなくすことができるという点において優れた効果を有する。

本発明は例えば携帯端末として組み込むことが可能であり、例えば前記携帯端末装置を具備した移動体通信システムとして実現することも可能である。

また、本発明は、ソフトウェアにより方法として実現することも可能であり、このソフトウェアを収めた記録媒体から読み出して本発明を実現することも可能である。
（実施の形態３）
図８は本発明の第３の実施の形態における手ぶれ補正付き動画復号再生装置を示す。実施の形態１と同一の構成手段においては図１と同一の符号を付与し、その説明は省略する。

ポストフィルタ処理手段８０８は、実施の形態１に示すように手ぶれ補正画像生成手段１０６によって生成された手ぶれ補正画像に対し、ポストフィルタ処理を行う。対象フレームのデコード画像と１フレーム前の画像を合成して手ぶれ補正画像を生成する場合に、境界において継ぎ目などのノイズが発生する場合があり、ポストフィルタによる高画質化の効果は大きい。ポストフィルタ処理は、例えばＭＰＥＧ符号化圧縮時に発生したノイズを除去するフィルタでもよく、手ぶれ補正画像を合成する場合に生じた継ぎ目を平滑化するようなフィルタでもよい。また、手ぶれ補正における違和感をなくすために、部分的にぼかしを入れるような効果を有したポストフィルタでもよい。ポストフィルタ処理を行っ
た画像を最終的な表示対象となる手ぶれ補正画像としてフレームバッファ１０５へ格納する。

なお、ポストフィルタ処理手段８０８を行うか否かを判断する手段を設けてもよい。また、処理負荷の軽減のため、適応的に部分なポストフィルタ処理を行うような構成としてもよい。

実施の形態２に対して、ポストフィルタ処理手段８０８を加えた構成としてもよい。なお、本実施の形態においては、手ぶれ補正画像生成に使用する画像は、時間的に１フレーム前の画像としているが、フレームバッファ１０５が複数の画像を保持できる構成とし、１フレーム前の画像に限定せず、２フレーム以上前のフレーム画像を使用することもできる。

次に、本実施の形態の動作について、図面を用いて詳細に説明する。図９のフローを用いて動作を説明する。

動画復号手段１０１によってメモリ１００から１フレーム分の符号化データを読み出し、動画の復号処理を行う（ＳＴ９００）。復号後の画像はメモリ１００に格納し、動き検出手段１０２においてフレーム全体の動きベクトルを算出する（ＳＴ９０１）。算出されたフレーム動きベクトルを手ぶれ情報記憶手段１０３へ格納する（ＳＴ９０２）。次に、シーケンスの先頭か否かの判定を行う（ＳＴ９０３）。シーケンスの先頭フレームでは基準となる画像が存在しないので、手ぶれ補正は行わない。

先頭フレームではない場合は、１フレーム前の表示画像を用いて手ぶれ補正を行う。手ぶれ判定手段１０４において、手ぶれ情報記憶手段１０３に記憶された過去のフレーム動きベクトルから実際の手ぶれを検出する（ＳＴ９０４）。その結果、手ぶれ補正が必要であるかどうかを判定し（ＳＴ９０５）、手ぶれ補正が必要な場合には手ぶれ補正画像生成手段１０６によって手ぶれ補正画像を生成する（ＳＴ９０６）。

次にポストフィルタ処理が必要か否かの判断を行い（ＳＴ９０７）、ポストフィルタ処理を行う場合には、ポストフィルタ処理手段８０８によって処理が実施され（ＳＴ９０８）、結果がフレームバッファ１０５に格納される（ＳＴ９０９）。ポストフィルタ処理を行わない場合は、そのまま手ぶれ補正画像をフレームバッファ１０５へ格納する。また、手ぶれ補正処理が不要な場合、およびシーケンスの先頭でない場合も、ポストフィルタ処理を行うか否かを判定し、必要であればポストフィルタ処理を行う。

以降のフレームの処理も同様となり、ステップＳＴ９００より繰り返す。

このような本発明の実施の形態における手ぶれ補正付き動画復号再生装置は、従来の技術と比較して、実施の形態１の構成により得られる効果に加えて、簡易な構成を加えるだけで手ぶれ補正画像を高画質化することが可能となり、より手ぶれ補正の視覚的な効果を高めることができる。

本発明は例えば携帯端末として組み込むことが可能であり、例えば前記携帯端末装置を具備した移動体通信システムとして実現することも可能である。

また、本発明は、ソフトウェアにより方法として実現することも可能であり、このソフトウェアを収めた記録媒体から読み出して本発明を実現することも可能である。

以上のように、本発明はコスト的な問題によって撮影時の手ぶれ補正が実施できない場合や、撮影時の手ぶれ補正が不充分な場合においても、再生時に手ぶれ補正を行うことが可能であり、その効果は大きい。

さらに、従来の技術では手ぶれ補正用の特別なメモリが必要であり、そのために大きなコストや、有効画像領域を狭めてしまう課題を有していた。したがって、時間的に１フレーム前の表示画像を利用して、手ぶれ補正用領域が存在しない画素位置においては１フレーム前の画像を使用することによって、手ぶれ補正用のメモリが不要となり、手ぶれ補正範囲を大きくするために有効画素を極端に狭める必要がなくなる。

更に、手ぶれ補正領域が存在する場合においては、手ぶれが非常に大きく補正可能範囲を超える場合に、手ぶれ補正用のデータを超えた部分においては上記のように１フレーム前の画像を使用することによって、手ぶれの補正が可能であり、事実上手ぶれ補正範囲の制限をなくすこともできる。

よって本発明は低コストかつ容易に再生時に手ぶれ補正を行うことが可能で、従来の技術の課題を解決し、産業上としても非常に有用である。

本発明の実施の形態１における手ぶれ補正付き動画復号再生装置の構成を示すブロック図 実施の形態１における手ぶれイメージを示す説明図 実施の形態１における具体的な手ぶれ補正方法を示す説明図 実施の形態１における手ぶれ補正付き動画復号再生方法を示すフロー図 本発明の実施の形態２における手ぶれ補正付き動画復号再生装置の構成を示すブロック図 実施の形態２における具体的な手ぶれ補正方法を示す説明図 実施の形態２における手ぶれ補正付き動画復号再生方法を示すフロー図 本発明の実施の形態３における手ぶれ補正付き動画復号再生装置の構成を示すブロック図 実施の形態３における手ぶれ補正付き動画復号再生方法を示すフロー図 従来の技術を示すブロック図

符号の説明

１００ メモリ
１０１ 動画復号手段
１０２ 動き検出手段
１０３ 手ぶれ情報記憶手段
１０４ 手ぶれ判定手段
１０５ フレームバッファ
１０６ 手ぶれ補正画像生成手段
５０７ アドレス補正手段
８０８ ポストフィルタ処理手段
１０００ 従来技術のメモリ
１００１ 従来技術のＭＰＥＧデコーダ
１００２ 従来技術の動きベクトル選択部
１００３ 従来技術の統計計算部
１００４ 従来技術の手ぶれ量決定部
１００５ 従来技術の手ぶれ量記憶部
１００６ 従来技術の連続性検査部
１００７ 従来技術の水平・垂直移動抽出部
１００８ 従来技術の手ぶれ成分検出部
１００９ 従来技術の選択部
１０１０ 従来技術の読み出し位置修正部

Claims (8)

1. 符号化された動画データの再生に伴う手ぶれ補正を行う装置であって、前記符号化された動画データのフレーム画像を復号するデコーダと、前記デコーダにより復号されたフレーム画像を格納するメモリと、前記メモリに格納されたフレーム画像から手ぶれを検出する手ぶれ検出手段と、表示対象となるフレーム画像を格納するフレームバッファと、前記メモリに格納されたフレーム画像を読み出し、前記手ぶれ検出手段の出力に基づき前記読み出されたフレーム画像の位置を修正するとともに、前記位置を修正したフレーム画像の不足領域に、前記フレームバッファに格納されたフレーム画像の前記不足領域に対応した領域を合成して補正画像を生成しフレームバッファに格納する手ぶれ補正画像生成手段とを備える手ぶれ補正付き動画復号装置。
2. 符号化された動画データの再生に伴う手ぶれ補正を行う装置であって、前記符号化された動画データのフレーム画像を復号するデコーダと、前記デコーダにより復号されたフレーム画像を格納する、有効画素領域を有するとともに前記有効画素領域変更手段を有するメモリと、前記メモリに格納されたフレーム画像から手ぶれを検出する手ぶれ検出手段と、表示対象となるフレーム画像を格納するフレームバッファと、前記手ぶれ検出手段の出力に基づき前記有効画素領域変更手段によって変更された有効画素領域から前記メモリに格納されたフレーム画像を読み出すとともに、前記有効画素領域に含まれる前記メモリに格納されたフレーム画像に不足領域が生じるときは、前記フレームバッファに格納されたフレーム画像から前記不足部分に対応する部分を合成して補正画像を生成しフレームバッファに格納する手ぶれ補正画像生成手段とを備える手ぶれ補正付き動画復号装置。
3. 前記有効画素領域変更手段は前記メモリのアドレス補正手段である、請求項２に記載の手ぶれ補正付き動画復号装置。
4. 前記手ぶれ補正画像生成手段によって生成された画像に対してポストフィルタ処理を行うポストフィルタ手段を更に備える、請求項１ないし3に記載の手ぶれ補正付き動画復号装置。
5. メモリに格納された符号化データを復号するステップと、復号されたデコード画像の手ぶれを検出するステップと、検出された手ぶれを補正するために、表示対象となるデコード画像が格納されたフレームバッファより画像を読み出し、補正対象フレームと合成して手ぶれ補正画像を生成するステップとからなる、再生時に手ぶれ補正を行うことを特徴とする手ぶれ補正付き動画復号再生方法。
6. 請求項４または請求項５に記載の手ぶれ補正付き動画復号再生方法は、手ぶれ補正画像に対してポストフィルタ処理を行うステップを加えた、再生時に手ぶれ補正を行うことを特徴とする手ぶれ補正付き動画復号再生方法。
7. 請求項５および請求項６に記載の手ぶれ補正付き動画復号再生方法を実行するプログラムが記録されたことを特徴とする記録媒体。
8. 請求項１から請求項４に記載の手ぶれ補正付き動画復号再生装置が具備されることを特徴とする移動体通信システム。
   
   

Images