JP3951321B2 - 画像信号処理装置および記録／再生装置 - Google Patents
画像信号処理装置および記録／再生装置 Download PDFInfo
- Publication number
- JP3951321B2 JP3951321B2 JP17411696A JP17411696A JP3951321B2 JP 3951321 B2 JP3951321 B2 JP 3951321B2 JP 17411696 A JP17411696 A JP 17411696A JP 17411696 A JP17411696 A JP 17411696A JP 3951321 B2 JP3951321 B2 JP 3951321B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- image data
- camera shake
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、ハンディタイプのビデオカメラの撮影出力等の画像データを圧縮する画像信号処理装置、圧縮画像データを記録媒体に記録する画像信号記録装置、並びに記録媒体から圧縮画像データを再生する画像信号再生装置に関し、特に、ビデオカメラの手振れを補正するようにしたものである。
【０００２】
【従来の技術】
ハンディタイプのビデオカメラを使用して撮影を行う時に、手振れで再生画面が揺れる問題がある。この問題を解決するのに、動きベクトルを検出し、この動きベクトルに基づいて、画像メモリに貯えられている画像データを補正することが考えられる。動きベクトルの検出は、例えばブロックマッチングでなされる。すなわち、画面を多数の領域（ブロックと称する）に分割し、各ブロックの中心に位置する前フレームの代表点と現フレームのブロック内の画素データとのフレーム差の絶対値を演算し、このフレーム差の絶対値を１画面に関して積算し、積算フレーム差データの最小値の位置から画面全体の動きベクトルを検出している。この検出された動きベクトルを補正信号に変換し、この補正信号により原画像を移動する補正を行っている。
【０００３】
例えば図２３Ａにおいて、破線で示す画枠Ｌａが撮像された画像であり、手振れ補正によって破線で示す画枠Ｌｂにその位置が補正される。この補正後の画枠Ｌｂ内の画像において、斜線を付した領域は、撮影画像がないために、画像の欠落が生じる。この問題を解決する一つの方法は、画枠を図２３Ｂにおいて、Ｌｃで示すように、ある程度拡大するものである。これによって、画像の欠落を防止することができる。
【０００４】
しかしながら、画像の拡大は、画像メモリの読出し速度をその書込み速度に比して遅くし、不足する画素データを内挿する処理でなされる。従って、拡大画像は、元の画像に比して解像度が劣化する。そのため、手振れ補正後の画質が良好でない問題があった。
【０００５】
次に、従来の手振れ補正の他の問題点について説明する。これは、画面中の大面積の動きを手振れと誤って判定する問題である。１画面を（４×４＝１６）のマクロブロックへ分割し、各マクロブロックで動きベクトルを検出する方法を採用している時に、例えば、図２４Ａに示すように、人物が画面を右から左へ動く時に、各ブロックでは、矢印で示す動きベクトルが検出される。人物（エッジ）が含まれない他のブロックの動きベクトルは、０として検出される。
【０００６】
従来では、マクロブロック毎の動きベクトルを多数決判定し、多数である動きベクトルを手振れ補正用の動きベクトルとして採用している。しかしながら、上述の例のように、画面中央にその面積の大きい物体が存在し、この物体が動く時には、この物体を動きを手振れとして、誤って判定する可能性がある。かかる誤った判定を回避する必要がある。
【０００７】
さらに、マクロブロックの動きベクトルとして複数の動きベクトルが存在する場合もある。例えば図２４Ｂに示すように、手振れにより生じた動きと対応する動きベクトルと、画面中の物体の動きにより生じたものとが合成される結果、複数の動きベクトルが検出される場合がある。図２４Ｂの例のように、大面積の物体の動きがある時には、従来のように、多数決判定すると、手振れによる動きベクトルを正確に検出することができない問題がある。
【０００８】
さらに、ビデオカメラ一体型ＶＴＲのような画像信号記録装置では、記録される画像信号として、手振れ補正されたものを記録するのが普通である。しかしながら、その結果、撮影された画像それ自体を再生できなくなり、また、手振れ補正が良好になされない時には、再生側でその補正が不可能であるという問題点が生じる。
【０００９】
【発明が解決しようとする課題】
上述したように、従来の動きベクトルを検出し、検出された動きベクトルに基づいて手振れ補正を行なう方法は、種々の問題点を有している。さらに、上述した問題点の他に、動きベクトルを検出するためのハードウエアを必要とし、手振れ補正のためのハードウエアの規模が大きくなる問題がある。
【００１０】
この発明は、ハードウエアの規模の低減を図るものである。一般的に、ディジタル画像データを記録媒体（磁気テープ、光ディスク等）に記録する場合に、記録データ量を圧縮するための高能率符号化として、動き補償予測符号化が知られている。これは、入力画像信号と予測画像信号との差分を検出し、差分を符号化し、さらに可変長符号化する予測符号化において、予測信号を形成する時に、検出された動きベクトルによる動き補償を行い、それによって、差分値を小さくするものである。ビデオカメラの手振れ補正のために、動きベクトルを使用するので、この動きベクトルとして、動き補償予測符号化のために検出された動きベクトルを使用することによって、動きベクトルの検出のためのハードウエアを共用することが可能となる。
【００１１】
従って、この発明の目的は、動き補償予測符号化のために検出された動きベクトルを手振れ補正のためにも共用することを可能とした画像信号処理装置および記録／再生装置を提供することにある。
【００１２】
【課題を解決するための手段】
この発明は、１画面の画像データを複数のブロックに分割し、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出し、
動きベクトルを用いて画像データを圧縮する機能を有する画像信号処理装置において、
各ブロックの動きベクトルを検出する動きベクトル検出手段と、
各ブロックの動きベクトルから手振れ動きベクトルを検出する手振れ動きベクトル検出手段と、
入力される画像信号を検出された手振れベクトルに基づいて補正する手段と、
各ブロックの動きベクトルを手振れ動きベクトルにより修正した動きベクトルを求める手段と、
修正された動きベクトルにより動き補償を行なう手段と、
手振れ補正された画像データと動き補償が行われた画像データにより圧縮処理を行なう手段とを備え、
手振れ動きベクトル検出手段は、
各ブロックの画像データのアクティビティの高低を評価するアクティビティ評価手段と、
各ブロックの動きベクトルの大きさを評価する動きベクトル評価手段と、
アクティビティ評価手段によりアクティビティが所定値より高く、且つ動きベクトル評価手段により動きベクトルが所定値より小さいと評価されたブロックを静止ブロックとして検出する判断手段とを有し、
判断手段により１画面中で静止ブロックが検出された場合は、手振れ補正を行わないことを特徴とする画像信号処理装置である。
この発明は、１画面の画像データを複数のブロックに分割するステップと、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出するステップと、
各ブロックの動きベクトルから手振れ動きベクトルを検出するステップと、
入力される画像信号を検出された手振れベクトルに基づいて補正するステップと、
各ブロックの動きベクトルを手振れ動きベクトルにより修正した動きベクトルを求めるステップと、
修正された動きベクトルにより動き補償を行うステップと、
手振れ補正された画像データと動き補償が行われた画像データにより圧縮処理を行なうステップとを備え、
手振れ動きベクトルを検出するステップにおいて、
各ブロックの画像データのアクティビティの高低を評価し、
各ブロックの動きベクトルの大きさを評価し
所定値よりアクティビティが高く、且つ所定値より動きベクトルが小さいと評価されたブロックを静止ブロックとして検出し、
静止ブロックが検出された場合は、手振れ補正を行わないことを特徴とする画像信号処理方法である。
【００１３】
この発明は、１画面の画像データを複数のブロックに分割し、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出し、
動きベクトルを用いて画像データを圧縮する機能を有する画像信号記録装置において、
各ブロックの動きベクトルを検出する動きベクトル検出手段と、
各ブロックの動きベクトルから手振れ動きベクトルを検出する手振れ動きベクトル検出手段と、
動きベクトルにより動き補償を行なう手段と、
入力画像データと動き補償された画像データにより圧縮処理を行う手段と、
圧縮された画像データと共に、手振れ動きベクトルを記録する手段とを備え、
手振れ動きベクトル検出手段は、
各ブロックの画像データのアクティビティの高低を評価するアクティビティ評価手段と、
各ブロックの動きベクトルの大きさを評価する動きベクトル評価手段と、
アクティビティ評価手段によりアクティビティが所定値より高く、且つ動きベクトル評価手段により動きベクトルが所定値より小さいと評価されブロックを静止ブロックとして検出する判断手段とを有し、
判断手段により１画面中で静止ブロックが検出された場合は、手振れなしとすることを特徴とする画像信号記録装置である。
この発明は、１画面の画像データを複数のブロックに分割するステップと、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出するステップと、
各ブロックの動きベクトルから手振れ動きベクトルを検出するステップと、
動きベクトルにより動き補償を行なうステップと、
入力画像データと動き補償された画像データにより圧縮処理を行うステップと、
圧縮された画像データと共に、手振れ動きベクトルを記録するステップとを備え、
手振れ動きベクトルを検出するステップにおいて、
各ブロックの画像データのアクティビティの高低を評価し、
各ブロックの動きベクトルの大きさを評価し、
所定値よりアクティビティが高く、且つ所定値より動きベクトルが小さいと評価されたブロックを静止ブロックとして検出し、
静止ブロックが検出された場合は、手振れなしとする
ことを特徴とする画像信号記録方法である。
【００１５】
動き補償予測符号化のように、記録データの圧縮のために、動きベクトルが検出される。この動きベクトルは、ブロック単位で検出される。この動きベクトルと画像データの変化量とを使用することによって、手振れ動きベクトルが検出される。この手振れ動きベクトルによって補正された画像データが記録される。手振れ補正された画像データを記録するのに限らず、手振れ動きベクトルまたはこれより形成された補正信号を圧縮画像データと共に、記録媒体に記録し、再生時に手振れ補正が行われる。
【００１６】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。ここでの実施の形態は、例えばＶＴＲ一体型ビデオカメラであって、撮影した画像信号をディジタル信号へ変換し、動き補償予測符号化により圧縮し、そして、磁気テープ等の記録媒体に記録するものである。
【００１７】
図１において、１は、撮像素子としてのＣＣＤを示す。ＣＣＤ１の撮像出力がカメラ信号処理回路２に供給され、ビデオ信号へ変換される。このビデオ信号がＡ／Ｄ変換器３によってディジタルビデオ信号へ変換される。例えば１３．５ＭHzのサンプリング周波数によってＡ／Ｄ変換される。なお、この発明は、輝度信号と二つの色差信号からなるコンポーネント信号、あるいは輝度信号と搬送色信号とが重畳されたコンポジット信号に対しても適用することができるが、以下の説明では、簡単のため輝度信号の処理についてのみ説明する。
【００１８】
Ａ／Ｄ変換器３からのディジタルビデオ信号が遅延回路１４を介して、この発明が適用された手振れ補正回路４に供給される。手振れ補正回路４は、後述するように、撮影時の手振れを補正するための回路である。手振れ検出回路１２および補正信号発生回路１３が手振れ補正のために設けられている。遅延回路１４は、手振れ補正信号を形成するための処理にかかる時間、ディジタルビデオ信号を遅延させる位相合わせのために設けられている。手振れ補正回路４の出力信号が減算回路５に供給され、また、Ａ／Ｄ変換器３の出力信号が動きベクトル検出回路６に供給される。
【００１９】
減算回路５には、動き補償回路７からの予測信号が供給され、減算回路５からは、実際のビデオ信号と予測信号との差分が画素ごとに発生する。この差分がＡＤＲＣ符号化のエンコーダ８に供給され、エンコーダ８の符号化出力が取り出される。これと共に、エンコーダ８の出力がＡＤＲＣデコーダ（ローカルデコーダ）９に供給され、その出力に差分値の復号データが取り出される。なお、フレーム内符号化の画像信号を周期的に挿入することによって、復号側がリフレッシュ処理を行うようにしても良い。
【００２０】
ＡＤＲＣデコーダ９からの復号値が加算回路１０に供給され、動き補償回路７からの予測信号と加算される。この加算回路１０から得られる復号信号がフレームメモリ１１に書込まれる。フレームメモリ１１の出力が動き補償回路７に供給される。動き補償回路７には、動きベクトル検出回路６からの動きベクトルＶhvが動きベクトル修正回路１５を介して供給され、動き補償がなされる。動き補償回路７からの予測信号が上述の加算回路１０に供給されるとともに、減算回路５に供給される。減算回路５において、実際のビデオ信号と予測信号との画素の差分が形成される。
【００２１】
動きベクトル検出回路６は、Ａ／Ｄ変換器３の出力ビデオ信号、すなわち、手振れ補正前のディジタルビデオ信号から動き補償のための動きベクトルを検出する。この発明の一実施例では、動きベクトルＶhvおよび評価値Ｐijを手振れ検出回路１２に供給し、後述のように、手振れ動きベクトルを求め、この手振れ動きベクトルを補正信号発生回路１３に供給し、補正信号を形成する。この補正信号が手振れ補正回路４に供給されることによって手振れを補正することができる。
【００２２】
画像信号の記録／再生のために、図２に示す構成が用いられる。図２において、２１で示す入力端子に動き補償予測符号化のエンコーダ（図１の例では、ＡＤＲＣエンコーダ８）から符号化出力が供給される。この符号化出力が可変長符号化のエンコーダ２２に供給され、可変長符号化される。可変長符号化の出力が記録バッファ２３に供給される。記録バッファ２３は、バッファ容量を示す信号を前段へフィードバックする。これによって所定期間の記録データ量が一定に制御される。例えばＡＤＲＣ符号化の量子化ビット数を変化させることによって伝送データ量を制御できる。
【００２３】
この例は、フィードバック制御のバッファリング回路であるが、ＡＤＲＣエンコードにおける量子化ビット数として、複数のもの（例えば０ビット、１ビット、２ビット、３ビット、４ビット）を用意し、所定の期間の発生データ量を見積り、目標データ量を越えないように、量子化ビット数をブロック毎に選択する、フィードフォワード制御のバッファリングを行なうようにしても良い。記録バッファ２３の出力がマルチプレクサ２４に供給され、オーディオデータ、制御用データ等が多重化される。
【００２４】
マルチプレクサ２４の出力が記録処理回路２５に供給される。記録処理回路２５では、記録データに対するエラー訂正符号化、チャンネル変調等の処理がなされる。記録処理回路２５からの記録データが記録アンプ２６と記録／再生切替えスイッチ２７の記録側端子Ｒを介して記録媒体に記録される。記録媒体としては、磁気テープ、記録可能な光ディスク等を使用できる。
【００２５】
記録媒体から再生された再生データが記録／再生切替えスイッチ２７の再生側端子Ｐおよび再生アンプ２８を介して再生処理回路２９に供給される。再生処理回路２９は、チャンネル変調の復調、エラー訂正等の処理を行なう。再生処理回路２９の出力がディマルチプレクサ３０に供給され、オーディオ信号、制御用データ等が分離される。ディマルチプレクサ３０からのビデオ信号と対応する再生データが可変長符号化のデコーダ３１に供給され、可変長符号の復号がなされる。出力端子３２に取り出された再生データがＡＤＲＣデコーダ等の高能率符号化のデコーダに供給される。
【００２６】
ＡＤＲＣは、本願発明者の提案による高能率符号化のひとつである。ＡＤＲＣエンコーダ８の構成の一例を図３に示す。入力端子３４からディジタルビデオ信号がブロック化回路３５に供給され、ブロック化回路３５によって１画面を細分化したブロック毎の順序を有するデータが形成される。ブロック化回路３５の出力データが検出回路３６および遅延回路３７に供給される。
【００２７】
検出回路３６は、各ブロックの複数の画素の最大値ＭＡＸ、最小値ＭＩＮを検出する。遅延回路３７は、この検出に要する時間、ディジタルビデオ信号を遅延させるためのものである。検出された最大値ＭＡＸおよび最小値ＭＩＮが減算回路３８に供給され、減算回路３８から（ＭＡＸ−ＭＩＮ＝ＤＲ）で表されるダイナミックレンジＤＲが得られる。また、遅延回路３７からのディジタルビデオ信号と最小値ＭＩＮが減算回路３９に供給され、その出力に最小値が除去された修正画素データが得られる。ブロック内の画素が共有する最小値ＭＩＮを除去することによって、正規化がなされる。
【００２８】
減算回路３９の出力と検出されたダイナミックレンジＤＲとが量子化回路４０に供給される。量子化回路４０では、図５に示すように、ダイナミックレンジＤＲを２n 等分した量子化ステップ（ｎ；量子化ビット数であり、図５では、ｎ＝２）により、減算回路３９の出力が再量子化される。空間的に近接する画素は、相関が強いので、量子化ビット数ｎを元の量子化ビット数（例えば８ビット）より少なくしても、復号画像の劣化が少なく、伝送データ量を圧縮することができる。量子化回路４０からの符号化出力ＤＴが伝送されると共に、ブロック毎のダイナミックレンジＤＲおよび最小値ＭＩＮが付加情報として伝送される。
【００２９】
図４は、ＡＤＲＣデコーダ９の一例の構成を示す。ＡＤＲＣエンコーダ８からのダイナミックレンジＤＲおよび符号化出力ＤＴが逆量子化回路４２に供給される。逆量子化回路４２は、ダイナミックレンジＤＲと量子化ビット数ｎとで定まる量子化ステップを符号化出力に乗じ、乗算出力を整数化することによって、復元レベルを発生する。図５に示すように、量子化の時のレベル範囲のそれぞれの中央値が復元レベル（代表レベル）Ｌ０、Ｌ１、Ｌ２、Ｌ３とされる。
【００３０】
そして、逆量子化回路４２からの復元レベルと最小値ＭＩＮとを加算回路４３により加算することによって、復号値が得られる。この復号値がブロック分解回路４４に供給され、画素データの順序がラスター順序へ戻される。ブロック分解回路４４の出力端子４５には、復号ビデオ信号が取り出される。
【００３１】
動きベクトル検出回路６では、ブロックマッチング法により動きベクトルが検出される。これは、図６にその処理を概略的に示すように、参照フレーム例えば前フレームＦn-1 の検査ブロックＢｙを所定のサーチエリア内で移動し、現フレームＦｎの基準ブロックＢｘと最も合致している検査ブロックを検出することにより動きベクトルを求めるものである。従って、動きベクトルは、ブロック毎に求められる。合致の程度を表す評価値としては、基準ブロックＢｘ内の複数の画素と検査ブロックＢｙ内の複数の画素との間で、同一の空間的位置の画素同士の値を減算することでフレーム差を求め、このフレーム差の絶対値和を使用することができる。フレーム差の絶対値和以外に、フレーム差の二乗和等を使用できる。
【００３２】
図７は、動きベクトル検出回路６の一例の構成を示す。図７において、５１が現フレームの画像データの入力端子であり、この画像データが現フレームメモリ５３に蓄えられる。５２が前フレームの画像データの入力端子であり、この画像データが前フレームメモリ５４に蓄えられる。
【００３３】
現フレームメモリ５３および前フレームメモリ５４の読出し／書込みは、コントローラ５５によって制御される。現フレームメモリ５３からは、現フレームの基準ブロックの画素データが読出され、前フレームメモリ５４からは、前フレームの検査ブロックの画素データが読出される。前フレームメモリ５４と関連してアドレス移動回路５６が設けられる。コントローラ５５がアドレス移動回路５６を制御する結果、検査ブロックの位置が１画素ステップで、サーチエリア内で変化する。
【００３４】
現フレームメモリ５３の出力と前フレームメモリ５４の出力とが差分検出回路５７に供給され、１画素毎の差分（フレーム差）が検出される。差分検出回路５７の出力が絶対値化回路５８で絶対値へ変換され、この絶対値が累算回路５９に供給される。累算回路５９が１ブロックで発生した絶対値差分を累算し、その出力（フレーム差絶対値和）が評価値として判断回路６０に供給される。判断回路６０は、サーチエリア内で検査ブロックを移動した時にそれぞれ発生する差分の絶対値和から動きベクトルを検出する。すなわち、最小の差分の絶対値和を発生する検査ブロックの位置を動きベクトルとして検出する。出力端子６１に、検出された動きベクトルが取り出される。
【００３５】
この発明の一実施例では、このように検出された動き補償のための動きベクトルを手振れ補正のためにも使用するものである。手振れ補正の動きベクトルは、画面全体、あるいは比較的大きなブロックの動きを表すもので、既存の方法として、図８に示すように、手振れ補正用の動きベクトルを検出することが知られている。
【００３６】
すなわち、現フレームＦｎをサーチエリアＳｘに分割し、各サーチエリアＳｘ内の複数の画素と、前フレームＦn-1 の代表点画素Ｒｙ（サーチエリアの中心位置の画素）とのフレーム差の絶対値を求める。さらに、各サーチエリアＳｘで求められたフレーム差絶対値を同一の空間的位置において積算し、それによって、サーチエリアＳｘと同一の大きさの評価値テーブルを作成する。この評価値テーブル中の最小値を検出することによって、画面全体の動きベクトルを求める。
【００３７】
このように、動きベクトル検出回路６で求める動きベクトルは、ブロック単位で求められるものであるのに対して、手振れ補正にとって必要な動きベクトルは、画面全体、あるいは比較的大きなブロックの単位で求められるものである。この相違があるために、手振れ検出回路１２は、動きベクトル検出回路６からフレーム差絶対値和Ｐijおよび動きベクトルＶhvを受け取り、手振れ補正用の動きベクトルを生成する。
【００３８】
図９は、手振れ検出回路１２および手振れ補正回路４の一例の構成を示す。動きベクトル検出回路６からのフレーム差絶対値和Ｐijが積算回路７１に供給される。このフレーム差絶対値和Ｐijについて図１０を参照して説明する。図６を参照して説明したように、基準ブロックＢｘと検査ブロックＢｙとのフレーム差の絶対値和は、サーチエリア内の検査ブロックＢｙの各位置で計算される。一例として、サーチエリアを水平方向に±４、垂直方向に±３とすると、９×７＝６３個の検査ブロックとのフレーム差絶対値和が計算される。
【００３９】
現フレームのある一つの基準ブロックＢｘに関してのフレーム差絶対値和を検査ブロックの位置に対応して配列したものを図１０に示す。中心位置（ｉ＝４，ｊ＝３）のフレーム差絶対値和Ｐ４３は、基準ブロックＢｘと検査ブロックＢｙとが空間的に同一位置の場合のものである。このフレーム差絶対値和Ｐijが各基準ブロック毎に積算回路７１において積算され、評価値ΣＰhvが形成される。一例として、ブロックサイズを（１６×１６）とし、１フレームの有効画面サイズを（７０４画素×４８０ライン）とすると、図１１に示すように、１フレームが（４４×３０）のブロックへ分割されることになり、このブロック数と等しい評価値ΣＰhvが得られる。
【００４０】
評価値ΣＰhvは、そのブロック内の画像のレベル分布を反映したものである。若し、サーチエリア内の画像が平坦なレベル分布であるような場合では、フレーム差絶対値和のレベルが小さくなり、評価値ΣＰhvのレベルも小さくなる。一方、レベル分布が平坦でなく、エッジ等を含む場合には、評価値ΣＰhvのレベルも大きくなる。この一実施例では、アクティビティーとして画像のレベル分布を使用しており、平坦なレベル分布を低いアクティビティーとしている。但し、アクティビティーは、空間傾斜に限らず、周波数変換における周波数成分等を含むものである。
【００４１】
この評価値ΣＰhvと動きベクトルＶhvが手振れ判定回路７２に供給される。手振れ判定回路７２は、図１２のフローチャートに示すように、手振れ判定を行なう。初期値として（ｈ＝０、ｖ＝０）とされ（ステップ８１）、次のステップ８２において、しきい値ＴＨ１、ＴＨ２とそれぞれ比較される。Ｖ00＜ＴＨ１で、ΣＰ00＞ＴＨ２であれば、カメラ静止（すなわち、手振れでない）と判定される（ステップ８３）。
【００４２】
このステップ８２の条件が成立することは、ブロック00がエッジ等のレベル変化が不連続な位置の画像（ΣＰ00＞ＴＨ２）であって、しかも、ブロック00について動きがない（Ｖ00＜ＴＨ１）と検出されていることを意味する。手振れが発生している場合には、全画面が動くので、静止ブロックが一つでも存在することは、手振れではないと決定できる。
【００４３】
ステップ８２の条件が成立しないときには、ステップ８４に処理が移り、ｈの値が水平方向の最大値（４３）であるかどうかが調べられる。そうでない場合には、ステップ８５において、ｈの値が＋１され、ステップ８２へ戻る。このようにして、ブロック00から隣のブロック10についての処理に移り、このブロック10が静止ブロックかどうか判定される。そして、ｖ＝０の全てのブロックについての処理が完了すると、ステップ８４からステップ８６へ処理が移る。
【００４４】
ステップ８６は、ｖの値が２９かどうかを決定するもので、そうでない場合には、ステップ８７へ処理が移る。ステップ８７において、ｖの値が＋１され、ステップ８２へ戻る。ｖの値が２９に到達した時に、（４４×３０）個の全ブロックの処理が完了する。そして、全ブロックについて、静止ブロックが全く検出されない場合では、全画面の動き、すなわち、手振れと判断し、ステップ８８において、マクロブロック毎の動きベクトル検出の処理に移る。図９の構成では、手振れ判定回路７２からマクロブロック化回路７３に対して、判断結果の制御信号が出力される。
【００４５】
マクロブロック化回路７３は、動きベクトル検出回路６からの動きベクトルＶhvをマクロブロック毎に分離する。ここでは、図１３に示すように、１フレームの画面を水平方向に４分割し、垂直方向に３分割し、（１１×１０）ブロックのサイズの１２個のマクロブロックＭＶ 00 、ＭＶ 10 、・・・ＭＶ 32を形成する。このマクロブロックの例に限らず、複数のマクロブロックを得るために、１画面を分割する方法は、種々採用できる。但し、互いに隣接しないマクロブロックが生じる必要があり、従って、画面を等しく４分割するような方法は、採用してはならない。各マクロブロック毎に動きベクトルが動きベクトル検出回路７４0 、７４1 、・・・、７４ 11 に供給される。
【００４６】
動きベクトル検出回路７４0 は、マクロブロックＭＢ00に含まれるブロックの動きベクトルをベクトル加算することによって、合成動きベクトルＭＶ00を検出する。同様に、動きベクトル検出回路７４1 、７４2 、・・・・、７４ 11 が各マクロブロックの合成動きベクトルＭＶ10、ＭＶ20、・・・ＭＶ32をそれぞれ検出する。検出された合成動きベクトルＭＶ00〜ＭＶ32が統合ベクトル形成回路７５に供給される。
【００４７】
統合ベクトル形成回路７５は、１２個の合成動きベクトルを統合することにより、画面全体の動きベクトル（統合ベクトル）を発生する。この統合ベクトルが補正信号発生回路１３に供給される。なお、統合ベクトルは、フレーム間の動きから検出されたもので、手振れの補正量と同一ではない。例えば連続する３フレームの期間で、第２番目および第３番目のフレームの期間で、同一方向の手振れが生じている時では、最初のフレームと次のフレームとの間の統合ベクトルＶ１が得られ、第２番目と第３番目のフレーム間の統合ベクトルＶ２が得られる。第２番目のフレームに対する補正量は、Ｖ１で良いが、第３番目のフレームに対する補正量は、（Ｖ１＋Ｖ２）の必要がある。補正信号発生回路１３は、一例として、統合ベクトルを積分した補正量を発生する。補正信号発生回路１３からの手振れ補正信号が補正回路４に供給され、入力画像データの手振れ補正がなされる。
【００４８】
統合ベクトル形成回路７５は、図１４に示す流れに従って統合ベクトルを形成する。各マクロブロックの動きベクトルが入力され（ステップ９１）、全マクロブロックの動きベクトルが同一か否かが調べられる（ステップ９２）。若し、同一ならば、その動きベクトルが統合ベクトルとして出力される（ステップ９３）。以下の場合も同様であるが、同一は、ある程度のトレランスを含んでいる。
【００４９】
ステップ９２が成立しない時は、判定のステップ９４に移り、空間的に分離された複数のマクロブロックに関して、動きベクトルが同一かどうかが調べられる。言い換えると、１フレーム全体で、同一の動きベクトルを有するマクロブロックが空間的に分離されたものかどうかが調べられる。ステップ９４を満足する動きベクトルが統合ベクトルとして出力される（ステップ９５）。「空間的に分離された」は、上下、左右、斜めの各方向で隣接するもの（例えば（ＭＢ00、ＭＢ10、ＭＢ01、ＭＢ11））を除くことを意味する。従って、空間的な距離、同一の動きベクトルを有するマクロブロックの個数等については、必要とされる検出精度等を考慮して適宜設定される。この判定のステップ９４は、比較的大面積の物体の動きを手振れとするような誤判定を排除できる。
【００５０】
ステップ９４が成立しない時には、流れがステップ９６に移り、同一ベクトルを有するマクロブロックの個数がそれぞれ合計される。このマクロブロックの各個数に対して、次のステップ９７で重み付けがなされる。この重み付けは、画面の非周辺付近のマクロブロックに関するブロック数に対して、画面の周辺のマクロブロックに関するブロック数を優先させるためである。一例として、周辺に関するブロック数には、１．５の重み係数を乗じ、非周辺付近に関するブロック数には、１の重み係数を乗じる。比較的大面積の物体の動きは、中心付近にあることが多いことを考慮して、ステップ９７の重み付けがなされる。
【００５１】
そして、流れがステップ９８に移り、重み付けがされたブロック数の中での最大値があるかどうかが調べられる。最大値がある時には、その最大値のマクロブロックの動きベクトルが統合ベクトルとして出力される（ステップ９９）。若し、ブロック数が等しいか、又は略等しいならば、流れがステップ１００に移る。そし、マクロブロックの個数に関して、ステップ１００で多数決判定がされ、多数とされたものの動きベクトルが統合ベクトルとして出力される。多数決判定は、統合ベクトルを発生するうえで、精度の点で問題があり、精度を重視する場合には、この判定を省略し、統合ベクトルの検出不能として処理することも可能である。
【００５２】
上述の処理によって、動き物体と手振れとの特性の相違を利用して動きベクトルを画面全体の動きベクトルに統合しているので、検出された手振れ動きベクトルが画面内の対象物の動きに影響されない高精度のものとなる。
【００５３】
図９に戻って説明すると、画面全体の動きを表す統合ベクトルが補正信号発生回路１３に供給され、積分によって補正信号が形成される。この補正信号が手振れ補正回路４に供給され、手振れが補正される。手振れ補正回路４は、遅延回路１４からの画像データが書込まれるメモリ１０１と、周辺メモリ１０２と、メモリ１０１および周辺メモリ１０２の読出し出力を選択するためのセレクタ１０３と、メモリ１０１および周辺メモリ１０２のアドレスを制御するためのアドレス制御回路１０５と、セレクタ１０３を制御するためのセレクト信号を発生するセレクト信号発生回路１０６とから構成され、手振れ補正されたビデオ信号が出力端子１０４に取り出される。
【００５４】
メモリ１０１は、例えばフレームメモリであり、補正信号に応じてその読出しアドレスが制御される。従って、メモリ１０１からは、補正信号に応じて移動された画像データが読出される。セレクタ１０３で選択されたデータが周辺メモリ１０２に対して書込まれる。セレクタ１０３は、セレクト信号発生回路１０６からのセレクト信号に応答して、手振れ補正されたメモリ１０１からの画像データと周辺メモリ１０２に記憶されている周辺データとを選択する。
【００５５】
図１５Ａにおいて、メモリ１０１に取り込まれた１フレームの画像（その画枠を１０７で表す）の周辺部（一点鎖線の外側の領域）１０８が周辺メモリ１０２に格納される。周辺部１０８の幅は、手振れ補正の範囲を考慮して設定され、例えば水平および垂直方向で、１フレームの画像の１０〜２０％程度の幅とされる。図１５Ｂにおいて、画枠１０７ａで示すように、手振れにより図１５Ａの位置であるべき画像が図面に向かって例えば右方向へ動いた時では、手振れ補正量Ｖにより画像の全体が破線で示す位置に補正される。この手振れ補正の場合には、撮像された画像中には、元々存在していない、移動後の画像の左側の斜線で示す部分１０９の画像が欠落する。この欠落部分１０９が周辺メモリ１０２に蓄えられている対応する位置の画像に置き換えられる。この置換は、アドレス制御回路１０５によるアドレス制御と、セレクタ１０３の切替え動作で実行される。また、周辺メモリ１０２には、撮像された画像データ中の欠落部分１０９以外の周辺の画像データが書込まれ、周辺メモリ１０２の内容が更新される。
【００５６】
このように、手振れ補正で生じる画像の欠落を周辺メモリに記憶されている周辺画像で置き換えるので、画像を拡大する処理と異なり、画像の解像度の劣化を防止することができる。
【００５７】
上述したこの発明の一実施例では、手振れ動きベクトルの検出のための動きベクトルは、手振れ補正前のビデオ信号を処理して得られる。一方、動き補償等の処理は、手振れ補正回路４によって手振れ補正がされたビデオ信号に対してなされる。従って、動きベクトル検出回路６で検出された動きベクトルによって動き補償を行うことができない。この問題を解決するために、動きベクトル修正回路１５が設けられている。動きベクトル修正回路１５によって、動きベクトルに含まれている手振れ成分が除かれる。
【００５８】
動きベクトル修正回路１５における処理について図１６を参照して説明する。図１６Ａは、各ブロックで求められた動きベクトルＶ00、Ｖ01、Ｖ10、Ｖ11、・・・等が手振れベクトルの成分を含んでいることを表している。手振れがなければ、これらのブロックの位置が破線に示す位置にある。
【００５９】
ここで、動きベクトルＶ00のブロックに注目すると、図１６Ｂに示すように、手振れ成分を除去した場合には、このブロックの位置は、破線の位置である。破線の位置におけるブロックについて、動きベクトルを検出した位置のブロックと周辺の他のブロックに含まれる画素数が求められる。図１６では、ブロックの全画素数をｎとし、破線で示す位置では、ｎ1 、ｎ2 、ｎ3 、ｎ4 で表す画素数が各ブロックに含まれる画素数としている。そして、次の式で示す加重平均方式によって、修正後の動きベクトルＶ00´を計算する。他のブロックの動きベクトルについても同様に修正される。
【００６０】
Ｖ00´＝（ｎ1 ／ｎ）・Ｖ00＋（ｎ2 ／ｎ）・Ｖ10＋（ｎ3 ／ｎ）・Ｖ01＋（ｎ4 ／ｎ）・Ｖ11
【００６１】
この複数のブロックにそれぞれ含まれる画素数ｎ1 〜ｎ4 を求めるには、手振れ補正のｘ軸への投影成分、およびそのｙ軸への投影成分が使用される。このようにして動きベクトルを修正することができる。加重平均方式は、修正の一方法であって、これ以外の修正方法を使用することができる。
【００６２】
図１７は、この発明の他の実施例を示す。図１に示す一実施例では、減算器５からのフレーム間差分をＡＤＲＣにより圧縮しているのに対して、他の実施例は、ＭＰＥＧ(Moving Pictures Expert Group)規格の符号化を採用している。ＭＰＥＧは、ＤＣＴ（Discrete Cosine Transform)回路１６ａおよび量子化器１７ａによって空間的相関を利用した圧縮を行い、また、双方向の動き補償フレーム間予測を行う。
【００６３】
双方向の予測符号化は、フレーム内予測符号化と順方向予測符号化と逆方向予測符号化とである。順方向予測符号化は、過去の画像から現在の画像を予測するフレーム間予測符号化であり、逆方向予測符号化は、未来の画像から現在の画像を予測するフレーム間予測符号化である。さらに、前後両方向の予測による内挿的フレーム間予測符号化もなされる。これらの予測符号化の方法に対応して、ピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）が規定される。
【００６４】
双方向の動き補償のために、動きベクトル検出回路６に対して、フレームメモリ１８が追加され、また、フレームメモリ１１ａ、１１ｂからの過去、現在、未来の予測画像を使用して、逆方向の動き補償回路７ｒ、補間動き補償回路７ｉ、順方向動き補償回路７ｆがそれぞれの動き補償を行う。ローカル復号のためには、逆量子化器１６ｂ、逆ＤＣＴ回路１７ｂ、逆ＤＣＴ回路１７ｂの出力とスイッチ回路を介された信号とを加算する加算回路１０が設けられている。また、減算器５からの差分信号と減算器５を介さない信号とを選択するスイッチ回路が設けられている。これらのスイッチ回路は、上述のピクチャタイプに応じてコントロール信号Ｓ１、Ｓ２、Ｓ３によって制御される。符号化制御回路１９からコントロール信号Ｓ１、Ｓ２、Ｓ３が発生する。
【００６５】
この発明の他の実施例は、一実施例と同様に、動きベクトル検出回路６からの動きベクトルＶhvおよび評価値Ｐijを手振れ検出回路１２に供給し、手振れ動きベクトルを求め、この手振れ動きベクトルを補正信号発生回路１３に供給し、補正信号を形成し、この補正信号を手振れ補正回路４に供給することによって手振れを補正する。また、手振れベクトルを修正するために、手振れベクトル修正回路１５が設けられている。
【００６６】
図１８は、この発明のさらに他の実施例の記録側の構成を示す。さらに他の実施例では、記録側では、手振れ補正のための補正信号を発生し、図１９に示す再生側において、手振れ補正を行う。従って、図１８に示すように、記録側には、手振れ検出回路１２および補正信号発生回路１３が設けられているが、手振れ補正回路４が設けられていない。ＡＤＲＣエンコーダ８からの符号化出力、動きベクトルおよび手振れ補正信号がフレーム化回路２０に供給され、記録データが形成される。この記録データが記録系を介して記録媒体に記録される。
【００６７】
図１９に示すように、再生側では、再生系により形成された再生データが入力端子６２からフレーム分解回路６３に供給され、ＡＤＲＣ符号化出力、手振れベクトルＶhv、補正信号が分離される。ＡＤＲＣデコーダ６４により差分信号が復号され、復号差分信号が加算回路６５に供給される。加算回路６５の出力が予測メモリ６６に供給され、動きベクトルＶhvによって記録側と同様の動き補償がなされる。
【００６８】
加算回路６５からの再生画像信号が手振れ補正回路４に供給される。この手振れ補正回路４において、再生信号から分離された補正信号によって手振れ補正がなされる。手振れ補正回路４からのディジタル画像信号がＤ／Ａ変換器６７に供給され、出力端子６８に再生画像信号が取り出される。なお、手振れ補正の作動、不作動を選択する選択手段を設けても良い。また、手振れ補正信号を記録しているが、手振れ補正信号の代わりに、評価値ΣＰijを記録し、再生側で動きベクトルと評価値を使用して手振れ補正信号を形成しても良い。
【００６９】
なお、手振れ補正信号を記録するようにしたこの発明のさらに他の実施例は、ＭＰＥＧを使用する場合に対しても適用することができる。
【００７０】
また、手振れ補正時の画像の欠落を補償するために、周辺メモリを設けているが、背景メモリによって画像の欠落の補償を行うようにしても良い。背景メモリは、フレーム間の画像の変化の中で、殆ど変化しない画像が選択的に書込まれるものである。背景メモリを使用して、動き補償を行う際のアンカバードバックグランドを防止でき、あるいは背景データの伝送を間引いて伝送データ量を圧縮することができる。この方式による圧縮符号化方式は、本願発明者により提案され、例えば特公平７−９７７５４号公報に記載されている。また、フレームメモリに比べて大きなメモリを背景メモリとして用いることにより、手振れによる周辺画像、パン、チルトによる画像等の１フレーム内に収まらない画像の蓄積に利用することができる。
【００７１】
図２０は、背景メモリに蓄積される画像データを概略的に説明するもので、例えばコート上でプレーしているテニスプレーヤを撮影した場合に、順次変化する画像と、撮影画像の中の背景画像（具体的にはテニスコート）が背景メモリに蓄積されることを表している。すなわち、背景メモリには、動いているプレーヤを除いた画像が蓄積される。この場合、背景メモリの領域を撮像画像のものより広いものとし、例えばビデオカメラのパンニング時、チルティング時の動きに応じて背景メモリの領域を可変することにより、図２０の例のように、広い範囲の背景画像の取込みが可能である。
【００７２】
図２１は、背景メモリを使用するようにしたこの発明のよりさらに他の実施例を示す。図１に示す一実施例と対応する構成要素に対しては同一の参照符号を付してその説明は、省略する。ローカルデコードされ、動き補償された画像信号が加算回路１０から手振れ補正回路１１１に入力される。手振れ補正回路１１１では、上述したような手振れ補正がなされる。すなわち、補正信号発生回路１３からの手振れ補正信号によりローカルデコードされた画像データの位置が補正される。手振れ補正回路１１１から出力される画像信号が比較器１１３を通って背景メモリ１１２に入力される。ローカルデコードされた画像データは、ブロック構造のデータとされる。
【００７３】
一方、ローカルデコードされた画像データに対応する位置の画像データブロックが背景メモリ１１２から読出される。比較器１１３では、ローカルデコードされた画像データのブロックと、背景メモリ１１２からの対応位置の画像データとの間で、画素毎に差分値が計算され、この差分値の絶対値が１ブロックで累算される。各ブロックの差分の累算値が比較器１１３において所定のしきい値と比較される。比較器１３の比較出力が更新制御回路１１４に入力される。
【００７４】
更新制御回路１１４は、差分の累算値がしきい値より小さい場合では、背景画像と判断する。背景画像と決定される場合では、そのブロックと対応する位置のブロックの背景メモリ１１２のデータがローカルデコード画像データにより更新される。更新時では、一度にデータの更新を行うよりも、除々に背景メモリ１１２を更新することが好ましい。若し、差分の累算値がしきい値以上の場合では、そのブロックのデータは、背景画像以外の画像情報が含まれているものと決定され、背景メモリ１１２の更新のために使用されない。さらに、背景メモリ１１２として、図２０の例のように、フレームメモリより大きいメモリを使用する時には、前フレームまでのデータでは埋められていない新たな背景データを順次蓄積する。
【００７５】
このようにして蓄積された背景メモリ１１２に蓄えられているデータと、通常のフレームメモリのデータを選択的に利用して動き補償を行うことにより、欠落した画像を補償することが可能である。背景メモリ１１２の画像データが図２２に示す構成の動きベクトル検出回路６’に供給される。
【００７６】
前述した図７に示す動きベクトル検出回路６の備える構成に対して、差分検出回路５７’、絶対値化回路５８’、累算回路５９’が設けられ、累算回路５９’の出力が累算回路５９の出力と共に、判断回路６０’に供給される。判断回路６０’は、動きベクトルおよびメモリフラグを出力端子６１および６1 ’にそれぞれ出力する。
【００７７】
差分検出回路５７’は、背景メモリ１１２の出力データと現フレームメモリ５３の出力データとの間で、同一の位置の画素データの差分を検出する。差分値が絶対値化回路５８’により絶対値に変換され、累算回路５９’により累算される。判断回路６０’は、累算回路５９からの累算出力（現フレームと前フレームとの間の差分の累算値）と、累算回路５９’からの上述した累算出力とを受け取る。そして、判断回路６０’は、一方の累算出力に基づいてより適切な動きベクトルを出力端子６１に出力する。また、二つの累算出力の選択されたものを表すメモリフラグを判断回路６０’が出力端子６１’に出力する。
【００７８】
図２１に示すように、動きベクトルが動きベクトル修正回路１５を介して動き補償回路７に供給され、また、メモリフラグが動き補償回路７に供給される。これらの動きベクトルおよびメモリフラグは、符号化データと共に、伝送あるいは記録される。メモリフラグによってフレームメモリ１１に蓄えられている画像データと、背景メモリ１１２に蓄えられている背景画像データの一方が選択され、選択された画像データに対して動き補償の処理がなされる。
【００７９】
なお、上述したよりさらに他の実施例に関して、エンコーダ側について説明したが、デコーダ側にも背景メモリが設けられており、メモリフラグに従ってフレームメモリの画像と背景メモリの画像とがデコーダ側と同様に選択される。
【００８０】
【発明の効果】
この発明は、動き補償のために生成された動きベクトルから手振れ動きベクトルを検出するので、ハードウエアの規模を小さくすることができる。
【図面の簡単な説明】
【図１】この発明の一実施例のブロック図である。
【図２】この発明の一実施例における記録系および再生系の構成を示すブロックずである。
【図３】この発明の一実施例におけるＡＤＲＣエンコーダのブロック図である。
【図４】ＡＤＲＣデコーダのブロック図である。
【図５】ＡＤＲＣ符号化処理を示す略線図である。
【図６】動きベクトル検出を概略的に説明する略線図である。
【図７】動きベクトル検出回路の一例のブロック図である。
【図８】手振れ動きベクトル検出を概略的に説明する略線図である。
【図９】手振れ補正回路および手振れ検出回路の一例のブロック図である。
【図１０】手振れ動きベクトルの検出処理の説明に用いる略線図である。
【図１１】手振れ動きベクトルの検出処理の説明に用いる略線図である。
【図１２】手振れ動きベクトルの検出処理の説明に用いるフローチャートである。
【図１３】画面をマクロブロックへ分割する処理の一例を示す略線図である。
【図１４】この発明の一実施例における統合ベクトルの形成動作を示すフローチャートである。
【図１５】この発明の一実施例における手振れ補正動作を示す略線図である。
【図１６】この発明の一実施例における動きベクトルの修正動作を示す略線図である。
【図１７】この発明の他の実施例のブロック図である。
【図１８】この発明のさらに他の実施例の記録系のブロック図である。
【図１９】この発明のさらに他の実施例の再生系のブロック図である。
【図２０】この発明のよりさらに他の実施例において使用する背景メモリの概略的説明に用いる略線図である。
【図２１】この発明のよりさらに他の実施例のブロック図である。
【図２２】この発明のよりさらに他の実施例における動きベクトル検出回路の一例の構成を示すブロック図である。
【図２３】従来の手振れ補正処理を説明するための略線図である。
【図２４】従来の手振れ補正処理を説明するための略線図である。
【符号の説明】
５ 減算器
６ 動きベクトル検出回路
７ 動き補償回路
１２ 手振れ検出回路
１３ 補正信号発生回路
１５ 動きベクトル修正回路
【発明の属する技術分野】
この発明は、ハンディタイプのビデオカメラの撮影出力等の画像データを圧縮する画像信号処理装置、圧縮画像データを記録媒体に記録する画像信号記録装置、並びに記録媒体から圧縮画像データを再生する画像信号再生装置に関し、特に、ビデオカメラの手振れを補正するようにしたものである。
【０００２】
【従来の技術】
ハンディタイプのビデオカメラを使用して撮影を行う時に、手振れで再生画面が揺れる問題がある。この問題を解決するのに、動きベクトルを検出し、この動きベクトルに基づいて、画像メモリに貯えられている画像データを補正することが考えられる。動きベクトルの検出は、例えばブロックマッチングでなされる。すなわち、画面を多数の領域（ブロックと称する）に分割し、各ブロックの中心に位置する前フレームの代表点と現フレームのブロック内の画素データとのフレーム差の絶対値を演算し、このフレーム差の絶対値を１画面に関して積算し、積算フレーム差データの最小値の位置から画面全体の動きベクトルを検出している。この検出された動きベクトルを補正信号に変換し、この補正信号により原画像を移動する補正を行っている。
【０００３】
例えば図２３Ａにおいて、破線で示す画枠Ｌａが撮像された画像であり、手振れ補正によって破線で示す画枠Ｌｂにその位置が補正される。この補正後の画枠Ｌｂ内の画像において、斜線を付した領域は、撮影画像がないために、画像の欠落が生じる。この問題を解決する一つの方法は、画枠を図２３Ｂにおいて、Ｌｃで示すように、ある程度拡大するものである。これによって、画像の欠落を防止することができる。
【０００４】
しかしながら、画像の拡大は、画像メモリの読出し速度をその書込み速度に比して遅くし、不足する画素データを内挿する処理でなされる。従って、拡大画像は、元の画像に比して解像度が劣化する。そのため、手振れ補正後の画質が良好でない問題があった。
【０００５】
次に、従来の手振れ補正の他の問題点について説明する。これは、画面中の大面積の動きを手振れと誤って判定する問題である。１画面を（４×４＝１６）のマクロブロックへ分割し、各マクロブロックで動きベクトルを検出する方法を採用している時に、例えば、図２４Ａに示すように、人物が画面を右から左へ動く時に、各ブロックでは、矢印で示す動きベクトルが検出される。人物（エッジ）が含まれない他のブロックの動きベクトルは、０として検出される。
【０００６】
従来では、マクロブロック毎の動きベクトルを多数決判定し、多数である動きベクトルを手振れ補正用の動きベクトルとして採用している。しかしながら、上述の例のように、画面中央にその面積の大きい物体が存在し、この物体が動く時には、この物体を動きを手振れとして、誤って判定する可能性がある。かかる誤った判定を回避する必要がある。
【０００７】
さらに、マクロブロックの動きベクトルとして複数の動きベクトルが存在する場合もある。例えば図２４Ｂに示すように、手振れにより生じた動きと対応する動きベクトルと、画面中の物体の動きにより生じたものとが合成される結果、複数の動きベクトルが検出される場合がある。図２４Ｂの例のように、大面積の物体の動きがある時には、従来のように、多数決判定すると、手振れによる動きベクトルを正確に検出することができない問題がある。
【０００８】
さらに、ビデオカメラ一体型ＶＴＲのような画像信号記録装置では、記録される画像信号として、手振れ補正されたものを記録するのが普通である。しかしながら、その結果、撮影された画像それ自体を再生できなくなり、また、手振れ補正が良好になされない時には、再生側でその補正が不可能であるという問題点が生じる。
【０００９】
【発明が解決しようとする課題】
上述したように、従来の動きベクトルを検出し、検出された動きベクトルに基づいて手振れ補正を行なう方法は、種々の問題点を有している。さらに、上述した問題点の他に、動きベクトルを検出するためのハードウエアを必要とし、手振れ補正のためのハードウエアの規模が大きくなる問題がある。
【００１０】
この発明は、ハードウエアの規模の低減を図るものである。一般的に、ディジタル画像データを記録媒体（磁気テープ、光ディスク等）に記録する場合に、記録データ量を圧縮するための高能率符号化として、動き補償予測符号化が知られている。これは、入力画像信号と予測画像信号との差分を検出し、差分を符号化し、さらに可変長符号化する予測符号化において、予測信号を形成する時に、検出された動きベクトルによる動き補償を行い、それによって、差分値を小さくするものである。ビデオカメラの手振れ補正のために、動きベクトルを使用するので、この動きベクトルとして、動き補償予測符号化のために検出された動きベクトルを使用することによって、動きベクトルの検出のためのハードウエアを共用することが可能となる。
【００１１】
従って、この発明の目的は、動き補償予測符号化のために検出された動きベクトルを手振れ補正のためにも共用することを可能とした画像信号処理装置および記録／再生装置を提供することにある。
【００１２】
【課題を解決するための手段】
この発明は、１画面の画像データを複数のブロックに分割し、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出し、
動きベクトルを用いて画像データを圧縮する機能を有する画像信号処理装置において、
各ブロックの動きベクトルを検出する動きベクトル検出手段と、
各ブロックの動きベクトルから手振れ動きベクトルを検出する手振れ動きベクトル検出手段と、
入力される画像信号を検出された手振れベクトルに基づいて補正する手段と、
各ブロックの動きベクトルを手振れ動きベクトルにより修正した動きベクトルを求める手段と、
修正された動きベクトルにより動き補償を行なう手段と、
手振れ補正された画像データと動き補償が行われた画像データにより圧縮処理を行なう手段とを備え、
手振れ動きベクトル検出手段は、
各ブロックの画像データのアクティビティの高低を評価するアクティビティ評価手段と、
各ブロックの動きベクトルの大きさを評価する動きベクトル評価手段と、
アクティビティ評価手段によりアクティビティが所定値より高く、且つ動きベクトル評価手段により動きベクトルが所定値より小さいと評価されたブロックを静止ブロックとして検出する判断手段とを有し、
判断手段により１画面中で静止ブロックが検出された場合は、手振れ補正を行わないことを特徴とする画像信号処理装置である。
この発明は、１画面の画像データを複数のブロックに分割するステップと、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出するステップと、
各ブロックの動きベクトルから手振れ動きベクトルを検出するステップと、
入力される画像信号を検出された手振れベクトルに基づいて補正するステップと、
各ブロックの動きベクトルを手振れ動きベクトルにより修正した動きベクトルを求めるステップと、
修正された動きベクトルにより動き補償を行うステップと、
手振れ補正された画像データと動き補償が行われた画像データにより圧縮処理を行なうステップとを備え、
手振れ動きベクトルを検出するステップにおいて、
各ブロックの画像データのアクティビティの高低を評価し、
各ブロックの動きベクトルの大きさを評価し
所定値よりアクティビティが高く、且つ所定値より動きベクトルが小さいと評価されたブロックを静止ブロックとして検出し、
静止ブロックが検出された場合は、手振れ補正を行わないことを特徴とする画像信号処理方法である。
【００１３】
この発明は、１画面の画像データを複数のブロックに分割し、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出し、
動きベクトルを用いて画像データを圧縮する機能を有する画像信号記録装置において、
各ブロックの動きベクトルを検出する動きベクトル検出手段と、
各ブロックの動きベクトルから手振れ動きベクトルを検出する手振れ動きベクトル検出手段と、
動きベクトルにより動き補償を行なう手段と、
入力画像データと動き補償された画像データにより圧縮処理を行う手段と、
圧縮された画像データと共に、手振れ動きベクトルを記録する手段とを備え、
手振れ動きベクトル検出手段は、
各ブロックの画像データのアクティビティの高低を評価するアクティビティ評価手段と、
各ブロックの動きベクトルの大きさを評価する動きベクトル評価手段と、
アクティビティ評価手段によりアクティビティが所定値より高く、且つ動きベクトル評価手段により動きベクトルが所定値より小さいと評価されブロックを静止ブロックとして検出する判断手段とを有し、
判断手段により１画面中で静止ブロックが検出された場合は、手振れなしとすることを特徴とする画像信号記録装置である。
この発明は、１画面の画像データを複数のブロックに分割するステップと、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出するステップと、
各ブロックの動きベクトルから手振れ動きベクトルを検出するステップと、
動きベクトルにより動き補償を行なうステップと、
入力画像データと動き補償された画像データにより圧縮処理を行うステップと、
圧縮された画像データと共に、手振れ動きベクトルを記録するステップとを備え、
手振れ動きベクトルを検出するステップにおいて、
各ブロックの画像データのアクティビティの高低を評価し、
各ブロックの動きベクトルの大きさを評価し、
所定値よりアクティビティが高く、且つ所定値より動きベクトルが小さいと評価されたブロックを静止ブロックとして検出し、
静止ブロックが検出された場合は、手振れなしとする
ことを特徴とする画像信号記録方法である。
【００１５】
動き補償予測符号化のように、記録データの圧縮のために、動きベクトルが検出される。この動きベクトルは、ブロック単位で検出される。この動きベクトルと画像データの変化量とを使用することによって、手振れ動きベクトルが検出される。この手振れ動きベクトルによって補正された画像データが記録される。手振れ補正された画像データを記録するのに限らず、手振れ動きベクトルまたはこれより形成された補正信号を圧縮画像データと共に、記録媒体に記録し、再生時に手振れ補正が行われる。
【００１６】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。ここでの実施の形態は、例えばＶＴＲ一体型ビデオカメラであって、撮影した画像信号をディジタル信号へ変換し、動き補償予測符号化により圧縮し、そして、磁気テープ等の記録媒体に記録するものである。
【００１７】
図１において、１は、撮像素子としてのＣＣＤを示す。ＣＣＤ１の撮像出力がカメラ信号処理回路２に供給され、ビデオ信号へ変換される。このビデオ信号がＡ／Ｄ変換器３によってディジタルビデオ信号へ変換される。例えば１３．５ＭHzのサンプリング周波数によってＡ／Ｄ変換される。なお、この発明は、輝度信号と二つの色差信号からなるコンポーネント信号、あるいは輝度信号と搬送色信号とが重畳されたコンポジット信号に対しても適用することができるが、以下の説明では、簡単のため輝度信号の処理についてのみ説明する。
【００１８】
Ａ／Ｄ変換器３からのディジタルビデオ信号が遅延回路１４を介して、この発明が適用された手振れ補正回路４に供給される。手振れ補正回路４は、後述するように、撮影時の手振れを補正するための回路である。手振れ検出回路１２および補正信号発生回路１３が手振れ補正のために設けられている。遅延回路１４は、手振れ補正信号を形成するための処理にかかる時間、ディジタルビデオ信号を遅延させる位相合わせのために設けられている。手振れ補正回路４の出力信号が減算回路５に供給され、また、Ａ／Ｄ変換器３の出力信号が動きベクトル検出回路６に供給される。
【００１９】
減算回路５には、動き補償回路７からの予測信号が供給され、減算回路５からは、実際のビデオ信号と予測信号との差分が画素ごとに発生する。この差分がＡＤＲＣ符号化のエンコーダ８に供給され、エンコーダ８の符号化出力が取り出される。これと共に、エンコーダ８の出力がＡＤＲＣデコーダ（ローカルデコーダ）９に供給され、その出力に差分値の復号データが取り出される。なお、フレーム内符号化の画像信号を周期的に挿入することによって、復号側がリフレッシュ処理を行うようにしても良い。
【００２０】
ＡＤＲＣデコーダ９からの復号値が加算回路１０に供給され、動き補償回路７からの予測信号と加算される。この加算回路１０から得られる復号信号がフレームメモリ１１に書込まれる。フレームメモリ１１の出力が動き補償回路７に供給される。動き補償回路７には、動きベクトル検出回路６からの動きベクトルＶhvが動きベクトル修正回路１５を介して供給され、動き補償がなされる。動き補償回路７からの予測信号が上述の加算回路１０に供給されるとともに、減算回路５に供給される。減算回路５において、実際のビデオ信号と予測信号との画素の差分が形成される。
【００２１】
動きベクトル検出回路６は、Ａ／Ｄ変換器３の出力ビデオ信号、すなわち、手振れ補正前のディジタルビデオ信号から動き補償のための動きベクトルを検出する。この発明の一実施例では、動きベクトルＶhvおよび評価値Ｐijを手振れ検出回路１２に供給し、後述のように、手振れ動きベクトルを求め、この手振れ動きベクトルを補正信号発生回路１３に供給し、補正信号を形成する。この補正信号が手振れ補正回路４に供給されることによって手振れを補正することができる。
【００２２】
画像信号の記録／再生のために、図２に示す構成が用いられる。図２において、２１で示す入力端子に動き補償予測符号化のエンコーダ（図１の例では、ＡＤＲＣエンコーダ８）から符号化出力が供給される。この符号化出力が可変長符号化のエンコーダ２２に供給され、可変長符号化される。可変長符号化の出力が記録バッファ２３に供給される。記録バッファ２３は、バッファ容量を示す信号を前段へフィードバックする。これによって所定期間の記録データ量が一定に制御される。例えばＡＤＲＣ符号化の量子化ビット数を変化させることによって伝送データ量を制御できる。
【００２３】
この例は、フィードバック制御のバッファリング回路であるが、ＡＤＲＣエンコードにおける量子化ビット数として、複数のもの（例えば０ビット、１ビット、２ビット、３ビット、４ビット）を用意し、所定の期間の発生データ量を見積り、目標データ量を越えないように、量子化ビット数をブロック毎に選択する、フィードフォワード制御のバッファリングを行なうようにしても良い。記録バッファ２３の出力がマルチプレクサ２４に供給され、オーディオデータ、制御用データ等が多重化される。
【００２４】
マルチプレクサ２４の出力が記録処理回路２５に供給される。記録処理回路２５では、記録データに対するエラー訂正符号化、チャンネル変調等の処理がなされる。記録処理回路２５からの記録データが記録アンプ２６と記録／再生切替えスイッチ２７の記録側端子Ｒを介して記録媒体に記録される。記録媒体としては、磁気テープ、記録可能な光ディスク等を使用できる。
【００２５】
記録媒体から再生された再生データが記録／再生切替えスイッチ２７の再生側端子Ｐおよび再生アンプ２８を介して再生処理回路２９に供給される。再生処理回路２９は、チャンネル変調の復調、エラー訂正等の処理を行なう。再生処理回路２９の出力がディマルチプレクサ３０に供給され、オーディオ信号、制御用データ等が分離される。ディマルチプレクサ３０からのビデオ信号と対応する再生データが可変長符号化のデコーダ３１に供給され、可変長符号の復号がなされる。出力端子３２に取り出された再生データがＡＤＲＣデコーダ等の高能率符号化のデコーダに供給される。
【００２６】
ＡＤＲＣは、本願発明者の提案による高能率符号化のひとつである。ＡＤＲＣエンコーダ８の構成の一例を図３に示す。入力端子３４からディジタルビデオ信号がブロック化回路３５に供給され、ブロック化回路３５によって１画面を細分化したブロック毎の順序を有するデータが形成される。ブロック化回路３５の出力データが検出回路３６および遅延回路３７に供給される。
【００２７】
検出回路３６は、各ブロックの複数の画素の最大値ＭＡＸ、最小値ＭＩＮを検出する。遅延回路３７は、この検出に要する時間、ディジタルビデオ信号を遅延させるためのものである。検出された最大値ＭＡＸおよび最小値ＭＩＮが減算回路３８に供給され、減算回路３８から（ＭＡＸ−ＭＩＮ＝ＤＲ）で表されるダイナミックレンジＤＲが得られる。また、遅延回路３７からのディジタルビデオ信号と最小値ＭＩＮが減算回路３９に供給され、その出力に最小値が除去された修正画素データが得られる。ブロック内の画素が共有する最小値ＭＩＮを除去することによって、正規化がなされる。
【００２８】
減算回路３９の出力と検出されたダイナミックレンジＤＲとが量子化回路４０に供給される。量子化回路４０では、図５に示すように、ダイナミックレンジＤＲを２n 等分した量子化ステップ（ｎ；量子化ビット数であり、図５では、ｎ＝２）により、減算回路３９の出力が再量子化される。空間的に近接する画素は、相関が強いので、量子化ビット数ｎを元の量子化ビット数（例えば８ビット）より少なくしても、復号画像の劣化が少なく、伝送データ量を圧縮することができる。量子化回路４０からの符号化出力ＤＴが伝送されると共に、ブロック毎のダイナミックレンジＤＲおよび最小値ＭＩＮが付加情報として伝送される。
【００２９】
図４は、ＡＤＲＣデコーダ９の一例の構成を示す。ＡＤＲＣエンコーダ８からのダイナミックレンジＤＲおよび符号化出力ＤＴが逆量子化回路４２に供給される。逆量子化回路４２は、ダイナミックレンジＤＲと量子化ビット数ｎとで定まる量子化ステップを符号化出力に乗じ、乗算出力を整数化することによって、復元レベルを発生する。図５に示すように、量子化の時のレベル範囲のそれぞれの中央値が復元レベル（代表レベル）Ｌ０、Ｌ１、Ｌ２、Ｌ３とされる。
【００３０】
そして、逆量子化回路４２からの復元レベルと最小値ＭＩＮとを加算回路４３により加算することによって、復号値が得られる。この復号値がブロック分解回路４４に供給され、画素データの順序がラスター順序へ戻される。ブロック分解回路４４の出力端子４５には、復号ビデオ信号が取り出される。
【００３１】
動きベクトル検出回路６では、ブロックマッチング法により動きベクトルが検出される。これは、図６にその処理を概略的に示すように、参照フレーム例えば前フレームＦn-1 の検査ブロックＢｙを所定のサーチエリア内で移動し、現フレームＦｎの基準ブロックＢｘと最も合致している検査ブロックを検出することにより動きベクトルを求めるものである。従って、動きベクトルは、ブロック毎に求められる。合致の程度を表す評価値としては、基準ブロックＢｘ内の複数の画素と検査ブロックＢｙ内の複数の画素との間で、同一の空間的位置の画素同士の値を減算することでフレーム差を求め、このフレーム差の絶対値和を使用することができる。フレーム差の絶対値和以外に、フレーム差の二乗和等を使用できる。
【００３２】
図７は、動きベクトル検出回路６の一例の構成を示す。図７において、５１が現フレームの画像データの入力端子であり、この画像データが現フレームメモリ５３に蓄えられる。５２が前フレームの画像データの入力端子であり、この画像データが前フレームメモリ５４に蓄えられる。
【００３３】
現フレームメモリ５３および前フレームメモリ５４の読出し／書込みは、コントローラ５５によって制御される。現フレームメモリ５３からは、現フレームの基準ブロックの画素データが読出され、前フレームメモリ５４からは、前フレームの検査ブロックの画素データが読出される。前フレームメモリ５４と関連してアドレス移動回路５６が設けられる。コントローラ５５がアドレス移動回路５６を制御する結果、検査ブロックの位置が１画素ステップで、サーチエリア内で変化する。
【００３４】
現フレームメモリ５３の出力と前フレームメモリ５４の出力とが差分検出回路５７に供給され、１画素毎の差分（フレーム差）が検出される。差分検出回路５７の出力が絶対値化回路５８で絶対値へ変換され、この絶対値が累算回路５９に供給される。累算回路５９が１ブロックで発生した絶対値差分を累算し、その出力（フレーム差絶対値和）が評価値として判断回路６０に供給される。判断回路６０は、サーチエリア内で検査ブロックを移動した時にそれぞれ発生する差分の絶対値和から動きベクトルを検出する。すなわち、最小の差分の絶対値和を発生する検査ブロックの位置を動きベクトルとして検出する。出力端子６１に、検出された動きベクトルが取り出される。
【００３５】
この発明の一実施例では、このように検出された動き補償のための動きベクトルを手振れ補正のためにも使用するものである。手振れ補正の動きベクトルは、画面全体、あるいは比較的大きなブロックの動きを表すもので、既存の方法として、図８に示すように、手振れ補正用の動きベクトルを検出することが知られている。
【００３６】
すなわち、現フレームＦｎをサーチエリアＳｘに分割し、各サーチエリアＳｘ内の複数の画素と、前フレームＦn-1 の代表点画素Ｒｙ（サーチエリアの中心位置の画素）とのフレーム差の絶対値を求める。さらに、各サーチエリアＳｘで求められたフレーム差絶対値を同一の空間的位置において積算し、それによって、サーチエリアＳｘと同一の大きさの評価値テーブルを作成する。この評価値テーブル中の最小値を検出することによって、画面全体の動きベクトルを求める。
【００３７】
このように、動きベクトル検出回路６で求める動きベクトルは、ブロック単位で求められるものであるのに対して、手振れ補正にとって必要な動きベクトルは、画面全体、あるいは比較的大きなブロックの単位で求められるものである。この相違があるために、手振れ検出回路１２は、動きベクトル検出回路６からフレーム差絶対値和Ｐijおよび動きベクトルＶhvを受け取り、手振れ補正用の動きベクトルを生成する。
【００３８】
図９は、手振れ検出回路１２および手振れ補正回路４の一例の構成を示す。動きベクトル検出回路６からのフレーム差絶対値和Ｐijが積算回路７１に供給される。このフレーム差絶対値和Ｐijについて図１０を参照して説明する。図６を参照して説明したように、基準ブロックＢｘと検査ブロックＢｙとのフレーム差の絶対値和は、サーチエリア内の検査ブロックＢｙの各位置で計算される。一例として、サーチエリアを水平方向に±４、垂直方向に±３とすると、９×７＝６３個の検査ブロックとのフレーム差絶対値和が計算される。
【００３９】
現フレームのある一つの基準ブロックＢｘに関してのフレーム差絶対値和を検査ブロックの位置に対応して配列したものを図１０に示す。中心位置（ｉ＝４，ｊ＝３）のフレーム差絶対値和Ｐ４３は、基準ブロックＢｘと検査ブロックＢｙとが空間的に同一位置の場合のものである。このフレーム差絶対値和Ｐijが各基準ブロック毎に積算回路７１において積算され、評価値ΣＰhvが形成される。一例として、ブロックサイズを（１６×１６）とし、１フレームの有効画面サイズを（７０４画素×４８０ライン）とすると、図１１に示すように、１フレームが（４４×３０）のブロックへ分割されることになり、このブロック数と等しい評価値ΣＰhvが得られる。
【００４０】
評価値ΣＰhvは、そのブロック内の画像のレベル分布を反映したものである。若し、サーチエリア内の画像が平坦なレベル分布であるような場合では、フレーム差絶対値和のレベルが小さくなり、評価値ΣＰhvのレベルも小さくなる。一方、レベル分布が平坦でなく、エッジ等を含む場合には、評価値ΣＰhvのレベルも大きくなる。この一実施例では、アクティビティーとして画像のレベル分布を使用しており、平坦なレベル分布を低いアクティビティーとしている。但し、アクティビティーは、空間傾斜に限らず、周波数変換における周波数成分等を含むものである。
【００４１】
この評価値ΣＰhvと動きベクトルＶhvが手振れ判定回路７２に供給される。手振れ判定回路７２は、図１２のフローチャートに示すように、手振れ判定を行なう。初期値として（ｈ＝０、ｖ＝０）とされ（ステップ８１）、次のステップ８２において、しきい値ＴＨ１、ＴＨ２とそれぞれ比較される。Ｖ00＜ＴＨ１で、ΣＰ00＞ＴＨ２であれば、カメラ静止（すなわち、手振れでない）と判定される（ステップ８３）。
【００４２】
このステップ８２の条件が成立することは、ブロック00がエッジ等のレベル変化が不連続な位置の画像（ΣＰ00＞ＴＨ２）であって、しかも、ブロック00について動きがない（Ｖ00＜ＴＨ１）と検出されていることを意味する。手振れが発生している場合には、全画面が動くので、静止ブロックが一つでも存在することは、手振れではないと決定できる。
【００４３】
ステップ８２の条件が成立しないときには、ステップ８４に処理が移り、ｈの値が水平方向の最大値（４３）であるかどうかが調べられる。そうでない場合には、ステップ８５において、ｈの値が＋１され、ステップ８２へ戻る。このようにして、ブロック00から隣のブロック10についての処理に移り、このブロック10が静止ブロックかどうか判定される。そして、ｖ＝０の全てのブロックについての処理が完了すると、ステップ８４からステップ８６へ処理が移る。
【００４４】
ステップ８６は、ｖの値が２９かどうかを決定するもので、そうでない場合には、ステップ８７へ処理が移る。ステップ８７において、ｖの値が＋１され、ステップ８２へ戻る。ｖの値が２９に到達した時に、（４４×３０）個の全ブロックの処理が完了する。そして、全ブロックについて、静止ブロックが全く検出されない場合では、全画面の動き、すなわち、手振れと判断し、ステップ８８において、マクロブロック毎の動きベクトル検出の処理に移る。図９の構成では、手振れ判定回路７２からマクロブロック化回路７３に対して、判断結果の制御信号が出力される。
【００４５】
マクロブロック化回路７３は、動きベクトル検出回路６からの動きベクトルＶhvをマクロブロック毎に分離する。ここでは、図１３に示すように、１フレームの画面を水平方向に４分割し、垂直方向に３分割し、（１１×１０）ブロックのサイズの１２個のマクロブロックＭＶ 00 、ＭＶ 10 、・・・ＭＶ 32を形成する。このマクロブロックの例に限らず、複数のマクロブロックを得るために、１画面を分割する方法は、種々採用できる。但し、互いに隣接しないマクロブロックが生じる必要があり、従って、画面を等しく４分割するような方法は、採用してはならない。各マクロブロック毎に動きベクトルが動きベクトル検出回路７４0 、７４1 、・・・、７４ 11 に供給される。
【００４６】
動きベクトル検出回路７４0 は、マクロブロックＭＢ00に含まれるブロックの動きベクトルをベクトル加算することによって、合成動きベクトルＭＶ00を検出する。同様に、動きベクトル検出回路７４1 、７４2 、・・・・、７４ 11 が各マクロブロックの合成動きベクトルＭＶ10、ＭＶ20、・・・ＭＶ32をそれぞれ検出する。検出された合成動きベクトルＭＶ00〜ＭＶ32が統合ベクトル形成回路７５に供給される。
【００４７】
統合ベクトル形成回路７５は、１２個の合成動きベクトルを統合することにより、画面全体の動きベクトル（統合ベクトル）を発生する。この統合ベクトルが補正信号発生回路１３に供給される。なお、統合ベクトルは、フレーム間の動きから検出されたもので、手振れの補正量と同一ではない。例えば連続する３フレームの期間で、第２番目および第３番目のフレームの期間で、同一方向の手振れが生じている時では、最初のフレームと次のフレームとの間の統合ベクトルＶ１が得られ、第２番目と第３番目のフレーム間の統合ベクトルＶ２が得られる。第２番目のフレームに対する補正量は、Ｖ１で良いが、第３番目のフレームに対する補正量は、（Ｖ１＋Ｖ２）の必要がある。補正信号発生回路１３は、一例として、統合ベクトルを積分した補正量を発生する。補正信号発生回路１３からの手振れ補正信号が補正回路４に供給され、入力画像データの手振れ補正がなされる。
【００４８】
統合ベクトル形成回路７５は、図１４に示す流れに従って統合ベクトルを形成する。各マクロブロックの動きベクトルが入力され（ステップ９１）、全マクロブロックの動きベクトルが同一か否かが調べられる（ステップ９２）。若し、同一ならば、その動きベクトルが統合ベクトルとして出力される（ステップ９３）。以下の場合も同様であるが、同一は、ある程度のトレランスを含んでいる。
【００４９】
ステップ９２が成立しない時は、判定のステップ９４に移り、空間的に分離された複数のマクロブロックに関して、動きベクトルが同一かどうかが調べられる。言い換えると、１フレーム全体で、同一の動きベクトルを有するマクロブロックが空間的に分離されたものかどうかが調べられる。ステップ９４を満足する動きベクトルが統合ベクトルとして出力される（ステップ９５）。「空間的に分離された」は、上下、左右、斜めの各方向で隣接するもの（例えば（ＭＢ00、ＭＢ10、ＭＢ01、ＭＢ11））を除くことを意味する。従って、空間的な距離、同一の動きベクトルを有するマクロブロックの個数等については、必要とされる検出精度等を考慮して適宜設定される。この判定のステップ９４は、比較的大面積の物体の動きを手振れとするような誤判定を排除できる。
【００５０】
ステップ９４が成立しない時には、流れがステップ９６に移り、同一ベクトルを有するマクロブロックの個数がそれぞれ合計される。このマクロブロックの各個数に対して、次のステップ９７で重み付けがなされる。この重み付けは、画面の非周辺付近のマクロブロックに関するブロック数に対して、画面の周辺のマクロブロックに関するブロック数を優先させるためである。一例として、周辺に関するブロック数には、１．５の重み係数を乗じ、非周辺付近に関するブロック数には、１の重み係数を乗じる。比較的大面積の物体の動きは、中心付近にあることが多いことを考慮して、ステップ９７の重み付けがなされる。
【００５１】
そして、流れがステップ９８に移り、重み付けがされたブロック数の中での最大値があるかどうかが調べられる。最大値がある時には、その最大値のマクロブロックの動きベクトルが統合ベクトルとして出力される（ステップ９９）。若し、ブロック数が等しいか、又は略等しいならば、流れがステップ１００に移る。そし、マクロブロックの個数に関して、ステップ１００で多数決判定がされ、多数とされたものの動きベクトルが統合ベクトルとして出力される。多数決判定は、統合ベクトルを発生するうえで、精度の点で問題があり、精度を重視する場合には、この判定を省略し、統合ベクトルの検出不能として処理することも可能である。
【００５２】
上述の処理によって、動き物体と手振れとの特性の相違を利用して動きベクトルを画面全体の動きベクトルに統合しているので、検出された手振れ動きベクトルが画面内の対象物の動きに影響されない高精度のものとなる。
【００５３】
図９に戻って説明すると、画面全体の動きを表す統合ベクトルが補正信号発生回路１３に供給され、積分によって補正信号が形成される。この補正信号が手振れ補正回路４に供給され、手振れが補正される。手振れ補正回路４は、遅延回路１４からの画像データが書込まれるメモリ１０１と、周辺メモリ１０２と、メモリ１０１および周辺メモリ１０２の読出し出力を選択するためのセレクタ１０３と、メモリ１０１および周辺メモリ１０２のアドレスを制御するためのアドレス制御回路１０５と、セレクタ１０３を制御するためのセレクト信号を発生するセレクト信号発生回路１０６とから構成され、手振れ補正されたビデオ信号が出力端子１０４に取り出される。
【００５４】
メモリ１０１は、例えばフレームメモリであり、補正信号に応じてその読出しアドレスが制御される。従って、メモリ１０１からは、補正信号に応じて移動された画像データが読出される。セレクタ１０３で選択されたデータが周辺メモリ１０２に対して書込まれる。セレクタ１０３は、セレクト信号発生回路１０６からのセレクト信号に応答して、手振れ補正されたメモリ１０１からの画像データと周辺メモリ１０２に記憶されている周辺データとを選択する。
【００５５】
図１５Ａにおいて、メモリ１０１に取り込まれた１フレームの画像（その画枠を１０７で表す）の周辺部（一点鎖線の外側の領域）１０８が周辺メモリ１０２に格納される。周辺部１０８の幅は、手振れ補正の範囲を考慮して設定され、例えば水平および垂直方向で、１フレームの画像の１０〜２０％程度の幅とされる。図１５Ｂにおいて、画枠１０７ａで示すように、手振れにより図１５Ａの位置であるべき画像が図面に向かって例えば右方向へ動いた時では、手振れ補正量Ｖにより画像の全体が破線で示す位置に補正される。この手振れ補正の場合には、撮像された画像中には、元々存在していない、移動後の画像の左側の斜線で示す部分１０９の画像が欠落する。この欠落部分１０９が周辺メモリ１０２に蓄えられている対応する位置の画像に置き換えられる。この置換は、アドレス制御回路１０５によるアドレス制御と、セレクタ１０３の切替え動作で実行される。また、周辺メモリ１０２には、撮像された画像データ中の欠落部分１０９以外の周辺の画像データが書込まれ、周辺メモリ１０２の内容が更新される。
【００５６】
このように、手振れ補正で生じる画像の欠落を周辺メモリに記憶されている周辺画像で置き換えるので、画像を拡大する処理と異なり、画像の解像度の劣化を防止することができる。
【００５７】
上述したこの発明の一実施例では、手振れ動きベクトルの検出のための動きベクトルは、手振れ補正前のビデオ信号を処理して得られる。一方、動き補償等の処理は、手振れ補正回路４によって手振れ補正がされたビデオ信号に対してなされる。従って、動きベクトル検出回路６で検出された動きベクトルによって動き補償を行うことができない。この問題を解決するために、動きベクトル修正回路１５が設けられている。動きベクトル修正回路１５によって、動きベクトルに含まれている手振れ成分が除かれる。
【００５８】
動きベクトル修正回路１５における処理について図１６を参照して説明する。図１６Ａは、各ブロックで求められた動きベクトルＶ00、Ｖ01、Ｖ10、Ｖ11、・・・等が手振れベクトルの成分を含んでいることを表している。手振れがなければ、これらのブロックの位置が破線に示す位置にある。
【００５９】
ここで、動きベクトルＶ00のブロックに注目すると、図１６Ｂに示すように、手振れ成分を除去した場合には、このブロックの位置は、破線の位置である。破線の位置におけるブロックについて、動きベクトルを検出した位置のブロックと周辺の他のブロックに含まれる画素数が求められる。図１６では、ブロックの全画素数をｎとし、破線で示す位置では、ｎ1 、ｎ2 、ｎ3 、ｎ4 で表す画素数が各ブロックに含まれる画素数としている。そして、次の式で示す加重平均方式によって、修正後の動きベクトルＶ00´を計算する。他のブロックの動きベクトルについても同様に修正される。
【００６０】
Ｖ00´＝（ｎ1 ／ｎ）・Ｖ00＋（ｎ2 ／ｎ）・Ｖ10＋（ｎ3 ／ｎ）・Ｖ01＋（ｎ4 ／ｎ）・Ｖ11
【００６１】
この複数のブロックにそれぞれ含まれる画素数ｎ1 〜ｎ4 を求めるには、手振れ補正のｘ軸への投影成分、およびそのｙ軸への投影成分が使用される。このようにして動きベクトルを修正することができる。加重平均方式は、修正の一方法であって、これ以外の修正方法を使用することができる。
【００６２】
図１７は、この発明の他の実施例を示す。図１に示す一実施例では、減算器５からのフレーム間差分をＡＤＲＣにより圧縮しているのに対して、他の実施例は、ＭＰＥＧ(Moving Pictures Expert Group)規格の符号化を採用している。ＭＰＥＧは、ＤＣＴ（Discrete Cosine Transform)回路１６ａおよび量子化器１７ａによって空間的相関を利用した圧縮を行い、また、双方向の動き補償フレーム間予測を行う。
【００６３】
双方向の予測符号化は、フレーム内予測符号化と順方向予測符号化と逆方向予測符号化とである。順方向予測符号化は、過去の画像から現在の画像を予測するフレーム間予測符号化であり、逆方向予測符号化は、未来の画像から現在の画像を予測するフレーム間予測符号化である。さらに、前後両方向の予測による内挿的フレーム間予測符号化もなされる。これらの予測符号化の方法に対応して、ピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）が規定される。
【００６４】
双方向の動き補償のために、動きベクトル検出回路６に対して、フレームメモリ１８が追加され、また、フレームメモリ１１ａ、１１ｂからの過去、現在、未来の予測画像を使用して、逆方向の動き補償回路７ｒ、補間動き補償回路７ｉ、順方向動き補償回路７ｆがそれぞれの動き補償を行う。ローカル復号のためには、逆量子化器１６ｂ、逆ＤＣＴ回路１７ｂ、逆ＤＣＴ回路１７ｂの出力とスイッチ回路を介された信号とを加算する加算回路１０が設けられている。また、減算器５からの差分信号と減算器５を介さない信号とを選択するスイッチ回路が設けられている。これらのスイッチ回路は、上述のピクチャタイプに応じてコントロール信号Ｓ１、Ｓ２、Ｓ３によって制御される。符号化制御回路１９からコントロール信号Ｓ１、Ｓ２、Ｓ３が発生する。
【００６５】
この発明の他の実施例は、一実施例と同様に、動きベクトル検出回路６からの動きベクトルＶhvおよび評価値Ｐijを手振れ検出回路１２に供給し、手振れ動きベクトルを求め、この手振れ動きベクトルを補正信号発生回路１３に供給し、補正信号を形成し、この補正信号を手振れ補正回路４に供給することによって手振れを補正する。また、手振れベクトルを修正するために、手振れベクトル修正回路１５が設けられている。
【００６６】
図１８は、この発明のさらに他の実施例の記録側の構成を示す。さらに他の実施例では、記録側では、手振れ補正のための補正信号を発生し、図１９に示す再生側において、手振れ補正を行う。従って、図１８に示すように、記録側には、手振れ検出回路１２および補正信号発生回路１３が設けられているが、手振れ補正回路４が設けられていない。ＡＤＲＣエンコーダ８からの符号化出力、動きベクトルおよび手振れ補正信号がフレーム化回路２０に供給され、記録データが形成される。この記録データが記録系を介して記録媒体に記録される。
【００６７】
図１９に示すように、再生側では、再生系により形成された再生データが入力端子６２からフレーム分解回路６３に供給され、ＡＤＲＣ符号化出力、手振れベクトルＶhv、補正信号が分離される。ＡＤＲＣデコーダ６４により差分信号が復号され、復号差分信号が加算回路６５に供給される。加算回路６５の出力が予測メモリ６６に供給され、動きベクトルＶhvによって記録側と同様の動き補償がなされる。
【００６８】
加算回路６５からの再生画像信号が手振れ補正回路４に供給される。この手振れ補正回路４において、再生信号から分離された補正信号によって手振れ補正がなされる。手振れ補正回路４からのディジタル画像信号がＤ／Ａ変換器６７に供給され、出力端子６８に再生画像信号が取り出される。なお、手振れ補正の作動、不作動を選択する選択手段を設けても良い。また、手振れ補正信号を記録しているが、手振れ補正信号の代わりに、評価値ΣＰijを記録し、再生側で動きベクトルと評価値を使用して手振れ補正信号を形成しても良い。
【００６９】
なお、手振れ補正信号を記録するようにしたこの発明のさらに他の実施例は、ＭＰＥＧを使用する場合に対しても適用することができる。
【００７０】
また、手振れ補正時の画像の欠落を補償するために、周辺メモリを設けているが、背景メモリによって画像の欠落の補償を行うようにしても良い。背景メモリは、フレーム間の画像の変化の中で、殆ど変化しない画像が選択的に書込まれるものである。背景メモリを使用して、動き補償を行う際のアンカバードバックグランドを防止でき、あるいは背景データの伝送を間引いて伝送データ量を圧縮することができる。この方式による圧縮符号化方式は、本願発明者により提案され、例えば特公平７−９７７５４号公報に記載されている。また、フレームメモリに比べて大きなメモリを背景メモリとして用いることにより、手振れによる周辺画像、パン、チルトによる画像等の１フレーム内に収まらない画像の蓄積に利用することができる。
【００７１】
図２０は、背景メモリに蓄積される画像データを概略的に説明するもので、例えばコート上でプレーしているテニスプレーヤを撮影した場合に、順次変化する画像と、撮影画像の中の背景画像（具体的にはテニスコート）が背景メモリに蓄積されることを表している。すなわち、背景メモリには、動いているプレーヤを除いた画像が蓄積される。この場合、背景メモリの領域を撮像画像のものより広いものとし、例えばビデオカメラのパンニング時、チルティング時の動きに応じて背景メモリの領域を可変することにより、図２０の例のように、広い範囲の背景画像の取込みが可能である。
【００７２】
図２１は、背景メモリを使用するようにしたこの発明のよりさらに他の実施例を示す。図１に示す一実施例と対応する構成要素に対しては同一の参照符号を付してその説明は、省略する。ローカルデコードされ、動き補償された画像信号が加算回路１０から手振れ補正回路１１１に入力される。手振れ補正回路１１１では、上述したような手振れ補正がなされる。すなわち、補正信号発生回路１３からの手振れ補正信号によりローカルデコードされた画像データの位置が補正される。手振れ補正回路１１１から出力される画像信号が比較器１１３を通って背景メモリ１１２に入力される。ローカルデコードされた画像データは、ブロック構造のデータとされる。
【００７３】
一方、ローカルデコードされた画像データに対応する位置の画像データブロックが背景メモリ１１２から読出される。比較器１１３では、ローカルデコードされた画像データのブロックと、背景メモリ１１２からの対応位置の画像データとの間で、画素毎に差分値が計算され、この差分値の絶対値が１ブロックで累算される。各ブロックの差分の累算値が比較器１１３において所定のしきい値と比較される。比較器１３の比較出力が更新制御回路１１４に入力される。
【００７４】
更新制御回路１１４は、差分の累算値がしきい値より小さい場合では、背景画像と判断する。背景画像と決定される場合では、そのブロックと対応する位置のブロックの背景メモリ１１２のデータがローカルデコード画像データにより更新される。更新時では、一度にデータの更新を行うよりも、除々に背景メモリ１１２を更新することが好ましい。若し、差分の累算値がしきい値以上の場合では、そのブロックのデータは、背景画像以外の画像情報が含まれているものと決定され、背景メモリ１１２の更新のために使用されない。さらに、背景メモリ１１２として、図２０の例のように、フレームメモリより大きいメモリを使用する時には、前フレームまでのデータでは埋められていない新たな背景データを順次蓄積する。
【００７５】
このようにして蓄積された背景メモリ１１２に蓄えられているデータと、通常のフレームメモリのデータを選択的に利用して動き補償を行うことにより、欠落した画像を補償することが可能である。背景メモリ１１２の画像データが図２２に示す構成の動きベクトル検出回路６’に供給される。
【００７６】
前述した図７に示す動きベクトル検出回路６の備える構成に対して、差分検出回路５７’、絶対値化回路５８’、累算回路５９’が設けられ、累算回路５９’の出力が累算回路５９の出力と共に、判断回路６０’に供給される。判断回路６０’は、動きベクトルおよびメモリフラグを出力端子６１および６1 ’にそれぞれ出力する。
【００７７】
差分検出回路５７’は、背景メモリ１１２の出力データと現フレームメモリ５３の出力データとの間で、同一の位置の画素データの差分を検出する。差分値が絶対値化回路５８’により絶対値に変換され、累算回路５９’により累算される。判断回路６０’は、累算回路５９からの累算出力（現フレームと前フレームとの間の差分の累算値）と、累算回路５９’からの上述した累算出力とを受け取る。そして、判断回路６０’は、一方の累算出力に基づいてより適切な動きベクトルを出力端子６１に出力する。また、二つの累算出力の選択されたものを表すメモリフラグを判断回路６０’が出力端子６１’に出力する。
【００７８】
図２１に示すように、動きベクトルが動きベクトル修正回路１５を介して動き補償回路７に供給され、また、メモリフラグが動き補償回路７に供給される。これらの動きベクトルおよびメモリフラグは、符号化データと共に、伝送あるいは記録される。メモリフラグによってフレームメモリ１１に蓄えられている画像データと、背景メモリ１１２に蓄えられている背景画像データの一方が選択され、選択された画像データに対して動き補償の処理がなされる。
【００７９】
なお、上述したよりさらに他の実施例に関して、エンコーダ側について説明したが、デコーダ側にも背景メモリが設けられており、メモリフラグに従ってフレームメモリの画像と背景メモリの画像とがデコーダ側と同様に選択される。
【００８０】
【発明の効果】
この発明は、動き補償のために生成された動きベクトルから手振れ動きベクトルを検出するので、ハードウエアの規模を小さくすることができる。
【図面の簡単な説明】
【図１】この発明の一実施例のブロック図である。
【図２】この発明の一実施例における記録系および再生系の構成を示すブロックずである。
【図３】この発明の一実施例におけるＡＤＲＣエンコーダのブロック図である。
【図４】ＡＤＲＣデコーダのブロック図である。
【図５】ＡＤＲＣ符号化処理を示す略線図である。
【図６】動きベクトル検出を概略的に説明する略線図である。
【図７】動きベクトル検出回路の一例のブロック図である。
【図８】手振れ動きベクトル検出を概略的に説明する略線図である。
【図９】手振れ補正回路および手振れ検出回路の一例のブロック図である。
【図１０】手振れ動きベクトルの検出処理の説明に用いる略線図である。
【図１１】手振れ動きベクトルの検出処理の説明に用いる略線図である。
【図１２】手振れ動きベクトルの検出処理の説明に用いるフローチャートである。
【図１３】画面をマクロブロックへ分割する処理の一例を示す略線図である。
【図１４】この発明の一実施例における統合ベクトルの形成動作を示すフローチャートである。
【図１５】この発明の一実施例における手振れ補正動作を示す略線図である。
【図１６】この発明の一実施例における動きベクトルの修正動作を示す略線図である。
【図１７】この発明の他の実施例のブロック図である。
【図１８】この発明のさらに他の実施例の記録系のブロック図である。
【図１９】この発明のさらに他の実施例の再生系のブロック図である。
【図２０】この発明のよりさらに他の実施例において使用する背景メモリの概略的説明に用いる略線図である。
【図２１】この発明のよりさらに他の実施例のブロック図である。
【図２２】この発明のよりさらに他の実施例における動きベクトル検出回路の一例の構成を示すブロック図である。
【図２３】従来の手振れ補正処理を説明するための略線図である。
【図２４】従来の手振れ補正処理を説明するための略線図である。
【符号の説明】
５ 減算器
６ 動きベクトル検出回路
７ 動き補償回路
１２ 手振れ検出回路
１３ 補正信号発生回路
１５ 動きベクトル修正回路
Claims (8)
- １画面の画像データを複数のブロックに分割し、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出し、
上記動きベクトルを用いて画像データを圧縮する機能を有する画像信号処理装置において、
各ブロックの動きベクトルを検出する動きベクトル検出手段と、
上記各ブロックの動きベクトルから手振れ動きベクトルを検出する手振れ動きベクトル検出手段と、
入力される画像信号を検出された手振れベクトルに基づいて補正する手段と、
上記各ブロックの動きベクトルを手振れ動きベクトルにより修正した動きベクトルを求める手段と、
上記修正された動きベクトルにより動き補償を行なう手段と、
上記手振れ補正された画像データと上記動き補償が行われた画像データにより圧縮処理を行なう手段とを備え、
上記手振れ動きベクトル検出手段は、
各ブロックの画像データのアクティビティの高低を評価するアクティビティ評価手段と、
上記各ブロックの動きベクトルの大きさを評価する動きベクトル評価手段と、
上記アクティビティ評価手段によりアクティビティが所定値より高く、且つ上記動きベクトル評価手段により動きベクトルが所定値より小さいと評価されたブロックを静止ブロックとして検出する判断手段とを有し、
上記判断手段により１画面中で静止ブロックが検出された場合は、手振れ補正を行わないことを特徴とする画像信号処理装置。 - 上記手振れ動きベクトル検出手段は、
空間的に不連続な位置における同一の動きベクトルを検出する手段を有することを特徴とする請求項１に記載の画像信号処理装置。 - 上記動きベクトル検出手段は、
各々のブロックの画像データと、１乃至数フレーム前のサーチエリア内を移動するブロックの画像データとの画素ごとの絶対値差分を求め、各サーチエリア内のブロック位置毎に上記絶対値差分が積算されて得られる差分絶対値和を検出し、更に、当該差分絶対値和を上記ブロック毎に積算することにより評価値を生成し、
上記手振れ動きベクトル検出手段の上記アクティビティ評価手段は、上記評価値に応じて各ブロックの画像データのアクティビティの高低を評価する
ことを特徴とする請求項１に記載の画像信号処理装置。 - １画面の画像データを複数のブロックに分割し、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出し、
上記動きベクトルを用いて画像データを圧縮する機能を有する画像信号記録装置において、
各ブロックの動きベクトルを検出する動きベクトル検出手段と、
上記各ブロックの動きベクトルから手振れ動きベクトルを検出する手振れ動きベクトル検出手段と、
上記動きベクトルにより動き補償を行なう手段と、
入力画像データと動き補償された画像データにより圧縮処理を行う手段と、
圧縮された画像データと共に、上記手振れ動きベクトルを記録する手段とを備え、
上記手振れ動きベクトル検出手段は、
各ブロックの画像データのアクティビティの高低を評価するアクティビティ評価手段と、
上記各ブロックの動きベクトルの大きさを評価する動きベクトル評価手段と、
上記アクティビティ評価手段によりアクティビティが所定値より高く、且つ上記動きベクトル評価手段により動きベクトルが所定値より小さいと評価されブロックを静止ブロックとして検出する判断手段とを有し、
上記判断手段により１画面中で静止ブロックが検出された場合は、手振れなしとすることを特徴とする画像信号記録装置。 - 上記手振れ動きベクトル検出手段は、
空間的に不連続な位置における同一の動きベクトルを検出する手段を有することを特徴とする請求項４に記載の画像信号記録装置。 - 上記動きベクトル検出手段は、
各々のブロックの画像データと、１乃至数フレーム前のサーチエリア内を移動するブロックの画像データとの画素ごとの絶対値差分を求め、各サーチエリア内のブロック位置毎に上記絶対値差分が積算されて得られる差分絶対値和を検出し、更に、当該差分絶対値和を上記ブロック毎に積算することにより評価値を生成し、
上記手振れ動きベクトル検出手段の上記アクティビティ評価手段は、上記評価値に応じて各ブロックの画像データのアクティビティの高低を評価する
ことを特徴とする請求項４に記載の画像信号記録装置。 - １画面の画像データを複数のブロックに分割するステップと、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出するステップと、
上記各ブロックの動きベクトルから手振れ動きベクトルを検出するステップと、
入力される画像信号を検出された手振れベクトルに基づいて補正するステップと、
上記各ブロックの動きベクトルを手振れ動きベクトルにより修正した動きベクトルを求めるステップと、
上記修正された動きベクトルにより動き補償を行うステップと、
上記手振れ補正された画像データと上記動き補償が行われた画像データにより圧縮処理を行なうステップとを備え、
上記手振れ動きベクトルを検出するステップにおいて、
各ブロックの画像データのアクティビティの高低を評価し、
上記各ブロックの動きベクトルの大きさを評価し
所定値よりアクティビティが高く、且つ所定値より動きベクトルが小さいと評価されたブロックを静止ブロックとして検出し、
上記静止ブロックが検出された場合は、手振れ補正を行わないことを特徴とする画像信号処理方法。 - １画面の画像データを複数のブロックに分割するステップと、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出するステップと、
上記各ブロックの動きベクトルから手振れ動きベクトルを検出するステップと、
上記動きベクトルにより動き補償を行なうステップと、
入力画像データと動き補償された画像データにより圧縮処理を行うステップと、
圧縮された画像データと共に、上記手振れ動きベクトルを記録するステップとを備え、
上記手振れ動きベクトルを検出するステップにおいて、
各ブロックの画像データのアクティビティの高低を評価し、
上記各ブロックの動きベクトルの大きさを評価し、
所定値よりアクティビティが高く、且つ所定値より動きベクトルが小さいと評価されたブロックを静止ブロックとして検出し、
上記静止ブロックが検出された場合は、手振れなしとする
ことを特徴とする画像信号記録方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17411696A JP3951321B2 (ja) | 1995-08-30 | 1996-06-13 | 画像信号処理装置および記録／再生装置 |
| US09/113,329 US5926212A (en) | 1995-08-30 | 1998-07-10 | Image signal processing apparatus and recording/reproducing apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24543095 | 1995-08-30 | ||
| JP7-245430 | 1995-08-30 | ||
| JP17411696A JP3951321B2 (ja) | 1995-08-30 | 1996-06-13 | 画像信号処理装置および記録／再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09130748A JPH09130748A (ja) | 1997-05-16 |
| JP3951321B2 true JP3951321B2 (ja) | 2007-08-01 |
Family
ID=26495832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17411696A Expired - Fee Related JP3951321B2 (ja) | 1995-08-30 | 1996-06-13 | 画像信号処理装置および記録／再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3951321B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3466895B2 (ja) * | 1997-12-12 | 2003-11-17 | キヤノン株式会社 | 振れ補正装置、撮像装置、撮像システム、カメラユニット、及びレンズユニット |
| CN1185873C (zh) * | 1999-03-12 | 2005-01-19 | 索尼公司 | 图像提供装置和***及其提供方法 |
| EP1124381A1 (en) * | 2000-02-08 | 2001-08-16 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for bitrate control in a video or audio encoder |
| US7705884B2 (en) | 2004-07-21 | 2010-04-27 | Zoran Corporation | Processing of video data to compensate for unintended camera motion between acquired image frames |
| JP4548355B2 (ja) * | 2006-02-03 | 2010-09-22 | カシオ計算機株式会社 | 動画再生装置及びそのプログラム |
| US7840085B2 (en) * | 2006-04-06 | 2010-11-23 | Qualcomm Incorporated | Electronic video image stabilization |
| JP4872797B2 (ja) * | 2007-05-18 | 2012-02-08 | カシオ計算機株式会社 | 撮像装置、撮像方法および撮像プログラム |
| KR101408698B1 (ko) | 2007-07-31 | 2014-06-18 | 삼성전자주식회사 | 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치 |
-
1996
- 1996-06-13 JP JP17411696A patent/JP3951321B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09130748A (ja) | 1997-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100467375B1 (ko) | 화상신호처리장치및기록/재생장치 | |
| US8903222B2 (en) | Image reproducing apparatus, image reproducing method, image capturing apparatus, and control method therefor | |
| JP3443880B2 (ja) | ビデオ信号符号化方法及び復号化方法 | |
| US20090059031A1 (en) | Image-Capturing Apparatus and Method, Recording Apparatus and Method, and Reproducing Apparatus and Method | |
| JP4887750B2 (ja) | 画像処理装置、制御方法及びプログラム | |
| JP3951321B2 (ja) | 画像信号処理装置および記録／再生装置 | |
| JP5130245B2 (ja) | 撮影解像度予測型動画像符号化装置および復号装置 | |
| JP2008113112A (ja) | 撮像装置 | |
| JP2001352524A (ja) | 再生装置及び再生方法 | |
| JP4365941B2 (ja) | 符号化装置、画像処理装置、カメラ一体型画像記録装置、画像処理システム、符号化方法、及び記憶媒体 | |
| JPH1084545A (ja) | ディジタルビデオ信号の符号化方法及び装置 | |
| JP4533089B2 (ja) | 動画データ生成装置 | |
| JP4605183B2 (ja) | 画像信号処理装置及び方法 | |
| JPH0888854A (ja) | 動画像符号化方式 | |
| JP4399794B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2883592B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JP2004015351A (ja) | 符号化装置及び方法、プログラム、記録媒体 | |
| JP3937247B2 (ja) | 静止画像データ生成装置および静止画像データ生成方法 | |
| JPH10257485A (ja) | 繰り返し画像検出回路及び画像符号化装置 | |
| JP3646424B2 (ja) | ノイズリデューサおよびノイズリダクション方法 | |
| JP3891198B2 (ja) | 復号装置及び方法、並びに伝送装置及び方法 | |
| JP3060501B2 (ja) | 映像信号伝送装置 | |
| JP3465660B2 (ja) | ビデオ信号復号化方法 | |
| JP2000041222A (ja) | 映像再生装置とその方法および映像表示装置 | |
| JPH02105786A (ja) | 電子スチルカメラにおけるデータ圧縮回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060515 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070416 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100511 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |