JPH04309078A - ビデオデータの動き検出装置および方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ハンディタイプのビ
デオカメラの撮影出力等のビデオデータに含まれる手振
れの方向および量を検出するための手振れ検出装置に関
する。

【０００２】

【従来の技術】ハンディタイプのビデオカメラを使用し
て撮影を行う時に、手振れで再生画面が揺れる問題があ
る。この問題を解決するのに、動きベクトルを検出し、
この動きベクトルに基づいて、画像メモリに貯えられて
いるビデオデータを補正するものが提案されている（例
えば特開昭６３−１６６３７０号公報）。動きベクトル
の検出は、例えばブロックマッチングでなさる。すなわ
ち、画面を多数の領域（ブロックと称する）に分割し、
各ブロックの中心に位置する前フレームの代表点と現フ
レームのブロック内の画素データとのフレーム差の絶対
値を演算し、このフレーム差の絶対値を１画面に関して
積算し、積算フレーム差データの最小値の位置から画面
全体の動きベクトルを検出している。この検出された動
きベクトルを補正信号に変換し、この補正信号により原
画像を移動する補正を行っている。かかる手振れ補正装
置では、補正が良好になされるか否かは、手振れの検出
の精度に依存する。

【０００３】

【発明が解決しようとする課題】ブロックマッチングに
よる動きベクトルの検出では、手振れで生じた動き、す
なわちビデオカメラの動きか、又は画面中の対象物の動
きかの判定が難しい。従って、対象物が動いたことを手
振れと誤判定するおそれがある。そこで、従来の手振れ
検出の方法として、１フレームの画像を数個例えば４個
の領域（マクロブロックと称する）に等しく分割するも
のが知られている。これは、ブロックマッチングによる
動きベクトルの検出を１フレーム全体ではなくて、マク
ロブロック毎に行い、次に、マクロブロック毎の動きベ
クトルを多数決判定し、多数である動きベクトルを全体
的な動きベクトルとして採用している。しかしながら、
画面中央にその面積の大きい物体が存在し、この物体が
動く時には、この物体を動きを手振れとして、誤検出す
る可能性を払拭することができない。従って、この発明
の目的は、マクロブロックの方式を使用しても、単なる
多数決判定と異なり、検出精度を向上できるビデオデー
タの手振れ検出装置を提供することにある。

【０００４】

【課題を解決するための手段】第１の発明は、互いに隣
接しないマクロブロックが生じるような形態で、１画面
を複数のマクロブロックに分割し、マクロブロック毎に
動きベクトルを検出する第１の検出回路Ｄ１１〜Ｄ３４
と、第１の検出回路Ｄ１１〜Ｄ３４の出力に基づいて画
面全体の動きベクトルを検出する第２の検出回路（７）
とを有するビデオデータの手振れ検出装置であって、第
２の検出回路（７）は、第１の検出回路Ｄ１１〜Ｄ３４
の出力の内で空間的に分離された位置にある少なくとも
二つのマクロブロックにおいて、同一の動きベクトルを
有するものがあるか否かを検出し、同一のものがある時
には、その動きベクトルを画面全体の動きベクトルとし
て出力するようにしたことを特徴とするビデオデータの
手振れ検出装置である。第２の発明は、同一の動きベク
トルを有する空間的に分離された位置にあるマクロブロ
ックが存在しない場合は、同一ベクトルを有するマクロ
ブロックを統合し、周辺ブロックに関して非周辺ブロッ
クよりも大きな重み付けを行った状態で、最大値を検出
し、最大値が検出されたマクロブロックの動きベクトル
を画面全体の動きベクトルとして出力するようにしたこ
とを特徴とするビデオデータの手振れ検出装置である。

【０００５】

【作用】画面内の比較的大面積の物体の動きにより生じ
た動きベクトルは、空間的に隣接するマクロブロックの
動きベクトルとして検出されるのが普通である。従って
、空間的に分離されたマクロブロックに関して同一の動
きベクトルを手振れで生じたものと判定することで、精
度を高くできる。また、各マクロブロックの動きベクト
ルに関して、それぞれマクロブロックの個数を検出し、
その中の最大値から統合ベクトルが形成される。この最
大値の検出に先立って、周辺ブロックを重視する重み付
けを行い、これにより検出精度を高くすることができる
。

【０００６】

【実施例】以下、この発明の一実施例について図面を参
照して説明する。この発明は、手振れがビデオカメラの
動きであるため、画面全体が動き、一方、比較的大面積
の対象物の動きは、画面の部分的な領域が動くことに着
目して、両者の区別を行うものである。図１において、
１がディジタルビデオデータの入力端子である。このビ
デオデータは、例えばビデオカメラのＣＣＤで撮影され
たもので、インターレス走査の順序の系列である。

【０００７】入力ビデオデータがフレームメモリ、アド
レス制御回路等からなる補正回路２、代表点メモリ４お
よび減算回路５に供給される。補正回路２から出力端子
３に補正信号により手振れ補正されたデータが読み出さ
れる。代表点メモリ４の出力が減算回路５に供給される
。代表点メモリ４は、１フレーム前の代表点のデータを
記憶する。従って、減算回路５から、現フレームの画素
データと前フレームの代表点データとの差（ここでは、
フレーム差と称する）が得られる。このフレーム差がマ
クロブロック化回路６に供給され、マクロブロック化回
路６により、フレーム差がマクロブロックの順序を有す
るものに変換される。

【０００８】この例では、図２に示すように、１フレー
ムが縦方向に３分割、横方向に４分割され、１２個のマ
クロブロックＢ１１、Ｂ１２、・・・・、Ｂ３４が形成
される。このマクロブロックの例に限らず、複数のマク
ロブロックを得るために、１画面を分割する方法は、種
々採用できる。但し、互いに隣接しないマクロブロック
が生じる必要があり、従って、画面を等しく４分割する
ような方法は、採用してはならない。

【０００９】マクロブロック化回路６からの各マクロブ
ロックのフレーム差データが１２個の動きベクトル検出
回路Ｄ１１、Ｄ１２、・・・、Ｄ３４にそれぞれ供給さ
れる。各動きベクトル検出回路は、各マクロブロックに
関する動きベクトルを検出する。図３に示すように、各
マクロブロックの領域がｍ画素×ｎラインのブロックに
細分化され、各ブロックの中心の画素と代表点とが対応
される。例えば（ｍ＝ｎ＝２５）である。代表点は、画
面上で、均一にばらまかれている。減算回路５では、現
フレーム内の図３のブロックのｍ×ｎ個の画素データと
、前フレームの対応する位置の代表点データとのそれぞ
れの差を検出している。

【００１０】マクロブロック化回路６によりマクロブロ
ックの順序に変換されたフレーム差データを受け取った
動きベクトル検出回路Ｄ１１〜Ｄ３４は、まず、フレー
ム差を絶対値に変換する。次に、ブロック内の各位置の
フレーム差の絶対値が１マクロブロックにわたって積算
され、ｍ×ｎの積算フレーム差データの分布が形成され
、そして、この分布の中の最小値の位置がそのマクロブ
ロックの動きベクトルであると判定される。この動きベ
クトルの検出は、従来と同様である。

【００１１】１２個の動きベクトル検出回路Ｄ１１〜Ｄ
３４のそれぞれにより検出されたマクロブロック単位の
動きベクトルが統合ベクトル形成回路７に供給される。 統合ベクトル形成回路７は、１２個の動きベクトルを後
述のように、統合することにより、画面全体の動きベク
トル（統合ベクトル）を発生する。この統合ベクトルが
補正信号発生回路８に供給される。

【００１２】統合ベクトルは、フレーム間の動きから検
出されたもので、手振れの補正量と同一ではない。例え
ば連続する３フレームの期間で、第２番目および第３番
目のフレームの期間で、同一方向の手振れが生じている
時では、最初のフレームと次のフレームとの間の統合ベ
クトルＶ１が得られ、第２番目と第３番目のフレーム間
の統合ベクトルＶ２が得られる。第２番目のフレームに
対する補正量は、Ｖ１で良いが、第３番目のフレームに
対する補正量は、（Ｖ１＋Ｖ２）の必要がある。補正信
号発生回路８は、一例として、統合ベクトルを積分した
補正量を発生する。補正信号発生回路８からの手振れ補
正信号が補正回路２に供給され、入力画像データの手振
れ補正がフレームメモリを使用し、そのアドレスを制御
することで達成される。

【００１３】統合ベクトル形成回路７は、図４に示す流
れに従って統合ベクトルを形成する。各ブロックの動き
ベクトルが入力され（ステップ１１）、全マクロブロッ
クの動きベクトルが同一か否かが調べられる。若し、同
一ならば、その動きベクトルが統合ベクトルとして出力
される（ステップ１３）。以下の場合も同様であるが、
同一は、ある程度のトレランスを含んでいる。

【００１４】ステップ１２が成立しない時は、判定のス
テップ１４に移り、空間的に分離された複数のマクロブ
ロックに関して、動きベクトルが同一かどうかが調べら
れる。言い換えると、１フレーム全体で、同一の動きベ
クトルを有するマクロブロックが空間的に分離されたも
のかどうかが調べられる。ステップ１４を満足する動き
ベクトルが統合ベクトルとして出力される（ステップ１
５）。「空間的に分離された」は、（Ｂ１１、Ｂ１２、
Ｂ２１、Ｂ２２）の例のように、上下、左右、斜めの各
方向で隣接するものを除くことを意味する。従って、空
間的な距離、同一の動きベクトルを有するマクロブロッ
クの個数等については、必要とされる検出精度等を考慮
して適宜設定される。この判定のステップ１４は、比較
的大面積の物体の動きを手振れとするような誤判定を排
除できる。

【００１５】ステップ１４が成立しない時には、流れが
ステップ１６に移り、同一ベクトルを有するマクロブロ
ックの個数がそれぞれ合計される。このマクロブロック
の各個数に対して、次のステップ１７で重み付けがなさ
れる。この重み付けは、画面非周辺付近のマクロブロッ
クに関するブロック数に対して、画面の周辺のマクロブ
ロックに関するブロック数を優先させるためである。一
例として、周辺に関するブロック数には、１．５の重み
係数を乗じ、非周辺付近に関するブロック数には、１の
重み係数を乗じる。比較的大面積の物体の動きは、中心
付近にあることが多いことを考慮して、ステップ１７の
重み付けがなされる。

【００１６】そして、流れがステップ１８に移り、重み
付けがされたブロック数の中での最大値があるかどうか
が調べられる。最大値がある時には、その最大値のマク
ロブロックの動きベクトルが統合ベクトルとして出力さ
れる（ステップ１９）。若し、ブロック数が等しいか、
又は略等しいならば、流れがステップ２０に移る。そし
、マクロブロックの個数に関して、ステップ２０で多数
決判定がされ、多数とされたものの動きベクトルが統合
ベクトルとして出力される。多数決判定は、統合ベクト
ルを発生するうえで、精度の点で問題があり、精度を重
視する場合には、この判定を省略し、統合ベクトルの検
出不能として処理することも可能である。

【００１７】この発明においては、ビデオカメラの撮像
出力の手振れ補正をリアルタイムで行っても良く、また
、ＶＴＲにより記録されたものに対して手振れ補正を行
っても良い。ビデオカメラの撮像出力をリアルタイムで
補正する時には、手振れが生じたことを示すマーカーを
ビューファインダの画面内に表示しても良い。

【００１８】

【発明の効果】この発明は、１画面をマクロブロックに
分割し、各マクロブロックの動きベクトルを検出し、動
き物体と手振れとの特性の相違を利用してこの動きベク
トルを画面全体の動きベクトルに統合している。従って
、検出された統合ベクトルは、画面内の対象物の動きに
影響されない高精度のものであり、手振れ補正を良好に
行うことができる。

【図面の簡単な説明】

【図１】この発明の一実施例のブロック図である。

【図２】この発明の一実施例のマクロブロックの一例を
示す略線図である。

【図３】この発明の一実施例の動きベクトルの検出の説
明に用いる略線図である。

【図４】この発明の一実施例における統合ベクトルの形
成動作を示すフローチャートである。

【符号の説明】

２　　　　補正回路 ４　　　　前フレームの代表点データを記憶する代表点
メモリ ６　　　　マクロブロック化回路 ７　　　　統合ベクトル形成回路

Claims (2)

【特許請求の範囲】
1. 【請求項１】　　互いに隣接しないマクロブロックが生
   じるような形態で、１画面を複数のマクロブロックに分
   割し、上記マクロブロック毎に動きベクトルを検出する
   第１の検出手段と、上記第１の検出手段の出力に基づい
   て画面全体の動きベクトルを検出する第２の検出手段と
   を有するビデオデータの手振れ検出装置であって、上記
   第２の検出手段は、上記第１の検出手段の出力の内で空
   間的に分離された位置にある少なくとも二つの上記マク
   ロブロックにおいて、同一の動きベクトルを有するもの
   があるか否かを検出し、同一のものがある時には、その
   動きベクトルを上記画面全体の動きベクトルとして出力
   するようにしたことを特徴とするビデオデータの手振れ
   検出装置。
2. 【請求項２】　　請求項１記載のビデオデータの手振れ
   検出装置において、同一の動きベクトルを有する空間的
   に分離された位置にあるマクロブロックが存在しない場
   合は、同一ベクトルを有するマクロブロックを統合し、
   周辺ブロックに関して非周辺ブロックよりも大きな重み
   付けを行った状態で、最大値を検出し、上記最大値が検
   出された上記マクロブロックの動きベクトルを画面全体
   の動きベクトルとして出力するようにしたことを特徴と
   するビデオデータの手振れ検出装置。