JP3103893B2 - ビデオデータの手振れ検出装置およびその方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ハンディタイプのビ
デオカメラの撮影出力等のビデオデータに含まれる手振
れの方向および量を検出するための手振れ検出装置およ
びその方法に関する。

【０００２】

【従来の技術】ハンディタイプのビデオカメラを使用し
て撮影を行う時に、手振れで再生画面が揺れる問題があ
る。この問題を解決するのに、動きベクトルを検出し、
この動きベクトルに基づいて、画像メモリに貯えられて
いるビデオデータを補正するものが提案されている（例
えば特開昭６３−１６６３７０号公報）。動きベクトル
の検出は、例えばブロックマッチングでなされる。すな
わち、画面を多数の領域（ブロックと称する）に分割
し、各ブロックの中心に位置する前フレームの代表点と
現フレームのブロック内の画素データとのフレーム差の
絶対値を演算し、このフレーム差の絶対値を１画面に関
して積算し、積算フレーム差データの最小値の位置から
動きベクトルを検出している。また、この文献に記載の
ように、動き補正をした時に、ビデオデータが欠落する
ことを防止するために、画像メモリの読み出しの制御と
補間回路とにより、例えば１５％程度、画像の拡大を行
っている。かかる手振れ補正装置では、手振れの検出が
正しくなされることが必要である。

【０００３】

【発明が解決しようとする課題】ブロックマッチングに
よる動きベクトルの検出では、手振れで生じた動き、す
なわちビデオカメラの動きか、又は画面中の対象物の動
きかの判定が難しい。従って、対象物が動いたことを手
振れと誤判定するおそれがある。そこで、従来の手振れ
検出の方法として、１フレームの画像を数個の領域（マ
クロブロックと称する）に分割するものが知られてい
る。これは、ブロックマッチングによる動きベクトルの
検出を１フレーム全体ではなくて、マクロブロック毎に
行い、次に、マクロブロック毎の動きベクトルを多数決
判定し、多数である動きベクトルとして採用している。
しかしながら、１フレーム中でその占める面積の大きい
物体が動く時には、この物体を動きを手振れとして、誤
検出する問題があった。従って、この発明の目的は、検
出された動きベクトルが対象物の動きに起因するもの
か、手振れによるものかを判定できるビデオデータの手
振れ検出装置およびその方法を提供することにある。

【０００４】

【課題を解決するための手段】請求項１の発明は、１画
面を複数の領域に分割し、各領域毎に前フレームの代表
点と現フレームの各領域内の画素データとのフレーム差
を検出し、フレーム差の絶対値が１画面に関して累算さ
れることで積算フレーム差データを形成し、積算フレー
ム差データから動きベクトルを検出する手段（５、６、
８）と、各領域に対応する大きさであって、代表点とこ
の代表点に対応する画素データ間のフレーム差が略０で
あって、且つレベルの傾きがある時に、この傾きの方向
の位置の度数がインクリメントされ、度数が１画面に関
して累算されることで積算度数表を形成する手段（９）
と、検出された動きベクトルと積算度数表とを受け取
り、動きベクトルと対応する位置の積算度数表の度数が
所定値より少ない場合に、動きベクトルを手振れベクト
ルとする判定手段（１０）と、からなるビデオデータの
手振れ検出装置である。また、請求項２の発明は、１画
面を複数の領域に分割し、各領域毎に前フレームの代表
点と現フレームの各領域内の画素データとのフレーム差
を検出し、フレーム差の絶対値が１画面に関して累算さ
れることで積算フレーム差データを形成し、積算フレー
ム差データから動きベクトルを検出するステップと、 各
領域に対応する大きさであって、代表点と代表点に対応
する画素データ間のフレーム差が略０であって、且つレ
ベルの傾きがある時に、この傾きの方向の位置の度数が
インクリメントされ、度数が１画面に関して累算される
ことで積算度数表を形成するステップと、 検出された動
きベクトルと積算度数表とを受け取り、動きベクトルと
対応する位置の積算度数表の度数が所定値より少ない場
合に、動きベクトルを手振れベクトルとするステップと
からなるビデオデータの手振れ検出方法である。

【０００５】

【作用】代表点を使用したブロックマッチングにより動
きベクトルが検出される。また、動きがあれば、必ずフ
レーム差が発生する位置に注目して、フレーム差が略０
かどうか調べられる。若し、フレーム差が略０であれ
ば、静止と判定して度数がインクリメントされる。この
度数が１画面にわたって累算され、積算度数分布表が形
成される。検出された動きベクトルと積算度数分布表と
から、若し、動きベクトルと対応する度数がしきい値以
下であれば、対象物の動きでなく、手振れと判定する。

【０００６】

【実施例】以下、この発明の一実施例について図面を参
照して説明する。この発明は、手振れがビデオカメラの
動きであるため、画面全体が動き、一方、対象物の動き
は、画面のある部分が動くこと、すなわち、画面中に静
止している部分があることに着目して、両者の区別を行
うものである。図１において、１がディジタルビデオデ
ータの入力端子である。このビデオデータは、例えばビ
デオカメラのＣＣＤで撮影されたもので、インターレス
走査の順序の系列である。

【０００７】入力ビデオデータがフィールドメモリ２お
よび代表点メモリ３に供給される。フィールドメモリ２
の出力には、後述の補正信号により手振れ補正されたデ
ータが読み出される。１フレーム毎に処理を行う時に
は、フィールドメモリ２に代えてフレームメモリが使用
される。代表点メモリ３の出力が減算回路４および代表
点メモリ５に供給される。代表点メモリ５の出力が減算
回路６に供給される。減算回路４および６には、入力ビ
デオデータが供給される。代表点メモリ３は、１フィー
ルド前の代表点のデータを記憶し、代表点メモリ５が２
フィールド（すなわち、１フレーム）前の代表点のデー
タを記憶する。

【０００８】図２に示すように、１フィールドの画面が
ｍ画素×ｎラインのブロックに細分化され、各ブロック
の中心の画素が代表点とされる。代表点は、画面上で、
均一にばらまかれている。減算回路４は、現フィールド
のあるブロックのｍ×ｎの画素データのそれぞれと前フ
ィールドの同一位置のブロックの代表点のデータとのそ
れぞれの差（すなわち、フィールド間差）を検出する。
このフィールド間差が絶対値積分回路７に供給される。
同様に、減算回路６が現フィールドのブロックと２フィ
ールド前の代表点とのフレーム差を検出する。フレーム
差が絶対値積分回路８および度数表作成回路９に供給さ
れる。

【０００９】動きベクトルの検出は、絶対値積分回路８
でフレーム差を使用してなされる。フィールド間差から
絶対値積分回路７で得られたフィールド間の動きは、補
助手段として使用される。つまり、フィールド間の差
は、時間の精度が良いが、位置の精度が悪い特徴があ
り、フレーム間の差は、時間の精度が悪いが、位置の精
度が良い特徴がある。従って、フレーム差から動きベク
トルを検出する時に、フィールド間差も利用すること
で、検出精度を向上できる。

【００１０】図３に示すように、動きのサーチ領域がブ
ロックの大きさと同一とされる。ブロック毎に２フィー
ルド前の代表点と現フィールドのブロック内の画素デー
タとのｍ×ｎ個の差が減算回路６で発生する。絶対値積
分回路８では、ブロック内の各位置のフレーム差の絶対
値が１フレーム期間にわたって積算され、ｍ×ｎの積算
フレーム差データの分布が形成され、この分布の中の最
小値が動きベクトルとして検出される。この動きベクト
ルの検出は、従来と同様である。

【００１１】度数分布表作成回路９には、減算回路６か
らのフレーム差と、入力ビデオデータとが供給される。
度数分布表作成回路９は、図４に示すように、図３のブ
ロックの中心と一致する画素ｘの周辺の８画素ａ、ｂ、
ｃ、ｄ、ｅ、ｆ、ｇ、ｈと対応するアドレスを有するメ
モリが設けられている。これらの画素の中で、フレーム
差が０となる毎に、空間的に傾きを持つ位置（メモリの
アドレス）の度数を更新する。例えばフレーム差が略０
の時に、画素ｘの値と画素ｄの値との差分の絶対値がし
きい値より大きい時には、ｄの位置と対応するメモリの
アドレスの値を＋１とする。このブロック毎の処理が１
画面の全体で累算され、度数分布表が形成される。空間
的な傾きが例えば水平方向（画素ｘと画素ｅ又は画素ｄ
との間）にある時には、水平方向の動きの結果、必ずフ
レーム差が発生する。従って、上述の条件が成立する時
には、そのブロックがその方向に関しては、静止である
ことを意味する。

【００１２】動き量決定回路１０に対して、絶対値積分
回路８で検出された動きベクトルと度数分布表作成回路
９の出力とが供給される。動き量決定回路１０は、動き
ベクトルを手振れベクトルとして使用して良いかどうか
を検証する。すなわち、動きベクトルと対応する位置の
度数、すなわち、静止ブロックの割合が判定用のしきい
値より少ない時には、画面全体の動きからこの動きベク
トルが発生したものと判定し、動きベクトルを手振れベ
クトルと判定する。そうでない時には、画面内の静止ブ
ロックの個数が多いものと判定し、画面内の対象物の動
きからこの動きベクトルが発生したものと判定する。例
えば検出された動きベクトルが上へ向かう垂直方向であ
る時には、画素ｂの位置の度数が調べられる。この度数
がしきい値より多ければ、画面中で動いていない部分が
多いことが判り、この動きベクトルは、手振れベクトル
でないとされる。

【００１３】動き量決定回路１０に対して絶対値積分回
路７からのフィールド間の動きベクトルを供給している
のは、前述のように、検出された動きベクトルの定常性
をチェックし、精度の向上を図るためである。動き量決
定回路１０の出力（手振れベクトル）が補正量発生回路
１１に供給される。手振れベクトルは、フレーム間の動
きから検出されたもので、手振れの補正量と同一ではな
い。例えば連続する３フレームの期間で、第２番目およ
び第３番目のフレームの期間で、同一方向の手振れが生
じている時では、最初のフレームと次のフレームとの間
の手振れベクトルＶ１が検出され、第２番目と第３番目
のフレーム間の手振れベクトルＶ２が検出される。第２
番目のフレームに対する補正量は、Ｖ１で良いが、第３
番目のフレームに対する補正量は、（Ｖ１＋Ｖ２）の必
要がある。補正量発生回路１１は、手振れベクトルを積
分した補正量を発生する。また、この実施例のように、
手振れ補正がフィールド単位でなされる時には、フレー
ム間の動き量をフィールド間の動き量に変換するため
に、フィールドとフレームの時間差に対応するために動
きベクトルが１／２とされる。

【００１４】補正量発生回路１１からの手振れ補正信号
がアドレス制御回路１２およびセレクト信号発生回路１
３に供給される。アドレス制御回路１２は、フィールド
メモリ２および周辺メモリ１６に対するアドレス信号を
発生する。フィールドメモリ２には、１フィールドの画
像が書き込まれ、補正量に応じてその読み出しアドレス
が制御される。従ってフィールドメモリ２からは、１フ
ィールドの入力ビデオデータが補正量に応じて移動され
たビデオデータが得られる。フィールドメモリ２の出力
がセレクタ１４に供給され、セレクタ１４の出力が出力
端子１５に取り出されると共に、周辺メモリ１６に供給
される。周辺メモリ１６の出力である周辺データがセレ
クタ１４に供給される。セレクタ１４は、セレクト信号
発生回路１３からのセレクト信号に応答して、手振れ補
正されたフィールドメモリ２からのビデオデータと周辺
メモリ１６に記憶されている周辺データとを選択する。

【００１５】図５Ａに示すように、フィールドメモリ２
に取り込まれた１フィールドの画像（その画枠を２１で
表す）の周辺部（一点鎖線の外側の領域）２２が周辺メ
モリ１６に格納される。周辺部２２の幅は、手振れ補正
の範囲を考慮して設定され、例えば約１０〜２０％程度
の幅に設定される。図５Ｂにおいて、画枠２１ａで示す
ように、手振れにより図５Ａの位置であるべき画像が図
面に向かって例えば右方向へ動いた時では、手振れ補正
量Ｖにより画像の全体が破線で示す位置に補正される。
このような場合には、撮像された画像中には、元々存在
していないために、移動後の画像の左側の斜線で示す部
分２３の画像が欠落する。この欠落部分２３が周辺メモ
リ１６に貯えられている対応する位置の画像に置換され
る。この置換は、アドレス制御回路１２によるアドレス
制御と、セレクタ１４の切り換え動作で実行される。ま
た、周辺メモリ１６には、撮像されたビデオデータ中の
欠落部分２３以外の周辺の画像データが書き込まれ、周
辺メモリ１６の内容が更新される。

【００１６】この発明においては、ビデオカメラの撮像
出力の手振れ補正をリアルタイムで行っても良く、ま
た、ＶＴＲにより記録されたものに対して手振れ補正を
行っても良い。ビデオカメラの撮像出力をリアルタイム
で補正する時には、手振れが生じたことを示すマーカー
をビューファインダの画面内に表示することが好まし
い。

【００１７】図６Ａに示すように、破線で示す画枠２１
が実際に撮像された画像であって、上述の手振れ補正に
よって実線で示す画像２１ｂのように、補正されている
ものとする。この場合では、図６Ｂに示すように、ビデ
オカメラのビューファインダ２４の画面内で、実際に撮
像している画枠２１のエッジと対応する位置に縦線のマ
ーカー２５が表示される。このマーカー２５を撮影者が
見て、手振れの方向および量或いは手振れ補正の方向お
よび量が判り、この手振れを補正する方向にビデオカメ
ラを動かす。上述の手振れ補正に加えて、撮影者の視覚
に基づいたフィードバックがかかるので、手振れの範囲
が補正範囲を超えてしまうことを未然にかなり防止でき
る。若し、手振れの表示をビューファインダに行わない
時には、手振れを補正できなくなるある時点で、画面が
急に動くことが生じる。マーカー２５としては、縦線に
限らず、矢印等を使用しても良い。

【００１８】

【発明の効果】この発明は、検出された動きベクトルが
手振れと対象物の動きとの何れに起因するのかを判別で
きるので、手振れ補正を良好に行うことができる。

【図面の簡単な説明】

【図１】この発明の一実施例のブロック図である。

【図２】この発明の一実施例のブロック分割を示す略線
図である。

【図３】この発明の一実施例の動きベクトルのサーチ範
囲を示す略線図である。

【図４】この発明の一実施例の度数分布表作成の説明に
用いる略線図である。

【図５】この発明の一実施例の手振れ補正の説明に用い
る略線図である。

【図６】ビデオカメラのビューファインダの画面になさ
れる手振れ表示の説明に用いる略線図である。

【符号の説明】

１ ビデオデータの入力端子 ２ フィールドメモリ ３ １フィールド前の代表点データを記憶する代表点
メモリ ５ ２フィールド前の代表点データを記憶する代表点
メモリ ９ 度数分布表作成回路 １０ 動き量決定回路

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 １画面を複数の領域に分割し、各領域毎
   に前フレームの代表点と現フレームの上記各領域内の画
   素データとのフレーム差を検出し、上記フレーム差の絶
   対値が上記１画面に関して累算されることで積算フレー
   ム差データを形成し、上記積算フレーム差データから動
   きベクトルを検出する手段と、 上記各領域に対応する大きさであって、上記代表点と上
   記代表点に対応する画素データ間のフレーム差が略０で
   あって、且つレベルの傾きがある時に、この傾きの方向
   の位置の度数がインクリメントされ、上記度数が上記１
   画面に関して累算されることで積算度数表を形成する手
   段と、 上記検出された動きベクトルと上記積算度数表とを受け
   取り、上記動きベクトルと対応する位置の上記積算度数
   表の度数が所定値より少ない場合に、上記動きベクトル
   を手振れベクトルとする判定手段とからなるビデオデー
   タの手振れ検出装置。
2. 【請求項２】 １画面を複数の領域に分割し、各領域毎
   に前フレームの代表点と現フレームの上記各領域内の画
   素データとのフレーム差を検出し、上記フレーム差の絶
   対値が上記１画面に関して累算されることで積算フレー
   ム差データを形成し、上記積算フレーム差データから動
   きベクトルを検出するステップと、 上記各領域に対応する大きさであって、上記代表点と上
   記代表点に対応する画素データ間のフレーム差が略０で
   あって、且つレベルの傾きがある時に、この傾きの方向
   の位置の度数がインクリメントされ、上記度数が上記１
   画面に関して累算されることで積算度数表を形成するス
   テップと、 上記検出された動きベクトルと上記積算度数表とを受け
   取り、上記動きベクトルと対応する位置の上記積算度数
   表の度数が所定値より少ない場合に、上記動きベクトル
   を手振れベクトルとするステップと からなるビデオデー
   タの手振れ検出方法。