JPH0865674A

JPH0865674A - 動きベクトル検出器

Info

Publication number: JPH0865674A
Application number: JP20192194A
Authority: JP
Inventors: Masahito Nonaka; 雅人野中
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1994-08-26
Filing date: 1994-08-26
Publication date: 1996-03-08

Abstract

(57)【要約】【目的】無駄な動きベクトルの送出を止めて符号化効
率を向上させる。【構成】書類判定器４１により入力画像が書類である
かいなかを判定する。書類判定器４１により判定が終了
すると、アドレス発生器２２、４２は、ブロック単位
に、フレーム単位に動きベクトルを検出するためのアド
レスをそれぞれ発生する。セレクタ４３は、アドレス発
生器２２、４２によって発生したアドレスを選択する。
アドレス発生器２２，４２からの累計終了信号は、セレ
クタ４３によって選択される。ベクトル発生器３０は、
累計終了信号が入力される毎に次の試行ベクトルを出力
する。マスク回路２９は、最小値検出信号と累計終了信
号が出力された時、取り込みパルスを出力する。レジス
タ２７、３１は、評価値、動きベクトルをそれぞれ保持
する。評価演算器２１は、評価値を算出する。比較器２
８は、評価値とレジスタ２７の内容を比較して、最小値
検出信号を出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像の信号処理、特
にブロックマッチングによる動きフレーム間予測におけ
る動きベクトル検出器に関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば、次のような文献に記載されるものがあった。文献；ＴＴＣ標準第Ｖ巻第３分冊：高位レイヤプロトコ
ル符号化方式、電信電話技術委員会発行、Ｐ．３２０−
３２６動画像の高能率符号化において、符号化効率の改善のた
めにフレーム間予測を用いられるときがある。フレーム
間予測は、時間的に接近した画像間には高い相関がある
という性質を利用した圧縮方法であり、連続した２枚の
画像の差分を伝送することでデータ量を削減する方法で
ある。静止している画像の場合、前画像と現画像の差分
はほとんど無いため符号化効率は非常に高くなるが、動
きのある画像では相関が少なくなり符号化効率は低下す
る。このため、動き量及び方向（以下、動きベクトルと
呼ぶ）を検出し、これを用いて画像の一部または全部を
動かすことで、２枚の画像間の相関を高くする方法が用
いられている。動きベクトルの検出は、ブロッマッチン
グで行うのが一般的である。これは、現画像１フレーム
を複数のブロックに分割し、各ブロックに対し前画像の
同じ大きさのブロックとの類似性を調べ、最も類似性の
高いブロックとの位置関係を動きベクトルとして出力す
る方法である。１本の試行ベクトルに対する評価演算
は、２つのブロック間でブロック内の同じ位置にある画
素同士の差分の絶対値または自乗値をブロック内の全て
の画素に対して累計することで行なう。

【０００３】次式（１）にこの評価演算を示す。

【数１】式（１）において、Ｍ及びＮはそれぞれ分割されたブロ
ックのライン数、画素数であり、ｉ及びｊは動きベクト
ルの探索範囲内のある１本の試行ベクトルの値である。
この評価演算をベクトル探索範囲内に発生する試行ベク
トル全てに対して実行し、その中で最小の値をとる試行
ベクトルを動きベクトルとして出力する。前記文献に
は、動画像符号化の国際標準であるＣＣＩＴＴ，Ｈ.261
における情報源符号化部とビデオ信号多重化部について
の説明がある。情報源符号化部に動き補償フレーム間予
測技術が用いられている。情報源符号化部では、動き補
償フレーム間予測により時間軸上の冗長を除き、直交変
換及び量子化により空間的な冗長度を削る。ビデオ多重
化部では、情報源符号化部の各種出力を多重化し可変長
符号化を行った後、受信側に端末に伝送する。ここで、
動きベクトルはブロックマッチングを行うブロック単位
に、それぞれ直前のベクトル値との差分が伝送される。

【０００４】図２は、従来の動き補償フレーム間予測装
置の構成図である。この動き補償フレーム間予測装置で
は、現画像を入力する現画像データ入力端子１を有して
いる。現画像データ入力端子１の出力側には、現画像デ
ータを保持するフレームメモリ２が接続されている。フ
レームメモリ２の出力側には、減算器３及び動きベクト
ル検出器４が接続されている。減算器３の出力側には、
量子化器５が接続されている。量子化器５の出力側に
は、逆量子化器６及び符号化データ出力端子７が接続さ
れている。逆量子化器６の出力側には、加算器８が接続
され、さらに加算器８の出力側には、前画像データを保
持するフレームメモリ９が接続されている。フレームメ
モリ９の出力側には、減算器３、動きベクトル検出器
４、及び加算器８が接続されている。動きベクトル検出
器４の出力側には、フレームメモリ２，９、及び動きベ
クトル出力端子１０が接続されている。

【０００５】以下、図２を参照しつつ従来の動き補償フ
レーム間予測装置の動作の説明をする。現画像データ入
力端子１から現フレームデータが入力される。このデー
タは、フレームメモリ２に書き込まれ一時保持される。
このとき、既にフレームメモリ９には、前フレームの画
素データを一度符号化し復号化した前フレームデータが
蓄えられている。フレームメモリ２，９からのデータの
読み出しは動きベクトル検出器４から行なわれ、前記ブ
ロックマッチングを行うブロックに分割して読み出され
る。すなわち、式（１）におけるＸ_m,nとＹ_m+i,n+jの
画素データの累計を行う画素の数だけ順に読み出す。動
きベクトル検出器４では、これらのデータを元にブロッ
クマッチングにより動きベクトルを検出する。１個のブ
ロックの動きベクトルの検出が終了すると、さらに、動
きベクトル検出器４では、次のブロックのベクトル検出
用のデータをフレームメモリ２，４から読み出し、動き
ベクトルを求める。

【０００６】減算器３では、検出された動きベクトルを
元に、動き補償した前フレームのあるブロックのデータ
をフレームメモリ９から読み出す。同時に、減算器３で
は、フレームメモリ２からは対応する現フレームのブロ
ックのデータを読み出して、動き補償した前フレームの
あるブロックのデータの差分を求めることで、動き補償
フレーム間予測符号化し、量子化器５に出力する。量子
化器５では、量子化して逆量子化器６及び符号化データ
出力端子７に符号化データとして出力する。また、動き
ベクトル検出器４により検出された動きベクトルは、ビ
デオ多重化部に転送するために動きベクトル出力端子１
０に出力される。逆量子化器６では、符号化データを逆
量子化して加算器８に出力する。逆量子化器６により逆
量子化されたデータは、フレーム間差分データであるた
め、加算器８では、この差分データと前フレームの対応
するブロックのデータと加算し、フレームメモリ９に書
き込む。フレームメモリ９に書き込まれたデータは、次
の画像入力時の前フレームのデータとして保持される。
以上により、１個のブロックに対する動きフレーム間予
測符号化処理が終了し、次のブロックの動きベクトル検
出を開始する。同様の処理を、フレーム内の全てのブロ
ックに対して繰り返して行い、１フレームの符号化処理
を終える。

【０００７】図３は、図２中の従来の動きベクトル検出
器４の構成図である。この動きベクトル検出器４では、
現画像データ入力端子２０−１、前画像データ入力端子
２０−２、評価演算部２１、及びアドレス発生器２２を
有している。評価演算部２１は、減算器２３、絶対値演
算器２４、加算器２５、及びレジスタ２６とにより構成
される。現画像データ入力端子２０−１、及び前画像デ
ータ入力端子２０−２の出力側には、減算器２３が接続
されている。減算器２３の出力側には、絶対値演算器２
４が接続されている。絶対値演算器２４の出力側には、
加算器２５が接続されている。レジスタ２６の出力側に
は、加算器２５が接続されている。加算器２５の出力側
には、レジスタ２６、２７、及び比較器２８が接続され
ている。レジスタ２７の出力側には、比較器２８が接続
されている。比較器２８の出力側には、マスク回路２９
が接続されている。アドレス発生器２２の出力側には、
マスク回路２９、ベクトル発生器３０、及びアドレス出
力端子３２−１，３２−２が接続されている。ベクトル
発生器３０の出力側には、アドレス発生器２２、及びレ
ジスタ３１が接続されている。マスク回路２９の出力側
には、レジスタ２７，３１が接続されている。レジスタ
３１の出力側には、アドレス発生器２２、動きベクトル
出力端子３２−３が接続されている。

【０００８】以下、この図を参照しつつ動きベクトル検
出器の動作の説明をする。アドレス発生器２２では、図
２中のフレームメモリ２のアドレス信号と、このアドレ
ス信号をベクトル発生器３０からの試行ベクトル
（ｉ₀，ｊ₀）の情報を元にシフトさせた図２中のフレ
ームメモリ９のアドレスを生成し、それぞれアドレス出
力端子３２−１、３２−２から出力する。アドレス出力
端子３２−１から出力されたアドレスにより、現画像デ
ータ入力端子２０−１からは現フレームの画像データが
Ｘ_0,0，Ｘ_0,1，…，Ｘ_0,N，Ｘ_1,0，Ｘ_1,1，…，Ｘ
_M,Nの順に入力される。同様に、アドレス出力端子３２
−２から出力されたアドレスにより、前画像データ入力
端子２０−２からは、ベクトル発生器２９の出力で指定
した前フレームの最初の試行ベクトル（ｉ₀，ｊ₀）に
対する画像データＹ_m+i0,n+j ₀ が入力される。これら２
系統のデータは減算器２３で減算され、この差分データ
は絶対値演算器２４で絶対値にされる。ブロック内の最
初のデータを処理するときは、レジスタ２６には何も蓄
えられていないため、加算器２５では、絶対値演算器２
４からの出力｜Ｘ_0,0−Ｙ_0+i0 _,0+j0｜をそのまま出力
する。そして、加算器２５では、次のデータが入力され
ると、レジスタ２６から出力される｜Ｘ_0,0−Ｙ
_0+i0,0+j0｜との加算を行い、その結果（Σ｜Ｘ_0,n−
Ｙ_0+i0,n+j0）を再びレジスタ２６に出力する。このレ
ジスタ２６のクロック端子には、データレートと同じ周
波数のクロックが入力される。このような累計演算をブ
ロック内の全ての画素について行い、式（１）における
評価値（Ｄ_i0,j0）を得る。累計終了時には、アドレス
発生回路２２より累計終了信号が出力され、マスク回路
２９、及びベクトル発生器３０に入力される。ベクトル
発生器３０では、この累計終了信号に基づき２番目の試
行ベクトルを表す情報をアドレス発生器２２に入力す
る。

【０００９】一方、マスク回路２９では、累計終了時の
比較器２８の出力信号を判断して、レジスタ２７，３１
にデータを取り込むためのパルスを発生する。最初の試
行ベクトルおいては、比較器２８の比較対象がないた
め、無条件に取り込みパルスが出力される。よって、評
価値（Ｄ_i0,j0）がレジスタ２７に、最初の試行ベクト
ル（ｉ₀，ｊ₀）がレジスタ３１に保持される。次に、
アドレス発生器２２では、ベクトル発生器３０からの２
番目の試行ベクトル（ｉ₀，ｊ₁）の情報に基づきフレ
ームメモリ２，９のアドレスを生成し、アドレス出力端
子３２−１，３２−２より出力する。１番目の試行ベク
トルの評価演算と同じ処理をすることで、式（１）にお
けるＤ_i0,j1を得る。比較器２８では、この評価値Ｄ
_i0,j1とレジスタ２７に保持されていた１番目の試行ベ
クトルに対する評価値Ｄ_i0,j0を比較し、新たに入力さ
れた評価値Ｄ_i0 _,j1の方が小さいと最小値検出信号をマ
スク回路２９に出力する。加算器２５の累計途中でも最
小値検出信号は出力されてしまうため、マスク回路２９
では、アドレス発生器２２からの累計終了信号が入力さ
れた時、最小値検出信号が入力されていると、レジスタ
２７，３１にデータ取り込みパルスを送出する。この信
号によりレジスタ２７にはより小さい評価値、またレジ
スタ３１にはこの時のベクトル値をホールドされる。以
後、他の試行ベクトルについても同様の処理を繰り返す
ことにより、全ての試行ベクトルの中で評価値が最小に
なるベクトルを得て、動きベクトル出力端子３２−３か
ら出力する。

【００１０】

【発明が解決しようとする課題】しかしながら、従来の
動きベクトル検出器においては、次のような課題があっ
た。動きベクトル検出器では、動きベクトルの検出をフ
レームを小分割した１６画素×１６ラインなどのブロッ
ク単位に独立して行っているため、入力画像の大部分が
同じ動きをしている場合でも各ブロック単位に異なるベ
クトルを検出する可能性があった。特に、カメラの前に
書類を提示したような場合において、文字等の書かれて
いる領域が大きな面積を占めていないようなブロック、
または文字等が薄く書かれていたり全く書かれていない
ブロックでは、式（１）で与えられる各試行ベクトルの
評価値に差が余り現れないため正確な動きベクトルを検
出できなくなり、実際には全てのブロックが同じ動きを
しているのに検出動きベクトルは、各検出ブロック単位
にバラバラの値になってしまうという問題点があった。
また、動きベクトルは直前のベクトル値との差分を伝送
するため各ブロックで値が異なると動きベクトルの符号
量が多くなり、量子化ステップサイズが大きくなり、画
質劣化の原因となっていた。

【００１１】

【課題を解決するための手段】第１の発明は、前記課題
を解決するために、ブロックマッチングにより画像の動
きベクトルを検出する動きベクトル検出器において、以
下の手段を備えている。すなわち、入力画像に含まれる
動きが単一であるか否かを判定する判定器と、現画像及
び前画像のブロック分割を行ないこのブロック単位に独
立して動きベクトルを検出する第１の動きベクトル検出
手段と前記現画像及び前記前画像のブロック分割を行な
わず１枚のフレームを一つのブロックとして動きベクト
ルを検出する第２の動きベクトル検出手段と前記判定器
の判定結果に基づいて前記第１の動きベクトル検出手段
と前記第２の動きベクトル検出手段を切り替える機能と
を有する動きベクトル検出部とを、備えている。

【００１２】第２の発明は、ブロックマッチングにより
画像の動きベクトルを検出する動きベクトル検出器にお
いて、以下の手段を備えている。すなわち、入力画像に
含まれる動きが単一であるか否かを判定する判定器と、
現画像及び前画像のブロック分割を行ないこのブロック
単位に独立して動きベクトルを検出する動きベクトル検
出手段と、前記ブロック単位に求めた動きベクトルの多
数決からフレーム全体の動きベクトルを求め、フレーム
全体の動きベクトルが決まらない場合は、前記ブロック
単位の動きベクトルを出力する多数決器と、前記判定器
の判定結果に基づいて動きベクトルとして前記動きベク
トル検出手段の出力と前記多数決回路の出力を選択する
セレクタとを、備えている。

【００１３】

【作用】第１の発明によれば、以上のように動きベクト
ル検出器を構成したので、判定器により、入力画像に含
まれる動きが単一であるか否かを判定する。例えば、動
きが単一であると考えられる場合として書類画像がある
が、書類を写した画像には、輝度レベルが高いという特
徴があり、この輝度レベルを調べることによって書類画
像であるかいなかを判定する。動きベクトル検出器は、
判定器によって「動きが単一である」と判定された時
は、１枚のフレームを一つのブロックとして動きベクト
ルを検出する第２の動きベクトル検出手段に切り替え、
「動きが単一でない」と判定された時は、ブロック単位
に独立して動きベクトルを検出する第１の動きベクトル
検出手段に切り替える。第２の発明よれば、判定器によ
り、入力画像に含まれる動きが単一であるか否かを判定
する。セレクタは、判定器によって「動きが単一であ
る」と判定された時は、動きベクトルとして、多数決器
の出力を選択し、「動きが単一でない」と判定された時
は、ブロック単位に動きベクトルを検出する動きベクト
ル検出手段の出力を選択する。従って、前記課題を解決
できるのである。

【００１４】

【実施例】第１の実施例図１は、本発明の第１の実施例を示す動きベクトル検出
器の構成図であり、図３中の要素と同様の要素には、同
一の符号を付してある。この動きベクトル検出器が、図
３の従来の動きベクトル検出器と異なる点は、現画像デ
ータ入力端子４０、入力画像が書類画像であるか否かを
判定する書類判定器４１、フレーム単位にブロックマッ
チングするためのアドレスを発生するアドレス発生器４
２、及びアドレス発生器２２，４２の出力を選択するセ
レクタ４３を新たに設けたことである。この動きベクト
ル検出器では、図２中のフレームメモリ２に保持されて
いる現画像データを入力する現画像データ入力端子４０
を有している。この現画像データ入力端子４０の出力側
には、入力画像が書類であるか否かを判定しコンパレー
タ及びカウンタで構成される書類判定器４１が接続され
ている。書類判定器４１の出力側には、ブロック単位に
アドレスを発生するアドレス発生器２２、フレーム単位
にアドレスを発生するアドレス発生器４２、及びアドレ
ス発生器２２，４２の出力を書類判定器４１の判定結果
に基づいて選択するセレクタ４３が接続されている。ア
ドレス発生器２２，４２の出力側には、セレクタ４３が
接続され、さらにセレクタ４３の出力側には、マスク回
路２９、ベクトル発生器３０、アドレス出力端子３２−
１，３２−２が接続されている。レジスタ３１の出力側
には、アドレス発生器２２，４２、及び動きベクトル出
力端子３２−３に接続されている。

【００１５】評価演算器２１からは評価値Ｓ２１、比較
器２８からは最小値検出信号Ｓ２８、マスク回路２９か
らは取り込み信号Ｓ２９、ベクトル発生器３０からは試
行ベクトルＳ３０がそれぞれ出力される。書類判定器４
１からは、判定終了信号Ｓ４１ａ、及び判定結果Ｓ４１
ｂが出力される。アドレス発生器２２からは、ブロック
単位に現画像のアドレスＳ２２ａ、前画像のアドレスＳ
２２ｂ、累計終了信号Ｓ２２ｃが出力される。アドレス
発生器４２からは、フレーム単位に現画像のアドレスＳ
４２ａ、前画像のアドレスＳ４２ｂ、累計終了信号Ｓ４
２ｃが出力される。セレクタ４３からは、ブロック単位
またはフレーム単位の現画像のアドレスＳ４３ａ、前画
像のアドレスＳ４３ｂ、累計終了信号Ｓ４３ｃが出力さ
れる。評価演算器２１、レジスタ２７、比較器２８、マ
スク回路２９、ベクトル発生器３０、アドレス発生器２
２、及びセレクタ４３は、現画像及び前画像のブロック
分割を行ないこのブロック単位に独立して動きベクトル
を検出する第１の動きベクトル検出手段を構成する。評
価演算器２１、レジスタ２７、比較器２８、マスク回路
２９、ベクトル発生器３０、アドレス発生器４２、及び
セレクタ４３は、現画像及び前画像のブロック分割を行
なわず１枚のフレームを一つのブロックとして動きベク
トルを検出する第２の動きベクトル検出手段を構成す
る。セレクタ４３によって第１の動きベクトル検出手段
と第２の動きベクトル検出手段を切り替える。

【００１６】以下、図１の動きベクトル検出器の動作を
説明する。まず、フレーム全体で１本の動きベクトルを
検出する場合の処理の流れについて説明する。図４は、
フレーム全体で１本のベクトルを検出する場合の図１の
動きベクトルの検出の流れを示す図である。まず、最初
に現画像データ入力端子４０から現フレームデータＳ４
０が入力される。この現フレームデータＳ４０は、図２
中の現画像データ入力端子１から入力されるデータと同
一で走査線単位のデータである。現画像データ入力端子
４０からの現フレームデータＳ４０は書類判定器４１に
入力される。書類判定器４１では、入力画像が書類を撮
像したものか否かを判定する。書類判定器４１での書類
判定には様々な方法が考えられるが、ここではその一例
を示す。一般に、書類を写した画像には、輝度信号のレ
ベルが高いという特徴がある。よって、現フレームの各
データの輝度信号のレベルと閾値をコンパレータにより
比較し、そのデータの輝度信号が閾値を越えた場合、そ
のデータの数をカウンタにより数える。このデータ数が
１フレームの総データ数のある割合を越えて存在するか
をコンパレータにより比較し、ある割合を越えて存在す
れば書類であると判定する。この判定は、リアルタイム
に行えるため、現フレームデータの入力が終了後、数サ
イクルで書類判定器４１の書類判定処理も終了する。書
類判定器４１では、書類であるか否かの判定結果Ｓ４１
ｂをセレクタ４３に出力し、書類判定が終了すると判定
終了信号Ｓ４１ａをアドレス発生器２２，４２に出力す
る。

【００１７】アドレス発生器２２，４２では、判定終了
信号Ｓ４１ａが入力されると内部カウンタのカウント動
作を開始し、図２中のフレームメモリ２の現フレームメ
モリ用アドレスＳ２２ａ，Ｓ４２ａと、これをベクトル
発生器３０からの１番目の試行ベクトル（ｉ_o，ｊ₀）
（図４中の試行ベクトルVec0) で補正した図２中のフレ
ームメモリ９の前フレームのメモリ用アドレスＳ２２
ｂ，Ｓ４２ｂ、及び累計終了信号Ｓ２２ｃ，Ｓ４２ｃの
３系統の信号をセレクタ４３に出力する。ここで、アド
レス発生器２２は、ブロック単位に動きベクトルを検出
するたのアドレスを生成し、アドレス発生器４２は、フ
レーム単位でベクトルを検出するためのアドレスを生成
する。セレクタ４３では、アドレス発生器２２，４２か
らの現フレームのメモリ用アドレス信号Ｓ２２ａ，Ｓ４
２ａ、前フレームのメモリ用アドレスＳ２２ｂ，Ｓ４２
ｂ、及び累計終了信号Ｓ２２ｃ，Ｓ４２ｃを書類判定器
４１からの書類判定Ｓ４１ｂに応じて切り替えて，現フ
レームのメモリ用アドレスＳ４３ａをアドレス出力端子
３２−１、前フレームのメモリ用アドレスＳ４３ｃをア
ドレス出力端子Ｓ３２−２、累計終了信号Ｓ４３ｃをベ
クトル発生器３０、及びマスク回路２９に出力する。書
類判定器４１において書類判定Ｓ４１ｂが「書類ではな
い」と判定された時は、従来の動きベクトル検出と同様
に１フレームのデータを複数のブロックに分割して処理
するため、アドレス発生器２２からの出力Ｓ２２ａ，Ｓ
２２ｂ，Ｓ２２ｃをセレクタ４３により選択して、それ
ぞれ出力する。一方、書類判定器４１において書類判定
Ｓ４１ｂが「書類である」と判定された時は、１フレー
ムのデータそのままを処理するため、アドレス発生器４
２からの出力Ｓ４２ａ，Ｓ４２ｂ，Ｓ４２ｃをセレクタ
４３により選択して、それぞれ出力する。

【００１８】セレクタ４３からの信号Ｓ４３ａ，Ｓ４３
ｂは、アドレス出力端子３２−１，３２−１に出力さ
れ、図２中のフレームメモリ２，９に入力される。この
フレームメモリ２，９から読み出されるデータが現画像
データ入力端子２０−１、前画像データ入力端子２０−
２に現れる。現画像入力端子２０−１からは、現フレー
ムデータＳ２０−１が、Ｘ_0,0，Ｘ_0,1，…，Ｘ_0,N，
Ｘ_1,0，Ｘ_1,1，…，Ｘ_M,Nの順に入力される。同様
に、アドレス出力端子３１−３から出力されたアドレス
により、前画像データ入力端子２０−２からは、前フレ
ームデータＳ２０−２がＹ_0+i0,0+j0，Ｙ_0+i0，1+j0，
…，Ｙ_0+i0,N+j0，Ｙ_1+i0,0+j0，…，Ｙ_M+i0,N+j0の
順に入力される。ここで、M 及びN はそれぞけれベクト
ル検出ブロックのライン及び画素数を示し、アドレス発
生器２２により指定された場合は、小分割したブロック
のサイズとなり、アドレス発生器４２により指定された
場合は、フレームの縦と横のサイズとほぼ同じになる。
フレーム単位のベクトル検出では、動きベクトル検出す
るためサイズをフレームと同じサイズにすると、参照画
像である前フレームデータを試行ベクトルの値で補正す
ることができなくなるため、ベクトル探索範囲の領域だ
け画面の端より内側のデータを用いてベクトル検出を行
う。評価演算器２１では、式（１）に示される評価演算
を行い、レジスタ２７及び比較器２８に評価値Ｓ２１を
出力する。比較器２８では、この評価値Ｓ２１とレジス
タ２７の内容Ｓ２７を比較し、評価値Ｓ２１の方が小さ
いと最小値検出信号Ｓ２８をマスク回路２９に出力す
る。アドレス発生器２２，４２は、データの入力の管理
を行なうと共に、内部カウンタによりカウントし、その
値がＭ×Ｎと一致した時、式（１）の評価演算が終了し
たと判断して、累計終了信号Ｓ２２ｃ，Ｓ４２ｃをセレ
クタ４３に出力する。セレクタ４３では、書類判定器４
１からの書類判定Ｓ４１ｂに基づいて、いずれかの累計
終了信号Ｓ４３ｃをマスク回路２９、及びベクトル発生
器３０に出力する。

【００１９】マスク回路２９では、この累計終了信号Ｓ
４３ｃが出力された時に、最小値検出信号Ｓ２８（図４
中では”Ｌ”レベルが最小値を表す）が出力されている
と、マスク回路２９では、レジスタ２７，３１にデータ
取り込みパルスＳ２９を出力する。レジスタ２７には、
この時の評価値Ｓ２１がホールドされ、レジスタ３１に
は、動きベクトルＳ３０がホールドされる。１番目の試
行ベクトルの場合は、レジスタ２７にデータがホールド
されていないために無条件に最小値検出信号Ｓ２８が出
力され、１番目の評価値Ｄ_i0,j0とベクトル値（ｉ₀，
ｊ₀）がレジスタ２７，３１に保持される。アドレス発
生器２２，４２からの累計終了信号Ｓ２２ｃ，Ｓ４２ｃ
はセレクタ４３を介してベクトル発生器３０にも入力さ
れる。この累計終了信号Ｓ２２ｃ，Ｓ４２ｃは，１番目
の試行ベクトルの評価が終了したことを表すため、ベク
トル発生器３０では、この累計終了信号Ｓ４３ｃを入力
後、２番目の試行ベクトルの値を出力する。このベクト
ル値を元に２番目の試行ベクトル評価用のアドレスが、
アドレス発生器２２，４２よりセレクタ４３に出力され
る。１番目と２番目の違いは、前フレームメモリのアド
レスの補正値のベクトルが（ｉ₀，ｊ₀）から（ｉ₀，
ｊ₁）になっただけ点だけである。現画像データ入力端
子２０−１からは、前回と同じ現フレームデータＸ_m,n
が入力され、前画像データ入力端子２０−２からは、前
フレームデータＹ_m+i0,n+j1が入力される。これを元に
評価演算部２１では、２番目の試行ベクトルに対する評
価を行い、これとレジスタ２７の出力Ｓ２７の１番目の
試行ベクトル評価値を比較器２８で比較する。評価演算
器２１の出力Ｓ２１の評価値の方が小さいと、比較器２
８からは最小値検出信号Ｓ２８をマスク回路２９に出力
する。比較器２８では、常に２つのデータを比較してい
るため。累計演算の途中でも最小値検出信号Ｓ２８を出
力してしまう。よって、マスク回路２９では、セレクタ
４３からの累計終了信号Ｓ４３ｃが入力された時の比較
結果を調べ、データ取り込みバルスＳ２９の送出の有無
を決定する。

【００２０】このように、評価演算器２１の出力の新た
な試行ベクトルの評価値Ｓ２１と、レジスタ２７の出力
の既に評価の終了した試行ベクトル中の最小値Ｓ２７を
比較し、新たに入力された評価値の方が小さいとマスク
回路２９からデータ取り込みパルスＳ２９が出力され、
レジスタ２７の値Ｓ２７を更新することになる。また、
その時のベクトル値がレジスタ３１にホールドされる。
図４では、最初にベクトルVec0を評価値が最小になる仮
のベクトルとしてホールドし、以後ベクトルVec3,4と新
たなベクトルに更新し、最終的にベクトルVecX-1を動き
ベクトルとして出力している。

【００２１】以上のような処理を全ての試行ベクトルに
対して行うと、レジスタ３１には式（１）の評価値が最
小となる時のベクトル値が保持されていることになり、
１個のブロックの動きベクトルの検出が終了する。アド
レス発生器２２，４２では、この検出動きベクトルを元
にした動き補償したアドレス、すなわちこのベクトルの
検出に用いた前及び現フレームのデータを読み出したア
ドレスを再びアドレス出力端子３２−１，３２−２に出
力する。このアドレスは、図２中のフレームメモリ２，
９に入力され、動き補償した前フレーム中の１個のブロ
ックのデータと、これに対応する現フレーム中の１個の
ブロックのデータが読み出される。書類判定器４１の書
類判定Ｓ４１ｂが「書類ではない」という場合、ここで
検出された動きベクトルはフレーム内の１個のブロック
に対するものである。よって、以後のブロックにおける
動きベクトルを図２中のフレームメモリ２，９からの動
き補償したデータの読み出しが終了次第引き続き検出す
る。一方、「書類である」と判定された場合、この動き
ベクトルはフレームで代表するものであるため、ベクト
ル検出を終え、次のフレームデータの入力に備える。図
５は、書類が入力された時の図１及び図３の動きベクト
ル検出器の動きベクトル検出結果を示す図であり、同図
（ａ）は、従来の図３の動きベクトル検出器の動きベク
トル検出結果を示す図であり、同図（ｂ）は、本第１の
実施例の図１の動きベクトル検出器の動きベクトル検出
結果を示す図である。この図において、前フレームでは
右下方に文字（Ａ，Ｂ，Ｃ，Ｄ，Ｅ、…）が存在した画
像が、現フレームでは左上方に移動した場合を示してい
る。図中の矢印は、動きベクトルを示す。図５（ａ）に
示すように、従来の動きベクトル検出器は、分割された
各ブロック別にベクトルを検出するため、特徴的な画像
（文字）の含まれないブロックでは正確な動きベクトル
を検出することができないが、本第１の実施例の動きベ
クトル検出部は、このような書類画像の場合はベクトル
探索を全画面を一つのブロックとして行うため、正確な
ベクトル検出が可能である。

【００２２】以上説明したように、本第１の実施例によ
れば、書類が撮像されている等入力画像信号に含まれる
動きがフレームで一つであるとあらかじめ判定する書類
判定器４１を設けたので、この判定結果で書類が撮像さ
れていると判定された場合、つまり動きが一つであると
判定された時に動きベクトルの検出をフレーム単位で行
い、１フレームに対し１本の動きベクトルとすること
で、入力画像の動きに対応したベクトルを検出すること
ができ効率のよいフレーム間予測ができるという利点が
ある。また、ビデオ多重化部では、動きベクトルを通常
直前のブロックのベクトル値との差分で伝送するため１
フレームの動きベクトルを一種類に固定することで動き
ベクトルを伝送する符号長を短くすることができるとい
う利点がある。第２の実施例図６は、本発明の第２の実施例を示す動きベクトル検出
器の構成図であり、図３の動きヘクトル検出器と共通の
要素には共通の符号を付してある。本第２の実施例の動
きベクトル検出器が従来の動きベクトル検出器と異なる
点は、現画像データ入力端子４０、入力画像が書類画像
であるか否かを判定する書類判定器４１、ブロック単位
の動きベクトルの多数決をとる多数決器５１、レジスタ
３１の出力と多数決器５１の出力を選択するセレクタ５
２を新たに設けたことである。図６に示すように、この
動きベクトル検出器では、図２中のフレームメモリ２に
接続された現画像データ入力端子４０を有している。こ
の現画像データ入力端子４０の出力側には、入力画像が
書類であるか否かを判定する書類判定器４１が接続され
ている。書類判定器４１の出力側には、ブロック単位に
アドレスを発生するアドレス発生器２２及びセレクタ５
２が接続されている。アドレス発生器２２の出力側に
は、マスク回路２９、ベクトル発生器３０、及びアドレ
ス出力端子３２−１，３２−２が接続されている。ベク
トル発生器３０の出力側には、アドレス発生器２２、及
びレジスタ３１が接続されている。レジスタ３１の出力
側には、多数決器５１、及びセレクタ５２が接続されて
いる。セレクタ５２の出力側には、アドレス発生器２
２、及び動きベクトル出力端子３２−３が接続されてい
る。

【００２３】評価演算器２１、レジスタ２７、比較器２
８、マスク回路２９、ベクトル発生器３０、及びアドレ
ス発生器２２は、現画像及び前画像のブロック分割を行
ないこのブロック単位に独立して動きベクトルを検出す
る動きベクトル検出手段を構成する。多数決器５１は、
ブロック単位に求めた動きベクトルの多数決からフレー
ム全体の動きベクトルを求め、フレーム全体の動きベク
トルが決まらない場合は、ブロック単位の動きベクトル
を出力する機能を有する。セレクタ５２は、書類判定器
４１の判定結果に基づいて動きベクトルとして動きベク
トル検出手段の出力と多数決器の出力を選択する機能を
有する。次に、図６の動きベクトル検出器の動作を説明
する。第１の実施例と同様に、現画像データ入力端子４
０より走査線単位に現フレームデータＳ４０が入力され
る。この現フレームデータは、書類判定器４１に入力さ
れる。書類判定器４１では、第１の実施例と同様に入力
画像が書類を撮像したものか否かを判定する。この書類
判定も第１の実施例と同様に、現フレームデータ内のあ
る閾値を越えた値を持つデータ数を数え、このデータ数
が１フレームの総データ数のある割合を越えて存在する
なら書類であると判定する。判定結果Ｓ４１ｂは、セレ
クタ５２の選択信号入力端子に入力される。また、書類
判定器４１では、書類判定が終了すると判定終了信号Ｓ
４１ａをアドレス発生器２２に出力する。

【００２４】アドレス発生器２２では、第１の実施例の
図１中のアドレス発生器２２と同じ動作をする。すなわ
ち、書類判定器４１から判定終了信号Ｓ４１ａが入力さ
れるとアドレスカウント動作を開始し、ブロック単位に
動きベクトルを検出するための現フレームメモリ用アド
レスＳ２２ａと、これをベクトル発生器３０からの１番
目の試行ベクトル情報（ｉ₀，ｊ₀）で補正した前フレ
ームメモリ用アドレス、Ｓ２２ｂ及び累計終了信号Ｓ２
２ｃの３系統の信号を生成する。この３系統の信号の
内、フレームメモリを制御するための現及び前フレーム
メモリ用アドレスＳ２ａ，Ｓ２２ｂはそれぞれアドレス
出力端子３２−１，３２−２より出力され、図２中のフ
レームメモリ２，９に入力される。このフレームメモリ
２，９から読み出されるデータが現フレームデータ入力
端子２０−１と前フレームデータ入力端子２０−２に現
れる。

【００２５】現画像入力端子２０−１からは、現フレー
ムデータが、Ｘ_0,0，Ｘ_0,1，…，Ｘ_0,N，Ｘ_1,0，Ｘ
_1,1，…，Ｘ_M,Nの順に入力され、同じ順に前画像デー
タ入力端子２０−２からは、前フレームデータ（Ｙ
_m+i0,n+j0）が入力される。ここで、M 及びN はそれぞ
けれベクトル検出ブロックのライン及び画素数を示す。
評価演算器２１では、式（１）に示される評価演算を行
い、レジスタ２７及び比較器２８に評価値Ｓ２１を出力
する。比較器２８では、この評価値Ｓ２１とレジスタ２
７の出力値Ｓ２７を比較し、評価演算器２１の出力の方
が小さいと最小値検出信号Ｓ２８をマスク回路２９に出
力する。アドレス発生器２２では、評価演算における累
計の終了時に、累計終了信号Ｓ２２ｃをマスク回路２
９、及びベクトル発生器３０に出力する。マスク回路２
９では、この累計終了信号Ｓ２２Ｃが出力された時の比
較器２８からの最小値検出信号Ｓ２８の状態を調べ、最
小値が検出されているとレジスタ２７，３１にデータ取
り込みパルスＳ２９を出力し、レジスタ２７にはこの時
の評価値が、レジスタ３１にはこの時のベクトル値がホ
ールドされる。１番目の試行ベクトルの場合は、レジス
タ２７にデータが蓄えられていないため無条件に最小値
検出信号Ｓ２８が出力される。アドレス発生器２２から
の累計終了信号Ｓ２２ｃはベクトル発生器３０にも入力
される。ベクトル発生器３０では、この信号の入力後、
２番目の試行ベクトルの値を出力する。このベクトル値
を元に２番目の試行ベクトルの値をアドレス発生器２２
に出力する。このベクトル値を元に２番目の試行ベクト
ル評価用のアドレスＳ２２ａ，Ｓ２２ｂが、アドレス発
生器２２より出力される。現画像データ入力端子２０−
１から前回と同じ現フレームデータＸ_m,nが入力され、
前フレームデータ入力端子２０−２からは２番目の試行
ベクトル評価用前フレームデータＹ_m+i0,n+j1が入力さ
れる。

【００２６】これを元に評価演算器２１では、２番目の
試行ベクトルに対する評価を行い、これとレジスタ２７
の出力の１番目の試行ベクトルの評価値を比較器２８で
比較する。そして、比較器２８では、評価演算器２１の
出力の評価値が小さいと最小値検出信号Ｓ２８をマスク
回路２９に出力する。マスク回路２９では、アドレス発
生器２２からの累計終了信号Ｓ２２ｃが入力された時点
の比較器２８の比較結果を調べ、データ取り込みパルス
Ｓ２９の有無を決定する。この様にして、式（１）にお
ける累計が終了する度に以前の評価値との比較を行い、
より小さい値がレジスタ２７に、その時のベクトル値が
レジスタ３１に保持されるようにする。以上のような処
理を全ての試行ベクトルに対して行い、一つのブロック
に対するベクトル検出を終える。これをフレーム内の全
てのブロックに対して行う事でフレーム内の全ブロック
の動きベクトルが得られる。多数決回路５１では、レジ
スタ３１から入力される各ブロックにおける動きベクト
ルＳ３１を保持し、これらの多数決をとることでフレー
ムを代表するベクトルを得る。ここで、ブロック単位の
動きベクトルがばらばらで多数決が得られない場合は、
ブロック単位のベクトルをそのままセレクタ５２に出力
する。セレクタ５２では、多数決回路５１の出力の代表
ベクトルＳ５１とレジスタ３１の出力の通常のブロック
単位のベクトルＳ３１を書類判定器４１の判定結果Ｓ４
１ｂによって選択し出力する。すなわち、セレクタ５２
では、書類判定器４１の判定結果Ｓ４１ｂが「書類では
ない」となっている場合は、レジスタ３１の出力の動き
ベクトルＳ３１を選択し、動きベクトル出力端子３２−
３より出力する。逆に、書類判定器４１の判定結果Ｓ４
１ｂが「書類である」と判定されている場合は、多数決
回路５１の出力のフレーム単位に１本となっている動き
ベクトルＳ５１を動きベクトル出力端子３２−３に出力
する。また、検出された動きベクトルは、アドレス発生
器２２に入力され、アドレス発生器２２では、これを元
に動き補償フレーム間予測のためのアドレスを発生し、
アドレス出力端子３２−１，３２−２に出力する。

【００２７】以上説明したように、本第２の実施例で
は、第１の実施例と同様に書類が撮像されている等入力
画像信号に含まれる動きが一つであるとあらかじめ判定
する書類判定器４１を設けて、この書類判定器４１の判
定結果で書類が撮像されているち判定された場合、つま
り動きが一つであると判定された時にブロック単位に得
られた動きベクトルの多数決でフレームを決定すること
で、１フレームに対し１本の動きベクトルになり入力画
像の動きに対応したベクトルを検出することができ効率
の良いフレーム間予測が可能となるという利点がある。
また、第１の実施例と同様に書類の場合等の時に、１フ
レームの動きベクトルを一種類に固定することで動きベ
クトルを伝送する符号長を短くすることができる。更
に、多数決器５１によりブロック単位のベクトルがばら
ばらになり多数決で代表を決められない場合、ブロック
単位の動きベクトルを出力しているので、書類が撮像さ
れていても動きベクトルが単一とならない拡大・縮小時
等にはブロック単位のベクトルを出力することができ、
ベクトルを１種類に固定することによる符号化効率の低
下を防ぐことができるという利点がある。

【００２８】なお、本発明は、上記実施例に限定されず
種々の変形が可能である。その変形例としては、例えば
次のようなものがある。（１）第１の実施例及び第２の実施例では、動きベク
トル検出器をフレーム間予測に用いた例を示したが、こ
れ以外に動き補償フレーム内挿に応用することができ
る。フレーム内挿とは、ＴＶの標準方式の変換装置など
で用いられている技術で、単位時間あたりのフレーム数
を増やすことである。図７は、動き補償フレーム内挿を
示す図であり、フレームＡとフレームＢのちょうど時間
的に中間の位置にフレームＣを内挿する場合である。単
純なフレーム内挿ではフレームＣは、フレームＡとフレ
ームＢの画素の平均値で求められるが、動きのある部分
がぼけるなどの画質劣化が発生する。動き補償内挿で
は、フレームＡ，Ｂ間で動きベクトルを求め、この動き
ベクトルを１／２にした位置にフレームＣを作成するた
めにぼけなどの発生が抑えられる。画像内には多数の動
きが含まれるため、通常は小分割したブロック単位また
は画素単位に動きベクトルを求める必要がある。ここ
で、正確な動きベクトルが検出できている場合は、空間
的に近傍にあるブロックのベクトル値はある程度類似し
た値をとるため、内挿された画像に歪みなどの発生は少
ないが、式（１）の評価値に差が余り現れないような場
合は、動きベクトルの誤り検出が発生し歪みが発生する
という問題があった。これは、書類を撮像した場合等に
よく発生することであるが、本第１または第２の実施例
の動きベクトル検出器を適用することにより、書類を撮
像した場合などでは、画面上に存在する動きが一種類で
あると推定し動きベクトルをフレーム内で一本にするこ
とで、歪みの発生を抑えることができる。（２）第１、及び第２の実施例では、書類が入力され
た場合について入力画像が書類であるか否かを判定する
書類判定回路４１によって動きベクトルを検出する方法
を変更する例について説明したが、カメラ自体が移動し
た場合についても、カメラが移動したという情報を動き
ベクトル検出器に入力し、この情報が入力された場合、
書類が入力された場合と同様に処理することによって同
様の利点が得られる。

【００２９】

【発明の効果】以上詳細に説明したように、第１の発明
によれば、動きベクトル検出器において、入力画像に含
まれる動きが単一であるか否かを判定する判定器と、ブ
ロック単位に独立して動きベクトルを検出する第１の動
きベクトル検出手段と１枚のフレームを一つのブロック
として動きベクトルを検出する第２の動きベクトル検出
手段と判定器の判定結果に基づいて第１の動きベクトル
検出手段と第２の動きベクトル検出手段とを切り替える
機能とを有する動きベクトル検出部とを備えている。そ
のため、入力画像の動きに対応した動きベクトルを検出
することができ効率のよいフレーム間予測ができる。ま
た、動きベクトルを伝送する符号長を短くすることがで
きる。

【００３０】第２の発明によれば、動きベクトル検出器
おいては、入力画像に含まれる動きが単一であるか否か
を判定する判定器と、ブロック単位に独立して動きベク
トルを検出する動きベクトル検出手段と、ブロック単位
に求めた動きベクトルの多数決からフレーム全体の動き
ベクトルを求め、フレーム全体の動きベクトルが決まら
ない場合は、ブロック単位の動きベクトルを出力する多
数決器とを備えている。そのため、第１の発明と同様の
効果がある上に、ブロック単位のベクトルがばらばらに
なり多数決で代表を決められない場合、ブロック単位の
動きベクトルを出力しているので、書類が撮像されてい
ても動きベクトルが単一とならない拡大・縮小時等には
ブロック単位のベクトルを出力することができ、ベクト
ルを１種類に固定することによる符号化効率の低下を防
ぐことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す動きベクトル検出
器の構成図である。

【図２】従来の動き補償フレーム間予測装置の構成図で
ある。

【図３】図２中の従来の動きベクトル検出器の構成図で
ある。

【図４】図１の動きベクトルの検出の流れを示す図であ
る。

【図５】図１及び図３の動きベクトル検出結果を示す図
である。

【図６】本発明の第２の実施例を示す動きベクトル検出
器の構成図である。

【図７】動き補償フレーム内挿の原理説明図である。

【符号の説明】

２０−１，４０現画像データ入力
端子２０−２前画像データ入力
端子２１評価演算器２２アドレス発生器２７，３１レジスタ２８比較器２９マスク回路４１書類判定器４２アドレス発生器４３，５２セレクタ５１多数決器

Claims

【特許請求の範囲】

【請求項１】ブロックマッチングにより画像の動きベ
クトルを検出する動きベクトル検出器において、入力画像に含まれる動きが単一であるか否かを判定する
判定器と、現画像及び前画像のブロック分割を行ないこのブロック
単位に独立して動きベクトルを検出する第１の動きベク
トル検出手段と、前記現画像及び前記前画像のブロック
分割を行なわず１枚のフレームを一つのブロックとして
動きベクトルを検出する第２の動きベクトル検出手段
と、前記判定器の判定結果に基づいて前記第１の動きベ
クトル検出手段と前記第２の動きベクトル検出手段を切
り替える機能とを有する動きベクトル検出部とを、備えたことを特徴とする動きベクトル検出器。
【請求項２】ブロックマッチングにより画像の動きベ
クトルを検出する動きベクトル検出器において、入力画像に含まれる動きが単一であるか否かを判定する
判定器と、現画像及び前画像のブロック分割を行ないこのブロック
単位に独立して動きベクトルを検出する動きベクトル検
出手段と、前記ブロック単位に求めた動きベクトルの多数決からフ
レーム全体の動きベクトルを求め、フレーム全体の動き
ベクトルが決まらない場合は、前記ブロック単位の動き
ベクトルを出力する多数決器と、前記判定器の判定結果に基づいて動きベクトルとして前
記動きベクトル検出手段の出力と前記多数決回路の出力
を選択するセレクタとを、備えたことを特徴とする動きベクトル検出器。