JPH03123285A - 動ベクトル検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明はテレビジョン信号の動き補償予測符号化装置な
どに用いられる動ベクトル検出装置に関するものである
。

従来の技術 近年、動き補償予測符号化装置は動画像の高能率符号化
等の分野で盛んに利用されている。この動き補償予測符
号化の原理は動画像のフレーム間の相関を利用し、現フ
レームと前フレームの間の画像の動き（動ベクトルと呼
ばれる）を求めて、この動ベクトルに基づいて前フレー
ムの再生画像から現フレームの画像を予測し、これと現
フレームの画像間で予測誤差を求め、予測誤差情報と動
ベクトル情報を符号化するものである。動き補償予測フ
レーム間符号化装置では、動ベクトル検出の精度が高い
ほど、予測誤差が減少するので符号化効率が高くなる。

このフレーム間の動ベクトルを求める方法としては、フ
レームを定められた大きさのブロックに分割し、ブロッ
ク毎に前フレームの画像との相関を計算し、最も相関の
強い位置を求めそのブロックと現ブロックの位置関係を
動ベクトルとして求めるフロックマツチング法が良く知
られている。

ブロックマツチング法としては特開昭５５−１５８７８
４号公報記載の「フレーム間符号化装置」（以下、従来
例１と呼ぶ）および特開昭５８−１４３７７６号公報記
載の［フレーム間符号化装置」（以下、従来例２と呼ぶ
）が知られている。従来例１は動ベクトル検出をＮ段階
（Ｎ２２）に分けて行なう方法である。３段階に分けて
検出する例な第１１図に示す。第１段階では第１１図（
○、・）に示すように、９個の試行ベクトルについて評
価関数（差分信号の２乗和、差分信号の絶対値和など）
の値を計算し、その最小値を求める。前記９個の試行ベ
クトルで（・）が最小であった場合、第２段階では第１
１図（△、ム）に示すように、試行ベクトル（・）を中
心とし、その近傍に配置した８個の試行ベクトルについ
て第１段階と同様に評価関数値を計算しその最小値を求
める。その最小値が（ム）であった場合、第３段階では
第１１図（口、■）に示すように、（ム）を中心とし、
その近傍に配置した８個の試行ベクトルについて評価関
数値を計算し、その最小値を求め、その最小値をもつ試
行ベクトル（■）をそのブロックの動ベクトルとする方
法である。

従来例２は従来例１と同様に動ベクトルを多段階に分け
て行なう方法であるが、従来例１よりも広い範囲でベク
トルを検出するために１フレーム以前までに動ベクトル
検出が行なわれたブロックの動ベクトルを初期値として
第１段階のシフトベクトル群を定め動ベクトル検出を行
なう方法である。２段階に分けて行なう例を第１２図に
示す。

（４、−４）なるベクトル（・）が前フレームのブロッ
クの動ベクトルであった場合、第１２図に示すように、
（４、−４）を中心としてその近傍にある８個のベクト
ル（△、ム）及び初期ベクトル（・）が第１段階の試行
ベクトルとなる。この９個の試行ベクトルについて評価
関数値を計算し、その最小値を求める。第１２図におい
て試行ベクトル（ム）が最小値であった場合、第２段階
では第１２図に示すように、ベクトル（ム）を中心とし
てその近傍に配置した８個の試行ベクトル（口、■）に
ついて同様に評価関数を計算し、その最小値を求め、そ
の最小値をもつ試行ベクトル（■）をそのブロックの動
ベクトルとする方法である。

発明が解決しようとする課題 さて、上記従来例１及び従来例２で示した多段階に分け
る動ベクトル検出方法では検出のための試行ベクトル数
は検出領域内の全試行ベクトル数に比べて少なくなると
いう利点はあるが、第１段階の試行ベクトル数が少ない
ため、第１段階で実際の画像の動きと異なった方向の試
行ベクトルが選択された場合は正しいベクトル値が得ら
れない。

これを防ぐためには第１段階の試行ベクトル数を多くし
なければならない。この場合は多段階に分ける利点が減
少する。また、この方式を装置化する場合には多段階探
索を行なうための複雑な制御手段が必要となり、全体と
して装置が複雑になるという課題がある。

本発明は以上のような課題に鑑み、１段階で行え、かつ
検出精度の高い動ベクトル検出装置を提供するものであ
る。

課題を解決するための手段 上記目的を達成するため、本発明の技術的解決手段は第
１に、テレビジョン信号の１フレームを定められた大き
さのブロックに分割するブロック分割手段と、水平方向
に±２Ｍ画素、垂直方向に±２Ｎラインの領域内に存在
するＬ個の第１の試行ベクトル群を格納する試行ベクト
ル群格納手段と、前フレームの動ベクトル値を格納する
動ベクトル値格納手段と、その前フレームの動ベクトル
値を用いて第１の試行ベクトル群から水平方向に±Ｍ画
素、垂直方向に±Ｎラインの領域内に分散したＰ個の第
２の試行ベクトル群を選択する試行ベクトル群選択手段
と、前フレームと現フレームの間で生じた動ベクトルを
現フレームの処理ブロックごとに、第２の試行ベクトル
群を用いて、処理ブロックを中心とした水平方向に±Ｍ
画素、垂直方向に±Ｎラインの範囲で算出する算出手段
とを設けたものである。ただし、Ｍ、Ｎは正整数とし、
Ｌは（４Ｍ＋１　）Ｘ　（４Ｍ＋１　）よりも小さい正
整数、Ｐは（２Ｍ＋１　）Ｘ（２Ｍ＋１　）よりも小さ
い正整数とする。

第２に、テレビジョン信号の１フレームを定められた大
きさのブロックに分割するブロック分割手段と、水平方
向に±２Ｍ画素、垂直方向に±２Ｎラインの領域内に存
在するＬ個の第１の試行ベクトル群を格納する試行ベク
トル群格納手段と、現フレームの動ベクトル算出済みブ
ロックの動ベクトル値を格納する動ベクトル値格納手段
と、処理ブロックの周辺の動ベクトル値算出済みブロッ
クの動ベクトル値を用いて変位ベクトルを算出する変化
ベクトル算出手段と、その変位ベクトル値を用いて第１
の試行ベクトル群から水平方向に±Ｍ画素、垂直方向に
±Ｎラインの領域内に分散したＰ個の第２の試行ベクト
ル群を選択する試行ベクトル群選択手段と、前フレーム
と現フレームの間で生じた動ベクトルを現フレームの処
理ブロックごとに、第２の試行ベクトル群を用いて、処
理ブロックを中心とした水平方向に±Ｍ画素、垂直方向
に±Ｎラインの範囲で算出する算出手段とを設けたもの
である。但し、Ｍ、Ｎは正整数とし、Ｌは（４Ｍ＋１　
）Ｘ（４Ｍ＋１　）よりも小さい正整数、Ｐは（２Ｍ＋
１　）Ｘ（２Ｍ＋１　）よりも小さい正整数とする。

作用 本発明は動画像中の動体（例えば、ＴＶ会議における人
物像）の動きは連続するフレーム間で相関性が高いこと
を利用し、中心に試行ベクトルが密に配置された第１の
試行ベクトル群から前フレームで算出した動ベクトルと
同一方向に試行ベクトルが密となるように第２の試行ベ
クトル群を算出し、第２の試行ベクトル群を用いて動ベ
クトル探索を行なうことにより、試行ベクトル数を増や
すことなしに一段階の動ベクトル探索で検出精度を高め
た検出を行なうことかで自る。

また本発明は、処理ブロックサイズが動画像中の動体の
大きさに対し小さい場合、動画像の動体の動きは同一フ
レーム内の隣接するブロック間で相関性が高いことを利
用し、中心に密に配置しな第１の試行ベクトル群から、
同一フレーム中の隣接した動ベクトル算出済みブロック
の動ベクトルと同一方向に試行ベクトルが密に配置され
るように第２の試行ベクトル群を算出し、第２の試行ベ
クトル群を用いて動ベクトルを算出することにより、少
ない動ベクトル値メモリ部の容量で、試行ベクトルを増
やすことなしに一段階の動ベクトル探索で検出精度を高
めることができる。

実施例 以下、第１図を参照しながら本発明の第１の実施例につ
いて説明する。第１図は本発明の第１の実施例に於ける
動ベクトル検出装置のブロック図である。第１図におい
て、１は現フレームの画素値と前フレームの画素値の相
関性を比較し、第２の試行ベクトル群の中から動ベクト
ルを算出する動ベクトル算出部、２は算出した動ベクト
ルを蓄積する動ベクトル値メモリ部、３は第１の試行ベ
クトルを格納した試行ベクトル群メモリ部、４は前フレ
ームの動ベクトルを用いて第１の試行ベクトルより第２
の試行ベクトルを選択する試行ベクトル群選択部である
。

以上のような構成において、以下その動作を説明する。

動ベクトル算出部１は、前述した従来例１．２に記述さ
れているブロックマツチング法を用いて動ベクトル検出
を行なう。動ベクトル算出部１は、現フレーム画素値ａ
と試行ベクトル（ｈＨｌｈｖ）を用いて位置シフトさせ
た前フレーム画素値すとの相関性をブロック単位で評価
関数りを用いて測定し、最も相関性が高い試行ベクトル
（ｈＨ。

ｈｖ）を動ベクトル（ｄＨ，ｄＶ）として出力する。

動ベクトル算出部１の内部構成と動作は従来例１．２に
記述されているので省略する。

次に、動ベクトル値メモリ部２は、第２図に示すように
ブロックアドレスＣで示したアドレスに動ベクトル（ａ
Ｈ，ｄｖ）を書き込み、前フレームの動ベクトル（ｅＨ
，ｅＶ）を読みだす１フレ一ム分のメモリ素子２１．２
２より構成されている。

処理ブロックの動ベクトル算出開始時、ブロックアドレ
スＣで示した前フレームの動ベクトル（ｅＨ。

ｅＶ）が読み出される。また、処理ブロックの動ベクト
ル算出が終了すると動ベクトル（ｄＨ，ｄｖ）は、フロ
ックアドレスＣで示したアドレスに書き込まれる。なお
、第１フレーム（符号化開始フレーム）の動ベクトル検
出処理開始前に動ベクトル値メモリ部２の全ブロックア
ドレスにゼロベクトルが書き込まれる。

以下の説明において動ベクトルの検出範囲は、水平方向
に±７画素、垂直方向に±７画素とする。

試行ベクトル群メモリ部３には、第３図に示す第１の試
行ベクトル群が書き込まれている。第１の試行ベクトル
群は、後述する試行ベクトル群選択部４において前フレ
ームの動ベクトル（ｅＨ，ｅＶ）を用いて所定の動ベク
トル検出範囲に第２の試行ベクトル群を得るなめに水平
方向±１４画素、垂直方向±１４画素の領域に試行ベク
トルを配置した試行ベクトル群である。

第４図に試行ベクトル群メモリ部３の内部構成を示す。

後述する試行ベクトル群選択部４より、動ベクトル探索
領域内の水平・垂直アドレス（ｆＨｌｆＶ）が入力する
と、アドレスデコード回路３１で１次元アドレスに変換
する。個々のアドレス情報に対して、試行ベクトル値メ
モリ回路３２で試行ベクトルの有効・無効を示す情報ｇ
を出力する。

次表に第４図に示した第１の試行ベクトル群を実現する
ための試行ベクトル群メモリ回路３２への入力アドレス
と試行ベクトル有効・無効情報ｇの関係の一部を示す。

ただしｇ＝１の時、試行ベクトルが有効であるとする。

以下余白 次に試行ベクトル選択部４の動作を説明する。

試行ベクトル選択部４の動作の流れを第６図に、詳細内
部構成を第６図に示す。処理ブロックの動ベクトル算出
開始時、前フレームの動ベクトル値（ｅＨ，ｅｖ）が入
力されると、シフトベクトル演算回路４１は、第（１）
式よりシフトベクトル（ｅイ、ｅＶ’）を算出する。［
第６図（ａ）の（イ）］ｅ　Ｈ’＝＝　ｅ　ＨＸ　（−
１）　　−−（１）ｅＶ＝ｅＶｘ（−１） 次に、検出領域演算回路４２はシフトベクトル（ｅ１４
’、ｅＶ’）を中心に、水平方向±７画素、垂直方向±
７画素の動ベクトル検出領域を第（２）式により算出す
る。［第５図（ａ）の（Ｏ）］］ｅＨ−７≦ｆＨ≦ｅＨ
＋　７　・・・・・・（２）ｅＨ−７≦　ｆｖ　≦　ｅ
Ｖ＋７ 検出領域アドレススキャン回路４３は、第（２）式で算
出した領域内のアドレス（ｆＨ，ｆＶ）を頭次スキャン
し、試行ベクトル群メモリ部３へ出力する。検出領域内
の各アドレス（ｆＨ，ｆＶ）に対し試行ベクトル群メモ
リ部３はアドレス（ｆＨｌＩＶ）が試行ベクトルとして
有効であるか無効であるかの情報ｇを出力する。［第５
図（ａ）の（ハ）］前記情報ｇと、アドレス情報（ｆＨ
，ｆＶ）の論理和演算をＡＮＤゲート４４で行い、試行
ベクトルの候補アドレス（ｇ＝１のアドレス）のみ試行
ベクトルの候補ベクトル（ｋＨ，ｋＶ）として試行ベク
トル生成回路４６へ入力する。試行ベクトル生成回路４
６では、試行ベクトルの候補アドレス（ｋＨ，ｋＶ）に
対し前フレームの動ベクトル値ｅを第（′４式のように
加算して試行ベクトル（ｈＨ，ｈＶ）を生成する。［第
６図（ａ）のに）］ｈ　Ｈ＝　ｋ　Ｈ＋　ｅ　Ｈ−−（
３）ｈＶ　　＝　　ｋｖ　＋　　ｅＶ 以上の動作により、前フレームの動ベクトル値（ｅＨ，
ｅＶ）＝（４，４）とした場合の算出される第２の試行
ベクトル群を第７図に示す。

次に、第８図を参照しながら本発明の第２の実施例につ
いて説明する。以下、第８図を参照しながら本発明の第
２の実施例について説明する。第８図は本発明の第２の
実施例における動ベクトル検出装置のブロック図である
。第８図において、１は現フレームの画素値と前フレー
ムの画素値の相関性を比較し、第２の試行ベクトル群の
中から動ベクトルを算出する動ベクトル算出部、２人は
現フレームの動ベクトル算出済みブロックの動ベクトル
を蓄積する動ベクトル値メモリ部、２Ｂは処理ブロック
の周辺にある動ベクトル算出済みブロックの動ベクトル
を用いてシフトベクトルを算出するシフトベクトル演算
部、３は第１の試行ベクトルを格納した試行ベクトル群
メモリ部、４は前フレームの動ベクトルを用いて第１の
試行ベクトル群より第２の試行ベクトル群を選択する動
ベクトル選択部である。

以上のような構成において、以下その動作を説明する。

但し、試行ベクトル群メモリ部３、試行ベクトル群選択
部４、動ベクトル算出部１については、内部構成と動作
が第１の実施例と同じなので説明を省略する。

動ベクトル値メモリ部２人は、第９図に示すように処理
ブロックに隣接した動ベクトル算出済みブロックの動ベ
クトル値を書き込むシフトレジスタ２Ａ１より構成され
ている。処理ブロックの動ベクトル算出開始時、第１０
図に示す隣接した動ベクトル算出済みの２ブロツクの動
ベクトル値（ｅＩＨ，ｅＩＶ）、（ｅ２Ｈ，ｅ２Ｖ）を
読みだしシフトベクトル算出部２Ｂへ出力する。処理ブ
ロックの動ベクトル算出が終了すると動ベクトル（ｄＨ
，ｄＶ）は、シフトレジスタに書き込まれる。なお、動
ベクトル算出開始前に、シフトレジスタ２ＡＩにはゼロ
ベクトルが書き込まれる。

シフトベクトル演算部２Ｂは、第（４）式の演算処理を
行いシフトベクトル（ｅＨ，ｅＶ）を算出する。

（ｅ１Ｈ＋ｅ２Ｈ）÷２＝ｅＨ・・・・・・　（４）（
ｅＩＶ＋ｅ２Ｖ）÷２＝ｅＶ 以降、試行ベクトル選択部４は第１の実施例に記述した
動作と同一の動作によりシフトベクトル（ｅＨ，ｅＶ）
を用いて試行ベクトル群メモリ部３に書き込まれた第１
の試行ベクトル群より第２の試行ベクトル群を算出し、
動ベクトル算出部１は第２の試行ベクトル群を用いて動
ベクトル（ｄＨ。

ｄＶ）を算出する。

発明の効果 以上のように、本発明は動画像中の動体（例えば、ＴＶ
会議における入物像）の動きは連続するフレーム間で相
関性が高いことを利用し、中心に試行ベクトルが密に配
置された第１の試行ベクトル群から前フレームで算出し
た動ベクトルと同一方向に試行ベクトルが密となるよう
に第２の試行ベクトル群を算出し、第２の試行ベクトル
群を用いて動ベクトル探索を行うことにより、試行ベク
トル数を増やすことなしに一段階の動ベクトル探索で検
出精度を高めた検出を行うことができ、その効果は大き
い。

さらに本発明は、処理ブロックサイズが動画像中の動体
の大きさに対し小さい場合、動画像の動体の動きは同一
フレーム内の隣接するブロック間で相関性が高いことを
利用し、中心に密に配置した第１の試行ベクトル群から
、同一フレーム中の隣接した動ベクトル算出済みブロッ
クの動ベクトルと同一方向に試行ベクトルが密に配置さ
れるように第２の試行ベクトル群を算出し、第２の試行
ベクトル群を用いて動ベクトルを算出することにより、
少ない動ベクトル値メモリ部の容量で、試行ベクトルを
増やすことなしに一段階の動ベクトル探索で検出精度を
高めることができ、その効果は大きい。

【図面の簡単な説明】

第１図は本発明の第１の実施例における動ベクトル検出
装置のブロック結線図、第２図は同実施例における動ベ
クトル値メモリ部の詳細なブロック結線図、第３図は同
実施例における第１の試行ベクトル群を示した概念図、
第４図は同実施例における試行ベクトル群メモリ部の詳
細なブロック結線図、第６図は同実施例における第１の
試行ベクトル群から第２の試行ベクトル群を選択するア
ルゴリズムを示した流れ図、第６図は同実施例における
試行ベクトル群選択部の詳細な構成を示したブロック結
線図、第７図は同実施例において選択された第２の試行
ベクトル群を示した概念図、第８図は本発明の第２の実
施例における動ベクトル検出装置のブロック結線図、第
９図は同実施例における動ベクトル値メモリ部の詳細な
ブロック結線図、第１０図は同実施例における処理ブロ
ックと動ベクトル検出済みブロックとの関係図、第１１
図、第１２図は従来の多段階動ベクトル検出法を示した
図である。 １・・・動ベクトル算出部、２・・・動ベクトル値メモ
リ部、３・・・試行ベクトル群メモリ部、４・・・試行
ベクトル群選択部、２１・・・水平方向動ベクトルメモ
リ、２２・・・垂直方向動ベクトルメモリ、３１・・・
アドレスデコード回路、３２・・・試行ベクトル値メモ
リ回路、４１・・・シフトベクトル演算回路、４２・・
・検出領域演算回路、４３・・・検出領域アドレススキ
ャン回路、４４・・・ＡＮＤゲート、４６・・・試行ベ
クトル生成回路、２人・・・動ベクトル値メモリ部、２
　Ｂ　９．。 シフトベクトル演算部、２ＡＩ・・・シフトレジスタ。

Claims (2)

【特許請求の範囲】
1. （１）テレビジョン信号の１フレームを定められた大き
   さのブロックに分割するブロック分割手段と、水平方向
   に±２Ｍ画素、垂直方向に±２Ｎラインの領域内に存在
   するＬ個の第１の試行ベクトル群を格納する試行ベクト
   ル群格納手段と、前フレームの動ベクトル値を格納する
   動ベクトル値格納手段と、その前フレームの動ベクトル
   値を用いて第１の試行ベクトル群から水平方向に±Ｍ画
   素、垂直方向に±Ｎラインの領域内に分散したＰ個の第
   ２の試行ベクトル群を選択する試行ベクトル群選択手段
   と、前フレームと現フレームの間で生じた動ベクトルを
   現フレームの処理ブロックごとに、第２の試行ベクトル
   群を用いて、処理ブロックを中心とした水平方向に±Ｍ
   画素、垂直方向に±Ｎラインの範囲で算出する算出手段
   とを具備した動ベクトル検出装置。 （但し、Ｍ、Ｎは正整数とし、Ｌは（４Ｍ＋１）×（４
   Ｍ＋１）よりも小さい正整数、Ｐは（２Ｍ＋１）×（２
   Ｍ＋１）よりも小さい正整数）
2. （２）テレビジョン信号の１フレームを定められた大き
   さのブロックに分割するブロック分割手段と、水平方向
   に±２Ｍ画素、垂直方向に±２Ｎラインの領域内に存在
   するＬ個の第１の試行ベクトル群を格納する試行ベクト
   ル群格納手段と、現フレームの動ベクトル算出済みブロ
   ックの動ベクトル値を格納する動ベクトル値格納手段と
   、処理ブロックの周辺の動ベクトル値算出済みブロック
   の動ベクトル値を用いて変位ベクトルを算出する変化ベ
   クトル算出手段と、その変位ベクトル値を用いて第１の
   試行ベクトル群から水平方向に±Ｍ画素、垂直方向に±
   Ｎラインの領域内に分散したＰ個の第２の試行ベクトル
   群を選択する試行ベクトル群選択手段と、前フレームと
   現フレームの間で生じた動ベクトルを現フレームの処理
   ブロックごとに、第２の試行ベクトル群を用いて、処理
   ブロックを中心とした水平方向に±Ｍ画素、垂直方向に
   ±Ｎラインの範囲で算出する算出手段とを具備した動ベ
   クトル検出装置。 （但し、Ｍ、Ｎは正整数とし、Ｌは（４Ｍ＋１）×（４
   Ｍ＋１）よりも小さい正整数、Ｐは（２Ｍ＋１）×（２
   Ｍ＋１）よりも小さい正整数）