JP2869142B2 - 画像の動き検出方法 - Google Patents
画像の動き検出方法Info
- Publication number
- JP2869142B2 JP2869142B2 JP12661390A JP12661390A JP2869142B2 JP 2869142 B2 JP2869142 B2 JP 2869142B2 JP 12661390 A JP12661390 A JP 12661390A JP 12661390 A JP12661390 A JP 12661390A JP 2869142 B2 JP2869142 B2 JP 2869142B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- stage
- block matching
- image data
- trial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Color Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
Description
【発明の詳細な説明】 (産業上の利用分野) この発明は動画像の信号処理、特にフレーム間予測に
おける動き補償のための画像の動き検出方法に関するも
のである。
おける動き補償のための画像の動き検出方法に関するも
のである。
(従来の技術) 従来、動画像の高能率符号化においては符号化効率の
改善のためにフレーム間予測を用いることがある。単純
なフレーム間予測による動画像の符号化伝送は前画面と
の差異、つまり画像の変化した部分を符号化伝送する方
式である。従って、フレーム間予測符号化は静止画像に
対する符号化効率は非常に高いが、動きの大きい画像に
対する符号化効率は大幅に低下する。これを克服するた
めに、動きの速さおよび方向に適応した予測すなわち動
き補償フレーム間予測が必要となる。
改善のためにフレーム間予測を用いることがある。単純
なフレーム間予測による動画像の符号化伝送は前画面と
の差異、つまり画像の変化した部分を符号化伝送する方
式である。従って、フレーム間予測符号化は静止画像に
対する符号化効率は非常に高いが、動きの大きい画像に
対する符号化効率は大幅に低下する。これを克服するた
めに、動きの速さおよび方向に適応した予測すなわち動
き補償フレーム間予測が必要となる。
動き補償フレーム間予測を行うためには、入力画像の
動き、すなわち画面内の被写体がどちらの方向にどれだ
け動いたかを検出、つまり動きベクトルを検出する必要
がある。例えば、「画像伝送における高能率符号化技
術」(株式会社トリケップス(昭和62−3−31P.217−2
21)に、ブロック単位で動きベクトルを検出する“ブロ
ックマッチング方式”およびその演算量の削減を目的と
した“多段階動ベクトル検出の原理”について説明され
ている。
動き、すなわち画面内の被写体がどちらの方向にどれだ
け動いたかを検出、つまり動きベクトルを検出する必要
がある。例えば、「画像伝送における高能率符号化技
術」(株式会社トリケップス(昭和62−3−31P.217−2
21)に、ブロック単位で動きベクトルを検出する“ブロ
ックマッチング方式”およびその演算量の削減を目的と
した“多段階動ベクトル検出の原理”について説明され
ている。
ブロックマッチング方式による動きベクトルの検出と
は、第2図に示すようにこれから符号化しようとするフ
レーム内のブロックAと符号化済みの前フレーム内に存
在する最も一致するブロックBを求めることである。こ
こでブロックサイズをmライン×n画素、動きベクトル
探索範囲を±Jライン/フレーム・±K画素/フレーム
とすると、総数(2J+1)・(2K+1)通りの試行ベク
トルに対して、ブロック内の全画素のフレーム間差分の
絶対値または2乗値を求め、それらの総和に大小より評
価する。すなわち各試行ベクトルについて、ブロック内
総画素のフレーム間差分の絶対値または2乗値の総和を
比較して、最少であった試行ベクトルのブロックが“最
も一致するブロック”と判定されるのである。
は、第2図に示すようにこれから符号化しようとするフ
レーム内のブロックAと符号化済みの前フレーム内に存
在する最も一致するブロックBを求めることである。こ
こでブロックサイズをmライン×n画素、動きベクトル
探索範囲を±Jライン/フレーム・±K画素/フレーム
とすると、総数(2J+1)・(2K+1)通りの試行ベク
トルに対して、ブロック内の全画素のフレーム間差分の
絶対値または2乗値を求め、それらの総和に大小より評
価する。すなわち各試行ベクトルについて、ブロック内
総画素のフレーム間差分の絶対値または2乗値の総和を
比較して、最少であった試行ベクトルのブロックが“最
も一致するブロック”と判定されるのである。
このように、ブロックマッチング方式により1ブロッ
ク当りの動きベクトルを求めるための演算総数は、差分
演算・差分結果の絶対値演算および累積演算が必要であ
り (2J+1)×(2K+1)×(m×n)×3回 となるのである。
ク当りの動きベクトルを求めるための演算総数は、差分
演算・差分結果の絶対値演算および累積演算が必要であ
り (2J+1)×(2K+1)×(m×n)×3回 となるのである。
ここで、このブロックマッチング方式の動き検出回路
の構成例を第3図に示して説明を追加する。1は現フレ
ームの輝度信号を記憶するメモリ回路(以下現フレーム
メモリという)、2は1フレーム時間前の前フレーム輝
度信号を記憶する別のメモリ回路(以下前フレームメモ
リという)、3は現フレームメモリ1および前フレーム
メモリ2より読み出された輝度信号P,Qの差分を画素毎
に求める差分演算回路、4はその差分Rの絶対値を求め
る絶対値回路、5はその絶対値Sの1ブロック分の和を
累計する累計回路である。6は累計結果Tを格納するレ
ジスタであるが、各試行ベクトル毎に前回の結果と大小
比較回路7により判定し、前回より小さい場合のみその
値を格納すべく、クロック発生回路8が書き込みクロッ
クを発生しレジスタ6の内容が最小値に更新されていく
のである。
の構成例を第3図に示して説明を追加する。1は現フレ
ームの輝度信号を記憶するメモリ回路(以下現フレーム
メモリという)、2は1フレーム時間前の前フレーム輝
度信号を記憶する別のメモリ回路(以下前フレームメモ
リという)、3は現フレームメモリ1および前フレーム
メモリ2より読み出された輝度信号P,Qの差分を画素毎
に求める差分演算回路、4はその差分Rの絶対値を求め
る絶対値回路、5はその絶対値Sの1ブロック分の和を
累計する累計回路である。6は累計結果Tを格納するレ
ジスタであるが、各試行ベクトル毎に前回の結果と大小
比較回路7により判定し、前回より小さい場合のみその
値を格納すべく、クロック発生回路8が書き込みクロッ
クを発生しレジスタ6の内容が最小値に更新されていく
のである。
9はアドレス発生回路であり、動きベクトルを検出し
ようとするブロック内の全画素のデータを読み出すべく
アドレスを発生し現フレームメモリ1に供給すると同時
に、前フレームメモリ2へは試行ベクトル発生器10が発
生する試行ベクトル分だけ、アドレス移動回路11により
平行移動したアドレスが供給される。
ようとするブロック内の全画素のデータを読み出すべく
アドレスを発生し現フレームメモリ1に供給すると同時
に、前フレームメモリ2へは試行ベクトル発生器10が発
生する試行ベクトル分だけ、アドレス移動回路11により
平行移動したアドレスが供給される。
0(ゼロ)ベクトルを含む何通りかの試行ベクトルに対
してフレーム間差分の絶対値の累計を求めると、その累
計値が前述のごとく前回までの試行ベクトルに対する場
合よりも小さい場合のみ、クロック発生回路8が書き込
みクロックを発生するため、最後には、最も一致したベ
クトルが最適ベクトル記憶レジスタ12に格納され、端子
13より動きベクトルを出力する。
してフレーム間差分の絶対値の累計を求めると、その累
計値が前述のごとく前回までの試行ベクトルに対する場
合よりも小さい場合のみ、クロック発生回路8が書き込
みクロックを発生するため、最後には、最も一致したベ
クトルが最適ベクトル記憶レジスタ12に格納され、端子
13より動きベクトルを出力する。
こうして、ブロックマッチング方式により、動き検出
を行うことができるのであるが、探索範囲内のとりうる
すべての試行ベクトルに対して、やみくもに探索を実行
すると、動きベクトル探索範囲が±Jライン/フレーム
・±K画素/フレームの場合、総数(2J+1)・(2K+
1)通りの試行ベクトルが存在し、探索範囲を、±7ラ
イン/フレーム・±7画素/フレームに限定しても試行
回数は225回にもなる。
を行うことができるのであるが、探索範囲内のとりうる
すべての試行ベクトルに対して、やみくもに探索を実行
すると、動きベクトル探索範囲が±Jライン/フレーム
・±K画素/フレームの場合、総数(2J+1)・(2K+
1)通りの試行ベクトルが存在し、探索範囲を、±7ラ
イン/フレーム・±7画素/フレームに限定しても試行
回数は225回にもなる。
多段階ベクトル検出法は、この試行回数を削減する一
方法であり、第4図に多段階ベクトル検出の原理を3段
階検出を例に示す。
方法であり、第4図に多段階ベクトル検出の原理を3段
階検出を例に示す。
まず、第1段階では、例えば動き補償無しと等価な0
(ゼロ)ベクトルを中心に図示のように配置された8つ
の代表試行ベクトルを定め、この試行ベクトルに対し
て、前述のブロックマッチングにより、最も類似度の高
いベクトルを検出し、これを仮の動きベクトル(▲
▼)とする。第2段階では、求めるべき真の動きベクト
ルはこの仮の動きベクトル周辺に存在するはずであると
判断して、この仮の動きベクトルを中心にして更に空間
的に密な8つの代表試行ベクトルを定め、ブロックマッ
チングにより最も類似度が高いベクトルを検出し、これ
を第2の仮の動きベクトル(▲▼)とする。第3段
階は第2段階と同様な手順により第3のベクトル(▲
▼)を検出し、求めるべき真の動きベクトル()を
得ることができる。
(ゼロ)ベクトルを中心に図示のように配置された8つ
の代表試行ベクトルを定め、この試行ベクトルに対し
て、前述のブロックマッチングにより、最も類似度の高
いベクトルを検出し、これを仮の動きベクトル(▲
▼)とする。第2段階では、求めるべき真の動きベクト
ルはこの仮の動きベクトル周辺に存在するはずであると
判断して、この仮の動きベクトルを中心にして更に空間
的に密な8つの代表試行ベクトルを定め、ブロックマッ
チングにより最も類似度が高いベクトルを検出し、これ
を第2の仮の動きベクトル(▲▼)とする。第3段
階は第2段階と同様な手順により第3のベクトル(▲
▼)を検出し、求めるべき真の動きベクトル()を
得ることができる。
この例では、25回の試行回数で±7ライン/フレーム
・±7画素/フレームの探索範囲の動きベクトルの検出
が可能であり、前述のように、やみくもに試行した場合
と比較すると、試行回数を1/9に削減することができた
わけである。
・±7画素/フレームの探索範囲の動きベクトルの検出
が可能であり、前述のように、やみくもに試行した場合
と比較すると、試行回数を1/9に削減することができた
わけである。
(発明が解決しようとする課題) しかし、以上述べたように、ブロックマッチングによ
る動きベクトルの検出方法においては、膨大な演算量が
必要であり、メモリからの読みだしに要する時間から
も、実時間で探索できる範囲または試行ベクトル数が制
限される欠点があった。
る動きベクトルの検出方法においては、膨大な演算量が
必要であり、メモリからの読みだしに要する時間から
も、実時間で探索できる範囲または試行ベクトル数が制
限される欠点があった。
また、以上述べた演算量削減のための多段階ベクトル
検出法においては、第1段階において検出した最適ベク
トルが、第1段階における候補の他の8ベクトルよりも
真のベクトルに近い保証はなく、第1段階において検出
したベクトルの周辺に真のベクトルが存在しない場合が
ある。たとえば、1画素毎または1ライン毎に白黒白黒
と繰返すような空間周波数帯域が広い画質の場合等は、
第1段階のある試行ベクトルが真のベクトルに最も近く
ても、たまたま、真のベクトルと1画素または1ライン
ずれていたために、大きなフレーム間差分が検出され、
その試行ベクトルは類似度が低いと判定されてしまい、
別の試行ベクトルが選ばれる。その場合は、第2段階お
よび第3段階の探索の甲斐なく、真の動きベクトルの検
出ができないという欠点があった。
検出法においては、第1段階において検出した最適ベク
トルが、第1段階における候補の他の8ベクトルよりも
真のベクトルに近い保証はなく、第1段階において検出
したベクトルの周辺に真のベクトルが存在しない場合が
ある。たとえば、1画素毎または1ライン毎に白黒白黒
と繰返すような空間周波数帯域が広い画質の場合等は、
第1段階のある試行ベクトルが真のベクトルに最も近く
ても、たまたま、真のベクトルと1画素または1ライン
ずれていたために、大きなフレーム間差分が検出され、
その試行ベクトルは類似度が低いと判定されてしまい、
別の試行ベクトルが選ばれる。その場合は、第2段階お
よび第3段階の探索の甲斐なく、真の動きベクトルの検
出ができないという欠点があった。
この発明は以上述べた「ブロックマッチングによる動
きベクトルの検出方法においては、膨大な演算量が必要
であり、メモリからの読みだしに要する時間からも、実
時間で探索できる範囲または試行ベクトル数が制限され
る欠点」と、「演算量削減のための多段階ベクトル検出
法においては、例えば3段階検出の場合、第1段階およ
び第2段階における誤判定により真のベクトル検出がで
きなく問題点」を同時に解決し、高速ながら正確な動き
ベクトルの検出を可能にする画像の動き検出方法を提供
することを目的とする。
きベクトルの検出方法においては、膨大な演算量が必要
であり、メモリからの読みだしに要する時間からも、実
時間で探索できる範囲または試行ベクトル数が制限され
る欠点」と、「演算量削減のための多段階ベクトル検出
法においては、例えば3段階検出の場合、第1段階およ
び第2段階における誤判定により真のベクトル検出がで
きなく問題点」を同時に解決し、高速ながら正確な動き
ベクトルの検出を可能にする画像の動き検出方法を提供
することを目的とする。
(課題を解決するための手段) この発明は上記目的を達成するため、第1段階として
空間的に疎に配置された試行ベクトル中より類似度の高
い仮のベクトルをブロックマッチングで検出し、第2段
階で第1段階で検出された仮のベクトル周辺に第1段階
の場合より密に配置された試行ベクトル中より更に真の
ベクトルに近い仮のベクトルをブロックマッチングで検
出し、以下同様にして第N段階で真のベクトルを検出す
る多段階検出法による画像の動き検出方法において、入
力画像データの空間的な周波数帯域を対応する段階の試
行ベクトルの空間的な配置が疎になるほど制限するフィ
ルタと、前記フィルタからの画像データを対応する段階
の試行ベクトルの空間的な配置が疎になるほどサブサン
プル数を減じてサブサンプリングするサブサンプリング
手段と、前記サブサンプリングされた画像データをブロ
ックマッチングのための画像データとして記憶するメモ
リとを第N段階を除く各段階に対応してそれぞれ設け、
前記入力画像データをブロックマッチングのための画像
データとして記憶するメモリを第N段階に対応して設
け、前記各フィルタによる周波数帯域の制限、各サブサ
ンプリング手段によるサブサンプリング、各メモリへの
画像データの書き込みと読み出しを各段階ごとに並行し
て実行し、ブロックマッチングを行うものである。
空間的に疎に配置された試行ベクトル中より類似度の高
い仮のベクトルをブロックマッチングで検出し、第2段
階で第1段階で検出された仮のベクトル周辺に第1段階
の場合より密に配置された試行ベクトル中より更に真の
ベクトルに近い仮のベクトルをブロックマッチングで検
出し、以下同様にして第N段階で真のベクトルを検出す
る多段階検出法による画像の動き検出方法において、入
力画像データの空間的な周波数帯域を対応する段階の試
行ベクトルの空間的な配置が疎になるほど制限するフィ
ルタと、前記フィルタからの画像データを対応する段階
の試行ベクトルの空間的な配置が疎になるほどサブサン
プル数を減じてサブサンプリングするサブサンプリング
手段と、前記サブサンプリングされた画像データをブロ
ックマッチングのための画像データとして記憶するメモ
リとを第N段階を除く各段階に対応してそれぞれ設け、
前記入力画像データをブロックマッチングのための画像
データとして記憶するメモリを第N段階に対応して設
け、前記各フィルタによる周波数帯域の制限、各サブサ
ンプリング手段によるサブサンプリング、各メモリへの
画像データの書き込みと読み出しを各段階ごとに並行し
て実行し、ブロックマッチングを行うものである。
(作用) 入力画像データは各段階のフィルタにより対応する段
階の試行ベクトルの空間的間隔に応じて空間的な周波数
帯域を制限されブロックマッチングの対象とされる。こ
れにより、誤ったベクトルを選択する危険性が減り、真
のベクトルを検出する精度が向上する。
階の試行ベクトルの空間的間隔に応じて空間的な周波数
帯域を制限されブロックマッチングの対象とされる。こ
れにより、誤ったベクトルを選択する危険性が減り、真
のベクトルを検出する精度が向上する。
また、各段階のフィルタにより空間的な周波数帯域を
制限された画像データは各サブサンプリング手段により
サブサンプリングをされ、ブロックマッチングの対象と
される。このとき、サブサンプル数を対応する段階の試
行ベクトルの空間的間隔に応じて減らしているので、サ
ブサンプリングをされた画像データを記憶するメモリ容
量を小さくすることができるとともに各段階におけるベ
クトルの探索に要する時間を大幅に削減することができ
る。
制限された画像データは各サブサンプリング手段により
サブサンプリングをされ、ブロックマッチングの対象と
される。このとき、サブサンプル数を対応する段階の試
行ベクトルの空間的間隔に応じて減らしているので、サ
ブサンプリングをされた画像データを記憶するメモリ容
量を小さくすることができるとともに各段階におけるベ
クトルの探索に要する時間を大幅に削減することができ
る。
また、上記各メモリは各段階ごとに独立して設けてい
るので、各段階でのベクトル探索を並行して実行できる
のでベクトル検出の高速化またはベクトル探索範囲の拡
張が可能となる。
るので、各段階でのベクトル探索を並行して実行できる
のでベクトル検出の高速化またはベクトル探索範囲の拡
張が可能となる。
(実施例) 第1図はこの発明の実施例を示す系統図であって、
「ビデオ信号入力端子」100からのビデオ信号入力は
「空間フィルタ(1)」101を介して第1段階用「現フ
レームメモリ(1)」102に、「空間フィルタ(2)」2
01を介して第2段階用「現フレームメモリ(2)」202
に、またそのまま第3段階用「現フレームメモリ
(3)」302に書き込まれる。書き込まれる前の「現フ
レームメモリ(1)」102、「現フレームメモリ
(2)」202および「現フレームメモリ(3)」302のデ
ータは同時に各々「前フレームメモリ(1)」103、
「前フレームメモリ(2)」203および「前フレームメ
モリ(3)」303にシフトさせるようにデータパスが設
けられている。
「ビデオ信号入力端子」100からのビデオ信号入力は
「空間フィルタ(1)」101を介して第1段階用「現フ
レームメモリ(1)」102に、「空間フィルタ(2)」2
01を介して第2段階用「現フレームメモリ(2)」202
に、またそのまま第3段階用「現フレームメモリ
(3)」302に書き込まれる。書き込まれる前の「現フ
レームメモリ(1)」102、「現フレームメモリ
(2)」202および「現フレームメモリ(3)」302のデ
ータは同時に各々「前フレームメモリ(1)」103、
「前フレームメモリ(2)」203および「前フレームメ
モリ(3)」303にシフトさせるようにデータパスが設
けられている。
「ブロックマッチング回路(1)」104、「ブロック
マッチング回路(2)」204、および「ブロックマッチ
ング回路(3)」304が各段階用の「現フレームメモ
リ」から読み出されたデータと「前フレームメモリ」か
ら読み出されたデータを受け、ブロックマッチングのた
めの類似度評価のためにフレーム間差分の絶対値のブロ
ック分の累計値演算を行う。
マッチング回路(2)」204、および「ブロックマッチ
ング回路(3)」304が各段階用の「現フレームメモ
リ」から読み出されたデータと「前フレームメモリ」か
ら読み出されたデータを受け、ブロックマッチングのた
めの類似度評価のためにフレーム間差分の絶対値のブロ
ック分の累計値演算を行う。
300は「動きベクトル検出のための制御回路」であ
り、各段階用に各ブロックのデータを「現フレームメモ
リ」および「前フレームメモリ」から読み出すべく、そ
れらのメモリ回路に読み出しアドレスを与える。すなわ
ち「動きベクトル検出のための制御回路」300のA1,A2お
よびA3より各段階用の現フレーム読み出しアドレスが出
力され、B1,B2およびB3より各段階用の前フレーム読み
出しアドレスが出力される。
り、各段階用に各ブロックのデータを「現フレームメモ
リ」および「前フレームメモリ」から読み出すべく、そ
れらのメモリ回路に読み出しアドレスを与える。すなわ
ち「動きベクトル検出のための制御回路」300のA1,A2お
よびA3より各段階用の現フレーム読み出しアドレスが出
力され、B1,B2およびB3より各段階用の前フレーム読み
出しアドレスが出力される。
前フレームの読み出しアドレス(B1),(B2),(B
3)は各ブロックの各段階における動きベクトルの探索
毎に、その試行ベクトルに対して試行ベクトル分だけア
ドレスをシフトして出力され、「ブロックマッチング回
路(1)」104,「ブロックマッチング回路(2)」20
4、および「ブロックマッチング回路(3)」304は試行
毎のフレーム間差分の絶対値のブロック分の累計値を
「動きベクトル検出のための制御回路」300のC1,C2,C3
に入力する。「動きベクトル検出のための制御回路」30
0は試行毎にその累計値を比較し、類計値の最も小さい
試行ベクトルを検出し、最も類似度の高いベクトルを決
定する、いわゆるブロックマッチングを実行する。
3)は各ブロックの各段階における動きベクトルの探索
毎に、その試行ベクトルに対して試行ベクトル分だけア
ドレスをシフトして出力され、「ブロックマッチング回
路(1)」104,「ブロックマッチング回路(2)」20
4、および「ブロックマッチング回路(3)」304は試行
毎のフレーム間差分の絶対値のブロック分の累計値を
「動きベクトル検出のための制御回路」300のC1,C2,C3
に入力する。「動きベクトル検出のための制御回路」30
0は試行毎にその累計値を比較し、類計値の最も小さい
試行ベクトルを検出し、最も類似度の高いベクトルを決
定する、いわゆるブロックマッチングを実行する。
この実施例では、3段階ベクトル検出により動きベク
トルを検出するが、第1段階においては、空間的に最も
疎に配置された仮の試行ベクトルについて、ブロックマ
ッチングによる動きベクトル検出を行う。
トルを検出するが、第1段階においては、空間的に最も
疎に配置された仮の試行ベクトルについて、ブロックマ
ッチングによる動きベクトル検出を行う。
試行ベクトルの配置を第5図の説明図に示す。第1段
階の試行ベクトルは第5図のように、0(ゼロ)を中心
として、4画素・4ライン間隔で49点配置されている。
階の試行ベクトルは第5図のように、0(ゼロ)を中心
として、4画素・4ライン間隔で49点配置されている。
第2段階では、第1段階で最も類似度が高いと判断し
た仮のベクトルを中心に、2画素・2ライン間隔に配
置された、中心を含む9点の試行ベクトルについて、ブ
ロックマッチングにより更に類似度が高いと判断できる
仮のベクトルを検出し、真のベクトルはQの周辺に存
在する筈であると判断する。
た仮のベクトルを中心に、2画素・2ライン間隔に配
置された、中心を含む9点の試行ベクトルについて、ブ
ロックマッチングにより更に類似度が高いと判断できる
仮のベクトルを検出し、真のベクトルはQの周辺に存
在する筈であると判断する。
第3段階では、Qを中心に中心を含んで1画素・1ラ
イン精度で9点のベクトルを評価し、例えば、Rの場合
に類似度が最高と判定され、真のベクトルが決定す
る。
イン精度で9点のベクトルを評価し、例えば、Rの場合
に類似度が最高と判定され、真のベクトルが決定す
る。
この実施例においては、第1段階または第2段階で誤
った判定を行う可能性があるという従来の欠点を改良す
るために、第1段階用および第2段階用のフレーム間差
分を求める画素データの空間周波数帯域を制限すべく、
「ビデオ信号入力端子」100と「現フレームメモリ」の
間に各々「空間フィルタ(1)」101および「空間フィ
ルタ(2)」201が挿入されており、試行ベクトルが空
間的に疎に配置されるほど帯域を制限すると同時に試行
ベクトルの空間的距離に対応させて画素データのサンプ
ル数も減らすようにしている。
った判定を行う可能性があるという従来の欠点を改良す
るために、第1段階用および第2段階用のフレーム間差
分を求める画素データの空間周波数帯域を制限すべく、
「ビデオ信号入力端子」100と「現フレームメモリ」の
間に各々「空間フィルタ(1)」101および「空間フィ
ルタ(2)」201が挿入されており、試行ベクトルが空
間的に疎に配置されるほど帯域を制限すると同時に試行
ベクトルの空間的距離に対応させて画素データのサンプ
ル数も減らすようにしている。
第1段階用、第2段階用および第3段階用の「現フレ
ームメモリ」または「前フレームメモリ」に書き込まれ
るビデオデータの空間的なサンプル点の配置を第6図の
説明図に示す。
ームメモリ」または「前フレームメモリ」に書き込まれ
るビデオデータの空間的なサンプル点の配置を第6図の
説明図に示す。
先ず第1段階用のデータとして、周囲16の×印で示さ
れる原信号のサンプル点に対して、1つの□印のサンプ
ルデータで代表する。すなわち、標本化定理を満たすべ
く空間周波数帯域を制限した後、水平方向には原信号4
画素、垂直方法には原信号4ライからなる16点に対し、
1点の割合でサブサンプルする。
れる原信号のサンプル点に対して、1つの□印のサンプ
ルデータで代表する。すなわち、標本化定理を満たすべ
く空間周波数帯域を制限した後、水平方向には原信号4
画素、垂直方法には原信号4ライからなる16点に対し、
1点の割合でサブサンプルする。
同様に、第2段階用のデータとして、周囲4の×印で
示される原信号のサンプル点に対し、1つの○印のサン
プルデータで代表する。すなわち、同様に標本化定理を
満たすべく空間周波数帯域を制限した後、水平方向には
原信号2画素、垂直方向には原信号2ラインからなる4
点に対し、1点の割合でサブサンプルする。
示される原信号のサンプル点に対し、1つの○印のサン
プルデータで代表する。すなわち、同様に標本化定理を
満たすべく空間周波数帯域を制限した後、水平方向には
原信号2画素、垂直方向には原信号2ラインからなる4
点に対し、1点の割合でサブサンプルする。
第3段階用には、×印で示した原信号を用いる。
第1段階や2段階の空間的に疎に配置された試行ベク
トルのブロックマッチングのためには、ベクトルの配置
の精度に応じてデータの空間周波数帯域が制限されてい
るため、ベクトル検出の精度とデータの空間周波数帯域
の不釣合のために生じるベクトル誤検出が減少する筈で
ある。前述の1画素毎の白黒画像は、空間周波数帯域が
制限された結果灰色データの意味をもつため、真のベク
トルから1画素ずれていても大きなフレーム間差分が検
出されることはない。
トルのブロックマッチングのためには、ベクトルの配置
の精度に応じてデータの空間周波数帯域が制限されてい
るため、ベクトル検出の精度とデータの空間周波数帯域
の不釣合のために生じるベクトル誤検出が減少する筈で
ある。前述の1画素毎の白黒画像は、空間周波数帯域が
制限された結果灰色データの意味をもつため、真のベク
トルから1画素ずれていても大きなフレーム間差分が検
出されることはない。
また、第1段階および第2段階の1ブロックあたりの
サンプル数が減ったおかげで、第1段階および第2段階
用のフレームメモリは容量が小さくてもよく、各々独立
したメモリ回路を設けることの代価は多くはなく、この
実施例では、各段階用に独立したフレームメモリを設
け、その結果各段階の探索を並列処理することが可能で
ある。
サンプル数が減ったおかげで、第1段階および第2段階
用のフレームメモリは容量が小さくてもよく、各々独立
したメモリ回路を設けることの代価は多くはなく、この
実施例では、各段階用に独立したフレームメモリを設
け、その結果各段階の探索を並列処理することが可能で
ある。
ブロックあたりのサンプル数の削減は、同時に、ブロ
ックマッチングの評価のためのフレームメモリからの、
1試行ベクトルあたりに必要な読み出し回数を削減する
ことになる。
ックマッチングの評価のためのフレームメモリからの、
1試行ベクトルあたりに必要な読み出し回数を削減する
ことになる。
そのため、この実施例では第1段階の1試行ベクトル
あたりの読みだし時間が従来の1/16になることを利用し
て探索範囲を大幅に拡張し、試行ベクトル数を49点に増
やしても、探索時間は従来よりも短くなる。第7図
(A)はこの実施例におけるベクトル検出に要する時間
を図示したものであり、w1、w2、…はビデオデータをフ
レームメモリに書き込む時間、a1、a2、…は第1段階に
おけるブロックマッチングのために、フレームメモリよ
りデータを読み出す時間、同様にb1、b2、…およびc1、
c2、…は第2段階および第3段階におけるブロックマッ
チングのためにフレームメモリよるデータを読み出す時
間であり、ブロックマッチングのブロックの大きさが16
画素×16ラインの場合、a1は、16×49クロックで、b1は
64×9クロックで、c1は256×9クロック分である。
あたりの読みだし時間が従来の1/16になることを利用し
て探索範囲を大幅に拡張し、試行ベクトル数を49点に増
やしても、探索時間は従来よりも短くなる。第7図
(A)はこの実施例におけるベクトル検出に要する時間
を図示したものであり、w1、w2、…はビデオデータをフ
レームメモリに書き込む時間、a1、a2、…は第1段階に
おけるブロックマッチングのために、フレームメモリよ
りデータを読み出す時間、同様にb1、b2、…およびc1、
c2、…は第2段階および第3段階におけるブロックマッ
チングのためにフレームメモリよるデータを読み出す時
間であり、ブロックマッチングのブロックの大きさが16
画素×16ラインの場合、a1は、16×49クロックで、b1は
64×9クロックで、c1は256×9クロック分である。
さらに、第7図(B)に示すように、第1段階、第2
段階、第3段階のブロックマッチングを時間的に並列処
理することができ、さらに高速に動きベクトルが検出可
能となる。
段階、第3段階のブロックマッチングを時間的に並列処
理することができ、さらに高速に動きベクトルが検出可
能となる。
この場合は当然、第8図の系統図に示すように、第
2、第3段階用にはフレームメモリに書込むデータを各
々、d1、d2遅延させるために、「遅延回路」205、305を
「ビデオ信号入力端子」100と「現フレームメモリ」の
間に挿入する。
2、第3段階用にはフレームメモリに書込むデータを各
々、d1、d2遅延させるために、「遅延回路」205、305を
「ビデオ信号入力端子」100と「現フレームメモリ」の
間に挿入する。
(発明の効果) 以上、詳細に説明したように、この発明によれば、 (1) ブロックマッチングによる動きベクトルの検出
において、多段階検出法を改良して空間的に疎に配置さ
れた試行ベクトルの類似度を評価する場合には、フレー
ム間差分を求めるためのビデオデータも空間的な周波数
帯域を制限してサブサンプリングするようにしたため、
第1段階および第2段階で誤ったベクトルを選択する危
険性が減り、真のベクトルを検出する精度が向上したの
で、この発明による動きベクトル検出方法により検出し
た動きベクトルを用いて、動画像高能率符号化における
動き補償フレーム間予測を行うと、フレーム間符号化の
効率が改善される(検出精度の向上)。
において、多段階検出法を改良して空間的に疎に配置さ
れた試行ベクトルの類似度を評価する場合には、フレー
ム間差分を求めるためのビデオデータも空間的な周波数
帯域を制限してサブサンプリングするようにしたため、
第1段階および第2段階で誤ったベクトルを選択する危
険性が減り、真のベクトルを検出する精度が向上したの
で、この発明による動きベクトル検出方法により検出し
た動きベクトルを用いて、動画像高能率符号化における
動き補償フレーム間予測を行うと、フレーム間符号化の
効率が改善される(検出精度の向上)。
(2) また第1段階における、ブロックマッチングに
用いるビデオデータのサンプル数が1/16になったので、
従来の技術で説明した多段階検出法による場合と比較し
て第1段階で探索可能な試行ベクトル数を同一時間内で
16倍にすることが可能となった。あるいは同一ベクトル
数であれば、1/16の時間で探索できるようになった。こ
の例では、第1段階での試行ベクトルを49に設定したに
もかかわらず第1段階、第2段階、第3段階と順次処理
してもその合計処理時間であるメモリ読み出しサイクル
はa1+b1+c1であるので 16×49+64×9+256×9=3664(サイクル) となり、従来の方法で第1段階の試行ベクトル数9の場
合のメモリ読み出しサイクル 256×(9+8+8)=6400(サイクル)と比較す
ると、ベクトル探索範囲を面積的に4倍に広げることが
可能になった上、探索処理時間も約57%に短縮された事
になる(高速化)。
用いるビデオデータのサンプル数が1/16になったので、
従来の技術で説明した多段階検出法による場合と比較し
て第1段階で探索可能な試行ベクトル数を同一時間内で
16倍にすることが可能となった。あるいは同一ベクトル
数であれば、1/16の時間で探索できるようになった。こ
の例では、第1段階での試行ベクトルを49に設定したに
もかかわらず第1段階、第2段階、第3段階と順次処理
してもその合計処理時間であるメモリ読み出しサイクル
はa1+b1+c1であるので 16×49+64×9+256×9=3664(サイクル) となり、従来の方法で第1段階の試行ベクトル数9の場
合のメモリ読み出しサイクル 256×(9+8+8)=6400(サイクル)と比較す
ると、ベクトル探索範囲を面積的に4倍に広げることが
可能になった上、探索処理時間も約57%に短縮された事
になる(高速化)。
(3) ブロックマッチングのためのメモリを各段階毎
に独立して設けることにより、第7図(B)で説明した
ように、第3段階のベクトル探索と並列して、次のブロ
ックの第1段階、第2段階のベクトル探索をおこなうご
ときパイプライン処理が可能となり、更なるベクトル検
出の高速化またはベクトル探索範囲の拡張が実現可能で
ある。
に独立して設けることにより、第7図(B)で説明した
ように、第3段階のベクトル探索と並列して、次のブロ
ックの第1段階、第2段階のベクトル探索をおこなうご
ときパイプライン処理が可能となり、更なるベクトル検
出の高速化またはベクトル探索範囲の拡張が実現可能で
ある。
(4) 第1段階、第2段階のブロックマッチングのた
めのメモリの読みだしサイクル数を削減できたため、必
要とするメモリの小容量化・低速化に役立ち、コスト面
でも高集積化の面でも有益である。
めのメモリの読みだしサイクル数を削減できたため、必
要とするメモリの小容量化・低速化に役立ち、コスト面
でも高集積化の面でも有益である。
なお、以上は多段階のブロックマッチングに関して、
3段階の例について説明してきたが、2段階、4段階そ
の他任意の段階について実現しても、同様の効果が期待
されることは説明するまでもない。
3段階の例について説明してきたが、2段階、4段階そ
の他任意の段階について実現しても、同様の効果が期待
されることは説明するまでもない。
第1図は本発明の実施例を示す系統図、第2図は動ベク
トル検出の説明図、第3図は従来の動き検出回路、第4
図は多段階動ベクトル検出の原理図、第5図は3段階ベ
クトル検出の説明図、第6図は各段階用画素データのサ
ンプル点の説明図、第7図はベクトル検出に要する時間
の説明図、第8図は発明の第2の実施例を示す系統図で
ある。 100……ビデオ信号入力端子、101,201……空間フィルタ
(1),(2)、102,202,302……現フレームメモリ
(1),(2),(3)、103,203,303……前フレーム
メモリ(1),(2),(3)、104,204,304……ブロ
ックマッチング回路(1),(2),(3)、300……
動きベクトル検出のための制御回路、205,305……遅延
回路。
トル検出の説明図、第3図は従来の動き検出回路、第4
図は多段階動ベクトル検出の原理図、第5図は3段階ベ
クトル検出の説明図、第6図は各段階用画素データのサ
ンプル点の説明図、第7図はベクトル検出に要する時間
の説明図、第8図は発明の第2の実施例を示す系統図で
ある。 100……ビデオ信号入力端子、101,201……空間フィルタ
(1),(2)、102,202,302……現フレームメモリ
(1),(2),(3)、103,203,303……前フレーム
メモリ(1),(2),(3)、104,204,304……ブロ
ックマッチング回路(1),(2),(3)、300……
動きベクトル検出のための制御回路、205,305……遅延
回路。
フロントページの続き (56)参考文献 特開 平2−224490(JP,A) IEEE ICC‘87 Intern ational Conference on Communication (1987)p.0151−0156(A 64KBI T/S MOTION COMPENS ATED TRANSFORMCODE R USING VECTOR QUA NTIZATION WITH SCE NE ADAPTIVE CODEBO OK) (58)調査した分野(Int.Cl.6,DB名) H04N 7/24 - 7/68
Claims (1)
- 【請求項1】第1段階として空間的に疎に配置された試
行ベクトル中より類似度の高い仮のベクトルをブロック
マッチングで検出し、第2段階で第1段階で検出された
仮のベクトル周辺に第1段階の場合よりも密に配置され
た試行ベクトル中より更に真のベクトルに近い仮のベク
トルをブロックマッチングで検出し、以下同様にして第
N段階で真のベクトルを検出する多段階検出法による画
像の動き検出方法において、 入力画像データの空間的な周波数帯域を対応する段階の
試行ベクトルの空間的な配置が疎になるほど制限するフ
ィルタと、 前記フィルタからの画像データを対応する段階の試行ベ
クトルの空間的な配置が疎になるほどサブサンプル数を
減じてサブサンプリングをするサブサンプリング手段
と、 前記サブサンプリングされた画像データをブロックマッ
チングのための画像データとして記憶するメモリとを第
N段階を除く各段階に対応してそれぞれ設け、 前記入力画像データをブロックマッチングのための画像
データとして記憶するメモリを第N段階に対応して設
け、 前記各フィルタによる周波数帯域の制限、各サブサンプ
リング手段によるサブサンプリング、各メモリへの画像
データの書き込みと読み出しを各段階ごとに並行して実
行し、ブロックマッチングを行うことを特等とする動き
検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12661390A JP2869142B2 (ja) | 1990-05-18 | 1990-05-18 | 画像の動き検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12661390A JP2869142B2 (ja) | 1990-05-18 | 1990-05-18 | 画像の動き検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0423594A JPH0423594A (ja) | 1992-01-27 |
JP2869142B2 true JP2869142B2 (ja) | 1999-03-10 |
Family
ID=14939538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12661390A Expired - Fee Related JP2869142B2 (ja) | 1990-05-18 | 1990-05-18 | 画像の動き検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2869142B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6738426B2 (en) | 1999-12-10 | 2004-05-18 | Nec Corporation | Apparatus and method for detecting motion vector in which degradation of image quality can be prevented |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4493147B2 (ja) * | 2000-03-08 | 2010-06-30 | 東芝エレベータ株式会社 | 昇降機制御伝送システム |
-
1990
- 1990-05-18 JP JP12661390A patent/JP2869142B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
IEEE ICC‘87 International Conference on Communication(1987)p.0151−0156(A 64KBIT/S MOTION COMPENSATED TRANSFORMCODER USING VECTOR QUANTIZATION WITH SCENE ADAPTIVE CODEBOOK) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6738426B2 (en) | 1999-12-10 | 2004-05-18 | Nec Corporation | Apparatus and method for detecting motion vector in which degradation of image quality can be prevented |
Also Published As
Publication number | Publication date |
---|---|
JPH0423594A (ja) | 1992-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US4788589A (en) | Method and apparatus for transmitting video data | |
US7929609B2 (en) | Motion estimation and/or compensation | |
EP0446001B1 (en) | Motion vector detection circuit used in hierarchical processing of moving picture signal | |
KR950014343B1 (ko) | 고화질 티브(hdtv)의 화상데이타 움직임 추정방법 및 그 장치 | |
US5621481A (en) | Motion vector detecting apparatus for determining interframe, predictive error as a function of interfield predictive errors | |
JP3619530B2 (ja) | 画像処理方法及び画像処理装置及びテレビジョン標準変換器 | |
JPH0787495A (ja) | 動きベクトル検出装置および方法 | |
Pan et al. | VLSI architectures for block matching algorithms using systolic arrays | |
US5313296A (en) | Image information processor in which residual information is stored in a blank area of a field memory | |
JP2869142B2 (ja) | 画像の動き検出方法 | |
JPH0795591A (ja) | ディジタル画像信号処理装置 | |
JPH08149421A (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路 | |
JPH09182077A (ja) | 画像符号化方法および画像符号化装置 | |
JPH06326980A (ja) | 動き補償映像信号処理方式 | |
US6968011B2 (en) | Motion vector detecting device improved in detection speed of motion vectors and system employing the same devices | |
JP3121519B2 (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路 | |
JPH07288814A (ja) | 動きベクトル検出方法 | |
EP1104190A1 (en) | Image signal conversion device and method | |
JP2934146B2 (ja) | 動画像圧縮におけるブロック・マッチング方法と装置 | |
JP3189655B2 (ja) | 動きベクトル検出装置およびその方法 | |
JPH0787499A (ja) | 動きベクトル検出装置および方法 | |
JPH0549023A (ja) | 動画像の動き情報検出方式 | |
JP2934156B2 (ja) | 階層型動き検出方法と装置 | |
JP3698501B2 (ja) | 動きベクトル検出装置 | |
JPH0540828A (ja) | ブロツクマツチング探索方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081225 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |