JP2000333183A - 動きベクトル検出方法 - Google Patents
動きベクトル検出方法Info
- Publication number
- JP2000333183A JP2000333183A JP11144494A JP14449499A JP2000333183A JP 2000333183 A JP2000333183 A JP 2000333183A JP 11144494 A JP11144494 A JP 11144494A JP 14449499 A JP14449499 A JP 14449499A JP 2000333183 A JP2000333183 A JP 2000333183A
- Authority
- JP
- Japan
- Prior art keywords
- group
- pixel
- motion vector
- block
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
クトル検出方法において、少ない演算量で動きベクトル
を検出することを目的とする。 【解決手段】 ブロック画像内の1つまたは複数の画素
が属するグループを同ブロック画像内に複数設け、各グ
ループそれぞれに対し代表値を求め、ブロック画像間で
対応する各グループの代表値の差分絶対値を総和し、こ
の総和値をブロック画像間の相関度を示す値とする。各
グループの代表値は、同グループに属する全画素の値に
対し数値演算手順Aを施した演算結果値であり、かつ、
互いに水平又は垂直方向に1画素ずれた位置関係にある
ブロック画像同士の対応するグループの代表値におい
て、一方のグループの代表値と、一方のグループにのみ
属する画素の値に対し数値演算手順Bを施した演算結果
値と、もう一方のグループ代表値が等しい。
Description
符号化などの際に用いる、動きベクトルを検出する動き
ベクトル検出方法に関するものである。
る方法としてブロックマッチング方法と呼ばれる方法が
広く知られている。ブロックマッチング方法を、図8と
図9を参照しながら説明する。
2は画像S、画像M1001及び画像S1002は動画
像を構成するお互い時間的に異なる画像である。100
3は画像1001M内の動きベクトルを検出するブロッ
ク画像M、1004は画像S1002内の動きベクトル
を探索する範囲S、範囲S1004内にはブロック画像
M1003と同じ大きさのブロック画像が複数存在す
る。1005は上記複数存在するブロック画像内の1つ
であるブロック画像S、1006はブロック画像M10
03からブロック画像S1005までのベクトルであ
る。
動きベクトルを検出する。まず、動きベクトルを検出す
るブロック画像M1003と、動きベクトルを探索する
範囲S1004内の全てのブロック画像との、ブロック
画像間の相関度を求める(S1101)。そして、最も
相関度が高いブロック画像を検出し、上記ブロック画像
までベクトルを、動きベクトルとして検出する(S11
02)。例えば、ブロック画像M1003とブロック画
像S1005との相関度が最も高い場合、ベクトル10
06が動きベクトルとして検出される。
は、ブロック画像間の相関度をもとに動きベクトルを検
出する方法である。このブロック画像間の相関度を示す
値には、従来、各ブロック画像間で空間的に同じ位置に
存在する画素の差分絶対値の総和値を用いている。上記
ブロック画像間の相関度を示す値を算出する手順を、図
10と図11のフローチャートを参照しながら説明す
る。
ベクトルを検出するブロック画像M、1202から12
17は画素M[1]から画素M[16]、ブロック画像
M1201は画素M[1]1202から画素M[16]
1217までの画素で構成される。1218は図8中の
動きベクトルを探索する範囲S、1219及び1220
は範囲S1218内のブロック画像M1201と同じ大
きさのブロック画像Sa及びブロック画像Sb、122
1〜1240は画素S[1]から画素S[20]、ブロ
ック画像Sa1219は画素S[1]1221から画素
S[16]1236までの画素で構成され、ブロック画
像Sb1220は画素S[5]1225から画素S[2
0]1240までの画素で構成され、互いに1画素ずれ
た位置関係にあるブロック画像である。
るには、各ブロック画像間で空間的に同じ位置に存在す
る画素の値の差分絶対値を求め、その差分絶対値を総和
する。(S1301)。ブロック画像M1201とブロ
ック画像Sa1219において、nが1から16までの
整数である場合、各ブロック画像間で空間的に同じ位置
に存在する画素は、M[n]とS[n]である。この画
素の値の差分絶対値を総和した値は、(数1)で示され
る。
像M1201とブロック画像Sa1219との相関度を
示す値である。空間的に対応する各画素値が同じであれ
ばあるほど、各画素値の差分絶対値を総和した値は小さ
くなり、相関度が高いことを示す。
画像Sb1220との相関度を示す値は(数2)に示す
値である。
ベクトルを検出する上記ブロックマッチング方法におい
て、ブロック画像間の相関度を示す値として、上記各ブ
ロック画像内で空間的に同じ位置に存在する画素の差分
絶対値の総和値を用いた場合の、1ブロック画像当たり
の動きベクトル検出に要する演算量について説明する。
きベクトルを検出するブロック画像であるブロック画像
M1003のサイズは水平M画素垂直N画素、ブロック
画像M1003の動きベクトルを探索する範囲である範
囲S1004のサイズは水平A画素垂直B画素であると
する。また、加減算は1演算量、絶対値演算は1演算
量、加減算と絶対値演算の組み合わせである差分絶対値
演算は2演算量であるとする。
計算は、上記したように、各ブロック画像内で空間的に
同じ位置に存在する画素の差分絶対値を総和する計算で
ある。ブロック画像にはM×N個の画素が存在するの
で、空間的に同じ位置に存在する画素の組はM×N組存
在する。各画素の組に対し2演算量の差分絶対値演算と
施し、各画素の組の差分絶対値演算結果に対し1演算量
の加算を施す為、上記計算はN×M×3−1演算量とな
る。
に、範囲S1004内に複数存在するブロック画像M1
003と同じ大きさの全てブロックに対し、ブロック画
像M1003との相関度を計算する。範囲S1004内
にはブロック画像M1003と同じ大きさのブロック画
像が(A−M)×(B−N)個存在する。この為、上記
ブロック画像間の相関度を求める計算を(A−M)×
(B−N)回行うことになる。
て、ブロック画像間の相関度を示す値として、各ブロッ
ク画像内で空間的に同じ位置に存在する画素の差分絶対
値の総和値を用いた場合、1ブロック画像当たりの動き
ベクトル検出に要する演算量は(A−M)×(B−N)
×(M×N×3−1)演算量となる。
ロック画像間の相関度もとに動きベクトルを検出するブ
ロックマッチング方法において、ブロック画像間の相関
度を示す値として、従来は、各ブロック画像内で空間的
に同じ位置に存在する画素の差分絶対値の総和値を用い
ていた。
では、1ブロック画像当たりの動きベクトル検出に要す
る演算量は(A−M)×(B−N)×(M×N×3−
1)演算量となる。
に、動きベクトルを検出するブロック画像のサイズは水
平16画素垂直16画素、動きベクトルを探索する範囲
は最低でも水平48画素垂直48画素である。この為、
上記従来の動きベクトル検出方法では、動きベクトルを
検出する為に、1ブロック画像当たり(48−16)×
(48−16)×(16×16×3−1)=78540
8演算量という莫大な演算量を必要とする。
方法に比べ、少ない演算量で、動きベクトルを検出す
る、動きベクトル検出方法を提供することを目的とす
る。
に、本発明の動きベクトル検出方法は、ブロック画像内
の1つもしくは複数の画素が属するグループを、同ブロ
ック画像内に複数設け、上記各グループそれぞれに対し
代表値を定め、ブロック画像間で対応する上記各グルー
プの代表値の差分絶対値を総和し、上記総和値をブロッ
ク画像間の相関度を示す値とする、ブロック画像間の相
関度をもとに画像間の動きベクトルを検出する動きベク
トル検出方法である。
ープに属する全画素の値に対し数値演算手順Aを施した
演算結果値であり、かつ、お互い水平または垂直方向に
1画素ずれた位置関係にあるブロック画像同士の対応す
るグループの代表値において、一方のグループの代表値
と、一方のグループにのみ属する画素の値に対し、数値
演算手順Bを施した演算結果値と、もう一方のグループ
代表値が等しい。
関度もとに動きベクトルを検出するブロックマッチング
方法において、ブロック間の相関度を示す値として、従
来は、各ブロック内で空間的に同じ位置に存在する画素
の差分絶対値の総和値を用いていたが、ブロック間の相
関度を示す値として、ブロック画像にグループを設け、
上記各グループの代表値の差分絶対値を総和した値を用
いる。
ープに属する全画素の値に対し数値演算手順Aを施した
演算結果値であり、かつ、お互い水平または垂直方向に
1画素ずれた位置関係にあるブロック画像同士の対応す
るグループの代表値において、一方のグループの代表値
と、一方のグループにのみ属する画素の値に対し、数値
演算手順Bを施した演算結果値と、もう一方のグループ
代表値が等しい為に、従来に比べ少ない演算量で動きベ
クトルを検出することができる。
は、ブロック画像間の相関度をもとに画像間の動きベク
トルを検出する動きベクトル検出方法であって、ブロッ
ク画像内の1つもしくは複数の画素が属するグループ
を、同ブロック画像内に複数設け、上記各グループそれ
ぞれに対し代表値を定め、ブロック画像間で対応する上
記各グループの代表値の差分絶対値を総和し、上記総和
値をブロック画像間の相関度を示す値とすることを特徴
とする動きベクトル検出方法である。
の動きベクトル検出方法において、グループの代表値
が、同グループに属する全画素の値に対し数値演算手順
Aを施した演算結果値であり、かつ、お互い水平または
垂直方向に1画素ずれた位置関係にあるブロック画像同
士の対応するグループの代表値において、一方のグルー
プの代表値と、一方のグループにのみ属する画素の値に
対し、数値演算手順Bを施した演算結果値と、もう一方
のグループ代表値が等しくしたもので、従来に比べ少な
い演算量で動きベクトルを検出することができる作用を
有する。
2に記載の動きベクトル検出方法において、数値演算手
順Aが総和演算手順であるもので、同様に、従来に比べ
少ない演算量で動きベクトルを検出することができる作
用を有する。
2に記載の動きベクトル検出方法において、数値演算手
順Aが総乗演算手順であるもので、同様に、従来に比べ
少ない演算量で動きベクトルを検出することができる作
用を有する。
2に記載の動きベクトル検出方法において、各グループ
の代表値の分布状況により、各グループの代表値を算出
する数値演算手順Aを選択変更することを特徴とするも
ので、各グループの代表値の分散値が定めた値より小さ
い場合には、数値演算手順Aを変更し、再度グループ代
表値を算出する。この構成も同様に、従来に比べ少ない
演算量で動きベクトルを検出することができる作用を有
する。
から図7を用いて説明する。
態1における動きベクトル検出装置のハードウエア構成
図を示し説明する。
出するブロック画像M、102はブロック画像M101
の動きベクトルを探索する範囲S内の画像、103はブ
ロック画像M101及び範囲S102内の画像を入力す
る入力手段、104はブロック画像M101及び範囲S
102内の画像を保持する記憶手段、105はハードウ
エア全体を統括的に制御するプログラムされた主制御
部、106は主制御部105で検出された動きベクトル
を出力する出力手段、107は出力手段106から出力
された動きベクトルである。
明の動きベクトル検出方法により動きベクトルを検出す
る。
101と範囲S102内の画像を入力手段103から入
力し、記憶手段104に保持する。そして、主制御部1
05は、プログラムされた本発明の動きベクトル方法の
手順に従い、記憶手段104に保持されたブロック画像
M101と範囲S102内の画像から動きベクトル10
7を検出する。最後に、動きベクトル107を出力手段
106から出力する。
の動きベクトル方法の手順を図9のフローチャートを参
照しながら説明する。まず、主制御部105は、動きベ
クトルを検出するブロック画像M101と、動きベクト
ルを探索する範囲S102内の全てのブロック画像と
の、ブロック画像間の相関度を求める(S1101)。
そして、主制御部105は、最も相関度が高いブロック
画像間のベクトルを検出し、そのベクトルを動きベクト
ルとして検出する(S1102)。
順は、従来の技術に記したブロックマッチング方法の手
順と同じである。本発明の動きベクトル検出方法も、ブ
ロックマッチング方法を用いており、この点に関しては
従来の動きベクトル検出方法と同じである。
いるブロック画像間の相関度を示す値として、従来の動
きベクトル検出方法は、各ブロック画像内で空間的に同
じ位置に存在する画素の差分絶対値の総和値を用いてい
たが、本発明の動きベクトル検出方法では、各ブロック
画像間で対応するグループの代表値の差分絶対値を総和
した値を用いる。この点が従来の動きベクトル検出方法
と異なる。
いる、ブロック画像間の相関度を示す値を算出する手順
を、図2〜図4のブロック画像図及び図5に示すフロー
チャートを参照しながら説明する。
出するブロック画像M及び、動きベクトルを探索する範
囲S内の画像102を示した図である。図2において、
201は図1中の動きベクトルを検出するブロック画像
M、202から217は画素M[1]から画素M[1
6]である。そして、ブロック画像M201は画素M
[1]202から画素M[16]217までの画素で構
成される。
範囲S内の画像、219〜222は範囲S内に存在す
る、ブロック画像M201と同じサイズのブロック画像
Sa及びブロック画像Sb及びブロック画像Sc及びブ
ロック画像Sd、223〜247は画素S[1]から画
素S[25]である。
S[1]223から画素S[4]226、画素S[6]
228から画素S[9]231、画素S[11]233
から画素S[14]236及び画素S[16]238か
ら画素S[19]241までの画素で構成される。
[6]228から画素S[9]231、画素S[11]
233から画素S[14]236、画素S[16]23
8から画素S[19]241及び画素S[21]243
から画素S[24]246までの画素で構成される。
[2]224から画素S[5]227、画素S[7]2
29から画素S[10]232、画素S[12]234
から画素S[15]237及び画素S[17]239か
ら画素S[20]242までの画素で構成される。
[7]229から画素S[10]232、画素S[1
2]234から画素S[15]237、画素S[17]
239から画素S[20]242及び画素S[24]2
44から画素S[25]247までの画素で構成され
る。
画像Sb220、ブロック画像Sc221とブロック画
像Sd222は互いに水平方向に1画素ずれた位置関係
にあるブロック画像であり、ブロック画像Sa219と
ブロック画像Sc221、ブロック画像Sb220とブ
ロック画像Sd222は互いに垂直方向に1画素ずれた
位置関係にあるブロック画像である。
ロック画像内に複数のグループを設ける。本実施の形態
では、各ブロック画像内に、水平位置が同じである画素
が属するグループ及び、垂直位置が同じである画素が属
するグループを設ける。
グループを示した図、図4はブロック画像Sa219、
ブロック画像Sb220、ブロック画像Sc221及び
ブロック画像Sd222内に設けたグループを示した図
である。図3において、202〜271は図2中に示す
ブロック画像M201内の画素M[1]から画素M[1
6]、301〜308はブロック画像M201内に設け
たグループM[1]からグループM[8]である。
[1]202及び画素M[5]206、画素M[9]2
10及び画素M[13]214というように、Nを0、
1、2、3の数とした場合、グループM[1]301に
は画素M[N×4+1]が、グループM[2]302に
は画素M[N×4+2]が、グループM[3]303に
は画素M[N×4+3]が、グループM[4]304に
は画素M[N×4+4]が、グループM[5]305に
は画素M[N+1]が、グループM[6]306には画
素M[N+5]が、グループM[7]307には画素M
[N+9]が、グループM[8]308には画素M[N
+13]が属する。
示すブロック画像Sa219、ブロック画像Sb22
0、221ブロック画像Sc221または222ブロッ
ク画像Sd222内の画素S[1]〜画素S[25]、
401〜408はブロック画像Sa219内に設けたグ
ループSa[1]〜グループSa[8]、409〜41
6はブロック画像Sb220内に設けたグループSb
[1]〜グループSb[8]、417〜424はブロッ
ク画像Sc221内に設けたグループSc[1]〜グル
ープSc[8]、425〜432はブロック画像Sd2
22内に設けたグループSd[1]〜グループSd
[8]である。
[1]223、画素S[6]228、画素S[11]2
33及び画素S[16]238というように、Nを0、
1、2、3の数とした場合、グループSa[1]401
には画素S[N×5+1]が、グループSa[2]40
2には画素S[N×5+2]が、グループSa[3]4
03には画素S[N×5+3]が、グループSa[4]
404には画素S[N×5+4]が、グループSa
[5]405には画素S[N+1]が、グループSa
[6]406には画素S[N+6]が、グループSa
[7]407には画素S[N+11]が、グループSa
[8]408には画素S[N+16]が属する。
[6]228、画素S[11]233、画素S[16]
238及び画素S[21]243というように、Nを
0、1、2、3の数とした場合、グループSb[1]4
09には画素S[N×5+6]が、グループSb[2]
410には画素S[N×5+7]が、グループSb
[3]411には画素S[N×5+8]が、グループS
b[4]412には画素S[N×5+9]が、グループ
Sb[5]413には画素S[N+6]が、グループS
b[6]414には画素S[N+11]が、グループS
b[7]415には画素S[N+16]が、グループS
b[8]416には画素S[N+21]が属する。
[2]224、画素S[7]229、画素S[12]2
34及び画素S[17]239というように、Nを0、
1、2、3の数とした場合、グループSc[1]417
には画素S[N×5+2]が、グループSc[2]41
8には画素S[N×5+3]が、グループSc[3]4
19には画素S[N×5+4]が、グループSc[4]
420には画素S[N×5+5]が、グループSc
[5]421には画素S[N+2]が、グループSc
[6]422には画素S[N+7]が、グループSc
[7]423には画素S[N+12]が、グループSc
[8]424には画素S[N+17]が属する。
[7]229、画素S[12]234、画素S[17]
239及び244画素S[22]というように、Nを
0、1、2、3の数とした場合、グループSd[1]4
25には画素S[N×5+7]が、グループSd[2]
426には画素S[N×5+8]が、グループSd
[3]427には画素S[N×5+9]が、グループS
d[4]428には画素S[N×5+10]が、グルー
プSd[5]429には画素S[N+7]が、グループ
Sd[6]430には画素S[N+12]が、グループ
Sd[7]431には画素S[N+17]が、グループ
Sd[8]432には画素S[N+22]が属する。
算出するには、ブロック内の各グループの代表値を算出
する(S401)。本発明の動きベクトル検出方法にお
いて、上記グループの代表値は、同グループに属する全
画素の値に対し数値演算手順Aを施した演算結果値であ
り、かつ、お互い水平または垂直方向に1画素ずれた位
置関係にあるブロック画像同士の対応するグループの代
表値において、一方のグループの代表値と、一方のグル
ープにのみ属する画素の値に対し、数値演算手順Bを施
した演算結果値と、もう一方のグループ代表値が等しい
くなければならない。 本実施の形態では、数値演算手
順Aを、各値の総和演算手順とする。つまり、グループ
の代表値は、同グループに属する各画素の値の総和値と
する。
すると、例えば、お互い水平方向に1画素ずれた位置関
係にあるブロック画素Sa219とブロック画像Sb2
20の対応するグループSa[1]401とグループS
b[1]409において、それぞれの代表値は、Σ画素
S[N×5+1]、Σ画素S[N×5+6]となる(Σ
が変数N=0、1、2、3に対する総和演算とする)。
Σ画素S[N×5+6]=Σ画素S[N×5+1]―画
素S[1]223+画素S[21]241であるので、
一方のグループSa[1]401の代表値Σ画素S[N
×5+1]と、一方のグループにのみ属する画素S
[1]223及び画素S[21]241に、数値演算手
順Bを施した演算結果値(Σ画素S[N×5+1]―画
素S[1]223+画素S[21]241)は、もう一
方のグループSb[1]409の代表値Σ画素S[N×
5+6]と等しい。
ープ代表値を算出すると、算出した代表値同士の関係
は、お互い水平または垂直方向に1画素ずれた位置関係
にあるブロック画像同士の対応するグループ同士におい
て、一方のグループ代表値と、一方のグループにのみ属
する画素の値から、もう一方のグループの代表値を算出
することが可能な関係にある。
出方法では、Σが変数N=0、1、2、3に対する総和
演算とすると、ブロック画像M201において、グルー
プM[1]301の代表値としてΣ画素M[N×4+
1]、グループM[2]302の代表値としてΣ画素M
[N×4+2]、グループM[3]303の代表値とし
てΣ画素M[N×4+3]、グループM[4]304の
代表値としてΣ画素M[N×4+4]、グループM
[5]305の代表値としてΣ画素M[N+1]、グル
ープM[6]306の代表値としてΣ画素M[N+
5]、グループM[7]307の代表値としてΣ画素M
[N+9]、グループM[8]308の代表値としてΣ
画素M[N+13]を算出する。
同様にグループSa[1]401の代表値としてΣ画素
S[N×5+1]、グループSa[2]402の代表値
としてΣ画素S[N×5+2]、グループSa[3]4
03の代表値としてΣ画素S[N×5+3]、グループ
Sa[4]404の代表値としてΣ画素S[N×5+
4]、グループSa[5]405の代表値としてΣ画素
S[N+1]、グループSa[6]406の代表値とし
てΣ画素S[N+6]、グループSa[7]407の代
表値としてΣ画素S[N+11]、グループSa[8]
408の代表値としてΣ画素S[N+16]を算出す
る。
ブロック画像Sc221内の各グループ及び、ブロック
画像Sd222内の各グループも同様に代表値を算出す
る。
プの代表値の差分絶対値を総和し、その総和値を、相関
度を示す値とする(S502)。Kが1から8までの整
数である場合、ブロック画像M201とブロック画像S
a219同士で対応するグループは、グループM[K]
とグループSa[K]、ブロック画像M201とブロッ
ク画像Sb220同士で対応するグループは、グループ
M[K]とグループSb[K]、ブロック画像M201
とブロック画像Sc221同士で対応するグループは、
グループM[K]とグループSc[K]、ブロック画像
M201とブロック画像Sd222同士で対応するグル
ープは、グループM[K]とグループSd[K]であ
る。
出方法では、ブロック画像M201とブロック画像Sa
219との相関度を示す値として、|Σ画素M[N×4
+1]−Σ画素S[N×5+1]|+|Σ画素M[N×
4+2]−Σ画素S[N×5+2]|+|Σ画素M[N
×4+3]−Σ画素S[N×5+3]|+|Σ画素M
[N×4+4]−Σ画素S[N×5+4]|+|Σ画素
M[N+1]−Σ画素S[N+1]|+|Σ画素M[N
+5]−Σ画素S[N+6]|+|Σ画素M[N+9]
−Σ画素S[N+11]|+|Σ画素M[N+13]−
Σ画素S[N+16]|を算出する。ブロック画像M2
01とブロック画像Sd220との相関度、ブロック画
像M201とブロック画像Sc221との相関度及びブ
ロック画像M201とブロック画像Sd222との相関
度も同様に算出する。以上が、本発明の動きベクトル検
出方法で用いる、ブロック画像間の相関度を示す値を算
出する手順である。
ック画像の相関度を示す値が、ブロック画像の似かより
具合を示す値であることを、図6を用いて説明する。そ
して、これにより、本発明の動きベクトル検出方法が、
最も似通っているブロック画像までのベクトルである動
きベクトルを検出していることを述べる。
02はブロック画像601を構成する画素、黒い画素6
02はその画素値が1、白い画素602はその画素値が
0であることを示す。603はブロック画像601内の
設定された各グループ、604は各グループ603の代
表値のグラフである。なお、上記グループの代表値は同
グループに属する各画素の値の総和値である。
グラフ604の形がブロック画像601の画像特徴が反
映された形であり、ブロック画像601固有の形をして
いるなら、画像が似通っているブロック画像同士のグラ
フ604の形は似通っており、逆に、画像が似通ってい
ないブロック画像同士のグラフ604の形は似通ってい
ないと言える。
表値のグラフであるグラフ604の形は、ブロック画像
601の画像特徴が反映された形をしており、ブロック
画像601固有の形をしている。この為、ブロック画像
間同士のグラフ604の形を比較した値は、ブロック画
像の似かより具合を示した値と言える。本発明の動きベ
クトル検出方法が用いる相関度を示す値は、グラフ60
4が示す各グロック603の代表値の差分絶対値を総和
した値、つまり、グラフ604の形を比較した値であ
る。
で用いるブロック間の相関度を示す値は、ブロック画像
の似かより具合を示す値と言える。この為、本発明の動
きベクトル検出方法は、最も似通っているブロック画像
までのベクトルである動きベクトルを検出する。
ける、1ブロック当たりの動きベクトル検出に要する演
算量を、図2〜図4及び図8を用いて説明する。
トル検出の場合と同様に、図8に示す、動きベクトルを
検出するブロック画像であるブロック画像M1003の
サイズは水平M画素垂直N画素、ブロック画像M100
3の動きベクトルを探索する範囲である範囲S1004
のサイズは水平A画素垂直B画素、加減算は1演算量、
絶対値演算は1演算量、加減算と絶対値演算の組み合わ
せである差分絶対値演算は2演算量であるとする。
ック画像M1003の動きベクトルを探索する範囲であ
る範囲S1004内に、ブロック画像M1003との相
関度をすで求めたブロック画像が存在しない場合と、す
でに相関度を求めたブロック画像が存在する場合とで、
ブロック画像間の相関度を求める計算に必要な演算量が
異なる。
1003との相関度をすでに求めたブロック画像が存在
しない場合の、ブロック画像間の相関度を求める計算に
必要な演算量について説明する。
存在し、M個のグループはそれぞれN個の画素を属し、
N個のグループはそれぞれM個の画素を属する。この
為、ブロック画像内の各グループの代表値を求めるに
は、(M×(N−1))+(N×(M−1))演算量必
要となる。
た値を求めるには、(M+N)×3−1演算量必要とな
る。以上より、範囲S1004内にブロック画像M10
03との相関度をすでに求めたブロック画像が存在しな
い場合の、ブロック間の相関度を求める計算に必要な演
算量は、(M×(N−1))+(N×(M−1))+
((M+N)×3−1)演算量となる。
1003との相関度をすでに求めたブロック画像が存在
する場合の、ブロック画像間の相関度を求める計算に必
要な演算量について説明する。
相関度を求めるブロック画像の位置関係は、互いに水平
または垂直方向に1画素ずれた、いずれかの位置関係に
ある。まず、水平方向に1画素ずれた位置関係にある場
合の例を示す。
度をすでに求めたブロック画像、ブロック画像Sb22
0が今回相関度を求めるブロック画像であるとする。今
回相関度を求めるブロック画像Sb220内において、
Σが変数N=0、1、2、3に対する総和演算とする
と、グループSb[1]409の代表値はΣ画素S[N
×5+6]、グループSb[2]410の代表値はΣ画
素S[N×5+7]、グループSb[3]411の代表
値はΣ画素S[N×5+8]、グループSb[4]41
2の代表値はΣ画素S[N×5+9]、グループSb
[5]413の代表値はΣ画素S[N+6]、グループ
Sb[6]414の代表値はΣ画素S[N+11]、グ
ループSb[7]415の代表値はΣ画素S[N+1
6]、グループSb[8]416の代表値はΣ画素S
[N+21]である。
ク画像Sb220内の各グループの代表値と、相関度を
すでに求めたブロック画像Sa219内の各グループの
代表値に注目すると、グループSb[5]413の代表
値はグループSa[6]406の代表値と、グループS
b[6]413の代表値はグループSa[7]407の
代表値と、グループSb[7]413の代表値はグルー
プSa[8]408の代表値と同値である。
ずれた位置関係にあるブロック画像同士の対応するグル
ープの代表値において、一方のグループの代表値と、一
方のグループにのみ属する画素の値に対し、数値演算手
順を施した演算結果値と、もう一方のグループ代表値が
等しい為に、グループSb[1]409の代表値は、グ
ループSa[1]401の代表値に対し画素S[1]2
23の値を減算し、画素S[21]243の値を加算し
た値と、グループSb[2]410の代表値は、グルー
プSa[2]402の代表値に対し画素S[2]224
の値を減算し、画素S[22]244の値を加算した値
と、グループSb[3]411の代表値は、グループS
a[3]403の代表値に対し画素S[3]225の値
を減算し、画素S[23]245の値を加算した値と、
グループSb[4]412の代表値は、グループSa
[4]404の代表値に対し画素S[4]226の値を
減算し、画素S[24]246の値を加算した値と同値
である。
求めているので、同ブロック内の各グループの代表値は
すでに算出されている。
グループSb[8]416のような垂直方向位置が同じ
である画素を属するグループに関しては、グループSb
[8]416の代表値のように、1つのグループ分だけ
の代表値を算出し、グループSb[1]409からグル
ープSb[4]412のような水平方向位置が同じであ
る画素を属するグループに関しては、各グループに対し
1回の減算と1回の加算を行えば、ブロック画像Sb2
20内の各グループの代表値を求めることができる。
ック画像M1003との相関度をすでに求めたブロック
が存在し、相関度をすでに求めたブロック画像と今回相
関度を求めるブロック画像の位置関係が御互い水平方向
に1画素ずれた位置関係にある場合、ブロック画像間の
相関度を求める計算に必要な演算量は、1つのグループ
分だけの代表値算出によるN−1演算量と、各グループ
に対する1回の減算と1回の加算によるN×2演算量
と、代表値の差分絶対値を総和する演算による(M+
N)×3−1演算量の合計である、(N−1)+(N×
2)+((M+N)×3−1)演算量となる。
ある場合の例を示す。図2に示すブロック画像Sa21
9が相関度をすでに求めたブロック画像、ブロック画像
Sc221が今回相関度を求めるブロック画像であると
する。今回相関度を求めるブロック画像Sc221内に
おいて、Σが変数N=0、1、2、3に対する総和演算
とすると、グループSc[1]417の代表値はΣ画素
S[N×5+2]、グループSc[2]418の代表値
はΣ画素S[N×5+3]、グループSc[3]419
の代表値はΣ画素S[N×5+4]、グループSc
[4]420の代表値はΣ画素S[N×5+5]、グル
ープSc[5]421の代表値はΣ画素S[N+2]、
グループSc[6]422の代表値はΣ画素S[N+
7]、グループSc[7]423の代表値はΣ画素S
[N+12]、グループSc[8]424の代表値はΣ
画素S[N+17]である。
ク画像Sc221内の各グループの代表値と、相関度を
すでに求めたブロック画像Sa219内の各グループの
代表値に注目すると、グループSc[1]417の代表
値はグループSa[2]402の代表値と、グループS
c[2]418の代表値はグループSa[3]403の
代表値と、グループSc[3]419の代表値はグルー
プSa[4]404の代表値とそれぞれ同値である。
ずれた位置関係にあるブロック画像同士の対応するグル
ープの代表値において、一方のグループの代表値と、一
方のグループにのみ属する画素の値に対し、数値演算手
順を施した演算結果値と、もう一方のグループ代表値が
等しい為に、グループSc[5]421の代表値は、グ
ループSa[5]405の代表値に対し223画素S
[1]の値を減算し画素S[5]227の値を加算した
値と、グループSc[6]422の代表値は、グループ
Sa[6]406の代表値に対し画素S[6]228の
値を減算し画素S[10]232の値を加算した値と、
グループSc[7]423の代表値は、グループSa
[7]407の代表値に対し画素S[11]233の値
を減算し画素S[15]237の値を加算した値と、グ
ループSc[8]424の代表値は、グループSa
[8]408の代表値に対し画素S[16]238の値
を減算し画素S[20]242の値を加算した値と同値
である。
求めているので、同ブロック内の各グループの代表値は
すでに算出されている。
グループSc[4]420のような水平方向位置が同じ
である画素を属するグループに関しては、グループSc
[4]420の代表値のように、1つのグループ分だけ
の代表値を算出し、グループSc[5]421からグル
ープSc[8]424のような垂直方向位置が同じであ
る画素を属するグループに関しては、各グループに対し
1回の減算と1回の加算を行えば、ブロック画像Sc2
21内の各グループの代表値を求めることができる。
ック画像M1003との相関度をすでに求めたブロック
画像が存在し、相関度をすでに求めたブロック画像と今
回相関度を求めるブロック画像の位置関係が御互い垂直
方向に1画素ずれた位置関係にある場合、ブロック画像
間の相関度を求める計算に必要な演算量は、1つのグル
ープ分だけの代表値算出によるM−1演算量と、各グル
ープに対する1回の減算と1回の加算によるM×2演算
量と、代表値の差分絶対値を総和する演算による(M+
N)×3−1演算量の合計である、(M−1)+(M×
2)+((M+N)×3−1)演算量となる。
求める計算に必要な演算量は、範囲S1004内にブロ
ック画像M1003との相関度をすでに求めたブロック
画像が存在しない場合は、(M×(N−1))+(N×
(M−1))+((M+N)×3−1)演算量、範囲S
内1004にブロック画像M1003との相関度をすで
に求めたブロック画像が存在し、相関度をすでに求めた
ブロック画像と今回相関度を求めるブロック画像の位置
関係が御互い水平方向に1画素ずれた位置関係にある場
合は、(N−1)+(N×2)+((M+N)×3−
1)演算量、範囲S内1004にブロック画像M100
3との相関度をすでに求めたブロック画像が存在し、相
関度をすでに求めたブロック画像と今回相関度を求める
ブロック画像の位置関係が御互い垂直方向に1画素ずれ
た位置関係にある場合は、(M−1)+(M×2)+
((M+N)×3−1)演算量となる。
演算量を必要とする相関度を求める計算を、範囲S10
04内に存在する全ブロック画像に対して行うが、範囲
S1004内にブロック画像M1003との相関度をす
でに求めたブロック画像が存在しないケースは1回、範
囲S1004内にブロック画像M1003との相関度を
すでに求めたブロック画像が存在し、相関度をすでに求
めたブロック画像と今回相関度を求めるブロック画像の
位置関係が御互い水平方向に1画素ずれた位置関係にあ
るケースが(A−M−1)×(B−N)回、範囲S10
04内にブロック画像M1003との相関度をすでに求
めたブロック画像が存在し、相関度をすでに求めたブロ
ック画像と今回相関度を求めるブロック画像の位置関係
が御互い垂直方向に1画素ずれた位置関係にあるケース
が(B−N−1)回ある。
おける、1ブロック当たりの動きベクトル検出に要する
演算量は、((M×(N−1))+(N×(M−1))
+((M+N)×3−1))+(((A−M−1)×
(B−N))×((N−1)+(N×2)+((M+
N)×3−1)))+((B−N−1)×((M−1)
+(M×2)+((M+N)×3−1)))演算量とな
る。以上が、本発明の動きベクトル検出方法における、
1ブロック当たりの動きベクトル検出に要する演算量の
説明である。
トル検出方法における、1ブロック当たりの動きベクト
ル検出に要する演算量は((M×(N−1))+(N×
(M−1))+((M+N)×3−1))+(((A−
M−1)×(B−N))×((N−1)+(N×2)+
((M+N)×3−1)))+((B−N−1)×
((M−1)+(M×2)+((M+N)×3−
1)))演算量である。
動きベクトルを検出するブロックのサイズは水平16画
素垂直16画素、動きベクトルを探索する範囲は水平4
8画素垂直48画素であるとすると、本発明の動きベク
トル検出方法における、1ブロック当たりの動きベクト
ル検出に要する演算量は、1ブロック当たり((16×
(16−1))+(16×(16−1))+((16+
16)×3−1))+(((48−16−1)×(48
−16))×((16−1)+(16×2)+((16
+16)×3−1)))+((48−16−1)×
((16−1)+(16×2)+((16+16)×3
−1)))=145841演算量となる。この演算量
は、それが785408演算量である従来の動きベクト
ル検出方法に比べ少なく、約19%の演算量でしかな
い。
クトル検出に要する演算量、横軸を動きベクトルを探索
する範囲の水平垂直サイズとするグラフを示す。図7に
示すように、本発明の動きベクトル検出方法は従来の動
きベクトル検出方法に比べ、動きベクトル検出に要する
演算量が少ない。また、同じ演算量であれば、従来の動
きベクトル検出方法に比べ、本発明の動きベクトル検出
方法の方が、動きベクトルを探索する範囲が広い。動き
ベクトル検出では、動きベクトルを探索する範囲が広い
ほど早い動きに追従でき、またより多くのブロック画像
とマッチングを行える為に、より良い動きベクトルを検
出することができる。この為、同じ演算量であれば、従
来の動きベクトル検出方法に比べ、本発明の動きベクト
ル検出方法の方が、より良い動きベクトルを検出するこ
とができる。
方法は、ブロック画像間の相関度をもとに画像間の動き
ベクトルを検出する動きベクトル検出方法であって、ブ
ロック画像内の1つもしくは複数の画素が属するグルー
プを、同ブロック画像内に複数設け、上記各グループそ
れぞれに対し代表値を定め、ブロック画像間で対応する
上記各グループの代表値の差分絶対値を総和し、上記総
和値をブロック画像間の相関度を示す値とする。そし
て、上記グループの代表値が、同グループに属する全画
素の値に対し数値演算手順Aを施した演算結果値であ
り、かつ、お互い水平または垂直方向に1画素ずれた位
置関係にあるブロック画像同士の対応するグループの代
表値において、一方のグループの代表値と、一方のグル
ープにのみ属する画素の値に対し、数値演算手順Bを施
した演算結果値と、もう一方のグループ代表値が等し
い。この為、従来に比べ少ない演算量で、動きベクトル
を検出することができる。
値が、同グループに属する全画素の値を加算した値とし
た例で以上の説明をしたが、グループの代表値が、同グ
ループに属する全画素の値を乗算した値であっても、お
互い水平または垂直方向に1画素ずれた位置関係にある
ブロック画像同士の対応するグループの代表値におい
て、一方のグループの代表値と、一方のグループにのみ
属する画素の値に対し、数値演算手順を施した演算結果
値と、もう一方のグループ代表値が等しい為、同様の効
果を得ることができることは自明である。更に、同様の
理由から、ブロック画像内に設定したグループの個数及
び、グループの画素に属する画素の個数にもよらないこ
とも自明である。
出方法は、従来に比べ少ない演算量で、動きベクトルを
検出することができる効果を有する。
出装置のハードウエア構成図
ベクトルを検出する範囲内の画像を示した図
たグループを示した図
内に設けたグループを示した図
順を示したフローチャート
た各グループの代表値のグラフ
たりの動きベクトル検出に要する演算量の関係を示す図
チャート
ク画像及び、動きベクトルを検出する範囲内の画像を示
した図
ブロック画像間の相関度を示す値を算出する手順を示し
たフローチャート
Claims (5)
- 【請求項1】 ブロック画像間の相関度をもとに画像間
の動きベクトルを検出する方法であって、ブロック画像
内の1つもしくは複数の画素が属するグループを、同ブ
ロック画像内に複数設け、上記各グループそれぞれに対
し代表値を求め、ブロック画像間で対応する上記各グル
ープの代表値の差分絶対値を総和し、上記総和値をブロ
ック画像間の相関度を示す値とすることを特徴とした動
きベクトル検出方法。 - 【請求項2】 グループの代表値が、同グループに属す
る全画素の値に対し数値演算手順Aを施した演算結果値
であり、かつ、お互い水平または垂直方向に1画素ずれ
た位置関係にあるブロック画像同士の対応するグループ
の代表値において、一方のグループの代表値と、一方の
グループにのみ属する画素の値に対し、数値演算手順B
を施した演算結果値と、もう一方のグループ代表値が等
しいことを特徴とする請求項1に記載の動きベクトル検
出方法。 - 【請求項3】 数値演算手順Aが総和演算手順であるこ
とを特徴とする請求項1または2に記載の動きベクトル
検出方法。 - 【請求項4】 数値演算手順Aが総乗演算手順であるこ
とを特徴とする請求項1または2に記載の動きベクトル
検出方法。 - 【請求項5】 各グループの代表値の分布状況により、
各グループの代表値を算出する数値演算手順Aを選択変
更することを特徴とする請求項1または2に記載の動き
ベクトル検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11144494A JP2000333183A (ja) | 1999-05-25 | 1999-05-25 | 動きベクトル検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11144494A JP2000333183A (ja) | 1999-05-25 | 1999-05-25 | 動きベクトル検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000333183A true JP2000333183A (ja) | 2000-11-30 |
Family
ID=15363660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11144494A Pending JP2000333183A (ja) | 1999-05-25 | 1999-05-25 | 動きベクトル検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000333183A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004040581A1 (ja) * | 2002-10-15 | 2004-05-13 | Sony Corporation | メモリ装置、動きベクトルの検出装置および検出方法 |
JP2004159314A (ja) * | 2002-10-15 | 2004-06-03 | Sony Corp | メモリ装置、動きベクトルの検出装置および検出方法 |
JP2010124028A (ja) * | 2008-11-17 | 2010-06-03 | Hitachi Kokusai Electric Inc | 監視装置 |
KR20140062399A (ko) * | 2012-11-14 | 2014-05-23 | 삼성전자주식회사 | 매칭 블록 선택 방법 |
-
1999
- 1999-05-25 JP JP11144494A patent/JP2000333183A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004040581A1 (ja) * | 2002-10-15 | 2004-05-13 | Sony Corporation | メモリ装置、動きベクトルの検出装置および検出方法 |
JP2004159314A (ja) * | 2002-10-15 | 2004-06-03 | Sony Corp | メモリ装置、動きベクトルの検出装置および検出方法 |
US7626847B2 (en) | 2002-10-15 | 2009-12-01 | Sony Corporation | Memory device, motion vector detection device, and detection method |
JP4543307B2 (ja) * | 2002-10-15 | 2010-09-15 | ソニー株式会社 | メモリ装置、および動きベクトルの検出装置 |
US8073058B2 (en) | 2002-10-15 | 2011-12-06 | Sony Corporation | Memory device and device and method for detecting motion vector |
JP2010124028A (ja) * | 2008-11-17 | 2010-06-03 | Hitachi Kokusai Electric Inc | 監視装置 |
KR20140062399A (ko) * | 2012-11-14 | 2014-05-23 | 삼성전자주식회사 | 매칭 블록 선택 방법 |
KR102006391B1 (ko) | 2012-11-14 | 2019-08-01 | 삼성전자주식회사 | 매칭 블록 선택 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20060105583A (ko) | 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치 | |
US20080219352A1 (en) | Motion vector searching apparatus, motion vector searching method and storage medium for storing motion vector searching program | |
JP2007274221A (ja) | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム | |
JP2005525607A (ja) | サブピクセルのエッジ検出方法およびエッジ検出装置 | |
JP2861462B2 (ja) | 動きベクトル検出装置 | |
EP0899687B1 (en) | Method and apparatus for detecting motion vector and image coding apparatus | |
KR20050097936A (ko) | 효과적인 예측 이미지 파라미터 추정 | |
JP2000333183A (ja) | 動きベクトル検出方法 | |
US8279936B1 (en) | Method and apparatus for fractional pixel expansion and motion vector selection in a video codec | |
JP2000348187A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
JPH09261646A (ja) | 画像の動き検出装置 | |
KR100490730B1 (ko) | 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법 | |
JP4243274B2 (ja) | 小数画素精度動きベクトル予測における価値関数計算装置 | |
JP2007067551A (ja) | 動きベクトル推定方法,動きベクトル推定装置,動きベクトル推定プログラムおよび動きベクトル推定プログラム記録媒体 | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP4250598B2 (ja) | 動き補償型ip変換処理装置及び動き補償型ip変換処理方法 | |
JPH0478286A (ja) | 初期偏位ベクトルを用いた動きベクトルの検出方法 | |
US8391365B2 (en) | Motion estimator and a motion estimation method | |
JP4250806B2 (ja) | フィールド周波数変換装置および変換方法 | |
JP2010039968A (ja) | オブジェクト検出装置及び検出方法 | |
KR0147330B1 (ko) | 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법 | |
JP3580612B2 (ja) | 動画像符号化装置の動き検出装置 | |
US9483840B1 (en) | Low power patch matching in self-similarity based single frame super-resolution | |
JP4139342B2 (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP6827317B2 (ja) | 画像処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071030 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081030 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081030 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091030 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |