JP3237815B2 - 動きベクトル探索方法および装置 - Google Patents
動きベクトル探索方法および装置Info
- Publication number
- JP3237815B2 JP3237815B2 JP4467196A JP4467196A JP3237815B2 JP 3237815 B2 JP3237815 B2 JP 3237815B2 JP 4467196 A JP4467196 A JP 4467196A JP 4467196 A JP4467196 A JP 4467196A JP 3237815 B2 JP3237815 B2 JP 3237815B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- small block
- small
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
号に対して、現フレームの画像データを小ブロックに分
割し、分割された動き検出対象小ブロックに対して、フ
レームメモリに蓄えられている過去または未来の参照フ
レーム中の複数の候補ブロックを探索し、各候補ブロッ
クとの類似度を、定められた評価基準に基づいて求め、
その評価値によって最も類似した候補ブロックへのベク
トルを動きベクトルとする動きベクトル探索方法に関す
る。
間相関を除去するために動き補償予測がよく用いられ
る。動き補償予測は、符号化対象フレームと時間的に近
接する他のフレームとの類似性を利用したものである。
効率的な動き補償予測を行なうためには、符号化対象フ
レームのある領域が、時間的に近接する他のフレームの
どこに存在するかを示す動きの方向と大きさ(動きベク
トル)を、いかに正確に求めるかが重要である。
下のような方法が用いられる。動きベクトル検出対象小
ブロックの画像データをN×N(Nは1以上の整数)サ
イズとし、B(i,j)とおく。B(i,j)に対し
て、フレームメモリ中の参照画像上で空間的にB(i,
j)を水平・垂直方向に(u,v)だけずらした小ブロ
ックB′(i+u,j+v)との類似度を表す評価値D
(u,v)を計算する。評価値には差分絶対値和や差分
自乗和がよく用いられる。(u,v)を定められた探索
領域(−Ru <u<Ru ,−Rv <v<Rv )で変化さ
せ、評価値D(u,v)の最小値を与えるような(u、
v)を最終的な動きベクトル(U、V)とし、動きベク
トル(U、V)によって定められる参照画像中の小ブロ
ックが参照小ブロックとされる。
装置の構成を示すブロック図である。この例は、参照画
像を時間的に1フレーム前の画像とし、評価関数として
差分絶対値和を用いている。
02は、小ブロック分割部103にて、動き検索の単位
である小ブロック104に分割される。一方、入力画像
102は、フレームメモリ105に入力され、1フレー
ム前の画像106が得られる。候補ベクトル設定部10
7は、探索範囲設定部108にて定められた探索範囲中
のベクトルを発生させるとともにベクトルメモリ113
に送出する。シフト部109では、フレームメモリ10
5に蓄えられている参照画像106を候補ベクトル設定
部107で設定された候補ベクトルによってその分だけ
空間的にシフトさせる。減算器110においては、シフ
トされた小ブロックと符号化対象小ブロック104の差
分が計算され、演算結果が絶対値和計算部111に入力
される。絶対値和計算部111では小ブロック内での差
分絶対値の総和が計算され、計算された絶対値和は最小
値メモリ112に送られ、その時点でメモリに蓄えられ
ている最小値との比較が行なわれる。絶対値和が最小値
よりも小さい場合には最小値が更新されるとともに、ベ
クトルメモリ113に対して更新指示命令が送られ、記
憶されているベクトルがその時点で候補ベクトル設定部
107から入力されている候補ベクトルに置換される。
候補ベクトル設定部107にて定められた探索範囲のす
べてのベクトルの発生が終了した時点で、ベクトルメモ
リ113に蓄えられているベクトルが符号化対象小ブロ
ックの動きベクトル114として出力端子115に出力
されるとともに、最小値メモリ112、ベクトルメモリ
113がリセットされる。
あらかじめ−Ru <u<Ru ,−R v <v<Rv なる探
索範囲が設定される。大きい動きまで追随しようとする
と、Ru ,Rv を大きく設定する必要があるが、探索範
囲が大きくなると動きベクトルを検出するための演算量
が莫大なものとなる。演算量が問題となるような場合に
は、従来は、Ru ,Rv を適当な演算量におさまるよう
に小さくして探索を行なっていた。
は、演算量を少なくしなければならない場合には、すべ
ての小ブロックに対して、探索範囲を狭くするようにな
っているので、動きが小さい小ブロックについては問題
がないが、動きが探索範囲よりも大きいような小ブロッ
クに対しては、探索範囲の中のみで最も類似したブロッ
クを探してしまうため、間違った動きベクトルが求めら
れてしまうという問題点があった。
算量を減らして正しい動きベクトルを検出することがで
きる動きベクトル探索方法および装置を提供することに
ある。
索方法は、現フレームの小ブロックを第1の小ブロック
と第2の小ブロックの2種類に分類し、第1の小ブロッ
クに対しては、そのブロックと空間的に同一位置にあ
る、過去または未来の参照ブロック中の点を中心として
あらかじめ定められた第1の探索範囲の候補ブロックを
探索して動きベクトルを算出し、第2の小ブロックに対
しては、動き検出対象小ブロックと同一位置にある、過
去または未来の参照ブロック中の点から、該動き検出対
象小ブロックの近傍にある第1の小ブロックにて求めら
れた動きベクトル分ずれた点を中心として、第1の探索
範囲よりも小さく定められた第2の探索範囲の候補ブロ
ックを探索することにより動きベクトルを算出すること
を特徴とする。
索範囲は、近傍にある第1の小ブロックで求められた動
きベクトルを用いて決定されることになる。動画像では
一般的に、隣接する小ブロックは同じ方向に動いている
確率が高い。そこで、第2の小ブロックの探索範囲を、
近傍にある第1の小ブロックで求められた動きベクトル
を中心とした微小領域に限定しても、間違った動きベク
トルが求められる確率は非常に低いといえる。演算量の
観点から見れば、第2の小ブロックに対しては演算量を
大幅に減らすことが可能となる。
ック中の動き検出対象小ブロックに対する探索の中心ベ
クトルと探索範囲を、その近傍にある複数個の第1の小
ブロックにて求められた動きベクトルの分布状態により
設定する。
ルが必ずしも同じような方向・大きさにならない。この
ような場合には、近傍のただ一つの第1の小ブロックの
動きベクトルを参照すると、誤った動きベクトルが求め
られる場合がある。上記実施態様はこれを回避するため
のものであって、第2の小ブロックの探索範囲を設定す
る時、近傍の複数個の第1の小ブロックの動きベクトル
を参照する。従って、それら複数個の動きベクトルがす
べて同じような方向と大きさを持っていれば、第2の小
ブロックも同じような動きベクトルを中心としてごく小
さい範囲を探索するように設定し、逆に、近傍の複数個
の動きベクトルがばらついていれば、探索範囲を限定す
ることは危険なので大きく設定すればよい。
ームの小ブロックを第1の小ブロックと第2の小ブロッ
クの2種類に分類するブロック分類部と、ブロック分類
部から出力された第1の小ブロックに対する動きベクト
ル探索処理の結果求められた動きベクトルを記憶する動
きベクトル記憶部と、ブロック分類部から出力された第
2の小ブロック中の動き検出対象小ブロックに対し、該
動きベクトル検出対象小ブロックと同一位置にある、過
去または未来の参照ベクトル中の点から、動きベクトル
記憶部に蓄えられている、第1の小ブロックのうち該動
きベクトル検出処理対象小ブロックの近傍に位置する小
ブロックに対する動きベクトル分ずれた点を中心とす
る、第1の探索範囲よりも小さい第2の探索範囲を設定
する探索範囲設定部を有する。
図面を参照して説明する。
索方法における小ブロック分類例を示す図、図2は、動
きベクトル探索方法の説明図である。
が、図1に示すように、第1の小ブロックと第2の小ブ
ロックに分類される。
やC)については、そのブロックと空間的に同一位置に
ある、過去または未来の参照フレーム中の点を中心とし
てあらかじめ定められた、−Ru <u<Ru,−Rv <v
<Rvなる第1の範囲で探索が実行される。一方、第2
の小ブロック(図2におけるBやD)については、動き
検出対象小ブロックと空間的同一位置にある点から、近
傍にある第1の小ブロック(図2の場合はそれぞれA、
C)にて求められている動きベクトル(U1、V1)分ず
れた点を中心とした第2の範囲で、探索が行なわれる。
すなわち、U1−R´u <u<U1+R´u,V1−R´v <
V<V1+R´vなる範囲で探索が実行される。ここで、
第2の小ブロックにて探索される範囲は第1の小ブロッ
クにて探索される範囲よりも小さく設定される。すなわ
ち、R´u<Ru,R´v<Rvである。
探索方法の説明図である。
第1の小ブロック・第2の小ブロックと交互になるよう
に分類する。
その左右両隣の第1の小ブロックで求められた動きベク
トルを用いることとする。すなわち、図3では、小ブロ
ックBの探索範囲の設定に小ブロックAとCを用いる。
小ブロックAおよびCで求められた動きベクトルをそれ
ぞれ(UA ,VA ),(UC ,VC )とする。この時、
第2の小ブロックBの探索範囲u,vを以下の式で設定
する。
の平均ベクトル((U A +UC )/2,(VA +VC )
/2)とし、そこから水平方向に±|UA −U C |/
2、垂直方向に±|VA −VC |/2の範囲を探索す
る。UA とUC が同じような値ならば水平方向の探索範
囲は非常に小さくなり、また、VA とVC が同じような
値ならば垂直方向の探索範囲は非常に小さくなる。すな
わち、図3(1)に示すように、左右のブロックの動き
ベクトルがほぼ同じような場合には、非常に微小な範囲
のみを探索することになり、逆に図3(2)に示すよう
に、左右のブロックの動きベクトルが大きく異なる場合
には、比較的大きな範囲を探索するように設定される。
ベクトルがほぼ同じならば、小ブロックBの動きベクト
ルも同じ方向である確率が高いので、その方向のベクト
ルを中心として微小な範囲を探索すれば、誤った動きを
検出することなく演算量を削減でき、逆に、左右の小ブ
ロックA、Cの動きベクトルが大きく異なっていると、
小ブロックBの動きが予測できないが、その場合には大
きな範囲を探索するよう設定されるので問題は生じな
い。
探索装置の構成を示すブロック図である。図5中と同符
号は同じ構成要素を示す。
ブロック104を第1の小ブロック117と第2の小ブ
ロック118の2種類に分類する小ブロック分類部11
6と、第1の小ブロック117または第2の小ブロック
118を減算器110に切替出力するスイッチ119
と、第1の小ブロック117に対する動きベクトル検出
処理の結果求められた、ベクトルメモリ113に蓄えら
れているベクトルを記憶する動きベクトル記憶部120
と、スイッチ122と、第2の小ブロック118に対す
る動きベクトル検出処理時、動きベクトル記憶部120
に蓄えられている動きベクトル121を中心として探索
範囲を設定する探索範囲設定部108を新たに備えてい
る。
02は、小ブロック分割部103にて、動き探索の単位
である小ブロック104に分割される。分割された小ブ
ロック104はブロック分類部116にて、第1の小ブ
ロック117と第2の小ブロック118の2種類に分類
される。一方、入力画像102はフレームメモリ105
に入力され、1フレーム前の画像106が得られる。
トル検出処理時には、スイッチ119が上側に切替えら
れ、スイッチ122は開かれる。候補ベクトル設定部1
07は、探索範囲設定部108にてあらかじめ定められ
ている探索範囲中のベクトルを発生させるとともにベク
トルメモリ113に送出する。シフト部109では、フ
レームメモリ105に蓄えられている参照画像106が
候補ベクトル設定部107で設定された候補ベクトルに
よってその分だけ空間的にシフトされる。減算器118
においては、シフトされた小ブロックと符号化対象小ブ
ロック117の差分が計算され、演算結果が絶対値和計
算部111に入力される。絶対値和計算部111では小
ブロック内での差分絶対値の総和が計算され、計算され
た絶対値和は最小値メモリ112に送られ、その時点で
メモリに蓄えられている最小値との比較が行なわれる。
絶対値和が最小値よりも小さい場合には最小値が更新さ
れるとともに、ベクトルメモリ113に対して更新指示
命令が送られ、記憶されているベクトルがその時点で入
力されている候補ベクトルに置換される。候補ベクトル
設定部107にて定められた探索範囲のすべてのベクト
ルの発生が終了した時点で、ベクトルメモリ113に蓄
えられているベクトルが符号化対象小ブロックの動きベ
クトル114として出力端子115に出力されるととも
に、動きベクトル記憶部120へ送られた後、最小値メ
モリ112、ベクトルメモリ113がリセットされる。
出処理時には、スイッチ119が下側に切替えられ、ス
イッチ122は閉じられる。探索範囲設定部108で
は、動きベクトル記憶部120に蓄えられている、第1
の小ブロックのうち処理対象小ブロックの近傍に位置す
る小ブロックに対する動きベクトル121を参照して、
その動きベクトルを、動きベクトル検出対象の第2の小
ブロックに適用して示される点を中心として探索範囲の
設定を行なう。候補ベクトル設定部107では、探索範
囲設定部108で設定された探索範囲中のベクトルを発
生させる。以下の処理は第1の小ブロック117の場合
と同様である。
うな効果がある。 (1)請求項1、3の発明は、動きベクトルの探索範囲
を、近傍の動きベクトルからの推定が易しい場合には小
さく設定し、推定が困難な場合には大きく設定する制御
が可能となる。結果として、動き検出処理に要する演算
量を減らしても、正しい動きベクトルを検出することが
でき、画像の高能率符号化等に適用すれば、少ない演算
量で高い再生画質を提供することが可能となる。 (2)請求項2の発明は、誤った動きベクトルを求める
のが回避される。
おける小ブロック分類例を示す図である。
説明図である。
の説明図である。
ブロック図である。
ある。
Claims (3)
- 【請求項1】 ディジタル画像信号に対して、現フレー
ムの画像データを小ブロックに分割し、分割された動き
検出対象小ブロックに対して、フレームメモリに蓄えら
れている過去または未来の参照フレーム中の複数の候補
ブロックを探索し、各候補ブロックとの類似度を、定め
られた評価基準に基づいて求め、その評価値によって最
も類似した候補ブロックへのベクトルを動きベクトルと
する動きベクトル探索方法において、 現フレームの小ブロックを第1の小ブロックと第2の小
ブロックの2種類に分類し、第1の小ブロックに対して
は、その小ブロックと空間的に同一位置にある、過去ま
たは未来の参照ブロック中の点を中心としてあらかじめ
定められた第1の探索範囲の候補ブロックを探索して動
きベクトルを算出し、第2の小ブロックに対しては、動
き検出対象小ブロックと同一位置にある、過去または未
来の参照ブロック中の点から、該動き検出対象小ブロッ
クの近傍にある第1の小ブロックにて求められた動きベ
クトル分ずれた点を中心として、第1の探索範囲よりも
小さく定められた第2の探索範囲の候補ブロックを探索
することにより動きベクトルを算出することを特徴とす
る動きベクトル探索方法。 - 【請求項2】 第2の小ブロック中の動き検出対象小ブ
ロックに対する探索の中心ベクトルと探索範囲を、その
近傍にある複数個の第1の小ブロックにて求められた動
きベクトルの分布状態により設定する、請求項1記載の
動きベクトル探索方法。 - 【請求項3】 ディジタル画像信号に対して、現フレー
ムの画像データを小ブロックに分割し、分割された動き
検出対象小ブロックに対して、フレームメモリに蓄えら
れている過去または未来の参照フレーム中の複数の候補
ブロックを探索し、各候補ブロックとの類似度を、定め
られた評価基準に基づいて求め、その評価値によって最
も類似した候補ブロックへのベクトルを動きベクトルと
する動きベクトル探索装置において、 現フレームの小ブロックを第1の小ブロックと第2の小
ブロックの2種類に分類するブロック分類部と、 前記ブロック分類部から出力された第1の小ブロックに
対する動きベクトル探索処理の結果求められた動きベク
トルを記憶する動きベクトル記憶部と、 前記ブロック分類部から出力された第2の小ブロック中
の動き検出対象小ブロックに対し、該動き検出対象小ブ
ロックと同一位置にある、過去または未来の参照ブロッ
ク中の点から、前記動きベクトル記憶部に蓄えられてい
る、第1の小ブロックのうち該動き検出対象小ブロック
の近傍に位置する小ブロックに対する動きベクトル分ず
れた点を中心とする、第1の探索範囲よりも小さい第2
の探索範囲を設定する探索範囲設定部を有することを特
徴とする動きベクトル探索装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4467196A JP3237815B2 (ja) | 1996-03-01 | 1996-03-01 | 動きベクトル探索方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4467196A JP3237815B2 (ja) | 1996-03-01 | 1996-03-01 | 動きベクトル探索方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09238346A JPH09238346A (ja) | 1997-09-09 |
JP3237815B2 true JP3237815B2 (ja) | 2001-12-10 |
Family
ID=12697916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4467196A Expired - Lifetime JP3237815B2 (ja) | 1996-03-01 | 1996-03-01 | 動きベクトル探索方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3237815B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3968712B2 (ja) | 2003-04-28 | 2007-08-29 | ソニー株式会社 | 動き予測補償装置及びその方法 |
JP2006254347A (ja) * | 2005-03-14 | 2006-09-21 | Mitsubishi Electric Corp | 画像符号化装置 |
JP2008061162A (ja) * | 2006-09-04 | 2008-03-13 | Fujitsu Ltd | 動きベクトル探索装置および動きベクトル探索方法 |
JP5990133B2 (ja) * | 2013-06-04 | 2016-09-07 | 日本電信電話株式会社 | 映像符号化装置及び映像符号化方法 |
-
1996
- 1996-03-01 JP JP4467196A patent/JP3237815B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH09238346A (ja) | 1997-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9667991B2 (en) | Local constraints for motion matching | |
JP3226020B2 (ja) | 動きベクトル検出装置 | |
JP3538055B2 (ja) | 動きベクトル検出装置 | |
KR20050089886A (ko) | 배경 움직임 벡터 검출 | |
JP2005528708A (ja) | 現動きベクトルを推定するユニット及び方法 | |
JP2001076155A (ja) | 動画像内の移動物体検出方法及び装置 | |
JP3237815B2 (ja) | 動きベクトル探索方法および装置 | |
JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
JPH089379A (ja) | 動きベクトル検出方法 | |
KR100644574B1 (ko) | 디지털 영상 분할 방법 및 그 장치 | |
JPH05236452A (ja) | 動ベクトル検出方法及び検出装置 | |
JP2000175202A (ja) | 動きベクトル検出装置 | |
JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
JP2006217486A (ja) | 動き補償型ip変換処理装置及び動き補償型ip変換処理方法 | |
JP3861325B2 (ja) | 動きベクトル検出装置および検出方法 | |
JP3046689B2 (ja) | 動きベクトル検出方法 | |
JPH0614316A (ja) | 動きベクトル検出装置 | |
JP3941900B2 (ja) | 動きベクトル検出装置 | |
JPH1042300A (ja) | 動きベクトル検出装置 | |
JP3334317B2 (ja) | 画像照合方法および装置 | |
JP3458473B2 (ja) | 動きベクトル検出装置及び方法 | |
JPH0795587A (ja) | 動きベクトル検出方法 | |
JPH03266580A (ja) | 動ベクトル検出方式 | |
JP3334316B2 (ja) | 画像照合方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071005 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081005 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091005 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131005 Year of fee payment: 12 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |