JP3528115B2 - 動き予測ベクトル検出回路 - Google Patents
動き予測ベクトル検出回路Info
- Publication number
- JP3528115B2 JP3528115B2 JP11226396A JP11226396A JP3528115B2 JP 3528115 B2 JP3528115 B2 JP 3528115B2 JP 11226396 A JP11226396 A JP 11226396A JP 11226396 A JP11226396 A JP 11226396A JP 3528115 B2 JP3528115 B2 JP 3528115B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- data
- vector
- pixel precision
- search window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
出回路に関し、特に半画素精度で画像データの動き予測
を行なうようにした動き予測ベクトル検出回路に関する
ものである。
画像情報を符号化する際に、予め画像の動きベクトルを
求めてこの動きベクトルに基づいて画像情報のデータ量
を符号化することによって、画像データの伝送効率及び
圧縮効率を向上するような技術が用いられている。
出方式の概念を説明する図であり、1フレームの画像デ
ータFを複数のブロックに分割しておく。そして、現フ
レームにおいて、任意の位置にあるブロックは直前フレ
ーム(1つ前のフレーム)の同じ位置若しくはその近傍
に存在することになるから、直前フレームのある領域
(これをサーチウィンドウSW)に対して、このブロッ
ク(これを参照ブロックRB)がどこに位置していたか
を検索し、最も近似した部分(破線で示すブロックRB
´とする)との相対的位置関係をベクトルAとして表現
する。
ックRBとサーチウィンドウSW内の最近似ブロックR
B´との対応画素データ同士の差の総和をも算出して、
ベクトルAと共にこの評価値をも出力するようになって
いる。
1画素精度の検索領域であるサーチウィンドウSWと参
照ブロックRBとから、動き予測を行い、平均絶対値誤
差(MAE)推定法等による比較結果から最小となるベ
クトル及び評価値を求めている。従って、参照ブロック
RBが検索サーチウィンドウSWに対して半画素精度で
動いたとしても、1画素単位でしかベクトルが検出でき
ないことになる。
理を行う例が特開平5−336514号公報に開示され
ている。この例においては、半画素精度の動きベクトル
検出処理を、フレームメモリの個数を増やすことなく単
一クロックを用いて実行するようになっている。
このベクトルを基準にして周辺画素からの補間処理を行
い、半画素領域から半画素精度のベクトルを検索して、
1画素精度のベクトルと合成したものを、半画素精度の
動きベクトルとして出力する。そして、補間処理を行う
に当り、画素データを並列に分割することで、補間にか
かる時間を短縮し、単一クロック系を用いて回路を構成
している。
336514号公報の技術では、1画素精度のベクトル
を求め、この動きベクトルが示す画素を中心に必要な範
囲のみオリジナル画素から補間画素を求めて、この求め
た補間画素から1/2画素精度のベクトルを探索し、1
画素精度のベクトルと合成した動きベクトルを1/2画
素精度の動きベクトルとしている。
領域の画素データを蓄えるマルチポートVRAM(ビデ
オランダムアクセスメモリ)と、その周辺回路としてマ
ルチポートVRAMに画素データを出力する並列化回路
と、1/2画素精度のベクトルを探索するために必要な
領域をマルチポートVRAMから読出すための補間アド
レス生成回路等が必要である。
ための検索領域であるサーチウィンドウを予め半画素精
度の領域として半画素精度のベクトル検出を可能とし
て、回路構成の簡素化を図るようにした動き予測ベクト
ル検出回路を提供することである。
ームの画像データを複数のブロックに分割して、直前フ
レームの所定領域であるサーチウィンドウに対して現在
フレームの所定参照ブロックがどこに位置していたか
を、対応画素毎に順次照合して最も近似したブロックと
当該参照ブロックとの相対的位置関係をベクトルとして
表し、このベクトルと共に、対応画素毎の差分値の和を
当該ベクトルの評価値として出力するようにした動き予
測ベクトル検出回路であって、前記サーチウィンドウの
1画素精度のデータに対して、これ等各1画素に隣接す
る画素のデータと当該1画素データとの平均データを夫
々算出して半画素精度のデータを生成する半画素精度デ
ータ生成手段と、前記サーチウィンドウの1画素精度の
データと前記参照ブロックのデータとを照合して1画素
精度のベクトルとその評価値とを生成する1画素精度ベ
クトル検出手段と、前記半画素精度データ生成手段によ
る前記サーチウィンドウの半画素精度のデータと前記参
照ブロックのデータとを照合して半画素精度のベクトル
とその評価値とを生成する半画素精度ベクトル検出手段
と、前記1画素精度及び半画素精度ベクトル検出手段の
両評価値を比較してこの比較結果に応じて前記1画素精
度及び半画素精度のベクトルを択一的に導出する選択手
段と、を含み、参照ブロックに対する前記1画素精度ベ
クトル検出と半画素精度ベクトル検出とを同時に並列処
理することを特徴とする動き予測ベクトル検出回路が得
られる。
画素精度のサーチウィンドウデータの他に、このサーチ
ウィンドウデータの各1画素を水平,垂直及び斜めの各
方向に夫々半画素ずらした半画素精度のデータを補間生
成する。この場合の半画素ずらしたデータとしては、各
1画素の回りの隣接データと当該1画素データとの平均
値データを求めて、これを半画素精度のデータとする。
ドウデータと入力された参照ブロックのデータとのブロ
ックマッチング処理(最近似ブロックか否かの判断処
理)と、従来の1画素精度のサーチウィンドウデータと
入力された参照ブロックデータとのブロックマッチング
処理との両処理を行い、これ等両ブロックマッチング処
理による評価値が最も小さい方のベクトルを最適ベクト
ルとするのである。
て詳述する。
る。図1において、現フレームの参照ブロックRBのデ
ータS1はベクトル検出回路1〜4の各1入力となって
いる。直前フレームのサーチウィンドウS2のデータS
2はベクトル検出回路1の他入力となると共に、半画素
データ生成回路5へも供給されている。
ウデータS2とは共に従来と同様に1画素精度のデータ
であるものとする。従って、ベクトル検出回路1は1画
素精度のブロックマッチング処理を行って、両入力デー
タS1,S2間の最小ベクトルV0とその評価値H0と
を出力する。
ーチウィンドウデータS2から半画素精度のデータS
3,S4,S5を生成するものであり、例えば、図3の
丸数字で示す各1画素に対して、垂直方向に半画素ずら
した画素S3(×印),水平方向に半画素ずらした画素
S4(△印)及び斜め方向に半画素ずらした画素S5
(□印)に夫々対応する半画素補間データを夫々生成す
る。
補間データS3(×),S4(△),S5(□)の各々
と参照ブロックデータS1との間のブロックマッチング
処理を行って、最小ベクトルV1〜V3と各評価値H1
〜H3とを夫々出力する。
を行って、最も小さい評価値に対応する最小ベクトルを
セレクタ7が選択する様にセレクタ制御信号Cを生成す
る。これにより、セレクタ7の出力には半画素精度の最
適動き予測ベクトルVOUT が導出されることになる。
細に説明する。この場合、ベクトル検出回路1〜4にお
けるブロックマッチング処理時の各ブロックの大きさと
しては、一般にm×n画素(m,n共に2以上の整数)
とされるが、ここでは簡単化のために、図2(b)に示
す如く、3×3画素を1ブロックとしてこのブロック単
位でブロックマッチング処理がなされるものとする。
なり、比較されるべきサーチウィンドウSWも3×3画
素単位のブロックに分割して、これ等両ブロックのブロ
ックマッチングがなされる。
ック間の対応画素同士の比較が行われるが、この対応画
素同士の比較の順序としては、図2(b)に示す如く、
縦スキャンと横スキャンとの2通りの方法が存在する。
りのスキャン方法によりその構成が異なるもので、先ず
図2(b)の縦スキャンの場合について説明する。
1画素データの順番を示しており、垂直方向に半画素ず
らした×印のデータを生成するには、例えばとその直
下のとの画素データの平均値を算出してこれを半画素
補間データ(×印)とする。また、ブロックの最下の
の画素データに関しては、当該ブロックの直下の第10
0番目の画素データとの平均値を半画素補間データとす
る必要がある。
得るには、図4の如き各画素のタイミング位相が制御さ
れることが必要となる。図4において、最上行は入力さ
れるサーチウィンドウデータS2の画素順番を示し、第
2行はこのサーチウィンドウデータをFIFOメモリに
て蓄積しておき、最上行のデータと位相合わせを行って
出力した後の画素順番を示し、第3行はこのFIFOメ
モリの出力を1画素遅延した後の画素順番を示す。
士のデータ加算を行って平均値を求めれば、目的とする
×印の半画素補間データが生成されることが判る。
生成回路5の例が図5に示す如く得られる。図5におい
て、サーチウィンドウデータS2はセレクタ52の一入
力となると共に、FIFO(First in Fir
st out)メモリ51へも入力される。このFIF
Oメモリ51の出力S10がセレクタ52の他入力とな
っている。
画素遅延器53を介して加算器54の一入力となってお
り、この加算器54の他入力にはセレクタ52の出力が
印加されている。この加算器54は両入力の加算を行っ
た後、LSB(最下位ビット)を無視して出力する(加
算データを1ビットだけLSB側へシフト)ことで、加
算結果を1/2するものであり、両入力の平均データを
出力する。
るものとし、2入力の平均データを出力するものとす
る。
画素データに同期したクロックCLKを入力としてFI
FOメモリ51の書込み、読出し(W/R)タイミング
を生成すると共に、セレクタ52のセレクタ制御信号S
12をも生成する。
方向の半画素補間データ(×印)となり、図4のタイミ
ングチャートに各部の画素番号とセレクタ52のセレク
タ制御信号S12との関係を示している。
1画素遅延素子S3の出力S11と、この出力S11を
3画素遅延素子(m=3)57にて3画素分遅延したデ
ータとを、加算器58にて加算することにより、例えば
画素ととの平均値S4が算出されることになる。
ここでは、同一行の互いに隣接する×印同士の平均値を
算出したものとすると、加算器54による平均値(×
印)とこれを3画素遅延素子55にて3画素分遅延した
データとを、加算器56にて加算することにより、デー
タS5として得られる。
り、図3に示す如く、1画素精度のサーチウィンドウデ
ータS2(縦スキャン)が、図3のブロック30にて示
す如く、半画素精度の補間データとして得られることに
なるのである。
て、図2(b)の縦スキャンをなす場合の例であるが、
図2(b)の横スキャンの場合においては、半画素デー
タ生成回路5としては、同様な考え方により図6に示す
回路構成となる。
2はセレクタ62の一入力となると共に、FIFOメモ
リ61の入力となっており、このメモリ61の出力がセ
レクタ62の他入力となる。セレクタ62の出力とメモ
リ61の出力の1画素遅延素子63による遅延出力と
が、加算器64にて加算されて平均値が算出され、×印
の画素データS3が得られる。
算器68の各一入力となると共に、FIFOメモリ65
の入力ともなっており、このメモリ65の出力は1画素
遅延数66を介してセレクタ67の他入力となってい
る。このセレクタ67の出力は加算器68の他入力とな
って、□印の画素データS5が得られる。
72及びセレクタ71の各一入力となると共に、FIF
Oメモリ69の一入力ともなっている。このメモリ69
の出力は1画素遅延素子70を介してセレクタ71の他
入力となっており、このセレクタ71の出力は加算器7
2の他入力となって、△印の画素データS6が得られ
る。
構成をm×n画素,水平方向のブロック数をiとする
と、m×n×i画素分のサーチウィンドウデータS2を
蓄え得る容量を有するものとする。
ィンドウデータとして1画素精度のデータから半画素精
度のデータを生成し、これ等1画素精度と半画素精度の
両サーチウィンドウデータと、参照ブロックデータとの
ブロックマッチングを行うようにしているので、簡単な
構成でより正確な動きベクトルの検出が可能となるとい
う効果がある。
る過程を説明する図である。
るための隣接画素間の位相を示すタイミングチャートで
ある。
ある。
である。
Claims (4)
- 【請求項1】 1フレームの画像データを複数のブロッ
クに分割して、直前フレームの所定領域であるサーチウ
ィンドウに対して現在フレームの所定参照ブロックがど
こに位置していたかを、対応画素毎に順次照合して最も
近似したブロックと当該参照ブロックとの相対的位置関
係をベクトルとして表し、このベクトルと共に、対応画
素毎の差分値の和を当該ベクトルの評価値として出力す
るようにした動き予測ベクトル検出回路であって、前記
サーチウィンドウの1画素精度のデータに対して、これ
等各1画素に隣接する画素のデータと当該1画素データ
との平均データを夫々算出して半画素精度のデータを生
成する半画素精度データ生成手段と、前記サーチウィン
ドウの1画素精度のデータと前記参照ブロックのデータ
とを照合して1画素精度のベクトルとその評価値とを生
成する1画素精度ベクトル検出手段と、前記半画素精度
データ生成手段による前記サーチウィンドウの半画素精
度のデータと前記参照ブロックのデータとを照合して半
画素精度のベクトルとその評価値とを生成する半画素精
度ベクトル検出手段と、前記1画素精度及び半画素精度
ベクトル検出手段の両評価値を比較してこの比較結果に
応じて前記1画素精度及び半画素精度のベクトルを択一
的に導出する選択手段と、を含み、参照ブロックに対す
る前記1画素精度ベクトル検出と半画素精度ベクトル検
出とを同時に並列処理することを特徴とする動き予測ベ
クトル検出回路。 - 【請求項2】 前記補間手段は、前記サーチウィンドウ
の1画素精度のデータとこの各1画素を基準として少な
くとも垂直方向、水平方向に夫々1画素ずれた各画素と
当該1画素との各平均データを夫々算出して前記半画素
精度のデータとして出力する手段を有することを特徴と
する請求項1記載の動き予測ベクトル検出回路。 - 【請求項3】 前記半画素精度ベクトル検出手段は、前
記各平均データと前記参照ブロックのデータとを夫々照
合して半画素精度のベクトルとその評価値とを生成する
ようにしたことを特徴とする請求項2記載の動き予測ベ
クトル検出回路。 - 【請求項4】 前記選択手段は、前記評価値のうち最小
の評価値に対応するベクトルを最適ベクトルとして出力
するよう構成されていることを特徴とする請求項3記載
の動き予測ベクトル検出回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11226396A JP3528115B2 (ja) | 1996-05-07 | 1996-05-07 | 動き予測ベクトル検出回路 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11226396A JP3528115B2 (ja) | 1996-05-07 | 1996-05-07 | 動き予測ベクトル検出回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09298751A JPH09298751A (ja) | 1997-11-18 |
JP3528115B2 true JP3528115B2 (ja) | 2004-05-17 |
Family
ID=14582333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11226396A Expired - Fee Related JP3528115B2 (ja) | 1996-05-07 | 1996-05-07 | 動き予測ベクトル検出回路 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3528115B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000041251A (ja) | 1998-07-22 | 2000-02-08 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
US7408988B2 (en) * | 2002-12-20 | 2008-08-05 | Lsi Corporation | Motion estimation engine with parallel interpolation and search hardware |
JP2011182181A (ja) * | 2010-03-01 | 2011-09-15 | Nanao Corp | ブロック別動きベクトル演算装置またはその方法 |
-
1996
- 1996-05-07 JP JP11226396A patent/JP3528115B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH09298751A (ja) | 1997-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7012649B2 (en) | Image processing apparatus and method, program, and recording medium | |
US7738556B2 (en) | Apparatus and method for estimating motion vector with gradient method | |
US20050238102A1 (en) | Hierarchical motion estimation apparatus and method | |
US5793443A (en) | Motion vector detection circuit | |
JP2006331136A (ja) | 動きベクトル検出装置 | |
JP2861462B2 (ja) | 動きベクトル検出装置 | |
JP3528115B2 (ja) | 動き予測ベクトル検出回路 | |
JP2009295029A (ja) | 動き量検出装置及び動き量検出方法 | |
JP2930675B2 (ja) | 初期偏位ベクトルを用いた動きベクトルの検出方法 | |
JP3212917B2 (ja) | 走査線補間装置および走査線補間方法 | |
JPS62230180A (ja) | 動きベクトル検出方法 | |
US8200032B2 (en) | Image processing method and related apparatus for performing image processing operation according to image blocks in horizontal direction | |
JP4250598B2 (ja) | 動き補償型ip変換処理装置及び動き補償型ip変換処理方法 | |
JP3576618B2 (ja) | 動きベクトル検出方法および装置 | |
JP3580612B2 (ja) | 動画像符号化装置の動き検出装置 | |
JP2000165883A (ja) | 動きベクトル検出装置 | |
JP4241021B2 (ja) | 動きベクトル検出方法、動きベクトル検出装置、画像符号化装置 | |
JP2007503656A (ja) | エッジ方向の推定 | |
JP4972321B2 (ja) | 時間リカレンスを表す画像のシーケンスにおけるピクセルをスキャンする方法及び装置及び参照フレームに関して現在のフレームの動きを推定するための方法及び装置 | |
JP3611958B2 (ja) | 動画像信号の動きベクトル検出方法および動きベクトル検出回路 | |
JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
JP3271387B2 (ja) | 動き量検出装置及び動き量検出方法 | |
JP4274430B2 (ja) | 動きベクトル検出装置 | |
JP3334317B2 (ja) | 画像照合方法および装置 | |
JP4570700B2 (ja) | 動ベクトル検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040212 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080305 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110305 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |