JP3418799B2 - 動きベクトル補正制御方式 - Google Patents
動きベクトル補正制御方式Info
- Publication number
- JP3418799B2 JP3418799B2 JP02174994A JP2174994A JP3418799B2 JP 3418799 B2 JP3418799 B2 JP 3418799B2 JP 02174994 A JP02174994 A JP 02174994A JP 2174994 A JP2174994 A JP 2174994A JP 3418799 B2 JP3418799 B2 JP 3418799B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- processing block
- motion
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
た動きベクトルを補正して、再生画質の改善を図る動き
ベクトル補正制御方式に関する。入力画像信号を高能率
符号化して伝送又は蓄積する為の各種の方式が知られて
いる。その高能率符号化の一部として動き補償があり、
8×8画素や16×16画素等の大きさを1ブロックと
し、入力画像信号のブロックが前フレームのどのブロッ
クに最も近似しているかを探索して最適予測ブロックと
し、この最適予測ブロックからの入力画像信号のブロッ
クの方向及び距離を動きベクトルとするものである。こ
の動きベクトルが最適でない場合、再生画質が劣化す
る。従って、動きベクトルの最適化を図ることが必要と
なる。
レームメモリ、42は量子化器等を含む符号器、43は
逆量子化器等を含む復号器、44,45は加算器、46
は可変遅延器、47は動き補償器、48は可変長符号器
である。
予測値とを加算器44に加えて差分の予測誤差を求め、
その予測誤差を符号器44に於いて例えば量子化して符
号化し、可変長符号器48に於いて生起確率等基にした
可変長符号に符号化して、伝送或いは画像蓄積等を行
う。又復号器43により符号器42と逆の処理、即ち、
復号して逆量子化し、加算器45により予測値と加算し
て画像信号を復元し、フレームメモリ41に蓄積する。
従って、フレームメモリ41には、1フレーム前の画像
信号が蓄積されることになる。
ームメモリ41からの前フレームの画像信号とが入力さ
れ、ブロック対応の動き補償が行われ、それによって得
られた動きベクトルは、可変遅延器46と可変長符号器
48とに加えられ、可変長符号器48に於いて可変長符
号化される。
ームメモリ、52は量子化器等を含む符号器、53は逆
量子化器等を含む復号器、54,55は加算器、56は
可変遅延器、57は動き補償器、58は可変長符号器、
59は入力画像信号を入力するフレームメモリである。
より量子化して符号化し、可変長符号器58により可変
長符号化し、又復号器53により復号化して逆量子化
し、予測値と加算器55で加算してフレームメモリ51
に蓄積し、動き補償器57からの動きベクトルにより可
変遅延器56を制御すると共に、動きベクトルを可変長
符号器58により可変長符号化する構成は、図7に示す
従来例と同様である。
ムの画像信号は、予測誤差を符号化し、更に復号化して
前フレームの予測値と加算したものであるから、量子化
誤差等を含むものである。これに対して、フレームメモ
リ59は、入力画像信号をそのまま蓄積するものである
から、量子化誤差等を含まないものである。従って、こ
のフレームメモリ59に蓄積された前フレームの画像信
号と入力画像信号とを、動き補償器57に入力してブロ
ック対応に精度の良い動き補償を行うことができる。
特開平3−214988号公報が知られている。これ
は、入力画像信号の動き補償を行う為の処理ブロックに
ついて動き補償を行わないと判定した時に、その周辺で
同じ動きベクトルのブロックが所定数以上存在した場合
は、その処理ブロックについても動き補償を行うように
変更するものである。
2−33286号公報が知られている。これは、間引き
処理を行った入力画像信号と前フレームの画像信号とを
第1のベクトル検出部に入力して、入力画像信号の動き
補償を行う為の処理ブロックに最も近似した前フレーム
のブロックを探索し、次に間引き処理を行わない入力画
像信号の処理ブロックと最も近似した前フレームのブロ
ックを中心とした周辺のブロックとを第2のベクトル検
出部に入力して、入力画像信号の処理ブロックに最も近
似したブロックを探索するものである。
に於いては、ハードウェアの削減や演算処理の負担軽減
の為に、例えば、前述の特開平2−33286号公報に
於ける第1のベクトル検出部のように画素を間引いて処
理するものである。更にブロック内の画素のマッチング
をとる場合も、マッチングのポイントを間引く場合があ
る。このような間引き処理によって最適な動きベクトル
が得られない場合が多くなる。
の場合に、画素の間引き及びマッチングポイントの間引
きによって、同一内容のブロックであっても、入力画像
信号の動き補償を行う為の処理ブロックに最も近似した
ブロックとなる場合と、大きく異なるブロックとなる場
合が生じるから、周辺のブロックの動きベクトルと大き
く異なる動きベクトルが得られる場合がある。即ち、最
適な動きベクトルが得られないことになる。このように
最適な動きベクトルが得られない場合は、再生画像に不
自然な動きが生じ、画質の劣化が目立つ問題がある。
示された従来例は、入力画像信号の処理ブロックについ
て動き補償を行うか否かを、その周辺のブロックの動き
ベクトルを用いて判定するもので、動き補償を行わない
ブロックが島状に発生することを防止できるだけであ
り、再生画像の画質の向上には不充分である。
286号公報に於いては、第1のベクトル検出部に於い
て入力ブロックに最も近似した1フレーム前のブロック
を探索し、この最も近似したブロックを中心とした近傍
ブロックと入力ブロックとを第2のベクトル検出部に入
力して、入力ブロックに最も近似したブロックを探索す
るもので、背景パターン、例えば、比較的平坦な背景パ
ターンに於いては、近似ブロック探索に於いて複数のブ
ロックが候補となることが多く、それにより、最適なブ
ロックを選択できない場合が生じ、結果として最適な動
きベクトルを求めることができないことにより、再生画
像の画質が劣化する問題があった。本発明は、最適な動
きベクトルが得られるようにして、再生画像の画質の向
上を図ることを目的とする。
正制御方式は、図1を参照して説明すると、(1)入力
画像信号と予測値との差分の予測誤差を符号化する符号
処理部1と、入力画像信号と前フレームの画像信号又は
動き補償前の前記予測値とを入力して動き補償を行う動
き補償部2とを備えた動き補償方式に於いて、動き補償
部2からの動きベクトルを蓄積するメモリ3と、動きベ
クトルを補正する動きベクトル補正部4とを設け、動き
ベクトル補正部4は、入力画像信号の処理ブロックの動
きベクトルと、この処理ブロックの周辺のブロックの動
きベクトルとをメモリ3から読出し、処理ブロックの動
きベクトルが他の動きベクトルと極端に異なるか否かを
判定し、且つ動き補償部2に加える前記予測値又は前フ
レームの画像信号と入力画像信号の処理ブロックとを用
いて、平坦なブロックを示すか否かを判定し、処理ブロ
ックの動きベクトルが他の動きベクトルに対して極端に
異なり、且つ平坦なブロックであることを示す時に、こ
の処理ブロックの周辺のブロックの動きベクトルを、こ
の処理ブロックの動きベクトルとして出力する。
像信号の処理ブロックの動きベクトルと、この処理ブロ
ックの周辺のブロックの動きベクトルとの差分の絶対値
の少なくとも一つが予め設定した閾値を超えている時
に、この処理ブロックの動きベクトルは、他の動きベク
トルに対して極端に異なると判定する。
像信号の処理ブロックについて、画素の平均値に対する
各画素の差分の絶対値の平均値が、予め設定した閾値を
超えない時に、平坦なブロックを示すと判定する。
像信号の処理ブロックの動きベクトルが他の動きベクト
ルに対して極端に異なり、且つ平坦なブロックと判定さ
れた時に、この処理ブロックの周辺のブロックの動きベ
クトルの平均値に最も近い動きベクトルを探索して、処
理ブロックの動きベクトルを補正した動きベクトルとし
て出力する。
分の予測誤差を量子化して符号化するもので、可変長符
号化を行う機能を含む場合もある。又動き補償部2は、
入力画像信号と前フレームの画像信号とをブロック対応
に動き補償を行うもので、メモリ3は、複数ブロック対
応の動きベクトルを蓄積する。動き補正部4は、入力画
像信号の処理ブロックの動きベクトルが、周辺のブロッ
クの動きベクトルと極端に異なり、且つ平面的な背景等
による平坦な画面のブロックであると判定した時に、こ
の処理ブロックの動きベクトルを、周辺のブロックの動
きベクトルを基に補正する。
像信号の処理ブロックの動きベクトルと、この処理ブロ
ックの周辺の複数のブロックの動きベクトルとの差分の
絶対値を求め、複数のブロックの動きベクトルとの差分
の絶対値の一つでも閾値を超えている時は、入力画像信
号の処理ブロックの動きベクトルが周辺の複数のブロッ
クの動きベクトルに対して極端に異なると判定する。
処理ブロックを構成する画素の平均値を求め、この平均
値と各画素との差分の絶対値を求め、その絶対値の画素
数による平均値を求めて、閾値と比較し、この閾値を超
えない時は、画素間の差分が小さいから、平坦な画面を
示すブロックと判定する。
像信号の処理ブロックの動きベクトルが他の動きベクト
ルに対して極端に異なり、且つ平坦なブロックと判定さ
れた時に、この処理ブロックの周辺、例えば、上下左右
のブロックの動きベクトルの平均値を求め、この平均値
と各ブロックの動きベクトルとを比較して、平均値に最
も近い動きベクトルを見つけて、処理ブロックの動きベ
クトルを補正した動きベクトルとして出力する。
はフレームメモリ、12は符号器、13は復号器、1
4,15は加算器、16,21は可変遅延器、17は動
き補償器、18は可変長符号器、19はメモリ、20は
動きベクトル補正器である。この実施例は、図7に示す
従来例に、メモリ19と動きベクトル補正器20と可変
遅延器21とを付加した構成に相当する。又図8に示す
従来例に、同様な構成を付加して構成することも可能で
ある。
ベクトルを複数ブロック対応に蓄積するものである。又
動きベクトル補正器20は、入力画像信号とフレームメ
モリ11から読出して可変遅延器21を介した前フレー
ムの画像信号とが入力され、又メモリ19から過去の動
きベクトルが入力されて、動きベクトルを補正し、この
補正した動きベクトルを可変遅延器16と可変長符号器
18とに加えるものである。この動きベクトル補正器2
0は、動き補償を行う処理ブロックの動きベクトルが周
辺のブロックの動きベクトルと極端に異なり、且つ平坦
なブロックを示す時に、最適な動きベクトルではないと
判定して、周辺のブロックの動きベクトルを代用するよ
うに補正するものである。
ベクトルの検出説明図であり、動きベクトル補正器20
の処理の一部を示し、メモリ19に蓄積された動きベク
トルv00〜v22を入力する(A1)。即ち、処理ブロッ
クの動きベクトルv11と、その周囲のブロックの動きベ
クトルv00〜v02,v10,v12,v20〜v22とを入力す
る。又各動きベクトルv00〜v22は、それぞれx方向と
y方向との成分x00,y00〜x22,y22を有するもので
ある。
分の絶対値が閾値aにより小さいか否かを判定し(A
2)、小さい場合はy方向の成分について差分の絶対値
が閾値aより小さいか否かを判定する(A3)。即ち、
ステップ(A2)に於いては、|x11−x00|<a,・
・・|x11−x22|<aの条件を総て満足する場合、ス
テップ(A3)に移行し、|y11−y00|<a,・・・
|y11−y22|<aの条件を総て満足する場合は、動き
ベクトルv11は、周辺の動きベクトルと極端に異なるも
のではないと判定する(A6)。
に於いて、閾値aに対する条件が一つでも満足しない場
合は、動きベクトルv11は、周辺の動きベクトルと極端
に異なると判定する(A5)。従って、閾値aは、入力
画像信号の性質等を考慮して設定するものである。
検出説明図であり、動きベクトル補正器20の処理の一
部を示し、平坦な部分を示すブロックであるか否かを判
定するものであり、1ブロックを16×16画素〔b
(16,16)〕とした場合を示す(B1)。そして、
ブロック内の平均値bを求める(B2)。即ち、画素b
(i,j)について、i=1からi=16までと、j=
1からj=16までの画素を加算して、(16×16)
で除算する。
均値bとブロック内の各画素b(i,j)との差の絶対
値を、i=1からi=16までと、j=1からj=16
までの画素について求めて加算し、(16×16)で除
算する(B3)。このステップ(B3)に於いて求めた
値bvが閾値kより大きいか否かを判定し(B4)、大
きい場合は平坦でないブロックと判定する(B6)。又
大きくない場合は平坦なブロックと判定する(B5)。
即ち、画素間の差分が小さい場合に平坦なブロックと判
定する。
トル補正処理の説明図であり、動きベクトル補正器20
の処理の主要部を示す。入力は、動きベクトルv11の周
辺のブロックの動きベクトルv00〜v02,v10,v12,
v20〜v22と、前述のステップ(A4),(A5)の判
定結果Vと、ステップ(B5),(B6)の判定結果B
とを用いる(C1)。
で、且つB=平坦なブロックの判定結果であるか否かを
判定する(C2)。この条件を満足しない時は、動きベ
クトルの補正を行わない。即ち、動きベクトルv11(x
11,y11)をそのまま処理ブロックの動きベクトルとす
る(C3)。
は、動きベクトルv11を中心として上下左右のブロック
の動きベクトルv01,v21,v10,v12のx方向成分x
01,x21,x10,x12の平均値xとy方向成分y01,y
21,y10,y12の平均値yとを求める(C4)。
(C5)、次にi=1とし(C6)、次にj=1とし
(C7)、動きベクトルvijのx方向成分xijとy方向
成分yijとについて、ステップ(C4)に於いて求めた
平均値x,yとの差の絶対値の和wを求め(C8)、w
<w1で、且つ、(i,j)が(0,1)又は(1,
0)又は(1,2)又は(2,1)であるか否かを判定
する(C9)。即ち、処理ブロックの動きベクトルv11
に対して、上下左右のブロックの動きベクトルについて
処理しているか否かを判定する。
は、ステップ(C11)に移行し、又条件を満足する場
合はステップ(C10)に移行し、m=i,n=j,w
1=wとする。即ち、初期値が999のw1を、順次ス
テップ(C8)に於いて求めたwとし、次のステップ
(C11)に移行する。ステップ(C11)では、j=
j+1とし、次のステップ(C12)では、j>2か否
かを判定する。jが2より大きくなければステップ(C
8)に移行し、jが2より大きい場合は、ステップ(C
13)に移行し、i=i+1とし、次のステップ(C1
4)でi>2か否かを判定し、iが2より大きくない場
合はステップ(C7)に移行し、iが2より大きい場合
は、動きベクトルv11(x11,y11)をvmn(xmn,y
mn)に補正する(C15)。即ち、ステップ(C9)に
於けるw<w1のように、ステップ(C8)に於いて求
めた値wが最小となる動きベクトルvmnを探索して、補
正することになる。
動きベクトルと極端に異なり、且つ平坦な画面の場合
に、周辺のブロックの動きベクトルのx方向とy方向
と、その平均値との差の絶対値の和が最小となる動きベ
クトルvmnを選択して、動きベクトルv11の補正動きベ
クトルとして出力する。
ものではなく、例えば、動きベクトルv11を補正する為
に、この動きベクトルv11が得られたブロックの上下左
右のブロックの動きベクトルを用いているが、斜め方向
のブロックの動きベクトルを含めて補正対象とすること
ができる。又動き補正器20は、プロセッサの演算処理
機能によって容易に実現することができる。又符号器1
2は、DCT(離散コサイン変換)処理等の機能を含め
ることも可能であり、その場合は、局部復号器としての
復号器13は、逆DCT処理等の機能を含めることにな
る。
像信号の動き補償を行う処理ブロックの動きベクトル
が、周辺のブロックの動きベクトルと極端に異なり、且
つ平坦なブロックを示す時に、その周辺のブロックの動
きベクトルを基に、処理ブロックの動きベクトルを補正
するものであり、背景が同一色の平面であるような平坦
なブロックの場合、ハードウェアやソフトウェアの軽減
の為に、画素の間引き処理やマッチングポイントの間引
き等を行った時に生じ易い不適当な動きベクトルを、周
辺のブロックの動きベクトルを基に補正するから、再生
画像に不自然な動きが生じるようなことはなく、再生画
質の改善が可能となる利点がある。
検出説明図である。
である。
図である。
図である。
Claims (4)
- 【請求項1】 入力画像信号と予測値との差分の予測誤
差を符号化する符号処理部(1)と、前記入力画像信号
と前フレームの画像信号又は動き補償前の前記予測値と
を入力して動き補償を行う動き補償部(2)とを備えた
動き補償方式に於いて、 前記動き補償部(2)からの動きベクトルを蓄積するメ
モリ(3)と、前記動きベクトルを補正する動きベクト
ル補正部(4)とを設け、 該動きベクトル補正部(4)は、前記入力画像信号の処
理ブロックの動きベクトルと、該処理ブロックの周辺の
ブロックの動きベクトルとを前記メモリ(3)から読出
し、該処理ブロックの動きベクトルが他の動きベクトル
と極端に異なるか否かを判定し、且つ前記入力画像信号
の前記処理ブロックを用いて、該処理ブロックが平坦な
ブロックを示すか否かを判定し、該処理ブロックの動き
ベクトルが前記周辺のブロックの動きベクトルに対して
極端に異なり、且つ該処理ブロックが平坦なブロックで
あることを示す時に、該処理ブロックの周辺のブロック
の動きベクトルを、該処理ブロックの動きベクトルとし
て出力することを特徴とする動きベクトル補正制御方
式。 - 【請求項2】 前記動きベクトル補正部(4)は、前記
入力画像信号の処理ブロックの動きベクトルと、該処理
ブロックの周辺のブロックの動きベクトルとの差分の絶
対値の少なくとも一つが予め設定した閾値を超えている
時に、該処理ブロックの動きベクトルは、他の動きベク
トルに対して極端に異なると判定することを特徴とする
請求項1記載の動きベクトル補正制御方式。 - 【請求項3】 前記動きベクトル補正部(4)は、前記
入力画像信号の処理ブロックについて、該処理ブロック
の動きベクトルが周辺のブロックの動きベクトルに対し
て極端に異なり、且つ該処理ブロックの画素の平均値に
対する各画素の差分の絶対値の平均値が、予め設定した
閾値を超えない時に、該処理ブロックは平坦なブロック
を示すと判定することを特徴とする請求項1記載の動き
ベクトル補正制御方式。 - 【請求項4】 前記動きベクトル補正部(4)は、前記
入力画像信号の処理ブロックの動きベクトルが該処理ブ
ロックの周辺のブロックの動きベクトルに対して極端に
異なり、且つ該処理ブロックが平坦なブロックと判定さ
れた時に、該処理ブロックの周辺のブロックの動きベク
トルの平均値に最も近い動きベクトルを探索して、前記
処理ブロックの動きベクトルを補正した動きベクトルと
して出力することを特徴とする請求項1記載の動きベク
トル補正制御方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02174994A JP3418799B2 (ja) | 1994-02-21 | 1994-02-21 | 動きベクトル補正制御方式 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02174994A JP3418799B2 (ja) | 1994-02-21 | 1994-02-21 | 動きベクトル補正制御方式 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07231446A JPH07231446A (ja) | 1995-08-29 |
JP3418799B2 true JP3418799B2 (ja) | 2003-06-23 |
Family
ID=12063722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP02174994A Expired - Fee Related JP3418799B2 (ja) | 1994-02-21 | 1994-02-21 | 動きベクトル補正制御方式 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3418799B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1589763A2 (en) * | 2004-04-20 | 2005-10-26 | Sony Corporation | Image processing apparatus, method and program |
JP2006186504A (ja) * | 2004-12-27 | 2006-07-13 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
US8482619B2 (en) | 2005-12-26 | 2013-07-09 | Nikon Corporation | Image processing method, image processing program, image processing device, and imaging device for image stabilization |
JP4799330B2 (ja) * | 2006-09-08 | 2011-10-26 | 株式会社東芝 | フレーム補間回路、フレーム補間方法、表示装置 |
JP4982345B2 (ja) * | 2007-12-10 | 2012-07-25 | 株式会社東芝 | フレーム補間回路、フレーム補間方法、表示装置 |
JP6468703B2 (ja) | 2013-12-20 | 2019-02-13 | キヤノン株式会社 | 動き検出装置、動き検出方法及びプログラム |
-
1994
- 1994-02-21 JP JP02174994A patent/JP3418799B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07231446A (ja) | 1995-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2070757C (en) | Motion compensated predicting apparatus | |
US20060098740A1 (en) | Motion estimation method using adaptive mode decision | |
US6452971B1 (en) | Moving picture transforming system | |
JPH09261662A (ja) | ディジタルビデオ符号化器における動き推定方法および装置 | |
EP0985318B1 (en) | System for extracting coding parameters from video data | |
US6748114B1 (en) | Moving picture encoding method and moving picture encoding apparatus | |
JPH08251422A (ja) | ブロック歪み補正器及び画像信号伸張装置 | |
JP3418799B2 (ja) | 動きベクトル補正制御方式 | |
EP0786907A2 (en) | Video encoder | |
US20040105589A1 (en) | Moving picture compression/coding apparatus and motion vector detection method | |
JPH11177993A (ja) | 動画像符号化装置 | |
JP2702139B2 (ja) | 動画像の予測符号化方式 | |
US6064696A (en) | Encoding apparatus | |
US6332001B1 (en) | Method of coding image data | |
JPH0746595A (ja) | 動画像符号化器および復号化器 | |
JP2906865B2 (ja) | 動き補償符号化装置 | |
JP3200518B2 (ja) | 画像信号符号化装置 | |
JPH07336684A (ja) | 画像信号復号化装置 | |
JP2916027B2 (ja) | 画像符号化装置 | |
JP2656059B2 (ja) | 動画像の高能率符号化方式 | |
JPH07240927A (ja) | 映像符号化装置 | |
JP3341528B2 (ja) | 量子化装置および量子化方法 | |
JPH06233279A (ja) | 動き補償符号化装置 | |
JP3234544B2 (ja) | 画像符号化装置及び画像符号化方法 | |
JPH07203442A (ja) | デジタル伝送装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030311 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080418 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090418 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090418 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100418 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |