JP4158442B2 - Video encoding method and video decoding method - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、フィールド間予測モードを有する動画像符号化方法及び動画像装復号化方法に係わる。
【０００２】
【従来の技術】
動画像データは、一般に、データ量が大きいので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。ここで、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。
【０００３】
動画像データは、主にフレームのみから構成されるものと、フィールドから構成されるものがある。以下、主に、フィールド画像を圧縮する方式の従来技術について説明する。
【０００４】
動画像データの高能率符号化方法としては、フレーム／フィールド間予測符号化方法が知られている。図１は、このフレーム／フィールド間予測符号化のブロック図を示す。この符号化方法では、動画像データが時間方向に相関性が高いことを利用する。図２の動作を簡単に説明すると、入力された原画像と予測画像との差分画像を減算機３９にて生成し、その差分画像を直交変換手段３１，量子化手段３２及び係数エントロピー符号化手段４０にて符号化する。また、量子化手段３２の出力を逆量子化手段３３及び逆直交変換手段３４により差分画像を復元し、復号画像生成手段３５にて復元した差分画像と符号化時に用いた予測画像とから符号化画像を復元する。その復元された画像は、復号画像記憶手段３６に記憶され、動きベクトル計算手段３７にて、次の入力画像との間の動きベクトルを計算し、その動きベクトルにより予測画像生成手段３８にて予測画像を生成する。生成された動きベクトルはベクトルエントロピー符号化手段４１にて符号化され、係数エントロピー符号化手段４０で符号化された係数符号化データとともにＭＵＸ４２を介して出力される。すなわち、動画像データは、一般に、あるタイミングのフレーム／フィールドデータと次のタイミングのフレーム／フィールドデータとの類似度が高いことが多いので、フレーム／フィールド間予測符号化方法では、その性質を使用する。例えば、フレーム／フィールド間予測符号化方法を用いたデータ伝送システムでは、送信装置において、前フレーム／フィールドの画像から対象フレーム／フィールドの画像への「動き」を表す動きベクトルデータ、及びその前フレーム／フィールドの画像からその動きベクトルデータを用いて作成した対象フレーム／フィールドの予測画像と対象フレーム／フィールドの実際の画像との差分データを生成し、それら動きベクトルデータおよび差分データを受信装置に送出する。一方、受信装置は、受信した動きベクトルデータおよび差分データから対象フレーム／フィールドの画像を再生する。
【０００５】
図１のこのフレーム／フィールド間予測符号化は、フレーム／フィールド間予測符号化の概略を説明したが、以下に、更にフレーム予測符号化、及びフィールド予測符号化について説明する。
【０００６】
図２、及び図３は、前述のISO/IEC MPEG-2／MPEG-4(以下MPEG-2、MPEG-4)、及び2002年7月現在において、ITU-TとISO/IECで共同で標準化中のITU-T H.264／ISO/IEC MPEG-4 Part 10(Advanced Video Coding：AVC)のCommittee Draft(以下AVC CDと省略)共通に用いられている、フィールド画像を符号化する際のフォーマットの説明である。すなわち、各フレームは2枚のフィールド、すなわちTop フィールドとBottomフィールドから構成される。図２は、輝度、色差の各画素の位置と、それらが属するフィールドを説明する図である。この図２で示したとおり、輝度第１ライン(50a)，輝度第３ライン(50b)，輝度第５ライン(50c)，輝度第７ライン(50d)・・・という、奇数番目のラインはTopフィールドに属し、輝度第２ライン(51a)，輝度第４ライン(51b)，輝度第６ライン(51c)，輝度第８ライン(51d)・・・という偶数番目のラインはBottomフィールドに属する。色差成分も同様に、色差第１ライン(52a)，色差第３ライン(52b)・・・といった奇数番目のラインはTopフィールドに属し、色差第２ライン(53a)，色差第４ライン(53b)・・・といった偶数番目のラインはBottomフィールドに属する。
【０００７】
このTopフィールドとBottomフィールドは、異なる時刻の画像をあらわす。次に、TopフィールドとBottomフィールドの時空間的な配置について、図３を用いて説明する。
【０００８】
なお、この図３以降、本発明に関わる技術は、動きベクトルの垂直成分に関わるものであるので、水平成分の画素は図示せず、かつ、動きベクトルの水平成分は、全て、便宜上、０として説明する。また、従来の問題点、及び本発明の効果を示すため、各フィールドの輝度、色差の画素の位置の位置関係は、正しく図示している。
【０００９】
この図３において縦軸は、各フィールドの垂直成分の画素位置を表し、横軸は時間の経過を表す。なお、各画像の画素の水平成分においては、フィールドによる位置の変位はないため、この図では水平方向の画素の図示及び説明は省略している。
【００１０】
この図３で示したとおり、色差成分のピクセル位置は、輝度のフィールド内の画素位置に対して、垂直成分が１／４画素ずれている。なお、これは、Top及びBottomの両フィールドからフレームを構成した場合、図２のような画素位置の関係を満たすためである。各Top及びBottomの隣接する両フィールド間(64a:65a、65a:64b・・)については、NTSCフォーマットをベースにした場合では、約1/60秒である。そして、TopフィールドからTopフィールド(64a:64b・・)又はBottomフィールドからBottomフィールド(65a:65b・・)の時間は約1/30秒の間隔である。
【００１１】
以下、MPEG-2やAVC CDで採用されている、フィールド画像のフレーム予測符号化モードとフィールド予測について、説明する。図４は、フレーム予測モード時に、2枚の連続するフィールド（隣接するTop及びBottomのフィールド）からフレームを構成する方法を説明したものである。この図の様に、フレームは、時間的に連続する2枚のフィールド（Top及びBottomのフィールド）から再構成されたものである。
【００１２】
図５はフレーム予測モードを説明したものである。この図では、各フレーム84a、84b、84c・・は、図４で説明したとおり、2枚の連続するフィールド（Top及びBottomのフィールド）から、既に再構成されたものとする。このフレーム予測モードでは、Top及びBottomの両フィールドから構成された符号化対象フレームを対象に符号化が行なわれる。そして、参照画像としても、連続する参照用に蓄積された2枚のフィールド（Top及びBottomのフィールド）から一枚の参照フレームを構成し、前符号化対象フレームの予測に用いる。そして、この2枚のフレーム画像を、図１に図示したブロック図に従って符号化する。このフレーム予測符号化モードの場合、動きベクトルの表現方法については、ゼロベクトル、即ち (0,0)は、空間的に同位置の画素を指し示す。具体的にはFrame #2(84b)に属する輝度の画素82に対して、動きベクトル（0,0）を指し示す動きベクトルは、Frame#1(84a)の画素位置81を指し示すものである。
【００１３】
次にフィールド予測符号化モードについて説明する。図６はフィールド間予測モード時の予測方法を説明する図である。フィールド予測モードでは、符号化対象は、原画として入力された一枚のTop フィールド(94a、94b・・)乃至はBottomフィールド(95a、95b・・)である。そして、参照画像としては、過去に蓄積されたTopフィールドあるいはBottomフィールドが使用可能である。ここで、原画フィールドと参照フィールドがパリティが同じ、とは、原画像のフィールドと参照フィールドが、両方ともTopフィールド、あるいは両方ともBottomフィールドであること、と一般に定義される。例えば、図中90の同パリティのフィールド予測は、原画(94b)、参照(94a)の両フィールドともTopフィールドである。同様に、原画フィールドと参照フィールドがパリティが異なる、とは、原画像のフィールドと参照フィールドの、一方がTopフィールド、もう片方がBottomフィールドであること、と一般に定義される。例えば、図中91に図示した異パリティのフィールド予測は、原画はBottom フィールド(95a)、参照はTopフィールド(94a)である。そして、この原画フィールド画像と参照フィールド画像を図１に図示したブロック図に従って符号化する。
【００１４】
なお、従来の技術では、フレームモード、及びフィールドモード、とも、各フレーム／フィールド内の画素の位置を元に、動きベクトルが求められている。従来方式における、動きベクトル算出方法、および、動きベクトルが与えられたときの、画素の対応付け方法について説明する。
【００１５】
図７は、MPEG-2, MPEG-1,AVC CDなどの符号化で広く用いられている、フレーム／フィールド画像の座標を定義した図である。図中、白丸は、対象とするフレーム／フィールドで、画素の定義位置(271)である。ここで、このフレーム／フィールド画像内の座標については、画面内の左上を原点(0,0)とし、水平、垂直方向に、画素の定義位置が、順番に１，２，３・・・という値が割り振られる。すなわち、水平方向ｎ番目、垂直方向ｍ番目の画素の座標は(n,m)となる。これに準じて、画素と画素の間を補間した位置の座標も同様に定義される。すなわち、図中の●の位置270に関しては、左上の画素から水平方向に1,5画素、垂直方向に2画素分のところにあるので、位置270の座標は(1.5, 2.0)と表される。なお、フィールド画像に置いては、垂直方向はフレーム画像の半分の画素しかないが、この場合でも、各フィールドに存在する画素の位置を基準に、図７と同様に取り扱う。
【００１６】
この図７の座標系を用いて、フィールド間の動きベクトルの定義を説明する。図８は、従来のフィールド間の対応する画素間の動きベクトルの算出方法を説明する図である。動きベクトルを定義するには、参照元の位置と参照先の位置が必要である。そして、この２点の間で動きベクトルが定義されることとなる。ここで、参照元のフィールド内の座標201が(Xs,Ys)の点 と参照先のフィールド内の座標202が(Xd,Yd)の点の間の動きベクトルを求める。従来のフィールド間に対応する画素間の動きベクトルの算出方法においては、参照元、および参照先が、Topフィールド、あるいはBottomフィールドに関わらず、以下に説明する、同一の方法で動きベクトルが求められていた。すなわち、参照元フィールド座標201(Xs,Ys)と、参照先フィールド座標202(Xd,Yd)が動きベクトル算出手段200に入力され、この二点間の動きベクトル203として、(Xd-Xs, Yd-Ys)が与えられるというものである。
【００１７】
また、図９は、従来技術において、フィールド間で定義された動きベクトルが指し示す画素の算出方法を説明する図である。ここで、動きベクトルは、前述の図８の方法で導出したものとする。参照先の座標を求めるために、参照元の位置と動きベクトルが必要である。この図の場合には、参照元のフィールド内の座標212が(Xs,Ys)の点に対し、動きベクトル211の(X,Y)が与えられ、この両者を用いて求められる参照先フィールド内の座標を求めることを想定している。従来のフィールド間に対応する画素間の動きベクトルの算出方法においては、参照元、および参照先が、Topフィールド、あるいはBottomフィールドに関わらず、以下に説明する、同一の方法で参照先フィールドの位置が求められていた。すなわち、動きベクトル211(X、Y)と参照元フィールド座標212(Xs,Ys)が画素対応付け手段210に入力され、参照先フィールド座標213として、 座標(Xs＋X, Ys＋Y)が与えられるというものである。
【００１８】
【発明が解決しようとする課題】
このフィールド符号化モードの場合、原画フィールドと参照フィールドが異なる、すなわちパリティの異なるフィールド間の予測においては、ゼロベクトルは空間的に同じ位置を指さない。このことを図１０を用いて説明する。図中、時間と共に、Topフィールド130、Bottomフィールド131、Top フィールド132が時間的に連続していると仮定する。ここで、Bottom フィールド131を、Top フィールド130を用いて符号化しようとしている。この際、フィールド間符号化では、各フィールドの同一ライン間の動きベクトルを垂直方向のゼロと定義している。このため、Bottomフィールド131に属する輝度の画素133aに対して、ゼロベクトル(0,0)が割当てられた場合、この画素は、Topフィールド130の画素135aから予測される。同様に、Bottomフィールド131に属する色差の画素134aに対して、ゼロベクトル(0,0)が割当てられた場合、この画素は、Topフィールド130の画素137aから予測される。また同様に、Topフィールド132に属する輝度画素133b及び色差画素134bはそれぞれ、Bottomフィールド131上の画素135b及び137bから予測される。なお、本来、色差と輝度は、動きベクトルが同一であるほうが好ましいので、輝度の動きベクトルを、現在のままとすれば、本来の色差134a、134bの画素は、それぞれ136a、136bの位置から予測するべきものである。
【００１９】
前述のとおり、異なるパリティを持つフィールド間の予測では、
・ゼロベクトルが、空間的に同一の位置を示さない。
・輝度と色差の動きベクトルが平行でない。
という点を説明した。この2種類の点が、異なるパリティを持つフィールド間の予測において、以下のような問題を引き起こす。
【００２０】
まず、第一の問題は、異なるフィールド間て定義された動きベクトルから符号化対象のフィールドの動きベクトルを内挿や外挿などで求める場合、予測する対象の画素の空間位置がズレる事によりミスマッチが起こるということが挙げられる。
この例を前述のAVC CDでは、B-Picture用にDirect Modeとして定義された予測モードを例として説明する。
【００２１】
まず、Direct Modeの説明を図１１を参照しながら説明するB-Pictureとは、主に、時間的に前後の参照フレーム2枚、即ち前方参照フレームＦと後方参照フレームＢから予測画像を生成して、画像を符号化する方法である。Direct Modeは、主にB-Pictureで用いられ、物体の動きは時間的になめらかと仮定して、動きベクトルを内挿した動きベクトルをBピクチャ内のマクロブロック／ブロックの動きベクトルとすることで、双方向予測のマクロブロックの動きベクトルの符号化を不要にし、大幅な符号化効率の改善を実現するものである。このB-Pictureにおいて、Direct Modeは、以下のように用いられる。図１１において、符号化対象マクロブロック(103)と空間的に同じ位置の、後方参照フレーム内の後方予測マクロブロック(104)が、前方参照フレーム(100)に属する画素を指す後方予測マクロブロックの動きベクトルMV1(105)を有するとする。また、便宜上、前方参照フレームＦ(100)、符号化対象フレーム(101)、及び後方参照フレームＢ(102)のそれぞれの時間間隔は等しいとする。この際、Direct Modeでは、符号化対象マクロブロック103から前方参照フレームＦ100を予測するための動きベクトルMVF(106)と、符号化対象マクロブロック103から後方参照フレームＢ102を予測するための動きベクトルMVB(107)を、以下のように内挿して求める。
【００２２】
MVF = 1/2・MV1
MVB = -1/2・MV1 (式1)
そして、このMVF106、MVB107を予測用に用いることにより、符号化対象マクロブロック103を符号化するために動きベクトルを符号化する必要がなく、大幅な符号化効率向上が実現できる。
【００２３】
しかし、このDirect Modeをフィールド間に適用した場合、従来の技術では問題が生じる。この問題を図示したのが図１２である。
【００２４】
この例では、前方参照Topフィールド110、及び同様に請求項６は請求項１２後方参照Topフィールド112から、符号化対象Bottomフィールド111を符号化する例を図示している。この際、後方参照Topフィールドに属するマクロブロックは、後方予測の動きベクトル115として(0,1)を有しているとする。この際、例えば後方参照Topフィールド112に属する画素114を用いてBottomフィールドの画素113を予測するのだが、すでに符号化されたTopフィールド112の画素114を予測するのに、前方参照Topフィールド110の画素120が用いられていたことを示す。
この場合、符号化対象Bottomフィールド111に属する画素113を予測するための動きベクトルを前述のDirect Modeで求める場合を想定する。この場合、式1によれば、前方予測ベクトル 116(MVF)、および後方予測ベクトル117(MVB)は、以下のとおりとなる。
【００２５】
MVF = (0, 1/2)
MVB = (0, -1/2) (式２)
である。しかしながら、このMVF(116)、MVB(117)は、図示の通り、予測の元となった、後方予測マクロブロックの動きベクトルMV1(115)とは異なる向きを向いていることが分かる。
【００２６】
ここで、もし、物体の動きが一様だと仮定すれば、画素113を予測するのに好ましい動きベクトルは後方予測ブロックの動きベクトル115と平行であることが好ましい。すなわち、好ましい前方予測ベクトル118は、動きベクトル値(0,1)となり、好ましい後方予測ベクトル119は動きベクトル値(0,0)となる。すなわち、好ましい動きベクトルと、Direct Modeで求まる動きベクトルとが異なり、これがDirect Modeが選ばれた場合の画質劣化をもたらすなどの問題を引き起こす。
【００２７】
第二の問題は、パリティが異なるフィールド間での色差の動きベクトルに関する。図１３は、この問題を図示したものである。第一の問題と同様に前述のAVC CDに従って、問題を示す。
【００２８】
AVC CDでは、色差成分は、縦の画素数、横の画素数とも輝度成分の画素数の半分のため、色差成分の予測画素を求めるための動きベクトルは、輝度成分の動きベクトルを二分の一にスケーリングしたもの、と定められている。すなわち、輝度の動きベクトルをMV#Y、色差の動きベクトルをMV#Cとした場合、
MV#C = 1/2・MV#Y (式3)
と定義される。 これは、動きベクトルがフレーム間、同一パリティのフィールド間、異なるパリティのフィールド間で予測を行なっているかどうかに関わらない。
いま、この定義が、異なるパリティのフィールド間で定義された輝度の動きベクトルから、色差の動きベクトルを求める際に問題となることを示す。図１３において、Topフィールドの輝度の画素140は、予測ベクトルとして(0,2)を有し、その結果、Bottom Fieldの輝度画素141を指し示す。
【００２９】
この場合、同一ブロックに属する色差画素の動きベクトルは、式3に従って、動きベクトル(0,1)と求められる。そして、色差の画素142の予測値として、動きベクトル(0,1)を用いて予測した場合、予測値として、Bottomフィールドの色差の画素143を用いることとなる。
この場合、輝度の動きベクトル(0,2)と色差の動きベクトル（0,1）は平行でない。好ましくは、輝度のベクトルと平行になり、Bottomフィールドの色差の画素145を用いることが必要となる。このことから、従来の予測方法では輝度と色差でずれた位置の画素を参照することとなり、予測画像で、輝度と色差でずれた予測画像となってしまう。この問題は、MPEG-2では、特に低レートの際に問題となることが知られている。
【００３０】
【問題点を解決するための手段】
本発明は、上記の問題を解決するものである。
【００３１】
本発明においては、複数のフィールドで構成される画像フレーム信号に対しフィールド間の動き補償予測を行う動画像符号化方法及び動画像復号化方法において、パリティが異なるフィールド間で動きベクトル予測を行う際に、輝度成分及び色差成分の両成分とも、参照元のフィールドの画素位置から、空間的に同位置の参照先フィールドの画素位置を指し示す動きベクトルをゼロベクトル基準としてパリティが異なるフィールド間で動きベクトル予測により輝度成分の動きベクトルを生成し、色差の動きベクトルの垂直成分は、輝度の動きベクトルの垂直成分を正確に一定倍率スケーリングしてゼロベクトルを基準として生成することにより、パリティの異なるフィールド画像間の画素位置の空間的な位置ズレを考慮して動きベクトルを生成する事ができ、また本発明によれば、色差の動きベクトルの垂直成分は、空間的に同一位置の輝度成分の動きベクトルの垂直成分を一定倍率、即ち、ＭＰＥＧ−２やＡＶＣの場合には、単純に１／２倍したものを用いても、従来のように輝度と色差のミスマッチを発生しない。（請求項１）。
【００３３】
また、本発明の別の形態では、該動きベクトルの参照元のフィールドがＴｏｐフィールドであり、該動きベクトルの参照先のフィールドがＢｏｔｔｏｍフィールドであった場合、
参照元のフィールドの画面の上からｎ番目のラインの画素が、参照先のフィールドの画面の上から（ｎ−１）番目とｎ番目のラインの中間の位置を指し示す動きベクトルを、垂直成分のゼロ基準とすること、また、逆に、該動きベクトルの参照元のフィールドがＢｏｔｔｏｍフィールドであり、該動きベクトルの参照先のフィールドがＴｏｐフィールドであった場合、参照元のフィールドの画面の上からｎ番目のラインの画素が、参照先のフィールドの画面の上からｎ番目と（ｎ＋１）番目のラインの中間の位置を指し示す動きベクトルを、垂直成分のゼロ基準とすることにより、上記と同様に、パリティの異なるフィールド画像間の画素位置の空間的な位置ズレを考慮して動きベクトルを生成する事ができる。
（請求項２，３）また、符号化方法の請求項１は復号方法の請求項４に、同様に請求項２は請求項５に、請求項３は請求項６に対応し、基本的に同様な機能，作用をする。
【００３４】
【発明の実施の形態】
本実施形態では、主に符号化装置について、請求項１から６までを適用した例を用いて説明する。なお、本発明は、動きベクトルの垂直成分に関わるものであるので、動きベクトルの水平成分は、全て、便宜上、０とする。
【００３５】
以下、AVC CDに本発明を適用した場合を想定して実施例を説明する。
【００３６】
まず図１４に、本発明の実施例における、輝度及び色差成分のゼロベクトルの定義を示す。なお、この図においては、図３とは異なり、各画素ラインの番号は、各フィールド毎に定義している。まず、150aは、Bottomフィールドの輝度の第2ライン上の画素、151aは、本発明による、ゼロベクトルの基準となるTopフィールド上の位置を示す。この151aの位置は、Topフィールドにおいて、Topフィールドの輝度の第2ラインと第3ラインのちょうど中間に位置する。同様に、Bottomフィールドの色差152aは、Bottomフィールドの色差の第一ライン上に存在し、そのゼロベクトルの基準となる位置、即ちTopフィールドの153aは、Topフィールドの色差の第１ラインと第２ラインのちょうど中間に位置する。以下、同様に、輝度、色差とも、参照元のBottomフィールドの画面の上からｎ番目のラインの画素が、参照先のTopフィールドの画面の上からn番目と (n+1)番目のラインの中間の位置を指し示す動きベクトルを、垂直成分のゼロ基準と定義する。
【００３７】
また、150bは、Topフィールドの輝度の第３ライン上の画素、151bは、本発明による、ゼロベクトルの基準となるBottomフィールド上の位置を示す。この151bの位置は、Bottomフィールドにおいて、Bottmフィールドの輝度の第2ラインと第3ラインのちょうど中間に位置する。同様に、Topフィールドの色差152bは、Topフィールドの色差の第２ライン上に存在し、そのゼロベクトルの基準となる位置、即ちBottomフィールドの153bは、Bottomフィールドの色差の第１ラインと第２ラインのちょうど中間に位置する。以下、同様に、輝度、色差とも、参照元のTopフィールドの画面の上からｎ番目のラインの画素が、参照先のBottomフィールドの画面の上から(n-1)番目と n番目のラインの中間の位置を指し示す動きベクトルを、垂直成分のゼロ基準と定義する。ここで、パリティの異なるフィールド間で定義されたゼロ基準の位置に相当する画素としては、本来存在する画素の間を指し示す為、ゼロ基準の位置の画素については周囲の画素からの補間によりゼロ基準の位置の画素を生成する。
【００３８】
例として、図２２に補間画素の算出方法を説明する。図中、黒丸は整数画素を、点線白丸は補間画素を示している。補間画素G(286)を算出する場合、その周囲の整数画素A(280)、B(281)、C(282)、D(283)を平均して求められる。すなわち、
G=(A+B+C+D)/4
である。
また、補間画素H(287)を算出する場合、左右の整数画素C(282)、E(284)を平均して求められる。
すなわち、
H=(C+E)/2
である。
図２２を用いた補間方法については、補間画素を求めるための一例であり、他の算出方法を用いても問題はない。
【００３９】
以下に、これまでに説明した、本発明で定義するゼロベクトル基準を用いた場合の、パリティが異なるフィールド間の動きベクトルの算出方法、及び、動きベクトルが与えられた場合の画素の対応付け方法の実施例について説明する。
【００４０】
図１５は、本発明における、参照元がBottomフィールドで参照先がTopフィールドの場合の、動きベクトルの算出方法を説明する図である。従来技術同様、動きベクトルを定義するには、参照元の位置と参照先の位置が必要である。そして、この2点の間で動きベクトルが定義されることとなる。ここで、参照元のBottomフィールド内の座標(Xs,Ys)221の点と、参照先のTopフィールド内の座標(Xd,Yd)222の点の間の動きベクトルを求める。本発明においては、従来技術と異なり、参照元Bottomフィールド座標(Xs,Ys)221と、参照先Topフィールド座標(Xd,Yd)222が動きベクトル算出手段220に入力され、この2点間の動きベクトル223として、
(Xd-Xs, Yd-Ys + 1/2)
が与えられる。
【００４１】
図１６は、本発明における、参照元がTopフィールドで参照先がBottomフィールドの場合の、動きベクトルの算出方法を説明する図である。従来技術同様、動きベクトルを定義するには、参照元の位置と参照先の位置が必要である。そして、この2点の間で動きベクトルが定義されることとなる。ここで、参照元のTopフィールド内の座標(Xs,Ys)241の点と、参照先のBottomフィールド内の座標(Xd,Yd)242の点の間の動きベクトルを求める。本発明においては、従来技術と異なり、参照元Topフィールド座標(Xs,Ys)241と、参照先Bottomフィールド座標(Xd,Yd)242が動きベクトル算出手段240に入力され、この2点間の動きベクトル243として、
(Xd-Xs, Yd-Ys - 1/2)
が与えられる。
【００４２】
また、図１７は、本発明における、参照元がBottomフィールド、参照先がTopフィールドの場合の、動きベクトルが指し示す画素の算出方法を説明する図である。ここで、動きベクトルは、前述の図１５で説明した方法で導出したものとする。参照先の座標を求めるために、参照元の位置と動きベクトルが必要である。この図の場合には、参照元のBottomフィールド内の座標(Xs,Ys)232の点に対し、本発明で定義される動きベクトル(X,Y)231が与えられ、この両者を用いて求められる参照先Topフィールド内の座標を求めることを想定している。本発明では、従来技術と異なり、動きベクトル(X、Y)231と参照元Bottomフィールド座標(Xs,Ys)232が画素対応付け手段230に入力され、参照先Topフィールド座標233として、
座標
(Xs+X, Ys+Y-1/2)
が与えられる。
【００４３】
また、図１８は、本発明における、参照元がTopフィールド、参照先がBottomフィールドの場合の、動きベクトルが指し示す画素の算出方法を説明する図である。ここで、動きベクトルは、前述の図１６で説明した方法で導出したものとする。参照先の座標を求めるために、参照元の位置と動きベクトルが必要である。この図の場合には、参照元のTopフィールド内の座標(Xs,Ys)252の点に対し、本発明で定義される動きベクトル(X,Y)251が与えられ、この両者を用いて求められる参照先Bottomフィールド内の座標を求めることを想定している。本発明では、従来技術と異なり、動きベクトル(X、Y)251と参照元Topフィールド座標(Xs,Ys)252が画素対応付け手段250に入力され、参照先Bottomフィールド座標253として、
座標
(Xs+X, Ys+Y＋1/2)
が与えられる。
【００４４】
図１９は、本発明における、輝度動きベクトルから色差動きベクトルの算出方法を説明する図である。本発明では、特に、輝度動きベクトルとして、本発明により導出された、異なるパリティのフィールド間の輝度動きベクトルであり、また、出力される色差動きベクトルも、輝度とそれぞれ同一のフィールド、すなわち異なるパリティを持つ色差フィールドの動きベクトルであることを対象としている。そして、色差の動きベクトルも、本発明で定義されたものを用いる。すなわち、輝度動きベクトル261及び色差動きベクトル262ともに、図１５−図１６で説明したものである。本発明においては、色差動きベクトルは以下のように求められる。まず、輝度動きベクトル(X,Y)261が、色差動きベクトル生成手段260に入力される。ここで、本実施例の対称となる、AVC CDやMPEG-2では、輝度成分に比べて、水平、垂直とも画素数が半分である。このため、色差の画素の動きベクトルを輝度の画素から求める場合、スケーリングは１／２となる。このことから、本実施例では、色差動きベクトル262として、輝度動きベクトルを１／２倍にした、
(X/2, Y/2)
が与えられる。本発明では、一見、従来技術と同様に、単純に輝度の動きベクトルをスケーリングしているように見えるが、本発明で定義した動きベクトルを輝度、及び色差に用いることにより、従来技術の課題で説明した、輝度と色差の動きベクトルが指す位置が異なることによる色ずれ等の現象が発生しない。このことを以下に説明する。
【００４５】
図２０は、本実施例を用いた場合の、前方参照Bottomフィールドの画素と符号化対象Topフィールドの画素による動きベクトルの生成を示す。この図で符号化対象Topフィールドにある輝度の画素180が、前方参照Bottomフィールドの１番目と２番目の画素の中間である181の位置を差している。この場合、従来であれば、動きベクトルが前方参照Bottomフィールドの1番目と2番目の間、即ち1.5画素位置を指し示してたため、この動きベクトルは(０、1.5)と表される。しかし、本実施例では、輝度の画素180と同一の前方参照Bottomフィールドの位置184をゼロベクトルの基準とするため、181を指し示す動きベクトルは(0,2)と表される。
【００４６】
ここで、本発明に従って、この動きベクトル（０，２）を用いて、輝度画素１８０の近傍にある、符号化対象Ｔｏｐフィールドの色差成分１８２の動きベクトルを求めることを想定する。
即ち、本発明では、 図２０に示されたゼロベクトルの基準を用いて定められた輝度の動きベクトルを、単純にスケーリングして、色差成分の動きベクトルを求め、これが従来方式で問題となっていた、輝度と色差の動きベクトルのずれを生じないことを示す。
図１９で説明したとおり、本実施例の対象となる、ＡＶＣ ＣＤやＭＰＥＧ−２では、輝度成分に比べて、水平、垂直とも画素数が半分である。
このため、色差の画素１８５の動きベクトルを輝度の画素１８０から求める場合、単純に画素１８０の動きベクトルを、図１９で説明した色差動きベクトル生成手段２６０に従って１／２倍する。
この場合、画素１８０の動きベクトルは（０，２）のため、これを１／２倍すると、動きベクトルは（０，１）となる。
ここで、この動きベクトル（０，１）を用いて色差の画素１８２の予測値となる色差の位置を前方参照Ｂｏｔｔｏｍフィールド上に求めた位置が１８３である。
この位置１８３は、前方参照Ｂｏｔｔｏｍフィールド上のゼロベクトル基準１８５から、垂直方向にちょうど色差の１画素分、下にずれた場所にある。
図２０は、画素位置のスケールについては、実際の輝度、色差の画素位置に即して、正しく描かれている。
この図から分かるとおり、輝度の画素１８０が有する動きベクトルを単純に１／２倍し、色差１８２に適用した動きベクトルと、元の輝度の画素１８０が有する動きベクトルは平行である。
このことより、輝度１８０と色差１８２は、前方参照Ｂｏｔｔｏｍフィールドのほぼ同じ位置から予測することが可能となり、従来のような、輝度成分と色差成分の動きベクトルの不整合による画質劣化は発生しない。
なお、本実施例では、動きベクトル（０，２）に限定して説明したが、その他の動きベクトルでも、同様に不整合は発生しない。
さらに、
本実施例では、参照元がＴｏｐフィールド、参照先がＢｏｔｔｏｍフィールドで限定して説明したが、本発明によると、参照元がＢｏｔｔｏｍフィールド、参照先がＴｏｐフィールドの場合でも、同様に、輝度と色差の動きベクトルの不整合は回避できる。
【００４７】
次に、従来方式で問題となった、B-PictureのDirect Modeに、本発明を適用した場合の実施例を図２１に示す。 この例では、前方参照Topフィールド170、及び後方参照Topフィールド172から、符号化対象Bottomフィールド171を符号化する例を図示している。この際、後方参照Topフィールドに属するマクロブロックは、後方予測の動きベクトル175として(0,1)を有しているとする。この際、例えば後方参照Topフィールド172に属する画素174を予測するのに、前方参照Topフィールド170の画素178が予測に用いられていることを示す。
この場合、符号化対象Bottomフィールド171に属する画素173を予測するための動きベクトルを前述のDirect Modeで求める場合を想定する。この場合、式1によれば、前方予測ベクトル 176(MVF)、および後方予測ベクトル177(MVB)は、以下のとおりとなる。
【００４８】
MVF = (0, 1/2)
MVB = (0, -1/2) (式２)
である。そして、このMVF,MVBを画素(173)に適用した場合、従来例とは異なり、MVF(176)、MVB(177)は、図示の通り、予測の元となった後方マクロブロック動きベクトル175と平行となっていることが分かる。
ここで、もし、物体の動きが一様だと仮定すれば、画素173を予測するのに好ましい動きベクトルは後方予測ブロックの動きベクトル(175)と平行であることが好ましい。すなわち、本実施例の場合は、本発明を用いることにより、異なるパリティのフィールド間においても、画素(173)の好ましい前方予測ベクトル及び後方予測ベクトルが求められることが分かる。この結果、従来方式で問題となった、Direct Modeが選ばれた場合の画質劣化等の問題を軽減することができる。
【００４９】
【００５０】
【発明の効果】
本発明によれば、パリティが異なるフィールド間においても、動きベクトルを正しく求める事が可能となり、従来方式で問題であった符号化効率の劣化や色成分のずれといった課題を、すべて解決することができる。
【図面の簡単な説明】
【図１】フレーム間予測符号可装置のブロック図
【図２】輝度、色差の各画素の位置と、それらが属するフィールドを説明する図
【図３】フィールド画像における輝度、色差の各画素の垂直方向の字空間位置を説明する図
【図４】フレーム符号化モード時にフィールドとフレームの関係を説明する図
【図５】フレーム間予測符号化モード時の予測方法を説明する図
【図６】フィールド間予測モード時の予測方法を説明する図
【図７】フィールド画像の座標を説明する図
【図８】従来方式のフィールド間の対応する画素間の動きベクトルの算出方法を説明する図
【図９】従来方式の動きベクトルが指し示す画素の算出方法を説明する図
【図１０】従来技術におけるパリティが異なるフィールド間のゼロベクトルを説明する図
【図１１】Direct Modeの原理を説明する図
【図１２】Direct Mode時の従来技術の問題点を説明する図
【図１３】輝度動きベクトルから色差動きベクトルを求める際の従来技術の問題点を説明する図
【図１４】本発明を用いた場合のゼロベクトルの定義の実施例を説明する図
【図１５】本発明における参照元がBottomフィールドで参照先がTopフィールドの場合の動きベクトルの算出方法を説明する図
【図１６】本発明における参照元がTopフィールドで参照先がBottomフィールドの場合の動きベクトルの算出方法を説明する図
【図１７】本発明における参照元がBottomフィールド、参照先がTopフィールドの場合の動きベクトルが指し示す画素の算出方法を説明する図
【図１８】本発明における参照元がTopフィールド、参照先がBottomフィールドの場合の動きベクトルが指し示す画素の算出方法を説明する図
【図１９】本発明による輝度動きベクトルから色差動きベクトルの算出方法を説明する図
【図２０】本発明を用いた場合の輝度と色差の動きベクトルの実施例を説明する図
【図２１】本発明を用いた場合のDirect Modeの実施例を説明する図
【図２２】補間画素の算出方法を説明する図
【符号の説明】
３１ 直交変換手段
３２ 量子化手段
３３ 逆量子化手段
３４ 逆直交変換手段
３５ 復号画像生成手段
３６ 復号画像記憶手段
３７ 動きベクトル計算手段
３８ 予測画像生成手段
３９ 予測誤差信号生成手段
４０ 係数エントロピー符号化手段
４１ 動きベクトルエントロピー符号化手段
４２ 多重化手段
50a-50d Top Field輝度第1，３，５，７ライン
51a-51d Bottom Field輝度第２，４，６，８ライン
52a-52b Top Field色差第1，３ライン
53a-53b Bottom Field色差第２，４ライン
64a-64c Top Field
65a-65c Bottom Field
81 Frame#1輝度成分
82 Frame#2輝度成分
84a-84c Frame＃１〜＃３
90 同パリティフィールド間予測
91 異パリティフィールド間予測
94a-94b Top Field
95a-95b Bottom Field
100 前方参照フレーム
101 符号化対象フレーム
102 後方参照フレーム
103 符号化対象MB
104 後方予測MB
105 後方予測MBの動きベクトル
106 符号化対象ＭＢから参照フレームＦを予測するための動きベクトル
107 符号化対象ＭＢかさ参照フレームＢを予測するための動きベクトル
110 前方参照Top Field
111 符号化対象Bottom Field
112 後方参照Top Field
113 符号化対象Bottom Field輝度成分
114 後方参照Top Field輝度成分
115 後方予測MBの動きベクトル
116 前方予測ベクトル
117 後方予測ベクトル
118 好ましい前方予測ベクトル
119 好ましい後方予測ベクトル
120 前方参照Top Field輝度成分
130 Top Field
131 Bottom Field
132 Top Field
133a-133b 符号化対象輝度成分
134a-134b 符号化対象色差成分
135a-135b 参照フィールドの輝度成分
136a-136b 予測として好ましい色差成分
137a-137b 参照フィールドの色差成分
140 Top Field輝度成分
141 Bottom Field輝度成分
142 Top Field色差成分
143 Bottom Field色差成分
145 好ましい色差成分の位置
150a-150b 符号化対象輝度成分
151a-151b ゼロベクトルの基準となる輝度成分の位置
152a-152b 符号化対象色差成分
153a-153b ゼロベクトルの基準となる色差成分の位置
170 前方参照Top Field
171 符号化対象Bottom Field
172 後方参照Top Field
173 符号化対象Bottom Field輝度成分
174 後方参照Top Field輝度成分
175 後方予測ＭＢベクトル
176 前方参照動きベクトル
177 後方参照動きベクトル
178 前方参照Top Field輝度成分
180 符号化対象Top Fielのd輝度成分
181 前方参照Bottom Fieldの輝度成分の予測位置
182 符号化対象Top Fieldの色差成分
183 前方参照Bottom Fieldの色差成分の予測位置
184 前方参照Bottom Fieldの輝度成分のゼロベクトルの基準
184 前方参照Bottom Fieldの色差成分のゼロベクトルの基準
200 動きベクトル算出手段
201 参照元フィールド座標
202 参照先フィールド座標
203 動きベクトル
210 画素対応付け手段
211 動きベクトル
212 参照元フィールド座標
213 参照先フィールド座標
220 動きベクトル算出手段
221 参照元Bottomフィールド座標
222 参照先Topフィールド座標
223 動きベクトル
230 画素対応付け手段
231 動きベクトル
232 参照元Bottomフィールド座標
233 参照先Topフィールド座標
240 動きベクトル算出手段
241 参照元Topフィールド座標
242 参照先Bottomフィールド座標
243 動きベクトル
250 画素対応付け手段
251 動きベクトル
252 参照元Topフィールド座標
253 参照先Bottomフィールド座標
260 色差動きベクトル生成手段
261 輝度動きベクトル
262色差動きベクトル
270座標を求めたい位置
271画素の定義位置
280〜285 整数画素
286〜287 補間画素[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving picture coding method and a moving picture decoding method having an inter-field prediction mode.
[0002]
[Prior art]
Since moving image data generally has a large amount of data, high-efficiency encoding is performed when it is transmitted from a transmission device to a reception device or stored in a storage device. Here, “high-efficiency encoding” refers to an encoding process for converting a data string into another data string and compressing the data amount.
[0003]
There are moving image data mainly composed of only frames and data composed of fields. Hereinafter, the prior art of a method for compressing a field image will be mainly described.
[0004]
As a high-efficiency encoding method for moving image data, a frame / field predictive encoding method is known. FIG. 1 shows a block diagram of this interframe / field predictive coding. This encoding method utilizes the fact that moving image data is highly correlated in the time direction. The operation of FIG. 2 will be briefly described. A difference image between an input original image and a predicted image is generated by a subtractor 39, and the difference image is generated by orthogonal transform means 31, quantization means 32, and coefficient entropy coding means. 40. Further, the output of the quantization unit 32 is restored from the difference image by the inverse quantization unit 33 and the inverse orthogonal transform unit 34, and is encoded from the difference image restored by the decoded image generation unit 35 and the predicted image used at the time of encoding. Restore the image. The restored image is stored in the decoded image storage means 36, the motion vector calculation means 37 calculates a motion vector between the next input image, and the predicted image generation means 38 predicts the motion vector based on the motion vector. Generate an image. The generated motion vector is encoded by the vector entropy encoding means 41 and output together with the coefficient encoded data encoded by the coefficient entropy encoding means 40 via the MUX 42. In other words, moving image data generally has a high degree of similarity between frame / field data at a certain timing and frame / field data at the next timing, and therefore the interframe / field predictive coding method uses this property. To do. For example, in a data transmission system using an inter-frame / field predictive encoding method, motion vector data representing “motion” from an image of a previous frame / field to an image of a target frame / field and a previous frame in the transmission apparatus Difference data between the predicted image of the target frame / field and the actual image of the target frame / field generated using the motion vector data from the / field image is generated, and the motion vector data and the difference data are transmitted to the receiving device. To do. On the other hand, the receiving apparatus reproduces the image of the target frame / field from the received motion vector data and difference data.
[0005]
This frame / field predictive coding in FIG. 1 has outlined the frame / field predictive coding. In the following, frame predictive coding and field predictive coding will be further described.
[0006]
2 and 3 are standardized by ISO / IEC MPEG-2 / MPEG-4 (hereinafter MPEG-2, MPEG-4) and ITU-T and ISO / IEC jointly as of July 2002. ITU-T H.264 / ISO / IEC MPEG-4 Part 10 (Advanced Video Coding: AVC) Committee Draft (hereinafter abbreviated as AVC CD) format used to encode field images It is explanation of. That is, each frame is composed of two fields, that is, a Top field and a Bottom field. FIG. 2 is a diagram for explaining the position of each pixel of luminance and color difference and the field to which they belong. As shown in FIG. 2, the odd-numbered lines such as the first luminance line (50a), the third luminance line (50b), the fifth luminance line (50c), the seventh luminance line (50d),. The even-numbered lines belonging to the field, the second luminance line (51a), the fourth luminance line (51b), the sixth luminance line (51c), the eighth luminance line (51d), etc. belong to the Bottom field. Similarly, the odd-numbered lines such as the first color difference line (52a), the third color difference line (52b),... Belong to the Top field, and the second color difference line (53a) and the fourth color difference line (53b). Even-numbered lines such as ... belong to the Bottom field.
[0007]
The Top field and Bottom field represent images at different times. Next, the spatio-temporal arrangement of the Top field and the Bottom field will be described with reference to FIG.
[0008]
In FIG. 3 and subsequent figures, since the technique related to the present invention relates to the vertical component of the motion vector, the horizontal component pixel is not shown, and the horizontal component of the motion vector is all set to 0 for convenience. explain. In addition, in order to show the conventional problems and the effects of the present invention, the positional relationship between the luminance and color difference pixel positions in each field is correctly illustrated.
[0009]
In FIG. 3, the vertical axis represents the pixel position of the vertical component of each field, and the horizontal axis represents the passage of time. In the horizontal component of the pixel of each image, there is no displacement of the position due to the field, so the illustration and description of the pixel in the horizontal direction are omitted in this figure.
[0010]
As shown in FIG. 3, the pixel position of the color difference component is shifted by 1/4 pixel in the vertical component from the pixel position in the luminance field. This is because, when a frame is composed of both Top and Bottom fields, the pixel position relationship as shown in FIG. 2 is satisfied. The distance between adjacent fields of each Top and Bottom (64a: 65a, 65a: 64b,...) Is about 1/60 second when the NTSC format is used as a base. The time from the Top field to the Top field (64a: 64b...) Or from the Bottom field to the Bottom field (65a: 65b...) Is about 1/30 second.
[0011]
Hereinafter, the frame predictive coding mode and field prediction of the field image adopted in MPEG-2 or AVC CD will be described. FIG. 4 illustrates a method of constructing a frame from two consecutive fields (adjacent Top and Bottom fields) in the frame prediction mode. As shown in this figure, the frame is reconstructed from two temporally continuous fields (Top and Bottom fields).
[0012]
FIG. 5 illustrates the frame prediction mode. In this figure, it is assumed that each frame 84a, 84b, 84c,... Has already been reconstructed from two consecutive fields (Top and Bottom fields) as described in FIG. In this frame prediction mode, encoding is performed on an encoding target frame composed of both Top and Bottom fields. Also, as a reference image, one reference frame is composed of two fields (Top and Bottom fields) accumulated for continuous reference, and is used for prediction of a pre-encoding target frame. Then, the two frame images are encoded according to the block diagram shown in FIG. In the case of this frame predictive coding mode, regarding the motion vector expression method, the zero vector, that is, (0,0) indicates a pixel at the same spatial position. Specifically, the motion vector indicating the motion vector (0,0) for the luminance pixel 82 belonging to Frame # 2 (84b) indicates the pixel position 81 of Frame # 1 (84a).
[0013]
Next, the field predictive coding mode will be described. FIG. 6 is a diagram for explaining a prediction method in the inter-field prediction mode. In the field prediction mode, the encoding target is one Top field (94a, 94b,...) Or Bottom field (95a, 95b,...) Input as an original picture. As the reference image, the Top field or the Bottom field accumulated in the past can be used. Here, the parity of the original image field and the reference field is generally defined as both the field of the original image and the reference field being both the Top field or both being the Bottom field. For example, in the figure, the same-parity field prediction of 90 is the top field in both the original picture (94b) and the reference (94a) field. Similarly, the parity of the original picture field and the reference field is generally defined as one of the original picture field and the reference field, one being the Top field and the other being the Bottom field. For example, in the field prediction of different parity shown in FIG. 91, the original picture is the Bottom field (95a) and the reference is the Top field (94a). Then, the original picture field image and the reference field picture are encoded according to the block diagram shown in FIG.
[0014]
In the conventional technique, a motion vector is obtained based on the position of a pixel in each frame / field in both the frame mode and the field mode. A motion vector calculation method and a pixel association method when a motion vector is given in the conventional method will be described.
[0015]
FIG. 7 is a diagram that defines the coordinates of a frame / field image that is widely used in encoding such as MPEG-2, MPEG-1, and AVC CD. In the figure, a white circle is a target frame / field, which is a pixel definition position (271). Here, for the coordinates in this frame / field image, the upper left corner in the screen is the origin (0,0), and the pixel definition positions are 1, 2, 3,... In the horizontal and vertical directions. A value is allocated. That is, the coordinates of the nth pixel in the horizontal direction and the mth pixel in the vertical direction are (n, m). In accordance with this, the coordinates of the position interpolated between the pixels are similarly defined. That is, with respect to position 270 of ● in the figure, the coordinates of position 270 are expressed as (1.5, 2.0) because it is located from the upper left pixel by 1 and 5 pixels in the horizontal direction and 2 pixels in the vertical direction. . In the field image, there are only half the pixels of the frame image in the vertical direction, but even in this case, it is handled in the same manner as in FIG. 7 with reference to the position of the pixel existing in each field.
[0016]
The definition of motion vectors between fields will be described using the coordinate system of FIG. FIG. 8 is a diagram for explaining a conventional method of calculating a motion vector between corresponding pixels between fields. To define a motion vector, a reference source position and a reference destination position are required. A motion vector is defined between these two points. Here, a motion vector between the point where the coordinate 201 in the reference source field is (Xs, Ys) and the coordinate 202 in the reference destination field is (Xd, Yd) is obtained. In the conventional method for calculating the motion vector between pixels corresponding to the fields, the motion vector is obtained by the same method described below regardless of whether the reference source and the reference destination are the Top field or the Bottom field. It was. That is, the reference source field coordinates 201 (Xs, Ys) and the reference destination field coordinates 202 (Xd, Yd) are input to the motion vector calculation means 200, and the motion vector 203 between these two points is (Xd-Xs, Yd -Ys) is given.
[0017]
FIG. 9 is a diagram for explaining a method of calculating pixels indicated by motion vectors defined between fields in the prior art. Here, it is assumed that the motion vector is derived by the method shown in FIG. In order to obtain the coordinates of the reference destination, the position of the reference source and the motion vector are required. In the case of this figure, the (X, Y) of the motion vector 211 is given to the point whose coordinate 212 in the reference source field is (Xs, Ys), and the reference destination field obtained using both of these is given. It is assumed that the coordinates of In the conventional method of calculating a motion vector between pixels corresponding to between fields, regardless of whether the reference source and the reference destination are the Top field or the Bottom field, the position of the reference destination field is described using the same method described below. Was demanded. That is, the motion vector 211 (X, Y) and the reference field coordinates 212 (Xs, Ys) are input to the pixel association unit 210, and the coordinates (Xs + X, Ys + Y) are given as the reference field coordinates 213. is there.
[0018]
[Problems to be solved by the invention]
In this field coding mode, the zero vectors do not point to the same spatial position in prediction between fields with different original picture fields and reference fields, that is, with different parity. This will be described with reference to FIG. In the figure, it is assumed that the Top field 130, the Bottom field 131, and the Top field 132 are temporally continuous with time. Here, the Bottom field 131 is to be encoded using the Top field 130. At this time, in the inter-field coding, the motion vector between the same lines in each field is defined as zero in the vertical direction. Therefore, when the zero vector (0, 0) is assigned to the luminance pixel 133a belonging to the Bottom field 131, this pixel is predicted from the pixel 135a of the Top field 130. Similarly, when a zero vector (0, 0) is assigned to the color difference pixel 134a belonging to the Bottom field 131, this pixel is predicted from the pixel 137a of the Top field 130. Similarly, the luminance pixel 133b and the color difference pixel 134b belonging to the Top field 132 are predicted from the pixels 135b and 137b on the Bottom field 131, respectively. Originally, it is preferable that the color difference and the luminance have the same motion vector. Therefore, if the luminance motion vector is left as it is, the pixels of the original color difference 134a and 134b are predicted from the positions of 136a and 136b, respectively. What to do.
[0019]
As mentioned above, prediction between fields with different parity is
-Zero vectors do not indicate spatially identical positions.
・ Brightness and color difference motion vectors are not parallel.
I explained that. These two types of points cause the following problems in prediction between fields having different parities.
[0020]
First, the first problem is that when the motion vector of the encoding target field is obtained by interpolation or extrapolation from motion vectors defined between different fields, the spatial position of the pixel to be predicted is misaligned. Can occur.
This example will be described using the above-described AVC CD as an example of the prediction mode defined as Direct Mode for B-Picture.
[0021]
First, the description of Direct Mode will be described with reference to FIG. 11. B-Picture mainly generates a prediction image from two temporally preceding and following reference frames, that is, a forward reference frame F and a backward reference frame B. This is a method of encoding an image. Direct Mode is mainly used in B-Picture, and assuming that the motion of an object is smooth in time, the motion vector interpolated with the motion vector is used as the macroblock / block motion vector in the B picture. This eliminates the need for encoding motion vectors of macroblocks for bidirectional prediction, and realizes a significant improvement in encoding efficiency. In this B-Picture, Direct Mode is used as follows. In FIG. 11, a backward prediction macroblock (104) in a backward reference frame at the same spatial position as the encoding target macroblock (103) is a backward prediction macroblock indicating a pixel belonging to the forward reference frame (100). Assume that it has a motion vector MV1 (105). For convenience, the time intervals of the forward reference frame F (100), the encoding target frame (101), and the backward reference frame B (102) are assumed to be equal. At this time, in Direct Mode, a motion vector MVF (106) for predicting the forward reference frame F100 from the encoding target macroblock 103 and a motion vector MVB for predicting the backward reference frame B102 from the encoding target macroblock 103 are used. (107) is obtained by interpolation as follows.
[0022]
MVF = 1/2 ・ MV1
MVB = -1/2 ・ MV1 (Formula 1)
By using the MVF 106 and MVB 107 for prediction, it is not necessary to encode a motion vector in order to encode the encoding target macroblock 103, and a significant improvement in encoding efficiency can be realized.
[0023]
However, when this Direct Mode is applied between fields, problems occur in the conventional technology. This problem is illustrated in FIG.
[0024]
In this example, the encoding target Bottom field 111 is encoded from the forward reference Top field 110 and similarly, Claim 6 from the Claim 12 backward reference Top field 112. At this time, it is assumed that the macroblock belonging to the backward reference Top field has (0, 1) as the motion vector 115 for backward prediction. At this time, for example, the pixel 113 of the Bottom field is predicted using the pixel 114 belonging to the backward reference Top field 112, but in order to predict the pixel 114 of the already encoded Top field 112, the forward reference Top field 110 It shows that the pixel 120 was used.
In this case, it is assumed that a motion vector for predicting the pixel 113 belonging to the encoding target Bottom field 111 is obtained in the above-described Direct Mode. In this case, according to Equation 1, the forward prediction vector 116 (MVF) and the backward prediction vector 117 (MVB) are as follows.
[0025]
MVF = (0, 1/2)
MVB = (0, -1/2) (Formula 2)
It is. However, it can be seen that the MVF (116) and MVB (117) are directed in a different direction from the motion vector MV1 (115) of the backward prediction macroblock, which is the source of the prediction, as illustrated.
[0026]
Here, if it is assumed that the motion of the object is uniform, the motion vector preferable for predicting the pixel 113 is preferably parallel to the motion vector 115 of the backward prediction block. That is, the preferred forward prediction vector 118 is a motion vector value (0, 1), and the preferred backward prediction vector 119 is a motion vector value (0, 0). That is, a preferable motion vector is different from a motion vector obtained in Direct Mode, which causes problems such as image quality degradation when Direct Mode is selected.
[0027]
The second problem relates to a motion vector of color difference between fields having different parity. FIG. 13 illustrates this problem. As with the first problem, the problem is indicated according to the aforementioned AVC CD.
[0028]
In AVC CD, the chrominance component has half the number of pixels of the luminance component for both the number of vertical pixels and the number of horizontal pixels, so the motion vector for obtaining the prediction pixel of the chrominance component is half the luminance component motion vector. It is determined that it has been scaled to. That is, if the luminance motion vector is MV # Y and the color difference motion vector is MV # C,
MV # C = 1/2 ・ MV # Y (Formula 3)
It is defined as This is regardless of whether the motion vector is predicted between frames, between fields of the same parity, or between fields of different parity.
Now, it is shown that this definition becomes a problem when a color difference motion vector is obtained from a luminance motion vector defined between different parity fields. In FIG. 13, the luminance pixel 140 in the Top field has (0, 2) as a prediction vector, and as a result, indicates the luminance pixel 141 in the Bottom Field.
[0029]
In this case, the motion vector of the chrominance pixels belonging to the same block is obtained as a motion vector (0, 1) according to Equation 3. When the prediction is performed using the motion vector (0, 1) as the predicted value of the color difference pixel 142, the color difference pixel 143 in the Bottom field is used as the predicted value.
In this case, the luminance motion vector (0,2) and the color difference motion vector (0,1) are not parallel. Preferably, it is necessary to use a color difference pixel 145 in the Bottom field that is parallel to the luminance vector. For this reason, in the conventional prediction method, the pixel at a position shifted by the luminance and the color difference is referred to, and the predicted image becomes a predicted image shifted by the luminance and the color difference. This problem is known to be a problem with MPEG-2, particularly at low rates.
[0030]
[Means for solving problems]
The present invention solves the above problems.
[0031]
In the present invention, when performing motion vector prediction between fields having different parities in a moving image encoding method and a moving image decoding method for performing motion compensation prediction between fields for an image frame signal composed of a plurality of fields. In addition, both the luminance component and the color difference component are motion vectors between fields having different parities with the motion vector indicating the pixel position of the reference field at the same spatial position as the zero vector standard from the pixel position of the reference source field. A luminance-component motion vector is generated by prediction, and the vertical component of the color-difference motion vector is generated by scaling the vertical component of the luminance motion vector accurately with a constant scaling factor and using the zero vector as a reference, thereby generating a field image with different parity. Motion vectors are generated taking into account the spatial displacement of pixel positions between In addition, according to the present invention, the vertical component of the color difference motion vector is the same as the vertical component of the motion vector of the luminance component at the same spatial position, that is, in the case of MPEG-2 or AVC. Even if a simple halved one is used, there is no mismatch between luminance and color difference as in the prior art. (Claim 1).
[0033]
In another embodiment of the present invention, when the motion vector reference field is a Top field and the motion vector reference field is a Bottom field,
The pixel of the nth line from the top of the screen of the reference source field indicates a motion vector indicating the middle position between the (n-1) th and nth lines from the top of the screen of the reference destination field. On the other hand, when the reference field of the motion vector is the Bottom field and the reference field of the motion vector is the Top field, the reference is made from the top of the screen of the reference source field. Similar to the above, the pixel of the nth line uses the motion vector indicating the middle position between the nth and (n + 1) th lines from the top of the screen of the reference field as the zero reference of the vertical component. In addition, it is possible to generate a motion vector in consideration of a spatial displacement of pixel positions between field images having different parities.
(Claims 2 and 3) Further, claim 1 of the encoding method corresponds to claim 4 of the decoding method, similarly, claim 2 corresponds to claim 5, claim 3 corresponds to claim 6, and basically. Performs similar functions and functions.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
In the present embodiment, an encoding apparatus will be mainly described using an example to which claims 1 to 6 are applied. Since the present invention relates to the vertical component of the motion vector, all the horizontal components of the motion vector are set to 0 for convenience.
[0035]
Hereinafter, an embodiment will be described assuming that the present invention is applied to an AVC CD.
[0036]
First, FIG. 14 shows the definition of the zero vectors of the luminance and chrominance components in the embodiment of the present invention. In this figure, unlike FIG. 3, the number of each pixel line is defined for each field. First, 150a is a pixel on the second line of the brightness of the Bottom field, and 151a is a position on the Top field that is a reference for the zero vector according to the present invention. The position 151a is located in the middle of the second line and the third line of the luminance of the Top field in the Top field. Similarly, the color difference 152a of the Bottom field exists on the first line of the color difference of the Bottom field, and the position serving as the reference of the zero vector, that is, 153a of the Top field, is the first line and the second line of the color difference of the Top field. Located just in the middle of the line. Similarly, for both luminance and color difference, the pixels on the nth line from the top of the screen of the reference source Bottom field are the pixels of the nth and (n + 1) th lines from the top of the screen of the reference destination Top field. The motion vector pointing to the middle position is defined as the zero reference for the vertical component.
[0037]
Reference numeral 150b denotes a pixel on the third line of luminance in the Top field, and 151b denotes a position on the Bottom field that is a reference for the zero vector according to the present invention. The position of 151b is located exactly in the middle between the second line and the third line of the luminance of the Bottm field in the Bottom field. Similarly, the Top field color difference 152b exists on the second line of the Top field color difference, and the position serving as a reference for the zero vector, that is, the Bottom field 153b, is the first and second color difference lines of the Bottom field. Located just in the middle of the line. Similarly, for both luminance and color difference, the pixels on the nth line from the top of the screen of the reference source Top field are the pixels of the (n-1) th and nth lines from the top of the screen of the reference destination Bottom field. The motion vector pointing to the middle position is defined as the zero reference for the vertical component. Here, as a pixel corresponding to a zero reference position defined between fields having different parity, the zero reference position pixel is interpolated from surrounding pixels in order to indicate between pixels that are originally present. The pixel at the position is generated.
[0038]
As an example, a method of calculating interpolation pixels will be described with reference to FIG. In the figure, black circles indicate integer pixels, and dotted white circles indicate interpolation pixels. When the interpolation pixel G (286) is calculated, it is obtained by averaging the surrounding integer pixels A (280), B (281), C (282), and D (283). That is,
G = (A + B + C + D) / 4
It is.
Further, when the interpolation pixel H (287) is calculated, it is obtained by averaging the left and right integer pixels C (282) and E (284).
That is,
H = (C + E) / 2
It is.
The interpolation method using FIG. 22 is an example for obtaining an interpolation pixel, and there is no problem even if other calculation methods are used.
[0039]
Hereinafter, a method for calculating a motion vector between fields having different parities when using the zero vector criterion defined in the present invention described above, and a method for associating pixels when a motion vector is given Examples will be described.
[0040]
FIG. 15 is a diagram for explaining a motion vector calculation method when the reference source is the Bottom field and the reference destination is the Top field in the present invention. As in the prior art, in order to define a motion vector, a reference source position and a reference destination position are required. A motion vector is defined between these two points. Here, a motion vector between the point of the coordinate (Xs, Ys) 221 in the reference source Bottom field and the point of the coordinate (Xd, Yd) 222 in the reference destination Top field is obtained. In the present invention, unlike the prior art, the reference source field field coordinates (Xs, Ys) 221 and the reference destination top field coordinates (Xd, Yd) 222 are input to the motion vector calculation means 220, and the motion between these two points As vector 223,
(Xd-Xs, Yd-Ys + 1/2)
Is given.
[0041]
FIG. 16 is a diagram illustrating a motion vector calculation method when the reference source is the Top field and the reference destination is the Bottom field in the present invention. As in the prior art, in order to define a motion vector, a reference source position and a reference destination position are required. A motion vector is defined between these two points. Here, a motion vector between the point of the coordinate (Xs, Ys) 241 in the reference source Top field and the point of the coordinate (Xd, Yd) 242 in the reference destination Bottom field is obtained. In the present invention, unlike the prior art, the reference source Top field coordinates (Xs, Ys) 241 and the reference destination Bottom field coordinates (Xd, Yd) 242 are input to the motion vector calculation means 240, and the motion between these two points As vector 243,
(Xd-Xs, Yd-Ys-1/2)
Is given.
[0042]
FIG. 17 is a diagram illustrating a method of calculating the pixel indicated by the motion vector when the reference source is the Bottom field and the reference destination is the Top field in the present invention. Here, it is assumed that the motion vector is derived by the method described with reference to FIG. In order to obtain the coordinates of the reference destination, the position of the reference source and the motion vector are required. In the case of this figure, a motion vector (X, Y) 231 defined in the present invention is given to the point of the coordinate (Xs, Ys) 232 in the reference source Bottom field, and it is obtained using both of them. It is assumed that the coordinates in the referenced reference top field are obtained. In the present invention, unlike the conventional technique, the motion vector (X, Y) 231 and the reference source Bottom field coordinates (Xs, Ys) 232 are input to the pixel association unit 230, and as the reference destination Top field coordinates 233,
Coordinate
(Xs + X, Ys + Y-1 / 2)
Is given.
[0043]
FIG. 18 is a diagram illustrating a method of calculating the pixel indicated by the motion vector when the reference source is the Top field and the reference destination is the Bottom field in the present invention. Here, it is assumed that the motion vector is derived by the method described with reference to FIG. In order to obtain the coordinates of the reference destination, the position of the reference source and the motion vector are required. In the case of this figure, the motion vector (X, Y) 251 defined in the present invention is given to the point of the coordinate (Xs, Ys) 252 in the Top field of the reference source, and it is obtained using both of them. Suppose you want to find the coordinates in the referenced Bottom field. In the present invention, unlike the prior art, a motion vector (X, Y) 251 and a reference source Top field coordinate (Xs, Ys) 252 are input to the pixel association unit 250, and as a reference destination Bottom field coordinate 253,
Coordinate
(Xs + X, Ys + Y + 1/2)
Is given.
[0044]
FIG. 19 is a diagram illustrating a method for calculating a color difference motion vector from a luminance motion vector in the present invention. In the present invention, in particular, the luminance motion vector derived from the present invention is a luminance motion vector between different parity fields, and the output chrominance motion vector is also the same field as the luminance, that is, different parity. It is intended to be a motion vector of a color difference field having. The color difference motion vector is also defined by the present invention. That is, both the luminance motion vector 261 and the color difference motion vector 262 have been described with reference to FIGS. In the present invention, the color difference motion vector is obtained as follows. First, the luminance motion vector (X, Y) 261 is input to the color difference motion vector generation means 260. Here, in AVC CD and MPEG-2, which are symmetrical to the present embodiment, the number of pixels is half of both the horizontal and vertical compared to the luminance component. For this reason, when the motion vector of the color difference pixel is obtained from the luminance pixel, the scaling is ½. Therefore, in this embodiment, the luminance motion vector is halved as the color difference motion vector 262.
(X / 2, Y / 2)
Is given. In the present invention, at first glance, it seems that the luminance motion vector is simply scaled as in the prior art. However, by using the motion vector defined in the present invention for the luminance and the color difference, The phenomenon described above, such as color misregistration due to the difference in position indicated by the motion vectors of luminance and color difference, does not occur. This will be described below.
[0045]
FIG. 20 shows the generation of motion vectors by the pixels of the forward reference Bottom field and the pixels of the encoding target Top field when this embodiment is used. In this figure, the luminance pixel 180 in the encoding target Top field indicates the position of 181 which is the middle between the first and second pixels in the forward reference Bottom field. In this case, conventionally, since the motion vector indicates between the first and second of the forward reference Bottom field, that is, the 1.5 pixel position, this motion vector is expressed as (0, 1.5). However, in this embodiment, since the position 184 of the forward reference Bottom field, which is the same as the luminance pixel 180, is used as the zero vector standard, the motion vector indicating 181 is expressed as (0, 2).
[0046]
Here, in accordance with the present invention, it is assumed that the motion vector (0, 2) is used to obtain the motion vector of the color difference component 182 of the encoding target Top field in the vicinity of the luminance pixel 180.
That is, in the present invention, a luminance motion vector determined using the zero vector criterion shown in FIG. 20 is simply scaled to obtain a color difference component motion vector, which is a problem in the conventional method. In addition, it shows that there is no deviation between the luminance and color difference motion vectors.
As described with reference to FIG. 19, in the AVC CD and MPEG-2, which are targets of this embodiment, the number of pixels is halved both horizontally and vertically compared to the luminance component.
Therefore, when the motion vector of the color difference pixel 185 is obtained from the luminance pixel 180, the motion vector of the pixel 180 is simply multiplied by 1/2 according to the color difference motion vector generation means 260 described in FIG.
In this case, since the motion vector of the pixel 180 is (0, 2), when this is multiplied by 1/2, the motion vector becomes (0, 1).
Here, the position where the position of the color difference, which is the predicted value of the color difference pixel 182 using this motion vector (0, 1), is obtained on the forward reference Bottom field is 183.
This position 183 is located at a position shifted downward from the zero vector standard 185 on the forward reference Bottom field by exactly one pixel of the color difference in the vertical direction.
In FIG. 20, the pixel position scale is correctly drawn in accordance with the actual luminance and color difference pixel positions.
As can be seen from this figure, the motion vector of the luminance pixel 180 is simply halved, and the motion vector applied to the color difference 182 and the motion vector of the original luminance pixel 180 are parallel.
As a result, the luminance 180 and the color difference 182 can be predicted from substantially the same position in the forward reference Bottom field, and image quality deterioration due to the mismatch of the motion vectors of the luminance component and the color difference component as in the conventional case does not occur.
In the present embodiment, the description is limited to the motion vector (0, 2). However, inconsistency does not occur in the other motion vectors as well.
further,
In this embodiment, the reference source is limited to the Top field and the reference destination is limited to the Bottom field. However, according to the present invention, even when the reference source is the Bottom field and the reference destination is the Top field, the luminance and color difference are similarly determined. Inconsistency of motion vectors can be avoided.
[0047]
Next, FIG. 21 shows an embodiment in which the present invention is applied to B-Picture Direct Mode, which is a problem in the conventional system. In this example, an encoding target Bottom field 171 is encoded from a forward reference Top field 170 and a backward reference Top field 172. At this time, it is assumed that the macroblock belonging to the backward reference Top field has (0, 1) as the motion vector 175 for backward prediction. At this time, for example, in order to predict the pixel 174 belonging to the backward reference Top field 172, it indicates that the pixel 178 of the forward reference Top field 170 is used for prediction.
In this case, it is assumed that a motion vector for predicting the pixel 173 belonging to the encoding target Bottom field 171 is obtained in the above-described Direct Mode. In this case, according to Equation 1, the forward prediction vector 176 (MVF) and the backward prediction vector 177 (MVB) are as follows.
[0048]
MVF = (0, 1/2)
MVB = (0, -1/2) (Formula 2)
It is. When this MVF and MVB are applied to the pixel (173), unlike the conventional example, the MVF (176) and MVB (177) are, as shown, the backward macroblock motion vector 175 that is the source of the prediction and You can see that they are parallel.
Here, if it is assumed that the motion of the object is uniform, the motion vector preferable for predicting the pixel 173 is preferably parallel to the motion vector (175) of the backward prediction block. That is, in the present embodiment, it can be seen that by using the present invention, a preferable forward prediction vector and backward prediction vector of the pixel (173) can be obtained even between fields of different parity. As a result, it is possible to reduce problems such as image quality degradation when Direct Mode is selected, which is a problem in the conventional method.
[0049]
[0050]
【The invention's effect】
According to the present invention, it is possible to correctly obtain a motion vector even between fields having different parities, and it is possible to solve all the problems such as deterioration in coding efficiency and color component shift, which are problems in the conventional method. it can.
[Brief description of the drawings]
FIG. 1 is a block diagram of an inter-frame prediction code applicator.
FIG. 2 is a diagram for explaining the position of each pixel of luminance and color difference and the field to which they belong.
FIG. 3 is a diagram for explaining a vertical character space position of each pixel of luminance and color difference in a field image;
FIG. 4 is a diagram for explaining a relationship between a field and a frame in the frame encoding mode.
FIG. 5 is a diagram for explaining a prediction method in an inter-frame prediction encoding mode.
FIG. 6 is a diagram for explaining a prediction method in the inter-field prediction mode.
FIG. 7 is a diagram for explaining the coordinates of a field image
FIG. 8 is a diagram for explaining a method of calculating a motion vector between corresponding pixels between fields according to the conventional method;
FIG. 9 is a diagram for explaining a calculation method of a pixel indicated by a conventional motion vector;
FIG. 10 is a diagram for explaining a zero vector between fields having different parities in the prior art.
FIG. 11 is a diagram for explaining the principle of Direct Mode.
FIG. 12 is a diagram for explaining problems of the prior art in Direct Mode
FIG. 13 is a diagram for explaining a problem of the prior art when obtaining a color difference motion vector from a luminance motion vector;
FIG. 14 is a diagram for explaining an embodiment of zero vector definition when the present invention is used;
FIG. 15 is a diagram illustrating a motion vector calculation method when the reference source is the Bottom field and the reference destination is the Top field in the present invention.
FIG. 16 is a diagram illustrating a motion vector calculation method when the reference source is the Top field and the reference destination is the Bottom field in the present invention.
FIG. 17 is a diagram illustrating a method for calculating a pixel indicated by a motion vector when the reference source is the Bottom field and the reference destination is the Top field in the present invention.
FIG. 18 is a diagram illustrating a method for calculating a pixel indicated by a motion vector when the reference source is the Top field and the reference destination is the Bottom field in the present invention.
FIG. 19 is a diagram illustrating a method for calculating a color difference motion vector from a luminance motion vector according to the present invention.
FIG. 20 is a diagram for explaining an example of motion vectors of luminance and color difference when the present invention is used.
FIG. 21 is a diagram for explaining an example of Direct Mode when the present invention is used.
FIG. 22 is a diagram for explaining a method for calculating an interpolation pixel;
[Explanation of symbols]
31 Orthogonal transformation means
32 Quantization means
33 Inverse quantization means
34 Inverse orthogonal transform means
35 Decoded image generating means
36 Decoded image storage means
37 Motion vector calculation means
38 Predictive image generation means
39 Prediction error signal generation means
40 Coefficient entropy encoding means
41 Motion vector entropy encoding means
42 Multiplexing means
50a-50d Top Field Luminance 1st, 3rd, 5th and 7th lines
51a-51d Bottom Field luminance 2nd, 4th, 6th, 8th lines
52a-52b Top Field color difference 1st and 3rd line
53a-53b Bottom Field 2nd and 4th color difference
64a-64c Top Field
65a-65c Bottom Field
81 Frame # 1 luminance component
82 Frame # 2 luminance component
84a-84c Frame # 1 to # 3
90 Prediction between same parity fields
91 Prediction between different parity fields
94a-94b Top Field
95a-95b Bottom Field
100 forward reference frame
101 Frame to be encoded
102 Back reference frame
103 MB to be encoded
104 backward prediction MB
105 Motion vector of backward prediction MB
106 Motion vector for predicting reference frame F from encoding target MB
107 Motion vector for predicting encoding target MB bulk reference frame B
110 Forward Reference Top Field
111 Bottom field to be encoded
112 Back Reference Top Field
113 Bottom field luminance component to be encoded
114 Back reference Top Field luminance component
115 Motion vector of backward prediction MB
116 Forward prediction vector
117 backward prediction vector
118 Preferred forward prediction vector
119 Preferred backward prediction vector
120 Forward reference Top Field luminance component
130 Top Field
131 Bottom Field
132 Top Field
133a-133b Encoding target luminance component
134a-134b Color difference component to be encoded
135a-135b luminance component of reference field
136a-136b Preferred color difference component for prediction
137a-137b Color difference component of reference field
140 Top Field luminance component
141 Bottom Field luminance component
142 Top Field color difference component
143 Bottom Field color difference component
145 Preferred color difference component positions
150a-150b Brightness component to be encoded
151a-151b Location of the luminance component used as the reference for the zero vector
152a-152b Color difference component to be encoded
153a-153b Position of the color difference component used as the reference for the zero vector
170 Forward Reference Top Field
171 Bottom Field to be encoded
172 Back Reference Top Field
173 Bottom field luminance component to be encoded
174 Back Reference Top Field Luminance Component
175 backward prediction MB vector
176 Forward reference motion vector
177 Back reference motion vector
178 Forward Reference Top Field Luminance Component
180 d luminance component of Top Fiel to be encoded
181 Predicted position of luminance component of Forward Reference Bottom Field
182 Color Difference Component of Top Field to be Encoded
183 Predicted position of color difference component of Forward Reference Bottom Field
184 Forward-reference bottom field luminance component zero vector criterion
184 Forward reference Bottom field zero vector standard for color difference component
200 Motion vector calculation means
201 Referrer field coordinates
202 Reference field coordinates
203 motion vector
210 Pixel matching means
211 motion vector
212 Reference field coordinates
213 Referenced field coordinates
220 Motion vector calculation means
221 Referrer Bottom field coordinates
222 Reference Top field coordinates
223 motion vector
230 Pixel mapping means
231 motion vector
232 Referrer Bottom field coordinates
233 Reference top field coordinates
240 Motion vector calculation means
241 Reference Top field coordinates
242 Reference Bottom field coordinates
243 motion vector
250 pixel matching means
251 motion vector
252 Reference Top field coordinates
253 Referenced Bottom field coordinates
260 Color difference motion vector generation means
261 Luminance motion vector
262 color difference motion vector
The position where you want to find 270 coordinates
271 pixel definition position
280-285 integer pixels
286 to 287 Interpolated pixels

Claims (6)

複数のフィールドで構成される画像フレーム信号に対しフィールド間の動き補償予測を行う動画像符号化方法において、
パリティが異なるフィールド間で動きベクトル予測を行う際に、輝度成分及び色差成分の両成分とも、参照元のフィールドの画素位置から、空間的に同位置の参照先フィールドの画素位置を指し示す動きベクトルをゼロベクトル基準とし、パリティが異なるフィールド間で動きベクトル予測により輝度成分の動きベクトルを生成し、
色差の動きベクトルの垂直成分は、輝度の動きベクトルの垂直成分を正確に一定倍率スケーリングしてゼロベクトルを基準として生成する手順を有することを特徴とする動画像符号化方法。In a video encoding method for performing motion compensation prediction between fields for an image frame signal composed of a plurality of fields,
When performing motion vector prediction between fields with different parities, both the luminance component and the chrominance component are motion vectors indicating the pixel position of the reference field in the same spatial position from the pixel position of the reference source field. Generate a motion vector of the luminance component by motion vector prediction between fields with different parity based on the zero vector reference,
A moving picture coding method comprising: a step of generating a vertical component of a motion vector of a color difference with a vertical vector as a reference by scaling the vertical component of a luminance motion vector accurately at a constant magnification. 動きベクトルの参照元のフィールドがＴｏｐフィールドであり、参照先のフィールドがＢｏｔｔｏｍフィールドの場合、
参照元のフィールドの画面の上からｎ番目のラインの画素が、参照先のフィールドの画面の上から（ｎ−１）番目とｎ番目のラインの中間の位置を指し示す動きベクトルを、ゼロベクトル基準とすることを特徴とする請求項１記載の動画像符号化方法。When the motion vector reference source field is the Top field and the reference field is the Bottom field,
A motion vector in which the pixels on the nth line from the top of the screen of the reference source field point to the middle position between the (n-1) th and nth lines from the top of the screen of the reference destination field is a zero vector reference. The moving picture encoding method according to claim 1, wherein: 動きベクトルの参照元のフィールドがＢｏｔｔｏｍフィールドであり、参照先のフィールドがＴｏｐフィールドの場合、
参照元のフィールドの画面の上からｎ番目のラインの画素が、参照先のフィールドの画面の上からｎ番目と （ｎ＋１）番目のラインの中間の位置を指し示す動きベクトルを、ゼロベクトル基準とすることを特徴とする請求項１記載の動画像符号化方法。When the motion vector reference source field is the Bottom field and the reference destination field is the Top field,
The motion vector in which the pixel on the nth line from the top of the screen of the reference source field indicates the middle position between the nth and (n + 1) th lines from the top of the screen of the reference destination field is used as a zero vector reference. The moving picture encoding method according to claim 1, wherein: 複数のフィールドで構成される画像フレーム信号に対しフィールド間の動き補償予測を行う動画像復号化方法において、
パリティが異なるフィールド間で動きベクトル予測を行う際に、輝度成分及び色差成分の両成分とも、参照元のフィールドの画素位置から、空間的に同位置の参照先フィールドの画素位置を指し示す動きベクトルをゼロベクトル基準とし、パリティが異なるフィールド間で動きベクトル予測により輝度成分の動きベクトルを生成し、
色差の動きベクトルの垂直成分は、輝度の動きベクトルの垂直成分を正確に一定倍率スケーリングしてゼロベクトルを基準として生成する手順を有することを特徴とする動画像復号化方法。In a video decoding method for performing motion compensation prediction between fields for an image frame signal composed of a plurality of fields,
When performing motion vector prediction between fields with different parities, both the luminance component and the chrominance component are motion vectors indicating the pixel position of the reference field in the same spatial position from the pixel position of the reference source field. Generate a motion vector of the luminance component by motion vector prediction between fields with different parity based on the zero vector reference,
A moving picture decoding method comprising: a step of generating a vertical component of a motion vector of chrominance based on a zero vector by scaling the vertical component of a luminance motion vector accurately by a constant magnification. 動きベクトルの参照元のフィールドがＴｏｐフィールドであり、参照先のフィールドがＢｏｔｔｏｍフィールドの場合、
参照元のフィールドの画面の上からｎ番目のラインの画素が、参照先のフィールドの画面の上から（ｎ−１）番目とｎ番目のラインの中間の位置を指し示す動きベクトルを、ゼロベクトル基準とすることを特徴とする請求項４記載の動画像復号化方法。When the motion vector reference source field is the Top field and the reference field is the Bottom field,
A motion vector in which the pixels on the nth line from the top of the screen of the reference source field point to the middle position between the (n-1) th and nth lines from the top of the screen of the reference destination field is a zero vector reference. The moving picture decoding method according to claim 4 , wherein: 動きベクトルの参照元のフィールドがＢｏｔｔｏｍフィールドであり、参照先のフィールドがＴｏｐフィールドの場合、
参照元のフィールドの画面の上からｎ番目のラインの画素が、参照先のフィールドの画面の上からｎ番目と （ｎ＋１）番目のラインの中間の位置を指し示す動きベクトルを、ゼロベクトル基準とすることを特徴とする請求項４記載の動画像復号化方法。When the motion vector reference source field is the Bottom field and the reference destination field is the Top field,
The motion vector in which the pixel on the nth line from the top of the screen of the reference source field indicates the middle position between the nth and (n + 1) th lines from the top of the screen of the reference destination field is used as a zero vector reference. The moving picture decoding method according to claim 4 , wherein:

Images