JP2007124690A - グレー形状情報を含むデジタル動映像の符号化方法及び復号化方法 - Google Patents

Abstract

【課題】伝送エラーによる画質劣化を最小化し得るグレー形状情報を含むデジタル動映像の符号化方法を提供する。
【解決手段】ピクチャ単位の動映像符号化の際、マクロブロックの形状情報を伝送後、当該マクロブロックが透明マクロブロックであるか否かと判断し、透明マクロブロックでない場合には、当該マクロブロックの映像色調情報及びグレー色調情報に関し、ＤＣ情報復号化のための付加情報及びＤＣ情報を伝送後、当該マクロブロックがビデオパケットの最終マクロブロックであるか否かを判断する一方、透明マクロブロックの場合は上記伝送を行わずに上記最終マクロブロックの判断を行う。そして、最終マクロブロックでない場合は再びマクロブロックの形状情報を伝送する一方、最終マクロブロックの場合は、dc_marker信号を伝送後、当該マクロブロックの映像色調情報およびグレー色調情報に関し、ＡＣ情報復号化のための付加情報及びＤＣ情報を伝送する。
【選択図】図４

Description

本発明はグレー形状情報(gray scale shape information)を含むデジタル動映像(moving image or video)の符号化及び復号化方法に関するもので、特に、グレー形状情報を圧縮符号化して伝送する場合、伝送エラー(transmission error 又はchannel error)による画質劣化(degradation)を最小化し得るグレー形状情報を含むデジタル動映像の符号化及び復号化方法に関するものである。

映像信号の圧縮符号化及び復号化は低速チャネル(low rate channel)を通ずる映像情報の伝送を可能にするだけでなく、当該映像を貯蔵するのに要求されるメモリの容量を減少させ得るため、映像の貯蔵(storage)、伝送(transmission)などの応用を要求するマルチメディア産業に非常に重要な技術である。本発明は、このような映像信号の圧縮符号化及び復号化に適用できるグレー形状情報を含むデジタル動映像の符号化及び復号化に関する。

一般に、デジタル動映像符号化器においては、高効率の映像圧縮とランダムアクセス(random access)のため、デジタル動映像のフレームをＩフレーム、Ｐフレーム、Ｂフレームの３タイプで定義して使用する。ここで、Ｉフレーム、Ｐフレーム、Ｂフレームを区分する情報を“ピクチャ符号化タイプ (picture coding type)”という。前記３タイプのフレームの特徴を、ピクチャ符号化タイプ及びその予測方向を示す図６を参照して説明する。図６において、上側の矢印はＰフレームでの参照方向を示すものであり、下側の矢印はＢフレームの参照方向を示すものである。この例において、Ｉフレームの間隔、連続するＢフレームの数などは応用(application)又は装置(equipment)によって変わる。

一番目として、Ｉフレーム (Intra coded frame)は符号化時にほかのフレームを参照しない。
二番目として、Ｐフレーム (Predictive coded frame)は以前(previous)Ｉフレーム又は以前Ｐフレームを参照して動き補償予測を行い、符号化するため、高い圧縮率の符号化が可能である。この場合、参照するＩフレーム又はＰフレームを“参照フレーム(reference frame)”という。ビデオの連続したフレーム間には、時間軸上に映像色調情報(texture information)の重複性(redundancy)が大きい。従って、Ｉフレームのように参照なく符号化する方式よりは、以前参照フレームと現在Ｐフレームとの間の動き情報を推定し、推定された動き情報を用いて動き補償予測を行い、予測誤差と動き情報を符号化伝送する方式が圧縮率面で有利である。

三番目として、Ｂフレーム (Bidirectionally-predictive coded frame)は圧縮率が最も高いフレームで、以前フレームだけでなく、以後フレーム(next frame)も参照して予測を行う。Ｂフレームは参照映像(reference frame)を二つ使用し、その中でより優秀な予測性能を選択するため、圧縮率が最も高い。一方、Ｂフレームはほかのフレームのための参照映像とならない。従って、以前フレームは現在Ｂフレームに、ディスプレー順(display order)上に最も近い以前のＩフレーム又はＰフレームであり、以後フレームは現在Ｂフレームに、ディスプレー順上に最も近い以後のＩフレーム又はＰフレームである。

デジタル動映像を圧縮符号化する場合、Ｉフレーム、Ｐフレーム、そしてＢフレームをみな使用すると、ディスプレー順序と符号化順序 (coding order)が変わる。図６を例に挙げると、ディスプレー順序は、図示のように、Ｉ１、Ｂ１、Ｐ１、Ｂ２、Ｐ２、Ｂ３、Ｐ３、Ｂ４、Ｉ２である反面、符号化順序はＩ１、Ｐ１、Ｂ１、Ｐ２、Ｂ２、Ｐ３、Ｂ３、Ｉ２、Ｂ４である。従って、ディスプレー順序上に二番目フレームであるＢ１を受信段階で復号化してディスプレーするためには、三番目フレームＰ１の復号化を行った後に可能である。従って、映像電話(videophone)のように、実時間映像通信(real-time video communication)機能を有する応用では低遅延(low delay)符号化が要求され、このような応用製品では、ＢフレームなくＩフレームとＰフレームのみを使用してデジタル動映像を圧縮符号化して伝送する。

デジタル動映像圧縮符号化時、動き推定及び補償、映像色調情報符号化などは一定の大きさを有する画素の集合、つまり“マクロブロック (macroblock, MB)”単位で遂行される。既存の最も広く使われるマクロブロックの大きさは、１６画素／ライン×１６ライン(以下、１６×１６で表示)である。
マクロブロックの符号化方法は二つに大別され、“映像内符号化(intra coding)”と“映像間符号化(inter coding)”がまさにそれである。映像内符号化は、マクロブロックが持っている入力映像色調情報(texture information)を符号化する反面、映像間符号化は参照映像から映像色調情報を予測した後、予測情報と入力情報との差、つまりその誤差信号を符号化する方式である。Ｉフレームはほかのフレームを参照しないため、Ｉフレームでのすべてのマクロブロックは映像内符号化を行う。反面、Ｐフレームにおいては、映像間符号化も可能であり、一般的に映像間符号化と映像内符号化のうち、符号化効率面で有利な符号化方式を選択する。例えば、動き推定が誤った場合、予測誤差が大きくなり、これを符号化することは、入力映像信号を符号化する方法より符号化効率が低下し得る。この場合は、映像間符号化方式より映像内符号化方式が有利である。従って、Ｐフレームにも映像内符号化するマクロブロックが存在し得る。

整理すると、映像内符号化と映像間符号化は、符号化する信号が入力色調信号であるか、又は誤差信号であるかによって決定される。そして、Ｉフレームではすべてのマクロブロックが映像内符号化のみを行う反面、Ｐフレームでは映像内符号化するマクロブロックと映像間符号化するマクロブロックが同時に存在し得る。
本明細書では、映像内符号化するマクロブロックを“映像内マクロブロック(intra macroblock)”、そして映像間符号化するマクロブロックを“映像間マクロブロック(inter macroblock)”と呼ぶ。そして、このような区分を示す情報を“マクロブロックタイプ(macroblock type)”という。

一方、動映像符号化方式は、長方形のフレームを符号化する“フレーム単位符号化(frame-based coding)”方式と、任意の形態の領域(arbitrary shape region)のみを符号化する“物体単位符号化(object-based coding)”方式とに分けられる。フレーム単位符号化方式は全フレームの画素を符号化して伝送する動映像符号化方式である反面、物体単位符号化方式は符号化しようとする対象領域のみを符号化して伝送する動映像符号化方式で、使用者の所望物体のみを符号化して伝送するか操作(manipulation)することを可能にする利点を有するため、未来のマルチメディア産業全般に重要な役を務めると予想される。

フレーム単位符号化の代表的な例としては、ＩＴＵ−Ｔ(International Telecommunication Union - Telecommunication Standardization Sector; 国際電気通信連合−電気通信標準化部門、前CCITT)のＨ．２６１、Ｈ．２６３又は ISO/IEC JTC1/SC29/WG11のMPEG-1, MPEG-2などの標準化方案がある。物体単位符号化の代表的な例としては、ISO/IEC JTC1/SC29/WG11のMPEG-4が挙げられる。

図７には、前記国際標準機構で確定したＭＰＥＧ−４の動映像符号化器の構成図を示す。ＭＰＥＧ−４では、フレームという用語の代わりに“ＶＯＰ(Video Object Plane)”という用語が使用される。この符号化器は、当該物体に関する情報(映像色調情報と形状情報)が動き推定部(motion estimation)１３に入力されると、動き推定部１３は入力された情報からマクロブロック単位で動きを推定することになる。また、動き補償部(motion compensation)１４は、前記動き推定部１３から入力される動き情報を用いて、入力された映像色調情報(texture information)を動き補償予測する。そして、動き補償部１４で予測された信号は入力された信号とともに減算器(subtractor)１６に入力されて、差値が検出され、減算器１６で検出された差値は映像色調情報符号化部(texture coding)１８に入力されて、入力物体の映像色調情報が符号化される。

一方、動き補償部１４から出力される動き補償信号と映像色調情報符号化部１８で符号化された物体の映像色調情報は加算器(adder)１７に入力されて加算され、加算器１７の出力信号は以前再現ＶＯＰメモリ(previous reconstructed VOP memory)１５に入力、貯蔵されて、つぎに入力される物体の符号化に使用される。すなわち、以前再現ＶＯＰメモリ１５に貯蔵された以前ＶＯＰは前記動き推定部１３及び動き補償部１４に入力されて、動き推定及び動き補償に使用される。

ＭＰＥＧ−４動映像符号化器でもマクロブロック単位で映像内符号化と映像間符号化を行う。従って、図７に図示しなかったが、マクロブロック符号化タイプを決定するパートがあり、仮に、映像内マクロブロックである場合には、動き補償を用いないので、入力映像信号がすぐ映像色調情報符号化部に入力され、ここで再生された映像信号も加算器などを経なくすぐ以前再現ＶＯＰメモリに入力される。

映像色調情報とともに入力される形状情報は、形状情報符号化部(shape coding)１２に入力されて、形状情報が符号化される。形状情報符号化部の出力は形状情報ビット列(shape information bitstream)と再現形状情報である。再現形状情報は、点線で示すように、動き推定部１３、動き補償部１４及び色調情報符号化部１８に入力させて、動き推定、動き補償及び物体の映像色調情報を物体単位で符号化するのに使用することができる。ＭＰＥＧ−４動映像符号化器では、物体単位符号化だけでなく、フレーム単位符号化も可能である。フレーム単位符号化は、形状情報符号化及び伝送が不要であるので、図７に示すように、スイッチで形状情報符号化部及びその信号をＯｎ／Ｏｆｆし得るようになっている。スイッチを制御する信号が図７のshape_coding_flagである。

また、動き推定部１３で推定され符号化された動き情報ビット列(motion information bitstream)と、映像色調情報符号化部１８で符号化された物体の映像色調情報ビット列(texture information bitstream)及び前記形状情報符号化部１２で符号化された形状情報ビット列(shape information bitstream)は多重化部(multiplexer)１９に印加され多重化された後、バッファ(buffer)２０でバッファリングされ、この多重化されたビット列(multiplexed bitstream)が復号化器側に伝送媒体を通じて伝送される。一方、図８に示されていないが、ＶＯＰ単位の付加情報も符号化されて多重化部に入力され、ほかのビット列とともに多重化されて復号化器に伝送される。ＶＯＰ単位の付加情報に対しては、後にもっと詳細に説明する。

このように、ＭＰＥＧ−４で定義されるＶＯＰは既存の標準案のフレームに相当するもので、フレームタイプの同様、Ｉ ＶＯＰ、Ｐ ＶＯＰ、 Ｂ ＶＯＰのような“ＶＯＰ符号化タイプ(VOP coding type)”を有する。このＶＯＰ符号化タイプは長方形のフレームとは異なり、任意の形状情報を有するという相違点のみがあり、ほかの特性(例えば、動き補償予測方向)は一致する。

任意の形状情報を有する物体の符号化時には、形状情報に関連してマクロブロックを３種に区分し得る。一番目、物体領域の外部に含まれた場合のマクロブロックがある。このマクロブロックは、内部に物体領域が存在しなく、よって符号化及び伝送過程が不要である。本明細書では、このマクロブロックを“透明マクロブロック(transparent macroblock)”という。二番目、物体領域の内部にマクロブロックが全く含まれた場合で、既存のフレーム単位符号化で開発された技術を直接使用し得るマクロブロックである。本明細書では、このようなマクロブロックを“不透明マイクロブロック(opaque macroblock)”という。最終に、物体領域と物体領域でない領域とが共存するマクロブロックがあり、本明細書では、このようなマクロブロックを“境界マクロブロック(boundary macroblock)”という。このようなマクロブロックを受信端(receiver)で復号化(decoding)するためには、物体領域を表示する形状情報と物体領域内の映像色調情報を符号化して伝送すべきである。もちろん、Ｐフレーム又はＢフレームでの映像間マクロブロックのように、動き推定及び補償を行うマクロブロックでは動き情報も符号化して伝送すべきである。

図８は透明マクロブロック(ＴＭＢ)、不透明マクロブロック(ＯＭＢ)、及び境界マクロブロック(ＢＭＢ)の一例を示すものである。ここで、斜線の部分は符号化すべき物体領域を示すもので、小さい四角形のそれぞれはマクロブロックを示す。この例において、物体領域の外部に含まれたマクロブロック(ＴＭＢ)が６個、物体領域の内部に含まれたマクロブロック(ＯＭＢ)が１２個、そして、物体領域の内部と外部が同時に存在するマクロブロック(ＢＭＢ)が２２個である。

以下、前述したフレーム単位符号化と物体単位符号化について詳細に説明する。図９は物体単位符号化を説明するための実験映像の例示図で、任意の空間(背景)内で二人の子供たちがボールを持って遊ぶ形状を示す一枚のフレームである。既存のフレーム単位符号化(frame-based coding)方式においては、全フレーム画素が有する色調値(輝度(luminance)、色度(chrominance))を符号化して伝送する。しかし、全フレームの映像情報のうち、子供たちとボールのみの情報の伝送が必要な場合には、物体単位符号化(object-based coding)を使用するとよい。すなわち、子供たちとボールに属する画素の色調値のみを符号化して伝送するとよい。この際に、符号化しようとする子供たちとボールの領域を物体(object)といい、物体でない領域を(background)という。

物体単位符号化方法を使用して任意の映像を圧縮符号化するためには、全フレームの画素のなかでどの画素が物体(つまり、子供たちとボール)に属する画素であり、どの画素が背景に属する画素であるかを符号化器(encoder)と復号化器(decoder)で知っていなければならない。このように、映像を物体領域と背景領域に区分する情報を物体の形状情報(shape information)とよぶ。復号化器で形状情報を知り得るようにするため、符号化器では形状情報を圧縮符号化して伝送すべきである。

図１０は図９の映像の形状情報を二進形状で示す例を示すものである。前記形状情報は二進形状情報又はグレー形状情報で表現できる。二進形状情報は物体と背景を区別するために使用する。形状情報は、図９及び図１１に示すように、背景と物体の境界である輪郭線で現すこともできる。
前記二進形状情報は背景領域と物体領域を指定する二つの値で表現される。例えば、形状情報の各画素を８ビットで表現すると、背景に属する画素は“０”の値を、物体に属する画素は“２５５”の値を有するように指定し得る。背景値及び物体値は必ずしも“０”と“２５５”に固定する必要はなく、互いに区分することができ、符号化器と復号化器で区分方法を知っていると、二つの値となり得る。

二進形状情報を拡張して、背景と物体の信号値を適切な比で交ぜ合わせて合成映像を表現することができる。形状情報フレームにおいて、背景に属する画素が０の値を有し、物体に属する画素が２５５の値を有する場合を考えてみる。言い換えれば、０の値を有する画素は背景映像色調情報で合成映像を現すことになる。そして、２５５を有する画素位置の合成映像の画素は物体の映像色調情報値を有する。仮に、０と２５５の中間値を有する場合には、背景映像色調情報と物体映像色調情報の中間値を持たせることができる。このような例はＴＶを考えることができる。ＴＶ画面に文字を書く場合、文字で覆われた部分で、後の背景が見える場合があり、背景が見えない場合がある。後の背景が見えない場合は二進形状情報のような場合であり、後の背景が見える場合は背景信号と文字信号を合成した場合である。このように、当該画素が背景であるか又は物体であるかを示す情報だけでなく、任意の合成を可能にする情報も含む形状情報をグレー形状情報(gray scale shape information)という。

一般に、グレー形状情報フレームの各画素は所定の範囲内の二つ以上の値を有する。仮に、グレー形状情報フレームの画素を８ビットで表現すると、０から２５５までの値を有し得る。この際に、０である場合は、合成映像の同一位置の画素値が背景信号の映像色調情報値を有することになり、２５５である場合は、合成映像の同一位置の画素値が物体の映像色調情報値を有することになる。仮に、その間の値を有すると、適切な比で物体映像色調情報値と背景映像色調情報値とを交ぜ合わせて合成映像の画素値を決定する。

図１２（ａ）は任意の映像の背景信号の例を、図１２（ｂ）は物体信号の例を示す図である。図１２（ｂ）において、ｘ表示は、物体でない画素であるため、映像色調情報値が存在しないことを示す。図１３（ａ）は二進形状情報の例であり、図１３（ｂ）は図１２の背景信号と物体信号を合成した結果を示すものである。図１４（ａ）はグレー形状情報の例を示すものである。グレー形状情報フレームの各画素は図１３（ａ）の二進形状情報とは異なり、０と２５５だけでなく、その中間値も有する。このグレー形状情報を用いて図１２の二つの信号を合成した結果が図１４（ｂ）である。合成映像の各画素において、グレー形状情報が０と２５５との間の値である場合は、背景信号と物体信号とが交ぜ合わせられた値を有する。図１４では、簡単な説明のため、グレー形状情報フレームの画素値が１２８である場合、二つの信号を平均して合成映像を作る方法を使用した。ここで、グレー形状情報による信号の合成方法は多様に決定することができ、本発明においては、これに対する制限を与えない。

一方、復号化器側で映像を合成するようにするためには、符号化器側でグレー形状情報を符号化して伝送しなければならない。グレー形状情報は、図１５（ａ）のような二進形状情報と図１５（ｂ）のようなグレー色調情報とから構成される。図１５（ａ）及び（ｂ）から分かるように、グレー形状情報の二進形状情報はグレー形状情報の画素値が１以上である画素がどんな画素であるかを示す情報である。図１５（ａ）では、グレー形状情報の画素値が１以上である画素を２５５で表示した。図１５（ｂ）はこのような領域に属するグレー形状情報画素がどんな値を有するかを示す情報であり、これを本発明ではグレー色調情報(gray scale texture information)という。

グレー形状情報の二進形状情報は二進形状情報符号化方法をそのまま使用して圧縮符号化して伝送するとよい。しかし、グレー色調情報は映像の色調情報(例えば、図１２（ｂ）)符号化方法を用いて圧縮符号化して伝送することができる。しかし、グレー色調情報と映像の色調情報は信号特性がかなり相違するため、映像の色調情報符号化方式をそのまま適用する場合は、符号化効率が相当に減少し得る。

グレー形状情報符号化方法は、例えば特許文献１や特許文献２などによって示されているが、以下では、従来のグレー形状情報符号化方法のうち、グレー色調情報符号化方法を説明する。グレー形状情報は、二進形状情報符号化方法又は映像色調情報符号化方法と同様に、１６画素／ライン×１６ラインの大きさのマクロブロック単位で符号化を行い、これを“グレーマクロブロック”という。

グレー色調情報符号化のためには、グレーマクロブロックを構成する画素がみな“０”の値を有するか、又は１画素でも“０”でない値を有するかをまず判断する。もちろん、この判断は二進形状情報符号化及び復号化により、送信端の符号化器と受信端の復号化器が一緒に行える。仮に、みな“０”であると、当該マクロブロックには物体領域に属する画素がないため、以後の符号化過程は不要であり、そうでない場合には符号化過程を開始する。前者のマクロブロックをtransparentグレーマクロブロック、後者のマクロブロックをnon-transparentグレーマクロブロックという。Non-transparentグレーマクロブロックのみに対して符号化を行うことは映像色調情報の場合にも同一に適用される。

前記不透明(non-transparent)グレーマクロブロックのグレー色調情報符号化方法は、映像内符号化方法と映像間符号化方法とに分けられる。そして、この決定方法は映像色調情報での決定をそのまま使用する。言い換えれば、同一マクロブロックの映像色調情報が映像内符号化を行うと、グレー色調情報も映像内符号化であり、同一マクロブロックの映像色調情報が映像間符号化を行うと、グレー色調情報も映像間符号化を行う。このため、グレー色調情報の符号化を行う前に映像色調情報の符号化をまず行う。

グレー色調情報を映像内符号化(intra coding)する場合、グレーマクロブロック内のグレー色調情報値がみな２５５であるかを判断する。そして、すべての画素値が２５５であるか否かを示す情報coda_iを受信端に伝送する。すべての画素値が２５５でない場合には、それ以上の符号化過程を行わなく、１個の画素でも２５５でない値を有する場合には符号化過程を続ける。

グレー色調情報を映像間符号化(intra coding)する場合、動き補償予測を行い、その誤差を伝送する。このための動き情報は色調情報の動き情報をそのまま使用する。そして、動き補償予測モードもそのまま使用する。映像間符号化するグレーマクロブロックはみな画素値が２５５の値を有する場合、動き補償予測が正確になって、伝送すべき予測誤差がない場合と、動き補償予測誤差値を伝送しなければならない場合とに分けられ、これを示す情報coda_pbを可変長符号化して受信端に伝送する。先の両者の場合には、それ以上の符号化過程が不要であるため、それ以上の符号化過程を行わなく、最終の場合、つまり、予測誤差を伝送する場合は、符号化過程を続ける。復号化器では、一番目の場合、グレーマクロブロックのすべての値を２５５として再現グレーマクロブロックを作り、二番目の場合、色調情報の動き情報と動き補償予測モードを用いて再現グレーマクロブロックを作る。

映像内マクロブロックの入力グレー色調情報と映像間符号化グレーマクロブロックの誤差信号は映像色調情報の場合に類似した方式で符号化して伝送する。言い換えれば、グレーマクロブロックを４個の同一大きさのブロックに分け、不透明ブロックに対して各ブロック単位でＤＣＴを行い、量子化を行い、ＤＣ（direct current）係数とＡＣ（alternating current）係数を可変長符号化して伝送する。ここで、不透明ブロックは、不透明グレーマクロブロックに類似して、当該ブロックが１画素でも０より大きいブロックをよぶ。映像内符号化グレーマクロブロックである場合、量子化遂行後、ＤＣ係数は隣接した副ブロックのＤＣ係数値を用いて予測符号化を行う。ＡＣ係数もＤＣ係数と同様に予測符号化が行える。このため、映像内符号化グレーマクロブロックの場合、ＡＣ係数を予測符号化するかに対するフラグac_pred_flag_alphaを伝送する。グレー形状情報のグレー色調情報符号化に使用される量子化間隔はＶＯＰヘッダー情報で伝送するか、映像色調情報の量子化間隔の一定比で決定するため、マクロブロック単位で別に伝送しない。

そして、映像色調情報符号化時のcoded block patternのように、グレー色調情報符号化でもcoded block pattern (cbpa)を伝送する。Coded block patternは各マクロブロックのすべてのブロックのＤＣＴ符号化時、伝送が必要なＡＣ係数が存在するかを示す情報である。仮に、coded block patternから、この値が０であるブロックはＤＣ情報のみをもってグレーマクロブロックを再現する。

整理すると、グレー形状情報映像内符号化方法は、二進形状情報は既存の方式を用いて符号化を行い、グレー色調情報は既存の映像色調情報符号化方法に類似した方式で符号化伝送する。伝送する情報はグレー色調情報マクロブロックが符号化を行うかを示す情報、ac_pred_flag_alpha、coded block patternのような overhead(付加情報)、グレー色調情報のＤＣ情報とＡＣ情報である。

一方、デジタル動映像信号を圧縮符号化して生成されたビット列を伝送エラー(transmission error)が多く発生し得るチャネル(channel)−例えば、移動通信網(mobile communication channel)又は移動放送網(mobile broadcasting channel)−を通じて伝送するとき、エラーが発生することができ、この伝送エラーにより、受信端で受信されたビット列を復号化したとき、再現画質が大きく損傷される危険性がある。伝送エラーによる問題点を最小化するための研究が活発に進行されており、これは大きくエラー検出(error detection)、エラー局部化(error localization)、データ復旧(data recovery)などに区分することができる。そして、このような研究を通称して“エラー耐性(error resilient)技術”といい、このような技術を反映したビット列構造を“エラー耐性ビット列(error resilient bitstream)”という。

以下では、ＶＯＰ単位の符号化を遂行するＭＰＥＧ−４ ＦＤＩＳに記述されたエラー耐性技術を簡略に調べる。この技術は任意の形状情報を有する物体単位符号化とフレーム単位符号化のすべてに適用されるものである。
一番目、再同期方法がある。再同期信号(resynchronization marker又はresync marker)はエラーが検出された後のビット列と復号化器との間の再同期を可能にする。ビット列上でエラーが発生した場合、その直前の再同期地点とその直後の再同期地点との間のビットは一般的に無視される。仮に、再同期方法が復号化器で無視されるデータ量を効果的に局部化又は最小化し得ると、エラー耐性に関連したほかの技術(データ復元又はエラー補償(error concealment))の性能を向上させることができる。

ＭＰＥＧ−４の再同期方法において、エラー耐性ビット列はＩＴＵ−Ｔの動映像符号化標準化方案であるＨ．２６１又はＨ．２６３で使用されたＧＯＢ(Group of Blocks)構造に類似する。この標準案において、ＧＯＢは１列又は数列のマクロブロック列(row)で構成される。そして、符号化過程で新たなＧＯＢが開始されるとき、ＧＯＢヘッダー(header)をビット列上に位置させる。このヘッダーはＧＯＢ開始コード(start code)を含み、これは復号化器がこのＧＯＢの位置を知り得るようにする。この開始コード以外にも、ＧＯＢヘッダーは復号化過程を再開するのに必要な情報を貯蔵する。ＧＯＢ方式は空間的(spatial)再同期である。換言すると、符号化過程で特定のマクロブロック位置に到達すると、再同期信号をビット列に挿入する。この方式に内在された問題点は、符号化過程が可変ビット率(variable bit-rate)符号化時、この再同期信号がビット列上に一定間隔に位置し得ないという点である。

ＭＰＥＧ−４においては、このような問題点を避けるため、ビット列に周期的に再同期信号を挿入する。すなわち、ビデオパケット(video packet)−再同期信号間のビット列集合−の構成がマクロブロックの数を基準とする代わりに、ビデオパケットに含まれたビット数を基準として構成される。仮に、１個のマクロブロック符号化が終わった後、当該ビデオパケットの累積された発生ビット数が与えられた臨界値(threshold value)を超えると、つぎのマクロブロックから新たなビデオパケットを開始する。

図１６は再同期信号を使用するエラー耐性ビット列構造の例を示すものである。ＭＰＥＧ−４におけるビット列はresync marker、 macroblock number、 quant scale、 header extension code (HEC)などから構成されるビデオパケットヘッダーと、実際マクロブロックの情報(macroblock data)から構成されるビデオパケットの順に構成される。再同期信号は新たなビデオパケットの開始を区分する。このため、この信号はすべての可能なＶＬＣコードと各種開始コードと区分されなければならない。再同期信号を含むヘッダー情報はビデオパケットの開始に位置する。このヘッダーは、ビデオパケットでエラーが発生した後、エラーが発生した位置に最も近い再同期信号から復号化過程を再開することにおいて必須であり、当該ビデオパケットの第１マクロブロックの位置(macroblock number)及び量子化パラメーター(quant scale)などの情報を含む。

ビデオパケットヘッダーは“ヘッダー拡張コード(header extension code)”を含み得る。ヘッダー拡張コードはＶＯＰ単位の付加情報(overhead information)である。すなわち、ＶＯＰ単位の付加情報が伝送エラーにより損失を被った場合、この情報を使用して復号化が行える。ここで、代表的な付加情報はVOP_coding_type、intra_dc_vlc_thr、VOP_fcode_forward、VOP_fcode_backwardを含む。ここで、VOP_coding_typeは、現在符号化すべきＶＯＰがI VOP、 P VOP、 B VOPのいずれかに相当するかを示す情報であり、intra_dc_vlc_thrはＤＣ情報を符号化するとき、ＡＣ情報のＶＬＣ表を使用するか否かに関する情報を示す。VOP_fcode_forwardは順方向動き情報推定(forward motion estimation)時の探索領域(search range)の大きさを示す情報であり、VOP_fcode_backwardはB VOPで逆方向動き情報推定(backward motion estimation)時の探索領域の大きさを示す情報である。このように、ヘッダー拡張コードに含まれた情報は復号化器でビデオパケットを独立的に復号化するのに必ず必要な情報である。

ＭＰＥＧ−４において、エラー耐性符号化方法を使用するときは、一部圧縮符号化方法を修正しなければならない。例えば、すべての予測符号化方法(predictive coding methods)は、エラーの伝播(error propagation)を防ぐため、予測に用いられる情報を同一ビデオパケット内の情報に限定すべきである。換言すると、予測時(例えば、ＡＣ／ＤＣ予測、動きベクトル予測(motion vector prediction))、ビデオパケット境界をＶＯＰ境界と同一に考慮すべきである。

二番目、エラー耐性符号化技術として、データ分割(data partitioning)技術があり、例えば特許文献３や特許文献４などに示されている。
伝送エラーに強いビデオ復号化器(video decoder)に必須のエラー補償技術(error concealment method)の性能は再同期方法に相当に依存する。仮に、再同期方法がエラーをかなり局部的に制限すると、エラー補償技術の性能はより高くなる。ＭＰＥＧ−４では、向上されたエラー局部化方法の必要性を認知し、データ分割という新たな技術を発展させた。このデータ分割は、Ｐ ＶＯＰの場合、ビデオパケット内のすべてのマクロブロックの情報を映像色調情報と動き情報を中心に分離し、第２再同期信号を動き情報と映像色調情報との間に挿入する。この際に、データ分割が使用される事実を受信端に付加情報として知らせて、復号化器が知り得るようにする。既存の再同期信号との区分のため、データ分割の第２再同期信号をmotion_markerと表現する。

図１７はデータ分割が使用されたビット列構造を示すものである。同図から分かるように、データ分割の場合は、図１６のmacroblock dataがmotion_markerを介在してmotion and overhead information部分とtexture information部分とに分けられる。motion_markerが正確に復号化されると、当該ビデオパケット内のすべてのマクロブロックの動き情報とこれに関連した付加情報が正しく復号化されたと見なし得る。仮に、以後に伝送復号化される映像色調情報ビット列に伝送エラーが存在することを検出した場合は、当該ビデオパケット内のすべての映像色調情報は無視し、motion_marker以前の復号化された動き情報のみを用いて、既に復号化されてメモリに貯蔵されている参照ＶＯＰから動き補償予測を遂行して当該ビデオパケット内のすべてのマクロブロックを再現する。

Ｐ ＶＯＰにおいて、 動き情報が重要な情報であると、Ｉ ＶＯＰの場合には、ＤＣ情報が重要な情報である。従って、ビデオパケット内のすべてのマクロブロックの情報をＤＣ情報とＡＣ情報を中心に分離し、その間に再同期信号を挿入する。Ｉ ＶＯＰの場合には、動き情報推定及び補償がないので、動き情報を考慮しない。仮に、ＡＣ情報で伝送エラーが発生した場合、ＡＣ情報は無視し、ＤＣ情報のみを用いて当該ビデオパケット内のすべてのマクロブロックを再現することになる。この際に、挿入される再同期信号を“dc_marker”という
前述したように、データ分割符号化方法は、伝送エラーの発生時、無視する情報を減らし得る利点がある。データ分割でない図１６の場合には、１ビデオパケット内で伝送エラーが検出された場合、当該ビデオパケットのすべての情報を捨て、伝送エラーが発生した後の再同期信号を探し、そのときから再び復号化を開始する。しかし、図１７のようにデータ分割を行う場合、Ｐ ＶＯＰである場合は、伝送エラーが色調信号で発生する場合、動き情報を無視する必要なく映像信号の再生に用いることができるという利点がある。Ｉ ＶＯＰの場合は、伝送エラーがＡＣ信号で発生する場合、ＤＣ情報を無視する必要なく映像信号の再生に用いることができるという利点がある。

これまで、再同期信号とデータ分割技法を説明した。三番目のエラー耐性技術としては、逆ＶＬＣ方法がある。
逆ＶＬＣコード(Reversible Variable Length Codes、以下RVLC)方式は、符号化テーブルが順方向(forward direction)と逆方向(reverse direction)などの両方向への復号化が可能であるようにデザインされている。エラーが存在するため、順方向への復号化が不可能なビット列に対して、エラー発生地点直後の再同期信号から逆方向への復号化を行う。従って、この場合には、伝送エラーにより復号化器で無視されるビット数が減少する。現在、ＭＰＥＧ−４においては、ＲＶＬＣをＤＣＴ変換係数の符号化にだけ適用する。
特開平１１−２８５０２３号公報 特開平１１−１２７４３６号公報 特開平１０−２３４０４０号公報 特開平１１−０３２３３７号公報

以上説明したエラー耐性技術のうち、現在まで開発されたデータ分割符号化方式は飛越し走査符号化方式に適用し難い。既存のグレー形状情報符号化方式の開発はDigital TVなどの伝送エラーの少ない環境への適用を仮定したものであるため、エラー耐性技術は不要であった。しかし、伝送エラーが多く発生する移動通信環境でグレー形状情報を符号化伝送するための応用が要求されると、グレー形状情報を含むビデオ符号化方式は、発生される伝送エラーにより画質の劣化が相当に大きくなる問題点を有することになる。

以下では、このような問題点をより明確に記述し得るように、イントラピクチャ(Ｉフレーム)とインターピクチャ(Ｐフレーム又はＢフレーム)に区分し、より詳細に従来のデータ分割符号化方法を説明する。
図１８は既存のイントラピクチャのビデオパケット符号化方法の流れ図である。このパケット内に存在するマクロブロックの数をＮＭＢというと、まず、このパケットの内部に属するＮＭＢ個のマクロブロックのすべての形状情報、ＤＣ情報復号化のための付加情報、そしてＤＣ情報を伝送する。仮に、マクロブロック内に物体画素が全くない透明マクロブロックである場合は、ＤＣ情報復号化のための付加情報とＤＣ情報を伝送する必要がない。ＤＣ情報伝送後には、dc_makerを伝送し、やはりＮＭＢ個のマクロブロックのＡＣ情報復号化のための付加情報とＡＣ情報を伝送する。dc_makerはＤＣ情報とＡＣ情報を区分する信号で、全体符号化器で可能なすべてのコードとは区分すべき信号である。

このような既存のイントラピクチャビデオパケット符号化方法をグレー形状情報の符号化に適用する場合は多くの問題点が発生する。すなわち、既存の方法においては、グレー形状情報の色調情報符号化に使用される付加情報が考慮されないため、グレー形状情報を既存方式のデータ分割符号化方式で伝送する場合は、情報の不足により、復号化器で映像を正確に再現し得なくなる。

図１９は既存のインターピクチャのビデオパケット符号化方法を示す流れ図である。このパケット内に存在するマクロブロックの数をＮＭＢというとすると、まず、このパケットの内部に属するＮＭＢ個のマクロブロックのすべての形状情報、動き情報のための付加情報、そして動き情報を伝送する。そして、motion_makerを伝送し、やはりＮＭＢ個のマクロブロックの映像色調情報のための付加情報と映像色調情報を伝送する。motion_makerは動き情報と映像色調情報を区分する信号で、全体符号化器で可能なすべてのコードとは区分すべき信号である。

動き情報のための付加情報としては、当該マクロブロックが全く符号化ビットの発生しない場合を示すフラグ、動き情報がどんなモード(順行走査である場合、マクロブロック当たり一つの動き情報を送るモードと四つの情報を送るモードなどがある)であるかを示す情報などがある。映像色調情報のための付加情報としては、伝送すべき色調係数としてどのような色調係数がマクロブロックに存在するかを示す情報、映像色調情報ＡＣ係数を予測符号化するか否かを示すフラグなどがある。

このような既存のインターピクチャビデオパケット符号化方法をグレー形状符号化に適用する場合には多くの問題点が発生する。例えば、既存の方法では、グレー形状情報復号化のための付加情報が全く考慮されないため、既存のインターピクチャビデオパケット符号化方法をそのままグレー形状情報符号化方法に適用すると、伝送エラーが発生するとき、適切に対処し得ない問題点が発生する。

本発明の目的は、従来のデータ分割符号化方法をグレー形状情報の符号化に適用する場合に発生する問題点を克服することで、デジタルグレー形状情報の符号化又は復号化時、高画質の符号化及び復号化がなされるようにし、特に圧縮した動映像を伝送する場合、伝送エラーによる画質劣化を最小化し得るグレー形状情報を含むデジタル動映像の符号化方法及び復号化方法を提供することである。

前記目的を達成するため、本発明は、ピクチャ単位の動映像を符号化することにおいて、マクロブロックの形状情報を復号化器側に伝送する第５０１段階(Ｓ５０１)と、符号化しようとするマクロブロックが透明マクロブロック(transparent macroblock)であるかを判断して、当該マクロブロックが透明マクロブロックであると第５０７段階(Ｓ５０７)に進行し、透明マクロブロックでないと第５０３段階(Ｓ５０３)に進行する第５０２段階(Ｓ５０２)と、当該マクロブロックの映像色調情報のＤＣ情報復号化のための付加情報を前記復号化器側に伝送する第５０３段階(Ｓ５０３)と、当該マクロブロックの映像色調情報のＤＣ情報を前記復号化器側に伝送する第５０４段階(Ｓ５０４)と、当該マクロブロックのグレー色調情報のＤＣ情報復号化のための付加情報を前記復号化器側に伝送する第５０５段階(Ｓ５０５)と、当該マクロブロックのグレー色調情報のＤＣ情報を前記復号化器側に伝送する第５０６段階(Ｓ５０６)と、当該マクロブロックが当該ビデオパケットの最終マクロブロックであるかを判断して、最終マクロブロックでない場合、第５０１段階(Ｓ５０１)に進行する第５０７段階(Ｓ５０７)と、第５０７段階(Ｓ５０７)で、最終マクロブロックである場合、当該ビデオパケットのマクロブロックのＤＣ情報とＡＣ情報を区分するマーカー信号(dc_marker)を前記復号化器側に伝送する第５０８段階(Ｓ５０８)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報のＡＣ情報復号化のための付加情報を前記復号化器側に伝送する第５０９段階(Ｓ５０９)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報のＡＣ情報を前記復号化器側に伝送する第５１０段階(Ｓ５１０)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報のＡＣ情報復号化のための付加情報を前記復号化器側に伝送する第５１１段階(Ｓ５１１)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報のＡＣ情報を前記復号化器側に伝送する第５１２段階(Ｓ５１２)とを含んで、グレー形状情報を含むイントラピクチャビデオパケットを前記復号化器側に伝送することを特徴とするグレー形状情報を含むデジタル動映像の符号化方法を提供する。

また、前記目的を達成するため、本発明は、ピクチャ単位の動映像を符号化することにおいて、マクロブロックの形状情報を符号化して復号化器側に伝送する第６０１段階(Ｓ６０１)と、当該マクロブロックが透明マクロブロックであるかを判断して、透明マクロブロックである場合、第６０６段階(Ｓ６０６)に進行し、透明マクロブロックでない場合、第６０３段階(Ｓ６０３)に進行する第６０２段階(Ｓ６０２)と、当該マクロブロックの映像色調情報の動き情報を復号化するために必要な付加情報を前記復号化器側に伝送する第６０３段階(Ｓ６０３)と、当該マクロブロックの映像色調情報のグレー形状情報の動き情報を前記復号化器側に伝送する第６０４段階(Ｓ６０４)と、当該マクロブロックのグレー形状情報の復号化のための付加情報を前記復号化器側に伝送する第６０５段階(Ｓ６０５)と、当該マクロブロックが当該ビデオパケットの最終マクロブロックであるかを判断して、最終マクロブロックでない場合、第６０１段階(Ｓ６０１)に進行する第６０６段階(Ｓ６０６)と、第６０６段階(Ｓ６０６)で、最終マクロブロックである場合、当該ビデオパケットのマクロブロックの動き情報と映像色調情報を区分するマーカー信号(motion_marker)を前記復号化器側に伝送する第６０７段階(Ｓ６０７)と、当該ビデオパケットのすべてのマクロブロックで、映像色調情報復号化過程に必要な付加情報を前記復号化器側に伝送する第６０８段階(Ｓ６０８)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報を前記復号化器側に伝送する第６０９段階(Ｓ６０９)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報復号化のための付加情報を前記復号化器側に伝送する第６１０段階(Ｓ６１０)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報を前記復号化器側に伝送する第６１１段階(Ｓ６１１)とを含んで、グレー形状情報を含むインターピクチャのビデオパケットを前記復号化器側に伝送することを特徴とするグレー形状情報を含むデジタル動映像の符号化方法を提供する。

更に、前記目的を達成するため、本発明は、グレー形状情報を含むイントラピクチャのビデオパケットを符号化器側から受信し、ピクチャ単位の動映像を復号化することにおいて、マクロブロックの形状情報を復号化して符号化器側から受信する第７０１段階(Ｓ７０１)と、当該マクロブロックが透明マクロブロックであるかを判断して、透明マクロブロックである場合、第７０７段階(Ｓ７０７)に進行し、透明マクロブロックでない場合、第７０３段階(Ｓ７０３)に進行する第７０２段階(Ｓ７０２)と、当該マクロブロックの映像色調情報のＤＣ情報を復号化するために必要な付加情報を前記符号化器側から受信する第７０３段階(Ｓ７０３)と、当該マクロブロックの映像色調情報のＤＣ情報を前記符号化器側から受信する第７０４段階(Ｓ７０４)と、当該マクロブロックのグレー色調情報のＤＣ情報復号化のための付加情報を前記符号化器側から受信する第７０５段階(Ｓ７０５)と、当該マクロブロックのグレー色調情報のＤＣ情報を前記符号化器側から受信する第７０６段階(Ｓ７０６)と、次のビット列が当該ビデオパケットのマクロブロックのＤＣ情報とＡＣ情報を区分するマーカー信号(dc_marker)であるかを判断して、当該マーカー信号(dc_marker)でないと判断した場合、第７０１段階(Ｓ７０１)に進行する第７０７段階(Ｓ７０７)と、第７０７段階(Ｓ７０７)で、当該ビデオパケットのマクロブロックのＤＣ情報とＡＣ情報を区分するマーカー信号(dc_marker)であると判断した場合、当該マーカ信号(dc_marker)を前記符号化器側から受信する第７０８段階(Ｓ７０８)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報のＡＣ情報復号化のために必要な付加情報を前記符号化器側から受信する第７０９段階(Ｓ７０９)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報のＡＣ情報を前記符号化器側から受信する第７１０段階(Ｓ７１０)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報のＡＣ情報復号化のための付加情報を前記符号化器側から受信する第７１１段階(Ｓ７１１)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報のＡＣ情報を前記符号化器側から受信する第７１２段階(Ｓ７１２)とを含むことを特徴とするグレー形状情報を含むデジタル動映像の復号化方法を提供する。

更にまた、前記目的を達成するため、本発明は、グレー形状情報を含むインターピクチャのビデオパケットを符号化器側から受信し、ピクチャ単位の動映像を復号化することにおいて、マクロブロックの形状情報を前記符号化器側から受信する第８０１段階(Ｓ８０１)と、復号化しようとするマクロブロックが透明マクロブロック(transparent macroblock)であるかを判断して、当該マクロブロックが透明マクロブロックであると第８０６段階(Ｓ８０６)に進行し、透明マクロブロックでないと第８０３段階(Ｓ８０３)に進行する第８０２段階(Ｓ８０２)と、当該マクロブロックの映像色調情報の動き情報復号化のための付加情報を前記符号化器側から受信する第８０３段階(Ｓ８０３)と、当該マクロブロックの映像色調情報の動き情報を前記符号化器側から受信する第８０４段階(Ｓ８０４)と、当該マクロブロックのグレー形状情報の復号化のための付加情報を前記符号化器側から受信する第８０５段階(Ｓ８０５)と、次のビット列が当該ビデオパケットのマクロブロックの動き情報と映像色調情報を区分するマーカー信号(motion_marker)であるかを判断して、当該マーカ信号(motion_marker)でないと判断した場合、第８０１段階(Ｓ８０１)に進行する第８０６段階(Ｓ８０６)と、第８０６段階(Ｓ８０６)で、当該ビデオパケットのマクロブロックの動き情報と映像色調情報を区分するマーカー信号(motion_marker)であると判断した場合、当該マーカー信号(motion_marker)を前記符号化器側から受信する第８０７段階(Ｓ８０７)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報の復号化のための付加情報を前記符号化器側から受信する第８０８段階(Ｓ８０８)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報を前記符号化器側から受信する第８０９段階(Ｓ８０９)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報の復号化のための付加情報を前記符号化器側から受信する第８１０段階(Ｓ８１０)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報を前記符号化器側から受信する第８１１段階(Ｓ８１１)とを含むことを特徴とするグレー形状情報を含むデジタル動映像の復号化方法を提供する。

本発明によれば、グレー形状情報を含む動映像を符号化する場合、データ分割符号化方法を用いて符号化し、その符号化されたビデオパケットの情報を、本発明で提案した伝送順に従って復号化器側に伝送し、復号化器側では、本発明で提案した順に受信、復号化を遂行することにより、伝送エラーが多く発生するチャネルを通じて、グレー形状情報を含む動映像を伝送する場合にも、復号化器側でチャネルエラーによる画質劣化を最小化するようにして高画質の動映像を再現し得る。

より具体的には、グレー形状情報を含むイントラピクチャビデオパケットを復号化器側に伝送して復号化する際には、第５０５段階(Ｓ５０５)で、当該マクロブロックのグレー色調情報のＤＣ情報復号化のための付加情報を伝送し、第５０６段階(Ｓ５０６)で、グレー色調情報のＤＣ情報を伝送することにより、グレー形状情報を含む動映像を圧縮符号化する場合には、発生されるチャネルエラーの影響を最小化し、高画質の再生映像を復号化することができる。

また、グレー形状情報を含むイントラピクチャビデオパケットを符号化器側から受信して復号化する際にも同様に、第７０５段階(Ｓ７０５)で、当該マクロブロックのグレー色調情報のＤＣ情報復号化のための付加情報を符号化器側から受信し、第７０６段階(Ｓ７０６)で、グレー色調情報のＤＣ情報を符号化器側から受信することにより、グレー形状情報を含む動映像を圧縮符号化する場合には、発生されるチャネルエラーの影響を最小化し、高画質の再生映像を復号化することができる。

更に、グレー形状情報を含むインターピクチャのビデオパケットを復号化器側に伝送して復号化する際には、第６０５段階(Ｓ６０５)で、グレー形状情報の付加情報が伝送されるので、発生されるチャンネルエラーの影響を最小化し、高画質のグレー色調情報を復号化することが可能となる。
また、グレー形状情報を含むインターピクチャのビデオパケットを符号化器側から受信して復号化する際にも同様に、第８０５段階(Ｓ８０５)で、グレー形状情報の付加情報が符号化器側から受信されるので、発生されるチャンネルエラーの影響を最小化し、高画質のグレー色調情報を復号化することが可能となる。

以下、前記のような本発明の技術的思想による好ましい実施例を添付図面に基づいて詳細に説明する。
図１は本発明による飛越し走査動映像の各々のピクチャに対してビデオパケット単位で符号化するデータ分割符号化過程を示す流れ図である。
本発明によるグレー形状情報を含むデジタル動映像の符号化時には、符号化すべき動映像の１ピクチャが入力されると、ピクチャ符号化を開始し、その第1段階はピクチャ符号化に必要なピクチャ単位付加情報を伝送することである(Ｓ１)。このようなピクチャ単位付加情報は、適用される標準案又は応用によって多少の差があり得るもので、本発明において、このような付加情報は特別に制限されない。例えば、ＭＰＥＧ−４の場合、picture coding type、 vop_coded、vop_rounding_type、映像色調情報の量子化間隔の大きさ、そして、グレー形状情報の量子化間隔の大きさの情報などを含み得る。ただし、このようなピクチャ単位の付加情報に、当該符号化すべきピクチャがインターピクチャであるかイントラピクチャであるかを示すpicture coding typeとグレー形状情報の色調情報の量子化間隔の大きさに関する情報は必ず含まれなければならない。

第３段階(Ｓ３)はグレー形状情報復号化に必要な付加情報を含むビデオパケットヘッダー情報を伝送する段階で、各ビデオパケットの前に位置する。ただし、各ピクチャの第1ビデオパケットは第1段階(Ｓ１)で伝送された付加情報の直後に出るため、第1ビデオパケットではビデオパケットヘッダーを伝送しない。このような制御を第２段階(Ｓ２)で遂行する。すなわち、第２段階(Ｓ２)では、符号化すべきビデオパケットが当該ピクチャの第１パケットであるかを判断して、第３段階(Ｓ３)の遂行可否を制御する。第２段階(Ｓ２)で、符号化すべきビデオパケットが当該ピクチャの第１パケットでない場合、第３段階(Ｓ３)でビデオパケットヘッダーを伝送する。ビデオパケットヘッダーは、第１段階(Ｓ１)で伝送されたピクチャ単位の付加情報を伝送エラーなどの理由のため損失したときに使用する情報であるので、ピクチャ単位の付加情報を含む。第１段階(Ｓ１)と同様、本発明ではその細部付加情報の種類を制限しないが、ピクチャ単位の付加情報は、基本的に、当該符号化すべきピクチャがインターピクチャであるか又はイントラピクチャであるかを示すpicture coding typeとグレー形状情報の色調情報の量子化間隔を含む。

本発明の方法において最も重要な部分の一つは第３段階(Ｓ３)である。ビデオパケットヘッダーは、前述したように、ヘッダー拡張コードとそうでない部分など、大きく二つの部分に分けられる。ヘッダー拡張コードはピクチャのヘッダー部分に伝送エラーが発生したときに用いる情報であり、ヘッダー拡張コーダでない部分は、当該パケットの第１マクロブロックの位置情報又は量子化間隔の大きさなどを含む。本発明はグレー形状情報符号化のためのものであるので、第３段階(Ｓ３)はつぎのような方式を取る。グレー形状情報の色調情報符号化に使用される量子化間隔の大きさはピクチャ単位で決定するものとマクロブロック単位で決定するものとの２種に分けられる。しかし、マクロブロック単位の量子化間隔は、既に与えられたピクチャ単位の量子化間隔の大きさと当該マクロブロックの映像色調情報符号化に使用される量子化間隔の大きさとの一定関係式により決定される。従って、第３段階では、ヘッダにおいてピクチャ単位で決定されるグレー形状情報の色調情報の量子化間隔の大きさを伝送する。そこで、仮に、マクロブロック単位のグレー形状情報の色調情報の量子化間隔の大きさ情報が損失されたときは、各ビデオパケットでビデオパケットヘッダーにあるピクチャ単位のグレー形状情報の量子化間隔の大きさ情報と当該マクロブロックの色調情報の量子化間隔の大きさ情報を用いて知り得る。

第４段階(Ｓ４)では、符号化すべきピクチャがイントラピクチャであるか又はインターピクチャであるかを判断して、イントラピクチャである場合は第５段階(Ｓ５)のグレー形状情報を含むイントラピクチャビデオパケット伝送段階を遂行し、インターピクチャである場合は第６段階(Ｓ６)のグレー形状情報を含むインターピクチャビデオパケット伝送段階を遂行する。本発明において、イントラピクチャである場合とインターピクチャである場合とに分けてビデオパケットを伝送する理由は、両者のピクチャにおける重要な情報が相違するためである。

第５段階(Ｓ５)又は第６段階(Ｓ６)に続き、最終に、符号化伝送の終わったビデオパケットが当該ピクチャの終わりに位置しているかを判断して、最終パケットでない場合には再び第２段階(Ｓ２)に進行して新たなパケットを開始し、最終パケットである場合にはグレー形状情報を含む映像の符号化を終了する(Ｓ７)。
以下、図２を参照して、本発明のグレー形状情報を含む映像の符号化方法において、グレー形状情報を含むイントラピクチャのビデオパケットを伝送する第５段階(Ｓ５)をより詳細に説明する。

本発明によるグレー形状情報を含むイントラピクチャのビデオパケット符号化伝送時には、まず、当該マクロブロックの形状情報を符号化して得た形状情報ビット列を復号化器側に伝送する(Ｓ５０１)。次いで、当該マクロブロックが何の物体画素も含まない透明マクロブロック(transparent macroblock)であるかを判断して、透明マクロブロックである場合は何の信号も送る必要がないので段階Ｓ５０７に進行する(Ｓ５０２)。

前記第５０２段階(Ｓ５０２)で、透明マクロブロックでない場合は、当該マクロブロックの映像色調情報のＤＣ情報を復号化するのに必要な各種付加情報を伝送する(Ｓ５０３)。このような付加情報は、マクロブロックタイプ、量子化間隔大きさなどの情報を含み得る。本発明においては、ＤＣ情報を復号化するのに必要な付加情報は必ず伝送されなければならない点を除き、この段階で伝送すべき情報を特定情報に制限しない。

第５０４段階(Ｓ５０４)では、当該マクロブロックの映像色調情報のＤＣ情報を伝送し、次いで、第５０５段階(Ｓ５０５)では、当該マクロブロックのグレー色調情報のＤＣ情報復号化のための付加情報を伝送する。このような付加情報としては、前述したcoda_iのように、グレー色調情報がみな２５５の値を有するか否かを知らせる情報がある。第５０６段階(Ｓ５０６)では、当該マクロブロックのグレー色調情報のＤＣ情報を符号化して伝送する。第５０７段階(Ｓ５０７)では、伝送したマクロブロックが当該ビデオパケットの最終マクロブロックであるかを判断して、最終マクロブロックである場合は第５０８段階(Ｓ５０８)を遂行し、そうでない場合はつぎのマクロブロック情報に対して第５０１段階(Ｓ５０１)を再開する。

本発明において、第５０７段階(Ｓ５０７)の判断方法としてはいろいろあり得る。例えば、ビデオパケットの長さをマクロブロックの一定数で指定することもでき（ＧＯＢ構造のＨ．２６３のように）、又は累積された発生ビット量が所定の臨界値を超えると、当該ビデオパケットが終わると（ＭＰＥＧ−４のビデオパケットの構造のように）決めることができる。本発明においては、１ビデオパケットで最終マクロブロックであることを決定する方法を特定方法に制限しない。

第５０７段階(Ｓ５０７)で、最終ビデオパケットである場合は、ビデオパケット内のすべてのマクロブロックの映像色調情報のＤＣ情報とＡＣ情報を区分するマーカー信号dc_markerを伝送する(Ｓ５０８)。これは、図２の符号化方法が用いられる全動映像符号化システムに使用できるすべてのコードと区分可能でなければならない。例えば、ＭＰＥＧ−４では、“110 1011 0000 0000 0001”のビット列をdc_markerとして使用する。

次いで、第５０９段階(Ｓ５０９)では、当該ビデオパケットに含まれるすべてのマクロブロックにおいて、復号化器で映像色調情報のＡＣ情報を復号化する過程で用いられる付加情報を伝送する。ＡＣ情報を復号化する過程で用いられる付加情報としては、coded block pattern（マクロブロック内の各ブロックで伝送すべきＡＣ係数があるかを示す信号）とac_pred_flag（ＡＣ情報を予測符号化(predictive coding)したかを示す信号）を含む。終わりに、第５１０段階(Ｓ５１０)では、当該ビデオパケットに含まれるすべてのマクロブロックの映像色調情報のＡＣ情報を伝送する。

第５１１段階(Ｓ５１１)では、当該ビデオパケットに含まれるすべてのマクロブロックにおいて、復号化器でグレー色調情報のＡＣ情報を復号化する過程で用いられる付加情報を伝送する。この付加情報としては、色調情報の場合に類似するように、グレー色調情報復号化のためのcoded block pattern (cbpa)とac_pred_flag(ac_pred_flag_alpha)などがある。この機能は、色調情報とグレー色調情報という点のみを除き、前記色調情報の場合と同一である。第５１２段階(Ｓ５１２)では、当該ビデオパケットに含まれるすべてのマクロブロックにおいて、グレー色調情報のＡＣ情報を伝送する。

図２には、第５０９段階(Ｓ５０９)ないし第５１２段階(Ｓ５１２)のそれぞれに対して、当該ビデオパケット内のすべてのマクロブロック情報を伝送することを示す。しかし、当該ビデオパケット内の各マクロブロックに対して第５０９段階(Ｓ５０９)ないし第５１２段階(Ｓ５１２)を遂行し、これを当該ビデオパケット内のすべてのマクロブロックに対して遂行してもよい。

前述した図２の各段階において、第５０５段階(Ｓ５０５)及び第５０６段階(Ｓ５０６)は本発明の最も重要な特徴を見せる。前記第５０５段階(Ｓ５０５)で、当該マクロブロックのグレー色調情報のＤＣ情報復号化のための付加情報を伝送し、第５０６段階(Ｓ５０６)で、グレー色調情報のＤＣ情報を伝送することにより、グレー形状情報を含む動映像を圧縮符号化する場合には、発生されるチャネルエラーの影響を最小化し、高画質の再生映像を復号化することができる。仮に、第５０８段階(Ｓ５０８)で伝送したdc_markerが正確に復号化され、次いで伝送されるＡＣ情報からチャネルエラーが検出された場合、dc_marker以後に伝送された映像色調情報及びグレー色調情報は無視し、dc_marker以前に第５０５段階(Ｓ５０５)で伝送されたグレー色調情報のＤＣ情報復号化のための付加情報、例えば、coda_iと第５０６段階でＤＣ情報のみを用いてビデオパケットを再現する。復号化器では、coda_iを受信、復号化して、当該マクロブロックのグレー色調情報のすべての値が２５５であるかを判断する。仮に、すべての値が２５５であると、その値でグレー色調情報を再現し、そうでない場合には、グレー色調情報のＤＣ値を受信復号化して、その値でグレー色調情報を再現することになる。本発明のように、グレー色調情報値をdc_makerを用いて分離しないと、復号化器では、伝送エラーの発生時、グレー色調情報値に対する再現マクロブロックの画質劣化が大きくなる。

注意すべき点は、前述したように、coda_iがnot_coded、つまりすべてのグレー色調情報値が２５５であることを示すと、ＤＣ値を伝送する必要がない点である。しかも、ＡＣ付加情報及びＡＣ情報の伝送も事実上不要である。第５１１段階(Ｓ５１１)でもこれに類似した説明が可能である。すなわち、ＡＣ付加情報としては、前述したcbpa又はac_pred_flag_alphaなどを伝送し、cbpaはマクロブロックを構成する各ブロックで、伝送すべきＡＣ係数が存在するかを示す情報である。従って、cbpaを伝送すると、ＡＣ係数が存在しないブロックに対してはＡＣ情報を伝送する必要がない。復号化器でもcbpaを受信、復号化して、どのブロックが、ＡＣ係数があるかないかを知り得るため、ＡＣ係数があるブロックに対してだけＡＣ係数を受信、復号化することになる。

本発明のグレー形状情報が含まれたインターピクチャのビデオパケットを符号化する方法(Ｓ６)を図３に基づいて説明する。第４段階(Ｓ４)で、イントラピクチャでないと判断された場合には、インターピクチャビデオパケットの伝送を開始し、まず、マクロブロックの形状情報を符号化して得た形状情報ビット列を復号化器側に伝送し(Ｓ６０１)、次いで、当該マクロブロックが物体画素を全く含まない透明マクロブロックであるかを判断して、透明マクロブロックである場合は、何の信号も送る必要がないので、第６０６段階(Ｓ６０６)に進行する(Ｓ６０２)。

第６０２段階(Ｓ６０２)で、透明マクロブロックでない場合は、当該マクロブロックの映像色調情報の動き情報の復号化のための各種付加情報を伝送する(Ｓ６０３)。このような付加情報は符号化を示す情報（当該マクロブロックで伝送すべき情報があるかを示す情報で、通常not_codedで表現）、マクロブロックタイプ、量子化間隔大きさなどの情報を含み得る。本発明において、このような付加情報は特定情報の集合に制限されないが、第６０３段階(Ｓ６０３)で伝送する情報のうち、当該マクロブロックが動き補償予測を用いるインターマクロブロックであるか、又は動き補償予測を使用しないイントラマクロブロックであるかを示すマクロブロックタイプ情報は必ず含まれる。動き情報のための付加情報の伝送後には、当該マクロブロックの映像色調情報の動き情報を符号化して伝送する(Ｓ６０４)。

第６０５段階（Ｓ６０５）では、当該マクロブロックのグレー形状情報を復号化するための付加情報を伝送する。ここで、付加情報としてはcoda_pbがある。イントラピクチャでは、これに類似した情報として、coda_iがある。coda_iはグレー色調情報がすべて２５５の値を有する場合とそうでない場合とに区分する。このことは、インターピクチャで動き補償予測による予測誤差がみな０の値を有し得るためである。

一方、一般に、グレー色調情報のための動き情報は映像色調情報の動き情報と別に伝送しない。そして、インターピクチャで、グレー色調情報は色調情報の動き情報を用いて動き補償予測を行う。このことは、インターピクチャでグレー色調情報と映像色調情報の動き特性が類似するためである。グレー色調情報のための動き情報を別に伝送して得る予測利得に比べて、グレー色調情報の動き情報を更に送って多くなる伝送ビット量が多くなる。従って、本発明において、motion_marker以前にグレー色調情報の動き情報の伝送はない。仮に、グレー色調情報のための動き情報を送る符号化方法では、第６０５段階(Ｓ６０５)の後にグレー色調情報の動き情報を伝送するとよい。

第６０６段階(Ｓ６０６)では、伝送したマクロブロックが当該ビデオパケットの最終マクロブロックであるかを判断する。仮に、最終マクロブロックである場合には、第６０７段階(Ｓ６０７)を遂行し、そうでない場合はつぎのマクロブロックの情報に対して第６０２段階(Ｓ６０１)を再開する。第６０６段階(Ｓ６０６)での判断方法はいろいろあり得る。例えば、ビデオパケットの長さをマクロブロックの一定数で指定することもでき（ＧＯＢ構造のＨ.２６３のように）、又は累積された発生ビット量が所定の臨界値を超えると、当該ビデオパケットが終わると決めることができる（ＭＰＥＧ−４ののビデオパケットの構造のように）。本発明では、一つのビデオパケットで最終マクロブロックであることを決定する方法を特定方法に制限しない。

第６０７段階(Ｓ６０７)では、ビデオパケット内のすべてのマクロブロックの動き情報と映像色調情報を区分するマーカー信号motion_markerを伝送する(Ｓ７０)。これは、図３の符号化方法が用いられる全動映像符号化システムで使用できるすべてのコード−すべての可変長コードと各種再同期のための信号、そして開始コード信号−と区分し得なければならない。例えば、ＭＰＥＧ−４では、“1 1111 0000 0000 0001”のビット列をmotion_markerとして使用する。

第６０８段階(Ｓ６０８)では、当該ビデオパケットに含まれるすべてのマクロブロックにおいて、復号化器で映像色調情報を復号化する過程で用いられる付加情報を伝送する。次いで、第６１１段階（Ｓ６１１）では、当該ビデオパケットに含まれるすべてのマクロブロックのＤＣ情報及びＡＣ情報、つまり映像色調情報を伝送する。
第６１０段階(Ｓ６１０)では、当該ビデオパケットのすべてのマクロブロックのグレー色調情報を複合化し得るようにする付加情報を伝送し、第６１１段階(Ｓ６１１)では、当該ビデオパケットのすべてのマクロブロックのグレー色調情報を伝送する。グレー色調情報復号化のための付加情報としてはcbpaなどがある。
前述した図３の各段階のうち、第６０５段階(Ｓ６０５)が本発明の最も重要な特徴を見せる。第６０５段階(Ｓ６０５)で、グレー形状情報の付加情報が伝送されるので、本発明を用いるグレー色調情報を含む動映像圧縮符号化を使用する場合、発生されるチャネルエラーの影響を最小化し、高画質のグレー色調情報を復号化し得る効果を収得し得る。仮に、第６０７段階(Ｓ６０７)で伝送したmotion_markerが正確に復号化され、つづいて伝送される映像色調情報からチャネルエラーが検出された場合、motion_marker以前に伝送された動き情報のみを用いてビデオパケットを再現する。この際に、第６０５段階(Ｓ６０５)で伝送されたグレー形状情報の付加情報、例えば、coda_pbを用いてグレー色調情報を復号化する。前述したように、coda_pbは３の場合を説明する。一番目、coda_pbが当該マクロブロックのすべてのグレー色調情報が２５５であることを示す場合には、動き補償予測したグレー色調情報を２５５で再現し得る。二番目、coda_pbが当該マクロブロックのすべてのグレー色調情報が０であることを示すと、復号化器では動き補償予測したグレー色調情報を用いて再現し得る。三番目、coda_pbが当該マクロブロックのすべてのグレー色調情報が符号化されたことを示すと、復号化器では、二番目と同様に、動き補償予測したグレー色調情報を用いて再現し得る。二番目と三番目の遂行過程は同一であるが、二番目の場合は正確に制限したものであり、三番目は伝送エラーにより無視された映像色調情報を反映し得なくて、劣化が生じた場合である。しかし、coda_pbのような情報をmotion_markerを介在してグレー色調情報から分離して伝送するので、伝送エラーの発生時、相当な画質劣化を克服することができる。

注意すべき点は、前述したように、coda_pbがnot_coded、つまりすべてのグレー色調情報値が２５５又は０であることを示すと、グレー色調情報を伝送する必要がないという点である。第６１０段階(Ｓ６１０)にあってもこれに類似した説明が可能である。すなわち、グレー色調情報の付加情報としては、前述したcbpaなどを伝送し、cbpaはマクロブロックを構成する各ブロックで伝送すべきＡＣ係数が存在するかを示す情報である。従って、cbpaを伝送すると、ＡＣ係数が存在しないブロックに対してはＡＣ情報を伝送する必要がない。復号化器でもcbpaを受信、復号化し、どのブロックが、ＡＣ係数があるかないかを知り得るため、ＡＣ係数があるブロックに対してだけＡＣ係数を受信、復号化することになる。

図２及び図３はそれぞれ本発明が提案するグレー形状情報を含む動映像のイントラピクチャとインターピクチャのビデオパケット符号化方法の流れ図を示すものである。一方、これら図は、図１と同様に、情報の伝送順序を示すものであるので、各々の復号化器も同一の流れ図を示す。ただし、図２及び図３での“伝送”を“受信”で代替すると、グレー形状情報を含む動映像のイントラピクチャとインターピクチャのビデオパケット復号化方法の流れ図となる。従って、本発明ではその詳細な説明は省略し、本発明によるグレー形状情報を含む飛越し走査動映像イントラピクチャとインターピクチャのビデオパケット復号化方法の流れ図をそれぞれ図４及び図５に示す。

しかし、図４及び図５の場合は、復号器の制御方法が少し相違する。前述したように、図２と図３の符号化方法においては、符号化器側ではビデオパケットの長さを知っているので、特定条件を満足すると、dc_marker又はmotion_markerを伝送する。しかし、復号化器では、その条件を知り得ないため、つぎのビット列を調査する過程が必要である。詳しく説明すると、図４の場合、第７０５段階(Ｓ７０５)および第７０６段階(Ｓ７０６)でグレー色調情報のＤＣ情報を復号化した後、第７０７段階(Ｓ７０７)で次のビット列がdc_markerであるかをまず確認し、dc_markerでないと、第７０１段階(Ｓ７０１)で次のマクロブロックの形状情報を受信し、ビット列がdc_markerであると、第７０８段階(Ｓ７０８)でdc_markerを受信する過程を遂行する。同様に、図５の場合、第８０５段階(Ｓ８０５)でグレー色調情報の付加情報を受信した後、第８０６段階(Ｓ８０６)で次のビット列がmotion_markerであるかをまず確認し、motion_markerでないと、第８０１段階(Ｓ８０１)で次のマクロブロックの形状情報を受信し、ビット列がmotion_markerであることが確認されると、第８０７段階(Ｓ８０７)のmotion_markerを受信する過程を遂行する。

以上説明したように、本発明は、グレー形状情報を含む動映像を符号化する場合、データ分割符号化方法を用いて符号化し、その符号化されたビデオパケットの情報を、本発明で提案した伝送順にしたがって復号器側に伝送し、復号器側では、本発明で提案した順に受信、復号化を遂行することにより、伝送エラーが多く発生するチャネルを通じて、グレー形状情報を含む動映像を伝送する場合にも、復号器側でチャネルエラーによる画質劣化を最小化するようにして高画質の動映像を再現し得る。

本発明によるグレー形状情報を含むデジタル動映像の符号化方法の流れ図である。 本発明によるイントラピクチャのビデオパケット符号化方法の流れ図である。 本発明によるインターピクチャのビデオパケット符号化方法の流れ図である。 本発明によるイントラピクチャのビデオパケット符号化方法の流れ図である。 本発明によるインターピクチャのビデオパケット復号化方法の流れ図である。 フレーム符号化タイプ(Ｉフレーム、Ｐフレーム、Ｂフレーム)と各タイプのフレームの予測方向の一例を示す図である。 現在ISO/IEC JTC1/SC29/WG11で確定したＭＰＥＧ−４動映像符号化器の構成図である。 ＴＭＢ(transparent macroblock)、ＯＭＢ(opaque macroblock)、及びＢＭＢ(boundary macroblock)を説明する例示図である。 物体単位符号化を説明するための実験映像の例示図である。 図９の映像の形状情報を二進形状で示す例示図である。 図９の映像の形状情報を輪郭線で示す例示図である。 （ａ）は任意の映像の背景信号の例示図、（ｂ）は物体信号の例を示す図である。 （ａ）は二進形状情報の例示図、（ｂ）は図１２の二つの信号を合成した結果を示す図である。 （ａ）はグレー形状情報の例示図、（ｂ）は図１２の二つの信号を合成した結果を示す図である。 （ａ）はグレー形状情報を構成する二進形状情報を示す図、（ｂ）はグレー色調情報を示す図である。 再同期信号(resynchronization signal)を使用するエラー耐性ビット列(error resilient bitstream)の構造図である。 データ分割方法(data partitioning)を適用したエラー耐性ビット列の構造図である。 従来の動映像のイントラピクチャのビデオパケット符号化方法の流れ図である。 従来の動映像のインターピクチャのビデオパケット符号化方法の流れ図である。

符号の説明

１２ 符号化部
１３ 動き推定部
１４ 動き補償部
１５ 以前再現ＶＯＰメモリ
１６ 減算器
１７ 加算器
１８ 映像色調情報符号化部
１９ 多重化部
２０ バッファ

Claims (11)

1. ピクチャ単位の動映像を符号化することにおいて、マクロブロックの形状情報を復号化器側に伝送する第５０１段階(Ｓ５０１)と、符号化しようとするマクロブロックが透明マクロブロック(transparent macroblock)であるかを判断して、当該マクロブロックが透明マクロブロックであると第５０７段階(Ｓ５０７)に進行し、透明マクロブロックでないと第５０３段階(Ｓ５０３)に進行する第５０２段階(Ｓ５０２)と、当該マクロブロックの映像色調情報のＤＣ情報復号化のための付加情報を前記復号化器側に伝送する第５０３段階(Ｓ５０３)と、当該マクロブロックの映像色調情報のＤＣ情報を前記復号化器側に伝送する第５０４段階(Ｓ５０４)と、当該マクロブロックのグレー色調情報のＤＣ情報復号化のための付加情報を前記復号化器側に伝送する第５０５段階(Ｓ５０５)と、当該マクロブロックのグレー色調情報のＤＣ情報を前記復号化器側に伝送する第５０６段階(Ｓ５０６)と、当該マクロブロックが当該ビデオパケットの最終マクロブロックであるかを判断して、最終マクロブロックでない場合、第５０１段階(Ｓ５０１)に進行する第５０７段階(Ｓ５０７)と、第５０７段階(Ｓ５０７)で、最終マクロブロックである場合、当該ビデオパケットのマクロブロックのＤＣ情報とＡＣ情報を区分するマーカー信号(dc_marker)を前記復号化器側に伝送する第５０８段階(Ｓ５０８)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報のＡＣ情報復号化のための付加情報を前記復号化器側に伝送する第５０９段階(Ｓ５０９)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報のＡＣ情報を前記復号化器側に伝送する第５１０段階(Ｓ５１０)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報のＡＣ情報復号化のための付加情報を前記復号化器側に伝送する第５１１段階(Ｓ５１１)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報のＡＣ情報を前記復号化器側に伝送する第５１２段階(Ｓ５１２)とを含んで、グレー形状情報を含むイントラピクチャビデオパケットを前記復号化器側に伝送することを特徴とするグレー形状情報を含むデジタル動映像の符号化方法。
2. 前記第５０３段階(Ｓ５０３)で、ＤＣ情報復号化のための付加情報がマクロブロックのタイプ、量子化間隔の大きさに関する情報を含むことを特徴とする請求項１記載のグレー形状情報を含むデジタル動映像の符号化方法。
3. 前記第５０５段階(Ｓ５０５)で、グレー色調情報のＤＣ情報復号化のための付加情報が、グレー色調情報がみな２５５の値を有するか否かを知らせる情報を含むことを特徴とする請求項１記載のグレー形状情報を含むデジタル動映像の符号化方法。
4. 前記第５０７段階(Ｓ５０７)が、累積されたマクロブロックの数が所定数に達するか、または累積された発生ビット量が所定の臨界値を超えると、当該ビデオパケットに含まれるビット列の最後に達したと判断する過程を含むことを特徴とする請求項１記載のグレー形状情報を含むデジタル動映像の符号化方法。
5. 前記第５０９段階(Ｓ５０９)で、ＡＣ情報復号化のための付加情報は、マクロブロック内の各ブロックで前記復号化器側に伝送すべきＡＣ係数があるかを示す信号と、ＡＣ情報を予測符号化(predictive coding)したかを示す信号とを含むことを特徴とする請求項１記載のグレー形状情報を含むデジタル動映像の符号化方法。
6. ピクチャ単位の動映像を符号化することにおいて、マクロブロックの形状情報を符号化して復号化器側に伝送する第６０１段階(Ｓ６０１)と、当該マクロブロックが透明マクロブロックであるかを判断して、透明マクロブロックである場合、第６０６段階(Ｓ６０６)に進行し、透明マクロブロックでない場合、第６０３段階(Ｓ６０３)に進行する第６０２段階(Ｓ６０２)と、当該マクロブロックの映像色調情報の動き情報を復号化するために必要な付加情報を前記復号化器側に伝送する第６０３段階(Ｓ６０３)と、当該マクロブロックの映像色調情報のグレー形状情報の動き情報を前記復号化器側に伝送する第６０４段階(Ｓ６０４)と、当該マクロブロックのグレー形状情報の復号化のための付加情報を前記復号化器側に伝送する第６０５段階(Ｓ６０５)と、当該マクロブロックが当該ビデオパケットの最終マクロブロックであるかを判断して、最終マクロブロックでない場合、第６０１段階(Ｓ６０１)に進行する第６０６段階(Ｓ６０６)と、第６０６段階(Ｓ６０６)で、最終マクロブロックである場合、当該ビデオパケットのマクロブロックの動き情報と映像色調情報を区分するマーカー信号(motion_marker)を前記復号化器側に伝送する第６０７段階(Ｓ６０７)と、当該ビデオパケットのすべてのマクロブロックで、映像色調情報復号化過程に必要な付加情報を前記復号化器側に伝送する第６０８段階(Ｓ６０８)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報を前記復号化器側に伝送する第６０９段階(Ｓ６０９)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報復号化のための付加情報を前記復号化器側に伝送する第６１０段階(Ｓ６１０)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報を前記復号化器側に伝送する第６１１段階(Ｓ６１１)とを含んで、グレー形状情報を含むインターピクチャのビデオパケットを前記復号化器側に伝送することを特徴とするグレー形状情報を含むデジタル動映像の符号化方法。
7. 第６０３段階(Ｓ６０３)で、動き情報復号化のための付加情報は、当該マクロブロックで前記復号化器側に伝送すべき情報があるかを示す情報(not_coded)、マクロブロックがインターマクロブロックであるか又はイントラマクロブロックであるかを示すマクロブロックタイプ情報、量子化間隔の大きさ情報を含むことを特徴とする請求項６記載のグレー形状情報を含むデジタル動映像の符号化方法。
8. 前記第６０５段階(Ｓ６０５)で、グレー形状情報の付加情報は、色調情報がみな２５５の値を有する場合とそうでない場合、及び色調情報がみな０の値を有する場合とそうでない場合を区分する情報を含むことを特徴とする請求項６記載のグレー形状情報を含むデジタル動映像の符号化方法。
9. 前記第６０６段階(Ｓ６０６)は、累積されたマクロブロックの数が所定数に達するか、または累積された発生ビット量が所定の臨界値を超えると、当該ビデオパケットに含まれるビット列の最後に達したと判断する過程を含むことを特徴とする請求項６記載のグレー形状情報を含むデジタル動映像の符号化方法。
10. グレー形状情報を含むイントラピクチャのビデオパケットを符号化器側から受信し、ピクチャ単位の動映像を復号化することにおいて、マクロブロックの形状情報を復号化して符号化器側から受信する第７０１段階(Ｓ７０１)と、当該マクロブロックが透明マクロブロックであるかを判断して、透明マクロブロックである場合、第７０７段階(Ｓ７０７)に進行し、透明マクロブロックでない場合、第７０３段階(Ｓ７０３)に進行する第７０２段階(Ｓ７０２)と、当該マクロブロックの映像色調情報のＤＣ情報を復号化するために必要な付加情報を前記符号化器側から受信する第７０３段階(Ｓ７０３)と、当該マクロブロックの映像色調情報のＤＣ情報を前記符号化器側から受信する第７０４段階(Ｓ７０４)と、当該マクロブロックのグレー色調情報のＤＣ情報復号化のための付加情報を前記符号化器側から受信する第７０５段階(Ｓ７０５)と、当該マクロブロックのグレー色調情報のＤＣ情報を前記符号化器側から受信する第７０６段階(Ｓ７０６)と、次のビット列が当該ビデオパケットのマクロブロックのＤＣ情報とＡＣ情報を区分するマーカー信号(dc_marker)であるかを判断して、当該マーカー信号(dc_marker)でないと判断した場合、第７０１段階(Ｓ７０１)に進行する第７０７段階(Ｓ７０７)と、第７０７段階(Ｓ７０７)で、当該ビデオパケットのマクロブロックのＤＣ情報とＡＣ情報を区分するマーカー信号(dc_marker)であると判断した場合、当該マーカ信号(dc_marker)を前記符号化器側から受信する第７０８段階(Ｓ７０８)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報のＡＣ情報復号化のために必要な付加情報を前記符号化器側から受信する第７０９段階(Ｓ７０９)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報のＡＣ情報を前記符号化器側から受信する第７１０段階(Ｓ７１０)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報のＡＣ情報復号化のための付加情報を前記符号化器側から受信する第７１１段階(Ｓ７１１)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報のＡＣ情報を前記符号化器側から受信する第７１２段階(Ｓ７１２)とを含むことを特徴とするグレー形状情報を含むデジタル動映像の復号化方法。
11. グレー形状情報を含むインターピクチャのビデオパケットを符号化器側から受信し、ピクチャ単位の動映像を復号化することにおいて、マクロブロックの形状情報を前記符号化器側から受信する第８０１段階(Ｓ８０１)と、復号化しようとするマクロブロックが透明マクロブロック(transparent macroblock)であるかを判断して、当該マクロブロックが透明マクロブロックであると第８０６段階(Ｓ８０６)に進行し、透明マクロブロックでないと第８０３段階(Ｓ８０３)に進行する第８０２段階(Ｓ８０２)と、当該マクロブロックの映像色調情報の動き情報復号化のための付加情報を前記符号化器側から受信する第８０３段階(Ｓ８０３)と、当該マクロブロックの映像色調情報の動き情報を前記符号化器側から受信する第８０４段階(Ｓ８０４)と、当該マクロブロックのグレー形状情報の復号化のための付加情報を前記符号化器側から受信する第８０５段階(Ｓ８０５)と、次のビット列が当該ビデオパケットのマクロブロックの動き情報と映像色調情報を区分するマーカー信号(motion_marker)であるかを判断して、当該マーカ信号(motion_marker)でないと判断した場合、第８０１段階(Ｓ８０１)に進行する第８０６段階(Ｓ８０６)と、第８０６段階(Ｓ８０６)で、当該ビデオパケットのマクロブロックの動き情報と映像色調情報を区分するマーカー信号(motion_marker)であると判断した場合、当該マーカー信号(motion_marker)を前記符号化器側から受信する第８０７段階(Ｓ８０７)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報の復号化のための付加情報を前記符号化器側から受信する第８０８段階(Ｓ８０８)と、当該ビデオパケットのすべてのマクロブロックの映像色調情報を前記符号化器側から受信する第８０９段階(Ｓ８０９)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報の復号化のための付加情報を前記符号化器側から受信する第８１０段階(Ｓ８１０)と、当該ビデオパケットのすべてのマクロブロックのグレー色調情報を前記符号化器側から受信する第８１１段階(Ｓ８１１)とを含むことを特徴とするグレー形状情報を含むデジタル動映像の復号化方法。

Images