JP3929623B2 - 映像を走査する方式に従って適応的にボーダーリングする形状情報符号化/復号化装置および方法 - Google Patents
映像を走査する方式に従って適応的にボーダーリングする形状情報符号化/復号化装置および方法 Download PDFInfo
- Publication number
- JP3929623B2 JP3929623B2 JP29725998A JP29725998A JP3929623B2 JP 3929623 B2 JP3929623 B2 JP 3929623B2 JP 29725998 A JP29725998 A JP 29725998A JP 29725998 A JP29725998 A JP 29725998A JP 3929623 B2 JP3929623 B2 JP 3929623B2
- Authority
- JP
- Japan
- Prior art keywords
- bab
- border
- field
- shape information
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、映像情報符号化/復号化に関し、特に、映像内の形状をCAE符号化するためにコンテキストを形成する時、その形状情報を構成する形状情報ブロックの周辺に適応的にボーダーリングする形状情報符号化/復号化装置および方法に関するものである。
【0002】
【従来の技術】
映像情報の処理において符号化効率を高めたり、映像の品質を高めるためにフレーム内の或る特定物体のみを処理しようとする場合が生ずる。この時、特定物体と背景を分離するために特定物体の形状情報が必要である。
【0003】
特定物体の形状情報は、物体内部の画素は特定値(例えば、“1”)を有し、物体外の画素は“0”を有するようにして形状情報を構成する。このように構成された特定物体の形状情報は所定の大きさのブロック(例えば、16×16,8×8等)に分割され、そのブロック内の形状情報を符号化するために符号化しようとする画素の周辺画素等より一定なる演算を遂行するようになる。
【0004】
図1は一般的な物体単位動画像符号化器(object−based video coder)の構成を示すブロック図である。
形状情報符号化部(Shape Coder)とVOP(Video object Planes)という概念が導入されている。VOPは使用者が接近および編集することができる任意形状の内容物の時間軸上の一つの始点の客体を意味し、内容物基盤の機能性(content−based functionality)を支援するためにはVOP別に符号化されなければならない。
【0005】
先ず、各映像(picture)の信号は形状情報と色相情報(texture information)に分けられ、各々形状情報符号化部(shape coding)11と動き情報推定部(motion eSTimation)12に入力される。
形状情報符号化部11においては該当フレームの形状情報を損失符号化(lossy coding)又は無損失符号化(losseless coding)するが、復元形状情報(reconSTructed shape information)は動き補償部(motion compensation)13と色相情報符号化部17に入力され、各々の動作を物体単位にて遂行するようになる。一方、形状情報符号化部11の他の出力である形状情報ビット列(shape information bitSTream)は多重化部(multiplexer)18に入力される。
【0006】
動き推定部12は、現在フレームの入力色相情報と以前復元フレーム貯蔵部(previous reconSTructed frame memory)14に貯蔵されている以前フレーム色相情報を利用して、現在フレーム色相情報の動き情報を推定する。推定された動き情報は動き補償部13に入力され、一方、符号化され動き情報ビット列は多重化部18に入力される。動き補償部13は動き推定部12において求めた動き情報と以前復元フレーム貯蔵部14の以前復元フレームを利用して動き補償予測を遂行する。
【0007】
テクスチャ符号化部17は予測誤差を符号化する。予測誤差は減算器(subtractor)15で求められた入力色相情報と動き補償部13で求められた動き補償予測色相情報間の差である。このように生成された色相情報ビット列(texture bitSTream)は多重化部18に入力され、復元された色相情報の誤差信号は加算器16に入力される。以前復元フレーム貯蔵部14は加算器16から入力される以前復元フレーム信号を貯蔵し、その信号は動き補償予測信号と復元された誤差信号を加えた信号である。
【0008】
ディジタルビデオは、フレームの構成方法に従って順次走査ビデオとインターレース(飛び越し)走査ビデオに分けることができる。順次走査ビデオにおいては、各々のフレーム構成時に1列ずつ順次構成する。反面、インターレース走査ビデオにおいては、二つのフィールドを1列ずつ順次構成した後、二つのフィールドを1列ずつ挿入する方式で各々のフレームを構成する。よって、各フィールドの高さ(走査線の個数)はフレーム高さの半分である。
【0009】
これを説明した例が図2に図示される。図2(a)は順次走査フレームを、図2(b)は2個のフィールド−上位フィールド(top field)と下位フィールド(bottom field)とのインターレース走査フレームを示す。上位フィールドと下位フィールドは各々1列ずつ順次構成され(上位フィールドの場合は実線矢印、下位フィールドの場合は点線矢印が各々の列を示す)、構成された各フィールドの列等を合間合間に挿入する方式により(実線矢印と点線矢印が混ざる)インターレース走査フレームを構成する。
【0010】
上位フィールドと下位フィールド構成時に、図2(b)でのように、二つのフィールド間には時間差が存在する。図2(b)の場合には上位フィールドが時間的に先立つ。場合によって下位フィールドが時間的に先立つこともある。インターレース走査フレーム内の走査線は上位フィールドを構成する走査線と下位フィールドを構成する走査線が各々フィールド別に走査され、上位フィールドと下位フィールド間の時間差によって、インターレース走査フレーム内の走査線は、隣接した走査線間の信号特性が異なることがある。
【0011】
特に、動きが多い映像である場合にこのような特性が目立つ。よって、順次走査ビデオ特性に従って開発された映像符号化装置、例えば動き推定(motion eSTimation)および動き補償(motion compensation)、離散余弦変換(disCRete cosine transform、DCT)等をインターレース走査ビデオ符号化に使用すれば符号化効率か減少するようになる。
【0012】
このような問題点を避けるためにフィールド単位動き推定および動き補償、フレーム−フィールド適応的離散余弦変換(adaptive frame/field DCT)等が研究されて来た。そして、このような技術は世界標準化機構であるISO/IEC JTC1/SC29/WG11においてディジタルTV等の応用を目的として制定したMPEG−2動画像符号化標準案等に含まれており、実際応用製品にも多く利用される技術である。
【0013】
図3(a)および(b)は二つのフィールド間における物体の動きがないか、又は動きが少ないインターレース走査形状情報を示す。この場合には図3(a)に示すフレームで構成された形状情報において走査線間の類似性が各々のフィールドの場合より高く、このような場合にはフレーム単位の形状情報が有利である。
【0014】
図4(a)および(b)は二つのフィールド間における物体の動きが多い形状情報を示す。フィールド同士に配置した図4(b)において知り得るように、同一フィールドにおいて走査線間における形状情報の変化量は小さく、走査線間の類似性が大きい。しかし、図4(a)に示すフレームで構成された後の形状情報は、走査線間における形状情報は変化量が大きく、走査線間の類似性が小さい。よって、フレームで構成された形状情報を符号化すれば符号化効率が劣化するのを知り得る。
【0015】
従って、インターレース走査形状情報の場合、定められた1種の方法を使用するよりは、フィールドタイプ符号化とフレームタイプ符号化の2種の符号化方式中で適応的に選択して符号化することが最善であることを知り得る。
【0016】
イントラモードでCAE符号化(Context−based Arithmetic Encoding)するためのコンテキストが図5(a)に図示される。符号化すべき画素51に隣接する画素C0−C9より所定の演算を通じて画素51の値を符号化する。インターモードでCAE符号化するためのコンテキストが図5(b)に図示される。現在符号化すべき画素62に隣接する画素C0−C3と以前フレームにおいて現在画素に対応する画素C6およびその周辺画素C4,C5,C7,C8より所定の演算過程を通じて画素52の値を符号化する。
【0017】
特定物体の形状情報を符号化する場合に所定の大きさのBAB(Binary Alpha Block)で、例えば16×16に分割して符号化する。このようにBABで分割して符号化する時、BABの外郭画素のコンテキストを形成するためにボーダーリングする。図5と図6に図示されたように、符号化すべき画素51がBAB61の左側境界にある場合、図5(a)の画素(C0,C1C5,C6,C9)を知り得ないために、BAB61の左側と左上側に左側ボーダ63と左上側ボーダ64をボーダーリングする。
【0018】
同様に、符号化すべき画素51がBAB61の上側境界にある場合、図5(a)の画素C2−C9を知り得ないのでBAB61の上側と右上側に上側ボーダ62と右上側ボーダ65をボーダーリングする。ここで、ボーダーリングの意味は隣り合うBABにおいて境界値を取る過程である。
【0019】
現在BABをボーダーリングする過程は、図6で知り得るように、BABの上側ボーダ、左側ボーダ、左上側ボーダ、右上側ボーダのみをボーダーリングし、下側ボーダ(bottom border)と右側ボーダはボーダーリングしない。動き補償されたBAB(MC BAB;Motion Compensated BAB)71をボーダーリングする時は図7のように左、右、上、下方向へ1画素ずつボーダーリングする。
【0020】
図5(a)の符号化すべき画素51がBABの境界に該当してイントラモードのC7,C3,C2を知ることができない時、イントラモードにおいてはC7=C8,C3=C4,C2=C3として定義し演算する。図5(a)の符号化すべき画素51がBABの境界に該当してインターモードのC1を知ることができない時、インターモードにおいてはC1=C2として定義し演算する。インターモードにおいて図5(b)の下に図示された画素C4−C8は以前フレームの画素であるのでその値を知っている。
【0021】
【発明が解決しようとする課題】
図8(a)および(b)にボーダーリングされたフレームBABとそのフィールドBABが図示される。ボーダーリングされた現在フレームBABをフィールドBABに区分した時、図8(b)のように図示される。図8(b)はフレームBAB状態において形成されたボーダーリングをそのままにして、フィールドBABに区分してCAE(Context−based Arithmetic Encoding)符号化する場合である。
【0022】
図8(b)に図示されたように、上位フィールドBAB81の画素に下位フィールドに該当するフレームボーダーリング画素83がボーダーリングされる。このようにすれば、フィールドBAB81の値とボーダーリング画素83の値が不一致するようになる。このようなボーダーリングは、コンテキスト構成時に相関性が少なくなって符号化ビットが多く発生する。図8(a)および(b)のようにフレームBABのボーダーリングをそのままにしてフィールド単位のCAE符号化するようになれば、周辺境界値とボーダーリングの画素値が不一致するようになり、符号化ビットが多く発生するようになり、符号化効率が劣化する。
【0023】
本発明は前記のような問題点を解消するためのもので、本発明の目的は、二進形状ブロックをフレーム/フィールドモードに従って適応的にボーダーリングする形状情報符号化/復号化装置およびその方法を提供するものである。
本発明の他の目的は、インターレース走査映像を形状情報ブロックで符号化する場合、上位フィールド画素は上位フィールド画素でボーダーリングし、下位フィールド画素は下位フィールド画素で適応的にボーダーリングする形状情報符号化/復号化装置およびその方法を提供するものである。
【0024】
【課題を解決するための手段】
この発明に係る映像を走査する方式に従って適応的にボーダーリングする形状情報符号化方法は、映像内客体に対する二進形状情報を所定の大きさの等方形ブロック(BAB)に分割して、コンテキスト基盤算術符号化( Context-based Arithmetic Encoding )する二進形状情報符号化方法において、前記二進形状情報ブロック(BAB)を貯蔵するBAB貯蔵段階と、前記BABを構成する上位フィールドと下位フィールドに含まれた形状情報の類似性を考慮して、フレームモード符号化をすべきか、フィールドモード符号化をすべきかを決定する段階と、フレームモード符号化が決定されれば前記BABに対しフレームBAB単位で前記BABの境界に隣接したBABの画素を利用してコンテキスト基盤算術符号化(CAE)に必要な所定画素幅だけ前記BABの境界を形成した後、境界が形成された前記BABに対しコンテキスト基盤算術符号化(CAE)を実行し、フィールドモード符号化が決定されれば前記BABに対しフィールドBAB単位で前記BABの境界に隣接したBABの画素を利用してコンテキスト基盤算術符号化(CAE)に必要な所定画素幅だけ前記BABの境界を形成した後、境界が形成された前記BABに対しコンテキスト基盤算術符号化(CAE)を実行する段階とを具備することを特徴とするものである。
また、前記フレームモード符号化が決定され、フィールドBAB単位で前記BABの境界を形成する過程において、前記BABの上位フィールドBABの境界を形成する時は隣接したBABの上位フィールドに該当する画素で境界を形成し、下位フィールドBABの境界を形成する時は隣接したBABの下位フィールドに該当する画素で境界を形成することを特徴とするものである。
また、前記BABの境界を形成する過程は、左側境界は現在BABの左側に隣接する左側BABから、左上側境界は現在BABの左上側に隣接する左上側BABから、上側境界は現在BABの上側に隣接する上側BABから、右上側境界は現在BABの右上側に隣接する右上側BABから、左下側境界は現在BABの左下側に隣接する左下側BABからそれぞれ所定画素幅だけ読み出して境界を形成し、右側境界は現在BABからそのBABの右側画素を所定画素幅だけその右側に複写して境界を形成することを特徴とするものである。
また、この発明に係る映像を走査する方式に従って適応的にボーダーリングする形状情報符号化方法は、映像内客体に対する二進形状情報を所定の大きさの等方形ブロック(BAB)に分割して、コンテキスト基盤算術符号化( Context-based Arithmetic Encoding )する二進形状情報符号化方法において、前記BABそれ自体のみで符号化する場合には、前記二進形状情報の入力を受けBABを貯蔵する段階と、前記BABを構成する上位フィールドと下位フィールドに含まれた形状情報の類似性を考慮して、フレームモード符号化をすべきか、フィールドモード符号化をすべきかを決定する段階と、前記貯蔵された現在BABに隣接するBAB中からボーダBABを定める段階と、フレームモード符号化が決定されれば前記定められたボーダでフレームモードボーダーリングし符号化する段階と、フィールドモード符号化が決定されれば前記定められたボーダ中から上位フィールドを構成する画素でボーダーリングされた上位フィールドBABを形成し、下位フィールドを構成する画素でボーダーリングされた下位フィールドBABを形成する段階とを具備する方法で適応的にボーダーリングして符号化し、前記BABを動き補償して符号化する場合には、現在MC BABを生成して貯蔵する段階と、前記BABを構成する上位フィールドと下位フィールドに含まれた形状情報の類似性を考慮して、フレームモード符号化をすべきか、フィールドモード符号化をすべきかを決定する段階と、前記貯蔵された現在MC BABに隣接するMC BAB中からボーダBABを定める段階と、フレームモード符号化が決定されれば前記定められたボーダにてフレームモードボーダーリングし符号化する段階と、フィールドモード符号化が決定されれば前記定められたボーダより上位フィールドボーダBABおよび下位フィールドボーダBABを定めて、前記現在MC BABと前記上位および下位ボーダBABよりボーダーリングされた上位フィールドおよび下位フィールドMC BABを形成して符号化する段階とで構成されたことを特徴とするもので ある。
また、前記BABそれ自体のみで符号化する場合には、前記現在BABの上側にある上側BABからボーダーリング幅だけ読み込んで上側ボーダを、左側BABの最右側の画素中から左側ボーダを、左上側BABの最右下側画素中から左上側ボーダを、右上側BABの最左下側画素中から右上側ボーダを形成し、前記BABを動き補償して符号化する場合には、前記貯蔵された現在MC BABの上側にある上側MC BABから上側ボーダを、左側MC BABの最右側の画素中から左側ボーダを、左上側MC BABの最右側下の画素中から左上側ボーダを、右上側MC BABの最左側下の画素中から右上側ボーダを、右側MC BABの最左側の画素中から右側ボーダを、下側MC BABの上部の画素中から下側ボーダを、左側MC BABの右上部の画素中から左下側ボーダを、右下側MC BABの左上部の画素中から右下側ボーダを形成することを特徴とするものである。
また、この発明に係る映像を走査する方式に従って適応的にボーダーリングする形状情報符号化装置は、映像内客体に対する二進形状情報を所定の大きさの等方形ブロックに分割して、コンテキスト基盤算術符号化( Context-based Arithmetic Encoding )する二進形状情報符号化装置において、前記二進形状情報より現在MC BABを生成して貯蔵する現在MC BAB貯蔵手段と、前記MC BABを構成する上位フィールドと下位フィールドに含まれた形状情報の類似性を考慮して、フレームモード符号化をすべきか、フィールドモード符号化をすべきかを決定する符号化モード決定手段と、前記現在MC BABに隣接するMC BABを貯蔵する隣接MC BAB貯蔵手段と、前記隣接MC BAB貯蔵手段に貯蔵された隣接MC BABからボーダーリング幅だけ読み込んで貯蔵する多数のボーダ発生手段と、フレームモードで符号化することが決定されれば現在MC BAB貯蔵手段と前記多数のボーダ発生手段から現在のMC BABおよびボーダの入力を受け、現在のMC BABをボーダーリングするMC BABフレームモードボーダーリングおよび符号化手段と、フィールドモードで符号化することが決定されれば前記現在MC BAB貯蔵手段と前記多数のボーダ発生手段から現在のMC BABおよびボーダの入力を受け、現在のMC BABをフィールドモードでボーダーリングするMC BABフィールドモードボーダーリングおよび符号化手段とで構成されたことを特徴とするものである。
また、前記MC BABフィールドモードボーダーリングおよび符号化手段は、前記現在MC BAB貯蔵手段と前記多数のボーダ発生手段から現在のMC BABおよびボーダの入力を受け、上位フィールドMC BABは、上位フィールド画素でボーダーリングし、下位フィールドMC BABは、下位フィールド画素でボーダーリングすることを特徴とするものである。
また、前記多数のボーダ発生手段は、前記隣接MC BAB貯蔵手段において現在MC BABの上側に隣接する上側MC BABからボーダーリング幅だけ読み込んで貯蔵する上側ボーダ発生手段と、前記隣接MC BAB貯蔵手段において現在MC BABの左側に隣接する左側MC BABから最右側の画素中からボーダーリング幅だけ読み込んで貯蔵する左側ボーダ発生手段と、前記隣接MC BAB貯蔵手段において現在MC BABの左上側に隣接する左上側MC BABの最右側下の画素中からボーダーリング幅だけ読み込んで貯蔵する左上側ボーダ発生手段と、前記隣接MC BAB貯蔵手段において現在MC BABの右上側に隣接する右上側MC BABの最左側下の画素中からボーダーリング幅だけ読み込んで貯蔵する右上側ボーダ発生手段と、前記隣接MC BAB貯蔵手段において現在MC BABの右側に隣接するMC BABの最左側の画素中からボーダーリング幅だけ読み込んで貯蔵する右側ボーダ発生手段と、前記隣接MC BAB貯蔵手段において現在MC BABの下側に隣接するMC BABの上部の画素中からボーダーリング幅だけ読み込んで貯蔵する下側ボーダ発生手段と、前記隣接MC BAB貯蔵手段において現在MC BABの左側に隣接するMC BABの右上部の画素中からボーダーリング幅だけ読み込んで貯蔵する左下側ボーダ発生手段と、前記隣接MC BAB貯蔵手段において現在MC BABの右下側に隣接するMC BABの左上部の画素中からボー ダーリング幅だけ読み込んで貯蔵する右下側ボーダ発生手段とであることを特徴とするものである。
また、前記上側および下側ボーダ発生手段はi×N、左側および右側ボーダ発生手段はM×i、左上側、右上側、左下側および右下側ボーダ発生手段はi×iのボーダーリング幅を読み込んで貯蔵することを特徴とするものである。
また、この発明に係る映像を走査する方式に従って適応的にボーダーリングする形状情報復号化装置は、映像内客体に対する二進形状情報が所定の大きさの等方形ブロックに分割され、コンテキスト基盤算術符号化( Context-based Arithmetic Encoding )されている二進形状情報ブロック(BAB)を復号する二進形状情報復号化装置において、前記二進形状情報ブロックがフレームモード符号化されたものか、フィールドモード符号化されたものかを判断して、符号化された二進形状情報をフレーム単位で復号化すべきか、フィールド単位で復号化すべきかを決定する復号化モード決定手段と、符号化された二進形状情報ブロックを前記復号化モード決定手段から出力される復号化モード信号に従ってスイッチングするスイッチング手段と、前記スイッチング手段を通じて入力される前記符号化された二進形状情報ブロックをフレーム単位でボーダーリングして復号化するフレームモードボーダーリングおよび復号化手段と、前記スイッチング手段を通じて入力される前記符号化された二進形状情報ブロックをフィールド単位で復号化するフィールドモードボーダーリングおよび復号化手段とを設けることを特徴とするものである。
また、この発明に係る映像を走査する方式に従って適応的にボーダーリングする形状情報復号化方法は、映像内客体に対する二進形状情報が所定の大きさの等方形ブロックに分割され、コンテキスト基盤算術符号化( Context-based Arithmetic Encoding )されている二進形状情報ブロック(BAB)を復号する二進形状情報復号化方法において、前記二進形状情報ブロックがフレームモード符号化されたものか、フィールドモード符号化されたものかを判断して、符号化された二進形状情報をフレームモードで復号化すべきか、フィールドモードで復号化すべきかを決定する段階と、前記段階において決定されたモードに従って符号化された二進形状情報ブロックをフレームモードでボーダーリングしたり、フィールドモードでボーダーリングして復号化する段階を設けたことを特徴とするものである。
さらに、前記BABの上位フィールドBABをボーダーリングする時は上位フィールドに該当する画素でボーダーリングし、下位フィールドBABをボーダーリングする時は下位フィールドに該当する画素でボーダーリングすることを特徴とするものである。
【0044】
【発明の実施の形態】
本発明による技術的思想は、形状情報ブロックの角画素を符号化するためにコンテキスト形成に必要な幅でボーダーリングをする。インターレース走査方式で符号化する場合、上位フィールドブロックは上位フィールド画素でボーダーリングし、下位フィールドブロックは下位フィールド画素でボーダーリングする。
【0045】
以下、本発明による技術的思想に従って実施の形態を添付された図面に基づいて詳細に説明する。
図9に本発明による適応的ボーダーリング手段を設けたインターレース走査符号化装置の1実施の形態の構成を示すブロック図が図示される。
BAB分割手段91は、入力される二進形状情報を所定の大きさのBAB単位(例えば、16×16)に分割する。符号化モード決定手段92は、前記BAB分割手段91から入力されるBABに対し類似性(correlation)を検査してフレーム単位で符号化するか、又はフィールド単位で符号化するかに対する符号化モードを決定する。
【0046】
スイッチング手段93は、前記BAB分割手段91から入力されるBABを前記符号化モード決定手段92から出力される符号化モード信号に従ってスイッチングする。即ち、符号化モード信号がフレームモードであれば、BABがフレームタイプ符号化手段96に入力されるようにスイッチングされ、符号化モード信号がフィールドモードであれば、BABがフィールドタイプ符号化手段97に入力されるようにスイッチングされる。
【0047】
動き推定手段94は、前記BAB分割手段91から入力されるBABと以前形状情報フレームから動きを推定しその動き情報を出力する。動き補償手段95は、動き推定手段94から入力される動き情報と以前形状情報フレームを利用して現在BABを動き補償して出力する。フレームタイプ符号化手段96は、前記BAB分割手段91から入力されるBABと前記動き補償手段95から入力される動き補償されたBABの入力を受けフレーム単位でボーダーリングし符号化して出力する。
【0048】
フィールドタイプ符号化手段97は、前記BAB分割手段91から入力されるBABと前記動き補償手段95から入力される動き補償されたBABの入力を受けフィールド単位でボーダーリングし符号化して出力する。形状情報復元手段100は、前記フレームタイプ符号化手段96と前記フィールドタイプ符号化手段97から入力される符号化データの入力を受け形状情報を復元する(reconSTruct)。
【0049】
以前形状情報貯蔵手段99は、前記形状情報復元手段100から入力される復元された形状情報の入力を受け以前形状情報を形成して貯蔵する。オーバヘッド符号化手段98は、前記動き推定手段94から入力される動き情報と前記フレームタイプ符号化手段96およびフィールドタイプ符号化手段97から入力される符号化データ(例えば、Conversion Ratio,Scan Type,BAB−Type等)の入力を受けオーバヘッド情報を形成して出力する。
【0050】
マルチプレクサ手段101は、前記フレームタイプ符号化手段96と前記フィールドタイプ符号化手段97から入力される符号化データ、符号化モード決定手段92から入力される符号化モード信号および前記オーバヘッド符号化手段98から入力されるオーバヘッド情報を多重化して伝送する。
【0051】
本装置に二進形状情報が入力されれば、その二進形状情報は、BAB分割手段91において所定の大きさのブロック(例えば、16×16,8×8等)に分割され、符号化モード決定手段92と動き推定手段94に出力される。符号化モード決定手段92は、BABを構成する上位フィールドと下位フィールドに含まれた形状情報の類似性を考慮してフレームモードに符号化すべきか、又はフィールドモードに符号化すべきかを決定する。符号化モードが決定されれば、符号化モード決定手段92は、その決定されたモードを表示する符号化モード信号(coding mode signal)をスイッチング手段93に出力する。
【0052】
スイッチング手段93は、符号化モード信号に従ってBAB分割手段91から入力されるBABをフレームタイプ符号化手段96又はフィールドタイプ符号化手段97にスイッチングする。フレームタイプ符号化手段96は、BABの入力を受けフレームBAB単位でボーダーリングしCAE符号化する。フィールドタイプ符号化手段97は、BABの入力を受けフィールドBAB単位でボーダーリングしCAE符号化する。
【0053】
図10に本発明による適応的ボーダーリング手段を設けたフレームタイプ符号化手段とフィールドタイプ符号化手段が図示される。
フレームタイプ符号化手段96は、フレームモードボーダーリング手段961とフレームスキャンタイプおよびCAE符号化手段962で構成される。フィールドタイプ符号化手段97は、BABフィールド変換手段971とフィールドモードボーダーリング手段972とフィールドスキャンタイプおよびCAE符号化手段973で構成される。
【0054】
フレームBABをボーダーリングし、そのBABをフィールド単位で符号化時に発生するBABの画素とボーダーリング画素間の相関性が劣る問題を解決するために、フィールド単位のCAE符号化のためにフィールドタイプ符号化手段97は、フィールドモードボーダーリング手段972を設けてフレームタイプ符号化手段96とは別途のボーダーリング方法でボーダーリングする。
【0055】
図11(a)にボーダーリングされたMC BABを上位フィールドと下位フィールドで各々ボーダーリングする方法が図示される。そして、図11(b)は現在BABにおいてフィールド単位のボーダーリング過程を示す。フィールド単位のボーダーリングをする時、ボーダーリングのための周辺画素値を取る時、8×16上位フィールドのボーダーリング画素値も周辺BABにおいて上位フィールドの画素値を取る。8×16下位フィールドのボーダーリング画素値も周辺BABにおいて下位フィールドの画素値を取る。
【0056】
図12に本発明によるフレームモード形状情報に対しボーダーリングした1実施の形態を示す。
符号化しようとする形状情報はM×Nの大きさのブロック121であり、上に2i画素ずつ、左右にi画素ずつボーダーリングされる。上側ボーダ123は2i×Nの大きさを有し、左上側ボーダ122、右上側ボーダ124は2i×iの大きさを有する。左側ボーダ125と右側ボーダ126はM×iの大きさを有する。ここでiはボーダーリングの幅である。
【0057】
図13にフレームモードボーダーリング装置が図示される。
現在BAB貯蔵手段131は、形状情報の入力を受け現在のBABを貯蔵する。隣接BAB貯蔵手段132は、現在BABに対する左側BAB、左上側BAB、上側BAB、右上側BABを貯蔵する。上側ボーダ発生手段134は、隣接BAB貯蔵手段132から現在BABの上側にある隣接BABにおいて上側ボーダ123 2i×Nだけ読み込んで貯蔵する。左側ボーダ発生手段135は、隣接BAB貯蔵手段132に貯蔵された左側BABの最右側の画素中から左側ボーダ125 M×iだけ読み込んで貯蔵する。左上側ボーダ発生手段136は、隣接BAB貯蔵手段132に貯蔵された現在BABの左上側にある左上側BABの最右側下の画素中から左上側ボーダ2i×iだけ読み込んで貯蔵する。
【0058】
右上側ボーダ発生手段137は、隣接BAB貯蔵手段132に貯蔵された現在BABの右上側にある右上側BABの最左側下の画素中から右上側ボーダ2i×iだけ読み込んで貯蔵する。ボーダーリング手段138は、前記ボーダ発生手段等133−137においてボーダを読み込んで、図12に図示されたように、ボーダーリングされたBABを形成する。現在BABの右側ボーダは、図6に図示されたように、ボーダーリングせずに現在BABの最右側にある画素をボーダーリング幅で読み込んで複写する。即ち、図5(a)の符号化すべき画素51がBABの右側境界に該当してイントラモードのC7,C3,C2を知ることができない時、イントラモードにおいてはC7=C8,C3=C4,C2=C3に定義して演算する。
【0059】
図14(a)および(b)は本発明による現在フィールドモード形状情報に対しボーダーリングしたフィールドモード形状情報の1実施の形態を示す。
符号化しようとする形状情報は、図12に図示されたM×N大きさのフレームモードブロック121において、M/2×N大きさの上位フィールドモードブロック141と下位フィールドモードブロック142に分割され、各ブロック141,142は所定の大きさの幅iにて上,下,左,右にボーダーリングされる。
【0060】
各フィールドブロックに対し上側ボーダ144,144′と下側ボーダ149,149′はi×Nの大きさを有する。左上側ボーダ143,143′,右上側ボーダ145,145′左下側ボーダ148,148′および右下側ボーダ150,150′はi×iの大きさを有する。左側ボーダ146,146′と右側ボーダ147,147′はM/2×iの大きさを有する。ここで、iはボーダーリングの幅である。上位フィールドボーダ等143−150は上位フィールド画素で構成される。また、下位フィールドボーダ等143′−150′は下位フィールド画素で構成される。
【0061】
図15に本発明による現在フィールドモードボーダーリング装置の1実施の形態を示すブロック図が図示される。
現在BAB貯蔵手段151は、形状情報の入力を受け現在のBABを貯蔵する。隣接BAB貯蔵手段152は、現在BABに隣接するBABを貯蔵する。フレームモード上側ボーダ発生手段153は、隣接BAB貯蔵手段152から現在BABの上側に隣接する上側BABにおいて上側ボーダ123のボーダーリング幅2i×Nだけ読み込んで貯蔵する。
【0062】
フレームモード左側ボーダ発生手段154は、隣接BAB貯蔵手段152に貯蔵された現在BABの左側に隣接する左側BABの最右側の画素中から左側ボーダ125のボーダーリング幅M/2×iだけ読み込んで貯蔵する。フレームモード左上側ボーダ発生手段155は、隣接BAB貯蔵手段152に貯蔵された現在BABの左上側に隣接する左上側BABの最右側下の画素中から左上側ボーダ124のボーダーリング幅i×iだけ読み込んで貯蔵する。
【0063】
フレームモード右上側ボーダ発生手段156は、隣接BAB貯蔵手段152に貯蔵された現在BABの右上側に隣接する右上側BABの最左側下の画素中から右上側ボーダ124のボーダーリング幅i×iだけ読み込んで貯蔵する。上位フィールドボーダ手段153a−156aは、各フレームモードボーダ発生手段153−156から上位フィールドボーダーリング幅i×N又はi×iだけ読み込んで貯蔵する。
【0064】
下位フィールドボーダ発生手段153b−156bは、前記フレームモードボーダ発生手段153−156から下位フィールドボーダーリング幅i×N又はi×iだけ読み込んで貯蔵する。上位フィールドボーダーリング手段157は、前記上位フィールドボーダ発生手段153a−156aからボーダを読み込んで図14(a)に図示されたようにボーダーリングされた上位フィールドBABを形成する。下位フィールドボーダーリング手段158は、前記下位フィールドボーダ発生手段等153b−156bからボーダを読み込んで図14bに図示されたようにボーダーリングされた下位フィールドBABを形成する。
【0065】
以上はイントラモードに対してフレームモードとフィールドモード時にボーダーリングする過程を説明したものである。インターモードに対しては以前映像と現在の映像との間に動きが発生する。従って、インターモードで符号化する時は動き補償で形成されたMC BABと現在BABで図5(b)に図示されたようなコンテキスト(Context)を求めた後、CAE符号化する。図5(b)に図示されたように、インターモードで形状情報を符号化する時は現在画素52の周辺画素C0−C3と以前フレームの対応画素C6および周辺画素C4,C5,C7,C8を参考にしてCAE符号化する。
【0066】
図16は本発明によるインターモードにおいてMCフレームモード形状情報に対しボーダーリングした形状情報の1実施の形態を示す。
符号化しようとする形状情報はM×Nの大きさのブロック160であり、上、下にi画素ずつ、左右にi画素ずつボーダーリングされる。左上側ボーダ162、右上側ボーダ164、左下側ボーダ167および右下側ボーダ169はi×iの大きさを有する。上側ボーダ163と下側ボーダ168はi×Nの大きさを有し、左側ボーダ165と右側ボーダ166はM×iの大きさを有する。ここで、iはボーダーリングの幅である。
【0067】
図17は本発明による動き補償されたBAB(MC BAB)をフレームモードにボーダーリングする装置のブロック図が図示される。
現在MC BAB貯蔵手段107は、形状情報から現在MC BABを生成して貯蔵する。隣接MC BAB貯蔵手段171は、現在MC BABに隣接するMC BABを貯蔵する。上側ボーダ発生手段172は、隣接MC BAB貯蔵手段171から現在MC BABの上側にある上側MC BABにおいてボーダーリング幅i×Nだけ読み込んで貯蔵する。
【0068】
左側ボーダ発生手段173は、隣接MC BAB貯蔵手段171に貯蔵された現在MC BABの左側に隣接する(neighborhood)左側MC BABの最も右側の画素中からボーダーリング幅M×iだけ読み込んで貯蔵する。左上側ボーダ発生手段174は、隣接MC BAB貯蔵手段171に貯蔵された現在BABの左上側にある左上側MC BABの最も右側下の画素中からボーダーリング幅i×iだけ読み込んで貯蔵する。右上側ボーダ発生手段175は、隣接MC BAB貯蔵手段171に貯蔵された現在MC BABの右上側にある右上側MC BABの最左側下の画素中からボーダーリング幅i×iだけ読み込んで貯蔵する。
【0069】
右側ボーダ発生手段176は、前記隣接MC BAB貯蔵手段171から現在MC BAB160の右側にあるMC BABの最も左側の画素中からボーダーリング幅i×Nだけ読み込んで貯蔵する。下側ボーダ発生手段177は、前記隣接MC BAB貯蔵手段171から現在MC BAB160の下側にあるMC BABの上部の画素中からボーダーリング幅i×Nだけ読み込んで貯蔵する。左下側ボーダ発生手段178は、前記隣接MC BAB貯蔵手段171から現在MC BAB160の左側ににあるMC BABの右上部の画素中からボーダーリング幅i×Nだけ読み込んで貯蔵する。
【0070】
右下側ボーダ発生手段179は、前記隣接MC BAB貯蔵手段171から現在MC BAB160の右下側にあるMC BABの左上部の画素中からボーダーリング幅i×Nだけ読み込んで貯蔵する。MC BABフレームボーダーリング手段180は、現在MC BAB貯蔵手段170とボーダ発生手段172−179から現在のMC BABおよびボーダの入力を受け、図16に図示されたように現在のMC BAB160をボーダーリングする。
【0071】
図18(a)−(c)にインターモードにおいてMC BABフィールドモード形状情報に対しボーダーリングした形状情報の1実施の形態を示す。
図18(a)は符号化しようとする16×16大きさの二進形状情報ブロック181の外郭をボーダーリングした実施の形態である。左上側ボーダ181a,右上側ボーダ181c,左下側ボーダ181fおよび右下側ボーダ181hは、2×1大きさの画素でボーダーリングし、上側ボーダ181bおよび下側ボーダ181gは2×16大きさの画素でボーダーリングする。
【0072】
図18(b)は8×16大きさの上位フィールドブロック182に上位フィールドに該当するボーダでボーダーリングしたブロックを示す。上位フィールド左上側ボーダ182aは、フレーム左上側ボーダ181aの上位フィールド画素でボーダーリングし、上位フィールド右上側ボーダ182cは、右上側ボーダ181cの上位フィールド画素で、上位フィールド左下側182fは、左下側ボーダ181fの上位フィールド画素で、上位フィールド右下側ボーダ182hは、右下側ボーダ181hの上位フィールド画素でボーダーリングする。
【0073】
図18(c)は8×16大きさの下位フィールドブロック183に下位フィールドに該当するボーダでボーダーリングしたブロックを示す。各ボーダ183a−183hは、対応するフレームボーダ181a−181hの下位フィールド画素を利用してボーダーリングする。
【0074】
図19に本発明による動き補償されたBABをフィールドモードでボーダーリングする装置のブロック図が図示される。
現在MC BAB貯蔵手段191乃至右下側ボーダ発生手段200は、図17に図示された現在MC BAB貯蔵手段170乃至右下側ボーダ発生手段179とその機能が同一であり、上側ボーダと下側ボーダのボーダーリング幅が2i×Nであるということ以外は同一なるので、詳細な説明は省略する。
【0075】
上位ボーダ発生手段193a−200aは、フレームボーダ発生手段193−200の画素中において上位フィールドに該当する上位ボーダーリング幅i×Nだけ読み込んで貯蔵する。同様に、下位フィールドボーダ発生手段193b−200bは、ボーダ発生手段193−200の画素中において下位フィールドに該当する下位フィールドボーダーリング幅i×Nだけ読み込んで貯蔵する。
【0076】
上位フィールドボーダーリング手段201は、前記上位フィールドボーダ発生手段193a−200aからボーダを読み込んで、図18(b)に図示されたように、ボーダーリングされた上位フィールドMC BABを形成する。下位フィールドボーダーリング手段202は、前記下位フィールドボーダ発生手段193b−200bからボーダを読み込んで、図18(c)に図示されたように、ボーダーリングされた下位フィールドBABを形成する。
【0077】
図20に本発明による適応的ボーダーリング手段を設けた形状情報復号装置の1実施の形態が図示される。
逆多重化手段201は、伝送線路を通じて入力される符号化データを逆多重化して出力する。オーバヘッド復号手段202は、前記逆多重化手段201から入力されるデータよりオーバヘッド情報(BAB−Type,CR,ST等)を復号化して出力する。符号化モード復号手段203は、前記逆多重化手段201から入力される符号化モードデータを復号化する。
【0078】
スイッチング手段204は、前記符号化モード復号手段203から入力される符号化モード信号に従って前記逆多重化手段201から出力される符号化された形状情報をスイッチングする。フレームモード復号手段205は、前記スイッチング手段204を通じて入力される形状情報と動き補償された以前形状情報を前記オーバヘッド情報を利用してフレーム単位でボーダーリングし復号化する。
【0079】
フィールドモードボーダーリングおよび復号手段206は、前記スイッチング手段204を通じて入力される形状情報と動き補償された以前形状情報を前記オーバヘッド情報を利用してフィールド単位でボーダーリングし復号化する。以前形状情報貯蔵手段207は、前記フレームモードボーダーリングおよび復号手段205とフィールドモードボーダーリングおよび復号手段206から入力される以前形状情報を貯蔵する。
【0080】
動き補償手段208は、オーバヘッド復号手段202からの動き情報と二進形状情報貯蔵手段207からの以前形状情報の入力を受け動き補償して前記フレームモードボーダーリングおよび復号手段205とフィールドモードボーダーリングおよび復号手段206に出力する。形状情報再形成手段209は、前記オーバヘッド復号手段202からオーバヘッド情報の入力を受け、前記フレームモードボーダーリングおよび復号手段205とフィールドモードボーダーリングおよび復号手段206から入力される形状情報を前記オーバヘッド情報を利用して再形成する。
【0081】
伝送チャンネルを通じて逆多重化手段201に入力されたビットストリームは、オーバヘッド復号手段202において形状情報復号化に必要な付加情報(オーバヘッド)等が復号化される。復号化装置は、この付加情報等を利用して復号化過程を制御する。符号化器がCAEを使用する場合、付加情報としてはBAB−typeとCR(Coversion Ratio)、ST(Scan Type)動き情報等がある。この時、BAB−typeはBABに含まれた形状情報等の種類を表示する。
【0082】
BAB−typeが全て背景を表示するAll_0であるか、全て物体を表示するAll_255であれば、このような情報は復号化手段205,206に伝送され、復号化手段205,206は形状情報に再構成する。形状情報符号化モード(SCM)は符号化モード復号手段203で復号化されスイッチング手段204を制御する。
【0083】
万一、符号化モード(SCM)がフレームモードである場合、逆多重化から出力されるビットストリームはフレームモードボーダーリングおよび復号手段205に入力され復号化を遂行するようになる。万一、符号化モード(SCM)がフィールドモードである場合、逆多重化から出るビットストリームはフィールドモードボーダーリングおよび復号手段206に入力され復号化を遂行するようになる。
【0084】
動き補償手段208においてはオーバヘッド復号手段202で復号化された動き情報を利用して以前形状情報貯蔵手段207に貯蔵されていた以前フレームの参照映像を有して動き補償(Motion Compensation)BABを求める。この動き補償BABは、フレームタイプ復号手段205とフィールドタイプ復号手段206に入力される。
【0085】
フレームタイプ復号手段205とフィールドタイプ復号手段206においてはオーバヘッド復号手段202の付加情報、スイッチング手段204を通じて入力されるビットストリーム、動き補償手段208から入力される動き補償BABを利用して復元BABを復号化する。この復元BABとオーバヘッド復号手段202の付加情報を利用して形状情報復元手段209において形状情報を再生する。この復元された形状情報は、以前形状情報貯蔵手段207に貯蔵され、次の形状情報を復号化する時使用される。
【0086】
このように、形状情報復号化装置は、符号化モード復号手段203を設け、その符号化モード復号手段203において符号化モード(フレームモードとフィールドモード)を表示するデータを復号してフレーム/フィールド符号化タイプ信号を検出し、その検出結果に従ってフレームモードボーダーリングおよび復号手段205又はフィールドモードボーダーリングおよび復号手段206で復号化を遂行するようになる。
【0087】
図21に本発明による適応的ボーダーリング手段を設けたフレームモードボーダーリングおよび復号手段とフィールドモードボーダーリングおよび復号手段の構成を示すブロック図が図示される。
フレームモードボーダーリングおよび符号化手段205は、フレームモードボーダーリング手段2051とフレームスキャンタイプおよびCAE手段2052で構成される。フィールドモードおよび復号化手段206は、BABフィールド変換手段2061,フィールドモードボーダーリング手段2062とフィールドスキャンタイプおよびCAE手段2063で構成される。
【0088】
フレームモードボーダーリングおよび復号手段205は、符号化時に行うフレームボーダーリングのような方法で復号化時フレームボーダーリングを遂行する。フレームボーダーリングには現在BABのフレームボーダーリングと以前MCBABのフレームボーダーリングがあり、ボーダーリングを遂行した後にイントラ又はインターモードCAE復号化を遂行する。
【0089】
フィールドモードボーダーリングおよび復号手段206は、符号化時行うフィールドボーダーリングのような方法で復号化時フィールドボーダーリングを遂行する。即ち、上位フィールドをボーダーリングする時は上位フィールドに該当する画素でボーダーリングし、下位フィールドをボーダーリングする時は下位フィールドに該当する画素でボーダーリングする。フィールドボーダーリングには現在BABのフィールドボーダーリングと以前MC BABのフィールドボーダーリングがあり、ボーダーリングを遂行した後にイントラ又はインターモードCAE復号化を遂行する。
【0090】
【発明の効果】
以上のように、本発明によれば、インターレース走査映像を形状情報ブロックで符号化/復号化する場合、符号化/復号化する前にボーダーリング過程を遂行する。フレーム単位の符号化時フレームボーダーリングとフィールド単位の符号化時フィールドボーダーリングをするようになるが、フィールドボーダーリングの場合、上位フィールドのボーダーリングと下位フィールドのボーダーリングを各々遂行する。上位フィールドのボーダーリングをする時、上位フィールドの画素を取ってボーダーリングする。下位フィールドのボーダーリングも同じ方法である。このような過程を経れば、フィールド単位の符号化をするためにフレームボーダーリングをそのまま適用した時より、隣り合う画素の関連性が大きいので符号化ビットを多く減らすことができる。
【図面の簡単な説明】
【図1】 一般的な物体単位動画像符号化器の構成を示すブロック図である。
【図2】 順次走査とインターレース走査を示す説明図である。
【図3】 停止映像又は動きが少ない映像のフレームとそれを構成するフィールド映像の説明図である。
【図4】 動きが多い映像のフレームとそれを構成するフィールド映像の説明図である。
【図5】 CAE符号化に使用されるイントラテムプレ−トとインターテムプレ−トの説明図である。
【図6】 現在BABのフレームボーダーリングの構成を表した図である。
【図7】 MC BABのフレームボーダーリングの構成を表した図である。
【図8】 MC BABのフレームボーダーリングにおいて上位フィールドと下位フィールドにて区分しフレームボーダーリングを適用した図である。
【図9】 本発明による適応的にボーダーリングする形状情報符号化器の構成を示すブロック図である。
【図10】 適応的にボーダーリングするフレームモードボーダーリングおよび符号化手段とフィールドモードボーダーリングおよび符号化手段の構成を表した図である。
【図11】 MC BABのフィールドボーダーリングと現在BABのフィールドボーダーリングの構成を表した図である。
【図12】 本発明によってフレームモード形状情報に対しボーダーリングした形状情報の1実施の形態を示す図である。
【図13】 フレームモードボーダーリング装置を図示した図である。
【図14】 本発明により現在BABフィールドモード形状情報に対しボーダーリングした形状情報の1実施の形態を示す図である。
【図15】 本発明によるフィールドモードボーダーリング装置の1実施の形態を示すブロック図を表した図である。
【図16】 インターモードにおいてMC BABフレームモード形状情報に対しボーダーリングした形状情報の1実施の形態を示す図である。
【図17】 動き補償されたBAB(MC BAB)をフレームモードでボーダーリングする装置のブロック図である。
【図18】 本発明によりインターモードにおいてMC BABフィールドモード形状情報に対しボーダーリングした形状情報の1実施の形態を示す図である。
【図19】 本発明により動き補償されたBAB(MC BAB)をフィールドモードでボーダーリングする装置のブロック図である。
【図20】 本発明による適応的にボーダーリングする形状情報復号機の構成の実施の形態を示すブロック図である。
【図21】 本発明による適応的ボーダーリング手段を設けたフレームモードボーダーリングおよび復号手段とフィールドモードボーダーリングおよび復号手段の構成を示すブロック図である。
【符号の説明】
91 BAB分割手段、92 符号化モード決定手段、93 スイッチング手段、94 動き推定手段、95 動き補償手段、96 フレームモードボーダーリングおよび符号化手段、97 フィールドモードボーダーリングおよび符号化手段、98 オーバヘッド符号化手段、99 以前形状情報貯蔵手段、100 形状情報復元手段、101 マルチプレクサ手段。
Claims (12)
- 映像内客体に対する二進形状情報を所定の大きさの等方形ブロック(BAB)に分割して、コンテキスト基盤算術符号化( Context-based Arithmetic Encoding )する二進形状情報符号化方法において、
前記二進形状情報ブロック(BAB)を貯蔵するBAB貯蔵段階と、
前記BABを構成する上位フィールドと下位フィールドに含まれた形状情報の類似性を考慮して、フレームモード符号化をすべきか、フィールドモード符号化をすべきかを決定する段階と、
フレームモード符号化が決定されれば前記BABに対しフレームBAB単位で前記BABの境界に隣接したBABの画素を利用してコンテキスト基盤算術符号化(CAE)に必要な所定画素幅だけ前記BABの境界を形成した後、境界が形成された前記BABに対しコンテキスト基盤算術符号化(CAE)を実行し、フィールドモード符号化が決定されれば前記BABに対しフィールドBAB単位で前記BABの境界に隣接したBABの画素を利用してコンテキスト基盤算術符号化(CAE)に必要な所定画素幅だけ前記BABの境界を形成した後、境界が形成された前記BABに対しコンテキスト基盤算術符号化(CAE)を実行する段階と
を具備することを特徴とする映像を走査する方式に従って適応的にボーダーリングする形状情報符号化方法。 - 前記フレームモード符号化が決定され、フィールドBAB単位で前記BABの境界を形成する過程において、前記BABの上位フィールドBABの境界を形成する時は隣接したBABの上位フィールドに該当する画素で境界を形成し、下位フィールドBABの境界を形成する時は隣接したBABの下位フィールドに該当する画素で境界を形成することを特徴とする請求項1記載の映像を走査する方式に従って適応的にボーダーリングする形状情報符号化方法。
- 前記BABの境界を形成する過程は、左側境界は現在BABの左側に隣接する左側BABから、左上側境界は現在BABの左上側に隣接する左上側BABから、上側境界は現在BABの上側に隣接する上側BABから、右上側境界は現在BABの右上側に隣接する右上側BABから、左下側境界は現在BABの左下側に隣接する左下側BABからそれぞれ所定画素幅だけ読み出して境界を形成し、右側境界は現在BABからそのBABの右側画素を所定画素幅だけその右側に複写して境界を形成することを特徴とする請求項1記載の映像を走査する方式に従って適応的にボーダーリングする形状情報符号化方法。
- 映像内客体に対する二進形状情報を所定の大きさの等方形ブロック(BAB)に分割して、コンテキスト基盤算術符号化( Context-based Arithmetic Encoding )する二進形状情報符号化方法において、
前記BABそれ自体のみで符号化する場合には、
前記二進形状情報の入力を受けBABを貯蔵する段階と、
前記BABを構成する上位フィールドと下位フィールドに含まれた形状情報の類似性を考慮して、フレームモード符号化をすべきか、フィールドモード符号化をすべきかを決定する段階と、
前記貯蔵された現在BABに隣接するBAB中からボーダBABを定める段階と、
フレームモード符号化が決定されれば前記定められたボーダでフレームモードボーダーリングし符号化する段階と、
フィールドモード符号化が決定されれば前記定められたボーダ中から上位フィールドを構成する画素でボーダーリングされた上位フィールドBABを形成し、下位フィールドを構成する画素でボーダーリングされた下位フィールドBABを形成する段階と
を具備する方法で適応的にボーダーリングして符号化し、
前記BABを動き補償して符号化する場合には、
現在MC BABを生成して貯蔵する段階と、
前記BABを構成する上位フィールドと下位フィールドに含まれた形状情報の類似性を 考慮して、フレームモード符号化をすべきか、フィールドモード符号化をすべきかを決定する段階と、
前記貯蔵された現在MC BABに隣接するMC BAB中からボーダBABを定める段階と、
フレームモード符号化が決定されれば前記定められたボーダにてフレームモードボーダーリングし符号化する段階と、
フィールドモード符号化が決定されれば前記定められたボーダより上位フィールドボーダBABおよび下位フィールドボーダBABを定めて、前記現在MC BABと前記上位および下位ボーダBABよりボーダーリングされた上位フィールドおよび下位フィールドMC BABを形成して符号化する段階と
で構成されたことを特徴とする映像を走査する方式に従って適応的にボーダーリングする形状情報符号化方法。 - 前記BABそれ自体のみで符号化する場合には、前記現在BABの上側にある上側BABからボーダーリング幅だけ読み込んで上側ボーダを、左側BABの最右側の画素中から左側ボーダを、左上側BABの最右下側画素中から左上側ボーダを、右上側BABの最左下側画素中から右上側ボーダを形成し、
前記BABを動き補償して符号化する場合には、
前記貯蔵された現在MC BABの上側にある上側MC BABから上側ボーダを、左側MC BABの最右側の画素中から左側ボーダを、左上側MC BABの最右側下の画素中から左上側ボーダを、右上側MC BABの最左側下の画素中から右上側ボーダを、右側MC BABの最左側の画素中から右側ボーダを、下側MC BABの上部の画素中から下側ボーダを、左側MC BABの右上部の画素中から左下側ボーダを、右下側MC BABの左上部の画素中から右下側ボーダを形成することを特徴とする請求項4記載の映像を走査する方式に従って適応的にボーダーリングする形状情報符号化方法。 - 映像内客体に対する二進形状情報を所定の大きさの等方形ブロック(BAB)に分割して、コンテキスト基盤算術符号化( Context-based Arithmetic Encoding )する二進形状情報符号化装置において、
前記二進形状情報より現在MC BABを生成して貯蔵する現在MC BAB貯蔵手段と、
前記MC BABを構成する上位フィールドと下位フィールドに含まれた形状情報の類似性を考慮して、フレームモード符号化をすべきか、フィールドモード符号化をすべきかを決定する符号化モード決定手段と、
前記現在MC BABに隣接するMC BABを貯蔵する隣接MC BAB貯蔵手段と、
前記隣接MC BAB貯蔵手段に貯蔵された隣接MC BABからボーダーリング幅だけ読み込んで貯蔵する多数のボーダ発生手段と、
フレームモードで符号化することが決定されれば現在MC BAB貯蔵手段と前記多数のボーダ発生手段から現在のMC BABおよびボーダの入力を受け、現在のMC BABをボーダーリングするMC BABフレームモードボーダーリングおよび符号化手段と、
フィールドモードで符号化することが決定されれば前記現在MC BAB貯蔵手段と前記多数のボーダ発生手段から現在のMC BABおよびボーダの入力を受け、現在のMC BABをフィールドモードでボーダーリングするMC BABフィールドモードボーダーリングおよび符号化手段と
で構成されたことを特徴とする映像を走査する方式に従って適応的にボーダーリングする形状情報符号化装置。 - 前記MC BABフィールドモードボーダーリングおよび符号化手段は、前記現在MC BAB貯蔵手段と前記多数のボーダ発生手段から現在のMC BABおよびボーダの入力を受け、上位フィールドMC BABは、上位フィールド画素でボーダーリングし、下位フィールドMC BABは、下位フィールド画素でボーダーリングすることを特徴とする請求項6記載の映像を走査する方式に従って適応的にボーダーリングする形状情報符号化装置。
- 前記多数のボーダ発生手段は、
前記隣接MC BAB貯蔵手段において現在MC BABの上側に隣接する上側MC BABからボーダーリング幅だけ読み込んで貯蔵する上側ボーダ発生手段と、
前記隣接MC BAB貯蔵手段において現在MC BABの左側に隣接する左側MC BABから最右側の画素中からボーダーリング幅だけ読み込んで貯蔵する左側ボーダ発生手段と、
前記隣接MC BAB貯蔵手段において現在MC BABの左上側に隣接する左上側MC BABの最右側下の画素中からボーダーリング幅だけ読み込んで貯蔵する左上側ボーダ発生手段と、
前記隣接MC BAB貯蔵手段において現在MC BABの右上側に隣接する右上側MC BABの最左側下の画素中からボーダーリング幅だけ読み込んで貯蔵する右上側ボーダ発生手段と、
前記隣接MC BAB貯蔵手段において現在MC BABの右側に隣接するMC BABの最左側の画素中からボーダーリング幅だけ読み込んで貯蔵する右側ボーダ発生手段と、
前記隣接MC BAB貯蔵手段において現在MC BABの下側に隣接するMC BABの上部の画素中からボーダーリング幅だけ読み込んで貯蔵する下側ボーダ発生手段と、
前記隣接MC BAB貯蔵手段において現在MC BABの左側に隣接するMC BABの右上部の画素中からボーダーリング幅だけ読み込んで貯蔵する左下側ボーダ発生手段と、
前記隣接MC BAB貯蔵手段において現在MC BABの右下側に隣接するMC BABの左上部の画素中からボーダーリング幅だけ読み込んで貯蔵する右下側ボーダ発生手段と
であることを特徴とする請求項6記載の映像を走査する方式に従って適応的にボーダーリングする形状情報符号化装置。 - 前記上側および下側ボーダ発生手段はi×N、左側および右側ボーダ発生手段はM×i、左上側、右上側、左下側および右下側ボーダ発生手段はi×iのボーダーリング幅を読み込んで貯蔵することを特徴とする請求項8記載の映像を走査する方式に従って適応的にボーダーリングする形状情報符号化装置。
- 映像内客体に対する二進形状情報が所定の大きさの等方形ブロックに分割され、コンテキスト基盤算術符号化( Context-based Arithmetic Encoding )されている二進形状情報ブロック(BAB)を復号する二進形状情報復号化装置において、
前記二進形状情報ブロックがフレームモード符号化されたものか、フィールドモード符号化されたものかを判断して、符号化された二進形状情報をフレーム単位で復号化すべきか、フィールド単位で復号化すべきかを決定する復号化モード決定手段と、
符号化された二進形状情報ブロックを前記復号化モード決定手段から出力される復号化モード信号に従ってスイッチングするスイッチング手段と、
前記スイッチング手段を通じて入力される前記符号化された二進形状情報ブロックをフレーム単位でボーダーリングして復号化するフレームモードボーダーリングおよび復号化手段と、
前記スイッチング手段を通じて入力される前記符号化された二進形状情報ブロックをフィールド単位で復号化するフィールドモードボーダーリングおよび復号化手段と
を設けることを特徴とする映像を走査する方式に従って適応的にボーダーリングする形状情報復号化装置。 - 映像内客体に対する二進形状情報が所定の大きさの等方形ブロックに分割され、コンテキスト基盤算術符号化( Context-based Arithmetic Encoding )されている二進形状情報ブロック(BAB)を復号する二進形状情報復号化方法において、
前記二進形状情報ブロックがフレームモード符号化されたものか、フィールドモード符 号化されたものかを判断して、符号化された二進形状情報をフレームモードで復号化すべきか、フィールドモードで復号化すべきかを決定する段階と、
前記段階において決定されたモードに従って符号化された二進形状情報ブロックをフレームモードでボーダーリングしたり、フィールドモードでボーダーリングして復号化する段階を設けたことを特徴とする映像を走査する方式に従って適応的にボーダーリングする形状情報復号化方法。 - 前記BABの上位フィールドBABをボーダーリングする時は上位フィールドに該当する画素でボーダーリングし、下位フィールドBABをボーダーリングする時は下位フィールドに該当する画素でボーダーリングすることを特徴とする請求項19記載の映像を走査する方式に従って適応的にフィールドボーダーリングする形状情報復号化方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1997-53477 | 1997-10-17 | ||
KR19970053477 | 1997-10-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11196415A JPH11196415A (ja) | 1999-07-21 |
JP3929623B2 true JP3929623B2 (ja) | 2007-06-13 |
Family
ID=19522989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29725998A Expired - Fee Related JP3929623B2 (ja) | 1997-10-17 | 1998-10-19 | 映像を走査する方式に従って適応的にボーダーリングする形状情報符号化/復号化装置および方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6553149B1 (ja) |
EP (1) | EP0910043B1 (ja) |
JP (1) | JP3929623B2 (ja) |
KR (1) | KR100535632B1 (ja) |
DE (1) | DE69821704T2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100328417B1 (ko) | 1998-03-05 | 2002-03-16 | 마츠시타 덴끼 산교 가부시키가이샤 | 화상부호화장치및화상복호화장치, 화상부보화방법 및 화상복호화방법, 및 데이터기억매체 |
US20030099403A1 (en) * | 2001-11-13 | 2003-05-29 | Trusight Ltd. | Image compression with dynamic programming |
US7336713B2 (en) * | 2001-11-27 | 2008-02-26 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding data |
US7809204B2 (en) * | 2002-10-18 | 2010-10-05 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding key value data of coordinate interpolator |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58127488A (ja) * | 1982-01-25 | 1983-07-29 | Kokusai Denshin Denwa Co Ltd <Kdd> | テレビジヨン信号の適応予測符号化方式 |
GB2231750B (en) * | 1989-04-27 | 1993-09-29 | Sony Corp | Motion dependent video signal processing |
JP3629728B2 (ja) | 1994-08-31 | 2005-03-16 | ソニー株式会社 | 動画像信号符号化方法、動画像信号符号化装置及び動画像信号記録媒体 |
US5659631A (en) * | 1995-02-21 | 1997-08-19 | Ricoh Company, Ltd. | Data compression for indexed color image data |
US5852475A (en) * | 1995-06-06 | 1998-12-22 | Compression Labs, Inc. | Transform artifact reduction process |
US5724369A (en) * | 1995-10-26 | 1998-03-03 | Motorola Inc. | Method and device for concealment and containment of errors in a macroblock-based video codec |
US5991447A (en) * | 1997-03-07 | 1999-11-23 | General Instrument Corporation | Prediction and coding of bi-directionally predicted video object planes for interlaced digital video |
US6005980A (en) * | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
EP0892559A1 (en) * | 1997-07-18 | 1999-01-20 | Texas Instruments Inc. | Padding of object border blocks for motion estimation and transform coding in an object-oriented video coder |
KR100255754B1 (ko) * | 1997-08-30 | 2000-05-01 | 전주범 | 이진 형상 신호 부호화 방법 |
-
1998
- 1998-10-15 KR KR1019980043233A patent/KR100535632B1/ko not_active IP Right Cessation
- 1998-10-16 US US09/173,883 patent/US6553149B1/en not_active Expired - Lifetime
- 1998-10-16 DE DE1998621704 patent/DE69821704T2/de not_active Expired - Lifetime
- 1998-10-16 EP EP19980308501 patent/EP0910043B1/en not_active Expired - Lifetime
- 1998-10-19 JP JP29725998A patent/JP3929623B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11196415A (ja) | 1999-07-21 |
EP0910043A2 (en) | 1999-04-21 |
US6553149B1 (en) | 2003-04-22 |
EP0910043B1 (en) | 2004-02-18 |
EP0910043A3 (en) | 2000-05-10 |
DE69821704D1 (de) | 2004-03-25 |
KR100535632B1 (ko) | 2006-04-12 |
DE69821704T2 (de) | 2005-01-05 |
KR19990037137A (ko) | 1999-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100776182B1 (ko) | 동화상 부호화 방법, 동화상 복호화 방법, 동화상 부호화프로그램, 동화상 복호화 프로그램, 동화상 부호화 장치 및동화상 복호화 장치 | |
JP4034380B2 (ja) | 画像符号化/復号化方法及び装置 | |
KR100289899B1 (ko) | 블록간 내삽 예측 부호화 장치와 방법, 및 그 복호화 장치와 방법 | |
KR100283343B1 (ko) | 화상신호 부호화방법 및 복호화방법과 화상신호 부호화장치 및 복호화장치 | |
US6035070A (en) | Encoder/decoder for coding/decoding gray scale shape data and method thereof | |
US8107531B2 (en) | Signaling and repeat padding for skip frames | |
US20070242753A1 (en) | Coding and decoding method and apparatus using plural scanning patterns | |
JP4447061B2 (ja) | 2値形状信号の符号化方法 | |
CN1633812A (zh) | 视频图片的全局运动补偿 | |
AU752363B2 (en) | Multimedia information coding apparatus, coding method of multimedia information, and recording media storing data coded by the same method | |
US7822123B2 (en) | Efficient repeat padding for hybrid video sequence with arbitrary video resolution | |
KR100260475B1 (ko) | 화상 데이타 부호화 방법 및 장치, 화상 데이타 복호화 방법 및 장치 및 화상 기록 매체 | |
US6307976B1 (en) | Apparatus and method of adaptively coding/decoding interlaced shaped material | |
US6133955A (en) | Method for encoding a binary shape signal | |
JP2000217103A (ja) | 物体単位映像信号符号化/復号化装置及び方法 | |
Brady et al. | Shape compression of moving objects using context-based arithmetic encoding | |
JP3929623B2 (ja) | 映像を走査する方式に従って適応的にボーダーリングする形状情報符号化/復号化装置および方法 | |
US7426311B1 (en) | Object-based coding and decoding apparatuses and methods for image signals | |
JP2004007788A (ja) | 動画像符号化装置、動画像符号化方法、動画像復号装置、および動画像復号方法 | |
EP1843595A2 (en) | Coding and decoding method and apparatus using plural scanning patterns | |
JP2894334B2 (ja) | 画像信号の誤り修正回路 | |
GB2341032A (en) | Motion-dependent scanning frequency conversion | |
JP2008228337A (ja) | 画像符号化装置 | |
KR100522171B1 (ko) | 임의 형상 프레임 생성기 및 그를 이용한 임의 형상프레임 생성 방법 | |
Son et al. | Scan interleaving based scalable binary shape coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060809 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070307 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140316 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |