JP3905938B2 - 画像符号化装置および画像復号化装置 - Google Patents
画像符号化装置および画像復号化装置 Download PDFInfo
- Publication number
- JP3905938B2 JP3905938B2 JP23236396A JP23236396A JP3905938B2 JP 3905938 B2 JP3905938 B2 JP 3905938B2 JP 23236396 A JP23236396 A JP 23236396A JP 23236396 A JP23236396 A JP 23236396A JP 3905938 B2 JP3905938 B2 JP 3905938B2
- Authority
- JP
- Japan
- Prior art keywords
- gom
- synchronization
- added
- code
- synchronization code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、TV電話、TV会議システム、携帯情報端末、デジタルビデオディスクシステム、デジタルTV放送システムのように画像信号を伝送/蓄積するシステムにおいて、画像を少ない情報量に圧縮符号化する装置および圧縮符号化された情報を復元し画像を再生する装置に係り、特に無線伝送路のような誤りが生じやすい媒体を介して符号化画像を伝送/蓄積する場合でも誤り耐性が強く高品質に画像伝送/蓄積を行うことができる画像符号化装置および復号化装置に関する。
【0002】
【従来の技術】
画像信号を伝送、蓄積するために少ない情報量に圧縮符号化する技術として、離散コサイン変換(DCT)符号化、サブバンド符号化、ピラミッド符号化、可変長符号化等の方式や、これらを組み合わせた方式など様々な方式が開発されている。また、画像信号の圧縮符号化の国際標準方式として、静止画の符号化ではISO・JPEG、動画像の符号化ではISO・MPEG1、MPEG2、ITU−T・H.261,H.262、H.263が規定されている。これらはいずれもコサイン変換符号化を用いた方式であり、文献1:安田浩編著、”MPEG/マルチメディア符号化の国際標準”、丸善、(平成6年9月)、等に詳細が述べられている。
【0003】
画像信号を圧縮符号化技術を用いて少ない情報量に符号化することにより、例えば、無線回線等の伝送路容量が限定された伝送路において画像を伝送することが可能になり、例えば無線伝送機能を付加したTV電話装置、携帯情報端末、パソコン、ワークステーション等の間で静止画や動画像の画像通信が可能となる。しかし、無線伝送路は一般に伝送路誤りが混入する確率が高く、圧縮符号化された画像を無線伝送路で伝送する場合、復号された再生画像が伝送路誤りの影響で劣化してしまうことがある。
【0004】
前述の国際標準方式をはじめとする従来の画像符号化方式では、入力画像信号をブロックまたはマクロブロックと呼ばれる小領域に分割して予測符号化または動き補償予測符号化を行った後、符号化モード情報、動きベクトル情報、DCT係数情報等を可変長符号化して圧縮符号を生成し、これらを多重化して符号化ビットストリームとして伝送する。
【0005】
このような可変長符号化を用いる画像符号化方式においては、伝送路誤りが混入することにより復号化装置で可変長復号化の同期外れと呼ばれる現象が生じることがある。同期外れが起こると、可変長復号化において伝送路誤りによって符号表に無い符号列が検出されてしまったり、予め定められたシンタックス、セマンティックスに違反する状態が検出されてしまう。このような現象が生じた場合には、次の同期符号が検出されるまで情報の復号が全くできないため、再生画像に大きな劣化を生じる。
【0006】
また、従来の画像符号化方式では動きベクトル情報や、DCT係数のDC成分の情報等は隣接のブロックやマクロブロックとの差分をとって符号化する方法がとられる。この場合、ある動きベクトル情報やDC成分の情報等に誤りが混入して復号値が誤った値になると、これらの情報との差分をとって符号化を行った情報にもその誤りの影響が波及してしまい、画面内の広い領域にわたって再生画像の品質が劣化する。
【0007】
このような現象を抑えるため、従来の画像符号化方式では同期符号を小領域毎に付加し、差分をとる範囲をその小領域内に限定することによって、可変長符号化の同期外れと差分符号化による画質劣化の波及を小さな領域に抑えるGOB/スライスと呼ばれる技術が用いられている。
【0008】
図9は、GOB/スライスにおける領域分割の例を示したものである。図中、実線ないし破線で区切られた小さな正方形がマクロブロックである。また、実線で囲まれた領域がGOB/スライスであり、図中ドット模様で示すマクロブロックがGOB/スライス同期符号を付加することのできるマクロブロックである。しかし、これら従来の方式は以下に示す問題点がある。
【0009】
図9(a)のGOBは、同期符号を付加できるのは画面の左端のマクロブロックだけである。従って、同期符号で誤りの波及を抑える領域の単位は1ないしは複数のマクロブロックラインといった大きな領域である。このため、誤りが波及する範囲が広く、大きな画質劣化が生じてしまう。
【0010】
図9(b)のスライスは、全てのマクロブロックに同期符号を付加できる。このため、誤りが波及する範囲を小さくすることができる反面、同期符号が付加された位置を示す位置情報の伝送に多くのビット数が必要となり、符号量が増加してしまう。
【0011】
図9(c)の同期符号を固定マクロブロック毎に付加する方式は、その固定マクロブロック数(図の例では3)が画面内の水平マクロブロック数(図の例では11)の約数でないと、図に示すようにマクロブロックの垂直位置によって同期符号を挿入できるマクロブロックの水平位置が異なってしまうという問題点がある。
【0012】
【発明が解決しようとする課題】
上述したように、GOB/スライスといった手法により同期符号を符号化ビットストリームに付加して、画質劣化の波及を小さな領域に抑える従来の画像符号化/復号化装置では、同期符号を付加できる単位が大きく、誤りが広い範囲に波及して大きな画質劣化が生じてしまうという問題点や、同期符号が付加された位置を示す位置情報の伝送に多くのビット数が必要であるために符号量が増加してしまうという問題点があった。
【0013】
本発明は、このような従来の問題点を解決し、符号量を大きく増加させることなく誤り耐性を高くすることができる画像符号化装置および画像復号化装置を提供することを目的とする。
【0014】
【発明を解決するための手段】
本発明に係る第1の画像符号化装置は、画像信号を圧縮符号化して圧縮符号を出力する画像符号化手段と、この画像符号化手段から出力される圧縮符号を多重化すると共に同期符号を付加して符号化ビットストリームを出力する多重化/同期付加手段とを有し、多重化/同期付加手段は、画面内の少なくとも水平方向の位置を間欠的に異ならせた複数の特定位置にのみ同期符号を付加できるように構成されると共に、同期符号を付加した場合には複数の特定位置の中の該同期符号を付加した位置を示す位置情報を符号化ビットストリーム中に付加することを特徴とする。
【0015】
また、第1の画像符号化装置に対応する第1の画像復号化装置は、入力される符号化ビットストリーム中の同期符号を検出すると共に該符号化ビットストリーム中の圧縮符号を逆多重化する同期検出/逆多重化手段と、同期検出/逆多重化手段から出力される逆多重化された圧縮符号を復号して画像信号を再生する画像復号手段とを有し、符号化ビットストリーム中の同期符号は、画面内の少なくとも水平方向の位置を間欠的に異ならせた複数の特定位置のうちの少なくとも一つの位置にのみ付加されており、同期検出/逆多重化手段は、符号化ビットストリーム中の同期符号を検出すると共に、複数の特定位置の中の該同期信号が付加された位置を示す位置情報を検出することを特徴とする。
【0016】
この第1の画像符号化装置/復号化装置では、同期符号が存在できる位置を画面内の少なくとも水平方向の位置を間欠的に異ならせた複数の特定位置としているため、従来のGOBのように1ないしは複数のマクロブロックライン毎にしか同期符号を付加できないといった制約無しに同期符号を付加できる。従って、伝送路誤りの影響を狭い範囲に限定することができ、再生画像の品質が向上する。また、従来のスライスを用いる方式に比べ、同期符号を付加できるマクロブロックの数が少なく、この位置を識別する情報を少ないビット数に抑えることができるため、符号量が削減される。
【0017】
本発明に係る第2の画像符号化装置は、画像信号を圧縮符号化して圧縮符号を出力する画像符号化手段と、画像符号化手段から出力される圧縮符号を多重化すると共に同期符号を付加して符号化ビットストリームを出力する多重化/同期付加手段とを有し、前記多重化/同期付加手段は、画面内の複数の特定位置にのみ同期符号を付加できるように構成されると共に、特定位置を示す第1の位置情報を符号化ビットストリーム中に含め、さらに同期符号を付加した場合には複数の特定位置の中の該同期符号を付加した位置を示す第2の位置情報を符号化ビットストリーム中に付加することを特徴とする。
【0018】
また、第1の画像符号化装置に対応する第1の画像復号化装置は、入力される符号化ビットストリーム中の同期符号を検出すると共に該符号化ビットストリーム中の圧縮符号を逆多重化する同期検出/逆多重化手段と、同期検出/逆多重化手段から出力される逆多重化された圧縮符号を復号して画像信号を再生する画像復号手段とを有し、符号化ビットストリーム中の同期符号は、画面内の複数の特定位置の少なくとも一つの位置にのみ付加されており、同期検出/逆多重化手段は、符号化ビットストリーム中の特定位置を示す第1の位置情報を検出し、これに基づいて同期符号を検出すると共に、複数の特定位置の中の該同期信号が付加された位置を示す第2の位置情報を検出することを特徴とする。
【0019】
この第2の画像符号化装置/復号化装置では、同期符号を付加することができる画面内の特定位置を示す情報を符号化ビットストリーム中に含めて符号化するため、例えば符号化する入力画像信号の性質や、符号化ビットストリームを伝送する伝送路の性質等に応じて、同期符号を付加することができる位置や数を制御することが可能である。このため、従来のGOBやスライスに比べてより効果的に同期符号の付加を行うことができ、再生画像の品質が向上する。
【0020】
本発明においては、同期符号を付加することができる画面内の複数の特定位置を予め規則的に定めてもよいし、画面内の輪郭部および予め定められた特定の領域の少なくとも一方、具体的には画面内の人物などの物体を囲む位置や、その物体内などに定めてもよい。
【0021】
こうすることにより、視覚的に重要な情報である人物その他の情報をより強く誤り保護するように同期符号を付加することができ、伝送路誤りが生じたときの再生画像の品質が向上する。
【0022】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【0023】
(第1 の実施形態)
図1は、動き補償適応予測と直交符号化の一種である離散コサイン変換符号化を用いた動画像高能率圧縮符号化装置の例である。動き補償適応予測離散コサイン変換符号化方式については、前述の文献1等に詳しいので、動作の概略のみを説明し、従来方式との差異を詳細に説明する。
【0024】
図1において、フレーム単位で入力される符号化対象の入力動画像信号131は、まずマクロブロック等の小領域単位で動き補償適応予測が行われる。すなわち、動き補償適応予測器101において、入力動画像信号131とフレームメモリ102中に蓄えられている既に符号化/局部復号化が行われた画像信号との間の動きベクトルが検出され、この動きベクトルに基づいて動き補償予測により予測信号132が作成される。この動き補償予測器101においては、動き補償予測符号化と、入力動画像信号131をそのまま符号化するフレーム内符号化(予測信号=0)のうち、符号化に用いて好適な方の予測モードが選択され、対応する予測信号132が出力される。
【0025】
予測信号132は減算器103に入力され、入力動画像信号131から予測信号132が減算されることによって予測残差信号133が出力される。予測残差信号133は、離散コサイン変換器104において一定の大きさのブロック単位で離散コサイン変換(DCT)され、DCT係数が生成される。このDCT係数は、量子化器105で量子化される。量子化器105からの量子化されたDCT係数データは2分岐され、一方は第1の可変長符号化器106で可変長符号化され、他方は逆量子化器107で逆量子化された後、逆離散コサイン変換器108で逆離散コサイン変換(逆DCT)されることによって、予測残差信号が復号される。逆離散コサイン変換器108から出力される予測残差信号は加算器109において予測信号132と加算され、局部復号信号が生成される。この局部復号信号は、フレームメモリ102に記憶される。
【0026】
一方、動き補償適応予測器101において決定された予測モードおよび動きベクトルの情報は、第2の可変長符号化器110で可変長符号化される。ただし、動きベクトルの情報は隣接の既に符号化された動きベクトルの情報から求められた予測動きベクトルとの差分がとられ、これが可変長符号化される。
【0027】
第1、第2の可変長符号化器106,110から出力される可変長符号(圧縮符号)は、多重化/同期付加器111において可変長符号化器106,110から出力される圧縮符号の多重化と同期符号の付加が行われ、符号化ビットストリーム205となる。
【0028】
次に、多重化/同期付加器111について説明する。
図2は、多重化/同期付加器111における多重化の流れを示す図である。多重化は、ブロック、複数のブロックからなるマクロブロック(MB)、1ないし複数のマクロブロックからなるGOM(Group of Macroblocks)(GOB、スライス等とも呼ばれる)、1ないし複数のGOMからなるピクチャ(画面またはフレームともいう)の各レイヤからなる。さらに、1ないし複数のピクチャからなるGOP(Group of Pictures) 、シーケンス、セッション等のレイヤを用いても良い。
【0029】
ピクチャレイヤは、図2(a)に示すようにピクチャ同期符号(PSC)、そのピクチャの符号化モード等を示すピクチャヘッダ(PH)で始まり、1ないし複数のGOMレイヤが続く。
GOMレイヤは、図2(b)に示すように必要に応じてGOM同期符号(GSC)およびそのGOMの画面内での位置や符号化モード等を示すGOMヘッダ(GH)から始まり、そのGOMに含まれる1ないしは複数のマクロブロックが続く。
マクロブロックレイヤは、図2(c)に示すようにそのマクロブロックの符号化モード情報、動きベクトル情報およびそのマクロブロックに含まれる複数のブロックが含まれる。
【0030】
図3は、GOMヘッダ(GH)に含まれる情報の例を示した図である。GOMヘッダには、そのGOMの符号化モードを示す符号化モード情報GM、そのGOMのピクチャ(画面)内での位置を示す位置情報GN、そのGOMに含まれるDCT係数の量子化ステップサイズを示すステップサイズ情報GQからなる。
【0031】
図4は、GOM形状の2つの例を示す図である。図中、実線がGOMの境界を示し、破線がGOM中のマクロブロックの境界を示している。GOM内の斜線で示した最初のマクロブロックがGOM同期符号GSCを付加することのできるマクロブロック、すなわちGOM同期符号GSCの付加が許容される特定位置である。ただし、画面内の最初のGOMにはピクチャ同期符号PSCが付加されるので、GOM同期符号GSCは付加されない。
【0032】
図4(a)の例では、画面水平方向の位置が左端を0として0,3,6,9番目のマクロブロックにGOM同期符号を付加することができる。図4(b)の例では、画面水平方向の位置が左端を0として0,2,4,6,8,10番目で、かつ画面垂直方向の位置が上端を0として0,2,4,6,8番目のマクロブロックにGOM同期符号を付加することができる。マクロブロックの画面水平方向および垂直方向の位置をMx,My とすれば、図4(a)および(b)の例では、以下の条件が成り立つ位置のマクロブロックにGOM同期符号を付加することができる。
【0033】
(a)(Mx mod 3)=0
(b)((Mx mod 2)=0) and ((My mod 2)=0)
ここで、(A mod B)はAをBで除したときの剰余を表す。
【0034】
GOM同期符号を付加することのできる図4(a)(b)中に斜線で示すマクロブロックは、画面左上より順に0から番号付けされており、この番号が図3のシンタックスにおける位置情報GNとして符号化ビットストリーム205に付加される。すなわち、この場合の位置情報GNはGOM同期符号を付加することのできる特定位置を示す。
【0035】
図4(a)(b)の例のようにGOMを配することにより、図9(a)に示した従来のGOBのように、1ないしは数マクロブロックライン毎にしか同期符号を付加することのできない方式に比べ、同期符号を付加することのできる密度が高く、誤りが波及する範囲が狭くなるため、再生画像の品質が向上する。
【0036】
また、図9(b)に示した従来のスライスでは、同期符号を付加することのできるマクロブロックの総数が多く、同図の例のように99個のマクロブロックがある場合には、これらの全てに対して同期符号の付加された位置を特定するために、図3中の位置情報GNで示される番号付けが必要であり、この位置情報GNに多くのビット数を割り当てる必要があった。
【0037】
これに対し、図4の例では同期符号を付加することのできるマクロブロックの総数は、図4(a)の場合35個、図4(b)の場合で29個であり、位置情報GNのビット数を削減することができる。例えば、GNを固定長の2進表現で表すとすれば、スライスの場合は7ビット必要なのに対し、図4(a)の例では6ビット、図4(b)の例では5ビットで済む。これは特に、多くの同期符号を付加する場合には、大きな符号量削減につながる。
【0038】
次に、本実施形態に係る動画像復号化装置について説明する。
【0039】
図5は、図1の動画像復号化装置に対応した動画像復号化装置の構成を示すブロック図である。図5において、図1の動画像符号化装置から出力された符号化ビットストリーム205は、図示しない伝送/蓄積系を経た後、符号化ビットストリーム205’として同期検出/逆多重化器811に入力される。
【0040】
同期検出/逆多重化器811は、符号化ビットストリーム205’中の同期符号を検出するとともに、量子化されたDCT係数の可変長符号(以下、予測残差符号という)841と、予測モードおよび動きベクトル情報の可変長符号(以下、動き補償適応予測情報符号)842を分離して出力する。
【0041】
予測残差符号841は第1の可変長復号化器806に入力され、量子化されたDCT係数831が復号される。このDCT係数831は、逆量子化器807で逆量子化、逆DCT器808で離散コサイン変換、という一連の処理が施された後、加算器809で動き補償適応予測器801からの出力である動き補償適応予測信号832と加算されて再生画像信号850となる。再生画像信号850は、装置外へ出力されると共に、フレームメモリ820へ記録される。
【0042】
一方、動き補償適応予測情報符号842は第2の可変長復号化器に入力され、予測モードおよび動きベクトルの情報が復号される。復号された予測モードおよび動きベクトルの情報は動き補償適応予測器801に入力され、これらの情報とフレームメモリ820からの画像信号に基づいて動き補償予測信号832が生成される。
【0043】
以上の処理は、図1 の動画像符号化装置に対応して動画像を再生する処理であり、逆量子化器807、逆DCT器808、加算器809およびフレームメモリ820が行う処理は、それぞれ図1における逆量子化器107、逆DCT器108、加算器109およびフレームメモリ102のそれと実現手段は異なる場合もあるが、基本的に同一である。また、第1および第2の可変長復号化器806、810、同期検出/逆多重化器811の処理は、符号化ビットストリームに誤りが混入された場合を除いて、それぞれ図1における可変長符号化器106、110、多重化/同期付加器111のそれと逆の処理である。
【0044】
次に、同期検出/逆多重化器811について説明する。
【0045】
同期検出/逆多重化器811は、図2に示した多重化規則に基づいて同期符号の検出と逆多重化の処理を行う。GOM同期符号GSCおよびGOMヘッダGHは、GOMによって存在する場合と存在しない場合がある。そこで、図4(a)(b)に斜線で示したGOM同期符号を付加することのできるマクロブロックの復号を開始する時点で、GOM同期符号GSCが存在するかどうかを判定する。
【0046】
同期符号は、ユニークワードと呼ばれる、それ以外の符号列とは同一のビットパターンとならない符号語である。複数種類ある同期符号(図2ではピクチャ同期符号PSCおよびGOM同期符号GSCの2種類)はそれぞれ異なる符号語となっているため、各GOMの符号列中の最初の符号語がGOM同期符号か否かを一意に判定することが可能である。
【0047】
同期検出/逆多重化器811では、GOM同期符号GSCが検出された場合には、それに続くGOMヘッダGHも復号する。その後、そのGOMに含まれるマクロブロックレイヤの逆多重化処理を行っていく。ここで、GOMヘッダの復号化や、マクロブロックレイヤの復号化処理において、符号化ビットストリーム205’中に伝送路誤りが混入していることが発見された場合、該GOM中の後続のマクロブロックは復号処理を行わず、後続の符号列中に含まれる同期符号を検出する処理を開始する。
【0048】
このとき検出された同期符号がGOM同期符号GSCであった場合は、そのGOMのGOMヘッダを復号し、そのGOMヘッダ中に示されているGOMの画面内での位置(GOM同期符号GSCが付加された位置)を示す位置情報GNを基に該GOMの位置、すなわちGOM同期符号GSCが付加された位置を特定し、復号化処理を行っていく。
【0049】
また、検出された同期符号がピクチャ同期符号PSCであった場合は、誤りが発見されたGOMないしはその前のGOMでそのピクチャの復号を打ち切り、ピクチャ同期符号を検出したピクチャの復号を行う。
【0050】
本実施形態において、図1中の多重化/同期付加器111におけるGOM同期符号GSCの付加は、全てのGOMで行うようにしてもよいし、一部のGOMのみで行うようにしてもよい。あるいは、GOM同期符号を全く付加しなくてもよい。GOM同期符号を多く付加した方がより伝送路誤りに対する耐性が増し、高い確率で伝送路誤りが発生する場合には、図5の動画像復号化装置における再生画像の品質が向上する。ただし、多くのGOM同期符号を付加すると、GOM同期符号とGOMヘッダに伴う符号量が増加してしまい、伝送路誤りが無い時の符号化品質が低下するので、どの程度の数のGOM同期符号を付加するかは、伝送路の品質や符号化レート、入力動画像信号の性質等に応じて適応的に変えるようにすることも有効である。
【0051】
(第2の実施形態)
次に、本発明に係る第2の実施形態について説明する。本実施形態による動画像符号化装置は、入力動画像信号や動きベクトルおよび予測モードに応じてGOMの形状(GOM同期符号を挿入できるマクロブロックの位置)を決定し、それを示すGOM形状情報(GOM同期符号を挿入できるマクロブロックの位置を示す位置情報)を符号化ビットストリーム中に含めて符号化する。また、これに対応する動画像復号化装置では、入力される符号化ビットストリーム中に含まれるGOM形状情報(GOM同期符号を挿入できるマクロブロックの位置を示す位置情報)を復号し、これを用いて動画像の復号処理を行う。
【0052】
図6は、本実施形態に係る動画像符号化装置のブロック図である。図1と相対応する部分に同一の符号を付して、第1の実施形態との相違点を中心に説明すると、本実施形態でGOM形状決定器601が新たに追加され、このGOM形状決定器601からGOM形状情報602が多重化/同期符号符号化器111へ出力される。
【0053】
GOM形状決定器601では、入力動画像信号131や、動き補償適応予測器101で決定される動きベクトル、符号化モードの情報等を基にGOM形状を決定し、GOM形状情報602を出力する。GOM形状情報602は、多重化/同期符号符号化器111により可変長符号化され、符号化ビットストリーム(出力符号列)205に付加される。
【0054】
次に、GOM形状決定器601について説明する。
図7(a)(b)は、入力動画像信号131について物体検出を行い、それを基にGOM形状を決定する例を示している。まず、入力動画像信号131中の物体検出を行う。この物体検出は、入力動画像信号131から直接行ってもよいし、動きベクトルや符号化モードを基に決定してもよい。図7(a)(b)中、一点鎖線で示す領域が検出された物体である。そして、物体同士の境界や、物体と背景との境界、すなわち輪郭部にあるマクロブロックをGOM同期符号を付加できるマクロブロック(図中斜線で示すマクロブロック)として決定する。この場合、GOM同期符号を付加できるマクロブロックの位置を示す位置情報は、GOM形状情報602として符号化ビットストリーム205に付加される。
【0055】
このようにGOM形状を決定することにより、一般に画像の性質が大きく異なり、誤りが波及すると大きな画質劣化につながる、物体と背景の間や異なる物体同士の間での誤りの波及を抑えることができる。このため、伝送路誤りが起きた時の復号化装置における再生画像の劣化を防止できる。
【0056】
これらの場合において、GOM同期符号を付加できるマクロブロックの密度を物体毎に変えるようにしてもよい。図7(b)の例では、特定の領域、この例では人物の顔に相当する部分でGOM同期符号を付加できるマクロブロックの密度が高くなっており、より多くのGOM同期符号を付加することが可能となっている。人物の顔は主観的に非常に重要な情報であるため、このようにより多くのGOM同期符号を付加してその部分の誤り耐性を高めることによって主観的品質が向上する。逆に、背景のようにそれほど重要でない部分では、GOM同期符号を付加できるマクロブロックの密度を低くし、画面全体のGOM同期符号を付加できるマクロブロックの数を減らして、GOMヘッダの符号量を削減することができる。この候補として、図4に示したGOM形状や図9に示した従来のGOB/スライスに対応するGOM形状を含めるようにしてもよい。
【0057】
GOM形状決定器601でのGOM同期符号を付加できるマクロブロックは、予め用意された複数の候補の中から選択して決定するようにしてもよい。この場合、この選択決定に係る情報をGOM形状情報602として符号化する。
【0058】
GOM形状情報は、ピクチャヘッダPHに含めて符号化してもよいし、ピクチャよりもさらに上位のレイヤ(GOPレイヤ、セッションレイヤ、シーケンスレイヤ等)がある場合には、その中に含めて符号化してもよい。
【0059】
次に、本実施形態に係る動画像復号化装置について説明する。
図8は、図6の動画像符号化装置に対応した動画像復号化装置の構成を示すブロック図である。図5と相対応する部分に同一の符号を付してその相違点を中心に説明すると、本実施形態においてはGOM形状情報を復号するGOM形状復号器815が新たに追加されている。
【0060】
同期検出/逆多重化器811では、入力される符号化ビットストリーム中205’に含まれる、GOM形状情報を可変長符号化したGOM形状情報符号843を逆多重化し、GOM形状復号器815へ出力する。GOM形状復号器815はGOM形状情報符号843を復号し、GOM形状情報839を同期検出/逆多重化器811へ出力する。
【0061】
同期検出/逆多重化器811は、この復号されたGOM形状情報839を基に、GOM同期符号の検出とGOMヘッダの復号を行う。
【0062】
GOMの画面内での位置と図3中のGNとの関連付けはGOM形状によって決まるので、本実施形態の動画像復号化装置では、復号したGOM形状情報839と、GNの値を基に復号したGOMの画面内の位置を特定する。さらには、GOM同期符号を付加することのできるマクロブロックは、復号されたGOM形状情報により特定されるので、第1の実施形態で述べたようなGOM同期符号が付加されたか否かの判定も、このマクロブロックで行えばよい。
【0063】
本実施形態において、GOM形状は符号量に応じて決定するようにしてもよい。例えば、各GOMの符号量がほぼ一定となるようにGOM形状を決定する。具体的には、GOM形状決定器601において、GOM内の各マクロブロックの符号量の総和を計数していき、その合計が予め定められた値、ないしは、入力動画像信号や伝送路の性質等に応じて決められた値を越えた場合に、そのマクロブロックを該GOM内の最後のマクロブロックとして決定すればよい。
【0064】
動きベクトル情報やDCT係数のDC成分の情報符号化の際に、隣接のマクロブロック内の情報からその予測値を求め、これとの差分をとって符号化する画像符号化方式においては、異なるGOMの中の動きベクトル情報、DCT係数のDC成分の情報等は、予測値を求めるのに用いず、同じGOM内のデータのみを用いるようにしても良い。これにより、他のGOMのデータに伝送路誤りが混入してもその影響が波及しなくなるため、伝送路誤りがあったときの再生画像の品質が向上する。本発明による動画像符号化装置ではGOM形状を入力動画像信号の性質や動きベクトル情報、符号化モード情報、DCT係数の成分等に応じて制御することができるため、このような予測の制限を行っても予測効率の低下を小さく抑えることができる。
【0065】
すなわち、GOM形状決定器601において、予測の制限を行った場合の符号量の、制限を行わなかった場合の符号量に対する増加量が小さくなるようにGOM形状を決定すればよい。これには、実際に符号化を行ったときの符号量を基に制御を行ってもよいし、予測残差の大きさが制限を行わない場合に比べてなるべく大きくならないように制御を行ってもよい。
【0066】
左隣のマクロブロック、ないしは、左隣を含む複数のマクロブロックのデータから予測値を求める符号化方式においては、画面左隣のマクロブロックではその左隣のマクロブロックが存在しないために、他のマクロブロックに比べ予測効率が低下する。そこで、画面左端もマクロブロックをGOMの最初のマクロブロック、すなわち、同期符号を挿入できるマクロブロックとすることにより、予測のGOM内制限を行ったことによる符号量の増加を少なくすることができる。
【0067】
これらの予測の制限を考慮したGOM形状制御は、前述の符号量を考慮したGOM形状制御と組み合わせて用いるようにしてもよい。例えば、GOM形状決定器601においてGOM内の各マクロブロックの符号量の総和を計数していき、その合計が予め定められた値、ないしは、入力動画像信号や伝送路の性質等に応じて決められた値を越えた場合に、そのマクロブロックをそのGOM内の最後のマクロブロックの候補として決める。次に、この候補マクロブロックおよびその前後に符号化を行ういく画面左端のマクロブロックを選択し、これを次のGOMの最初のマクロブロック、すなわち、同期符号を挿入できるマクロブロックとして決定するようにしてもよい。
【0068】
【発明の効果】
以上説明したように、本発明によれば同期符号を付加することができる位置を画面内の少なくとも水平方向の位置を間欠的に異ならせた複数の特定位置としたことにより、従来のGOBのように1ないしは複数のマクロブロックライン毎にしか同期符号を付加できないといった制約を受けることなく同期符号を付加できる。従って、伝送路誤りの影響を狭い範囲に限定することができ、再生画像の品質が向上し、また従来のスライスを用いる方式に比べ、同期符号を付加できるマクロブロックの数が少なくなり、この位置を識別する情報を少ないビット数に抑えることができるため、符号量を削減することができる。
【0069】
また、本発明によれば同期符号を付加することができる画面内の特定位置を示す情報を符号化ビットストリーム中に含めて符号化することにより、例えば符号化する入力画像信号の性質や、符号化ビットストリームを伝送する伝送路の性質等に応じて、同期符号を付加することができる位置や数を制御することが可能となるため、従来のGOBやスライスに比べてより効果的に同期符号の付加を行うことができ、再生画像の品質が向上する。
【0070】
さらに、同期符号を付加することができる画面内の複数の特定位置を画面内の輪郭部や予め定められた特定の領域、すなわち画面内の人物などの物体を囲む位置や、その物体内などに定めることにより、視覚的に重要な情報である人物その他の情報をより強く誤り保護するように同期符号を付加することができ、伝送路誤りが生じたときの再生画像の品質を向上させることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る動画像符号化装置の構成を示すブロック図
【図2】図1の動画像符号化装置における多重化/同期付加器での多重化の規則を示す図
【図3】図1の動画像符号化装置における符号化ビットストリームのGOMヘッダに含まれる情報を示す図
【図4】図1の動画像符号化装置における同期符号を付加できるマクロブロックの例を示す図
【図5】本発明の第1の実施形態に係る動画像復号化装置の構成を示すブロック図
【図6】本発明の第2の実施形態に係る動画像符号化装置の構成を示すブロック図
【図7】図6の動画像符号化装置における同期符号を付加できるマクロブロックの例を示す図
【図8】本発明の第2の実施形態に係る動画像復号化装置の構成を示すブロック図
【図9】従来の動画像符号化装置および復号化装置における同期符号を付加できるマクロブロックを示す図
【符号の説明】
101…動き補償適応予測器
102…フレームメモリ
104…離散コサイン変換器
105…量子化器
107…逆量子化器
108…逆離散コサイン変換器
111…多重化/同期付加器
131…入力動画像信号
205,205’…符号化ビットストリーム
601…GOM形状決定器
602…GOM形状情報
801…動き補償適応予測器
807…逆量子化器
808…逆離散コサイン変換器
811…同期検出/逆多重化器
820…フレームメモリ
850…再生画像信号
815…GOM形状情報復号器
843…GOM形状情報符号
839…GOM形状情報
Claims (4)
- 画像信号を圧縮符号化して圧縮符号を出力する画像符号化手段と、
前記画像符号化手段から出力される圧縮符号を多重化すると共に同期符号を付加して符号化ビットストリームを出力する多重化/同期付加手段とを有し、
前記多重化/同期付加手段は、画面内の複数の特定マクロブロックにのみ前記同期符号の付加を許容するように構成されると共に、前記特定マクロブロックの位置を示す第1の位置情報を前記符号化ビットストリーム中のピクチャヘッダまたはピクチャより上位のレイヤに含め、さらに同期符号を付加した場合には前記複数の特定マクロブロック中の該同期符号を付加したマクロブロックの位置を示す第2の位置情報を前記符号化ビットストリーム中に付加することを特徴とする画像符号化装置。 - 前記特定マクロブロックの位置は、画面内の輪郭部および予め定められた特定の領域の少なくとも一方に定められていることを特徴とする請求項1に記載の画像符号化装置。
- 入力される符号化ビットストリーム中の同期符号を検出すると共に該符号化ビットストリーム中の圧縮符号を逆多重化する同期検出/逆多重化手段と、
前記同期検出/逆多重化手段から出力される逆多重化された圧縮符号を復号して画像信号を再生する画像復号手段とを有し、
符号化ビットストリーム中の前記同期符号は、画面内の前記同期信号の付加が許容された複数の特定マクロブロック中の少なくとも一つのマクロブロックにのみ付加されており、
前記同期検出/逆多重化手段は、符号化ビットストリーム中の前記特定マクロブロックの位置を示すために前記符号化ビットストリーム中のピクチャヘッダまたはピクチャより上位のレイヤに含ませた第1の位置情報を検出し、該検出した第1の位置情報に基づいて前記同期符号を検出すると共に、前記複数の特定位置の中の該同期信号が付加されたマクロブロックの位置を示す第2の位置情報を検出し、該検出した第2の位置情報を基に該同期信号が付加されたマクロブロックの位置を特定することを特徴とする画像復号化装置。 - 前記特定マクロブロックの位置は、画面内の輪郭部および予め定められた特定の領域の少なくとも一方に定められていることを特徴とする請求項3に記載の画像復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23236396A JP3905938B2 (ja) | 1996-09-02 | 1996-09-02 | 画像符号化装置および画像復号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23236396A JP3905938B2 (ja) | 1996-09-02 | 1996-09-02 | 画像符号化装置および画像復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1079946A JPH1079946A (ja) | 1998-03-24 |
JP3905938B2 true JP3905938B2 (ja) | 2007-04-18 |
Family
ID=16938049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23236396A Expired - Fee Related JP3905938B2 (ja) | 1996-09-02 | 1996-09-02 | 画像符号化装置および画像復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3905938B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012049912A (ja) * | 2010-08-27 | 2012-03-08 | Canon Inc | 光電変換装置および撮像システム |
-
1996
- 1996-09-02 JP JP23236396A patent/JP3905938B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1079946A (ja) | 1998-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100564896B1 (ko) | 화상부호화방법 및 장치와 기록매체 | |
EP0920214B1 (en) | Apparatus and method of coding/decoding moving picture | |
US5771081A (en) | Bit system for transmitting digital video data | |
EP1032212A2 (en) | Transcoder, transcoding system, and recording medium | |
JPH09187007A (ja) | 誤りを含むデータストリームへの再同期の方法と、符号化器及び復号化器 | |
JP3415319B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP3818819B2 (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
JPH10174098A (ja) | 映像データ圧縮装置およびその方法 | |
JP3905938B2 (ja) | 画像符号化装置および画像復号化装置 | |
JP3756897B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JPH08251597A (ja) | 動画像符号化/復号化装置 | |
JPH10174106A (ja) | 映像データ圧縮装置およびその方法 | |
JP4175565B2 (ja) | 画像伝送装置 | |
JP4302093B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP3474861B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP3474859B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP3756898B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP3756900B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP3474860B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP3756902B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP3474862B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP3756901B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP3756899B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP4302094B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP2003102004A (ja) | 画像符号化方法および画像復号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060411 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070115 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140119 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |