JP3905938B2 - 画像符号化装置および画像復号化装置 - Google Patents
画像符号化装置および画像復号化装置 Download PDFInfo
- Publication number
- JP3905938B2 JP3905938B2 JP23236396A JP23236396A JP3905938B2 JP 3905938 B2 JP3905938 B2 JP 3905938B2 JP 23236396 A JP23236396 A JP 23236396A JP 23236396 A JP23236396 A JP 23236396A JP 3905938 B2 JP3905938 B2 JP 3905938B2
- Authority
- JP
- Japan
- Prior art keywords
- gom
- synchronization
- added
- code
- synchronization code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＴＶ電話、ＴＶ会議システム、携帯情報端末、デジタルビデオディスクシステム、デジタルＴＶ放送システムのように画像信号を伝送／蓄積するシステムにおいて、画像を少ない情報量に圧縮符号化する装置および圧縮符号化された情報を復元し画像を再生する装置に係り、特に無線伝送路のような誤りが生じやすい媒体を介して符号化画像を伝送／蓄積する場合でも誤り耐性が強く高品質に画像伝送／蓄積を行うことができる画像符号化装置および復号化装置に関する。
【０００２】
【従来の技術】
画像信号を伝送、蓄積するために少ない情報量に圧縮符号化する技術として、離散コサイン変換（ＤＣＴ）符号化、サブバンド符号化、ピラミッド符号化、可変長符号化等の方式や、これらを組み合わせた方式など様々な方式が開発されている。また、画像信号の圧縮符号化の国際標準方式として、静止画の符号化ではＩＳＯ・ＪＰＥＧ、動画像の符号化ではＩＳＯ・ＭＰＥＧ１、ＭＰＥＧ２、ＩＴＵ−Ｔ・Ｈ．２６１，Ｈ．２６２、Ｈ．２６３が規定されている。これらはいずれもコサイン変換符号化を用いた方式であり、文献１：安田浩編著、”ＭＰＥＧ／マルチメディア符号化の国際標準”、丸善、（平成６年９月）、等に詳細が述べられている。
【０００３】
画像信号を圧縮符号化技術を用いて少ない情報量に符号化することにより、例えば、無線回線等の伝送路容量が限定された伝送路において画像を伝送することが可能になり、例えば無線伝送機能を付加したＴＶ電話装置、携帯情報端末、パソコン、ワークステーション等の間で静止画や動画像の画像通信が可能となる。しかし、無線伝送路は一般に伝送路誤りが混入する確率が高く、圧縮符号化された画像を無線伝送路で伝送する場合、復号された再生画像が伝送路誤りの影響で劣化してしまうことがある。
【０００４】
前述の国際標準方式をはじめとする従来の画像符号化方式では、入力画像信号をブロックまたはマクロブロックと呼ばれる小領域に分割して予測符号化または動き補償予測符号化を行った後、符号化モード情報、動きベクトル情報、ＤＣＴ係数情報等を可変長符号化して圧縮符号を生成し、これらを多重化して符号化ビットストリームとして伝送する。
【０００５】
このような可変長符号化を用いる画像符号化方式においては、伝送路誤りが混入することにより復号化装置で可変長復号化の同期外れと呼ばれる現象が生じることがある。同期外れが起こると、可変長復号化において伝送路誤りによって符号表に無い符号列が検出されてしまったり、予め定められたシンタックス、セマンティックスに違反する状態が検出されてしまう。このような現象が生じた場合には、次の同期符号が検出されるまで情報の復号が全くできないため、再生画像に大きな劣化を生じる。
【０００６】
また、従来の画像符号化方式では動きベクトル情報や、ＤＣＴ係数のＤＣ成分の情報等は隣接のブロックやマクロブロックとの差分をとって符号化する方法がとられる。この場合、ある動きベクトル情報やＤＣ成分の情報等に誤りが混入して復号値が誤った値になると、これらの情報との差分をとって符号化を行った情報にもその誤りの影響が波及してしまい、画面内の広い領域にわたって再生画像の品質が劣化する。
【０００７】
このような現象を抑えるため、従来の画像符号化方式では同期符号を小領域毎に付加し、差分をとる範囲をその小領域内に限定することによって、可変長符号化の同期外れと差分符号化による画質劣化の波及を小さな領域に抑えるＧＯＢ／スライスと呼ばれる技術が用いられている。
【０００８】
図９は、ＧＯＢ／スライスにおける領域分割の例を示したものである。図中、実線ないし破線で区切られた小さな正方形がマクロブロックである。また、実線で囲まれた領域がＧＯＢ／スライスであり、図中ドット模様で示すマクロブロックがＧＯＢ／スライス同期符号を付加することのできるマクロブロックである。しかし、これら従来の方式は以下に示す問題点がある。
【０００９】
図９（ａ）のＧＯＢは、同期符号を付加できるのは画面の左端のマクロブロックだけである。従って、同期符号で誤りの波及を抑える領域の単位は１ないしは複数のマクロブロックラインといった大きな領域である。このため、誤りが波及する範囲が広く、大きな画質劣化が生じてしまう。
【００１０】
図９（ｂ）のスライスは、全てのマクロブロックに同期符号を付加できる。このため、誤りが波及する範囲を小さくすることができる反面、同期符号が付加された位置を示す位置情報の伝送に多くのビット数が必要となり、符号量が増加してしまう。
【００１１】
図９（ｃ）の同期符号を固定マクロブロック毎に付加する方式は、その固定マクロブロック数（図の例では３）が画面内の水平マクロブロック数（図の例では１１）の約数でないと、図に示すようにマクロブロックの垂直位置によって同期符号を挿入できるマクロブロックの水平位置が異なってしまうという問題点がある。
【００１２】
【発明が解決しようとする課題】
上述したように、ＧＯＢ／スライスといった手法により同期符号を符号化ビットストリームに付加して、画質劣化の波及を小さな領域に抑える従来の画像符号化／復号化装置では、同期符号を付加できる単位が大きく、誤りが広い範囲に波及して大きな画質劣化が生じてしまうという問題点や、同期符号が付加された位置を示す位置情報の伝送に多くのビット数が必要であるために符号量が増加してしまうという問題点があった。
【００１３】
本発明は、このような従来の問題点を解決し、符号量を大きく増加させることなく誤り耐性を高くすることができる画像符号化装置および画像復号化装置を提供することを目的とする。
【００１４】
【発明を解決するための手段】
本発明に係る第１の画像符号化装置は、画像信号を圧縮符号化して圧縮符号を出力する画像符号化手段と、この画像符号化手段から出力される圧縮符号を多重化すると共に同期符号を付加して符号化ビットストリームを出力する多重化／同期付加手段とを有し、多重化／同期付加手段は、画面内の少なくとも水平方向の位置を間欠的に異ならせた複数の特定位置にのみ同期符号を付加できるように構成されると共に、同期符号を付加した場合には複数の特定位置の中の該同期符号を付加した位置を示す位置情報を符号化ビットストリーム中に付加することを特徴とする。
【００１５】
また、第１の画像符号化装置に対応する第１の画像復号化装置は、入力される符号化ビットストリーム中の同期符号を検出すると共に該符号化ビットストリーム中の圧縮符号を逆多重化する同期検出／逆多重化手段と、同期検出／逆多重化手段から出力される逆多重化された圧縮符号を復号して画像信号を再生する画像復号手段とを有し、符号化ビットストリーム中の同期符号は、画面内の少なくとも水平方向の位置を間欠的に異ならせた複数の特定位置のうちの少なくとも一つの位置にのみ付加されており、同期検出／逆多重化手段は、符号化ビットストリーム中の同期符号を検出すると共に、複数の特定位置の中の該同期信号が付加された位置を示す位置情報を検出することを特徴とする。
【００１６】
この第１の画像符号化装置／復号化装置では、同期符号が存在できる位置を画面内の少なくとも水平方向の位置を間欠的に異ならせた複数の特定位置としているため、従来のＧＯＢのように１ないしは複数のマクロブロックライン毎にしか同期符号を付加できないといった制約無しに同期符号を付加できる。従って、伝送路誤りの影響を狭い範囲に限定することができ、再生画像の品質が向上する。また、従来のスライスを用いる方式に比べ、同期符号を付加できるマクロブロックの数が少なく、この位置を識別する情報を少ないビット数に抑えることができるため、符号量が削減される。
【００１７】
本発明に係る第２の画像符号化装置は、画像信号を圧縮符号化して圧縮符号を出力する画像符号化手段と、画像符号化手段から出力される圧縮符号を多重化すると共に同期符号を付加して符号化ビットストリームを出力する多重化／同期付加手段とを有し、前記多重化／同期付加手段は、画面内の複数の特定位置にのみ同期符号を付加できるように構成されると共に、特定位置を示す第１の位置情報を符号化ビットストリーム中に含め、さらに同期符号を付加した場合には複数の特定位置の中の該同期符号を付加した位置を示す第２の位置情報を符号化ビットストリーム中に付加することを特徴とする。
【００１８】
また、第１の画像符号化装置に対応する第１の画像復号化装置は、入力される符号化ビットストリーム中の同期符号を検出すると共に該符号化ビットストリーム中の圧縮符号を逆多重化する同期検出／逆多重化手段と、同期検出／逆多重化手段から出力される逆多重化された圧縮符号を復号して画像信号を再生する画像復号手段とを有し、符号化ビットストリーム中の同期符号は、画面内の複数の特定位置の少なくとも一つの位置にのみ付加されており、同期検出／逆多重化手段は、符号化ビットストリーム中の特定位置を示す第１の位置情報を検出し、これに基づいて同期符号を検出すると共に、複数の特定位置の中の該同期信号が付加された位置を示す第２の位置情報を検出することを特徴とする。
【００１９】
この第２の画像符号化装置／復号化装置では、同期符号を付加することができる画面内の特定位置を示す情報を符号化ビットストリーム中に含めて符号化するため、例えば符号化する入力画像信号の性質や、符号化ビットストリームを伝送する伝送路の性質等に応じて、同期符号を付加することができる位置や数を制御することが可能である。このため、従来のＧＯＢやスライスに比べてより効果的に同期符号の付加を行うことができ、再生画像の品質が向上する。
【００２０】
本発明においては、同期符号を付加することができる画面内の複数の特定位置を予め規則的に定めてもよいし、画面内の輪郭部および予め定められた特定の領域の少なくとも一方、具体的には画面内の人物などの物体を囲む位置や、その物体内などに定めてもよい。
【００２１】
こうすることにより、視覚的に重要な情報である人物その他の情報をより強く誤り保護するように同期符号を付加することができ、伝送路誤りが生じたときの再生画像の品質が向上する。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００２３】
（第1 の実施形態）
図１は、動き補償適応予測と直交符号化の一種である離散コサイン変換符号化を用いた動画像高能率圧縮符号化装置の例である。動き補償適応予測離散コサイン変換符号化方式については、前述の文献１等に詳しいので、動作の概略のみを説明し、従来方式との差異を詳細に説明する。
【００２４】
図１において、フレーム単位で入力される符号化対象の入力動画像信号１３１は、まずマクロブロック等の小領域単位で動き補償適応予測が行われる。すなわち、動き補償適応予測器１０１において、入力動画像信号１３１とフレームメモリ１０２中に蓄えられている既に符号化／局部復号化が行われた画像信号との間の動きベクトルが検出され、この動きベクトルに基づいて動き補償予測により予測信号１３２が作成される。この動き補償予測器１０１においては、動き補償予測符号化と、入力動画像信号１３１をそのまま符号化するフレーム内符号化（予測信号＝０）のうち、符号化に用いて好適な方の予測モードが選択され、対応する予測信号１３２が出力される。
【００２５】
予測信号１３２は減算器１０３に入力され、入力動画像信号１３１から予測信号１３２が減算されることによって予測残差信号１３３が出力される。予測残差信号１３３は、離散コサイン変換器１０４において一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）され、ＤＣＴ係数が生成される。このＤＣＴ係数は、量子化器１０５で量子化される。量子化器１０５からの量子化されたＤＣＴ係数データは２分岐され、一方は第１の可変長符号化器１０６で可変長符号化され、他方は逆量子化器１０７で逆量子化された後、逆離散コサイン変換器１０８で逆離散コサイン変換（逆ＤＣＴ）されることによって、予測残差信号が復号される。逆離散コサイン変換器１０８から出力される予測残差信号は加算器１０９において予測信号１３２と加算され、局部復号信号が生成される。この局部復号信号は、フレームメモリ１０２に記憶される。
【００２６】
一方、動き補償適応予測器１０１において決定された予測モードおよび動きベクトルの情報は、第２の可変長符号化器１１０で可変長符号化される。ただし、動きベクトルの情報は隣接の既に符号化された動きベクトルの情報から求められた予測動きベクトルとの差分がとられ、これが可変長符号化される。
【００２７】
第１、第２の可変長符号化器１０６，１１０から出力される可変長符号（圧縮符号）は、多重化／同期付加器１１１において可変長符号化器１０６，１１０から出力される圧縮符号の多重化と同期符号の付加が行われ、符号化ビットストリーム２０５となる。
【００２８】
次に、多重化／同期付加器１１１について説明する。
図２は、多重化／同期付加器１１１における多重化の流れを示す図である。多重化は、ブロック、複数のブロックからなるマクロブロック（ＭＢ）、１ないし複数のマクロブロックからなるＧＯＭ(Group of Macroblocks)（ＧＯＢ、スライス等とも呼ばれる）、１ないし複数のＧＯＭからなるピクチャ（画面またはフレームともいう）の各レイヤからなる。さらに、１ないし複数のピクチャからなるＧＯＰ(Group of Pictures) 、シーケンス、セッション等のレイヤを用いても良い。
【００２９】
ピクチャレイヤは、図２（ａ）に示すようにピクチャ同期符号（ＰＳＣ）、そのピクチャの符号化モード等を示すピクチャヘッダ（ＰＨ）で始まり、１ないし複数のＧＯＭレイヤが続く。
ＧＯＭレイヤは、図２（ｂ）に示すように必要に応じてＧＯＭ同期符号（ＧＳＣ）およびそのＧＯＭの画面内での位置や符号化モード等を示すＧＯＭヘッダ（ＧＨ）から始まり、そのＧＯＭに含まれる１ないしは複数のマクロブロックが続く。
マクロブロックレイヤは、図２（ｃ）に示すようにそのマクロブロックの符号化モード情報、動きベクトル情報およびそのマクロブロックに含まれる複数のブロックが含まれる。
【００３０】
図３は、ＧＯＭヘッダ（ＧＨ）に含まれる情報の例を示した図である。ＧＯＭヘッダには、そのＧＯＭの符号化モードを示す符号化モード情報ＧＭ、そのＧＯＭのピクチャ（画面）内での位置を示す位置情報ＧＮ、そのＧＯＭに含まれるＤＣＴ係数の量子化ステップサイズを示すステップサイズ情報ＧＱからなる。
【００３１】
図４は、ＧＯＭ形状の２つの例を示す図である。図中、実線がＧＯＭの境界を示し、破線がＧＯＭ中のマクロブロックの境界を示している。ＧＯＭ内の斜線で示した最初のマクロブロックがＧＯＭ同期符号ＧＳＣを付加することのできるマクロブロック、すなわちＧＯＭ同期符号ＧＳＣの付加が許容される特定位置である。ただし、画面内の最初のＧＯＭにはピクチャ同期符号ＰＳＣが付加されるので、ＧＯＭ同期符号ＧＳＣは付加されない。
【００３２】
図４（ａ）の例では、画面水平方向の位置が左端を０として０，３，６，９番目のマクロブロックにＧＯＭ同期符号を付加することができる。図４（ｂ）の例では、画面水平方向の位置が左端を０として０，２，４，６，８，１０番目で、かつ画面垂直方向の位置が上端を０として０，２，４，６，８番目のマクロブロックにＧＯＭ同期符号を付加することができる。マクロブロックの画面水平方向および垂直方向の位置をＭx,Ｍy とすれば、図４（ａ）および（ｂ）の例では、以下の条件が成り立つ位置のマクロブロックにＧＯＭ同期符号を付加することができる。
【００３３】
（ａ）（Ｍx mod ３）＝０
（ｂ）((Ｍx mod ２）＝０) and ((Ｍy mod ２）＝０）
ここで、（Ａ mod Ｂ）はＡをＢで除したときの剰余を表す。
【００３４】
ＧＯＭ同期符号を付加することのできる図４（ａ）（ｂ）中に斜線で示すマクロブロックは、画面左上より順に０から番号付けされており、この番号が図３のシンタックスにおける位置情報ＧＮとして符号化ビットストリーム２０５に付加される。すなわち、この場合の位置情報ＧＮはＧＯＭ同期符号を付加することのできる特定位置を示す。
【００３５】
図４（ａ）（ｂ）の例のようにＧＯＭを配することにより、図９（ａ）に示した従来のＧＯＢのように、１ないしは数マクロブロックライン毎にしか同期符号を付加することのできない方式に比べ、同期符号を付加することのできる密度が高く、誤りが波及する範囲が狭くなるため、再生画像の品質が向上する。
【００３６】
また、図９（ｂ）に示した従来のスライスでは、同期符号を付加することのできるマクロブロックの総数が多く、同図の例のように９９個のマクロブロックがある場合には、これらの全てに対して同期符号の付加された位置を特定するために、図３中の位置情報ＧＮで示される番号付けが必要であり、この位置情報ＧＮに多くのビット数を割り当てる必要があった。
【００３７】
これに対し、図４の例では同期符号を付加することのできるマクロブロックの総数は、図４（ａ）の場合３５個、図４（ｂ）の場合で２９個であり、位置情報ＧＮのビット数を削減することができる。例えば、ＧＮを固定長の２進表現で表すとすれば、スライスの場合は７ビット必要なのに対し、図４（ａ）の例では６ビット、図４（ｂ）の例では５ビットで済む。これは特に、多くの同期符号を付加する場合には、大きな符号量削減につながる。
【００３８】
次に、本実施形態に係る動画像復号化装置について説明する。
【００３９】
図５は、図１の動画像復号化装置に対応した動画像復号化装置の構成を示すブロック図である。図５において、図１の動画像符号化装置から出力された符号化ビットストリーム２０５は、図示しない伝送／蓄積系を経た後、符号化ビットストリーム２０５’として同期検出／逆多重化器８１１に入力される。
【００４０】
同期検出／逆多重化器８１１は、符号化ビットストリーム２０５’中の同期符号を検出するとともに、量子化されたＤＣＴ係数の可変長符号（以下、予測残差符号という）８４１と、予測モードおよび動きベクトル情報の可変長符号（以下、動き補償適応予測情報符号）８４２を分離して出力する。
【００４１】
予測残差符号８４１は第１の可変長復号化器８０６に入力され、量子化されたＤＣＴ係数８３１が復号される。このＤＣＴ係数８３１は、逆量子化器８０７で逆量子化、逆ＤＣＴ器８０８で離散コサイン変換、という一連の処理が施された後、加算器８０９で動き補償適応予測器８０１からの出力である動き補償適応予測信号８３２と加算されて再生画像信号８５０となる。再生画像信号８５０は、装置外へ出力されると共に、フレームメモリ８２０へ記録される。
【００４２】
一方、動き補償適応予測情報符号８４２は第２の可変長復号化器に入力され、予測モードおよび動きベクトルの情報が復号される。復号された予測モードおよび動きベクトルの情報は動き補償適応予測器８０１に入力され、これらの情報とフレームメモリ８２０からの画像信号に基づいて動き補償予測信号８３２が生成される。
【００４３】
以上の処理は、図1 の動画像符号化装置に対応して動画像を再生する処理であり、逆量子化器８０７、逆ＤＣＴ器８０８、加算器８０９およびフレームメモリ８２０が行う処理は、それぞれ図１における逆量子化器１０７、逆ＤＣＴ器１０８、加算器１０９およびフレームメモリ１０２のそれと実現手段は異なる場合もあるが、基本的に同一である。また、第１および第２の可変長復号化器８０６、８１０、同期検出／逆多重化器８１１の処理は、符号化ビットストリームに誤りが混入された場合を除いて、それぞれ図１における可変長符号化器１０６、１１０、多重化／同期付加器１１１のそれと逆の処理である。
【００４４】
次に、同期検出／逆多重化器８１１について説明する。
【００４５】
同期検出／逆多重化器８１１は、図２に示した多重化規則に基づいて同期符号の検出と逆多重化の処理を行う。ＧＯＭ同期符号ＧＳＣおよびＧＯＭヘッダＧＨは、ＧＯＭによって存在する場合と存在しない場合がある。そこで、図４（ａ）（ｂ）に斜線で示したＧＯＭ同期符号を付加することのできるマクロブロックの復号を開始する時点で、ＧＯＭ同期符号ＧＳＣが存在するかどうかを判定する。
【００４６】
同期符号は、ユニークワードと呼ばれる、それ以外の符号列とは同一のビットパターンとならない符号語である。複数種類ある同期符号（図２ではピクチャ同期符号ＰＳＣおよびＧＯＭ同期符号ＧＳＣの２種類）はそれぞれ異なる符号語となっているため、各ＧＯＭの符号列中の最初の符号語がＧＯＭ同期符号か否かを一意に判定することが可能である。
【００４７】
同期検出／逆多重化器８１１では、ＧＯＭ同期符号ＧＳＣが検出された場合には、それに続くＧＯＭヘッダＧＨも復号する。その後、そのＧＯＭに含まれるマクロブロックレイヤの逆多重化処理を行っていく。ここで、ＧＯＭヘッダの復号化や、マクロブロックレイヤの復号化処理において、符号化ビットストリーム２０５’中に伝送路誤りが混入していることが発見された場合、該ＧＯＭ中の後続のマクロブロックは復号処理を行わず、後続の符号列中に含まれる同期符号を検出する処理を開始する。
【００４８】
このとき検出された同期符号がＧＯＭ同期符号ＧＳＣであった場合は、そのＧＯＭのＧＯＭヘッダを復号し、そのＧＯＭヘッダ中に示されているＧＯＭの画面内での位置（ＧＯＭ同期符号ＧＳＣが付加された位置）を示す位置情報ＧＮを基に該ＧＯＭの位置、すなわちＧＯＭ同期符号ＧＳＣが付加された位置を特定し、復号化処理を行っていく。
【００４９】
また、検出された同期符号がピクチャ同期符号ＰＳＣであった場合は、誤りが発見されたＧＯＭないしはその前のＧＯＭでそのピクチャの復号を打ち切り、ピクチャ同期符号を検出したピクチャの復号を行う。
【００５０】
本実施形態において、図１中の多重化／同期付加器１１１におけるＧＯＭ同期符号ＧＳＣの付加は、全てのＧＯＭで行うようにしてもよいし、一部のＧＯＭのみで行うようにしてもよい。あるいは、ＧＯＭ同期符号を全く付加しなくてもよい。ＧＯＭ同期符号を多く付加した方がより伝送路誤りに対する耐性が増し、高い確率で伝送路誤りが発生する場合には、図５の動画像復号化装置における再生画像の品質が向上する。ただし、多くのＧＯＭ同期符号を付加すると、ＧＯＭ同期符号とＧＯＭヘッダに伴う符号量が増加してしまい、伝送路誤りが無い時の符号化品質が低下するので、どの程度の数のＧＯＭ同期符号を付加するかは、伝送路の品質や符号化レート、入力動画像信号の性質等に応じて適応的に変えるようにすることも有効である。
【００５１】
（第２の実施形態）
次に、本発明に係る第２の実施形態について説明する。本実施形態による動画像符号化装置は、入力動画像信号や動きベクトルおよび予測モードに応じてＧＯＭの形状（ＧＯＭ同期符号を挿入できるマクロブロックの位置）を決定し、それを示すＧＯＭ形状情報（ＧＯＭ同期符号を挿入できるマクロブロックの位置を示す位置情報）を符号化ビットストリーム中に含めて符号化する。また、これに対応する動画像復号化装置では、入力される符号化ビットストリーム中に含まれるＧＯＭ形状情報（ＧＯＭ同期符号を挿入できるマクロブロックの位置を示す位置情報）を復号し、これを用いて動画像の復号処理を行う。
【００５２】
図６は、本実施形態に係る動画像符号化装置のブロック図である。図１と相対応する部分に同一の符号を付して、第１の実施形態との相違点を中心に説明すると、本実施形態でＧＯＭ形状決定器６０１が新たに追加され、このＧＯＭ形状決定器６０１からＧＯＭ形状情報６０２が多重化／同期符号符号化器１１１へ出力される。
【００５３】
ＧＯＭ形状決定器６０１では、入力動画像信号１３１や、動き補償適応予測器１０１で決定される動きベクトル、符号化モードの情報等を基にＧＯＭ形状を決定し、ＧＯＭ形状情報６０２を出力する。ＧＯＭ形状情報６０２は、多重化／同期符号符号化器１１１により可変長符号化され、符号化ビットストリーム（出力符号列）２０５に付加される。
【００５４】
次に、ＧＯＭ形状決定器６０１について説明する。
図７（ａ）（ｂ）は、入力動画像信号１３１について物体検出を行い、それを基にＧＯＭ形状を決定する例を示している。まず、入力動画像信号１３１中の物体検出を行う。この物体検出は、入力動画像信号１３１から直接行ってもよいし、動きベクトルや符号化モードを基に決定してもよい。図７（ａ）（ｂ）中、一点鎖線で示す領域が検出された物体である。そして、物体同士の境界や、物体と背景との境界、すなわち輪郭部にあるマクロブロックをＧＯＭ同期符号を付加できるマクロブロック（図中斜線で示すマクロブロック）として決定する。この場合、ＧＯＭ同期符号を付加できるマクロブロックの位置を示す位置情報は、ＧＯＭ形状情報６０２として符号化ビットストリーム２０５に付加される。
【００５５】
このようにＧＯＭ形状を決定することにより、一般に画像の性質が大きく異なり、誤りが波及すると大きな画質劣化につながる、物体と背景の間や異なる物体同士の間での誤りの波及を抑えることができる。このため、伝送路誤りが起きた時の復号化装置における再生画像の劣化を防止できる。
【００５６】
これらの場合において、ＧＯＭ同期符号を付加できるマクロブロックの密度を物体毎に変えるようにしてもよい。図７（ｂ）の例では、特定の領域、この例では人物の顔に相当する部分でＧＯＭ同期符号を付加できるマクロブロックの密度が高くなっており、より多くのＧＯＭ同期符号を付加することが可能となっている。人物の顔は主観的に非常に重要な情報であるため、このようにより多くのＧＯＭ同期符号を付加してその部分の誤り耐性を高めることによって主観的品質が向上する。逆に、背景のようにそれほど重要でない部分では、ＧＯＭ同期符号を付加できるマクロブロックの密度を低くし、画面全体のＧＯＭ同期符号を付加できるマクロブロックの数を減らして、ＧＯＭヘッダの符号量を削減することができる。この候補として、図４に示したＧＯＭ形状や図９に示した従来のＧＯＢ／スライスに対応するＧＯＭ形状を含めるようにしてもよい。
【００５７】
ＧＯＭ形状決定器６０１でのＧＯＭ同期符号を付加できるマクロブロックは、予め用意された複数の候補の中から選択して決定するようにしてもよい。この場合、この選択決定に係る情報をＧＯＭ形状情報６０２として符号化する。
【００５８】
ＧＯＭ形状情報は、ピクチャヘッダＰＨに含めて符号化してもよいし、ピクチャよりもさらに上位のレイヤ（ＧＯＰレイヤ、セッションレイヤ、シーケンスレイヤ等）がある場合には、その中に含めて符号化してもよい。
【００５９】
次に、本実施形態に係る動画像復号化装置について説明する。
図８は、図６の動画像符号化装置に対応した動画像復号化装置の構成を示すブロック図である。図５と相対応する部分に同一の符号を付してその相違点を中心に説明すると、本実施形態においてはＧＯＭ形状情報を復号するＧＯＭ形状復号器８１５が新たに追加されている。
【００６０】
同期検出／逆多重化器８１１では、入力される符号化ビットストリーム中２０５’に含まれる、ＧＯＭ形状情報を可変長符号化したＧＯＭ形状情報符号８４３を逆多重化し、ＧＯＭ形状復号器８１５へ出力する。ＧＯＭ形状復号器８１５はＧＯＭ形状情報符号８４３を復号し、ＧＯＭ形状情報８３９を同期検出／逆多重化器８１１へ出力する。
【００６１】
同期検出／逆多重化器８１１は、この復号されたＧＯＭ形状情報８３９を基に、ＧＯＭ同期符号の検出とＧＯＭヘッダの復号を行う。
【００６２】
ＧＯＭの画面内での位置と図３中のＧＮとの関連付けはＧＯＭ形状によって決まるので、本実施形態の動画像復号化装置では、復号したＧＯＭ形状情報８３９と、ＧＮの値を基に復号したＧＯＭの画面内の位置を特定する。さらには、ＧＯＭ同期符号を付加することのできるマクロブロックは、復号されたＧＯＭ形状情報により特定されるので、第１の実施形態で述べたようなＧＯＭ同期符号が付加されたか否かの判定も、このマクロブロックで行えばよい。
【００６３】
本実施形態において、ＧＯＭ形状は符号量に応じて決定するようにしてもよい。例えば、各ＧＯＭの符号量がほぼ一定となるようにＧＯＭ形状を決定する。具体的には、ＧＯＭ形状決定器６０１において、ＧＯＭ内の各マクロブロックの符号量の総和を計数していき、その合計が予め定められた値、ないしは、入力動画像信号や伝送路の性質等に応じて決められた値を越えた場合に、そのマクロブロックを該ＧＯＭ内の最後のマクロブロックとして決定すればよい。
【００６４】
動きベクトル情報やＤＣＴ係数のＤＣ成分の情報符号化の際に、隣接のマクロブロック内の情報からその予測値を求め、これとの差分をとって符号化する画像符号化方式においては、異なるＧＯＭの中の動きベクトル情報、ＤＣＴ係数のＤＣ成分の情報等は、予測値を求めるのに用いず、同じＧＯＭ内のデータのみを用いるようにしても良い。これにより、他のＧＯＭのデータに伝送路誤りが混入してもその影響が波及しなくなるため、伝送路誤りがあったときの再生画像の品質が向上する。本発明による動画像符号化装置ではＧＯＭ形状を入力動画像信号の性質や動きベクトル情報、符号化モード情報、ＤＣＴ係数の成分等に応じて制御することができるため、このような予測の制限を行っても予測効率の低下を小さく抑えることができる。
【００６５】
すなわち、ＧＯＭ形状決定器６０１において、予測の制限を行った場合の符号量の、制限を行わなかった場合の符号量に対する増加量が小さくなるようにＧＯＭ形状を決定すればよい。これには、実際に符号化を行ったときの符号量を基に制御を行ってもよいし、予測残差の大きさが制限を行わない場合に比べてなるべく大きくならないように制御を行ってもよい。
【００６６】
左隣のマクロブロック、ないしは、左隣を含む複数のマクロブロックのデータから予測値を求める符号化方式においては、画面左隣のマクロブロックではその左隣のマクロブロックが存在しないために、他のマクロブロックに比べ予測効率が低下する。そこで、画面左端もマクロブロックをＧＯＭの最初のマクロブロック、すなわち、同期符号を挿入できるマクロブロックとすることにより、予測のＧＯＭ内制限を行ったことによる符号量の増加を少なくすることができる。
【００６７】
これらの予測の制限を考慮したＧＯＭ形状制御は、前述の符号量を考慮したＧＯＭ形状制御と組み合わせて用いるようにしてもよい。例えば、ＧＯＭ形状決定器６０１においてＧＯＭ内の各マクロブロックの符号量の総和を計数していき、その合計が予め定められた値、ないしは、入力動画像信号や伝送路の性質等に応じて決められた値を越えた場合に、そのマクロブロックをそのＧＯＭ内の最後のマクロブロックの候補として決める。次に、この候補マクロブロックおよびその前後に符号化を行ういく画面左端のマクロブロックを選択し、これを次のＧＯＭの最初のマクロブロック、すなわち、同期符号を挿入できるマクロブロックとして決定するようにしてもよい。
【００６８】
【発明の効果】
以上説明したように、本発明によれば同期符号を付加することができる位置を画面内の少なくとも水平方向の位置を間欠的に異ならせた複数の特定位置としたことにより、従来のＧＯＢのように１ないしは複数のマクロブロックライン毎にしか同期符号を付加できないといった制約を受けることなく同期符号を付加できる。従って、伝送路誤りの影響を狭い範囲に限定することができ、再生画像の品質が向上し、また従来のスライスを用いる方式に比べ、同期符号を付加できるマクロブロックの数が少なくなり、この位置を識別する情報を少ないビット数に抑えることができるため、符号量を削減することができる。
【００６９】
また、本発明によれば同期符号を付加することができる画面内の特定位置を示す情報を符号化ビットストリーム中に含めて符号化することにより、例えば符号化する入力画像信号の性質や、符号化ビットストリームを伝送する伝送路の性質等に応じて、同期符号を付加することができる位置や数を制御することが可能となるため、従来のＧＯＢやスライスに比べてより効果的に同期符号の付加を行うことができ、再生画像の品質が向上する。
【００７０】
さらに、同期符号を付加することができる画面内の複数の特定位置を画面内の輪郭部や予め定められた特定の領域、すなわち画面内の人物などの物体を囲む位置や、その物体内などに定めることにより、視覚的に重要な情報である人物その他の情報をより強く誤り保護するように同期符号を付加することができ、伝送路誤りが生じたときの再生画像の品質を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図
【図２】図１の動画像符号化装置における多重化／同期付加器での多重化の規則を示す図
【図３】図１の動画像符号化装置における符号化ビットストリームのＧＯＭヘッダに含まれる情報を示す図
【図４】図１の動画像符号化装置における同期符号を付加できるマクロブロックの例を示す図
【図５】本発明の第１の実施形態に係る動画像復号化装置の構成を示すブロック図
【図６】本発明の第２の実施形態に係る動画像符号化装置の構成を示すブロック図
【図７】図６の動画像符号化装置における同期符号を付加できるマクロブロックの例を示す図
【図８】本発明の第２の実施形態に係る動画像復号化装置の構成を示すブロック図
【図９】従来の動画像符号化装置および復号化装置における同期符号を付加できるマクロブロックを示す図
【符号の説明】
１０１…動き補償適応予測器
１０２…フレームメモリ
１０４…離散コサイン変換器
１０５…量子化器
１０７…逆量子化器
１０８…逆離散コサイン変換器
１１１…多重化／同期付加器
１３１…入力動画像信号
２０５，２０５’…符号化ビットストリーム
６０１…ＧＯＭ形状決定器
６０２…ＧＯＭ形状情報
８０１…動き補償適応予測器
８０７…逆量子化器
８０８…逆離散コサイン変換器
８１１…同期検出／逆多重化器
８２０…フレームメモリ
８５０…再生画像信号
８１５…ＧＯＭ形状情報復号器
８４３…ＧＯＭ形状情報符号
８３９…ＧＯＭ形状情報
【発明の属する技術分野】
本発明は、ＴＶ電話、ＴＶ会議システム、携帯情報端末、デジタルビデオディスクシステム、デジタルＴＶ放送システムのように画像信号を伝送／蓄積するシステムにおいて、画像を少ない情報量に圧縮符号化する装置および圧縮符号化された情報を復元し画像を再生する装置に係り、特に無線伝送路のような誤りが生じやすい媒体を介して符号化画像を伝送／蓄積する場合でも誤り耐性が強く高品質に画像伝送／蓄積を行うことができる画像符号化装置および復号化装置に関する。
【０００２】
【従来の技術】
画像信号を伝送、蓄積するために少ない情報量に圧縮符号化する技術として、離散コサイン変換（ＤＣＴ）符号化、サブバンド符号化、ピラミッド符号化、可変長符号化等の方式や、これらを組み合わせた方式など様々な方式が開発されている。また、画像信号の圧縮符号化の国際標準方式として、静止画の符号化ではＩＳＯ・ＪＰＥＧ、動画像の符号化ではＩＳＯ・ＭＰＥＧ１、ＭＰＥＧ２、ＩＴＵ−Ｔ・Ｈ．２６１，Ｈ．２６２、Ｈ．２６３が規定されている。これらはいずれもコサイン変換符号化を用いた方式であり、文献１：安田浩編著、”ＭＰＥＧ／マルチメディア符号化の国際標準”、丸善、（平成６年９月）、等に詳細が述べられている。
【０００３】
画像信号を圧縮符号化技術を用いて少ない情報量に符号化することにより、例えば、無線回線等の伝送路容量が限定された伝送路において画像を伝送することが可能になり、例えば無線伝送機能を付加したＴＶ電話装置、携帯情報端末、パソコン、ワークステーション等の間で静止画や動画像の画像通信が可能となる。しかし、無線伝送路は一般に伝送路誤りが混入する確率が高く、圧縮符号化された画像を無線伝送路で伝送する場合、復号された再生画像が伝送路誤りの影響で劣化してしまうことがある。
【０００４】
前述の国際標準方式をはじめとする従来の画像符号化方式では、入力画像信号をブロックまたはマクロブロックと呼ばれる小領域に分割して予測符号化または動き補償予測符号化を行った後、符号化モード情報、動きベクトル情報、ＤＣＴ係数情報等を可変長符号化して圧縮符号を生成し、これらを多重化して符号化ビットストリームとして伝送する。
【０００５】
このような可変長符号化を用いる画像符号化方式においては、伝送路誤りが混入することにより復号化装置で可変長復号化の同期外れと呼ばれる現象が生じることがある。同期外れが起こると、可変長復号化において伝送路誤りによって符号表に無い符号列が検出されてしまったり、予め定められたシンタックス、セマンティックスに違反する状態が検出されてしまう。このような現象が生じた場合には、次の同期符号が検出されるまで情報の復号が全くできないため、再生画像に大きな劣化を生じる。
【０００６】
また、従来の画像符号化方式では動きベクトル情報や、ＤＣＴ係数のＤＣ成分の情報等は隣接のブロックやマクロブロックとの差分をとって符号化する方法がとられる。この場合、ある動きベクトル情報やＤＣ成分の情報等に誤りが混入して復号値が誤った値になると、これらの情報との差分をとって符号化を行った情報にもその誤りの影響が波及してしまい、画面内の広い領域にわたって再生画像の品質が劣化する。
【０００７】
このような現象を抑えるため、従来の画像符号化方式では同期符号を小領域毎に付加し、差分をとる範囲をその小領域内に限定することによって、可変長符号化の同期外れと差分符号化による画質劣化の波及を小さな領域に抑えるＧＯＢ／スライスと呼ばれる技術が用いられている。
【０００８】
図９は、ＧＯＢ／スライスにおける領域分割の例を示したものである。図中、実線ないし破線で区切られた小さな正方形がマクロブロックである。また、実線で囲まれた領域がＧＯＢ／スライスであり、図中ドット模様で示すマクロブロックがＧＯＢ／スライス同期符号を付加することのできるマクロブロックである。しかし、これら従来の方式は以下に示す問題点がある。
【０００９】
図９（ａ）のＧＯＢは、同期符号を付加できるのは画面の左端のマクロブロックだけである。従って、同期符号で誤りの波及を抑える領域の単位は１ないしは複数のマクロブロックラインといった大きな領域である。このため、誤りが波及する範囲が広く、大きな画質劣化が生じてしまう。
【００１０】
図９（ｂ）のスライスは、全てのマクロブロックに同期符号を付加できる。このため、誤りが波及する範囲を小さくすることができる反面、同期符号が付加された位置を示す位置情報の伝送に多くのビット数が必要となり、符号量が増加してしまう。
【００１１】
図９（ｃ）の同期符号を固定マクロブロック毎に付加する方式は、その固定マクロブロック数（図の例では３）が画面内の水平マクロブロック数（図の例では１１）の約数でないと、図に示すようにマクロブロックの垂直位置によって同期符号を挿入できるマクロブロックの水平位置が異なってしまうという問題点がある。
【００１２】
【発明が解決しようとする課題】
上述したように、ＧＯＢ／スライスといった手法により同期符号を符号化ビットストリームに付加して、画質劣化の波及を小さな領域に抑える従来の画像符号化／復号化装置では、同期符号を付加できる単位が大きく、誤りが広い範囲に波及して大きな画質劣化が生じてしまうという問題点や、同期符号が付加された位置を示す位置情報の伝送に多くのビット数が必要であるために符号量が増加してしまうという問題点があった。
【００１３】
本発明は、このような従来の問題点を解決し、符号量を大きく増加させることなく誤り耐性を高くすることができる画像符号化装置および画像復号化装置を提供することを目的とする。
【００１４】
【発明を解決するための手段】
本発明に係る第１の画像符号化装置は、画像信号を圧縮符号化して圧縮符号を出力する画像符号化手段と、この画像符号化手段から出力される圧縮符号を多重化すると共に同期符号を付加して符号化ビットストリームを出力する多重化／同期付加手段とを有し、多重化／同期付加手段は、画面内の少なくとも水平方向の位置を間欠的に異ならせた複数の特定位置にのみ同期符号を付加できるように構成されると共に、同期符号を付加した場合には複数の特定位置の中の該同期符号を付加した位置を示す位置情報を符号化ビットストリーム中に付加することを特徴とする。
【００１５】
また、第１の画像符号化装置に対応する第１の画像復号化装置は、入力される符号化ビットストリーム中の同期符号を検出すると共に該符号化ビットストリーム中の圧縮符号を逆多重化する同期検出／逆多重化手段と、同期検出／逆多重化手段から出力される逆多重化された圧縮符号を復号して画像信号を再生する画像復号手段とを有し、符号化ビットストリーム中の同期符号は、画面内の少なくとも水平方向の位置を間欠的に異ならせた複数の特定位置のうちの少なくとも一つの位置にのみ付加されており、同期検出／逆多重化手段は、符号化ビットストリーム中の同期符号を検出すると共に、複数の特定位置の中の該同期信号が付加された位置を示す位置情報を検出することを特徴とする。
【００１６】
この第１の画像符号化装置／復号化装置では、同期符号が存在できる位置を画面内の少なくとも水平方向の位置を間欠的に異ならせた複数の特定位置としているため、従来のＧＯＢのように１ないしは複数のマクロブロックライン毎にしか同期符号を付加できないといった制約無しに同期符号を付加できる。従って、伝送路誤りの影響を狭い範囲に限定することができ、再生画像の品質が向上する。また、従来のスライスを用いる方式に比べ、同期符号を付加できるマクロブロックの数が少なく、この位置を識別する情報を少ないビット数に抑えることができるため、符号量が削減される。
【００１７】
本発明に係る第２の画像符号化装置は、画像信号を圧縮符号化して圧縮符号を出力する画像符号化手段と、画像符号化手段から出力される圧縮符号を多重化すると共に同期符号を付加して符号化ビットストリームを出力する多重化／同期付加手段とを有し、前記多重化／同期付加手段は、画面内の複数の特定位置にのみ同期符号を付加できるように構成されると共に、特定位置を示す第１の位置情報を符号化ビットストリーム中に含め、さらに同期符号を付加した場合には複数の特定位置の中の該同期符号を付加した位置を示す第２の位置情報を符号化ビットストリーム中に付加することを特徴とする。
【００１８】
また、第１の画像符号化装置に対応する第１の画像復号化装置は、入力される符号化ビットストリーム中の同期符号を検出すると共に該符号化ビットストリーム中の圧縮符号を逆多重化する同期検出／逆多重化手段と、同期検出／逆多重化手段から出力される逆多重化された圧縮符号を復号して画像信号を再生する画像復号手段とを有し、符号化ビットストリーム中の同期符号は、画面内の複数の特定位置の少なくとも一つの位置にのみ付加されており、同期検出／逆多重化手段は、符号化ビットストリーム中の特定位置を示す第１の位置情報を検出し、これに基づいて同期符号を検出すると共に、複数の特定位置の中の該同期信号が付加された位置を示す第２の位置情報を検出することを特徴とする。
【００１９】
この第２の画像符号化装置／復号化装置では、同期符号を付加することができる画面内の特定位置を示す情報を符号化ビットストリーム中に含めて符号化するため、例えば符号化する入力画像信号の性質や、符号化ビットストリームを伝送する伝送路の性質等に応じて、同期符号を付加することができる位置や数を制御することが可能である。このため、従来のＧＯＢやスライスに比べてより効果的に同期符号の付加を行うことができ、再生画像の品質が向上する。
【００２０】
本発明においては、同期符号を付加することができる画面内の複数の特定位置を予め規則的に定めてもよいし、画面内の輪郭部および予め定められた特定の領域の少なくとも一方、具体的には画面内の人物などの物体を囲む位置や、その物体内などに定めてもよい。
【００２１】
こうすることにより、視覚的に重要な情報である人物その他の情報をより強く誤り保護するように同期符号を付加することができ、伝送路誤りが生じたときの再生画像の品質が向上する。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００２３】
（第1 の実施形態）
図１は、動き補償適応予測と直交符号化の一種である離散コサイン変換符号化を用いた動画像高能率圧縮符号化装置の例である。動き補償適応予測離散コサイン変換符号化方式については、前述の文献１等に詳しいので、動作の概略のみを説明し、従来方式との差異を詳細に説明する。
【００２４】
図１において、フレーム単位で入力される符号化対象の入力動画像信号１３１は、まずマクロブロック等の小領域単位で動き補償適応予測が行われる。すなわち、動き補償適応予測器１０１において、入力動画像信号１３１とフレームメモリ１０２中に蓄えられている既に符号化／局部復号化が行われた画像信号との間の動きベクトルが検出され、この動きベクトルに基づいて動き補償予測により予測信号１３２が作成される。この動き補償予測器１０１においては、動き補償予測符号化と、入力動画像信号１３１をそのまま符号化するフレーム内符号化（予測信号＝０）のうち、符号化に用いて好適な方の予測モードが選択され、対応する予測信号１３２が出力される。
【００２５】
予測信号１３２は減算器１０３に入力され、入力動画像信号１３１から予測信号１３２が減算されることによって予測残差信号１３３が出力される。予測残差信号１３３は、離散コサイン変換器１０４において一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）され、ＤＣＴ係数が生成される。このＤＣＴ係数は、量子化器１０５で量子化される。量子化器１０５からの量子化されたＤＣＴ係数データは２分岐され、一方は第１の可変長符号化器１０６で可変長符号化され、他方は逆量子化器１０７で逆量子化された後、逆離散コサイン変換器１０８で逆離散コサイン変換（逆ＤＣＴ）されることによって、予測残差信号が復号される。逆離散コサイン変換器１０８から出力される予測残差信号は加算器１０９において予測信号１３２と加算され、局部復号信号が生成される。この局部復号信号は、フレームメモリ１０２に記憶される。
【００２６】
一方、動き補償適応予測器１０１において決定された予測モードおよび動きベクトルの情報は、第２の可変長符号化器１１０で可変長符号化される。ただし、動きベクトルの情報は隣接の既に符号化された動きベクトルの情報から求められた予測動きベクトルとの差分がとられ、これが可変長符号化される。
【００２７】
第１、第２の可変長符号化器１０６，１１０から出力される可変長符号（圧縮符号）は、多重化／同期付加器１１１において可変長符号化器１０６，１１０から出力される圧縮符号の多重化と同期符号の付加が行われ、符号化ビットストリーム２０５となる。
【００２８】
次に、多重化／同期付加器１１１について説明する。
図２は、多重化／同期付加器１１１における多重化の流れを示す図である。多重化は、ブロック、複数のブロックからなるマクロブロック（ＭＢ）、１ないし複数のマクロブロックからなるＧＯＭ(Group of Macroblocks)（ＧＯＢ、スライス等とも呼ばれる）、１ないし複数のＧＯＭからなるピクチャ（画面またはフレームともいう）の各レイヤからなる。さらに、１ないし複数のピクチャからなるＧＯＰ(Group of Pictures) 、シーケンス、セッション等のレイヤを用いても良い。
【００２９】
ピクチャレイヤは、図２（ａ）に示すようにピクチャ同期符号（ＰＳＣ）、そのピクチャの符号化モード等を示すピクチャヘッダ（ＰＨ）で始まり、１ないし複数のＧＯＭレイヤが続く。
ＧＯＭレイヤは、図２（ｂ）に示すように必要に応じてＧＯＭ同期符号（ＧＳＣ）およびそのＧＯＭの画面内での位置や符号化モード等を示すＧＯＭヘッダ（ＧＨ）から始まり、そのＧＯＭに含まれる１ないしは複数のマクロブロックが続く。
マクロブロックレイヤは、図２（ｃ）に示すようにそのマクロブロックの符号化モード情報、動きベクトル情報およびそのマクロブロックに含まれる複数のブロックが含まれる。
【００３０】
図３は、ＧＯＭヘッダ（ＧＨ）に含まれる情報の例を示した図である。ＧＯＭヘッダには、そのＧＯＭの符号化モードを示す符号化モード情報ＧＭ、そのＧＯＭのピクチャ（画面）内での位置を示す位置情報ＧＮ、そのＧＯＭに含まれるＤＣＴ係数の量子化ステップサイズを示すステップサイズ情報ＧＱからなる。
【００３１】
図４は、ＧＯＭ形状の２つの例を示す図である。図中、実線がＧＯＭの境界を示し、破線がＧＯＭ中のマクロブロックの境界を示している。ＧＯＭ内の斜線で示した最初のマクロブロックがＧＯＭ同期符号ＧＳＣを付加することのできるマクロブロック、すなわちＧＯＭ同期符号ＧＳＣの付加が許容される特定位置である。ただし、画面内の最初のＧＯＭにはピクチャ同期符号ＰＳＣが付加されるので、ＧＯＭ同期符号ＧＳＣは付加されない。
【００３２】
図４（ａ）の例では、画面水平方向の位置が左端を０として０，３，６，９番目のマクロブロックにＧＯＭ同期符号を付加することができる。図４（ｂ）の例では、画面水平方向の位置が左端を０として０，２，４，６，８，１０番目で、かつ画面垂直方向の位置が上端を０として０，２，４，６，８番目のマクロブロックにＧＯＭ同期符号を付加することができる。マクロブロックの画面水平方向および垂直方向の位置をＭx,Ｍy とすれば、図４（ａ）および（ｂ）の例では、以下の条件が成り立つ位置のマクロブロックにＧＯＭ同期符号を付加することができる。
【００３３】
（ａ）（Ｍx mod ３）＝０
（ｂ）((Ｍx mod ２）＝０) and ((Ｍy mod ２）＝０）
ここで、（Ａ mod Ｂ）はＡをＢで除したときの剰余を表す。
【００３４】
ＧＯＭ同期符号を付加することのできる図４（ａ）（ｂ）中に斜線で示すマクロブロックは、画面左上より順に０から番号付けされており、この番号が図３のシンタックスにおける位置情報ＧＮとして符号化ビットストリーム２０５に付加される。すなわち、この場合の位置情報ＧＮはＧＯＭ同期符号を付加することのできる特定位置を示す。
【００３５】
図４（ａ）（ｂ）の例のようにＧＯＭを配することにより、図９（ａ）に示した従来のＧＯＢのように、１ないしは数マクロブロックライン毎にしか同期符号を付加することのできない方式に比べ、同期符号を付加することのできる密度が高く、誤りが波及する範囲が狭くなるため、再生画像の品質が向上する。
【００３６】
また、図９（ｂ）に示した従来のスライスでは、同期符号を付加することのできるマクロブロックの総数が多く、同図の例のように９９個のマクロブロックがある場合には、これらの全てに対して同期符号の付加された位置を特定するために、図３中の位置情報ＧＮで示される番号付けが必要であり、この位置情報ＧＮに多くのビット数を割り当てる必要があった。
【００３７】
これに対し、図４の例では同期符号を付加することのできるマクロブロックの総数は、図４（ａ）の場合３５個、図４（ｂ）の場合で２９個であり、位置情報ＧＮのビット数を削減することができる。例えば、ＧＮを固定長の２進表現で表すとすれば、スライスの場合は７ビット必要なのに対し、図４（ａ）の例では６ビット、図４（ｂ）の例では５ビットで済む。これは特に、多くの同期符号を付加する場合には、大きな符号量削減につながる。
【００３８】
次に、本実施形態に係る動画像復号化装置について説明する。
【００３９】
図５は、図１の動画像復号化装置に対応した動画像復号化装置の構成を示すブロック図である。図５において、図１の動画像符号化装置から出力された符号化ビットストリーム２０５は、図示しない伝送／蓄積系を経た後、符号化ビットストリーム２０５’として同期検出／逆多重化器８１１に入力される。
【００４０】
同期検出／逆多重化器８１１は、符号化ビットストリーム２０５’中の同期符号を検出するとともに、量子化されたＤＣＴ係数の可変長符号（以下、予測残差符号という）８４１と、予測モードおよび動きベクトル情報の可変長符号（以下、動き補償適応予測情報符号）８４２を分離して出力する。
【００４１】
予測残差符号８４１は第１の可変長復号化器８０６に入力され、量子化されたＤＣＴ係数８３１が復号される。このＤＣＴ係数８３１は、逆量子化器８０７で逆量子化、逆ＤＣＴ器８０８で離散コサイン変換、という一連の処理が施された後、加算器８０９で動き補償適応予測器８０１からの出力である動き補償適応予測信号８３２と加算されて再生画像信号８５０となる。再生画像信号８５０は、装置外へ出力されると共に、フレームメモリ８２０へ記録される。
【００４２】
一方、動き補償適応予測情報符号８４２は第２の可変長復号化器に入力され、予測モードおよび動きベクトルの情報が復号される。復号された予測モードおよび動きベクトルの情報は動き補償適応予測器８０１に入力され、これらの情報とフレームメモリ８２０からの画像信号に基づいて動き補償予測信号８３２が生成される。
【００４３】
以上の処理は、図1 の動画像符号化装置に対応して動画像を再生する処理であり、逆量子化器８０７、逆ＤＣＴ器８０８、加算器８０９およびフレームメモリ８２０が行う処理は、それぞれ図１における逆量子化器１０７、逆ＤＣＴ器１０８、加算器１０９およびフレームメモリ１０２のそれと実現手段は異なる場合もあるが、基本的に同一である。また、第１および第２の可変長復号化器８０６、８１０、同期検出／逆多重化器８１１の処理は、符号化ビットストリームに誤りが混入された場合を除いて、それぞれ図１における可変長符号化器１０６、１１０、多重化／同期付加器１１１のそれと逆の処理である。
【００４４】
次に、同期検出／逆多重化器８１１について説明する。
【００４５】
同期検出／逆多重化器８１１は、図２に示した多重化規則に基づいて同期符号の検出と逆多重化の処理を行う。ＧＯＭ同期符号ＧＳＣおよびＧＯＭヘッダＧＨは、ＧＯＭによって存在する場合と存在しない場合がある。そこで、図４（ａ）（ｂ）に斜線で示したＧＯＭ同期符号を付加することのできるマクロブロックの復号を開始する時点で、ＧＯＭ同期符号ＧＳＣが存在するかどうかを判定する。
【００４６】
同期符号は、ユニークワードと呼ばれる、それ以外の符号列とは同一のビットパターンとならない符号語である。複数種類ある同期符号（図２ではピクチャ同期符号ＰＳＣおよびＧＯＭ同期符号ＧＳＣの２種類）はそれぞれ異なる符号語となっているため、各ＧＯＭの符号列中の最初の符号語がＧＯＭ同期符号か否かを一意に判定することが可能である。
【００４７】
同期検出／逆多重化器８１１では、ＧＯＭ同期符号ＧＳＣが検出された場合には、それに続くＧＯＭヘッダＧＨも復号する。その後、そのＧＯＭに含まれるマクロブロックレイヤの逆多重化処理を行っていく。ここで、ＧＯＭヘッダの復号化や、マクロブロックレイヤの復号化処理において、符号化ビットストリーム２０５’中に伝送路誤りが混入していることが発見された場合、該ＧＯＭ中の後続のマクロブロックは復号処理を行わず、後続の符号列中に含まれる同期符号を検出する処理を開始する。
【００４８】
このとき検出された同期符号がＧＯＭ同期符号ＧＳＣであった場合は、そのＧＯＭのＧＯＭヘッダを復号し、そのＧＯＭヘッダ中に示されているＧＯＭの画面内での位置（ＧＯＭ同期符号ＧＳＣが付加された位置）を示す位置情報ＧＮを基に該ＧＯＭの位置、すなわちＧＯＭ同期符号ＧＳＣが付加された位置を特定し、復号化処理を行っていく。
【００４９】
また、検出された同期符号がピクチャ同期符号ＰＳＣであった場合は、誤りが発見されたＧＯＭないしはその前のＧＯＭでそのピクチャの復号を打ち切り、ピクチャ同期符号を検出したピクチャの復号を行う。
【００５０】
本実施形態において、図１中の多重化／同期付加器１１１におけるＧＯＭ同期符号ＧＳＣの付加は、全てのＧＯＭで行うようにしてもよいし、一部のＧＯＭのみで行うようにしてもよい。あるいは、ＧＯＭ同期符号を全く付加しなくてもよい。ＧＯＭ同期符号を多く付加した方がより伝送路誤りに対する耐性が増し、高い確率で伝送路誤りが発生する場合には、図５の動画像復号化装置における再生画像の品質が向上する。ただし、多くのＧＯＭ同期符号を付加すると、ＧＯＭ同期符号とＧＯＭヘッダに伴う符号量が増加してしまい、伝送路誤りが無い時の符号化品質が低下するので、どの程度の数のＧＯＭ同期符号を付加するかは、伝送路の品質や符号化レート、入力動画像信号の性質等に応じて適応的に変えるようにすることも有効である。
【００５１】
（第２の実施形態）
次に、本発明に係る第２の実施形態について説明する。本実施形態による動画像符号化装置は、入力動画像信号や動きベクトルおよび予測モードに応じてＧＯＭの形状（ＧＯＭ同期符号を挿入できるマクロブロックの位置）を決定し、それを示すＧＯＭ形状情報（ＧＯＭ同期符号を挿入できるマクロブロックの位置を示す位置情報）を符号化ビットストリーム中に含めて符号化する。また、これに対応する動画像復号化装置では、入力される符号化ビットストリーム中に含まれるＧＯＭ形状情報（ＧＯＭ同期符号を挿入できるマクロブロックの位置を示す位置情報）を復号し、これを用いて動画像の復号処理を行う。
【００５２】
図６は、本実施形態に係る動画像符号化装置のブロック図である。図１と相対応する部分に同一の符号を付して、第１の実施形態との相違点を中心に説明すると、本実施形態でＧＯＭ形状決定器６０１が新たに追加され、このＧＯＭ形状決定器６０１からＧＯＭ形状情報６０２が多重化／同期符号符号化器１１１へ出力される。
【００５３】
ＧＯＭ形状決定器６０１では、入力動画像信号１３１や、動き補償適応予測器１０１で決定される動きベクトル、符号化モードの情報等を基にＧＯＭ形状を決定し、ＧＯＭ形状情報６０２を出力する。ＧＯＭ形状情報６０２は、多重化／同期符号符号化器１１１により可変長符号化され、符号化ビットストリーム（出力符号列）２０５に付加される。
【００５４】
次に、ＧＯＭ形状決定器６０１について説明する。
図７（ａ）（ｂ）は、入力動画像信号１３１について物体検出を行い、それを基にＧＯＭ形状を決定する例を示している。まず、入力動画像信号１３１中の物体検出を行う。この物体検出は、入力動画像信号１３１から直接行ってもよいし、動きベクトルや符号化モードを基に決定してもよい。図７（ａ）（ｂ）中、一点鎖線で示す領域が検出された物体である。そして、物体同士の境界や、物体と背景との境界、すなわち輪郭部にあるマクロブロックをＧＯＭ同期符号を付加できるマクロブロック（図中斜線で示すマクロブロック）として決定する。この場合、ＧＯＭ同期符号を付加できるマクロブロックの位置を示す位置情報は、ＧＯＭ形状情報６０２として符号化ビットストリーム２０５に付加される。
【００５５】
このようにＧＯＭ形状を決定することにより、一般に画像の性質が大きく異なり、誤りが波及すると大きな画質劣化につながる、物体と背景の間や異なる物体同士の間での誤りの波及を抑えることができる。このため、伝送路誤りが起きた時の復号化装置における再生画像の劣化を防止できる。
【００５６】
これらの場合において、ＧＯＭ同期符号を付加できるマクロブロックの密度を物体毎に変えるようにしてもよい。図７（ｂ）の例では、特定の領域、この例では人物の顔に相当する部分でＧＯＭ同期符号を付加できるマクロブロックの密度が高くなっており、より多くのＧＯＭ同期符号を付加することが可能となっている。人物の顔は主観的に非常に重要な情報であるため、このようにより多くのＧＯＭ同期符号を付加してその部分の誤り耐性を高めることによって主観的品質が向上する。逆に、背景のようにそれほど重要でない部分では、ＧＯＭ同期符号を付加できるマクロブロックの密度を低くし、画面全体のＧＯＭ同期符号を付加できるマクロブロックの数を減らして、ＧＯＭヘッダの符号量を削減することができる。この候補として、図４に示したＧＯＭ形状や図９に示した従来のＧＯＢ／スライスに対応するＧＯＭ形状を含めるようにしてもよい。
【００５７】
ＧＯＭ形状決定器６０１でのＧＯＭ同期符号を付加できるマクロブロックは、予め用意された複数の候補の中から選択して決定するようにしてもよい。この場合、この選択決定に係る情報をＧＯＭ形状情報６０２として符号化する。
【００５８】
ＧＯＭ形状情報は、ピクチャヘッダＰＨに含めて符号化してもよいし、ピクチャよりもさらに上位のレイヤ（ＧＯＰレイヤ、セッションレイヤ、シーケンスレイヤ等）がある場合には、その中に含めて符号化してもよい。
【００５９】
次に、本実施形態に係る動画像復号化装置について説明する。
図８は、図６の動画像符号化装置に対応した動画像復号化装置の構成を示すブロック図である。図５と相対応する部分に同一の符号を付してその相違点を中心に説明すると、本実施形態においてはＧＯＭ形状情報を復号するＧＯＭ形状復号器８１５が新たに追加されている。
【００６０】
同期検出／逆多重化器８１１では、入力される符号化ビットストリーム中２０５’に含まれる、ＧＯＭ形状情報を可変長符号化したＧＯＭ形状情報符号８４３を逆多重化し、ＧＯＭ形状復号器８１５へ出力する。ＧＯＭ形状復号器８１５はＧＯＭ形状情報符号８４３を復号し、ＧＯＭ形状情報８３９を同期検出／逆多重化器８１１へ出力する。
【００６１】
同期検出／逆多重化器８１１は、この復号されたＧＯＭ形状情報８３９を基に、ＧＯＭ同期符号の検出とＧＯＭヘッダの復号を行う。
【００６２】
ＧＯＭの画面内での位置と図３中のＧＮとの関連付けはＧＯＭ形状によって決まるので、本実施形態の動画像復号化装置では、復号したＧＯＭ形状情報８３９と、ＧＮの値を基に復号したＧＯＭの画面内の位置を特定する。さらには、ＧＯＭ同期符号を付加することのできるマクロブロックは、復号されたＧＯＭ形状情報により特定されるので、第１の実施形態で述べたようなＧＯＭ同期符号が付加されたか否かの判定も、このマクロブロックで行えばよい。
【００６３】
本実施形態において、ＧＯＭ形状は符号量に応じて決定するようにしてもよい。例えば、各ＧＯＭの符号量がほぼ一定となるようにＧＯＭ形状を決定する。具体的には、ＧＯＭ形状決定器６０１において、ＧＯＭ内の各マクロブロックの符号量の総和を計数していき、その合計が予め定められた値、ないしは、入力動画像信号や伝送路の性質等に応じて決められた値を越えた場合に、そのマクロブロックを該ＧＯＭ内の最後のマクロブロックとして決定すればよい。
【００６４】
動きベクトル情報やＤＣＴ係数のＤＣ成分の情報符号化の際に、隣接のマクロブロック内の情報からその予測値を求め、これとの差分をとって符号化する画像符号化方式においては、異なるＧＯＭの中の動きベクトル情報、ＤＣＴ係数のＤＣ成分の情報等は、予測値を求めるのに用いず、同じＧＯＭ内のデータのみを用いるようにしても良い。これにより、他のＧＯＭのデータに伝送路誤りが混入してもその影響が波及しなくなるため、伝送路誤りがあったときの再生画像の品質が向上する。本発明による動画像符号化装置ではＧＯＭ形状を入力動画像信号の性質や動きベクトル情報、符号化モード情報、ＤＣＴ係数の成分等に応じて制御することができるため、このような予測の制限を行っても予測効率の低下を小さく抑えることができる。
【００６５】
すなわち、ＧＯＭ形状決定器６０１において、予測の制限を行った場合の符号量の、制限を行わなかった場合の符号量に対する増加量が小さくなるようにＧＯＭ形状を決定すればよい。これには、実際に符号化を行ったときの符号量を基に制御を行ってもよいし、予測残差の大きさが制限を行わない場合に比べてなるべく大きくならないように制御を行ってもよい。
【００６６】
左隣のマクロブロック、ないしは、左隣を含む複数のマクロブロックのデータから予測値を求める符号化方式においては、画面左隣のマクロブロックではその左隣のマクロブロックが存在しないために、他のマクロブロックに比べ予測効率が低下する。そこで、画面左端もマクロブロックをＧＯＭの最初のマクロブロック、すなわち、同期符号を挿入できるマクロブロックとすることにより、予測のＧＯＭ内制限を行ったことによる符号量の増加を少なくすることができる。
【００６７】
これらの予測の制限を考慮したＧＯＭ形状制御は、前述の符号量を考慮したＧＯＭ形状制御と組み合わせて用いるようにしてもよい。例えば、ＧＯＭ形状決定器６０１においてＧＯＭ内の各マクロブロックの符号量の総和を計数していき、その合計が予め定められた値、ないしは、入力動画像信号や伝送路の性質等に応じて決められた値を越えた場合に、そのマクロブロックをそのＧＯＭ内の最後のマクロブロックの候補として決める。次に、この候補マクロブロックおよびその前後に符号化を行ういく画面左端のマクロブロックを選択し、これを次のＧＯＭの最初のマクロブロック、すなわち、同期符号を挿入できるマクロブロックとして決定するようにしてもよい。
【００６８】
【発明の効果】
以上説明したように、本発明によれば同期符号を付加することができる位置を画面内の少なくとも水平方向の位置を間欠的に異ならせた複数の特定位置としたことにより、従来のＧＯＢのように１ないしは複数のマクロブロックライン毎にしか同期符号を付加できないといった制約を受けることなく同期符号を付加できる。従って、伝送路誤りの影響を狭い範囲に限定することができ、再生画像の品質が向上し、また従来のスライスを用いる方式に比べ、同期符号を付加できるマクロブロックの数が少なくなり、この位置を識別する情報を少ないビット数に抑えることができるため、符号量を削減することができる。
【００６９】
また、本発明によれば同期符号を付加することができる画面内の特定位置を示す情報を符号化ビットストリーム中に含めて符号化することにより、例えば符号化する入力画像信号の性質や、符号化ビットストリームを伝送する伝送路の性質等に応じて、同期符号を付加することができる位置や数を制御することが可能となるため、従来のＧＯＢやスライスに比べてより効果的に同期符号の付加を行うことができ、再生画像の品質が向上する。
【００７０】
さらに、同期符号を付加することができる画面内の複数の特定位置を画面内の輪郭部や予め定められた特定の領域、すなわち画面内の人物などの物体を囲む位置や、その物体内などに定めることにより、視覚的に重要な情報である人物その他の情報をより強く誤り保護するように同期符号を付加することができ、伝送路誤りが生じたときの再生画像の品質を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図
【図２】図１の動画像符号化装置における多重化／同期付加器での多重化の規則を示す図
【図３】図１の動画像符号化装置における符号化ビットストリームのＧＯＭヘッダに含まれる情報を示す図
【図４】図１の動画像符号化装置における同期符号を付加できるマクロブロックの例を示す図
【図５】本発明の第１の実施形態に係る動画像復号化装置の構成を示すブロック図
【図６】本発明の第２の実施形態に係る動画像符号化装置の構成を示すブロック図
【図７】図６の動画像符号化装置における同期符号を付加できるマクロブロックの例を示す図
【図８】本発明の第２の実施形態に係る動画像復号化装置の構成を示すブロック図
【図９】従来の動画像符号化装置および復号化装置における同期符号を付加できるマクロブロックを示す図
【符号の説明】
１０１…動き補償適応予測器
１０２…フレームメモリ
１０４…離散コサイン変換器
１０５…量子化器
１０７…逆量子化器
１０８…逆離散コサイン変換器
１１１…多重化／同期付加器
１３１…入力動画像信号
２０５，２０５’…符号化ビットストリーム
６０１…ＧＯＭ形状決定器
６０２…ＧＯＭ形状情報
８０１…動き補償適応予測器
８０７…逆量子化器
８０８…逆離散コサイン変換器
８１１…同期検出／逆多重化器
８２０…フレームメモリ
８５０…再生画像信号
８１５…ＧＯＭ形状情報復号器
８４３…ＧＯＭ形状情報符号
８３９…ＧＯＭ形状情報
Claims (4)
- 画像信号を圧縮符号化して圧縮符号を出力する画像符号化手段と、
前記画像符号化手段から出力される圧縮符号を多重化すると共に同期符号を付加して符号化ビットストリームを出力する多重化／同期付加手段とを有し、
前記多重化／同期付加手段は、画面内の複数の特定マクロブロックにのみ前記同期符号の付加を許容するように構成されると共に、前記特定マクロブロックの位置を示す第１の位置情報を前記符号化ビットストリーム中のピクチャヘッダまたはピクチャより上位のレイヤに含め、さらに同期符号を付加した場合には前記複数の特定マクロブロック中の該同期符号を付加したマクロブロックの位置を示す第２の位置情報を前記符号化ビットストリーム中に付加することを特徴とする画像符号化装置。 - 前記特定マクロブロックの位置は、画面内の輪郭部および予め定められた特定の領域の少なくとも一方に定められていることを特徴とする請求項１に記載の画像符号化装置。
- 入力される符号化ビットストリーム中の同期符号を検出すると共に該符号化ビットストリーム中の圧縮符号を逆多重化する同期検出／逆多重化手段と、
前記同期検出／逆多重化手段から出力される逆多重化された圧縮符号を復号して画像信号を再生する画像復号手段とを有し、
符号化ビットストリーム中の前記同期符号は、画面内の前記同期信号の付加が許容された複数の特定マクロブロック中の少なくとも一つのマクロブロックにのみ付加されており、
前記同期検出／逆多重化手段は、符号化ビットストリーム中の前記特定マクロブロックの位置を示すために前記符号化ビットストリーム中のピクチャヘッダまたはピクチャより上位のレイヤに含ませた第１の位置情報を検出し、該検出した第１の位置情報に基づいて前記同期符号を検出すると共に、前記複数の特定位置の中の該同期信号が付加されたマクロブロックの位置を示す第２の位置情報を検出し、該検出した第２の位置情報を基に該同期信号が付加されたマクロブロックの位置を特定することを特徴とする画像復号化装置。 - 前記特定マクロブロックの位置は、画面内の輪郭部および予め定められた特定の領域の少なくとも一方に定められていることを特徴とする請求項３に記載の画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23236396A JP3905938B2 (ja) | 1996-09-02 | 1996-09-02 | 画像符号化装置および画像復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23236396A JP3905938B2 (ja) | 1996-09-02 | 1996-09-02 | 画像符号化装置および画像復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1079946A JPH1079946A (ja) | 1998-03-24 |
| JP3905938B2 true JP3905938B2 (ja) | 2007-04-18 |
Family
ID=16938049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23236396A Expired - Fee Related JP3905938B2 (ja) | 1996-09-02 | 1996-09-02 | 画像符号化装置および画像復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3905938B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012049912A (ja) * | 2010-08-27 | 2012-03-08 | Canon Inc | 光電変換装置および撮像システム |
-
1996
- 1996-09-02 JP JP23236396A patent/JP3905938B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1079946A (ja) | 1998-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100564896B1 (ko) | 화상부호화방법 및 장치와 기록매체 | |
| EP0920214B1 (en) | Apparatus and method of coding/decoding moving picture | |
| US5771081A (en) | Bit system for transmitting digital video data | |
| EP1032212A2 (en) | Transcoder, transcoding system, and recording medium | |
| JPH09187007A (ja) | 誤りを含むデータストリームへの再同期の方法と、符号化器及び復号化器 | |
| JP3415319B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP3818819B2 (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
| JPH10174098A (ja) | 映像データ圧縮装置およびその方法 | |
| JP3905938B2 (ja) | 画像符号化装置および画像復号化装置 | |
| JP3756897B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JPH08251597A (ja) | 動画像符号化／復号化装置 | |
| JPH10174106A (ja) | 映像データ圧縮装置およびその方法 | |
| JP4175565B2 (ja) | 画像伝送装置 | |
| JP4302093B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP3474861B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JP3474859B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP3756898B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP3756900B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JP3474860B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP3756902B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JP3474862B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JP3756901B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JP3756899B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JP4302094B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JP2003102004A (ja) | 画像符号化方法および画像復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060411 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140119 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |