JP4350761B2 - 画像復号化装置 - Google Patents
画像復号化装置 Download PDFInfo
- Publication number
- JP4350761B2 JP4350761B2 JP2007060814A JP2007060814A JP4350761B2 JP 4350761 B2 JP4350761 B2 JP 4350761B2 JP 2007060814 A JP2007060814 A JP 2007060814A JP 2007060814 A JP2007060814 A JP 2007060814A JP 4350761 B2 JP4350761 B2 JP 4350761B2
- Authority
- JP
- Japan
- Prior art keywords
- bit stream
- encoded
- mpeg
- header information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
またMPEG−4対応とH.263の規格に基づく両方の符号化ビットストリームを復号するためには、画像復号化装置は両方式の復号回路を備える必要があり、装置が複雑になるという課題があった。
実施の形態1.
図2は実施の形態1における画像復号化装置が受信する符号化ビットストリームの構造を示す図であり、図2(a)はMPEG−4互換H.263符号化ビットストリーム203、また図2(b)はMPEG−4符号化ビットストリーム204である。図2(a)のMPEG−4互換H.263符号化ビットストリーム203は、従来の図1(a)で示したH.263符号化ビットストリーム201に、VOスタートコード231、VO識別番号232、VOLスタートコード233及びH.263互換識別情報226が追加されている。また図2(b)のMPEG−4符号化ビットストリーム204は、従来の図1(b)に示したMPEG−4符号化ビットストリーム202に、H.263互換識別情報226が追加されている。なおMPEG−4互換H.263符号化ビットストリーム203とMPEG−4符号化ビットストリーム204に追加されているH.263互換識別情報226は、両方が区別できる情報とし、例えば一方のH.263互換識別情報を”0”のビットとすると、他方を”1”のビットとする。
ここでは、本発明の主眼たる図2(a)のMPEG−4互換H.263符号化ビットストリーム203の復号動作について主として説明する。従って各VOPの形状が矩形の場合、すなわちビットストリーム中に形状符号化データが含まれない場合で、テクスチャデータや動きに関する情報が、マクロブロック毎に符号化されている場合について説明する。
なお図2(b)のMPEG−4符号化ビットストリーム204の復号動作については、基本的には従来と同じである。
図4はシンタックス解析・可変長復号部2の構成を示すブロック図である。図において、21は符号化ビットストリーム1に付加されたヘッダ情報を抽出し以降の復号の制御に必要な各種のヘッダ情報を設定するヘッダ情報解析部、22は符号化ビットストリーム1からテクスチャ符号化データ6及びテクスチャ動きデータ7を求めるマクロブロックレイヤシンタックス解析部である。
VOスタートコード検出部30が図2に示したMPEG−4互換H.263符号化ビットストリーム203又はMPEG−4符号化ビットストリーム204におけるVOスタートコード231を検出すると以下の復号動作を開始する。VOLスタートコード検出部31は、符号化ビットストリーム1からVOLスタートコード233を検出する。そして符号化方式判定部32は、符号化ビットストリーム1からH.263互換識別情報226を復号し、H.263互換識別情報226により符号化ビットストリーム1がMPEG−4互換H.263符号化ビットストリーム203であるか、MPEG−4符号化ビットストリーム204であるかを判定し、H.263互換識別情報33を出力する。
符号化ビットストリーム1がMPEG−4互換H.263符号化ビットストリーム203である場合には、切替部34により符号化ビットストリーム1がH.263ピクチャヘッダ情報解析部35に入力される。
MPEG−4ヘッダ情報設定部43は、復号されたピクチャヘッダ情報222に基づき、VOLヘッダ情報234として、VOLの形状情報とオブジェクトサイズを設定する。またMPEG−4互換H.263符号化ビットストリームの場合には、各ビットストリームはフレームに対応するので、MPEG−4ヘッダ情報設定部43は、形状情報が矩形である旨設定する。さらにオブジェクトサイズはフレームサイズに対応するので、MPEG−4ヘッダ情報設定部43は、ピクチャヘッダ情報222の一つであるピクチャフォーマット301よりフレームサイズを求め、オブジェクトサイズに設定する。また1画素あたりの階調が8ビットであるか否かの設定を行う。H.263では1画素あたりの階調が8ビット以外を想定していないため、1画素あたりの階調を8ビットに設定する。
そして差分量子化ステップサイズ254は、マクロブロックタイプで1つ前のマクロブロックの量子化ステップサイズと異なることが示されている場合に多重化される情報であり、1つ前のマクロブロックの量子化ステップサイズとの差分値を示す。
ここでは符号化ビットストリーム1がMPEG−4互換H.263符号化ビットストリーム203の場合を説明する。MPEG−4符号化ビットストリーム204の場合については、ISO/IEC JTC1/SC29/WG11 MPEG−4 Video VM8.0に記載されているので省略する。
符号化ビットストリーム1は、MPEG−4ヘッダ情報設定部43で設定された形状情報311により、切替部81で出力が切り替えられる。符号化ビットストリーム1がMPEG−4互換H.263符号化ビットストリーム203の場合には、形状情報311は矩形に設定されているので、ビットストリーム1は、形状符号化データ復号部82を介せずに、切替部83に入力される。
一方、マクロブロックの量子化ステップサイズが1つ前に復号されたマクロブロックの量子化ステップサイズと同じことを示す場合には、差分量子化ステップサイズ零設定部92が、差分量子化ステップサイズを零に設定する。
まず符号化ブロックデータは、マクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313により、切替部101で切り替えられ、マクロブロックタイプ313がイントラ以外の場合には、切替部105に出力される。マクロブロックタイプ313がイントラの場合には、符号化ブロックデータは切換部102に入力され、MPEG−4ヘッダ情報設定部43で設定されたイントラAC/DC予測モード指示情報315により切り替えられる。
ブロック内のAC係数は、符号化装置側で、係数をブロック内で決められた順番にスキャンし、零でない係数がブロック内で最後かどうかを示すフラグ(LAST)、連続する零の数(RUN)とそれに続く零でない係数のレベル(LEVEL)を組にして、可変長符号化されている。復号側では、符号化データを可変長復号することにより、(LAST,RUN,LEVEL)の組み合わせが得られ、これに基づいてブロック内のAC係数を再現することができる。なお(LAST,RUN,LEVEL)の組み合わせを可変長符号化する際に、MPEG−4ではマクロブロックタイプにより、異なるVLC(Variable Length Coding)テーブルにより可変長符号化するのに対し、H.263ではマクロブロックタイプによらず、同じVLCテーブルにより可変長符号化を行う。
一方VOPの予測モードがイントラの場合には、動き補償予測は行われない。
テクスチャ復号部10は、テクスチャ符号化データ6を受け取り、テクスチャデータ11を復元する。
図16は逆量子化部114の構成を示すブロック図である。
切替部117はテクスチャ符号化データ6に含まれるマクロブロックタイプ313により切り替えられる。復号対象ブロックのマクロブロックタイプ313がインター符号化モードの場合には、テクスチャ符号化データ6にDC係数データが含まれないので、テクスチャ符号化データ6はAC係数逆量子化部120に入力される。復号対象ブロックのマクロブロックタイプ313がイントラ符号化モードの場合には、テクスチャ符号化データ6は切替部118に入力される。
図17は実施の形態2における画像符号化装置の構成を示すブロック図であり、実施の形態1で述べた画像復号化装置で復号可能な符号化ビットストリームを生成するものである。図において、121は入力画像信号、122はH.263方式符号化部、123はH.263符号化ビットストリーム、124はMPEG−4互換フラグ、125はヘッダ情報多重化部、126はMPEG−4互換H.263符号化ビットストリームである。
まず、H.263方式符号化部122は、入力画像信号121をH.263のシンタックスに基づいて符号化し、H.263符号化ビットストリーム123を生成する。次にヘッダ情報多重化部125は、MPEG−4ベースの復号化装置で復号可能なビットストリームを生成することを示すMPEG−4互換フラグ124を受け取り、H.263ビットストリームのピクチャヘッダの前に実施の形態1で述べた画像復号化装置で復号するために必要なVOスタートコード231、VO識別番号232、VOLスタートコード233及びH.263互換識別情報(H.263ベースのビットストリームであることを示す0又は1のフラグ)226を多重化する。このようにして多重化されたMPEG−4互換H.263符号化ビットストリーム126の内容は、実施の形態1の図2(a)に示したものとなる。
図19は実施の形態3におけるMPEG−4互換H.263符号化ビットストリーム205の構造を示す図であり、従来の図1(a)で示したH.263符号化ビットストリーム201に、VOスタートコード231、VO識別番号232及びH.263スタートコード228が追加されている。そしてH.263スタートコード228は、実施の形態1において多重化されているVOLスタートコード233とH.263互換識別情報226の両方の機能を達成するものである。
なおMPEG−4符号化ビットストリーム202は、従来の図1(b)で示したものと同じである。
VOスタートコード検出部30がVOスタートコード231を検出すると以下の復号動作を開始する。まず、H.263スタートコード/VOLスタートコード検出部131が、MPEG−4互換H.263符号化ビットストリーム205の場合はH.263スタートコードを検出し、MPEG−4符号化ビットストリーム202の場合はVOLスタートコード233を検出する。
この実施の形態は、実施の形態3で述べた画像復号化装置で復号可能なビットストリームを生成する画像符号化装置で、その構成は実施の形態2の図17と同じである。
次に動作について説明する。
まず、H.263方式符号化部122は、入力画像信号121をH.263のシンタックスに基づいて符号化し、H.263符号化ビットストリーム123を生成する。次にヘッダ情報多重化部125は、MPEG−4互換フラグ124を受け取り、H.263符号化ビットストリーム123のピクチャヘッダの前に、実施の形態3で述べた画像復号化装置で復号するために必要なVOスタートコード231、VO識別番号232及びH.263スタートコード228を多重化する。このようにして多重化されたMPEG−4互換H.263符号化ビットストリーム126の内容は、実施の形態3の図19に示したものとなる。
なおMPEG−4互換フラグ124は実施の形態2の図18で述べたように、MPEG−4復号化装置128より渡すことも可能である。
この実施の形態は、MPEG−4互換のためのヘッダ情報を多重化する多重化部を符号化装置とは独立して例えばネットワーク上に持つものである。図21は実施の形態5における画像通信システムを示す図である。図において、141はH.263符号化装置、142はMPEG−4復号化装置、143は符号化ビットストリーム変換装置であり、H.263符号化装置141、MPEG−4復号化装置142及び符号化ビットストリーム変換装置143は、ネットワークに接続されている。
符号化ビットストリーム変換装置143がMPEG−4復号化装置142又はユーザよりMPEG−4互換H.263符号化ビットストリーム148を要求するMPEG−4互換フラグ147を受け取ると、符号化ビットストリーム変換装置143は、H.263符号化装置141より、H.263符号化ビットストリーム146を受け取り、実施の形態2又は実施の形態4で述べたように、MPEG−4復号化装置で復号するのに必要なヘッダ情報をH.263符号化ビットストリーム146に多重化して、MPEG−4復号化装置142に送信する。
図22は実施の形態6における画像通信システムを示す図である。図において、141はH.263符号化装置、143は符号化ビットストリーム変換装置、144はサーバ、145はMPEG−4復号化装置内蔵ブラウザであり、これらはネットワーク上に接続されている。
次に動作について説明する。
MPEG−4復号化装置内蔵ブラウザ145が、ネットワーク上で伝送されるH.263符号化ビットストリーム146に対してアクセスする場合、MPEG−4復号化装置内蔵ブラウザ145は、サーバ144にMPEG−4復号化装置で復号することを示すMPEG−4互換フラグ147を伝送する。サーバ144がMPEG−4互換フラグ147を受け取ると、H.263符号化ビットストリーム146を符号化ビットストリーム変換装置143に伝送する。
実施の形態1及び実施の形態3で述べた画像復号化装置においては、H.263ビットストリームか、あるいはMPEG−4ビットストリームかを識別することができる。しかし、H.263符号化装置によって生成されるH.263ビットストリームの先頭にMPEG−4互換のためのヘッダ情報を多重化する必要があり、H.263ビットストリームをそのまま受け取ることはできない。実施の形態7は、H.263ビットストリームをそのまま受け取り復号することができる画像復号化装置である。
H.263ピクチャスタートコード検出部151は、図24(a),(b)で示した符号化ビットストリームの始めと終りを常時監視している。H.263符号化ビットストリーム201の場合は、ピクチャスタートコード221からマクロブロックデータ225までを、MPEG−4符号化ビットストリーム202の場合は、VOスタートコード231からマクロブロックデータ239までを、それぞれ1つの符号化ビットストリームとして監視する。
一方MPEG−4符号化ビットストリーム202の場合、切替部34は、MPEG−4符号化ビットストリーム202をVOLヘッダ情報復号部37に入力する。以降の動作についても、実施の形態1と同様である。
この実施の形態は、図1(a)に示すH.263符号化ビットストリーム201を図1(b)に示すMPEG−4符号化ビットストリーム202に変換する符号化ビットストリーム変換装置に関するものである。
図25は実施の形態8における符号化ビットストリーム変換装置を示すブロック図であり、図において、161はH.263符号化ビットストリーム201をピクチャヘッダ情報符号語401、GOBヘッダ情報符号語402及びマクロブロックデータ符号語403に分離するシンタックス解析部、162はピクチャヘッダ情報符号語401を復号するピクチャヘッダ情報復号部、163はGOBヘッダ情報符号語402を復号するGOBヘッダ情報解析・変換部、164はVOLヘッダ情報234及びVOPヘッダ情報236の設定を行うMPEG−4ヘッダ情報設定部、165はMPEG−4符号化ビットストリーム202を出力する多重化部である。
シンタックス解析部161は、H.263符号化ビットストリーム201から、ピクチャスタートコード221を検出すると、以降に続く符号化ビットストリームをピクチャヘッダ情報符号語401、GOBヘッダ情報符号語402及びマクロブロックデータ符号語403に分離し、それぞれピクチャヘッダ情報復号部162、GOBヘッダ情報解析・変換部163及び多重化部165に出力する。ただしGOBヘッダ情報符号語402は、必ずH.263符号化ビットストリーム201に多重化されているとは限らず、GOBスタートコード223が検出された場合に限り多重化されている。GOBスタートコード223が検出された場合には、GOBヘッダ検出情報404をMPEG−4ヘッダ情報設定部164に出力する。ピクチャヘッダ情報復号部162は、ピクチャヘッダ情報符号語401を実施の形態1と同様に復号し、復号したピクチャヘッダ情報405をMPEG−4ヘッダ情報設定部164に出力する。
(1)AC係数VLCテーブル切替情報
実施の形態1で述べたように、符号化側でAC係数データを可変長符号化する際に用いるVLCテーブルが異なる場合に、復号側でAC係数データを可変長復号するのに用いるVLDテーブルを切り替えるための情報。
(2)Esc Coding切替情報
実施の形態1で述べたように、符号化側でAC係数データを可変長符号化する際に、符号化しようとしているAC係数データがVLCテーブルになかったときの符号化方法が異なる場合に、復号側で復号方法を切り替えるための情報。
(3)イントラDC係数逆量子化切替情報
実施の形態1で述べたように、符号化側でイントラDC係数の量子化方法が異なる場合に、DC係数の逆量子化方法を切り替えるための情報。
なお(1)〜(3)の切替情報をまとめて、H.263で採用されている手法とそれ以外で切り替える情報として、設定しておくことも可能である。
GOBヘッダ情報解析・変換部163は、実施の形態1と同様に、GOBヘッダ情報符号語402を復号し、GOBヘッダ情報224をMPEG−4の表現形式である再同期情報238に変換する。
多重化部165は、MPEG−4ヘッダ情報符号語406、再同期情報符号語407、マクロブロックデータ符号語403を符号化ビットストリームに多重化し、MPEG−4符号化ビットストリーム202を出力する。
なおH.263符号化ビットストリーム201において、マクロブロックデータ225の後にシーケンス終了コード227が付加されている場合、シンタックス解析部161は、シーケンス終了コード227を検出すると解析を終了する。
実施の形態7では、図23において、H.263ピクチャスタートコード検出部151がピクチャスタートコード221を検出した場合、符号化方式判定部152がH.263符号化ビットストリーム201と判定し、H.263ピクチャヘッダ情報解析部153がVOLヘッダ情報とVOPヘッダ情報を設定するようにしたが、本実施の形態では、H.263ピクチャヘッダ情報解析部153に含まれている図6におけるH.263ピクチャヘッダ情報復号部42にて復号されたピクチャヘッダ情報222に基づき、マクロブロックレイヤシンタックス解析部22の動作を切り替える。このとき、MPEG−4ヘッダ情報設定部43は不要である。また、実施の形態7では、図8におけるGOBスタートコード検出部61が、H.263符号化ビットストリーム201中にGOBスタートコード223を検出した場合、GOBヘッダ情報復号部62がGOBヘッダ情報224を復号し、MPEG−4ヘッダ情報変更部63にて、VOPヘッダ情報236に含まれるVOP量子化ステップサイズの再設定を行った。本実施の形態では、H.263符号化ビットストリーム201を復号する場合、ピクチャヘッダ情報222を用いて、マクロブロックデータの復号を行うため、ピクチャヘッダ情報222に含まれるピクチャ量子化ステップサイズ304の再設定を行えば良い。
本実施の形態では、図12のマクロブロックレイヤシンタックス解析部の切替部81,83,88,95の動作と、加算部94の動作と、動きベクトル復号部97の動作と、図13のブロックデータ復号部98の切替部102の動作のみが異なるので、この部分についてのみ説明する。
切替部81は、MPEG−4符号化ビットストリーム202を復号している場合、すなわち、図23における符号化方式判定部152にて設定されたH.263互換識別情報33がMPEG−4を示している場合には、VOLヘッダ情報復号部37にて復号された形状情報により、切り替えられる。H.263符号化ビットストリーム201を復号している場合、すなわち、H.263互換識別情報33がH.263を示している場合には、無条件にビットストリーム1は形状符号化データ復号部82を介さずに、切替部83に入力される。
Claims (1)
- 少なくともH.263符号化方式のヘッダ情報とH.263符号化方式で符号化された画像符号化データとが多重化された第1の符号化ビットストリーム、又はMPEG−4符号化方式のヘッダ情報とMPEG−4符号化方式で符号化された画像符号化データとが多重化された第2の符号化ビットストリームを復号する画像復号化装置において、
上記第1の符号化ビットストリームのヘッダ情報、または上記第2の符号化ビットストリームのヘッダ情報に基づき、受信した符号化ビットストリームが、上記第1の符号化ビットストリームまたは上記第2の符号化ビットストリームであるかを判定する符号化方式判定手段と、
上記符号化方式判定手段が上記第1の符号化ビットストリームを受信したと判定した場合には、上記H.263符号化方式のヘッダ情報に含まれるH.263方式画像符号化情報に基づいて定められるMPEG−4方式画像符号化情報を利用してH.263符号化ビットストリームをMPEG−4符号化ビットストリームのシンタックスに従って復号し、上記符号化方式判定手段が上記第2の符号化ビットストリームを受信したと判定した場合には、該受信した第2の符号化ビットストリームから復号される上記MPEG−4符号化方式のヘッダ情報に含まれるMPEG−4方式画像符号化情報を利用して上記第2の符号化ビットストリームに含まれる画像符号化データを復号する復号手段と、を備え、
上記復号手段は、上記第1の符号化ビットストリームを受信した場合にはあらかじめ定められた固定符号長でイントラDCT係数の直流成分を復号することを特徴とする画像復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007060814A JP4350761B2 (ja) | 2007-03-09 | 2007-03-09 | 画像復号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007060814A JP4350761B2 (ja) | 2007-03-09 | 2007-03-09 | 画像復号化装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005349716A Division JP3993212B2 (ja) | 2005-12-02 | 2005-12-02 | 画像復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007195236A JP2007195236A (ja) | 2007-08-02 |
JP4350761B2 true JP4350761B2 (ja) | 2009-10-21 |
Family
ID=38450481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007060814A Expired - Lifetime JP4350761B2 (ja) | 2007-03-09 | 2007-03-09 | 画像復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4350761B2 (ja) |
-
2007
- 2007-03-09 JP JP2007060814A patent/JP4350761B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2007195236A (ja) | 2007-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3573759B2 (ja) | 画像復号化装置、画像符号化装置、画像通信システム、符号化ビットストリーム変換装置及び画像復号化方法 | |
EP1565002A1 (en) | Video bit stream converting apparatus | |
JP4350796B2 (ja) | 画像符号化装置およびビットストリーム生成装置 | |
JP3910594B2 (ja) | 画像符号化装置 | |
JP4350761B2 (ja) | 画像復号化装置 | |
JP4260193B2 (ja) | 画像復号化装置 | |
JP4260195B2 (ja) | 画像復号化装置 | |
JP4260194B2 (ja) | 画像復号化装置 | |
JP4260192B2 (ja) | 画像復号化装置 | |
JP3993213B2 (ja) | 画像復号化装置 | |
JP4350759B2 (ja) | 画像復号化装置 | |
JP4350760B2 (ja) | 画像復号化装置 | |
JP3993212B2 (ja) | 画像復号化装置 | |
JP4260191B2 (ja) | 画像復号化装置 | |
EP1988716A2 (en) | Image decoding apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070912 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090714 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090722 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |