JP4260194B2 - 画像復号化装置 - Google Patents

画像復号化装置 Download PDF

Info

Publication number
JP4260194B2
JP4260194B2 JP2007060791A JP2007060791A JP4260194B2 JP 4260194 B2 JP4260194 B2 JP 4260194B2 JP 2007060791 A JP2007060791 A JP 2007060791A JP 2007060791 A JP2007060791 A JP 2007060791A JP 4260194 B2 JP4260194 B2 JP 4260194B2
Authority
JP
Japan
Prior art keywords
bit stream
mpeg
unit
header information
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2007060791A
Other languages
English (en)
Other versions
JP2007195234A (ja
Inventor
芳美 守屋
俊一 関口
光太郎 浅井
博文 西川
慎一 黒田
由里 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007060791A priority Critical patent/JP4260194B2/ja
Publication of JP2007195234A publication Critical patent/JP2007195234A/ja
Application granted granted Critical
Publication of JP4260194B2 publication Critical patent/JP4260194B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

この発明は異なる符号化方式の符号化ビットストリームを扱う画像復号化装置に関するものである。
現在、ISO/IEC JTC11/SC29/WG11にて標準化作業中のMPEG−4(Moving Picture Experts Group Phase−4)方式と、ITU−T勧告H.263の規格に基づく方式とでは、伝送信号である符号化ビットストリームに付加されるヘッダ情報(復号のための情報信号)が相違している。
図1(a)はH.263の規格に基づくH.263符号化ビットストリーム201の構造を示す図であり、ヘッダ情報211とH.263符号化方式で符号化された画像符号化データであるマクロブロックデータ225が多重化されている。図1(b)はMPEG−4符号化ビットストリーム202の構造を示す図であり、ヘッダ情報212とMPEG−4符号化方式で符号化された画像符号化データであるマクロブロックデータ239が多重化されている。図に示すとおり、符号化ビットストリームの構造は相違しており、特にH.263では、MPEG−4の復号に必要なVO(Video Object)、VOL(Video Object Layer)、VOP(Video Object Plane)等に関するヘッダ情報が含まれていない。そのため両方式による画像の通信を行うためには、それぞれ別個の画像復号化装置及び画像符号化装置が必要である。
なおH.263符号化ビットストリーム201のGOBスタートコード223、GOBヘッダ情報224及びMPEG−4符号化ビットストリーム202の再同期指示コード237、再同期情報238は常に挿入されているものではなく、必要に応じて挿入される。
このように従来の符号化ビットストリームは以上のように構成されているので、例えばMPEG−4対応の画像復号化装置では、H.263の規格に基づいて生成されたH.263符号化ビットストリーム201を復号することができないという課題があった。
またMPEG−4対応とH.263の規格に基づく両方の符号化ビットストリームを復号するためには、画像復号化装置は両方式の復号回路を備える必要があり、装置が複雑になるという課題があった。
この発明は上記のような課題を解決するためになされたもので、簡単な構成により、H.263符号化ビットストリーム201を復号可能な画像復号化装置を得ることを目的とする。
この発明に係る画像復号化装置は、少なくともH.263符号化方式のヘッダ情報とH.263符号化方式で符号化された画像符号化データとが多重化された第1の符号化ビットストリーム、又はMPEG−4符号化方式のヘッダ情報とMPEG−4符号化方式で符号化された画像符号化データとが多重化された第2の符号化ビットストリームを復号する画像復号化装置において、第1の符号化ビットストリームを受信した場合に、第1の符号化ビットストリームを第2の符号化ビットストリームのシンタックスに従って復号する際に利用される量子化手法指示情報をH.263タイプの量子化手法と定める設定手段と、第2の符号化ビットストリームを受信した場合に、MPEG−4符号化方式のヘッダ情報に含まれる画像符号化情報を、該受信した第2の符号化ビットストリームから復号する復号手段を備え、第1の符号化ビットストリームを受信した場合には設定手段により定められた量子化手法指示情報に基づいて、第2の符号化ビットストリームのシンタックスに従って第1の符号化ビットストリームを復号し、第2の符号化ビットストリームを受信した場合には復号手段により復号された画像符号化情報に基づいて第2の符号化ビットストリームを復号するものである。
この発明によれば、符号化方式の異なるH.263とMPEG−4の符号化ビットストリームでも、符号化方式を容易に識別し復号できるという効果を奏する。
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態1.
図2は実施の形態1における画像復号化装置が受信する符号化ビットストリームの構造を示す図であり、図2(a)はMPEG−4互換H.263符号化ビットストリーム203、また図2(b)はMPEG−4符号化ビットストリーム204である。図2(a)のMPEG−4互換H.263符号化ビットストリーム203は、従来の図1(a)で示したH.263符号化ビットストリーム201に、VOスタートコード231、VO識別番号232、VOLスタートコード233及びH.263互換識別情報226が追加されている。また図2(b)のMPEG−4符号化ビットストリーム204は、従来の図1(b)に示したMPEG−4符号化ビットストリーム202に、H.263互換識別情報226が追加されている。なおMPEG−4互換H.263符号化ビットストリーム203とMPEG−4符号化ビットストリーム204に追加されているH.263互換識別情報226は、両方が区別できる情報とし、例えば一方のH.263互換識別情報を”0”のビットとすると、他方を”1”のビットとする。
図3は実施の形態1におけるVO(Video Object)を復号する画像復号化装置の構成を示すブロック図である。図において、1は受信した符号化ビットストリーム、2はシンタックス解析・可変長復号部であり、符号化ビットストリーム1から、シンタックス(多重化したビデオ信号)を解析すると共に、形状符号化データ3、テクスチャ符号化データ6、テクスチャ動きデータ7を出力する。4は形状符号化データ3を復号し復号形状データ5を求める形状復号部、8はテクスチャ動きデータ7に基づき動き補償を行い予測テクスチャデータ9を求める動き補償部、10はテクスチャ符号化データ6と予測テクスチャデータ9に基づき復号を行い復号テクスチャデータ11を求めるテクスチャ復号部である。
次に動作について説明する。
ここでは、本発明の主眼たる図2(a)のMPEG−4互換H.263符号化ビットストリーム203の復号動作について主として説明する。従って各VOPの形状が矩形の場合、すなわちビットストリーム中に形状符号化データが含まれない場合で、テクスチャデータや動きに関する情報が、マクロブロック毎に符号化されている場合について説明する。
なお図2(b)のMPEG−4符号化ビットストリーム204の復号動作については、基本的には従来と同じである。
まずシンタックス解析・可変長復号部2は、入力した符号化ビットストリーム1を、2値のビットストリームから意味を持つデータに分離する。そしてこのシンタックス解析・可変長復号部2が、MPEG−4互換H.263符号化ビットストリーム203の復号を可能にしている。動き補償部8は、シンタックス解析・可変長復号部2より出力されたテクスチャ動きデータ7に基づき動き補償を行い、予測テクスチャデータ9を出力する。テクスチャ復号部10は、シンタックス解析・可変長復号部2より出力されたテクスチャ符号化データ6と動き補償部8より出力された予測テクスチャデータ9を入力し、復号テクスチャデータ11を得る。
次にシンタックス解析・可変長復号部2の動作について説明する。
図4はシンタックス解析・可変長復号部2の構成を示すブロック図である。図において、21は符号化ビットストリーム1に付加されたヘッダ情報を抽出し以降の復号の制御に必要な各種のヘッダ情報を設定するヘッダ情報解析部、22は符号化ビットストリーム1からテクスチャ符号化データ6及びテクスチャ動きデータ7を求めるマクロブロックレイヤシンタックス解析部である。
図5はヘッダ情報解析部21の構成を示すブロック図である。図において、30は符号化ビットストリーム1におけるVOスタートコード231を検出するVOスタートコード検出部、31は符号化ビットストリーム1からVOLスタートコード233を検出するVOLスタートコード検出部、32は符号化方式判定部であり、符号化ビットストリーム1がMPEG−4互換H.263符号化ビットストリーム203であるかMPEG−4符号化ビットストリーム204かを判定し、H.263互換識別情報33を出力する。34は判定された符号化方式により切り替えられる切替部、35はMPEG−4互換H.263符号化ビットストリーム203の場合、H263方式に特有な画像符号化情報であるピクチャヘッダ情報222を復号し、MPEG−4方式に特有な画像符号化情報であるVOLヘッダ情報234とVOPヘッダ情報236を設定するH.263ピクチャヘッダ情報解析部、36はMPEG−4互換H.263符号化ビットストリーム203の場合、H.263GOB(Group of Block)ヘッダ情報224を復号し、復号されたGOBヘッダ情報224に基づいて、H.263ピクチャヘッダ解析部35により設定されたVOPヘッダ情報236の変更を行うH.263GOBヘッダ情報解析部、37はMPEG−4符号化ビットストリーム204の場合、VOLヘッダ情報234を復号するVOLヘッダ情報復号部、38はMPEG−4符号化ビットストリーム204の場合、VOPヘッダ情報236を復号するVOPヘッダ情報解析部である。
次にヘッダ情報解析部21の動作について説明する。
VOスタートコード検出部30が図2に示したMPEG−4互換H.263符号化ビットストリーム203又はMPEG−4符号化ビットストリーム204におけるVOスタートコード231を検出すると以下の復号動作を開始する。VOLスタートコード検出部31は、符号化ビットストリーム1からVOLスタートコード233を検出する。そして符号化方式判定部32は、符号化ビットストリーム1からH.263互換識別情報226を復号し、H.263互換識別情報226により符号化ビットストリーム1がMPEG−4互換H.263符号化ビットストリーム203であるか、MPEG−4符号化ビットストリーム204であるかを判定し、H.263互換識別情報33を出力する。
符号化ビットストリーム1がMPEG−4互換H.263符号化ビットストリーム203である場合には、切替部34により符号化ビットストリーム1がH.263ピクチャヘッダ情報解析部35に入力される。
図6はH.263ピクチャヘッダ情報解析部35の構成を示すブロック図である。H.263ピクチャスタートコード検出部41が、符号化ビットストリーム1からピクチャスタートコード221を検出すると、次にH.263ピクチャヘッダ情報復号部42は、符号化ビットストリーム1からピクチャヘッダ情報222を復号する。そしてMPEG−4ヘッダ情報設定部43は、復号されたピクチャヘッダ情報222に基づきVOLヘッダ情報234とVOPヘッダ情報236を設定する。
図7はH.263ピクチャヘッダ情報復号部42の構成を示すブロック図である。temporal reference(TR)復号部51は、H.263ピクチャスタートコード検出部41からのビットストリーム1を入力し、伝送されたピクチャ間でスキップあるいは参照されなかったピクチャ数(TR)を復号する。この情報は表示の際に必要に応じて用いられる。
次に、ピクチャタイプ(PTYPE)復号部52は、ピクチャタイプ(PTYPE)の復号を行う。ピクチャタイプには、ピクチャフォーマット301、ピクチャ符号化タイプ302、オプショナルモード指示フラグ303等の情報が含まれている。復号されたピクチャフォーマット301、ピクチャ符号化タイプ302は、図6のMPEG−4ヘッダ情報設定部43に出力される。
またピクチャタイプ(PTYPE)復号部52は、オプショナルモード指示フラグ303がONであるか否かを判定する。H.263では、オプショナルなモードがいくつか用意されているが、この実施の形態で述べる画像復号化装置においては、これらのオプショナルなモードが含まれるビットストリームについては互換性を認めないものとし、これらのオプショナルなモードがON(有効)になっている符号化ビットストリームは、切替部53により復号動作終了部54に入力される。そして復号動作終了部54はその符号化ビットストリームに対する復号動作を終了させる。ピクチャタイプには、その他表示等について規定した情報が含まれているが、それらについては必要に応じて用いることも可能である。
一方、オプショナルなモードがOFF(無効)になっているビットストリームは、切替部53によりピクチャ量子化ステップサイズ(PQUANT)復号部55に入力される。ピクチャ量子化ステップサイズ(PQUANT)復号部55は、ピクチャ量子化ステップサイズ(PQUANT)304の復号を行う。復号されたピクチャ量子化ステップサイズ304は、図6のMPEG−4ヘッダ情報設定部43に出力される。ピクチャ量子化ステップサイズ304以降のピクチャヘッダ情報は、以降の復号で必要がないため読み飛ばされる。
次に図6のMPEG−4ヘッダ情報設定部43の動作について説明する。
MPEG−4ヘッダ情報設定部43は、復号されたピクチャヘッダ情報222に基づき、VOLヘッダ情報234として、VOLの形状情報とオブジェクトサイズを設定する。またMPEG−4互換H.263符号化ビットストリームの場合には、各ビットストリームはフレームに対応するので、MPEG−4ヘッダ情報設定部43は、形状情報が矩形である旨設定する。さらにオブジェクトサイズはフレームサイズに対応するので、MPEG−4ヘッダ情報設定部43は、ピクチャヘッダ情報222の一つであるピクチャフォーマット301よりフレームサイズを求め、オブジェクトサイズに設定する。また1画素あたりの階調が8ビットであるか否かの設定を行う。H.263では1画素あたりの階調が8ビット以外を想定していないため、1画素あたりの階調を8ビットに設定する。
次にMPEG−4ヘッダ情報設定部43は、MPEG−4ベースの符号化条件である、スプライト符号化、エラー耐性符号化、イントラAC/DC予測、スケーラビリティ符号化を無効に設定する。なおMPEG−4では、量子化手法をH.263,MPEG−1/2の2種類の手法から選択できるため、MPEG−4互換H.263符号化ビットストリーム203の場合には量子化手法をH.263に設定しておく。
さらにMPEG−4ヘッダ情報設定部43は、VOPヘッダ情報236を設定する。VOPヘッダ情報236としては、VOPの予測タイプ情報、量子化ステップサイズを設定する。VOPの予測タイプには、VOP内のデータのみで符号化されるイントラの場合と、前後のVOPのデータを用いて符号化されるインターの場合がある。VOPの予測タイプ情報は、ピクチャヘッダ情報222の一つであるピクチャ符号化タイプ302に基づき設定する。またVOPの量子化ステップサイズも、同様にピクチャヘッダ情報222であるピクチャ量子化ステップサイズ304より設定する。
さらにMPEG−4では、動きベクトルの探索範囲を7種類の中から選択可能であるため、動きベクトルの探索範囲を指定するコードが用意されている。これに対し、H.263ではこの中の1種類の探索範囲のみに対応しているため、MPEG−4ヘッダ情報設定部43は、動きベクトル探索範囲指定コードをH.263で用いられている動きベクトルの探索範囲に対応するコードに設定しておく必要がある。またMPEG−4ではインタレース画像対応になっているが、H.263ではインタレース対応になっていないので、インタレースモード指示情報は常に無効に設定する。
図5におけるH.263ピクチャヘッダ情報解析部35によるピクチャヘッダ情報の解析が終了すると、符号化ビットストリーム中にGOBスタートコード223とGOBヘッダ情報224が挿入されている場合、次にH.263GOBヘッダ情報解析部36によるGOBヘッダ情報224の解析が行われる。符号化ビットストリーム中にGOBスタートコード223とGOBヘッダ情報224が挿入されていない場合、H.263GOBヘッダ情報解析部36は動作しない。
図8は図5におけるH.263GOBヘッダ情報解析部36の構成を示すブロック図である。GOBスタートコード検出部61が、符号化ビットストリーム1に付加されているGOBスタートコード223を検出すると、GOBヘッダ情報復号部62はGOBヘッダ情報224を復号する。
図9はGOBを説明する図である。図に示すように、GOBは画像をいくつかのマクロブロックの列に分けたもので、GOBヘッダ情報224には、復号側で再同期を取るのに必要な情報が含まれる。符号化ビットストリームのあるビットで誤りが起こった場合、可変長符号化及び予測符号化が行われているときには、以降のマクロブロックデータを正しく復号することができず誤りが伝播する。GOBヘッダ情報が検出されると、GOBの先頭のマクロブロックを復号する前に、符号化ビットストリームの再同期が取られ、以降のマクロブロックを復号するのに必要な情報が再設定されるため、エラーの伝播を防ぐことができる。各マクロブロックの量子化ステップサイズや動きベクトルは、すでに符号化されたマクロブロックの量子化ステップサイズや動きベクトルとの差分を符号化する予測符号化が行われているため、再同期が取られた場合には、これらの情報を再設定する必要がある。
図10はGOBヘッダ情報復号部62の構成を示すブロック図である。GOB番号復号部71は、符号化ビットストリーム1からGOB番号(GN)を復号する。そしてGOBフレーム識別番号復号部72は、GOBが属しているピクチャの識別番号(GFID)を復号する。さらにGOB量子化ステップサイズ復号部73は、GOB量子化ステップサイズ(GQUANT)305を復号し、図8におけるMPEG−4ヘッダ情報変更部63に出力する。
MPEG−4ヘッダ情報変更部63は、復号されたGOBヘッダ情報224に基づいて、MPEG−4ヘッダ情報設定部43により設定されたVOPヘッダ情報236の変更を行う。GOBヘッダ情報224により変更される情報は量子化ステップサイズで、GOBの量子化ステップサイズをVOPの量子化ステップサイズに設定する。以上の設定された各情報は、図4のマクロブロックレイヤシンタックス解析部22に出力される。
図5における符号化方式判定部32は、H.263互換識別情報226がMPEG−4を示す場合には、符号化ビットストリーム1がMPEG−4符号化ビットストリーム204であると判定し、H.263互換識別情報33を出力する。そしてMPEG−4符号化ビットストリーム204は、切替部34によりVOLヘッダ情報復号部37に入力される。VOLヘッダ情報復号部37は符号化ビットストリームからVOLヘッダ情報234を復号し、VOPヘッダ情報解析部38はVOPヘッダ情報236を復号し、図4のマクロブロックレイヤシンタックス解析部22に出力する。
以上の情報が設定されると、マクロブロックレイヤシンタックス解析部22は、MPEG−4のシンタックスに基づく解析で、マクロブロックデータ225、239を復号する。ただし、ブロックデータの符号化方法がMPEG−4とH.263では若干異なるため、復号側でも動作を切り替える必要がある。
図11は実施の形態1におけるMPEG−4互換H.263ビットストリーム203におけるマクロブロックデータ225のレイヤ構造を示す図である。マクロブロックは、4つの輝度ブロックと2つの色差ブロックから構成される。図に示すように、マクロブロックごとに、マクロブロックスキップ判定情報251、マクロブロックタイプ・有効色差ブロック識別情報252、有効ブロック識別情報253、差分量子化ステップサイズ254及び動きデータ255の各属性情報が多重化されている。
ここでマクロブロックスキップ判定情報251は、インターVOPにおいて、動きベクトルが零でかつマクロブロック内の全ての係数データ(入力画像信号(イントラの場合には原信号、インタの場合には参照VOPとの差分信号)をDCT後、量子化したデータ)が零かどうかを示す情報であり、動きベクトルが零で係数データが全て零の場合には、そのマクロブロックに関する以降の情報はビットストリーム中に含まれない。従って次のマクロブロックにスキップされる。
またマクロブロックタイプ・有効色差ブロック識別情報252のマクロブロックタイプは、マクロブロックデータを符号化する際に、マクロブロックの原信号を用いて符号化した場合(イントラ)、あるいは、動き補償予測を行い参照マクロブロックとの差分信号を符号化した場合(インター)、1つ前のマクロブロックの量子化ステップサイズと異なる量子化ステップサイズで符号化した場合等、マクロブロックの符号化タイプを示す情報である。
さらに有効ブロック識別情報253は、各ブロックの係数データが全て零であるか否かを示す情報である。上記属性情報の後にブロックごとに係数データが多重化されているが(ブロックデータ256に相当)、この有効ブロック識別情報253が無効ブロックであることを示す場合には、そのブロックの係数データは存在しない。
そして差分量子化ステップサイズ254は、マクロブロックタイプで1つ前のマクロブロックの量子化ステップサイズと異なることが示されている場合に多重化される情報であり、1つ前のマクロブロックの量子化ステップサイズとの差分値を示す。
図12はマクロブロックレイヤシンタックス解析部22の構成を示すブロック図である。図において、81はMPEG−4ヘッダ情報設定部43で設定された形状情報311により切り替えられる切替部、82は符号化ビットストリーム中の形状符号化データを復号する形状符号化データ復号部、83はMPEG−4ヘッダ情報設定部43で設定されたVOP予測タイプ312により切り替えられる切替部、84はVOP予測タイプがイントラ以外の場合に、マクロブロックのスキップ判定情報251を復号するスキップ判定情報復号部、85はスキップ判定情報251により切り替えられる切替部、86はスキップする場合にそのマクロブロックの動きベクトルとテクスチャデータを全て零にするスキップ時データ設定部、87はVOP予測タイプ312がイントラの場合やスキップしない場合にマクロブロックタイプ313及び有効色差ブロック識別情報を復号するマクロブロックタイプ・有効色差ブロック識別情報復号部である。
また88はMPEG−4ヘッダ情報設定部43で設定されたイントラAC/DC予測モード指示情報315により切り替えられる切替部、89はAC予測指示情報を復号するAC予測指示情報復号部、90は有効ブロック識別情報253を復号する有効ブロック識別情報復号部、91はマクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313により切り替えられる切替部である。
さらに92は差分量子化ステップサイズを零に設定する差分量子化ステップサイズ零設定部、93は差分量子化ステップサイズ317を復号する差分量子化ステップサイズ復号部、94は復号された差分量子化ステップサイズ317と前のブロックのVOP量子化ステップサイズ318を加算し量子化ステップサイズ319を図3のテクスチャ復号部10に出力する加算部、95はMPEG−4ヘッダ情報設定部43からのインタレースモード指示情報316により切り替えられる切替部、96はインタレース情報を復号するインタレース情報復号部、97はマクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313及びMPEG−4ヘッダ情報設定部43より出力されたVOP予測タイプ312と動きベクトル探索範囲指定情報320に基づいて動きベクトル(テクスチャ動きデータ7)を復号する動きベクトル復号部、98は符号化ブロックデータを復号しテクスチャ符号化データ6をテクスチャ復号部10へ出力するブロックデータ復号部である。
次にマクロブロックレイヤシンタックス解析部22の動作について説明する。
ここでは符号化ビットストリーム1がMPEG−4互換H.263符号化ビットストリーム203の場合を説明する。MPEG−4符号化ビットストリーム204の場合については、ISO/IEC JTC1/SC29/WG11 MPEG−4 Video VM8.0に記載されているので省略する。
符号化ビットストリーム1は、MPEG−4ヘッダ情報設定部43で設定された形状情報311により、切替部81で出力が切り替えられる。符号化ビットストリーム1がMPEG−4互換H.263符号化ビットストリーム203の場合には、形状情報311は矩形に設定されているので、ビットストリーム1は、形状符号化データ復号部82を介せずに、切替部83に入力される。
次に切替部83は、MPEG−4ヘッダ情報設定部43で設定されたVOP予測タイプ312により切り替えられる。VOP予測タイプ312がイントラの場合には、マクロブロックタイプ・有効色差ブロック識別情報復号部87は、マクロブロックタイプ313と有効色差ブロック識別情報を復号する。VOP予測タイプがイントラ以外の場合には、スキップ判定情報復号部84は、マクロブロックのスキップ判定情報251を復号する。復号されたスキップ判定情報251に基づき、切替部85が切り替えられ、そのマクロブロックがスキップされることを示す場合には、スキップ時データ設定部86は、そのマクロブロックの動きベクトルとマクロブロック内のテクスチャデータを全て零に設定し、そのマクロブロックに関する復号を終了する。スキップ判定情報251によりそのマクロブロックがスキップされないことを示す場合には、マクロブロックタイプ・有効色差ブロック識別情報復号部87は、マクロブロックタイプ313と有効色差ブロック識別情報を復号する。
次に切替部88は、MPEG−4ヘッダ情報設定部43で設定されたイントラAC/DC予測モード指示情報315により切り替えられる。MPEG−4互換H.263符号化ビットストリーム203の場合には、イントラAC/DC予測を行うという機能はないので、VOLヘッダ情報234を設定する際に、イントラAC/DC予測は無効に設定されており、AC予測指示情報復号部89を介せずに有効ブロック識別情報復号部90に入力される。
次に有効ブロック識別情報復号部90は、マクロブロック内の輝度ブロックに対して有効ブロック識別情報253を復号する。切替部91は、マクロブロックタイプ・有効色差ブロック識別情報復号部87により復号されたマクロブロックタイプ313により切り替えられ、そのマクロブロックの量子化ステップサイズが1つ前に復号されたマクロブロックの量子化ステップと異なる場合には、差分量子化ステップサイズ復号部93は、1つ前に符号化されたマクロブロックの量子化ステップサイズとの差分量子化ステップサイズ317を復号する。復号された差分量子化ステップサイズ317は、加算器94により1つ前のマクロブロックのVOP量子化ステップサイズ318と加算され、量子化ステップサイズ319として図3のテクスチャ復号部10に出力される。
一方、マクロブロックの量子化ステップサイズが1つ前に復号されたマクロブロックの量子化ステップサイズと同じことを示す場合には、差分量子化ステップサイズ零設定部92が、差分量子化ステップサイズを零に設定する。
次に切替部95は、MPEG−4ヘッダ情報設定部43からのインタレースモード指示情報316により切り替えられる。MPEG−4互換H.263符号化ビットストリーム203の場合には、インタレース画像には対応していないので、インタレースモードは無効に設定されており、インタレース情報復号部96を介せずに動きベクトル復号部97に入力される。そして動きベクトル復号部97は、MPEG−4ヘッダ情報設定部43で設定されたVOP予測タイプ312がインターの場合には、マクロブロックタイプ・有効色差ブロック識別情報復号部87により復号されたマクロブロックタイプ313とMPEG−4ヘッダ情報設定部43で設定された動きベクトル探索範囲指定情報320に基づいて、動きベクトル(テクスチャ動きデータ7)を復号し、図3の動き補償部8に出力する。
次にブロックデータ復号部98は、符号化ビットストリームにおける符号化ブロックデータを復号する。図13はブロックデータ復号部98の構成を示すブロック図である。図において、101は符号化ブロックデータを入力すると共にマクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313により切り替えられる切替部、102はMPEG−4ヘッダ情報設定部43で設定されたイントラAC/DC予測モード指示情報315により切り替えられる切替部、103はイントラAC/DC予測がOFFの時にMPEG−4ヘッダ情報設定部43からの1画素あたりの階調321に基づきDC係数固定長の復号を行い復号イントラDC係数111を出力するDC係数固定長復号部、104はイントラAC/DC予測がONの時にDC係数を復号し復号イントラDC係数111を出力するDC係数復号部である。
105は有効ブロック識別情報復号部90から出力された有効ブロック識別情報253により切り替えられる切替部、106はマクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313と符号化方式判定部32より出力されたH.263互換識別情報33に基づきAC係数VLD(Variable Length Decoding)テーブルを切り替えるAC係数VLDテーブル切替部である。
107はAC係数データを可変長復号し復号AC係数データ112を出力するAC係数データ可変長復号部、108は符号化方式判定部32より出力されたH.263互換識別情報33により切り替えられる切替部、109は復号AC係数データ112を出力するAC係数データ固定長復号部、110は復号AC係数データ112を出力するAC係数データEsc coding復号部、113はAC係数を零に設定するAC係数零設定部である。
次にブロックデータ復号部98の動作について説明する。
まず符号化ブロックデータは、マクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313により、切替部101で切り替えられ、マクロブロックタイプ313がイントラ以外の場合には、切替部105に出力される。マクロブロックタイプ313がイントラの場合には、符号化ブロックデータは切換部102に入力され、MPEG−4ヘッダ情報設定部43で設定されたイントラAC/DC予測モード指示情報315により切り替えられる。
MPEG−4互換H.263符号化ビットストリーム203の場合には、イントラAC/DC予測モード315は無効に設定されているので、DC係数復号部104は通過せず、DC係数固定長復号部103に入力される。DC係数固定長復号部103は固定長復号を行い、復号イントラDC係数111をテクスチャ復号部10に出力すると共に、符号化ブロックデータを切替部105に出力する。このとき固定長復号された符号長はMPEG−4ヘッダ情報設定部43で設定された1画素あたりの階調(デフォルト値の8ビット)321に等しく、1画素あたりの階調321は、デフォルト値の8ビットに設定されているので、H.263対応の復号化装置の場合と同様である。
切換部105は、有効ブロック識別情報復号部90で復号された有効ブロック識別情報253により切り替えられ、そのブロックが無効ブロックの場合には、AC係数零設定部113はブロック内の復号AC係数データ112を零に設定し、テクスチャ復号部10に出力する。そのブロックが有効ブロックの場合には、符号化ブロックデータはAC係数VLDテーブル切替部106に入力される。
ブロック内のAC係数は、符号化装置側で、係数をブロック内で決められた順番にスキャンし、零でない係数がブロック内で最後かどうかを示すフラグ(LAST)、連続する零の数(RUN)とそれに続く零でない係数のレベル(LEVEL)を組にして、可変長符号化されている。復号側では、符号化データを可変長復号することにより、(LAST,RUN,LEVEL)の組み合わせが得られ、これに基づいてブロック内のAC係数を再現することができる。なお(LAST,RUN,LEVEL)の組み合わせを可変長符号化する際に、MPEG−4ではマクロブロックタイプにより、異なるVLC(Variable Length Coding)テーブルにより可変長符号化するのに対し、H.263ではマクロブロックタイプによらず、同じVLCテーブルにより可変長符号化を行う。
従ってこの実施の形態における画像復号化装置において、AC係数VLDテーブル切替部106は、マクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313及び符号化方式判定部32より出力されたH.263互換識別情報33に基づきAC係数VLDテーブルを切り替える。そしてH.263互換識別情報33がH.263と設定されている場合には、マクロブロックタイプ(イントラ、インター)313にかかわらずAC係数データ可変長復号部107は、一つのVLDテーブルにより可変長復号を行い、復号AC係数データ112を、符号化テクスチャデータ6としてテクスチャ復号部10に出力する。
また(LAST,RUN,LEVEL)の組み合わせがVLCテーブルになかった場合の符号化方法もMPEG−4とH.263では異なる。MPEG−4ではVLCテーブルに(LAST,RUN,LEVEL)の組み合わせがなかった場合には、エスケープコードを符号化した後で、RUN又はLEVELの値を補正し、可変長符号化を行うか固定長符号化を行う。一方H.263では、エスケープコードを符号化した後で、LAST,RUN,LEVELの値それぞれを固定長符号化する。
従ってこの実施の形態における画像復号化装置において、AC係数データ可変長復号部107によりAC係数符号化データからエスケープコードが検出されたとき符号化ビットストリームは切替部108に入力される。そしてH.263互換識別情報33がH.263に設定されている場合、符号化ビットストリームは、AC係数データEsc coding復号部110を介さずに、AC係数データ固定長復号部109により、次に続くLAST,RUN,LEVELに関するコードをそれぞれ決められた符号長で固定長復号を行い、復号AC係数データ112を、テクスチャ符号化データ6としてテクスチャ復号部10に出力する。
以上の動作により、マクロブロックレイヤシンタックス解析部22で出力されたテクスチャ符号化データ6、動きベクトル(テクスチャ動きデータ7)は、それぞれテクスチャ復号部10、動き補償部8に分配される。
上記のようにして、図3のシンタックス解析・可変長復号部2において、VOPの予測モードが復号され設定される。VOPの予測モードがインターの場合には、テクスチャ動きベクトルの差分ベクトルが復号される。復号されたテクスチャ動きベクトルの差分ベクトルは、近傍の3つのマクロブロックの動きベクトルより求めた予測ベクトルと実際の動きベクトルとの差分ベクトルであり、従って、動きベクトルの差分ベクトルに予測ベクトルを加算したベクトルを動きベクトル(テクスチャ動きデータ8)として算出する。
予測ベクトルの算出は、図14(a)に示したようにすでに復号された3つの近傍のマクロブロック(MV1,MV2,MV3)の動きベクトルより算出する。ただし近傍の3つのマクロブロックのうち、いずれかがVOPの外部に位置する場合には、VOPの外部に位置するマクロブロックの動きベクトルの値を、図14(b)、(d)に示したように零ベクトルに設定するか、図14(c)に示したように、VOP内のマクロブロックの動きベクトルを用いて設定する。しかし符号化方式がH.263の場合で、GOBヘッダが定義されている場合には、GOBの境界内で予測ベクトルの設定を行う必要がある。予測ベクトルの設定については、VOPの場合と同様である。復号されたベクトルに基づき、予測ベクトルを予測テクスチャデータ9として取り出し、テクスチャ復号部10に出力する。
一方VOPの予測モードがイントラの場合には、動き補償予測は行われない。
テクスチャ復号部10は、テクスチャ符号化データ6を受け取り、テクスチャデータ11を復元する。
図15はテクスチャ復号部10の構成を示すブロック図である。逆量子化部114はテクスチャ符号化データ6を逆量子化する。
図16は逆量子化部114の構成を示すブロック図である。
切替部117はテクスチャ符号化データ6に含まれるマクロブロックタイプ313により切り替えられる。復号対象ブロックのマクロブロックタイプ313がインター符号化モードの場合には、テクスチャ符号化データ6にDC係数データが含まれないので、テクスチャ符号化データ6はAC係数逆量子化部120に入力される。復号対象ブロックのマクロブロックタイプ313がイントラ符号化モードの場合には、テクスチャ符号化データ6は切替部118に入力される。
切替部118はH.263互換識別情報33により切り替えられる。H.263互換識別情報33が、MPEG−4互換H.263符号化ビットストリーム203を示している場合には、DC係数線形逆量子化部119Bがテクスチャ符号化データ6に含まれるDC係数データの逆量子化を行う。一方、H.263互換識別情報33が、MPEG−4符号化ビットストリーム204を示している場合には、DC係数非線形逆量子化部119AがDC係数データの逆量子化を行い、DC係数306を出力する。DC係数の量子化はある決められた値(量子化スケールと呼ぶ)でDC係数を割り、端数を切り捨てることにより行われる。従って復号側では、量子化DC係数に量子化スケールを掛けることにより、DC係数306を復元することができる。DC係数線形逆量子化部119BとDC係数非線形逆量子化部119Aでは、この量子化スケールの値の設定が異なる。DC係数線形逆量子化部119Bでは、量子化スケールを固定値8で逆量子化する。一方DC係数非線形逆量子化部119Aでは、量子化ステップサイズ319の範囲に応じて、非線形に量子化スケールの値が設定され、この量子化スケールにより逆量子化を行い、DC係数306を出力する。
次にAC係数逆量子化部120は、AC係数データの逆量子化を行い、AC係数307を出力する。逆量子化されたDC係数(イントラ符号化モードのときのみ存在)306とAC係数307はDCT係数308として逆DCT部115に渡され、逆DCTが施された後、復号予測誤差信号309として出力される。加算部116は復号予測誤差信号309と動き補償部8より得られる予測テクスチャデータ9とを加算後、復号テクスチャデータ11として出力する。ただし、イントラ符号化モードの場合には、予測テクスチャデータ9の加算は行われない。
符号化ビットストリーム1にH.263互換識別情報33が多重化されている場合、図2(a)に示すように、シーケンスの終了を示すシーケンス終了コード(EOS)227が多重化されている場合もある。シーケンス終了コード227の検出はピクチャスタートコード検出部41で行われ、シーケンス終了コード227を検出すると復号動作を終了する。
以上のように、この実施の形態1によれば、H.263符号化ビットストリーム201に、VOスタートコード231、VOLスタートコード、VO識別番号232及びH.263互換識別情報226が多重化されたMPEG−4互換H.263符号化ビットストリーム203を受信し、これらの各情報を復号するようにしたので、H.263と、MPEG−4とで互換性を有する画像復号化装置を得ることができるという効果が得られる。
実施の形態2.
図17は実施の形態2における画像符号化装置の構成を示すブロック図であり、実施の形態1で述べた画像復号化装置で復号可能な符号化ビットストリームを生成するものである。図において、121は入力画像信号、122はH.263方式符号化部、123はH.263符号化ビットストリーム、124はMPEG−4互換フラグ、125はヘッダ情報多重化部、126はMPEG−4互換H.263符号化ビットストリームである。
次に動作について説明する。
まず、H.263方式符号化部122は、入力画像信号121をH.263のシンタックスに基づいて符号化し、H.263符号化ビットストリーム123を生成する。次にヘッダ情報多重化部125は、MPEG−4ベースの復号化装置で復号可能なビットストリームを生成することを示すMPEG−4互換フラグ124を受け取り、H.263ビットストリームのピクチャヘッダの前に実施の形態1で述べた画像復号化装置で復号するために必要なVOスタートコード231、VO識別番号232、VOLスタートコード233及びH.263互換識別情報(H.263ベースのビットストリームであることを示す0又は1のフラグ)226を多重化する。このようにして多重化されたMPEG−4互換H.263符号化ビットストリーム126の内容は、実施の形態1の図2(a)に示したものとなる。
また図18に示すようにH.263符号化装置127とMPEG−4復号化装置128間でリアルタイム通信が行われている場合には、MPEG−4復号化装置128側からH.263符号化装置127にMPEG−4互換フラグ124を送信し、H.263符号化装置127は、MPEG−4互換フラグ124を受け取ったら、実施の形態1で述べた画像復号化装置で復号するために必要なVOスタートコード213、VO識別番号232、VOLスタートコード233及びH.263互換識別情報226をH.263方式ビットストリーム123に多重化することも可能である。
以上のように、この実施の形態2によれば、VOスタートコード231、VO識別番号232、VOLスタートコード233及びH.263互換識別情報226をH.263符号化ビットストリーム123に多重化するので、MPEG−4対応の画像復号装置で復号可能な符号化ビットストリームを生成する画像符号化装置を得ることができるという効果が得られる。
実施の形態3.
図19は実施の形態3におけるMPEG−4互換H.263符号化ビットストリーム205の構造を示す図であり、従来の図1(a)で示したH.263符号化ビットストリーム201に、VOスタートコード231、VO識別番号232及びH.263スタートコード228が追加されている。そしてH.263スタートコード228は、実施の形態1において多重化されているVOLスタートコード233とH.263互換識別情報226の両方の機能を達成するものである。
なおMPEG−4符号化ビットストリーム202は、従来の図1(b)で示したものと同じである。
この実施の形態における画像復号化装置は、実施の形態1で述べた画像復号化装置においてヘッダ情報解析部21のみが異なる。図20は実施の形態3におけるヘッダ情報解析部21の構成を示すブロック図である。図において、131はH.263スタートコード/VOLスタートコード検出部、132は符号化方式判定部であり、VOスタートコード検出部30、H.263互換識別情報33、切替部34、H.263ピクチャヘッダ情報解析部35、H.263GOBヘッダ情報解析部36、VOLヘッダ情報復号部37、VOPヘッダ情報解析部38は、実施の形態1の図5と同等のものである。
次に動作について説明する。
VOスタートコード検出部30がVOスタートコード231を検出すると以下の復号動作を開始する。まず、H.263スタートコード/VOLスタートコード検出部131が、MPEG−4互換H.263符号化ビットストリーム205の場合はH.263スタートコードを検出し、MPEG−4符号化ビットストリーム202の場合はVOLスタートコード233を検出する。
MPEG−4では、各レイヤーのスタートコードは全てのスタートコードに共通のコード(0000 0000 0000 0000 0000 0001)の後に各レイヤーに固有のスタートコードが固定長(5ビット)で続く。共通のスタートコードは、ビットストリーム中にスタートコード以外で検出されることはない。従って、H.263スタートコード228も共通のスタートコードの後にH.263符号化ビットストリームであることを識別できる固定長(5ビット)のコードを付けたものとする。
次に、検出されたスタートコードが、H.263スタートコード228の場合には、符号化方式判定部132は、H.263互換識別情報33をH.263に設定する。またVOLスタートコード233の場合は、H.263互換識別情報33をMPEG−4に設定する。それ以降の動作は実施の形態1と同様である。
以上のように、この実施の形態3によれば、H.263符号化ビットストリーム201に、VOスタートコード231、VO識別番号232及びH.263スタートコード228が多重化されたMPEG−4互換H.263符号化ビットストリーム205を受信し、これらの各情報を復号するようにしたので、H.263と、MPEG−4とで互換性を有する画像復号化装置を得ることができるという効果が得られる。
実施の形態4.
この実施の形態は、実施の形態3で述べた画像復号化装置で復号可能なビットストリームを生成する画像符号化装置で、その構成は実施の形態2の図17と同じである。
次に動作について説明する。
まず、H.263方式符号化部122は、入力画像信号121をH.263のシンタックスに基づいて符号化し、H.263符号化ビットストリーム123を生成する。次にヘッダ情報多重化部125は、MPEG−4互換フラグ124を受け取り、H.263符号化ビットストリーム123のピクチャヘッダの前に、実施の形態3で述べた画像復号化装置で復号するために必要なVOスタートコード231、VO識別番号232及びH.263スタートコード228を多重化する。このようにして多重化されたMPEG−4互換H.263符号化ビットストリーム126の内容は、実施の形態3の図19に示したものとなる。
なおMPEG−4互換フラグ124は実施の形態2の図18で述べたように、MPEG−4復号化装置128より渡すことも可能である。
以上のように、この実施の形態4によれば、VOスタートコード231、VO識別番号232及びH.263スタートコ一ド228をH.263ビットストリーム201に多重化するので、MPEG−4対応の画像復号化装置で復号可能な符号化ビットストリームを生成する画像符号化装置を得ることができるという効果が得られる。
実施の形態5.
この実施の形態は、MPEG−4互換のためのヘッダ情報を多重化する多重化部を符号化装置とは独立して例えばネットワーク上に持つものである。図21は実施の形態5における画像通信システムを示す図である。図において、141はH.263符号化装置、142はMPEG−4復号化装置、143は符号化ビットストリーム変換装置であり、H.263符号化装置141、MPEG−4復号化装置142及び符号化ビットストリーム変換装置143は、ネットワークに接続されている。
次に動作について説明する。
符号化ビットストリーム変換装置143がMPEG−4復号化装置142又はユーザよりMPEG−4互換H.263符号化ビットストリーム148を要求するMPEG−4互換フラグ147を受け取ると、符号化ビットストリーム変換装置143は、H.263符号化装置141より、H.263符号化ビットストリーム146を受け取り、実施の形態2又は実施の形態4で述べたように、MPEG−4復号化装置で復号するのに必要なヘッダ情報をH.263符号化ビットストリーム146に多重化して、MPEG−4復号化装置142に送信する。
以上のように、この実施の形態5によれば、ネットワーク上に符号化ビットストリーム変換装置143を備えたので、H.263と、MPEG−4とで互換性を有する画像通信システムを得ることができるという効果が得られる。
実施の形態6.
図22は実施の形態6における画像通信システムを示す図である。図において、141はH.263符号化装置、143は符号化ビットストリーム変換装置、144はサーバ、145はMPEG−4復号化装置内蔵ブラウザであり、これらはネットワーク上に接続されている。
次に動作について説明する。
MPEG−4復号化装置内蔵ブラウザ145が、ネットワーク上で伝送されるH.263符号化ビットストリーム146に対してアクセスする場合、MPEG−4復号化装置内蔵ブラウザ145は、サーバ144にMPEG−4復号化装置で復号することを示すMPEG−4互換フラグ147を伝送する。サーバ144がMPEG−4互換フラグ147を受け取ると、H.263符号化ビットストリーム146を符号化ビットストリーム変換装置143に伝送する。
符号化ビットストリーム変換装置143は受け取ったH.263ビットストリーム146に対して、実施の形態2または4で述べたように、MPEG−4復号化装置で復号可能なようにヘッダ情報を追加したMPEG−4互換H.263符号化ビットストリーム148を生成し、MPEG−4復号化装置内蔵ブラウザ145に伝送する。MPEG−4復号化装置内蔵ブラウザ145では、MPEG−4互換H.263符号化ビットストリーム148を受け取ることにより、H.263符号化ビットストリーム146を復号し、画像を表示することが可能である。
またMPEG−4復号化装置内蔵ブラウザ145自体が符号化ビットストリーム変換装置143を内蔵することも可能である。この場合、MPEG−4復号化装置内蔵ブラウザ145がH.263符号化ビットストリーム146をサーバ144から受け取り、MPEG−4互換H.263符号化ビットストリーム148に変換後、内蔵のMPEG−4復号化装置で復号し、画像を表示することができる。
以上のように、この実施の形態6によれば、ネットワーク上に符号化ビットストリーム変換装置とサーバを備えたので、H.263と、MPEG−4とで互換性を有する画像通信システムを得ることができるという効果が得られる。
実施の形態7.
実施の形態1及び実施の形態3で述べた画像復号化装置においては、H.263ビットストリームか、あるいはMPEG−4ビットストリームかを識別することができる。しかし、H.263符号化装置によって生成されるH.263ビットストリームの先頭にMPEG−4互換のためのヘッダ情報を多重化する必要があり、H.263ビットストリームをそのまま受け取ることはできない。実施の形態7は、H.263ビットストリームをそのまま受け取り復号することができる画像復号化装置である。
図23は実施の形態7におけるヘッダ情報解析部21の構成を示すブロック図である。図において、151はH.263符号化ビットストリームに多重化されているH.263のピクチャスタートコード221を検出するH.263ピクチャスタートコード検出部、152は符号化方式判定部、153はH.263符号化ビットストリームに多重化されているピクチャヘッダ情報222に基づきVOLヘッダ情報、VOPヘッダ情報を設定するH.263ピクチャヘッダ情報解析部である。その他のVOスタートコード検出部30、H.263互換識別情報33、切替部34、H.263GOBヘッダ情報解析部36、VOLヘッダ情報復号部37及びVOPヘッダ情報解析部38は実施の形態1と同等のものである。またヘッダ情報解析部21以外の部分の構成は、実施の形態1の画像復号化装置と同等である。
次に動作について説明する。
H.263ピクチャスタートコード検出部151は、図24(a),(b)で示した符号化ビットストリームの始めと終りを常時監視している。H.263符号化ビットストリーム201の場合は、ピクチャスタートコード221からマクロブロックデータ225までを、MPEG−4符号化ビットストリーム202の場合は、VOスタートコード231からマクロブロックデータ239までを、それぞれ1つの符号化ビットストリームとして監視する。
H.263符号化ビットストリーム201を受信した場合、H.263ピクチャスタートコード検出部151は、ピクチャスタートコード221を検出し、この結果を符号化方式判定部152に出力する。符号化方式判定部152は、検出されたピクチャスタートコード221により、受信した符号化ビットストリームがH.263符号化ビットストリーム201であると判定し、H.263互換識別情報33をH.263と設定する。一方、VOスタートコード検出部30によりVOスタートコード231が検出されると、符号化方式判定部152は、受信した符号化ビットストリームがMPEG−4符号化ビットストリーム202であると判定し、H.263互換識別情報33をMPEG−4と設定する。
H.263符号化ビットストリーム201の場合、切替部34は、H.263符号化ビットストリーム201をH.263ピクチャヘッダ情報解析部153に入力する。H.263ピクチャヘッダ情報解析部153は、H.263符号化ビットストリーム201に多重化されているピクチャヘッダ情報222を復号し、実施の形態1と同様にVOLヘッダ情報、VOPヘッダ情報の設定を行う。以降の動作については、実施の形態1と同様である。
一方MPEG−4符号化ビットストリーム202の場合、切替部34は、MPEG−4符号化ビットストリーム202をVOLヘッダ情報復号部37に入力する。以降の動作についても、実施の形態1と同様である。
以上のように、この実施の形態7によれば、ピクチャスタートコード221を検出した場合、H.263符号化ビットストリーム201と判定し、VOLヘッダ情報とVOPヘッダ情報を設定するようにしたので、H.263と、MPEG−4とで互換性を有する画像復号化装置を得ることができるという効果が得られる。
実施の形態8.
この実施の形態は、図1(a)に示すH.263符号化ビットストリーム201を図1(b)に示すMPEG−4符号化ビットストリーム202に変換する符号化ビットストリーム変換装置に関するものである。
図25は実施の形態8における符号化ビットストリーム変換装置を示すブロック図であり、図において、161はH.263符号化ビットストリーム201をピクチャヘッダ情報符号語401、GOBヘッダ情報符号語402及びマクロブロックデータ符号語403に分離するシンタックス解析部、162はピクチャヘッダ情報符号語401を復号するピクチャヘッダ情報復号部、163はGOBヘッダ情報符号語402を復号するGOBヘッダ情報解析・変換部、164はVOLヘッダ情報234及びVOPヘッダ情報236の設定を行うMPEG−4ヘッダ情報設定部、165はMPEG−4符号化ビットストリーム202を出力する多重化部である。
次に動作について説明する。
シンタックス解析部161は、H.263符号化ビットストリーム201から、ピクチャスタートコード221を検出すると、以降に続く符号化ビットストリームをピクチャヘッダ情報符号語401、GOBヘッダ情報符号語402及びマクロブロックデータ符号語403に分離し、それぞれピクチャヘッダ情報復号部162、GOBヘッダ情報解析・変換部163及び多重化部165に出力する。ただしGOBヘッダ情報符号語402は、必ずH.263符号化ビットストリーム201に多重化されているとは限らず、GOBスタートコード223が検出された場合に限り多重化されている。GOBスタートコード223が検出された場合には、GOBヘッダ検出情報404をMPEG−4ヘッダ情報設定部164に出力する。ピクチャヘッダ情報復号部162は、ピクチャヘッダ情報符号語401を実施の形態1と同様に復号し、復号したピクチャヘッダ情報405をMPEG−4ヘッダ情報設定部164に出力する。
MPEG−4ヘッダ情報設定部164は、復号されたピクチャヘッダ情報405に基づき、実施の形態1と同様にVOLヘッダ情報234及びVOPヘッダ情報236の設定を行う。実施の形態1で述べなかったヘッダ情報については、ISO/IEC JTC1/SC29/WG11 MPEG−4 Video VM8.0に開示されるいずれの値に設定しても良い。またGOBヘッダ検出情報405を受け取った場合には、エラー耐性符号化指示モードを有効に設定する。
実施の形態1で述べたように、H.263とMPEG−4では、マクロブロックデータの復号処理手順が一部異なる。従って復号側では、切替情報に基づき、復号方法を切り替える必要がある。そのため以下の切替情報をVOLヘッダに設定しておく必要がある。
(1)AC係数VLCテーブル切替情報
実施の形態1で述べたように、符号化側でAC係数データを可変長符号化する際に用いるVLCテーブルが異なる場合に、復号側でAC係数データを可変長復号するのに用いるVLDテーブルを切り替えるための情報。
(2)Esc Coding切替情報
実施の形態1で述べたように、符号化側でAC係数データを可変長符号化する際に、符号化しようとしているAC係数データがVLCテーブルになかったときの符号化方法が異なる場合に、復号側で復号方法を切り替えるための情報。
(3)イントラDC係数逆量子化切替情報
実施の形態1で述べたように、符号化側でイントラDC係数の量子化方法が異なる場合に、DC係数の逆量子化方法を切り替えるための情報。
なお(1)〜(3)の切替情報をまとめて、H.263で採用されている手法とそれ以外で切り替える情報として、設定しておくことも可能である。
MPEG−4ヘッダ情報設定部164により設定されたMPEG−4ヘッダ情報は可変長符号化され、MPEG−4ヘッダ情報符号語406として多重化部165に出力される。
GOBヘッダ情報解析・変換部163は、実施の形態1と同様に、GOBヘッダ情報符号語402を復号し、GOBヘッダ情報224をMPEG−4の表現形式である再同期情報238に変換する。
MPEG−4の再同期情報238はエラー耐性強化のために用いられる情報で、VOLヘッダ情報236のエラー耐性符号化指示情報が有効の場合に多重化される情報である。復号側では再同期情報238が復号されたら、符号化ビットストリームへの再同期が取られ、マクロブロック復号の際に用いられる予測ベクトル及び量子化ステップサイズの再設定を行う。なおH.263では、GOBヘッダ情報224が復号されたら予測ベクトルと量子化ステップサイズの再設定を行っている。そこでGOBヘッダ情報224を再同期情報238により変換することにより、GOBヘッダ情報224をMPEG−4の表現形式に変換することができる。
図26はGOBヘッダ情報224及び再同期情報238の構造を示す図である。再同期情報238におけるマクロブロック番号271は、VOP内でのマクロブロックの位置を示す番号である。従って受け取ったH.263マクロブロックデータに対応するマクロブロックのピクチャ内での位置を算出すれば良い。これはGOB内で先頭のマクロブロックになるので、GOB番号より算出することができる。量子化スケール272は、GOB量子化ステップサイズを設定すれば良い。ヘッダ拡張指示コード273は”1”の場合に時間基準点274及びVOP経過時間275が多重化される。これらの情報は各VOPを表示する際に用いられるもので、必要に応じてヘッダ拡張指示コード273を”1”に設定し、時間基準点274、VOP経過時間275の設定を行えば良い。再同期情報238は可変長符号化され、再同期情報238が多重化されていることを示すための固定長のユニークコードである再同期指示コードを付加した再同期情報符号語407を多重化部165に出力する。
多重化部165は、MPEG−4ヘッダ情報符号語406、再同期情報符号語407、マクロブロックデータ符号語403を符号化ビットストリームに多重化し、MPEG−4符号化ビットストリーム202を出力する。
この実施の形態では、再同期情報は、VOLヘッダ情報234のエラー耐性符号化指示情報が有効の場合に多重化される情報であるとしたが、エラー耐性符号化指示情報の有効、無効に係わらず多重化することもできる。
なおH.263符号化ビットストリーム201において、マクロブロックデータ225の後にシーケンス終了コード227が付加されている場合、シンタックス解析部161は、シーケンス終了コード227を検出すると解析を終了する。
以上のように、この実施の形態によれば、H.263符号化ビットストリーム201をMPEG−4符号化ビットストリーム202に変換するので、MPEG−4の画像復号化装置でH.263符号化ビットストリームを復号することができるという効果が得られる。
実施の形態9.
実施の形態7では、図23において、H.263ピクチャスタートコード検出部151がピクチャスタートコード221を検出した場合、符号化方式判定部152がH.263符号化ビットストリーム201と判定し、H.263ピクチャヘッダ情報解析部153がVOLヘッダ情報とVOPヘッダ情報を設定するようにしたが、本実施の形態では、H.263ピクチャヘッダ情報解析部153に含まれている図6におけるH.263ピクチャヘッダ情報復号部42にて復号されたピクチャヘッダ情報222に基づき、マクロブロックレイヤシンタックス解析部22の動作を切り替える。このとき、MPEG−4ヘッダ情報設定部43は不要である。また、実施の形態7では、図8におけるGOBスタートコード検出部61が、H.263符号化ビットストリーム201中にGOBスタートコード223を検出した場合、GOBヘッダ情報復号部62がGOBヘッダ情報224を復号し、MPEG−4ヘッダ情報変更部63にて、VOPヘッダ情報236に含まれるVOP量子化ステップサイズの再設定を行った。本実施の形態では、H.263符号化ビットストリーム201を復号する場合、ピクチャヘッダ情報222を用いて、マクロブロックデータの復号を行うため、ピクチャヘッダ情報222に含まれるピクチャ量子化ステップサイズ304の再設定を行えば良い。
次にH.263ピクチャヘッダ情報復号部42にて復号されたピクチャヘッダ情報222に基づき、マクロブロックデータの復号を行う際のマクロブロックレイヤシンタックス解析部22の動作について説明する。
本実施の形態では、図12のマクロブロックレイヤシンタックス解析部の切替部81,83,88,95の動作と、加算部94の動作と、動きベクトル復号部97の動作と、図13のブロックデータ復号部98の切替部102の動作のみが異なるので、この部分についてのみ説明する。
切替部81は、MPEG−4符号化ビットストリーム202を復号している場合、すなわち、図23における符号化方式判定部152にて設定されたH.263互換識別情報33がMPEG−4を示している場合には、VOLヘッダ情報復号部37にて復号された形状情報により、切り替えられる。H.263符号化ビットストリーム201を復号している場合、すなわち、H.263互換識別情報33がH.263を示している場合には、無条件にビットストリーム1は形状符号化データ復号部82を介さずに、切替部83に入力される。
切替部83は、MPEG−4符号化ビットストリーム202を復号している場合には、VOPヘッダ情報解析部38にて復号されたVOP予測タイプにより、切り替えられる。H.263符号化ビットストリーム201を復号している場合には、H.263ピクチャヘッダ情報復号部42にて復号されたピクチャ符号化タイプ302により切り替えられる。切り替えの動作については、実施の形態1と同様であり、ピクチャ符号化タイプ302がイントラか、それ以外かで切り替えればよい。
切替部88は、MPEG−4符号化ビットストリーム202を復号している場合には、VOLヘッダ情報復号部37にて復号されたイントラAC/DC予測指示情報により、切り替えられる。H.263符号化ビットストリーム201を復号している場合、すなわち、H.263互換識別情報33がH.263を示している場合には、無条件にビットストリーム1はAC予測指示情報復号部89を介さずに、有効ブロック識別情報復号部90に入力される。
加算部94は、MPEG−4符号化ビットストリーム202を復号している場合には、復号された差分量子化ステップサイズ254に、1つ前に復号されたマクロブロックのVOP量子化ステップサイズを加算して、量子化ステップサイズとして出力する。H.263符号化ビットストリーム201を復号している場合には、復号された差分量子化ステップサイズ254に、1つ前に復号されたマクロブロックのピクチャ量子化ステップサイズを加算して、量子化ステップサイズとして出力する。
切替部95は、MPEG−4符号化ビットストリーム202を復号している場合には、VOPヘッダ情報解析部38にて復号されたインタレースモード指示情報により、切り替えられる。H.263符号化ビットストリーム201を復号している場合、すなわち、H.263互換識別情報33がH.263を示している場合には、無条件にビットストリーム1はインタレース情報復号部96を介さずに、動きベクトル復号部97に入力される。
動きベクトル復号部97は、MPEG−4符号化ビットストリーム202を復号している場合には、VOPヘッダ情報解析部38にて復号された動きベクトル探索範囲指定情報に基づいて、動きベクトル(テクスチャ動きデータ7)を復号する。H.263ビットストリームを復号している場合には、H.263で定められている動きベクトル探索範囲に基づき、動きベクトル(テクスチャ動きデータ7)を復号する。
ブロックデータ復号部98の切替部102は、MPEG−4符号化ビットストリーム202を復号している場合には、VOLヘッダ情報復号部37にて復号されたイントラAC/DC予測モード指示情報により切り替えられる。H.263符号化ビットストリーム201を復号している場合、すなわち、H.263互換識別情報33がH.263を示している場合には、無条件にビットストリーム1はDC係数固定長復号部103に入力される。これ以降の動作は、実施の形態1と同様である。
以上のように、この実施の形態9によれば、ピクチャスタートコード221を検出した場合、H.263符号化ビットストリーム201と判定し、ピクチャヘッダ情報222を復号し、復号したピクチャヘッダ情報222により、マクロブロックデータの復号を行うようにしたので、VOLヘッダ情報とVOPヘッダ情報を設定することなく、H.263と、MPEG−4とで互換性を有する画像符号化装置を得ることができるという効果が得られる。
以上のように、この発明に係る画像復号化装置、画像符号化装置、画像通信システム及び符号化ビットストリーム変換装置は、符号化方式の異なる符号化ビットストリームでも、簡単な構成で送受信を行える。
従来のH.263符号化ビットストリームとMPEG−4符号化ビットストリームの構造を示す図である。 この発明の実施の形態1による画像復号化装置が受信する符号化ビットストリームの構造を示す図である。 この発明の実施の形態1による画像復号化装置の構成を示すブロック図である。 この発明の実施の形態1によるシンタックス解析・可変長復号部の構成を示すブロック図である。 この発明の実施の形態1によるヘッダ情報解析部の構成を示すブロック図である。 この発明の実施の形態1によるH.263ピクチャヘッダ情報解析部の構成を示すブロック図である。 この発明の実施の形態1によるH.263ピクチャヘッダ情報復号部の構成を示すブロック図である。 この発明の実施の形態1によるH.263GOBヘッダ情報解析部の構成を示すブロック図である。 GOBを説明する図である。 この発明の実施の形態1によるGOBヘッダ情報復号部の構成を示すブロック図である。 H.263マクロブロックデータのレイヤ構造を示す図である。 この発明の実施の形態1によるマクロブロックレイヤシンタックス解析部の構成を示すブロック図である。 この発明の実施の形態1によるブロックデータ復号部の構成を示すブロック図である。 予測ベクトルの算出を説明する図である。 この発明の実施の形態1によるテクスチャ復号部の構成を示すブロック図である。 この発明の実施の形態1による逆量子化部の構成を示すブロック図である。 この発明の実施の形態2及び4による画像符号化装置の構成を示すブロック図である。 この発明の実施の形態2及び4によるH.263符号化装置とMPEG−4復号化装置の関連を説明する図である。 この発明の実施の形態3によるMPEG−4互換H.263符号化ビットストリームの内容を示す図である。 この発明の実施の形態3によるヘッダ情報解析部の構成を示すブロック図である。 この発明の実施の形態5による画像通信システムを示す図である。 この発明の実施の形態6による画像通信システムを示す図である。 この発明の実施の形態7によるヘッダ情報解析部の構成を示すブロック図である。 この発明の実施の形態7による符号化ビットストリームの始めと終りを説明する図である。 この発明の実施の形態8による符号化ビットストリーム変換装置を示すブロック図である。 GOBヘッダ情報及び再同期情報の構造を示す図である。
符号の説明
1 符号化ビットストリーム、2 シンタックス解析・可変長復号部、4 形状復号部、8 動き保証部、10 テクスチャ復号部、21 ヘッダ情報解析部、22 マクロブロックレイヤシンタックス解析部、30 VOスタート検出部、31VOLスタートコード検出部、32 符号化方式判定部、34 切替部、35 H.263ピクチャヘッダ情報解析部、36 H.263GOBヘッダ情報解析部、37 VOLヘッダ解析部、38 VOPヘッダ情報解析部、41 H.263ピクチャスタートコード検出部、42 H.263ピクチャヘッダ情報復号部、43 MPEG−4ヘッダ情報設定部、61 GOBスタートコード検出部、62 GOBヘッダ情報復号部、63 MPEG−4ヘッダ情報変更部、71 GOB番号復号部、72 GOB識別番号復号部、73 GOB量子化ステップサイズ復号部、122 H.263方式符号化部、125 ヘッダ情報多重化部、203,205 MPEG−4互換H.263符号化ビットストリーム、204 MPEG−4符号化ビットストリーム。

Claims (1)

  1. 少なくともH.263符号化方式のヘッダ情報とH.263符号化方式で符号化された画像符号化データとが多重化された第1の符号化ビットストリーム、又はMPEG−4符号化方式のヘッダ情報とMPEG−4符号化方式で符号化された画像符号化データとが多重化された第2の符号化ビットストリームを復号する画像復号化装置において、
    上記第1の符号化ビットストリームを受信した場合に、上記第1の符号化ビットストリームを上記第2の符号化ビットストリームのシンタックスに従って復号する際に利用される量子化手法指示情報をH.263タイプの量子化手法と定める設定手段と、
    上記第2の符号化ビットストリームを受信した場合に、上記MPEG−4符号化方式のヘッダ情報に含まれる画像符号化情報を、該受信した第2の符号化ビットストリームから復号する復号手段を備え、
    上記第1の符号化ビットストリームを受信した場合には上記設定手段により定められた量子化手法指示情報に基づいて、上記第2の符号化ビットストリームのシンタックスに従って上記第1の符号化ビットストリームを復号し、上記第2の符号化ビットストリームを受信した場合には上記復号手段により復号された画像符号化情報に基づいて上記第2の符号化ビットストリームを復号することを特徴とする画像復号化装置。
JP2007060791A 2007-03-09 2007-03-09 画像復号化装置 Expired - Lifetime JP4260194B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007060791A JP4260194B2 (ja) 2007-03-09 2007-03-09 画像復号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007060791A JP4260194B2 (ja) 2007-03-09 2007-03-09 画像復号化装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005349716A Division JP3993212B2 (ja) 2005-12-02 2005-12-02 画像復号化装置

Publications (2)

Publication Number Publication Date
JP2007195234A JP2007195234A (ja) 2007-08-02
JP4260194B2 true JP4260194B2 (ja) 2009-04-30

Family

ID=38450479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007060791A Expired - Lifetime JP4260194B2 (ja) 2007-03-09 2007-03-09 画像復号化装置

Country Status (1)

Country Link
JP (1) JP4260194B2 (ja)

Also Published As

Publication number Publication date
JP2007195234A (ja) 2007-08-02

Similar Documents

Publication Publication Date Title
JP3573759B2 (ja) 画像復号化装置、画像符号化装置、画像通信システム、符号化ビットストリーム変換装置及び画像復号化方法
EP1565002A1 (en) Video bit stream converting apparatus
JP4350796B2 (ja) 画像符号化装置およびビットストリーム生成装置
JP3910594B2 (ja) 画像符号化装置
JP4260194B2 (ja) 画像復号化装置
JP4260193B2 (ja) 画像復号化装置
JP4260192B2 (ja) 画像復号化装置
JP4260195B2 (ja) 画像復号化装置
JP4350761B2 (ja) 画像復号化装置
JP3993213B2 (ja) 画像復号化装置
JP4350760B2 (ja) 画像復号化装置
JP4350759B2 (ja) 画像復号化装置
JP3993212B2 (ja) 画像復号化装置
JP4260191B2 (ja) 画像復号化装置
EP1988716A2 (en) Image decoding apparatus

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070912

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term