JP3854717B2 - 復号装置およびその方法 - Google Patents
復号装置およびその方法 Download PDFInfo
- Publication number
- JP3854717B2 JP3854717B2 JP11873798A JP11873798A JP3854717B2 JP 3854717 B2 JP3854717 B2 JP 3854717B2 JP 11873798 A JP11873798 A JP 11873798A JP 11873798 A JP11873798 A JP 11873798A JP 3854717 B2 JP3854717 B2 JP 3854717B2
- Authority
- JP
- Japan
- Prior art keywords
- code
- objects
- frame
- multiplexed code
- codes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は復号装置およびその方法に関し、例えば、オブジェクト単位に符号化された符号を復号する復号装置およびその方法に関するものである。
【０００２】
【従来の技術】
近年、画像の符号化技術の高度化や、コンピュータの能力の進歩に伴い、画像を構成する物体（オブジェクト）を切り分けて、オブジェクトごとに符号化する方式が提案されている。画像をオブジェクト単位で符号化すれば、各オブジェクトに最適な符号化を行うことができ、符号化効率を向上させることができる。これと同時に、画像内のオブジェクトを編集することで、新たな画像を生成する機能を得ることができる。例えば、静止画像ではACBIS方式（前田、吉田「1996年電子情報通信学会総合大会D-292」）のように、画像を「文字」「線」「枠」「画像」「表」「背景」に分離し、それぞれに最適な符号化を行う方法が提案されている。この提案によれば、「文字」「線」「枠」「表」の各領域には二値画像の符号化方式であるJBIG符号化が施され、「画像」領域には多値符号化であるJPEG符号化が施され、「背景」領域はその代表値が符号化される。
【０００３】
また、動画像においては、オブジェクトごとに符号化する方式が国際標準化方式MPEG4として検討されている（参考文献：栄藤「MPEG4の標準化動向」画像電子学会誌第25巻第3号, 1996, p.223-228）。図1はMPEG4の対象になる画像例を示し、動画の1フレームを表している。図1に示すフレーム20は、図2に(a)から(d)で示す四つのオブジェクトで構成されている。すなわち、背景オブジェクト28（図2(a)）、ヘリコプタを表すオブジェクト21（図2(b)）、列車を表すオブジェクト22（図2(c)）、および、車を表すオブジェクト23（図2(d)）である。背景以外のオブジェクトの形状を表すために、オブジェクトを囲む矩形領域の黒色部分を領域外、白色部分を領域内とするマスク（図2(e)から(g)）をもたせ、これにより任意形状のオブジェクトが扱えるようになる。
【０００４】
図3はオブジェクト単位の符号化の概要を示す図である。入力画像1はオブジェクト分離部2に入力されてオブジェクトに分離される。例えば、図1に示す画像は、オブジェクト分離部2によりオブジェクト28、21、22および23に分離され、分離されたオブジェクトはそれぞれが独立に符号化される。すなわち、オブジェクト28はオブジェクト符号化器3で、オブジェクト21はオブジェクト符号化器4で、オブジェクト22はオブジェクト符号化器5で、オブジェクト23はオブジェクト符号化器6で符号化される。オブジェクト符号化器3から6から出力される符号データは、マルチプレクサ7によりまとめられて、コードデータ8として出力される。
【０００５】
図4はオブジェクト単位に符号化された画像の復号の概要を示す図である。コードデータ8はデマルチプレクサ9に入力され、各オブジェクトごとの符号データに分離され、分離された符号データは独立に復号される。すなわち、オブジェクト復号器10によりオブジェクト28が、オブジェクト復号器11によりオブジェクト21が、オブジェクト復号器12によりオブジェクト22が、オブジェクト復号器13によりオブジェクト23がそれぞれ復号される。各オブジェクト復号器10から13から出力される画像データは、オブジェクト合成部14により、各オブジェクトのあるべき位置に配置されて、一枚の画像が合成され再生画像15として出力される。
【０００６】
【発明が解決しようとする課題】
しかし、上述した技術においては、次のような問題点がある。
【０００７】
つまり、各オブジェクトを独立に復号するためには、分離されたオブジェクトの数に応じた数の復号部が必要になる。しかしながら、復号側で、任意数の復号部を用意することは不可能である。従って、図5に示すように、独立に符号化されたオブジェクトの数が、用意された復号部の数よりも多い場合が生じる。図5に示す復号装置では、オブジェクト復号器は三つであり、デマルチプレクサ30はコードデータ8の入力順にオブジェクト復号器を割り当てる。コードデータ8が四つのオブジェクトを含む場合、デマルチプレクサ30によりオブジェクト28はオブジェクト復号器10へ、オブジェクト21はオブジェクト復号器11へ、オブジェクト22はオブジェクト復号器12へ割り当てられ復号されるが、オブジェクト23については、そのコードデータが割り当てられるオブジェクト復号器がないため復号されない。このため、復号され合成された画像は、図6に示すフレーム38のように、オブジェクト23が抜けた画像になってしまう。
【０００８】
本発明は、復号器の数が限られている場合でもすべてのオブジェクトを復号することを目的とする。
【０００９】
また、復号器の数が限られている場合でも符号化された静止画や動画を画質を劣化させずに復号することを他の目的とする。
【００１１】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１２】
本発明にかかる復号装置は、オブジェクト単位に符号化された符号を多重化した多重化符号を復号する復号装置であって、入力された多重化符号に含まれるオブジェクト数および復号可能なオブジェクト数を検出する検出手段と、前記多重化符号に含まれるオブジェクト数が前記復号可能なオブジェクト数よりも多い場合、前記多重化符号に含まれる複数のオブジェクトの符号を結合して、前記多重化符号に含まれるオブジェクト数を前記復号可能なオブジェクト数にする結合手段とを有することを特徴とする。
【００１３】
本発明にかかる復号方法は、オブジェクト単位に符号化された符号を多重化した多重化符号を復号する復号方法であって、入力された多重化符号に含まれるオブジェクト数および復号可能なオブジェクト数を検出する検出ステップと、前記多重化符号に含まれるオブジェクト数が前記復号可能なオブジェクト数よりも多い場合、前記多重化符号に含まれる複数のオブジェクトの符号を結合して、前記多重化符号に含まれるオブジェクト数を前記復号可能なオブジェクト数にする結合ステップとを有することを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明にかかる一実施形態の復号装置を図面を参照して詳細に説明する。
【００２０】
【第１実施形態】
［構成］
図7は本発明にかかる復号装置の構成例を示すブロック図である。なお、図3および図5と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００２１】
図7において、オブジェクト数調整部40は、コードデータ8に含まれるオブジェクトの数sをカウントするオブジェクトカウンタ41、オブジェクト復号器の数dをカウントするオブジェクト復号器カウンタ42、コードデータ8に含まれる複数のオブジェクトをまとめるオブジェクト結合器43を含む。また、50は磁気ディスクなどで構成される記憶装置である。
【００２２】
復号装置に入力されるコードデータ8は、例えば、図1に示した符号化器により符号化が施され、最大四つのオブジェクトを含むものとする。また、以下では、図3に示した動画像フレームを原画像として説明する。
【００２３】
コードデータ8は、各フレームごとにオブジェクト数調整部40に入力される。フレームのコードデータが入力されたオブジェクトカウンタ41は、コードデータに含まれるオブジェクトの数sを計数する。
【００２４】
図8は1フレームのコードデータの例を示す図である。コードデータの先頭には、フレームの属性を表すヘッダ(Header)があり、次に、背景オブジェクト（図8ではObject 0）を表すコードデータがある。続いて、各オブジェクトのコードデータ、つまり、オブジェクト22(Object 1)、オブジェクト23(Object 2)およびオブジェクト24(Object 3)の各コードデータが続く。各オブジェクトのコードデータは、オブジェクトの先頭を表すコードSC、オブジェクトのフレーム内の位置を表すコードLoc、オブジェクトの大きさを表すコードSize、オブジェクトの形状を表すコードShape、オブジェクト自体を表すコードTextureで構成される。
【００２５】
以下では、例えば、Shapeコードは二値符号化であるMR符号化されているとして説明する。また、Textureコードは、ブロック符号化されているとして説明する。なお、ブロック符号化とは、例えばJPEG符号化のように、オブジェクトを例えば8×8画素のブロックに分割し、各ブロックにDCTを施した後、得られた変換係数（DCT係数）を量子化し符号化するものである。図8はObject 1のTextureコードを示している。Textureコードは、ブロック単位の符号DCT-COEFの集合である。符号DCT-COEFは、DCT係数の量子化値を一次元に並べ替え、ゼロのランレングスおよびゼロ以外の量子化値を符号化したものであり、もし量子化値がすべてゼロであれば符号DCT-COEFは発生しない。
【００２６】
オブジェクトカウンタ41のカウント値sは、1フレームのコードデータの入力が開始される際に零にリセットされ、入力されるコードデータのオブジェクトの先頭を表すSCコードの出現数をカウントする。このカウント結果はオブジェクト結合器43へ入力される。また、オブジェクト復号器カウンタ42は、オブジェクト復号器の数dを計数する。本実施形態ではオブジェクト復号器は三つであり、オブジェクト復号器カウンタ42の出力は「3」になる。
【００２７】
図10はオブジェクト結合器43の構成例を示すブロック図である。端子61はコードデータ8を入力し、端子62はオブジェクトカウンタ41からオブジェクト数sを入力し、端子63はオブジェクト復号器カウンタ42からオブジェクト復号器の数dを入力する。
【００２８】
コードメモリ64は、端子61から入力される1フレーム分のコードデータを格納するメモリである。位置符号抽出器65は、コードメモリ64に格納されたコードデータからLocコードを抽出し、抽出したLocコードをオブジェクトごとに位置情報メモリ66に格納する。オブジェクト距離算出器67は、位置情報メモリ66に格納されたLocコードに基づき各オブジェクト間の距離を算出する。
【００２９】
距離比較器68は、オブジェクト距離算出器67により算出される距離を比較して、その比較結果に基づき結合するオブジェクトを選択するためのものである。セレクタ69は、コードメモリ64から読み出されるオブジェクトのコードデータを、距離比較器68によりオブジェクトごとに指定される出力先である符号分割器70または端子76へ出力する。
【００３０】
符号分割器70は、オブジェクトのコードデータをLoc、Size、ShapeおよびTextureの各コードに分割する。位置符号結合部71は、二つのオブジェクトのLocコードを一つのLocコードに結合する。サイズ符号結合部72は、二つのオブジェクトのSizeコードを一つのSizeコードに結合する。形状符号結合部73は、二つのオブジェクトのShapeコードを一つのShapeコードに結合する。テクスチャ符号結合部74は、二つのオブジェクトのTextureコードを一つのTextureコードに結合する。符号合成器75は、位置符号結合部71からテクスチャ符号結合部74の出力を合成して、一つのコードデータにまとめる。
【００３１】
符号合成器75の出力、および、セレクタ69の出力の一方は、端子76を介して次段に送られる。
【００３２】
［動作］
次に本実施形態の動作について、MPEGなどのIntraフレームや、Motion JPEGの各フレームを独立に符号化する場合を例として説明する。
【００３３】
●フレーム単位の符号化
図10の端子61を介して、1フレームのコードデータがコードメモリ64に格納され、端子62を介してオブジェクトカウンタ41からオブジェクト数sが入力される。オブジェクト数sは、図8に示したコードデータを例にとるとs=4である。また、端子63を介してオブジェクト復号器カウンタ42からオブジェクト復号器の数dが入力される。本実施形態ではd=3である。従って、s-d=1、すなわちオブジェクト復号器が一つ不足することがわかる。
【００３４】
オブジェクト距離算出器67は、位置情報メモリ66に格納されたLocコードから、オブジェクト21とオブジェクト22の間の距離を求める。オブジェクト21の位置を(x1, y1)とし、オブジェクト22の位置を(x2, y2)とすると、両オブジェクト間の距離D12は次式で表される。
D12 = √{(x1 - x2)2 + (y1 - y2)2} …(1)
【００３５】
同様に、オブジェクト21とオブジェクト23の間の距離D13、および、オブジェクト22とオブジェクト23の間の距離D23を求める。このようにして得られたオブジェクト間距離に基づき、距離比較器68は、オブジェクト復号器が不足する分、オブジェクトを結合するために、そのオブジェクト間の距離が短い複数のオブジェクトを選択する。本実施形態の場合、オブジェクト復号器の不足は「1」であるから二つのオブジェクトを結合して一つのオブジェクトにすればよい。例えば距離D12が最も短いとすると、オブジェクト21とオブジェクト22とが結合され、これによりオブジェクト復号器の不足は解消される。
【００３６】
オブジェクト21とオブジェクト22とが結合される場合、距離比較器68の出力により制御されるセレクタ69は、コードメモリ64から出力されるヘッダを端子76へ送り、さらに背景オブジェクトであるObject 0を端子76へ送る。
【００３７】
続くオブジェクト21に対応するObject 1に対する距離比較器68の出力は「選択」を示すので、セレクタ69によりObject 1は符号分割器70へ送られ、Object 1のLocコードを位置符号結合部71へ、LocコードおよびSizeコードをサイズ符号結合部72へ、Shapeコードを形状符号結合部73へ、Textureコードをテクスチャ符号結合部74へ送る。続くオブジェクト22に対応するObject 2に対する距離比較器68の出力も「選択」を示すので、Object 2は、Object 1と同様に分割され、分割されたコードがそれぞれ位置符号結合部71からテクスチャ符号結合部74へ入力される。
【００３８】
なお、続くオブジェクト23に対応するObject 3に対する距離比較器68の出力は「非選択」を示すので、オブジェクト23のコードデータはそのまま端子76へ出力される。また、言うまでもないが、s-d>0であるようなコードデータ8をもつフレームに対しては、オブジェクトの結合は行われず、セレクタ69の出力は端子76へ送られる。
【００３９】
位置符号結合部71は、Locコードをそれぞれ復号し、複数のオブジェクトの位置情報である(x1,y1)から(xn,yn)を得る。そして、次式に示すように、これらの位置情報からxおよびy座標の最小値を選択して、新しい位置情報(x1',y1')を出力する。
(x1', y1') = (min(x1, x2,…, xn), min(y1, y2,…, yn)) …(2)
ただし、nは合成されるオブジェクトの数
【００４０】
サイズ符号結合部72は、LocおよびSizeコードをそれぞれ復号し、複数のオブジェクトの位置情報およびサイズ情報である(x1,y1)、(Sx1,Sy1)から(xn,yn)、(Sxn,Syn)を得る。そして、(2)式により新しい位置情報(x1',y1')を算出するとともに、次式により新しいサイズ情報(Sx1',Sy1')を求めて出力する。
(Sx1', Sy1')
= (max(x1, x2,…, xn) - x1', max(y1, y2,…, yn) - y1') …(3)
【００４１】
形状符号結合部73は、複数のオブジェクトの形状を合成した符号を生成する。オブジェクト21および22を合成する場合、その状態は図11(a)に示すように、新しいオブジェクトの形状はマスク80で表される。元もとのマスク24および25についてはそのままであり、それら以外の部分が新たに追加される。図11(a)のハッチング部分の値は、黒べたで示すマスク24および25と同じである。従って、マスク24の右側にゼロランが増えたことになり、フレームの右端に最も近い変化点を表す符号の後ろに、ゼロのランレングスが追加されることになる。
【００４２】
また、オブジェクト21の右側に別のオブジェクトがなければ、前述した変化点はラインの最終変化点を表すだけであり、符号が増えることはない。一方、オブジェクト21の右側に別のオブジェクトがあれば、両オブジェクト間の画素数に対応するゼロのランレングスが追加される。つまり、ゼロのランレングスを加算した符号に置き換えるだけで構わない。さらに、オブジェクト21の右側のオブジェクトのそのまた右側に第三のオブジェクトがある場合は、オブジェクト21の符号にオブジェクト間のゼロのランレングスを加算した符号に置き換えることになる。このようにして置き換えられた符号は、新しいShapeコードとして出力される。なお、オブジェクトが全くないラインに対する符号はほとんど発生しない。
【００４３】
テクスチャ符号結合部74は、複数のオブジェクトのテクスチャを合成した符号を生成する。オブジェクト21および22のテクスチャを合成した状態は図11(b)に示すようになり、新しいオブジェクトのテクスチャはオブジェクト81として表されることになる。オブジェクト21および22についてはそのままであり、それらを除くハッチング部分が新たに付加される。なお、ハッチング部分の値は零である。MPEGなどにおいては、注目画素のDC成分は、左隣りのブロックのDC成分との差分に変換される。また、AC成分の量子化値は一次元に配列され、ゼロのランレングスおよび非ゼロ値が符号化される。そのため、図11(b)のハッチング部分においては、注目画素のDC成分と左隣りのDC成分との差分は零であり、AC成分もすべて零である。このような場合、MPEGlにおいては、マクロブロック単位で、マクロブロックタイプを示す1ビット、DC成分のサイズを示す輝度12ビットおよび色度4ビット、並びに、ブロックの終了を示すEOB(End of Block)の12ビットの合計29ビットが付加される。このようにして、複数のオブジェクトのテクスチャが結合されたオブジェクト81のTextureコードが生成され出力される。
【００４４】
符号合成器75は、位置符号結合部71からテクスチャ符号結合部74の出力を合成して、結合されたオブジェクトのコードデータを生成し端子76へ出力する。
【００４５】
図9はこのようにして合成されたコードデータを示す図である。図8に示すオブジェクト21のコードデータObject 1と、オブジェクト22のコードデータObject 2は結合されて、コードデータObject 1'になる。なお、オブジェクト23のコードデータObject 3はそのままである。
【００４６】
このように処理されたコードデータは、デマルチプレクサ9に入力され、オブジェクトのコードデータはObject 0、Object 1'およびObject 3に分割される。そして、コードデータObject 0はオブジェクト復号器10に、コードデータObject 1'はオブジェクト復号器11に、コードデータObject 3はオブジェクト復号器12にそれぞれ入力される。各オブジェクト復号器は、コードデータを復号して得たオブジェクトの位置情報および画像データをオブジェクト合成部14に出力する。オブジェクト合成部14により、各オブジェクトの位置情報に従って画像データが配置され、再生画像15が得られる。
【００４７】
●動画像の符号化
動画像の符号化においては、動き補償により符号化効率が改善される。一例として、MPEGなどの予測フレームのようにフレーム間の相関を使って符号化する場合について説明する。
【００４８】
図12は動き補償が行われる1フレームのコードデータ8の一例を示している。コードデータには、図8と同様、ヘッダ、背景オブジェクトを表すコードデータObject 0、および、各オブジェクトのコードデータ(Object 1からObject 3)が続く。各コードデータは、オブジェクトの先頭を表すSCコード、位置を表すLocコード、大きさを表すSizeコード、形状を表すShapeコードおよびテクスチャを表すTextureコードで構成される。MPEGで用いる符号化ではオブジェクトをマクロブロックに分割して動き補償を行う。この結果、Textureコードは、動きベクトルの符号化結果である動きベクトルコードMVと、ブロック単位に分割しDCT変換された結果を量子化し符号化したDCT-COEFとから構成される。
【００４９】
動画像の符号化においても、前述したフレーム単位の符号化と同様の処理がオブジェクト数調整部40で行われるので、詳細な説明は省略するが、例えば、オブジェクト復号器の不足が「1」で距離D12が最も短かい場合は、オブジェクト21および22を結合してオブジェクト数が減らされる。また、各オブジェクトに含まれる動きベクトルおよびDCT係数の符号化結果は変更されず、そのまま使用される。
【００５０】
MPEG符号化などにおいて、フレーム相関を利用する際は、予測誤差のDC成分およびAC成分が符号化される。また、動きベクトルは、左隣りのマクロブロックの動きベクトルとの差分に変換される。そのため、図11に示すようなハッチング部分においては、動きベクトルの差分は零であり、AC成分もすべて零である。MPEG1においては、そのようなマクロブロックは符号化されずスキップされるので、対応する符号はスキップするマクロブロックの数を示すだけである。従って、次に出現するオブジェクトに含まれる最初のマクロブロックの符号を変更すればよく、符号の変更は僅かである。このようにして結合されたオブジェクトのTextureコードが生成され出力される。
【００５１】
図13はこのようにして合成されたコードデータを示す図である。図12に示すオブジェクト21のコードデータObject 1と、オブジェクト22のコードデータObject 2は結合されて、コードデータObject 1'になる。なお、オブジェクト23のコードデータObject 3はそのままである。
【００５２】
以上説明したように、本実施形態においては、オブジェクトごとに符号化された動画像について、符号化されたオブジェクトの数が復号器の数より大きい場合、つまり復号器が不足する場合、その不足分、オブジェクトを減らすために、オブジェクト間距離の短い複数のオブジェクトを結合する。これにより、多数の符号化オブジェクトを含む動画像を、有限個の復号器を用いて、効率よく正しく再生することができる。さらに、オブジェクトの合成はコードデータのまま行われる。つまり、符号の変更や付加を行うだけなので、オブジェクトの合成を高速に行うことができ、符号長も僅かに増加するだけである。
【００５３】
また、上記の説明においては、符号化された動画像を復号する例を説明したが、符号化された静止画像に対しても同様に処理することができる。つまり、上述したフレーム単位の復号は正に静止画像の復号に適合する。例えば、図14(a)に示すように、画像90に、文字領域91および94、並びに、写真領域92および93が含まれ、文字がMMR、写真がJPEGで符号化されていて、復号器がMMR、JPEGともに一つずつしかない場合、それぞれの領域を結合し、図14(b)および(c)に示すようなオブジェクト95および96に再分割すれば復号することが可能になる。
【００５４】
なお、上記の説明においては、Shapeコードの符号化としてMMRを、Textureコードの符号化としてMPEGを用いる例を説明したが、これに限定されるものではない。また、デマルチプレクサ9の機能をオブジェクト数調整部40に組み入れても構わない。また、オブジェクト復号器の数d、コードデータに含まれるオブジェクトの数sの差s-d≧2あれば、オブジェクト間距離の短いオブジェクト同志、つまり2×(s-d)個のオブジェクトを(s-d)個のオブジェクトに結合しても構わないし、最もオブジェクト間距離の短い(s-d+1)個のオブジェクトを一個のオブジェクトに結合しても構わない。
【００５５】
上記の説明においては、オブジェクト数が調整されたコードデータをオブジェクト復号器へ入力する例を説明した。しかし、オブジェクト数が調整されたコードデータを図7に示す記憶装置50に一旦蓄積し、記憶装置50からオブジェクト数が調整されたコードデータを読み出して復号するようにすれば、オブジェクトの結合を行わないで済む分、高速な復号処理が可能になる。
【００５６】
また、本実施形態によれば、オブジェクト復号器の数は何ら制限されない。従って、オブジェクト復号器を増設することにより、処理能力を容易に向上させることができるようになる。
【００５７】
【第２実施形態】
［構成］
図16は第2実施形態にかかるオブジェクト結合器43の構成例を示すブロック図である。図10に示す構成と同じ機能を果たす構成には同一符号を付し、その詳細な説明を省略する。
【００５８】
111および112はコードメモリで、コードメモリ64と同様の機能を果たす。113および114は位置情報メモリで、位置情報メモリ66と同様の機能を果たす。115はオブジェクトの移動を検出するオブジェクト動き算出器である。
【００５９】
判定器116は、オブジェクト距離算出器67およびオブジェクト動き算出器115の演算結果、並びに、端子62および63から入力されるオブジェクトの数sおよびオブジェクト復号器の数dに基づき、オブジェクトの結合の要不要および結合するオブジェクトを決定する。117はセレクタで、コードメモリ111、または、必要であればコードメモリ112から読み出されたオブジェクトのコードデータを、判定器116に指示される出力先へ出力する。
【００６０】
［動作］
次に、図16に示すオブジェクト結合器43の動作について説明する。
【００６１】
まず、MPEGなどにおけるイントラ(Intra)フレームの場合や、モーション(Motion)JPEGの場合のように各フレームを独立に符号化する例を説明する。
【００６２】
この場合、コードメモリ111は図10に示すコードメモリ64と、位置情報メモリ113は位置情報メモリ66と、判定器116は距離比較器68と同じ機能を果たす。従って、端子61から入力される1フレーム分のコードデータはコードメモリ111に格納される。端子62にはオブジェクトカウンタ41の出力であるオブジェクト数sが、端子63にはオブジェクト復号器カウンタ42の出力であるオブジェクト復号器の数dが入力される。位置符号抽出器65は、コードメモリ111に格納されたコードデータから各オブジェクトの位置情報を抽出して位置情報メモリ113に入力する。オブジェクト距離算出器67は、位置情報メモリ113に格納された位置情報に基づき各オブジェクト間の距離を算出する。判定器116は、オブジェクト数sとオブジェクト復号器の数dからオブジェクトの結合の要否を決定する。そして、オブジェクトの結合が必要であれば、結合するオブジェクトの数を決定し、オブジェクト距離算出器67により求められたオブジェクト間の距離を比較して、オブジェクト間距離が小さい方から必要な数のオブジェクトの結合を決定する。
【００６３】
セレクタ117には、コードメモリ111から読出されたオブジェクトのコードデータが入力される。ヘッダや背景オブジェクトおよび結合されないオブジェクトのコードデータは、セレクタ117により端子76へ送られる。一方、結合されるオブジェクトのコードデータは、セレクタ117により符号分割器70に入力される。符号分割器70に入力されたコードデータは、位置、サイズ、形状およびテクスチャの各コードデータに分割されて、それぞれ位置符号結合部71、サイズ符号結合部72、形状符号結合部73、テクスチャ符号結合部74に入力される。第1実施形態で説明したのと同様の手順で結合されたオブジェクトのコードデータは端子76から出力される。
【００６４】
次に、MPEGなどにおける予測フレームのように、フレーム間の相関を使って符号化されたフレームについて説明する。ここではMPEG符号化された図1に示すフレーム20およびフレーム20に続く図15に示すフレーム100を例として説明する。なお、フレーム100においては、フレーム20に対して、オブジェクト21（ヘリコプタ）は右に、オブジェクト22（列車）およびオブジェクト23（車）は左に移動している。
【００６５】
処理に先立ち、コードメモリ111、112、および、位置情報メモリ113、114はクリアされていて、その他各部も初期化されている。端子62にはオブジェクト数sが、端子63にはオブジェクト復号器の数dが入力される。まず、端子61にフレーム20のコードデータが入力され、コードメモリ111に格納される。位置符号抽出器65は各オブジェクトのフレーム20における位置情報を位置情報メモリ113に格納する。オブジェクト距離算出器67は、フレーム20における各オブジェクト間の距離を求める。
【００６６】
続いて、コードメモリ111のコードデータがコードメモリ112に移動され、位置情報メモリ113の位置情報も位置情報メモリ114に移動された後、フレーム100のコードデータが端子61に入力され、コードメモリ111に格納される。位置符号抽出器65は各オブジェクトのフレーム100における位置情報を位置情報メモリ113に格納する。
【００６７】
オブジェクト動き算出器115は、位置情報メモリ113および114の各オブジェクトの位置から各オブジェクトの動きを算出する。オブジェクト21を例として説明すると、フレーム20における位置を(x211,y211)とし、フレーム100における位置を(x212,y212)とすると、その動きベクトルMV21=(mv21x,mv21y)は次式により表される。
MV21 = (mv21x, mv21y) = ((x2 - x1), (y2 - y1)) …(4)
【００６８】
オブジェクト22および23についても同様に動きベクトルMV22およびMV23が求められる。
【００６９】
オブジェクト距離算出器67の出力である距離D12、D13およびD23と、オブジェクト動き算出器115の出力である動きベクトルMV21、MV22およびMV23とは、判定器116に入力される。判定器116は、オブジェクト数sとオブジェクト復号器の数dからオブジェクトの結合の要否を判定し、オブジェクトの結合が必要な場合は、結合すべきオブジェクトの数およびそのオブジェクトを決定する。
【００７０】
ここでは、動きベクトルの向きが近いオブジェクトが結合すべきオブジェクトに決定される。そこで、各オブジェクトの動きベクトルの差分ベクトルを求め、その大きさが閾値Thdv以下のものを選択する。すなわち、オブジェクト21の動きベクトルMV21と、オブジェクト21の動きベクトルMV22との差分ベクトルDV2122は次式で表される。
【００７１】
差分ベクトルDV2122の大きさD2122は次式で表される。
D2122 = √(dv2122x2 + dv2122y2) …(6)
【００７２】
差分ベクトルの大きさを各動きベクトルについてすべて求める。求められた差分ベクトルの大きさD2122、D2223およびD2123を閾値Thdvと比較し、閾値以下のものを選択する。オブジェクト22および23は同じ方向に移動しているので、差分ベクトルの大きさD2223は、オブジェクト21に関係するものに比べて小さくなる。もし、閾値Thdvよりも小さい値のものがD2223しかなければ、結合すべきオブジェクトはオブジェクト22および23になる。また、差分ベクトルの大きさがすべて閾値Thdvより小さければ、それらの中でオブジェクト間の距離が最小のものを結合すべきオブジェクトに選択する。また、差分ベクトルの大きさが閾値より小さいものがなければ、オブジェクト間距離が最も近いオブジェクト同士を結合すればよい。
【００７３】
この判定に基づき、オブジェクトの結合を行う。オブジェクト21とオブジェクト22を結合してオブジェクト数を減らすことにする。図8にコードデータ8を例にとって説明する。
【００７４】
最初に、セレクタ117はコードメモリ112からヘッダを読出し、端子76を介して出力する。さらに背景オブジェクトのコードデータObject 0を読出し、端子76を介して出力する。オブジェクト21は結合されないので、同様に、コードデータObject 1を読出し、端子76を介して出力する。
【００７５】
続くコードデータObject 2はオブジェクト22であるから、コードメモリ112から読出して符号分割器70に入力する。符号化分割器70はオブジェクトのコードデータから、Locコードを位置符号結合部71に、LocコードとSizeコードをサイズ符号結合部72に、Shapeコードを形状符号結合部73に、Textureコードをテクスチャ符号結合部74に入力する。
【００７６】
続いて、セレクタ117はコードメモリ112からオブジェクト22と結合されるオブジェクト23のコードデータObject 3を読出し、符号分割器70に入力する。コードデータObject 2と同様に分割されたコードがそれぞれ出力される。
【００７７】
位置符号結合部71では、Locコードがそれぞれ復号され、(2)式により、二つのオブジェクトの位置情報である(x2,y2)と(x3,y3)から新しい位置情報(x2',y2')が生成され、位置情報(x2',y2')が符号化されて出力される。
【００７８】
サイズ符号結合部72では、LocコードおよびSizeコードがそれぞれ復号され、二つのオブジェクトの位置情報である(x2,y2)(x3,y3)およびサイズ情報(Sx2,Sy2)(Sx3,Sy3)から、(3)式により、新たなサイズ情報(Sx1',Sy1')が生成され、サイズ情報(Sx1',Sy1')が符号化されて出力される。
【００７９】
形状符号結合部73は、二つのオブジェクトの形状を合成した形状の符号を生成する。オブジェクト22および23を合成する場合、新しいオブジェクトの形状は図17(a)に示すマスク150で表される。つまり、オブジェクト22のマスク25と、オブジェクト23のマスク26に、ハッチングで示す部分が新たに付加されたマスク150が生成される。なお、ハッチング部の値はマスク80と同じである。そして、第1実施形態と同様にゼロランの付加や符号の変更が行われ、得られた符号は新たなShapeコードとして出力される。
【００８０】
テクスチャ符号結合部74は、二つのオブジェクトのテクスチャを合成したテクスチャの符号を生成する。オブジェクト22および23のテクスチャを合成した状態は図17(b)に示すようになる。つまり、オブジェクト22および23のテクスチャに、ハッチングで示す値零のテクスチャが付加される。そして、第1実施形態と同様に、ハッチング部のマクロブロック単位で符号が付加またはスキップブロックの数が変更され、オブジェクト151のTextureコードが生成され出力される。
【００８１】
符号合成器75は、位置符号結合部71からテクスチャ符号結合部74の出力を合成し、結合されたオブジェクトのコードデータを生成する。結合されたオブジェクトのコードデータは端子76から出力される。
【００８２】
図18は結合されたオブジェクトを含むコードデータの一例を示す図である。オブジェクト21のコードデータObject 1はそのまま、オブジェクト22のコードデータObject 2およびオブジェクト23のコードデータObject 3は結合されてコードデータObject 2'になっている。
【００８３】
このようにして生成されたコードデータはデマルチプレクサ9に入力され、オブジェクトのコードデータObject 0、Object 1、Object 2'に分割され、コードデータObject 0はオブジェクト復号器10に、コードデータObject 1はオブジェクト復号器11に、コードデータObject 2'はオブジェクト復号器12にそれぞれ入力される。オブジェクト復号器10から12はコードデータを復号し、各オブジェクトの位置情報と画像データを生成してオブジェクト合成部14に出力する。オブジェクト合成部14は、各オブジェクトの位置情報に従い画像データを配置し、再生画像15を再生する。
【００８４】
以降のフレームについては、同じオブジェクト同士を結合するようにするが、MPEG符号化などにおいては、フレーム内符号化を行うフレームが含まれるので、このフレームの再生タイミングで結合するオブジェクトの見直しを行う。勿論、フレーム内符号化のフレームの再生タイミングでなくてもシーンチェンジが起これば、結合するオブジェクトの見直しを行うことも可能である。
【００８５】
本実施形態においては、オブジェクトごとに符号化された動画像について、符号化されているオブジェクトの数が復号器の数より多い場合は動きの方向や移動量が近いオブジェクト同士から結合を行うことで、復号器の数が限定される場合でも、効率よく原画像を再生することができる。また、フレーム内符号化するフレームの再生タイミングにおいて、結合するオブジェクトを見直すことにより、オブジェクトの結合による符号化効率の変化を抑制することができる。また、コードデータのまま、符号の変更や付加を行うだけなので、高速に処理が可能であり、符号長の増加もわずかである。さらに、各復号器の復号負荷を均一化する効果もあり、フレーム内符号化のフレームではなくてもシーンチェンジが起こればフレーム間符号化で結合するオブジェクトの見直しを行うことも可能である。
【００８６】
本実施形態では、差分ベクトルの大きさおよびオブジェクトの距離を、結合するオブジェクトの判定に用いるが、差分ベクトルの大きさのみを、結合するオブジェクトの判定に用いても構わない。また、Shapeコードの符号化としてMMR符号化を、Textureコードの符号化としてMPEG符号化を用いる例を説明したが、これに限定されるものではない。
【００８７】
さらに、本実施形態において、例えばデマルチプレクサ9の機能をオブジェクト結合部40に組み入れても構わない。また、オブジェクト復号器の数、コードデータに含まれるオブジェクトの数はこれに限定されない。(s-d)≧2であれば、差分ベクトルの大きさが近い方から順に、2・(s-d)個のオブジェクトを(s-d)個のオブジェクトに結合しても構わないし、最も差分ベクトルの大きさが近い方から順に、(s-d+1)個のオブジェクトを一個のオブジェクトに結合しても構わない。もちろん、これらを組み合わせても構わない。
【００８８】
本実施形態においては、復号器をその出力とする復号装置を説明したが、オブジェクト結合器43から出力される符号を記憶装置50に一旦蓄積し、記憶装置50から読出した符号を復号するようにすれば、オブジェクトの結合が不要になる分、高速な復号（画像の再生）が可能になる。
【００８９】
また、本実施形態においては、オブジェクト復号器の数を自由に設定することができるので、処理能力の向上のためにオブジェクト復号器を容易に増設することができる。
【００９０】
【第３実施形態】
図19は第3実施形態にかかるオブジェクト結合器43の構成例を示すブロック図である。図10に示す構成と同じ機能を果たす構成には同一符号を付し、その詳細な説明を省略する。
【００９１】
符号長抽出器200は、コードメモリ64に格納されているコードデータの各オブジェクトの符号長を抽出し、抽出された符号長は符号長メモリ201に格納される。符号長比較器202は、符号長メモリ201に格納された各オブジェクトの符号長を比較し、端子62および63から入力されるオブジェクト復号器の数dおよびオブジェクト数sに基づき、オブジェクトの結合の要否および結合するオブジェクトを決定する。
【００９２】
オブジェクトの結合が行われる場合、符号長の小さい方から順に、結合されるオブジェクトが決定される。例えば、オブジェクト数s=4、オブジェクト復号器の数d=3の場合はs-d=1であるから、符号長の小さい二つのオブジェクトを一つに結合すればよい。図1に示すフレーム20のコードデータが図20に示すようであった場合、オブジェクト22のコードデータObject 2が最も小さく、次に、オブジェクト21のコードデータObject 1が次に小さい。従って、この場合、コードデータObject 1およびObject 2が結合される。その他の構成の動作は、前述した各実施形態と同様であり、端子76からは図21に示すコードデータが出力される。
【００９３】
以下、すべてのフレームについて、オブジェクト21とオブジェクト22の符号であるObject 1とObject 2が結合されコードデータが生成される。結合方法の詳細は、前述した各第実施形態と同様である。つまり、動き補償を行うフレームや、MPEGなどフレーム内符号化を行うフレームが含まれている場合も前述した各第実施形態と同様である。
【００９４】
本実施形態によれば、前述した各実施形態と同様の効果を得ることができる。さらに、図14に示すような静止画の場合、その文字画像については例えばMMR符号化により高い圧縮率で符号化され符号長も短いという特徴がある。従って、文字部を結合した図14(b)に示される画像を一つのオブジェクトとして扱えば、図14に示されるような静止画においても上記と同様の効果を得ることができる。
【００９５】
【第４実施形態】
MPEG符号化などにおいては、フレーム内符号化を行うフレームと、フレーム間相関を用いて符号化するフレームがある。フレーム内符号化を行うフレームは、同期の確保やDCT誤差の蓄積を防ぐために挿入されるものである。第4実施形態は、このフレーム内符号化を行うフレームのタイミングで結合するオブジェクトの見直しを行うものである。
【００９６】
図22は第4実施形態にかかるオブジェクト結合器43の構成例を示すブロック図である。図10に示す構成と同じ機能を果たす構成には同一符号を付し、その詳細な説明を省略する。
【００９７】
ヘッダ解析器301は、各フレームのヘッダを解析する。距離比較器302は、その動作は図10に示す距離比較器68とほぼ同じである。処理に先立ち、第1実施形態と同様にオブジェクト数sおよびオブジェクト復号器の数dが入力されs≦dであれば、端子61に入力される符号はそのまま端子76から出力される。
【００９８】
一方、s>dの場合は、端子61から入力されコードメモリ64に格納された1フレーム分のコードデータのヘッダがヘッダ解析器301に入力される。フレームの属性が記述されているヘッダには、フレーム間相関を使用して符号化されたフレームか否かを示す情報が記述されている。例えば、MPEG符号においては、フレーム間相関を用いずそのフレーム内で符号化（Intra符号化）されるIフレーム、並びに、動き補償を用い、フレーム間相関により符号化されるPフレームおよびBフレームが存在する。
【００９９】
ヘッダの解析結果により、フレーム間相関を用いずに符号化されているフレームが検出された場合、本実施形態は次のように動作する。コードメモリ64からコードデータが読出され、位置符号抽出器65により各オブジェクトのSCコードに続くLocコードが抽出され、復号されたLocコードは位置情報メモリ66に格納される。オブジェクト距離算出器67は各オブジェクト間の距離を求め、距離比較器302は得られたオブジェクト間距離により距離が短い方から順にオブジェクトを選択する。なお、選択の手順は第1実施形態と同様である。選択されたオブジェクトを示す情報は距離比較器302に保持される。
【０１００】
距離比較器302が保持する選択されたオブジェクトの情報は、ヘッダ解析器301から新たな指示があった場合、つまり、フレーム間相関を用いずに符号化されているフレームが新たに検出された場合に限り更新される。
【０１０１】
一方、フレーム間相関を用いて符号化されたフレームの場合は、距離比較器302に保持されている選択されたオブジェクトの情報に従い、第1実施形態と同様にオブジェクトの結合が行われ、オブジェクトが結合された符号が端子76から出力される。
【０１０２】
このように、本実施形態によれば、フレーム内符号化されたフレームの復号タイミングにおいて結合されるオブジェクトを見直すことにより、オブジェクトの結合による符号化効率の変化を抑制することができる。勿論、フレーム内符号化されたフレームではなくても、シーンチェンジが起こればフレーム間相関を用いて符号化されたオブジェクトであっても、結合されるオブジェクトの見直しを行うことは可能である。シーンチェンジについては、例えばPフレームにおいてIntra符号化するマクロブロックの数が多い場合、Bフレームにおいて動きベクトルの参照フレームが前後の何れか一方のフレームに大きく依存している場合などを、シーンチェンジとして検出すればよい。
【０１０３】
第4実施形態によれば、第1実施形態と同様、フレーム内符号化されたフレームで結合されるオブジェクトを見直すことにより、オブジェクトの結合による符号化効率の変化を抑制することができる。
【０１０４】
【変形例】
図23に示すように、図16に示した第2実施形態の構成に、第4実施形態で説明したヘッダ解析器401を追加することもできる。すなわち、フレームのヘッダを解析した結果、フレーム間相関を用いず符号化されたフレームの場合は、第2実施形態と同様に、判定器402はオブジェクト距離算出器67から出力されるオブジェクト間距離およびオブジェクト動き算出器115から出力されるオブジェクトの動きから結合するオブジェクトを決定する。結合されるオブジェクトの情報は判定器402に保持され、ヘッダ解析器401から指示があった場合のみ、その保持内容が更新される。
【０１０５】
図24に示すように、図19に示した第3実施形態の構成に、第4実施形態で説明したヘッダ解析器501を追加することもできる。すなわち、フレームのヘッダを解析した結果、フレーム間相関を用いず符号化されたフレームの場合は、第3実施形態と同様に、符号長比較器502は各オブジェクトの符号長から結合するオブジェクトを決定する。結合されるオブジェクトの情報は符号長比較器502に保持され、ヘッダ解析器501から指示があった場合のみ、その保持内容が更新される。
【０１０６】
図23および24に示す構成によれば、第4実施形態と同様に、フレーム内符号化されたフレームの復号タイミングにおいて結合されるオブジェクトが見直されることにより、オブジェクトの結合による符号化効率の変化を抑制することができる。
【０１０７】
さらに、MPEG4においては、サウンドのオブジェクト化も検討されており、サウンドオブジェクトの音源間の距離をオブジェクト間距離とすれば第1実施形態の方式が、音源の移動をオブジェクトの動きとすれば第2実施形態の方式が、各オブジェクトの符号長をみれば第3実施形態の方式が適用可能であり、上述した各実施形態は音声を含むサウンドの符号化にも適用可能である。
【０１０８】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【０１０９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１０】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１１】
【発明の効果】
以上説明したように、本発明によれば、復号器の数が限られ、符号に含まれるオブジェクトの数が復号器の数より多い場合でもすべてのオブジェクトを復号することができる。
【０１１２】
また、復号器の数が限られ、符号に含まれるオブジェクトの数が復号器の数より多ている場合でも符号化された静止画や動画を画質を劣化させずに復号することができる。
【図面の簡単な説明】
【図１】 MPEG4の対象になる画像例を示す図、
【図２】図1のオブジェクトを説明するための図、
【図３】オブジェクト単位の符号化の概要を示す図、
【図４】オブジェクト単位に符号化された画像の復号の概要を示す図、
【図５】オブジェクト単位に符号化された画像の復号の概要を示す図、
【図６】オブジェクトが脱落した復号画像を示す図、
【図７】本発明にかかる復号装置の構成例を示すブロック図、
【図８】 1フレームのコードデータの例を示す図、
【図９】合成されたコードデータを示す図、
【図１０】オブジェクト結合器の構成例を示すブロック図、
【図１１】オブジェクトの結合の様子を示す図、
【図１２】動き補償が行われる1フレームのコードデータの一例を示す図、
【図１３】合成されたコードデータを示す図、
【図１４】静止画像のオブジェクトとその結合の様子を示す図、
【図１５】動画像の1フレームを示す図、
【図１６】第2実施形態にかかるオブジェクト結合器の構成例を示すブロック図、
【図１７】オブジェクトの結合の様子を示す図、
【図１８】結合されたオブジェクトを含むコードデータの一例を示す図。
【図１９】第3実施形態にかかるオブジェクト結合器の構成例を示すブロック図、
【図２０】入力されるコードデータの一例を示す図、
【図２１】処理後のコードデータの一例を示す図、
【図２２】第4実施形態にかかるオブジェクト結合器の構成例を示すブロック図、
【図２３】オブジェクト結合器の変形例を示すブロック図、
【図２４】オブジェクト結合器の第二の変形例を示すブロック図である。
【発明の属する技術分野】
本発明は復号装置およびその方法に関し、例えば、オブジェクト単位に符号化された符号を復号する復号装置およびその方法に関するものである。
【０００２】
【従来の技術】
近年、画像の符号化技術の高度化や、コンピュータの能力の進歩に伴い、画像を構成する物体（オブジェクト）を切り分けて、オブジェクトごとに符号化する方式が提案されている。画像をオブジェクト単位で符号化すれば、各オブジェクトに最適な符号化を行うことができ、符号化効率を向上させることができる。これと同時に、画像内のオブジェクトを編集することで、新たな画像を生成する機能を得ることができる。例えば、静止画像ではACBIS方式（前田、吉田「1996年電子情報通信学会総合大会D-292」）のように、画像を「文字」「線」「枠」「画像」「表」「背景」に分離し、それぞれに最適な符号化を行う方法が提案されている。この提案によれば、「文字」「線」「枠」「表」の各領域には二値画像の符号化方式であるJBIG符号化が施され、「画像」領域には多値符号化であるJPEG符号化が施され、「背景」領域はその代表値が符号化される。
【０００３】
また、動画像においては、オブジェクトごとに符号化する方式が国際標準化方式MPEG4として検討されている（参考文献：栄藤「MPEG4の標準化動向」画像電子学会誌第25巻第3号, 1996, p.223-228）。図1はMPEG4の対象になる画像例を示し、動画の1フレームを表している。図1に示すフレーム20は、図2に(a)から(d)で示す四つのオブジェクトで構成されている。すなわち、背景オブジェクト28（図2(a)）、ヘリコプタを表すオブジェクト21（図2(b)）、列車を表すオブジェクト22（図2(c)）、および、車を表すオブジェクト23（図2(d)）である。背景以外のオブジェクトの形状を表すために、オブジェクトを囲む矩形領域の黒色部分を領域外、白色部分を領域内とするマスク（図2(e)から(g)）をもたせ、これにより任意形状のオブジェクトが扱えるようになる。
【０００４】
図3はオブジェクト単位の符号化の概要を示す図である。入力画像1はオブジェクト分離部2に入力されてオブジェクトに分離される。例えば、図1に示す画像は、オブジェクト分離部2によりオブジェクト28、21、22および23に分離され、分離されたオブジェクトはそれぞれが独立に符号化される。すなわち、オブジェクト28はオブジェクト符号化器3で、オブジェクト21はオブジェクト符号化器4で、オブジェクト22はオブジェクト符号化器5で、オブジェクト23はオブジェクト符号化器6で符号化される。オブジェクト符号化器3から6から出力される符号データは、マルチプレクサ7によりまとめられて、コードデータ8として出力される。
【０００５】
図4はオブジェクト単位に符号化された画像の復号の概要を示す図である。コードデータ8はデマルチプレクサ9に入力され、各オブジェクトごとの符号データに分離され、分離された符号データは独立に復号される。すなわち、オブジェクト復号器10によりオブジェクト28が、オブジェクト復号器11によりオブジェクト21が、オブジェクト復号器12によりオブジェクト22が、オブジェクト復号器13によりオブジェクト23がそれぞれ復号される。各オブジェクト復号器10から13から出力される画像データは、オブジェクト合成部14により、各オブジェクトのあるべき位置に配置されて、一枚の画像が合成され再生画像15として出力される。
【０００６】
【発明が解決しようとする課題】
しかし、上述した技術においては、次のような問題点がある。
【０００７】
つまり、各オブジェクトを独立に復号するためには、分離されたオブジェクトの数に応じた数の復号部が必要になる。しかしながら、復号側で、任意数の復号部を用意することは不可能である。従って、図5に示すように、独立に符号化されたオブジェクトの数が、用意された復号部の数よりも多い場合が生じる。図5に示す復号装置では、オブジェクト復号器は三つであり、デマルチプレクサ30はコードデータ8の入力順にオブジェクト復号器を割り当てる。コードデータ8が四つのオブジェクトを含む場合、デマルチプレクサ30によりオブジェクト28はオブジェクト復号器10へ、オブジェクト21はオブジェクト復号器11へ、オブジェクト22はオブジェクト復号器12へ割り当てられ復号されるが、オブジェクト23については、そのコードデータが割り当てられるオブジェクト復号器がないため復号されない。このため、復号され合成された画像は、図6に示すフレーム38のように、オブジェクト23が抜けた画像になってしまう。
【０００８】
本発明は、復号器の数が限られている場合でもすべてのオブジェクトを復号することを目的とする。
【０００９】
また、復号器の数が限られている場合でも符号化された静止画や動画を画質を劣化させずに復号することを他の目的とする。
【００１１】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１２】
本発明にかかる復号装置は、オブジェクト単位に符号化された符号を多重化した多重化符号を復号する復号装置であって、入力された多重化符号に含まれるオブジェクト数および復号可能なオブジェクト数を検出する検出手段と、前記多重化符号に含まれるオブジェクト数が前記復号可能なオブジェクト数よりも多い場合、前記多重化符号に含まれる複数のオブジェクトの符号を結合して、前記多重化符号に含まれるオブジェクト数を前記復号可能なオブジェクト数にする結合手段とを有することを特徴とする。
【００１３】
本発明にかかる復号方法は、オブジェクト単位に符号化された符号を多重化した多重化符号を復号する復号方法であって、入力された多重化符号に含まれるオブジェクト数および復号可能なオブジェクト数を検出する検出ステップと、前記多重化符号に含まれるオブジェクト数が前記復号可能なオブジェクト数よりも多い場合、前記多重化符号に含まれる複数のオブジェクトの符号を結合して、前記多重化符号に含まれるオブジェクト数を前記復号可能なオブジェクト数にする結合ステップとを有することを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明にかかる一実施形態の復号装置を図面を参照して詳細に説明する。
【００２０】
【第１実施形態】
［構成］
図7は本発明にかかる復号装置の構成例を示すブロック図である。なお、図3および図5と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００２１】
図7において、オブジェクト数調整部40は、コードデータ8に含まれるオブジェクトの数sをカウントするオブジェクトカウンタ41、オブジェクト復号器の数dをカウントするオブジェクト復号器カウンタ42、コードデータ8に含まれる複数のオブジェクトをまとめるオブジェクト結合器43を含む。また、50は磁気ディスクなどで構成される記憶装置である。
【００２２】
復号装置に入力されるコードデータ8は、例えば、図1に示した符号化器により符号化が施され、最大四つのオブジェクトを含むものとする。また、以下では、図3に示した動画像フレームを原画像として説明する。
【００２３】
コードデータ8は、各フレームごとにオブジェクト数調整部40に入力される。フレームのコードデータが入力されたオブジェクトカウンタ41は、コードデータに含まれるオブジェクトの数sを計数する。
【００２４】
図8は1フレームのコードデータの例を示す図である。コードデータの先頭には、フレームの属性を表すヘッダ(Header)があり、次に、背景オブジェクト（図8ではObject 0）を表すコードデータがある。続いて、各オブジェクトのコードデータ、つまり、オブジェクト22(Object 1)、オブジェクト23(Object 2)およびオブジェクト24(Object 3)の各コードデータが続く。各オブジェクトのコードデータは、オブジェクトの先頭を表すコードSC、オブジェクトのフレーム内の位置を表すコードLoc、オブジェクトの大きさを表すコードSize、オブジェクトの形状を表すコードShape、オブジェクト自体を表すコードTextureで構成される。
【００２５】
以下では、例えば、Shapeコードは二値符号化であるMR符号化されているとして説明する。また、Textureコードは、ブロック符号化されているとして説明する。なお、ブロック符号化とは、例えばJPEG符号化のように、オブジェクトを例えば8×8画素のブロックに分割し、各ブロックにDCTを施した後、得られた変換係数（DCT係数）を量子化し符号化するものである。図8はObject 1のTextureコードを示している。Textureコードは、ブロック単位の符号DCT-COEFの集合である。符号DCT-COEFは、DCT係数の量子化値を一次元に並べ替え、ゼロのランレングスおよびゼロ以外の量子化値を符号化したものであり、もし量子化値がすべてゼロであれば符号DCT-COEFは発生しない。
【００２６】
オブジェクトカウンタ41のカウント値sは、1フレームのコードデータの入力が開始される際に零にリセットされ、入力されるコードデータのオブジェクトの先頭を表すSCコードの出現数をカウントする。このカウント結果はオブジェクト結合器43へ入力される。また、オブジェクト復号器カウンタ42は、オブジェクト復号器の数dを計数する。本実施形態ではオブジェクト復号器は三つであり、オブジェクト復号器カウンタ42の出力は「3」になる。
【００２７】
図10はオブジェクト結合器43の構成例を示すブロック図である。端子61はコードデータ8を入力し、端子62はオブジェクトカウンタ41からオブジェクト数sを入力し、端子63はオブジェクト復号器カウンタ42からオブジェクト復号器の数dを入力する。
【００２８】
コードメモリ64は、端子61から入力される1フレーム分のコードデータを格納するメモリである。位置符号抽出器65は、コードメモリ64に格納されたコードデータからLocコードを抽出し、抽出したLocコードをオブジェクトごとに位置情報メモリ66に格納する。オブジェクト距離算出器67は、位置情報メモリ66に格納されたLocコードに基づき各オブジェクト間の距離を算出する。
【００２９】
距離比較器68は、オブジェクト距離算出器67により算出される距離を比較して、その比較結果に基づき結合するオブジェクトを選択するためのものである。セレクタ69は、コードメモリ64から読み出されるオブジェクトのコードデータを、距離比較器68によりオブジェクトごとに指定される出力先である符号分割器70または端子76へ出力する。
【００３０】
符号分割器70は、オブジェクトのコードデータをLoc、Size、ShapeおよびTextureの各コードに分割する。位置符号結合部71は、二つのオブジェクトのLocコードを一つのLocコードに結合する。サイズ符号結合部72は、二つのオブジェクトのSizeコードを一つのSizeコードに結合する。形状符号結合部73は、二つのオブジェクトのShapeコードを一つのShapeコードに結合する。テクスチャ符号結合部74は、二つのオブジェクトのTextureコードを一つのTextureコードに結合する。符号合成器75は、位置符号結合部71からテクスチャ符号結合部74の出力を合成して、一つのコードデータにまとめる。
【００３１】
符号合成器75の出力、および、セレクタ69の出力の一方は、端子76を介して次段に送られる。
【００３２】
［動作］
次に本実施形態の動作について、MPEGなどのIntraフレームや、Motion JPEGの各フレームを独立に符号化する場合を例として説明する。
【００３３】
●フレーム単位の符号化
図10の端子61を介して、1フレームのコードデータがコードメモリ64に格納され、端子62を介してオブジェクトカウンタ41からオブジェクト数sが入力される。オブジェクト数sは、図8に示したコードデータを例にとるとs=4である。また、端子63を介してオブジェクト復号器カウンタ42からオブジェクト復号器の数dが入力される。本実施形態ではd=3である。従って、s-d=1、すなわちオブジェクト復号器が一つ不足することがわかる。
【００３４】
オブジェクト距離算出器67は、位置情報メモリ66に格納されたLocコードから、オブジェクト21とオブジェクト22の間の距離を求める。オブジェクト21の位置を(x1, y1)とし、オブジェクト22の位置を(x2, y2)とすると、両オブジェクト間の距離D12は次式で表される。
D12 = √{(x1 - x2)2 + (y1 - y2)2} …(1)
【００３５】
同様に、オブジェクト21とオブジェクト23の間の距離D13、および、オブジェクト22とオブジェクト23の間の距離D23を求める。このようにして得られたオブジェクト間距離に基づき、距離比較器68は、オブジェクト復号器が不足する分、オブジェクトを結合するために、そのオブジェクト間の距離が短い複数のオブジェクトを選択する。本実施形態の場合、オブジェクト復号器の不足は「1」であるから二つのオブジェクトを結合して一つのオブジェクトにすればよい。例えば距離D12が最も短いとすると、オブジェクト21とオブジェクト22とが結合され、これによりオブジェクト復号器の不足は解消される。
【００３６】
オブジェクト21とオブジェクト22とが結合される場合、距離比較器68の出力により制御されるセレクタ69は、コードメモリ64から出力されるヘッダを端子76へ送り、さらに背景オブジェクトであるObject 0を端子76へ送る。
【００３７】
続くオブジェクト21に対応するObject 1に対する距離比較器68の出力は「選択」を示すので、セレクタ69によりObject 1は符号分割器70へ送られ、Object 1のLocコードを位置符号結合部71へ、LocコードおよびSizeコードをサイズ符号結合部72へ、Shapeコードを形状符号結合部73へ、Textureコードをテクスチャ符号結合部74へ送る。続くオブジェクト22に対応するObject 2に対する距離比較器68の出力も「選択」を示すので、Object 2は、Object 1と同様に分割され、分割されたコードがそれぞれ位置符号結合部71からテクスチャ符号結合部74へ入力される。
【００３８】
なお、続くオブジェクト23に対応するObject 3に対する距離比較器68の出力は「非選択」を示すので、オブジェクト23のコードデータはそのまま端子76へ出力される。また、言うまでもないが、s-d>0であるようなコードデータ8をもつフレームに対しては、オブジェクトの結合は行われず、セレクタ69の出力は端子76へ送られる。
【００３９】
位置符号結合部71は、Locコードをそれぞれ復号し、複数のオブジェクトの位置情報である(x1,y1)から(xn,yn)を得る。そして、次式に示すように、これらの位置情報からxおよびy座標の最小値を選択して、新しい位置情報(x1',y1')を出力する。
(x1', y1') = (min(x1, x2,…, xn), min(y1, y2,…, yn)) …(2)
ただし、nは合成されるオブジェクトの数
【００４０】
サイズ符号結合部72は、LocおよびSizeコードをそれぞれ復号し、複数のオブジェクトの位置情報およびサイズ情報である(x1,y1)、(Sx1,Sy1)から(xn,yn)、(Sxn,Syn)を得る。そして、(2)式により新しい位置情報(x1',y1')を算出するとともに、次式により新しいサイズ情報(Sx1',Sy1')を求めて出力する。
(Sx1', Sy1')
= (max(x1, x2,…, xn) - x1', max(y1, y2,…, yn) - y1') …(3)
【００４１】
形状符号結合部73は、複数のオブジェクトの形状を合成した符号を生成する。オブジェクト21および22を合成する場合、その状態は図11(a)に示すように、新しいオブジェクトの形状はマスク80で表される。元もとのマスク24および25についてはそのままであり、それら以外の部分が新たに追加される。図11(a)のハッチング部分の値は、黒べたで示すマスク24および25と同じである。従って、マスク24の右側にゼロランが増えたことになり、フレームの右端に最も近い変化点を表す符号の後ろに、ゼロのランレングスが追加されることになる。
【００４２】
また、オブジェクト21の右側に別のオブジェクトがなければ、前述した変化点はラインの最終変化点を表すだけであり、符号が増えることはない。一方、オブジェクト21の右側に別のオブジェクトがあれば、両オブジェクト間の画素数に対応するゼロのランレングスが追加される。つまり、ゼロのランレングスを加算した符号に置き換えるだけで構わない。さらに、オブジェクト21の右側のオブジェクトのそのまた右側に第三のオブジェクトがある場合は、オブジェクト21の符号にオブジェクト間のゼロのランレングスを加算した符号に置き換えることになる。このようにして置き換えられた符号は、新しいShapeコードとして出力される。なお、オブジェクトが全くないラインに対する符号はほとんど発生しない。
【００４３】
テクスチャ符号結合部74は、複数のオブジェクトのテクスチャを合成した符号を生成する。オブジェクト21および22のテクスチャを合成した状態は図11(b)に示すようになり、新しいオブジェクトのテクスチャはオブジェクト81として表されることになる。オブジェクト21および22についてはそのままであり、それらを除くハッチング部分が新たに付加される。なお、ハッチング部分の値は零である。MPEGなどにおいては、注目画素のDC成分は、左隣りのブロックのDC成分との差分に変換される。また、AC成分の量子化値は一次元に配列され、ゼロのランレングスおよび非ゼロ値が符号化される。そのため、図11(b)のハッチング部分においては、注目画素のDC成分と左隣りのDC成分との差分は零であり、AC成分もすべて零である。このような場合、MPEGlにおいては、マクロブロック単位で、マクロブロックタイプを示す1ビット、DC成分のサイズを示す輝度12ビットおよび色度4ビット、並びに、ブロックの終了を示すEOB(End of Block)の12ビットの合計29ビットが付加される。このようにして、複数のオブジェクトのテクスチャが結合されたオブジェクト81のTextureコードが生成され出力される。
【００４４】
符号合成器75は、位置符号結合部71からテクスチャ符号結合部74の出力を合成して、結合されたオブジェクトのコードデータを生成し端子76へ出力する。
【００４５】
図9はこのようにして合成されたコードデータを示す図である。図8に示すオブジェクト21のコードデータObject 1と、オブジェクト22のコードデータObject 2は結合されて、コードデータObject 1'になる。なお、オブジェクト23のコードデータObject 3はそのままである。
【００４６】
このように処理されたコードデータは、デマルチプレクサ9に入力され、オブジェクトのコードデータはObject 0、Object 1'およびObject 3に分割される。そして、コードデータObject 0はオブジェクト復号器10に、コードデータObject 1'はオブジェクト復号器11に、コードデータObject 3はオブジェクト復号器12にそれぞれ入力される。各オブジェクト復号器は、コードデータを復号して得たオブジェクトの位置情報および画像データをオブジェクト合成部14に出力する。オブジェクト合成部14により、各オブジェクトの位置情報に従って画像データが配置され、再生画像15が得られる。
【００４７】
●動画像の符号化
動画像の符号化においては、動き補償により符号化効率が改善される。一例として、MPEGなどの予測フレームのようにフレーム間の相関を使って符号化する場合について説明する。
【００４８】
図12は動き補償が行われる1フレームのコードデータ8の一例を示している。コードデータには、図8と同様、ヘッダ、背景オブジェクトを表すコードデータObject 0、および、各オブジェクトのコードデータ(Object 1からObject 3)が続く。各コードデータは、オブジェクトの先頭を表すSCコード、位置を表すLocコード、大きさを表すSizeコード、形状を表すShapeコードおよびテクスチャを表すTextureコードで構成される。MPEGで用いる符号化ではオブジェクトをマクロブロックに分割して動き補償を行う。この結果、Textureコードは、動きベクトルの符号化結果である動きベクトルコードMVと、ブロック単位に分割しDCT変換された結果を量子化し符号化したDCT-COEFとから構成される。
【００４９】
動画像の符号化においても、前述したフレーム単位の符号化と同様の処理がオブジェクト数調整部40で行われるので、詳細な説明は省略するが、例えば、オブジェクト復号器の不足が「1」で距離D12が最も短かい場合は、オブジェクト21および22を結合してオブジェクト数が減らされる。また、各オブジェクトに含まれる動きベクトルおよびDCT係数の符号化結果は変更されず、そのまま使用される。
【００５０】
MPEG符号化などにおいて、フレーム相関を利用する際は、予測誤差のDC成分およびAC成分が符号化される。また、動きベクトルは、左隣りのマクロブロックの動きベクトルとの差分に変換される。そのため、図11に示すようなハッチング部分においては、動きベクトルの差分は零であり、AC成分もすべて零である。MPEG1においては、そのようなマクロブロックは符号化されずスキップされるので、対応する符号はスキップするマクロブロックの数を示すだけである。従って、次に出現するオブジェクトに含まれる最初のマクロブロックの符号を変更すればよく、符号の変更は僅かである。このようにして結合されたオブジェクトのTextureコードが生成され出力される。
【００５１】
図13はこのようにして合成されたコードデータを示す図である。図12に示すオブジェクト21のコードデータObject 1と、オブジェクト22のコードデータObject 2は結合されて、コードデータObject 1'になる。なお、オブジェクト23のコードデータObject 3はそのままである。
【００５２】
以上説明したように、本実施形態においては、オブジェクトごとに符号化された動画像について、符号化されたオブジェクトの数が復号器の数より大きい場合、つまり復号器が不足する場合、その不足分、オブジェクトを減らすために、オブジェクト間距離の短い複数のオブジェクトを結合する。これにより、多数の符号化オブジェクトを含む動画像を、有限個の復号器を用いて、効率よく正しく再生することができる。さらに、オブジェクトの合成はコードデータのまま行われる。つまり、符号の変更や付加を行うだけなので、オブジェクトの合成を高速に行うことができ、符号長も僅かに増加するだけである。
【００５３】
また、上記の説明においては、符号化された動画像を復号する例を説明したが、符号化された静止画像に対しても同様に処理することができる。つまり、上述したフレーム単位の復号は正に静止画像の復号に適合する。例えば、図14(a)に示すように、画像90に、文字領域91および94、並びに、写真領域92および93が含まれ、文字がMMR、写真がJPEGで符号化されていて、復号器がMMR、JPEGともに一つずつしかない場合、それぞれの領域を結合し、図14(b)および(c)に示すようなオブジェクト95および96に再分割すれば復号することが可能になる。
【００５４】
なお、上記の説明においては、Shapeコードの符号化としてMMRを、Textureコードの符号化としてMPEGを用いる例を説明したが、これに限定されるものではない。また、デマルチプレクサ9の機能をオブジェクト数調整部40に組み入れても構わない。また、オブジェクト復号器の数d、コードデータに含まれるオブジェクトの数sの差s-d≧2あれば、オブジェクト間距離の短いオブジェクト同志、つまり2×(s-d)個のオブジェクトを(s-d)個のオブジェクトに結合しても構わないし、最もオブジェクト間距離の短い(s-d+1)個のオブジェクトを一個のオブジェクトに結合しても構わない。
【００５５】
上記の説明においては、オブジェクト数が調整されたコードデータをオブジェクト復号器へ入力する例を説明した。しかし、オブジェクト数が調整されたコードデータを図7に示す記憶装置50に一旦蓄積し、記憶装置50からオブジェクト数が調整されたコードデータを読み出して復号するようにすれば、オブジェクトの結合を行わないで済む分、高速な復号処理が可能になる。
【００５６】
また、本実施形態によれば、オブジェクト復号器の数は何ら制限されない。従って、オブジェクト復号器を増設することにより、処理能力を容易に向上させることができるようになる。
【００５７】
【第２実施形態】
［構成］
図16は第2実施形態にかかるオブジェクト結合器43の構成例を示すブロック図である。図10に示す構成と同じ機能を果たす構成には同一符号を付し、その詳細な説明を省略する。
【００５８】
111および112はコードメモリで、コードメモリ64と同様の機能を果たす。113および114は位置情報メモリで、位置情報メモリ66と同様の機能を果たす。115はオブジェクトの移動を検出するオブジェクト動き算出器である。
【００５９】
判定器116は、オブジェクト距離算出器67およびオブジェクト動き算出器115の演算結果、並びに、端子62および63から入力されるオブジェクトの数sおよびオブジェクト復号器の数dに基づき、オブジェクトの結合の要不要および結合するオブジェクトを決定する。117はセレクタで、コードメモリ111、または、必要であればコードメモリ112から読み出されたオブジェクトのコードデータを、判定器116に指示される出力先へ出力する。
【００６０】
［動作］
次に、図16に示すオブジェクト結合器43の動作について説明する。
【００６１】
まず、MPEGなどにおけるイントラ(Intra)フレームの場合や、モーション(Motion)JPEGの場合のように各フレームを独立に符号化する例を説明する。
【００６２】
この場合、コードメモリ111は図10に示すコードメモリ64と、位置情報メモリ113は位置情報メモリ66と、判定器116は距離比較器68と同じ機能を果たす。従って、端子61から入力される1フレーム分のコードデータはコードメモリ111に格納される。端子62にはオブジェクトカウンタ41の出力であるオブジェクト数sが、端子63にはオブジェクト復号器カウンタ42の出力であるオブジェクト復号器の数dが入力される。位置符号抽出器65は、コードメモリ111に格納されたコードデータから各オブジェクトの位置情報を抽出して位置情報メモリ113に入力する。オブジェクト距離算出器67は、位置情報メモリ113に格納された位置情報に基づき各オブジェクト間の距離を算出する。判定器116は、オブジェクト数sとオブジェクト復号器の数dからオブジェクトの結合の要否を決定する。そして、オブジェクトの結合が必要であれば、結合するオブジェクトの数を決定し、オブジェクト距離算出器67により求められたオブジェクト間の距離を比較して、オブジェクト間距離が小さい方から必要な数のオブジェクトの結合を決定する。
【００６３】
セレクタ117には、コードメモリ111から読出されたオブジェクトのコードデータが入力される。ヘッダや背景オブジェクトおよび結合されないオブジェクトのコードデータは、セレクタ117により端子76へ送られる。一方、結合されるオブジェクトのコードデータは、セレクタ117により符号分割器70に入力される。符号分割器70に入力されたコードデータは、位置、サイズ、形状およびテクスチャの各コードデータに分割されて、それぞれ位置符号結合部71、サイズ符号結合部72、形状符号結合部73、テクスチャ符号結合部74に入力される。第1実施形態で説明したのと同様の手順で結合されたオブジェクトのコードデータは端子76から出力される。
【００６４】
次に、MPEGなどにおける予測フレームのように、フレーム間の相関を使って符号化されたフレームについて説明する。ここではMPEG符号化された図1に示すフレーム20およびフレーム20に続く図15に示すフレーム100を例として説明する。なお、フレーム100においては、フレーム20に対して、オブジェクト21（ヘリコプタ）は右に、オブジェクト22（列車）およびオブジェクト23（車）は左に移動している。
【００６５】
処理に先立ち、コードメモリ111、112、および、位置情報メモリ113、114はクリアされていて、その他各部も初期化されている。端子62にはオブジェクト数sが、端子63にはオブジェクト復号器の数dが入力される。まず、端子61にフレーム20のコードデータが入力され、コードメモリ111に格納される。位置符号抽出器65は各オブジェクトのフレーム20における位置情報を位置情報メモリ113に格納する。オブジェクト距離算出器67は、フレーム20における各オブジェクト間の距離を求める。
【００６６】
続いて、コードメモリ111のコードデータがコードメモリ112に移動され、位置情報メモリ113の位置情報も位置情報メモリ114に移動された後、フレーム100のコードデータが端子61に入力され、コードメモリ111に格納される。位置符号抽出器65は各オブジェクトのフレーム100における位置情報を位置情報メモリ113に格納する。
【００６７】
オブジェクト動き算出器115は、位置情報メモリ113および114の各オブジェクトの位置から各オブジェクトの動きを算出する。オブジェクト21を例として説明すると、フレーム20における位置を(x211,y211)とし、フレーム100における位置を(x212,y212)とすると、その動きベクトルMV21=(mv21x,mv21y)は次式により表される。
MV21 = (mv21x, mv21y) = ((x2 - x1), (y2 - y1)) …(4)
【００６８】
オブジェクト22および23についても同様に動きベクトルMV22およびMV23が求められる。
【００６９】
オブジェクト距離算出器67の出力である距離D12、D13およびD23と、オブジェクト動き算出器115の出力である動きベクトルMV21、MV22およびMV23とは、判定器116に入力される。判定器116は、オブジェクト数sとオブジェクト復号器の数dからオブジェクトの結合の要否を判定し、オブジェクトの結合が必要な場合は、結合すべきオブジェクトの数およびそのオブジェクトを決定する。
【００７０】
ここでは、動きベクトルの向きが近いオブジェクトが結合すべきオブジェクトに決定される。そこで、各オブジェクトの動きベクトルの差分ベクトルを求め、その大きさが閾値Thdv以下のものを選択する。すなわち、オブジェクト21の動きベクトルMV21と、オブジェクト21の動きベクトルMV22との差分ベクトルDV2122は次式で表される。
差分ベクトルDV2122の大きさD2122は次式で表される。
D2122 = √(dv2122x2 + dv2122y2) …(6)
【００７２】
差分ベクトルの大きさを各動きベクトルについてすべて求める。求められた差分ベクトルの大きさD2122、D2223およびD2123を閾値Thdvと比較し、閾値以下のものを選択する。オブジェクト22および23は同じ方向に移動しているので、差分ベクトルの大きさD2223は、オブジェクト21に関係するものに比べて小さくなる。もし、閾値Thdvよりも小さい値のものがD2223しかなければ、結合すべきオブジェクトはオブジェクト22および23になる。また、差分ベクトルの大きさがすべて閾値Thdvより小さければ、それらの中でオブジェクト間の距離が最小のものを結合すべきオブジェクトに選択する。また、差分ベクトルの大きさが閾値より小さいものがなければ、オブジェクト間距離が最も近いオブジェクト同士を結合すればよい。
【００７３】
この判定に基づき、オブジェクトの結合を行う。オブジェクト21とオブジェクト22を結合してオブジェクト数を減らすことにする。図8にコードデータ8を例にとって説明する。
【００７４】
最初に、セレクタ117はコードメモリ112からヘッダを読出し、端子76を介して出力する。さらに背景オブジェクトのコードデータObject 0を読出し、端子76を介して出力する。オブジェクト21は結合されないので、同様に、コードデータObject 1を読出し、端子76を介して出力する。
【００７５】
続くコードデータObject 2はオブジェクト22であるから、コードメモリ112から読出して符号分割器70に入力する。符号化分割器70はオブジェクトのコードデータから、Locコードを位置符号結合部71に、LocコードとSizeコードをサイズ符号結合部72に、Shapeコードを形状符号結合部73に、Textureコードをテクスチャ符号結合部74に入力する。
【００７６】
続いて、セレクタ117はコードメモリ112からオブジェクト22と結合されるオブジェクト23のコードデータObject 3を読出し、符号分割器70に入力する。コードデータObject 2と同様に分割されたコードがそれぞれ出力される。
【００７７】
位置符号結合部71では、Locコードがそれぞれ復号され、(2)式により、二つのオブジェクトの位置情報である(x2,y2)と(x3,y3)から新しい位置情報(x2',y2')が生成され、位置情報(x2',y2')が符号化されて出力される。
【００７８】
サイズ符号結合部72では、LocコードおよびSizeコードがそれぞれ復号され、二つのオブジェクトの位置情報である(x2,y2)(x3,y3)およびサイズ情報(Sx2,Sy2)(Sx3,Sy3)から、(3)式により、新たなサイズ情報(Sx1',Sy1')が生成され、サイズ情報(Sx1',Sy1')が符号化されて出力される。
【００７９】
形状符号結合部73は、二つのオブジェクトの形状を合成した形状の符号を生成する。オブジェクト22および23を合成する場合、新しいオブジェクトの形状は図17(a)に示すマスク150で表される。つまり、オブジェクト22のマスク25と、オブジェクト23のマスク26に、ハッチングで示す部分が新たに付加されたマスク150が生成される。なお、ハッチング部の値はマスク80と同じである。そして、第1実施形態と同様にゼロランの付加や符号の変更が行われ、得られた符号は新たなShapeコードとして出力される。
【００８０】
テクスチャ符号結合部74は、二つのオブジェクトのテクスチャを合成したテクスチャの符号を生成する。オブジェクト22および23のテクスチャを合成した状態は図17(b)に示すようになる。つまり、オブジェクト22および23のテクスチャに、ハッチングで示す値零のテクスチャが付加される。そして、第1実施形態と同様に、ハッチング部のマクロブロック単位で符号が付加またはスキップブロックの数が変更され、オブジェクト151のTextureコードが生成され出力される。
【００８１】
符号合成器75は、位置符号結合部71からテクスチャ符号結合部74の出力を合成し、結合されたオブジェクトのコードデータを生成する。結合されたオブジェクトのコードデータは端子76から出力される。
【００８２】
図18は結合されたオブジェクトを含むコードデータの一例を示す図である。オブジェクト21のコードデータObject 1はそのまま、オブジェクト22のコードデータObject 2およびオブジェクト23のコードデータObject 3は結合されてコードデータObject 2'になっている。
【００８３】
このようにして生成されたコードデータはデマルチプレクサ9に入力され、オブジェクトのコードデータObject 0、Object 1、Object 2'に分割され、コードデータObject 0はオブジェクト復号器10に、コードデータObject 1はオブジェクト復号器11に、コードデータObject 2'はオブジェクト復号器12にそれぞれ入力される。オブジェクト復号器10から12はコードデータを復号し、各オブジェクトの位置情報と画像データを生成してオブジェクト合成部14に出力する。オブジェクト合成部14は、各オブジェクトの位置情報に従い画像データを配置し、再生画像15を再生する。
【００８４】
以降のフレームについては、同じオブジェクト同士を結合するようにするが、MPEG符号化などにおいては、フレーム内符号化を行うフレームが含まれるので、このフレームの再生タイミングで結合するオブジェクトの見直しを行う。勿論、フレーム内符号化のフレームの再生タイミングでなくてもシーンチェンジが起これば、結合するオブジェクトの見直しを行うことも可能である。
【００８５】
本実施形態においては、オブジェクトごとに符号化された動画像について、符号化されているオブジェクトの数が復号器の数より多い場合は動きの方向や移動量が近いオブジェクト同士から結合を行うことで、復号器の数が限定される場合でも、効率よく原画像を再生することができる。また、フレーム内符号化するフレームの再生タイミングにおいて、結合するオブジェクトを見直すことにより、オブジェクトの結合による符号化効率の変化を抑制することができる。また、コードデータのまま、符号の変更や付加を行うだけなので、高速に処理が可能であり、符号長の増加もわずかである。さらに、各復号器の復号負荷を均一化する効果もあり、フレーム内符号化のフレームではなくてもシーンチェンジが起こればフレーム間符号化で結合するオブジェクトの見直しを行うことも可能である。
【００８６】
本実施形態では、差分ベクトルの大きさおよびオブジェクトの距離を、結合するオブジェクトの判定に用いるが、差分ベクトルの大きさのみを、結合するオブジェクトの判定に用いても構わない。また、Shapeコードの符号化としてMMR符号化を、Textureコードの符号化としてMPEG符号化を用いる例を説明したが、これに限定されるものではない。
【００８７】
さらに、本実施形態において、例えばデマルチプレクサ9の機能をオブジェクト結合部40に組み入れても構わない。また、オブジェクト復号器の数、コードデータに含まれるオブジェクトの数はこれに限定されない。(s-d)≧2であれば、差分ベクトルの大きさが近い方から順に、2・(s-d)個のオブジェクトを(s-d)個のオブジェクトに結合しても構わないし、最も差分ベクトルの大きさが近い方から順に、(s-d+1)個のオブジェクトを一個のオブジェクトに結合しても構わない。もちろん、これらを組み合わせても構わない。
【００８８】
本実施形態においては、復号器をその出力とする復号装置を説明したが、オブジェクト結合器43から出力される符号を記憶装置50に一旦蓄積し、記憶装置50から読出した符号を復号するようにすれば、オブジェクトの結合が不要になる分、高速な復号（画像の再生）が可能になる。
【００８９】
また、本実施形態においては、オブジェクト復号器の数を自由に設定することができるので、処理能力の向上のためにオブジェクト復号器を容易に増設することができる。
【００９０】
【第３実施形態】
図19は第3実施形態にかかるオブジェクト結合器43の構成例を示すブロック図である。図10に示す構成と同じ機能を果たす構成には同一符号を付し、その詳細な説明を省略する。
【００９１】
符号長抽出器200は、コードメモリ64に格納されているコードデータの各オブジェクトの符号長を抽出し、抽出された符号長は符号長メモリ201に格納される。符号長比較器202は、符号長メモリ201に格納された各オブジェクトの符号長を比較し、端子62および63から入力されるオブジェクト復号器の数dおよびオブジェクト数sに基づき、オブジェクトの結合の要否および結合するオブジェクトを決定する。
【００９２】
オブジェクトの結合が行われる場合、符号長の小さい方から順に、結合されるオブジェクトが決定される。例えば、オブジェクト数s=4、オブジェクト復号器の数d=3の場合はs-d=1であるから、符号長の小さい二つのオブジェクトを一つに結合すればよい。図1に示すフレーム20のコードデータが図20に示すようであった場合、オブジェクト22のコードデータObject 2が最も小さく、次に、オブジェクト21のコードデータObject 1が次に小さい。従って、この場合、コードデータObject 1およびObject 2が結合される。その他の構成の動作は、前述した各実施形態と同様であり、端子76からは図21に示すコードデータが出力される。
【００９３】
以下、すべてのフレームについて、オブジェクト21とオブジェクト22の符号であるObject 1とObject 2が結合されコードデータが生成される。結合方法の詳細は、前述した各第実施形態と同様である。つまり、動き補償を行うフレームや、MPEGなどフレーム内符号化を行うフレームが含まれている場合も前述した各第実施形態と同様である。
【００９４】
本実施形態によれば、前述した各実施形態と同様の効果を得ることができる。さらに、図14に示すような静止画の場合、その文字画像については例えばMMR符号化により高い圧縮率で符号化され符号長も短いという特徴がある。従って、文字部を結合した図14(b)に示される画像を一つのオブジェクトとして扱えば、図14に示されるような静止画においても上記と同様の効果を得ることができる。
【００９５】
【第４実施形態】
MPEG符号化などにおいては、フレーム内符号化を行うフレームと、フレーム間相関を用いて符号化するフレームがある。フレーム内符号化を行うフレームは、同期の確保やDCT誤差の蓄積を防ぐために挿入されるものである。第4実施形態は、このフレーム内符号化を行うフレームのタイミングで結合するオブジェクトの見直しを行うものである。
【００９６】
図22は第4実施形態にかかるオブジェクト結合器43の構成例を示すブロック図である。図10に示す構成と同じ機能を果たす構成には同一符号を付し、その詳細な説明を省略する。
【００９７】
ヘッダ解析器301は、各フレームのヘッダを解析する。距離比較器302は、その動作は図10に示す距離比較器68とほぼ同じである。処理に先立ち、第1実施形態と同様にオブジェクト数sおよびオブジェクト復号器の数dが入力されs≦dであれば、端子61に入力される符号はそのまま端子76から出力される。
【００９８】
一方、s>dの場合は、端子61から入力されコードメモリ64に格納された1フレーム分のコードデータのヘッダがヘッダ解析器301に入力される。フレームの属性が記述されているヘッダには、フレーム間相関を使用して符号化されたフレームか否かを示す情報が記述されている。例えば、MPEG符号においては、フレーム間相関を用いずそのフレーム内で符号化（Intra符号化）されるIフレーム、並びに、動き補償を用い、フレーム間相関により符号化されるPフレームおよびBフレームが存在する。
【００９９】
ヘッダの解析結果により、フレーム間相関を用いずに符号化されているフレームが検出された場合、本実施形態は次のように動作する。コードメモリ64からコードデータが読出され、位置符号抽出器65により各オブジェクトのSCコードに続くLocコードが抽出され、復号されたLocコードは位置情報メモリ66に格納される。オブジェクト距離算出器67は各オブジェクト間の距離を求め、距離比較器302は得られたオブジェクト間距離により距離が短い方から順にオブジェクトを選択する。なお、選択の手順は第1実施形態と同様である。選択されたオブジェクトを示す情報は距離比較器302に保持される。
【０１００】
距離比較器302が保持する選択されたオブジェクトの情報は、ヘッダ解析器301から新たな指示があった場合、つまり、フレーム間相関を用いずに符号化されているフレームが新たに検出された場合に限り更新される。
【０１０１】
一方、フレーム間相関を用いて符号化されたフレームの場合は、距離比較器302に保持されている選択されたオブジェクトの情報に従い、第1実施形態と同様にオブジェクトの結合が行われ、オブジェクトが結合された符号が端子76から出力される。
【０１０２】
このように、本実施形態によれば、フレーム内符号化されたフレームの復号タイミングにおいて結合されるオブジェクトを見直すことにより、オブジェクトの結合による符号化効率の変化を抑制することができる。勿論、フレーム内符号化されたフレームではなくても、シーンチェンジが起こればフレーム間相関を用いて符号化されたオブジェクトであっても、結合されるオブジェクトの見直しを行うことは可能である。シーンチェンジについては、例えばPフレームにおいてIntra符号化するマクロブロックの数が多い場合、Bフレームにおいて動きベクトルの参照フレームが前後の何れか一方のフレームに大きく依存している場合などを、シーンチェンジとして検出すればよい。
【０１０３】
第4実施形態によれば、第1実施形態と同様、フレーム内符号化されたフレームで結合されるオブジェクトを見直すことにより、オブジェクトの結合による符号化効率の変化を抑制することができる。
【０１０４】
【変形例】
図23に示すように、図16に示した第2実施形態の構成に、第4実施形態で説明したヘッダ解析器401を追加することもできる。すなわち、フレームのヘッダを解析した結果、フレーム間相関を用いず符号化されたフレームの場合は、第2実施形態と同様に、判定器402はオブジェクト距離算出器67から出力されるオブジェクト間距離およびオブジェクト動き算出器115から出力されるオブジェクトの動きから結合するオブジェクトを決定する。結合されるオブジェクトの情報は判定器402に保持され、ヘッダ解析器401から指示があった場合のみ、その保持内容が更新される。
【０１０５】
図24に示すように、図19に示した第3実施形態の構成に、第4実施形態で説明したヘッダ解析器501を追加することもできる。すなわち、フレームのヘッダを解析した結果、フレーム間相関を用いず符号化されたフレームの場合は、第3実施形態と同様に、符号長比較器502は各オブジェクトの符号長から結合するオブジェクトを決定する。結合されるオブジェクトの情報は符号長比較器502に保持され、ヘッダ解析器501から指示があった場合のみ、その保持内容が更新される。
【０１０６】
図23および24に示す構成によれば、第4実施形態と同様に、フレーム内符号化されたフレームの復号タイミングにおいて結合されるオブジェクトが見直されることにより、オブジェクトの結合による符号化効率の変化を抑制することができる。
【０１０７】
さらに、MPEG4においては、サウンドのオブジェクト化も検討されており、サウンドオブジェクトの音源間の距離をオブジェクト間距離とすれば第1実施形態の方式が、音源の移動をオブジェクトの動きとすれば第2実施形態の方式が、各オブジェクトの符号長をみれば第3実施形態の方式が適用可能であり、上述した各実施形態は音声を含むサウンドの符号化にも適用可能である。
【０１０８】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【０１０９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１０】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１１】
【発明の効果】
以上説明したように、本発明によれば、復号器の数が限られ、符号に含まれるオブジェクトの数が復号器の数より多い場合でもすべてのオブジェクトを復号することができる。
【０１１２】
また、復号器の数が限られ、符号に含まれるオブジェクトの数が復号器の数より多ている場合でも符号化された静止画や動画を画質を劣化させずに復号することができる。
【図面の簡単な説明】
【図１】 MPEG4の対象になる画像例を示す図、
【図２】図1のオブジェクトを説明するための図、
【図３】オブジェクト単位の符号化の概要を示す図、
【図４】オブジェクト単位に符号化された画像の復号の概要を示す図、
【図５】オブジェクト単位に符号化された画像の復号の概要を示す図、
【図６】オブジェクトが脱落した復号画像を示す図、
【図７】本発明にかかる復号装置の構成例を示すブロック図、
【図８】 1フレームのコードデータの例を示す図、
【図９】合成されたコードデータを示す図、
【図１０】オブジェクト結合器の構成例を示すブロック図、
【図１１】オブジェクトの結合の様子を示す図、
【図１２】動き補償が行われる1フレームのコードデータの一例を示す図、
【図１３】合成されたコードデータを示す図、
【図１４】静止画像のオブジェクトとその結合の様子を示す図、
【図１５】動画像の1フレームを示す図、
【図１６】第2実施形態にかかるオブジェクト結合器の構成例を示すブロック図、
【図１７】オブジェクトの結合の様子を示す図、
【図１８】結合されたオブジェクトを含むコードデータの一例を示す図。
【図１９】第3実施形態にかかるオブジェクト結合器の構成例を示すブロック図、
【図２０】入力されるコードデータの一例を示す図、
【図２１】処理後のコードデータの一例を示す図、
【図２２】第4実施形態にかかるオブジェクト結合器の構成例を示すブロック図、
【図２３】オブジェクト結合器の変形例を示すブロック図、
【図２４】オブジェクト結合器の第二の変形例を示すブロック図である。
Claims (13)
- オブジェクト単位に符号化された符号を多重化した多重化符号を復号する復号装置であって、
入力された多重化符号に含まれるオブジェクト数および復号可能なオブジェクト数を検出する検出手段と、
前記多重化符号に含まれるオブジェクト数が前記復号可能なオブジェクト数よりも多い場合、前記多重化符号に含まれる複数のオブジェクトの符号を結合して、前記多重化符号に含まれるオブジェクト数を前記復号可能なオブジェクト数にする結合手段とを有することを特徴とする復号装置。 - さらに、前記多重化符号に含まれるオブジェクトの位置情報を抽出する抽出手段を有し、前記結合手段は、前記位置情報に基づき、オブジェクト間の距離が短い方から順に複数のオブジェクトの符号を結合することを特徴とする請求項1に記載された復号装置。
- さらに、前記多重化符号に含まれるオブジェクトの動きベクトルを抽出する抽出手段を有し、前記結合手段は、前記動きベクトルの差分が閾値以下の複数のオブジェクトの符号を結合することを特徴とする請求項1に記載された復号装置。
- さらに、前記多重化符号に含まれるオブジェクトの符号長を抽出する抽出手段を有し、前記結合手段は、前記符号長が小さい順に複数のオブジェクトの符号を結合することを特徴とする請求項1に記載された復号装置。
- さらに、前記多重化符号のフレーム単位の符号化方法を判定する判定手段を有し、前記結合手段は、フレーム内符号化された符号の場合、前記結合すべきオブジェクトの符号を見直すことを特徴とする請求項2 から請求項 4 の何れかに記載された復号装置。
- 前記多重化符号は静止画像の符号であることを特徴とする請求項1から請求項4の何れかに記載された復号装置。
- 前記多重化符号は動画像の符号であることを特徴とする請求項1から請求項5の何れかに記載された復号装置。
- オブジェクト単位に符号化された符号を多重化した多重化符号を復号する復号方法であって、
入力された多重化符号に含まれるオブジェクト数および復号可能なオブジェクト数を検出する検出ステップと、
前記多重化符号に含まれるオブジェクト数が前記復号可能なオブジェクト数よりも多い場合、前記多重化符号に含まれる複数のオブジェクトの符号を結合して、前記多重化符号に含まれるオブジェクト数を前記復号可能なオブジェクト数にする結合ステップとを有することを特徴とする復号方法。 - さらに、前記多重化符号に含まれるオブジェクトの位置情報を抽出する抽出ステップを有し、前記結合ステップは、前記位置情報に基づき、オブジェクト間の距離が短い方から複数のオブジェクトの符号を結合することを特徴とする請求項8に記載された復号方法。
- さらに、前記多重化符号に含まれるオブジェクトの動きを抽出する抽出ステップを有し、前記結合ステップは、前記動きベクトルの差分が閾値以下の複数のオブジェクトの符号を結合することを特徴とする請求項8に記載された復号方法。
- さらに、前記多重化符号に含まれるオブジェクトの符号長を抽出する抽出ステップを有し、
前記結合ステップは、前記の符号長の小さい順に複数のオブジェクトの符号を結合することを特徴とする請求項8に記載された復号方法。 - さらに、前記多重化符号のフレーム単位の符号化方法を判定する判定ステップを有し、前記結合ステップは、フレーム内符号化された符号の場合、前記結合すべきオブジェクトの符号を見直すことを特徴とする請求項9 から請求項 11 の何れかに記載された復号方法。
- 請求項8から請求項12の何れかに記載された復号処理のプログラムコードが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11873798A JP3854717B2 (ja) | 1998-04-28 | 1998-04-28 | 復号装置およびその方法 |
| US09/298,951 US6512793B1 (en) | 1998-04-28 | 1999-04-26 | Data processing apparatus and method |
| EP99303221A EP0954181B1 (en) | 1998-04-28 | 1999-04-26 | Data processing apparatus and method |
| DE69937816T DE69937816T2 (de) | 1998-04-28 | 1999-04-26 | Datenverarbeitungsgerät und Verfahren |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11873798A JP3854717B2 (ja) | 1998-04-28 | 1998-04-28 | 復号装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11313319A JPH11313319A (ja) | 1999-11-09 |
| JP3854717B2 true JP3854717B2 (ja) | 2006-12-06 |
Family
ID=14743832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11873798A Expired - Fee Related JP3854717B2 (ja) | 1998-04-28 | 1998-04-28 | 復号装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3854717B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001093591A1 (en) * | 2000-05-29 | 2001-12-06 | Sony Corporation | Image processing apparatus and method, communication apparatus, communication system and method, and recorded medium |
| JP4494866B2 (ja) * | 2004-05-21 | 2010-06-30 | 株式会社リコー | 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体 |
-
1998
- 1998-04-28 JP JP11873798A patent/JP3854717B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11313319A (ja) | 1999-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6512793B1 (en) | Data processing apparatus and method | |
| JP4261630B2 (ja) | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 | |
| KR101610419B1 (ko) | 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체 | |
| JP3552811B2 (ja) | ディジタル映像信号符号化装置および復号化装置 | |
| KR20110086843A (ko) | Ｇｐｕ 가속을 갖는 소프트웨어 비디오 트랜스코더 | |
| US20020057739A1 (en) | Method and apparatus for encoding video | |
| US8165217B2 (en) | Image decoding apparatus and method for decoding prediction encoded image data | |
| KR101323732B1 (ko) | 영상 부호화장치 및 방법과 그 복호화장치 및 방법 | |
| JP2000152234A (ja) | データ処理装置及びその方法、及びデータ処理システム | |
| JP5256496B2 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
| KR20100018093A (ko) | 복호 장치 및 방법, 그리고 기록 매체 | |
| JP3893350B2 (ja) | 符号化データ変換装置及びその方法 | |
| JP3854717B2 (ja) | 復号装置およびその方法 | |
| US20080181314A1 (en) | Image coding apparatus and image coding method | |
| JP3854721B2 (ja) | 画像処理装置及びその方法 | |
| JP2009253581A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP3897499B2 (ja) | 符号化装置及び符号化方法 | |
| JP2001218206A (ja) | 画像符号化装置及び方法、媒体 | |
| JPH07264594A (ja) | 動画像の動き補償予測符号化方法 | |
| JP2002112183A (ja) | Ｍｐｅｇ画像データ記録方法 | |
| JP2005175943A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び記録媒体 | |
| JP2002199395A (ja) | 画像処理方法及び画像処理装置 | |
| JPH07250329A (ja) | 画像合成符号化方法及び画像合成装置 | |
| JP2000333164A (ja) | 符号化装置、復号装置、画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 | |
| JP2003264838A (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060407 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060602 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060825 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060911 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |