JP3263582B2 - 符号化／復号化装置 - Google Patents
符号化／復号化装置Info
- Publication number
- JP3263582B2 JP3263582B2 JP31066795A JP31066795A JP3263582B2 JP 3263582 B2 JP3263582 B2 JP 3263582B2 JP 31066795 A JP31066795 A JP 31066795A JP 31066795 A JP31066795 A JP 31066795A JP 3263582 B2 JP3263582 B2 JP 3263582B2
- Authority
- JP
- Japan
- Prior art keywords
- tool
- decoding
- encoding
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Facsimile Transmission Control (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、例えば次世代画像
符号化方式（ＭＰＥＧ４等）の様に、アルゴリズム内に
多種多様な符号化／復号ツールが存在する場合におい
て、送信側と受信側とで能力の違う符号化／復号化装置
間の通信を行う際の符号化／復号技術に係り、特に階層
型符号化／復号ツールにおけるツール情報と符号化情報
の同時伝送を可能とした符号化／復号化装置に関するも
のである。
符号化方式（ＭＰＥＧ４等）の様に、アルゴリズム内に
多種多様な符号化／復号ツールが存在する場合におい
て、送信側と受信側とで能力の違う符号化／復号化装置
間の通信を行う際の符号化／復号技術に係り、特に階層
型符号化／復号ツールにおけるツール情報と符号化情報
の同時伝送を可能とした符号化／復号化装置に関するも
のである。
【０００２】
【従来の技術】近年ＩＳＤＮ（Integrated Services Di
gital Network:サービス総合ディジタル網）の普及によ
り新しい通信サービスとして画像通信サービスが実現さ
れている。テレビ電話やテレビ会議システム等がその例
である。また、ＰＨＳやＦＰＬＭＴＳに代表される無線
伝送網の発展に伴い、更なるサービスの高度化、多様
化、可搬化への要求が急速に高まっている。一般にテレ
ビ電話やテレビ会議システムのように、画像情報を伝送
する場合においては、画像の情報量が膨大なのに対し
て、伝送に用いる回線の回線速度やコストの点から、伝
送する画像の情報量を圧縮符号化し、情報量を少なくし
て伝送することが必要となってくる。
gital Network:サービス総合ディジタル網）の普及によ
り新しい通信サービスとして画像通信サービスが実現さ
れている。テレビ電話やテレビ会議システム等がその例
である。また、ＰＨＳやＦＰＬＭＴＳに代表される無線
伝送網の発展に伴い、更なるサービスの高度化、多様
化、可搬化への要求が急速に高まっている。一般にテレ
ビ電話やテレビ会議システムのように、画像情報を伝送
する場合においては、画像の情報量が膨大なのに対し
て、伝送に用いる回線の回線速度やコストの点から、伝
送する画像の情報量を圧縮符号化し、情報量を少なくし
て伝送することが必要となってくる。
【０００３】画像情報を圧縮する符号化方式としては静
止画像符号化方式としてＪＰＥＧ（Joint Photographic
Coding Experts Group）、動画像符号化方式として
Ｈ．２６１、蓄積用動画像符号化方式としてＭＰＥＧ１
（Moving Picture Coding Expert Group １）、ＭＰＥ
Ｇ２がすでに国際標準化されている。さらに６４ｋｂｐ
ｓ以下の超低ビットレートでの符号化方式としてＭＰＥ
Ｇ４の標準化活動が進められている。ＭＰＥＧ４では、
多種多様なアプリケーションに柔軟に対応でき、かつ各
アプリケーションに対して最適な方式で符号化できるた
めに、既存のＪＰＥＧ、Ｈ．２６１、ＭＰＥＧ１、ＭＰ
ＥＧ２符号化方式のようにアルゴリズムに従って符号化
を行う方式ではなく、符号器の各ツール（変換器、量子
化器、逆変換器、逆量子化器等）を多数用意して、それ
らの適当な組み合わせによって符号化を行う方式である
ことが必要である。また、近年パソコン通信等で上述の
ＪＰＥＧやＭＰＥＧ１の各ツールをダウンロードして、
画像を受信して復号化することが可能となっているた
め、これからの映像通信において、復号並びに符号化の
各ツールをダウンロードして、通信を行うことが容易に
推測される。
止画像符号化方式としてＪＰＥＧ（Joint Photographic
Coding Experts Group）、動画像符号化方式として
Ｈ．２６１、蓄積用動画像符号化方式としてＭＰＥＧ１
（Moving Picture Coding Expert Group １）、ＭＰＥ
Ｇ２がすでに国際標準化されている。さらに６４ｋｂｐ
ｓ以下の超低ビットレートでの符号化方式としてＭＰＥ
Ｇ４の標準化活動が進められている。ＭＰＥＧ４では、
多種多様なアプリケーションに柔軟に対応でき、かつ各
アプリケーションに対して最適な方式で符号化できるた
めに、既存のＪＰＥＧ、Ｈ．２６１、ＭＰＥＧ１、ＭＰ
ＥＧ２符号化方式のようにアルゴリズムに従って符号化
を行う方式ではなく、符号器の各ツール（変換器、量子
化器、逆変換器、逆量子化器等）を多数用意して、それ
らの適当な組み合わせによって符号化を行う方式である
ことが必要である。また、近年パソコン通信等で上述の
ＪＰＥＧやＭＰＥＧ１の各ツールをダウンロードして、
画像を受信して復号化することが可能となっているた
め、これからの映像通信において、復号並びに符号化の
各ツールをダウンロードして、通信を行うことが容易に
推測される。
【０００４】図４（ａ）は、Ｈ．２６１で符号化した符
号化出力情報のデータ列であり、図４（ｂ）は、アルゴ
リズムがフレキシブルな符号化方式で符号化した符号化
出力情報のデータ列である。図４（ｂ）の場合、符号器
の各ツールの組み合わせが自由選択可能であるため、ど
のツールを使用して符号化を行ったかというツールに関
する情報を符号化出力情報と合わせて送信する必要があ
る。この図で、動き補償ツールＡ１０１、逆変換ツール
Ｂ１０３、動き補償ツールＣ１０５、逆変換ツールＤ１
０７、量子化ツールＥ１０９がツール情報でそれに続く
動きベクトル情報１０２、変換係数１０４、動きベクト
ル情報１０６、変換係数１０８、量子化ステップ１１０
が処理されたデータである。これらの符号化アルゴリズ
ムを実現するための構成を考えると専用のハードウェア
やソフトウェアを実装することにより実現する方法と、
汎用演算器で適当なソフトウェアを実行することにより
実現する方法とが考えられる。
号化出力情報のデータ列であり、図４（ｂ）は、アルゴ
リズムがフレキシブルな符号化方式で符号化した符号化
出力情報のデータ列である。図４（ｂ）の場合、符号器
の各ツールの組み合わせが自由選択可能であるため、ど
のツールを使用して符号化を行ったかというツールに関
する情報を符号化出力情報と合わせて送信する必要があ
る。この図で、動き補償ツールＡ１０１、逆変換ツール
Ｂ１０３、動き補償ツールＣ１０５、逆変換ツールＤ１
０７、量子化ツールＥ１０９がツール情報でそれに続く
動きベクトル情報１０２、変換係数１０４、動きベクト
ル情報１０６、変換係数１０８、量子化ステップ１１０
が処理されたデータである。これらの符号化アルゴリズ
ムを実現するための構成を考えると専用のハードウェア
やソフトウェアを実装することにより実現する方法と、
汎用演算器で適当なソフトウェアを実行することにより
実現する方法とが考えられる。
【０００５】図５は、Ｈ．２６１に従う符号器のブロッ
ク図であり、１１１は符号化制御を行う符号化制御部、
１１２はＤＣＴ変換を行う変換部、１１３は変換部１１
２で変換された係数の量子化を行う量子化部、１１４は
量子化部１１３で量子化された係数の逆量子化を行う逆
量子化部、１１５は逆ＤＣＴ変換を行う逆変換部であ
る。また、１１６は動き補償フレーム間予測の際に用い
る動き補償用可変遅延機能をもつメモリであり、１１７
はマクロブロックごとにｏｎ／ｏｆｆできるループ内フ
ィルタである。このアルゴリズムを専用のハードウェア
およびソフトウェアで実現する場合、各ツールである符
号化制御部１１１、変換部１１２、量子化部１１３、逆
量子化部１１４、逆変換部１１５、動き補償用遅延機能
を持つメモリ１１６、ループフィルタ１１７をそれぞれ
専用のハードウェアおよびソフトウェアで持つことにな
る。
ク図であり、１１１は符号化制御を行う符号化制御部、
１１２はＤＣＴ変換を行う変換部、１１３は変換部１１
２で変換された係数の量子化を行う量子化部、１１４は
量子化部１１３で量子化された係数の逆量子化を行う逆
量子化部、１１５は逆ＤＣＴ変換を行う逆変換部であ
る。また、１１６は動き補償フレーム間予測の際に用い
る動き補償用可変遅延機能をもつメモリであり、１１７
はマクロブロックごとにｏｎ／ｏｆｆできるループ内フ
ィルタである。このアルゴリズムを専用のハードウェア
およびソフトウェアで実現する場合、各ツールである符
号化制御部１１１、変換部１１２、量子化部１１３、逆
量子化部１１４、逆変換部１１５、動き補償用遅延機能
を持つメモリ１１６、ループフィルタ１１７をそれぞれ
専用のハードウェアおよびソフトウェアで持つことにな
る。
【０００６】Ｈ．２６１の復号器は符号器に含まれる
が、図６にそのＨ．２６１復号器を示す。復号器は逆量
子化部１１４、逆変換部１１５、（動き補償用可変遅延
機能をもつ）メモリ１１６、ループ内フィルタ１１７で
構成される。符号化されたデータは、逆量子化部１１４
で逆量子化され、逆変換部１１５で逆ＤＣＴ変換されて
復号される。（メモリ１１６およびループ内フィルタ１
１７は動き補償予測符号化データを復号する場合に使用
する。） ＪＰＥＧ、Ｈ．２６１、ＭＰＥＧ１、ＭＰＥＧ２等の一
定のアルゴリズムで符号化を行う方式で数種類のアルゴ
リズムを処理させようとすると、それぞれのアルゴリズ
ムを実現するハードウェアおよびソフトウェアが必要と
なる。一つの端末で、例えばＨ．２６１で動画像を、Ｊ
ＰＥＧで静止画像を符号化する場合、図７のような構成
になる。図７の１２０はＨ．２６１符号器、１２１はＪ
ＰＥＧ符号器である。
が、図６にそのＨ．２６１復号器を示す。復号器は逆量
子化部１１４、逆変換部１１５、（動き補償用可変遅延
機能をもつ）メモリ１１６、ループ内フィルタ１１７で
構成される。符号化されたデータは、逆量子化部１１４
で逆量子化され、逆変換部１１５で逆ＤＣＴ変換されて
復号される。（メモリ１１６およびループ内フィルタ１
１７は動き補償予測符号化データを復号する場合に使用
する。） ＪＰＥＧ、Ｈ．２６１、ＭＰＥＧ１、ＭＰＥＧ２等の一
定のアルゴリズムで符号化を行う方式で数種類のアルゴ
リズムを処理させようとすると、それぞれのアルゴリズ
ムを実現するハードウェアおよびソフトウェアが必要と
なる。一つの端末で、例えばＨ．２６１で動画像を、Ｊ
ＰＥＧで静止画像を符号化する場合、図７のような構成
になる。図７の１２０はＨ．２６１符号器、１２１はＪ
ＰＥＧ符号器である。
【０００７】同様に、専用のハードウェアおよびソフト
ウェアで図４（ｂ）のフレキシブルな符号化アルゴリズ
ムを実現させると、Ｈ．２６１での変換部、量子化部、
逆量子化部、逆変換部の各ツールが数種類あることにな
り、図５の１１８の部分が図８に示す構成となる。復号
器の構成は、図６の１１９の部分が図８の１２２の構成
になる。動作としては、図４（ｂ）に示す動き補償ツー
ルＡ１０１、逆変換ツールＢ１０３、動き補償ツールＣ
１０５、逆変換ツールＤ１０７、量子化ツールＥ１０９
等のツール情報は制御部１２０へ、その後に続くデータ
である動きベクトル情報１０２、変換係数１０４、動き
ベクトル情報１０６、変換係数１０８はそれぞれの各ツ
ールへ送信される。制御部１２３では、それぞれのツー
ル情報からどのツールを使用するかの選択制御を行い、
各データは制御部１２３で選択されたツールで処理され
復号されることになる。
ウェアで図４（ｂ）のフレキシブルな符号化アルゴリズ
ムを実現させると、Ｈ．２６１での変換部、量子化部、
逆量子化部、逆変換部の各ツールが数種類あることにな
り、図５の１１８の部分が図８に示す構成となる。復号
器の構成は、図６の１１９の部分が図８の１２２の構成
になる。動作としては、図４（ｂ）に示す動き補償ツー
ルＡ１０１、逆変換ツールＢ１０３、動き補償ツールＣ
１０５、逆変換ツールＤ１０７、量子化ツールＥ１０９
等のツール情報は制御部１２０へ、その後に続くデータ
である動きベクトル情報１０２、変換係数１０４、動き
ベクトル情報１０６、変換係数１０８はそれぞれの各ツ
ールへ送信される。制御部１２３では、それぞれのツー
ル情報からどのツールを使用するかの選択制御を行い、
各データは制御部１２３で選択されたツールで処理され
復号されることになる。
【０００８】次に、図４（ｂ）を、汎用演算処理部とコ
ンパイラで復号する場合を図９を用いて説明する。図４
（ｂ）に示す動き補償ツールＡ１０１、逆変換ツールＢ
１０３、動き補償ツールＣ１０５、変換ツールＤ１０
７、量子化ツールＥ１０９等のツール情報はコンパイラ
１２５へ送信され、その後に続く各データである動きベ
クトル情報１０２、変換係数１０４、動きベクトル情報
１０６、変換係数１０８、量子化ステップ１１０は、汎
用演算部処理部１２４へ送信される。コンパイラ１２５
では汎用演算処理部１２４のための処理プログラムを生
成し、次に送信されてくるデータを汎用演算処理部１２
４にて処理を行い復号されることになる。
ンパイラで復号する場合を図９を用いて説明する。図４
（ｂ）に示す動き補償ツールＡ１０１、逆変換ツールＢ
１０３、動き補償ツールＣ１０５、変換ツールＤ１０
７、量子化ツールＥ１０９等のツール情報はコンパイラ
１２５へ送信され、その後に続く各データである動きベ
クトル情報１０２、変換係数１０４、動きベクトル情報
１０６、変換係数１０８、量子化ステップ１１０は、汎
用演算部処理部１２４へ送信される。コンパイラ１２５
では汎用演算処理部１２４のための処理プログラムを生
成し、次に送信されてくるデータを汎用演算処理部１２
４にて処理を行い復号されることになる。
【０００９】
【発明が解決しようとする課題】上述の従来の方式の符
号化／復号化装置は、符号化／復号のアルゴリズムが限
定されたものでしか通信が行えない。しかし、次世代画
像符号化方式（ＭＰＥＧ４等）の様に、多種多様なアプ
リケーションに柔軟に対応でき、かつ各アプリケーショ
ンに対して最適な方式で符号化される場合において、Ｊ
ＰＥＧ、Ｈ．２６１、ＭＰＥＧ１、ＭＰＥＧ２等の一定
のアルゴリズムで符号化を行う方式で、数種類のアルゴ
リズムの処理をさせようとすると、それぞれのアルゴリ
ズムを実現するハードウェア／ソフトウェアが必要とな
る。この様に、送信側にも受信側にも多種多様なアルゴ
リズムを全て保持すれば良いと考えられるが、全てのア
ルゴリズムに対応するツールを揃えると、膨大なハード
ウェアおよびソフトウェアの量となり、コスト的にも高
く、装置も大きくせざるを得なくなると考えられる。そ
して、コストを抑えたり、装置を縮小化して、能力を揃
えていない装置は通信不可能となる可能性が高くなる。
号化／復号化装置は、符号化／復号のアルゴリズムが限
定されたものでしか通信が行えない。しかし、次世代画
像符号化方式（ＭＰＥＧ４等）の様に、多種多様なアプ
リケーションに柔軟に対応でき、かつ各アプリケーショ
ンに対して最適な方式で符号化される場合において、Ｊ
ＰＥＧ、Ｈ．２６１、ＭＰＥＧ１、ＭＰＥＧ２等の一定
のアルゴリズムで符号化を行う方式で、数種類のアルゴ
リズムの処理をさせようとすると、それぞれのアルゴリ
ズムを実現するハードウェア／ソフトウェアが必要とな
る。この様に、送信側にも受信側にも多種多様なアルゴ
リズムを全て保持すれば良いと考えられるが、全てのア
ルゴリズムに対応するツールを揃えると、膨大なハード
ウェアおよびソフトウェアの量となり、コスト的にも高
く、装置も大きくせざるを得なくなると考えられる。そ
して、コストを抑えたり、装置を縮小化して、能力を揃
えていない装置は通信不可能となる可能性が高くなる。
【００１０】また、上記の能力を揃えていない符号化／
復号化装置は、受信側にアルゴリズムを構成するツール
をダウンロードして、多種多様なアプリケーションに柔
軟に対応させ復号を可能とすることが考えられるが、こ
のアルゴリズムを構成するツールをダウンロードし、前
回使用したツールを保存できるような符号化／復号化装
置において、保存したツールが、次回通信時に要求のツ
ールではない場合、符号化情報の伝送に先駆けて、再度
ツールをダウンロードしなければならず、このため符号
化情報を復号するまでの伝送開始遅延が大きくなる。
復号化装置は、受信側にアルゴリズムを構成するツール
をダウンロードして、多種多様なアプリケーションに柔
軟に対応させ復号を可能とすることが考えられるが、こ
のアルゴリズムを構成するツールをダウンロードし、前
回使用したツールを保存できるような符号化／復号化装
置において、保存したツールが、次回通信時に要求のツ
ールではない場合、符号化情報の伝送に先駆けて、再度
ツールをダウンロードしなければならず、このため符号
化情報を復号するまでの伝送開始遅延が大きくなる。
【００１１】また、上記の前回使用したツールを保存で
きるような符号化／復号化装置において、より高品質で
あるものを下位階層のツールとし、別のツールでは補え
ない最低限の品質であるツールを上位階層として、上位
互換性を持たせるような符号化／復号ツールが階層化さ
れている場合、能力の違う符号化／復号化装置間でも、
最低限のツールでの復号が可能となり、ツール情報のダ
ウンロードによる伝送開始遅延がなくなるが、要求の品
質での復号を行うことができない。この場合でも、要求
の品質のツールで復号しようとすると、要求の品質での
ツールを予めダウンロードする必要があり、ツールが階
層化されていない場合と同様に、符号化情報を復号する
までの伝送開始遅延が大きくなり、ツールを階層化した
特徴が失われる。本発明は、上記問題点に鑑みてなした
ものであり、これら問題点を解消した符号化／復号化装
置を提供するものである。
きるような符号化／復号化装置において、より高品質で
あるものを下位階層のツールとし、別のツールでは補え
ない最低限の品質であるツールを上位階層として、上位
互換性を持たせるような符号化／復号ツールが階層化さ
れている場合、能力の違う符号化／復号化装置間でも、
最低限のツールでの復号が可能となり、ツール情報のダ
ウンロードによる伝送開始遅延がなくなるが、要求の品
質での復号を行うことができない。この場合でも、要求
の品質のツールで復号しようとすると、要求の品質での
ツールを予めダウンロードする必要があり、ツールが階
層化されていない場合と同様に、符号化情報を復号する
までの伝送開始遅延が大きくなり、ツールを階層化した
特徴が失われる。本発明は、上記問題点に鑑みてなした
ものであり、これら問題点を解消した符号化／復号化装
置を提供するものである。
【００１２】
【課題を解決するための手段】本発明は上述の課題を解
決するために、請求項１の発明においては、符号化装置
側から復号化装置へ符号化情報を送信する前に、その情
報を復号する手段であるアルゴリズムを構成するツール
を送信し、復号化装置側でそのツールをアルゴリズムと
して再構成し、それを用いて受信した符号化情報の復号
を行い、その後そのツールを保存して、再び同じツール
で符号化された符号化情報を受信した場合、既に保存し
てあるツールを使用して復号を行うとともに、ある階層
のツールの代わりに、それより上位のツールを使用して
も最低限の品質を保証できるように、ツールを階層的に
定義した符号化／復号化装置において、送信側の符号化
装置において、受信側の復号化装置に送信側の要求する
復号ツールが存在しない場合、復号ツール情報と符号化
情報を同時に送信するものである。また、請求項２の発
明においては、送信側の符号化装置において、受信側の
復号化装置に送信側の要求する復号ツールが存在しない
場合、受信側に存在する復号ツールに対応した符号化ツ
ールで、一時的に符号化方式を変更して符号化するもの
である。さらに、請求項３の発明においては、受信側の
復号化装置において、送信側の符号化装置より要求され
る復号ツールが存在しない場合、一時的に品質は低下す
るが復号可能な上位のツールで代用して、符号化情報を
復号しながら、同時に送信側から送られてくる復号ツー
ル情報をダウンロードして要求の復号ツールを構築する
ものである。また、請求項４の発明においては、上記要
求の復号ツールの構築が完了した後、要求の復号ツール
での復号を開始するものである。
決するために、請求項１の発明においては、符号化装置
側から復号化装置へ符号化情報を送信する前に、その情
報を復号する手段であるアルゴリズムを構成するツール
を送信し、復号化装置側でそのツールをアルゴリズムと
して再構成し、それを用いて受信した符号化情報の復号
を行い、その後そのツールを保存して、再び同じツール
で符号化された符号化情報を受信した場合、既に保存し
てあるツールを使用して復号を行うとともに、ある階層
のツールの代わりに、それより上位のツールを使用して
も最低限の品質を保証できるように、ツールを階層的に
定義した符号化／復号化装置において、送信側の符号化
装置において、受信側の復号化装置に送信側の要求する
復号ツールが存在しない場合、復号ツール情報と符号化
情報を同時に送信するものである。また、請求項２の発
明においては、送信側の符号化装置において、受信側の
復号化装置に送信側の要求する復号ツールが存在しない
場合、受信側に存在する復号ツールに対応した符号化ツ
ールで、一時的に符号化方式を変更して符号化するもの
である。さらに、請求項３の発明においては、受信側の
復号化装置において、送信側の符号化装置より要求され
る復号ツールが存在しない場合、一時的に品質は低下す
るが復号可能な上位のツールで代用して、符号化情報を
復号しながら、同時に送信側から送られてくる復号ツー
ル情報をダウンロードして要求の復号ツールを構築する
ものである。また、請求項４の発明においては、上記要
求の復号ツールの構築が完了した後、要求の復号ツール
での復号を開始するものである。
【００１３】上記符号化／復号装置において、送信側あ
るいは受信側は、受信側に要求の品質のツールが初回通
信時に存在していなくとも、要求よりも品質は低下する
が代用できるツールを使用して符号化あるいは復号を開
始し、送信側は要求のツールをこの符号化情報と同時に
受信側に送信する。受信側は要求よりも品質が低下する
が代用できるツールを使用して符号化情報の復号をしな
がら、要求のツールをダウンロードして準備を整え、要
求の復号ツールの構築が完了した後、要求した高品質で
の画像通信を開始する。
るいは受信側は、受信側に要求の品質のツールが初回通
信時に存在していなくとも、要求よりも品質は低下する
が代用できるツールを使用して符号化あるいは復号を開
始し、送信側は要求のツールをこの符号化情報と同時に
受信側に送信する。受信側は要求よりも品質が低下する
が代用できるツールを使用して符号化情報の復号をしな
がら、要求のツールをダウンロードして準備を整え、要
求の復号ツールの構築が完了した後、要求した高品質で
の画像通信を開始する。
【００１４】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。説明のため、具体的な階層
型の符号化／復号化ツールであるフレーム間予測符号化
／復号化方式を例にとり、上位側より１画素単位サンプ
リング方式、1/2画素単位サンプリング方式、1/4画素単
位サンプリング方式として説明する。図１は本発明の実
施の形態の一例のシステム構成を示したもので、１、２
が符号化／復号化装置、３が通信網である。符号化／復
号化装置１は、映像入力部１１、スイッチ１２、変換部
１３、量子化部１４、フレーム間予測符号化部１５、送
信部１６、ツール情報送受信部１７、ツール情報及びダ
ウンロード制御部１８からなり、符号化／復号化装置２
は、映像出力部２１、スイッチ２２、逆変換部２３、逆
量子化部２４、フレーム間予測復号化部２５、受信部２
６、ツール情報送受信部２７、ツール情報及びダウンロ
ード制御部２８からなる。
施の形態を詳細に説明する。説明のため、具体的な階層
型の符号化／復号化ツールであるフレーム間予測符号化
／復号化方式を例にとり、上位側より１画素単位サンプ
リング方式、1/2画素単位サンプリング方式、1/4画素単
位サンプリング方式として説明する。図１は本発明の実
施の形態の一例のシステム構成を示したもので、１、２
が符号化／復号化装置、３が通信網である。符号化／復
号化装置１は、映像入力部１１、スイッチ１２、変換部
１３、量子化部１４、フレーム間予測符号化部１５、送
信部１６、ツール情報送受信部１７、ツール情報及びダ
ウンロード制御部１８からなり、符号化／復号化装置２
は、映像出力部２１、スイッチ２２、逆変換部２３、逆
量子化部２４、フレーム間予測復号化部２５、受信部２
６、ツール情報送受信部２７、ツール情報及びダウンロ
ード制御部２８からなる。
【００１５】以下、入力された映像が符号化／復号化装
置１から送信され、通信網３を経由して符号化／復号化
装置２で受信された後、出力される場合について説明す
る。この時の符号化／復号化装置１のフローチャートを
図２に示し、符号化／復号化装置２のフローチャートを
図３に示す。符号化／復号化装置１では、映像入力部１
１に映像が入力されると、数種のツールが装備されてい
る変換部１３、量子化部１４、フレーム間予測符号化部
１５で符号化が行われる。予め各ツールは、既に階層化
されており、別のツールで代用できるものを下位階層の
ツールとし、別のツールでは補えない最低限のツールを
上位階層としてある。本発明では、図１に示すとおり、
便宜的に上位側より下位側へ、ツールＡ、ツールＢ、ツ
ールＣとしている。また、本例では、図１に示すよう
に、フレーム間予測符号化に注目し、上位側より下位側
へ、１画素単位のサンプリングによるフレーム間予測符
号化（ツールＡ）、1/2画素単位のサンプリングによる
フレーム間予測符号化（ツールＢ）、1/4画素単位のサ
ンプリングによるフレーム間予測符号化（ツールＣ）と
している。このため、符号化／復号化装置１の送信する
符号化映像データの品質に合わせて、変換部１３、量子
化部１４、フレーム間予測符号化部１５の各ツールが、
スイッチ１２を通して決定される。本例の場合は、より
高品質なものは、1/4画素単位のサンプリングによるフ
レーム間予測符号化であり、より低品質なものは、１画
素単位のサンプリングによるフレーム間予測符号化であ
る。
置１から送信され、通信網３を経由して符号化／復号化
装置２で受信された後、出力される場合について説明す
る。この時の符号化／復号化装置１のフローチャートを
図２に示し、符号化／復号化装置２のフローチャートを
図３に示す。符号化／復号化装置１では、映像入力部１
１に映像が入力されると、数種のツールが装備されてい
る変換部１３、量子化部１４、フレーム間予測符号化部
１５で符号化が行われる。予め各ツールは、既に階層化
されており、別のツールで代用できるものを下位階層の
ツールとし、別のツールでは補えない最低限のツールを
上位階層としてある。本発明では、図１に示すとおり、
便宜的に上位側より下位側へ、ツールＡ、ツールＢ、ツ
ールＣとしている。また、本例では、図１に示すよう
に、フレーム間予測符号化に注目し、上位側より下位側
へ、１画素単位のサンプリングによるフレーム間予測符
号化（ツールＡ）、1/2画素単位のサンプリングによる
フレーム間予測符号化（ツールＢ）、1/4画素単位のサ
ンプリングによるフレーム間予測符号化（ツールＣ）と
している。このため、符号化／復号化装置１の送信する
符号化映像データの品質に合わせて、変換部１３、量子
化部１４、フレーム間予測符号化部１５の各ツールが、
スイッチ１２を通して決定される。本例の場合は、より
高品質なものは、1/4画素単位のサンプリングによるフ
レーム間予測符号化であり、より低品質なものは、１画
素単位のサンプリングによるフレーム間予測符号化であ
る。
【００１６】入力された映像は、本例によれば、スイッ
チ１２により、高品質のツールである各ツールＣを選択
し、特にフレーム間符号化方式では1/4画素単位のサン
プリングで符号化され、通信網３に送信される。そし
て、この符号化情報を符号化／復号化装置２で通信網３
より受信する。この際、符号化／復号化装置１は、送信
側のツール情報送受信部１７と受信側のツール情報送受
信部２７により、符号化／復号化装置２の状態を知り、
必要なツール情報をツール情報及びダウンロード制御部
１８で構築し、ツール情報送受信部１７より、符号化情
報を送信部１６より、同時に送信する。この時点におい
て、符号化／復号化装置１は、符号化／復号化装置２の
ツールの準備が完了するまで、一時的に自装置のツール
を変更して符号化情報を送信できることが考えられる。
これにより、送信側では要求の高品質のツールを使用し
た処理よりも、低品質のツールを使用したより負荷の軽
い処理となるため、また、受信側では、わざわざ高品質
の符号化情報を処理して、低品質の符号化情報とする必
要がなくなるため、両方の装置の負荷が軽減される。本
例においては、フレーム間予測符号化の１画素単位のサ
ンプリングのツールで、一時的に符号化する。
チ１２により、高品質のツールである各ツールＣを選択
し、特にフレーム間符号化方式では1/4画素単位のサン
プリングで符号化され、通信網３に送信される。そし
て、この符号化情報を符号化／復号化装置２で通信網３
より受信する。この際、符号化／復号化装置１は、送信
側のツール情報送受信部１７と受信側のツール情報送受
信部２７により、符号化／復号化装置２の状態を知り、
必要なツール情報をツール情報及びダウンロード制御部
１８で構築し、ツール情報送受信部１７より、符号化情
報を送信部１６より、同時に送信する。この時点におい
て、符号化／復号化装置１は、符号化／復号化装置２の
ツールの準備が完了するまで、一時的に自装置のツール
を変更して符号化情報を送信できることが考えられる。
これにより、送信側では要求の高品質のツールを使用し
た処理よりも、低品質のツールを使用したより負荷の軽
い処理となるため、また、受信側では、わざわざ高品質
の符号化情報を処理して、低品質の符号化情報とする必
要がなくなるため、両方の装置の負荷が軽減される。本
例においては、フレーム間予測符号化の１画素単位のサ
ンプリングのツールで、一時的に符号化する。
【００１７】本例において、図１より受信側である符号
化／復号化装置２の逆変換部２３、逆量子化部２４に、
要求される復号化ツールであるツールＣが存在するが、
フレーム間予測復号化化部２５には要求されるツールの
1/4画素単位のサンプリングが存在しない。このため、
図２のフローチャートに示すとおり、送信側の符号化／
復号化装置１は、符号化するツールを変更して品質を低
下した符号化情報か、または、そのままの品質の符号化
情報のどちらかと同時に、ツール情報を送信する。ま
た、図３に示すとおり、受信側の符号化／復号化装置２
は、要求のツールが存在しないため、要求よりは品質が
低下するが、上位のツールで復号し、同時に要求のツー
ル情報をツール情報送受信部２７で受信して、ツール情
報及びダウンロード制御部２８によりツールを構築す
る。この様にして、要求のツールの準備が整い次第、上
位のツールから要求のツールにスイッチ２２で切り替え
て、要求の品質の符号化情報を復号でき、映像出力部２
１より映像を出力する。本例の場合は、1/4画素単位の
サンプリングによるフレーム間予測符号化で符号化され
た符号化情報を、一時的に１画素単位のサンプリングに
よるフレーム間予測復号化で復号しながら、1/4画素単
位のサンプリングによるフレーム間予測復号化のツール
をダウンロードして、ツールが完了次第、1/4画素単位
のサンプリングによるフレーム間予測復号化で復号する
ことになる。
化／復号化装置２の逆変換部２３、逆量子化部２４に、
要求される復号化ツールであるツールＣが存在するが、
フレーム間予測復号化化部２５には要求されるツールの
1/4画素単位のサンプリングが存在しない。このため、
図２のフローチャートに示すとおり、送信側の符号化／
復号化装置１は、符号化するツールを変更して品質を低
下した符号化情報か、または、そのままの品質の符号化
情報のどちらかと同時に、ツール情報を送信する。ま
た、図３に示すとおり、受信側の符号化／復号化装置２
は、要求のツールが存在しないため、要求よりは品質が
低下するが、上位のツールで復号し、同時に要求のツー
ル情報をツール情報送受信部２７で受信して、ツール情
報及びダウンロード制御部２８によりツールを構築す
る。この様にして、要求のツールの準備が整い次第、上
位のツールから要求のツールにスイッチ２２で切り替え
て、要求の品質の符号化情報を復号でき、映像出力部２
１より映像を出力する。本例の場合は、1/4画素単位の
サンプリングによるフレーム間予測符号化で符号化され
た符号化情報を、一時的に１画素単位のサンプリングに
よるフレーム間予測復号化で復号しながら、1/4画素単
位のサンプリングによるフレーム間予測復号化のツール
をダウンロードして、ツールが完了次第、1/4画素単位
のサンプリングによるフレーム間予測復号化で復号する
ことになる。
【００１８】上記の通り、本発明は、（１）符号化情報
を送信する際に、受信側で品質は低下するが復号可能な
ツールが確認された場合、符号化情報を復号する手段で
あるアルゴリズムを構成する要求のツールと、符号化情
報とを同時に送信するものである。また、（２）送信側
では、上記の品質は低下するが復号が可能なツールに合
わせた符号化情報を、一時的にツール情報と同時に送信
するものである。さらに、（３）受信側では、品質は低
下するが復号可能なツールで復号しながら、同時に必要
なツールをダウンロードし、さらに、（４）受信側で
は、要求のツールの準備が整った後に、要求の品質の符
号化情報を復号するものである。
を送信する際に、受信側で品質は低下するが復号可能な
ツールが確認された場合、符号化情報を復号する手段で
あるアルゴリズムを構成する要求のツールと、符号化情
報とを同時に送信するものである。また、（２）送信側
では、上記の品質は低下するが復号が可能なツールに合
わせた符号化情報を、一時的にツール情報と同時に送信
するものである。さらに、（３）受信側では、品質は低
下するが復号可能なツールで復号しながら、同時に必要
なツールをダウンロードし、さらに、（４）受信側で
は、要求のツールの準備が整った後に、要求の品質の符
号化情報を復号するものである。
【００１９】
【発明の効果】次世代画像符号化方式（ＭＰＥＧ４等）
の様に、アルゴリズム内に多種多様な符号化／復号ツー
ルが存在する場合、品質は低下するが別のツールで代用
される符号化／復号ツールをより高品質な下位階層のツ
ールとし、別のツールでは補えない最低限のツールを上
位階層として、上位互換性を持たせるように階層的に定
義し、このツール情報をダウンロードするようにしてい
るが、本発明によれば、このような符号化／復号化装置
において、受信側の復号化装置に送信側の要求する復号
ツールが存在しない場合、送信側の符号化装置から、復
号ツール情報と符号化情報を同時に送信するものである
から、初回にツール情報だけを送り、これをダウンロー
ドしてからこのダウンロードされた復号ツールに基づき
復号が行われるものに比べて、ツール情報だけを送りダ
ウンロードする時間を省くことができ、従って、符号化
情報の伝送開始時間を速めることができる。
の様に、アルゴリズム内に多種多様な符号化／復号ツー
ルが存在する場合、品質は低下するが別のツールで代用
される符号化／復号ツールをより高品質な下位階層のツ
ールとし、別のツールでは補えない最低限のツールを上
位階層として、上位互換性を持たせるように階層的に定
義し、このツール情報をダウンロードするようにしてい
るが、本発明によれば、このような符号化／復号化装置
において、受信側の復号化装置に送信側の要求する復号
ツールが存在しない場合、送信側の符号化装置から、復
号ツール情報と符号化情報を同時に送信するものである
から、初回にツール情報だけを送り、これをダウンロー
ドしてからこのダウンロードされた復号ツールに基づき
復号が行われるものに比べて、ツール情報だけを送りダ
ウンロードする時間を省くことができ、従って、符号化
情報の伝送開始時間を速めることができる。
【００２０】また、受信側の復号化装置に送信側の要求
する復号ツールが存在しない場合、送信側で受信側に存
在する復号ツールに対応した符号化ツールで一時的に符
号化方式を変更して符号化するものであるから、品質は
一時的に低下するが、復号開始時間の遅延を減少するこ
とができる。
する復号ツールが存在しない場合、送信側で受信側に存
在する復号ツールに対応した符号化ツールで一時的に符
号化方式を変更して符号化するものであるから、品質は
一時的に低下するが、復号開始時間の遅延を減少するこ
とができる。
【００２１】また、受信側の復号化装置において送信側
の符号化装置より要求される復号ツールが存在しない場
合、一時的に品質は低下するが復号可能な上位のツール
で代用して、符号化情報を復号しながら、同時に送信側
から送られてくる復号ツール情報をダウンロードして要
求の復号ツールを構築するものであるから、早期に上位
階層のツールを利用でき、品質は一時的に低下するが、
復号開始時間の遅延を減少することができる。
の符号化装置より要求される復号ツールが存在しない場
合、一時的に品質は低下するが復号可能な上位のツール
で代用して、符号化情報を復号しながら、同時に送信側
から送られてくる復号ツール情報をダウンロードして要
求の復号ツールを構築するものであるから、早期に上位
階層のツールを利用でき、品質は一時的に低下するが、
復号開始時間の遅延を減少することができる。
【００２２】さらに、上記要求の復号ツールの構築が完
了した後、要求の復号ツールでの復号を開始するもので
あるから、要求の復号ツールの構築が完了した後は品質
が保証される。
了した後、要求の復号ツールでの復号を開始するもので
あるから、要求の復号ツールの構築が完了した後は品質
が保証される。
【図１】本発明に係る符号化／復号化装置の一実施例を
示すシステム構成図である。
示すシステム構成図である。
【図２】本発明に係る符号化／復号化装置の一実施例を
示す送信側のフローチャートである。
示す送信側のフローチャートである。
【図３】本発明に係る符号化／復号化装置の一実施例を
示す受信側のフローチャートである。
示す受信側のフローチャートである。
【図４】従来の符号化出力情報のデータ列を示す構成図
である。
である。
【図５】Ｈ．２６１符号器のブロック図である。
【図６】Ｈ．２６１復号器のブロック図である。
【図７】複数のアルゴリズムを持つ符号器の構成図であ
る。
る。
【図８】フレキシブルな符号化アルゴリズムによる符号
化出力情報を復号する復号化装置を、専用のハードウェ
ア及びソフトウェアを用いて実現する場合の構成図であ
る。
化出力情報を復号する復号化装置を、専用のハードウェ
ア及びソフトウェアを用いて実現する場合の構成図であ
る。
【図９】フレキシブルな符号化アルゴリズムによる符号
化出力情報を復号する復号化装置を、汎用演算処理部と
コンパイラを用いて実現する場合の構成図である。
化出力情報を復号する復号化装置を、汎用演算処理部と
コンパイラを用いて実現する場合の構成図である。
１ 符号化／復号化装置 １１ 映像入力部 １２ スイッチ １３ 変換部 １４ 量子化部 １５ フレーム間予測符号化部 １６ 送信部 １７ ツール情報送受信部 １８ ツール情報及びダウンロード制御部 ２ 符号化／復号化装置 ２１ 映像出力部 ２２ スイッチ ２３ 逆変化部 ２４ 逆量子化部 ２５ フレーム間予測復号化部 ２６ 受信部 ２７ ツール情報送受信部 ２８ ツール情報及びダウンロード制御部 ３ 通信網
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H03M 7/48
Claims (4)
- 【請求項１】 符号化装置側から復号化装置へ符号化情
報を送信する前に、その情報を復号する手段であるアル
ゴリズムを構成するツールを送信し、復号化装置側でそ
のツールをアルゴリズムとして再構成し、それを用いて
受信した符号化情報の復号を行い、その後そのツールを
保存して、再び同じツールで符号化された符号化情報を
受信した場合、既に保存してあるツールを使用して復号
を行うとともに、ある階層のツールの代わりに、それよ
り上位のツールを使用しても最低限の品質を保証できる
ように、ツールを階層的に定義した符号化／復号化装置
において、 送信側の符号化装置において、受信側の復号化装置に送
信側の要求する復号ツールが存在しない場合、復号ツー
ル情報と符号化情報を同時に送信することを特徴とする
符号化／復号化装置。 - 【請求項２】 送信側の符号化装置において、受信側の
復号化装置に送信側の要求する復号ツールが存在しない
場合、受信側に存在する復号ツールに対応した符号化ツ
ールで、一時的に符号化方式を変更して符号化すること
を特徴とする請求項１記載の符号化／復号化装置。 - 【請求項３】 受信側の復号化装置において、送信側の
符号化装置より要求される復号ツールが存在しない場
合、一時的に品質は低下するが復号可能な上位のツール
で代用して、符号化情報を復号しながら、同時に送信側
から送られてくる復号ツール情報をダウンロードして要
求の復号ツールを構築することを特徴とする請求項１記
載の符号化／復号化装置。 - 【請求項４】 上記要求の復号ツールの構築が完了した
後、要求の復号ツールでの復号を開始することを特徴と
する請求項３記載の符号化／復号化装置。
Priority Applications (12)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31066795A JP3263582B2 (ja) | 1995-11-29 | 1995-11-29 | 符号化／復号化装置 |
| US08/727,787 US5987181A (en) | 1995-10-12 | 1996-10-08 | Coding and decoding apparatus which transmits and receives tool information for constructing decoding scheme |
| EP08016187A EP2034737A3 (en) | 1995-10-12 | 1996-10-10 | Coding and decoding apparatus |
| EP10178980A EP2268031A3 (en) | 1995-10-12 | 1996-10-10 | Transmission system with selection of coding and decoding algorithm |
| EP96307369A EP0768807A3 (en) | 1995-10-12 | 1996-10-10 | Transmission system with selection of coding and decoding algorithm |
| US09/407,881 US6681050B1 (en) | 1995-10-12 | 1999-09-29 | Decoding apparatus using tool information for constructing a decoding algorithm |
| US09/408,275 US6310981B1 (en) | 1995-10-12 | 1999-09-29 | Decoding apparatus using tool information for constructing a decoding algorithm |
| US09/407,880 US6687409B1 (en) | 1995-10-12 | 1999-09-29 | Decoding apparatus using tool information for constructing a decoding algorithm |
| US10/729,160 US20040114818A1 (en) | 1995-10-12 | 2003-12-08 | Decoding apparatus using tool information for constructing a decoding algorithm |
| US10/729,158 US7167590B2 (en) | 1995-10-12 | 2003-12-08 | Decoding apparatus using tool information for constructing a decoding algorithm |
| US10/728,866 US7194136B2 (en) | 1995-10-12 | 2003-12-08 | Decoding apparatus using tool information for constructing a decoding algorithm |
| US11/635,676 US7340102B2 (en) | 1995-10-12 | 2006-12-08 | Decoding apparatus using tool information for constructing a decoding algorithm |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31066795A JP3263582B2 (ja) | 1995-11-29 | 1995-11-29 | 符号化／復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09153820A JPH09153820A (ja) | 1997-06-10 |
| JP3263582B2 true JP3263582B2 (ja) | 2002-03-04 |
Family
ID=18008016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31066795A Expired - Lifetime JP3263582B2 (ja) | 1995-10-12 | 1995-11-29 | 符号化／復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3263582B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6968008B1 (en) * | 1999-07-27 | 2005-11-22 | Sharp Laboratories Of America, Inc. | Methods for motion estimation with adaptive motion accuracy |
| CN1833446A (zh) | 2003-04-10 | 2006-09-13 | 日本电气株式会社 | 运动图像压缩编码方式转换装置及运动图像通信*** |
| JP5301462B2 (ja) * | 2007-01-04 | 2013-09-25 | ネロ アーゲー | 符号化されたデータ信号を供給するための装置およびデータ信号を符号化するための方法 |
| KR101305491B1 (ko) * | 2007-04-17 | 2013-09-17 | (주)휴맥스 | 비트스트림 디코딩 장치 및 방법 |
-
1995
- 1995-11-29 JP JP31066795A patent/JP3263582B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09153820A (ja) | 1997-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6310981B1 (en) | Decoding apparatus using tool information for constructing a decoding algorithm | |
| JP4138056B2 (ja) | マルチスタンダード脱圧縮及び／又は圧縮装置 | |
| CN1939067B (zh) | 用于复杂度可伸缩视频编码器的方法和设备 | |
| US20030043908A1 (en) | Bandwidth scalable video transcoder | |
| US20040252768A1 (en) | Computing apparatus and encoding program | |
| US5881244A (en) | Picture reproducing apparatus | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| EP2088782A1 (en) | A method and a device for transcoding video | |
| CN101755458A (zh) | 可缩放视频编码 | |
| KR20040077774A (ko) | 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법 | |
| JP3263582B2 (ja) | 符号化／復号化装置 | |
| US6097843A (en) | Compression encoding apparatus, encoding method, decoding apparatus, and decoding method | |
| KR20070081949A (ko) | 트랜스코딩 장치 및 방법 | |
| KR19990028747A (ko) | 감소된 메모리 요구를 갖는 압축 비디오 데이터 스트림을디코딩 및 코딩하기 위한 방법 | |
| JP3265192B2 (ja) | 復号化装置及び復号化システム | |
| JP3304241B2 (ja) | 画像再生装置 | |
| JP3306270B2 (ja) | データ復号装置 | |
| JP2003520512A (ja) | 伝送符号化方法及び伝送符号化装置 | |
| JP3998634B2 (ja) | 動画像符号化装置および動画像復号装置 | |
| JPH0981481A (ja) | 符号化／復号化装置のプログラムダウンロード方法 | |
| JPH09153815A (ja) | 符号化／復号装置 | |
| JP3702178B2 (ja) | 動画像符号化装置および動画像復号装置 | |
| KR100323752B1 (ko) | 정지 영상 전송 방법 및 영상 전송 단말기 | |
| JP3258217B2 (ja) | 符号化／復号化の方法及びその装置 | |
| US20050141608A1 (en) | Pipeline-type operation method for a video processing apparatus and bit rate control method using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071221 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081221 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091221 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091221 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term |