JP2004147142A - 画像処理装置、プログラム及び記憶媒体 - Google Patents
画像処理装置、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2004147142A JP2004147142A JP2002310506A JP2002310506A JP2004147142A JP 2004147142 A JP2004147142 A JP 2004147142A JP 2002310506 A JP2002310506 A JP 2002310506A JP 2002310506 A JP2002310506 A JP 2002310506A JP 2004147142 A JP2004147142 A JP 2004147142A
- Authority
- JP
- Japan
- Prior art keywords
- wavelet
- division level
- code stream
- level
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【解決手段】目的分割レベルの方が自己側の分割レベルよりも低い場合には(S2のY)、自己側においてそのレベル差分のウェーブレット係数についての復号(S4,S5,S3のY)、逆ウェーブレット変換(S6)、符号化処理(S7)及びコードストリーム中への埋め込み処理(S8)を経て、ウェーブレット分割レベルを下げたコードストリームに変更することで、レベル変更されたコードストリームのまま相手機側に送信できるようにした。
【選択図】 図5
Description
【発明の属する技術分野】
本発明は、画像データとしてJPEG2000アルゴリズムに従い圧縮符号化された符号データを用いる各種の画像処理装置、プログラム及び記憶媒体に関する。
【0002】
【従来の技術】
近年、画像入出力技術の進歩により、画像に対する高精細化の要求が高まっている。画像入力装置の一例として、デジタルカメラを例に挙げると、300万以上の画素数を持つ高性能な電化結合素子の低価格化が進み、普及価格帯の製品においても広く用いられるようになっている。また、画像出力装置や画像表示装置の技術分野に関しても、レーザプリンタ、インクジェットプリンタ等のハードコピー分野における高精細化や低価格化は目を見張るものがあり、このような現象は、複写機や複合機(MFP)等の画像形成装置の分野においても例外ではない。
【0003】
こうした高性能で低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後は、あらゆる場面で高精細画像の需要が高まると予想されている。
【0004】
以上のようなことを背景として、高精細画像を容易に取扱うことのできる圧縮伸長技術に対する要求も、今後ますます高まっていくことは必至と思われる。そこで、そのような要求を満たす画像圧縮技術の一つとして、従来、高精細画像を小さい単位に分割して処理することが可能であり、高圧縮率でも高画質な画像を復号可能なJPEG2000という技術がある。このJPEG2000の特徴の一つとして、高圧縮領域における画質がよいという長所を有するウェーブレット変換を利用している点がある。このウェーブレット変換では、再帰的なオクターブ分割に対応した任意のウェーブレット分割レベル(デコンポジションレベル−1)で静止画像の圧縮伸長動作を自由に停止させることができ、一つのファイルから低解像度画像(縮小画像)を取り出したり、画像の一部(タイリング画像)を取り出したりすることができるようになる。
【0005】
ここに、各々の機器でのJPEG2000対応の構成を考えた場合、ハードウエア構成としてJPEG2000仕様のチップを搭載することとなるが、そのチップ毎にハードウエア的にサポートできるウェーブレット分割レベルが特定されるものである。
【0006】
【発明が解決しようとする課題】
ところで、画像データを取り扱うこの種の画像処理装置では、ネットワーク等を通じて、同一機器同士(例えば、デジタルカメラ同士、MFP同士)や異なる機器間(例えば、パソコンとデジタルカメラとの間、パソコンとMFPとの間)などで画像データのやり取りを行うことも多々ある。
【0007】
ところが、前述のようにこれらの機器が搭載しているJPEG2000仕様のチップによりサポートされているウェーブレット分割レベルは等しいとは限らず、異なることも多々ある。この結果、例えばウェーブレット分割レベルが“5”までが可能なJPEG2000仕様のチップが搭載されたMFPに対して、ウェーブレット分割レベルが“10”の画像データ(圧縮符号化されたデータ)を送信しようとする場合、当該MFP側のハードウエアはウェーブレット分割レベル“10”に対応できないため、全ての符号データを復号化して元の画像データとして送信しなくてはならず、転送時間や処理時間がかかる上にネットワーク上の負荷も大きなものとなる。つまり、JPEG2000アルゴリズムを利用して画像データを高圧縮した意味が半減してしまうものである。
【0008】
このような事情は、相手機側のウェーブレット分割レベルの方が低い場合に限らず、高い場合にも不都合を生ずる。例えば、ハードウエアでサムネイル画像の取り出しをサポートしているデジタルカメラ等の機器では、当該機器が想定しているウェーブレット分割レベルでないとサムネイル画像を簡単に取り出せない。例えば、機器が想定しているウェーブレット分割レベルが“10”で、送信されてくるデータのウェーブレット分割レベルが“5”の場合、ウェーブレット分割レベル“10”以下がサポートされていればウェーブレット分割レベル“5”の符号データについてさらにウェーブレット変換を施すことによりウェーブレット分割レベル“10”にすること自体は可能であるが、その分の処理時間等を要し、即座にサムネイル画像を読み出すことはできない。また、ウェーブレット分割レベル“10”のみをサポートしている場合には、上例の場合と同様にウェーブレット分割レベル“5”の符号データを一旦復号化して送信させる必要がある。
【0009】
本発明の目的は、ハードウエアによりサポートされているウェーブレット分割レベルに機器間で違いがあっても、全ての符号データについて復号化等の処理を採ることなく、ハードウエアによりサポートされているウェーブレット分割レベルに合わせて適切に対処できるようにすることである。
【0010】
【課題を解決するための手段】
請求項1記載の発明の画像処理装置は、相手機側仕様のウェーブレット分割レベルを目的分割レベルとして取得する手段と、JPEG2000アルゴリズムに従い圧縮符号化された自己側のコードストリームのウェーブレット分割レベルと前記目的分割レベルとのレベルの違いを判定する手段と、判定されたレベルの違いとして、前記目的分割レベルのレベルの方が低い場合、当該目的分割レベルより高いレベルの符号データを前記コードストリーム中から読み出す手段と、読み出された符号データからウェーブレット係数を復号する手段と、復号されたウェーブレット係数を逆ウェーブレット変換して前記目的分割レベルのLL成分のデータを生成する手段と、生成されたLL成分のデータを符号化する手段と、LL成分の符号化されたデータを元の前記コードストリーム中に埋め込み当該コードストリームのウェーブレット分割レベルを変更する手段と、当該ウェーブレット分割レベルの変更に伴うコードストリーム中の符号化条件を変更する手段と、を備える。
【0011】
従って、目的分割レベルの方が自己側の分割レベルよりも低い場合には、自己側においてそのレベル差分のウェーブレット係数についての復号、逆ウェーブレット変換、符号化処理を経て、ウェーブレット分割レベルを下げたコードストリームに変更するようにしているので、レベル変更されたコードストリームのまま相手機側に送信でき、送信時間、処理時間等を短縮できる。
【0012】
請求項2記載の発明の画像処理装置は、相手機側仕様のウェーブレット分割レベルを目的分割レベルとして取得する手段と、JPEG2000アルゴリズムに従い圧縮符号化された自己側のコードストリームのウェーブレット分割レベルと前記目的分割レベルとのレベルの違いを判定する手段と、判定されたレベルの違いとして、前記目的分割レベルのレベルの方が高い場合、当該目的分割レベルより低いレベルのLL成分の符号データを前記コードストリーム中から読み出す手段と、読み出されたLL成分の符号データからウェーブレット係数を復号する手段と、復号されたウェーブレット係数をさらにウェーブレット変換して前記目的分割レベルの符号データを生成する手段と、生成されたLL成分のウェーブレット係数を符号化する手段と、符号化された符号データを元のLL成分の符号データに代えて前記コードストリーム中に埋め込み当該コードストリームのウェーブレット分割レベルを変更する手段と、当該ウェーブレット分割レベルの変更に伴うコードストリーム中の符号化条件を変更する手段と、を備える。
【0013】
従って、目的分割レベルの方が自己側の分割レベルよりも高い場合には、自己側においてそのレベル差分のLL成分についての復号、さらなるウェーブレット変換、符号化処理を経て、ウェーブレット分割レベルを上げたコードストリームに変更するようにしているので、レベル変更されたコードストリームのまま相手機側に送信でき、相手機側ではハードウエアの負担無しにそのままサムネイル画像を取り出せる等、利便性が増す。
【0014】
請求項3記載の発明は、請求項1又は2記載の画像処理装置において、ウェーブレット分割レベルの変更に伴い変更するコードストリーム中の符号化条件は、コードストリーム中に含まれるデフォルト符号スタイルマーカ(COD)中のコンポーネントに関係する符号スタイルのパラメータSPcodに含まれるデコンポジションレベル数の欄の記述である。
【0015】
従って、ウェーブレット分割レベルの変更に伴い、コードストリーム中に含まれるデフォルト符号スタイルマーカ(COD)中のコンポーネントに関係する符号スタイルのパラメータSPcodに含まれるデコンポジションレベル数の欄の記述も変更されるので、相手機側において適正な処理が可能となる。
【0016】
請求項4記載の発明のプログラムは、コンピュータにインストールされ、当該コンピュータに、相手機側仕様のウェーブレット分割レベルを目的分割レベルとして取得する機能と、JPEG2000アルゴリズムに従い圧縮符号化された自己側のコードストリームのウェーブレット分割レベルと前記目的分割レベルとのレベルの違いを判定する機能と、判定されたレベルの違いとして、前記目的分割レベルのレベルの方が低い場合、当該目的分割レベルより高いレベルの符号データを前記コードストリーム中から読み出す機能と、読み出された符号データからウェーブレット係数を復号する機能段と、復号されたウェーブレット係数を逆ウェーブレット変換して前記目的分割レベルのLL成分を生成する機能と、生成されたLL成分を符号化する機能と、LL成分の符号化されたデータを元の前記コードストリーム中に埋め込み当該コードストリームのウェーブレット分割レベルを変更する機能と、当該ウェーブレット分割レベルの変更に伴うコードストリーム中の符号化条件を変更する機能と、を実行させる。
【0017】
従って、目的分割レベルの方が自己側の分割レベルよりも低い場合には、自己側においてそのレベル差分のウェーブレット係数についての復号、逆ウェーブレット変換、符号化処理を経て、ウェーブレット分割レベルを下げたコードストリームに変更するようにしているので、レベル変更されたコードストリームのまま相手機側に送信でき、送信時間、処理時間等を短縮できる。
【0018】
請求項5記載の発明のプログラムは、コンピュータにインストールされ、当該コンピュータに、相手機側仕様のウェーブレット分割レベルを目的分割レベルとして取得する機能と、JPEG2000アルゴリズムに従い圧縮符号化された自己側のコードストリームのウェーブレット分割レベルと前記目的分割レベルとのレベルの違いを判定する機能と、判定されたレベルの違いとして、前記目的分割レベルのレベルの方が高い場合、当該目的分割レベルより低いレベルのLL成分の符号データを前記コードストリーム中から読み出す機能と、読み出されたLL成分の符号データからウェーブレット係数を復号する機能と、復号されたウェーブレット係数をさらにウェーブレット変換して前記目的分割レベルのウェーブレット係数を生成する機能と、ウェーブレット変換により生成されたウェーブレット係数を符号化する機能と、符号化された符号データを元のLL成分の符号データに代えて前記コードストリーム中に埋め込み当該コードストリームのウェーブレット分割レベルを変更する機能と、当該ウェーブレット分割レベルの変更に伴うコードストリーム中の符号化条件を変更する機能と、を実行させる。
【0019】
従って、目的分割レベルの方が自己側の分割レベルよりも高い場合には、自己側においてそのレベル差分のLL成分についての復号、さらなるウェーブレット変換、符号化処理を経て、ウェーブレット分割レベルを上げたコードストリームに変更するようにしているので、レベル変更されたコードストリームのまま相手機側に送信でき、相手機側ではハードウエアの負担無しにそのままサムネイル画像を取り出せる等、利便性が増す。
【0020】
請求項6記載の発明は、請求項4又は5記載のプログラムにおいて、ウェーブレット分割レベルの変更に伴い変更するコードストリーム中の符号化条件は、コードストリーム中に含まれるデフォルト符号スタイルマーカ(COD)中のコンポーネントに関係する符号スタイルのパラメータSPcodに含まれるデコンポジションレベル数の欄の記述である。
【0021】
従って、ウェーブレット分割レベルの変更に伴い、コードストリーム中に含まれるデフォルト符号スタイルマーカ(COD)中のコンポーネントに関係する符号スタイルのパラメータSPcodに含まれるデコンポジションレベル数の欄の記述も変更されるので、相手機側において適正な処理が可能となる。
【0022】
請求項7記載の発明のコンピュータ読取り可能な記憶媒体は、請求項4ないし6の何れか一記載のプログラムが格納されている。
【0023】
従って、請求項4ないし6の何れか一記載の発明と同様な作用を奏する。
【0024】
【発明の実施の形態】
本発明の一実施の形態を図面に基づいて説明する。
【0025】
[JPEG2000アルゴリズムの概要について]
本実施の形態は、JPEG2000アルゴリズムを利用するものであるが、JPEG2000アルゴリズム自体は各種文献、公報等により周知であるので、詳細は省略し、その概要について説明する。図1は、JPEG2000アルゴリズムの概要を説明するためのブロック図である。JPEG2000のアルゴリズムは、色空間変換・逆変換部110、2次元ウェーブレット変換・逆変換部111、量子化・逆量子化部112、エントロピー符号化・復号化部113、タグ処理部114で構成されている。JPEG2000の特徴の一つは、前述したように高圧縮領域における画質が良いという長所を持つ2次元離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を用いている点である。また、もう一つの大きな特徴は、最終段に符号形成を行うために、タグ処理部114と呼ばれる機能ブロックが追加されており、コードストリームの生成や解釈が行われる。そして、コードストリームによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、図2は、デコンポジションレベル(ウェーブレット分割レベル+1)が3の場合の、各デコンポジションレベルにおけるサブバンドの一例を示す図で、図2に示したブロックベースでのDWTにおけるオクターブ分割の階層に対応した任意の階層で、静止画像の圧縮伸長処理を停止させることができる。
【0026】
また、原画像の入出力部分には、色空間変換・逆変換部110が用意されることが多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YCrCbあるいはYUV表色系への変換又は逆の変換を行う部分がこれに相当する。
【0027】
以下、JPEG2000アルゴリズム、特にウェーブレット変換について、説明する。
【0028】
符号化時には、各コンポーネントの各タイルのデータが、色空間変換部110に入力され、色空間変換を施された後、2次元ウェーブレット変換部111で2次元ウェーブレット変換(順変換)が適用されて周波数帯に空間分割される。
【0029】
図2には、デコンポジションレベルが3の場合の、各デコンポジションレベルにおけるサブバンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジションレベル0(符号120))に対して、2次元ウェーブレット変換を施し、デコンポジションレベル1(符号121)に示すサブバンド(1LL,1HL,1LH,1HH)を分離する。そして引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジションレベル2(符号122)に示すサブバンド(2LL,2HL,2LH,2HH)を分離する。順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジションレベル3(符号123)に示すサブバンド(3LL,3HL,3LH,3HH)を分離する。
【0030】
さらに、図2では、各デコンポジションレベルにおいて符号化の対象となるサブバンドを、グレーで表してある。例えば、デコンポジションレベルを3とした時、グレーで示したサブバンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、3LLサブバンドは符号化されない。
【0031】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、量子化部112で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、プレシンクトと呼ばれる重複のない矩形に分割される。ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素或いはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【0032】
エントロピー符号化部113では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部114は、エントロピコーダ部からの全符号化データを1本のコードストリームに結合するとともに、それにタグを付加する処理を行う。図3に、コードストリームの構造を簡単に示している。このようなコードストリームの先頭と各タイルを構成する部分タイルの先頭には、ヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コードストリームの終端には、再びタグが置かれる。
【0033】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。この場合、タグ処理部114は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部112で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー復号化部113で、このコンテキストとコードストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【0034】
このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元ウェーブレット逆変換部111で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部110によって元の表色系のデータに変換される。
【0035】
以上が、「JPEG2000アルゴリズム」の概要である。
【0036】
[画像処理装置]
図4は、本発明が適用される画像処理装置1のハードウエア構成を概略的に示すブロック図である。図4に示すように、本発明が適用される画像処理装置1は、例えばパーソナルコンピュータであり、通信インターフェース2、ネットワーク3を介して、例えば、MFP4やプリンタ5が接続可能な他、通信インターフェース6(例えば、RS232C)を介してデジタルカメラ7が接続可能とされている。
【0037】
パソコンによる本実施の形態の画像処理装置1は、情報処理を行うCPU(Central Processing Unit)8、情報を格納するROM(Read Only Memory)及びRAM(Random Access Memory)等のメモリ9、圧縮符号等の画像データ、その他のデータを記憶するHDD(Hard Disk Drive)10、情報を保管したり外部に情報を配布したり外部から情報を入手するための記憶媒体11に対する記憶媒体読取装置12、処理経過や結果等を操作者に表示するCRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等の表示装置13、並びに操作者がCPU8に命令や情報等を入力するためのキーボードやマウス等の入力装置14等から構成されており、これらの各部間で送受信されるデータをバスコントローラ15が調停して動作する。
【0038】
このような画像処理装置1では、ユーザが電源を投入するとCPU8がROM内のローダーというプログラムを起動させ、HDD10よりオペレーティングシステムというコンピュータのハードウエアとソフトウエアとを管理するプログラムをRAMに読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Windows(登録商標)、UNIX(登録商標)等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【0039】
ここで、画像処理装置1は、アプリケーションプログラムとして、画像処理プログラムをHDD10に記憶している。この意味で、HDD10は、画像処理プログラムを記憶する記憶媒体として機能する。
【0040】
また、一般的には、画像処理装置1のHDD10にインストールされる動作プログラムは、CD−ROMやDVD−ROM等の光情報記録メディア、FD等の磁気メディア等の記憶媒体11に記録され、この記録された動作プログラムがHDD10にインストールされる。このため、CD−ROM等の光情報記録メディアやFD等の磁気メディア等の可搬性を有する記憶媒体11も、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムは、例えば通信インターフェース2を介して外部から取り込まれ、HDD10にインストールされても良い。
【0041】
画像処理装置1は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、CPU8が各種の演算処理を実行して各部を集中的に制御する。
【0042】
[ウェーブレット分割レベルに関して]
ここで、当該画像処理装置1、MFP4、プリンタ5、デジタルカメラ7等は、何れも図1に示したようなJPEG2000アルゴリズムに従い画像データに対して圧縮・復号処理を行うJPEG2000仕様のチップがハードウエアとして搭載されており、画像データとして圧縮符号化されたコードストリームを取扱い得るものである。この際、これらのJPEG2000仕様のチップなるハードウエアによりサポートされるウェーブレット分割レベルは相互に同一レベルの場合もあり得るが、相互に異なる場合もあり得る。
【0043】
そこで、本実施の形態では、機器間で画像データを送受信する上で、自己(画像処理装置1)側のハードウエアによりサポートされるウェーブレット分割レベルとMFP4等の相手機側のハードウエアによりサポートされるウェーブレット分割レベルとが異なる場合を考える。
【0044】
A.画像処理装置1側のコードストリームのウェーブレット分割レベルよりも、MFP4側仕様のコードストリームのウェーブレット分割レベル(目的分割レベル)の方が低い場合。
【0045】
このようなケースの処理制御例を図5ないし図7を参照して説明する。まず、画像処理装置1側から相手機となるMFP4側に或る画像データを送信するに先立ち、MFP4側仕様のコードストリームにおけるウェーブレット分割レベルを目的分割レベルTとして取得する(ステップS1)。次いで、自己(画像処理装置1)側において送信しようとしている画像データ(圧縮符号化されたコードストリーム)のウェーブレット分割レベルLを用い、当該ウェーブレット分割レベルLと目的分割レベルTとのレベルの違いを判定する(S2)。判定の結果、ここで想定しているように目的分割レベルTの方がウェーブレット分割レベルLよりも低い場合には(S2のY)、目的分割レベルTと同一レベルになるまで、目的分割レベルTよりレベルの高い符号データをコードストリーム中から読み出し、ウェーブレット係数に復号する(S4、S5、S3のY)。
【0046】
例えば、L=4、T=2の場合であれば、図6に模式的に示すように、目標分割レベルT=2より高いレベルの3HH,3HL,3LH,4HH,4HL,4LH,4LL成分の符号データをコードストリームから読み出す(処理▲1▼)。
【0047】
そして、コードストリーム中から読み出され、復号されたウェーブレット係数に対して逆ウェーブレット変換を施し、目的分割レベルT=2のLL成分のデータを生成する(S6)。図6に示す例であれば、3HH,3HL,3LH,4HH,4HL,4LH,4LL成分の符号データを復号し、逆ウェーブレット変換を行うことにより、LL成分のデータを生成する(処理▲2▼)。
【0048】
引き続き、逆ウェーブレット変換により生成されたLL成分のデータを符号化し(S7)、符号化した当該LL成分の符号データを元のコードストリーム中に埋め込み当該コードストリームのウェーブレット分割レベルを下げるように変更する(S8)。図6に示す例であれば、生成したLL成分を目的分割レベルT=2のLL成分である2LLとし、コードストリーム中の最上位に埋め込む(処理▲3▼)。
【0049】
コードストリーム表現によれば、例えば、図7(a)に示すようなウェーブレット分割レベル4の状態から図7(b)に示すようなウェーブレット分割レベル2の状態に変更される。なお、図7において、SOCはコードストリームの開始マーカ、EOCはコードストリームの終了マーカである。
【0050】
このような埋め込み処理後、ウェーブレット分割レベルの変更に伴う符号化条件を変更する(S9)。具体的には、特に図示しないが、コードストリームの開始マーカSOC中のデフォルト符号スタイルマーカ(COD)に含まれるコンポーネントに関する符号スタイルのパラメータSPcod中のデコンポジションレベル数(NL)に関する記述を、例えば、5から3に書換える。
【0051】
画像処理装置1はこのようにレベル変更されたコードストリームをMFP4に対して送信することとなる。
【0052】
従って、画像処理装置1側でみれば、MFP4においてハードウエアでサポートされていないレベル分のみの復号化、符号化処理で、MFP4のハードウエアがサポートできる分割レベルのコードストリームに変更する。この結果、全ての画像を原画像まで復号化して送信するような必要はなく、コードストリームなる符号状態で送信できるため、送信時間及び処理時間を短縮できる。また、MFP4側でみれば、例えばウェーブレット分割レベル=2なる仕様であっても、ネットワーク3等に負荷をかけることなく、ウェーブレット分割レベル=4なるJPEG2000のデータを取り扱えることとなる。
【0053】
B.画像処理装置1側のコードストリームのウェーブレット分割レベルよりも、デジタルカメラ7側仕様のコードストリームのウェーブレット分割レベル(目的分割レベル)の方が高い場合。
【0054】
このようなケースの処理制御例を図8ないし図10を参照して説明する。まず、画像処理装置1側から相手機となるデジタルカメラ7側に或る画像データを送信するに先立ち、デジタルカメラ7側仕様のコードストリームにおけるウェーブレット分割レベルを目的分割レベルTとして取得する(ステップS11)。次いで、自己(画像処理装置1)側において送信しようとしている画像データ(圧縮符号化されたコードストリーム)のウェーブレット分割レベルLを用い、当該ウェーブレット分割レベルLと目的分割レベルTとのレベルの違いを判定する(S12)。判定の結果、ここで想定しているように目的分割レベルTの方がウェーブレット分割レベルLよりも高い場合には(S12のY)、目的分割レベルTと同一レベルになるまで、目的分割レベルTよりレベルの低いLL成分の符号データをコードストリーム中から読み出し、ウェーブレット係数に復号する(S14、S15、S13のY)。
【0055】
例えば、L=2、T=4の場合であれば、図9に模式的に示すように、目標分割レベルT=4より低いレベルの2LL成分の符号データをコードストリームから読み出す(処理▲1▼)。
【0056】
そして、コードストリーム中から読み出され、復号されたウェーブレット係数に対してさらにウェーブレット変換を施し、目的分割レベルT=4のウェーブレット係数を生成する(S16)。図9に示す例であれば、2LL成分の符号データに基づき、2段階のウェーブレット変換を施すことにより、3HH,3HL,3LH,4HH,4HL,4LH,4LL成分のウェーブレット係数を生成する(処理▲2▼)。
【0057】
引き続き、ウェーブレット変換により生成されたこれらのウェーブレット係数を符号化し(S17)、符号化されたこれらの符号データを元の2LL成分の符号データに代えてコードストリーム中に埋め込み当該コードストリームのウェーブレット分割レベルを上げるように変更する(S18)。図9に示す例であれば、生成された3HH,3HL,3LH,4HH,4HL,4LH,4LL成分の符号データを目的分割レベルT=4の2LL成分の符号データに代えて、コードストリーム中の最上位に埋め込む(処理▲3▼)。
【0058】
コードストリーム表現によれば、例えば、図10(a)に示すようなウェーブレット分割レベル2の状態から図10(b)に示すようなウェーブレット分割レベル4の状態に変更される。
【0059】
このような埋め込み処理後、ウェーブレット分割レベルの変更に伴う符号化条件を変更する(S19)。具体的には、特に図示しないが、コードストリームの開始マーカSOC中のデフォルト符号スタイルマーカ(COD)に含まれるコンポーネントに関する符号スタイルのパラメータSPcod中のデコンポジションレベル数(NL)に関する記述を、例えば、3から5に書換える。
【0060】
画像処理装置1はこのようにレベル変更されたコードストリームをデジタルカメラ7に対して送信することとなる。
【0061】
従って、ウェーブレット分割レベルの高いデジタルカメラ7側でみれば、当該デジタルカメラ7で想定しているウェーブレット分割レベルより低いとサムネイル画像を簡単に取り出せないが、送信元となる画像処理装置1側において低いレベル分のLL成分をさらにウェーブレット変換して符号化し元のコードストリーム中に埋め込み当該コードストリームのウェーブレット分割レベルを変更することによりデジタルカメラ7側のウェーブレット分割レベルに合わせているので、画像処理装置1側から送信されたコートストリームに基づきそのままサムネイル表示等を行わせることが可能となり、ウェーブレット分割レベルの違いが全く問題とはならなくなる。
【0062】
なお、本実施の形態では、パソコンを画像処理装置1として例に挙げて説明したが、画像データを取り扱う各種機器が当該画象処理装置となり得るものであり、また、ウェーブレット分割レベルの違いが同一機器間の場合と異なる機器間の場合との何れでもよいのももちろんである。
【0063】
【発明の効果】
請求項1,4記載の発明によれば、目的分割レベルの方が自己側の分割レベルよりも低い場合には、自己側においてそのレベル差分のウェーブレット係数についての復号、逆ウェーブレット変換、符号化処理を経て、ウェーブレット分割レベルを下げたコードストリームに変更するようにしたので、レベル変更されたコードストリームのまま相手機側に送信することができ、送信時間、処理時間等を短縮することができる。
【0064】
請求項2,5記載の発明によれば、目的分割レベルの方が自己側の分割レベルよりも高い場合には、自己側においてそのレベル差分のLL成分についての復号、さらなるウェーブレット変換、符号化処理を経て、ウェーブレット分割レベルを上げたコードストリームに変更するようにしたので、レベル変更されたコードストリームのまま相手機側に送信することができ、相手機側ではハードウエアの負担無しにそのままサムネイル画像を取り出せる等、利便性を増すことができる。
【0065】
請求項3,6記載の発明によれば、請求項1,2,4又は5記載の発明において、ウェーブレット分割レベルの変更に伴い、コードストリーム中に含まれるデフォルト符号スタイルマーカ(COD)中のコンポーネントに関係する符号スタイルのパラメータSPcodに含まれるデコンポジションレベル数の欄の記述も変更されるので、相手機側において適正な処理を可能にすることができる。
【0066】
請求項7記載の発明のコンピュータ読取り可能な記憶媒体によれば、請求項4ないし6の何れか一記載の発明と同様な効果を奏する。
【図面の簡単な説明】
【図1】本発明の実施の形態の前提となるJPEG2000方式の基本となるアルゴリズムを実現するシステムの機能ブロック図である。
【図2】デコンポジションレベル数が3の場合の、各デコンポジションレベルにおけるサブバンドを示す説明図である。
【図3】コードストリームを示す説明図である。
【図4】本実施の形態の画像処理装置等のハードウエア構成を示すブロック図である。
【図5】処理制御例の一例を示す概略フローチャートである。
【図6】その様子を模式的に示す説明図である。
【図7】コードストリーム表現で示す説明図である。
【図8】処理制御例の他例を示す概略フローチャートである。
【図9】その様子を模式的に示す説明図である。
【図10】コードストリーム表現で示す説明図である。
【符号の説明】
1,4,5,7 画像処理装置
11 記憶媒体
Claims (7)
- 相手機側仕様のウェーブレット分割レベルを目的分割レベルとして取得する手段と、
JPEG2000アルゴリズムに従い圧縮符号化された自己側のコードストリームのウェーブレット分割レベルと前記目的分割レベルとのレベルの違いを判定する手段と、
判定されたレベルの違いとして、前記目的分割レベルのレベルの方が低い場合、当該目的分割レベルより高いレベルの符号データを前記コードストリーム中から読み出す手段と、
読み出された符号データからウェーブレット係数を復号する手段と、
復号されたウェーブレット係数を逆ウェーブレット変換して前記目的分割レベルのLL成分のデータを生成する手段と、
生成されたLL成分のデータを符号化する手段と、
LL成分の符号化されたデータを元の前記コードストリーム中に埋め込み当該コードストリームのウェーブレット分割レベルを変更する手段と、
当該ウェーブレット分割レベルの変更に伴うコードストリーム中の符号化条件を変更する手段と、
を備える画像処理装置。 - 相手機側仕様のウェーブレット分割レベルを目的分割レベルとして取得する手段と、
JPEG2000アルゴリズムに従い圧縮符号化された自己側のコードストリームのウェーブレット分割レベルと前記目的分割レベルとのレベルの違いを判定する手段と、
判定されたレベルの違いとして、前記目的分割レベルのレベルの方が高い場合、当該目的分割レベルより低いレベルのLL成分の符号データを前記コードストリーム中から読み出す手段と、
読み出されたLL成分の符号データからウェーブレット係数を復号する手段と、
復号されたウェーブレット係数をさらにウェーブレット変換して前記目的分割レベルのウェーブレット係数を生成する手段と、
ウェーブレット変換により生成されたウェーブレット係数を符号化する手段と、
符号化された符号データを元のLL成分の符号データに代えて前記コードストリーム中に埋め込み当該コードストリームのウェーブレット分割レベルを変更する手段と、
当該ウェーブレット分割レベルの変更に伴うコードストリーム中の符号化条件を変更する手段と、
を備える画像処理装置。 - ウェーブレット分割レベルの変更に伴い変更するコードストリーム中の符号化条件は、コードストリーム中に含まれるデフォルト符号スタイルマーカ(COD)中のコンポーネントに関係する符号スタイルのパラメータSPcodに含まれるデコンポジションレベル数の欄の記述である請求項1又は2記載の画像処理装置。
- コンピュータにインストールされ、当該コンピュータに、
相手機側仕様のウェーブレット分割レベルを目的分割レベルとして取得する機能と、
JPEG2000アルゴリズムに従い圧縮符号化された自己側のコードストリームのウェーブレット分割レベルと前記目的分割レベルとのレベルの違いを判定する機能と、
判定されたレベルの違いとして、前記目的分割レベルのレベルの方が低い場合、当該目的分割レベルより高いレベルの符号データを前記コードストリーム中から読み出す機能と、
読み出された符号データからウェーブレット係数を復号する機能と、
復号されたウェーブレット係数を逆ウェーブレット変換して前記目的分割レベルのLL成分を生成する機能と、
生成されたLL成分を符号化する機能と、
LL成分の符号化されたデータを元の前記コードストリーム中に埋め込み当該コードストリームのウェーブレット分割レベルを変更する機能と、
当該ウェーブレット分割レベルの変更に伴うコードストリーム中の符号化条件を変更する機能と、
を実行させるプログラム。 - コンピュータにインストールされ、当該コンピュータに、
相手機側仕様のウェーブレット分割レベルを目的分割レベルとして取得する機能と、
JPEG2000アルゴリズムに従い圧縮符号化された自己側のコードストリームのウェーブレット分割レベルと前記目的分割レベルとのレベルの違いを判定する機能と、
判定されたレベルの違いとして、前記目的分割レベルのレベルの方が高い場合、当該目的分割レベルより低いレベルのLL成分の符号データを前記コードストリーム中から読み出す機能と、
読み出されたLL成分の符号データからウェーブレット係数を復号する機能と、
復号されたウェーブレット係数をさらにウェーブレット変換して前記目的分割レベルのウェーブレット係数を生成する機能と、
ウェーブレット変換により生成されたウェーブレット係数を符号化する機能と、
符号化された符号データを元のLL成分の符号データに代えて前記コードストリーム中に埋め込み当該コードストリームのウェーブレット分割レベルを変更する機能と、
当該ウェーブレット分割レベルの変更に伴うコードストリーム中の符号化条件を変更する機能と、
を実行させるプログラム。 - ウェーブレット分割レベルの変更に伴い変更するコードストリーム中の符号化条件は、コードストリーム中に含まれるデフォルト符号スタイルマーカ(COD)中のコンポーネントに関係する符号スタイルのパラメータSPcodに含まれるデコンポジションレベル数の欄の記述である請求項4又は5記載のプログラム。
- 請求項4ないし6の何れか一記載のプログラムが格納されているコンピュータ読取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002310506A JP4093405B2 (ja) | 2002-10-25 | 2002-10-25 | 画像処理装置、プログラム及び記憶媒体 |
US10/691,623 US7386175B2 (en) | 2002-10-25 | 2003-10-24 | Modifying wavelet division level before transmitting data stream |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002310506A JP4093405B2 (ja) | 2002-10-25 | 2002-10-25 | 画像処理装置、プログラム及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004147142A true JP2004147142A (ja) | 2004-05-20 |
JP4093405B2 JP4093405B2 (ja) | 2008-06-04 |
Family
ID=32455983
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002310506A Expired - Fee Related JP4093405B2 (ja) | 2002-10-25 | 2002-10-25 | 画像処理装置、プログラム及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7386175B2 (ja) |
JP (1) | JP4093405B2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60144176D1 (de) * | 2000-11-10 | 2011-04-21 | Ricoh Co Ltd | Bilddekompression von Transformkoeffizienten |
EP2262269B1 (en) | 2001-12-17 | 2018-01-24 | Microsoft Technology Licensing, LLC | Skip macroblock coding |
US7003035B2 (en) | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
US7280700B2 (en) * | 2002-07-05 | 2007-10-09 | Microsoft Corporation | Optimization techniques for data compression |
US7154952B2 (en) | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
JP4093405B2 (ja) | 2002-10-25 | 2008-06-04 | 株式会社リコー | 画像処理装置、プログラム及び記憶媒体 |
FR2849565B1 (fr) * | 2002-12-31 | 2005-06-03 | Medialive | Protection adaptative et progressive d'images fixes codees en ondelettes |
US7606308B2 (en) * | 2003-09-07 | 2009-10-20 | Microsoft Corporation | Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7092576B2 (en) * | 2003-09-07 | 2006-08-15 | Microsoft Corporation | Bitplane coding for macroblock field/frame coding type information |
JP4618676B2 (ja) | 2005-04-28 | 2011-01-26 | 株式会社リコー | 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体 |
US9077960B2 (en) | 2005-08-12 | 2015-07-07 | Microsoft Corporation | Non-zero coefficient block pattern coding |
TWI301025B (en) * | 2005-12-28 | 2008-09-11 | Ind Tech Res Inst | Method for transmitting real-time streaming data and apparatus using the same |
JP4789192B2 (ja) * | 2006-04-12 | 2011-10-12 | 株式会社リコー | 符号処理装置、プログラム及び情報記録媒体 |
US8135223B2 (en) * | 2007-03-16 | 2012-03-13 | Ricoh Company, Ltd. | Image processing apparatus and method of image processing |
US8254455B2 (en) | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
JP4907487B2 (ja) * | 2007-10-24 | 2012-03-28 | 株式会社リコー | 画像処理装置、画像処理方法及び該方法を実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体 |
JP4918026B2 (ja) * | 2007-12-21 | 2012-04-18 | 株式会社リコー | 画像符号化装置、画像符号化方法、コンピュータプログラム、及び、情報記録媒体 |
JP5194776B2 (ja) * | 2007-12-21 | 2013-05-08 | 株式会社リコー | 情報表示システム、情報表示方法およびプログラム |
US8214425B2 (en) * | 2008-01-29 | 2012-07-03 | Mitel Networks Corporation | System and method for storing a program using partial compression |
US7925774B2 (en) | 2008-05-30 | 2011-04-12 | Microsoft Corporation | Media streaming using an index file |
US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
JP5413080B2 (ja) * | 2009-09-15 | 2014-02-12 | 株式会社リコー | 画像処理装置及び画像処理方法 |
JP2024074521A (ja) | 2022-11-21 | 2024-05-31 | 株式会社リコー | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6314452B1 (en) * | 1999-08-31 | 2001-11-06 | Rtimage, Ltd. | System and method for transmitting a digital image over a communication network |
US7236637B2 (en) * | 1999-11-24 | 2007-06-26 | Ge Medical Systems Information Technologies, Inc. | Method and apparatus for transmission and display of a compressed digitized image |
JP2001320584A (ja) | 2000-05-08 | 2001-11-16 | Ricoh Co Ltd | 画像処理装置及び画像形成装置 |
EP1191409A3 (en) | 2000-09-26 | 2004-01-21 | Ricoh Company, Ltd. | Image forming apparatus |
JP3553912B2 (ja) | 2000-09-28 | 2004-08-11 | 株式会社リコー | 消費情報管理システムおよびサービスセンター装置 |
US6898323B2 (en) * | 2001-02-15 | 2005-05-24 | Ricoh Company, Ltd. | Memory usage scheme for performing wavelet processing |
US7013049B2 (en) | 2001-02-28 | 2006-03-14 | Ricoh Company, Ltd. | Image processing scheme |
US7286717B2 (en) | 2001-10-31 | 2007-10-23 | Ricoh Company, Ltd. | Image data processing device processing a plurality of series of data items simultaneously in parallel |
US7411694B2 (en) | 2002-01-21 | 2008-08-12 | Ricoh Company, Ltd. | Data conversion apparatus for and method of data conversion for image processing |
US7734824B2 (en) * | 2002-10-18 | 2010-06-08 | Ricoh Co., Ltd. | Transport of reversible and unreversible embedded wavelets |
JP4093405B2 (ja) | 2002-10-25 | 2008-06-04 | 株式会社リコー | 画像処理装置、プログラム及び記憶媒体 |
-
2002
- 2002-10-25 JP JP2002310506A patent/JP4093405B2/ja not_active Expired - Fee Related
-
2003
- 2003-10-24 US US10/691,623 patent/US7386175B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20040141651A1 (en) | 2004-07-22 |
JP4093405B2 (ja) | 2008-06-04 |
US7386175B2 (en) | 2008-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4093405B2 (ja) | 画像処理装置、プログラム及び記憶媒体 | |
JP4064196B2 (ja) | クライアントコンピュータ、サーバコンピュータ、プログラム、記憶媒体、画像データ処理システム及び画像データ処理方法 | |
JP4111926B2 (ja) | 画像処理装置、プログラム、記憶媒体及び画像送信方法 | |
JP3922919B2 (ja) | 静止画像伸長装置及び静止画像伸長方法 | |
JP4208378B2 (ja) | 画像処理装置及び方法及び記録媒体 | |
US20040146206A1 (en) | Image processing apparatus, program, recording medium, and data decompression method | |
JP2004194152A (ja) | 画像処理装置、プログラム、記憶媒体及び画像編集方法 | |
JP2004254298A (ja) | 画像処理装置、プログラム及び記憶媒体 | |
JP2004242290A (ja) | 画像処理装置および画像処理方法、画像編集処理システム、画像処理プログラム及び記憶媒体 | |
JP2004221633A (ja) | 画像処理装置、画像処理用プログラム及び記憶媒体 | |
JP2004172957A (ja) | 画像処理装置、プログラム及び記憶媒体 | |
JP2004214828A (ja) | 画像処理装置、画像処理方法、画像処理用コンピュータプログラム、及びこの画像処理用コンピュータプログラムを記憶する記憶媒体 | |
JP3952459B2 (ja) | 画像処理装置、プログラム、記憶媒体及び画像処理方法 | |
JP2002369202A (ja) | 画像圧縮装置、画像伸長装置、画像圧縮方法、画像伸長方法、プログラム、及び該プログラムを記録した記録媒体 | |
JP4489474B2 (ja) | 画像処理装置、プログラムおよび記録媒体 | |
JP2003339047A (ja) | 画像圧縮装置、画像伸長装置、画像圧縮伸長装置、画像圧縮方法、画像伸長方法、プログラム、及び該プログラムを記録した記録媒体 | |
JP2004112566A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体 | |
JP4280508B2 (ja) | 位置ずれ補正装置、画像処理装置、プログラム、記憶媒体及び位置ずれ補正方法 | |
JP4093870B2 (ja) | 画像処理装置、プログラムおよび記憶媒体 | |
JP4052952B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
JP4010957B2 (ja) | 画像処理装置、プログラム、記憶媒体および画像形成装置 | |
JP3987425B2 (ja) | 画像伸長装置、プログラム、記憶媒体及び画像伸長方法 | |
JP4520499B2 (ja) | 画像処理装置、画像処理用プログラム及び記憶媒体 | |
JP4374063B2 (ja) | 画像処理装置、プログラム及び記憶媒体 | |
JP2004236219A (ja) | 画像圧縮装置、復号装置、画像形成装置、プログラムおよび記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041007 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050223 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050526 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20060925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080228 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4093405 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140314 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |