JP2000350208A - デジタル信号変換装置及び方法 - Google Patents

デジタル信号変換装置及び方法

Info

Publication number
JP2000350208A
JP2000350208A JP2000115329A JP2000115329A JP2000350208A JP 2000350208 A JP2000350208 A JP 2000350208A JP 2000115329 A JP2000115329 A JP 2000115329A JP 2000115329 A JP2000115329 A JP 2000115329A JP 2000350208 A JP2000350208 A JP 2000350208A
Authority
JP
Japan
Prior art keywords
block
digital signal
blocks
signal conversion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000115329A
Other languages
English (en)
Other versions
JP2000350208A5 (ja
JP4514169B2 (ja
Inventor
Patrice Onno
オンノ パトリス
Eric Majani
マヤーニ エリック
James Philip Andrew
フィリップ アンドリュー ジェームス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2000350208A publication Critical patent/JP2000350208A/ja
Publication of JP2000350208A5 publication Critical patent/JP2000350208A5/ja
Application granted granted Critical
Publication of JP4514169B2 publication Critical patent/JP4514169B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/148Wavelet transforms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 デジタル信号に対してウェブレット変換を行
う際に、処理データによるメモリ占有の度合いを減少さ
せるデジタル信号変換装置及び方法を提供する。 【解決手段】 画像に対して離散ウェブレット変換を施
す際に、前記画像を、W×H個のピクセルを有する複数
の第1ブロックへ分割し、前記第1ブロックの各々をL
L,LH,HL,HHの各周波数サブバンドブロックに
ウェブレット変換し、前記周波数サブバンドブロックL
Lを記憶し、該周波数サブバンドブロックLLに基づい
て前記第1ブロックと同サイズの第2ブロックを生成
し、前記第2ブロックを離散ウェブレット変換する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はデジタルフィルタリ
ング等を行うデジタル信号変換装置及び方法に関し、特
に、符号化対象画像を複数のブロックに分割し、それら
各ブロックを独立に離散ウェブレット変換(フィルタリ
ング処理)するブロックベースの離散ウェブレット変換
(Block-based Discrete Wavelet Transformation)を行
うデジタル信号変換装置及び方法に関する。
【0002】
【従来の技術】従来より、多くのデジタルフィルタリン
グ装置及び方法が知られているが、特に、DCT変換や
ウェブレット変換等が良く知られている。
【0003】これらのフィルタリング装置及び方法は、
一般に画像データの圧縮/解凍を行うための符号化/逆
符号化部の一部品、或いは一機能として組み込まれてい
る。また、これらフィルタリング装置及び方法は、処理
中にデータ記憶を行うために、ランダムアクセス可能な
メモリ或いはバッファ空間を多く必要とすることがあ
る。例えば、画像処理のためにウェブレット変換を行う
従来の構成においては、最初に処理対象である画像デー
タの全てを所定のメモリへ読み込み、次にフィルタリン
グステップを実行している。
【0004】
【発明が解決しようとする課題】しかしながら、上記従
来のウェブレット変換を行う構成において画像データを
読み込むためのメモリ空間は非常に大きいため、例えば
写真機,ファクシミリ,プリンタ,コピー等の装置内に
おいて、上記フィルタリングを実行することは困難であ
る。
【0005】本発明の目的は、デジタル信号に対してウ
ェブレット変換を行う際に、処理データによるメモリ占
有の度合いを減少させることが可能なデジタル信号変換
装置及び方法を提供することである。
【0006】
【課題を解決するための手段】上記目的を達成するため
に、本発明に係るデジタル信号変換方法は以下のステッ
プを備える。
【0007】即ち、画像に対して離散ウェブレット変換
を施すデジタル信号変換方法であって、前記画像を、W
×H個のピクセルを有する複数の第1ブロックへ分割す
るブロック生成ステップと、前記第1ブロックの各々を
LL,LH,HL,HHの各周波数サブバンドブロック
にウェブレット変換する変換ステップと、前記周波数サ
ブバンドブロックLLを記憶し、該周波数サブバンドブ
ロックLLに基づいて前記第1ブロックと同サイズの第
2ブロックを生成する再ブロック生成ステップと、前記
第2ブロックを離散ウェブレット変換する再変換ステッ
プと、を有することを特徴とする。
【0008】
【発明の実施の形態】以下、本発明に係る一実施形態に
ついて、図面を参照して詳細に説明する。
【0009】図1に、本発明に係るデータ処理装置の一
例を示す。本発明におけるデジタル信号変換装置及び方
法は、特に、変換部23に関するものである。図1にお
いて、データ符号化部20は、非符号化データを格納す
るデータソース(source)部10と接続され、入力データ
21を受け取る。
【0010】データソース部10は、例えばランダムア
クセス可能なハードディスク,ディスケット,CDのよ
うな、非符号化データを記憶するためのメモリ手段であ
り、内部のデータを読み出すための適切な読み出し手段
と、内部にデータを記録するための記録手段とを備えて
いる。
【0011】以下、図1に示すデータ処理装置について
詳細に説明する。尚、以下に示す本実施形態において
は、ブロックベースの(Block-based)離散ウェブレッ
ト変換を用いる例について説明する。
【0012】データソース部1は、データ符号化部2へ
の入力データ2aとして、画像信号SIを供給する。画
像信号SIは、モノクロの多値画像、或いはカラー画像
を表す。カラー画像等の複数の色成分を符号化する場合
には、RGBの各色成分、或いは輝度、色度成分を、そ
れぞれ単色成分として圧縮すれば良い。
【0013】上記のように符号化されたデータをユーザ
が利用するユーザ利用部3には、データ符号化部2の出
力データ2bが接続されている。このユーザ利用部3
は、例えば、符号化データ蓄積手段及び/又は符号化デ
ータ転送手段を含んでいる。
【0014】データ符号化部2は従来と同様に変換部2
cを含んでおり、以下、その詳細を説明する。変換部2
cは、信号の分析を行うために画像信号SIを複数の周
波数サブバンド信号へ分解(filtering)する。その分
解には離散ウェブレット変換が用いられ、少なくとも2
つの解像度レベルによる分析が行われる。ここで、信号
の解像度とは一般に、その信号を表すために用いられる
単位長さ当たりのサンプル数で示される。
【0015】変換部2cは量子化部2dに接続してい
る。量子化部2dは、変換部2cにより供給された周波
数サブバンド信号の係数、或いは係数グループの量子化
を行う。つまり、入力した係数を所定の量子化ステップ
(例えば、スカラー量子化やべクトル量子化)により量
子化し、その量子化値に対するインデックスを出力す
る。
【0016】この量子化部2dの出力は、エントロピー
符号化部2eに入力される。エントロピー符号化部2e
は、入力された量子化インデックスをビットプレーンに
分解し、ビットプレーン単位にハフマン符号化或いは算
術符号化を行ってコードストリームを出力する。
【0017】上述したデータ符号化部2は、集積回路の
形態で、コンピュータ,プリンタ,ファクシミリ,スキ
ャナ,デジタルカメラ等のデジタル装置に搭載すること
が可能である。
【0018】図2は、図1に示したデータ符号化部2を
具現化する例を示す。
【0019】装置10はマイクロコンピュータであり、
中央ユニット100、ROM102、RAM103、後
述する本発明を実行する処理回路104、入出力回路1
05に接続している通信バス101を備えている。
【0020】装置10はまた、従来と同様に、キーボー
ドや,ディスケットを受けるディスクドライブを含み、
或いは、通信ネットワークと通信可能なように構成され
ている。
【0021】そのため装置10は、入出力回路105を
介して、デジタルカメラのような周辺機器から符号化さ
れたデータを受け取り、該符号化データを通信ネットワ
ークを介して再び遠隔機器へ転送することも可能であ
る。
【0022】図2において、RAM103は動的ランダ
ムアクセスメモリ、所謂DRAMである。このメモリ
は、入力或いは転送された画像データ全体を格納するた
めに機能する。尚、DRAMは特定の順番で画像サンプ
ルを読み出すために、本発明においては有効である。
【0023】又、処理回路104は、本発明のデジタル
信号変換を実行する専用回路である。この回路は、静的
ランダムアクセスメモリ、所謂SRAMを備えている。
このメモリは、デジタル信号変換処理中の画像サンプル
及び後述する周波数サブバンド信号を一時格納するため
のバッファとして機能する。本実施形態における画像サ
ンプルのフィルタリング、量子化、エントロピー符号化
は、処理回路104において実行される。このようなデ
ジタル信号変換のための専用回路を備える構成は、プリ
ンタ,ファクシミリ,スキャナ,デジタルカメラ等、比
較的低い処理能力のCPUを備える装置に好適である。
【0024】図3は、図1に示したデータ符号化部2を
具現化する他の例を示す。
【0025】この例は、特にPC,ワークステーション
等の広義なデータ処理装置において、本発明のデジタル
信号変換を実行するための構成を示している。このよう
な装置構成においては、本発明のデジタル信号変換は図
2で示したような専用回路を利用してではなく、ソフト
ウエアに基づいてCPUにより実行される。
【0026】装置200は、CPU205、ROM20
2、RAM203、スクリーン204、キーボード21
4、ハードディスク208、ディスケット210を受け
取るるように適合されたディスクドライブ209、通信
ネットワーク213と通信するためのインターフェース
212、マイクロフォン211に接続された入出力カー
ド206、を接続した通信バス201を備えるマイクロ
コンピュータである。
【0027】ハードディスク208は、本発明に従って
符号化されたデータ及び符号化対象データと同様に、以
下に詳述される本発明を実行するプログラムを記憶す
る。これらのプログラムは、磁気テープ、CD−RO
M、ディスケット210から読み出されたり、或いは通
信ネットワーク213を介して受信されたりして、ハー
ドディスク208或いはRAM203に記憶される形態
であっても良い。
【0028】装置が起動された時、本発明の実行コード
を含むプログラムは、RAM203へ転送され、CPU
205内のレジスタは、本発明を実行するために必要な
変数を格納する。以下に詳述されるこれら変数として
は、特に変数iと変数Lがある。尚、RAM203はバ
ッファ機能も果たす。
【0029】又、装置200は、デジタルカメラ,スキ
ャナ、或いは他の入力/記憶手段のような周辺装置20
7から符号化対象となるデータを受け取り、RAM20
3に記憶する。又、装置200は、通信ネットワーク2
13を介して遠隔の装置から符号化対象となるデータを
受信し、RAM203に記憶すると共に、符号化された
データを再び通信ネットワーク213を介して遠隔装置
へ転送することも可能である。
【0030】又、装置200は、マイクロフォン211
から符号化対象となるデータを受信することもできる。
スクリーン204は、キーボード214と共にユーザイ
ンターフェースとして利用でき、符号化されたデータを
表示することが可能である。
【0031】入力或いは転送されたデータは、CPU2
05が前記プログラムに基づき順次符号化する。符号化
されたデータはハードディスク208に記憶されるか、
或いは通信ネットワーク213を介して他の装置に転送
される。符号化処理については、図7を参照して後述す
る。
【0032】図4は、図2に示した処理回路104の具
体的構成例を示す図である。
【0033】処理回路104は、該処理回路104に含
まれる各モジュールを制御するコントローラ20、再組
織化(reorganization)バッファメモリモジュール21、
垂直フィルタリングモジュール22、水平フィルタリン
グモジュール23、第1バッファモジュール24、第2
バッファモジュール25、量子化及びエントロピー符号
化モジュール26を含む。
【0034】再組織化バッファメモリモジュール21
(以下、単にメモリ21と称する)は、接続されたRA
M103とのデータ入出力を行う。又、該メモリ21
は、垂直フィルタリングモジュール22への出力も行
う。更に、該メモリ21は、サンプルが所定の順序で処
理されるように制御し、未処理のサンプルを記憶してお
くことが可能である。
【0035】垂直フィルタリングモジュール22(以
下、単に垂直フィルタリング22と称する)は、画像の
垂直方向のフィルタリングを実行し、その結果を水平フ
ィルタリングモジュール23へ出力する。
【0036】水平フィルタリングモジュール23(以
下、単に水平フィルタリング23と称する)は、画像の
水平方向のフィルタリングを実行し、その結果を第1バ
ッファモジュール24,第2バッファモジュール25へ
出力する。尚、水平フィルタリング23は、垂直フィル
タリング22の前に配置しても良い。
【0037】第1バッファモジュール24(以下、単に
メモリ24と称する)は、水平フィルタリング23によ
り分析された4つの周波数サブバンド信号の中で、最も
低い周波数成分を有する周波数サブバンド信号のみを記
憶し、蓄積データが所定の大きさになったら、垂直フィ
ルタリング22に出力する。
【0038】第2バッファモジュール25(以下、単に
メモリ25と称する)は、水平フィルタリング23によ
り分析された4つの周波数サブバンド信号を蓄積し、該
蓄積データを量子化及びエントロピー符号化モジュール
26へ出力する。
【0039】量子化及びエントロピー符号化モジュール
26(以下、単に符号化モジュール26と称する)にお
ける量子化及びエントロピー符号化処理については、周
知であるためここでは詳述しない。尚、量子化について
は、“Vector Quantizationand Signal Compressio
n”,Allen Gersho and Robert M.Gray,Kluwer Academi
cPublishersに詳述されている。又、エントロピー符号
化については、“A method for the construction of m
inimum redundancy codes”,D.A.Huffman,Proceedings
of the IRE,40:1098-1101,1952に詳述されている。
【0040】以下、図4に示す処理回路104における
動作について詳細に説明する。
【0041】フィルタリングは、サンプルブロック毎に
実行される。1枚の画像は、コントローラ20によって
論理的に複数の領域(ブロック)に分割され、各ブロッ
クにはその処理順序を示す番号付けがなされる。ここで
1枚の画像とは、カラー画像の場合、単色成分毎に符号
化されるため、単色成分のみで構成されている画像を意
味する。尚、カラー画像の単色成分への分解は通常の入
力手段(デジタルカメラやスキャナ等)において行われ
る処理であり、処理回路104ではそのような分解処理
は担わない。
【0042】分割された各ブロックは、隣接するブロッ
クとゼロ或いは1列及び/又は1行の重なりを有する四
角形状である。全てのブロックは同一のサンプル数を有
し、例えば各ブロックはW×Hサンプル(W:画像の垂
直方向のサンプル数,H:画像の水平方向のサンプル
数)を有するが、特に、[2W+OP]2(W:水平方
向ピクセル数,OP:隣接ブロックとの重なり数)サン
プルを有することが望ましい。
【0043】全てのブロックは、同一の方法でフィルタ
リング(離散ウェブレット変換)される。このようなブ
ロック毎の離散ウェブレット変換が、ブロックベースの
離散ウェーブレット変換(block-based discrete wavel
et transformation)と呼ばれるものである。
【0044】符号化される画像のサンプルは、画像全体
を蓄積しているRAM103からブロック単位で読み出
され、処理回路104内のSRAM、即ち、メモリ21
内に一時格納される。尚、読み出されるブロックの順序
は、先に付された番号に従う。又、読み込まれた各ブロ
ックは、垂直及び水平フィルタリング22,23によっ
て周波数分析される。本発明では、ウェブレット変換に
より分析が行われる。その結果、各ブロックは、4つの
周波数サブバンドブロック(LL,LH,HL,HH)
へ変換される。
【0045】その分析は、少なくとも2つの解像度レベ
ルで実行される。即ち、少なくとも1つの解像度レベル
で得られた、垂直,水平両方向における低周波成分を含
む周波数サブバンドブロックLLは、垂直及び水平フィ
ルタリング22,23によって再度フィルタリングされ
る。このループは少なくとも1回実行される。初期画像
の各ブロックは、要求された解像度レベル数に従って分
析される。
【0046】第1の解像度レベルで得られた、周波数サ
ブバンドブロックLL以外の周波数サブバンドブロック
(LH,HL,HH)は、メモリ25へ供給され、次の
解像度レベルでの周波数分析がなされることなく、符号
化モジュール26によって量子化及びエントロピー符号
化される。符号化モジュール26は、第1の解像度レベ
ルで得られたサブバンドブロックと等しい所定サイズの
ブロックに対して、量子化及びエントロピー符号化を実
行するように構成されている。
【0047】垂直及び水平フィルタリング22,23
は、画像内に形成されたブロックサイズと等しい所定サ
イズ(W×H)、つまり固定のサンプル数のブロックに
対して動作するため、メモリ24は、各ブロックを分析
した際に生成された低周波サンプルを含むブロック、即
ち各周波数サブバンドブロックLLを記憶し、それらを
グループ化して要求されるサイズのブロックを形成する
ことが可能である。そして、これらのサブバンドブロッ
クのグループは、垂直フィルタリング22へ供給され
る。
【0048】尚、最終分解レベルで得られた周波数サブ
バンドブロックLLについては、これ以上のフィルタリ
ングはなされないため、メモリ24に記憶されなくても
良い。
【0049】一例として、図5に符号化される画像の一
部を示す。同図において、Biはブロックを示す(i
は、ブロックの順位を示す整数である)。
【0050】本実施形態においては、1つのブロック
は、64×64サイズのサンプルを有する4角形状であ
る。ここで注意すべき点は、ブロックのサイズは画像の
それと比べて小さいことである。加えて、これらのブロ
ックは、隣接するブロック間において1行及び/又は1
列が重なり合っている。そのため各ブロックは、実際は
(64(+1))×(64(+1))のサンプルを含
む。隣接ブロック間の重なり合いによる利点及びエッジ
フィルタリングについては、フランス国特許出願No.
99 02303 及び 99 02305に詳述されて
いる。
【0051】ブロック内において、サンプルは所定の順
番、例えば、左上の角から右下の角へジグザグに読み出
される。又、各ブロックは、図5に示されているように
所定の順番でRAM103から読み出される。この読み
出し順としては、図5ではジグザグであるがこれに限る
ものではない。つまり、現在処理されているデータのメ
モリ占有量が最小となる順序、つまり、処理回路104
内において要求されるメモリサイズが最小となる順序で
実行されるのであれば、他の読み出し順であっても構わ
ない。
【0052】この点について更に詳しく説明する。
【0053】周波数サブバンドブロックLLをグループ
化して再分析を実行するためには、図6に示されるよう
に、ブロックBiと同サイズのブロックを解像度レベル
毎に生成する必要がある。この場合、各周波数サブバン
ドブロックLL1,LL2,LL3,LL4のブロック
内での位置関係と、各周波数サブバンドブロックが関係
する画像サンプルの画像上での位置関係とが対応してい
なければならない。
【0054】又、図5に示されるグループ化を効率的に
行うには、前記位置関係を考慮して、グループ化の対象
となるブロックをグループ単位とし、該グループ単位内
において連続的にブロックを処理すればよい。本実施形
態においては、例えば、互いに隣接するB1,B2,B
3,B4が1つのグループ単位となる。この手法によれ
ば、処理回路104内に準備すべきメモリとしては、各
解像度レベルにおいて周波数サブバンドブロックLL
1,LL2,LL3,LL4を記憶可能な容量さえあれ
ば良いので、要求されるメモリ容量は最小限で済む。
【0055】具体的には、例えば、ブロックB1→B2
→B5→B6→B3→B4の順番で分析を実行した場
合、周波数サブバンドブロックLL1,LL2,LL
3,LL4をグループ化するためには、途中で生成され
たLL5,LL6を待機させておくための余分なメモリ
スペースが必要となるため、より大きなメモリスペース
が必要となる。しかし、本実施形態のようにブロックB
1→B2→B3→B4の順番で分析を実行すれば、最短
時間でグループ化が可能であると共に、そのグループ単
位を直ちにモジュール22に出力することができるた
め、前者のような余分なメモリスペースが必要でなくな
る。
【0056】尚、本実施形態において4ブロックからな
る各グループ単位は、それら自身マクロブロックのサブ
バンドブロックとして扱われる。マクロブロックとは、
図5中の太線で囲まれた領域であり、要求される解像度
レベルに応じて対象となるブロック数が変化する。具体
的には、最終i解像度レベルで要求されるマクロブロッ
クは、(画像の垂直方向2i-1個)×(水平方向2
i-1個)のブロックから構成される。
【0057】又、前記グループ単位は、各解像度レベル
において生成された周波数サブバンドブロックLLを集
める単位に相当するが、これは、各解像度レベルに応じ
て階層的に変化する。つまり、第2解像度レベルでは2
×2個のブロックによって構成されていたグループ単位
は、解像度レベル数が大きくなるほど、対象となるブロ
ック数が増えていく。具体的には、最大解像度レベル数
がiである場合に、第j(j<i)解像度レベルにおけ
るグループ単位は、(画像の垂直方向2j-1個)×(水
平方向2j-1個)のブロックから構成される。そして各
グループ単位で、前の解像度レベルにおいて生成された
周波数サブバンドブロックLLを収集し、グループ化す
る。
【0058】図5においては、第3解像度レベルの分解
のための、ブロック処理順の一例を連続線で示してい
る。グループ単位内の4つのブロックは、続くグループ
単位の処理が開始される以前に全て処理される。同様
に、一つのマクロブロックは、続くマクロブロックの処
理が開始される以前に、完全に処理される。4つのブロ
ックにおけるブロック処理順は、所定の順番であるもの
の、図5に示されるようなジグザグ順である必要はな
い。例えば、B1→B3→B2→B4であっても構わな
い。重要なことは、続くグループ単位の処理を開始する
以前に、現在のグループ単位内における全てのブロック
が処理されることである。これは、各解像度レベルにつ
いて同様である。
【0059】上記処理は言い換えると、1つのマクロブ
ロック内において、要求される全ての解像度レベルによ
るフィルタリングが実行されるということである。即
ち、現在処理されているマクロブロックのデータだけが
メモリに保持され、要求された全ての解像度レベルによ
るフィルタリングがなされる。
【0060】先に述べたように、マクロブロック内に含
まれるブロック数は解像度レベル数に依存する。具体的
には、一つのマクロブロックは、第3解像度レベルで1
6ブロック、第4解像度レベルで64ブロック、第5解
像度レベルで256ブロックを含む。
【0061】ここで、処理回路104の説明に戻る。
(64(+1))×(64(+1))サンプルのサイズ
を有するブロックBiは、垂直及び水平フィルタリング
22,23におけるフィルタリングによって、4つの周
波数サブバンドブロックLLi,LHi,HLi,HH
iが生成される。ここで、周波数サブバンドブロックL
Liは(32(+1))×(32(+1))サンプルの
サイズを有し、一方、ブロックLHi,HLi,HHi
は、各々32×32サンプルのサイズを有するように分
析される。
【0062】周波数サブバンドブロックLLiは、画像
の垂直,水平方向の2分析方向における低周波サンプル
からなる。周波数サブバンドブロックLHiは、第1分
析方向における高周波サンプルと他の分析方向における
低周波サンプルからなる。周波数サブバンドブロックH
Liは、第1分析方向における低周波サンプルと他の分
析方向における高周波サンプルからなる。そして周波数
サブバンドブロックHHiは、2つの分析方向における
高周波サンプルからなる。
【0063】メモリ25は、現在処理中であるブロック
Biの分析結果である周波数サブバンドブロックLL
i,LHi,HLi,HHiを受け取り、それらを記憶
する。本実施形態によればメモリ25は、16ビットで
表現された(32(+1))×(32(+1))サンプ
ルを有する1ブロックと、16ビットで表現された32
×32サンプルを有する3ブロックを記憶するために、
少なくとも64ビットの1024(+17)ワードの記
憶容量を有する。
【0064】コントローラ20は、メモリ25内の4つ
の周波数サブバンドブロックから一つを選択して、符号
化モジュール26へ転送する。符号化モジュール26
は、受け取ったデータの量子化及びエントロピー符号化
を実行する。
【0065】上述したように、メモリ24は、垂直及び
水平フィルタリング22,23によるブロックの分解に
よって生じた、低周波サンプルからなる周波数サブバン
ドブロックLLiを受け取る。但し、最低解像度レベル
については除かれる。これは、最終分解レベルのデータ
については、更なる分析が必要ないためである。
【0066】図6は、メモリ24の構成を示している。
メモリ24は、垂直及び水平フィルタリング22,23
によって各解像度レベルで生じた周波数サブバンドブロ
ックLLiを格納すべく、4つの領域を有している。
尚、ここでは最大解像度レベルを4としている。尚、最
大解像度レベルが3であれば、前記メモリ領域は3つで
良い。
【0067】各メモリ領域は、各解像度レベルにおいて
発生した周波数サブバンドブロックLLiを格納し、1
6ビット表現された(32(+1))×(32(+
1))サンプルのサイズを有する4つの周波数サブバン
ドブロックLLiから得られた、(64(+1))×
(64(+1))サンプルを記憶可能とする分の容量を
有する。尚、各メモリ領域において、サイズ(32(+
1))×(32(+1))の4つの周波数サブバンドブ
ロックLLiは、例えば、左上のブロックLL1の33
行目は右上のブロックLL2の第1行と同じ行となるよ
うに、隣接するブロック間で1行及び/又は1列が重な
り合っている。その結果、サイズ(32(+1))×
(32(+1))の4つの周波数サブバンドブロックL
Liをグループ化しても、サイズ(64(+1))×
(64(+1))のブロックとなる。各ブロックLLi
は、ジグザグ走査に従ってメモリ24に書き込まれる。
【0068】メモリ領域が埋められると直ぐに、そのデ
ータは垂直フィルタリング22へ供給され、再分析され
る。そして、全てのブロックについて全解像度の分析が
終了すると、一連の処理を終了する。
【0069】次に、図7について説明する。図7は、図
4に示した処理回路104における処理シーケンスを示
すものであるが、これは、図3に示した構成で実行され
るソフトウエアの実行ステップに対応する。以下、特に
対応する図3の構成におけるメモリ領域について
は、()内に記す。
【0070】ステップE1では、処理される第1ブロッ
クを示すために、ワーキングパラメータiを1へ初期化
する。即ちパラメータiは、現在処理中であるブロック
の順番を示す。続くステップE2において、分解の第1
解像度レベルを示すために、ワーキングパラメータLを
1へ初期化する。即ちパラメータLは、規在処理中であ
る解像度レベルを示す。
【0071】続くステップE3では、現在処理中である
解像度レベルが第1解像度レベルであるか否かを判定す
る。第1解像度であればステップE4に進み、ブロック
Biがメモリ21(第3図のRAM203内に割り当て
られた作業用のメモリ領域)に読み込まれると共に、該
ブロックBiを周波数分析する。そして、分析結果であ
る4つの周波数サブブロックLLi,LHi,HLi,
HHiはメモリ25(第3図のRAM203のバッファ
メモリとして割り当てた領域)に記憶される。
【0072】一方、ステップE3において、現在処理中
である解像度レベルが第1解像度でなければステップE
5に進む。ステップE5では、メモリ24に記憶されて
いる、前の解像度レベルにおいて生成された周波数サブ
ブロックLLをグループ化したブロックについて、周波
数分析を行う。
【0073】ステップE4,E5の終了後は、ステップ
E7へ進み、高周波サンプルからなる周波数サブバンド
ブロックLHi,HLi,HHiを量子化及びエントロ
ピー符号化する。尚、この処理は周知であるため、ここ
では詳述しない。
【0074】次いでステップE8では、現在処理中であ
る解像度レベルが最大解像度レベルであるか否かを判定
する。本実施形態では最大解像度レベルを4としている
ため、パラメータLが4に等しいか否かを判定する。
【0075】最大解像度レベルであればステップE9に
進み、周波数サブバンドブロックLLiも同様に、量子
化及びエントロピー符号化する。これは、メモリ24に
周波数サブブロックLLiを記憶する必要がないことを
意味する。
【0076】一方、ステップE8において最大解像度レ
ベルでなければステップE10に進み、周波数サブバン
ドブロックLLiを、現在処理中である解像度レベルL
に対応するメモリ24の所定領域に記憶する。
【0077】ステップE10の処理後はステップE11
に進む。ステップE11では、第1解像度レベルに対応
するメモリ24の所定領域が、周波数サブバンドブロッ
クLLiにより埋められているか否か、即ち、第2解像
度レベルでのフィルタリング対象となる周波数サブブロ
ックLLiが所定のサイズのブロックにグループ化され
ているか否かを判定する。尚、本実施形態におけるブロ
ックサイズは、(64(+1))×(64(+1))サ
ンプルである。
【0078】ステップE11における判定結果がyes
であれば、ステップE12に進み、パラメータL=2を
設定する。そしてステップE3へ進み、第1解像度レベ
ルに対応するメモリ24の所定領域に格納された周波数
サブバンドブロックLLiをフィルタリングする。
【0079】一方、ステップE11における判定結果が
noであれば、ステップE13に進み、第2解像度レベ
ルに対応するメモリ24の所定領域が、周波数サブバン
ドブロックLLiにより埋められているか否か、即ち、
第3解像度レベルでのフィルタリング対象となる周波数
サブブロックLLiが所定のサイズのブロックにグルー
プ化されているか否かを判定する。
【0080】ステップE12における判定結果がyes
であれば、ステップE14に進み、パラメータL=3を
設定する。そしてステップE3へ進み、第2解像度レベ
ルに対応するメモリ24の所定領域に格納された周波数
サブバンドブロックLLiをフィルタリングする。
【0081】一方、ステップE13における判定結果が
noであれば、ステップE15に進み、第3解像度レベ
ルに対応するメモリ24の所定領域が、周波数サブバン
ドブロックLLiにより埋められているか否か、即ち、
第4解像度レベルでのフィルタリング対象となる周波数
サブブロックLLiが所定のサイズのブロックにグルー
プ化されているか否かを判定する。
【0082】ステップE15における判定結果がyes
であれば、ステップE16に進み、パラメータL=4を
設定する。そしてステップE3へ進み、第3解像度レベ
ルに対応するメモリ24の所定領域に格納された周波数
サブバンドブロックLLiをフィルタリングする。
【0083】尚、上記E11〜E16で示した様なステ
ップ数は本来、選択された解像度レベル数に依存する。
【0084】ステップE15における判定結果がnoで
あれば、ステップE17に進み、符号化対象である画像
全体の処理が終了したか否かを判定する。
【0085】画像全体の処理が終了していなければステ
ップE18へ進み、画像中の続くブロックを入力するた
めにワーキングパラメータiを1増加させる。上述した
ように、ブロックは所定の順番で処理される。ステップ
E18の終了後、処理はステップE2に進む。
【0086】一方、ステップE17において画像全体の
処理が終了していればステップE19に進み、全てのメ
モリを空にし、メモリ25に収納されているデータがあ
ればたとえ不完全であってもこれを量子化及び符号化す
る。これにより、画像の符号化は終了する。
【0087】尚、本発明は上述した実施形態に限定され
ず、当業者であれば容易に実施可能である他の異なる形
態をも包含している。具体的には、本発明におけるブロ
ックベースの離散ウェブレット変換装置及び方法は、ス
キャナ、複写機、デジタルカメラ等の一部として搭載さ
れて良い。又、プログラムの形態であっても良い。
【0088】
【発明の効果】以上説明したように本発明によれば、デ
ジタル信号に対してウェブレット変換を行う際に、処理
データによるメモリ占有の度合いを減少させることが可
能となる。
【図面の簡単な説明】
【図1】本発明に係る一実施形態におけるのデータ処理
装置の構成を示す図である。
【図2】本実施形態におけるデータ符号化部2の構成を
示す図である。
【図3】本実施形態におけるデータ符号化部2の構成を
示す図である。
【図4】図2に示す処理回路104の具体的構成例を示
す図である。
【図5】本実施形態におけるブロックの処理順を示す図
である。
【図6】本実施形態におけるメモリ24の構成例を示す
図である。
【図7】本実施形態におけるデジタル信号変換方法を示
すフローチャートである。
フロントページの続き (72)発明者 エリック マヤーニ フランス国 レンヌ−アタラント, セデ ックス セッソン−セヴィニエ 35517, リュ ドゥ ラ トゥッシュ−ランベー ル キヤノン リサーチ センター フラ ンス エス. エー. 内 (72)発明者 ジェームス フィリップ アンドリュー オーストラリア国 2113 ニュー サウス ウェールズ州, ノース ライド, ト ーマス ホルト ドライブ 1 キヤノン インフォメーション システムズ リサ ーチ オーストラリア プロプライエタリ ー リミテツド 内

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 画像に対して離散ウェブレット変換を施
    すデジタル信号変換方法であって、 前記画像を、W×H個のピクセルを有する複数の第1ブ
    ロックへ分割するブロック生成ステップと、 前記第1ブロックの各々をLL,LH,HL,HHの各
    周波数サブバンドブロックにウェブレット変換する変換
    ステップと、 前記周波数サブバンドブロックLLを記憶し、該周波数
    サブバンドブロックLLに基づいて前記第1ブロックと
    同サイズの第2ブロックを生成する再ブロック生成ステ
    ップと、 前記第2ブロックを離散ウェブレット変換する再変換ス
    テップと、を有することを特徴とするデジタル信号変換
    方法。
  2. 【請求項2】 前記ブロック生成ステップにおいては、
    前記画像を、その水平及び垂直方向に(n×n)個の前
    記第1ブロックからなる、複数の第1グループに分割
    し、 前記変換ステップ、前記再ブロック生成ステップ、及び
    前記再変換ステップは、前記第1グループ単位で実行さ
    れることを特徴とする請求項1記載のデジタル信号変換
    方法。
  3. 【請求項3】 更に、前記再変換ステップにおける変換
    によって生成される周波数サブバンドブロックLLを、
    前記第1グループ毎に記憶し、前記第1ブロックと同サ
    イズの第3ブロックを生成する再々ブロック生成ステッ
    プと、 前記第3ブロックをウェブレット変換する再々変換ステ
    ップと、を有し、 前記再ブロック生成ステップにおいては、前記画像を、
    その水平,垂直方向に(n×n)個の前記第1グループ
    からなる、複数の第2グループに分割し、 前記再々ブロック生成ステップ及び前記再々変換ステッ
    プは、前記第2グループ単位で実行されることを特徴と
    する請求項2記載のデジタル信号変換方法。
  4. 【請求項4】 要求される解像度レベルが第i(i>
    1)レベルである場合に、前記再ブロック生成ステップ
    及び前記再変換ステップにおいては、 前記画像を、前レベルの処理において生成されたグルー
    プ毎の周波数サブバンドブロックLLの(n×n)個か
    らなる、複数の次グループに更に分割し、該次グループ
    単位に離散ウェブレット変換を施す処理を、再帰的に
    (i−1)回繰り返し実行することを特徴とする請求項
    2記載のデジタル信号変換方法。
  5. 【請求項5】 要求される解像度レベルが第i(i>
    1)レベルである場合に、前記再ブロック生成ステップ
    においては、 前記次グループのそれぞれが、前記画像の水平,垂直方
    向に(n×n)個の、第(i−1)レベルの解像度にお
    けるグループによって構成されるようにすることを特徴
    とする請求項4記載のデジタル信号変換方法。
  6. 【請求項6】 前記再ブロック生成ステップにおいて
    は、前レベルの処理において生成されたグループ毎の周
    波数サブバンドブロックLLの集合によって、、前記第
    1ブロックと同サイズのブロックを生成することを特徴
    とする請求項5記載のデジタル信号変換方法。
  7. 【請求項7】 前記第1ブロックのサイズは、Wを垂直
    方向のピクセル数、OPを隣接ブロックと重なったピク
    セル数とすると、[2W+OP]2であることを特徴と
    する請求項1記載のデジタル信号変換方法。
  8. 【請求項8】 前記nは2であることを特徴とする請求
    項3記載のデジタル信号変換方法。
  9. 【請求項9】 前記請求項1乃至8のいずれかに記載の
    デジタル信号変換方法を実行する装置を実現するための
    コンピュータ用命令群を記憶する記憶装置。
  10. 【請求項10】 前記請求項1乃至8のいずれかに記載
    のデジタル信号変換方法を実行する装置を実現するため
    のコンピュータ用命令群を記憶する記憶媒体。
  11. 【請求項11】 前記請求項1乃至8のいずれかに記載
    のデジタル信号変換方法を実行する装置を実現するため
    のコンピュータ用命令群を伝送する信号。
  12. 【請求項12】 前記請求項1乃至8のいずれかに記載
    のデジタル信号変換方法を実行可能なスキャナ装置。
  13. 【請求項13】 前記請求項1乃至8のいずれかに記載
    のデジタル信号変換方法を実行可能な複写機。
  14. 【請求項14】 前記請求項1乃至8のいずれかに記載
    のデジタル信号変換方法を実行可能なデジタルカメラ。
  15. 【請求項15】 画像に対して離散ウェブレット変換を
    施すデジタル信号変換装置であって、 前記画像を、W×H個のピクセルを有する複数の第1ブ
    ロックへ分割するコントローラと、 前記第1ブロックの各々をLL,LH,HL,HHの各
    周波数サブバンドブロックにウェブレット変換するフィ
    ルタリング回路と、 前記周波数サブバンドブロックLLに基づいて前記第1
    ブロックと同サイズの第2ブロックを生成するために該
    周波数サブバンドブロックLLを記憶するメモリ回路
    と、を有し、 前記フィルタリング回路は更に、前記第2ブロックを離
    散ウェブレット変換することを特徴とするデジタル信号
    変換装置。
  16. 【請求項16】 前記請求項1乃至8のいずれかに記載
    のデジタル信号変換方法を実行する符号化方法。
  17. 【請求項17】 前記請求項15に記載のデジタル信号
    変換装置を実装した符号化装置。
JP2000115329A 1999-04-15 2000-04-17 デジタル信号変換装置及び方法 Expired - Fee Related JP4514169B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9904746A FR2792432B1 (fr) 1999-04-15 1999-04-15 Dispositif et procede de transformation de signal numerique
FR9904746 1999-04-15

Publications (3)

Publication Number Publication Date
JP2000350208A true JP2000350208A (ja) 2000-12-15
JP2000350208A5 JP2000350208A5 (ja) 2007-05-10
JP4514169B2 JP4514169B2 (ja) 2010-07-28

Family

ID=9544454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000115329A Expired - Fee Related JP4514169B2 (ja) 1999-04-15 2000-04-17 デジタル信号変換装置及び方法

Country Status (3)

Country Link
US (1) US6944349B1 (ja)
JP (1) JP4514169B2 (ja)
FR (1) FR2792432B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100630983B1 (ko) * 2001-02-20 2006-10-09 산요덴키가부시키가이샤 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화장치 및 화상 복호 장치
KR100834669B1 (ko) 2006-10-20 2008-06-02 삼성전자주식회사 썸네일 이미지 생성을 위한 웨이블릿 변환 기반 이미지부호화기, 복호화기 및 그 방법
JP2010136260A (ja) * 2008-12-08 2010-06-17 Sony Corp 情報処理装置および方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2834162A1 (fr) * 2001-12-20 2003-06-27 Koninkl Philips Electronics Nv Systeme de communication de donnees selon un principe de commutation par paquets
FR2842983B1 (fr) * 2002-07-24 2004-10-15 Canon Kk Transcodage de donnees
JP4129694B2 (ja) * 2006-07-19 2008-08-06 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
BRPI0809662A2 (pt) 2007-04-11 2014-10-14 Red Com Inc Câmaras de vídeo e métodos de gravação de vídeo de movimento com câmara e de processamento de imagens
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
ES2628010T3 (es) 2009-12-16 2017-08-01 Red.Com, Llc Formateo basado en resolución de datos de imagen comprimidos
WO2014127153A1 (en) 2013-02-14 2014-08-21 Red. Com, Inc. Video camera
US20140294314A1 (en) * 2013-04-02 2014-10-02 Samsung Display Co., Ltd. Hierarchical image and video codec
WO2016076515A1 (ko) * 2014-11-13 2016-05-19 삼성전자 주식회사 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치
KR102620350B1 (ko) 2017-07-05 2024-01-02 레드.컴, 엘엘씨 전자 디바이스에서의 비디오 이미지 데이터 처리

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181819A (ja) * 1990-11-16 1992-06-29 Sony Corp 符号化データの受信装置及び方法
JPH10224788A (ja) * 1997-02-05 1998-08-21 Sharp Corp 画像符号化装置及び画像復号装置
JPH10243400A (ja) * 1997-02-28 1998-09-11 Noriyuki Fujiwara 画像変換方式

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5315670A (en) * 1991-11-12 1994-05-24 General Electric Company Digital data compression system including zerotree coefficient coding
US5412741A (en) * 1993-01-22 1995-05-02 David Sarnoff Research Center, Inc. Apparatus and method for compressing information
US5602589A (en) * 1994-08-19 1997-02-11 Xerox Corporation Video image compression using weighted wavelet hierarchical vector quantization
DE69633129T2 (de) * 1995-10-25 2005-08-04 Sarnoff Corp. Waveletbaum-bildcoder mit überlappenden bildblöcken
US5710835A (en) * 1995-11-14 1998-01-20 The Regents Of The University Of California, Office Of Technology Transfer Storage and retrieval of large digital images
AUPO600897A0 (en) * 1997-04-04 1997-05-01 Canon Information Systems Research Australia Pty Ltd An efficient method of image compression comprising a low resolution image in the bit stream
EP0905651A3 (en) * 1997-09-29 2000-02-23 Canon Kabushiki Kaisha Image processing apparatus and method
US6332030B1 (en) * 1998-01-15 2001-12-18 The Regents Of The University Of California Method for embedding and extracting digital data in images and video
US6154493A (en) * 1998-05-21 2000-11-28 Intel Corporation Compression of color images based on a 2-dimensional discrete wavelet transform yielding a perceptually lossless image
US6201897B1 (en) * 1998-11-09 2001-03-13 Earth Resource Mapping Transformation and selective inverse transformation of large digital images
US6466698B1 (en) * 1999-03-25 2002-10-15 The United States Of America As Represented By The Secretary Of The Navy Efficient embedded image and video compression system using lifted wavelets

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181819A (ja) * 1990-11-16 1992-06-29 Sony Corp 符号化データの受信装置及び方法
JPH10224788A (ja) * 1997-02-05 1998-08-21 Sharp Corp 画像符号化装置及び画像復号装置
JPH10243400A (ja) * 1997-02-28 1998-09-11 Noriyuki Fujiwara 画像変換方式

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100630983B1 (ko) * 2001-02-20 2006-10-09 산요덴키가부시키가이샤 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화장치 및 화상 복호 장치
KR100834669B1 (ko) 2006-10-20 2008-06-02 삼성전자주식회사 썸네일 이미지 생성을 위한 웨이블릿 변환 기반 이미지부호화기, 복호화기 및 그 방법
US8045824B2 (en) 2006-10-20 2011-10-25 Samsung Electronics Co., Ltd. Wavelet transformation-based image encoder, decoder and method for generating thumbnail image
JP2010136260A (ja) * 2008-12-08 2010-06-17 Sony Corp 情報処理装置および方法
JP4626707B2 (ja) * 2008-12-08 2011-02-09 ソニー株式会社 情報処理装置および方法

Also Published As

Publication number Publication date
FR2792432B1 (fr) 2001-07-13
FR2792432A1 (fr) 2000-10-20
JP4514169B2 (ja) 2010-07-28
US6944349B1 (en) 2005-09-13

Similar Documents

Publication Publication Date Title
Chen et al. Analysis and architecture design of EBCOT for JPEG-2000
EP1744558B1 (en) Video coding system providing separate coding chains for dynamically selected small-size or full-size playback
US6249614B1 (en) Video compression and decompression using dynamic quantization and/or encoding
US6768819B2 (en) Image processing apparatus and method, and storage medium used therewith
US7133567B2 (en) Image coding apparatus and image coding method
EP1009168A2 (en) Image processing apparatus and method, and recording medium
US7302105B2 (en) Moving image coding apparatus, moving image decoding apparatus, and methods therefor
WO1998056184A1 (en) Image compression system using block transforms and tree-type coefficient truncation
JP4514169B2 (ja) デジタル信号変換装置及び方法
JP2000341693A (ja) デジタル信号変換方法及び装置
EP1035511A2 (en) Encoding method and apparatus
CN103179389A (zh) 图像处理设备和图像处理方法
US20110091121A1 (en) Coding apparatus and method
US7542611B2 (en) Image processing apparatus and method for converting first code data sets into second code data for JPEG 2000 and motion JPEG 2000
US7565024B2 (en) Run length coding and decoding
US7095897B2 (en) Zero length or run length coding decision
CN101754017B (zh) 信息处理设备和方法
US6411736B1 (en) Method and apparatus for decoding
JP4678814B2 (ja) 画像処理方法及び装置
JPH11252338A (ja) データ処理装置
US20050135684A1 (en) Magnitude refinement coding
US7787698B2 (en) Sign coding and decoding
JP3746804B2 (ja) 画像圧縮装置
JP3421463B2 (ja) 画像圧縮装置の量子化テーブル生成装置
JP2000244742A (ja) 画像処理装置及び方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070314

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070314

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100326

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100507

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100510

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140521

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees