JP3674965B2 - カラー画像圧縮方法 - Google Patents

カラー画像圧縮方法 Download PDF

Info

Publication number
JP3674965B2
JP3674965B2 JP25178194A JP25178194A JP3674965B2 JP 3674965 B2 JP3674965 B2 JP 3674965B2 JP 25178194 A JP25178194 A JP 25178194A JP 25178194 A JP25178194 A JP 25178194A JP 3674965 B2 JP3674965 B2 JP 3674965B2
Authority
JP
Japan
Prior art keywords
color
representative
partial
pixel
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25178194A
Other languages
English (en)
Other versions
JPH08115405A (ja
Inventor
正規 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP25178194A priority Critical patent/JP3674965B2/ja
Publication of JPH08115405A publication Critical patent/JPH08115405A/ja
Application granted granted Critical
Publication of JP3674965B2 publication Critical patent/JP3674965B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、カラー画像の圧縮に関する。
近年、カラー画像の表示の高品位化の要望が高まり、所謂フルカラー対応システムに対する要望が高まって来た。一方、現状では、従来の256色擬似カラーディスプレイが行き渡っているため、その活用を図ることが要求されている。このために既存のディスプレイによりフルカラー画像を出来る限り自然に表示する必要がある。このため、代表色と呼ばれる所定の数の色(例えば256色)を選び、これらの色によってカラー画像を表現する方法、即ちカラー画像圧縮方法を実現する必要がある。
【0002】
【従来の技術】
カラー画像圧縮方法の一つとして、従来より、LUT(Look up table) が用いられている。具体的には、原画像に観察される色(例えば、16777216色のフルカラー)のうち、代表色として所定の数の色(例えば256色)を選び、その色のみをLUTに設定する。各画素は、LUTに格納されている何れかの色によって表現される。なお、LUTに設定される代表色の列はカラーマップと呼ばれる。圧縮画像によって表示される画像において、その多くの画素は、元の色とは異なった色によって表示され、原画像の色相感を損なうことが多く、この様な欠点を回避するべく、従来より、種々の方法が提案されている。以下に、従来技術の代表的方法を2件例示する。
【0003】
第1は、図5に示す構成をとる(特開平4−298196参照)。図中、1はカラー画像入力部、2は出現色頻度計数部、3はカラーマップ作成部、4はカラー画像変換部である。本方法では、対象となるカラー画像に含まれるカラー情報の出現頻度を求め、出現頻度の高い順に所定の数の代表色を抽出する。本方法では、画像の多くの範囲で観察される色は忠実に保存される。しかし、その他の部分の色はすべて原画像の色とかなりかけ離れた色で再現されるので、かなりの違和感を生じる。
【0004】
第2は、図6に示す構成をとる(特開昭64−80991参照)。図中、1はカラー画像入力部、2は画像分割部、3はカラーマップ作成部、4はカラー画像変換部である。本方法では、対象となるカラー画像に含まれるカラー情報を色空間(例えば、RGBの三原色の各成分を3つの座標軸とする3次元空間等)に変換し、色空間を複数領域に分割して代表となる色を決定する方法も提案されている。本方法では、原画像で色相が急激に変化する位置を検出し、その位置を境界とした領域内に、適応的にカラーマップを決定する。その結果、画像の全体にわたって画質が向上し、画像の転送や格納に有用である。しかし、一つの画像に対して複数のカラーマップを持つため、画像表示する場合には装置の構成が複雑になり導入のメリットが無いのが現状である。
【0005】
【発明が解決しようとする課題】
従って、(1) 画像の全体にわたって画質を保持するカラーマップを決定できない、(2) 画質を極力保持するために、複数のカラーマップを設定しなければならない、といった問題点があった。
【0006】
本発明は、これらの問題点を解決し、既存のディスプレイを用いて、フルカラー画像を表示するカラー画像圧縮方法を実現することを目的とする。
【0007】
【課題を解決するための手段】
図1は、本発明の原理説明図、図3は図1の処理の流れを示す図である。図1中、1はカラー画像入力部、2は色空間分割部、3はカラーマップ作成部、4はカラー画像変換部である。
【0008】
請求項1の発明では、カラー画像の色空間を代表色に対応する数の複数部分領域に分割し、該部分領域に属する色値を該部分領域毎に定めた代表色に変換するカラー画像圧縮方法であって、前記カラー画像中の各画素について、色空間に変換し、変換された前記各画素の前記色空間での色値の分布を1つの部分領域とし、該部分領域内でユークリッド距離が最も大きい2色を代表色として前記部分領域を2分割し、前記2分割された各部分領域の代表色は該部分領域の平均値を用い、各部分領域毎の画素値と代表色との距離の評価値を求めて、該評価値の分散を計算し、分散の大きい部分領域を選択し、該選択された部分領域を2分割してそれぞれの代表色を決定し、該2分割により増加した後の部分領域の数が所定数になるまで、毎回全部分領域を対象に、領域の分割と代表色の決定を繰り返す。
【0009】
請求項2の発明では、カラー画像の色空間を代表色に対応する数の複数部分領域に分割し、該部分領域に属する色値を該部分領域毎に定めた代表色に変換するカラー画像圧縮方法であって、前記カラー画像中の各画素について、色空間に変換し、変換された前記各画素の前記色空間での色値の分布を1つの部分領域とし、該部分領域内でユークリッド距離が最も大きい2色を代表色として前記部分領域を2分割し、前記2分割された各部分領域の代表色は各部分領域の色値の平均値とし、前記部分領域の各画素に対応する色値と前記部分領域の色値の平均値とから、該部分領域の分散を計算し、分散の大きい部分領域を選択し、該選択された部分領域を2分割してそれぞれの代表色を決定し、該2分割により増加した後の全部分領域の数が所定数になるまで、毎回全部分領域を対象に、領域の分割と代表色の決定を繰り返す。
【0010】
請求項3の発明では、請求項1または請求項2の発明を、色空間がRGB値をそのまま3成分とする3次元座標で示される場合に適用する。
請求項4の発明では、請求項1または請求項2の発明を、RGB値をYIQの3成分とする3次元座標に変換した3次元座標で示される場合、さらにYIを2成分とする2次元座標に変換する場合に適用する。
【0011】
請求項5の発明では、請求項1の発明について、画素の色値の属する部分領域の代表色と該画素の色値との距離の評価値を画素の色値の属する部分領域の代表色と該画素の色値とのユークリッド距離としている。
【0012】
請求項6の発明では、請求項1の発明について、画素の色値の属する部分領域の代表色と該画素の色値との距離の評価値を画素の色値の属する部分領域の代表色と該画素の色値との街区画距離としている。
【0013】
【作用】
請求項1の発明および請求項2の発明では、図1の如くカラー画像入力部1から入力された原カラー画像は、色空間分割部6に送られる。色空間分割部6は色空間分割、RGB変換および代表色決定の諸機能を内蔵するもので、カラー画像のRGB値を色空間に写像し、写像結果に基づき、全ての画素についてその画素の色値の属する部分領域の代表色と該画素の色値との距離の評価値の累積が小さくなるように、色空間を所定の数の複数部分領域に分割し、各部分領域の代表色を決定する。
【0014】
色空間分割および代表色決定の結果と原画像とを用いて、カラーマップ作成部3でカラーマップとして、各部分領域の通し番号と代表色の対応表を生成する。その結果に基づいて、続くカラー画像変換部4で、分割された色空間内の部分領域に通し番号を付け、入力画像の各画素を、それが属する部分領域の番号に置き換える。このようにして得られた圧縮符号化画像(圧縮された画像)を得る。
【0015】
本発明によると、全ての画素についてその画素の色値の属する部分領域の代表色と該画素の色値との距離の評価値の累積が小さいため(即ち色の近似の程度が良好であるため)、高品位の圧縮画像が得られる。
【0016】
請求項3の発明では、請求項1の発明および請求項2の発明の場合と同様に、図1に示すカラー画像入力部1から入力された原カラー画像は、色空間分割部6に送られるが、色空間がRGB値をそのまま3成分とする3次元座標で示される場合であり、色空間分割部6は色空間分割および代表色決定の諸機能を内蔵するもので、カラー画像のRGB値を用いて、全ての画素についてその画素の色値の属する部分領域の代表色と該画素の色値との距離の評価値の累積が小さくなるように、RGB色空間を所定の数の複数部分領域に分割し、各部分領域の代表色を決定する。以下、請求項1の発明および請求項2の発明の場合と同様に、色空間分割および代表色決定の結果と原画像とを用いて、カラーマップ作成部3でカラーマップとして、各部分領域の通し番号と代表色の対応表を生成する。その結果に基づいて、続くカラー画像変換部4で、分割された色空間内の部分領域に通し番号を付け、入力画像の各画素を、それが属する部分領域の番号に置き換える。このようにして得られた圧縮符号化画像を得る。
【0017】
本発明によると、請求項1の発明および請求項2の発明と同様にして、色の近似の程度が良好で、高品位の圧縮画像が得られる。
請求項4の発明においても、図1の如くカラー画像入力部1から入力された原カラー画像は、色空間分割部6に送られる。色空間分割部6は色空間分割、RGB変換および代表色決定の諸機能を内蔵するもので、カラー画像のRGB値をYIQ色空間に写像し、写像結果に基づき、全ての画素についてその画素の色値の属する部分領域の代表色と該画素の色値との距離の評価値の累積が小さくなるように、色空間を所定の数の複数部分領域に分割し、各部分領域の代表色を決定する。以下請求項1ないし請求項3の発明と同様にして、圧縮符号化画像(圧縮された画像)を得る。
【0018】
本発明では、上記の共通の効果のほかに、YIQの3成分のうち1つの成分が他の2つに比して少ない性質を利用して2次元色空間(YIの2次元)に近似する事が出来るため、より簡便な構成を採ることが可能という顕著な効果がある。
【0019】
請求項5の発明では、画素の色値の属する部分領域の代表色と該画素の色値との距離の評価値は画素の色値の属する部分領域の代表色と該画素の色値とのユークリッド距離であるが、その他については請求項1の発明と全く同様の作用が期待される。
【0020】
請求項6の発明では、画素の色値の属する部分領域の代表色と該画素の色値との距離の評価値は画素の色値の属する部分領域の代表色と該画素の色値との街区画距離であるが、その他については請求項1の発明と全く同様の作用が期待される。
【0021】
【実施例】
図2は本発明の実施例構成図、図4は図2の処理の流れを示す図である。図2中、11はRGB値変換部で、画像記憶部12に格納された原画像を読み出し、RGB値を色空間に写像した変換画像を画像記憶部に格納するもの、13は色空間分割および代表色決定部で、画像記憶部に格納された変換画像を読み出し、色空間に含まれるいかなる画像も、全ての画素についてその画素の色値の属する部分領域の代表色と該画素の色値との距離の評価値の累積が小さくなるように、色空間を所定の数の複数部分領域に分割し、各部分領域の代表色を決定し、色空間の分割結果および各領域の代表色を色空間分割結果および代表色記憶部14に格納するもの、15は画像符号化部で、色空間分割結果および代表色記憶部14に格納された色空間の分割結果および各部分領域の代表色を読み出し、各部分領域に通し番号をつけ、画像記憶部12に格納された原画像を読み出し、各画素をそれが属する番号に置き換えるものである。置き換えた画像は符号化画像として画像記憶部12に格納し、同時に、カラーマップとして、各領域の通し番号と代表色の対応表を生成する。生成したカラーマップは、カラーマップ記憶部16に格納する。
【0022】
以下では、色空間への変換の例として3次元空間の場合と2次元空間の場合について夫々2例、計4例について実際の変換式を示し、また色空間分割および代表色決定、色空間におけるユークリッド距離の算出方法、色空間における平均値の算出方法および色空間における分散の算出方法につい例示し、本発明の有効性を確認した。
【0023】
RGB値の色空間への変換
〔第1の例〕YIQの3次元空間への変換の場合
3次元空間を、互いに直交する3軸(Y軸、I軸、Q軸)が成す3次元空間と捉える。本例は請求項4の発明の第1の具体的実施例であり、図2中のRGB変換部11において変換が行われ、その結果を画像記憶部12に格納する。RGB値のY座標、I座標、Q座標への変換は次式を用いておこなう。
【0024】
Y=0.30×R+0.59×G+0.11×B
I=0.60×R−0.28×G−0.32×B
Q=0.21×R−0.52×G+0.31×B
〔第2の例〕RGBの3次元空間への変換の場合
3次元空間を、互いに直交する3軸(R軸、G軸、B軸)が成す3次元空間と捉える。本例は請求項3の発明の具体的実施例であり、この場合、R座標、G座標、B座標は、RGB値をそのまま用いる。
〔第3の例〕YIの2次元空間への変換の場合
色空間を、YIQ3次元空間を成す互いに直交する3軸のうち、分布が最も少ない軸(Q軸)を割愛した2軸(Y軸、I軸)が成す2次元空間と捉える。請求項4の発明の第2の具体的実施例である。図2中のRGB変換部11において変換が行われ、その結果を画像記憶部12に格納する。RGB値のY座標、I座標への変換は次式を用いておこなう。
【0025】
Y=0.30×R+0.59×G+0.11×B
I=0.60×R−0.28×G−0.32×B
〔第4の例〕xy2次元空間への変換の場合
色空間を、次式で示す2軸(x軸、y軸)が成す2次元空間と捉える。請求項1の発明および請求項2の発明の具体的実施例である。図2中のRGB変換部11において変換が行われ、その結果を画像記憶部12に格納する。
【0026】
x=(R+G+B)/3
y=(R−B)/2
以上の各例においては、以下の手段(手順)を共通して用いる。
〔第1の手段〕色空間分割および代表色決定の手段
(1) 色空間での画素分布を一つの部分領域とみなす。この部分領域の代表色として該部分領域の平均値を用いる。
(2) 部分領域数が代表色の所定数と一致するまで、(3) から(6) まで繰り返す。
(3) 各部分領域毎の画素値と代表色との差を求め、この差につき分散を求める。
(4) これまでに得られた全ての部分領域の中で (3)で得られた分散値が最も高い部分領域を2分割の対象として選択し、2つの部分領域に分割する。そして該部分領域内でユークリッド距離が最も大きい2色を仮に2分割後の新しい2つの部分領域のそれぞれの代表色とする。
(5) (4)で得られた2つの部分領域のいずれかに属する各点は、その点と代表色のうちユークリッド距離が小さい方の領域に属しているとみなして、2つの領域それぞれの平均値を計算し、それを新しい代表色とする。
(6) (5)における平均値計算後の新しい代表色が平均値計算前の古い代表色と一致するまで (5)の過程を繰り返す。
〔第2の手段〕色空間におけるユークリッド距離の算出方法
(1) 色空間が3次元の場合
ある二つの色C1 =(X1,Y1,Z1 )およびC2 =(X2,Y2,Z2 )の距離dは次式により求められる。
【0027】
d={(X1 −X2 2 +(Y1 −Y2 2 +(Z1 −Z2 2 1/2
(2) 色空間が2次元の場合
ある二つの色C1 =(X1,Y1 )およびC2 =(X2,Y2 )の距離dは次式により求められる。
【0028】
d={(X1 −X2 2 +(Y1 −Y2 2 1/2
〔第3の手段〕色空間における平均値の算出方法
(1) 色空間が3次元の場合
ある領域に属する色をCi =(Xi,i,i )(i=1,N)(Nは自然数)とすると、この領域の平均値Cm =(Xm,m,m )は次式により求められる。
【0029】
【数1】
Figure 0003674965
【0030】
(2) 色空間が2次元の場合
ある領域に属する色をCi =(Xi,i )(i=1,N)(Nは自然数)とすると、この領域の平均値Cm =(Xm,m )は次式により求められる。
【0031】
【数2】
Figure 0003674965
【0032】
〔第4の手段〕色空間における分散の算出方法
(1) 色空間が3次元の場合
ある領域に属する色をCi =(Xi,i,i )(i=1,N)(Nは自然数)、そして、この領域の平均値をCm =(Xm,m,m )とすると、この領域の分散σは次式により求められる。
【0033】
【数3】
Figure 0003674965
【0034】
(2) 色空間が2次元の場合
ある領域に属する色をCi =(Xi,i )(i=1,N)(Nは自然数)、そして、この領域の平均値をCm =(Xm,m )とすると、この領域の分散σは次式により求められる。
【0035】
【数4】
Figure 0003674965
【0036】
【発明の効果】
以上説明した様に、本発明によれば、(1) 画像の全ての画素についてその画素の色値の属する部分領域の代表色と該画素の色値との距離の評価値の累積を考慮するので、画像の全体にわたって均一に画質を保持するカラーマップを決定することができ、(2) 画像のすべての点を同時に考慮して代表色を決定するので、一枚の画像につきただ一つのみカラーマップを設定できる。
【0037】
その結果、カラー画像(例えば、16777216色のフルカラー)の原画を従来の方法よりも自然に疑似カラー(例えば256色)に圧縮する事が出来、既存の設備の有効利用を図ることが出来る。
【図面の簡単な説明】
【図1】 本発明の原理説明図である。
【図2】 本発明の実施例構成図である。
【図3】 処理の流れ1である。
【図4】 処理の流れ2である。
【図5】 従来技術の構成1である。
【図6】 従来技術の構成2である。
【符号の説明】
1 カラー画像入力部
2 出現色頻度計数部
3 カラーマップ作成部
4 カラー画像変換部
5 画像分割部
6 色空間分割部
11 RGB値変換部
12 画像記憶部
13 色空間分割および代表色決定部
14 色空間分割結果および代表色記憶部
15 画像符号化部
16 カラーマップ記憶部

Claims (6)

  1. カラー画像の色空間を代表色に対応する数の複数部分領域に分割し、該部分領域に属する色値を該部分領域毎に定めた代表色に変換するカラー画像圧縮方法であって、
    前記カラー画像中の各画素について、色空間に変換し、変換された前記各画素の前記色空間での色値の分布を1つの部分領域とし、該部分領域内でユークリッド距離が最も大きい2色を代表色として前記部分領域を2分割し、
    前記2分割された各部分領域の代表色は該部分領域の平均値を用い、各部分領域毎の画素値と代表色との距離の評価値を求めて、該評価値の分散を計算し、分散の大きい部分領域を選択し、該選択された部分領域を2分割してそれぞれの代表色を決定し、該2分割により増加した後の部分領域の数が所定数になるまで、毎回全部分領域を対象に、領域の分割と代表色の決定を繰り返すことを特徴とするカラー画像圧縮方法。
  2. カラー画像の色空間を代表色に対応する数の複数部分領域に分割し、該部分領域に属する色値を該部分領域毎に定めた代表色に変換するカラー画像圧縮方法であって、
    前記カラー画像中の各画素について、色空間に変換し、変換された前記各画素の前記色空間での色値の分布を1つの部分領域とし、該部分領域内でユークリッド距離が最も大きい2色を代表色として前記部分領域を2分割し、
    前記2分割された各部分領域の代表色は各部分領域の色値の平均値とし、前記部分領域の各画素に対応する色値と前記部分領域の色値の平均値とから、該部分領域の分散を計算し、分散の大きい部分領域を選択し、該選択された部分領域を2分割してそれぞれの代表色を決定し、該2分割により増加した後の全部分領域の数が所定数になるまで、毎回全部分領域を対象に、領域の分割と代表色の決定を繰り返すことを特徴とするカラー画像圧縮方法。
  3. 請求項1または請求項2において、
    カラー画像の色空間はRGB色空間であることを特徴とするカラー画像圧縮方法。
  4. 請求項1または請求項2において、
    カラー画像の色空間はYIQ色空間又はYIの2次元色空間であることを特徴とするカラー画像圧縮方法。
  5. 請求項1において、
    画素の色値の属する部分領域の代表色と該画素の色値との距離の評価値は画素の色値の属する部分領域の代表色と該画素の色値とのユークリッド距離であることを特徴とするカラー画像圧縮方法。
  6. 請求項1において、
    画素の色値の属する部分領域の代表色と該画素の色値との距離の評価値は画素の色値の属する部分領域の代表色と該画素の色値との街区画距離であることを特徴とするカラー画像圧縮方法。
JP25178194A 1994-10-18 1994-10-18 カラー画像圧縮方法 Expired - Fee Related JP3674965B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25178194A JP3674965B2 (ja) 1994-10-18 1994-10-18 カラー画像圧縮方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25178194A JP3674965B2 (ja) 1994-10-18 1994-10-18 カラー画像圧縮方法

Publications (2)

Publication Number Publication Date
JPH08115405A JPH08115405A (ja) 1996-05-07
JP3674965B2 true JP3674965B2 (ja) 2005-07-27

Family

ID=17227835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25178194A Expired - Fee Related JP3674965B2 (ja) 1994-10-18 1994-10-18 カラー画像圧縮方法

Country Status (1)

Country Link
JP (1) JP3674965B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8320669B2 (en) 2007-06-28 2012-11-27 Konica Minolta Business Technologies, Inc. Image processing method, image processing apparatus, image data compression device, and computer program
JP4978598B2 (ja) * 2008-09-17 2012-07-18 コニカミノルタビジネステクノロジーズ株式会社 画像処理方法、画像処理装置、および画像処理プログラム

Also Published As

Publication number Publication date
JPH08115405A (ja) 1996-05-07

Similar Documents

Publication Publication Date Title
JP2923648B2 (ja) 物体の色特性を発生する方法と装置
US5164717A (en) Method and apparatus for the dithering of antialiased vectors
EP0650287B1 (en) Image processing method and apparatus
JPH05143709A (ja) ビデオ効果装置
US5201030A (en) Method and apparatus for dithering graphic images
KR19980064843A (ko) 제도 장치 및 제도 방법
KR20070074590A (ko) 2차원 이미지의 원근 변환
US5264840A (en) Method and apparatus for vector aligned dithering
US7050066B2 (en) Image processing apparatus and image processing program
US5621819A (en) Multidimensional multi-valued color image compression and decompression method
JPH10214071A (ja) ビデオ信号処理方法
JP3674965B2 (ja) カラー画像圧縮方法
CN105678718A (zh) 图像去噪方法和装置
JPH04190466A (ja) カラー画像の限定色表現装置
US20030063084A1 (en) System and method for improving 3D data structure representations
JP4956464B2 (ja) 画像高解像度化装置、学習装置および方法
US7127118B2 (en) System and method for compressing image files while preserving visually significant aspects
JPH07334648A (ja) 画像処理方法及びその装置
CN102074004A (zh) 空间实体遮挡类型的判定方法及装置
JP2973710B2 (ja) 限定色決定方法及び限定色決定装置
JPH0814843B2 (ja) 色変換方法および色変換装置
US20040091173A1 (en) Method, apparatus and system for the spatial interpolation of color images and video sequences in real time
JP3835059B2 (ja) カラー画像処理方法およびその装置
JPH0799586A (ja) 色変換装置
CN116778018A (zh) 深度图的非线性颜色映射方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041013

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050310

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050425

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080513

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees