JPH11331598A - 撮像装置の階調補正方法 - Google Patents
撮像装置の階調補正方法Info
- Publication number
- JPH11331598A JPH11331598A JP11094927A JP9492799A JPH11331598A JP H11331598 A JPH11331598 A JP H11331598A JP 11094927 A JP11094927 A JP 11094927A JP 9492799 A JP9492799 A JP 9492799A JP H11331598 A JPH11331598 A JP H11331598A
- Authority
- JP
- Japan
- Prior art keywords
- gradation
- value
- maximum
- signal
- histogram data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 54
- 238000012805 post-processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 21
- 238000010606 normalization Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
タのダイナミックレンジを有効に活用しながら、且つ、
自然な画像への階調補正を可能にする階調補正方法を提
供する。 【解決手段】 入力画像信号のヒストグラムを検出し、
ヒストグラムデータより階調特性を算出し、算出された
階調特性に従って入力画像信号の階調補正を行なう撮像
装置の階調補正方法において、ヒストグラムデータの最
大階調値を検出し、最大階調値に応じた階調特性(1)
(2)(3)を算出する。どのような被写体の映像信号
に対しても有効な階調補正を行なうことができる。
Description
用いられる撮像装置の階調補正方法に関し、特に、自然
な感じの画像が再現できるように階調特性を改善したも
のである。
輝度が被写体の輝度と対応するように映像信号を補正す
る。これまで、ダイナミックレンジが小さい受像装置を
有効に使うために、この階調補正には種々の工夫が施さ
れている。
図4に示すように、露光量が異なる2種類の映像信号を
1フィールド期間内に交互に出力する撮像素子1と、こ
の映像信号を増幅する前処理部2と、アナログ映像信号
をデジタル信号に変換するA/D変換器3と、露光量が
異なる2種類の映像信号の時間軸を揃え、分離して出力
する時間軸変換器4と、この2種類の映像信号を合成す
るレベル合成手段5と、合成画像信号の輝度のヒストグ
ラムを検出するヒストグラムデータ検出手段6と、この
ヒストグラムを基に階調特性を算出するマイクロコンピ
ュータ7と、設定された階調特性に従って合成画像信号
の階調補正を行なう階調補正手段8とを具備しており、
階調補正手段8から出力された階調補正後の合成画像信
号が主要映像信号処理回路9で処理され、ビデオ信号と
して出力される。
の転送を通常の2倍の転送速度で行ない、露光量が長時
間の映像信号と短時間の映像信号との2種類の映像信号
を1フィールド期間内に交互に出力する。出力された映
像信号は、CDS、AGC等の前処理2が施された後、
A/D変換器3でデジタル信号に変換され、時間軸変換
器4により、標準速度で且つ同一タイミングの長時間露
光画像信号と短時間露光画像信号とに分離され、これら
の信号は、レベル合成手段5により所定の輝度レベルで
重み付けされて合成される。
合成手段5から出力された合成画像信号のヒストグラム
を検出する。この検出では、画面中の水平mポイント、
垂直nポイントの合計m×n画素において、合成画像信
号のレベルが、多段階に区分された階調レベルのどのレ
ベルに属しているかが判定される。ヒストグラムは、あ
る階調を持つ画素が画面中に何個存在するかを示すもの
である。ヒストグラムデータ検出手段6は、検出したヒ
ストグラムデータをマイクロコンピュータ7に出力す
る。
ラムデータを用いて、後述する手順で階調特性を算出
し、算出結果を階調補正手段8に設定する。
出力された合成画像信号に対して、マイクロコンピュー
タ7で設定された階調特性を実現するように階調補正を
行ない、画像信号を出力する。この画像信号は主要映像
信号処理手段9で処理されてビデオ出力となる。
データを用いて、階調特性を図6に示す手順で求める。
度数が高い階調レベル(即ち、輝度頻度の高い階調レベ
ル)程、コントラストが強調されるように設定する。こ
の特性は、各階調レベルのヒストグラムデータを規格化
し、各階調レベルの規格化値を累積積分することによっ
て得られる。この規格化のために、 ステップ1:まず、各階調レベルのヒストグラムデータ
H[n](ここでは階調レベルnを0〜15の16段階に
設定している)の総和値Hallを算出し、 ステップ2:各階調のヒストグラムデータH[n]をヒス
トグラムデータの総和値Hallで除算し、各階調レベル
の規格化値Hk1[n]を算出する。
k1[0]からHk1[n]まで累積積分し、入力画像信号の階調
Hk1[n]に対応して累積積分値(ΣHk1[n])の階調を出
力するようにすれば、輝度頻度の高い階調のコントラス
トを強調する階調特性を得ることができる。しかし、こ
のままの階調特性で階調補正を行なうと、輝度頻度の高
い階調での僅かな階調差が必要以上に強調されてS/N
が悪化したり、または、輝度頻度の低い領域でコントラ
ストが無くなったりする場合があり、不自然な階調再現
となる。
るため、 ステップ3:規格化されたヒストグラムデータHk1[n]
が、傾きの下限値Cpmin[n]より小さい場合には、この
下限値を規格化された新たなヒストグラムデータHk2
[n](=Cpmin[n])とし、また、Hk1[n]が、傾きの上
限値Cpmax[n]より大きい場合には、この上限値を規格
化された新たなヒストグラムデータHk2[n](=Cpmax
[n])とする。そして、Cpmin[n]≦Hk1[n]≦Cpmax[n]
のときはHk2[n]にHk1[n]をそのまま使って、 ステップ4:傾き制限後のヒストグラムデータHk2[n]
を累積積分して階調特性を求める。
せるための規格化処理を行なう。
を、階調補正処理以降の信号処理回路におけるダイナミ
ックレンジの上限値に規格化するものとなる。
の度数が高い階調レベル程、コントラストが強調される
階調補正を可能にする。また、この階調補正により映像
の最大値が後続する信号処理回路のダイナミックレンジ
から外れてしまう、という事態を防ぐことができる。
正方法では、階調特性が、どのような被写体を撮像した
場合でも、一様に映像の最大値を階調補正処理以降の信
号処理回路のダイナミックレンジの上限値で規格化する
ように設定されているため、このダイナミックレンジの
飽和をもたらさないような暗い被写体を撮像したときで
も、不必要に階調を上げる補正が行なわれ、不自然な画
像になるという問題点を有していた。
るものであり、階調補正処理以降の主要信号処理回路や
モニタのダイナミックレンジを有効に活用しながら、且
つ、低輝度被写体の映像に対しても自然な画像への階調
補正を可能にする階調補正方法を提供することを目的と
している。
正方法では、ヒストグラムデータの最大階調値を検出
し、最大階調値に応じた階調特性を算出している。
階調補正を行なうことができ、後段信号処理のダイナミ
ックレンジを有効活用しながら、低輝度の被写体に対し
ても自然な画像の再現が可能になる。
は、入力画像信号のヒストグラムを検出し、ヒストグラ
ムデータより階調特性を算出し、算出された階調特性に
従って入力画像信号の階調補正を行なう撮像装置の階調
補正方法において、ヒストグラムデータの最大階調値を
検出し、最大階調値に応じた階調特性を算出するように
したものであり、どのような被写体の映像信号に対して
も有効な階調補正を行なうことができる。
ータの最小階調のデータから順に零と比較し、最後に零
でない階調を最大階調値とするものであり、こうした方
法で画像のヒストグラムデータから最大階調値を検出す
ることができる。
標準レベル以内である場合、または標準レベル以上且つ
後処理回路のダイナミックレンジ以内である場合、また
は後処理回路のダイナミックレンジ以上である場合に分
けて、階調特性の算出における最大規格化値を変更する
ようにしたものであり、入力画像の最大階調値に応じた
階調特性を算出することができる。
標準レベル以内である場合、または標準レベル以上且つ
後処理回路のダイナミックレンジ以内である場合、また
は後処理回路のダイナミックレンジ以上である場合に分
けて、階調特性の算出における傾き制限の上限値及び下
限値、並びに最大規格化値を変更するようにしたもので
あり、こうして求めた階調特性を用いることにより、被
写体の輝度に応じた階調補正を行なうことができる。
用いて説明する。
の階調補正装置により実施される。この装置の構成は先
に説明した通りである。
送を通常の2倍の転送速度で行ない、露光量が長時間の
映像信号と短時間の映像信号との2種類の映像信号を1
フィールド期間内に交互に出力する。出力された映像信
号は、CDS、AGC等の前処理2が施された後、A/
D変換器3でデジタル信号に変換され、時間軸変換器4
により、標準速度で且つ同一タイミングの長時間露光画
像信号と短時間露光画像信号とに分離される。
の輝度レベルで合成する。合成は、図5に示すように、
ある合成レベルと合成幅とを規定して行なわれる。長時
間露光画像信号Ylongに対しては、合成レベル以上から
圧縮を開始するゲインKを乗じた信号K×Ylongを作成
し、また、短時間露光画像信号Yshortに対しては、オ
フセット値Yoffsetを加算した後、合成レベル以下で圧
縮を行なうゲイン(1−K)を乗じた信号(1−K)×
(Yshort+Yoffset)を作成し、これらを加算して合成
信号Ymixを得る。
の画像のヒストグラムデータを検出する。この検出で
は、階調レベルを16階調に分割し(この分割数で充分
な特性が得られる)、画面中の水平mポイント、垂直n
ポイントの合計m×n画素において合成信号Ymix のレ
ベルがどの階調レベルに属するかを判定し、ある階調を
持つ画素が画面中に何個存在するかを示すヒストグラム
データを得る。
ラムデータを用いて、図3に示すアルゴリズムで階調特
性を算出する。このアルゴリズムの手順は、基本的に
は、従来のもの(図6)と同じであり、「ヒストグラム
データの規格化」「傾き制限処理」「傾き制限処理した
ヒストグラムデータを用いた累積積分」及び「最大階調
値に応じた規格化」という流れで階調特性が算出され
る。ただ、従来と異なる点は、ヒストグラムデータの最
大値を求め、この最大値に応じて「傾き制限処理」及び
「最大階調値による規格化」の処理を違えている点であ
る。この実施形態では、ヒストグラムデータの最大値
が、 (1)標準レベル以内である場合 (2)標準レベル以上で、且つ後処理系回路のダイナミ
ックレンジ以内である場合 (3)後処理系回路のダイナミックレンジ以上である場
合 に区分し、それぞれの場合に応じて「傾き制限処理」及
び「最大階調値による規格化」の処理を違えている。
データの総和値Hallを算出する。n階調目のヒストグラ
ムデータをH[n]とするとHallは(数1)で与えられ
る。
に零と比較し、最後にH[n]≠0となるnを最大階調値
Nmaxとして保持しておく。
調のヒストグラムデータをその総和値Hallで除算し、
第1回目の規格化値Hk1[n]を算出する。
(3)の各場合におけるヒストグラムの例を示してい
る。図2上段には第1回目の規格化を実施したヒストグ
ラムデータの例を棒グラフで示している。横軸は階調レ
ベルn(=0〜15)を表し、縦軸は規格化値Hk1[n]
を表している。この規格化されたヒストグラムデータを
Hk1[0]からHk1[15]まで各階調ごとに累積積分するこ
とにより、図2上段に折れ線で示す階調特性が得られ
る。即ち、累積積分値Hks1[n]は、Hk1[n]を用いて表
すと(数3)のようになる。
たように、輝度頻度の高い階調を選択的に伸張してコン
トラストを改善することはできるが、輝度頻度の大きな
階調での僅かな階調差が必要以上に強調されてS/Nが
悪化したり、輝度頻度の小さな階調でのコントラストが
少なくなり過ぎたりして、このままでは不自然な階調再
現となる。そこで、階調特性の傾きに制限を加えるた
め、 ステップ14:Hk1[n] が傾きの下限値Cpmin[n]より小
さい場合には、Hk2[n]=Cpmin[n]とし、Hk1[n]が傾
きの上限値Cpmax[n]より大きい場合には、Hk2[n]=C
pmax[n]とする。このとき、最大階調値Nmaxが前記
(1)〜(3)のいずれに属するかに応じて、傾きの制
限値Cpmin[n]、Cpmax[n]を変更する。
限値Cpmin[n]=Cpmax[n]とし、また、(2)(3)の
場合には、制限値Cpmin[n]とCpmax[n]とに異なる値を
設定して、階調特性の変位幅を規定している。
ヒストグラムデータHk2を用いて、(数4)により累積
積分値Hks2[n]を算出する。
実施したヒストグラムデータHk2を図2下段に棒グラフ
で、また、このヒストグラムデータHk2を累積積分して
求めた階調特性Hks2を図2下段に実線折れ線で示して
いる。(1)の「最大階調値が標準レベル以下」の場合
は、入力値と出力値とが同一になる特性であり、階調補
正が行なわれない。
を再現させるための第2回目の規格化処理を行なう。こ
の第2回目の規格化処理では、 Hksk2[n] = Hks2[n]×Kl (数5) により規格化値Hksk2[n]を求めるが、このとき、最大
階調値Nmaxが前記(1)〜(3)のいずれに属するか
に応じて、Klの値を変更する。
l=1とし、また、(2)の場合には、階調補正出力信
号の最大階調値が入力信号の最大階調値と同一となるよ
うにKlの値を設定している。また、(3)の場合に
は、階調補正出力信号の最大階調値が後処理系回路のダ
イナミックレンジの上限になるようにKlの値を設定し
ている。この第2回目の規格化を実施すると、図2下段
の一点鎖線で示す階調特性Hkskが得られる。
及び(3)の各場合における階調特性を示している。図
1の下段は、Ymix信号を階調補正入力としたときの各
場合のヒストグラムデータを示し、同図上段は、下段の
ヒストグラム特性図より算出される階調特性を示してい
る。
Ymixの輝度を16階調で示しており、下位8階調が長
時間露光信号Ylong、上位8階調が短時間露光信号Ysh
ortとなる。
レベルは、長時間露光信号の半分程度に設定する。この
例では、標準レベルを、入力階調値で3階調目に設定し
ている。また、(2)と(3)との間を区切る「後処理
系回路のダイナミックレンジ以内」となるレベルは、入
力階調値で5階調目としている。また、傾きの制限値は
各階調ごとに最適値を設定すると良い。
に応じた階調特性が得られる。この算出結果を階調補正
手段8に設定することにより、階調補正手段8は、合成
信号に対して、被写体の輝度に応じた最適な階調補正を
行なうことができる。即ち、高輝度部分が存在しない被
写体では階調補正を実施せず、高輝度部のレベルが高く
なるに従い高輝度部の階調を強調する。また、高輝度レ
ベルが後段信号処理のダイナミックレンジを超える場合
には、合成輝度信号の最大値を後段の信号処理のダイナ
ミックレンジで決まる最大値に規格化することにより、
出力信号がダイナミックレンジから外れることを防ぎ、
後段信号処理のダイナミックレンジを有効に活用するこ
とができる。
最適な階調補正効果を得ることができる。
の階調補正方法では、階調補正演算の最大規格化値を入
力画像に応じて変更することにより、どのような被写体
でも、映像信号処理回路のダイナミックレンジを有効に
活用し、高輝度部の画像の階調再現性を維持しつつ、低
輝度画像での、S/Nの劣化が目立たない自然な階調再
現を得ることができる。
調特性図、
るための手順を示す説明図、
ート、
トである。
Claims (4)
- 【請求項1】 入力画像信号のヒストグラムを検出し、
ヒストグラムデータより階調特性を算出し、算出された
階調特性に従って入力画像信号の階調補正を行なう撮像
装置の階調補正方法において、 ヒストグラムデータの最大階調値を検出し、前記最大階
調値に応じた階調特性を算出することを特徴とする階調
補正方法。 - 【請求項2】 前記ヒストグラムデータの最小階調のデ
ータから順に零と比較し、最後に零でない階調を前記最
大階調値とすることを特徴とする請求項1に記載の階調
補正方法。 - 【請求項3】 前記最大階調値が、標準レベル以内であ
る場合、または標準レベル以上且つ後処理回路のダイナ
ミックレンジ以内である場合、または後処理回路のダイ
ナミックレンジ以上である場合に分けて、前記階調特性
の算出における最大規格化値を変更することを特徴とす
る請求項1または2に記載の階調補正方法。 - 【請求項4】 前記最大階調値が、標準レベル以内であ
る場合、または標準レベル以上且つ後処理回路のダイナ
ミックレンジ以内である場合、または後処理回路のダイ
ナミックレンジ以上である場合に分けて、前記階調特性
の算出における傾き制限の上限値及び下限値、並びに最
大規格化値を変更することを特徴とする請求項1または
2に記載の階調補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09492799A JP4090141B2 (ja) | 1999-04-01 | 1999-04-01 | 撮像装置の階調補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09492799A JP4090141B2 (ja) | 1999-04-01 | 1999-04-01 | 撮像装置の階調補正方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9083422A Division JP2951910B2 (ja) | 1997-03-18 | 1997-03-18 | 撮像装置の階調補正装置及び階調補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11331598A true JPH11331598A (ja) | 1999-11-30 |
JP4090141B2 JP4090141B2 (ja) | 2008-05-28 |
Family
ID=14123615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09492799A Expired - Fee Related JP4090141B2 (ja) | 1999-04-01 | 1999-04-01 | 撮像装置の階調補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4090141B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100397904B1 (ko) * | 2000-03-10 | 2003-09-13 | 마츠시타 덴끼 산교 가부시키가이샤 | 계조 보정 회로 및 γ보정 장치 |
JP2009194727A (ja) * | 2008-02-15 | 2009-08-27 | Olympus Corp | 撮像システム及び画像処理方法並びに画像処理プログラム |
WO2010128578A1 (en) * | 2009-05-07 | 2010-11-11 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
JP2010273392A (ja) * | 2010-09-08 | 2010-12-02 | Canon Inc | 画像処理方法および画像処理装置 |
JP2011166728A (ja) * | 2010-01-13 | 2011-08-25 | Nikon Corp | 画像処理装置、画像処理方法 |
US8823730B2 (en) | 2010-12-03 | 2014-09-02 | Fujitsu Limited | Image display device and method, and image processing device |
-
1999
- 1999-04-01 JP JP09492799A patent/JP4090141B2/ja not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100397904B1 (ko) * | 2000-03-10 | 2003-09-13 | 마츠시타 덴끼 산교 가부시키가이샤 | 계조 보정 회로 및 γ보정 장치 |
JP2009194727A (ja) * | 2008-02-15 | 2009-08-27 | Olympus Corp | 撮像システム及び画像処理方法並びに画像処理プログラム |
WO2010128578A1 (en) * | 2009-05-07 | 2010-11-11 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
JP2010263423A (ja) * | 2009-05-07 | 2010-11-18 | Canon Inc | 画像処理方法および画像処理装置 |
US9185265B2 (en) | 2009-05-07 | 2015-11-10 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus for performing a tone correction to acquire a combined image |
JP2011166728A (ja) * | 2010-01-13 | 2011-08-25 | Nikon Corp | 画像処理装置、画像処理方法 |
JP2010273392A (ja) * | 2010-09-08 | 2010-12-02 | Canon Inc | 画像処理方法および画像処理装置 |
US8823730B2 (en) | 2010-12-03 | 2014-09-02 | Fujitsu Limited | Image display device and method, and image processing device |
Also Published As
Publication number | Publication date |
---|---|
JP4090141B2 (ja) | 2008-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2951910B2 (ja) | 撮像装置の階調補正装置及び階調補正方法 | |
JP2951909B2 (ja) | 撮像装置の階調補正装置及び階調補正方法 | |
KR100776134B1 (ko) | 이미지 센서 및 이미지 밝기 분포 조절방법 | |
US8154629B2 (en) | Noise canceling circuit, noise canceling method, and solid-state imaging device | |
JP5112238B2 (ja) | 撮像装置、設定値変更方法およびプログラム | |
US20100128332A1 (en) | Image signal processing apparatus and method, and program | |
JP2001197362A (ja) | 固体撮像装置 | |
JP3134784B2 (ja) | 画像合成回路 | |
JP2011520385A (ja) | カラム固定パターンノイズ補正方法 | |
JP3184309B2 (ja) | 階調補正回路及び撮像装置 | |
JP4679174B2 (ja) | 画像処理装置およびこの画像処理装置を備えたデジタルカメラ | |
US20090284616A1 (en) | Image signal processing circuit | |
JP6029430B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4153715B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
JPH11331598A (ja) | 撮像装置の階調補正方法 | |
WO2010146748A1 (ja) | 撮像装置 | |
JP2005142832A (ja) | 輪郭補正回路及び撮像装置 | |
JP3553999B2 (ja) | 撮像装置とその画像処理方法 | |
JP5117217B2 (ja) | 撮像システム及び画像処理方法並びに画像処理プログラム | |
JP2004112737A (ja) | 半導体集積回路 | |
JP2000354250A (ja) | 撮像装置 | |
JP3218022B2 (ja) | 撮像装置の階調補正装置及び階調補正方法 | |
JP2006279812A (ja) | 輝度信号処理装置 | |
JP3586238B2 (ja) | 撮像装置 | |
JP3578246B2 (ja) | 固体撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080226 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110307 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110307 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120307 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130307 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130307 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140307 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |