JP4266443B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4266443B2 JP4266443B2 JP20134999A JP20134999A JP4266443B2 JP 4266443 B2 JP4266443 B2 JP 4266443B2 JP 20134999 A JP20134999 A JP 20134999A JP 20134999 A JP20134999 A JP 20134999A JP 4266443 B2 JP4266443 B2 JP 4266443B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- smear
- reference signal
- defect
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
【発明の属する技術分野】
この発明は、撮像装置、特に擬似信号補正機能を有する撮像装置に関する。
【0002】
【従来の技術】
従来、CCD撮像素子を使用した固体撮像装置においては、CCD撮像素子特有の現象として、強烈な光が入射したときに発生するスミア現象による画質劣化が問題となっている。すなわち、この現象は本来の電荷蓄積領域に捕捉されなかった電荷がポテンシャル障壁を乗り越えて垂直転送路に漏れ込むことによるものであり、通常の定常的な光に起因する場合は、これが垂直転送期間にわたって発生するため、例えばスポット光の場合はその上下に伸びる縦筋になり、また例えば空を含む景観のような高輝度部が水平方向に広がっている被写体の場合は、画面全体がフレアがかった白けた画像が得られる。
【0003】
この現象を補正する方法としては、スミアがその発生原理から垂直方向にほぼ同レベルで生じることに着目して、有効画素領域外の遮光された蓄積画素領域である垂直OB(オプティカルブラック:光学的黒)の出力レベルをスミア除去基準信号とし、これを有効画面の画素出力信号から減じる方法が、例えば特開平7−67038号公報に開示されていて公知である。特にこの公開公報開示のものにおいては、複数ライン(その実施例では12ライン)からなる垂直OBの信号を加算平均(縦方向12画素毎に関する平均)して得たライン情報(1ライン画素に対応する平均値データ)をスミア除去基準信号とすることで、この基準信号に含まれるランダム性ノイズの影響を低減し、スミア補正に起因して却って新たな固定パターンノイズが発生することが無いように配慮している。
【0004】
また、撮像素子には製造上の問題に起因する画素欠陥が存在する。これには、いわゆる暗電流の存在などにより本来の出力レベルよりも大きな出力を生じる白画素欠陥と、リークあるいは転送不良等により本来の出力レベルよりも小さな出力を生じる黒画素欠陥とがあるが、いずれも実使用上問題になるレベルのものは、それぞれ白キズ、黒キズ等と称され、撮像信号処理に際して、その画素の出力情報は用いず、近隣の画素の出力情報を用いて情報を補完する(欠陥補償)技術が広く実用化されている。
【0005】
【発明が解決しようとする課題】
ここで、例えば上記特開平7−67038号公報記載のような従来のスミア補正技術を現実の撮像素子に適用することを考えると、垂直OBに画素欠陥が存在した場合には、これに起因する新たな筋状の固定パターンノイズが発生してしまう。すなわち、例えば白キズが存在すれば、スミアの発生の有無にかかわらずスミア除去基準信号が生じてしまうから画像に黒の縦筋が生じ、黒キズが存在すれば、スミアが発生したときにスミア除去基準信号が発生しないから、スミアが除去されないで残って白の縦筋を生じてしまう。上記公開公報開示のスミア補正技術では複数ラインの平均をとっているから、1画素欠陥の影響は、ある程度(ライン数分の1に)軽減はされるものの、本質的な解決にはならない。
【0006】
これを根本的に解決するには、OB領域に画素欠陥のない撮像素子を選別して使用すれば良いが、これは素子の歩留まりに係わり高価格化を招く。特に、有効画素領域の欠陥は単に1画素の孤立点の問題であるが、上記スミア補正を前提としたOB領域の場合は、これが筋状の固定パターンノイズとなり、はるかに視認性が高いため、欠陥の判定基準は厳しくならざるを得ないから現実的ではない。
【0007】
ここで、仮に一つの新規な提案として、従来の有効画素に関する欠陥補償をOB領域にまで適用した場合を考えても、次のような問題が生じる。すなわち、有効画素領域の欠陥補償には様々な制約条件があるため、一般に使用される方法は限られている。例えば、
▲1▼処理に使用する記憶素子等の制約から1水平ラインの内部だけで処理せざるをえないケースがある。具体的には、当該欠陥画素の左(または左右の)の隣接(カラーの場合は同色のうちでの隣接)画素データを用いることが多い。
▲2▼カラー素子の場合は、同色フィルタの画素データによって補完する必要がある。具体的には、「G市松RB線順次」のいわゆるRGBベイヤ配列の場合に、Gの最近接隣接画素は斜め4方に存在するから、補完はこの4画素いずれかによるか、上記▲1▼によるかになる。
このような具合であって、いずれにしても従来公知の技術は、欠陥補償に際して水平アドレスの異なる画素の情報を利用する形になっている。したがって、通常の有効画素に関する欠陥補償をOB領域に適用したとすると、スミア除去基準信号の中に近隣の水平アドレスの異なるOB画素のデータが(あるいは欠陥補償の方式によっては有効画素領域のデータも)混入することになり、正しいスミア補正が行なわれず、あるいはあらたな縦筋ノイズが発生してしまう。
【0008】
以上のように、従来のスミア補正技術は、OB領域に画素欠陥が存在した場合には、却って新たな固定パターンノイズが発生するという問題点があった。
【0009】
本発明は、従来の撮像装置におけるスミア補正技術の上記問題点を解消するためになされたもので、請求項1に係る発明は、垂直OBに画素欠陥が存在しても新たな固定パターンノイズの発生などの不具合を生じさせない良好なスミア補正を行うことの可能な撮像装置を提供することを目的とする。また、請求項2に係る発明は、予め所定基準で検査した画素欠陥データを用いて、確実に且つ容易に不具合を生じさせないスミア補正を行えるようにした撮像装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記問題点を解決するため、請求項1に係る発明は、撮像素子と、該撮像素子の垂直方向の光学的黒の画素部分の出力信号から前記撮像素子の有効画素部分の出力信号である有効画像信号を補正するための基準信号を生成する補正基準信号生成手段と、前記有効画像信号より前記補正基準信号を減算する画像信号補正手段と、前記補正基準信号生成手段における補正基準信号の生成に際しては前記光学的黒の画素部分に画素欠陥が存在しても該欠陥画素の情報が該補正基準信号に含まれないように生成を行なうための該欠陥画素情報を除く欠陥除去手段とで撮像装置を構成するものである。
【0011】
このように欠陥除去手段を設け、複数ラインある垂直OBから欠陥画素情報を除いて、スミア除去のための基準信号を得るようにしているので、垂直OBに画素欠陥が存在しても新たな固定パターンノイズ発生などの不具合を生じさせない良好なスミア補正を行うことができる撮像装置を実現することができる。
【0012】
また、請求項2に係る発明は、請求項1に係る撮像装置において、前記光学的黒の画素部分に関する画素欠陥データを記憶する記憶手段を備え、前記欠陥除去手段は、前記記憶手段に記憶されている画素欠陥データを用いて前記欠陥画素情報を除くように構成されていることを特徴とするものである。このように欠陥除去手段が使用する垂直OBに関する画素欠陥データを記憶する記憶手段を備えることにより、例えば工場等で予め所定の基準で検査した画素欠陥データを用いて画素欠陥情報を除いたスミア除去のための基準信号を生成し、確実に且つ容易に不具合を生じさせないスミア補正を行うことができる。
【0013】
【発明の実施の形態】
次に、実施の形態について説明する。図1は、本発明に係る撮像装置の主たる実施の形態のディジタルカメラを示すブロック構成図である。1はレンズ系、2はレンズ駆動機構、3は露出制御機構、4はフィルタ系、5はCCD撮像素子、6はCCDドライバ、7はA/Dコンバータを含むプリプロセス回路、8はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。9はメモリカードインターフェース、10はメモリカード、11はLCD画像表示系、12は主たる構成としてマイコン含むシステムコントローラ、13は操作スイッチ系、14は表示用LCDを含む操作表示系、15はストロボ、16はレンズドライバ、17は露出制御ドライバ、18はEEPROMである。
【0014】
このように構成されているディジタルカメラにおいては、システムコントローラ12が全ての制御を統括的に行なっており、露出制御機構3と、CCDドライバ6によるCCD撮像素子5の駆動を制御して露光(電荷蓄積)及び信号の読み出しを行ない、それをA/Dコンバータを含むプリプロセス回路7を介してディジタルプロセス回路8に格納し、この中で全ての必要な各種信号処理を施して後に、LCD画像表示系11に表示又はメモリカード10に記録する。上記ディジタルプロセス回路8で行われる各種信号処理には、本発明の要部であるところの、垂直OB画素の出力レベル情報を用いたスミア補正処理が含まれている。すなわち、ディジタルプロセス回路8には、垂直OB画素の出力から欠陥画素情報を取り除くための欠陥除去部8−1と、欠陥画素情報の除かれた垂直OB画素の出力レベルに基づいてスミア除去基準信号を生成する補正基準信号生成部8−2と、該スミア除去基準信号を用いて有効画素領域の画像信号を補正(スミア除去)する画像信号補正部8−3を備えている。これらの欠陥除去部8−1,補正基準信号生成部8−2及び画像信号補正部8−3は、現実の演算処理においては必ずしも明確に分離されないこともあるが、説明の便宜と、概念の明確化のために分けて示すものである。
【0015】
図2はCCD撮像素子5のセンサー領域を示す概略図であり、該センサー領域は撮像エリアである有効画素部分EPと、垂直及び水平方向の黒基準を決めるためのOB(光学的黒画素部分)であるVOB及びHOBとから成っており、本実施の形態においては、この光学的黒画素部分OBは有効画素部分EPの上側で垂直方向に12ラインの垂直OBであるVOBと、有効画素部分EPの右側で水平方向に40画素の水平OBであるHOBとより成っている。これらOB領域はセンサー上に遮光膜を付けた構造となっており、そのVOBにもスミアは有効画素部分EPと同じく存在し、このVOBより得られる撮像出力信号には、有効画素部分EPより得られる撮像出力信号と同じレベルでスミア信号が含まれている。なお、図2において、102 ,103 は補正処理を行わない場合に生じるスミアの一例を示している。
【0016】
なお、本実施の形態に係るディジタルカメラは、構図決定用の電子ファインダ対応のムービー(連続的撮像)動作と、本撮影であるスチル(静止画撮像)動作を行なうが、ムービーの場合は撮像素子の電荷蓄積の制御によるいわゆる素子シャッタのみで露光時間を制御している。スチルの場合も連写時などメカシャッタの併用が困難な場合は、やはり素子シャッタのみの露光時間制御を用いる。このため少なくともこのような場合は、補正を行なわなければ、上記従来技術で述べたようなスミアが発生することになる。したがって、少なくともこのようなケースに対してはスミア補正処理を適用することになる。そして、メカシャッタなどの光学シャッタを併用して1コマのみの静止画撮影を行なう場合など、本来スミアが発生しないように制御できるケースに対しても、本発明のスミア補正は、補正に伴なう新たなノイズの発生が事実上ないので、すなわちスミア補正は確かに不要ではあるが、弊害もないからこのようなケースに対しても同じスミア補正処理を適用することが可能(勿論非適用でも良い。設計上の選択肢となる)であり、本実施の形態に係るカメラでは処理の共通化を図って全てのケースで共通のスメア補正処理を採用している。
【0017】
次に、本実施の形態に係るディジタルカメラにおけるスミア補正に直接関わる処理を中心に、システムコントローラ12によるカメラ制御の説明を行なう。EEPROM18には、予め製造工程で検査によって求められた撮像素子5の欠陥画素のアドレスが、OB領域も含めて格納されている。ただし、検査時の有効エリアとOBエリアの欠陥判定基準は異なっており、OBエリアの方がより厳しいレベル条件が適用されている。有効エリアのアドレス情報は、公知の画素欠陥補償処理に用いられるものであり、その説明は省略する。
【0018】
さて、上記各動作における露光によって生じた信号電荷を順次読み出した1画面に対応する撮像出力信号を、ディジタルプロセス回路7の所定メモリ領域に格納すると、補正基準信号生成部8−2において垂直OBであるVOBの出力を用いてスミア除去基準信号を算出する。ここで画素欠陥が存在しない場合は、上記公開公報記載の従来技術と同様に、12ラインあるOB画素のデータのうち同じ水平アドレスを持つ12画素(以下の説明においては、この12画素の画素群をロッドと称する)毎の和をとり、画素数12で除することで平均値を得る。すなわち、各ロッド平均値を1画素に対応させた1ラインの画像信号をもってスミア除去基準信号とする。
【0019】
本実施の形態におけるスメア補正処理は、この処理の際に画素欠陥も考慮するところに特徴がある。すなわち、補正基準信号生成部8−2により各ロッドの和を求めるに先立ち、欠陥除去部8−1において上記EEPROM18に格納された欠陥画素のアドレスデータを参照し、当該ロッドに欠陥画素があった場合、その画素データを除き、残りの(非欠陥)画素データのみを補正基準信号生成部8−2へ送出し、その和を求めるようにする。そして、これを「12(ロッドの総画素数)から欠陥画素数を減じたもの(当該ロッドの非欠陥画素数)」で除することによって、当該ロッドの非欠陥画素のみに関する平均値を得る。すなわち、各ロッドの非欠陥画素のみの平均値を1画素に対応させた1ラインの画像信号をもってスミア除去基準信号としている。したがって、スミア補正に際して、OB領域の画素欠陥の影響を受けることがなくなる。またこのとき、欠陥画素のデータを取り除き、それに合わせて除数を調整しているから、スミア除去基準信号に含まれる各OBライン(の当該ロッドに関する非欠陥画素)の重みは等比率を保っており、ランダム性ノイズの影響の低減効果に悪影響を生じさせない点で優れている。
【0020】
なお、この点を重視しなければ、欠陥画素の代わりに同じロッド内の他の(例えばすぐ上又は下の)非欠陥画素データで置換えるという処理も可能であり、一つの変形例として挙げ得る。これは平均値算出における除数を(本例では12に)定数化できる点で利点も有してはいるが、置換えに用いた非欠陥画素の比率が他よりも高くなるため、ランダム性ノイズの影響の低減効果がそれだけ減じてしまうという欠点も併せ持つものである。
【0021】
このようにして得られたスミア除去基準信号を用いて、画像信号補正部8−3において有効画素信号に関するスミア補正が行なわれる。すなわち、有効画素部分EPから読み出された画素信号の各ラインデータから、このスミア除去基準信号を減じたものを補正後の出力とする。(減算は同じ水平アドレスを持つデータ間で行われることは、自明であろう。)
【0022】
また、本実施の形態に係るディジタルカメラは従来公知の画素欠陥補償手段を有しており、有効画素部分EPに対応する上記スミア補正後の出力信号に対して、上記EEPROM18に格納された欠陥画素アドレスデータに基づいて、ディジタルプロセス回路8において、この処理がなされる。このときスミア補正を先に、欠陥補償を後にやることには意味があり、単純にこれを逆にすると、欠陥画素に対してこれと水平アドレスの異なる画素の情報が補完適用される場合などに、スミア現象それ自体やスミア補正に起因する画質劣化が生じるようになる。
【0023】
以上のようにして、スミア補正及び画素欠陥の補償処理を経た画像信号は、適宜各種信号処理を経てメモリカード10に記録あるいはLCD画像表示系11に表示される。記録あるいは表示される画像はスミアが補正された、したがって見かけ上スミアの存在しない高画質な画像となる。
【0024】
なお、上記主たる実施の形態の他にも様々な実施の形態が考えられる。一例を挙げると、本発明を動画撮影を主としたいわゆるムービーカメラ(ビデオムービー)に適用したものが挙げられる。上記主たる実施の形態のカメラは、静止画撮影を主目的とした、いわゆるディジタル(スチル)カメラであるから、少なくとも静止画の1コマ撮影に限れば、メカシャッタ等の光学シャッタの併用によって(本発明によらず)問題の解決を図ることも考えられるのに対して、ムービーカメラの場合は動画撮影が主であるため、付加的機能である静止画撮影も含めて光学シャッタを用いないという一般的な設計要請が存在しており、本発明の効果は一層際立つものとなる。
【0025】
以上本発明のいくつかの実施の形態及びその変形例を具体的に示したが、本発明はこれらに限られることなく、特許請求の範囲に記載の限りにおいて、如何なる態様をも取り得るものであることは言うまでもない。
【0026】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、スミア補正された、したがって見かけ上スミアの存在しない高画質な画像を得ることが可能な撮像装置を実現することができる。特に請求項1に係る発明によれば、複数ラインある垂直OBから欠陥画素の情報を除いてスミア除去のための基準信号を得るようにしているから、垂直OBに画素欠陥が存在しても新たな固定パターンノイズの発生などの不具合を生じさせない良好なスミア補正を行うことができる。また、請求項2に係る発明によれば、欠陥除去手段が使用する垂直OBに関する画素欠陥データを記憶する記憶手段を備えているので、例えば工場等で予め所定の基準で検査した画素欠陥データを用いて画素欠陥情報を除いたスミア除去のための基準信号を生成し、確実に且つ容易に不具合を生じさせないスミア補正を行うことができる。
【図面の簡単な説明】
【図1】本発明に係る撮像装置の実施の形態のディジタルカメラの全体構成を示す概略ブロック構成図である。
【図2】図1に示した実施の形態におけるCCD撮像素子のセンサー領域を示す概略図である。
【符号の説明】
1 レンズ系
2 レンズ駆動機構
3 露出制御機構
4 フィルタ系
5 CCD撮像素子
6 CCDドライバ
7 プリプロセス回路
8 ディジタルプロセス回路
8−1 欠陥除去部
8−2 補正基準信号生成部
8−3 画像信号補正部
9 メモリカードインターフェース
10 メモリカード
11 LCD画像表示系
12 システムコントローラ
13 操作スイッチ系
14 操作表示系
15 ストロボ
16 レンズドライバ
17 露出制御ドライバ
18 EEPROM
101 水平転送路(水平シフトレジスタ)
EP 有効画素部分(撮像エリア)
OB 光学的黒画素部分
VOB 垂直OB
HOB 水平OB
Claims (2)
- 撮像素子と、該撮像素子の垂直方向の光学的黒の画素部分の出力信号から前記撮像素子の有効画素部分の出力信号である有効画像信号を補正するための基準信号を生成する補正基準信号生成手段と、前記有効画像信号より前記補正基準信号を減算する画像信号補正手段と、前記補正基準信号生成手段における補正基準信号の生成に際しては前記光学的黒の画素部分に画素欠陥が存在しても該欠陥画素の情報が該補正基準信号に含まれないように生成を行なうための該欠陥画素情報を除く欠陥除去手段とを有していることを特徴とする撮像装置。
- 前記光学的黒の画素部分に関する画素欠陥データを記憶する記憶手段を備え、前記欠陥除去手段は、前記記憶手段に記憶されている画素欠陥データを用いて前記欠陥画素情報を除くように構成されていることを特徴とする請求項1に係る撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20134999A JP4266443B2 (ja) | 1999-07-15 | 1999-07-15 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20134999A JP4266443B2 (ja) | 1999-07-15 | 1999-07-15 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001036819A JP2001036819A (ja) | 2001-02-09 |
JP4266443B2 true JP4266443B2 (ja) | 2009-05-20 |
Family
ID=16439571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20134999A Expired - Fee Related JP4266443B2 (ja) | 1999-07-15 | 1999-07-15 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4266443B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4383827B2 (ja) | 2003-10-31 | 2009-12-16 | キヤノン株式会社 | 撮像装置、白傷補正方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
JP5005179B2 (ja) | 2005-03-23 | 2012-08-22 | ソニー株式会社 | 固体撮像装置 |
JP2007053659A (ja) * | 2005-08-19 | 2007-03-01 | Konica Minolta Sensing Inc | 計測用撮像装置 |
JP2008109639A (ja) * | 2006-09-25 | 2008-05-08 | Hitachi Kokusai Electric Inc | 撮像装置および撮像方法 |
JP5159506B2 (ja) * | 2008-08-08 | 2013-03-06 | キヤノン株式会社 | 撮像装置、制御方法、およびプログラム |
JP5322561B2 (ja) | 2008-09-25 | 2013-10-23 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5229148B2 (ja) * | 2009-07-28 | 2013-07-03 | ソニー株式会社 | 撮像素子、撮像装置、信号処理方法及びプログラム |
KR101397182B1 (ko) * | 2012-07-18 | 2014-05-20 | 엠텍비젼 주식회사 | 영상 처리 장치 및 가로줄 노이즈 개선 방법 |
JP6110689B2 (ja) * | 2013-02-28 | 2017-04-05 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
-
1999
- 1999-07-15 JP JP20134999A patent/JP4266443B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001036819A (ja) | 2001-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6970193B1 (en) | Electronic imaging apparatus operable in two modes with a different optical black correction procedure being effected in each mode | |
JP3785520B2 (ja) | 電子カメラ | |
JP5266957B2 (ja) | 欠陥画素検出装置、撮像装置、および欠陥画素検出方法 | |
US6809763B1 (en) | Image pickup apparatus and method of correcting deteriorated pixel signal thereof | |
JP2000092397A (ja) | 固体撮像素子の画素欠陥検出装置 | |
JP4266443B2 (ja) | 撮像装置 | |
JP3720683B2 (ja) | 撮像装置 | |
JP4339450B2 (ja) | 撮像装置 | |
JP5057618B2 (ja) | 撮像装置 | |
JP3618645B2 (ja) | 撮像装置及びその劣化画素信号補正方法 | |
JP3864021B2 (ja) | ビデオカメラ | |
JP2005354670A (ja) | 画像処理方法およびカメラシステム | |
JP2001177768A (ja) | 撮像装置 | |
JP4262363B2 (ja) | 撮像装置 | |
JP2003143488A (ja) | 撮像装置 | |
JP3238968B2 (ja) | 固体撮像装置 | |
JP3796421B2 (ja) | 撮像装置及び撮像方法 | |
JP4602541B2 (ja) | 撮像装置 | |
JP4088869B2 (ja) | 固体撮像素子の欠陥画素検出装置及び固体撮像装置 | |
JP4646394B2 (ja) | 撮像装置 | |
JP4394470B2 (ja) | 撮像装置 | |
JP4266445B2 (ja) | 撮像装置 | |
JP4311833B2 (ja) | 撮像装置 | |
JP2002152601A (ja) | 固体撮像装置および欠陥画素補正方法 | |
JP4481764B2 (ja) | 撮像素子から出力される信号の補正方法およびそれを用いた画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090127 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090217 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140227 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |