JP4083437B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4083437B2 JP4083437B2 JP2002028482A JP2002028482A JP4083437B2 JP 4083437 B2 JP4083437 B2 JP 4083437B2 JP 2002028482 A JP2002028482 A JP 2002028482A JP 2002028482 A JP2002028482 A JP 2002028482A JP 4083437 B2 JP4083437 B2 JP 4083437B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- color
- generating
- addition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Optical Filters (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
本発明は、撮像装置に関する。
【0002】
【従来の技術】
本発明の出願人は、特願2000−022758号において、ベイヤ配列の撮像素子の画素出力情報から、画素数(正確には空間画素密度)を減じたベイヤ配列画素信号を生成する減数処理技術を提案している。これにより、画質劣化を生じることなく、且つフレームレートも向上でき、更にデジタル信号処理の負担増加を抑えた画素情報加算による感度向上撮影可能、かつベイヤ配列の単板式カラー撮像素子を用いた場合も、複雑な演算処理を要することなく画素加算により感度の向上をはかることができ、且つフレームレートの向上を図ることができる。
【0003】
上記の技術をRGBベイヤ配列に関して詳細に述べる。2×2の4画素加算の場合では、ベイヤ配列の単位配列を2×2=4個並べた4×4=16画素を1つのブロックと見なし、そのブロック内で次式で表わされる加算を行う。(図7参照)
(1)式において、i=4m1+m2、j=4n1+n2:m1、n1は非負の整数、m2、n2は1または2である。
【0004】
このとき、座標i、jは原画像画素Xの位置座標であり、生成画像画素Aの位置座標も共通である。従って、A(i,j)の座標(i,j)は、減数処理で生成された画素の原画像における代表位置を示すことになる。式の座標から判るように、生成画素は加算時の4つの原画素の平均位置に生成されるとみなしている。なお、加算された4画素の感度は等しいので、この場合は感度分布の重心位置に画素が生成されるともいえる。この様子を図7(b)に示す。
【0005】
なお、このような減数処理により生成されたベイヤ画像データは次段での処理においては上記原画像における代表的存在位置の座標は意味を失い、これらが単に順次(隙間無く隣接して)配列されたデータ(図示せず)として扱われるから、例えば上記と共通の記号(i、j、m1、m2、n1、n2)を用いて、
A(x,y)=A(i,j)…(2)
(ただし、x=2m1+m2−1、y=2n1+n2−1)
という形式のベイヤ配列画像として、従来のベイヤ撮像素子からの出力信号と全く同様の公知の信号処理によって、色情報が同時化された(各画素が3色全てのデータを有する)コンポーネント信号化され記録対象画像に生成される。(その際必要に応じて情報圧縮処理も伴う。)
しかし、上記のように生成された画素信号の位置(すなわち原画素平均位置)は一様ではなく(すなわち、等間隔になっておらず)、不均一である。このため、基本サンプリング周波数が本来の半分となり、特に輝度モアレによる画質劣化を生じる問題があった。
【0006】
図7(b)に示す上記の4画素加算の場合においても生成画素の位置が一様で無いことは明らかであるが、3×3=9画素加算の場合を取り上げて詳述する。
【0007】
この場合には、ベイヤ配列の単位配列を3×3=9個並べた6×6=36画素を1つのブロックと見なし、そのブロック内で次式で表わされる加算を行うものとなる。(図8)
(3)式において、i=6m1+m2、j=6n1+n2:m1、n1は非負の整数、m2、n2は2または3である。
【0008】
この場合の重心位置分布の不均一性は、当然4画素の場合よりもさらに顕著になっている。ここでRおよびB画素についてはそのサンプリング周期に影響がないから特に問題は発生しないが、G画素に着目すると上記不均一性によって水平および垂直の基本サンプリング周期が期待される周期の2倍(周波数が1/2)になっている。つまり生成画像
A(x,y)=A(i,j)…(4)
(ただし、x=2m1+m2−2、y=2n1+n2−2)
という減数後のベイヤ配列画像について見れば、単位配列あたり2個のGが存在しているから、これを元に輝度信号を生成すれば水平垂直の各1次元方向については単位配列の周期の2倍の輝度サンプリング周期が得られることが期待される。しかし、上記のような不均一性があるため、原画像に対する実際の輝度サンプリング周期は減数単位配列の周期と同じになってしまう。
【0009】
この結果が生成画像に及ぼす作用は、後段の画像処理方法によっても異なるが、
・実効的サンプリング周波数が低下するためエッジ部に輝度モアレによるギザが発生し易くなり、
・輝度信号の生成方法によっては右斜め方向と左斜め方向で画像の再現特性に大きな非対称性を生じることがある。
【0010】
具体例を挙げれば、少なくとも例えば、「最至近で隣接する(=斜めに隣り合う)2つのG画素を加算することにより1画素の輝度信号(の少なくとも高域成分)を生成する」方式の場合にはこれらの不具合が顕著に発生することが発明者の検討によって明らかとなった。この場合の不具合画像の撮像例を図9(CZP=サーキュラーゾーンプレートチャートの中央部付近の拡大画像)に示す。本来滑らかな輪帯であるべきCZP像に、サンプリングによるギザが発生すること自体は原理的にやむを得ないが、図9に示す例では特に中央右側の右斜め部分にのみ極端に大きなギザが発生している。
【0011】
【発明が解決しようとする課題】
本発明は、輝度モアレによる画質劣化を防止可能な撮像装置を提供することを目的とする。
【0012】
【課題を解決するための手段】
本発明は、上記の課題を解決するために次のような手段を講じた。
本発明においては、減数画像の各画素生成位置(各生成画素に寄与する原画素の平均位置)が等間隔となるように加算を実行するようにした。これによってベイヤtoベイヤ減数処理を行った場合にも輝度モアレによる画質劣化は充分抑圧され、高画質な記録対象画像が得られる。具体的には、以下の通りである。
【0013】
本発明に係る撮像装置は、2×2の4画素を単位配列とする周期配列の色コーディングパターンを有したカラー撮像素子と、前記撮像素子の受光画素部における光電変換情報を原画像データとして、この原画像における同色画素の情報を(2N+1)2個(ただしNは自然数)加算して1つの画素データを生成することにより前記原画像データの画素密度の1/(2N+1)2の画素密度の色コーディング画像である減数画像を生成する減数画像生成手段と、前記減数画像に基づいて記録対象画像を生成する記録画像生成手段とを備え、前記減数画像生成手段は、前記減数画像の各画素生成位置(各生成画素に寄与する原画素の平均位置)が等間隔となるように前記加算を実行するものであることを特徴とする。
上記の撮像装置の好ましい実施態様は、以下の通りである。
(1) 前記周期配列は、その単位配列の4画素中2画素のみが同色であり、この同色の2画素が対角配置された3原色ベイヤ配列であること。
(2) (1)において、前記3原色ベイヤ配列は、その3原色が加色混合の3原色RGBでGが対角配置されたRGBベイヤ配列であること。
(3) 前記同色情報の加算のうち少なくとも垂直方向の加算は、前記撮像素子内で実行されること。
【0014】
本発明に係る画像処理方法は、2×2の4画素を単位配列とする周期配列の色コーディングパターンを為した原画像データに基づいて、この原画像における同色画素の情報を(2N+1)2個(ただしNは自然数)加算して1つの画素を生成することにより前記原画像データの画素密度の1/(2N+1)2の画素密度の減数画像を生成する減数画像生成処理を行う際に、前記減数画像の各画素生成位置(各生成画素に寄与する原画素の平均位置)が等間隔となるように前記加算を実行することを特徴とする。
【0015】
【発明の実施の形態】
図面を参照して本発明の一実施形態を説明する。図1は、本発明に係る撮像装置の概略ブロック図である。
【0016】
図1は、本発明の一実施形態に係わる撮像装置の回路構成を示すブロック図である。
【0017】
図中101は各種レンズからなるレンズ系、102はレンズ系101を駆動するためのレンズ駆動機構、103はレンズ系101の絞りを制御するための露出制御機構、104はメカシャッタ、105はベイヤ配列のカラーフィルタを備えたCCDカラー撮像素子、106は撮像素子105を駆動するためのCCDドライバ、107はゲインコントロールアンプ,A/D変換器等を含むプリプロセス回路、108は色信号生成処理,マトリックス変換処理,その他各種のデジタル処理を行うためのデジタルプロセス回路、109はカードインターフェース、110はCFやスマートメディア等のメモリカード、111はLCD画像表示系を示している。
【0018】
また、図中の112は各部を統括的に制御するためのシステムコントローラ(CPU)、113は各種SWからなる操作スイッチ系、114は操作状態及びモード状態等を表示するための操作表示系、115はレンズ駆動機構102を制御するためのレンズドライバ、116は発光手段としてのストロボ、117はストロボ116を制御するための露出制御ドライバ、118は各種設定情報等を記憶するための不揮発性メモリ(EEPROM)を示している。
【0019】
本実施形態のデジタルスチルカメラにおいては、システムコントローラ112が全ての制御を統括的に行っており、特に露出制御機構103に含まれるシャッタ装置(メカシャッタ(光学的シャッタ)を含む)と、CCDドライバ106によるCCD撮像素子105の駆動を制御して露光(電荷蓄積)及び信号の読み出しを行い、それをプリプロセス回路107を介してデジタルプロセス回路108に取込んで、各種信号処理を施した後にカードインターフェース109を介してメモリカード110に記録するようになっている。
【0020】
CCD撮像素子105は、図2に示すように、マトリクス配置されたフォトダイオード201,複数本の垂直CCD202,及び1本の水平CCD203から構成されたインターライン(IL)型で、インターレース駆動方式のものを採用している。また、カラーフィルタは、図3に示すようにRGBのベイヤ配列となっている。このような配列では、隣接する画素の加算では異なる色が混ざってしまうので、単純には画素加算を行うことはできない。
【0021】
図3のようなインターレースRGBベイヤ配列の撮像素子では、各フィールドに着目すれば、それぞれRG又はGBのストライプ配列を構成している。そこで本実施形態では、nライン加算駆動(n倍速読み出し)によって各色を混合させることなく水平CCDの中で加算する。具体的には、インターレースのフレーム読み出しで垂直方向のn画素を水平転送路内で加算する。そして、これを外部に読み出した後、デジタル演算処理によって水平同色n画素毎の加算平均を行う。
【0022】
具体的には、以下の通りである。
まず、電子シャッタとメカシャッタを併用したインターレース読み出しを行う。具体的にはメカシャッタ開状態において電荷排出パルス(半導体基板バイアスを一旦所定の電荷排出用の高電圧値とすることで全画素の電荷を基板に排出するパルス)を出力することで露光を開始し、所定の露光時間後にメカシャッタを閉じることで露光を終了する。
【0023】
その後、公知のインターレース読み出し、すなわち奇数ラインはAフィールド、偶数ラインはBフィールドと順次の2つのフィールド期間に別々に読み出しを行うことにより、1つのフレーム画像を得る。
【0024】
その際、色配列に着目すると、1フレームのベイヤ配列は各フィールドのみに着目した場合には、それぞれ縦ストライプ配列に相当しているから、読み出し時に公知の垂直n加算駆動(1水平ブランキング期間にnライン分の垂直転送を行う)によって垂直方向に関しては素子内同色加算を行うことができる。本実施形態では3×3=9画素加算を行うのでn=3として加算駆動読み出しを行う。
【0025】
水平方向については、撮像素子からの読み出し信号をAD変換した後にデジタルプロセス108においてデジタル演算により1画素置きのn画素加算(この場合の「画素」は素子内で垂直n画素加算が行われた中間段階の生成画素を単位としている)を行うことで同色加算を行うことができる。この場合もn=3とすることは言うまでもない。
【0026】
本実施形態では、加算のパターンとして図4(a)に示すものを採用している。すなわち次式で、A(i,j)が求められる。
ただし、(5)式において、i=6m1+m2、j=6n1+n2:m1、n1は非負の整数、m2、n2は2または5である。
【0027】
上記の加算パターンにおいて、垂直方向についてはAフィールドとBフィールドで加算位相を変える(1つの水平ブランキング期間に転送される3ラインの組合せをずらす)ことで、この加算方法が実現される。なお、水平方向はデジタル演算であるから問題は無い。
【0028】
このように、(3)式と(5)式の違いはm2、n2の値だけであって、加算数nが奇数(n=2N+1:Nは自然数)であれば、このようにm2、n2の値を適当に選ぶことによって、図4(b)に示すように減数生成画素の位置を等間隔にすることができる。
【0029】
具体的には、この例で5−2=3であるように、m2、n2それぞれについて、とり得る2値の差を加算数nに等しくすれば良い。
【0030】
なお、nが偶数の場合は、このような「等間隔ベイヤ配列」の同色加算を実現することができない。
【0031】
上記のようにして加算生成された画像はベイヤ配列をなしているから、従来のベイヤ撮像素子からの出力信号と全く同様の(すなわち非加算の場合と同一の)公知の信号処理によって、色情報が同時化された(各画素が全て3色データを有する)コンポーネント信号化され記録対象画像に生成され、記録される。あるいは適当なインターフェースを介して例えば汎用コンピューターやプリンタ等の外部機器に出力される。
【0032】
なお、この後段の回路における処理は、その必要に応じて適宜使用されるそれ自体は公知の、例えば色バランス処理、マトリクス演算による輝度−色差信号への変換あるいはその逆変換処理、帯域制限等による偽色除去あるいは低減処理、γ変換に代表される各種非線型処理、各種情報圧縮処理、等々である。
【0033】
従来との違いが生じる理由を図5を用いて説明する。
図5は、1次元における説明図である。従って、3画素加算となっている。なお、原画素の画素ピッチ(図で1マス)をPとする。
【0034】
入力画像として、例えば周期12Pの矩形波を例に取ると、原画素のサンプリング位置(↑)に入力波に対応して1または0の原画素が出力される。
【0035】
図5(a)に示すように、加算生成画素の生成位置(各生成画素に寄与する原画素の平均位置)をサンプリング位置として↑で図示し、その下に、対応して得られる加算出力値を記載している。図5(a)によれば、従来の3画素加算においては、サンプリング位置が不均一(すなわち、等間隔ではない)であるのに対して、本発明では等間隔となっている。
【0036】
図5(a)だけでの対比では大差が無いように見えるが、図5(b)に示すように、入力波の位相を変えた場合の結果を比較すると、従来は位相の変化によって出力振幅が大きく変化するのに対して、本発明実施形態では出力振幅が安定していることが判る。従って「斜めエッジ」のようにサンプリング位相がラインによって少しずつ変化するような被写体に対しては前者は大きなギザを生じるが、後者では改善される。
【0037】
その結果、図6に示すようなギザの少ない良好な画像が得られる。信号処理の方式によっては図9のように生じることのあった画像の再現特性の非対称性も生じない。
【0038】
本発明は、上記の発明の実施の形態に限定されるものではない。例えば、以下のように変形しても良い。
上記ではRGBベイヤ配列を使用しているが、例えばYCMの補色系3原色など任意のベイヤ配列や、YCMGやRGBx(x=W(Wは白=全透過)、x=IR(赤外)など)など4色配列に本発明を適用しても同様に有効である。
また、加算は全素子外デジタル加算であっても良いし、可能であれば全素子内加算であっても良い。また、加算方法はアナログ、デジタルいずれの加算でも良い。
水平と垂直のそれぞれの加算数は奇数であれば等しくなくても良い。さらに言えば、上記図5による説明は1次元であったことから判るように、本発明は1次元だけの適用においても効果を発揮するものであるから、例えば水平・垂直の一方について非加算としても良い。
その他、本発明の要旨を変更しない範囲で種々変形して実施できるのは勿論である。
【0039】
【発明の効果】
上記のように、本発明によれば、ベイヤ配列撮像素子を用いた同色画素加算における加算後の画像の各画素生成位置(重心位置:正しくは各生成画素に寄与する原画素の平均位置)が等間隔となるように加算を実行するようにしたので、輝度モアレによる画質劣化(ギザ)を防止することができる。
【図面の簡単な説明】
【図1】 本発明の一実施形態に係わる撮像装置の回路構成を示すブロック図。
【図2】 同実施形態に用いたカラー撮像素子の基本構成を示す図。
【図3】 同実施形態に用いたカラー撮像素子におけるフィルタ配列を示す図。
【図4】 本発明の一実施形態による加算方法を説明するための図。
【図5】 従来との違いを説明するための図。
【図6】 本発明によって得られた画像例を示す図。
【図7】 従来の加算方法を示す図。
【図8】 従来の他の加算方法を示す図。
【図9】 従来技術によって得られた画像例を示す図。
【符号の説明】
101…レンズ系
102…レンズ駆動機構
103…露出制御機構
104…メカシャッタ
105…CCDカラー撮像素子
106…CCDドライバ
107…プリプロセス回路
108…デジタルプロセス回路
109…カードインターフェース
110…メモリカード
111…LCD画像表示系
112…システムコントローラ(CPU)
113…操作スイッチ系
114…操作表示系
115…レンズドライバ
116…ストロボ
117…露出制御ドライバ
118…不揮発性メモリ(EEPROM)
201…フォトダイオード
202…垂直CCD
203…水平CCD
Claims (7)
- 2×2の4画素を単位配列とする周期配列の色コーディングパターンを有したカラー撮像素子と、
前記撮像素子の受光画素部における光電変換情報を原画像データとして、この原画像における同色画素の情報を(2N+1)2個(ただしNは自然数)加算して1つの画素データを生成することにより前記原画像データの画素密度の1/(2N+1)2の画素密度の色コーディング画像である減数画像を生成する減数画像生成手段と、
前記減数画像に基づいて記録対象画像を生成する記録画像生成手段とを備え、
前記減数画像生成手段は、前記減数画像の各画素生成位置が等間隔となるように前記加算を実行するものであることを特徴とする撮像装置。 - 前記周期配列は、その単位配列の4画素中2画素のみが同色であり、この同色の2画素が対角配置された3原色ベイヤ配列であることを特徴とする請求項1に記載の撮像装置。
- 前記3原色ベイヤ配列は、その3原色が加色混合の3原色RGBでGが対角配置されたRGBベイヤ配列であることを特徴とする請求項2に記載の撮像装置。
- 前記同色情報の加算のうち少なくとも垂直方向の加算は、前記撮像素子内で実行されることを特徴とする請求項1から請求項3のいずれか1項に記載の撮像装置。
- 2×2の4画素を単位配列とする周期配列の色コーディングパターンを為した原画像データに基づいて、この原画像における同色画素の情報を(2N+1)2個(ただしNは自然数)加算して1つの画素を生成することにより前記原画像データの画素密度の1/(2N+1)2の画素密度の減数画像を生成する減数画像生成処理を行う際に、
前記減数画像の各画素生成位置が等間隔となるように前記加算を実行することを特徴とする画像処理方法。 - 2×2の4画素を単位配列とする周期配列の色コーディングパターンを有したカラー撮像素子と、
前記撮像素子の受光画素部における光電変換情報を原画像データとして、この原画像における同色画素の情報を水平または垂直のうち1方向に関して(2N+1)個(ただしNは自然数)加算して1つの画素データを生成することにより前記原画像データの画素密度の1/(2N+1)の画素密度の色コーディング画像である減数画像を生成する減数画像生成手段と、
前記減数画像に基づいて記録対象画像を生成する記録画像生成手段とを備え、前記減数画像生成手段は、前記減数画像の各画素生成位置が等間隔となるように前記加算を実行するものであることを特徴とする撮像装置。 - 2×2の4画素を単位配列とする周期配列の色コーディングパターンを為した原画像データに基づいて、この原画像における同色画素の情報を水平または垂直のうち1方向に関して(2N+1)個(ただしNは自然数)加算して1つの画素を生成することにより前記原画像データの画素密度の1/(2N+1)の画素密度の減数画像を生成する減数画像生成処理を行う際に、
前記減数画像の各画素生成位置が等間隔となるように前記加算を実行することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002028482A JP4083437B2 (ja) | 2002-02-05 | 2002-02-05 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002028482A JP4083437B2 (ja) | 2002-02-05 | 2002-02-05 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003230054A JP2003230054A (ja) | 2003-08-15 |
JP4083437B2 true JP4083437B2 (ja) | 2008-04-30 |
Family
ID=27749676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002028482A Expired - Fee Related JP4083437B2 (ja) | 2002-02-05 | 2002-02-05 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4083437B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004147092A (ja) | 2002-10-24 | 2004-05-20 | Canon Inc | 信号処理装置、撮像装置、及び制御方法 |
JP2004266369A (ja) | 2003-02-21 | 2004-09-24 | Sony Corp | 固体撮像装置およびその駆動方法 |
JP4416462B2 (ja) | 2003-09-19 | 2010-02-17 | パナソニック株式会社 | 自動焦点調節方法、および自動焦点調節カメラ |
JP4658470B2 (ja) | 2003-11-28 | 2011-03-23 | パナソニック株式会社 | 固体撮像素子、固体撮像装置及びカメラ |
JP4517896B2 (ja) * | 2005-03-08 | 2010-08-04 | カシオ計算機株式会社 | 撮像装置及びその画素補間方法 |
JP5355726B2 (ja) * | 2012-01-10 | 2013-11-27 | キヤノン株式会社 | 撮影装置、画像処理装置、撮影システム、放射線撮影装置および画像処理方法 |
CN114913814B (zh) * | 2019-09-29 | 2023-06-27 | 武汉天马微电子有限公司 | 显示面板的驱动方法、显示驱动装置和电子设备 |
-
2002
- 2002-02-05 JP JP2002028482A patent/JP4083437B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003230054A (ja) | 2003-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3636291B2 (ja) | 撮像装置 | |
JP4640507B2 (ja) | 固体撮像装置、固体撮像装置の信号処理方法、および撮像装置 | |
US20040046882A1 (en) | Electric camera | |
US6377304B1 (en) | Solid-state image-pickup devices exhibiting faster video-frame processing rates, and associated methods | |
JP3704238B2 (ja) | 撮像装置 | |
JP2003046876A (ja) | 撮像装置 | |
US8754971B2 (en) | Image sensing apparatus and image capturing system | |
US8111298B2 (en) | Imaging circuit and image pickup device | |
JP2009246465A (ja) | 撮像装置、撮像モジュール、及び撮像システム | |
JP4305071B2 (ja) | 信号補正方法 | |
JP4083437B2 (ja) | 撮像装置 | |
US20160205335A1 (en) | Solid-state imaging device | |
JP4460751B2 (ja) | 撮像素子および撮像装置 | |
KR100871687B1 (ko) | 서브 샘플링 모드에서 디스플레이 품질을 개선한 고체촬상 소자 및 그 구동 방법 | |
JP2003052048A (ja) | 撮像素子、撮像装置および撮像方法 | |
JP5404194B2 (ja) | 固体撮像素子、撮像システム、および固体撮像素子の駆動方法 | |
JPWO2012114994A1 (ja) | カラー撮像素子 | |
JP2002057943A (ja) | 撮像装置 | |
KR100461010B1 (ko) | 고화질 ccd카메라 및 그 제어방법 | |
JP2013070180A (ja) | 固体撮像素子および固体撮像装置 | |
JP2002084548A (ja) | カラー撮像素子及び撮像装置 | |
JP4086618B2 (ja) | 信号処理装置及び方法 | |
JP5607267B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP2692486B2 (ja) | 固体撮像装置 | |
JP2006303407A (ja) | 固体撮像素子およびその駆動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080213 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4083437 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140222 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |