JP4379764B2 - 固体撮像装置の固定パターンノイズ抑制方法及び固体撮像装置 - Google Patents
固体撮像装置の固定パターンノイズ抑制方法及び固体撮像装置 Download PDFInfo
- Publication number
- JP4379764B2 JP4379764B2 JP2001197283A JP2001197283A JP4379764B2 JP 4379764 B2 JP4379764 B2 JP 4379764B2 JP 2001197283 A JP2001197283 A JP 2001197283A JP 2001197283 A JP2001197283 A JP 2001197283A JP 4379764 B2 JP4379764 B2 JP 4379764B2
- Authority
- JP
- Japan
- Prior art keywords
- fixed pattern
- pattern noise
- solid
- imaging device
- state imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子を用いた固体撮像装置における固定パターンノイズ抑制方法、及びこの方法を用いた固体撮像装置に関する。
【０００２】
【従来の技術】
従来、固体撮像素子を用いた固体撮像装置においては、固体撮像素子の暗電流による固定パターンノイズが、画質を悪化させる主たる原因になっている。従って、画質を向上させるためには、この固定パターンノイズを撮像信号から除去することが要求される。
【０００３】
このような要求に対しては、例えば特開平６−１３３１８５号公報に記載されるような固定パターンノイズ抑制技術が提案されている。この従来技術について、図８を用いて以下に説明する。
【０００４】
特開平６−１３３１８５号公報に記載された固定パターンノイズ抑制技術では、図８に示すように、固体撮像素子２の前面側に、間欠的に光を遮断するメカニカルシャッタとしての遮光フィルタ１が配置されている。固体撮像素子２から出力される撮像信号は、プリアンプ３によって増幅されて、Ａ／Ｄ変換器４によりデジタルデータに変換される。遮光フィルタ１により光を遮断されている場合には、固体撮像素子２からの撮像信号は、暗時信号のデジタルデータが得られることになる。
【０００５】
Ａ／Ｄ変換器４から出力されるデジタルデータは、スイッチ５を介して、フレームメモリ６、加算器９のいずれか一方に選択的に入力される。スイッチ５は、遮光フィルタ１に連動しており、遮光フィルタ１によって遮光されている場合には、スイッチ５はａ側に動作して、Ａ／Ｄ変換器４がフレームメモリ６に接続し、遮光フィルタ１によって遮光されていない場合には、スイッチ５はｂ側へ動作して、Ａ／Ｄ変換器４が加算器９に接続される。
【０００６】
フレームメモリ６の出力は、減算器７の−入力端子に入力されている。また、加算器９では、オフセット数値発生回路１０にて発生されたオフセットレベルを、Ａ／Ｄ変換器４の出力に加算しており、この加算データが、減算器７の＋入力端子に入力されている。減算器７は、−入力端子および＋入力端子にそれぞ入力されたデータを減算処理し、その演算結果が、デジタルデータとして出力される。減算器７から出力されるデジタルデータは、Ｄ／Ａ変換器８によりアナログデータに変換される。
【０００７】
このような固定パターンノイズ抑制技術を用いた固体撮像装置の動作について、次に説明する。
【０００８】
遮光フィルタ１によって遮光状態になると、スイッチ５がａ側に動作され、固体撮像素子２からは暗時信号が出力される。この暗時信号は、固定パターンノイズ（ＦＰＮ）にランダムノイズ（ＲＮ）が重畳したものであるために、積分等によりランダムノイズ成分を消去し、固定パターンノイズのみからなる暗時信号を生成する。生成された暗信号は、プリアンプ３、Ａ／Ｄ変換器４およびスイッチ５を介して、フレームメモリ６に入力されてこのフレームメモリ６に記憶される。
【０００９】
次に、遮光フィルタ１による遮光動作が解除されて、スイッチ５がｂ側に動作されると、固体撮像素子２からは撮像信号が出力される。そして、この撮像信号は、プリアンプ３、Ａ／Ｄ変換器４およびスイッチ５を介して、加算器９に入力される。加算器９は、入力された撮像信号に、オフセット数値発生回路１０から出力されるオフセットレベルαを加算し、この加算値から、フレームメモリ６に記憶されている固定パターンノイズ（ＦＰＮ）が減算される。
【００１０】
このようにして、撮像信号から固定パターンノイズ（ＦＰＮ）が除去されることにより、撮像信号は、固定パターンノイズ（ＦＰＮ）による影響を受けるおそれがない。また、撮像信号から固定パターンノイズ（ＦＰＮ）を除去する前に、撮像信号にオフセットレベルαが加算されるために、撮像信号に重畳するランダムノイズ（ＲＮ）の負側がクリップされない。その結果、黒レベルが暗レベルより浮く現象が回避される。また、カラーカメラなどにおけるＲＧＢの各信号のランダムノイズ（ＲＮ）が異なる場合でも、黒レベルを合わせることができる。更に、小レベル信号が入力された場合であっても、撮像信号の黒つぶれが防止される。
【００１１】
【発明が解決しようとする課題】
このような従来の固定パターンノイズ抑制技術によると、固体撮像素子が有する固有の固定パターンノイズ成分が検出され、差分によってキャンセルされることにより、画質が向上する。しかし、その一方では、以下のような問題がある。
【００１２】
第１に、固定パターンノイズを検出するために、遮光フィルタ、すなわち遮光機構（メカニカルシャッタ）が必要である。遮光機構（メカニカルシャッタ）が装着されると、固体撮像装置の小型化が妨げられ、しかも、コストアップにもつながる。携帯電話、携帯情報端末等の小型機器においても、固体撮像装置を設けて、撮像された画像を送信するように構成することが提案されているが、遮光機構が装備されることにより、小型化および低価格が損なわれるために、遮光機構を装備した固定パターンノイズ抑制技術を採用することが、ほとんど行われていない。
【００１３】
第２に、撮像開始時には、毎回、固定パターンノイズを検出する必要があり、そのための時間が必要となり、撮像を開始するまでの時間が長くなる。
【００１４】
第３に、暗時信号が圧縮されずに、その暗時信号から固定パターンノイズが検出されるために、固定パターンノイズを格納するメモリの容量が増大する。
【００１５】
第４に、撮像開始時に固定パターンノイズを検出するが、固定撮像素子の固定パターンノイズは、温度変化と共に変化するため、撮像中に温度上昇が生じた場合は、固定パターンノイズを高い精度で除去することができない。
【００１６】
第５に、撮像中にホワイトバランスの調整を行うと、ＲＧＢのそれぞれの画素ごとに撮像信号がゲイン調整されるため、撮像開始時に検出した固定パターンノイズと撮像信号に含まれる固定パターンノイズとに差が生じ、これによっても、固定パターンノイズを高い精度で除去することができない。
【００１７】
第６に、撮像中に被写体の明るさによってオートゲインコントロールを行うと、撮像開始時に検出した固定パターンノイズと撮像信号に含まれる固定パターンノイズとに差が生じ、これによっても、固定パターンノイズを高い精度で除去することができない。
【００１８】
第７に、固体撮像素子の固体差等により、固定パターンノイズがばらつくおそれがあり、その結果、固定パターンノイズが大きい場合には、その固体撮像素子を使用できなくなるおそれがある。
【００１９】
第８に、撮像信号に含まれる固定パターンノイズはフレームレートによって変化する。このために、撮像中にフレームレートを変更すると、撮像開始時に検出した固定パターンノイズと撮像信号に含まれる固定パターンノイズに差が生じることになり、これによっても、固定パターンノイズを高い精度で除去することができないおそれがある。
【００２０】
本発明は上記従来の問題を解決するものであり、その第１の目的は、遮光機構（メカニカルシャッタ）を用いずに固定パターンノイズを検出でき、しかも、撮像にかかる時間及び固定パターンノイズを格納するメモリの容量を従来より低減できる固定パターンノイズ抑制方法を提供することにある。
【００２１】
本発明の第２の目的は、撮像中に固体撮像装置内部の温度が変化した場合も、高精度に固定パターンノイズを除去できる固定パターンノイズ抑制方法を提供することにある。
【００２２】
本発明の第３の目的は、撮像中にホワイトバランスの調整を行った場合も、高精度に固定パターンノイズを除去できる固定パターンノイズ抑制方法を提供することにある。
【００２３】
本発明の第４の目的は、撮像中に被写体の明るさによってオートゲインコントロールを行った場合も、高精度に固定パターンノイズを除去できる固定パターンノイズ抑制方法を提供することにある。
【００２４】
本発明の第５の目的は、固定パターンノイズが大きい固体撮像素子を使用することができる固定パターンノイズ抑制方法を提供することにある。
【００２５】
本発明の第６の目的は、撮像中にフレームレートを変更した場合も、高精度に固定パターンノイズを除去できる固定パターンノイズ抑制方法を提供することにある。
【００２６】
本発明の第７の目的は、これらの固定パターンノイズ抑制方法を用いた経済的で高性能な固体撮像装置を提供することにある。
【００２７】
【課題を解決するための手段】
本発明の固体撮像装置の固定パターンノイズ抑制方法は、遮光機能が設けられていない固体撮像装置において、固体撮像素子の撮像信号から固定パターンノイズを除去して固定パターンノイズを抑制する方法であって、前記固体撮像装置の製造時に、固体撮像素子から暗時データを出力させ、該暗時データを前記固体撮像装置内のＣＰＵに出力する工程と、該ＣＰＵにより、前記暗時データをｎフレーム分だけ平均化し、この平均化した暗時データから前記固体撮像素子の固定パターンノイズの上位の数ビットおよび下位の数ビットを切り捨てて有効なビットのみ有効データとして検出し、検出された固定パターンノイズの大きさに応じた圧縮処理を行って、該有効データを該固定パターンノイズとして第１の記憶手段に記憶させる工程と、前記固体撮像装置の実使用に際して、前記第１の記憶手段から画像処理回路内の第２の記憶手段へ前記固定パターンノイズを記憶させる工程と、前記撮像信号に加減算される固定パターンノイズの大きさに応じたゲイン調整を行う工程と、前記固体撮像装置の実使用時に、前記固体撮像素子から出力される撮像信号から固定パターンノイズを除去するべく、前記第２の記憶手段から読み出されてゲイン調整された固定パターンノイズを前記撮像信号に加減算する工程と、を包含することを特徴とする。
【００２８】
前記固体撮像装置の温度に応じて、前記撮像信号に加減算される固定パターンノイズのゲイン調整を行う工程をさらに含む。
【００２９】
前記撮像信号に対するホワイトバランスに応じて、前記撮像信号に加減算される固定パターンノイズのゲイン調整を行う工程をさらに含む。
【００３０】
前記撮像信号に対するオートゲインコントロールに応じて、前記撮像信号に加減算される固定パターンノイズのゲイン調整を行う工程をさらに含む。
【００３２】
撮像時のフレームレートに応じて、前記撮像信号に加減算される固定パターンノイズのゲイン調整を行う工程をさらに含む。
【００３３】
本発明の固体撮像装置は、遮光機能が設けられていない固体撮像装置であって、固体撮像素子から出力される撮像信号を画像処理回路によって画像処理する固体撮像装置において、製造時に該固体撮像素子から出力される暗時データをｎフレーム分だけ平均化し、この平均化した暗時データに基づいて、固定パターンノイズの上位の数ビットおよび下位の数ビットを切り捨てて有効なビット数のみ有効データとして検出するＣＰＵと、該ＣＰＵにより検出された固定パターンノイズの大きさに応じた圧縮処理を行い、圧縮された固定パターンノイズを該有効データとして記憶する第１の記憶手段と、該第１の記憶手段に記憶された固定パターンノイズを記憶するように前記画像処理回路内に設けられた第２の記憶手段と、前記固体撮像素子から出力される撮像信号から固定パターンノイズを除去するために、前記第２の記憶手段から読み出されて、前記撮像信号に加減算される固定パターンノイズの大きさに応じてゲイン調整された固定パターンノイズを前記撮像信号に加減算する手段と、を具備することを特徴とする。
【００３４】
【発明の実施の形態】
以下に、図面に基づいて本発明の実施の形態を説明する。
【００３５】
＜実施形態１＞
図１は、本発明の固定パターンノイズ抑制方法の実施に使用される固体撮像装置の一例を示す概略構成図である。この固体撮像装置は、レンズ２１を介して光が照射されるように配置された固体撮像素子２２を有している。固体撮像素子２２は、ＣＣＤ若しくはＣ−ＭＯＳイメージャであり、遮光フィルタ等の遮光機構（メカニカルシャッタ）は装備されていないが、装置製造時（組み立て時）において、暗時データ検出、固定パターンノイズ検出等のために、固体撮像素子２２を一時的に遮光する遮光治具２８が使用される。
【００３６】
固体撮像素子２２の出力は、画像処理回路２０を通してＣＰＵ２６に入力されるようになっている。画像処理回路２０は、固体撮像素子２２の出力を増幅するアンプ２３と、アンプ２３の出力経路を、経路１と経路２とに選択的に切り換えるスイッチ２９とを有している。経路２には、加減算回路２４が設けられており、アンプ２３によって増幅された固体撮像素子２２の出力が加減算回路２４に与えられると、加減算回路２４は、固体撮像素子２２の出力における撮像信号に対して固定パターンノイズの加減算処理を行う。そして、加減算回路２４の出力がＣＰＵ２６に出力される。なお、スイッチ２９によって、経路１に与えられたアンプ２３の出力は、加減算回路２４を経由することなく、ＣＰＵ２６に、直接与えられている。
【００３７】
ＣＰＵ２６は、固体撮像装置全体を統括的に制御すると共に、固体撮像素子２２が有する固有の固定パターンノイズを検出して圧縮処理を行い、その固定パターンノイズを、第１の記憶手段である不揮発性メモリ２７に格納するようになっている。不揮発性メモリ２７に恒久的に記憶された固定パターンノイズデータは、ＣＰＵ２６の制御により、適宜、画像処理回路２０内に設けられた第２の記憶手段であるメモリ２５に与えられる。
【００３８】
このような構成の固体撮像装置における固定パターンノイズ抑制方法について説明する。まず、固体撮像装置の製造時（組み立て時）において固体撮像装置が製造された時点で、その固体撮像装置のレンズ２１を遮光治具２８にて遮光した状態にするとともに、画像処理装置２０内に設けられたスイッチ２９を、経路１に切り換えた状態とする。
【００３９】
このような状態では、固体撮像素子２２からは、光電荷のない暗時信号が出力され、固体撮像素子２２から出力される暗時信号は、アンプ２３にて適当なレベルに増幅されて、スイッチ２９をおよび経路１を通って、ＣＰＵ２６に与えられる。
【００４０】
このようにして、ＣＰＵ２６は、ｎフレーム分の暗時データを取り込み、とりこまれたｎフレーム分のデータを平均化する。このように、ｎフレーム分の暗時信号のデータを平均化することにより、暗時信号中のランダムノイズ成分が除去される。
【００４１】
この場合、暗時信号は低レベルな信号であるために、暗時信号を平均化したデータの上位ビットには、固定パターンノイズの有効データは含まれていない。このことから、製造時において測定した暗時信号データに基づいて、下位の数ビットを有効データとして決定し、下位の数ビットの有効データが、固定パターンノイズとして不揮発性メモリ２７に格納される。
【００４２】
このようにして、製造時において、暗時信号データから固定パターンノイズがＣＰＵ２６により検出されると共に、検出された固定パターンノイズ信号が、圧縮された状態で効率的に不揮発性メモリ２７に格納される。
【００４３】
不揮発性メモリ２７に固定パターンノイズ信号が格納された固体撮像装置は、スイッチ２９が経路２に切り換えられた状態で、製品として出荷される。
【００４４】
このような固体撮像装置によって撮像する場合には、不揮発性メモリ２７内に格納された固定パターンノイズデータが、画像処理回路２０内のメモリ２５に格納される。そして、固体撮像素子２２から出力される撮像信号が、アンプ２３によって増幅されて、画像処理回路２５のスイッチ２９によって、経路２を通って加減算回路２４に与えられると、加減算回路２４は、固体撮像素子２２からの撮像信号に対し、メモリ２５内に格納された固定パターンノイズデータを減算処理する。
【００４５】
これにより、固体撮像素子２２から出力される撮像信号から、暗時の固定パターンノイズが除去された信号が得られ、固定パターンノイズが除去された撮像信号によって画像が形成されるために、画像の画質が向上する。
【００４６】
しかも、固体撮像装置は、遮光フィルタ等の遮光機構（メカニカルシャッタ）を設けることなく、固定パターンノイズを検出できるために、固体撮像装置全体を小型化することができるとともに、コストダウンすることができる。その結果、携帯電話、携帯情報端末等の小型機器でも、固定パターンノイズを除去し得る固体撮像装置を装備することができ、携帯電話等の小型機器においても、高画質の画像を撮像することができる。
【００４７】
また、固定パターンノイズの検出が固体撮像装置の製造時（組み立て時）に行われるために、実際に撮像を開始する場合には、固体パターンノイズの検出が行われないので、撮像が開始されるまでの時間を短縮することができる。
【００４８】
さらに、暗時信号データから得られる固定パターンノイズデータは、暗時信号データの下位の数ビットを有効データとする圧縮処理されているために、固定パターンノイズデータを格納するメモリの容量を低減することができる。
【００４９】
＜実施形態２＞
図２は、本発明の固定パターンノイズ抑制方法の実施に用いられる固体撮像装置の他の例を示す概略構成図である。
【００５０】
この固体撮像装置は、図１に示す固体撮像装置と比較すると、固体撮像装置の内部温度を検出する温度センサ３３と、装置の内部温度と固定パターンノイズの変化率との関係を示す温度テーブル３２とが設けられており、温度センサ３３によって検出される温度に基づいて、固定パターンノイズを補正するようになっている点が相違している。固体撮像素子２２の出力に含まれる固定パターンノイズは、固体撮像装置内の温度変化による影響を受けて変化するが、本実施の形態の固体撮像装置では、その影響を取り除くことができる。
【００５１】
装置の内部温度を検出する温度センサ３３の出力は、ＣＰＵ２６に与えられており、ＣＰＵ２６は、温度テーブル３２に基づいて、温度センサ３３によって検出される温度に対応した固定パターンノイズの変化率を求める。画像処理回路２０内には、メモリ２５から加減算回路２４へ送られる固定パターンノイズの信号をゲイン調整するアンプ３１が設けられており、ＣＰＵ２６は、温度テーブル３２から求められた変化率に基づいてアンプ３１のゲインを調整する。これにより、固体撮像装置の内部の温度変化による影響が除去された固定パターンノイズデータが加減算回路２４に与えられて、その固定パターンノイズデータに基づいて、撮像時における固体撮像素子２２からの撮像信号に含まれる固定パターンノイズが除去される。
【００５２】
このように、固体撮像素子２２から出力される撮像信号から固定パターンノイズを除去する際に、固定パターンノイズの温度依存性による影響が取り除かれために、固定パターンノイズの除去精度が向上し、撮像信号によって得られる画像の画質がさらに向上する。
【００５３】
また、固体撮像素子２２に含まれる固定パターンノイズを除去するための固定パターンノイズのデータは、固体撮像装置の製造時（組み立て時）に測定されて、その製造時のデータが恒久的に使用されるが、そのデータを使用する際に、装置内部の温度による影響が取り除かれるために、そのデータの信頼性が著しく向上する。
【００５４】
＜実施形態３＞
図３は、本発明の固定パターンノイズ抑制方法の実施に使用される固体撮像装置のさらに他の例を示す概略構成図である。
【００５５】
この固体撮像装置は、図１に示す固体撮像装置と比較して、画像処理回路２０内にホワイトバランス調整（ＷＢ）回路４１が設けられており、固体撮像素子２３から出力される撮像信号のゲインを調整するアンプ２３と、メモリ２５から加減算回路２４へ送られる固定パターンノイズの信号をゲイン調整するアンプ３１とが、ホワイトバランス調整回路４１によって、それぞれ制御されるようになっている点が相違する。その他の構成は、図１に示す固体撮像装置の構成と実質的に同一になっている。
【００５６】
この固体撮像装置では、ホワイトバランスを調整するために、ホワイトバランス調整回路４１により、アンプ２３のゲインが調整され、ＲＧＢのそれぞれの画素に対する撮像信号のゲインがそれぞれ個別に調整される。その結果、撮像信号に含まれる固定パターンノイズも、ＲＧＢごとに変化することになるが、この場合、撮像信号のゲインを調整するアンプ２３の制御と同様に、ホワイトバランス調整回路４１の出力に基づいて、固定パターンノイズデータのゲインを調整するアンプ３１も制御される。
【００５７】
これにより、ホワイトバランスを調整することによって撮像信号に含まれる固定パターンノイズが変化しても、その変化に追従して、メモリ２５から加減算回路２４へ出力される固定パターンノイズデータも変化する。従って、撮像信号に含まれる固定パターンノイズを除去する際に、ホワイトバランス調整の影響を受けるおそれがなく、固定パターンノイズの除去精度が向上し、撮像信号によって得られる画像の画質が、さらに向上する。
【００５８】
前述したように、メモリ２５に格納された固定パターンノイズのデータは、固体撮像装置の製造時（組み立て時）に測定されて、その製造時のデータが恒久的に使用されるが、そのデータを使用する際に、ホワイトバランス調整による影響が取り除かれるために、そのデータの信頼性が著しく向上する。
【００５９】
＜実施形態４＞
図４は本発明の固定パターンノイズ抑制方法の実施に使用される固体撮像装置のさらに他の例を示す概略構成図である。
【００６０】
この固体撮像装置は、図１の固体撮像装置と比較して、メモリ２５から加減算回路２４へ送られる固定パターンノイズデータをゲイン調整するアンプ３１が、画像処理回路２０内に設けられており、そのアンプ３１のゲイン調整が、画像処理回路２０内に設けられたオートゲインコントロール回路５１によって制御されるようになっている点が相違する。その他の構成は、図１の固体撮像装置と実質的に同一になっている。
【００６１】
図４の固体撮像装置においては、オートゲインコントロール回路５１により、撮像対象である被写体の明るさに応じて、固体撮像素子２２から出力される撮像信号の増幅するアンプ２３のゲインが調整されると、撮像信号に含まれる固定パターンノイズも変化するが、この場合、オートゲインコントロール回路５１の出力に基づいて、撮像信号のゲインを調整するアンプ２３の制御と同様に、固定パターンノイズデータのゲインを調整するアンプ３１も制御される。
【００６２】
これにより、被写体の明るさに応じてアンプ２３のゲインを調整することにより撮像信号に含まれる固定パターンノイズが変化しても、その変化に追従して、メモリ２５から加減算回路２４へ出力される固定パターンノイズデータも変化する。従って、撮像信号に含まれる固定パターンノイズを除去する際に、被写体の明るさに基づくアンプ２３のゲイン調整の影響を受けるおそれがなく、固定パターンノイズの除去精度が向上し、撮像信号によって得られる画像の画質がさらに向上する。
【００６３】
前述したように、メモリ２５に格納された固定パターンノイズのデータは、固体撮像装置の製造時（組み立て時）に測定されて、その製造時のデータが恒久的に使用されるが、そのデータを使用する際に、オートゲインコントロール回路５１による影響が取り除かれるために、そのデータの信頼性が著しく向上する。
【００６４】
＜実施形態５＞
図５は、本発明の固定パターンノイズ抑制方法の実施に使用される固体撮像装置のさらに他の例を示す概略構成図である。
【００６５】
この固体撮像装置は、図１に示す固体撮像装置と比較して、メモリ２５から加減算回路２４へ送られる固定パターンノイズデータを増幅するアンプ３１が画像処理回路２０内に設けられており、そのアンプ３１のゲイン調整が、ＣＰＵ２６によって行われるようになっている点が相違している。その他の構成は、図１に示す固体撮像装置と実質的に同一になっている。
【００６６】
この固体撮像装置では、ＣＰＵ２６は、固体撮像装置の製造時（組み立て時）に、経路１を通って取り込んだ固定パターンノイズの大きさから、有効なビット数を判定し、上位の数ビットおよび下位の数ビットを切り捨てて、有効なビット数のみを不揮発性メモリ２７に格納する。このとき、判定した固定パターンノイズの大きさについての情報も、不揮発性メモリ２７に格納する。
【００６７】
撮像時において、固体撮像素子２２からの撮像信号から固定パターンノイズを除去する場合に、不揮発性メモリ２７に記憶された固定パターンノイズデータが、画像処理回路２０内のメモリ２５へ読み込まれて、メモリ２５からアンプ３１によって増幅されて加減算回路２４へ出力されるが、加減算回路２４へ出力される固定パターンノイズの大きさに基づいて、アンプ３１によるゲインがＣＰＵ２６によって調整される。従って、固体撮像素子２２が出力する撮像信号に大きな固定パターンノイズが含まれるような場合であっても、その固定パターンノイズに対応したゲイン調整が可能になる。従って、固体撮像装置に使用される固体撮像素子２２の出力にバラツキがある場合であっても、各固体撮像素子２２の出力に基づいて固定パターンノイズを除去することができる。
【００６８】
＜実施形態６＞
図６は、本発明のパターンノイズ抑制方法の実施に使用される固体撮像装置のさらに他の例を示す概略構成図である。
【００６９】
この固体撮像装置は、図１に示す固体撮像装置と比較して、メモリ２５から加減算回路２４へ送られる固定パターンノイズデータを増幅するアンプ３１が画像処理回路２０内に設けられており、そのアンプ３１のゲイン調整が、フレームレート調整回路７１によって行われるようになっている点が相違している。その他の構成は、図１に示す固体撮像装置と実質的に同一になっている。
【００７０】
この固体撮像装置では、フレームレート設定回路７１により、固体撮像素子２２から出力される撮像信号のフレームレートが設定されるようになっており、フレームレート設定回路７１は、固体撮像素子２２に対して、設定されたフレームレートに対応したクロックが出力される。フレームレート設定回路７１によって設定されるフレームレートが変更されると、固体撮像素子２２から出力される撮像信号の蓄積時間が変化するために、撮像信号に含まれる固定パターンノイズも変化する。しかしながら、この場合には、フレームレート設定回路７１によって設定されるフレームレートの大きさに対応して、メモリ２５から加減算回路２４に出力される固定パターンノイズデータのゲインも、アンプ３１の調整によって調整される。
【００７１】
従って、撮像中に、固体撮像素子２２から出力される撮像信号のフレームレートを変化させた場合には、撮像信号中の固定パターンノイズの変化に追従して、メモリ２５から加減算回路２４へ出力される固定パターンノイズデータがゲイン調整されるために、撮像信号に含まれる固定パターンノイズを高精度で除去することができる。
【００７２】
この場合も、メモリ２５に格納された固定パターンノイズのデータは、固体撮像装置の製造時（組み立て時）に測定されて、その製造時のデータが恒久的に使用されるが、そのデータを使用する際に、フレームレートの変更による影響が取り除かれるために、そのデータの信頼性が著しく向上する。
【００７３】
＜実施形態７＞
図７は、本発明の固定パターンノイズ抑制方法の実施に使用される固体撮像装置のさらに他の例を示す概略構成図である。
【００７４】
この固体撮像装置は、実施形態２〜６の固体撮像装置に固有の構成を全て取り込んだ構成になっている。すなわち、固体撮像装置の内部温度を検出する温度センサ３３と、装置の内部温度と固定パターンノイズの変化率との関係を示す温度テーブル３２とが設けられており、温度センサ３３によって検出される温度に基づいて、固定パターンノイズを補正するようになっている。
【００７５】
また、画像処理回路２０内には、ホワイトバランス調整（ＷＢ）回路４１が設けられており、固体撮像素子２３から出力される撮像信号のゲインを調整するアンプ２３と、メモリ２５から加減算回路２４へ送られる固定パターンノイズの信号をゲイン調整するアンプ３１とが、ホワイトバランス調整回路４１によって、それぞれ制御されるようになっている。
【００７６】
さらに、メモリ２５から加減算回路２４へ送られる固定パターンノイズデータをゲイン調整するアンプ３１が、画像処理回路２０内に設けられたオートゲインコントロール回路５１、ＣＰＵ２６、フレームレート調整回路７１によって、それぞれ制御されるようになっている。
【００７７】
それぞれの構成は、既に説明したので、同一部分に同一番号を付して、その説明を省略する。このように、実施形態２〜６において説明したそれぞれの機能を有しているために、固定パターンノイズの除去精度が向上し、高画質が得られることになる。
【００７８】
なお、上述した実施形態では、加減算回路２４を、ＣＰＵ２６から独立した画像処理回路２０内に設け、加減算回路２４とＣＰＵ２６を別々に取り扱ったが、ＣＰＵ２６に加減算機能を持たせることが可能なことは当然である。
【００７９】
【発明の効果】
本発明は、このように、固体撮像装置の製造時に固定パターンノイズデータを含む暗時データを画像処理回路に通さず、直接ＣＰＵに通することにより、固定パターンノイズを検出して第１の記憶手段に格納し、その後の通常撮像時に第１の記憶手段から画像処理回路内の第２の記憶手段へ固定パターンノイズを格納してノイズキャンセルに使用することにより、遮光機構を装備しない固体撮像装置においても、固定パターンノイズを除去することが可能になる。このため、固体撮像装置の小型化、コストダウンが図られると共に、遮光機構が装着されない携帯電話、携帯情報端末等の小型機器でも、固定パターンノイズの除去が可能となり、画質を向上させることができる。また、固定パターンノイズの検出が撮像毎に行われないので、撮像にかかる時間の短縮が可能になる。更に、ＣＰＵによる固定パターンノイズデータの圧縮処理が可能になり、固定パターンノイズデータを格納するメモリの容量を低減することができる。
【００８０】
また、撮像信号から固定パターンノイズを除去する際に、固定パターンノイズの温度依存性による影響を取り除くことにより、撮像中に固体撮像装置内部の温度が変化した場合も、高精度な固定パターンノイズ除去が可能になり、画質を一層向上させることができる。
【００８１】
さらに、ホワイトバランス調整を行ったときの撮像信号の変化に追従して、固定パターンノイズを変化させることにより、撮像中にホワイトバランスの調整を行った場合も、高精度な固定パターンノイズ除去が可能になり、画質を一層向上させることができる。
【００８２】
また、オートゲインコントロールを行ったときの撮像信号の変化に追従して、固定パターンノイズを変化させることににより、撮像中に被写体の明るさによってオートゲインコントロールを行った場合も、高精度な固定パターンノイズ除去が可能になり、画質を一層向上させることができる。
【００８３】
さらに、固定パターンノイズの大きさに応じた圧縮処理及びゲイン調整により、撮像信号に含まれる固定パターンノイズが大きい場合も、その固定パターンノイズの除去が可能になるので、撮像信号に含まれる固定パターンノイズが大きい固体撮像素子の使用するこちができる。
【００８４】
また、フレームレートを変化させたときの撮像信号の変化に追従して、固定パターンノイズを変化させることにより、撮像中にフレームレートを変更した場合も、高精度な固定パターンノイズ除去が可能になり、画質を一層向上させることができる。
【図面の簡単な説明】
【図１】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置の一例を示す概略構成図である。
【図２】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置の他の例を示す概略構成図である。
【図３】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置のさらに他の例を示す概略構成図である。
【図４】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置のさらに他の例を示す概略構成図である。
【図５】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置のさらに他の例を示す概略構成図である。
【図６】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置のさらに他の例を示す概略構成図である。
【図７】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置のさらに他の例を示す概略構成図である。
【図８】従来の固定パターンノイズ抑制方法が実施される固体撮像装置の概略構成図である。
【符号の説明】
２１ レンズ
２２ 固体撮像素子
２３ アンプ
２４ 加減算回路
２５ メモリ（第２の記憶手段）
２６ ＣＰＵ
２７ 不揮発性メモリ（第１の記憶手段）
２８ 遮光治具
３１ アンプ
３２ 温度テーブル
３３ 温度センサ
４１ ホワイトバランス調整回路
５１ オートゲインコントロール回路
７１ フレームレート設定回路
【発明の属する技術分野】
本発明は、固体撮像素子を用いた固体撮像装置における固定パターンノイズ抑制方法、及びこの方法を用いた固体撮像装置に関する。
【０００２】
【従来の技術】
従来、固体撮像素子を用いた固体撮像装置においては、固体撮像素子の暗電流による固定パターンノイズが、画質を悪化させる主たる原因になっている。従って、画質を向上させるためには、この固定パターンノイズを撮像信号から除去することが要求される。
【０００３】
このような要求に対しては、例えば特開平６−１３３１８５号公報に記載されるような固定パターンノイズ抑制技術が提案されている。この従来技術について、図８を用いて以下に説明する。
【０００４】
特開平６−１３３１８５号公報に記載された固定パターンノイズ抑制技術では、図８に示すように、固体撮像素子２の前面側に、間欠的に光を遮断するメカニカルシャッタとしての遮光フィルタ１が配置されている。固体撮像素子２から出力される撮像信号は、プリアンプ３によって増幅されて、Ａ／Ｄ変換器４によりデジタルデータに変換される。遮光フィルタ１により光を遮断されている場合には、固体撮像素子２からの撮像信号は、暗時信号のデジタルデータが得られることになる。
【０００５】
Ａ／Ｄ変換器４から出力されるデジタルデータは、スイッチ５を介して、フレームメモリ６、加算器９のいずれか一方に選択的に入力される。スイッチ５は、遮光フィルタ１に連動しており、遮光フィルタ１によって遮光されている場合には、スイッチ５はａ側に動作して、Ａ／Ｄ変換器４がフレームメモリ６に接続し、遮光フィルタ１によって遮光されていない場合には、スイッチ５はｂ側へ動作して、Ａ／Ｄ変換器４が加算器９に接続される。
【０００６】
フレームメモリ６の出力は、減算器７の−入力端子に入力されている。また、加算器９では、オフセット数値発生回路１０にて発生されたオフセットレベルを、Ａ／Ｄ変換器４の出力に加算しており、この加算データが、減算器７の＋入力端子に入力されている。減算器７は、−入力端子および＋入力端子にそれぞ入力されたデータを減算処理し、その演算結果が、デジタルデータとして出力される。減算器７から出力されるデジタルデータは、Ｄ／Ａ変換器８によりアナログデータに変換される。
【０００７】
このような固定パターンノイズ抑制技術を用いた固体撮像装置の動作について、次に説明する。
【０００８】
遮光フィルタ１によって遮光状態になると、スイッチ５がａ側に動作され、固体撮像素子２からは暗時信号が出力される。この暗時信号は、固定パターンノイズ（ＦＰＮ）にランダムノイズ（ＲＮ）が重畳したものであるために、積分等によりランダムノイズ成分を消去し、固定パターンノイズのみからなる暗時信号を生成する。生成された暗信号は、プリアンプ３、Ａ／Ｄ変換器４およびスイッチ５を介して、フレームメモリ６に入力されてこのフレームメモリ６に記憶される。
【０００９】
次に、遮光フィルタ１による遮光動作が解除されて、スイッチ５がｂ側に動作されると、固体撮像素子２からは撮像信号が出力される。そして、この撮像信号は、プリアンプ３、Ａ／Ｄ変換器４およびスイッチ５を介して、加算器９に入力される。加算器９は、入力された撮像信号に、オフセット数値発生回路１０から出力されるオフセットレベルαを加算し、この加算値から、フレームメモリ６に記憶されている固定パターンノイズ（ＦＰＮ）が減算される。
【００１０】
このようにして、撮像信号から固定パターンノイズ（ＦＰＮ）が除去されることにより、撮像信号は、固定パターンノイズ（ＦＰＮ）による影響を受けるおそれがない。また、撮像信号から固定パターンノイズ（ＦＰＮ）を除去する前に、撮像信号にオフセットレベルαが加算されるために、撮像信号に重畳するランダムノイズ（ＲＮ）の負側がクリップされない。その結果、黒レベルが暗レベルより浮く現象が回避される。また、カラーカメラなどにおけるＲＧＢの各信号のランダムノイズ（ＲＮ）が異なる場合でも、黒レベルを合わせることができる。更に、小レベル信号が入力された場合であっても、撮像信号の黒つぶれが防止される。
【００１１】
【発明が解決しようとする課題】
このような従来の固定パターンノイズ抑制技術によると、固体撮像素子が有する固有の固定パターンノイズ成分が検出され、差分によってキャンセルされることにより、画質が向上する。しかし、その一方では、以下のような問題がある。
【００１２】
第１に、固定パターンノイズを検出するために、遮光フィルタ、すなわち遮光機構（メカニカルシャッタ）が必要である。遮光機構（メカニカルシャッタ）が装着されると、固体撮像装置の小型化が妨げられ、しかも、コストアップにもつながる。携帯電話、携帯情報端末等の小型機器においても、固体撮像装置を設けて、撮像された画像を送信するように構成することが提案されているが、遮光機構が装備されることにより、小型化および低価格が損なわれるために、遮光機構を装備した固定パターンノイズ抑制技術を採用することが、ほとんど行われていない。
【００１３】
第２に、撮像開始時には、毎回、固定パターンノイズを検出する必要があり、そのための時間が必要となり、撮像を開始するまでの時間が長くなる。
【００１４】
第３に、暗時信号が圧縮されずに、その暗時信号から固定パターンノイズが検出されるために、固定パターンノイズを格納するメモリの容量が増大する。
【００１５】
第４に、撮像開始時に固定パターンノイズを検出するが、固定撮像素子の固定パターンノイズは、温度変化と共に変化するため、撮像中に温度上昇が生じた場合は、固定パターンノイズを高い精度で除去することができない。
【００１６】
第５に、撮像中にホワイトバランスの調整を行うと、ＲＧＢのそれぞれの画素ごとに撮像信号がゲイン調整されるため、撮像開始時に検出した固定パターンノイズと撮像信号に含まれる固定パターンノイズとに差が生じ、これによっても、固定パターンノイズを高い精度で除去することができない。
【００１７】
第６に、撮像中に被写体の明るさによってオートゲインコントロールを行うと、撮像開始時に検出した固定パターンノイズと撮像信号に含まれる固定パターンノイズとに差が生じ、これによっても、固定パターンノイズを高い精度で除去することができない。
【００１８】
第７に、固体撮像素子の固体差等により、固定パターンノイズがばらつくおそれがあり、その結果、固定パターンノイズが大きい場合には、その固体撮像素子を使用できなくなるおそれがある。
【００１９】
第８に、撮像信号に含まれる固定パターンノイズはフレームレートによって変化する。このために、撮像中にフレームレートを変更すると、撮像開始時に検出した固定パターンノイズと撮像信号に含まれる固定パターンノイズに差が生じることになり、これによっても、固定パターンノイズを高い精度で除去することができないおそれがある。
【００２０】
本発明は上記従来の問題を解決するものであり、その第１の目的は、遮光機構（メカニカルシャッタ）を用いずに固定パターンノイズを検出でき、しかも、撮像にかかる時間及び固定パターンノイズを格納するメモリの容量を従来より低減できる固定パターンノイズ抑制方法を提供することにある。
【００２１】
本発明の第２の目的は、撮像中に固体撮像装置内部の温度が変化した場合も、高精度に固定パターンノイズを除去できる固定パターンノイズ抑制方法を提供することにある。
【００２２】
本発明の第３の目的は、撮像中にホワイトバランスの調整を行った場合も、高精度に固定パターンノイズを除去できる固定パターンノイズ抑制方法を提供することにある。
【００２３】
本発明の第４の目的は、撮像中に被写体の明るさによってオートゲインコントロールを行った場合も、高精度に固定パターンノイズを除去できる固定パターンノイズ抑制方法を提供することにある。
【００２４】
本発明の第５の目的は、固定パターンノイズが大きい固体撮像素子を使用することができる固定パターンノイズ抑制方法を提供することにある。
【００２５】
本発明の第６の目的は、撮像中にフレームレートを変更した場合も、高精度に固定パターンノイズを除去できる固定パターンノイズ抑制方法を提供することにある。
【００２６】
本発明の第７の目的は、これらの固定パターンノイズ抑制方法を用いた経済的で高性能な固体撮像装置を提供することにある。
【００２７】
【課題を解決するための手段】
本発明の固体撮像装置の固定パターンノイズ抑制方法は、遮光機能が設けられていない固体撮像装置において、固体撮像素子の撮像信号から固定パターンノイズを除去して固定パターンノイズを抑制する方法であって、前記固体撮像装置の製造時に、固体撮像素子から暗時データを出力させ、該暗時データを前記固体撮像装置内のＣＰＵに出力する工程と、該ＣＰＵにより、前記暗時データをｎフレーム分だけ平均化し、この平均化した暗時データから前記固体撮像素子の固定パターンノイズの上位の数ビットおよび下位の数ビットを切り捨てて有効なビットのみ有効データとして検出し、検出された固定パターンノイズの大きさに応じた圧縮処理を行って、該有効データを該固定パターンノイズとして第１の記憶手段に記憶させる工程と、前記固体撮像装置の実使用に際して、前記第１の記憶手段から画像処理回路内の第２の記憶手段へ前記固定パターンノイズを記憶させる工程と、前記撮像信号に加減算される固定パターンノイズの大きさに応じたゲイン調整を行う工程と、前記固体撮像装置の実使用時に、前記固体撮像素子から出力される撮像信号から固定パターンノイズを除去するべく、前記第２の記憶手段から読み出されてゲイン調整された固定パターンノイズを前記撮像信号に加減算する工程と、を包含することを特徴とする。
【００２８】
前記固体撮像装置の温度に応じて、前記撮像信号に加減算される固定パターンノイズのゲイン調整を行う工程をさらに含む。
【００２９】
前記撮像信号に対するホワイトバランスに応じて、前記撮像信号に加減算される固定パターンノイズのゲイン調整を行う工程をさらに含む。
【００３０】
前記撮像信号に対するオートゲインコントロールに応じて、前記撮像信号に加減算される固定パターンノイズのゲイン調整を行う工程をさらに含む。
【００３２】
撮像時のフレームレートに応じて、前記撮像信号に加減算される固定パターンノイズのゲイン調整を行う工程をさらに含む。
【００３３】
本発明の固体撮像装置は、遮光機能が設けられていない固体撮像装置であって、固体撮像素子から出力される撮像信号を画像処理回路によって画像処理する固体撮像装置において、製造時に該固体撮像素子から出力される暗時データをｎフレーム分だけ平均化し、この平均化した暗時データに基づいて、固定パターンノイズの上位の数ビットおよび下位の数ビットを切り捨てて有効なビット数のみ有効データとして検出するＣＰＵと、該ＣＰＵにより検出された固定パターンノイズの大きさに応じた圧縮処理を行い、圧縮された固定パターンノイズを該有効データとして記憶する第１の記憶手段と、該第１の記憶手段に記憶された固定パターンノイズを記憶するように前記画像処理回路内に設けられた第２の記憶手段と、前記固体撮像素子から出力される撮像信号から固定パターンノイズを除去するために、前記第２の記憶手段から読み出されて、前記撮像信号に加減算される固定パターンノイズの大きさに応じてゲイン調整された固定パターンノイズを前記撮像信号に加減算する手段と、を具備することを特徴とする。
【００３４】
【発明の実施の形態】
以下に、図面に基づいて本発明の実施の形態を説明する。
【００３５】
＜実施形態１＞
図１は、本発明の固定パターンノイズ抑制方法の実施に使用される固体撮像装置の一例を示す概略構成図である。この固体撮像装置は、レンズ２１を介して光が照射されるように配置された固体撮像素子２２を有している。固体撮像素子２２は、ＣＣＤ若しくはＣ−ＭＯＳイメージャであり、遮光フィルタ等の遮光機構（メカニカルシャッタ）は装備されていないが、装置製造時（組み立て時）において、暗時データ検出、固定パターンノイズ検出等のために、固体撮像素子２２を一時的に遮光する遮光治具２８が使用される。
【００３６】
固体撮像素子２２の出力は、画像処理回路２０を通してＣＰＵ２６に入力されるようになっている。画像処理回路２０は、固体撮像素子２２の出力を増幅するアンプ２３と、アンプ２３の出力経路を、経路１と経路２とに選択的に切り換えるスイッチ２９とを有している。経路２には、加減算回路２４が設けられており、アンプ２３によって増幅された固体撮像素子２２の出力が加減算回路２４に与えられると、加減算回路２４は、固体撮像素子２２の出力における撮像信号に対して固定パターンノイズの加減算処理を行う。そして、加減算回路２４の出力がＣＰＵ２６に出力される。なお、スイッチ２９によって、経路１に与えられたアンプ２３の出力は、加減算回路２４を経由することなく、ＣＰＵ２６に、直接与えられている。
【００３７】
ＣＰＵ２６は、固体撮像装置全体を統括的に制御すると共に、固体撮像素子２２が有する固有の固定パターンノイズを検出して圧縮処理を行い、その固定パターンノイズを、第１の記憶手段である不揮発性メモリ２７に格納するようになっている。不揮発性メモリ２７に恒久的に記憶された固定パターンノイズデータは、ＣＰＵ２６の制御により、適宜、画像処理回路２０内に設けられた第２の記憶手段であるメモリ２５に与えられる。
【００３８】
このような構成の固体撮像装置における固定パターンノイズ抑制方法について説明する。まず、固体撮像装置の製造時（組み立て時）において固体撮像装置が製造された時点で、その固体撮像装置のレンズ２１を遮光治具２８にて遮光した状態にするとともに、画像処理装置２０内に設けられたスイッチ２９を、経路１に切り換えた状態とする。
【００３９】
このような状態では、固体撮像素子２２からは、光電荷のない暗時信号が出力され、固体撮像素子２２から出力される暗時信号は、アンプ２３にて適当なレベルに増幅されて、スイッチ２９をおよび経路１を通って、ＣＰＵ２６に与えられる。
【００４０】
このようにして、ＣＰＵ２６は、ｎフレーム分の暗時データを取り込み、とりこまれたｎフレーム分のデータを平均化する。このように、ｎフレーム分の暗時信号のデータを平均化することにより、暗時信号中のランダムノイズ成分が除去される。
【００４１】
この場合、暗時信号は低レベルな信号であるために、暗時信号を平均化したデータの上位ビットには、固定パターンノイズの有効データは含まれていない。このことから、製造時において測定した暗時信号データに基づいて、下位の数ビットを有効データとして決定し、下位の数ビットの有効データが、固定パターンノイズとして不揮発性メモリ２７に格納される。
【００４２】
このようにして、製造時において、暗時信号データから固定パターンノイズがＣＰＵ２６により検出されると共に、検出された固定パターンノイズ信号が、圧縮された状態で効率的に不揮発性メモリ２７に格納される。
【００４３】
不揮発性メモリ２７に固定パターンノイズ信号が格納された固体撮像装置は、スイッチ２９が経路２に切り換えられた状態で、製品として出荷される。
【００４４】
このような固体撮像装置によって撮像する場合には、不揮発性メモリ２７内に格納された固定パターンノイズデータが、画像処理回路２０内のメモリ２５に格納される。そして、固体撮像素子２２から出力される撮像信号が、アンプ２３によって増幅されて、画像処理回路２５のスイッチ２９によって、経路２を通って加減算回路２４に与えられると、加減算回路２４は、固体撮像素子２２からの撮像信号に対し、メモリ２５内に格納された固定パターンノイズデータを減算処理する。
【００４５】
これにより、固体撮像素子２２から出力される撮像信号から、暗時の固定パターンノイズが除去された信号が得られ、固定パターンノイズが除去された撮像信号によって画像が形成されるために、画像の画質が向上する。
【００４６】
しかも、固体撮像装置は、遮光フィルタ等の遮光機構（メカニカルシャッタ）を設けることなく、固定パターンノイズを検出できるために、固体撮像装置全体を小型化することができるとともに、コストダウンすることができる。その結果、携帯電話、携帯情報端末等の小型機器でも、固定パターンノイズを除去し得る固体撮像装置を装備することができ、携帯電話等の小型機器においても、高画質の画像を撮像することができる。
【００４７】
また、固定パターンノイズの検出が固体撮像装置の製造時（組み立て時）に行われるために、実際に撮像を開始する場合には、固体パターンノイズの検出が行われないので、撮像が開始されるまでの時間を短縮することができる。
【００４８】
さらに、暗時信号データから得られる固定パターンノイズデータは、暗時信号データの下位の数ビットを有効データとする圧縮処理されているために、固定パターンノイズデータを格納するメモリの容量を低減することができる。
【００４９】
＜実施形態２＞
図２は、本発明の固定パターンノイズ抑制方法の実施に用いられる固体撮像装置の他の例を示す概略構成図である。
【００５０】
この固体撮像装置は、図１に示す固体撮像装置と比較すると、固体撮像装置の内部温度を検出する温度センサ３３と、装置の内部温度と固定パターンノイズの変化率との関係を示す温度テーブル３２とが設けられており、温度センサ３３によって検出される温度に基づいて、固定パターンノイズを補正するようになっている点が相違している。固体撮像素子２２の出力に含まれる固定パターンノイズは、固体撮像装置内の温度変化による影響を受けて変化するが、本実施の形態の固体撮像装置では、その影響を取り除くことができる。
【００５１】
装置の内部温度を検出する温度センサ３３の出力は、ＣＰＵ２６に与えられており、ＣＰＵ２６は、温度テーブル３２に基づいて、温度センサ３３によって検出される温度に対応した固定パターンノイズの変化率を求める。画像処理回路２０内には、メモリ２５から加減算回路２４へ送られる固定パターンノイズの信号をゲイン調整するアンプ３１が設けられており、ＣＰＵ２６は、温度テーブル３２から求められた変化率に基づいてアンプ３１のゲインを調整する。これにより、固体撮像装置の内部の温度変化による影響が除去された固定パターンノイズデータが加減算回路２４に与えられて、その固定パターンノイズデータに基づいて、撮像時における固体撮像素子２２からの撮像信号に含まれる固定パターンノイズが除去される。
【００５２】
このように、固体撮像素子２２から出力される撮像信号から固定パターンノイズを除去する際に、固定パターンノイズの温度依存性による影響が取り除かれために、固定パターンノイズの除去精度が向上し、撮像信号によって得られる画像の画質がさらに向上する。
【００５３】
また、固体撮像素子２２に含まれる固定パターンノイズを除去するための固定パターンノイズのデータは、固体撮像装置の製造時（組み立て時）に測定されて、その製造時のデータが恒久的に使用されるが、そのデータを使用する際に、装置内部の温度による影響が取り除かれるために、そのデータの信頼性が著しく向上する。
【００５４】
＜実施形態３＞
図３は、本発明の固定パターンノイズ抑制方法の実施に使用される固体撮像装置のさらに他の例を示す概略構成図である。
【００５５】
この固体撮像装置は、図１に示す固体撮像装置と比較して、画像処理回路２０内にホワイトバランス調整（ＷＢ）回路４１が設けられており、固体撮像素子２３から出力される撮像信号のゲインを調整するアンプ２３と、メモリ２５から加減算回路２４へ送られる固定パターンノイズの信号をゲイン調整するアンプ３１とが、ホワイトバランス調整回路４１によって、それぞれ制御されるようになっている点が相違する。その他の構成は、図１に示す固体撮像装置の構成と実質的に同一になっている。
【００５６】
この固体撮像装置では、ホワイトバランスを調整するために、ホワイトバランス調整回路４１により、アンプ２３のゲインが調整され、ＲＧＢのそれぞれの画素に対する撮像信号のゲインがそれぞれ個別に調整される。その結果、撮像信号に含まれる固定パターンノイズも、ＲＧＢごとに変化することになるが、この場合、撮像信号のゲインを調整するアンプ２３の制御と同様に、ホワイトバランス調整回路４１の出力に基づいて、固定パターンノイズデータのゲインを調整するアンプ３１も制御される。
【００５７】
これにより、ホワイトバランスを調整することによって撮像信号に含まれる固定パターンノイズが変化しても、その変化に追従して、メモリ２５から加減算回路２４へ出力される固定パターンノイズデータも変化する。従って、撮像信号に含まれる固定パターンノイズを除去する際に、ホワイトバランス調整の影響を受けるおそれがなく、固定パターンノイズの除去精度が向上し、撮像信号によって得られる画像の画質が、さらに向上する。
【００５８】
前述したように、メモリ２５に格納された固定パターンノイズのデータは、固体撮像装置の製造時（組み立て時）に測定されて、その製造時のデータが恒久的に使用されるが、そのデータを使用する際に、ホワイトバランス調整による影響が取り除かれるために、そのデータの信頼性が著しく向上する。
【００５９】
＜実施形態４＞
図４は本発明の固定パターンノイズ抑制方法の実施に使用される固体撮像装置のさらに他の例を示す概略構成図である。
【００６０】
この固体撮像装置は、図１の固体撮像装置と比較して、メモリ２５から加減算回路２４へ送られる固定パターンノイズデータをゲイン調整するアンプ３１が、画像処理回路２０内に設けられており、そのアンプ３１のゲイン調整が、画像処理回路２０内に設けられたオートゲインコントロール回路５１によって制御されるようになっている点が相違する。その他の構成は、図１の固体撮像装置と実質的に同一になっている。
【００６１】
図４の固体撮像装置においては、オートゲインコントロール回路５１により、撮像対象である被写体の明るさに応じて、固体撮像素子２２から出力される撮像信号の増幅するアンプ２３のゲインが調整されると、撮像信号に含まれる固定パターンノイズも変化するが、この場合、オートゲインコントロール回路５１の出力に基づいて、撮像信号のゲインを調整するアンプ２３の制御と同様に、固定パターンノイズデータのゲインを調整するアンプ３１も制御される。
【００６２】
これにより、被写体の明るさに応じてアンプ２３のゲインを調整することにより撮像信号に含まれる固定パターンノイズが変化しても、その変化に追従して、メモリ２５から加減算回路２４へ出力される固定パターンノイズデータも変化する。従って、撮像信号に含まれる固定パターンノイズを除去する際に、被写体の明るさに基づくアンプ２３のゲイン調整の影響を受けるおそれがなく、固定パターンノイズの除去精度が向上し、撮像信号によって得られる画像の画質がさらに向上する。
【００６３】
前述したように、メモリ２５に格納された固定パターンノイズのデータは、固体撮像装置の製造時（組み立て時）に測定されて、その製造時のデータが恒久的に使用されるが、そのデータを使用する際に、オートゲインコントロール回路５１による影響が取り除かれるために、そのデータの信頼性が著しく向上する。
【００６４】
＜実施形態５＞
図５は、本発明の固定パターンノイズ抑制方法の実施に使用される固体撮像装置のさらに他の例を示す概略構成図である。
【００６５】
この固体撮像装置は、図１に示す固体撮像装置と比較して、メモリ２５から加減算回路２４へ送られる固定パターンノイズデータを増幅するアンプ３１が画像処理回路２０内に設けられており、そのアンプ３１のゲイン調整が、ＣＰＵ２６によって行われるようになっている点が相違している。その他の構成は、図１に示す固体撮像装置と実質的に同一になっている。
【００６６】
この固体撮像装置では、ＣＰＵ２６は、固体撮像装置の製造時（組み立て時）に、経路１を通って取り込んだ固定パターンノイズの大きさから、有効なビット数を判定し、上位の数ビットおよび下位の数ビットを切り捨てて、有効なビット数のみを不揮発性メモリ２７に格納する。このとき、判定した固定パターンノイズの大きさについての情報も、不揮発性メモリ２７に格納する。
【００６７】
撮像時において、固体撮像素子２２からの撮像信号から固定パターンノイズを除去する場合に、不揮発性メモリ２７に記憶された固定パターンノイズデータが、画像処理回路２０内のメモリ２５へ読み込まれて、メモリ２５からアンプ３１によって増幅されて加減算回路２４へ出力されるが、加減算回路２４へ出力される固定パターンノイズの大きさに基づいて、アンプ３１によるゲインがＣＰＵ２６によって調整される。従って、固体撮像素子２２が出力する撮像信号に大きな固定パターンノイズが含まれるような場合であっても、その固定パターンノイズに対応したゲイン調整が可能になる。従って、固体撮像装置に使用される固体撮像素子２２の出力にバラツキがある場合であっても、各固体撮像素子２２の出力に基づいて固定パターンノイズを除去することができる。
【００６８】
＜実施形態６＞
図６は、本発明のパターンノイズ抑制方法の実施に使用される固体撮像装置のさらに他の例を示す概略構成図である。
【００６９】
この固体撮像装置は、図１に示す固体撮像装置と比較して、メモリ２５から加減算回路２４へ送られる固定パターンノイズデータを増幅するアンプ３１が画像処理回路２０内に設けられており、そのアンプ３１のゲイン調整が、フレームレート調整回路７１によって行われるようになっている点が相違している。その他の構成は、図１に示す固体撮像装置と実質的に同一になっている。
【００７０】
この固体撮像装置では、フレームレート設定回路７１により、固体撮像素子２２から出力される撮像信号のフレームレートが設定されるようになっており、フレームレート設定回路７１は、固体撮像素子２２に対して、設定されたフレームレートに対応したクロックが出力される。フレームレート設定回路７１によって設定されるフレームレートが変更されると、固体撮像素子２２から出力される撮像信号の蓄積時間が変化するために、撮像信号に含まれる固定パターンノイズも変化する。しかしながら、この場合には、フレームレート設定回路７１によって設定されるフレームレートの大きさに対応して、メモリ２５から加減算回路２４に出力される固定パターンノイズデータのゲインも、アンプ３１の調整によって調整される。
【００７１】
従って、撮像中に、固体撮像素子２２から出力される撮像信号のフレームレートを変化させた場合には、撮像信号中の固定パターンノイズの変化に追従して、メモリ２５から加減算回路２４へ出力される固定パターンノイズデータがゲイン調整されるために、撮像信号に含まれる固定パターンノイズを高精度で除去することができる。
【００７２】
この場合も、メモリ２５に格納された固定パターンノイズのデータは、固体撮像装置の製造時（組み立て時）に測定されて、その製造時のデータが恒久的に使用されるが、そのデータを使用する際に、フレームレートの変更による影響が取り除かれるために、そのデータの信頼性が著しく向上する。
【００７３】
＜実施形態７＞
図７は、本発明の固定パターンノイズ抑制方法の実施に使用される固体撮像装置のさらに他の例を示す概略構成図である。
【００７４】
この固体撮像装置は、実施形態２〜６の固体撮像装置に固有の構成を全て取り込んだ構成になっている。すなわち、固体撮像装置の内部温度を検出する温度センサ３３と、装置の内部温度と固定パターンノイズの変化率との関係を示す温度テーブル３２とが設けられており、温度センサ３３によって検出される温度に基づいて、固定パターンノイズを補正するようになっている。
【００７５】
また、画像処理回路２０内には、ホワイトバランス調整（ＷＢ）回路４１が設けられており、固体撮像素子２３から出力される撮像信号のゲインを調整するアンプ２３と、メモリ２５から加減算回路２４へ送られる固定パターンノイズの信号をゲイン調整するアンプ３１とが、ホワイトバランス調整回路４１によって、それぞれ制御されるようになっている。
【００７６】
さらに、メモリ２５から加減算回路２４へ送られる固定パターンノイズデータをゲイン調整するアンプ３１が、画像処理回路２０内に設けられたオートゲインコントロール回路５１、ＣＰＵ２６、フレームレート調整回路７１によって、それぞれ制御されるようになっている。
【００７７】
それぞれの構成は、既に説明したので、同一部分に同一番号を付して、その説明を省略する。このように、実施形態２〜６において説明したそれぞれの機能を有しているために、固定パターンノイズの除去精度が向上し、高画質が得られることになる。
【００７８】
なお、上述した実施形態では、加減算回路２４を、ＣＰＵ２６から独立した画像処理回路２０内に設け、加減算回路２４とＣＰＵ２６を別々に取り扱ったが、ＣＰＵ２６に加減算機能を持たせることが可能なことは当然である。
【００７９】
【発明の効果】
本発明は、このように、固体撮像装置の製造時に固定パターンノイズデータを含む暗時データを画像処理回路に通さず、直接ＣＰＵに通することにより、固定パターンノイズを検出して第１の記憶手段に格納し、その後の通常撮像時に第１の記憶手段から画像処理回路内の第２の記憶手段へ固定パターンノイズを格納してノイズキャンセルに使用することにより、遮光機構を装備しない固体撮像装置においても、固定パターンノイズを除去することが可能になる。このため、固体撮像装置の小型化、コストダウンが図られると共に、遮光機構が装着されない携帯電話、携帯情報端末等の小型機器でも、固定パターンノイズの除去が可能となり、画質を向上させることができる。また、固定パターンノイズの検出が撮像毎に行われないので、撮像にかかる時間の短縮が可能になる。更に、ＣＰＵによる固定パターンノイズデータの圧縮処理が可能になり、固定パターンノイズデータを格納するメモリの容量を低減することができる。
【００８０】
また、撮像信号から固定パターンノイズを除去する際に、固定パターンノイズの温度依存性による影響を取り除くことにより、撮像中に固体撮像装置内部の温度が変化した場合も、高精度な固定パターンノイズ除去が可能になり、画質を一層向上させることができる。
【００８１】
さらに、ホワイトバランス調整を行ったときの撮像信号の変化に追従して、固定パターンノイズを変化させることにより、撮像中にホワイトバランスの調整を行った場合も、高精度な固定パターンノイズ除去が可能になり、画質を一層向上させることができる。
【００８２】
また、オートゲインコントロールを行ったときの撮像信号の変化に追従して、固定パターンノイズを変化させることににより、撮像中に被写体の明るさによってオートゲインコントロールを行った場合も、高精度な固定パターンノイズ除去が可能になり、画質を一層向上させることができる。
【００８３】
さらに、固定パターンノイズの大きさに応じた圧縮処理及びゲイン調整により、撮像信号に含まれる固定パターンノイズが大きい場合も、その固定パターンノイズの除去が可能になるので、撮像信号に含まれる固定パターンノイズが大きい固体撮像素子の使用するこちができる。
【００８４】
また、フレームレートを変化させたときの撮像信号の変化に追従して、固定パターンノイズを変化させることにより、撮像中にフレームレートを変更した場合も、高精度な固定パターンノイズ除去が可能になり、画質を一層向上させることができる。
【図面の簡単な説明】
【図１】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置の一例を示す概略構成図である。
【図２】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置の他の例を示す概略構成図である。
【図３】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置のさらに他の例を示す概略構成図である。
【図４】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置のさらに他の例を示す概略構成図である。
【図５】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置のさらに他の例を示す概略構成図である。
【図６】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置のさらに他の例を示す概略構成図である。
【図７】本発明の固定パターンノイズ抑制方法が実施される固体撮像装置のさらに他の例を示す概略構成図である。
【図８】従来の固定パターンノイズ抑制方法が実施される固体撮像装置の概略構成図である。
【符号の説明】
２１ レンズ
２２ 固体撮像素子
２３ アンプ
２４ 加減算回路
２５ メモリ（第２の記憶手段）
２６ ＣＰＵ
２７ 不揮発性メモリ（第１の記憶手段）
２８ 遮光治具
３１ アンプ
３２ 温度テーブル
３３ 温度センサ
４１ ホワイトバランス調整回路
５１ オートゲインコントロール回路
７１ フレームレート設定回路
Claims (6)
- 遮光機能が設けられていない固体撮像装置において、固体撮像素子の撮像信号から固定パターンノイズを除去して固定パターンノイズを抑制する方法であって、
前記固体撮像装置の製造時に、固体撮像素子から暗時データを出力させ、該暗時データを前記固体撮像装置内のＣＰＵに出力する工程と、
該ＣＰＵにより、前記暗時データをｎフレーム分だけ平均化し、この平均化した暗時データから前記固体撮像素子の固定パターンノイズの上位の数ビットおよび下位の数ビットを切り捨てて有効なビットのみ有効データとして検出し、検出された固定パターンノイズの大きさに応じた圧縮処理を行って、該有効データを該固定パターンノイズとして第１の記憶手段に記憶させる工程と、
前記固体撮像装置の実使用に際して、前記第１の記憶手段から画像処理回路内の第２の記憶手段へ前記固定パターンノイズを記憶させる工程と、
前記撮像信号に加減算される固定パターンノイズの大きさに応じたゲイン調整を行う工程と、
前記固体撮像装置の実使用時に、前記固体撮像素子から出力される撮像信号から固定パターンノイズを除去するべく、前記第２の記憶手段から読み出されてゲイン調整された固定パターンノイズを前記撮像信号に加減算する工程と、
を包含することを特徴とする固体撮像装置の固定パターンノイズ抑制方法。 - 前記固体撮像装置の温度に応じて、前記撮像信号に加減算される固定パターンノイズのゲイン調整を行う工程をさらに含む請求項１に記載の固体撮像装置の固定パターンノイズ抑制方法。
- 前記撮像信号に対するホワイトバランスに応じて、前記撮像信号に加減算される固定パターンノイズのゲイン調整を行う工程をさらに含む請求項１に記載の固体撮像装置の固定パターンノイズ抑制方法。
- 前記撮像信号に対するオートゲインコントロールに応じて、
前記撮像信号に加減算される固定パターンノイズのゲイン調整を行う工程をさらに含む請求項１に記載の固体撮像装置の固定パターンノイズ抑制方法。 - 撮像時のフレームレートに応じて、前記撮像信号に加減算される固定パターンノイズのゲイン調整を行う工程をさらに含む請求項１に記載の固体撮像装置の固定パターンノイズ抑制方法。
- 遮光機能が設けられていない固体撮像装置であって、固体撮像素子から出力される撮像信号を画像処理回路によって画像処理する固体撮像装置において、
製造時に該固体撮像素子から出力される暗時データをｎフレーム分だけ平均化し、この平均化した暗時データに基づいて、固定パターンノイズの上位の数ビットおよび下位の数ビットを切り捨てて有効なビット数のみ有効データとして検出するＣＰＵと、
該ＣＰＵにより検出された固定パターンノイズの大きさに応じた圧縮処理を行い、圧縮された固定パターンノイズを該有効データとして記憶する第１の記憶手段と、
該第１の記憶手段に記憶された固定パターンノイズを記憶するように前記画像処理回路内に設けられた第２の記憶手段と、
前記固体撮像素子から出力される撮像信号から固定パターンノイズを除去するために、前記第２の記憶手段から読み出されて、前記撮像信号に加減算される固定パターンノイズの大きさに応じてゲイン調整された固定パターンノイズを前記撮像信号に加減算する手段と、
を具備することを特徴とする固体撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001197283A JP4379764B2 (ja) | 2001-06-28 | 2001-06-28 | 固体撮像装置の固定パターンノイズ抑制方法及び固体撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001197283A JP4379764B2 (ja) | 2001-06-28 | 2001-06-28 | 固体撮像装置の固定パターンノイズ抑制方法及び固体撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003018475A JP2003018475A (ja) | 2003-01-17 |
| JP4379764B2 true JP4379764B2 (ja) | 2009-12-09 |
Family
ID=19034914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001197283A Expired - Fee Related JP4379764B2 (ja) | 2001-06-28 | 2001-06-28 | 固体撮像装置の固定パターンノイズ抑制方法及び固体撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4379764B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109286738A (zh) * | 2017-07-21 | 2019-01-29 | 佳能株式会社 | 图像传感器和摄像设备 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4363308B2 (ja) | 2004-11-02 | 2009-11-11 | ソニー株式会社 | 固体撮像素子の信号処理装置及び方法並びに撮像装置 |
| JP4661168B2 (ja) * | 2004-11-02 | 2011-03-30 | ソニー株式会社 | 固体撮像素子の信号処理装置及び方法並びに撮像装置 |
| JP4341528B2 (ja) * | 2004-11-02 | 2009-10-07 | ソニー株式会社 | 固体撮像素子の信号処理装置及び方法並びに撮像装置 |
| JP4378341B2 (ja) | 2005-12-26 | 2009-12-02 | キヤノン株式会社 | 撮像装置及び補正方法 |
| JP2008102200A (ja) | 2006-10-17 | 2008-05-01 | Sony Corp | ホログラム再生装置 |
| US8203629B2 (en) | 2006-10-26 | 2012-06-19 | Canon Kabushiki Kaisha | Image sensing apparatus and correction method |
| JP5408029B2 (ja) * | 2009-06-30 | 2014-02-05 | 株式会社ニコン | デジタルカメラ |
| JP5032648B2 (ja) | 2010-11-29 | 2012-09-26 | 株式会社東芝 | 撮像装置、撮像装置の作動方法及び内視鏡装置 |
| JP2014109447A (ja) * | 2012-11-30 | 2014-06-12 | Aitesu:Kk | 欠陥検査装置 |
-
2001
- 2001-06-28 JP JP2001197283A patent/JP4379764B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109286738A (zh) * | 2017-07-21 | 2019-01-29 | 佳能株式会社 | 图像传感器和摄像设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003018475A (ja) | 2003-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7952621B2 (en) | Imaging apparatus having temperature sensor within image sensor wherin apparatus outputs an image whose quality does not degrade if temperature increases within image sensor | |
| JP2003204486A (ja) | 撮像装置 | |
| JP2006295763A (ja) | 撮像装置 | |
| JP5954623B2 (ja) | 撮像装置および画像処理方法 | |
| JP4027632B2 (ja) | 撮像装置 | |
| US20070195192A1 (en) | Imaging apparatus | |
| JP4379764B2 (ja) | 固体撮像装置の固定パターンノイズ抑制方法及び固体撮像装置 | |
| JP4907611B2 (ja) | 撮像装置、フリッカー抑制方法、及びフリッカー抑制プログラム | |
| JP2007019577A (ja) | 固体撮像装置 | |
| JP5094252B2 (ja) | 撮像装置及びその制御方法 | |
| JP4719442B2 (ja) | 画像信号処理回路、カメラ、及び画像信号処理方法 | |
| JP2010273378A (ja) | 撮像装置、ノイズ除去方法およびノイズ除去プログラム | |
| JP4007802B2 (ja) | 撮像装置 | |
| JP2008288723A (ja) | 撮像装置、撮像方法、プログラムおよび集積回路 | |
| JP2009055415A (ja) | カメラ | |
| JP2008113132A (ja) | 電子カメラおよび画像処理プログラム | |
| JP2007096607A (ja) | 画像処理装置 | |
| JP4196581B2 (ja) | デジタルカメラ | |
| JP6704611B2 (ja) | 撮影装置及び撮影方法 | |
| JP2007281759A (ja) | 撮像素子および撮像装置 | |
| JP2007028496A (ja) | 画像処理装置、画像処理方法、プログラムおよび記憶媒体 | |
| JP4498253B2 (ja) | 画像処理装置 | |
| US7386184B2 (en) | Electronic camera | |
| JP5476725B2 (ja) | 電子カメラ | |
| JP2004023231A (ja) | 撮像装置およびその撮像装置を備える携帯電話装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060331 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061006 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20061117 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090820 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090910 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |