JP2007104445A - Image sensor fixed pattern noise removing device - Google Patents
Image sensor fixed pattern noise removing device Download PDFInfo
- Publication number
- JP2007104445A JP2007104445A JP2005293038A JP2005293038A JP2007104445A JP 2007104445 A JP2007104445 A JP 2007104445A JP 2005293038 A JP2005293038 A JP 2005293038A JP 2005293038 A JP2005293038 A JP 2005293038A JP 2007104445 A JP2007104445 A JP 2007104445A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image sensor
- fixed pattern
- signal
- pattern noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明はイメージセンサの固定パターンノイズ除去装置に関し、特に、イメージセンサとレンズ系の間の位置関係を変化させて光軸をずらすことにより固体パターンノイズを除去するようにしたイメージセンサの固定パターンノイズ除去装置に関する。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a fixed pattern noise removing apparatus for an image sensor, and more particularly to a fixed pattern noise for an image sensor in which a solid pattern noise is removed by changing a positional relationship between the image sensor and a lens system to shift an optical axis. The present invention relates to a removing device.
従来のイメージセンサの光センサ回路の一例を図8に示す。この光センサ回路200は、入射光Lsの光量に応じたセンサ電流を生じる光電変換素子としてのフォトダイオードPD201と、フォトダイオードPD201に流れるセンサ電流を弱反転状態で対数出力特性をもって電圧信号Vpdに変換するトランジスタQ201と、その電圧信号Vpdを増幅するトランジスタQ202と、読出し信号Vsのパルスタイミングをもってセンサ信号Voを出力するトランジスタQ203とから成る。この光センサ回路200を画素に用いかつ対数出力特性を持たせることによって、ダイナミックレンジを拡大して光信号の検出を高感度で行わせることができるイメージセンサが開発されている(例えば、特許文献1参照)。この光センサ回路200を画素として多数用いたCMOSイメージセンサ210の例を図9に示す。
An example of an optical sensor circuit of a conventional image sensor is shown in FIG. This
イメージセンサ210は、図8に示す光センサ回路200を画素単位として画素をマトリクス状に複数配設して、各画素のセンサ信号Voの時系列的な読出し走査を行わせるようにしたイメージセンサの構成例を示している。
The
イメージセンサ210は、例えば、画素D11〜D44を4X4のマトリクス状に配設して構成される。イメージセンサ210では、画素行選択回路212から順次出力される選択信号LS211〜LS214によって主走査方向における各1行分の画素を選択する。さらにイメージセンサ210では、選択回路211から順次出力される選択信号DS211〜DS214によって出力用スイッチ群43における各対応するスイッチSW11〜SW14を逐次オンし、選択された画素行における各画素が選択される。これにより各画素D11〜D44のセンサ信号Voが時系列的に読み出される。図中、215は各画素における上記トランジスタQ203のゲート電圧VG用電源であり、214はドレイン電圧VD用電源である。
For example, the
ここでは、主走査方向における1行分の各画素の出力側に基準抵抗R11〜R14を介してバイアス電圧+Vccを印加するバイアス回路47を設け、これにより各画素の画素信号Soを電圧信号であるセンサ信号Voとして出力させる。そして、撮影に先がけて、各画素の寄生容量Cにおける残留電荷の影響による残像の発生を抑制すべく、図示しないコントローラの制御下で、各画素のトランジスタQ203のドレイン電圧VDを定常時のハイレベル(H)からローレベル(L)に一時的に切り換えて初期化を行わせる電圧切換回路213が設けられている。
Here, a
画素行選択回路212および画素選択回路213はそれぞれシフトレジスタから成り、図示しないコントローラの制御下において互いに同期をとって駆動制御される。
The pixel
次に、光センサ回路にMOSトランジスタを含むMOSイメージセンサの場合の固定パターンノイズの問題を説明する。特許文献1に記載されたイメージセンサでは、広いダイナミックレンジを有する反面、各光センサ回路(画素)からの信号には固定パターンノイズが含まれている。この固定パターンノイズは個々の光センサ回路が有する固有のパターンノイズである。その主な原因は、光センサ回路ごとの対数変換用MOSトランジスタの性能のバラツキである。 Next, the problem of fixed pattern noise in the case of a MOS image sensor including a MOS transistor in the photosensor circuit will be described. The image sensor described in Patent Document 1 has a wide dynamic range, but a signal from each photosensor circuit (pixel) includes fixed pattern noise. This fixed pattern noise is unique pattern noise possessed by each optical sensor circuit. The main cause is variation in the performance of the logarithmic conversion MOS transistor for each photosensor circuit.
図10に示される波形信号240は、映像信号Vmの上に固定パターンノイズVnが乗った状態のイメージを示す。実際に映像信号は、図10に示す映像信号Vmに沿って変動する固定パターンノイズVnの形態で出力される。固定パターンノイズは、MOSイメージセンサに入力される映像を完全に遮断した場合、すなわち映像用カメラに装着されたレンズのアイリス(絞り)を完全に閉じた場合におけるセンサ信号である。図示しないカメラ装置内において上記センサ信号(Vo)が処理され、周波数特性上で高帯域信号が制限されると、本来の映像信号に係るセンサ信号Vmが取り出される。
The
以上のように従来のMOSイメージセンサは、対数変換用MOSトランジスタに起因する固定パターンノイズがセンサ信号に乗るという問題があった。従って従来のイメージセンサの構成によれば、各画素の画素信号Soの読出しをより高速に安定して行うことができず、これをバッファ増幅器を用いて改善すると、消費電力が多くなるという問題が生じる。さらにMOSイメージセンサの場合には、固定パターンノイズを含んだセンサ信号が出力されるという問題が生じる。 As described above, the conventional MOS image sensor has a problem that the fixed pattern noise caused by the logarithmic conversion MOS transistor is added to the sensor signal. Therefore, according to the configuration of the conventional image sensor, the reading of the pixel signal So of each pixel cannot be stably performed at high speed, and if this is improved by using a buffer amplifier, there is a problem that power consumption increases. Arise. Further, in the case of a MOS image sensor, there arises a problem that a sensor signal including fixed pattern noise is output.
一般的に固定パターンノイズを除去する方法として2つの方法がある。第1の方法は、暗時のセンサ出力信号を補正用データとしてメモリに記憶しておき、撮影時のセンサ出力信号をメモリに記憶された補正用データで補正する方法である。補正用データの作り方としては、カメラ起動時にシャッタ機構を動作させてイメージセンサに対して遮光状態を作って補正用信号値を取得する方法、または、カメラ出荷時にイメージセンサへの入射光を遮光してその時の信号出力値を補正用データとして記憶しておく方法がある。第2の方法は、対数変換用MOSトランジスタと光電変換用フォトダイオードを切り離して対数変換用MOSトランジスタの閾値を読み出して補正する方法である。この方法は、イメージセンサ内で補正を行うという方法である。 Generally, there are two methods for removing fixed pattern noise. The first method is a method in which the sensor output signal in the dark is stored in the memory as correction data, and the sensor output signal in the shooting is corrected with the correction data stored in the memory. The correction data can be created by operating the shutter mechanism when the camera is activated to create a light-shielded state for the image sensor and acquiring the correction signal value, or by blocking the incident light on the image sensor when the camera is shipped. There is a method of storing the signal output value at that time as correction data. The second method is a method in which the logarithmic conversion MOS transistor is separated from the photoelectric conversion photodiode, and the threshold value of the logarithmic conversion MOS transistor is read and corrected. This method is a method of performing correction in the image sensor.
図11に、上記の第2の方法に基づく固定パターンノイズ除去装置250を示す。この固定パターンノイズ除去装置250では、イメージセンサ251のセンサ信号VoをA/D変換器252にてA/D変換し、デジタルシグナルプロセッサ254においてデジタル信号処理により固定パターンノイズ成分を除去する。具体的には、固定パターンノイズが予め記憶されているメモリ253から固定パターンノイズの情報を読み出し、A/D変換器252から出力されたセンサ信号から引算する手法がとられている。その後必要に応じてD/A変換器255によりセンサ信号をD/A変換し、図示しない後段の映像処理回路に出力する。なお、後段の映像処理回路がデジタル信号処理によって動作している場合にはD/A変換器255は省略される。
FIG. 11 shows a fixed pattern
上記の固定パターンノイズ除去装置の構成では、予め製品出荷前に個々の画素の固定パターンノイズを測定しておき、測定した固定パターンノイズのデータをメモリ253に記憶しておく。
上記の固定パターンノイズ除去装置250によれば、固定パターンノイズの除去という点では実用上十分な効果を発揮している。しかしながら、この除去装置は、固定パターンノイズを含む映像信号をA/D変換して各種映像処理を行う構成であるため、固定パターンノイズに対して数ビットの信号が割り当てられることになる。そのため、映像表現に使用できるビット数が減少し、映像のダイナミックレンジが狭まり、輝度信号に制約が生じるという問題が提起される。さらに、対数変換用MOSトランジスタの部分に僅かにでも光が入ると、高輝度光入射時に補正がうまくいかないという問題も提起される。
According to the fixed pattern
さらに前述した第1の方法に基づく固定パターンノイズの除去装置はメモリ等の記録回路が必要となるという問題が生じ、また長時間の連続撮影を行う場合には経時変化が生じ、その変化を吸収できなくなるという問題を有している。 Further, the fixed pattern noise removing apparatus based on the first method described above has a problem that a recording circuit such as a memory is required. Further, when continuous shooting is performed for a long time, a change with time occurs, and the change is absorbed. It has a problem that it cannot be done.
本発明の目的は、上記の課題に鑑み、イメージセンサの各光センサ回路(画素)の画素信号に含まれる固定パターンノイズを簡単な構成で即座に除去でき、さらに固定パターンノイズの経時変化に対処できるイメージセンサの固定パターンノイズ除去装置を提供することにある。 In view of the above problems, the object of the present invention is to immediately remove fixed pattern noise contained in the pixel signal of each photosensor circuit (pixel) of an image sensor with a simple configuration, and to cope with changes in fixed pattern noise over time. An object of the present invention is to provide a fixed pattern noise removing device for an image sensor.
本発明に係るイメージセンサの固定パターンノイズ除去装置は、上記目的を達成するため、次のように構成される。 In order to achieve the above object, a fixed pattern noise removing apparatus for an image sensor according to the present invention is configured as follows.
第1のイメージセンサの固定パターンノイズ除去装置(請求項1に対応)は、光電変換素子に流れる光電流をMOSトランジスタにより対数的に変換してセンサ信号を得る光センサ回路を画素として用い、マトリックス状に配列された複数の光センサ回路を備えるイメージセンサに適用され、イメージセンサの受光面の前面位置に配置されるレンズ系と、イメージセンサとレンズ系との位置関係を変化させることにより、イメージセンサとレンズ系の間に生じる光軸が所定画素分だけずれるように駆動動作を行う駆動手段と、駆動手段による駆動動作の前後の撮像で得られたイメージセンサのセンサ信号を記憶するフレームメモリと、駆動動作の前後のセンサ信号同士で同一画素ごとに差分を演算する差分演算手段と、差分演算手段で演算された差分を累積して画像信号を復元する画像復元手段とを備えるように構成される。 A fixed pattern noise removing device for a first image sensor (corresponding to claim 1) uses, as a pixel, an optical sensor circuit that obtains a sensor signal by logarithmically converting a photocurrent flowing through a photoelectric conversion element by a MOS transistor. This is applied to an image sensor having a plurality of photosensor circuits arranged in a shape, and the image system is changed by changing the positional relationship between the lens system arranged at the front surface position of the light receiving surface of the image sensor and the image sensor and the lens system. A driving means for performing a driving operation so that an optical axis generated between the sensor and the lens system is shifted by a predetermined pixel, and a frame memory for storing sensor signals of the image sensor obtained by imaging before and after the driving operation by the driving means; The difference calculation means for calculating the difference for each same pixel between the sensor signals before and after the driving operation and the difference calculation means It was configured with an image restoring means for restoring the image signal by accumulating difference.
上記のイメージセンサの固定パターンノイズ除去装置では、被写体を撮像する時に光軸をずらせ、光軸のずれの前後でn画素分ずれの生じたセンサ信号を取り出し、それらのセンサ信号の差分に係る信号を同一画素ごとに演算で求め、さらに当該差分信号を累積して再構成することにより画像復元信号を作るようにした。これにより固定パターンノイズが差分演算時に自動的に取り除かれ、画像を再構成するとき固定パターンノイズが除去された画像信号を得ることが可能となる。また固定パターンノイズの除去は差分演算に基づいて行われるので、その都度生じた固定パターンノイズをそのまま除去でき、予め固定パターンノイズのデータを固定的に用意しておく必要はなく、固定パターンノイズの経時的に変化にも対処することが可能となる。 In the above-described fixed pattern noise removing device for an image sensor, when the subject is imaged, the optical axis is shifted, a sensor signal having a shift of n pixels before and after the shift of the optical axis is extracted, and a signal related to the difference between the sensor signals Is calculated for each pixel, and the difference signal is accumulated and reconstructed to create an image restoration signal. As a result, the fixed pattern noise is automatically removed during the difference calculation, and an image signal from which the fixed pattern noise has been removed can be obtained when reconstructing the image. Since the removal of the fixed pattern noise is performed based on the difference calculation, the fixed pattern noise generated each time can be removed as it is, and it is not necessary to prepare fixed pattern noise data in advance. It becomes possible to cope with changes over time.
第2のイメージセンサの固定パターンノイズ除去装置(請求項2に対応)は、上記の構成において、好ましくは、駆動動作の前後のセンサ信号のそれぞれをフレーム平均化を行うフレーム平均化手段を備え、差分演算手段は、平均化されたセンサ信号同士で差分を演算することを特徴とする。この構成では、固定パターンノイズの除去に加えて、フレーム平均化の処理によってセンサ信号に含まれるランダムノイズの影響を低減することができる。 In the above configuration, the fixed pattern noise removing device for the second image sensor (corresponding to claim 2) preferably includes frame averaging means for performing frame averaging on each of the sensor signals before and after the driving operation, The difference calculation means calculates the difference between the averaged sensor signals. In this configuration, in addition to removal of fixed pattern noise, the influence of random noise included in the sensor signal can be reduced by frame averaging processing.
第3のイメージセンサの固定パターンノイズ除去装置(請求項3に対応)は、上記の構成において、好ましくは、イメージセンサから出力されるセンサ信号を移動平均化する移動平均化手段と、画像復元手段から出力される画像信号を、移動平均化手段から出力される信号で修正する信号修正手段とを備えることを特徴とする。この構成では、ランダムノイズの低減処理に関して短時間で当該処理を行うことが可能となる。 The fixed pattern noise removing device for the third image sensor (corresponding to claim 3) preferably has a moving average means for moving and averaging a sensor signal output from the image sensor, and an image restoring means in the above configuration. Signal correcting means for correcting the image signal output from the moving average means with the signal output from the moving averaging means. With this configuration, the random noise reduction process can be performed in a short time.
第4のイメージセンサの固定パターンノイズ除去装置(請求項4に対応)は、上記の構成において、好ましくは、画像復元手段から出力される画像信号を信号修正手段で修正するとき、画像信号における修正位置を決定する合わせ位置信号を、差分演算部から出力される差分信号から検出する合わせ位置検出手段を備えることを特徴とする。この構成では、画像復元手段から出力される画像信号に対して信号修正手段で修正を加えるとき、信号変化が小さい緩やかな領域に平滑化のための修正信号を加え、差分の大きな領域は、信号修正のための重ね合せには用いないようにした。 According to the fourth aspect of the present invention, there is provided a fixed pattern noise removing device (corresponding to claim 4), wherein, in the above configuration, the image signal output from the image restoration means is corrected by the signal correction means. An alignment position detecting means for detecting an alignment position signal for determining a position from a difference signal output from the difference calculation unit is provided. In this configuration, when the image signal output from the image restoration means is corrected by the signal correction means, a correction signal for smoothing is added to a gentle area where the signal change is small, It was not used for superimposition for correction.
第5のイメージセンサの固定パターンノイズ除去装置(請求項5に対応)は、上記の構成において、好ましくは、上記駆動手段は、イメージセンサを、受光面を含む平面方向に移動させる駆動機構であることを特徴とする。 In the fifth aspect of the present invention, the fixed pattern noise removing device (corresponding to claim 5) is preferably configured as described above, wherein the driving means is a driving mechanism for moving the image sensor in a planar direction including the light receiving surface. It is characterized by that.
第6のイメージセンサの固定パターンノイズ除去装置(請求項6に対応)は、上記の構成において、好ましくは、駆動手段は、レンズ系を、イメージセンサの受光面に平行な平面方向に移動させる移動機構であることを特徴とする。 In the sixth aspect of the present invention, the fixed pattern noise removing device (corresponding to claim 6) is preferably moved in such a manner that the driving means moves the lens system in a plane direction parallel to the light receiving surface of the image sensor. It is a mechanism.
第7のイメージセンサの固定パターンノイズ除去装置(請求項7に対応)は、上記の構成において、好ましくは、駆動手段は、イメージセンサを2通りの傾斜角度で傾斜させて光軸をずらすようにしたことを特徴とする。 In a seventh aspect of the present invention, the fixed pattern noise removing apparatus (corresponding to claim 7) is preferably configured such that the driving means inclines the optical axis by inclining the image sensor at two inclination angles. It is characterized by that.
本発明に係るイメージセンサの固定パターンノイズ除去装置では、被写体を撮像する時に光軸をずらせ、当該光軸ずれの前後で所定数の画素分のずれの生じた2つのセンサ信号を取り出し、それらのセンサ信号の差分に係る信号を同一画素ごと演算で求め、さらに当該差分信号を累積して再構成することにより画像復元信号を作成するようにしたため、固定パターンノイズが差分演算・累積演算の際に取り除かれ、固定パターンノイズが除去された画像信号を得ることができる。さらに本発明によれば、固定パターンノイズの除去は差分演算に基づいて行われるため、その都度生じた固定パターンノイズをそのまま除去でき、予め固定パターンノイズのデータを固定的に用意しておく必要はなく、固定パターンノイズの経時的に変化に対しても対処することができる。 In the fixed pattern noise removing apparatus for an image sensor according to the present invention, the optical axis is shifted when an object is imaged, and two sensor signals in which a predetermined number of pixels have shifted before and after the optical axis shift are extracted. Since the signal related to the difference between the sensor signals is calculated for each pixel and the image restoration signal is created by accumulating and reconstructing the difference signal, the fixed pattern noise is calculated during the difference calculation / accumulation calculation. An image signal from which fixed pattern noise has been removed can be obtained. Furthermore, according to the present invention, since the removal of the fixed pattern noise is performed based on the difference calculation, the fixed pattern noise generated each time can be removed as it is, and it is necessary to prepare fixed pattern noise data in advance in a fixed manner. In addition, it is possible to cope with changes in fixed pattern noise over time.
以下に、本発明の好適な実施形態(実施例)を添付図面に基づいて説明する。 DESCRIPTION OF EMBODIMENTS Preferred embodiments (examples) of the present invention will be described below with reference to the accompanying drawings.
図1は、本発明に係るイメージセンサの固定パターンノイズ除去装置の基本的な第1実施形態の要部構成を示す。図1に示したイメージセンサ10は、前述した図9で説明したイメージセンサ210と同一の構成および機能を有しており、ここでは詳細な説明を省略する。イメージセンサ10は、多数の光センサ回路(画素)の各々の中にMOSトランジスタを含むCMOSイメージセンサである。イメージセンサ10は、全体の外観形状はほぼ平板形状を有する。図1ではイメージセンサ10は側方から見ている。
FIG. 1 shows a main configuration of a basic first embodiment of a fixed pattern noise removing apparatus for an image sensor according to the present invention. The
図1において、イメージセンサ10の上面は受光面となっている。この受光面は、多数の光センサ回路の各フォトダイオード(光電変換素子)がマトリックス状に配列されて形成されている。イメージセンサ10における受光面の図1中上方の位置には、すなわち受光面の前面位置にはレンズ系11が設けられている。レンズ系11は、一般的には複数の各種のレンズを組み合わせて構成される。図1では、レンズ系11として、説明の便宜上、1枚の凸レンズが示されている。レンズ系11は、図1で上方から到来する被写体(図示せず)からの光を、イメージセンサ10の受光面に焦点を合わせて入射させる光ガイド手段である。図1において、矢印破線で示した12は、イメージセンサ10とレンズ系11との間においてレンズ系11によって形成される光軸を示している。なおレンズ系11は支持構造部で支持されているが、図1中では当該支持構造部の図示は省略されている。同様にしてイメージセンサ10の支持構造部の全体構成の図示も省略されている。
In FIG. 1, the upper surface of the
この実施形態の構成では、イメージセンサ10の支持構造部は、当該イメージセンサ10を図1中水平方向に移動できるような駆動機構13を含んでいる。図1に示した破線10Aは、例えば所定の移動量(a)だけ右方向に移動したイメージセンサを概念的に示している。イメージセンサ10Aは、イメージセンサ10に対して、その受光面を含む平面方向に移動させられている。移動量(a)は、イメージセンサ10の水平移動すなわち駆動動作を誇張して示している。実際の移動量(a)は、1画素分の移動量、または任意数の画素数分の移動量である。上記のごとくイメージセンサ10は、駆動機構13によって、固定状態に設置されたレンズ系11に対して、図1で実線で示した第1の状態の位置と、破線で示した第2の状態(10A)の位置をとることになる。
In the configuration of this embodiment, the support structure portion of the
イメージセンサ10を水平方向に移動させる駆動機構13は、例えばピエゾ素子で作られたピエゾアクチュエータ14と、このピエゾアクチュエータ14を動作させる駆動回路15で構成される。ピエゾアクチュエータ14は、駆動回路15から印加される電圧に応じて図1中水平方向に伸縮し、これによりイメージセンサ10を水平方向において任意の2つの位置に交互に迅速に移動させる。
The
駆動機構13による駆動動作に基づいてイメージセンサ10を移動させるのは、イメージセンサ10とレンズ系11の間に設定される光軸12を変化させるためである。すなわち、イメージセンサ10の位置とレンズ系11の位置とによる相対的位置関係に基づいて設定される光軸12について、イメージセンサ10を所定移動量だけ移動させることにより「光軸のずれ」を生じさせる。このように「光軸のずれ」を生じさせるのは、後述するごとく、イメージセンサ10から出力されるセンサ信号(画像信号または映像信号)の中に含まれる固定パターンノイズを除去するためである。
The reason why the
図1において、イメージセンサ10から出力されるセンサ信号は、A/D変換部16でアナログ信号からディジタル信号に変換され、その後で画像データとしてフレームメモリ17に記憶されると共に固定パターンノイズ除去部18に与えられる。固定パターンノイズ除去部18は差分演算部19と画像復元部(差分累積演算部)20から構成される。
In FIG. 1, a sensor signal output from the
イメージセンサ10による被写体の撮像は、同一の被写体に関して駆動機構13による駆動動作の前後で2回の撮像(サンプリング)が行われる。すなわち、同一の被写体について、最初に図1に示したイメージセンサ10による第1の位置で1回目の撮像を行い、次に駆動機構13による駆動動作で光軸12をずらしたイメージセンサ10Aによる第2の位置で2回目の撮像を行う。1回目の撮像によるセンサ信号はフレームメモリ17に格納され、かつ固定パターンノイズ除去部18に入力される。2回目の撮像によるセンサ信号についても、同様に、フレームメモリ17に格納されると共に、固定パターンノイズ除去部18に入力される。
The imaging of the subject by the
固定パターンノイズ除去部18では、まず、差分演算部19で1回目の撮像による画像データと2回目の撮像による画像データを利用して後述するように差分が演算される。さらに画像復元部20では、差分演算部19から出力される差分に係る信号を累積演算する処理を行い、累積信号を作成し、これらの累積信号に基づいて元の画像を再構成し、復元信号を出力する。画像復元部20から出力される復元信号は、固定パターンノイズが除去された画像信号となっている。
In the fixed pattern
イメージセンサ10から出力されるセンサ信号(画像信号)には、光センサ回路(画素)に含まれるMOSトランジスタが原因で、通常的に、固定パターンノイズが含まれている。この固定パターンノイズは、温度変化や経時変化などによって変化するが、基本的には長い時間をかけて変化するという特性を有している。従って固定パターンノイズは一定時間内では変化しないものとみなすことができる。
The sensor signal (image signal) output from the
そこで本実施形態に係るイメージセンサ10に関する構成では、固定パターンノイズを除去するため、上記のごとく第1の状態の位置で被写体を撮像し、続いて光軸12を例えば1画素分ずらした第2の状態の位置で同一の被写体を撮像するようにしている。各撮像で得られるセンサ信号は、同一の被写体を撮像した結果得られた信号であるから、或る画素の出力信号の変動分は隣り合う画素の出力信号との差分と実質的に等しくなり、さらにその差分信号を累積することにより元の画像を再構成することが可能となる。このとき再構成された元の画像に係る画像信号では固定パターンノイズは除去されている。よって、駆動機構13による駆動動作で光軸12をずらし、「光軸のずれ」の前後で同一被写体を撮像し、得られた画像データから画素出力の差分を演算し、当該差分情報から画像を構成することで固定パターンノイズを除去することができる。
Therefore, in the configuration related to the
次に、図2を参照して固定パターンノイズ除去の方法を原理的に説明する。 Next, the principle of fixed pattern noise removal will be described with reference to FIG.
図2において、横軸はX軸方向を示し、縦軸は画素信号のレベルを示している。図2に示したグラフは、X軸方向に画素n個分だけ光軸をずらせてその前後で同一の被写体を撮像した場合のセンサ信号を示している。グラフ31は光軸をずらせる前の撮像に基づくセンサ信号であり、グラフ32は光軸をずらせた後の撮像に基づくセンサ信号である。センサ信号31に基づく画像(A)とセンサ信号32に基づく画像(B)は、同一の被写体を撮像して得られた画像A,Bであり、光軸をずらした後の撮像のセンサ信号32を画素n個分元に戻せばセンサ信号31に一致することになる。センサ信号31に係る画像Aの画素(x)の出力信号とセンサ信号32に係る画像Bの画素(x+n)の出力信号とは同じレベルの信号となる。
In FIG. 2, the horizontal axis indicates the X-axis direction, and the vertical axis indicates the level of the pixel signal. The graph shown in FIG. 2 shows sensor signals when the same subject is imaged before and after shifting the optical axis by n pixels in the X-axis direction. The graph 31 is a sensor signal based on imaging before shifting the optical axis, and the
図2において一例として示したセンサ信号31,32を用いて固定パターンノイズを除去する例は、次の通りである。 An example of removing fixed pattern noise using the sensor signals 31 and 32 shown as an example in FIG. 2 is as follows.
下記の表1は、センサ信号31に関してその画素信号を関数D(X)と表現するとき、「イメージ情報:D(x+n)」、「差分:d(x+n−1)」、「累積(再構成イメージ):D’(x+n)」のそれぞれをテーブル形式で表現している。表1で明らかなように、その差分を累積して得られるD’(x+n)によって元の画像(イメージ情報:D(x+n))を再現することが可能である。 Table 1 below shows that when the pixel signal of the sensor signal 31 is expressed as a function D (X), “image information: D (x + n)”, “difference: d (x + n−1)”, “cumulative (reconstruction) (Image): D ′ (x + n) ”is expressed in a table format. As is apparent from Table 1, the original image (image information: D (x + n)) can be reproduced by D ′ (x + n) obtained by accumulating the differences.
次に、前述の「光軸のずれ」を生じさせて画像を任意の画素分だけずらし、センサ信号31とセンサ信号32の間の差分を利用しても、以下の通り、同様に元の画像を再現することができる。
Next, even if the image is shifted by an arbitrary pixel by causing the aforementioned “optical axis shift” and the difference between the sensor signal 31 and the
センサ信号31,32に関して、下記の表2を作ることができる。下記の表2は、センサ信号31に関して画像Aに係る画素信号を関数DA(X)と表現しかつセンサ信号32に関して画像Bに係る画素信号を関数DB(X)と表現するとき、「イメージ情報(画像A):DA(x+n)」、「イメージ情報(画像B):DB(x+n)」、「差分:dC(x+n−1)」を示している。
For sensor signals 31, 32, the following Table 2 can be made. Table 2 below shows that when the pixel signal related to the image A with respect to the sensor signal 31 is expressed as a function DA (X) and the pixel signal related to the image B with respect to the
上記の表2に示した「差分」について、イメージセンサ10の受光面に結合した画像が、n画素分ずれた場合、原則的に、画像Aの画素(x)と画像Aの画素(x+n)との間の差分と、画像Aの画素(x+n)と画像Bの画素(x+n)の間の差分とは同じになるという関係を有している。このことは、図2の点P1(画像Aの画素(x))、点P2(画像Aの画素(x+n))、点P3(画像Bの画素(x+n))のレベル関係に基づき、点P1と点P3の各レベルが等しいということから明らかである。
Regarding the “difference” shown in Table 2 above, when the image combined with the light receiving surface of the
しかし、実際には各画素には画素ごとに異なる固定パターンノイズを含んでいるので、上記2つの差分は必ずしも同じではない。下記の表3はその状態を示している。表3の「イメージ情報」にはおいて、各画素の画素信号にはN0,N1,N2,N3,N4,N5,N6,N7,…,Nnの固定パターンノイズが含まれている。その結果、表3の差分、および累積には固定パターンノイズが含まれることになる。 However, in practice, each pixel includes fixed pattern noise that differs from pixel to pixel, so the above two differences are not necessarily the same. Table 3 below shows the state. In the “image information” of Table 3, the pixel signals of each pixel include fixed pattern noises of N0, N1, N2, N3, N4, N5, N6, N7,. As a result, the difference and accumulation in Table 3 include fixed pattern noise.
ところが、前述の表2と同等な構成を有する下記の表4に示すごとく、画像Aに係る画素信号DA(X)と画像Bに係る画素信号DB(X)に関して、画像Aの画素(x+n)と画像Bの画素(x+n)との間の差分を求めると、同じ画素に関する信号であるため、差分に係る信号では固定パターンノイズが除去されることになる。 However, as shown in Table 4 below, which has a configuration equivalent to Table 2, the pixel (x + n) of the image A with respect to the pixel signal DA (X) related to the image A and the pixel signal DB (X) related to the image B. And the pixel (x + n) of the image B are signals related to the same pixel, the fixed pattern noise is removed from the signal related to the difference.
以上により、「光軸のずれ」を作り、その前後におけるイメージセンサ10による撮像で得られるセンサ信号31(画像A)、センサ信号32(画像B)を利用し、各同一画素の画像Aと画像Bの差分を演算し、演算で得た差分を累積し、これらの累積信号を用いて元の画像を再構成(復元)すると、固定パターンノイズが除去された画像信号を得ることができる。
As described above, an “optical axis shift” is created, and the sensor signal 31 (image A) and the sensor signal 32 (image B) obtained by imaging with the
上記の実施形態において「光軸のずれ」の作り方は、イメージセンサ10を移動させる方法には限定されない。例えば図3の(A)に示すごとく、イメージセンサ10を固定状態にし、レンズ系11をイメージセンサ10の受光面に平行に移動させることもできる。レンズ系11の移動を行う駆動機構は、前述した駆動機構13と同様な装置を用いることができる。また図3の(B)に示すごとく、イメージセンサ10とレンズ系11との間の光路中に光軸12を変化させるプリズム41等を設けることもできる。
In the above embodiment, the method of creating the “optical axis shift” is not limited to the method of moving the
次に、図4を参照して、本発明に係るイメージセンサの固定パターンノイズ除去装置の第2実施形態を説明する。イメージセンサ10による被写体の実際の撮像では各画素信号にランダムノイズが存在しており、そのために最終的に得られる画像信号において当該ランダムノイズの影響が発生する。そこで、この実施形態に係る固定パターンノイズ除去装置では、固定パターンノイズ除去部18の差分演算部19で差分を求める演算を行う前の段階で、「光軸のずれ」の前後の撮像で得られる画像Aと画像Bの各々に関して平均化処理を行うように構成している。すなわち、画像Aのためのフレーム平均化回路51と、画像Bのためのフレーム平均化回路52とを備えている。フレーム平均化回路51は、例えば3つのフレームメモリ53a,53b,53cと平均化回路54から構成される。フレーム平均化回路52の構成もフレーム平均化回路51の構成と同じであるので、図4中ではその内部構成は省略して示されている。なお図4において、前述の実施形態で説明した要素と実質的に同一の要素は同一の符号を付している。
Next, a second embodiment of the fixed pattern noise removing device for an image sensor according to the present invention will be described with reference to FIG. In actual imaging of a subject by the
上記の構成に基づき、イメージセンサ10から出力される画像Aに係るセンサ信号は、例えば3回撮像を行って3つのセンサ信号を取得し、フレーム平均化回路51の3つのフレームメモリ53a,53b,53cの各々に格納する。平均化回路54は、3つのフレームメモリ53a,53b,53cのそれぞれに格納された画像データを各画素ごとに平均処理し、平均化された画像Aに関する画像信号すなわちセンサ信号を出力する。他方、イメージセンサ10から出力される画像Bに係るセンサ信号についても、同様に3回撮像を行って3つのセンサ信号を取得し、フレーム平均化回路52の3つのフレームメモリの各々に格納し、さらに同様な平均化回路により3つのフレームメモリのそれぞれに格納された画像データを各画素ごとに平均処理し、平均化された画像Bに関する画像信号すなわちセンサ信号が出力される。
Based on the above configuration, the sensor signal related to the image A output from the
本実施形態の固定パターンノイズ除去部18では、差分演算部19に、画像Aに係る平均化された画像信号(センサ信号)と画像Bに係る画像信号(センサ信号)が入力され、これらの入力信号を用いて前述した除去処理を行う。本実施形態の構成によれば、固定パターンノイズ除去18から出力される最終的な画像信号においてランダムノイズの影響を提言することができる。撮像回数(サンプリング回数)がSのとき、ランダムノイズの影響は1/√Sに低減することができる。
In the fixed pattern
次に、図5を参照して、本発明に係るイメージセンサの固定パターンノイズ除去装置の第3実施形態を説明する。この実施形態は、上記の第1実施形態の変形例であり、最終的な画素信号からランダムノイズの影響は低減するための他の構成を示している。この実施形態による構成では、LPF61(Low Pass Filter:移動平均化手段)を用いて得られる信号を利用して復元された画像信号を修正する方法である。従って、固定パターンノイズ除去部18の出力側に信号修正回路62が設けられている。信号修正回路62は、固定パターンノイズ除去部18から出力された画像信号と、LPF61から出力された移動平均化信号を入力する。信号修正回路62は、固定パターンノイズ除去部18によって差分情報に基づいて復元された画像信号を、イメージセンサ10から出力された画像信号を移動平均化(平滑化)して得られた画像信号に重なるように修正を行う。これによって、固定パターンノイズ除去部18から出力される画像信号からランダムノイズを迅速に低減することができる。
Next, a third embodiment of the fixed pattern noise removing device for an image sensor according to the present invention will be described with reference to FIG. This embodiment is a modification of the first embodiment, and shows another configuration for reducing the influence of random noise from the final pixel signal. The configuration according to this embodiment is a method of correcting a restored image signal using a signal obtained by using an LPF 61 (Low Pass Filter: moving averaging means). Therefore, a
さらに、図6を参照して、本発明に係るイメージセンサの固定パターンノイズ除去装置の第4実施形態を説明する。この実施形態は、上記の第3実施形態を改良した変形例であり、本実施形態でも最終的な画素信号からランダムノイズの影響は低減している。図6において、図5で説明した要素と同一の要素には同一の符号を付している。第3実施形態の構成と相違する点は、固定パターンノイズ除去部18の差分演算部19と信号修正回路62との間に合わせ位置検出部63を備えていることである。
Furthermore, with reference to FIG. 6, 4th Embodiment of the fixed pattern noise removal apparatus of the image sensor which concerns on this invention is described. This embodiment is a modification of the above-described third embodiment, and the influence of random noise is reduced from the final pixel signal in this embodiment as well. In FIG. 6, the same elements as those described in FIG. The difference from the configuration of the third embodiment is that a matching
LPF61での平滑化処理で得られた画像ではエッジの落ちた画像となる。前述した差分が大きく生じる領域では、画像信号と平滑化された画像信号との重ね合せを行うにあたり目標とするには適さない。図7において差分に係る信号71の出現状態の一例を示す。図7に示した差分信号71において、72は差分が相対的に大きくピーク状に生じている領域であり、73は差分が相対的に小さくその変化が所定値以下になるように生じている領域である。差分に係る信号における複数の領域73は信号の小さな部分であり、変化が緩やかな部分であるので、平滑化した画像信号と重ね合わせても一致が良好な部分である。
The image obtained by the smoothing process by the
従って、合わせ位置検出部63は、差分演算部19から出力される差分に係る信号において信号変化が所定値以下の領域73を検出し、当該検出信号を信号修正回路62に供給する。信号修正回路62では、合わせ位置検出部63から供給される検出信号に基づいて、差分信号における各領域73に一致する位置で、画像復元部20から与えられる画像信号と、LPF61から与えられる平滑化した画像信号とを重ね合せ、復元された画像信号を修正する。
Therefore, the alignment
上記の各実施形態では、イメージセンサ10により撮像される被写体は静止物(静止画)を想定していたが、被写体はこれに限定されない。例えば移動する被写体であっても本発明の構成を応用することができる。移動する被写体の場合、すなわち動画の場合には、予め静止物体を撮影した際に閾値情報をメモリに記憶しておき、この閾値情報を利用して画素信号から減算処理を行い、固定パターンノイズを除去するようにする。
In each of the above embodiments, the subject imaged by the
以上の実施形態で説明された構成等については本発明が理解・実施できる程度に概略的に示したものにすぎず、従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。 The configurations and the like described in the above embodiments are merely schematically shown to such an extent that the present invention can be understood and implemented. Therefore, the present invention is not limited to the described embodiments and is not limited to patents. Various modifications can be made without departing from the scope of the technical idea shown in the claims.
本発明に係るイメージセンサの固定パターンノイズ除去装置は、固定撮像装置(カメラ)等に利用され、固定パターンノイズ除去を簡単構成で達成でき、かつ経時的変化が生じた固定パターンノイズも適切に除去するのに利用される。 The fixed pattern noise removal device for an image sensor according to the present invention is used in a fixed imaging device (camera) or the like, and can achieve fixed pattern noise removal with a simple configuration and appropriately remove fixed pattern noise that has changed over time. Used to do.
10 イメージセンサ
11 レンズ系
12 光軸
13 駆動機構
17 フレームメモリ
18 固定パターンノイズ除去部
19 差分演算部
20 画像演算部
DESCRIPTION OF
Claims (7)
前記イメージセンサの受光面の前面位置に配置されるレンズ系と、
前記イメージセンサと前記レンズ系との位置関係を変化させることにより、前記イメージセンサと前記レンズ系の間に生じる光軸が所定画素分だけずれるように駆動動作を行う駆動手段と、
前記駆動手段による前記駆動動作の前後の撮像で得られた前記イメージセンサのセンサ信号を記憶するフレームメモリと、
前記駆動動作の前後の前記センサ信号同士で同一画素ごとに差分を演算する差分演算手段と、
前記差分演算手段で演算された前記差分を累積して画像信号を復元する画像復元手段と、
を備えることを特徴とするイメージセンサの固定パターンノイズ除去装置。 An image sensor including a plurality of photosensor circuits arranged in a matrix using a photosensor circuit that obtains a sensor signal by logarithmically converting a photocurrent flowing through a photoelectric conversion element by a MOS transistor;
A lens system disposed in front of the light receiving surface of the image sensor;
Driving means for performing a driving operation so that an optical axis generated between the image sensor and the lens system is shifted by a predetermined pixel by changing a positional relationship between the image sensor and the lens system;
A frame memory for storing sensor signals of the image sensor obtained by imaging before and after the driving operation by the driving means;
Difference calculating means for calculating a difference for each same pixel between the sensor signals before and after the driving operation;
Image restoration means for accumulating the difference calculated by the difference calculation means to restore an image signal;
An apparatus for removing fixed pattern noise of an image sensor.
前記画像復元手段から出力される画像信号を、前記移動平均化手段から出力される信号で修正する信号修正手段と、
を備えることを特徴とする請求項1記載のイメージセンサの固定パターンノイズ除去装置。 Moving average means for moving average the sensor signal output from the image sensor;
Signal correcting means for correcting the image signal output from the image restoring means with the signal output from the moving average means;
The fixed pattern noise removal apparatus of the image sensor of Claim 1 characterized by the above-mentioned.
2. The fixed pattern noise removing apparatus for an image sensor according to claim 1, wherein the drive means tilts the image sensor at two tilt angles to shift the optical axis.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005293038A JP4603454B2 (en) | 2005-10-05 | 2005-10-05 | Image sensor fixed pattern noise removal device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005293038A JP4603454B2 (en) | 2005-10-05 | 2005-10-05 | Image sensor fixed pattern noise removal device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007104445A true JP2007104445A (en) | 2007-04-19 |
JP4603454B2 JP4603454B2 (en) | 2010-12-22 |
Family
ID=38030918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005293038A Expired - Fee Related JP4603454B2 (en) | 2005-10-05 | 2005-10-05 | Image sensor fixed pattern noise removal device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4603454B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102739938A (en) * | 2011-03-30 | 2012-10-17 | 株式会社腾龙 | Image capture device, pixel output level compensation method, camera and lens system |
JP2012235249A (en) * | 2011-04-28 | 2012-11-29 | Tamron Co Ltd | Imaging apparatus, image generating method, infrared camera system, and replaceable lens system |
EP3258312A4 (en) * | 2015-02-12 | 2018-10-31 | Nec Corporation | Imaging device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11611692B2 (en) | 2020-11-09 | 2023-03-21 | Rockwell Collins, Inc. | Fixed pattern noise reduction and high spatial frequency filtering using vari-focus lenses in low contrast scenes |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06141242A (en) * | 1992-10-26 | 1994-05-20 | Mitsubishi Electric Corp | Image pickup device |
JPH08500944A (en) * | 1992-05-29 | 1996-01-30 | イギリス国 | Image forming system that hides dead elements |
JPH11187309A (en) * | 1997-12-19 | 1999-07-09 | Canon Inc | Image pickup device and its method |
JPH11183323A (en) * | 1997-12-25 | 1999-07-09 | Canon Inc | Defective picture element detecting device, defective picture element detecting method, image pickup device, image pickup method, and memory medium |
JPH11331592A (en) * | 1998-05-12 | 1999-11-30 | Canon Inc | Image reader and computer readable storing medium |
JP2000013670A (en) * | 1998-06-22 | 2000-01-14 | Canon Inc | Image pickup device and controlling method for image pickup device |
JP2004214890A (en) * | 2002-12-27 | 2004-07-29 | Minolta Co Ltd | Solid-state image pickup device |
-
2005
- 2005-10-05 JP JP2005293038A patent/JP4603454B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08500944A (en) * | 1992-05-29 | 1996-01-30 | イギリス国 | Image forming system that hides dead elements |
JPH06141242A (en) * | 1992-10-26 | 1994-05-20 | Mitsubishi Electric Corp | Image pickup device |
JPH11187309A (en) * | 1997-12-19 | 1999-07-09 | Canon Inc | Image pickup device and its method |
JPH11183323A (en) * | 1997-12-25 | 1999-07-09 | Canon Inc | Defective picture element detecting device, defective picture element detecting method, image pickup device, image pickup method, and memory medium |
JPH11331592A (en) * | 1998-05-12 | 1999-11-30 | Canon Inc | Image reader and computer readable storing medium |
JP2000013670A (en) * | 1998-06-22 | 2000-01-14 | Canon Inc | Image pickup device and controlling method for image pickup device |
JP2004214890A (en) * | 2002-12-27 | 2004-07-29 | Minolta Co Ltd | Solid-state image pickup device |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102739938A (en) * | 2011-03-30 | 2012-10-17 | 株式会社腾龙 | Image capture device, pixel output level compensation method, camera and lens system |
JP2012209848A (en) * | 2011-03-30 | 2012-10-25 | Tamron Co Ltd | Imaging apparatus, pixel output level correction method of the same, infrared-ray camera system and exchangeable lens system |
US9170161B2 (en) | 2011-03-30 | 2015-10-27 | Nippon Avionics Co., Ltd. | Image capture device, pixel output level compensation method for same, infrared camera system, and interchangeable lens system |
JP2012235249A (en) * | 2011-04-28 | 2012-11-29 | Tamron Co Ltd | Imaging apparatus, image generating method, infrared camera system, and replaceable lens system |
US9066015B2 (en) | 2011-04-28 | 2015-06-23 | Nippon Avionics Co., Ltd. | Image capture device, method for generating image, infrared camera system, and interchangeable lens system |
EP3258312A4 (en) * | 2015-02-12 | 2018-10-31 | Nec Corporation | Imaging device |
US10175471B2 (en) | 2015-02-12 | 2019-01-08 | Nec Corporation | Imaging device including a control unit configured to counteract vibration |
Also Published As
Publication number | Publication date |
---|---|
JP4603454B2 (en) | 2010-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2609540C2 (en) | Image capturing device and method of controlling image capturing device | |
JP5784426B2 (en) | Imaging device | |
US9554071B2 (en) | Method and apparatus providing pixel storage gate charge sensing for electronic stabilization in imagers | |
JP5888914B2 (en) | Imaging apparatus and control method thereof | |
JP2005106994A (en) | Focal point detecting device, imaging device, and method for controlling them | |
JP2006121521A (en) | Imaging device and image processing program | |
US9544512B2 (en) | Image capturing apparatus and method of reading out pixel signals from an image sensor | |
US10638072B2 (en) | Control apparatus, image pickup apparatus, and control method for performing noise correction of imaging signal | |
US10573681B2 (en) | Imaging device, camera, and imaging method | |
JP2017216646A (en) | Imaging device, imaging apparatus and imaging signal processing method | |
US10645320B2 (en) | Image pickup apparatus, control method for image pickup apparatus, and computer-readable non-transitory recording medium in which control program for image pickup apparatus is recorded | |
JP5013812B2 (en) | Imaging apparatus and correction method | |
US10225494B2 (en) | Image capturing apparatus and control method thereof | |
JP4603454B2 (en) | Image sensor fixed pattern noise removal device | |
JP5701942B2 (en) | Imaging apparatus, camera system, and image processing method | |
JP2010068049A (en) | Image device | |
US8081235B2 (en) | Image pickup apparatus and flicker detection method therefor | |
JP5530262B2 (en) | Camera shake correction control apparatus, camera shake correction control method, imaging apparatus, and program | |
US9894288B2 (en) | Image forming method for forming a high-resolution image, and a related image forming apparatus and image forming program | |
JP7271131B2 (en) | IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE | |
JP6223166B2 (en) | Image composition device, image composition method, imaging device, program, and storage medium | |
JP5129650B2 (en) | Imaging device | |
JP2008312169A (en) | Image processing apparatus and method, and imaging apparatus | |
JP2007081453A (en) | Imaging apparatus, signal processing method, and program | |
JP6765953B2 (en) | Imaging device and its control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100928 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101001 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |