JP4549040B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4549040B2
JP4549040B2 JP2003295455A JP2003295455A JP4549040B2 JP 4549040 B2 JP4549040 B2 JP 4549040B2 JP 2003295455 A JP2003295455 A JP 2003295455A JP 2003295455 A JP2003295455 A JP 2003295455A JP 4549040 B2 JP4549040 B2 JP 4549040B2
Authority
JP
Japan
Prior art keywords
signal
dummy
pulse
area sensor
counter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003295455A
Other languages
Japanese (ja)
Other versions
JP2005065109A (en
Inventor
康之 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003295455A priority Critical patent/JP4549040B2/en
Publication of JP2005065109A publication Critical patent/JP2005065109A/en
Application granted granted Critical
Publication of JP4549040B2 publication Critical patent/JP4549040B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、エリアセンサ(撮像素子)を用いた撮像装置に関し、特にエリアセンサの画像出力を分割して読み出す撮像装置に関する。 The present invention relates to an imaging equipment using an area sensor (imaging device), relates to the imaging equipment to read in particular dividing the image output of the area sensor.

従来のエリア撮像素子を用いた撮像装置においては、CCDエリアセンサを駆動し、CCDエリアセンサの出力波形に相関二重サンプリングを施し、A/D変換する様々なパルスを発生するために、タイミングジェネレータと呼ぶ集積回路を用いている。タイミングジェネレータの発生する上記各種パルスは、大きく2つに分類される。   In an imaging device using a conventional area imaging device, a timing generator is used to drive a CCD area sensor, perform correlated double sampling on the output waveform of the CCD area sensor, and generate various pulses for A / D conversion. An integrated circuit called is used. The various pulses generated by the timing generator are roughly classified into two types.

(1) 画素クロックの1周期内で位相を可変させる必要のあるもの。
・水平転送パルスH1・H2
・リセットゲートパルス
・相関二重サンプリングパルスSHP・SHD
・A/Dクロックパルス
(1) Those whose phase needs to be varied within one period of the pixel clock.
・ Horizontal transfer pulses H1 and H2
・ Reset gate pulse ・ Correlated double sampling pulse SHP ・ SHD
A / D clock pulse

(2) 画素単位で変化させるもの。
・水平転送パルスH1・H2のあり、なし
・垂直転送パルスV1・V2・V3・V4
・ダミーパルス
・オプティカルブラックパルス
(2) Change in pixel units.
・ With or without horizontal transfer pulses H1 ・ H2 ・ Vertical transfer pulses V1, V2, V3, V4
・ Dummy pulse ・ Optical black pulse

水平転送パルスH1・H2は位相を変化させる必要があり、さらに水平ブランキング期間は垂直転送のために停止させる必要もある。上記(1)の分類では、前記水平転送パルスH1・H2以外のパルスは常時出ている。上記(2)に分類される各パルスは、通常、水平ブランキング期間内のみで変化する。例外は画像を読み出していない垂直ブランキング期間であり、垂直ブランキング期間には、電子防振を行うために掃き出しパルスやフレームシフトパルス、各フォトダイオードから垂直転送CCDに電荷を移すためのセンサーゲートパルスをV1〜V4に加える。このように、垂直ブランキング期間を除いた期間では、各パルスは水平ブランキング期間内でのみ変化するので、タイミングジェネレータは当該水平ブランキング期間の少し手前で上記(2)の各種パルスを発生させるためのカウンタを起動し、当該カウンタのカウント値を用いて上記各種パルスを発生させ、水平ブランキング終了後はカウンタを停止させることで、カウンタが動作することによる画像への縦筋上のノイズの混入を抑える工夫が行われている。   It is necessary to change the phase of the horizontal transfer pulses H1 and H2, and it is also necessary to stop the horizontal blanking period for vertical transfer. In the above classification (1), pulses other than the horizontal transfer pulses H1 and H2 are always output. Each pulse classified as (2) above usually changes only within the horizontal blanking period. The exception is the vertical blanking period during which no image is read out. During the vertical blanking period, a sweep pulse or frame shift pulse is used for electronic image stabilization, and a sensor gate for transferring charges from each photodiode to the vertical transfer CCD. A pulse is applied to V1-V4. Thus, in the period excluding the vertical blanking period, each pulse changes only within the horizontal blanking period, so the timing generator generates the various pulses of (2) just before the horizontal blanking period. The counter is activated, the various pulses are generated using the count value of the counter, and the counter is stopped after the horizontal blanking is completed. Ingenuity to reduce contamination has been made.

また、下記の特許文献1及び2が公開されている。   Moreover, the following patent documents 1 and 2 are disclosed.

特開2002-252808号公報JP 2002-252808 JP 特開2002-320142号公報Japanese Patent Laid-Open No. 2002-320142

近年、エリアセンサの多画素化に伴い、画面を中央で垂直2分割して別々に読み出すエリアセンサが登場した。2分割して読み出す場合、チャンネル間のオフセットやゲインの違いを補正する必要が生じる。オフセットを合わせるために、後述するようにダミー信号を用いる。水平転送CCDに長さより多く転送パルスを与えると、すべての画素を転送し終わったあとに空のレベルが読み出される。これをダミー信号と呼び、このダミー信号を用いて、両チャンネルのレベルを合わせる。ダミー信号の場所を示すダミーパルスを発生させるために、上記カウンタを動作させる必要がある。従来の1チャンネルの場合、カウンタを動作させてはいたが、カウンタが動作することによるダミーパルスへの飛び込みは、ダミー信号の若干の上昇となるだけで実害は無かった。2チャンネルの場合、カウンタが動作することによるダミーパルスへの飛び込みがそれぞれのチャンネルに均等になるとは限らないので、チャンネルによってダミー信号レベルのずれが生じることがあり、このずれは画像のゲインアップをするほど目立つことから、ゲインアップの上限を決めてしまうことにもなり、問題であった。   In recent years, with the increase in the number of pixels in the area sensor, an area sensor that reads the screen separately in two vertically divided at the center has appeared. When reading in two parts, it is necessary to correct the difference in offset and gain between channels. In order to adjust the offset, a dummy signal is used as described later. When a transfer pulse longer than the length is given to the horizontal transfer CCD, an empty level is read after all pixels have been transferred. This is called a dummy signal, and the levels of both channels are matched using this dummy signal. In order to generate a dummy pulse indicating the location of the dummy signal, it is necessary to operate the counter. In the case of the conventional one channel, the counter was operated, but jumping into the dummy pulse due to the operation of the counter only caused a slight increase in the dummy signal and was not harmful. In the case of two channels, the jump to the dummy pulse due to the operation of the counter is not always equal to each channel, so there may be a shift in the dummy signal level depending on the channel, and this shift increases the gain of the image. Since it becomes more conspicuous, it also determines the upper limit of gain increase, which is a problem.

本発明の目的は、2画面分割エリアセンサの画像を合成する際に精度の高いレベル合わせを行うことである。   An object of the present invention is to perform level alignment with high accuracy when combining images of a two-screen divided area sensor.

本発明の撮像装置は、複数チャンネルに分割して、画像信号をライン単位でチャンネルごとに出力するとともに、前記画像信号に続いて空読みによるダミー信号をチャンネルごとに出力するエリアセンサと、タイミング信号に基づいて前記画像信号を所定電圧にクランプするクランプ手段と、前記クランプ手段により所定電圧にクランプされた前記画像信号をデジタル変換するA/D変換手段とを前記チャンネルごとに設けたアナログフロントエンドと、前記ダミー信号に基づいて前記A/D変換手段によりデジタル変換された前記画像信号の信号レベルを前記複数チャンネル間で調整するための調整手段と、前記エリアセンサが前記ダミー信号を出力した後であって、前記エリアセンサが次ラインの画像信号の垂直転送を行う前のタイミングに、前記クランプ手段によるクランプを行わせるための前記タイミング信号を生成するタイミングジェネレータと、を有することを特徴とする。 An image pickup apparatus according to the present invention divides a plurality of channels, outputs an image signal for each channel in units of lines, and outputs a dummy signal by idle reading for each channel following the image signal, and a timing signal An analog front end provided for each channel with a clamping means for clamping the image signal to a predetermined voltage based on the above and an A / D conversion means for digitally converting the image signal clamped to the predetermined voltage by the clamping means; An adjustment means for adjusting the signal level of the image signal digitally converted by the A / D conversion means based on the dummy signal between the plurality of channels, and after the area sensor outputs the dummy signal. Before the area sensor performs vertical transfer of the image signal of the next line. In, and having a timing generator for generating the timing signal for causing clamping by the clamping means.

エリアセンサがダミー信号を出力した後に、エリアセンサから出力される信号に対してクランプすることにより、エリアセンサから出力される複数領域間の信号レベルを調整するための基準信号レベルのずれを防止することができる。   After the area sensor outputs a dummy signal, the signal output from the area sensor is clamped to prevent a deviation in the reference signal level for adjusting the signal level between multiple areas output from the area sensor. be able to.

また、エリアセンサがダミー信号を出力した後に、エリアセンサから出力される信号の基準信号レベルを決め、エリアセンサから出力される複数領域間の信号レベルを調整することにより、複数領域間の基準信号レベルを精緻に合わせることができる。   In addition, after the area sensor outputs a dummy signal, the reference signal level of the signal output from the area sensor is determined, and the reference signal between the multiple areas is adjusted by adjusting the signal level between the multiple areas output from the area sensor. The level can be adjusted precisely.

図1は本発明の実施形態の特徴を最もよく表す図面である。同図において、レンズを通った画像がCCDエリアセンサ101に加えられる。CCDエリアセンサ101は左右分割2チャンネル読み出しのCCDエリアセンサであり、多画素をテレビレートで読み出す必要性から、従来の水平読み出しCCDを中央で分割し、図3に示すように画面の右半分311と左半分313とを左右に別々に読み出す構成となっている。左右別々に取り出された画像信号はそれぞれバッファアンプ103、105を通り、アナログフロントエンド107に加えられる。アナログフロントエンド107は、例えばテキサスインスツルメンツ社のVSP2254である。当該LSIは、2つのチャンネルが1つのチップに作りこまれており、加えられたCCDエリアセンサ出力信号に相関二重サンプリングとA/D変換を行い、結果をデジタル化された画像信号としてオフセット・ゲイン調整手段109に出力する。オフセット・ゲイン調整手段109は左右各画像信号用の2つの回路ブロック251、253とカウンタ255とで構成されている。253はチャンネルが異なるだけで同様の処理を行うので、ここでは251を用いて処理を説明する。アナログフロントエンド107からの画像信号はダミー信号平均化手段203と減算手段205に加えられる。ダミー信号平均化手段203はダミー信号部のレベルを数ラインに渡って積分することで平均化し、結果を減算手段205に加える。減算手段205は全体の画像信号を203で平均化したダミー信号レベルで減算することで除去し、結果をOBレベル積分手段207と減算手段211に加える。OBレベル積分手段207は遮光されたオプティカルブラック(以下OBと呼ぶ)信号部分のレベルを積分し、結果をマイコンバス経由でマイコンに送る。OB信号は黒の基準として用いるためのものであり、遮光された画素が図3のOBで示された黒の部分321、323に配置されている。また、レジスタ209、213がマイコンバスにつながれており、マイコンからレジスタ209にオフセット値、レジスタ213にゲインを書き込む。減算手段211は画像信号の固定のオフセットをマイコンの指示した値で減算し、結果を乗算手段215に加える。乗算手段215は画像信号にマイコンの指示したゲインを乗算し、結果を加算手段217に加える。加算手段217は画像信号にあらかじめ決められた固定のオフセットを加え、結果をメモリー手段113に出力する。オフセット・ゲイン調整手段109は以上説明した回路ブロック251と同じブロック253とで左右の各信号を別々に処理し、結果をメモリー手段113に加える。カウンタ255はダミー信号やOB信号部分を指示するためのカウンタであり、その役割については後述する。   FIG. 1 is a drawing that best represents the features of an embodiment of the present invention. In the figure, an image passing through a lens is added to the CCD area sensor 101. The CCD area sensor 101 is a CCD area sensor with two-channel reading on the left and right sides. Because of the need to read out multiple pixels at the television rate, a conventional horizontal readout CCD is divided at the center, and the right half 311 of the screen as shown in FIG. And the left half 313 are read separately on the left and right. The image signals taken out separately on the left and right are respectively passed through buffer amplifiers 103 and 105 and added to the analog front end 107. The analog front end 107 is, for example, VSP2254 manufactured by Texas Instruments. In this LSI, two channels are built in one chip, correlated double sampling and A / D conversion are performed on the added CCD area sensor output signal, and the result is offset as a digitized image signal. Output to the gain adjusting means 109. The offset / gain adjusting means 109 includes two circuit blocks 251 and 253 for left and right image signals and a counter 255. Since 253 performs the same process only with different channels, the process will be described using 251 here. The image signal from the analog front end 107 is added to the dummy signal averaging means 203 and the subtraction means 205. The dummy signal averaging means 203 averages the levels of the dummy signal parts by integrating them over several lines, and adds the result to the subtracting means 205. The subtracting means 205 removes the entire image signal by subtracting it at the dummy signal level averaged at 203 and adds the result to the OB level integrating means 207 and the subtracting means 211. The OB level integration means 207 integrates the level of the light-shielded optical black (hereinafter referred to as OB) signal portion, and sends the result to the microcomputer via the microcomputer bus. The OB signal is for use as a black reference, and light-shielded pixels are arranged in black portions 321 and 323 indicated by OB in FIG. Also, the registers 209 and 213 are connected to the microcomputer bus, and the microcomputer writes the offset value to the register 209 and the gain to the register 213. The subtracting means 211 subtracts the fixed offset of the image signal by the value designated by the microcomputer, and adds the result to the multiplying means 215. The multiplying unit 215 multiplies the image signal by the gain designated by the microcomputer and adds the result to the adding unit 217. The adding means 217 adds a predetermined fixed offset to the image signal and outputs the result to the memory means 113. The offset / gain adjusting means 109 processes the left and right signals separately in the same block 253 as the circuit block 251 described above, and adds the result to the memory means 113. The counter 255 is a counter for instructing a dummy signal or an OB signal portion, and its role will be described later.

メモリー手段113はミラー反転して読み出された画像の右半分を並べ替え、左半分とつなげて、一つの画像信号としてカメラ信号処理手段115に出力する。カメラ信号処理手段115は従来の1チャンネル用カメラ信号処理手段であり、多画素CCDで得られた大きな画像をDVCデジタルビデオ規格に合わせる縮小処理、手ぶれ補正処理、γ補正、色の分離、輝度の輪郭強調などの各種処理を施し、画像信号として端子117に出力する。   The memory means 113 rearranges the right half of the image read by mirror inversion, connects it to the left half, and outputs it to the camera signal processing means 115 as one image signal. The camera signal processing means 115 is a conventional one-channel camera signal processing means, which performs a reduction process, a camera shake correction process, a γ correction, a color separation, and a luminance adjustment for matching a large image obtained by a multi-pixel CCD with the DVC digital video standard. Various processes such as edge enhancement are performed and output to the terminal 117 as an image signal.

さらにカメラ信号処理手段115はカウンタ121とコマンド生成手段119を内蔵している。カウンタ121はタイミング生成手段131内の基準クロック生成手段133の生成したクロックTGCLK(例えば54MHz)で動作し、計数した数値をコマンド生成手段119に加える。コマンド生成手段119はTGCLKに同期して動作し、水平同期信号HDとコマンドを生成し、水平同期信号HDをタイミング生成手段131内のカウンタ139に、コマンドをタイミング生成手段131内のコマンド復号手段135に加える。ここで水平同期信号HDは、CCDエリアセンサの水平読み出し周波数に同期したタイミング信号であり、多画素CCDの場合、NTSCやPALなどのビデオ信号の水平同期信号よりは周波数が高いのが普通である。   Further, the camera signal processing means 115 includes a counter 121 and a command generation means 119. The counter 121 operates with the clock TGCLK (for example, 54 MHz) generated by the reference clock generation unit 133 in the timing generation unit 131, and adds the counted numerical value to the command generation unit 119. The command generation means 119 operates in synchronization with TGCLK, generates a horizontal synchronization signal HD and a command, the horizontal synchronization signal HD is sent to the counter 139 in the timing generation means 131, and the command is sent to the command decoding means 135 in the timing generation means 131. Add to. Here, the horizontal synchronization signal HD is a timing signal synchronized with the horizontal readout frequency of the CCD area sensor, and in the case of a multi-pixel CCD, the frequency is usually higher than the horizontal synchronization signal of a video signal such as NTSC or PAL. .

カウンタ139にはTGCLKとHDとが加えられており、水平同期信号HDの立下りでカウンタが起動され、設定した値に到達すると停止するように構成されている。カウンタ139の計数値はコマンド復号手段135に加えられ、コマンド生成手段119から送られてくるコマンドを復号する。   TGCLK and HD are added to the counter 139, and the counter is started at the falling edge of the horizontal synchronizing signal HD and stopped when it reaches a set value. The count value of the counter 139 is added to the command decoding means 135, and the command sent from the command generation means 119 is decoded.

ここでコマンドとは、各水平同期時間にパルス生成手段137が発生すべき波形を指示することであり、水平同期信号の立下りを目印として、規定の順番で規定の長さに渡りカメラ信号処理手段115からタイミング生成手段131に送られる。コマンドの例を、図5を用いて説明する。水平同期信号HDの立下りでカウンタが00からカウントアップする。初期値0と第一変化点10、第二変化点19がコマンドの具体例であり、一つ前の水平同期信号中に送られ、保持されている。生成する波形の例が波形Aである。水平同期信号HDの立下りで波形Aに初期値が与えられる。そしてカウンタが第一変化点10に達すると、波形は0から1に変化し、第二変化点19に達すると1から0に変化する。このような仕組みで水平ブランキング期間内に変化させる必要のある信号を変化させ、カウンタは停止して次の水平同期信号HDの立下りを待つ。   Here, the command is to instruct the waveform to be generated by the pulse generating means 137 at each horizontal synchronization time, and the camera signal processing is performed for a specified length in a specified order with the falling edge of the horizontal synchronization signal as a mark. The data is sent from the means 115 to the timing generation means 131. An example of the command will be described with reference to FIG. The counter counts up from 00 at the fall of the horizontal synchronization signal HD. The initial value 0, the first change point 10, and the second change point 19 are specific examples of commands, which are sent and held in the previous horizontal synchronization signal. An example of a waveform to be generated is waveform A. An initial value is given to the waveform A at the fall of the horizontal synchronizing signal HD. When the counter reaches the first change point 10, the waveform changes from 0 to 1, and when the counter reaches the second change point 19, the waveform changes from 1 to 0. With such a mechanism, a signal that needs to be changed within the horizontal blanking period is changed, the counter stops and waits for the next falling edge of the horizontal synchronizing signal HD.

基準クロック生成手段133は、TGCLKを2分周することでMPXCLK(例えば27MHz)を生成し、パルス生成手段137とオフセット・ゲイン調整手段109内のカウンタ255に加える。   The reference clock generation unit 133 generates MPXCLK (for example, 27 MHz) by dividing TGCLK by 2, and adds it to the pulse generation unit 137 and the counter 255 in the offset / gain adjustment unit 109.

パルス生成手段137は基準クロック生成手段133の生成したMPXCLKとコマンド復号手段135の指示に従い各種パルスを発生し、CCDエリアセンサ101とアナログフロントエンド107、オフセット・ゲイン調整手段109に加える。具体的にはCCDエリアセンサ101に2種類の水平転送パルスH1・H2、4種類の垂直転送パルスV1・V2・V3・V4、リセットゲートパルスRGを加え、アナログフロントエンド107に基準サンプルパルスSHP、データサンプルパルスSHD、A/D変換のためのADCLKパルス、ダミー部分でアナログフロントエンド107の入力を基準電位に保持するためのダミーパルスDM、画像のOB部分を指示するOBパルスを加える。   The pulse generation unit 137 generates various pulses in accordance with MPXCLK generated by the reference clock generation unit 133 and instructions of the command decoding unit 135 and applies them to the CCD area sensor 101, the analog front end 107, and the offset / gain adjustment unit 109. Specifically, two types of horizontal transfer pulses H1, H2, four types of vertical transfer pulses V1, V2, V3, V4 and a reset gate pulse RG are added to the CCD area sensor 101, and a reference sample pulse SHP, A data sample pulse SHD, an ADCLK pulse for A / D conversion, a dummy pulse DM for holding the input of the analog front end 107 at the reference potential at the dummy portion, and an OB pulse for indicating the OB portion of the image are added.

パルス生成手段137の発生する波形の具体例を図6を用いて説明する。701が水平ブランキング期間であり、703が水平期間内にコマンド生成手段119が生成するコマンド、H1・H2が水平転送パルス、V1〜V4が垂直転送パルス、DMが本実施形態におけるダミーパルス、OBがOBレベルが出力されていることを示すOBパルスである。同図に示すように、水平ブランキング期間内で、各種のパルスが変化し、画像信号の部分では停止している。水平転送パルスは水平ブランキング期間では停止し、画像の期間では転送パルスを出し続ける。703に示すコマンドは次の水平ブランキング期間705内の波形を指示するように構成されている。   A specific example of the waveform generated by the pulse generation means 137 will be described with reference to FIG. 701 is a horizontal blanking period, 703 is a command generated by the command generation means 119 within the horizontal period, H1 and H2 are horizontal transfer pulses, V1 to V4 are vertical transfer pulses, DM is a dummy pulse in this embodiment, OB Is an OB pulse indicating that the OB level is output. As shown in the figure, various pulses are changed within the horizontal blanking period and stopped at the image signal portion. The horizontal transfer pulse stops during the horizontal blanking period and continues to be output during the image period. The command shown at 703 is configured to indicate a waveform within the next horizontal blanking period 705.

これらのパルスを生成する回路例を図7に示す。801、803、805、807、809、811、813、815は波形生成回路であり、一水平期間内に変化する波形を生成する。当該波形生成回路は図5に示した原理で波形を生成する。801は水平ブランキング期間内に水平転送パルスH1・H2を停止する信号を生成する。803、805、807、809はそれぞれV1〜V4の垂直転送パルスを発生し、垂直ドライバ821、823、825、827に加える。811と813はセンサーゲートパルスを発生し、821と825に加えることで、約15V程度のセンサーゲートパルスをCCD101に加えるためのものである。815はOBパルスを発生し、アナログフロントエンド107に加える。   An example of a circuit for generating these pulses is shown in FIG. Reference numerals 801, 803, 805, 807, 809, 811, 813, and 815 denote waveform generation circuits that generate waveforms that change within one horizontal period. The waveform generation circuit generates a waveform based on the principle shown in FIG. Reference numeral 801 generates a signal for stopping the horizontal transfer pulses H1 and H2 within the horizontal blanking period. 803, 805, 807, and 809 generate V1-V4 vertical transfer pulses and apply them to the vertical drivers 821, 823, 825, and 827, respectively. 811 and 813 generate sensor gate pulses and apply them to 821 and 825 to apply a sensor gate pulse of about 15 V to the CCD 101. 815 generates an OB pulse and applies it to the analog front end 107.

851、853、855、857、859、861は画素クロックの1周期内で位相を変化できる波形生成手段であり、入力された27MHzのMPXCLKの1周期を50分割した各位相から、立ち上がりと立下りエッジを選択することができる。波形生成手段851、853、855、857,859、861の構造を図8を用いて説明する。基準となる27MHzの画素クロックが端子901を通じて位相比較手段903に加えられる。位相比較手段903のもう一方の端子には遅延線907の出力が加えられている。位相比較手段903は加えられた2つの位相を比較し、結果をループフィルタ905に出力する。ループフィルタ905は加えられた信号を平均化し、結果を50段の遅延線907に加える。これにより、加えられた基準クロックの1周期と遅延線907の出力が位相ロックするようにループが動き、結果として遅延線の各タップには、基準クロックの1周期を50分割した各位相の出力が得られる。この位相をスイッチ909とスイッチ911で選択し、結果がSET/RESETフリップフロップ913に加えられることで、立ち上がりと立下りの波形をそれぞれ基準クロックの50分割した中から選択し、結果を出力端子915に出力する。これにより、基準クロックの一周期を50分割した分解能で任意のデューティ・任意の位相の波形を生成することができる。   Waveform generating means 851, 853, 855, 857, 859, and 861 can change the phase within one period of the pixel clock, and rise and fall from each phase obtained by dividing one period of the input 27 MHz MPXCLK by 50. Edges can be selected. The structure of the waveform generation means 851, 853, 855, 857, 859, 861 will be described with reference to FIG. A reference 27 MHz pixel clock is applied to the phase comparison means 903 through a terminal 901. The output of the delay line 907 is added to the other terminal of the phase comparison means 903. The phase comparison unit 903 compares the two added phases and outputs the result to the loop filter 905. The loop filter 905 averages the applied signal and applies the result to a 50 stage delay line 907. As a result, the loop moves so that one cycle of the added reference clock and the output of the delay line 907 are phase-locked. As a result, each tap of the delay line outputs each phase obtained by dividing one cycle of the reference clock by 50. Is obtained. This phase is selected by the switches 909 and 911, and the result is added to the SET / RESET flip-flop 913, so that the rising and falling waveforms are each selected from 50 divided reference clocks, and the result is output to the output terminal 915. Output to. As a result, a waveform having an arbitrary duty and an arbitrary phase can be generated with a resolution obtained by dividing one cycle of the reference clock by 50.

波形生成手段851はリセットゲートパルスRGを生成、853・855は水平転送パルスH1・H2をそれぞれ生成しCCD101に供給する。857・859は相関二重サンプリングパルスSHP・SHDをそれぞれ生成、861はA/DクロックパルスADCLKを生成し、アナログフロントエンドに供給する。   Waveform generation means 851 generates a reset gate pulse RG, and 853 and 855 generate horizontal transfer pulses H1 and H2, respectively, and supply them to the CCD 101. 857 and 859 generate correlated double sampling pulses SHP and SHD, respectively, and 861 generates an A / D clock pulse ADCLK and supplies it to the analog front end.

水平同期信号HDとダミーパルスDM・OBパルスOBの関係について図4(A)〜(C)を用いて説明する。図4(A)において、VoutAとVoutBがオフセット・ゲイン調整手段109に加えられた2つの画像信号であり、HDと表記された信号が、コマンド生成手段119がタイミング生成手段131に加える水平同期信号、DMと表記された信号が、パルス生成手段137が生成するダミーパルスである。   The relationship between the horizontal synchronizing signal HD and the dummy pulse DM / OB pulse OB will be described with reference to FIGS. In FIG. 4A, VoutA and VoutB are two image signals applied to the offset / gain adjusting means 109, and a signal denoted as HD is a horizontal synchronizing signal applied to the timing generating means 131 by the command generating means 119. , DM is a dummy pulse generated by the pulse generating means 137.

図4(A)を、水平ブランキング期間に着目して拡大したのが図4(B)である。VoutAとVoutBからは、画像信号VIDEOが終わったあと、しばらくダミー信号DMが出力される。これはCCDエリアセンサ101に、水平転送CCDの長さより多くの水平転送パルスH1・H2を供給し続け、水平転送CCDが空読みされるためである。このダミー信号は画像で言えば左右分割の中央部分の画像が終わったあとの画素のない部分の基準信号であり、当該左右のダミー信号のレベルを合わせることで左右の画像信号のオフセットを合わせることができる。ダミー信号の次は水平ブランキング期間BLANKINGであり、水平転送パルスH1・H2は停止され、図示しない垂直転送パルスが出されることで、CCD101内で次の1ラインの画像信号が垂直転送CCDから転送されて、水平転送CCD301、303上に加えられる。次に水平転送パルスH1・H2が再開され、OBが読み出されたあと、画像信号VIDEOが読み出される。   FIG. 4B is an enlarged view of FIG. 4A focusing on the horizontal blanking period. A dummy signal DM is output from VoutA and VoutB for a while after the image signal VIDEO is finished. This is because the CCD area sensor 101 is continuously supplied with more horizontal transfer pulses H1 and H2 than the length of the horizontal transfer CCD, and the horizontal transfer CCD is read idle. In terms of images, this dummy signal is a reference signal for a pixel-free portion after the image of the central part of the left and right division is finished, and the offset of the left and right image signals can be adjusted by matching the levels of the left and right dummy signals. Can do. Next to the dummy signal is a horizontal blanking period BLANKING, the horizontal transfer pulses H1 and H2 are stopped, and a vertical transfer pulse (not shown) is output, so that the next one line of image signal is transferred from the vertical transfer CCD in the CCD 101. And added to the horizontal transfer CCDs 301 and 303. Next, after the horizontal transfer pulses H1 and H2 are restarted and OB is read, the image signal VIDEO is read.

ここで、タイミング生成手段131に内蔵されたカウンタ139は、本実施形態では図4(C)に示すように、ダミー信号DMが終わってから起動される。これによりダミー信号部分に、タイミング生成手段131に内蔵されたカウンタ139の動作の影響をなくすことができる。   Here, the counter 139 built in the timing generation means 131 is activated after the dummy signal DM is finished, as shown in FIG. Thereby, the influence of the operation of the counter 139 built in the timing generation means 131 can be eliminated in the dummy signal portion.

図2にアナログフロントエンド107の入力部分のブロック図を示す。ダミー信号は同図のDMに示すスイッチを閉じることで、コンデンサを介してDCカットされたアナログフロントエンド107の入力電圧を一定にクランプする。従来は図2のDMで示されたスイッチは、CCDからダミーレベルが出力される期間にONされていたが、本実施形態では垂直ブランキング期間に閉じるように変更した。垂直ブランキング期間は吐き出しパルスやフレームシフトパルスによる無効な画像信号が出ていることがあるが、図2に示すようにアナログフロントエンド107はDMのスイッチと基準サンプルパルスSHPによるスイッチが直列接続されており、無効な画像信号の部分ではSHPが閉じないため問題はない。このようにタイミング生成手段131の発生するDMパルスを水平ブランキング期間内に移したことにより、図1に示すようにDMパルスを用いてアナログフロントエンド107入力電圧のクランプに用いるだけでなく、オフセット・ゲイン調整手段109に内蔵されたカウンタ255のリセットに用いることができ、当該カウンタ255を用いてダミー信号平均化手段203にダミー信号の位置、OBレベル積分手段207にOB信号の位置を指示する。   FIG. 2 shows a block diagram of the input portion of the analog front end 107. The dummy signal clamps the input voltage of the analog front end 107, which is DC-cut through the capacitor, by closing the switch indicated by DM in FIG. Conventionally, the switch indicated by DM in FIG. 2 was turned on during a period during which a dummy level was output from the CCD. However, in the present embodiment, the switch was changed to be closed during the vertical blanking period. In the vertical blanking period, invalid image signals may be generated due to discharge pulses or frame shift pulses, but as shown in FIG. 2, the analog front end 107 has a DM switch and a reference sample pulse SHP switch connected in series. There is no problem because the SHP does not close in the invalid image signal portion. Since the DM pulse generated by the timing generation unit 131 is moved in the horizontal blanking period in this way, the DM pulse is used to clamp the analog front end 107 input voltage as shown in FIG. It can be used for resetting the counter 255 built in the gain adjusting means 109. Using the counter 255, the dummy signal averaging means 203 is instructed for the position of the dummy signal, and the OB level integrating means 207 is instructed for the position of the OB signal. .

図6に示すように、CCDエリアセンサ101は、領域分割された複数の領域について、VoutA及びVoutBからライン単位で画像信号及びそれに続くダミー信号DMを出力する。図2に示すように、アナログフロントエンド107は、ダミーパルスDMがローレベルになると、スイッチが閉じ、CCDエリアセンサ101から出力される信号に対して所定電圧にクランプするクランプ回路を含む。図6に示すように、タイミングジェネレータ131は、CCDエリアセンサ101がダミー信号を出力した後に、水平同期信号HDがローレベルになって水平ブランキング期間が開始し、カウンタ139のカウントが開始してダミーパルスのローレベルが生成される。図1のダミー信号平均化手段203は、カウンタ255に応じてダミー信号レベルの取り出し位置を決定し、CCDエリアセンサ101から出力されるダミー信号レベルを数ラインに渡って積分して平均化して基準信号レベルを生成する。減算手段205は、全体の画像信号から上記の基準信号レベルを減算し、CCDエリアセンサから出力される複数領域間の信号レベルを調整する。   As shown in FIG. 6, the CCD area sensor 101 outputs an image signal and a dummy signal DM that follows the image signal in units of lines from VoutA and VoutB for a plurality of divided areas. As shown in FIG. 2, the analog front end 107 includes a clamp circuit that closes the switch and clamps a signal output from the CCD area sensor 101 to a predetermined voltage when the dummy pulse DM becomes low level. As shown in FIG. 6, after the CCD area sensor 101 outputs a dummy signal, the timing generator 131 starts the horizontal blanking period when the horizontal synchronization signal HD becomes low level and the counter 139 starts counting. A low level of the dummy pulse is generated. The dummy signal averaging means 203 in FIG. 1 determines the dummy signal level extraction position in accordance with the counter 255, integrates and averages the dummy signal level output from the CCD area sensor 101 over several lines, and serves as a reference. Generate signal levels. The subtracting means 205 subtracts the reference signal level from the entire image signal, and adjusts the signal level between a plurality of areas output from the CCD area sensor.

本実施形態は、水平ブランキング期間でダミーパルスDMをアナログフロントエンド107に与えて、仮のDMレベルでデジタル値に変換し、デジタル値になってから、本当のダミー信号のレベルで両チャンネルのレベルを合わせる。ダミー信号平均化手段203は、カウンタ255に応じて、VoutA及びVoutBから出力されるダミー信号DMを数ラインに渡って積分して平均化する。アナログフロントエンド107に与えるダミーパルスDMは、カウンタ139の値に応じて生成される。そして、デジタル的に真のダミー信号レベルを取り出す位置を生成するカウンタは、カウンタ139に接続されたカウンタ255の値に応じて生成される。ダミー信号平均化手段203は、カウンタ255の値に応じて、VoutAのダミー信号とVoutBのダミー信号のレベルを合わせてオフセットを合わせる。   In the present embodiment, a dummy pulse DM is given to the analog front end 107 in the horizontal blanking period, converted into a digital value at a provisional DM level, and after becoming a digital value, the levels of both channels at the true dummy signal level. Match the level. The dummy signal averaging means 203 integrates and averages the dummy signal DM output from VoutA and VoutB over several lines according to the counter 255. The dummy pulse DM given to the analog front end 107 is generated according to the value of the counter 139. A counter for generating a position for digitally extracting the true dummy signal level is generated according to the value of the counter 255 connected to the counter 139. The dummy signal averaging means 203 adjusts the offset by matching the levels of the VoutA dummy signal and the VoutB dummy signal according to the value of the counter 255.

すなわち、アナログフロントエンド107でデジタル化する時のアナログフロントエンド107へ与えるダミーパルスDMは、(ノイズが乗った)ブランキング期間の適当な値を用いる。この値は、黒に近い明るさである。そして、デジタル化された後で、両チャンネルのダミー信号のレベルをダミー信号平均化手段203の値で減算して0にすることで、両チャンネルのダミー信号レベルを同じ値に設定する。   That is, the dummy pulse DM given to the analog front end 107 when digitized by the analog front end 107 uses an appropriate value of the blanking period (with noise). This value is close to black. After digitization, the dummy signal levels of both channels are set to the same value by subtracting the dummy signal levels of both channels by the value of the dummy signal averaging means 203 to zero.

図4(B)の場合、タイミング生成手段(TG)でCCDエリアセンサへの駆動パルスやアナログフロントエンドへのサンプリングパルスを発生していたので、ダミーレベルを出力させる時に、タイミング生成手段の内蔵カウンタを動かしてしまうと、カウンタノイズが水平駆動パルスなどを介して、CCD出力に重畳され、ダミーレベルは変動してしまう。2チャンネルの場合、それが同等である保証がない。   In the case of FIG. 4B, since the timing generation means (TG) generates a drive pulse for the CCD area sensor and a sampling pulse for the analog front end, the built-in counter of the timing generation means is used when outputting the dummy level. Is moved, the counter noise is superimposed on the CCD output via a horizontal drive pulse or the like, and the dummy level fluctuates. In the case of two channels, there is no guarantee that they are equivalent.

そこで、本実施形態は、図4(C)に示すように、ダミー信号レベルを出力する際にはタイミング生成手段131のカウンタは動かさないが、アナログフロントエンド107に与えるダミーパルスDMとしてはブランキング期間(Voutは黒に近い)を使って、アナログフロントエンド107の入力コンデンサの電圧を設定しておいて、アナログフロントエンド107で両チャンネルのデジタル値(ダミー信号レベルも含まれ、アナログフロントエンド107に与えたダミーパルス位置でのレベルよりは若干小さい)が出てきてから、当該デジタル値に含まれるダミー信号レベルをそれぞれ規定値に合わせることで、両チャンネルの黒レベルを合わせることができる。   Therefore, in the present embodiment, as shown in FIG. 4C, the counter of the timing generation unit 131 does not move when outputting the dummy signal level, but blanking is used as the dummy pulse DM to be given to the analog front end 107. The voltage of the input capacitor of the analog front end 107 is set using a period (Vout is close to black), and the digital value (including dummy signal levels of both channels) is included in the analog front end 107. When the dummy signal level included in the digital value is adjusted to the specified value, the black levels of both channels can be adjusted.

以上のように、本実施形態によれば、アナログフロントエンドに加えるダミーの位置を変更し、実際のダミー信号が読み出される時にはタイミングジェネレータに内蔵したカウンタを動かさないようにした。エリアセンサからダミーレベルが出力される際には、エリアセンサや相関二重サンプリングやA/D変換を行うアナログフロントエンドに与えるタイミングを発生するタイミングジェネレータのカウンタを停止させ、前記アナログフロントエンドに与えるダミーパルスとして、実際のダミーレベルではなく水平ブランキング期間内のタイミングを与えることにより、タイミングジェネレータに内蔵したカウンタが動作することによるダミーパルスへの飛び込みがダミー信号のレベルのずれを生じさせることがなくなった。   As described above, according to the present embodiment, the dummy position applied to the analog front end is changed, and the counter built in the timing generator is not moved when the actual dummy signal is read. When the dummy level is output from the area sensor, the counter of the timing generator that generates the timing to be given to the area sensor, the analog front end that performs correlated double sampling and A / D conversion is stopped, and is given to the analog front end. By giving the timing within the horizontal blanking period instead of the actual dummy level as the dummy pulse, jumping into the dummy pulse due to the operation of the counter built in the timing generator may cause a shift in the level of the dummy signal. lost.

また、本実施形態によれば、水平ブランキング内に出したダミーパルスを、アナログフロントエンドだけではなく、オフセット・ゲイン調整を行うデジタル処理手段にも加え、当該デジタル処理回路中でダミーレベルを抽出することにより、2つのチャンネル間のダミーレベルを精緻に合わせることができるようになった。   Further, according to the present embodiment, the dummy pulse extracted in the horizontal blanking is added not only to the analog front end but also to the digital processing means for adjusting the offset / gain, and the dummy level is extracted in the digital processing circuit. As a result, the dummy level between the two channels can be precisely adjusted.

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。   The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

本発明の実施形態による撮像装置を示す図である。It is a figure which shows the imaging device by embodiment of this invention. アナログフロントエンドの入力部分を説明するブロック図である。It is a block diagram explaining the input part of an analog front end. 2分割読み出しCCDエリアセンサを説明する図である。It is a figure explaining a 2 division | segmentation read CCD area sensor. 水平同期信号HDとダミーパルスDM・OBパルスOBの関係について説明する図である。It is a figure explaining the relationship between horizontal synchronizing signal HD and dummy pulse DM and OB pulse OB. コマンド生成手段119の発生するコマンドを説明する図である。FIG. 10 is a diagram for explaining a command generated by command generation means 119. パルス生成手段137の発生する波形の具体例を説明する図である。FIG. 10 is a diagram for explaining a specific example of a waveform generated by pulse generation means 137. パルス生成手段137の回路例を説明する図である。FIG. 10 is a diagram for explaining a circuit example of pulse generation means 137. 波形生成手段851、853、855、857,859、861の構造を説明する図である。It is a figure explaining the structure of waveform generation means 851, 853, 855, 857, 859, 861.

符号の説明Explanation of symbols

101 2分割読み出しCCDエリアセンサ
107 アナログフロントエンド
119 コマンド生成手段
137 パルス生成手段
801、803、805、807、809,811、813、815 一水平期間内に変化する波形を生成する波形生成手段
851、853、855、857、859、861 画素クロックの1周期内で位相を変化させる波形生成手段
101 2-segment readout CCD area sensor
107 analog front end
119 Command generation means
137 Pulse generation means
801, 803, 805, 807, 809, 811, 813, 815 Waveform generating means for generating a waveform that changes within one horizontal period
851, 853, 855, 857, 859, 861 Waveform generation means for changing phase within one period of pixel clock

Claims (2)

複数チャンネルに分割して、画像信号をライン単位でチャンネルごとに出力するとともに、前記画像信号に続いて空読みによるダミー信号をチャンネルごとに出力するエリアセンサと、
タイミング信号に基づいて前記画像信号を所定電圧にクランプするクランプ手段と、前記クランプ手段により所定電圧にクランプされた前記画像信号をデジタル変換するA/D変換手段とを前記チャンネルごとに設けたアナログフロントエンドと、
前記ダミー信号に基づいて前記A/D変換手段によりデジタル変換された前記画像信号の信号レベルを前記複数チャンネル間で調整するための調整手段と、
前記エリアセンサが前記ダミー信号を出力した後であって、前記エリアセンサが次ラインの画像信号の垂直転送を行う前のタイミングに、前記クランプ手段によるクランプを行わせるための前記タイミング信号を生成するタイミングジェネレータと、
を有することを特徴とする撮像装置。
An area sensor that divides into a plurality of channels and outputs image signals for each channel in units of lines, and outputs dummy signals by idle reading for each channel following the image signals;
An analog front provided with a clamp unit for clamping the image signal to a predetermined voltage based on a timing signal and an A / D conversion unit for digitally converting the image signal clamped to the predetermined voltage by the clamp unit for each channel. The end,
Adjusting means for adjusting the signal level of the image signal digitally converted by the A / D converter based on the dummy signal between the plurality of channels;
Even after the said area sensor has output the dummy signal, the area sensor to generate the timing signal for the timing before performing the vertical transfer of image signals of the next line, causing the clamping by the clamp means A timing generator;
An imaging device comprising:
前記タイミングジェネレータは、前記タイミング信号を生成するタイミングをカウントするためのカウンタを有し、前記カウンタは、前記エリアセンサが前記ダミー信号を出力した後に前記カウントを開始することを特徴とする請求項1に記載の撮像装置。The said timing generator has a counter for counting the timing which produces | generates the said timing signal, The said counter starts the said counting after the said area sensor outputs the said dummy signal. The imaging device described in 1.
JP2003295455A 2003-08-19 2003-08-19 Imaging device Expired - Fee Related JP4549040B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003295455A JP4549040B2 (en) 2003-08-19 2003-08-19 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003295455A JP4549040B2 (en) 2003-08-19 2003-08-19 Imaging device

Publications (2)

Publication Number Publication Date
JP2005065109A JP2005065109A (en) 2005-03-10
JP4549040B2 true JP4549040B2 (en) 2010-09-22

Family

ID=34371700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003295455A Expired - Fee Related JP4549040B2 (en) 2003-08-19 2003-08-19 Imaging device

Country Status (1)

Country Link
JP (1) JP4549040B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4968662B2 (en) * 2005-12-26 2012-07-04 株式会社メガチップス Image processing device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0492582A (en) * 1990-08-08 1992-03-25 Sony Corp Timing signal generating circuit
JPH06268930A (en) * 1993-03-16 1994-09-22 Sharp Corp Pulse generator for ccd solid-state image pickup device
JPH0923384A (en) * 1995-07-10 1997-01-21 Sony Corp Solid-state image pickup device
JPH09247552A (en) * 1996-03-01 1997-09-19 Sharp Corp Signal processing circuit for solid-state image pickup device
JPH10145682A (en) * 1996-11-05 1998-05-29 Hitachi Denshi Ltd Pulse signal generator
JP2001061104A (en) * 1999-08-19 2001-03-06 Canon Inc Image input device and image input system using the device
JP2002300477A (en) * 2001-03-29 2002-10-11 Canon Inc Signal processing device, signal processing method, and imaging device
JP2003259224A (en) * 2002-02-27 2003-09-12 Victor Co Of Japan Ltd Image pickup device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0492582A (en) * 1990-08-08 1992-03-25 Sony Corp Timing signal generating circuit
JPH06268930A (en) * 1993-03-16 1994-09-22 Sharp Corp Pulse generator for ccd solid-state image pickup device
JPH0923384A (en) * 1995-07-10 1997-01-21 Sony Corp Solid-state image pickup device
JPH09247552A (en) * 1996-03-01 1997-09-19 Sharp Corp Signal processing circuit for solid-state image pickup device
JPH10145682A (en) * 1996-11-05 1998-05-29 Hitachi Denshi Ltd Pulse signal generator
JP2001061104A (en) * 1999-08-19 2001-03-06 Canon Inc Image input device and image input system using the device
JP2002300477A (en) * 2001-03-29 2002-10-11 Canon Inc Signal processing device, signal processing method, and imaging device
JP2003259224A (en) * 2002-02-27 2003-09-12 Victor Co Of Japan Ltd Image pickup device

Also Published As

Publication number Publication date
JP2005065109A (en) 2005-03-10

Similar Documents

Publication Publication Date Title
KR100765880B1 (en) High frame rate high definition imaging system and method
US7821547B2 (en) Image sensing apparatus that use sensors capable of carrying out XY addressing type scanning and driving control method
KR20080083573A (en) Data processing method, data processing device, solid-state imaging device, imaging apparatus, and electronic device
JP5103913B2 (en) Imaging device and video signal generator
US20080100730A1 (en) Imaging apparatus and control method thereof
JP6118118B2 (en) Imaging apparatus and control method thereof
JP2004172845A (en) Imaging device
JP4549040B2 (en) Imaging device
JP2007134806A (en) Solid-state imaging element
JP4724400B2 (en) Imaging device
KR101578997B1 (en) Solid-state imaging device
TWI379587B (en) Image pickup apparatus and image pickup method
JP2003046878A (en) Timing signal generator
JP2007110639A (en) Solid-state imaging element, drive method thereof, and imaging apparatus
JP4227596B2 (en) Pulse generation circuit, imaging device and camera
JP2004015236A (en) Imaging apparatus
KR100213946B1 (en) Solid-state image pickup apparatus
JP2013162421A (en) Solid-state imaging apparatus and digital camera employing the same
JP3783284B2 (en) Imaging device
JP2005295422A (en) Digital camera device
JP2000278616A (en) Image pickup device
JPH0738799A (en) Camera shake correcting device
JP2010206591A (en) Solid-state imaging apparatus, integrated circuit, and program
JP2008042586A (en) Video signal processing apparatus
JP2007336092A (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100706

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees