JP4349310B2 - 固体撮像素子の駆動方法、固体撮像素子および撮像装置 - Google Patents

固体撮像素子の駆動方法、固体撮像素子および撮像装置 Download PDF

Info

Publication number
JP4349310B2
JP4349310B2 JP2005107034A JP2005107034A JP4349310B2 JP 4349310 B2 JP4349310 B2 JP 4349310B2 JP 2005107034 A JP2005107034 A JP 2005107034A JP 2005107034 A JP2005107034 A JP 2005107034A JP 4349310 B2 JP4349310 B2 JP 4349310B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
row
odd
vertical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005107034A
Other languages
English (en)
Other versions
JP2006211630A (ja
Inventor
一秀 横田
久 紅林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005107034A priority Critical patent/JP4349310B2/ja
Priority to US11/302,703 priority patent/US7570290B2/en
Priority to TW098117884A priority patent/TWI324486B/zh
Priority to TW094144381A priority patent/TWI322621B/zh
Priority to EP05028381.1A priority patent/EP1675408B1/en
Priority to KR1020050129622A priority patent/KR101200134B1/ko
Priority to CN2008101259925A priority patent/CN101312537B/zh
Publication of JP2006211630A publication Critical patent/JP2006211630A/ja
Priority to US12/393,179 priority patent/US8023018B2/en
Application granted granted Critical
Publication of JP4349310B2 publication Critical patent/JP4349310B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、固体撮像素子の駆動方法、固体撮像素子および撮像装置に関し、特にCMOSイメージセンサに代表されるX−Yアドレス型固体撮像素子の駆動方法、その駆動方法を実現する固体撮像素子および当該固体撮像素子を撮像デバイスとして用いた撮像装置に関する。
固体撮像素子において、フレームレートの向上を図るために、一般的に、画素の情報を複数の画素間で加算することによって画素情報量を減らすようにしている(例えば、特許文献1参照)。
一例として、図10に示すベイヤー配列のカラーコーディングにおいて、横3画素×縦3画素の領域の中から同色横2画素×縦2画素の加算を3画素ずつずらしながら行い、加算信号配列が元の画素配列と色の空間的繰り返しパターンを変えず、縦、横、斜めのピッチ比が変わらないように加算する場合について説明する。
奇数行に位置するR(赤)の画素311,313,331,333を加算すると、その加算R信号は重心Aに位置することになる。同様に、3画素横にずれてG(緑)の画素314,316,334,336を加算すると、その加算G信号は重心Bに位置する。さらに3画素横にずれてR画素317,319,337,339を加算すると、その加算R信号は重心Cに位置することになる。
次に、3画素縦にずれて偶数行に位置するG画素341,343,361,363を加算すると、その加算G信号は重心Dに位置する。その3画素横にずれてB(青)の画素344,346,364,366を加算すると、その加算B信号は重心Eに位置する。このような画素加算を画素エリア全域に亘って行うことで、加算信号の色配列が元のカラーコーディングと比較して色の空間的繰り返しパターンが同じで、縦、横、斜めのピッチ比を保った加算ができる。
特開2004−266369号公報
ところで、光電変換素子を含む画素の実効的集積度を高めるために、行列状に配置された画素配列において、奇数列の各画素に対して偶数列の各画素が、画素列内での画素同士のピッチの約1/2ピッチだけ列方向にずれ、また奇数行の各画素に対して偶数行の各画素が、画素行内での画素同士のピッチの約1/2ピッチだけ行方向にずれた配置となるいわゆる斜め画素配列の構成を採る固体撮像素子がある。この斜め画素配列の固体撮像素子にカラーフィルタを配置する場合、図11に示すように、ベイヤー配列のカラーコーディングを45°傾けた配置となる。
一方で、斜め画素配列のCMOSイメージセンサにおいて、画素の信号を線順次にて読み出す場合、図12に示すように、画素100が斜めに配列された画素領域101において、横ジグザグ行(2行)の画素100に対して共通に配線された水平画素駆動線群105を垂直選択回路106によって駆動し、この水平画素駆動線群105を介して選択された横ジグザグ行の画素100の信号を、画素列ごとに配線された垂直信号線群102を通して列ごとに設けられたカラム処理回路103に保持し、さらに水平選択回路104によって順次選択される水平スイッチ群107を介して1つずつ、順次、水平信号線108に読み出すようにしている。
この読出し方式では、1回の行単位の読出しで多くの画素の信号を読み出せるために読出し動作が高速であるというメリットがある反面、必ず隣り合った2行を同時に読み出さなければならない自由度の低さにより、図11に示すベイヤー配列を45°傾けたカラーコーディングにおいて画素加算を行うとした場合に、先述した通常のベイヤー配列のカラーコーディングにおける画素加算のように、加算信号の色配列が元のカラーコーディングと比較して色の空間的繰り返しパターンが同じで、縦、横、斜めのピッチ比を保った加算を行うことができない。
また、斜め画素配列のCMOSイメージセンサにおいて、別の読出し方式では、図13に示すように、画素200が斜めに配列された画素領域201において、画素行ごとに配線された水平画素駆動線群205を垂直選択回路206によって駆動し、この水平画素駆動線群205を介して選択された各行の画素200の信号を、縦ジグザグ列(2列)の画素200に対して共通に配線された垂直信号線群202を通してジグザグ列(2列)ごとに設けられたカラム処理回路203に保持し、さらに水平選択回路204によって順次選択される水平スイッチ群207を介して1つずつ、順次、水平信号線208に読み出すようにしている。
この読出し方式では、常に1行ずつしか読み出すことができないためにそもそも高速読出し動作に対応できいことに加えて、奇数行と偶数行が同じ垂直信号線群202を通して読み出され、同じカラム回路203で処理されることになるため、図11に示すベイヤー配列を45°傾けたカラーコーディングにおいて画素加算を行うとした場合に、やはり、加算信号の色配列が元のカラーコーディングと比較して色の空間的繰り返しパターンが同じで、縦、横、斜めのピッチ比を保った加算を行うことができない。
本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、斜め画素配列において、画素加算を行う上で、加算信号の色配列が元のカラーコーディングと比較して色の空間的繰り返しパターンが同じで、縦、横、斜めのピッチ比を保った加算を行うことを可能にした固体撮像素子の駆動方法、固体撮像素子および撮像装置を提供することにある。
上記目的を達成するために、本発明では、ベイヤー配列のカラーコーディングを有し、画素が斜め配列されてなる固体撮像素子において、奇数行、偶数行それぞれ別々に隣接横n画素、縦n画素(nは3以上の奇数)の領域の中で、同色の横x画素、縦y画素(n≧x≧y)を加算し、前記隣接横n画素、縦n画素の領域を縦、横にm画素(mは3以上の奇数)ずつ動かしながら加算していき、このとき奇数行の隣接横n画素、縦n画素領域と偶数行の隣接横n画素、縦n画素領域との空間的位置関係は斜め配列画素上で斜め方向にm画素分ずれるようにする。
このような画素加算によれば、加算信号の色配列が元のカラーコーティングの色配列と比較して、色の空間的繰り返しパターンが同じで、縦、横、斜めのピッチ比を保った配列となる加算を行うことができる。
本発明によれば、ベイヤー配列のカラーコーディングを有し、斜め画素配列の固体撮像素子において、画素加算を行う上で、加算信号の色配列が元のカラーコーディングと比較して色の空間的繰り返しパターンが同じで、縦、横、斜めのピッチ比を保った加算を行うことができるため、空間的に均等なサンプリングによる良質の加算信号が得られると同時に、全画素読出しと同じ配列で加算信号が出力されるために後段の信号処理がし易くなる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
先ず、本発明に係る固体撮像素子の画素加算を行うための駆動方法について、いくつか実施例を挙げて説明する。
なお、本発明に係る駆動方法が適用される固体撮像素子は、光電変換素子を含む画素が行列状に多数配置されてなる画素配列において、画素の各々が、奇数列の各画素に対して偶数列の各画素が、画素列内での画素同士のピッチの約1/2ピッチだけ列方向にずれ、また奇数行の各画素に対して偶数行の各画素が、画素行内での画素同士のピッチの約1/2ピッチだけ行方向にずれた配置となる斜め画素配列となっていることを前提とする。
この斜め画素配列の固体撮像素子において、画素加算を行う上で、加算信号の色配列が元のカラーコーディングと比較して色の空間的繰り返しパターンが同じで、縦、横、斜めのピッチ比を保った加算を行うための実施例について以下に説明する。
(実施例1)
図1は、本発明の実施例1に係る駆動方法による画素加算の概念図である。本実施例に係る画素加算では、斜め画素配列に対応してベイヤー配列を45°傾けたカラーコーディングにおいて、横3画素×縦3画素の領域の中から同色横2画素×縦2画素の加算を3画素ずつずらしながら行うことになる。その手順について以下に具体的に説明する。
図1において、奇数行に位置するR(赤)の画素111,113,151,153を加算すると、その加算R信号は重心Aに位置することになる。3画素横にずれて、B(青)の画素114,116,154,156を加算すると、その加算B信号は重心Bに位置する。さらに3画素横にずれて、R画素117,119,157,159を加算すると、その加算R信号は重心Cに位置することになる。
次に、斜め方向に3画素にずれて、偶数行に位置するG(緑)の画素142,144,182,184を加算すると、その加算G信号は重心Dに位置することになる。その3画素横にずれて、G画素145,147,185,187を加算すると、その加算G信号は重心Eに位置する。
このような手順で画素加算を画素エリア全域に亘って行うことで、加算信号の色配列が元のカラーコーディングの色配列と比較して、色の空間的繰り返しパターンが同じで、縦、横、斜めのピッチ比を保った配列となる加算を行うことができる。斜め画素配列においては、このような加算を行うには、奇数行、偶数行で異なる列の加算を行う必要があることが特徴的である。その結果、空間的に均等なサンプリングによる良質の加算信号が得られると同時に、画素の信号を独立に読み出す全画素読出しと同じ色配列で加算信号が出力されるために後段の信号処理がし易いというメリットが得られる。
(実施例2)
図2は、本発明の実施例2に係る駆動方法による画素加算の概念図である。本実施例に係る画素加算では、斜め画素配列に対応してベイヤー配列を45°傾けたカラーコーディングにおいて、横5画素×縦5画素の領域の中から同色横3画素×縦3画素加算を3画素ずつずらしながら行うことになる。その手順について以下に具体的に説明する。
図2において、奇数行に位置するR画素211,213,215,251,253,255,291,293,295を加算すると、その加算R信号は重心Aに位置することになる。3画素横にずれて、B画素214,216,218,254,256,258,294,296,298を加算すると、その加算B信号は重心Bに位置する。さらに3画素横にずれて、R画素217,219,21b,257,259,25b,297、299,29bを加算すると、その加算R信号は重心Cに位置することになる。
次に、斜めに3画素ずれて、偶数行に位置するG画素242,244,246,282,284,286,2c2,2c4,2c6を加算すると、その加算G信号は重心Dに位置することになる。その3画素横にずれて、G画素245,247,249,285,287,289,2c5,2c7,2c9を加算すると、その加算G信号は重心Eに位置することになる。
このような手順で画素加算を画素エリア全域に亘って行うことで、加算信号の色配列が元のカラーコーディングの色配列と比較して、色の空間的繰り返しパターンが同じで、縦、横、斜めのピッチ比を保った配列となる加算を行うことができる。その結果、空間的に均等なサンプリングによる良質の加算信号が得られると同時に、全画素読出しと同じ色配列で加算信号が出力されるために後段の信号処理がし易いというメリットが得られる。
(実施例3)
図3は、本発明の実施例3に係る駆動方法による画素加算の概念図である。本実施例に係る画素加算では、カラーフィルタ無しの斜め画素配列において、横3画素×縦3画素の領域の中から隣接横2画素×縦2画素の加算を3画素ずつずらしながら行うことになる。その手順について以下に具体的に説明する。
図3において、奇数行に位置する画素311,312,331,333を加算すると、その加算信号は重心Aに位置することになる。3画素横にずれて、画素314,315,334,335を加算すると、その加算信号は重心Bに位置する。さらに3画素横にずれて、画素317,318,337,338を加算すると、その加算信号は重心Cに位置することになる。
次に、斜め方向に3画素ずれて、偶数行に位置する画素342,343,362,363を加算すると、その加算信号は重心Dに位置することになる。その3画素横にずれて、画素345,346,365,366を加算すると、その加算信号は重心Eに位置することになる。
このような手順で画素加算を画素エリア全域に亘って行うことで、加算信号の配列が、元の画素配列と比較して、縦、横、斜めのピッチ比を保った配列となる加算を行うことができる。その結果、空間的に均等なサンプリングによる良質の加算信号が得られると同時に、全画素読出しと同じ配列で加算信号が出力されるために後段の信号処理がし易いというメリットが得られる。
(実施例4)
図4は、本発明の実施例4に係る駆動方法による画素加算の概念図である。本実施例に係る画素加算では、カラーフィルタ無しの斜め画素配列において、横3画素×縦3画素の領域の中から隣接横3画素×縦3画素の加算を3画素ずつずらしながら行うことになる。その手順について以下に具体的に説明する。
図4において、奇数行に位置する画素411,412,413,431,432,433,451,452,453を加算すると、その加算信号は重心Aに位置することになる。3画素横にずれて、画素414,415,416,434,435,436,454,455,456を加算すると、その加算信号は重心Bに位置する。さらに3画素横にずれて、画素417,418,419,437,438,439,457,458,459を加算すると、その加算信号は重心Cに位置することになる。
次に、斜め方向に3画素ずれて、偶数行に位置する画素442,443,444,462,463,464,482,483,484を加算すると、その加算信号は重心Dに位置することになる。その3画素横にずれて、画素445,446,447,465,466,467,485,486,487を加算すると、その加算信号は重心Eに位置することになる。
このような手順で画素加算を画素エリア全域に亘って行うことで、加算信号の配列が、元の画素配列と比較して、縦、横、斜めのピッチ比を保った配列となる加算を行うことができる。その結果、空間的に均等なサンプリングによる良質の加算信号が得られると同時に、全画素読出しと同じ配列で加算信号が出力されるために後段の信号処理がし易いというメリットが得られる。
(実施例5)
図5は、本発明の実施例5に係る駆動方法による画素加算の概念図である。本実施例に係る画素加算では、カラーコーティングが特殊な場合の例として、特定のカラーコーティングにおいて、横5画素×縦5画素の領域の中から同色横2画素×縦2画素加算を3画素ずつずらしながら行うことになる。その手順について以下に具体的に説明する。
図5において、奇数行に位置するR画素511,513,551,553を加算すると、その加算R信号は重心Aに位置することになる。3画素横にずれて、G画素514,516,554,556を加算すると、その加算G信号は重心Bに位置することになる。さらに3画素横にずれて、R画素517,519,557,559を加算すると、その加算R信号は重心Cに位置することになる。
次に、斜め方向に3画素ずれて、偶数行に位置するG画素542,544,582,584を加算すると、その加算G信号は重心Dに位置することになる。その3画素横にずれて、G画素545,547,585,587を加算すると、その加算G信号は重心Eに位置することになる。
このような手順で画素加算を画素エリア全域に亘って行うことで、加算信号の色配列が元のカラーコーティングの色配列と比較して、色の空間的繰り返しパターンが同じで、縦、横、斜めのピッチ比を保った配列となる加算を行うことができる。その結果、空間的に均等なサンプリングによる良質の加算信号が得られると同時に、全画素読出しと同じ配列で加算信号が出力されるために後段の信号処理がし易いというメリットが得られる。
[基本形]
以上、いろいろなパターンで画素加算を行う実施例を示したが、それを一般化して説明すると、次のようになる。
すなわち、斜め画素配列の画素領域(画素アレイ部)を持つ固体撮像素子において、奇数行、偶数行それぞれ別々に、隣接横n画素、縦n画素(nは3以上の奇数)、計nの2乗の画素の領域の中で、同色の横x画素、縦y画素(n≧x≧y)を加算し、隣接横n画素、縦n画素の領域を縦、横にm画素(mは3以上の奇数)ずつ動かしながら加算していき、このとき奇数行の隣接横n画素、縦n画素領域と偶数行の隣接横n画素、縦n画素領域との空間的位置関係は斜め配列画素上で斜め方向にm画素分ずれるようにする。
このような画素加算を行う駆動方法を採ることで、加算信号の色配列が元のカラーコーティングの色配列と比較して、色の空間的繰り返しパターンが同じで、縦、横、斜めのピッチ比を保った配列となる加算を行うことができる。
その結果、空間的に均等なサンプリングによる良質の加算信号が得られると同時に、全画素読出しと同じ配列で加算信号が出力されるために後段の信号処理がし易いというメリットが得られる。また、n≧x≧yとすることで、後述するように加算を実現するためにサンプルホールド容量を追加する必要が無いというメリットがある。
[固体撮像素子]
次に、以上説明した各実施例に係る画素加算のための駆動方法を実現する固体撮像素子の構成例について説明する。
図6は、本発明の一実施形態に係るX−Yアドレス型固体撮像素子、例えばCMOSイメージセンサの構成の概略を示すブロック図である。
図6において、光電変換素子を含む画素10が行列状に多数配置されることで画素アレイ部(画素領域)11を構成している。この画素アレイ部11において、画素10の各々は、奇数列の各画素に対して偶数列の各画素が、画素列内での画素同士のピッチの約1/2ピッチだけ列方向(図の上下方向)にずれ、また奇数行の各画素に対して偶数行の各画素が、画素行内での画素同士のピッチの約1/2ピッチだけ行方向(図の左右方向)にずれた配置となる斜め画素配列となっている。
この斜め画素配列の画素アレイ部11において、各画素10の上には、例えばベイヤー配列を45°傾けたカラーコーディング(図11を参照)のカラーフィルタ12が設けられている。また、各画素10に対して、奇数行ごとに奇数行駆動線群13が、偶数行ごとに偶数行駆動線群14がそれぞれ配線され、奇数列ごとに奇数列信号線(垂直信号線)群15が、偶数列ごとに偶数列信号線(垂直信号線)群16がそれぞれ接続されている。
奇数行駆動線群13の各一端は、奇数行垂直選択回路17の対応する出力端にそれぞれ接続されている。偶数行駆動線群14の各一端は、偶数行垂直選択回路18の対応する出力端に接続されている。奇数行垂直選択回路17および偶数行垂直選択回路18は、奇数行駆動線群13および偶数行駆動線群14を介して、画素アレイ部11の隣り合わない奇数行と偶数行の各画素10を選択する行選択手段を構成としている。
奇数列信号線群15の各一端は、画素アレイ部11の例えば一方側(本例では、図の下側)に配置された奇数行カラム処理回路(群)19の各入力端に接続されている。奇数行カラム処理回路19は、奇数行の画素の信号を保持するとともに、カラム(画素列)間、本例では1列おき(1列飛ばし)での加算を行う。
偶数列信号線群16の各一端は、画素アレイ部11の例えば他方側(本例では、図の上側)に配置された偶数行カラム処理回路(群)20の各入力端に接続されている。偶数行カラム処理回路20は、偶数行の画素の信号を保持するとともに、カラム間、本例では1列おきでの加算を行う。
奇数行カラム処理回路19および偶数行カラム処理回路20の具体的な回路構成については後述する。なお、図6中、奇数行カラム処理回路19および偶数行カラム処理回路20に付しているA,B,Cの記号は、図7で説明する加算スイッチの違いを表現したものである。
奇数行カラム処理回路19の各出力端は、奇数行水平スイッチ21を介して奇数行水平信号線22に接続されている。奇数行水平スイッチ21は、奇数行水平選択回路23によって順に選択されることにより、奇数行カラム処理回路19で加算された信号を奇数行水平信号線22に読み出す。この奇数行水平信号線22に読み出された信号は、出力アンプ23で増幅されて出力される。
偶数行カラム処理回路20の各出力端は、偶数行水平スイッチ25を介して偶数行水平信号線26に接続されている。偶数行水平スイッチ25は、偶数行水平選択回路27によって順に選択されることにより、偶数行カラム処理回路20で加算された信号を偶数行水平信号線26に読み出す。この偶数行水平信号線26に読み出された信号は、出力アンプ28で増幅されて出力される。
奇数行水平選択回路23および偶数行水平選択回路27は、奇数行における列番と偶数行における列番とが一致しないように列選択を行う列選択手段を構成している。奇数行垂直選択回路17、偶数行垂直選択回路18、奇数行カラム処理回路19、偶数行カラム処理回路20、奇数行水平選択回路23および偶数行水平選択回路27等の駆動制御は、タイミング発生回路29から出力される各種のタイミング信号に基づいて行われる。
図7は、ベイヤー配列を45°傾けたカラーコーディング(図11を参照)において、同色横2画素×縦2画素の加算を行うことを想定した場合の例えば奇数行カラム処理回路19の構成の一例を示す回路図である。ここでは、奇数行カラム処理回路19を例に挙げて説明するが、偶数行カラム処理回路20も基本的に同じ構成を採ることになる。
図7において、例えば3列を単位とする奇数行カラム処理回路19A,19B,19C(図6のカラム処理回路A,B,Cに相当)には、クランプパルス線31、クランプ電圧線32、記録制御線33、加算制御線34、Aスイッチ線35、Bスイッチ線36、Cスイッチ線37およびクランプ電圧線38が共通に配線されている。
カラム処理回路19A,19B,19Cは、基本的に、同じ回路構成を採っている。すなわち、カラム処理回路19Aは、クランプ容量41A、第1,第2,第3のスイッチ42A,43A,44Aおよびサンプルホールド容量45Aによって構成され、カラム処理回路19Bは、クランプ容量41B、第1,第2,第3のスイッチ42B,43B,44Bおよびサンプルホールド容量45Bによって構成され、カラム処理回路19Cは、クランプ容量41C、第1,第2,第3のスイッチ42C,43C,44Cおよびサンプルホールド容量45Cによって構成されている。第1,第2,第3のスイッチとしては、例えばNチャネルMOSトランジスタが用いられている。
カラム処理回路19Aを例に挙げてより具体的に説明すると、クランプ容量41Aは、一端が奇数列信号線群15の各信号線(垂直信号線)の一端に接続されている。第1のスイッチ42Aは、クランプ容量41Aの他端とクランプ電圧線32との間に接続されるとともに、ゲートがクランプパルス線31に接続されている。第2のスイッチ43Aは、一方の主電極がクランプ容量41Aの他端に接続され、ゲート電極が記録制御線33に接続されている。
第3のスイッチ44Aは、一方の主電極が第2のスイッチ43Aの他方の主電極に接続され、ゲート電極がAスイッチ線35に接続されている。なお、カラム処理回路19Bでは、第3のスイッチ44Bのゲート電極がBスイッチ線36に接続され、カラム処理回路19Cでは、第3のスイッチ44Cのゲート電極がCスイッチ線37に接続されることになる。サンプルホールド容量45Aは、一端が第3のスイッチ44Aの他方の主電極に、他端がクランプ電圧線38にそれぞれ接続されている。
上記構成のカラム処理回路19A,19B,19Cにおいて、本例では、カラム処理回路19Aとカラム処理回路19Cとの間で画素信号の加算が行われることから、カラム処理回路19Aとカラム処理回路19Cとの間、具体的にはカラム処理回路19A,19Cにおける第3のスイッチ44A,44Cの各一方の主電極間に加算用スイッチ46が接続されている。この加算用スイッチ46としては、例えばNチャネルMOSトランジスタが用いられている。そして、加算用スイッチ46のゲートは、加算制御線34に接続されている。
次に、上記構成のカラム処理回路19A,19B,19Cを備えた本実施形態に係る斜め画素配列のCMOSイメージセンサの動作について、図8のタイミングチャートを用いて説明する。
図8には、画素10においてフローティングディフュージョン領域の電位をリセットするためのリセットパルスおよび光電変換素子で光電変換された信号電荷をフローティングディフュージョン領域に転送するための電荷転送パルスに加えて、クランプパルス線31に与えられるクランプパルス、記録制御線33に与えられる記録制御パルス、加算制御線34に与えられる加算制御パルス、Aスイッチ線35に与えられるAスイッチパルス、Bスイッチ線36に与えられるBスイッチパルスおよびCスイッチ線37に与えられるCスイッチパルスのタイミング関係が示されている。
本実施形態に係る斜め画素配列のCMOSイメージセンサを加算モードで動作させる場合は、加算制御パルスを“H”レベルにして加算用スイッチ46を常にオン状態にする。加算を行わない場合は、加算制御パルスを“L”レベルにして加算用スイッチ46を常時オフ状態とするが、そのとき垂直信号線群15,16の各信号線に付く加算用スイッチ46の負荷容量のばらつきが見えないようにするために、カラム処理回路19,20内にダミーのスイッチを置いておく構成を採るのが望ましい。
図6において、奇数行垂直選択回路17による垂直走査によって第1行目を行選択し、偶数行垂直選択回路18による垂直走査によって第4行目を行選択する。このような行選択により、隣り合っていない奇数行と偶数行を同時に読み出すようにしている点が本発明の特徴とするところである。以下では、理解を容易にするためには、例えば実施例1(図1)と対応させて説明するものとする。
選択した2行(第1行目と第4行目)の画素に対して先ずリセットパルスを与えると、垂直信号線群15,16の各信号線には、画素のリセットレベルを反映したリセット電圧が現れる。このとき、クランプパルスを“H”レベルにすることで、図7において、第1のスイッチ42A,42B,42Cがオン状態となって垂直信号線群15,16の各信号線上のリセット電圧をクランプ容量41A,41B,41Cに記憶保持する(第1リセット電圧読出し期間)。そして、クランプパルスを“L”レベルにし、第1のスイッチ42A,42B,42Cをオフ状態にする。
次に、選択した2行(第1行目と第4行目)に対して電荷転送パルスを与えると、垂直信号線群15,16の各信号線には、画素の光信号レベルを反映した信号電圧が現れる。この信号電圧は、クランプ容量41A,41B,41Cの各々に保持されているリセット電圧との差分がとられることで、画素の固定パターンノイズが除去される(第1信号電圧読出し期間)。
このとき、記録制御パルスを“H”レベルにするとともに、Aスイッチ線35に第3のスイッチ44A(以下、「Aスイッチ44」と記す)が繋がった列の信号と、Cスイッチ線37に第3のスイッチ44C(以下、「Cスイッチ44C」と記す)が繋がった列の信号を加算するために、Aスイッチパルスを“H”レベルにする。
これにより、Aスイッチ44Aが繋がった列の信号と、Cスイッチ44Cが繋がった列の信号が加算用スイッチ46を通して加算され、カラム処理回路Aのサンプルホールド容量45Aに保持される。具体的には、図1において、奇数行側ではR画素111の信号とR画素113の信号、G画素114の信号とG画素116の信号、…が加算され、偶数行側ではB画素142の信号とB画素144の信号、B画素145の信号とB画素147の信号、…が加算される。
そして、記録制御パルスおよびAスイッチパルスを共に“L”レベルにする。その後、選択2行の画素のフローティングディフュージョン(FD)をリセットする。ここまでの期間、即ち第1リセット電圧読出し期間および第1信号電圧読出し期間を含む期間が第1読出し期間である。
次に、図6の奇数行垂直選択回路17による垂直走査によって第5行目を行選択し、偶数行垂直選択回路18による垂直走査によって第8行目を行選択する。ここでも隣り合っていない奇数行と偶数行を同時に読み出すところが特徴的である。
選択した2行(第5行目と第8行目)の画素に対して先ずリセットパルスを与えると、垂直信号線群15,16の各信号線には、画素のリセットレベルを反映したリセット電圧が現れる。このとき、クランプパルスを“H”レベルにすることで、第1のスイッチ42A,42B,42Cがオン状態となって垂直信号線群15,16の各信号線上のリセット電圧をクランプ容量41A,41B,41Cに記憶保持する(第2リセット電圧読出し期間)。そして、クランプパルスを“L”レベルにし、第1のスイッチ42A,42B,42Cをオフ状態にする。
次に、選択した2行(第5行目と第8行目)に対して電荷転送パルスを与えると、垂直信号線群15,16の各信号線には、画素の光信号レベルを反映した信号電圧が現れる。この信号電圧は、クランプ容量41A,41B,41Cの各々に保持されているリセット電圧との差分がとられることで、画素の固定パターンノイズが除去される(第2信号電圧読出し期間)。
このとき、記録制御パルスを“H”レベルにするとともに、Aスイッチ44が繋がった列の信号と、Cスイッチ44Cが繋がった列の信号を加算し、今度は、カラム処理回路19Cのサンプルホールド容量45に保持するために、Cスイッチパルスを“H”レベルにする。
これにより、Aスイッチ44Aが繋がった列の信号と、Cスイッチ44Cが繋がった列の信号が加算用スイッチ46を通して加算され、カラム処理回路Cのサンプルホールド容量45Cに保持される。具体的には、図1において、奇数行側ではR画素151の信号とR画素153の信号、G画素154の信号とG画素156の信号、…が加算され、偶数行側ではB画素182の信号とB画素183の信号、B画素185の信号とB画素187の信号、…が加算される。
その後、記録制御パルスおよびCスイッチパルスを“L”レベルにし、次いで選択2行の画素のFDをリセットする。そして、AスイッチパルスとCスイッチパルスを“H”レベルにし、Aスイッチ44AおよびCスイッチ44Cを共にオンさせる。これにより、カラム処理回路19A,19Cの各サンプルホールド容量45A,45Cに保持されている水平加算信号が垂直加算される(垂直加算期間)。
具体的には、奇数行側では、サンプルホールド容量45Aに保持されている水平加算信号(R画素111の信号+R画素113の信号、G画素114の信号+G画素116の信号、…)と、サンプルホールド容量45Cに保持されている水平加算信号(R画素151の信号+R画素153の信号、G画素154の信号+G画素156の信号、…)とが垂直加算される。
偶数行側では、サンプルホールド容量45Aに保持されている水平加算信号(B画素142の信号+B画素144の信号、B画素145の信号+B画素147の信号、…)と、サンプルホールド容量45Cに保持されている水平加算信号(B画素182の信号+B画素183の信号、B画素185の信号+B画素187の信号、…)とが垂直加算される。
以上により、例えば実施例1のベイヤー配列を45°傾けたカラーコーディングにおいて、横3画素×縦3画素の領域の中から同色横2画素×縦2画素の画素加算を行うことができる。これら画素加算後の加算信号については、サンプルホールド容量45A,45Cのどちらからでも読み出すことができる。ここまでの期間、即ち第2リセット電圧読出し期間、第2信号電圧読出し期間および垂直加算期間を含む期間が第2読出し期間である。
ここで、このような読出し方法を採る場合、横x画素(本例では、x=2)の加算信号を1つのサンプルホールド容量45(45A,45B,45C)に記憶保持し、それを縦加算分のy回(本例では、y=2)行うために、x≧yの加算であれば、元の画素配列の列数分だけ用意されているサンプルホールド容量45で足りるために、加算読出しのために追加でサンプルホールド容量を用意する必要が無いというメリットが得られる。
第1読出し期間と第2読出し期間で水平ブランキング期間が構成される。1水平ブランキング期間内に、隣り合わない奇数行と偶数行を複数回(本例では、垂直2画素(2行)加算であるため2回)読み出すようにしている点が本発明の特徴とするところである。水平ブランキング期間が終了すると水平読出し期間に移行する。
垂直加算期間に垂直加算した信号をカラム処理回路Aのサンプルホールド容量45から読み出すようにするとすれば、図6の構成を見れば、奇数行水平選択回路23によって、第1列、第4列、第7列、…と選択してゆけば、奇数行の加算信号を取り出すことができる。同様に、偶数行水平選択回路27によって、第2列、第5列、第8列、…と選択してゆけば、偶数行の加算信号を取り出すことができる。
ここで、奇数行の水平選択と偶数行の水平選択とで選択列にずれがあるところ、即ち奇数行水平選択回路23によって選択される奇数行における列番と、偶数行によって選択される偶数行における列番とが一致していないところが特徴的である。これは、加算信号配列が元の画素信号の配列と一致するようにする上で必要なことである。
上述したように、斜め画素配列の固体撮像素子において、1水平ブランキング期間内に隣り合わない奇数行と偶数行とを同時に複数回選択する垂直選択回路17,18と、奇数行用、偶数行用それぞれ個別のスイッチ付きカラム処理回路19(19A,19B,19C)と、それを選択する水平選択回路23,27とを備え、奇数行と偶数行とで水平選択にずれがある構成を採れば、画素加算を行う上で、加算信号の色配列が元のカラーコーディングの色配列と比較して色の空間的繰り返しパターンが同じで、縦、横、斜めのピッチ比を保った画素加算を実現できるため、空間的に均等なサンプリングによる良質の加算信号が得られると同時に、全画素の信号を独立に読み出す全画素読出しと同じ配列で加算信号が出力されるために後段の信号処理がし易くなる。
[適用例]
以上説明したCMOSイメージセンサに代表される斜め画素配列のX−Yアドレス型固体撮像素子は、デジタルスチルカメラやビデオカメラ等の撮像装置(カメラモジュール)において、その撮像デバイスとして用いて好適なものである。
図9は、本発明に係る撮像装置の構成の一例を示すブロック図である。図9に示すように、本例に係る撮像装置は、レンズ51、撮像デバイス52、信号処理回路53、モード設定部54およびデバイス駆動回路55等によって構成されている。
レンズ51は、被写体からの像光を撮像デバイス52の撮像面に結像する。撮像デバイス52は、デバイス駆動回路55による駆動の下に、レンズ51によって撮像面に結像された像光を画素単位で電気信号に変換して得られる画像信号を出力する。この撮像デバイス52として、先述した実施形態に係るCMOSイメージセンサに代表される斜め画素配列のX−Yアドレス型固体撮像素子が用いられる。なお、デバイス駆動回路55については、撮像デバイス52にオンチップされている構成を採ることも可能である。
信号処理部53は、撮像デバイス52から出力される画像信号に対して種々の信号処理を行う。モード設定部54は、撮像デバイス52の動作モードとして、全画素の信号を独立に読み出す全画素読出しモードと、画素加算を行う加算読出しモードとをユーザによる指定に応じて選択的に設定する。
デバイス駆動回路55は、図6のタイミング発生回路29等によって構成され、モード設定部54から与えられるモード信号に応じて撮像デバイス52の駆動制御を行う。具体的には、図6に示すCMOSイメージセンサにおいて、全画素読出しモードが指定されたときは、垂直選択回路17,18によって奇数行、偶数行順に行選択を行うとともに、選択行の各画素から読み出された信号を水平選択回路23,27によって順に選択して読み出すための駆動制御を行う。
また、加算読出しモードが指定されたときは、垂直選択回路17,18によって1水平ブランキング期間内に隣り合わない奇数行と偶数行とを同時に複数回選択するとともに、奇数行用、偶数行用それぞれ個別のスイッチ付きカラム処理回路19(19A,19B,19C)による水平方向での画素加算およびを水平選択回路23,27による加算信号の読み出しを行うための駆動制御を行う。
上述したように、デジタルスチルカメラやビデオカメラ等の撮像装置において、その撮像デバイスとして先述した実施形態に係るCMOSイメージセンサに代表される斜め画素配列のX−Yアドレス型固体撮像素子を搭載することで、全画素読出しと加算読出しの両方に対応でき、また加算読出し時に全画素読出し時と同じ色配列の加算信号を得ることができるために、空間的に均等なサンプリングによる良質な加算信号が得られるとともに、信号処理回路53での信号処理がし易くなる。
本発明の実施例1に係る駆動方法による画素加算の概念図である。 本発明の実施例2に係る駆動方法による画素加算の概念図である。 本発明の実施例3に係る駆動方法による画素加算の概念図である。 本発明の実施例4に係る駆動方法による画素加算の概念図である。 本発明の実施例5に係る駆動方法による画素加算の概念図である。 本発明の一実施形態に係るCMOSイメージセンサの構成の概略を示すブロック図である。 奇数行カラム処理回路の構成の一例を示す回路図である。 本実施形態に係るCMOSイメージセンサの動作を説明するためのタイミングチャートである。 本発明に係る撮像装置の構成の一例を示すブロック図である。 ベイヤー配列のカラーコーディングを示す図である。 ベイヤー配列を45°傾けたカラーコーディングを示す図である。 斜め画素配列のCMOSイメージセンサの概略構成例を示すブロック図である。 斜め画素配列のCMOSイメージセンサの他の概略構成例を示すブロック図である。
符号の説明
10…画素、11…画素アレイ部、12…カラーフィルタ、13…奇数行駆動線群、14…偶数行駆動線群、15…奇数列信号線(垂直信号線)群、16…偶数列信号線(垂直信号線)群、17…奇数行垂直選択回路、18…偶数行垂直選択回路、19…奇数行カラム処理回路、20…偶数行カラム処理回路、21…奇数行水平スイッチ、22、奇数行水平信号線、23…奇数行水平選択回路、24,28…出力アンプ、25…偶数行水平スイッチ、26…偶数行水平信号線、27…偶数行水平選択回路、29…タイミング発生回路

Claims (10)

  1. ベイヤー配列のカラーコーディングを有し、画素が斜め配列されてなる固体撮像素子の駆動に当たって
    奇数行、偶数行それぞれ別々に隣接横n画素、縦n画素(nは3以上の奇数)の領域の中で、同色の横x画素、縦y画素(n≧x≧y)を加算し、
    前記隣接横n画素、縦n画素の領域を縦、横にm画素(mは3以上の奇数)ずつ動かしながら加算していき、このとき奇数行の隣接横n画素、縦n画素領域と偶数行の隣接横n画素、縦n画素領域との空間的位置関係は斜め配列画素上で斜め方向にm画素分ずれるようにする
    固体撮像素子の駆動方法。
  2. 1水平ブランキング期間内に、隣り合わない奇数行と偶数行とを同時に複数回選択する
    請求項1記載の固体撮像素子の駆動方法。
  3. 前記画素配列における奇数行の画素の各列ごとに配線された奇数行垂直信号線群を通して出力される画素の信号を列間で加算するとともに、偶数行の画素の各列ごとに配線された偶数行垂直信号線群を通して出力される画素の信号を列間で加算し、
    奇数行側の加算信号と偶数行側の加算信号とを奇数行における列番と偶数行における列番とが一致しないように選択する
    請求項2記載の固体撮像素子の駆動方法。
  4. ベイヤー配列のカラーコーディングを有し、画素が斜め配列されるとともに、当該画素配列における奇数行の画素の各列ごとに奇数行垂直信号線群が、偶数行の画素の各列ごとに偶数行垂直信号線群がそれぞれ配線された画素アレイ部と、
    前記画素配列の奇数行の選択と偶数行の選択とを別々に行う行選択手段と、
    前記奇数行垂直信号線群に繋がり、列間で画素の信号を加算する奇数行カラム処理回路群と、
    前記偶数行垂直信号線群に繋がり、列間で画素の信号を加算する偶数行カラム処理回路群と、
    前記奇数行カラム処理回路群の各カラム処理回路と前記偶数行カラム処理回路群の各カラム処理回路とを選択する列選択手段とを備え
    前記行選択手段および前記列選択手段による選択制御の下に、前記奇数行カラム処理回路群および前記偶数行カラム処理回路群による加算処理により、
    奇数行、偶数行それぞれ別々に隣接横n画素、縦n画素(nは3以上の奇数)の領域の中で、同色の横x画素、縦y画素(n≧x≧y)を加算し、
    前記隣接横n画素、縦n画素の領域を縦、横にm画素(mは3以上の奇数)ずつ動かしながら加算していき、このとき奇数行の隣接横n画素、縦n画素領域と偶数行の隣接横n画素、縦n画素領域との空間的位置関係は斜め配列画素上で斜め方向にm画素分ずれるようにする
    固体撮像素子。
  5. 前記行選択手段は、1水平ブランキング期間内に、隣り合わない奇数行と偶数行とを同時に複数回選択する
    請求項4記載の固体撮像素子。
  6. 前記列選択手段は、奇数行における列番と偶数行における列番とが一致しないように列選択を行う
    請求項5記載の固体撮像素子。
  7. 前記奇数行カラム処理回路群の各カラム処理回路および前記偶数行カラム処理回路群の各カラム処理回路は、
    前記奇数行垂直信号線群および前記偶数行垂直信号線群を通して出力される画素の信号を所定のクランプ電圧にクランプするクランプ容量と、
    前記クランプ容量を経た画素の信号をサンプルホールドするサンプルホールド容量と、
    前記サンプルホールド容量の入力側において前記加算を行う列間に接続された加算用スイッチとを有する
    請求項4記載の固体撮像素子。
  8. ベイヤー配列のカラーコーディングを有し、画素が斜め配列され、当該画素配列の奇数行、偶数行それぞれ別々に隣接横n画素、縦n画素(nは3以上の奇数)の領域の中で、同色の横x画素、縦y画素(n≧x≧y)を加算し、前記隣接横n画素、縦n画素の領域を縦、横にm画素(mは3以上の奇数)ずつ動かしながら加算していき、このとき奇数行の隣接横n画素、縦n画素領域と偶数行の隣接横n画素、縦n画素領域との空間的位置関係は斜め配列画素上で斜め方向にm画素分ずれるようにする画素加算が可能な固体撮像素子と、
    前記画素配列の全画素の信号を独立に読み出す全画素読出しモードと、前記画素加算を行う画素加算読出しモードとを選択的に設定するモード設定手段と、
    前記モード設定手段によって設定された動作モードに応じて前記固体撮像素子を駆動する駆動手段と
    を備えた撮像装置。
  9. 前記駆動手段は、前記固体撮像素子に対して前記画素加算読出しモードでは、1水平ブランキング期間内に、隣り合わない奇数行と偶数行とを同時に複数回選択する駆動を行う
    請求項8記載の撮像装置。
  10. 前記駆動手段は、前記固体撮像素子に対して前記画素加算読出しモードでは、前記画素配列における奇数行の画素の各列ごとに配線された奇数行垂直信号線群を通して出力される画素の信号を列間で加算するとともに、偶数行の画素の各列ごとに配線された偶数行垂直信号線群を通して出力される画素の信号を列間で加算し、奇数行側の加算信号と偶数行側の加算信号とを奇数行における列番と偶数行における列番とが一致しないように選択する駆動を行う
    請求項9記載の撮像装置。
JP2005107034A 2004-12-27 2005-04-04 固体撮像素子の駆動方法、固体撮像素子および撮像装置 Expired - Fee Related JP4349310B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2005107034A JP4349310B2 (ja) 2004-12-27 2005-04-04 固体撮像素子の駆動方法、固体撮像素子および撮像装置
US11/302,703 US7570290B2 (en) 2004-12-27 2005-12-14 Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
TW094144381A TWI322621B (en) 2004-12-27 2005-12-15 Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
TW098117884A TWI324486B (en) 2004-12-27 2005-12-15 Solid-state imaging apparatus, and imaging apparatus
EP05028381.1A EP1675408B1 (en) 2004-12-27 2005-12-23 Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
KR1020050129622A KR101200134B1 (ko) 2004-12-27 2005-12-26 고체 촬상 소자의 구동 방법, 고체 촬상 소자 및 촬상 장치
CN2008101259925A CN101312537B (zh) 2004-12-27 2005-12-27 固态成像装置以及成像设备
US12/393,179 US8023018B2 (en) 2004-12-27 2009-02-26 Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004375405 2004-12-27
JP2005107034A JP4349310B2 (ja) 2004-12-27 2005-04-04 固体撮像素子の駆動方法、固体撮像素子および撮像装置

Publications (2)

Publication Number Publication Date
JP2006211630A JP2006211630A (ja) 2006-08-10
JP4349310B2 true JP4349310B2 (ja) 2009-10-21

Family

ID=36967926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005107034A Expired - Fee Related JP4349310B2 (ja) 2004-12-27 2005-04-04 固体撮像素子の駆動方法、固体撮像素子および撮像装置

Country Status (1)

Country Link
JP (1) JP4349310B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229620B2 (en) 2014-06-02 2019-03-12 Samsung Display Co., Ltd. Display panel and display apparatus having the same

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5018125B2 (ja) * 2007-02-21 2012-09-05 ソニー株式会社 固体撮像装置および撮像装置
WO2010116974A1 (ja) 2009-04-07 2010-10-14 ローム株式会社 光電変換装置および撮像装置
JP2010282992A (ja) 2009-06-02 2010-12-16 Sony Corp 固体撮像装置、および、その製造方法、電子機器
JP5124549B2 (ja) * 2009-09-15 2013-01-23 富士フイルム株式会社 固体撮像素子の動画像信号読出方法及び撮像装置
JP2012124729A (ja) 2010-12-09 2012-06-28 Sony Corp 撮像素子および撮像装置
JP5967955B2 (ja) * 2012-01-31 2016-08-10 キヤノン株式会社 光電変換装置および撮像システム
JP6031835B2 (ja) * 2012-06-06 2016-11-24 株式会社ニコン 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229620B2 (en) 2014-06-02 2019-03-12 Samsung Display Co., Ltd. Display panel and display apparatus having the same
US10510280B2 (en) 2014-06-02 2019-12-17 Samsung Display Co., Ltd. Display panel and display apparatus having the same

Also Published As

Publication number Publication date
JP2006211630A (ja) 2006-08-10

Similar Documents

Publication Publication Date Title
KR101200134B1 (ko) 고체 촬상 소자의 구동 방법, 고체 촬상 소자 및 촬상 장치
US9888201B2 (en) Image processing apparatus, image processing method and manufacturing apparatus
JP3724882B2 (ja) カラー固体撮像装置
JP4349310B2 (ja) 固体撮像素子の駆動方法、固体撮像素子および撮像装置
US8384804B2 (en) Imaging apparatus for processing noise signal and photoelectric conversion signal
JP4499348B2 (ja) 固体撮像装置及びその信号読み出し方法
US8754971B2 (en) Image sensing apparatus and image capturing system
CN100444620C (zh) 固态成像装置驱动方法、固态成像装置以及成像设备
JP4670386B2 (ja) 固体撮像素子、および撮像装置
JP2007129581A (ja) 撮像装置及び撮像システム
JP3727012B2 (ja) カラー固体撮像装置
US20050117043A1 (en) Solid-state image sensor, solid-state image sensing apparatus, camera, and method
JP3988886B2 (ja) カラー固体撮像装置
JP2007074630A (ja) 固体撮像素子
JP2011024149A (ja) 固体撮像装置
JP2006166074A (ja) カラー固体撮像装置
JP2006042037A (ja) 固体撮像素子の駆動方法
JPH06113212A (ja) 固体撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090713

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130731

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees