JP4941131B2 - 固体撮像素子及び電子カメラ - Google Patents

固体撮像素子及び電子カメラ Download PDF

Info

Publication number
JP4941131B2
JP4941131B2 JP2007173593A JP2007173593A JP4941131B2 JP 4941131 B2 JP4941131 B2 JP 4941131B2 JP 2007173593 A JP2007173593 A JP 2007173593A JP 2007173593 A JP2007173593 A JP 2007173593A JP 4941131 B2 JP4941131 B2 JP 4941131B2
Authority
JP
Japan
Prior art keywords
charge
pixels
pixel
solid
conversion unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007173593A
Other languages
English (en)
Other versions
JP2009016972A (ja
Inventor
航 船水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007173593A priority Critical patent/JP4941131B2/ja
Publication of JP2009016972A publication Critical patent/JP2009016972A/ja
Application granted granted Critical
Publication of JP4941131B2 publication Critical patent/JP4941131B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、固体撮像素子及びこれを用いた電子カメラに関するものである。
ビデオカメラや電子スチルカメラなどの電子カメラでは、CCD型固体撮像素子や増幅型固体撮像素子を有している。これらの固体撮像素子では、光電変換部を有する画素がマトリクス状に複数配置されており、各画素の光電変換部にて信号電荷を生成する。
増幅型固体撮像素子では、画素の光電変換部にて生成・蓄積された信号電荷を画素に設けられた増幅部に導き、増幅部で増幅した信号を画素から出力する。増幅型固体撮像素子は、一般的に、各画素は、入射光に応じた信号電荷を生成し蓄積する光電変換部、前記信号電荷を受け取って前記信号電荷を電圧に変換するフローティングディフュージョンなどの電荷電圧変換部、該電荷電圧変換部の電位に応じた信号を出力する増幅部、前記光電変換部から前記電荷電圧変換部に電荷を転送する電荷転送部、及び、前記電荷電圧変換部の電位を所定のリセット電位にリセットするリセット部を、有している。信号読み出し動作は、画素領域の周辺に配置された垂直走査回路や水平走査回路などの周辺回路により各画素が駆動されることによって行われる。
このような増幅型固体撮像素子を採用した電子カメラでは、自動露光(AE:Auto Exposure)が行われるようになってきている。自動露光技術には、昼間の様な明るい環境下において固体撮像素子の出力からシャッター時間と絞りを決定する場合と、夜間の様な暗い環境下においてストロボ本発光前にプリ発光を行い、その時の固体撮像素子の出力から本発光時の発光量、露出時間、シャッタースピードを決定する自動調光とがある。
下記特許文献1には、自動露光のための測光センサを固体撮像素子と別に設けることなく、固体撮像素子自体から、ストロボのプリ発光中に自動露光のための測光情報を得る点が開示されている。具体的には、特許文献1には、第1及び第2の撮像制御装置が開示されている。これらの第1及び第2の撮像制御装置はいずれも、被写体を照明する少なくとも1つのストロボと、2次元行列状に配置された複数の画素を有する固体撮像素子とを備える固体撮像装置内に実装され、前記ストロボと前記固体撮像素子の制御を行う撮像制御装置を前提としている。前記第1及び第2の撮像制御装置は、さらに、前記ストロボの制御を行うストロボ発光制御回路と、前記固体撮像素子の電荷蓄積・電荷読み出しの制御を行うセンサー駆動回路とを備える。そして、前記ストロボ発光制御回路は、前記ストロボの本発光前にプリ発光を行うように前記ストロボを制御する。
そして、前記第1の撮像制御装置では、前記センサー駆動回路は、前記ストロボのプリ発光中に前記複数の画素に蓄積された電荷を、所定個数の画素毎に混合して読み出すように前記固体撮像素子を制御する。この第1の撮像制御装置によれば、画素混合機能を用いることにより、ストロボ発光前のプリ発光時に正確な光量を検出することができる。
一方、前記第2の撮像制御装置では、前記センサー駆動回路は、前記ストロボのプリ発光中に前記複数の画素に蓄積された電荷を、所定行数毎に間引いて読み出すように前記固体撮像素子を制御する。前記第2の撮像制御装置によれば、ライン間引き機能を用いることにより、ストロボ発光前のプリ発光時に正確な光量を検出することができる。
特開2005−347928号公報
前記第2の撮像制御装置では、複数の画素に蓄積された電荷を所定行数毎に間引いて読み出すので、間引かれて読み出されない行の情報が全く失われてしまい、固体撮像素子の有効画素領域において不感帯が発生してしまう。これに対し、前記第1の撮像制御装置では、複数の画素に蓄積された電荷を所定個数の画素毎に混合して読み出すので、このような情報の欠落が回避されるため、好ましい。
しかしながら、前記特許文献1には、画素混合機能に関して、固体撮像素子電荷蓄積・電荷読み出しの制御を行うセンサー駆動回路が、複数の画素に蓄積された電荷を所定個数の画素毎に混合して読み出すように前記固体撮像素子を制御すると、単に記載されているのみであり、前記特許文献1には、固体撮像素子の具体的な構成やセンサー駆動回路の具体的な構成を全く開示しないとともにそれらを示唆する記載も一切ない。前記特許文献1の記載は、固体撮像素子の読み出し制御自体を通常読み出しと異なる方法で行うことで、前記画素混合機能を実現することを示唆しているに留まる。
そこで、通常の当業者であれば、前記特許文献1の前記記載から固体撮像素子の読み出し制御に着目し、固体撮像素子を駆動するセンサー駆動回路や固体撮像素子における周辺回路を工夫することで、信号読み出し制御方法を工夫して、前記画素混合機能を実現しようとする。
しかし、この場合には、混合すべき画素のグループの設計時の設定や変更が、困難になったり複雑になったりしてしまう。
なお、前記特許文献1は、画素混合機能をストロボのプリ発光に関する自動調光に用いる点のみを開示するが、本発明者の研究の結果、画素混合機能は、自動調光以外にも、自動露光を行ったり、当該電子カメラに搭載された液晶パネル等の表示部にモニタ画像等の動画又は静止画の画像を表示したり、動画像を記録したりするためにも、有用であることが判明した。例えば、固体撮像素子の画素数に比べて表示画素数の少ない表示部にモニタ画像等の画像表示を行う場合、画素混合によらない単純な間引きを行うとすれば、間引かれた箇所の情報が欠落した画像しか表示し得ない。また、固体撮像素子の画素数に比べて画素数の少ない所定の規格の動画像として記録部に記録する場合、画素混合によらない単純な間引きを行うとすれば、間引かれた箇所の情報が欠落した画像しか記録し得ない。このような画像表示や動画記録に画素混合機能を用いれば、そのような情報の欠落を回避することができるので、好ましい。
本発明は、このような事情に鑑みてなされたもので、画素混合機能を実現することができ、しかも、混合すべき画素のグループの設計時の設定や変更を容易に行うことができる固体撮像素子、及び、これを用いた電子カメラを提供することを目的とする。
前記課題を解決するため、本発明の第1の態様による固体撮像素子は、入射光に応じた信号電荷を生成し蓄積する光電変換部、前記信号電荷を受け取って前記信号電荷を電圧に変換する電荷電圧変換部、該電荷電圧変換部の電位に応じた信号を出力する増幅部、前記光電変換部から前記電荷電圧変換部に電荷を転送する電荷転送部、及び、前記電荷電圧変換部の電位を電源部から供給される所定のリセット電位にリセットするリセットスイッチを有する画素を、複数備えた固体撮像素子であって、前記複数の画素のうちの2つ以上の画素の前記信号電荷の混合時に、前記2つ以上の画素の前記リセットスイッチにおける前記電荷電圧変換部とは反対側の第1の端部を、互いに電気的に接続された状態であって前記電源部から電気的に切り離なされた状態にし得るように、構成されたものである。
本発明の第2の態様による固体撮像素子は、前記第1の態様において、前記複数の画素が複数のグループに分けられてそのグループ毎に異なる色のカラーフィルタが設けられ、前記2つの以上の画素は、同じ色のカラーフィルタが設けられた画素であるものである。
本発明の第3の態様による固体撮像素子は、入射光に応じた信号電荷を生成し蓄積する光電変換部、前記信号電荷を受け取って前記信号電荷を電圧に変換する電荷電圧変換部、該電荷電圧変換部の電位に応じた信号を出力する増幅部、前記光電変換部から前記電荷電圧変換部に電荷を転送する電荷転送部、及び、前記電荷電圧変換部の電位を電源部から供給される所定のリセット電位にリセットするリセットスイッチを有する画素を、複数備えた固体撮像素子であって、(i)前記複数の画素のうちの2つ以上の画素の前記リセットスイッチにおける前記電荷電圧変換部とは反対側の第1の端部と、前記電源部との間に、第1のスイッチがそれぞれ設けられ、(ii)前記2つ以上の画素の前記リセットスイッチの前記第1の端部が、互いに、第2のスイッチを介することなくあるいは第2のスイッチを介して電気的に接続されたものである。
本発明の第4の態様による固体撮像素子は、入射光に応じた信号電荷を生成し蓄積する光電変換部、前記信号電荷を受け取って前記信号電荷を電圧に変換する電荷電圧変換部、該電荷電圧変換部の電位に応じた信号を出力する増幅部、前記光電変換部から前記電荷電圧変換部に電荷を転送する電荷転送部、及び、前記電荷電圧変換部の電位を電源部から供給される所定のリセット電位にリセットするリセットスイッチを有する画素を、複数備えた固体撮像素子であって、(i)前記複数の画素のうちの2つ以上の画素のうちの1つ以上の画素の前記リセットスイッチにおける前記電荷電圧変換部とは反対側の第1の端部と、前記電源部との間に、第1のスイッチが設けられ、(ii)前記2つ以上の画素のうちの残りの画素の前記リセットスイッチの前記第1の端部は、前記電源部に電気的に接続されておらず、(iii)前記2つ以上の画素の前記リセットスイッチの前記第1の端部が、互いに、第2のスイッチを介することなくあるいは第2のスイッチを介して電気的に接続されたものである。
本発明の第5の態様による固体撮像素子は、入射光に応じた信号電荷を生成し蓄積する光電変換部、前記信号電荷を受け取って前記信号電荷を電圧に変換する電荷電圧変換部、該電荷電圧変換部の電位に応じた信号を出力する増幅部、前記光電変換部から前記電荷電圧変換部に電荷を転送する電荷転送部、及び、前記電荷電圧変換部の電位を電源部から供給される所定のリセット電位にリセットするリセットスイッチを有する画素を、複数備えた固体撮像素子であって、(i)前記複数の画素のうちの2つ以上の画素の前記リセットスイッチにおける前記電荷電圧変換部とは反対側の第1の端部と、前記電源部との間に、第1のスイッチがそれぞれ設けられ、(ii)前記2つ以上の画素の前記リセットスイッチの前記第1の端部にそれぞれ、1つ以上の第2のスイッチの第1の端部が電気的に接続され、(iii)前記各第2のスイッチの第2の端部は、当該第2のスイッチが電気的に接続された前記リセットスイッチとは異なる前記リセットスイッチに電気的に接続された前記第2のスイッチの第2の端部に、電気的に接続されたものである。
本発明の第6の態様による固体撮像素子は、入射光に応じた信号電荷を生成し蓄積する光電変換部、前記信号電荷を受け取って前記信号電荷を電圧に変換する電荷電圧変換部、該電荷電圧変換部の電位に応じた信号を出力する増幅部、前記光電変換部から前記電荷電圧変換部に電荷を転送する電荷転送部、及び、前記電荷電圧変換部の電位を電源部から供給される所定のリセット電位にリセットするリセットスイッチを有する画素を、複数備えた固体撮像素子であって、(i)前記複数の画素のうちの2つ以上の画素のうちの1つ以上の画素の前記リセットスイッチにおける前記電荷電圧変換部とは反対側の第1の端部と、前記電源部との間に、第1のスイッチが設けられ、(ii)前記2つ以上の画素のうちの残りの画素の前記リセットスイッチの前記第1の端部は、前記電源部に電気的に接続されておらず、(iii)前記2つ以上の画素の前記リセットスイッチの前記第1の端部にそれぞれ、1つ以上の第2のスイッチの第1の端部が電気的に接続され、(iv)前記各第2のスイッチの第2の端部は、当該第2のスイッチが電気的に接続された前記リセットスイッチとは異なる前記リセットスイッチに電気的に接続された前記第2のスイッチの第2の端部に、電気的に接続されたものである。
本発明の第7の態様による固体撮像素子は、前記第5又は第6の態様において、前記2つ以上の画素のうちの少なくとも1つの画素と当該画素の前記リセットスイッチに前記第2のスイッチを介して電気的に接続されたリセットスイッチを有する画素とからなる第1のグループ、及び、前記2つ以上の画素のうちの他の少なくとも1つの画素と当該画素の前記リセットスイッチに前記第2のスイッチを介して電気的に接続されたリセットスイッチを有する画素とからなる第2のグループに関して、前記第1のグループに属する少なくとも1つの画素は前記第2のグループには属しないものである。
本発明の第8の態様による固体撮像素子は、前記第3乃至第7のいずれかの態様において、前記複数の画素が複数のグループに分けられてそのグループ毎に異なる色のカラーフィルタが設けられ、前記複数の画素のうち、前記リセットスイッチの前記第1の端部が互いに前記第2のスイッチを介することなく又は前記第2のスイッチを介して電気的に接続された画素は、同じ色のカラーフィルタが設けられた画素であるものである。
本発明の第9の態様による電子カメラは、前記第1乃至第8のいずれかの態様による固体撮像素子と、前記複数の画素のうちの2つ以上の画素でそれぞれ発生した電荷が混合されて当該混合された電荷に応じた信号が読み出されるように、前記固体撮像素子を制御する制御手段と、を備えたものである。
本発明の第10の態様による電子カメラは、前記第9の態様において、前記混合された電荷に応じた前記信号に基づいて、自動露光制御を行うものである。
本発明の第11の態様による電子カメラは、前記第9の態様において、前記混合された電荷に応じた前記信号を、動画情報として記録部に記録するものである。
本発明の第12の態様による電子カメラは、前記第9の態様において、前記混合された電荷に応じた前記信号を、表示部に動画又は静止画として表示するための表示データとして用いるものである。
本発明の第13の態様による電子カメラは、前記第1乃至第8のいずれかの態様による固体撮像素子と、ストロボの本発光前のプリ発光中に前記複数の画素のうちの2つ以上の画素でそれぞれ発生した電荷が混合されて当該混合された電荷に応じた信号が読み出されるように、前記固体撮像素子を制御する制御手段と、を備え、前記混合された電荷に応じた前記信号に基づいて、前記ストロボの本発光時の自動露光制御を行うものである。
本発明によれば、画素混合機能を実現することができ、しかも、混合すべき画素のグループの設計時の設定や変更を容易に行うことができる固体撮像素子、及び、これを用いた電子カメラを提供することができる。
以下、本発明による固体撮像素子及びこれを用いた電子カメラについて、図面を参照して説明する。
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る電子カメラ1を示す概略ブロック図である。電子カメラ1には、撮影レンズ2が装着される。この撮影レンズ2は、レンズ制御部2aによってフォーカスや絞りが駆動される。この撮影レンズ2の像空間には、固体撮像素子3の撮像面が配置される。
固体撮像素子3は、撮像制御部4の指令によって駆動され、信号を出力する。固体撮像素子3から出力される信号は、画像用の信号、自動露光用の信号(測光信号)のいずれかである。いずれにおいても信号は、信号処理部5、及びA/D変換部6を介して処理された後、メモリ7に一旦蓄積される。メモリ7は、バス8に接続される。バス8には、レンズ制御部2a、撮像制御部4、マイクロプロセッサ9、焦点演算部10、露光演算部14、記録部11、画像圧縮部12、画像処理部13、表示制御部15、ストロボ発光制御部17なども接続される。表示制御部15は、モニタ画像等を液晶表示部(LCD)16に表示させる。ストロボ発光制御部17は、内蔵又は外付けのストロボ18の発光を制御する。上記マイクロプロセッサ9には、レリーズ釦などの操作部9aが接続される。また、上記の記録部11には記録媒体11aが着脱自在に装着される。本実施の形態では、固体撮像素子3とは別に焦点検出センサ(図示せず)が設けられているが、知られているように、固体撮像素子3を、焦点検出用信号も得られるように構成してもよい。この電子カメラ1の動作については、後に、図8を参照して説明する。
図2は、図1中の固体撮像素子3の概略構成を示す回路図である。固体撮像素子3は、マトリクス状に配置された複数の画素20と、画素20から信号を出力するための周辺回路とを有している。図において、横に4行縦に4行の16個の画素20のみを示しているが、画素数はこれに限られるものではない。これらの画素20は、周辺回路の駆動信号に従って画像用の信号、自動露光用の信号のいずれかを出力する。
周辺回路は、垂直走査回路21、水平走査回路22、これらと接続されている駆動信号線24,32〜35、画素からの信号を受け取る垂直信号線25、垂直信号線25と接続される定電流源26及び相関二重サンプリング回路(CDS)27、相関二重サンプリング回路27から出力される信号を受け取る水平信号線28、出力アンプ29等からなる。なお、図2においては、後述する画素混合用連結配線36の図示は省略している。
垂直走査回路21及び水平走査回路22は、電子カメラ1の撮像制御部4からの指令に基づいて駆動信号を出力する。各画素20は、垂直走査回路21から出力される後述の駆動信号φDIV、φRES、φTX、φSELを駆動信号線32〜35から受け取って駆動され、画像用信号又は自動露光用信号を垂直信号線25に出力する。
画素20から出力された信号は、相関二重サンプリング回路27にて所定のノイズ除去が施される。そして、水平走査回路22の駆動信号により水平信号線28及び出力アンプ29を介して外部に信号が出力される。
図3は、図1中の固体撮像素子3(特にその有効画素領域領域31)を模式的に示す概略平面図である。本実施の形態では、図3に示すように、固体撮像素子3の有効画素領域31は、マトリクス状に配置された画素ブロック40に分けられている。各画素ブロック40は、図4及び図5に示すように、垂直方向(列方向)に1列に並んだ複数個(A個)の画素20からなる。
図4は、画素ブロック40を示す回路図である。図4では、それぞれn行目から(n+A−1)行目までに並んだA個の画素20からなる2つの画素ブロック40と、これに隣接する2つの画素ブロック40の(n+A)行目の画素20を、示している。図4では、図面表記の便宜上、各駆動配線32〜35の接続状態を明示していないが、各画素行毎に共通に接続され、同じ行の駆動配線32〜35にはそれぞれ同じ駆動信号φDIV、φRES、φTX、φSELが供給されるようになっている。
本実施の形態では、いずれの画素20も同一の回路構成を有している。各画素20は、図4に示すように、一般的なCMOS型固体撮像素子と同様に、入射光に応じた信号電荷を生成し蓄積する光電変換部としてのフォトダイオード51と、前記信号電荷を受け取って前記信号電荷を電圧に変換するフローティングディフュージョン(FD)54と、フォトダイオード51からFD54へ電荷を転送する転送トランジスタ55と、FD54の電位に応じた信号を出力する増幅部としての画素アンプ58と、FD54の電位を電源部Vddから供給される所定のリセット電位にリセットするリセットスイッチ(本実施の形態では、リセットトランジスタ)59と、画素アンプ58の信号を当該画素から出力する選択スイッチとしての選択トランジスタ60とを有している。リセットスイッチ59の第2の端部bは、画素アンプ58のゲート、FD54及び転送トランジスタ55の一方端部に接続されている。
一般的なCMOS型固体撮像素子では、リセットスイッチ59におけるFD54とは反対側の第1の端部aは、直接的に電源Vddに接続される。これに対し、本実施の形態では、各画素20は、リセットスイッチ59の第1の端部aと電源部Vddとの間に設けられた第1のスイッチ(本実施の形態では、トランジスタ)61を、有している。また、本実施の形態では、一般的なCMOS型固体撮像素子とは異なり、各画素ブロック40毎に、当該画素ブロック40内のA個の画素20の第1の端部aが、互いに、画素混合用連結配線36によって直接的に電気的に接続されている。図5は、図4に示す回路図を、画素混合用連結配線36による接続関係に着目して抽象化して示したものである。
なお、本実施の形態では、各画素20のトランジスタ55,58〜61は、全てnMOSトランジスタである。
各画素20の転送トランジスタ55のゲートは、画素行ごとに共通に接続されて、垂直走査回路21から駆動配線34を介して駆動信号φTXが供給される。各画素20の選択トランジスタ60のゲートは、画素行毎に共通に接続されて、垂直走査回路21から駆動配線35を介して駆動信号φSELが供給される。各画素のリセットスイッチ59のゲートは、画素行毎に共通に接続されて、垂直走査回路21から駆動配線33を介して駆動信号φRESが供給される。各画素20の第1のスイッチ61のゲートは、画素行ごとに共通に接続されて、垂直走査回路21から駆動配線32を介して駆動信号φDIVが供給される。
フォトダイオード51は、入射光の光量(被写体光)に応じて信号電荷を生成する。転送トランジスタ55は、転送パルス(駆動信号)φTXのハイレベル期間にオンし、フォトダイオード51に蓄積された信号電荷をFD54に転送する。リセットスイッチ59は、リセットパルス(制御信号)φRESのハイレベル期間にオンし、駆動信号φDIVがハイレベルにされて第1のスイッチ61がオンしていれば、FD54の電位を、電源部Vddから供給されるリセット電位にリセットする。
一般的なCMOS型固体撮像素子と同様に全画素20からそれぞれの画素20で生成された信号電荷を互いに混合することなく読み出す非混合・全画素読み出しモードでは、各画素20のフォトダイオード51から転送トランジスタ55によりFD54に転送されて来た信号電荷は、当該信号電荷の読み出しが完了するまでリセットスイッチ59がオフに維持されることで、他の画素20の信号電荷と混合されることはない。
一方、同じ画素ブロック40内の画素20で生成された信号電荷を互いに混合して間引き走査により読み出す混合・間引き走査読み出しモードでは、各画素20のフォトダイオード51から転送トランジスタ55によりFD54に転送されて来た信号電荷は、少なくとも当該信号電荷の読み出し前にリセットスイッチ59がオンにされる(このとき、信号電荷がリセットされてしまわないように、第1のスイッチ32をオフにしておく。)ことで、同じ画素ブロック40内のA個の画素20のFD54が共通に接続されて、同じ画素ブロック40内のFD54内の信号電荷が互いに混合されて平均化される。この混合・間引き走査読み出しモードでは、このような画素混合の後に、信号電荷の読み出しが間引き走査により行われる。
各画素20の画素アンプ58は、そのドレインが電源部Vddに接続され、そのゲートがFD54に接続され、そのソースが選択トランジスタ60のドレインに接続され、定電流源26を負荷とするフォースフォロア回路を構成している。画素アンプ58は、FD54の電圧値に応じて、選択トランジスタ60を介して垂直信号線25に読み出し電流を出力する。選択トランジスタ60は、選択パルス(駆動信号)φSELのハイレベル期間にオンし、画素アンプ58のソースを垂直信号線25に接続する。
本実施の形態では、各画素20にはカラーフィルタは設けられておらず、固体撮像素子3は白黒用の撮像素子として構成されている。
図6は、図1中の固体撮像素子3の混合・間引き走査読み出しモード時の動作を示すタイミングチャートである。
本実施の形態では、混合・間引き走査読み出しモード時には、メカニカルシャッタ(図示せず)が所定の露光期間だけ開かれて各画素20のフォトダイオード51に電荷が蓄積された後、各画素ブロック40の行が画素ブロック毎に一括して順次選択され、各画素ブロック40の行について順次同じ動作が行われていく。図6は、主として、n行目から(n+A−1)行目までの画素ブロック40が選択され、引き続いて次の(n+A)行目から(n+2A−1)行目までの画素ブロック40が選択された場合の動作を示している。図6では一部の行の駆動信号φDIV、φRES、φTX、φSELしか示していないが、本例では、同じ画素ブロック40内の各行の画素の駆動信号φDIV、φRES、φTX、φSELは同一とされる。
期間T1は、(n−A)行目から(n−1)行目までの画素ブロック40の水平走査期間と、n行目から(n+A−1)行目までの画素ブロック40の各画素40のリセット期間とを兼ねており、後述する期間T3に対応している。期間T1において、n行目から(n+A−1)行目までのリセットパルスφRES及びパルスφDIVがハイレベルとされ、また、それらの行の他の制御信号φSEL及びφTXをローレベルとすることで、画素アンプ58のゲート電圧(FD54の電位)をリセット電位にリセットする。
次に、期間T2において、垂直走査回路21によりn行目から(n+A−1)行目までの画素ブロック40が選択され、それらの行の選択パルスφSELがハイレベルに変化するとともにφDIVがローレベルに変化する。これにより、n行目から(n+A−1)行目までの選択トランジスタ60がオンするとともに、それらの行の第1のスイッチ61がオフする。混合・間引き走査読み出しモードでは、期間T2においても、他の期間と同様に、n行目から(n+A−1)行目までのリセットパルスφRESはハイレベルのままとされ、リセットスイッチ59はオン状態に維持される。期間T2において、n行目から(n+A−1)行目までの選択トランジスタ60のオンにより、n行目から(n+A−1)行目までの画素アンプ58のソースは垂直出力線25に接続される。そして、n行目から(n+A−1)行目までの画素アンプ58は、定電流源26によってソースフォロア回路として動作する。
期間T2の開始時点から期間T11の開始時点までの間に、n行目から(n+A−1)行目までの画素ブロック40のダークレベル(FD54のリセット状態に対応してn行目から(n+A−1)行目までの画素アンプ58から出力される信号)が、画素アンプ58から垂直信号線25を介してCDS回路27にクランプ(保存)される。このとき、n行目から(n+A−1)行目までの各画素ブロック40内の画素アンプ58のゲートは、画素ブロック40毎にリセットスイッチ59を介して互いに電気的に接続されているので、各画素ブロック40毎に全く同一の電位になっている。なお、本例では、期間T2において、n行目から(n+A−1)行目までの選択トランジスタ60の全てにハイレベルのφSELが入力されてオンにされているが、そのうちのどれか1つの行の選択トランジスタ60にハイレベルのφSELが入力されていれば良いことは、言うまでもない。
なお、本例では、画素信号の混合に際して、相関2重サンプリングを行うために前記ダークレベルを取得しているが、相関2重サンプリングを行わない場合には、ダークレベルを取得する必要はない。
期間T11において、n行目から(n+A−1)行目までのφRES及びφSELがハイレベルでかつそれらの行のφDIVがローレベルである状態のまま、n行目から(n+A−1)行目までのφTXがハイレベルにされてそれらの行の転送トランジスタ55がオンにされる。これにより、n行目から(n+A−1)行目までの各画素20のフォトダイオード51に蓄積されていた信号電荷が、転送トランジスタ55を介して、当該画素20のFD54(画素アンプ58のゲート)に転送される。このとき、n行目から(n+A−1)行目までの各画素ブロック40内のFD54は、画素ブロック40毎にリセットスイッチ59を介して互いに電気的に接続されているため、当該画素ブロック40内の画素20のフォトダイオード51に蓄積されていた信号電荷は、FD54上で互いに混合されて平均化される。
そして、期間T11の終了時に、n行目から(n+A−1)行目までのφTXがローにされてそれらの行の転送トランジスタ55がオフにされる。
期間T11の終了時点から期間T2の終了時点(期間T3の開始時点)までの間に、n行目から(n+A−1)行目までの各画素ブロック40毎に前述したように混合された平均化された信号電荷による電位変動が、n行目から(n+A−1)行目までの各画素アンプ58から垂直信号線25を介してCDS回路27にクランプされる。すなわち、n行目から(n+A−1)行目までの各画素ブロック毎に混合されて平均化された信号電荷の信号読み出しが行われる。そして、CDS回路27によって、この混合されて平均化された信号電荷に関するこの信号と、先のダークレベルとの差分信号を取得することで、相関2重サンプリングを行い、所定の画素信号の混合データを取得する。
その後、期間T2の終了時点(期間T3の開始時点)において、n行目から(n+A−1)行目までのφDIVがハイレベルにされてそれらの行の第1のスイッチ61がオンにされ、それらの行のFD54のリセットが開始されるとともに、n行目から(n+A−1)行目までのφSELがローレベルとされてそれらの行の選択トランジスタ60がオフにされ、それらの行の画素ブロック40の選択が終了される。
期間T3は、n行目から(n+A−1)行目までの画素ブロック40に関する水平走査期間となっている。期間T3は、次の(n+A)行目から(n+2A−1)行目までの画素ブロック40の各画素40のリセット期間を兼ねている。次の画素ブロック40以降も、n行目から(n+A−1)行目までの画素ブロック40の場合と同様な動作が繰り返される。このようにして、すべての画素ブロック40からの信号が読み出されると、混合・間引き走査読み出しモードを終了する。
このように、混合・間引き走査読み出しモードでは、単純に間引き走査のみが行われるのではなく、画素ブロック40毎に画素混合が行われた後に間引き走査が行われる。したがって、固体撮像素子3の有効画素領域31において不感帯を発生させることなく(すなわち、情報を欠落させることなく)、垂直方向の走査時間を最大1/Aに短縮することが可能となる。
図7は、図1中の固体撮像素子3の非混合・全画素読み出しモード時の動作を示すタイミングチャートである。
本実施の形態では、非混合・全画素読み出しモード時には、メカニカルシャッタ(図示せず)が所定の露光期間だけ開かれて各画素20のフォトダイオード51に電荷が蓄積された後、各画素行が順次選択され、各画素行について順次同じ動作が行われていく。図7は、主として、n行目の画素20が選択され、引き続いて(n+1)行目の画素20が選択された場合の動作を示している。本例では、非混合・全画素読み出しモードでは、常に、全行のφDIVがハイレベルにされて全行の第1のスイッチ61がオンにされた状態で、一般的なCMOS型固体撮像素子と同様の動作を行う。
期間T21は、(n−1)行目の画素20の水平走査期間と、n行目の画素20のリセット期間とを兼ねており、後述する期間T23に対応している。期間T21において、n行目のφRESがハイレベルとされ、また、n行目のφSEL及びφTXをローレベルとすることで、画素アンプ58のゲート電圧(FD54の電位)をリセット電位にリセットする。
次に、期間T22において、垂直走査回路21によりn行目の画素20が選択され、n行目のRESがローレベルに変化し、n行目のリセットスイッチ59がオフする。また、期間T22において、n行目のφSELがハイレベルに変化し、n行目の選択トランジスタ60がオンする。n行目の選択トランジスタ60のオンにより、n行目の画素アンプ58のソースは垂直出力線25に接続される。そして、n行目の画素アンプ58は、定電流源26によってソースフォロア回路として動作する。このとき、n行目のリセットスイッチ59がオフしているので、n行目の各画素アンプ58のゲート(FD54)は、他の画素アンプ58のゲート(FD54)から電気的に分離されている。
期間T22の開始時点から期間T31の開始時点までの間に、n行目の画素20のダークレベル(FD54のリセット状態に対応してn行目の画素アンプ58から出力される信号)が、画素アンプ58から垂直信号線25を介してCDS回路27にクランプ(保存)される。このとき、n行目の画素20の画素アンプ58のゲートは他の画素アンプ58のゲートから電気的に分離されているので、n行目の画素20の画素アンプ58のゲートはそれぞれ独立した個別の電位となっている。
期間T31において、n行目までのφRESがローレベルでφSELがハイレベルである状態のまま、n行目のφTXがハイレベルにされてそれらの行の転送トランジスタ55がオンにされる。これにより、n行目の各画素20のフォトダイオードに蓄積されていた信号電荷が、転送トランジスタ55を介して、当該画素20のFD54(画素アンプ58のゲート)に転送される。このとき、n行目の画素20の画素アンプ58のゲートは他の画素アンプ58のゲートから電気的に分離されているため、当該画素20のフォトダイオード51に蓄積されていた信号電荷が、そのまま当該画素20のFD54に転送されるのみで、他の画素20の信号電荷と混合されるようなことはない。
そして、期間T31の終了時に、n行目のφTXがローにされてn行目の転送トランジスタ55がオフにされる。期間T31の終了時点から期間T22の終了時点(期間T23の開始時点)までの間に、n行目の各画素20のFD54に転送されて来た信号電荷(画素20毎に独立した信号電荷)による電位変動が、n行目の各画素20から垂直信号線25を介してCDS回路27にクランプされる。すなわち、n行目の各画素20の独立した信号電荷の信号読み出しが行われる。そして、CDS回路27によって、この信号電荷に関するこの信号と、先のダークレベルとの差分信号を取得することで、相関2重サンプリングを行い、n行目画素20の画素信号を取得する。
その後、期間T22の終了時点(期間T23の開始時点)において、n行目のφRESがハイにされてn行目のリセットスイッチ59がオンにされ、n行目のFD54のリセットが開始されるとともに、n行目のφSELがローにされてn行目の選択トランジスタ50がオフにされ、n行目の画素行選択が終了される。
期間T23は、n行の画素20に関する水平走査期間となっている。期間T23は、次の(n+1)行目の画素20のリセット期間を兼ねている。次の(n+1)行目以降もn行目と同様な動作が繰り返される。このようにして、すべての画素行からの信号が読み出されると、非混合・全画素読み出しモードを終了する。
非混合・全画素読み出しモードでは、前述したように、画素アンプ58のゲート電圧(FD54の電位)をリセットした後に、リセットスイッチ59をオフにして、画素混合用連結配線36や第1のスイッチ61を画素アンプ58のゲート側(FD54側)から電気的に切り離した後に、フォトダイオード51で発生した信号電荷の増幅動作を行う。したがって、本実施の形態によれば、一般的なCMOS型固体撮像素子に対して本実施の形態で付加した画素混合用連結配線36や第1のスイッチ61によって、画素20の増幅ゲインの低下やノイズ増加などの悪影響を発生させることはない。
図8は、本実施の形態による電子カメラ1の動作の一例を示す概略フローチャートである。
撮影者は、操作部9aを介して当該電子カメラ1の動作モードを決定する。本実施の形態による電子カメラ1の動作モードには、大別すると静止画撮影モードと動画撮影モードとがある。マイクロプロセッサ9は、いずれの撮影モードが選択されたかを判定し(ステップS1)、静止画撮影モードが選択されるとステップS2へ移行し、動画撮影モードが選択されるとステップS21へ移行する。
まず、静止画撮影モードが選択された場合のステップS2以降の動作について、説明する。ステップS2において、マイクロプロセッサ9は、前述した混合・間引き走査読み出しモードを実現するように、撮像制御部4を介して、固体撮像素子3に指令を与える。これにより、前述した混合・間引き走査読み出しモードが実現され、固体撮像素子3からそのモードにより読み出された画像信号が出力され、その信号は信号処理部5及びA/D変換器6を経て画像データとしてメモリ7に一旦格納される(ステップS3)。前述した混合・間引き走査読み出しモードでは、前述したように間引き走査が行われるので、高速で画像データを取得できる。
その後、露光演算部14は、ステップS3で得られた画像データ(すなわち、自動露光用測光データ)を元に最適な露光量を演算する。レンズ制御部2aは、この露光量に応じた絞りとなるように撮影レンズ2の絞りを調整する。また、撮像制御部4は、露光演算部14で得られた露光量に応じたシャッタ時間を設定する。これらにより、自動露光制御(AE)を実現する(ステップS4)。
また、焦点演算部は、固体撮像素子3とは別に設けられた焦点検出センサ(図示せず)からの信号に基づいて、デフォーカス量を演算する(ステップS5)。レンズ制御部2aは、このデフォーカス量に応じて撮影レンズ2の焦点駆動を行い、撮影レンズ2を被写体に合焦させる。これらにより、自動焦点制御(AF)を実現する(ステップS5)。
次に、表示制御部15は、ステップS3で得られた画像データをモニタ画像として、液晶表示部(LCD)16に表示させる(ステップS6)。
その後、撮影者は、LCD16に表示されている画像を確認しながら、所望のタイミングで操作部9aのレリーズ釦を押す。マイクロプロセッサ9は、レリーズ釦が押されたか否かをモニタリングしており(ステップS7)、レリーズ釦が押されていない場合、ステップS3〜S6の動作を一定時間間隔で繰り返し行われるようにする。
レリーズ釦が押されると(ステップS7でYESの場合)、再び、ステップS3と同じく、混合・間引き走査読み出しモードにより画像データを得てメモリ7に一旦格納する(ステップS8)。この画像データに基づいて、ステップS4と同様のAE動作(ステップS9)を行う。さらに、ステップS5と同様のAF動作(ステップS10)を行う。
次いで、マイクロプロセッサ9は、本撮影として、前述した非混合・全画素読み出しモードを実現するように、撮像制御部4を介して、固体撮像素子3に指令を与える(ステップS11)。これにより、前述した非混合・全画素読み出しモードが実現され、固体撮像素子3からそのモードにより読み出された画像信号が出力され、その信号は信号処理部5及びA/D変換器6を経て画像データとしてメモリ7に一旦格納される(ステップS12)。
その後、マイクロプロセッサ9は、操作部9aの指令に基づき、必要に応じて画像処理部13や画像圧縮部12にて所望の処理を行い、記録部11に処理後の信号を出力させ記録媒体11aに記録する(ステップS13)。これにより、一連の動作を終了する。
次に、動画撮影モードが選択された場合のステップS21以降の動作について、説明する。ステップS21〜S25の動作は、ステップS2〜S6の動作と同一である。
その後、撮影者は、LCD16に表示されている画像を確認しながら、動画撮影を開始させるべく、所望のタイミングで操作部9aのレリーズ釦を押す。マイクロプロセッサ9は、レリーズ釦が押されたか否かをモニタリングしており(ステップS26)、レリーズ釦が押されていない場合、ステップS21〜S25の動作を一定時間間隔で繰り返し行われるようにする。
レリーズ釦が押されると(ステップS26でYESの場合)、再び、ステップS3,S22と同じく、混合・間引き走査読み出しモードにより画像データを得てメモリ7に一旦格納する(ステップS27)。その後、混合・間引き走査読み出しモードにより最新に得られた画像データに基づいて、ステップS4,S23と同様のAE動作(ステップS28)を行う。さらに、ステップS5,S24と同様のAF動作(ステップS29)を行う。
引き続いて、再び、ステップS3,S22,S27と同じく、混合・間引き走査読み出しモードにより画像データを得てメモリ7に一旦格納する(ステップS30)し、記録部11はこの画像を動画像として記録媒体11aに記録していく(ステップS31)。その後、マイクロプロセッサ9は、操作部9aから動画撮影終了の指令が得られたか否かを判定し(ステップS32)、その指令がなければステップS28へ戻る一方、その指令があれば一連の動作を終了する。
以上説明した動作例では、ステップS4,S9,S23,S28のAE動作において、混合・間引き走査読み出しモードによる固体撮像素子3からの画像(測光データ)が用いられ、固体撮像素子3がAEセンサの機能を果たすので、個別のAEセンサや、これらセンサの為の光学部品を取り付ける必要がないため、電子カメラ1を小型化することができる。本実施の形態で用いられている固体撮像素子3は、前述したように、不感帯を発生させること無く間引き走査による高速な読み出しを行うことができるため、固体撮像素子を用いたAE動作を行う際にも有用である。
また、本実施の形態で用いられている固体撮像素子3は、不感帯を発生させること無く間引き走査を行うことができるので、正確かつ高速な画像取得が可能である。したがって、前述した動作例では、混合・間引き走査読み出しモードによる固体撮像素子3からの画像データを、ステップS6,S25のLCD16への表示データや、ステップS31の動画像記録の画像データとして用いているので、好ましい。特に、本実施の形態による電子カメラ1では、静止画撮影と動画撮影とを兼用しているので、一般的に高分解能を要求される静止画の撮影時には画素を間引くこと無く撮影を行い、また、動画撮影時には動画の表示装置の解像度に適した形で過不足なく間引き走査を行うことができるように前述した1つの画素ブロック40の垂直方向の画素数A(すなわち、間引き間隔A)を適宜設定しておくことで、不感帯を発生させることなく高速に読み出し動作を行わせることができる。
前述した動作例の説明では、ステップS4,S9,S23,S28のAE動作を、昼間のような明るい環境下において固体撮像素子3の出力からシャッター時間と絞りを決定するものとして説明した。例えば、夜間の様な暗い環境下においてストロボ発光により撮影する場合には、ストロボ18の本発光前に、ストロボ発光制御部17はストロボ18をプリ発光させる。例えば、撮像制御部4はそのプリ発光時に、ステップS8の混合・間引き走査読み出しモードによる画像取得を行い、ステップS9のAE動作において、その取得データに基づいて露光演算部14が最適な露光量を演算し、レンズ制御部2aがこの露光量に応じた絞りとなるように撮影レンズ2の絞りを調整するとともに、撮像制御部4は露光演算部14で得られた露光量に応じたシャッタ時間を設定し、露光演算部14はこの露光量に応じたストロボ18の調光情報をストロボ発光制御部17に供給する。そして、ステップS12において、ストロボ発光制御部17は、その調光情報に応じた調光状態となるようにストロボ18を本発光させ、その本発光時に、非混合・全画素読み出しモードが実現され、固体撮像素子3からそのモードにより読み出された画像信号が出力され、その信号は信号処理部5及びA/D変換器6を経て画像データとしてメモリ7に格納される。
ところで、本実施の形態では、前述したように、各画素20にはカラーフィルタは設けられておらず、固体撮像素子3は白黒用の撮像素子として構成されている。したがって、混合・間引き走査読み出しモードにおいて信号電荷が混合される1つの画素ブロック40内の画素20が、垂直方向に1列に連続して並んだA個の画素20であるにも拘わらず、LCD16への表示や動画記録の際に、異なる色の信号電荷の混合に起因する混色という問題は生じない。ところが、本実施の形態において、そのままの画素ブロック40の構成で、カラー化するべく各画素20に各画素20にベイヤー配列等に従ったカラーフィルタを設けると、異なる色の信号電荷の混合に起因する混色という問題が生じてしまう。したがって、そのような方法でカラー化すると、混合・間引き走査読み出しモードで得られるデータは、画像データとしては用いることができず、ステップS6,S25のLCD16への表示のためのデータや、ステップS31の動画像記録のための画像データとして用いことはできない。ただし、このようにカラー化しても、自動露光用データとしては異なる色の信号電荷を混合したものであっても支障がないため、混合・間引き走査読み出しモードで得られるデータは、ステップS4,S9,S23,S28のAE動作で用いることができる。なお、カラー化した場合にAE動作のみならず画像データとしても用いることができるように構成した固体撮像素子の例を、後に他の実施の形態として説明する。
以上説明したように、本実施の形態で用いられている固体撮像素子3によれば、画素混合機能を実現して、固体撮像素子3の有効画素領域31において不感帯を発生させることなく(すなわち、情報を欠落させることなく)、走査時間を短縮して高速な読み出しが可能となる。そして、この固体撮像素子3では、画素混合用連結配線36により互いに接続する画素20のリセットスイッチ59の第1の端部aを任意に定めるだけで、混合すべき画素20のグループを設定することができる。したがって、混合すべき画素のグループの設計時の設定や変更を極めて容易に行うことができる。
なお、本実施の形態では、垂直方向のみで画素20をブロック化(グループ化)したが、同様の方法で、水平方向や、水平・垂直方向の組み合わせにも画素20をグループ化することで、走査時間を短縮することが可能であることは言うまでもない。図9に、図1中の固体撮像素子3のそのような変形例を示す。図9は、図1中の固体撮像素子3の変形例に係る固体撮像素子の画素ブロック41を、画素混合用連結配線36による接続関係に着目して抽象化して示す回路図であり、図5に対応している。図9に示す変形例では、図5中の水平方向に隣り合う2つの画素ブロック40の全ての画素20のリセットスイッチ59の第1の端部aが、互いに電気的に接続され、これにより、当該2つの画素ブロック40が1つの画素ブロック41に統合されている。
なお、固体撮像素子3から混合・間引き走査読み出しモードで得られるデータを自動露光用データとしてのみ用いるような場合において、有効画素領域31における周辺側の領域のデータを自動露光用データとして用いないような場合には、当該周辺側の領域の画素20は、必ずしもブロック化しておく必要がない。したがって、このようにブロック化しておく必要がない画素20については、当該画素20のリセットスイッチ59の第1の端部aを他の画素20のリセットスイッチ59の第1の端部aと画素混合用連結配線36で接続せずに、当該画素20から第1のスイッチ61を除去し、当該画素のリセットスイッチ59の第1の端部aを電源部Vddに直接接続しておいてもよい。すなわち、ブロック化しておく必要がない画素20については、一般的なCMOS型固体撮像素子の画素構造をそのまま採用してもよい。
[第2の実施の形態]
図10は、本発明の第2の実施の形態による電子カメラで用いられている固体撮像素子の画素ブロック40を示す回路図であり、図4に対応している。図10において、図4中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。
本実施の形態が前記第1の実施の形態と異なる所は、各画素ブロック40において、1つの画素20(図10では、n行目の画素20)を除く残りの全ての画素20において、当該画素20から第1のスイッチ61を除去した点のみである。これらの第1のスイッチ61を除去した画素20においては、一般的なCMOS型固体撮像素子の画素構造とは異なり、当該画素20のリセットスイッチ59の第1の端部aは直接的には電源部Vddに電気的に接続されていない。
本実施の形態によっても、前記第1の実施の形態で説明した図6及び図7に示す駆動シーケンスと同様の駆動シーケンスにより駆動することができる。本実施の形態によっても前記第1の実施の形態と同様の利点が得られる。
なお、各画素ブロック40内において少なくとも1つの画素20が第1のスイッチ61を有していれば、当該画素ブロック40内において第1のスイッチ61を除去する画素20の数は何ら限定されるものではない。
[第3の実施の形態]
図11は、本発明の第3の実施の形態による電子カメラで用いられている固体撮像素子の画素ブロック42を、画素混合用連結配線36による接続関係に着目して抽象化して示す回路図であり、図5に対応している。図11において、図5中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。本実施の形態が前記第1の実施の形態と異なる所は、以下に説明する点のみである。
本実施の形態では、各画素20の回路構成は、前記第1の実施の形態の場合と同じであるが、各画素20には、そのフォトダイオード51の光入射側にカラーフィルタ(図示せず)が設けられている。本実施の形態では、カラーフィルタの組み合わせとしてR、G、Bを用いる系が採用され、ベイヤー配列が採用されている。もっとも、ストライプ配列などを採用してもよいし、また、補色系(例えば、マゼンタ、グリーン、シアン及びイエローを用いる系)を採用してもよい。図11では、赤色カラーフィルタが設けられた画素20にはRを付し、緑色カラーフィルタが設けられた画素20にはGを付し、青色カラーフィルタが設けられた画素20にはBを付している。この点は、カラー化した後述の各実施の形態についても同様である。
本実施の形態では、固体撮像素子の有効画素領域は、マトリクス状に配置された画素ブロック42に分けられている。各画素ブロック42は、図11に示すように、6×2個の画素20からなる。本実施の形態では、同じ垂直方向の列において1画素置きに隣接する3個の同色の画素20のリセットスイッチ59の第1の端部aが、互いに、画素混合用連結配線36によって電気的に接続されている。このように、本実施の形態では、各色毎に、垂直方向に1画素置きに並んだ3個の画素20ずつ、信号電荷を混合し得るグループとしてグループ化されている。なお、図11から理解できるように、画素ブロック42は、信号電荷を混合し得る画素のグループを意味する訳ではなく、画素混合用連結配線36による接続状態を加味した画素パターンの繰り返し単位を意味しているにすぎない。
本実施の形態によっても、前記第1の実施の形態で説明した図6及び図7に示す駆動シーケンスと基本的には同様の駆動シーケンスにより駆動することができる。本実施の形態によっても、前記第1の実施の形態と同様の利点が得られる。
さらに、本実施の形態によれば、各画素20が色毎に信号電荷を混合し得るグループとしてグループ化されているので、混合・間引き走査読み出しモードにおいても異なる色の信号電荷が混合されることがなくなり、混合・間引き走査読み出しモードで得られるデータは、自動露光用データとして用いることができるのみならず、画像データとして用いることができる。
[第4の実施の形態]
図12は、本発明の第4の実施の形態による電子カメラで用いられている固体撮像素子の画素ブロック43を、画素混合用連結配線36による接続関係に着目して抽象化して示す回路図であり、図5に対応している。図12において、図5中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。本実施の形態が前記第1の実施の形態と異なる所は、以下に説明する点のみである。
本実施の形態では、各画素20の回路構成は、前記第1の実施の形態の場合と同じであるが、各画素20には、そのフォトダイオード51の光入射側にベイヤー配列に従ったカラーフィルタ(図示せず)が設けられている。本実施の形態では、固体撮像素子の有効画素領域は、マトリクス状に配置された画素ブロック43に分けられている。各画素ブロック43は、図12に示すように、4×4個の画素20からなる。本実施の形態では、垂直方向及び水平方向に最も近い2×2個の同色の画素20のリセットスイッチ59の第1の端部aが、互いに、画素混合用連結配線36によって電気的に接続されている。このように、本実施の形態では、各色毎に、2×2個の画素20ずつ、信号電荷を混合し得るグループとしてグループ化されている。なお、図12から理解できるように、画素ブロック43は、信号電荷を混合し得る画素のグループを意味する訳ではなく、画素混合用連結配線36による接続状態を加味した画素パターンの繰り返し単位を意味しているにすぎない。
本実施の形態によっても、前記第1の実施の形態で説明した図6及び図7に示す駆動シーケンスと基本的には同様の駆動シーケンスにより駆動することができる。本実施の形態によっても、前記第1の実施の形態と同様の利点が得られる。
さらに、本実施の形態によれば、各画素20が色毎に信号電荷を混合し得るグループとしてグループ化されているので、混合・間引き走査読み出しモードにおいても異なる色の信号電荷が混合されることがなくなり、混合・間引き走査読み出しモードで得られるデータは、自動露光用データとして用いることができるのみならず、画像データとして用いることができる。
[第5の実施の形態]
図13は、本発明の第5の実施の形態による電子カメラで用いられている固体撮像素子の画素ブロック44を示す回路図であり、図4に対応している。図14は、図13に示す回路図を、画素混合用連結配線136,137による接続関係に着目して抽象化して示したものであり、図5に対応している。図13及び図14において、図4及び図5中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。本実施の形態が前記第1の実施の形態と異なる所は、以下に説明する点のみである。
本実施の形態では、各画素20に代えて、それぞれ画素120が設けられている。画素120が画素20と異なる所は、2つの第2のスイッチ81,82が追加されている点のみである。本実施の形態では、第2のスイッチ81,82は、nMOSトランジスタである。第2のスイッチ81の第1の端部c1及び第2のスイッチ82の第1の端部c2はそれぞれ、リセットスイッチ59の第1の端部aに電気的に接続されている。図面には示していないが、各第2のスイッチ81のゲートは、画素行ごとに共通に接続されて、垂直走査回路21から駆動配線181を介して駆動信号φJ1が供給される。各第2のスイッチ82のゲートは、画素行ごとに共通に接続されて、垂直走査回路21から駆動配線182を介して駆動信号φJ2が供給される。本実施の形態では、第2のスイッチ81,82は、リセットスイッチ59の第1の端部aの接続先を選択する機能を有している。
本実施の形態では、固体撮像素子の有効画素領域は、マトリクス状に配置された画素ブロック44に分けられている。各画素ブロック44は、図13に示すように、垂直方向(列方向)に1列に並んだ4個の画素120からなる。各画素ブロック44において、4個の画素120の第2のスイッチ81の第2の端部d1が、互いに、画素混合用連結配線136によって直接的に電気的に接続されている。また、各画素ブロック44において、図13中の上側の2つの第2のスイッチ82の第2の端部d2が、互いに、画素混合用連結配線137によって直接的に電気的に接続されている。さらに、各ブロック44において、図13中の下側の2つの第2のスイッチ82の第2の端部d2が、互いに、画素混合用連結配線137によって直接的に電気的に接続されている。
以上の説明からわかるように、例えば、各画素ブロック44において、図13中の上側から1番目の画素120のリセットスイッチ59の第1の端部aは、それぞれ2つの第2のスイッチ81を介して、残りの3つの画素120のリセットスイッチ59の第1の端部aに電気的に接続されている。また、例えば、各画素ブロック44において、図13中の上側から1番目の画素120のリセットスイッチ59の第1の端部aは、2つの第2のスイッチ82を介して、2番目の画素120のリセットスイッチ59の第1の端部aに電気的に接続されている。
本実施の形態では、混合・間引き走査読み出しモードとして、画素混合用連結配線136で第2のスイッチ81が互いに接続されている4個の画素120の信号電荷を混合して間引き走査により読み出す4画素混合・間引き走査読み出しモード、及び、画素混合用連結配線137で第2のスイッチ82が互いに接続されている2個の画素120の信号電荷を混合して間引き走査により読み出す2画素混合・間引き走査読み出しモードの、両モードを任意に切り替えて行うことができる。
図15は、本実施の形態における固体撮像素子の4画素混合・間引き走査読み出しモードを示すタイミングチャートである。
4画素混合・間引き走査読み出しモードでは、常に、全行のφJ1がハイレベルにされて全行の第2のスイッチ81がオンにされるとともに、全行のφJ2がローレベルにされて全行の第2のスイッチ82がオフにされた状態とされる。そして、4画素混合・間引き走査読み出しモードでは、図15中の期間T41〜T45において、図6中の期間T1〜T5の動作にそれぞれ相当する動作を行う。4画素混合・間引き走査読み出しモードの動作説明として、図6に関する説明をA=4として読み替えられたい。
図16は、本実施の形態における固体撮像素子の2画素混合・間引き走査読み出しモードを示すタイミングチャートである。
2画素混合・間引き走査読み出しモードでは、常に、全行のφJ1がローレベルにされて全行の第2のスイッチ81がオフにされるととも、に全行のφJ2がハイレベルにされて全行の第2のスイッチ82がオンにされた状態とされる。そして、2画素混合・間引き走査読み出しモードでは、図15中の期間T51〜T55において、図6中の期間T1〜T5の動作にそれぞれ相当する動作を行う。2画素混合・間引き走査読み出しモードの動作説明として、図6に関する説明をA=2として読み替えられたい。
なお、非混合・全画素読み出しモードでは、常に、全行の第1のスイッチ61がオンにされるとともに全行の第2のスイッチ81,82がオフにされた状態で、前記第1の実施の形態において図7を参照して説明したのと同様の動作を行えばよい。
本実施の形態によれば、前記第1の実施の形態と同様の利点が得られる他、混合・間引き走査読み出しモードに関して、混合すべき画素120のグループを変更することができ、用途や場面等に応じてより適切な混合パターンを実現することができるという利点も得られる。
本実施の形態では、4画素混合・間引き走査読み出しモード及び2画素混合・間引き走査読み出しモードを行うことができるように構成されていたが、これに限らず、各画素120の第2のスイッチ81,82の第2の端部d1,d2の結線パターンを種々に変更することで、様々な混合・間引き走査読み出しモードを行うことができる。また、本実施の形態では、1つの画素のリセットスイッチ59の第1の端部aに2つの第2のスイッチ81,82を接続しているが、その端部aに3つ以上の第2のスイッチを接続すれば、混合・間引き走査読み出しモードの選択可能な種類を増大させることもできる。
なお、各画素ブロック44において、例えば、図13中の上側から1番目の画素120の第2のスイッチ82を取り除き、図13中の上側から1番目の画素120のリセットスイッチ59の第1の端部aを2番目の画素120の第2のスイッチ82の第2の端部d2に電気的に接続しても、前述した動作を実現することができる。
また、各画素ブロック44において、前記第2の実施の形態と同様に、図13中の上側から2番目の画素120及び3番目の画素120において、第1のスイッチ61を除去しても、前述した動作を実現することができる。これらの画素120においては、一般的なCMOS型固体撮像素子の画素構造とは異なり、当該画素120のリセットスイッチ59の第1の端部aは直接的には電源部Vddに電気的に接続されていないことになる。
[第6の実施の形態]
図17は、本発明の第6の実施の形態による電子カメラで用いられている固体撮像素子の画素ブロック45を、画素混合用連結配線136,137による接続関係に着目して抽象化して示す回路図であり、図14に対応している。図17において、図14中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。本実施の形態が前記第5の実施の形態と異なる所は、以下に説明する点のみである。
本実施の形態では、各画素120の回路構成は、前記第5の実施の形態の場合と同じであるが、各画素120には、そのフォトダイオード51の光入射側にベイヤー配列に従ったカラーフィルタ(図示せず)が設けられている。本実施の形態では、カラーフィルタの組み合わせとしてR、G、Bを用いる系が採用され、ベイヤー配列が採用されている。
本実施の形態では、固体撮像素子の有効画素領域は、マトリクス状に配置された画素ブロック45に分けられている。各画素ブロック45は、図17に示すように、8×2個の画素120からなる。各画素ブロック45において、各画素120の第2のスイッチ81,82の第2の端部d1,d2が、図17に示すように、画素混合用連結配線136,137によって、色毎に電気的に接続されている。
本実施の形態によっても、前記第5の実施の形態で説明した駆動シーケンスと基本的には同様の駆動シーケンスにより駆動することができる。本実施の形態によっても、前記第5の実施の形態と同様の利点が得られる。
さらに、本実施の形態によれば、各画素120が色毎に信号電荷を混合し得るグループとしてグループ化されているので、混合・間引き走査読み出しモードにおいても異なる色の信号電荷が混合されることがなくなり、混合・間引き走査読み出しモードで得られるデータは、自動露光用データとして用いることができるのみならず、画像データとして用いることができる。
以上、本発明の各実施の形態及びその変形例について説明したが、本発明はこれらに限定されるものではない。
例えば、前記各実施の形態は、各画素がそれぞれ画素アンプ58、FD54、選択トランジスタ60及びリセットスイッチ59を1組ずつ有する固体撮像素子に、本発明を適用した例であった。しかしながら、本発明は、これに限定されるものではなく、例えば、複数の画素が1組の画素アンプ58、FD54、選択トランジスタ60及びリセットスイッチ59を共有する固体撮像素子にも、適用することができる。
本発明の第1の実施の形態に係る電子カメラ1を示す概略ブロック図である。 図1中の固体撮像素子の概略構成を示す回路図である。 図1中の固体撮像素子を模式的に示す概略平面図である。 図1中の固体撮像素子の画素ブロックを示す回路図である。 図4に示す回路図を抽象化して示した回路図である。 図1中の固体撮像素子の混合・間引き走査読み出しモード時の動作を示すタイミングチャートである。 図1中の固体撮像素子の非混合・全画素読み出しモード時の動作を示すタイミングチャートである。 図1に示す電子カメラの動作の一例を示す概略フローチャートである。 図1中の固体撮像素子の変形例に係る固体撮像素子の画素ブロックを抽象化して示す回路図である。 本発明の第2の実施の形態による電子カメラで用いられている固体撮像素子の画素ブロックを示す回路図である。 本発明の第3の実施の形態による電子カメラで用いられている固体撮像素子の画素ブロックを抽象化して示す回路図である。 本発明の第4の実施の形態による電子カメラで用いられている固体撮像素子の画素ブロックを抽象化して示す回路図である。 本発明の第5の実施の形態による電子カメラで用いられている固体撮像素子の画素ブロックを示す回路図である。 図13に示す回路図を抽象化して示す回路図である。 本発明の第5の実施の形態による電子カメラで用いられている固体撮像素子の4画素混合・間引き走査読み出しモードを示すタイミングチャートである。 本発明の第5の実施の形態による電子カメラで用いられている固体撮像素子の2画素混合・間引き走査読み出しモードを示すタイミングチャートである。 本発明の第6の実施の形態による電子カメラで用いられている固体撮像素子の画素ブロックを抽象化して示す回路図である。
符号の説明
51 フォトダイオード
54 フローティングディフュージョン(FD)
55 転送トランジスタ
58 画素アンプ
59 リセットスイッチ
60 選択トランジスタ
61 第1のスイッチ
81,82 第2のスイッチ
Vdd 電源部

Claims (13)

  1. 入射光に応じた信号電荷を生成し蓄積する光電変換部、前記信号電荷を受け取って前記信号電荷を電圧に変換する電荷電圧変換部、該電荷電圧変換部の電位に応じた信号を出力する増幅部、前記光電変換部から前記電荷電圧変換部に電荷を転送する電荷転送部、及び、前記電荷電圧変換部の電位を電源部から供給される所定のリセット電位にリセットするリセットスイッチを有する画素を、複数備えた固体撮像素子であって、
    前記複数の画素のうちの2つ以上の画素の前記信号電荷の混合時に、前記2つ以上の画素の前記リセットスイッチにおける前記電荷電圧変換部とは反対側の第1の端部を、互いに電気的に接続された状態であって前記電源部から電気的に切り離なされた状態にし得るように、構成されたことを特徴とする固体撮像素子。
  2. 前記複数の画素が複数のグループに分けられてそのグループ毎に異なる色のカラーフィルタが設けられ、
    前記2つの以上の画素は、同じ色のカラーフィルタが設けられた画素であることを特徴とする請求項1記載の固体撮像素子。
  3. 入射光に応じた信号電荷を生成し蓄積する光電変換部、前記信号電荷を受け取って前記信号電荷を電圧に変換する電荷電圧変換部、該電荷電圧変換部の電位に応じた信号を出力する増幅部、前記光電変換部から前記電荷電圧変換部に電荷を転送する電荷転送部、及び、前記電荷電圧変換部の電位を電源部から供給される所定のリセット電位にリセットするリセットスイッチを有する画素を、複数備えた固体撮像素子であって、
    前記複数の画素のうちの2つ以上の画素の前記リセットスイッチにおける前記電荷電圧変換部とは反対側の第1の端部と、前記電源部との間に、第1のスイッチがそれぞれ設けられ、
    前記2つ以上の画素の前記リセットスイッチの前記第1の端部が、互いに、第2のスイッチを介することなくあるいは第2のスイッチを介して電気的に接続されたことを特徴とする固体撮像素子。
  4. 入射光に応じた信号電荷を生成し蓄積する光電変換部、前記信号電荷を受け取って前記信号電荷を電圧に変換する電荷電圧変換部、該電荷電圧変換部の電位に応じた信号を出力する増幅部、前記光電変換部から前記電荷電圧変換部に電荷を転送する電荷転送部、及び、前記電荷電圧変換部の電位を電源部から供給される所定のリセット電位にリセットするリセットスイッチを有する画素を、複数備えた固体撮像素子であって、
    前記複数の画素のうちの2つ以上の画素のうちの1つ以上の画素の前記リセットスイッチにおける前記電荷電圧変換部とは反対側の第1の端部と、前記電源部との間に、第1のスイッチが設けられ、
    前記2つ以上の画素のうちの残りの画素の前記リセットスイッチの前記第1の端部は、前記電源部に電気的に接続されておらず、
    前記2つ以上の画素の前記リセットスイッチの前記第1の端部が、互いに、第2のスイッチを介することなくあるいは第2のスイッチを介して電気的に接続されたことを特徴とする固体撮像素子。
  5. 入射光に応じた信号電荷を生成し蓄積する光電変換部、前記信号電荷を受け取って前記信号電荷を電圧に変換する電荷電圧変換部、該電荷電圧変換部の電位に応じた信号を出力する増幅部、前記光電変換部から前記電荷電圧変換部に電荷を転送する電荷転送部、及び、前記電荷電圧変換部の電位を電源部から供給される所定のリセット電位にリセットするリセットスイッチを有する画素を、複数備えた固体撮像素子であって、
    前記複数の画素のうちの2つ以上の画素の前記リセットスイッチにおける前記電荷電圧変換部とは反対側の第1の端部と、前記電源部との間に、第1のスイッチがそれぞれ設けられ、
    前記2つ以上の画素の前記リセットスイッチの前記第1の端部にそれぞれ、1つ以上の第2のスイッチの第1の端部が電気的に接続され、
    前記各第2のスイッチの第2の端部は、当該第2のスイッチが電気的に接続された前記リセットスイッチとは異なる前記リセットスイッチに電気的に接続された前記第2のスイッチの第2の端部に、電気的に接続されたことを特徴とする固体撮像素子。
  6. 入射光に応じた信号電荷を生成し蓄積する光電変換部、前記信号電荷を受け取って前記信号電荷を電圧に変換する電荷電圧変換部、該電荷電圧変換部の電位に応じた信号を出力する増幅部、前記光電変換部から前記電荷電圧変換部に電荷を転送する電荷転送部、及び、前記電荷電圧変換部の電位を電源部から供給される所定のリセット電位にリセットするリセットスイッチを有する画素を、複数備えた固体撮像素子であって、
    前記複数の画素のうちの2つ以上の画素のうちの1つ以上の画素の前記リセットスイッチにおける前記電荷電圧変換部とは反対側の第1の端部と、前記電源部との間に、第1のスイッチが設けられ、
    前記2つ以上の画素のうちの残りの画素の前記リセットスイッチの前記第1の端部は、前記電源部に電気的に接続されておらず、
    前記2つ以上の画素の前記リセットスイッチの前記第1の端部にそれぞれ、1つ以上の第2のスイッチの第1の端部が電気的に接続され、
    前記各第2のスイッチの第2の端部は、当該第2のスイッチが電気的に接続された前記リセットスイッチとは異なる前記リセットスイッチに電気的に接続された前記第2のスイッチの第2の端部に、電気的に接続されたことを特徴とする固体撮像素子。
  7. 前記2つ以上の画素のうちの少なくとも1つの画素と当該画素の前記リセットスイッチに前記第2のスイッチを介して電気的に接続されたリセットスイッチを有する画素とからなる第1のグループ、及び、前記2つ以上の画素のうちの他の少なくとも1つの画素と当該画素の前記リセットスイッチに前記第2のスイッチを介して電気的に接続されたリセットスイッチを有する画素とからなる第2のグループに関して、前記第1のグループに属する少なくとも1つの画素は前記第2のグループには属しない、ことを特徴とする請求項5又は6記載の固体撮像素子。
  8. 前記複数の画素が複数のグループに分けられてそのグループ毎に異なる色のカラーフィルタが設けられ、
    前記複数の画素のうち、前記リセットスイッチの前記第1の端部が互いに前記第2のスイッチを介することなく又は前記第2のスイッチを介して電気的に接続された画素は、同じ色のカラーフィルタが設けられた画素であることを特徴とする請求項3乃至7のいずれかに記載の固体撮像素子。
  9. 請求項1乃至8のいずれかに記載の固体撮像素子と、
    前記複数の画素のうちの2つ以上の画素でそれぞれ発生した電荷が混合されて当該混合された電荷に応じた信号が読み出されるように、前記固体撮像素子を制御する制御手段と、
    を備えたことを特徴とする電子カメラ。
  10. 前記混合された電荷に応じた前記信号に基づいて、自動露光制御を行うことを特徴とする請求項9記載の電子カメラ。
  11. 前記混合された電荷に応じた前記信号を、動画情報として記録部に記録することを特徴とすることを特徴とする請求項9記載の電子カメラ。
  12. 前記混合された電荷に応じた前記信号を、表示部に動画又は静止画として表示するための表示データとして用いることを特徴とする請求項9記載の電子カメラ。
  13. 請求項1乃至8のいずれかに記載の固体撮像素子と、
    ストロボの本発光前のプリ発光中に前記複数の画素のうちの2つ以上の画素でそれぞれ発生した電荷が混合されて当該混合された電荷に応じた信号が読み出されるように、前記固体撮像素子を制御する制御手段と、
    を備え、
    前記混合された電荷に応じた前記信号に基づいて、前記ストロボの本発光時の自動露光制御を行うことを特徴とする電子カメラ。
JP2007173593A 2007-06-30 2007-06-30 固体撮像素子及び電子カメラ Expired - Fee Related JP4941131B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007173593A JP4941131B2 (ja) 2007-06-30 2007-06-30 固体撮像素子及び電子カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007173593A JP4941131B2 (ja) 2007-06-30 2007-06-30 固体撮像素子及び電子カメラ

Publications (2)

Publication Number Publication Date
JP2009016972A JP2009016972A (ja) 2009-01-22
JP4941131B2 true JP4941131B2 (ja) 2012-05-30

Family

ID=40357374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007173593A Expired - Fee Related JP4941131B2 (ja) 2007-06-30 2007-06-30 固体撮像素子及び電子カメラ

Country Status (1)

Country Link
JP (1) JP4941131B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7777171B2 (en) * 2008-08-26 2010-08-17 Eastman Kodak Company In-pixel summing of charge generated by two or more pixels having two reset transistors connected in series
JP5885403B2 (ja) * 2011-06-08 2016-03-15 キヤノン株式会社 撮像装置
JP6091218B2 (ja) * 2013-01-08 2017-03-08 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法。
JP6239975B2 (ja) * 2013-12-27 2017-11-29 キヤノン株式会社 固体撮像装置及びそれを用いた撮像システム
JP2016111425A (ja) 2014-12-03 2016-06-20 ルネサスエレクトロニクス株式会社 撮像装置
JP6852712B2 (ja) * 2018-04-27 2021-03-31 株式会社ニコン 撮像素子および撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4459099B2 (ja) * 2005-03-18 2010-04-28 キヤノン株式会社 固体撮像装置及びカメラ
JP2007150008A (ja) * 2005-11-29 2007-06-14 Nikon Corp 固体撮像装置
JP2008270995A (ja) * 2007-04-18 2008-11-06 Olympus Corp 固体撮像装置

Also Published As

Publication number Publication date
JP2009016972A (ja) 2009-01-22

Similar Documents

Publication Publication Date Title
US9912889B2 (en) Image pickup apparatus and its control method
EP1148712B1 (en) Solid-state image pickup apparatus
JP5245370B2 (ja) 固体撮像装置、電子カメラ
US7944496B2 (en) Imaging apparatus and driving method for CCD type solid-state imaging device
US8077232B2 (en) Imaging device for adding signals including same color component
JP5034840B2 (ja) 固体撮像装置及びこれを用いた電子カメラ
US7400353B2 (en) Solid state image pickup device
US8125547B2 (en) Driving method of solid-state imaging device, solid-state imaging device, and imaging apparatus including photoelectric conversion elements for luminance detection
US20080088725A1 (en) Solid-state imaging device
KR100605426B1 (ko) 고체촬상소자 및 디지털 카메라
JP2009033316A (ja) 固体撮像装置及びこれを用いた電子カメラ
US20090278947A1 (en) Imager and Imaging Method for Digital Cinematography
US8111298B2 (en) Imaging circuit and image pickup device
JP2007104178A (ja) 撮像素子および撮像装置
JP4941131B2 (ja) 固体撮像素子及び電子カメラ
JP2009130582A (ja) 固体撮像装置、電子カメラ
JP2006270356A (ja) 固体撮像素子および固体撮像装置
US20240015406A1 (en) Image sensor and imaging device
JP2006270364A (ja) 固体撮像素子および固体撮像装置、ならびにその駆動方法
US7932942B2 (en) Solid-state imaging device including three stacked photoelectric conversion layers, three accumulators, and a single readout circuit
JP2007235888A (ja) 単板式カラー固体撮像素子及び撮像装置
JP4848349B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP2009049523A (ja) 固体撮像素子、撮像装置、及び固体撮像素子の駆動方法
JP2005223768A (ja) 固体電子撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4941131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees