JP2013143730A - 撮像素子、撮像装置、電子機器および撮像方法 - Google Patents

撮像素子、撮像装置、電子機器および撮像方法 Download PDF

Info

Publication number
JP2013143730A
JP2013143730A JP2012003998A JP2012003998A JP2013143730A JP 2013143730 A JP2013143730 A JP 2013143730A JP 2012003998 A JP2012003998 A JP 2012003998A JP 2012003998 A JP2012003998 A JP 2012003998A JP 2013143730 A JP2013143730 A JP 2013143730A
Authority
JP
Japan
Prior art keywords
pixels
pixel
pair
spectral sensitivity
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2012003998A
Other languages
English (en)
Inventor
Yasutaka Kimura
康孝 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012003998A priority Critical patent/JP2013143730A/ja
Priority to US13/722,403 priority patent/US20130182165A1/en
Priority to CN2013100130890A priority patent/CN103209309A/zh
Publication of JP2013143730A publication Critical patent/JP2013143730A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】画像処理にかかる負荷を軽減させる。
【解決手段】撮像素子には、一対の第１の分光感度の画素および一対の第２の分光感度の画素が対角上に配置されている第１画素群と、一対の第１の分光感度の画素および一対の第３の分光感度の画素が対角上に配置されている第２画素群とが格子状に配置されている。また、撮像素子は、各画素からの画像信号を、各画素群を構成する一対の各分光感度の画素毎にアナログ加算して出力信号とする。
【選択図】図１

Description

本技術は、撮像素子に関する。詳しくは、複数の画素について画素加算を行う撮像素子、これを備える撮像装置、電子機器、および、これらにおける撮像方法に関する。
近年、人物等の被写体を撮像して画像（画像データ）を生成し、この生成された画像（画像データ）を画像コンテンツ（画像ファイル）として記録する電子機器（例えば、デジタルスチルカメラ等の撮像装置）が普及している。これらの電子機器に用いられる撮像素子として、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等が普及している。
例えば、複数種類の画素を備える撮像素子が提案されている（例えば、特許文献１参照。）。
特開２０１０−６２７８５号公報
上述の従来技術では、カメラブレを適切に補正した高ダイナミックレンジ画像を生成することができる。
このように、上述の従来技術では、適切に補正された画像を生成することができる。ここで、撮像素子から出力された画像信号については、所定の画像処理が行われる。例えば、撮像素子は、複数種類の画素（例えば、Ｇ画素、Ｒ画素、Ｂ画素）により構成されるため、これらから出力された画像信号については、各画素の位置を補正するための特別な演算処理を行うことがある。このように、撮像素子から出力された画像信号については各種の画像処理を行う必要があるため、これらの画像処理にかかる負荷を軽減させることが重要である。
本技術はこのような状況に鑑みて生み出されたものであり、画像処理にかかる負荷を軽減させることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、一対の第１の分光感度の画素および一対の第２の分光感度の画素が対角上に配置されている第１画素群と、一対の上記第１の分光感度の画素および一対の第３の分光感度の画素が対角上に配置されている第２画素群とが格子状に配置され、上記各画素からの画像信号を、上記各画素群を構成する上記一対の各分光感度の画素毎にアナログ加算して出力信号とする撮像素子およびその撮像方法である。これにより、各画素からの画像信号を、各画素群を構成する一対の各分光感度の画素毎にアナログ加算して出力信号とするという作用をもたらす。
また、この第１の側面において、特定方向における上記第１画素群および上記第２画素群により構成されるラインのうち、所定期間内に連続した露光により長時間露光画像を生成するための画素により構成されるラインを第１ラインとし、上記特定方向における上記第１画素群および上記第２画素群により構成されるラインのうち、上記所定期間内に断続した露光により複数の短時間露光画像を生成するための画素により構成されるラインを第２ラインとして、上記第１ラインおよび上記２ラインが上記特定方向に直交する直交方向において交互に配置されるようにしてもよい。これにより、第１ラインおよび２ラインが特定方向に直交する直交方向において交互に配置される各画素からの画像信号をアナログ加算して出力信号とするという作用をもたらす。
また、この第１の側面において、上記第１画素群および上記第２画素群を、特定方向に２画素が配置され、上記特定方向に直交する直交方向に２画素が配置される行列状の画素群とするようにしてもよい。これにより、特定方向に２画素が配置され、直交方向に２画素が配置される行列状の画素群を構成する各画素からの画像信号をアナログ加算して出力信号とするという作用をもたらす。
また、この第１の側面において、上記第１画素群を構成する上記一対の第１の分光感度の画素の上記第１画素群における位置と、上記第２画素群を構成する上記一対の第１の分光感度の画素の上記第２画素群における位置とを同一とするようにしてもよい。これにより、一対の第１の分光感度の画素の画素群における位置を同一とする画素群を構成する各画素からの画像信号をアナログ加算して出力信号とするという作用をもたらす。
また、この第１の側面において、斜め方向において上記第１の分光感度の画素により構成されるラインを第１ラインとし、上記斜め方向において上記第２の分光感度の画素により構成されるラインを第２ラインとし、上記斜め方向において上記第３の分光感度の画素により構成されるラインを第３ラインとして、上記斜め方向に直交する直交方向において上記第１ラインと、上記第２ラインおよび第３ラインとが交互に配置されるようにしてもよい。これにより、斜め方向に直交する直交方向において第１ラインと、第２ラインおよび第３ラインとが交互に配置される各画素からの画像信号をアナログ加算して出力信号とするという作用をもたらす。
また、この第１の側面において、上記各画素群を構成する各画素で１つのフローティングディフュージョンを共有し、上記一対の各分光感度の画素毎に露光開始および終了タイミングを制御することにより上記一対の各分光感度の画素毎の画像信号をアナログ加算するようにしてもよい。これにより、一対の各分光感度の画素毎に露光開始および終了タイミングを制御することにより、一対の各分光感度の画素毎の画像信号をアナログ加算するという作用をもたらす。
また、この第１の側面において、上記第１の分光感度の画素を、Ｇ画素とし、上記第２の分光感度の画素を、Ｒ画素とし、上記第３の分光感度の画素を、Ｂ画素とするようにしてもよい。これにより、Ｇ画素、Ｒ画素、Ｂ画素からの画像信号をアナログ加算して出力信号とするという作用をもたらす。
また、本技術の第２の側面は、一対の第１の分光感度の画素および一対の第２の分光感度の画素が対角上に配置されている第１画素群と、一対の上記第１の分光感度の画素および一対の第３の分光感度の画素が対角上に配置されている第２画素群とが格子状に配置され、上記各画素からの画像信号を、上記各画素群を構成する上記一対の各分光感度の画素毎にアナログ加算して出力信号とする撮像素子と、上記一対の第１の分光感度の画素についてアナログ加算された画像信号により構成される第１画像データと、上記一対の第２の分光感度の画素についてアナログ加算された画像信号により構成される第２画像データと、上記一対の第３の分光感度の画素についてアナログ加算された画像信号により構成される第３画像データとを用いて画像処理を行う画像処理部とを具備する撮像装置およびその撮像方法である。これにより、各画素からの画像信号を、各画素群を構成する一対の各分光感度の画素毎にアナログ加算して出力信号とし、これらの各出力信号を用いて画像処理を行うという作用をもたらす。
また、この第２の側面において、上記画像処理部は、上記第１画像データにより構成される第１フレームと、上記第２画像データおよび上記第３画像データにより構成される第２フレームとを用いて上記画像処理を行うようにしてもよい。これにより、第１画像データにより構成される第１フレームと、第２画像データおよび第３画像データにより構成される第２フレームとを用いて画像処理を行うという作用をもたらす。
また、この第２の側面において、上記第２フレームは、上記第２画像データにより構成されるラインと、上記第３画像データにより構成されるラインとが斜め方向において交互に配置されるようにしてもよい。これにより、第２画像データにより構成されるラインと、第３画像データにより構成されるラインとが斜め方向において交互に配置される第２フレームを用いて画像処理を行うという作用をもたらす。
また、本技術の第３の側面は、一対の第１の分光感度の画素および一対の第２の分光感度の画素が対角上に配置されている第１画素群と、一対の上記第１の分光感度の画素および一対の第３の分光感度の画素が対角上に配置されている第２画素群とが格子状に配置され、上記各画素からの画像信号を、上記各画素群を構成する上記一対の各分光感度の画素毎にアナログ加算して出力信号とする撮像素子と、上記一対の第１の分光感度の画素についてアナログ加算された画像信号により構成される第１画像データと、上記一対の第２の分光感度の画素についてアナログ加算された画像信号により構成される第２画像データと、上記一対の第３の分光感度の画素についてアナログ加算された画像信号により構成される第３画像データとを用いて画像処理を行う画像処理部と、上記画像処理が施された画像データの出力制御または記録制御を行う制御部とを具備する電子機器およびその撮像方法である。これにより、各画素からの画像信号を、各画素群を構成する一対の各分光感度の画素毎にアナログ加算して出力信号とし、これらの各出力信号を用いて画像処理を行い、この画像処理が施された画像データの出力制御または記録制御を行うという作用をもたらす。
本技術によれば、画像処理にかかる負荷を軽減させることができるという優れた効果を奏し得る。
本技術の第１の実施の形態における撮像素子１００の受光部に装着されるカラーフィルタの画素配列の一例を示す図である。 本技術の第１の実施の形態における撮像素子１００に備えられている画素の基本回路の構成例を示す図である。 本技術の第１の実施の形態における撮像素子１００の画素制御回路および画素配線の構成例を示す図である。 本技術の第１の実施の形態における撮像素子１００の画素制御回路および画素配線の構成例を示す図である。 本技術の第１の実施の形態における撮像素子１００を構成する各画素への制御信号を模式的に表すタイミングチャートである。 本技術の第１の実施の形態における撮像装置６００の機能構成例を示すブロック図である。 本技術の第１の実施の形態における撮像装置６００において行われる画像処理の流れを模式的に示す図である。 本技術の第２の実施の形態における撮像素子１００の受光部に装着されるカラーフィルタの画素配列の一例を示す図である。 本技術の第２の実施の形態における撮像素子１００を構成する各画素への制御信号を模式的に表すタイミングチャートである。 本技術の第２の実施の形態における撮像装置６００において行われる画像処理の流れを模式的に示す図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画素共有単位内の各画素からの画像信号を、同一種類の画素毎にアナログ加算して出力信号とする例）
２．第２の実施の形態（複数の画素について周期的に露光期間を変更して読み出しを行う撮像素子の例）
＜１．第１の実施の形態＞
［カラーフィルタの画素配列例］
図１は、本技術の第１の実施の形態における撮像素子１００の受光部に装着されるカラーフィルタの画素配列の一例を示す図である。図１において、各矩形は画素を模式的に表すものである。
また、本技術の第１の実施の形態では、Ｇ（Green：緑）、Ｒ（Red：赤）、Ｂ（Blue：青）からなるＲＧＢ３色のカラーフィルタ（ＣＦ：Color Filter）を例にして示す。また、各矩形の内部には、カラーフィルタの種類を示す記号を示す。
ここで、図１に示す点線の矩形１０１、１０２は、ＦＤ（フローティングディフュージョン）を複数の画素で共有する画素共有単位を示す。図１では、水平方向（特定方向）に２画素が配置され、垂直方向に２画素が配置される行列状の画素群を画素共有単位とする例を示す。また、点線の矩形１０１内の一対のＧ画素の画素共有単位における位置と、点線の矩形１０２内の一対のＧ画素の画素共有単位における位置とが同一である。すなわち、画素共有単位内において、斜め方向の２画素が同一色になるように配置されている。また、一対のＧ画素および一対のＲ画素を含む画素共有単位と、一対のＧ画素および一対のＢ画素を含む画素共有単位とが、市松状に配置されている。
また、斜め方向においてＧ画素により構成されるライン（第１ライン）と、斜め方向においてＲ画素により構成されるライン（第２ライン）と、斜め方向においてＢ画素により構成されるライン（第３ライン）とが交互に配置される。すなわち、斜め方向に直交する直交方向において、第１ラインと、第２ラインおよび第３ラインとが交互に配置されている。
なお、本技術の第１の実施の形態では、第１の分光感度の画素をＧ画素とし、第２の分光感度の画素をＲ画素とし、第３の分光感度の画素をＢ画素とする例を示す。
［画素の基本回路の構成例］
図２は、本技術の第１の実施の形態における撮像素子１００に備えられている画素の基本回路の構成例を示す図である。
ここで、近年では、画素の微細化が進行しているため、ＦＤ（フローティングディフュージョン）を複数の画素で共有する方式が用いられることがある。そこで、図２では、４画素（縦２画素×横２画素）でＦＤを共有する画素回路の構成例を示す。
撮像素子１００は、受光部であるフォトダイオード（ＰＤ）ｐｄ０乃至ｐｄ３と、フローティングディフュージョン（ＦＤ）ｆｄと、画素転送トランジスタｔｒｓ０乃至ｔｒｓ３とを備える。すなわち、フォトダイオード（ＰＤ）ｐｄ０乃至ｐｄ３が、１つのｆｄに、画素転送トランジスタｔｒｓ０乃至ｔｒｓ３を介して接続されている４画素共有画素回路を示す。また、撮像素子１００は、増幅トランジスタｔｒａと、リセットトランジスタｔｒｒと、選択トランジスタｔｒｓとを備える。
また、これらの各画素は、画素転送制御信号線（画素転送ゲート制御信号線）ｔｒｇ０乃至ｔｒｇ３と、画素読み出し選択制御信号線ｓｅｌと、垂直信号線（読み出し線）ｖｓｌと、画素リセット制御信号線ｒｓｔとに接続されている。
画素に照射された光は、フォトダイオードｐｄ０乃至ｐｄ３において電子に変換され、光量に応じた電荷がフォトダイオードｐｄ０乃至ｐｄ３に蓄積される。また、画素転送トランジスタｔｒｓ０乃至ｔｒｓ３は、フォトダイオードｐｄ０乃至ｐｄ３とフローティングディフュージョンｆｄとの間の電荷転送を制御する。そして、画素転送トランジスタｔｒｓ０乃至ｔｒｓ３のゲート電極に画素転送制御信号線ｔｒｇ０乃至ｔｒｇ３の信号が印加されることにより、フォトダイオードｐｄ０乃至ｐｄ３に蓄積された電荷が、フローティングディフュージョンｆｄに転送される。
フローティングディフュージョンｆｄは、増幅トランジスタｔｒａのゲート電極と繋がっている。選択トランジスタｔｒｓのゲート電極に画素読み出し選択制御信号線ｓｅｌの制御信号が印加されていると、垂直信号線ｖｓｌからフローティングディフュージョンｆｄに蓄積された電荷に応じた電圧を信号として読み出すことができる。
リセットトランジスタｔｒｒのゲート電極に画素リセット制御信号線ｒｓｔのリセット信号が印加されると、フローティングディフュージョンｆｄに蓄積された電荷は、リセットトランジスタｔｒｒを通じて流れるため、電荷蓄積状態がリセットされる。
ここで、フローティングディフュージョンｆｄを共有することにより得られる効果について説明する。例えば、通常は、１つの画素ずつフォトダイオードｐｄからフローティングディフュージョンｆｄに電荷を転送して、その微小電位変移を増幅回路を介して増幅し、その電圧変移をＡ／Ｄ変換して読み出す。これに対して、フローティングディフュージョンｆｄを共有する場合には、複数の画素の電荷を同時にフローティングディフュージョンｆｄに転送することができるため、複数の画素の加算情報を一度のＡ／Ｄ変換で読み出すことができる。このように、フローティングディフュージョンｆｄの加算読み出し方法を用いることにより、フレームレートを倍速化することができ、かつ、ＳＮＲ（Signal to Noise Ratio）を改善することができる。
［画素制御回路および画素配線の構成例］
図３は、本技術の第１の実施の形態における撮像素子１００の画素制御回路および画素配線の構成例を示す図である。
撮像素子１００は、画素１乃至９と、主制御部２１０と、垂直駆動制御部２２０と、読み出し電流源部２３０と、水平転送部２４０と、ＤＡＣ（Ｄ／Ａコンバータ）２５０と、比較器２６１乃至２６３と、ＣＮＴ（カウンタ回路）２７１乃至２７３とを備える。なお、画素１乃至９、比較器２６１乃至２６３、ＣＮＴ２７１乃至２７３については、その一部のみを示し、他の図示を省略する。
画素１乃至９は、図１に示す各画素、図２に示す各画素に対応する画素であり、マトリクス状（行列状）に配置されている。
主制御部２１０は、メモリ（図示せず）に格納されている制御プログラムに基づいて撮像素子１００における各部を制御するものである。例えば、主制御部２１０は、垂直駆動制御部２２０にどの行を読み出すかを指定するための指示を出す。また、主制御部２１０は、ＤＡＣ２５０およびＣＮＴ２７１乃至２７３にクロックを分配する。
垂直駆動制御部２２０は、主制御部２１０からの指示に基づいて、ロウ方向に配線されている各信号線２８１乃至２８３（ＲＳＴ、ＴＲＧ、ＳＥＬ）を制御して、各画素と、垂直信号線（ＶＳＬ）２９１乃至２９３との間のスイッチをオン／オフするものである。そして、画素と垂直信号線ＶＳＬとの間のスイッチをオンされた場合には、その画素に蓄積された電荷だけ、垂直信号線ＶＳＬの電位が変化する。このように、垂直駆動制御部２２０による各信号線の制御により、画素の一連の読み出し制御が行われる。なお、各信号線については、図４を参照して詳細に説明する。また、各信号線の制御については、図５を参照して詳細に説明する。
読み出し電流源部２３０は、各画素１乃至９に画素信号読出用の動作電流（読出電流）を供給するものである。
ＤＡＣ２５０は、主制御部２１０から分配されたクロックに基づいて、ランプ波を比較器２６１乃至２６３に供給するものである。
比較器２６１は、ＤＡＣ２５０から供給されるランプ波と、垂直信号線（ＶＳＬ）２９１の電位とを比較する比較器であり、そのランプ波と垂直信号線（ＶＳＬ）２９１の電位との比較結果をＣＮＴ２７１に出力する。なお、比較器２６２、２６３についても同様であるため、ここでの説明を省略する。
ＣＮＴ２７１は、比較器２６１の比較時間をカウントし、そのカウント結果を保持するものである。そして、ＣＮＴ２７１は、ＤＡＣ２５０から供給されるランプ波と、垂直信号線（ＶＳＬ）２９１の電位とが交差した旨の比較結果が比較器２６１から出力された場合には、カウント動作を停止し、Ａ／Ｄ（Analog/Digital）変換を終了する。なお、ＣＮＴ２７２、２７３についても同様であるため、ここでの説明を省略する。
水平転送部２４０は、ＣＮＴ２７１乃至２７３による全ての列のＡＤ変換が終了した後に、ＣＮＴ２７１乃至２７３に保持されているカウント結果を画像データ（デジタルデータ）として水平転送するものである。
［画素制御回路および画素配線の構成例］
図４は、本技術の第１の実施の形態における撮像素子１００の画素制御回路および画素配線の構成例を示す図である。図４では、図３に示す画素制御回路および画素配線の構成のうち、画素および配線のみを示し、他の構成については、図示を省略する。
図４に示す複数の画像（画素Ｒ１乃至画素Ｒ１６）は、図２に示す構造を備える画素であり、撮像素子１００において２次元正方格子状に配置されている。また、画素を示す各矩形の内部には、カラーフィルタの種類（Ｒ、Ｇ、Ｂ）および識別番号（１乃至１６）を付して示す。
また、図４では、１つのＦＤ（フローティングディフュージョン）を共有する４つの画素を点線の矩形４２１乃至４２４で囲んで示す。例えば、点線の矩形４２１内の各画素は、図１に示す点線の矩形１０１内の各画素に対応する。また、点線の矩形４２２内の各画素は、図１に示す点線の矩形１０２内の各画素に対応する。
水平方向の各ラインにおいて、画素転送制御信号線（ＴＲＧ）４０１、４０２等と、画素読み出し選択制御信号線（ＳＥＬ）４０３等と、画素リセット制御信号線（ＲＳＴ）４０４等とが配線されている。上述したように、垂直駆動制御部２２０による各信号線の選択制御により、ある１つの画素を指定して出力対象とすることができる。このため、各画素を順次選択しながら時分割で全画素の信号を読み出すことができる。なお、これらの各信号線は、図３に示す各信号線２８１乃至２８３に対応する。
また、垂直カラム方向に垂直信号線（ＶＳＬ）４１３、４１４が配線されており、同じ垂直カラム上にある画素が１つの読み出し線を共有する。なお、垂直信号線（ＶＳＬ）４１３、４１４は、図３に示す垂直信号線（ＶＳＬ）２９１乃至２９３に対応する。
［制御信号のタイミングチャート例］
図５は、本技術の第１の実施の形態における撮像素子１００を構成する各画素への制御信号を模式的に表すタイミングチャートである。図５では、図４に示す画素Ｒ１乃至Ｒ１６に対応するタイミングチャートを示す。また、図５に示す横軸は、時間軸である。また、図５に示す各波形には、対応する図４に示す信号線と同一の符号を付して説明する。
最初に、時間ｔ０のタイミングで、画素リセット制御信号線（ＲＳＴ）４０４、画素転送制御信号線（ＴＲＧ）４０１、４０６がＯＮ（Ｈアクティブ）される。これにより、画素Ｒ１および画素Ｒ６が同時にリセットされる。そして、そのリセット動作終了後に画素Ｒ１および画素Ｒ６が蓄積動作を開始する。同様に、時間ｔ０のタイミングで、画素Ｂ３および画素Ｂ８が同時にリセットされ、そのリセット動作終了後に画素Ｂ３および画素Ｂ８が蓄積動作を開始する。
続いて、時間ｔ１のタイミングで、画素リセット制御信号線（ＲＳＴ）４０４、画素転送制御信号線（ＴＲＧ）４０２、４０５がＯＮされる。これにより、画素Ｇ２および画素Ｇ５が同時にリセットされる。そして、そのリセット動作終了後に画素Ｇ２および画素Ｇ５が蓄積動作を開始する。同様に、時間ｔ１のタイミングで、画素Ｇ４および画素Ｇ７が同時にリセットされ、そのリセット動作終了後に画素Ｇ４および画素Ｇ７が蓄積動作を開始する。
続いて、時間ｔ２のタイミングで、画素リセット制御信号線（ＲＳＴ）４１０、画素転送制御信号線（ＴＲＧ）４０７、４１２がＯＮされる。これにより、画素Ｂ９および画素Ｂ１４が同時にリセットされる。そして、そのリセット動作終了後に画素Ｂ９および画素Ｂ１４が蓄積動作を開始する。同様に、時間ｔ２のタイミングで、画素Ｒ１１および画素Ｒ１６が同時にリセットされ、そのリセット動作終了後に画素Ｒ１１および画素Ｒ１６が蓄積動作を開始する。
続いて、時間ｔ３のタイミングで、画素リセット制御信号線（ＲＳＴ）４１０、画素転送制御信号線（ＴＲＧ）４０８、４１１がＯＮされる。これにより、画素Ｇ１０および画素Ｇ１３が同時にリセットされる。そして、そのリセット動作終了後に画素Ｇ１０および画素Ｇ１３が蓄積動作を開始する。同様に、時間ｔ３のタイミングで、画素Ｇ１２および画素Ｇ１５が同時にリセットされ、そのリセット動作終了後に画素Ｇ１２および画素Ｇ１５が蓄積動作を開始する。
ここで、各リセット動作のタイミング（時間ｔ０乃至ｔ３）と、各読み出し動作のタイミングとの時間間隔は、各画素において一定時間になるように制御される。これにより、全ての画素の露光期間（蓄積時間）が等しくなる。
続いて、時間ｔ４のタイミングで、画素読み出し選択制御信号線（ＳＥＬ）４０３がＯＮされ、時間ｔ５のタイミングで、画素転送制御信号線（ＴＲＧ）４０１、４０６がＯＮされる。これにより、画素Ｒ１および画素Ｒ６の電荷が、共有するＦＤに転送される。同様に、時間ｔ５のタイミングで、画素Ｂ３および画素Ｂ８の電荷も、共有するＦＤに転送される。これにより、それぞれのＦＤに増幅器を介して接続される垂直信号線（ＶＳＬ）４１３、４１４の電圧が変移する。この変移量は、画素Ｒ１および画素Ｒ６、画素Ｂ３および画素Ｂ８に蓄えられた電荷の加算量である。
続いて、時間ｔ６のタイミングで、画素転送制御信号線（ＴＲＧ）４０２、４０５がＯＮされ、画素Ｇ２および画素Ｇ５の電荷が、共有するＦＤに転送される。同様に、時間ｔ６のタイミングで、画素Ｇ４および画素Ｇ７の電荷が、共有するＦＤに転送される。これにより、それぞれのＦＤに増幅器を介して接続される垂直信号線（ＶＳＬ）４１３、４１４の電圧が変移する。
続いて、時間ｔ７のタイミングで、画素読み出し選択制御信号線（ＳＥＬ）４０９がＯＮされ、時間ｔ８のタイミングで、画素転送制御信号線（ＴＲＧ）４０７、４１２がＯＮされる。これにより、画素Ｂ９および画素Ｂ１４の電荷が、共有するＦＤに転送される。同様に、時間ｔ８のタイミングで、画素Ｒ１１および画素Ｒ１６の電荷が、共有するＦＤに転送される。これにより、それぞれのＦＤに増幅器を介して接続される垂直信号線（ＶＳＬ）４１３、４１４の電圧が変移する。
続いて、時間ｔ９のタイミングで、画素転送制御信号線（ＴＲＧ）４０８、４１１がＯＮされ、画素Ｂ９および画素Ｂ１４の電荷が、共有するＦＤに転送される。同様に、時間ｔ９のタイミングで、画素Ｒ１１および画素Ｒ１６の電荷が、共有するＦＤに転送される。これにより、それぞれのＦＤに増幅器を介して接続されるＶＳＬ４１３、４１４の電圧が変移する。
このように、一連の動作により、画素共有単位を構成する４つの画素のうち、斜め方向の同一色の画素の電荷量を加算した増幅電位が、それぞれに接続されている垂直信号線（ＶＳＬ）４１３、４１４に出力される。
すなわち、撮像素子１００は、一対のＧ画素および一対のＲ画素が対角上に配置されている第１画素群（画素共有単位）と、一対のＧ画素および一対のＢ画素が対角上に配置されている第２画素群（画素共有単位）とが格子状に配置されている。そして、撮像素子１００は、各画素からの画像信号を、各画素群（画素共有単位）を構成する一対の同一種類の画素毎にアナログ加算して出力信号とする。
また、撮像素子１００において、各画素群（画素共有単位）を構成する各画素で１つのフローティングディフュージョン（ＦＤ）を共有する。そして、各画素群（画素共有単位）を構成する一対の同一種類の画素毎に露光開始および終了タイミングを制御することにより、各画素群（画素共有単位）を構成する一対の同一種類の画素毎の画像信号をアナログ加算する。
また、本技術の第１の実施の形態は、撮像素子１００における各画素からの画像信号を、各画素からの画像信号を、各画素群（画素共有単位）を構成する一対の同一種類の画素毎にアナログ加算して出力信号とする撮像方法として把握することができる。
また、このようにアナログ加算して出力される画像信号（出力信号）については、画像処理部において各種画像処理が行われる。以下では、撮像素子１００を備える撮像装置６００において行われる画像処理の例を示す。
［撮像装置の機能構成例］
図６は、本技術の第１の実施の形態における撮像装置６００の機能構成例を示すブロック図である。
撮像装置６００は、撮像素子１００と、画像処理部６２０と、記録制御部６３０と、コンテンツ記憶部６４０と、表示制御部６５０と、表示部６６０と、制御部６７０と、操作受付部６８０とを備える。
撮像素子１００は、制御部６７０の指示に基づいて、画像信号を生成するものであり、生成された画像信号を画像処理部６２０に出力する。具体的には、撮像素子１００は、光学系（図示せず）を介して入射された被写体の光を電気信号に変換する。また、光学系は、被写体からの入射光を集光するレンズ群や絞りにより構成され、このレンズ群により集光された光が絞りを介して撮像素子１００に入射される。
画像処理部６２０は、制御部６７０の指示に基づいて、撮像素子１００から出力された画像信号（デジタル信号）について各種画像処理を施すものである。そして、画像処理部６２０は、各種画像処理が施された画像信号（画像データ）を記録制御部６３０および表示制御部６５０に出力する。なお、この画像処理については、図７を参照して詳細に説明する。
記録制御部６３０は、制御部６７０の指示に基づいて、コンテンツ記憶部６４０に対する記録制御を行うものである。例えば、記録制御部６３０は、画像処理部６２０から出力された画像（画像データ）を画像コンテンツ（静止画ファイルまたは動画ファイル）としてコンテンツ記憶部６４０に記録させる。
コンテンツ記憶部６４０は、記録制御部６３０の制御に基づいて、各種情報（画像コンテンツ等）を記憶する記録媒体である。なお、コンテンツ記憶部６４０は、撮像装置６００に内蔵するようにしてもよく、撮像装置６００から着脱可能とするようにしてもよい。
表示制御部６５０は、制御部６７０の指示に基づいて、画像処理部６２０から出力された画像を表示部６６０に表示させるものである。例えば、表示制御部６５０は、撮像動作に関する各種操作を行うための表示画面や、撮像素子１００により生成された画像（いわゆる、スルー画像）を表示部６６０に表示させる。
表示部６６０は、表示制御部６５０の制御に基づいて各画像を表示する表示パネルである。
制御部６７０は、メモリ（図示せず）に格納されている制御プログラムに基づいて撮像装置６００における各部を制御するものである。例えば、制御部６７０は、画像処理部６２０により画像処理が施された画像信号（画像データ）の出力制御（表示制御）または記録制御を行う。
操作受付部６８０は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号（操作信号）を制御部６７０に出力する。
［画像処理例］
図７は、本技術の第１の実施の形態における撮像装置６００において行われる画像処理の流れを模式的に示す図である。
図７（ａ）には、撮像素子１００の受光部に装着されるカラーフィルタの画素配列の一例を示す。なお、図７（ａ）は、図１等に示す画素配列と同様である。
図７（ｂ）には、図７（ａ）に示す画素をアナログ加算した後の出力データ（出力信号）の配列の構成例を示す。
最初に、図７（ａ）に示す点線の矩形７００内の４つの画素（画素共有単位）について説明する。矩形７００内の４つの画素のうち、２つのＧ画素（矢印７０１で結ぶＧ画素）がアナログ加算された場合には、加算信号の重心位置は、点線の矩形７００内の４つの画素の中心位置となる。同様に、図７（ａ）に示す点線の矩形７１０内の４つの画素のうち、２つのＧ画素（矢印７１１で結ぶＧ画素）がアナログ加算された場合についても、加算信号の重心位置は、点線の矩形７１０内の４つの画素の中心位置となる。
ここで、Ｇ画素は、画素共有単位（画素共有の最少単位）を構成する４つの画素において、必ず２画素存在する。このため、Ｇ画素をアナログ加算した後の出力の重心位置は、４画素共有の中心位置となる。すなわち、図７（ｂ）に示すように、Ｇ画素については、アナログ加算した後の４画素共有の中心に位置するデータが、縦横半分の解像度の空間上に均一に隙間なく配置される。
なお、図７（ｂ）に示す点線の矩形７０５は、図７（ａ）に示す矩形７００内の２つのＧ画素（矢印７０１で結ぶＧ画素）をアナログ加算した後の出力データに対応する。また、図７（ｂ）に示す点線の矩形７１５は、図７（ａ）に示す矩形７１０内の２つのＧ画素（矢印７１１で結ぶＧ画素）をアナログ加算した後の出力データに対応する。
また、画素共有単位内には、Ｇ画素以外にＲ画素またはＢ画素の２画素が存在する。このＲ画素またはＢ画素の２画素についても、Ｇ画素と同様に、アナログ加算することにより、加算信号の重心位置は、Ｇ画素と全く同じ位置となる。例えば、図７（ａ）に示す点線の矩形７００内の４つの画素のうち、２つのＲ画素（矢印７０２で結ぶＲ画素）がアナログ加算された場合には、加算信号の重心位置は、点線の矩形７００内の４つの画素の中心位置となる。同様に、図７（ａ）に示す点線の矩形７１０内の４つの画素のうち、２つのＢ画素（矢印７１２で結ぶＢ画素）がアナログ加算された場合には、加算信号の重心位置は、点線の矩形７１０内の４つの画素の中心位置となる。
なお、図７（ｂ）に示す点線の矩形７０６は、図７（ａ）に示す矩形７００内の２つのＲ画素（矢印７０２で結ぶＲ画素）をアナログ加算した後の出力データに対応する。また、図７（ｂ）に示す点線の矩形７１６は、図７（ａ）に示す矩形７１０内の２つのＢ画素（矢印７１２で結ぶＢ画素）をアナログ加算した後の出力データに対応する。
このように、Ｒ画素およびＢ画素についても、画素共有単位内のＧ画素と同じ重心位置となるように出力される。ただし、Ｒ画素およびＢ画素の場合には、図７（ｂ）に示すように、Ｒ画素およびＢ画素が市松状の配列となる。
すなわち、図７（ｂ）に示すように、一対のＧ画素についてアナログ加算された画像信号によりＧ画素の画像データ（第１画像データ）が構成される。例えば、この第１画像データにより第１フレーム７２０が構成される。また、一対のＲ画素についてアナログ加算された画像信号によりＲ画素の画像データ（第２画像データ）が構成される。また、一対のＢ画素についてアナログ加算された画像信号によりＢ画素の画像データ（第３画像データ）が構成される。例えば、この第２画像データおよび第３画像データにより第２フレーム７３０が構成される。この第２フレーム７３０は、例えば、Ｒ画素の画像データ（第２画像データ）により構成されるラインと、Ｂ画素の画像データ（第３画像データ）により構成されるラインとが斜め方向において交互に配置される。
また、画像処理部６２０は、これらの各画像データ（例えば、図７（ｂ）に示す第１フレーム７２０および第２フレーム７３０）を用いて画像処理（例えば、デモザイク処理）を行うことができる。また、制御部６７０は、これらの各データを保持しておき、他の処理に用いるようにしてもよい。
例えば、図７（ｂ）に示す画像データについてＲＢＧ画素への変換処理（デモザイク処理）をする場合を想定する。この場合には、Ｇ画素については、縦横加算され、かつ、重心位置も所望の位置の信号となっているため、特別な演算処理を行う必要がない。このため、Ｇ画素に関する演算処理を削減することができる。また、Ｒ画素およびＢ画素についても、重心処理を行う必要がない。なお、市松状に空いている空間画素領域に関しては、データのある周りの画素から容易に推定することができる。また、これらのデータを保持することにより、簡単にＲＧＢ変換を行うことができる。
このように加算処理が行われた画像信号についてＲＧＢ変換等の画像処理を行う場合には、演算処理を行う大幅に削減することができる。このため、画像処理回路を極めて小さくすることが可能となる。
このように、本技術の第１の実施の形態では、例えば、ＣＭＯＳセンサにおいて、ベイヤ配列でないカラーフィルタを用いて、斜め方向に位置する同色画素を同時にアナログ加算して読み出すことができる。例えば、図１に示すようなカラーフィルタの配列における加算読み出しが可能となる。また、このような加算読み出しによりフレームレートを倍速化することができ、アナログ加算によりＳＮＲ（Signal to Noise Ratio）を向上させることができる。また、アナログ加算後の画素重心を共有４画素の中心位置とすることができるため、重心処理を行う必要がなく、画像処理にかかる負荷を軽減させることができる。また、正確な重心位置を用いることができるため、画質を高めることができる。このように、ＲＧＢの斜め配列においてのカラーフィルタの加算読み出しを実現することができる。
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、各画素の露光期間が同一となる場合における加算読み出しの例を示した。ここで、複数の画素について周期的に露光期間を変更して読み出しを行う撮像素子が提案されている。
そこで、本技術の第２の実施の形態では、複数の画素について周期的に露光期間を変更して読み出しを行う撮像素子の例を示す。なお、本技術の第２の実施の形態における撮像素子の構成については、図１乃至図３等に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
［カラーフィルタの画素配列例］
図８は、本技術の第２の実施の形態における撮像素子１００の受光部に装着されるカラーフィルタの画素配列の一例を示す図である。なお、図８は、図１に示すカラーフィルタの画素配列において、ＳＶＥ（Spatially Varying Exposure）加算読み出し方式を行う場合における画素配列例を示す。
ここで、１フレーム内の撮像において、通常では、全画素について同一の露光期間で撮像される。これに対して、ＳＶＥは、１フレーム内の撮像において、１フレーム内で周期的に露光期間を変えて撮像し、信号処理技術を用いて広ダイナミックレンジ化等の効果を実現する撮像方法である。なお、図８では、２種類の露光期間（長時間露光、短時間露光）とする例を示す。
ここで、長時間露光を行う画素を長時間露光画素と称し、短時間露光を行う画素を短時間露光画素と称して説明する。すなわち、長時間露光画素は、一定の露光期間内に連続して露光（長時間露光）して読み出す画素である。また、短時間露光画素は、一定の露光期間内に断続的に露光（短時間露光）しその都度読み出しを行う画素である。
また、図８では、長時間露光を行う画素の矩形には内部に斜線を付さず、短時間露光を行う画素の矩形には内部に斜線を付して示す。また、各矩形の内部には、カラーフィルタの種類を示す記号を示す。例えば、Ｇ画素のうちの長時間露光画素には「ＧＬ」を付し、短時間露光画素には「ＧＳ」を付す。また、Ｒ画素のうちの長時間露光画素には「ＲＬ」を付し、短時間露光画素には「ＲＳ」を付す。さらに、Ｂ画素のうちの長時間露光画素には「ＢＬ」を付し、短時間露光画素には「ＢＳ」を付す。
このように、図８に示す例では、第一画素群（短時間露光画素群）と、第二画素群（長時間露光画素群）とが垂直方向において２ライン毎に交互に配置されている。また、水平方向（特定方向）における画素共有単位により構成されるラインのうち、長時間露光画素群により構成されるライン（斜線が付されていない２ライン）を第１ラインとする。また、水平方向における画素共有単位により構成されるラインのうち、短時間露光画素群により構成されるライン（斜線が付されている２ライン）を第２ラインとする。この場合には、第１ラインおよび２ラインが垂直方向（直交方向）において交互に配置される。
また、垂直方向において２ライン毎に異なる露光期間（長時間露光、短時間露光）で読み出しを行うことにより、加算読み出し後の出力を１ライン毎に露光期間が異なる画素配列の出力とすることができる。この例を図１０（ｂ）に示す。このように出力される画像信号について画像信号処理を行うことにより、高ダイナミックレンジの画像を得ることができる。
また、加算動作は、ＦＤによるアナログ加算方式をとるため、ＳＮ比を非加算読み出し時と比較して２倍改善することができる。また、フレームレートについても２倍の読み出し速度を得ることができる。
［制御信号のタイミングチャート例］
図９は、本技術の第２の実施の形態における撮像素子１００を構成する各画素への制御信号を模式的に表すタイミングチャートである。図９には、撮像素子１００において、ＳＶＥ加算読み出しを実現するためのタイミングチャートを示す。なお、図９は、図５の変形例であるため、図５と共通する各信号線については、図５と同一の符号を付して、これらの詳細な説明を省略する。
また、図９では、図４に示す画素Ｒ１乃至Ｒ１６のうち、上側の２ライン（画素Ｒ１乃至Ｂ８）を長時間露光画素とし、下側の２ライン（画素Ｂ９乃至Ｒ１６）を短時間露光画素とする場合について説明する。
ここで、読み出し方法については、図５に示す例と基本的に同じであるが、垂直方向における２ライン毎に露光期間を変更する点が異なる。具体的には、上側の２ラインを構成する画素Ｒ１、Ｒ６、Ｂ３、Ｂ８については、長時間露光の露光期間ＥＬ１（時間ｔ１０からｔ１５までの露光期間）とする。また、上側の２ラインを構成する画素Ｇ２、Ｇ５、Ｇ４、Ｇ７については、長時間露光の露光期間ＥＬ２（時間ｔ１１からｔ１６までの露光期間）とする。
また、下側の２ラインを構成する画素Ｂ９、Ｂ１４、Ｒ１１、Ｒ１６については、短時間露光の露光期間ＥＳ１（時間ｔ１２からｔ１８までの露光期間）とする。また、下側の２ラインを構成する画素Ｇ１０、Ｇ１３、Ｇ１２、Ｇ１５については、短時間露光の露光期間ＥＳ２（時間ｔ１３からｔ１９までの露光期間）とする。
図９に示すように、各露光期間ＥＬ１、ＥＬ２、ＥＳ１、ＥＳ２となるように撮像制御を行い、本技術の第１の実施の形態と同様に加算読み出しを行うことにより、ＳＶＥ加算読み出しを実現することができる。
［画像処理例］
図１０は、本技術の第２の実施の形態における撮像装置６００において行われる画像処理の流れを模式的に示す図である。なお、図１０は、図７の変形例であり、垂直方向において２ライン毎に長時間露光画素および短時間露光画素となる点が異なる。
ここで、図６に示す画像処理部６２０は、撮像素子１００における長時間露光画素および短時間露光画素から出力された画像信号についてＨＤＲ（High Dynamic Range）合成処理を行う。これにより、画像処理部６２０は、高ダイナミックレンジの画像を生成することができる。
図１０（ａ）には、撮像素子１００の受光部に装着されるカラーフィルタの画素配列の一例を示す。なお、図１０（ａ）は、図８等に示す画素配列と同様である。
図１０（ｂ）には、図１０（ａ）に示す画素をアナログ加算した後の出力データ（出力信号）の配列の構成例を示す。
また、図１０（ｂ）に示す点線の矩形７５５は、図１０（ａ）に示す矩形７５０内の２つのＧ画素（矢印７５１で結ぶＧ画素）をアナログ加算した後の出力データに対応する。また、図１０（ｂ）に示す点線の矩形７６５は、図１０（ａ）に示す矩形７６０内の２つのＧ画素（矢印７６１で結ぶＧ画素）をアナログ加算した後の出力データに対応する。なお、図１０（ｂ）に示す点線の矩形７６５内の出力データは、短時間露光に対応するため、点線の矩形７６５の内部に斜線を付して示す。また、他の斜線についても同様である。
また、図１０（ｂ）に示す点線の矩形７５６は、図１０（ａ）に示す矩形７５０内の２つのＲ画素（矢印７５２で結ぶＧ画素）をアナログ加算した後の出力データに対応する。また、図１０（ｂ）に示す点線の矩形７６６は、図１０（ａ）に示す矩形７６０内の２つのＲ画素（矢印７６２で結ぶＲ画素）をアナログ加算した後の出力データに対応する。なお、図１０（ｂ）に示す点線の矩形７６６内の出力データは、短時間露光に対応するため、点線の矩形７６６の内部に斜線を付して示す。また、他の斜線についても同様である。
このように、長時間露光画素および短時間露光画素が混在する撮像素子についても、画素共有単位内のＧ、Ｒ、Ｂ画素と同じ重心位置となるように出力される。ただし、Ｒ画素およびＢ画素の場合には、図１０（ｂ）に示すように、Ｒ画素およびＢ画素が市松状の配列となり、垂直方向において１ライン毎に長時間露光画素および短時間露光画素に対応する出力データとなる。
すなわち、図１０（ｂ）に示すように、一対のＧ画素についてアナログ加算された画像信号によりＧ画素の画像データ（第１画像データ）が構成される。例えば、この第１画像データにより第１フレーム７７０が構成される。また、一対のＲ画素についてアナログ加算された画像信号によりＲ画素の画像データ（第２画像データ）が構成される。また、一対のＢ画素についてアナログ加算された画像信号によりＢ画素の画像データ（第３画像データ）が構成される。例えば、この第２画像データおよび第３画像データにより第２フレーム７８０が構成される。この第２フレーム７８０は、例えば、Ｒ画素の画像データ（第２画像データ）により構成されるラインと、Ｂ画素の画像データ（第３画像データ）により構成されるラインとが斜め方向において交互に配置される。また、長時間露光画素の画像データおよび短時間露光画素の画像データが垂直方向において交互に配置される。
また、画像処理部６２０は、これらの各画像データ（例えば、図１０（ｂ）に示す第１フレーム７７０および第２フレーム７８０）を用いて画像処理（例えば、ＨＤＲ合成処理）を行うことができる。また、制御部６７０は、これらの各データを保持しておき、他の処理に用いるようにしてもよい。
このようにＨＤＲ合成処理を行う場合についても、本技術の第１の実施の形態と同様に、演算処理を行う大幅に削減することができる。このため、画像処理回路を極めて小さくすることが可能となる。
このように、本技術の第２の実施の形態によれば、ＳＶＥ時においても加算読み出しを行うことができる。
なお、本技術の実施の形態では、撮像装置６００を例にして説明したが、撮像素子を備える撮像部を有する電子機器（例えば、撮像部を内蔵する携帯電話装置）に本技術の実施の形態を適用することができる。
また、本技術の実施の形態では、撮像素子の画素の分光感度をＲＧＢ３原色とする場合における例について説明したが、ＲＧＢ３原色以外の分光感度を有する画素を用いるようにしてもよい。例えば、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の補色系の分光感度を有する画素を用いることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
なお、本技術は以下のような構成もとることができる。
（１） 一対の第１の分光感度の画素および一対の第２の分光感度の画素が対角上に配置されている第１画素群と、一対の前記第１の分光感度の画素および一対の第３の分光感度の画素が対角上に配置されている第２画素群とが格子状に配置され、前記各画素からの画像信号を、前記各画素群を構成する前記一対の各分光感度の画素毎にアナログ加算して出力信号とする撮像素子。
（２） 特定方向における前記第１画素群および前記第２画素群により構成されるラインのうち、所定期間内に連続した露光により長時間露光画像を生成するための画素により構成されるラインを第１ラインとし、前記特定方向における前記第１画素群および前記第２画素群により構成されるラインのうち、前記所定期間内に断続した露光により複数の短時間露光画像を生成するための画素により構成されるラインを第２ラインとして、前記第１ラインおよび前記２ラインが前記特定方向に直交する直交方向において交互に配置される前記（１）に記載の撮像素子。
（３） 前記第１画素群および前記第２画素群は、特定方向に２画素が配置され、前記特定方向に直交する直交方向に２画素が配置される行列状の画素群である前記（１）または（２）に記載の撮像素子。
（４） 前記第１画素群を構成する前記一対の第１の分光感度の画素の前記第１画素群における位置と、前記第２画素群を構成する前記一対の第１の分光感度の画素の前記第２画素群における位置とが同一である前記（３）に記載の撮像素子。
（５） 斜め方向において前記第１の分光感度の画素により構成されるラインを第１ラインとし、前記斜め方向において前記第２の分光感度の画素により構成されるラインを第２ラインとし、前記斜め方向において前記第３の分光感度の画素により構成されるラインを第３ラインとして、前記斜め方向に直交する直交方向において前記第１ラインと、前記第２ラインおよび第３ラインとが交互に配置される前記（１）から（４）のいずれかに記載の撮像素子。
（６） 前記各画素群を構成する各画素で１つのフローティングディフュージョンを共有し、
前記一対の各分光感度の画素毎に露光開始および終了タイミングを制御することにより前記一対の各分光感度の画素毎の画像信号をアナログ加算する
前記（１）から（５）のいずれかに記載の撮像素子。
（７） 前記第１の分光感度の画素は、Ｇ画素であり、前記第２の分光感度の画素は、Ｒ画素であり、前記第３の分光感度の画素は、Ｂ画素である前記（１）から（６）のいずれかに記載の撮像素子。
（８） 一対の第１の分光感度の画素および一対の第２の分光感度の画素が対角上に配置されている第１画素群と、一対の前記第１の分光感度の画素および一対の第３の分光感度の画素が対角上に配置されている第２画素群とが格子状に配置され、前記各画素からの画像信号を、前記各画素群を構成する前記一対の各分光感度の画素毎にアナログ加算して出力信号とする撮像素子と、
前記一対の第１の分光感度の画素についてアナログ加算された画像信号により構成される第１画像データと、前記一対の第２の分光感度の画素についてアナログ加算された画像信号により構成される第２画像データと、前記一対の第３の分光感度の画素についてアナログ加算された画像信号により構成される第３画像データとを用いて画像処理を行う画像処理部と
を具備する撮像装置。
（９） 前記画像処理部は、前記第１画像データにより構成される第１フレームと、前記第２画像データおよび前記第３画像データにより構成される第２フレームとを用いて前記画像処理を行う前記（８）に記載の撮像装置。
（１０） 前記第２フレームは、前記第２画像データにより構成されるラインと、前記第３画像データにより構成されるラインとが斜め方向において交互に配置される前記（９）に記載の撮像装置。
（１１） 一対の第１の分光感度の画素および一対の第２の分光感度の画素が対角上に配置されている第１画素群と、一対の前記第１の分光感度の画素および一対の第３の分光感度の画素が対角上に配置されている第２画素群とが格子状に配置され、前記各画素からの画像信号を、前記各画素群を構成する前記一対の各分光感度の画素毎にアナログ加算して出力信号とする撮像素子と、
前記一対の第１の分光感度の画素についてアナログ加算された画像信号により構成される第１画像データと、前記一対の第２の分光感度の画素についてアナログ加算された画像信号により構成される第２画像データと、前記一対の第３の分光感度の画素についてアナログ加算された画像信号により構成される第３画像データとを用いて画像処理を行う画像処理部と、
前記画像処理が施された画像データの出力制御または記録制御を行う制御部と
を具備する電子機器。
（１２） 一対の第１の分光感度の画素および一対の第２の分光感度の画素が対角上に配置されている第１画素群と、一対の前記第１の分光感度の画素および一対の第３の分光感度の画素が対角上に配置されている第２画素群とが格子状に配置されている撮像素子における前記各画素からの画像信号を、前記各画素群を構成する前記一対の各分光感度の画素毎にアナログ加算して出力信号とする撮像方法。
１００ 撮像素子
２１０ 主制御部
２２０ 垂直駆動制御部
２３０ 読み出し電流源部
２４０ 水平転送部
２５０ ＤＡＣ
２６１〜２６３ 比較器
２７１〜２７３ ＣＮＴ
２８１〜２８３、２９１〜２９３ 信号線
６００ 撮像装置
６２０ 画像処理部
６３０ 記録制御部
６４０ コンテンツ記憶部
６５０ 表示制御部
６６０ 表示部
６７０ 制御部
６８０ 操作受付部

Claims (12)

  1. 一対の第１の分光感度の画素および一対の第２の分光感度の画素が対角上に配置されている第１画素群と、一対の前記第１の分光感度の画素および一対の第３の分光感度の画素が対角上に配置されている第２画素群とが格子状に配置され、前記各画素からの画像信号を、前記各画素群を構成する前記一対の各分光感度の画素毎にアナログ加算して出力信号とする撮像素子。
  2. 特定方向における前記第１画素群および前記第２画素群により構成されるラインのうち、所定期間内に連続した露光により長時間露光画像を生成するための画素により構成されるラインを第１ラインとし、前記特定方向における前記第１画素群および前記第２画素群により構成されるラインのうち、前記所定期間内に断続した露光により複数の短時間露光画像を生成するための画素により構成されるラインを第２ラインとして、前記第１ラインおよび前記２ラインが前記特定方向に直交する直交方向において交互に配置される請求項１記載の撮像素子。
  3. 前記第１画素群および前記第２画素群は、特定方向に２画素が配置され、前記特定方向に直交する直交方向に２画素が配置される行列状の画素群である請求項１記載の撮像素子
  4. 前記第１画素群を構成する前記一対の第１の分光感度の画素の前記第１画素群における位置と、前記第２画素群を構成する前記一対の第１の分光感度の画素の前記第２画素群における位置とが同一である請求項３記載の撮像素子
  5. 斜め方向において前記第１の分光感度の画素により構成されるラインを第１ラインとし、前記斜め方向において前記第２の分光感度の画素により構成されるラインを第２ラインとし、前記斜め方向において前記第３の分光感度の画素により構成されるラインを第３ラインとして、前記斜め方向に直交する直交方向において前記第１ラインと、前記第２ラインおよび第３ラインとが交互に配置される請求項１記載の撮像素子。
  6. 前記各画素群を構成する各画素で１つのフローティングディフュージョンを共有し、
    前記一対の各分光感度の画素毎に露光開始および終了タイミングを制御することにより前記一対の各分光感度の画素毎の画像信号をアナログ加算する
    請求項１記載の撮像素子。
  7. 前記第１の分光感度の画素は、Ｇ画素であり、前記第２の分光感度の画素は、Ｒ画素であり、前記第３の分光感度の画素は、Ｂ画素である請求項１記載の撮像素子。
  8. 一対の第１の分光感度の画素および一対の第２の分光感度の画素が対角上に配置されている第１画素群と、一対の前記第１の分光感度の画素および一対の第３の分光感度の画素が対角上に配置されている第２画素群とが格子状に配置され、前記各画素からの画像信号を、前記各画素群を構成する前記一対の各分光感度の画素毎にアナログ加算して出力信号とする撮像素子と、
    前記一対の第１の分光感度の画素についてアナログ加算された画像信号により構成される第１画像データと、前記一対の第２の分光感度の画素についてアナログ加算された画像信号により構成される第２画像データと、前記一対の第３の分光感度の画素についてアナログ加算された画像信号により構成される第３画像データとを用いて画像処理を行う画像処理部と
    を具備する撮像装置。
  9. 前記画像処理部は、前記第１画像データにより構成される第１フレームと、前記第２画像データおよび前記第３画像データにより構成される第２フレームとを用いて前記画像処理を行う請求項８記載の撮像装置。
  10. 前記第２フレームは、前記第２画像データにより構成されるラインと、前記第３画像データにより構成されるラインとが斜め方向において交互に配置される請求項９記載の撮像装置。
  11. 一対の第１の分光感度の画素および一対の第２の分光感度の画素が対角上に配置されている第１画素群と、一対の前記第１の分光感度の画素および一対の第３の分光感度の画素が対角上に配置されている第２画素群とが格子状に配置され、前記各画素からの画像信号を、前記各画素群を構成する前記一対の各分光感度の画素毎にアナログ加算して出力信号とする撮像素子と、
    前記一対の第１の分光感度の画素についてアナログ加算された画像信号により構成される第１画像データと、前記一対の第２の分光感度の画素についてアナログ加算された画像信号により構成される第２画像データと、前記一対の第３の分光感度の画素についてアナログ加算された画像信号により構成される第３画像データとを用いて画像処理を行う画像処理部と、
    前記画像処理が施された画像データの出力制御または記録制御を行う制御部と
    を具備する電子機器。
  12. 一対の第１の分光感度の画素および一対の第２の分光感度の画素が対角上に配置されている第１画素群と、一対の前記第１の分光感度の画素および一対の第３の分光感度の画素が対角上に配置されている第２画素群とが格子状に配置されている撮像素子における前記各画素からの画像信号を、前記各画素群を構成する前記一対の各分光感度の画素毎にアナログ加算して出力信号とする撮像方法。
JP2012003998A 2012-01-12 2012-01-12 撮像素子、撮像装置、電子機器および撮像方法 Abandoned JP2013143730A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012003998A JP2013143730A (ja) 2012-01-12 2012-01-12 撮像素子、撮像装置、電子機器および撮像方法
US13/722,403 US20130182165A1 (en) 2012-01-12 2012-12-20 Image sensor, imaging apparatus, electronic device, and imaging method
CN2013100130890A CN103209309A (zh) 2012-01-12 2013-01-14 图像传感器、成像装置、电子设备和成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012003998A JP2013143730A (ja) 2012-01-12 2012-01-12 撮像素子、撮像装置、電子機器および撮像方法

Publications (1)

Publication Number Publication Date
JP2013143730A true JP2013143730A (ja) 2013-07-22

Family

ID=48756377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012003998A Abandoned JP2013143730A (ja) 2012-01-12 2012-01-12 撮像素子、撮像装置、電子機器および撮像方法

Country Status (3)

Country Link
US (1) US20130182165A1 (ja)
JP (1) JP2013143730A (ja)
CN (1) CN103209309A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150138078A (ko) * 2014-05-30 2015-12-09 애플 인크. 이미지 센서의 픽셀 비닝
JP2016009872A (ja) * 2014-06-20 2016-01-18 日本放送協会 撮像素子および撮像装置
US11910113B2 (en) 2018-05-23 2024-02-20 Nikon Corporation Image sensor and image-capturing device having pixels for focus detection and pixels for image generation

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175600A (ja) 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
US8786732B2 (en) * 2012-10-31 2014-07-22 Pixon Imaging, Inc. Device and method for extending dynamic range in an image sensor
JP6390429B2 (ja) * 2012-12-25 2018-09-19 ソニー株式会社 固体撮像素子およびその駆動方法、並びに電子機器
CN110086980B (zh) * 2013-05-31 2022-06-24 株式会社尼康 电子设备
JP2015012303A (ja) * 2013-06-26 2015-01-19 ソニー株式会社 固体撮像装置および電子機器
JP6137539B2 (ja) * 2013-07-29 2017-05-31 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器
US20150070569A1 (en) * 2013-09-09 2015-03-12 Broadcom Corporation Enhanced Dynamic Range Image Processing
CN106255441B (zh) * 2014-07-09 2018-10-02 奥林巴斯株式会社 内窥镜装置
US9894304B1 (en) * 2014-08-18 2018-02-13 Rambus Inc. Line-interleaved image sensors
JP6740905B2 (ja) * 2015-02-12 2020-08-19 ソニー株式会社 撮像装置およびその制御方法
US9819913B2 (en) * 2015-08-26 2017-11-14 Stmicroelectronics International N.V. Image sensor device with macropixel processing and related devices and methods
KR102382835B1 (ko) 2015-12-03 2022-04-06 삼성전자주식회사 다양한 동작 모드를 지원하는 이미지 센서 및 그 동작 방법
CN105516696A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器、成像方法、成像装置和电子装置
JP6975908B2 (ja) * 2017-02-28 2021-12-01 パナソニックＩｐマネジメント株式会社 撮像システム及び撮像方法
CN109120835B (zh) * 2018-10-31 2020-10-16 锐芯微电子股份有限公司 图像传感器像素电路及其工作方法
WO2020177123A1 (en) * 2019-03-07 2020-09-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Color imaging system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2381688B1 (en) * 2001-01-09 2014-06-25 Sony Corporation Image pick up device
US7446812B2 (en) * 2004-01-13 2008-11-04 Micron Technology, Inc. Wide dynamic range operations for imaging
US7773138B2 (en) * 2006-09-13 2010-08-10 Tower Semiconductor Ltd. Color pattern and pixel level binning for APS image sensor using 2×2 photodiode sharing scheme
US7777804B2 (en) * 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
KR101580168B1 (ko) * 2008-12-30 2015-12-24 주식회사 동부하이텍 컬러 보간 장치
US8350940B2 (en) * 2009-06-08 2013-01-08 Aptina Imaging Corporation Image sensors and color filter arrays for charge summing and interlaced readout modes
US8749665B2 (en) * 2011-01-31 2014-06-10 SK Hynix Inc. Dynamic range extension for CMOS image sensors for mobile applications
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150138078A (ko) * 2014-05-30 2015-12-09 애플 인크. 이미지 센서의 픽셀 비닝
KR101696309B1 (ko) 2014-05-30 2017-01-13 애플 인크. 이미지 센서의 픽셀 비닝
JP2016009872A (ja) * 2014-06-20 2016-01-18 日本放送協会 撮像素子および撮像装置
US11910113B2 (en) 2018-05-23 2024-02-20 Nikon Corporation Image sensor and image-capturing device having pixels for focus detection and pixels for image generation

Also Published As

Publication number Publication date
CN103209309A (zh) 2013-07-17
US20130182165A1 (en) 2013-07-18

Similar Documents

Publication Publication Date Title
JP2013143730A (ja) 撮像素子、撮像装置、電子機器および撮像方法
US9942482B2 (en) Image sensor with transfer gate control signal lines
JP5106052B2 (ja) 固体撮像素子、撮像システム、及び固体撮像素子の駆動方法
JP4611296B2 (ja) 電荷ビニング型イメージセンサ
US9674469B2 (en) Solid-state imaging device, method of driving the same, and electronic apparatus
JP5988744B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP5423125B2 (ja) 固体撮像素子およびその駆動方法、並びにカメラシステム
US20150237282A1 (en) Image pickup device and image pickup apparatus
JP5526840B2 (ja) 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
JP5635092B2 (ja) 固体撮像素子および当該固体撮像素子を備える撮像装置、ならびに撮像制御方法および撮像制御プログラム
JP2013066140A (ja) 撮像装置、および信号処理方法、並びにプログラム
US9253427B2 (en) Solid-state image pickup apparatus capable of realizing image pickup with wide dynamic range and at high frame rate, control method therefor, and storage medium
CN111133750B (zh) 图像传感器和摄像设备
JP7091052B2 (ja) 撮像素子及び撮像装置
JP2016131326A (ja) 固体撮像装置
JP2014064251A (ja) 固体撮像装置及び撮像方法
JP2013070180A (ja) 固体撮像素子および固体撮像装置
JP6393087B2 (ja) 撮像素子及び撮像装置
JP2015180006A (ja) 固体撮像素子およびその駆動方法、並びに撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141217

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20150401