JP6909050B2 - 固体撮像素子及び撮像装置 - Google Patents

固体撮像素子及び撮像装置 Download PDF

Info

Publication number
JP6909050B2
JP6909050B2 JP2017099032A JP2017099032A JP6909050B2 JP 6909050 B2 JP6909050 B2 JP 6909050B2 JP 2017099032 A JP2017099032 A JP 2017099032A JP 2017099032 A JP2017099032 A JP 2017099032A JP 6909050 B2 JP6909050 B2 JP 6909050B2
Authority
JP
Japan
Prior art keywords
image
counter
imaging
count value
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017099032A
Other languages
English (en)
Other versions
JP2018196015A (ja
Inventor
槙子 齋藤
槙子 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017099032A priority Critical patent/JP6909050B2/ja
Priority to US15/978,781 priority patent/US10652494B2/en
Publication of JP2018196015A publication Critical patent/JP2018196015A/ja
Priority to JP2021109964A priority patent/JP7223070B2/ja
Application granted granted Critical
Publication of JP6909050B2 publication Critical patent/JP6909050B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、固体撮像素子及び撮像装置に関する。
近年、ＣＭＯＳイメージセンサ等の固体撮像素子を備えた撮像装置が広く普及している。静止画像のみならず、動画像をも取得し得る撮像装置が提案されている。また、新しい方式のイメージセンサとして、特許文献１に示すようなイメージセンサが提案されている。特許文献１に開示されたイメージセンサには、以下のような信号処理回路が各画素に備えられている。特許文献１では、光電変換素子で生成された電荷を蓄積する蓄積容量と、蓄積容量の電圧を基準電圧と比較し、両者が一致したときにパルスを出力する比較器と、比較器の出力により蓄積容量の電圧をリセット電圧に戻すリセット手段とが各画素に備えられている。
特開２０１５−１７３４３２号公報
しかしながら、従来の技術では、撮像期間が互いに重複する複数の画像を取得することはできなかった。
本発明の目的は、撮像期間が重複する複数の画像を取得し得る固体撮像素子及び撮像装置を提供することにある。
実施形態の一観点によれば、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリとをそれぞれ備える複数の画素と、第１の画像の撮像開始の際における前記カウンタのカウント値と、前記第１の画像の撮像終了の際における前記カウンタのカウント値とに基づいて第１の撮像信号を生成し、前記第１の画像とは異なる第２の画像の撮像開始の際における前記カウンタのカウント値と、前記第２の画像の撮像終了の際における前記カウンタのカウント値とに基づいて第２の撮像信号を生成する生成部とを有し、前記第１の画像の撮像期間と前記第２の画像の撮像期間とが重複する第１の動作モードで動作し得ることを特徴とする固体撮像素子が提供される。
本発明によれば、撮像期間が重複する複数の画像を取得し得る固体撮像素子及び撮像装置を提供することができる。
第１実施形態による撮像装置を示すブロック図である。 第１実施形態による固体撮像素子を示す図である。 第１実施形態による固体撮像素子を示す図である。 第１実施形態による撮像装置の動作を示すタイミングチャートである。 第１実施形態による撮像装置の動作を示すフローチャートである。 第１実施形態の変形例による固体撮像素子を示す図である。 第２実施形態による固体撮像素子を示す図である。 第２実施形態による撮像装置の動作を示すタイミングチャートである。 第２実施形態による撮像装置の動作を示すフローチャートである。 第２実施形態による撮像装置の動作の他の例を示すタイミングチャートである。 第３実施形態による固体撮像素子を示す図である。 動画像の最短撮影期間と、静止画像の最長蓄積期間と、カウント値との関係を示すグラフである。 第３実施形態による撮像装置の動作を示すタイミングチャートである。
本発明の実施の形態について図面を用いて以下に説明する。なお、本発明は以下の実施形態に限定されるものではなく、適宜変更可能である。また、以下に示す実施形態を適宜組み合わせるようにしてもよい。
［第１実施形態］
第１実施形態による撮像装置及び撮像方法について図１〜図５を用いて説明する。図１は、第１実施形態による撮像装置の構成を示すブロック図である。
本実施形態による撮像装置１００は、固体撮像素子１０１と、信号処理部１０２と、制御部１０３と、表示部１０４と、記録部１０５と、設定部１０６と、撮影指示部１０７と、レンズ駆動部１０８とを備えている。また、撮像装置１００には、撮影レンズ（撮像光学系、レンズユニット）１０９が備えられる。撮影レンズ１０９は、撮像装置１００のボディ（本体）から着脱可能であってもよいし着脱不能であってもよい。固体撮像素子１０１は、撮影レンズ１０９によって形成される光学像を光電変換することによって撮像信号を生成し、生成した撮像信号を出力する。信号処理部１０２は、固体撮像素子１０１から出力される撮像信号に対して補正処理等の所定の信号処理（画像処理）等を行う。制御部（全体制御・演算部、制御手段）１０３は、撮像装置１００全体の制御を司るとともに、所定の演算処理等を行う。制御部１０３は、信号処理部１０２によって信号処理等が施された撮像信号に対して、現像や圧縮等の所定の信号処理（画像処理）等を行う。表示部１０４は、制御部１０３によって信号処理等が施された撮像信号や、撮像装置１００の駆動設定情報等を表示する。記録部１０５には、図示しない記録媒体が備えられる。かかる記録媒体は、記録部１０５から着脱可能であってもよいし着脱不能であってもよい。記録部１０５は、制御部１０３によって信号処理等が施された撮像信号等を記録媒体に記録する。設定部１０６は、撮影モードや蓄積期間等の設定を行うためのものであり、ユーザ等によって操作される。制御部１０３は、設定部１０６を介してユーザによって行われた設定に基づいて、撮像装置１００を動作させる。具体的には、制御部１０３は、撮像装置１００の各機能ブロックを駆動するための制御信号や、固体撮像素子１０１を制御するための制御データ等を出力する。各種の駆動設定が自動的に行われるようにユーザ等が設定部１０６を介して設定した場合には、不図示の検出部や撮像信号を用いた被写体検知や光量検知等に基づいて、制御部１０３は、各種の駆動設定を自動で行う。撮影指示部（撮影指示手段）１０７は、撮影の指示を行うためのものあり、ユーザ等によって操作される。撮影指示部１０７には、例えば、撮影開始ボタンが備えられている。撮影開始の指示が撮影指示部１０７を介してユーザによって行われると、制御部１０３は、撮影開始の指示を固体撮像素子１０１に対して行うとともに、固体撮像素子１０１への制御データの送信を開始する。レンズ駆動部１０８は、合焦動作や絞りの開閉等、撮影レンズ１０９の駆動を行う。撮影レンズ１０９は、被写体の光学像を形成し、形成した光学像を固体撮像素子１０１の撮像面に入射させる。
図２は、本実施形態による固体撮像素子を示す図である。図２（ａ）は、固体撮像素子１０１の第１の基板を概念的に示す平面図である。図２（ｂ）は、固体撮像素子１０１の第２の基板を概念的に示す平面図である。図２（ｃ）は、固体撮像素子１０１の断面図である。図２（ｃ）は、図２（ａ）及び図２（ｂ）に示すＩ−Ｉ′線に対応している。
図２（ａ）に示すように、第１の基板２０１の受光面（撮像面）には、複数のセンサ部（センサ、受光部）２０３が２次元状に配列されたセンサ部アレイ２０２が備えられている。センサ部２０３は、後述する計数部２１０（図２（ｂ）参照）とともに画素３０４（図３参照）を構成する。なお、センサ部２０３の構成については、図３を用いて後述することとする。
図２（ｂ）に示すように、第２の基板２０４には、複数の計数部（計数回路）２１０が２次元状に配列された計数部アレイ（計数回路アレイ）２０５が備えられている。計数部２１０は、センサ部２０３から出力される信号のパルスの数を計数する。なお、計数部２１０の構成については、図３を用いて後述することとする。複数の計数部２１０の各々は、複数のセンサ部２０３の各々に対応するように設けられている。センサ部２０３と計数部２１０とによって画素３０４（図３参照）が構成される。こうして、複数の画素３０４が２次元状に配列された画素アレイが固体撮像素子１０１に備えられている。
第２の基板２０４には、第１の走査部（垂直走査回路）２０６が備えられている。第１の走査部２０６には、水平方向に延在する複数の制御線２０８が接続されている。同じ行に位置する複数の計数部２１０は、同じ制御線２０８に共通接続されている。第１の走査部２０６は、制御線２０８に対して所定の制御信号を適宜印加することにより、計数部アレイ２０５の各行に位置している複数の計数部２１０を行単位で制御する。なお、画素アレイの行数はｍとし、画素アレイの列数はｎとする。また、ここでは、図面を簡略化するため、走査パルスＰＶ１を供給するための制御線と走査パルスＰＶ２を供給するための制御線とが１つの線を用いて示されている。しかし、実際には、走査パルスＰＶ１を供給するための制御線と走査パルスＰＶ２を供給するための制御線とは別個に設けられている。
また、第２の基板２０４には、複数の読み出しメモリ２２０が備えられた記憶部２０７が備えられている。各々の読み出しメモリ２２０には、垂直方向に延在する複数の信号線２１４がそれぞれ接続されている。読み出しメモリ２２０は各列に備えられており、同じ列に位置する複数の計数部２１０が共通の信号線２１４を介して読み出しメモリ２２０に接続されている。読み出しメモリ２２０は、計数部２１０から信号線２１４を介して出力される信号を一時的に記憶する。読み出しメモリ２２０は、計数部アレイ２０５から行単位で読み出される信号を一括して記憶する。即ち、読み出しメモリ２２０は、１行分の信号を記憶する。なお、読み出しメモリ２２０の構成については、図３を用いて後述することとする。
また、第２の基板２０４には、第２の走査部（水平走査回路）２１１が備えられている。第２の走査部２１１は、複数の読み出しメモリ２２０の各々に記憶された信号が撮像信号生成部２０９に順次出力されるように、複数の読み出しメモリ２２０に対して走査を行う。第２の走査部２１１には、垂直方向に延在する複数の制御線２２１が接続されている。第２の走査部２１１は、制御線２２１に対して所定の制御信号を適宜印加することにより、各列の読み出しメモリ２２０を制御する。なお、ここでは、図面を簡略化するため、走査パルスＰＨ１を供給するための制御線と走査パルスＰＨ２を供給するための制御線とが１つの線を用いて示されている。しかし、実際には、走査パルスＰＨ１を供給するための制御線と走査パルスＰＨ２を供給するための制御線とが別個に設けられている。
タイミングジェネレータ（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）２１２は、制御部１０３から供給される撮影開始の指示や制御データに基づいて、固体撮像素子１０１の各部の駆動を制御するための駆動信号を生成する。タイミングジェネレータ２１２は、固体撮像素子１０１の各部を制御する制御部（制御手段）として機能し得る。例えば、タイミングジェネレータ２１２は、第１の走査部２０６、第２の走査部２１１、記憶部２０７、撮像信号生成部２０９をそれぞれ駆動するための駆動信号を生成する。また、タイミングジェネレータ２１２は、第１のメモリ３１１，第２のメモリ３１２，第３のメモリ３１３，第４のメモリ３１４（図４参照）にカウント値をそれぞれ取得させるためのカウント値取得信号Ｐ１〜Ｐ４を生成する。カウント値取得信号Ｐ１〜Ｐ４は、各々の計数部２１０に備えられたメモリ３１１〜３１４に、後述するカウント値ＣＯＵＮＴ１〜ＣＯＵＮＴ４を取得させるための信号である。カウント値取得信号Ｐ１〜Ｐ４は、制御線２２２を介して全ての計数部２１０に対して供給される。なお、ここでは、図面を簡略化するため、カウント値取得信号Ｐ１〜Ｐ４を供給するための制御線２２２が１つの線を用いて示されているが、実際にはカウント値取得信号Ｐ１〜Ｐ４をそれぞれ供給するための制御線２２２が別個に設けられている。撮像信号生成部２０９は、各々の計数部２１０によってそれぞれ取得される後述するカウント値ＣＯＵＮＴ１〜ＣＯＵＮＴ４を用いて後述する第１の撮像信号Ｓｉｇ１及び第２の撮像信号Ｓｉｇ２を生成する。そして、撮像信号生成部２０９は、これらの撮像信号Ｓｉｇ１，Ｓｉｇ２を信号線ＯＵＴ１，ＯＵＴ２にそれぞれ出力する。なお、撮像信号生成部２０９の構成については、図３を用いて後述することとする。
図２（ｃ）に示すように、固体撮像素子１０１は、第１の基板２０１と第２の基板２０４とを積層することによって構成されている。第１の基板２０１に備えられたセンサ部２０３と、第２の基板２０４に備えられた計数部２１０とが、導電体から成る接続部２１３を介して接続されている。なお、ここでは、センサ部２０３と計数部２１０とを別個の基板に設ける場合を例に説明したが、これに限定されるものではない。例えば、センサ部２０３と計数部２１０とが同じ基板に形成されていてもよい。但し、センサ部２０３の面積を大きく確保して感度等を向上させる観点や、画素数を向上する観点からは、センサ部２０３と計数部２１０とを別個の基板に形成することが好ましい。
図３は、本実施形態による固体撮像素子を示す図である。説明の便宜上、図３においては、第１の基板２０１に備えられた複数のセンサ部２０３のうちの１つのセンサ部２０３が抜き出して示されている。また、図３においては、第２の基板２０４に備えられた複数の計数部２１０のうちの１つの計数部２１０が抜き出して示されている。図３においては、記憶部２０７に備えられた複数の読み出しメモリ２２０のうちの１つの読み出しメモリ２２０が抜き出して示されている。上述したように、センサ部２０３と計数部２１０とによって画素３０４が構成されている。上述したように、画素３０４は２次元状に配列されている。
図３に示すように、センサ部２０３には、フォトダイオード（光電変換素子）３０１と、リセットトランジスタ（リセット手段）３０２と、インバータ（波形整形手段）３０３とが備えられている。フォトダイオード３０１としては、例えばアバランシェフォトダイオードが用いられている。アバランシェフォトダイオードとは、アバランシェ効果を利用した光電子増倍作用を奏するフォトダイオードである。アバランシェ効果とは、高い逆電圧が印加された半導体の受光部に光が入射すると、光子の衝突によって発生した電子が電界で加速され、衝突電離を引き起こす過程が繰り返し発生することで、電子が雪崩（ａｖａｌａｎｃｈｅ）のように増える効果のことである。フォトダイオード３０１のアノードは、接地されている。フォトダイオード３０１のカソードは、インバータ３０３の入力端子に接続されているとともに、リセットトランジスタ３０２のソースとに接続されている。インバータ３０３の出力ノードは、リセットトランジスタ３０２のゲートに接続されているとともに、計数部２１０の入力ノードに接続されている。リセットトランジスタ３０２のドレインは、所定の電位（リセット電位）Ｖｒに接続されている。
リセットトランジスタ３０２がオフ状態の際に、フォトダイオード３０１に光子が到達すると、フォトダイオード３０１のカソード電位が低下する。フォトダイオード３０１のカソード電位が低下すると、インバータ３０３の出力がローレベルからハイレベルに転じ、リセットトランジスタ３０２がオン状態となり、フォトダイオード３０１のカソード電位が所定の電位Ｖｒにリセットされる。フォトダイオード３０１のカソード電位が所定の電位Ｖｒにリセットされると、インバータ３０３の出力がハイレベルからローレベルに転じ、リセットトランジスタ３０２がオフ状態に戻る。このように、センサ部２０３は、フォトダイオード３０１に光子が到達するごとに、パルス信号ＣＬＫが１パルス出力されるように構成されている。センサ部２０３から出力されるパルス信号ＣＬＫのパルス数は、フォトダイオード３０１における光子の受光頻度に応じて変化する。
計数部２１０は、カウンタ（計数手段）３１５と、複数のメモリ（記憶手段）３１１〜３１４とを備えている。ここでは、２つの画像の蓄積期間（撮像期間）が重複してもよいようにするため、１つの計数部２１０に４つのメモリ３１１〜３１４が備えられている場合を例に説明するが、１つの計数部２１０に備えられるメモリの数はこれに限定されるものではない。例えば、ｐ個の画像の蓄積期間が重複してもよいようにするために、２×ｐ個のメモリを１つの計数部２１０に備えるようにしてもよい。
カウンタ３１５は、センサ部２０３から出力されるパルス信号ＣＬＫのパルス数、具体的には、パルスの立ち上がりの回数をカウントすることによって、センサ部２０３に到達した光子の数をカウントする。ここでは、説明の簡略化のため、カウンタ３１５の出力線は１本のみ示されているが、実際には、カウンタ３１５の出力ビット数の分だけ出力線が設けられている。第１のメモリ３１１は、第１の画像（第１のフレーム）の撮像開始時のカウント値ＣＯＵＮＴ１を記憶するためのものである。タイミングジェネレータ２１２から出力されるパルス状のカウント値取得信号Ｐ１が第１のメモリ３１１に入力されると、第１のメモリ３１１はカウンタ３１５によるカウント値ＣＯＵＮＴ１を記憶する。第２のメモリ３１２は、第１の画像の撮像終了時のカウント値ＣＯＵＮＴ２を記憶するためのものである。タイミングジェネレータ２１２から出力されるパルス状のカウント値取得信号Ｐ２が第２のメモリ３１２に入力されると、第２のメモリ３１２はカウンタ３１５によるカウント値ＣＯＵＮＴ２を記憶する。第３のメモリ３１３は、第２の画像（第２のフレーム）の撮像開始時のカウント値ＣＯＵＮＴ３を記憶するためのものである。タイミングジェネレータ２１２から出力されるパルス状のカウント値取得信号Ｐ３が第３のメモリ３１３に入力されると、第３のメモリ３１３はカウンタ３１５によるカウント値ＣＯＵＮＴ３を記憶する。第４のメモリ３１４は、第２の画像の撮像終了時のカウント値ＣＯＵＮＴ４を記憶するためのものである。タイミングジェネレータ２１２から出力されるパルス状のカウント値取得信号Ｐ４が第４のメモリ３１４に入力されると、第４のメモリ３１４はカウンタ３１５によるカウント値ＣＯＵＮＴ４を記憶する。
読み出しメモリ２２０は、上述したように各列に備えられている。各々の読み出しメモリ２２０には、第１のバッファメモリ３２１、第２のバッファメモリ３２２、第３のバッファメモリ３２３、第４のバッファメモリ３２４がそれぞれ備えられている。バッファメモリ３２１〜３２４は、メモリ３１１〜３１４からそれぞれ出力される信号を一時的に記憶するためのものである。第１のメモリ３１１は、走査パルスＰＶ１が第１の走査部２０６から供給されると、記憶しているカウント値ＣＯＵＮＴ１を第１のバッファメモリ３２１に出力する。第２のメモリ３１２は、走査パルスＰＶ１が第１の走査部２０６から供給されると、記憶しているカウント値ＣＯＵＮＴ２を第２のバッファメモリ３２２に出力する。第３のメモリ３１３は、走査パルスＰＶ２が第１の走査部２０６から供給されると、記憶しているカウント値ＣＯＵＮＴ３を第３のバッファメモリ３２３に出力する。第４のメモリ３１４は、走査パルスＰＶ２が第１の走査部２０６から供給されると、記憶しているカウント値ＣＯＵＮＴ４を第４のバッファメモリ３２４に出力する。バッファメモリ３２１〜３２４の各々は、メモリ３１１〜３１４からそれぞれ入力されたカウント値ＣＯＵＮＴ１〜ＣＯＵＮＴ４を記憶する。なお、ここでは、説明の簡略化のため、メモリ３１１〜３１４の出力線がそれぞれ１本ずつ示されているが、実際には、カウンタ３１５の出力ビット数の分だけメモリ３１１〜３１４の出力線が設けられている。
撮像信号生成部２０９には、第１の減算回路３３１と第２の減算回路３３２とが備えられている。第１の減算回路３３１は、第２のバッファメモリ３２２から出力されるカウント値ＣＯＵＮＴ２から第１のバッファメモリ３２１から出力されるカウント値ＣＯＵＮＴ１を減算するためのものである。第１のバッファメモリ３２１は、走査パルスＰＨ１が第２の走査部２１１から供給されると、記憶しているカウント値ＣＯＵＮＴ１を第１の減算回路３３１に出力する。第２のバッファメモリ３２２は、走査パルスＰＨ１が第２の走査部２１１から供給されると、記憶しているカウント値ＣＯＵＮＴ２を第１の減算回路３３１に出力する。第１の減算回路３３１は、第２のバッファメモリ３２２から出力されるカウント値ＣＯＵＮＴ２から、第１のバッファメモリ３２１から出力されるカウント値ＣＯＵＮＴ１を減算する。そして、第１の減算回路３３１は、こうして得られる差分値を、当該画素３０４の第１の撮像信号（画素値）Ｓｉｇ１として信号線ＯＵＴ１に出力する。第１の撮像信号Ｓｉｇ１は、第１の画像の蓄積期間中（撮像中）に当該画素３０４に到達した光子の数に相当している。第２の減算回路３３２は、第４のバッファメモリ３２４から出力されるカウント値ＣＯＵＮＴ４から第３のバッファメモリ３２３から出力されるカウント値ＣＯＵＮＴ３を減算するためのものである。第３のバッファメモリ３２３は、走査パルスＰＨ２が第２の走査部２１１から供給されると、記憶しているカウント値ＣＯＵＮＴ３を第２の減算回路３３２に出力する。第４のバッファメモリ３２４は、走査パルスＰＨ２が第２の走査部２１１から供給されると、記憶しているカウント値ＣＯＵＮＴ４を第２の減算回路３３２に出力する。第２の減算回路３３２は、第４のバッファメモリ３２４から出力されるカウント値ＣＯＵＮＴ４から、第３のバッファメモリ３２３から出力されるカウント値ＣＯＵＮＴ３を減算する。そして、第２の減算回路３３２は、こうして得られる差分値を、当該画素３０４の第２の撮像信号Ｓｉｇ２として信号線ＯＵＴ２に出力する。第２の撮像信号Ｓｉｇ２は、第２の画像の蓄積期間中に当該画素３０４に到達した光子の数に相当している。なお、ここでは、説明の簡略化のため、バッファメモリ３２１〜３２４の出力線がそれぞれ１本ずつ示されているが、実際には、カウンタ３１５の出力ビット数の分だけバッファメモリ３２１〜３２４の出力線が設けられている。
図４は、本実施形態による撮像装置の動作を示すタイミングチャートである。なお、ここでは、第１の画像の撮像が終了していない段階で第２の画像の撮像を行う場合を例に説明するが、これに限定されるものではない。
タイミングｔ４０１において、第１の画像の撮像開始の指示が撮影指示部１０７を介してユーザ等によって行われると、制御部１０３は、固体撮像素子１０１に対して、第１の画像の撮像開始の指示と、制御データとを送信する。当該制御データは、当該第１の画像の蓄積期間（第１の蓄積期間）の設定情報を含む。第１の画像の撮像開始の指示を受信すると、タイミングジェネレータ２１２は、カウント値取得信号Ｐ１を第１のメモリ３１１に対して出力する。かかるカウント値取得信号Ｐ１は、計数部アレイ２０５に備えられた全ての計数部２１０にそれぞれ備えられた第１のメモリ３１１にそれぞれ供給される。各々の第１のメモリ３１１は、カウント値取得信号Ｐ１を受信すると、当該カウント値取得信号Ｐ１を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ１を記憶する。
第１の画像の蓄積期間中であるタイミングｔ４０２において、第２の画像の撮像開始の指示が撮影指示部１０７を介してユーザ等によって行われると、制御部１０３は、固体撮像素子１０１に対して、第２の画像の撮像開始の指示と、制御データとを送信する。当該制御データは、当該第２の画像の蓄積期間（第２の蓄積期間）の設定情報を含む。第２の画像の蓄積期間は、第１の画像の蓄積期間と同等であってもよいし異なっていてもよい。第２の画像の撮像開始の指示を受信すると、タイミングジェネレータ２１２は、カウント値取得信号Ｐ３を第３のメモリ３１３に対して出力する。かかるカウント値取得信号Ｐ３は、計数部アレイ２０５に備えられた全ての計数部２１０にそれぞれ備えられた第３のメモリ３１３にそれぞれ供給される。各々の第３のメモリ３１３は、カウント値取得信号Ｐ３を受信すると、当該カウント値取得信号Ｐ３を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ３を記憶する。
タイミングｔ４０１から第１の蓄積期間が経過したタイミングｔ４０３において、タイミングジェネレータ２１２は、カウント値取得信号Ｐ２を第２のメモリ３１２に対して出力する。かかるカウント値取得信号Ｐ２は、計数部アレイ２０５に備えられた全ての計数部２１０にそれぞれ備えられた第２のメモリ３１２にそれぞれ供給される。各々の第２のメモリ３１２は、カウント値取得信号Ｐ２を受信すると、当該カウント値取得信号Ｐ２を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ２を記憶する。
タイミングｔ４０２から第２の蓄積期間が経過したタイミングｔ４０４において、タイミングジェネレータ２１２は、カウント値取得信号Ｐ４を第４のメモリ３１４に対して出力する。かかるカウント値取得信号Ｐ４は、計数部アレイ２０５に備えられた全ての計数部２１０にそれぞれ備えられた第４のメモリ３１４にそれぞれ供給される。各々の第４のメモリ３１４は、カウント値取得信号Ｐ４を受信すると、当該カウント値取得信号Ｐ４を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ４を記憶する。
タイミングｔ４０５において、第１の走査部２０６は、計数部アレイ２０５の第１行目に位置する複数の計数部２１０の各々に備えられたメモリ３１１〜３１４に走査パルスＰＶ１、ＰＶ２を供給する。これにより、計数部アレイ２０５の第１行目に位置する複数の計数部２１０の各々に備えられたメモリ３１１〜３１４からカウント値ＣＯＵＮＴ１＿１〜ＣＯＵＮＴ４＿１がそれぞれ読み出される。メモリ３１１〜３１４からそれぞれ読み出されるカウント値ＣＯＵＮＴ１＿１〜ＣＯＵＮＴ４＿１は、記憶部２０７に備えられた複数の読み出しメモリ２２０の各々に備えられたバッファメモリ３２１〜３２４にそれぞれ記憶される。第２の走査部２１１は、記憶部２０７に備えられた複数の読み出しメモリ２２０のうちの第１列目に位置する読み出しメモリ２２０に対して走査パルスＰＨ１，ＰＨ２を供給する。これにより、第１列目の読み出しメモリ２２０に備えられたバッファメモリ３２１〜３２４からカウント値ＣＯＵＮＴ１＿１〜ＣＯＵＮＴ４＿１が読み出される。第１のバッファメモリ３２１から読み出されるカウント値ＣＯＵＮＴ１＿１と、第２のバッファメモリ３２２から読み出されるＣＯＵＮＴ２＿１とが、第１の減算回路３３１に入力される。第１の減算回路３３１にこの際に入力されるカウント値ＣＯＵＮＴ１＿１は、第１行、第１列に位置する計数部２１０の第１の画像の撮像開始の際におけるカウント値である。また、第１の減算回路３３１にこの際に入力されるカウント値ＣＯＵＮＴ２＿１は、第１行、第１列に位置する計数部２１０の第１の画像の蓄積終了の際におけるカウント値である。第１の減算回路３３１は、カウント値ＣＯＵＮＴ２＿１からカウント値ＣＯＵＮＴ１＿１を減算することによって、第１行、第１列の画素３０４の第１の撮像信号Ｓｉｇ１を取得する。第１の撮像信号Ｓｉｇ１は、第１の画像の一部を構成する。第１の減算回路３３１は、こうして得られる第１の撮像信号Ｓｉｇ１を、信号線ＯＵＴ１を介して出力する。また、第３のバッファメモリ３２３から読み出されるカウント値ＣＯＵＮＴ３＿１と、第４のバッファメモリ３２４から読み出されるＣＯＵＮＴ４＿１とが、第２の減算回路３３２に入力される。第２の減算回路３３２にこの際に入力されるカウント値ＣＯＵＮＴ３＿１は、第１行、第１列に位置する計数部２１０の第２の画像の撮像開始の際におけるカウント値である。また、第２の減算回路３３２にこの際に入力されるカウント値ＣＯＵＮＴ４＿１は、第１行、第１列に位置する計数部２１０の第２の画像の蓄積終了の際におけるカウント値である。第２の減算回路３３２は、カウント値ＣＯＵＮＴ４＿１からカウント値ＣＯＵＮＴ３＿１を減算することによって、第１行、第１列の画素３０４の第２の撮像信号Ｓｉｇ２を取得する。こうして得られる第２の撮像信号Ｓｉｇ２は、第２の画像の一部を構成する。第２の減算回路３３２は、こうして取得される第２の撮像信号Ｓｉｇ２を、信号線ＯＵＴ２を介して出力する。この後、第２列目〜第ｎ列目に位置する読み出しメモリ２２０に対して、上記と同様にして読み出しが行われ、第１の撮像信号Ｓｉｇ１と第２の撮像信号Ｓｉｇ２とが上記と同様にして取得される。こうして、第１行目に位置する複数の画素３０４の第１の撮像信号Ｓｉｇ１がそれぞれ取得される。また、第１行目に位置する複数の画素３０４の第２の撮像信号Ｓｉｇ２がそれぞれ取得される。
タイミングｔ４０６において、第１の走査部２０６は、計数部アレイ２０５の第２行目に位置する複数の計数部２１０の各々に備えられたメモリ３１１〜３１４に走査パルスＰＶ１、ＰＶ２を供給する。これにより、計数部アレイ２０５の第２行目に位置する複数の計数部２１０の各々に備えられたメモリ３１１〜３１４からカウント値ＣＯＵＮＴ１＿２〜ＣＯＵＮＴ４＿２がそれぞれ読み出される。メモリ３１１〜３１４からそれぞれ読み出されるカウント値ＣＯＵＮＴ１＿２〜ＣＯＵＮＴ４＿２は、記憶部２０７に備えられた複数の読み出しメモリ２２０の各々に備えられたバッファメモリ３２１〜３２４にそれぞれ記憶される。第２の走査部２１１は、記憶部２０７に備えられた複数の読み出しメモリ２２０のうちの第１列目に位置する読み出しメモリ２２０に対して走査パルスＰＨ１，ＰＨ２を供給する。これにより、第１列目の読み出しメモリ２２０に備えられたバッファメモリ３２１〜３２４からカウント値ＣＯＵＮＴ１＿２〜ＣＯＵＮＴ４＿２が読み出される。第１のバッファメモリ３２１から読み出されるカウント値ＣＯＵＮＴ１＿２と、第２のバッファメモリ３２２から読み出されるＣＯＵＮＴ２＿２とが、第１の減算回路３３１に入力される。第１の減算回路３３１にこの際に入力されるカウント値ＣＯＵＮＴ１＿２は、第２行、第１列に位置する計数部２１０の第１の画像の撮像開始の際におけるカウント値である。また、第１の減算回路３３１にこの際に入力されるカウント値ＣＯＵＮＴ２＿２は、第２行、第１列に位置する計数部２１０の第１の画像の蓄積終了の際におけるカウント値である。第１の減算回路３３１は、カウント値ＣＯＵＮＴ２＿２からカウント値ＣＯＵＮＴ１＿２を減算することによって、第２行、第１列の画素３０４の第１の撮像信号Ｓｉｇ１を取得する。第１の減算回路３３１は、こうして取得した第１の撮像信号Ｓｉｇ１を、信号線ＯＵＴ１を介して出力する。また、第３のバッファメモリ３２３から読み出されるカウント値ＣＯＵＮＴ３＿２と、第４のバッファメモリ３２４から読み出されるＣＯＵＮＴ４＿２とが、第２の減算回路３３２に入力される。第２の減算回路３３２にこの際に入力されるカウント値ＣＯＵＮＴ３＿２は、第２行、第１列に位置する計数部２１０の第２の画像の撮像開始の際におけるカウント値である。また、第２の減算回路３３２にこの際に入力されるカウント値ＣＯＵＮＴ４＿２は、第２行、第１列に位置する計数部２１０の第２の画像の蓄積終了の際におけるカウント値である。第２の減算回路３３２は、カウント値ＣＯＵＮＴ４＿２からカウント値ＣＯＵＮＴ３＿２を減算することによって、第２行、第１列の画素３０４の第２の撮像信号Ｓｉｇ２を取得する。第２の減算回路３３２は、こうして取得した第２の撮像信号Ｓｉｇ２を、信号線ＯＵＴ２を介して出力する。この後、第２列目〜第ｎ列目に位置する読み出しメモリ２２０に対して、上記と同様にして読み出しが行われ、第１の撮像信号Ｓｉｇ１と第２の撮像信号Ｓｉｇ２とが上記と同様にして取得される。こうして、第２行目に位置する複数の画素３０４の第１の撮像信号Ｓｉｇ１がそれぞれ取得される。また、第２行目に位置する複数の画素３０４の第２の撮像信号Ｓｉｇ２がそれぞれ取得される。
この後、第３行目〜第ｍ行目に位置する複数の計数部２１０からも上記と同様にして順次読み出しが行われ、最終的に、全ての画素３０４の第１の撮像信号Ｓｉｇ１と、全ての画素３０４の第２の撮像信号Ｓｉｇ２とが得られる。
なお、ここでは、走査パルスＰＨ１と走査パルスＰＨ２とを同じタイミングで供給する場合を例に説明したが、これに限定されるものではない。走査パルスＰＨ１と走査パルスＰＨ２とを異なるタイミングで供給するようにしてもよい。
図５は、本実施形態による撮像装置の動作を示すフローチャートである。
ステップＳ５０１において、読み出し対象となる行の番号ｉが１に設定される。
ステップＳ５０２において、読み出し対象の行に位置する複数の計数部２１０にそれぞれ備えられている第１のメモリ３１１及び第２のメモリ３１２に対して、第１の走査部２０６から走査パルスＰＶ１が供給される。また、読み出し対象の行に位置する複数の計数部２１０にそれぞれ備えられている第３のメモリ３１３及び第４のメモリ３１４に対して、第１の走査部２０６から走査パルスＰＶ２が供給される。これにより、読み出し対象の行に位置する複数の計数部２１０にそれぞれ備えられているメモリ３１１〜３１４からバッファメモリ３２１〜３２４にカウント値ＣＯＵＮＴ１〜ＣＯＵＮＴ４がそれぞれ出力される。なお、ステップＳ５０２において行われる処理は、図４におけるタイミングｔ４０５の処理に対応している。
ステップＳ５０３において、読み出し対象となる列の番号ｊが１に設定される。
ステップＳ５０４において、読み出し対象の列に位置する読み出しメモリ２２０に備えられたバッファメモリ３２１〜３２４から撮像信号生成部２０９にカウント値ＣＯＵＮＴ１〜ＣＯＵＮＴ４がそれぞれ出力される。
ステップＳ５０５において、第１の減算回路３３１が、第２のバッファメモリ３２２から出力されるカウント値ＣＯＵＮＴ２から第１のバッファメモリ３２１から出力されるカウント値ＣＯＵＮＴ１を減算する。これにより、第ｉ行、第ｊ列の画素３０４の第１の撮像信号Ｓｉｇ１が取得される。また、第２の減算回路３３２が、第４のバッファメモリ３２４から出力されるカウント値ＣＯＵＮＴ４から第３のバッファメモリ３２３から出力されるカウント値ＣＯＵＮＴ３を減算する。これにより、第ｉ行、第ｊ列の画素３０４の第２の撮像信号Ｓｉｇ２が取得される。
ステップＳ５０６において、撮像信号生成部２０９が、第１の撮像信号Ｓｉｇ１を信号線ＯＵＴ１に出力するとともに、第２の撮像信号Ｓｉｇ２を信号線ＯＵＴ２に出力する。
ステップＳ５０７において、読み出し対象の列の番号ｊが列の総数ｎ未満であるか否かが判定される。読み出し対象の列の番号ｊが列の総数ｎ未満である場合には（ステップＳ５０７においてＹＥＳ）、第ｉ行目に位置する全ての画素３０４についての読み出し処理が完了していないため、ステップＳ５０８に移行する。読み出し対象の列の番号ｊが列の総数ｎである場合には（ステップＳ５０７においてＮＯ）、第ｉ行目に位置する全ての画素３０４についての読み出し処理が完了したため、ステップＳ５０９に移行する。
ステップＳ５０８において、読み出し対象の列の番号ｊがインクリメントされる。この後、ステップＳ５０４以降の動作が繰り返される。
ステップＳ５０９において、読み出し対象の行の番号ｉが行の総数未満であるか否かが判定される。読み出し対象の行の番号ｉが行の総数ｍ未満である場合には（ステップＳ５０９においてＹＥＳ）、全ての画素についての読み出し処理が完了していないため、ステップＳ５１０に移行する。ステップＳ５１０において、読み出し対象の行の番号ｉがインクリメントされ、ステップＳ５０２以降の動作が繰り返される。一方、読み出し対象の行の番号ｉが行の総数ｍである場合には（ステップＳ５０９においてＮＯ）、全ての画素３０４についての読み出し処理が完了しているため、図５に示す処理を終了する。
このように、本実施形態によれば、第１の画像の蓄積開始の際のカウント値ＣＯＵＮＴ１と、第１の画像の蓄積終了の際のカウント値ＣＯＵＮＴ２との差分に基づいて、第１の撮像信号Ｓｉｇ１を得ることができる。また、本実施形態によれば、第２の画像の蓄積開始の際のカウント値ＣＯＵＮＴ３と、第２の画像の蓄積終了の際のカウント値ＣＯＵＮＴ４との差分に基づいて、第２の撮像信号Ｓｉｇ２を得ることができる。しかも、本実施形態によれば、カウント値ＣＯＵＮＴ１〜ＣＯＵＮＴ４がそれぞれ別個に取得されるため、第１の画像の蓄積期間と第２の画像の蓄積期間とが重複している場合であっても、第１の画像と第２の画像とを良好に取得することができる。本実施形態によれば、第１の画像の蓄積期間と第２の画像の蓄積期間とを重複させ得るため、第１の画像の撮像が完了しない段階で、第２の画像の撮像を開始することができる。このため、本実施形態によれば、例えば、被写体の輝度が低く、連写間隔よりも長い蓄積期間を要する場合であっても、連写撮影を行うことが可能となる。また、本実施形態によれば、例えば、長時間露光で第１の画像を撮像している最中に、第２の画像の撮像を行うこともできる。
（変形例）
次に、本実施形態の変形例について図６を用いて説明する。図６は、本変形例による固体撮像素子を示す図である。図６に示すように、本変形例では、カウンタ３１５ａに、カウンタリセット部６０１とカウント停止部６０２とが備えられている。カウンタリセット部６０１は、カウンタ３１５ａのカウント値をリセットするためのものである。カウンタリセット部６０１には、タイミングジェネレータ２１２から出力されるカウント値取得信号Ｐ１が入力されるようになっている。上述したように、カウント値取得信号Ｐ１は、第１の画像の撮像開始の際にタイミングジェネレータ２１２から出力される。本変形例では、カウント値取得信号Ｐ１がカウンタリセット部６０１に入力されるようなっているため、第１の画像の撮像開始の際のカウンタ３１５ａのカウント値ＣＯＵＮＴ１が０となる。第１の画像の撮影開始の際のカウント値ＣＯＵＮＴ１が０となるため、第１のメモリ３１１（図３参照）によるカウント値ＣＯＵＮＴ１の記憶が不要となる。第１のバッファメモリ３２１には０が記憶されている。撮像信号生成部２０９に備えられた第１の減算回路３３１は、第２のバッファメモリ３２２から出力されるカウント値ＣＯＵＮＴ２から第１のバッファメモリ３２１から出力されるカウント値ＣＯＵＮＴ１を減算することにより、第１の撮像信号Ｓｉｇ１を得る。
カウント停止部６０２は、カウンタ３１５ａのカウントを停止させるためのものである。カウント停止部６０２には、タイミングジェネレータ２１２から出力されるカウント値取得信号Ｐ４が入力されるようになっている。上述したように、カウント値取得信号Ｐ４は、第２の画像の撮像終了の際にタイミングジェネレータ２１２から出力される。本変形例では、カウント値取得信号Ｐ４がカウント停止部６０２に入力されるようなっているため、第２の画像の撮像終了の際のカウンタ３１５ａのカウント値ＣＯＵＮＴ４がカウンタ３１５ａにおいて保持される。第２の画像の撮像終了の際のカウント値ＣＯＵＮＴ４がカウンタ３１５ａに保持されるため、第４のメモリ３１４（図３参照）によるカウント値ＣＯＵＮＴ４の記憶が不要となる。本変形例では、カウンタ３１５ａと第４のバッファメモリ３２４との間には、第４のメモリ３１４の代わりにゲート素子６０３が備えられている。上述したように、カウンタ３１５の出力線は、実際には、カウンタ３１５の出力ビット数の分だけ設けられている。このため、ゲート素子６０３は、カウンタ３１５ａの出力ビット数に対応した出力線の数だけ備えられている。第１の走査部２０６から出力される走査パルスＰＶ２は、ゲート素子６０３に入力されるようになっている。走査パルスＰＶ２が第１の走査部２０６からゲート素子６０３に供給されると、カウンタ３１５ａに保持されているカウント値ＣＯＵＮＴ４が第４のバッファメモリ３２４に出力される。撮像信号生成部２０９に備えられた第２の減算回路３３２は、第４のバッファメモリ３２４から出力されるカウント値ＣＯＵＮＴ４から第３のバッファメモリ３２３から出力されるカウント値ＣＯＵＮＴ３を減算することにより、第２の撮像信号Ｓｉｇ２を得る。
なお、ここでは、第１のバッファメモリ３２１が備えられている場合を例に説明したが、第１のバッファメモリ３２１が備えられていなくてもよい。この場合、撮像信号生成部２０９は、第２のバッファメモリ３２２から出力されるカウント値ＣＯＵＮＴ２を第１の撮像信号Ｓｉｇ１として信号線ＯＵＴ１に出力すればよい。また、この場合、撮像信号生成部２０９には、第１の減算回路３３１を備える必要はない。
また、ここでは、第１のメモリ３１１と第４のメモリ３１４の両方を備えない場合を例に説明したが、これに限定されるものではなく、第１のメモリ３１１と第４のメモリ３１４のうちのいずれか一方を備えないようにしてもよい。
このように、本変形例によれば、第１のメモリ３１１や第４のメモリ３１４を不要とすることができるため、計数部２１０の回路規模を縮小することができ、ひいては高画素化に寄与することができる。
［第２実施形態］
第２実施形態による撮像装置及び撮像方法について図７及び図８を用いて説明する。図１乃至図６に示す第１実施形態による撮像装置及び撮像方法と同一の構成要素には、同一の符号を付して説明を省略又は簡潔にする。
本実施形態による撮像装置は、各々のフレームの蓄積期間が互いに重複しているような動画像を取得し得るものである。
図７は、本実施形態による固体撮像素子を示す図である。本実施形態では、計数部アレイ２０５に備えられた複数の計数部２１０ａの各々が、図７に示すような構成となっている。即ち、図７に示すように、計数部２１０ａには、カウンタ３１５とメモリ３１１〜３１４とに加えて、第１のラッチ回路７０１及び第２のラッチ回路７０２が備えられている。第１のラッチ回路（第１の飽和回数記憶部）７０１及び第２のラッチ回路（第２の飽和回数記憶部）７０２は、カウンタ３１５の飽和回数を記録するためのものである。なお、ここでは、１つの計数部２１０ａに２つのラッチ回路７０１、７０２が備えられている場合を例に説明するが、これに限定されるものではない。例えば、ｐ個の画像の蓄積期間が重複してもよいようにするために、ｐ個のラッチ回路を計数部２１０に設けるようにしてもよい。カウンタ３１５は、カウント下限値０からカウント上限値Ｃｍａｘまでをカウントすることが可能である。カウンタ３１５は、カウント値がカウント上限値Ｃｍａｘに到達すると、即ち、カウンタ飽和が生じると、次のカウントにおいてカウント下限値０に遷移する。カウンタ３１５は、カウント下限値０に遷移した以降もカウントを継続する。第１のラッチ回路７０１は、イネーブル信号Ｅ１がハイレベルになっている間にカウンタ３１５のカウント値がカウント上限値Ｃｍａｘからカウント下限値０に遷移した回数を、カウンタ飽和回数（第１のカウンタ飽和回数）ＳＣ１として記憶する。第２のラッチ回路７０２は、イネーブル信号Ｅ２がハイレベルになっている間にカウンタ３１５のカウント値がカウント上限値Ｃｍａｘからカウント下限値０に遷移した回数を、カウンタ飽和回数（第２のカウンタ飽和回数）ＳＣ２として記憶する。撮像信号の飽和値をカウンタ３１５の飽和値以上とするためには、カウンタ３１５のカウント値の２回の遷移を記憶し得ることが好ましい。このため、ここでは、０，１，２の３つの状態をそれぞれ記憶し得る第１のラッチ回路７０１及び第２のラッチ回路７０２が用いられている。イネーブル信号Ｅ１、Ｅ２がハイレベルになっている間に、カウンタ３１５においてカウンタ飽和が一度も生じなかった場合には、ラッチ回路７０１、７０２に記憶されている値は０である。この場合には、カウンタ３１５のカウント値の変化量がそのまま画素値となる。イネーブル信号Ｅ１，Ｅ２がハイレベルになっている間に、カウンタ飽和が１回生じた場合には、ラッチ回路７０１，７０２に記憶されている値は１となる。この場合には、カウンタ３１５のカウント値の変化量とカウント上限値Ｃｍａｘとを用いて画素値が算出される。イネーブル信号Ｅ１，Ｅ２がハイレベルになっている間に、カウンタ飽和が２回生じた場合には、ラッチ回路７０１，７０２に記憶されている値は２となる。この場合には、例えば、カウンタ３１５のカウント値にかかわらずカウント上限値Ｃｍａｘが画素値とされる。なお、カウンタ飽和の回数を更に多く記憶し得るようにすれば、撮像信号の飽和値を更に拡大させることも可能である。第１のラッチ回路７０１は、リセット信号Ｒ１によってリセットされる。また、第１のラッチ回路７０１は、第１の走査部２０６から出力される走査パルスＰＶ１に従って、カウンタ飽和回数ＳＣ１を出力する。第１のラッチ回路７０１から出力されるカウンタ飽和回数ＳＣ１は、読み出しメモリ２２０ａに備えられた第５のバッファメモリ７０３に記憶される。第２のラッチ回路７０２は、リセット信号Ｒ２によってリセットされる。また、第２のラッチ回路７０２は、第１の走査部２０６から出力される走査パルスＰＶ２に従って、カウンタ飽和回数ＳＣ２を出力する。第２のラッチ回路７０２から出力されるカウンタ飽和回数ＳＣ２は、読み出しメモリ２２０ａに備えられた第６のバッファメモリ７０４に記憶される。
また、本実施形態では、記憶部２０７に備えられた複数の読み出しメモリ２２０ａの各々が、図７に示すような構成となっている。即ち、図７に示すように、読み出しメモリ２２０ａは、バッファメモリ３２１〜３２４に加えて、第５のバッファメモリ７０３及び第６のバッファメモリ７０４を備えている。第５のバッファメモリ７０３は、第１のラッチ回路７０１から出力されるカウンタ飽和回数ＳＣ１を一時的に記憶する。第６のバッファメモリ７０４は、第２のラッチ回路７０２から出力されるカウンタ飽和回数ＳＣ２を一時的に記憶する。第５のバッファメモリ７０３は、第２の走査部２１１から供給される走査パルスＰＨ１に従って、記憶しているカウンタ飽和回数ＳＣ１を後述する第１の乗算回路７０５に出力する。また、第６のバッファメモリ７０４は、第２の走査部２１１から供給される走査パルスＰＨ２に従って、記憶しているカウンタ飽和回数ＳＣ２を後述する第２の乗算回路７０６に出力する。
また、本実施形態では、撮像信号生成部２０９ａが、図７のような構成となっている。即ち、図７に示すように、撮像信号生成部２０９ａは、第１の減算回路３３１及び第２の減算回路３３２に加えて、第１の乗算回路７０５、第２の乗算回路７０６、第１の加算回路７０７、及び、第２の加算回路７０８を備えている。第１の乗算回路７０５には、第５のバッファメモリ７０３から出力されるカウンタ飽和回数ＳＣ１が入力されるようになっている。第１の乗算回路７０５は、カウンタ３１５のカウント上限値Ｃｍａｘにカウンタ飽和回数ＳＣ１を乗算し、かかる乗算によって得られる値を第１の加算回路７０７に出力する。第１の加算回路７０７には、第１の減算回路３３１の出力と第１の加算回路７０７の出力とを加算し、かかる加算によって得られる値を第１の撮像信号Ｓｉｇ１として信号線ＯＵＴ１に出力する。第２の乗算回路７０６には、第６のバッファメモリ７０４から出力されるカウンタ飽和回数ＳＣ２が入力されるようになっている。第２の乗算回路７０６は、カウンタ３１５のカウント上限値Ｃｍａｘにカウンタ飽和回数ＳＣ２を乗算し、かかる乗算によって得られる値を第２の加算回路７０８に出力する。第２の加算回路７０８は、第２の減算回路３３２の出力と第２の加算回路７０８の出力とを加算し、かかる加算によって得られる値を第２の撮像信号Ｓｉｇ２として信号線ＯＵＴ２に出力する。
なお、本実施形態による撮像素子のその他の構成については、第１実施形態による撮像素子と同様である。
図８は、本実施形態による撮像装置の動作を示すタイミングチャートである。ここでは、動画像の１フレーム当たりの蓄積期間が、動画像のフレームレートに対応するフレーム間隔より長い場合を例に説明する。即ち、ここでは、動画像の各々のフレームの蓄積期間が互いに重複している場合を例に説明する。
タイミングｔ８０１において、動画像の撮影開始の指示が撮影指示部１０７を介してユーザ等によって行われると、制御部１０３は、固体撮像素子１０１に対して、動画像の撮影開始の指示と、制御データとを送信する。当該制御データは、動画像の１フレーム当たりの蓄積期間の設定情報を含む。また、制御部１０３は、固体撮像素子１０１への同期信号ＶＤの供給を開始する。同期信号ＶＤの供給は、動画像の撮影の終了の指示がユーザ等によって行われるまで継続される。タイミングｔ８０１においては、第１番目の同期信号ＶＤが固体撮像素子１０１に供給される。同期信号ＶＤの間隔は、動画像のフレームレートに応じたフレーム間隔とされる。動画像のフレームレートは、例えば、設定部１０６を介してユーザ等によって設定される。動画像の撮影開始の指示を受信すると、タイミングジェネレータ２１２は、カウント値取得信号Ｐ１を第１のメモリ３１１に対して出力し、リセット信号Ｒ１を第１のラッチ回路７０１に対して出力するとともに、イネーブル信号Ｅ１をハイレベルにする。第１のメモリ３１１は、カウント値取得信号Ｐ１を受信すると、当該カウント値取得信号Ｐ１を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ１を記憶する。第１のラッチ回路７０１は、リセット信号Ｒ１を受信すると、カウンタ飽和回数ＳＣ１の値を０にリセットする。第１のラッチ回路７０１は、ハイレベルのイネーブル信号Ｅ１を受信すると、入力がイネーブル状態となる。こうして、動画像の第１番目のフレームの撮像が開始される。
動画像の第１番目のフレームの蓄積期間中であるタイミングｔ８０２において、第２番目の同期信号ＶＤが制御部１０３から固体撮像素子１０１に供給されると、タイミングジェネレータ２１２は、以下のように動作する。即ち、タイミングジェネレータ２１２は、カウント値取得信号Ｐ３を第３のメモリ３１３に対して出力し、リセット信号Ｒ２を第２のラッチ回路７０２に対して出力するとともに、イネーブル信号Ｅ２をハイレベルにする。第３のメモリ３１３は、カウント値取得信号Ｐ３を受信すると、当該カウント値取得信号Ｐ３を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ３を記憶する。第２のラッチ回路７０２は、リセット信号Ｒ２を受信すると、カウンタ飽和回数ＳＣ２の値を０にリセットする。第２のラッチ回路７０２は、ハイレベルのイネーブル信号Ｅ２を受信すると、入力がイネーブル状態となる。こうして、動画像の第２番目のフレームの撮像が開始される。
タイミングｔ８０１から１フレーム分の蓄積期間が経過したタイミングｔ８０３において、タイミングジェネレータ２１２は、カウント値取得信号Ｐ２を第２のメモリ３１２に対して出力するとともに、イネーブル信号Ｅ１をローレベルにする。第２のメモリ３１２は、カウント値取得信号Ｐ２を受信すると、当該カウント値取得信号Ｐ２を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ２を記憶する。第１のラッチ回路７０１は、イネーブル信号Ｅ１がローレベルになると、入力がディセーブル状態となる。なお、タイミングｔ８０１からタイミングｔ８０３までの間に、カウント値のカウント上限値Ｃｍａｘからカウント下限値０への遷移はカウンタ３１５において生じていないため、第１のラッチ回路７０１にはカウンタ飽和回数ＳＣ１として０が記憶されている。こうして、動画像の第１番目のフレームの撮像が終了する。
第１番目のフレームの撮像が終了してから第３番目のフレームの撮像が開始するまでの間に、走査パルスＰＶ１、ＰＨ１に従って、カウント値ＣＯＵＮＴ１、ＣＯＵＮＴ２及びカウンタ飽和回数ＳＣ１が撮像信号生成部２０９ａに順次送信される。第１の減算回路３３１は、第１実施形態と同様に、カウント値ＣＯＵＮＴ２からカウント値ＣＯＵＮＴ１を減算する。そして、第１の減算回路３３１は、減算によって得られた値を第１の加算回路７０７に出力する。第１の乗算回路７０５は、カウンタ飽和回数ＳＣ１にカウント上限値Ｃｍａｘを乗算し、乗算により得られた値を第１の加算回路７０７に出力する。但し、カウンタ飽和回数ＳＣ１が第１のラッチ回路７０１のカウント上限値（最大記録回数）ＳＣ１ｍａｘに達した場合には、第１の乗算回路７０５は、カウント値にかかわらずＣｍａｘ×（ＳＣ１ｍａｘ−１）を出力するようにする。このようにする理由は、カウンタ飽和回数ＳＣ１が第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘである場合と、カウンタ飽和回数ＳＣ１が第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘを超えている場合との区別ができないためである。このため、第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘについては、予備的な扱いとする。第１の加算回路７０７は、第１の減算回路３３１の出力と第１の乗算回路７０５の出力とを加算し、加算により得られた第１の撮像信号Ｓｉｇ１を信号線ＯＵＴ１に出力する。
第２番目のフレームの蓄積期間中であるタイミングｔ８０４において、カウント値のカウント上限値Ｃｍａｘからカウント下限値０への遷移がカウンタ３１５において生じている。このため、第２のラッチ回路７０２において、カウンタ飽和回数ＳＣ２が０から１にインクリメントされ、インクリメントされたカウンタ飽和回数ＳＣ２が第２のラッチ回路７０２において保持される。
第２番目のフレームの蓄積期間中であるタイミングｔ８０５において、第３番目の同期信号ＶＤが制御部１０３から固体撮像素子１０１に供給されると、第１番目のフレームの蓄積と同様にして、第３番目のフレームの撮像が開始される。この後も奇数番目のフレームの蓄積は、第１番目のフレームの蓄積と同様にして行われる。
タイミングｔ８０２から１フレーム分の蓄積期間が経過したタイミングｔ８０６において、タイミングジェネレータ２１２は、カウント値取得信号Ｐ４を第４のメモリ３１４に対して出力するとともに、イネーブル信号Ｅ２をローレベルにする。第４のメモリ３１４は、カウント値取得信号Ｐ４を受信すると、当該カウント値取得信号Ｐ４を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ４を記憶する。第２のラッチ回路７０２は、イネーブル信号Ｅ２がローレベルになると、入力がディセーブル状態となる。第２のラッチ回路７０２には、カウンタ飽和回数ＳＣ２として１が保持される。
第２番目のフレームの撮像が終了してから第４番目のフレームの蓄積が開始するまでの間に、走査パルスＰＶ２、ＰＨ２に従って、カウント値ＣＯＵＮＴ３、ＣＯＵＮＴ４及びカウンタ飽和回数ＳＣ２が撮像信号生成部２０９ａに順次出力される。第２の減算回路３３２は、第１実施形態と同様に、カウント値ＣＯＵＮＴ４からカウント値ＣＯＵＮＴ３を減算する。そして、第２の減算回路３３２は、減算によって得られた値を第２の加算回路７０８に出力する。第２の乗算回路７０６は、カウンタ飽和回数ＳＣ２にカウント上限値Ｃｍａｘを乗算し、乗算により得られた値を第２の加算回路７０８に出力する。但し、カウンタ飽和回数ＳＣ２が第２のラッチ回路７０２のカウント上限値ＳＣ２ｍａｘに達した場合には、第２の乗算回路７０６は、カウント値にかかわらずＣｍａｘ×（ＳＣ２ｍａｘ−１）を出力するようにする。このようにする理由は、カウンタ飽和回数ＳＣ１が第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘに達した場合と同様である。第２の加算回路７０８は、第２の減算回路３３２の出力と第２の乗算回路７０６の出力とを加算し、加算により得られた第２の撮像信号Ｓｉｇ２を信号線ＯＵＴ２に出力する。
第３番目のフレームの蓄積期間中であるタイミングｔ８０７において、第４番目の同期信号ＶＤが制御部１０３から固体撮像素子１０１に供給されると、第４番目のフレームの蓄積と同様にして、第４番目のフレームの蓄積が開始される。この後も偶数番目のフレームの蓄積は、第２番目のフレームの蓄積と同様にして行われる。
上記のような処理を順次繰り返すことによって、動画像が取得される。
図９は、本実施形態による撮像装置の動作を示すフローチャートである。図９（ａ）は奇数番目のフレームの撮像信号を生成する際の動作を示しており、図９（ｂ）は偶数番目のフレームの撮像信号を生成する際の動作を示している。
まず、奇数番目のフレームの撮像信号を生成する際の動作について図９（ａ）を用いて説明する。
ステップＳ９０１は、第１実施形態において上述したステップＳ５０１と同様であるため、説明を省略する。
ステップＳ９０２ａにおいて、第１の走査部２０６が、読み出し対象の行に位置する複数の計数部２１０ａにそれぞれ備えられている第１のメモリ３１１、第２のメモリ３１２及び第１のラッチ回路７０１に対して、走査パルスＰＶ１を出力する。これにより、読み出し対象の行に位置する複数の計数部２１０ａにそれぞれ備えられているメモリ３１１、３１２からバッファメモリ３２１、３２２にカウント値ＣＯＵＮＴ１、ＣＯＵＮＴ２がそれぞれ出力される。また、読み出し対象の行に位置する複数の計数部２１０ａにそれぞれ備えられている第１のラッチ回路７０１から第５のバッファメモリ７０３にカウンタ飽和回数ＳＣ１が出力される。
ステップＳ９０３は、第１実施形態において上述したステップＳ５０３と同様であるため、説明を省略する。
ステップＳ９０４ａでは、読み出し対象の列に位置する読み出しメモリ２２０に備えられたバッファメモリ３２１，３２２，７０３から撮像信号生成部２０９ａにカウント値ＣＯＵＮＴ１、ＣＯＵＮＴ２及びカウンタ飽和回数ＳＣ１がそれぞれ出力される。
ステップＳ９０５ａにおいて、第１の減算回路３３１が、第２のバッファメモリ３２２から出力されるカウント値ＣＯＵＮＴ２から第１のバッファメモリ３２１から出力されるカウント値ＣＯＵＮＴ１を減算する。また、第１の乗算回路７０５が、カウンタ飽和回数ＳＣ１にカウント上限値Ｃｍａｘを乗算する。更に、第１の加算回路７０７が、第１の減算回路３３１の出力と第１の乗算回路７０５の出力とを加算する。これにより、第ｉ行、第ｊ列の画素３０４の第１の撮像信号Ｓｉｇ１が取得される。
ステップＳ９０６ａにおいて、撮像信号生成部２０９ａが、第１の撮像信号Ｓｉｇ１を信号線ＯＵＴ１に出力する。
ステップＳ９０７以降の動作は、第１実施形態において上述したステップＳ５０７以降の動作と同様であるため、説明を省略する。こうして、奇数番目のフレームの撮像信号が生成される。
次に、偶数番目のフレームを生成する際の動作について図９（ｂ）を用いて説明する。
ステップＳ９０１は、第１実施形態において上述したステップＳ５０１と同様であるため、説明を省略する。
ステップＳ９０２ｂにおいて、第１の走査部２０６は、読み出し対象の行に位置する複数の計数部２１０ａにそれぞれ備えられている第３のメモリ３１３、第４のメモリ３１４及び第２のラッチ回路７０２に対して、走査パルスＰＶ２を出力する。これにより、読み出し対象の行に位置する複数の計数部２１０ａにそれぞれ備えられているメモリ３１３、３１４からバッファメモリ３２３、３２４にカウント値ＣＯＵＮＴ３、ＣＯＵＮＴ４がそれぞれ出力される。また、読み出し対象の行に位置する複数の計数部２１０ａにそれぞれ備えられている第２のラッチ回路７０２から第６のバッファメモリ７０４にカウンタ飽和回数ＳＣ２が出力される。
ステップＳ９０３は、第１実施形態において上述したステップＳ５０３と同様であるため、説明を省略する。
ステップＳ９０４ｂでは、読み出し対象の列に位置する読み出しメモリ２２０ａに備えられたバッファメモリ３２３，３２４，７０４から撮像信号生成部２０９ａにカウント値ＣＯＵＮＴ３、ＣＯＵＮＴ４及びカウンタ飽和回数ＳＣ２がそれぞれ出力される。
ステップＳ９０５ｂにおいて、第２の減算回路３３２が、第４のバッファメモリ３２４から出力されるカウント値ＣＯＵＮＴ４から第３のバッファメモリ３２３から出力されるカウント値ＣＯＵＮＴ３を減算する。また、第２の乗算回路７０６が、カウンタ飽和回数ＳＣ２にカウント上限値Ｃｍａｘを乗算する。更に、第２の加算回路７０８が、第２の減算回路３３２の出力と第２の乗算回路７０６の出力とを加算する。これにより、第ｉ行、第ｊ列の画素３０４の第２の撮像信号Ｓｉｇ２が取得される。
ステップＳ９０６ｂにおいて、撮像信号生成部２０９ａが、第２の撮像信号Ｓｉｇ２を信号線ＯＵＴ２に出力する。
ステップＳ９０７以降の動作は、第１実施形態において上述したステップＳ５０７以降の動作と同様であるため、説明を省略する。こうして、偶数番目のフレームの撮像信号が生成される。
このように、本実施形態によれば、第１実施形態と同様に、蓄積期間の重複した複数の画像を良好に取得し得る。しかも、本実施形態によれば、カウンタ飽和回数ＳＣ１、ＳＣ２を取得するため、カウンタ３１５が飽和した場合であっても画像を良好に取得し得る。このため、本実施形態によれば、１フレーム当たりの蓄積期間がフレームレートに対応するフレーム間隔より長い動画像を取得することもできる。このため、本実施形態によれば、例えば、被写体の輝度が低い場合であっても、良好な動画像を取得することが可能となる。
なお、上記では、動画像の各々のフレームの蓄積期間が互いに重複している場合を例に説明したが、これに限定されるものではない。例えば、各々のフレームの蓄積期間が互いに重複しないような動画像を取得することも可能である。図１０は、本実施形態による撮像装置の動作の他の例を示すタイミングチャートである。図１０に示す例においては、第２番目の同期信号ＶＤが供給されるタイミングｔ１００２より前に、カウント値取得信号Ｐ２が発せられ、第２のメモリ３１２がカウント値ＣＯＵＮＴ２を記憶し、第１番目のフレームの蓄積期間が終了する。また、カウント値取得信号Ｐ２が発せられるのと同時にイネーブル信号Ｅ１がローレベルとなり、第１のラッチ回路７０１の入力がディセーブル状態となる。カウント値ＣＯＵＮＴ２が第２のメモリ３１２に記憶され、第１のラッチ回路７０１においてカウンタ飽和回数ＳＣ１が確定した後、カウント値ＣＯＵＮＴ１、ＣＯＵＮＴ２及びカウンタ飽和回数ＳＣ１の計数部２１０ａからの出力が開始される。この後、第２番目の同期信号ＶＤが供給されるタイミングｔ１００３において、第２番目のフレームの蓄積期間が開始する。
このように、動画像の各々のフレームの蓄積期間が互いに重複していなくてもよい。このように、本実施形態による撮像装置は、各々のフレームの蓄積期間が互いに重複する動画像を取得する第１の動作モードで動作することもできるし、各々のフレームの蓄積期間が互いに重複しない動画像を取得する第２の動作モードで動作することもできる。
［第３実施形態］
第３実施形態による撮像装置及び撮像方法について図１１及び図１２を用いて説明する。図１乃至図１０に示す第１又は第２実施形態による撮像装置及び撮像方法と同一の構成要素には、同一の符号を付して説明を省略又は簡潔にする。
本実施形態による撮像装置は、カウンタ３１５の飽和が多数回生じた場合であっても飽和回数をカウントし得る飽和回数カウンタ１１０１が備えられているものである。なお、ここでは、第１のメモリ３１１，第２のメモリ３１２及び第１のラッチ回路７０１が動画像の取得に用いられる場合を例に説明する。また、ここでは、第３のメモリ３１３，第４のメモリ３１４及び飽和回数カウンタ１１０１が、静止画像の取得に用いられる場合を例に説明する。しかし、これに限定されるものではない。
図１１は、本実施形態による固体撮像素子を示す図である。本実施形態では、計数部アレイ２０５に備えられた複数の計数部２１０ｂの各々が、図１１に示すような構成となっている。即ち、図１１に示すように、計数部２１０ｂには、図７に示す第２のラッチ回路７０２に代えて、飽和回数カウンタ１１０１が備えられている。飽和回数カウンタ１１０１は、カウンタ３１５の飽和が多数回生じた場合であっても、飽和回数をカウントし得るものである。飽和回数カウンタ１１０１のカウント上限値ＳＣ２ｍａｘは、第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘよりも大きくなっている。なお、ここでは、１つの計数部２１０ｂに１つのラッチ回路７０１と１つの飽和回数カウンタ１１０１が備えられている場合を例に説明するが、これに限定されるものではない。飽和回数カウンタ１１０１は、イネーブル信号Ｅ２がハイレベルになっている間にカウンタ３１５のカウント値がカウント上限値Ｃｍａｘからカウント下限値０に遷移した回数を、カウンタ飽和回数（第２のカウンタ飽和回数）ＳＣ２として記憶する。飽和回数カウンタ１１０１のカウント上限値ＳＣ２ｍａｘは、長時間露光を可能とする観点からはできるだけ大きいことが好ましいが、回路規模の抑制の観点からはある程度の大きさに抑制される。飽和回数カウンタ１１０１は、リセット信号Ｒ２によってリセットされる。また、飽和回数カウンタ１１０１は、第１の走査部２０６から出力される走査パルスＰＶ２に従って、カウンタ飽和回数ＳＣ２を出力する。飽和回数カウンタ１１０１から出力されるカウンタ飽和回数ＳＣ２は、読み出しメモリ２２０ｂに備えられた第６のバッファメモリ１１０２に記憶される。
また、本実施形態では、記憶部２０７に備えられた複数の読み出しメモリ２２０ｂの各々が、図１１に示すような構成となっている。即ち、図１１に示すように、読み出しメモリ２２０ｂは、図７に示す第６のバッファメモリ７０４に代えて、第６のバッファメモリ１１０２を備えている。第６のバッファメモリ１１０２は、飽和回数カウンタ１１０１から出力されるカウンタ飽和回数ＳＣ２を一時的に記憶する。第６のバッファメモリ１１０２は、飽和回数カウンタ１１０１から出力されるカウンタ飽和回数ＳＣ２を記憶し得る記憶容量を備えている。第６のバッファメモリ１１０２は、第２の走査部２１１から供給される走査パルスＰＨ２に従って、記憶しているカウンタ飽和回数ＳＣ２を第２の乗算回路７０６に出力する。
カウンタ３１５のカウント上限値Ｃｍａｘ、第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘ、飽和回数カウンタ１１０１のカウント上限値ＳＣ２ｍａｘ等は、以下のような考え方に基づいて設定し得る。カウンタ３１５のカウント上限値Ｃｍａｘは、例えば、動画像において必要な階調を満たすカウント値（必要カウント値）Ｃｍａｘ１以上となるように設定される。この場合、第１のラッチ回路７０１においては、第２実施形態において上述したように、カウンタ飽和回数ＳＣ１を２回まで記録できればよい。従って、第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘは例えば２とされる。一方、静止画像において必要な階調を満たすカウント値をＣｍａｘ２とする。静止画像においては、鑑賞に堪えるべく、広いダイナミックレンジが要求されるため、Ｃｍａｘ２はＣｍａｘ１より大きい。カウント上限値がＣｍａｘのカウンタ３１５を用いてＣｍａｘ２までカウントを行うためには、飽和回数カウンタ１１０１のカウント上限値ＳＣ２ｍａｘを、静止画像の最長蓄積期間を加味して決定することが好ましい。具体的には、動画像の１フレームの最短蓄積期間をＡ１ｍｉｎとする。静止画像の最長蓄積期間をＡ２ｍａｘとする。動画像の１フレームの最短蓄積期間Ａ１ｍｉｎと静止画像の最長蓄積期間Ａ２ｍａｘとの比をＲとする。カウンタ３１５のカウント上限値Ｃｍａｘに飽和回数カウンタ１１０１のカウント上限値ＳＣ２ｍａｘを乗ずることにより得られる値（Ｃｍａｘ×ＳＣ２ｍａｘ）が、Ｃｍａｘ２×Ｒ以上となるように、ＳＣ２ｍａｘを決定することが好ましい。図１２は、動画像の最短蓄積期間と、静止画像の最長蓄積期間と、カウント値との関係を示すグラフである。図１２の横軸は蓄積期間を示しており、図１２の縦軸はカウント値を示している。図１２の点Ａは、動画像の最短蓄積期間Ａ１ｍｉｎにおいてカウンタ３１５のカウント値が必要カウント値Ｃｍａｘ１に達するような状態を示している。このような状態となるような高輝度の被写体に対して、最長蓄積期間Ａ２ｍａｘでの静止画像の撮影を行うと、静止画像の撮影におけるカウント値は図１２において点Ｂで示すような値となる。点Ｂのカウント値は、例えば、動画像において必要な階調を満たすカウント値である必要カウント値Ｃｍａｘ１に、動画像の１フレームの最短蓄積期間Ａ１ｍｉｎと静止画像の最長蓄積期間Ａ２ｍａｘとの比Ｒを乗算することにより得られる値に相当する。即ち、点Ｂのカウント値は、Ｃｍａｘ１×Ｒに相当する。飽和回数カウンタ１１０１のカウント上限値ＳＣ２ｍａｘは、例えば、（Ｃｍａｘ１×Ｒ）をカウンタ３１５のカウント上限値Ｃｍａｘによって除算することによって得られる値に基づいて設定し得る。即ち、カウント上限値ＳＣ２ｍａｘは、以下のような式（１）に基づいて設定し得る。
ＳＣ２ｍａｘ≧（Ｃｍａｘ１×Ｒ）／Ｃｍａｘ ・・・（１）
図１３は、本実施形態による撮像装置の動作を示すタイミングチャートである。ここでは、各々のフレームの蓄積期間が互いに重複しないような動画像を撮影している最中に静止画像の撮影が行われる場合を例に説明する。
タイミングｔ１３０１において、動画像の撮影開始の指示が撮影指示部１０７を介してユーザ等によって行われると、制御部１０３は、固体撮像素子１０１に対して、動画像の撮影開始の指示と、制御データとを送信する。当該制御データは、動画像の１フレーム当たりの蓄積期間の設定情報を含む。また、制御部１０３は、固体撮像素子１０１への同期信号ＶＤの供給を開始する。同期信号ＶＤの供給は、動画像の撮影の終了の指示がユーザ等によって行われるまで継続される。タイミングｔ１３０１においては、第１番目の同期信号ＶＤが固体撮像素子１０１に供給される。同期信号ＶＤの間隔は、動画像のフレームレートに応じたフレーム間隔とされる。動画像のフレームレートは、例えば、設定部１０６を介してユーザ等によって設定される。動画像の撮影開始の指示を受信すると、タイミングジェネレータ２１２は、カウント値取得信号Ｐ１を第１のメモリ３１１に対して出力し、リセット信号Ｒ１を第１のラッチ回路７０１に対して出力するとともに、イネーブル信号Ｅ１をハイレベルにする。第１のメモリ３１１は、カウント値取得信号Ｐ１を受信すると、当該カウント値取得信号Ｐ１を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ１を記憶する。第１のラッチ回路７０１は、リセット信号Ｒ１を受信すると、カウンタ飽和回数ＳＣ１の値を０にリセットする。第１のラッチ回路７０１は、ハイレベルのイネーブル信号Ｅ１を受信すると、入力がイネーブル状態となる。こうして、動画像の第１番目のフレームの撮像が開始される。
タイミングｔ１３０１から１フレーム分の蓄積期間が経過したタイミングｔ１３０２において、タイミングジェネレータ２１２は、カウント値取得信号Ｐ２を第２のメモリ３１２に対して出力するとともに、イネーブル信号Ｅ１をローレベルにする。第２のメモリ３１２は、カウント値取得信号Ｐ２を受信すると、当該カウント値取得信号Ｐ２を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ２を記憶する。第１のラッチ回路７０１は、イネーブル信号Ｅ１がローレベルになると、入力がディセーブル状態となる。なお、タイミングｔ１３０１からタイミングｔ１３０２までの間に、カウンタ３１５の飽和は生じていないため、第１のラッチ回路７０１にはカウンタ飽和回数ＳＣ１として０が記憶されている。こうして、動画像の第１番目のフレームの撮像が終了する。
第１番目のフレームの撮像が終了してから第２番目のフレームの撮像が開始するまでの間に、走査パルスＰＶ１、ＰＨ１に従って、カウント値ＣＯＵＮＴ１、ＣＯＵＮＴ２及びカウンタ飽和回数ＳＣ１が撮像信号生成部２０９ａに順次送信される。なお、撮像信号生成部２０９ａにおいて行われる処理は、第２実施形態において図９（ａ）を用いて上述した処理と同様であるため、省略する。
タイミングｔ１３０３において、制御部１０３は、第２番目の同期信号ＶＤを固体撮像素子１０１に対して供給する。これにより、動画像の第２番目のフレームの撮像が開始される。以降、フレームレートに応じたフレーム間隔で入力される同期信号ＶＤに従って、固体撮像素子１０１は、上記と同様の動作を繰り返す。これにより、動画像を構成する複数のフレームの各々が順次取得されていく。
動画像の撮影が行われている最中のタイミングｔ１３０４において、静止画像の撮影開始の指示が撮影指示部１０７を介してユーザ等によって行われると、制御部１０３は、固体撮像素子１０１に対して、静止画像の撮影開始の指示と、制御データとを送信する。当該制御データは、静止画像の蓄積期間の設定情報を含む。静止画像の撮影開始の指示を受信すると、タイミングジェネレータ２１２は、カウント値取得信号Ｐ３を第３のメモリ３１３に対して出力し、リセット信号Ｒ２を飽和回数カウンタ１１０１に対して出力するとともに、イネーブル信号Ｅ２をハイレベルにする。第３のメモリ３１３は、カウント値取得信号Ｐ３を受信すると、当該カウント値取得信号Ｐ３を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ３を記憶する。飽和回数カウンタ１１０１は、リセット信号Ｒ２を受信すると、カウンタ飽和回数ＳＣ２の値を０にリセットする。飽和回数カウンタ１１０１は、ハイレベルのイネーブル信号Ｅ２を受信すると、入力がイネーブル状態となる。こうして、静止画像の撮影が開始される。
静止画像の蓄積期間中であるタイミングｔ１３０５とタイミングｔ１３０６とにおいて、カウンタ３１５のカウント値がカウント上限値Ｃｍａｘからカウント下限値０に遷移する。タイミングｔ１３０５においては、飽和回数カウンタ１１０１によるカウンタ飽和回数ＳＣ２が、０から１にカウントアップされる。タイミングｔ１３０６においては、飽和回数カウンタ１１０１によるカウンタ飽和回数ＳＣ２が、１から２にカウントアップされる。
タイミングｔ１３０４から静止画像の蓄積期間が経過したタイミングｔ１３０７において、タイミングジェネレータ２１２は、カウント値取得信号Ｐ４を第４のメモリ３１４に対して出力するとともに、イネーブル信号Ｅ２をローレベルにする。第４のメモリ３１４は、カウント値取得信号Ｐ４を受信すると、当該カウント値取得信号Ｐ４を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ４を記憶する。飽和回数カウンタ１１０１は、イネーブル信号Ｅ２がローレベルになると、入力がディセーブル状態となる。こうして、静止画像の撮影が終了する。
静止画像の撮像が終了すると、走査パルスＰＶ２、ＰＨ２に従って、カウント値ＣＯＵＮＴ３、ＣＯＵＮＴ４及びカウンタ飽和回数ＳＣ２が撮像信号生成部２０９ａに順次送信される。なお、撮像信号生成部２０９ａにおいて行われる処理は、第２実施形態において図９（ｂ）を用いて上述した処理と同様であるため、省略する。
このように、本実施形態によれば、本実施形態によれば、カウンタ３１５の飽和が多数回生じた場合であっても飽和回数をカウントし得る飽和回数カウンタ１１０１が備えられている。このため、本実施形態によれば、カウンタ３１５が多数回飽和するような場合であっても、良好な画像を得ることができ、ダイナミックレンジの広い良好な画像を得ることができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
本発明は、上記実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０１…固体撮像素子
１０３…制御部
１０７…撮影指示部
２０２…センサ部アレイ
２０３…センサ部
２１０…計数部
２２０…記憶部
２０５…計数部アレイ
３０１…フォトダイオード
３０４…画素

Claims (12)

  1. 光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリとをそれぞれ備える複数の画素と、
    第１の画像の撮像開始の際における前記カウンタのカウント値と、前記第１の画像の撮像終了の際における前記カウンタのカウント値とに基づいて第１の撮像信号を生成し、前記第１の画像とは異なる第２の画像の撮像開始の際における前記カウンタのカウント値と、前記第２の画像の撮像終了の際における前記カウンタのカウント値とに基づいて第２の撮像信号を生成する生成部と
    を有し、
    前記第１の画像の撮像期間と前記第２の画像の撮像期間とが重複する第１の動作モードで動作し得ることを特徴とする固体撮像素子。
  2. 前記センサ部は、アバランシェフォトダイオードを備えていることを特徴とする請求項１に記載の固体撮像素子。
  3. 前記メモリは、前記第１の画像の撮像開始の際における前記カウンタのカウント値と、前記第１の画像の撮像終了の際における前記カウンタのカウント値と、前記第２の画像の撮像開始の際における前記カウンタのカウント値と、前記第２の画像の撮像終了の際における前記カウンタのカウント値とを記憶することを特徴とする請求項１又は２に記載の固体撮像素子。
  4. 前記第１の画像の撮像開始の際に前記カウンタのカウント値をリセットするカウンタリセット部を備え、
    前記メモリは、前記第１の画像の撮像開始の際における前記カウンタのカウント値を記憶せず、前記第１の画像の撮像終了の際における前記カウンタのカウント値を記憶し、
    前記生成部は、前記メモリに記憶された、前記第１の画像の撮像終了の際における前記カウンタのカウント値に基づいて前記第１の撮像信号を生成することを特徴とする請求項１又は２に記載の固体撮像素子。
  5. 前記第２の画像の撮像終了の際に前記カウンタによるカウントを停止するカウント停止部を備え、
    前記メモリは、前記第２の画像の撮像開始の際における前記カウンタのカウント値を記憶し、前記第２の画像の撮像終了の際における前記カウンタのカウント値を記憶せず、
    前記生成部は、前記メモリに記憶された、前記第２の画像の撮像開始の際における前記カウンタのカウント値と、前記カウンタに保持された、前記第２の画像の撮像終了の際における前記カウンタのカウント値とに基づいて前記第２の撮像信号を生成することを特徴とする請求項１、２及び４のいずれか１項に記載の固体撮像素子。
  6. 前記カウンタの飽和回数を記憶する飽和回数記憶部を更に備え、
    前記生成部は、前記第１の画像の撮像中に生じた前記カウンタの飽和回数を更に用いて前記第１の撮像信号を生成し、前記第２の画像の撮像中に生じた前記カウンタの飽和回数を更に用いて前記第２の撮像信号を生成することを特徴とする請求項１から５のいずれか１項に記載の固体撮像素子。
  7. 前記第１の画像において必要とされる階調と、前記第２の画像において必要とされる階調と、前記第１の画像の最短蓄積期間と、前記第２の画像の最長蓄積期間と、前記カウンタのカウント上限値とに基づいて、前記飽和回数記憶部のカウント上限値が設定されることを特徴とする請求項６に記載の固体撮像素子。
  8. 前記第１の画像又は前記第２の画像において必要とされる階調に応じて前記カウンタのカウント上限値が設定されることを特徴とする請求項１から７のいずれか１項に記載の固体撮像素子。
  9. さらに、前記第１の画像の撮像期間と前記第２の画像の撮像期間とが重複しない第２の動作モードで動作し得ることを特徴とする請求項１から８のいずれか１項に記載の固体撮像素子。
  10. 前記第１の画像の撮像期間と前記第２の画像の撮像期間とが異なることを特徴とする請求項１から９のいずれか１項に記載の固体撮像素子。
  11. 光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリとをそれぞれ備える複数の画素と、第１の画像の撮像開始の際における前記カウンタのカウント値と、前記第１の画像の撮像終了の際における前記カウンタのカウント値とに基づいて第１の撮像信号を生成し、前記第１の画像とは異なる第２の画像の撮像開始の際における前記カウンタのカウント値と、前記第２の画像の撮像終了の際における前記カウンタのカウント値とに基づいて第２の撮像信号を生成する生成部とを有する固体撮像素子と、
    前記固体撮像素子によって取得される第１の撮像信号と前記第２の撮像信号とに対して所定の処理を行う制御部と
    を備え、
    前記固体撮像素子は、前記第１の画像の撮像期間と前記第２の画像の撮像期間とが重複する第１の動作モードで動作し得ることを特徴とする撮像装置。
  12. 前記固体撮像素子は、さらに、前記第１の画像の撮像期間と前記第２の画像の撮像期間とが重複しない第２の動作モードで動作し得ることを特徴とする請求項１１に記載の撮像装置。
JP2017099032A 2017-05-18 2017-05-18 固体撮像素子及び撮像装置 Active JP6909050B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017099032A JP6909050B2 (ja) 2017-05-18 2017-05-18 固体撮像素子及び撮像装置
US15/978,781 US10652494B2 (en) 2017-05-18 2018-05-14 Solid-state imaging device, imaging apparatus, and imaging method for generating images based on a frequency of photons and having overlapping imaging periods
JP2021109964A JP7223070B2 (ja) 2017-05-18 2021-07-01 固体撮像素子及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017099032A JP6909050B2 (ja) 2017-05-18 2017-05-18 固体撮像素子及び撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021109964A Division JP7223070B2 (ja) 2017-05-18 2021-07-01 固体撮像素子及び撮像装置

Publications (2)

Publication Number Publication Date
JP2018196015A JP2018196015A (ja) 2018-12-06
JP6909050B2 true JP6909050B2 (ja) 2021-07-28

Family

ID=64272704

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017099032A Active JP6909050B2 (ja) 2017-05-18 2017-05-18 固体撮像素子及び撮像装置
JP2021109964A Active JP7223070B2 (ja) 2017-05-18 2021-07-01 固体撮像素子及び撮像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021109964A Active JP7223070B2 (ja) 2017-05-18 2021-07-01 固体撮像素子及び撮像装置

Country Status (2)

Country Link
US (1) US10652494B2 (ja)
JP (2) JP6909050B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021153346A (ja) * 2017-05-18 2021-09-30 キヤノン株式会社 固体撮像素子及び撮像装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023004679A (ja) * 2021-06-28 2023-01-17 キヤノン株式会社 撮像装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799868B2 (ja) * 1984-12-26 1995-10-25 日本放送協会 固体撮像装置
US5665959A (en) * 1995-01-13 1997-09-09 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Adminstration Solid-state image sensor with focal-plane digital photon-counting pixel array
JP3903361B2 (ja) * 1999-08-13 2007-04-11 日本放送協会 固体撮像装置
US6538245B1 (en) * 2000-10-26 2003-03-25 Rockwell Science Center, Llc. Amplified CMOS transducer for single photon read-out of photodetectors
JP4255345B2 (ja) 2003-09-12 2009-04-15 株式会社ルネサステクノロジ 撮像装置
JP2008523695A (ja) * 2004-12-07 2008-07-03 ブライト・イメージング・リミテッド 輝度分散が大きい場面を撮像する方法および装置
US7547872B2 (en) * 2005-02-14 2009-06-16 Ecole Polytechnique Federale De Lausanne Integrated circuit comprising an array of single photon avalanche diodes
US7923674B2 (en) * 2005-06-29 2011-04-12 National University Corporation NARA Institute of Science and Technology Solid-state image sensor having a voltage applier and signal readout method thereof
JP5521721B2 (ja) * 2009-08-28 2014-06-18 ソニー株式会社 撮像素子およびカメラシステム
US8653435B2 (en) * 2010-09-06 2014-02-18 King Abdulaziz City Science And Technology Time-delay integration imaging method and apparatus using a high-speed in-pixel analog photon counter
JP2012235265A (ja) 2011-04-28 2012-11-29 Panasonic Corp イメージセンサ及びその駆動方法
JP2013090139A (ja) 2011-10-18 2013-05-13 Sony Corp 撮像素子およびカメラシステム
EP2938066A4 (en) * 2012-12-20 2016-10-19 Sony Semiconductor Solutions Corp IMAGE CAPTURE ELEMENT, IMAGE CAPTURE DEVICE, ELECTRONIC APPARATUS, THRESHOLD CALCULATION DEVICE, AND IMAGE CAPTURE METHOD
CN105144699B (zh) * 2013-03-15 2019-03-15 拉姆伯斯公司 阈值监测的有条件重置的图像传感器及其操作方法
WO2014181889A1 (ja) * 2013-05-10 2014-11-13 株式会社テレシステムズ Ｘ線パノラマ・ｃｔ撮影を利用した物質同定装置及び物質同定方法
JP6178197B2 (ja) * 2013-09-30 2017-08-09 株式会社東芝 放射線検出装置および放射線検出方法
JP6535163B2 (ja) 2014-02-24 2019-06-26 日本放送協会 信号処理回路及びイメージセンサ
JP2016219993A (ja) 2015-05-19 2016-12-22 キヤノン株式会社 撮像装置の駆動方法
US11297258B2 (en) * 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
KR102452009B1 (ko) * 2016-03-15 2022-10-06 다트머스 칼리지 클러스터-병렬 판독을 갖는 적층형 후면 조사식 양자 이미지 센서
JP6808564B2 (ja) 2017-04-07 2021-01-06 キヤノン株式会社 信号処理装置及び方法、撮像素子、及び撮像装置
JP6909050B2 (ja) * 2017-05-18 2021-07-28 キヤノン株式会社 固体撮像素子及び撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021153346A (ja) * 2017-05-18 2021-09-30 キヤノン株式会社 固体撮像素子及び撮像装置

Also Published As

Publication number Publication date
US20180338102A1 (en) 2018-11-22
JP7223070B2 (ja) 2023-02-15
JP2021153346A (ja) 2021-09-30
JP2018196015A (ja) 2018-12-06
US10652494B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
JP6039165B2 (ja) 撮像素子及び撮像装置
US20140071321A1 (en) Solid-state imaging device
US9794497B2 (en) Solid-state imaging device controlling read-out of signals from pixels in first and second areas
JPWO2012035825A1 (ja) 撮像装置及び撮像方法
US10313588B2 (en) Image capturing system and control method of image capturing system
JP7223070B2 (ja) 固体撮像素子及び撮像装置
CN111149352B (zh) 摄像设备及其控制方法
JP2010062638A (ja) 撮像装置
JP2008042714A (ja) 固体撮像装置
US7990439B2 (en) Solid-state imaging apparatus having photoelectric conversion device
JP6362511B2 (ja) 撮像装置及びその制御方法
JP2010251829A (ja) 固体撮像素子、カメラシステム、及び信号読み出し方法
JP6368993B2 (ja) 撮像装置
JP7339779B2 (ja) 撮像装置
JP2016058877A (ja) 撮像装置及びその制御方法
JP7108471B2 (ja) 固体撮像素子、撮像装置及び撮像方法
JP2017055321A (ja) 撮像装置及び撮像システム
JP2019103121A (ja) 撮像素子、撮像装置及び撮像方法
JP2020065146A (ja) 撮像装置、撮像装置の制御方法および電子機器
JP2018061230A (ja) 撮像装置、その駆動方法および撮像システム
JP7361514B2 (ja) 撮像素子および撮像装置
JP7218193B2 (ja) 撮像装置
JP7091044B2 (ja) 撮像素子及び撮像装置
CN111800591A (zh) 摄像元件及其控制方法和摄像装置
JP6366325B2 (ja) 撮像システム

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210702

R151 Written notification of patent or utility model registration

Ref document number: 6909050

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151