JP2016208402A - 固体撮像素子およびその駆動方法、並びに電子機器 - Google Patents
固体撮像素子およびその駆動方法、並びに電子機器 Download PDFInfo
- Publication number
- JP2016208402A JP2016208402A JP2015090375A JP2015090375A JP2016208402A JP 2016208402 A JP2016208402 A JP 2016208402A JP 2015090375 A JP2015090375 A JP 2015090375A JP 2015090375 A JP2015090375 A JP 2015090375A JP 2016208402 A JP2016208402 A JP 2016208402A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- signal
- pixel
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 77
- 239000007787 solid Substances 0.000 title 1
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims description 52
- 230000015572 biosynthetic process Effects 0.000 claims description 45
- 238000003786 synthesis reaction Methods 0.000 claims description 45
- 239000000758 substrate Substances 0.000 claims description 31
- 239000004065 semiconductor Substances 0.000 claims description 29
- 230000006866 deterioration Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 97
- 244000144972 livestock Species 0.000 description 96
- 230000007547 defect Effects 0.000 description 86
- 230000015654 memory Effects 0.000 description 86
- 238000012937 correction Methods 0.000 description 82
- 239000000203 mixture Substances 0.000 description 82
- 230000009467 reduction Effects 0.000 description 80
- 230000008569 process Effects 0.000 description 57
- 230000002194 synthesizing effect Effects 0.000 description 49
- 238000010586 diagram Methods 0.000 description 35
- 238000005516 engineering process Methods 0.000 description 17
- 238000012546 transfer Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 238000011946 reduction process Methods 0.000 description 12
- 238000009825 accumulation Methods 0.000 description 10
- 238000002156 mixing Methods 0.000 description 9
- 230000015556 catabolic process Effects 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000002950 deficient Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Abstract
【課題】画質劣化の少ないHDR画像を生成する固体撮像素子およびその駆動方法、並びに電子機器を提供する。
【解決手段】固体撮像素子は、複数の画素が行列状に2次元配置された画素アレイ部21と、画素アレイ部の複数行の画素の画素信号を同時に読み出すように画素を駆動する制御部26とを備える。同時に読み出された複数行の画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である。
【選択図】図1
【解決手段】固体撮像素子は、複数の画素が行列状に2次元配置された画素アレイ部21と、画素アレイ部の複数行の画素の画素信号を同時に読み出すように画素を駆動する制御部26とを備える。同時に読み出された複数行の画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である。
【選択図】図1
Description
本技術は、固体撮像素子およびその駆動方法、並びに電子機器に関し、特に、画質劣化の少ないHDR画像を生成することができるようにする固体撮像素子およびその駆動方法、並びに電子機器に関する。
ダイナミックレンジを拡げたHDR(High Dynamic Range:ハイダイナミックレンジ)画像を撮像する技術として、互いに異なる露光時間で撮像された複数枚の画像を用いてHDR画像を生成する方法がある(例えば、特許文献1参照)。
しかし、そのような手法では、複数枚の画像を撮影している間に、被写体が動いたり、手ブレ等により画面が動いた場合に、動いた部分の画像が不自然になってしまう。そのため、例えば、特許文献1に記載の手法では、動被写体部分での位置合わせを行うようにしているが、このような信号処理で位置合わせを行う手法では、動きが大きい場合や、動被写体によって隠蔽された物体などがあった場合に完全に位置合わせを行えない場合がある。
そこで、動被写体の誤差をなるべく少なくするために、1つの撮像素子内に、高感度画素と低感度画素を用意し、同時に複数の露光時間の信号を取得する方法がある(例えば、特許文献2参照)。
しかし、同時に複数の露光時間の信号を取得する手法では、画像解像度が低下し、エイリアシングなどが発生してしまう。
本技術は、このような状況に鑑みてなされたものであり、画質劣化の少ないHDR画像を生成することができるようにするものである。
本技術の第1の側面の固体撮像素子は、複数の画素が行列状に2次元配置された画素アレイ部と、前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部とを備え、同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である。
本技術の第2の側面の固体撮像素子の駆動方法は、複数の画素が行列状に2次元配置された画素アレイ部を備える固体撮像素子が、前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動し、同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である。
本技術の第3の側面の電子機器は、複数の画素が行列状に2次元配置された画素アレイ部と、前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部とを備え、同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である固体撮像素子を備える。
本技術の第1乃至第3の側面においては、複数の画素が行列状に2次元配置された画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素が駆動され、同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号とされ、第2の画素行の画素信号は、第2のフレームの画素信号とされる。
固体撮像素子及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術の第1乃至第3の側面によれば、画質劣化の少ないHDR画像を生成することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本技術中に記載されたいずれかの効果であってもよい。
以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(2枚の画像を合成してHDR画像を生成する構成例)
2.第2の実施の形態(欠陥補正部及びノイズ低減部を有する構成例)
3.第3の実施の形態(欠陥補正部及びノイズ低減部を共通化した構成例)
4.第4の実施の形態(第1フレームを短畜信号とした第1構成例)
5.第5の実施の形態(第1フレームを短畜信号とした第2構成例)
6.第6の実施の形態(第1フレームを短畜信号とした第3構成例)
7.第7の実施の形態(欠陥補正処理及びノイズ低減処理を合成後に行う構成例)
8.第8の実施の形態(4枚の画像を合成してHDR画像を生成する構成例)
9.電子機器への適用例
1.第1の実施の形態(2枚の画像を合成してHDR画像を生成する構成例)
2.第2の実施の形態(欠陥補正部及びノイズ低減部を有する構成例)
3.第3の実施の形態(欠陥補正部及びノイズ低減部を共通化した構成例)
4.第4の実施の形態(第1フレームを短畜信号とした第1構成例)
5.第5の実施の形態(第1フレームを短畜信号とした第2構成例)
6.第6の実施の形態(第1フレームを短畜信号とした第3構成例)
7.第7の実施の形態(欠陥補正処理及びノイズ低減処理を合成後に行う構成例)
8.第8の実施の形態(4枚の画像を合成してHDR画像を生成する構成例)
9.電子機器への適用例
<1.第1の実施の形態>
<1.1 固体撮像素子の全体構成例>
図1は、本技術を適用した固体撮像素子の概略構成を示すブロック図である。
<1.1 固体撮像素子の全体構成例>
図1は、本技術を適用した固体撮像素子の概略構成を示すブロック図である。
図1の固体撮像素子1は、画素領域11、メモリ領域12、ロジック領域13、及び制御領域14を有している。
固体撮像素子1は、露光時間の異なる2枚の画像から、ダイナミックレンジを拡大したHDR画像を生成して出力する機能を有する。
なお、以下では、HDR画像の生成に際し、2枚の画像それぞれにおいて設定される露光時間のうち、長い方の露光時間を長露光時間と称し、短い方の露光時間を短露光時間と称する。また、長露光時間で露光して得られる1枚の画像を長露光画像、短露光時間で露光して得られる1枚の画像を短露光画像、長露光時間で露光して得られる画素信号を長露光信号、短露光時間で露光して得られる画素信号を短露光信号とも称する。
画素領域11には、画素アレイ部21とカラムAD変換部22が形成され、メモリ領域12には、フレームメモリ23が形成されている。また、ロジック領域13には、フレーム加算部24及びHDR合成部25が形成され、制御領域14には、制御部26が形成されている。
画素領域11の画素アレイ部21には、入射光の光量に応じた光電荷を生成して蓄積する光電変換部を有する画素20が行方向及び列方向の行列状に2次元配置されている。カラムAD変換部22は、2次元配置された各画素20から出力されるアナログの画素信号をデジタルの画素信号に変換する。
カラムAD変換部22は、例えば、長露光信号についてはメモリ領域12のフレームメモリ23に出力し、短露光信号についてはロジック領域13のHDR合成部25に出力する。
メモリ領域12のフレームメモリ23は、例えば、DRAM(Dynamic Read Only Memory)等の揮発性メモリで構成され、カラムAD変換部22から供給される1枚(1フレーム)の画像を記憶し、所定のタイミングで、ロジック領域13のフレーム加算部24に出力する。
ロジック領域13は、画素信号に対して所定の信号処理を実行するロジック回路が形成された領域である。フレーム加算部24は、カラムAD変換部22から供給される短露光画像と、フレームメモリ23から供給される長露光画像とを加算(フレーム加算)し、加算後の画像をHDR合成部25に出力する。ただし、このフレーム加算をする処理は、固体撮像素子1の動作モードがフレーム加算モードの場合に実行される。動作モードがフレームを加算しないフレーム非加算モードの場合は、フレーム加算部24は、フレームメモリ23から供給される長露光画像をそのまま、HDR合成部25に出力する。
HDR合成部25は、露光時間の異なる2枚の画像から、ダイナミックレンジを拡大したHDR画像を生成して出力する。HDR画像生成の詳細については後述する。ここで、HDR画像の生成に用いられる、露光時間の異なる2枚の画像を、長畜画像と短畜画像と称することとし、上述した短露光画像と長露光画像と区別して使用する。詳細は後述するが、動作モードがフレーム加算モードである場合は、HDR合成部25は、短露光画像と長露光画像を加算した画像を長畜画像、及び短露光画像を短畜画像としてHDR画像を生成する。一方、動作モードがフレーム非加算モードである場合は、長露光画像がそのまま長畜画像となり、短露光画像がそのまま短畜画像となる。
制御領域14の制御部26は、所定のクロック信号やタイミング信号を、各画素20やカラムAD変換部22に供給することにより、画素20及びカラムAD変換部22の駆動を制御する。また、制御部26は、所定のクロック信号やタイミング信号をメモリ領域12に供給し、フレームメモリ23への画像(データ)の書き込み、及び、フレームメモリ23からの画像(データ)の読み出しを制御する。
<1.2 固体撮像素子の基板構成例>
図2は、固体撮像素子1の基板構成例を示している。
図2は、固体撮像素子1の基板構成例を示している。
固体撮像素子1は、図2に示されるように、3枚の半導体基板31乃至33を積層した3層構造により形成することができる。
より具体的には、図2Aに示されるように、3枚の半導体基板31乃至33のうち、入射光側の第1の半導体基板31には画素領域11を形成し、真ん中の第2の半導体基板32にはメモリ領域12を形成し、第2の半導体基板32の下層の第3の半導体基板33に、ロジック領域13と制御領域14を形成した構成を採用することができる。
あるいはまた、図2Bに示されるように、3枚の半導体基板31乃至33のうち、第1の半導体基板31には画素領域11と制御領域14を形成し、第2の半導体基板32にはメモリ領域12を形成し、第3の半導体基板33に、ロジック領域13を形成した構成とすることもできる。
3枚の半導体基板31乃至33どうしは、例えば、貫通ビアやCu-Cuの金属結合により電気的に接続される。
以上のように、固体撮像素子1は、画素信号を生成する画素領域11、画素信号を一時記憶するメモリ領域12、及び、画像合成処理等の所定の信号処理を行うロジック領域13が一体となっていることで、データ量を圧縮できるため、データ転送の負荷を低減し、転送速度の向上、消費電力の低減などの効果がある。
また、固体撮像素子1の後段に、イメージシグナルプロセッサ(ISP)などの画像処理装置に新たなメモリやロジック回路を増設することなく、HDR画像を出力することができる。
<1.3 共有画素構造の回路例>
次に、図1の固体撮像素子1で採用されている共有画素構造について説明する。
次に、図1の固体撮像素子1で採用されている共有画素構造について説明する。
画素アレイ部21では、1つのFD(浮遊拡散領域)を、複数の画素20で共有する共有画素構造が採用されている。
図3は、縦4画素×横2画素の計8画素で1つのFDを共有させた共有画素構造の場合の回路図を示している。
各画素20は、フォトダイオードPDと、フォトダイオードPDに蓄積された電荷を転送する転送トランジスタTGのみを個別に保有している。そして、FD35、リセットトランジスタ(リセットTr)36、増幅トランジスタ(増幅Tr)37、及び選択トランジスタ(選択Tr)38のそれぞれは、共有単位である8画素で共通に利用される。
なお、以下では、共有単位である8画素で共通に利用されるリセットトランジスタ36、増幅トランジスタ37、及び選択トランジスタ38のそれぞれを、共有画素トランジスタとも称する。また、共有単位内の8画素の各々に配置されたフォトダイオードPDと転送トランジスタTGを区別するため、図3に示されるように、フォトダイオードPD1乃至PD8及び転送トランジスタTG1乃至TG8と称する。
フォトダイオードPD1乃至PD8のそれぞれは、光を受光して光電荷を生成して蓄積する。
転送トランジスタTG1は、信号線TG1Aを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、フォトダイオードPD1に蓄積されている光電荷をFD35に転送する。転送トランジスタTG2は、信号線TG2Aを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、フォトダイオードPD2に蓄積されている光電荷をFD35に転送する。転送トランジスタTG3は、信号線TG3Aを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、フォトダイオードPD3に蓄積されている光電荷をFD35に転送する。転送トランジスタTG4は、信号線TG4Aを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、フォトダイオードPD4に蓄積されている光電荷をFD35に転送する。フォトダイオードPD5乃至PD8と転送トランジスタTG5乃至TG8についても、フォトダイオードPD1乃至PD4と転送トランジスタTG1乃至TG4と同様に動作する。
FD35は、フォトダイオードPD1乃至PD8から供給された光電荷を一時保持する。
リセットトランジスタ36は、信号線RSTを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、FD35の電位を所定のレベル(リセット電圧VDD)にリセットする。
増幅トランジスタ37は、ソース電極が選択トランジスタ38を介して垂直信号線VSLに接続されることにより、垂直信号線VSLの一端に接続されている定電流源回路部の負荷MOS(図示せず)とソースフォロワ回路を構成する。
選択トランジスタ38は、増幅トランジスタ37のソース電極と垂直信号線VSLとの間に接続されている。選択トランジスタ38は、信号線SELを介してゲート電極に供給される選択信号がアクティブ状態になるとこれに応答して導通状態となり、共有単位を選択状態として増幅トランジスタ37から出力される共有単位内の画素の画素信号を垂直信号線VSLに出力する。共有単位内の複数の画素20は、垂直駆動回路(不図示)からの駆動信号に応じて、1画素単位で画素信号を出力することもできるし、複数画素単位で画素信号を同時出力することもできる。
本実施の形態では、固体撮像素子1が、図3に示したような、縦4画素×横2画素の計8画素で1つのFDを共有させた共有画素構造を有するものとして説明するが、8画素以外の画素数(例えば、2画素、4画素、16画素など)で共有する構造でもよいし、FDと共有画素トランジスタを共有しない構造とすることもできる。
<1.4 固体撮像素子の画素駆動の説明>
次に、図4を参照して、長畜画像と短畜画像の2枚の画像を用いてHDR画像を生成する際の画素駆動について説明する。
次に、図4を参照して、長畜画像と短畜画像の2枚の画像を用いてHDR画像を生成する際の画素駆動について説明する。
なお、図4の説明では、長畜画像と短畜画像それぞれは、垂直方向の行数H及び水平方向の列数Wの画像で構成されるものとする。
長畜画像と短畜画像の2枚の画像を用いてHDR画像を作成する場合、例えば、図4Aに示されるような画素駆動が考えられる。図4Aの画素駆動方法は、長畜画像を取得する第1フレームと、短畜画像を取得する第2フレームの各フレームを等時間間隔で読み出していき、そのフレーム内で露光時間を設定する方法である。長畜画像を取得する第1フレームでは、例えば、フレーム期間内で最大の露光時間が設定され、短畜画像を取得する第2フレームでは、第1フレームよりも短い露光時間が設定される。1枚のHDR画像は、第1フレームの長畜画像と第2フレームの短畜画像が得られて初めて生成できるので、HDR画像を出力するのにかかる時間(以下、出力フレーム長という。)をTとすると、第1フレームの長畜画像及び第2フレームの短畜画像それぞれの画像取得にかかる時間は、T/2時間である。
図4Aの画素駆動では、各フレームの時間が一定に保たれており、長畜画像の最大露光時間は、T/2時間となる。
そこで、出力フレーム長Tと、短畜画像の露光時間は、同じ条件であっても、長畜画像を取得する第1フレームと、短畜画像を取得する第2フレームのフレーム時間を異なる時間に設定すれば、図4Bに示されるように、長畜画像の露光時間をT/2時間よりさらに延ばすことが可能となる。
しかし、CMOSイメージセンサなどの撮像素子では、例えば、第1フレームの画像の0行目から順番に読み出していき、第1フレームの画像のH行目の読み出しが終了してから、第2フレームの画像を、同様に0行目から順次読みだしていくという、ラスタスキャン駆動が一般的である。
このラスタスキャン駆動の場合、最後のH行目の信号を読み出し終わってからでないと、次フレームの画像の読み出しを開始することができないため、前フレームの読み出しが完全に終了するのを待つ必要があり、その待ち時間の分だけ、図4Bに示されるように、長蓄画像と短蓄画像の読み出し時間差が発生してしまう。
そこで、図1の固体撮像素子1は、同一時刻に複数行の信号読み出しを行うことで、長蓄画像と短蓄画像の読み出し時間差を最小限にするように画素20を駆動する。
例えば、図4Cに示されるように、ある時刻において第1フレームの画像のy行目と第2フレームの画像のx行目が同時に読み出される。これにより、第1フレームと第2フレームの間を開けずにすぐに露光を開始することができ、読み出し時間差を最小にすることができる。
なお、図4Cにおいても、HDR画像の生成に必要な出力フレーム長Tと、短畜画像の露光時間は、上述した図4A及び図4Bと同じである。したがって、図4Bにおける、長畜画像の露光期間と短畜画像の露光期間の間の空白部分の期間は、固体撮像素子1の駆動制御では、長畜画像の露光期間とすることができ、HDR画像の生成に必要な時間は、同じT時間であっても、上述した図4A及び図4Bと比べて、長畜画像の露光時間を長く取ることができる。
<1.5 固体撮像素子の複数段カラムADC構造>
図5は、図4Cで説明した第1フレームと第2フレームの同時読み出しを実現する固体撮像素子1の詳細構造を示している。
図5は、図4Cで説明した第1フレームと第2フレームの同時読み出しを実現する固体撮像素子1の詳細構造を示している。
図5では、画素アレイ部21の一部と、カラムAD変換部22の一部、及び、カラムAD変換部22へランプ信号を供給するDAC(Digital to Analog Converter)41が、図示されている。DAC41は、図1の制御領域14に含まれている。
固体撮像素子1の画素アレイ部21では、図5に示されるように、例えばベイヤ配列で配置された共有単位の8個の画素20に対して1つのFD35が形成されており、同一列の複数のFD35は、左右それぞれに配置された2本の垂直信号線VSL1及びVSL2に接続されている。
図1のカラムAD変換部22は、画素アレイ部21に対して、図5において上側と下側のそれぞれに配置されたカラムAD変換部22Aと22Bで構成される。
2本の垂直信号線VSL1及びVSL2のうちの1本の垂直信号線VSL1は、下側のカラムAD変換部22AのADC50と接続されており、他の1本の垂直信号線VSL2は、上側のカラムAD変換部22BのADC50と接続されている。
カラムAD変換部22AのADC50は、垂直信号線VSL1を介して入力される所定画素の画素信号と、DAC41Aからのランプ信号とを比較するコンパレータ(比較器)51と、コンパレータの比較時間をカウントするアップダウンカウンタ(counter)52を有する。
カラムAD変換部22BのADC50は、垂直信号線VSL2を介して入力される所定画素の画素信号と、DAC41Bからのランプ信号とを比較するコンパレータ(比較器)51と、コンパレータの比較時間をカウントするアップダウンカウンタ(counter)52を有する。
コンパレータ51は、画素信号とランプ信号とを比較して得られる差信号をアップダウンカウンタ52に出力する。例えば、ランプ信号が画素信号より大である場合にはHi(High)の差信号がアップダウンカウンタ52に供給され、ランプ信号が画素信号より小である場合にはLo(Low)の差信号がアップダウンカウンタ52に供給される。
アップダウンカウンタ52は、P相(Preset Phase)AD変換期間で、Hiの差信号が供給されている間だけダウンカウントするとともに、D相(Data Phase)AD変換期間で、Hiの差信号が供給されている間だけアップカウントする。そして、アップダウンカウンタ52は、P相AD変換期間のダウンカウント値と、D相AD変換期間のアップカウント値との加算結果を、CDS処理およびAD変換処理後の画素データとして出力する。これにより、画素信号のAD変換を行うとともにリセットノイズを除去することができる。なお、P相AD変換期間でアップカウントし、D相AD変換期間でダウンカウントしてもよい。
一列に配置された複数のFD35それぞれが、保持しておいた電荷を、右側に配置された2本の垂直信号線VSL1及びVSL2から出力するか、または、左側に配置された2本の垂直信号線VSL1及びVSL2から出力するかは、例えば、撮像設定等の所定の条件に応じて適宜使い分けられる。
いま例えば、固体撮像素子1は、同一列の複数のFD35が右側に配置された2本の垂直信号線VSL1及びVSL2を使用して画素信号を出力するものとし、図4Cで説明したように、ある時刻において第1フレームの画像のy行目と第2フレームの画像のx行目を同時に読み出す場合、図6に示すように、読み出しが制御される。
即ち、固体撮像素子1の制御部26は、第1フレームの画像のy行目の画素信号を、画素アレイ部21の下側のカラムAD変換部22AのADC50に出力し、第2フレームの画像のx行目の画素信号を、画素アレイ部21の上側のカラムAD変換部22BのADC50に出力するように、各画素20を制御する。
画素列に対してADCを設ける一般的なカラムADC構造は、図7に示されるように、一列に配置された複数のFD35に対して、左右それぞれに1本の垂直信号線と1個のADC(例えば垂直信号線VSL1とカラムAD変換部22A側のADC50)だけを設けた構造である。この場合には、第1フレームの画像の読み出しが終了するまでは、第2フレームの画像の読み出しを開始することができないため、図4Bに示したような駆動となる。
これに対し、固体撮像素子1は、一列に配置された複数のFD35に対して、出力可能なADCとして、2個のADC50を備えた2段カラムADC構造とすることで、第1フレームの画像と第2フレームの画像を同時に読み出すことが可能となる。
なお、2段カラムADC構造は、HDR画像の生成においては、上述したように、第1フレームの画像と第2フレームの画像の同時読み出しとして利用されるが、例えば、通常の1枚単位の撮像等においては、読み出し速度を2倍にする目的として利用することができる。
図8は、一列に配置された複数のFD35に対して、出力可能なADCとして、4個のADC50を備えた4段カラムADC構造の例を示している。
固体撮像素子1は、図5に示した2段カラムADC構造の他、図8に示されるような、一列に配置された複数のFD35に対して、左右それぞれに4本の垂直信号線VSL1乃至VSL4と4個のADC50を備えた4段カラムADC構造とすることもできる。この場合、画素アレイ部21内の4行の画素信号を同時に読み出すことが可能となり、HDR画像の生成のために2枚の画像を用いる場合には、読み出し速度を、2段カラムADC構造の2倍にすることができる。また、2段、4段以外の多段カラムADC構造としてもよい。
<1.6 フレーム加算モードとフレーム非加算モード>
ところで、図4Cを参照して説明した固体撮像素子1の画素駆動は、出力フレーム長Tを、長畜画像の露光期間と短畜画像の露光期間に振り分けるように制御するものである。
ところで、図4Cを参照して説明した固体撮像素子1の画素駆動は、出力フレーム長Tを、長畜画像の露光期間と短畜画像の露光期間に振り分けるように制御するものである。
換言すれば、図4Cを参照して説明した固体撮像素子1の画素駆動は、第1フレームの長露光画像をHDR画像の長畜画像としてそのまま用い、第2フレームの短露光画像をHDR画像の短畜画像として用いるフレーム非加算モードの駆動を示している。
図9は、出力フレーム長Tを30msecとしたときの、フレーム非加算モードの3種類の露光比における長畜画像の露光時間と短畜画像の露光時間を示した図である。
長畜画像と短畜画像の露光比が1:8である場合、長畜画像の露光時間は26.67msecに設定され、短畜画像の露光時間は3.33msecに設定される。
長畜画像と短畜画像の露光比が1:2である場合、長畜画像の露光時間は20msecに設定され、短畜画像の露光時間は10msecに設定される。
長畜画像と短畜画像の露光比が1:1である場合、長畜画像の露光時間は15msecに設定され、短畜画像の露光時間は15msecに設定される。
従って、フレーム非加算モードでは、長畜画像の最大露光時間は、(30−短畜画像の露光時間)msecで設定され、例えば、長畜画像と短畜画像の露光比が1:2である場合に、長畜画像の露光時間は20msec以上に延ばすことはできない。
次に、図10を参照して、固体撮像素子1によるフレーム加算モードによる駆動について説明する。
図10は、図9と同じ出力フレーム長T及び露光比の場合のフレーム加算モードにおける、長畜画像の露光時間と短畜画像の露光時間を示した図である。
フレーム加算モードでは、固体撮像素子1は、第1フレームで取得した長露光画像と第2フレームで取得した短露光画像をフレーム加算部24で加算し、その結果得られる画像を、HDR画像の長畜画像として用い、第2フレームの短露光画像をHDR画像の短畜画像として用いる。
この場合、長畜画像の露光時間は、第1フレームの露光時間と第2フレームの露光時間の和で表されるため、どのような露光比であっても、常に一定となり、図10の例では、出力フレーム長Tと同じ30msecとなる。
そして、長畜画像と短畜画像の露光比を1:8とする場合には、図10に示されるように、第2フレームの露光時間を3.75msecに設定すればよい。
また、長畜画像と短畜画像の露光比を1:2とする場合には、第2フレームの露光時間を15msecに設定すればよく、長畜画像と短畜画像の露光比を1:1とする場合には、第2フレームの露光時間を30msecに設定すればよい。
従って、フレーム加算モードでは、長畜画像の露光時間は第1フレームの露光時間と第2フレームの露光時間の和で表されるため、どのような露光比であっても、長畜画像の露光時間を常に一定に保つことができる。また、フレーム加算モードでは、図9と比較して明らかなように、長畜画像の露光時間を、フレーム非加算モードよりも長く確保することができる。
<1.7 フレーム加算モードにおけるHDR画像生成処理>
図11のフローチャートを参照して、フレーム加算モードにおける固体撮像素子1のHDR画像生成処理について説明する。
図11のフローチャートを参照して、フレーム加算モードにおける固体撮像素子1のHDR画像生成処理について説明する。
初めに、ステップS1において、固体撮像素子1の制御部26は、画素アレイ部21の各画素20において長露光時間に設定されて得られた第1フレームの長露光信号の読み出しを開始する。第1フレームの長露光信号は、上述したように、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
画素アレイ部21の各画素20は、制御部26の読み出し制御に従い、蓄積されているアナログの長露光信号(画素信号)をカラムAD変換部22に出力し、カラムAD変換部22は、リセットノイズを除去しつつデジタルに変換する。カラムAD変換部22は、AD変換後の長露光信号を、フレームメモリ23へ出力する。
ステップS2において、フレームメモリ23は、画素領域11のカラムAD変換部22から順次供給された、第1フレームの長露光信号を一時記憶する。第1フレームの長露光信号は、後述するステップS4において、加算対象の第2フレームの短露光信号の読み出しが開始されるまでは少なくとも保持される。
ステップS3において、固体撮像素子1の制御部26は、画素アレイ部21の各画素20において短露光時間に設定されて得られた第2フレームの短露光信号の読み出しを開始する。第2フレームの短露光信号も、上述したように、第1フレームの読み出し終了後から、第2フレームの短露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
画素アレイ部21の各画素20は、制御部26の読み出し制御に従い、蓄積されているアナログの短露光信号(画素信号)をカラムAD変換部22に出力し、カラムAD変換部22は、リセットノイズを除去しつつデジタルに変換する。カラムAD変換部22は、AD変換後の短露光信号を、フレーム加算部24及びHDR合成部25に出力する。
なお、図6等を参照して説明したように、固体撮像素子1は、第1フレームの長露光信号と第2フレームの短露光信号を、多段カラムADC構造を用いて同時に読み出すので、ステップS3の第2フレームの短露光信号の読み出しが開始された後は、第1フレームの長露光信号の読み出しと第2フレームの短露光信号の読み出しが、並行して実行される。
ステップS4において、フレーム加算部24は、フレームメモリ23に記憶されている第1フレームの長露光信号を取得し、取得した第1フレームの長露光信号と、カラムAD変換部22から供給された第2フレームの短露光信号を加算した加算信号を生成し、HDR合成部25に出力する。
ステップS5において、HDR合成部25は、フレーム加算部24から供給された加算信号を長畜画像の画素信号(以下、長畜信号という。)とし、カラムAD変換部22から供給された第2フレームの短露光信号を短畜画像の画素信号(以下、短畜信号という。)として、HDR画像を生成するHDR合成処理を実行する。HDR合成部25は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
<1.8 フレーム非加算モードにおけるHDR画像生成処理>
次に、図12のフローチャートを参照して、フレーム非加算モードにおける固体撮像素子1のHDR画像生成処理について説明する。
次に、図12のフローチャートを参照して、フレーム非加算モードにおける固体撮像素子1のHDR画像生成処理について説明する。
図12のステップS11乃至S13は、上述した図11のステップS1乃至S3と、それぞれ同様であるので、その説明は省略する。
ステップS14において、フレーム加算部24は、フレームメモリ23に記憶されている第1フレームの長露光信号を取得し、取得した第1フレームの長露光信号をそのまま、HDR合成部25に出力する。
ステップS15において、HDR合成部25は、フレーム加算部24から供給された第1フレームの長露光信号を長畜信号とし、カラムAD変換部22から供給された第2フレームの短露光信号を短畜信号として、HDR画像を生成するHDR合成処理を実行する。HDR合成部25は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
なお、上述した説明では、ラスタスキャン駆動の読み出しにおいて、0行目から順番に読み出すように説明したが、必ずしも0行目から読み出す必要はない。
以上のように、図11のフレーム加算モードのHDR画像生成処理では、第1フレームの長露光画像と、第2フレームの短露光画像を加算して得られた画像を長畜画像とし、第2フレームの短露光画像を短畜画像として、HDR画像が生成される。
一方、図12のフレーム非加算モードのHDR画像生成処理では、第1フレームの長露光画像を長畜画像とし、第2フレームの短露光画像を短畜画像として、HDR画像が生成される。
フレーム加算モードでは、長畜画像の露光時間を、どのような露光比であっても常に一定に保つことができ、フレーム非加算モードよりも長く確保することができる。換言すれば、1枚単位の画像(通常画像)を生成する場合も、HDR画像を生成する場合も、フレーム画像を出力する単位時間(出力フレーム長)を、長畜画素の露光時間に応じて適応的に変更する必要が無いため、駆動制御が容易となる。
また、固体撮像素子1は、図5または図8に示したように、一列に配置された複数のFD35に対して、出力可能なADCとして、複数個のADC50を備えた多段カラムADC構造を有しており、第1フレームの長露光画像の読み出しと、第2フレームの短露光画像の読み出しを同時に行うことができる。換言すれば、第1フレームの長露光画像の読み出しが終了していなくても、第2フレームの短露光画像の読み出しを開始することができる。これにより、短蓄画像と長蓄画像の読み出し時間差が少ないため、動被写体の影響を受けにくくなる。
1つの撮像素子内に、長畜画素(高感度画素)と短畜画素(低感度画素)を用意することで、複数の露光時間の信号を同時に取得する方法と比べて、固体撮像素子1の構成及び制御によれば、長畜画像も短畜画像も画素アレイ部21の全画素で画素信号を取得することができるので、空間解像度も時間解像度も落とすことなく、モアレやエイリアシングといった画質劣化が発生しない。したがって、画質劣化の少ないHDR画像を生成することができる。
<1.9 HDR合成部の詳細>
次に、図13乃至図16を参照して、HDR合成部25によるHDR合成処理について説明する。
次に、図13乃至図16を参照して、HDR合成部25によるHDR合成処理について説明する。
なお、以下の説明では、フレーム加算モードのHDR画像生成を行うものとして、長畜信号としての、長露光信号と短露光信号を加算した加算信号がフレーム加算部24から供給される場合について説明し、フレーム非加算モードについての説明は省略する。
<ブロック図>
図13は、HDR合成部25の詳細構成を、フレームメモリ23及びフレーム加算部24とともに示したブロック図である。
図13は、HDR合成部25の詳細構成を、フレームメモリ23及びフレーム加算部24とともに示したブロック図である。
HDR合成部25は、LPF81及び82、動被写体ブレンド率算出部83、輝度ブレンド率算出部84、並びに、合成演算部85を有している。
カラムAD変換部22から出力された、HDR画像を生成するための短畜信号としての短露光信号は、LPF81と合成演算部85に供給される。また、フレーム加算部24から出力された、HDR画像を生成するための長畜信号としての加算信号は、LPF82と合成演算部85に供給される。
LPF81は、供給された短畜信号にローパスフィルタ処理を施すことにより、高周波ノイズを除去した短畜信号を生成し、動被写体ブレンド率算出部83及び輝度ブレンド率算出部84に供給する。
LPF82は、供給された長畜信号にローパスフィルタ処理を施すことにより、高周波ノイズを除去した長畜信号を生成し、動被写体ブレンド率算出部83及び輝度ブレンド率算出部84に供給する。
動被写体ブレンド率算出部83は、生成するHDR画像の各画素について、動被写体かどうかに応じたブレンド率(合成比)である動被写体ブレンド率βを算出する。
式(1)のLは長畜信号(長畜画素の画素値)、Sは短畜信号(短畜画素の画素値)、Bopbは黒レベル信号、gainは長畜画素と短畜画素の露光比を表す。
動被写体ブレンド率算出部83は、図14に示される動被写体ブレンド率関数(動被写体ブレンド率テーブル)を参照し、算出した長畜信号と短畜信号の差分絶対値diffから、動被写体ブレンド率βを算出する。
図14の横軸は、式(1)で算出される差分絶対値diffであり、縦軸は、動被写体検出率βを表す。横軸のTh0及びTh1は、次式(2)で計算される、長畜信号Lに応じて適応的に変動される閾値であり、coef0乃至coef3それぞれは、予め設定される所定の係数(パラメータ)である。
図14の動被写体検出率関数によれば、式(1)で算出される差分絶対値diffが大きい(閾値Th1より大である)ときは、明るい被写体が動いていると推定し、短畜信号を使用する動被写体ブレンド率βが算出される。
一方、式(1)で算出される差分絶対値diffが小さい(閾値Th0より小である)ときは、長畜信号を使用する動被写体ブレンド率βが算出される。差分絶対値diffが閾値Th0から閾値Th1までは、動被写体ブレンド率βは、例えば、線形に変化する。
従って、図14のような動被写体検出率関数によれば、動きが大きい部分では、より動体ブレの少ない短畜信号を使用するような動被写体ブレンド率βが算出される。
図13に戻り、動被写体ブレンド率算出部83は、以上のようにしてHDR画像の各画素について算出した動被写体ブレンド率βを、合成演算部85に供給する。
輝度ブレンド率算出部84は、生成するHDR画像の各画素について、輝度値に応じたブレンド率(合成比)である輝度ブレンド率αを算出する。
具体的には、輝度ブレンド率算出部84は、生成するHDR画像の各画素について、長畜信号Lに基づく長畜ブレンド率αLを算出し、短畜信号Sに基づく短畜ブレンド率αSを算出する。そして、輝度ブレンド率算出部84は、算出した長畜ブレンド率αLと短畜ブレンド率αSとを用いて、α=αL*αSを算出することにより、輝度レベルに基づくブレンド率(輝度ブレンド率)αを算出する。
図15Aは、長畜信号Lに基づくブレンド率αLを算出するための長畜ブレンド率関数(長畜ブレンド率テーブル)を示し、図15Bは、短畜信号Sに基づくブレンド率αSを算出するための短畜ブレンド率関数(短畜ブレンド率テーブル)を示している。
図15Aの横軸は長畜信号Lを表し、縦軸は長畜ブレンド率αLを表す。図15Bの横軸は短畜信号Sを表し、縦軸は短畜ブレンド率αSを表す。Th0L及びTh1Lと、Th0S及びTh1Sは、予め設定された所定の閾値を表す。
図15Aの長畜ブレンド率関数及び図15Bの短畜ブレンド率関数によれば、被写体の明るさが暗い場合は、長時間露光により暗部まで撮像できている長畜信号Lを使用し、被写体の明るさが明るい場合は、明るくて飽和しない短畜信号Sを使用するような、ブレンド率αLとブレンド率αSが算出される。
図13に戻り、輝度ブレンド率算出部84は、以上のようにして算出した長畜ブレンド率αLと短畜ブレンド率αSとを用いて、α=αL*αSを算出することにより、輝度ブレンド率αを算出し、合成演算部85に供給する。
合成演算部85は、生成するHDR画像の各画素について、動被写体ブレンド率算出部83から供給される動被写体ブレンド率βと、輝度ブレンド率算出部84から供給される輝度ブレンド率αから、HDR画像を生成するための最終的な短畜信号Sと長畜信号Lのブレンド率(合成比)であるHDRブレンド率γを、γ=α*βにより算出する。
<HDR合成処理>
図16のフローチャートを参照して、HDR合成部25によるHDR合成処理について説明する。この処理は、図11のステップS5及び図12のステップS15の処理に相当する。
図16のフローチャートを参照して、HDR合成部25によるHDR合成処理について説明する。この処理は、図11のステップS5及び図12のステップS15の処理に相当する。
初めに、ステップS31において、LPF81とLPF82は、短畜信号と長畜信号のそれぞれについて、ローパスフィルタ処理を施す。即ち、LPF81は、短畜信号に対してローパスフィルタ処理を施し、LPF82は、長畜信号に対してローパスフィルタ処理を施す。
ステップS32において、動被写体ブレンド率算出部83は、生成するHDR画像の各画素について、動被写体かどうかに応じたブレンド率である動被写体ブレンド率βを算出する。より具体的には、動被写体ブレンド率算出部83は、生成するHDR画像の各画素について、式(1)による長畜信号と短畜信号の差分絶対値diffを算出する。そして、動被写体ブレンド率算出部83は、図14に示される動被写体ブレンド率関数を参照し、算出した長畜信号と短畜信号の差分絶対値diffから、動被写体ブレンド率βを算出し、合成演算部85に供給する。
ステップS33において、輝度ブレンド率算出部84は、生成するHDR画像の各画素について、輝度値に応じたブレンド率である輝度ブレンド率αを算出する。より具体的には、輝度ブレンド率算出部84は、生成するHDR画像の各画素について、長畜信号Lに基づく長畜ブレンド率αLを算出し、短畜信号Sに基づいて短畜画素のブレンド率αSを算出する。そして、輝度ブレンド率算出部84は、α=αL*αSを算出することにより、輝度ブレンド率αを算出し、合成演算部85に供給する。
ステップS34において、合成演算部85は、生成するHDR画像の各画素について、動被写体ブレンド率算出部83から供給された動被写体ブレンド率βと、輝度ブレンド率算出部84から供給された輝度ブレンド率αから、HDR画像を生成するための最終的な短畜信号Sと長畜信号Lのブレンド率であるHDRブレンド率γを、γ=α*βにより算出する。
ステップS35において、合成演算部85は、HDR画像の各画素について、算出したHDRブレンド率γを用いて式(3)により画素値を算出し、HDR画像を生成する。
以上のHDR合成処理により、短畜信号Sと長畜信号Lから、HDR画像が生成され、HDR合成部25から出力される。
<2.第2の実施の形態>
<ブロック図>
図17は、固体撮像素子1の第2の実施の形態を示すブロック図である。
<ブロック図>
図17は、固体撮像素子1の第2の実施の形態を示すブロック図である。
図17では、画素領域11と制御領域14の図示が省略されている。また、図17において、上述した第1の実施の形態と対応する部分については同一の符号を付してあり、その説明は省略する。後述するその他の実施の形態の説明においても同様とする。
固体撮像素子1の第2の実施の形態は、短畜信号及び長畜信号に対して、欠陥補正処理とノイズ低減処理を行うようにした構成例を示している。
図17の第2の実施の形態では、短畜信号の信号ラインと、長畜信号の信号ラインのそれぞれに、欠陥補正部91とノイズ低減部92が追加されている点が、上述した第1の実施の形態と異なる。
HDR合成処理によって2枚の画像を合成したあとでは、ノイズの特性や欠陥画素の特性が変化するため、欠陥補正処理やノイズ低減処理は、合成前の段階で行うことが望ましい。
欠陥補正部91Sは、供給された短畜信号に対して欠陥画素の有無を検出し、欠陥画素が検出された場合に、その欠陥画素を補正する欠陥補正処理を実行する。ノイズ低減部92Sは、欠陥補正部91Sから出力された欠陥補正処理後の短畜信号に対して、ノイズ低減処理を実行する。
欠陥補正部91Lは、供給された長畜信号に対して欠陥補正処理を実行する。ノイズ低減部92Lは、欠陥補正部91Lから出力された欠陥補正処理後の長畜信号に対して、ノイズ低減処理を実行する。
欠陥補正部91Sまたは91Lとしての欠陥補正部91が行う欠陥補正処理は、例えば、画像を構成する各画素を注目画素として、注目画素の周辺に位置する周辺画素(例えば、注目画素を中心とする3x3の、注目画素を除く8画素)の画素値の平均値と、注目画素の画素値との差分値を算出し、差分値が所定の閾値以上である場合に、注目画素の画素値を周辺画素の平均値で置き換える処理などを行う。なお、この欠陥補正処理は、あくまで一例であって、その他の任意の欠陥補正処理を採用することができる。
ノイズ低減部92Sまたは92Lとしてのノイズ低減部92が行うノイズ低減処理は、例えば、注目画素の画素値と周辺画素の平均値との差分が大きいほど重みが小さくなるような重みを設定し、注目画素と重みを付加した周辺画素の平均値との重み付け平均の結果を、注目画素の画素値とする処理を行う。なお、このノイズ低減処理は、あくまで一例であって、その他の任意のノイズ低減処理を採用することができる。
固体撮像素子1の第2の実施の形態によれば、欠陥補正処理とノイズ低減処理を行った短畜信号及び長畜信号を用いて、HDR画像を生成することが可能となる。
<3.第3の実施の形態>
<ブロック図>
図18は、固体撮像素子1の第3の実施の形態を示すブロック図である。
<ブロック図>
図18は、固体撮像素子1の第3の実施の形態を示すブロック図である。
図18においても、画素領域11と制御領域14については、図示が省略されている。
固体撮像素子1の第3の実施の形態も、短畜信号及び長畜信号に対して、欠陥補正処理
とノイズ低減処理を行うようにした構成例を示している。ただし、図17に示した第2の実施の形態では、短畜信号の信号ラインと、長畜信号の信号ラインのそれぞれに、欠陥補正部91とノイズ低減部92が設けられたが、第3の実施の形態では、欠陥補正部91とノイズ低減部92が共通化されている。
とノイズ低減処理を行うようにした構成例を示している。ただし、図17に示した第2の実施の形態では、短畜信号の信号ラインと、長畜信号の信号ラインのそれぞれに、欠陥補正部91とノイズ低減部92が設けられたが、第3の実施の形態では、欠陥補正部91とノイズ低減部92が共通化されている。
具体的には、1つの欠陥補正部91とノイズ低減部92が、フレームメモリ23の前段に配置されている。この1つの欠陥補正部91とノイズ低減部92で、第1フレームの長露光信号と、第2フレームの短露光信号を時間差で逐次処理を行うことで、欠陥補正部91とノイズ低減部92の共通化を図っている。そのため、第2フレームの短露光信号は、第1フレームの長露光信号の欠陥補正処理とノイズ低減処理が終了するまで待機させる必要があるので、第2フレームの短露光信号を所定時間遅延させるための遅延調整部101が、欠陥補正部91の前段に設けられている。遅延調整部101は、例えば、フレームメモリ23と同様のDRAM等で構成される。
欠陥補正部91の前段には、欠陥補正部91への入力信号として、カラムAD変換部22から出力される第1フレームの長露光信号、または、遅延調整部101から出力される第2フレームの短露光信号のいずれかを選択するスイッチが設けられているが、図示が省略されている。また、ノイズ低減部92の後段には、ノイズ低減部92からの出力信号の出力先を、フレームメモリ23またはHDR合成部25のいずれかに切り替えるスイッチが設けられているが、図示が省略されている。
第1フレームの長露光信号は、欠陥補正部91とノイズ低減部92において、欠陥補正処理及びノイズ低減処理が実行された後、フレームメモリ23に供給され、所定時間、記憶される。
第2フレームの短露光信号は、第1フレームの全ての長露光信号に対して、欠陥補正処理及びノイズ低減処理が終了するまで、遅延調整部101で待機される。そして、第1フレームの全ての長露光信号の欠陥補正処理及びノイズ低減処理が終了した後、欠陥補正部91とノイズ低減部92に供給され、欠陥補正処理及びノイズ低減処理が実行される。
<HDR画像生成処理>
図19のフローチャートを参照して、固体撮像素子1の第3の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
図19のフローチャートを参照して、固体撮像素子1の第3の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
初めに、ステップS51において、固体撮像素子1の制御部26は、画素アレイ部21の各画素20において長露光時間に設定されて得られた第1フレームの長露光信号の読み出しを開始する。第1フレームの長露光信号は、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
ステップS52において、欠陥補正部91とノイズ低減部92は、順次入力される第1フレームの長露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
ステップS53において、フレームメモリ23は、ノイズ低減部92から順次供給されるノイズ低減処理後の第1フレームの長露光信号を一時記憶する。
ステップ54において、固体撮像素子1の制御部26は、画素アレイ部21の各画素20において短露光時間に設定されて得られた第2フレームの短露光信号の読み出しを開始する。第2フレームの短露光信号も、上述したように、第1フレームの読み出し終了後から、第2フレームの短露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
第3の実施の形態においても、ステップS54の第2フレームの短露光信号の読み出しが開始された後は、第1フレームの長露光信号の読み出しと第2フレームの短露光信号の読み出しが、並行して実行される。
ステップ55において、遅延調整部101は、カラムAD変換部22から供給された第2フレームの短露光信号を、所定時間遅延させる。ここでの遅延時間は、第1フレームの全ての長露光信号に対して、欠陥補正処理及びノイズ低減処理が終了するまでの時間である。
ステップS56において、欠陥補正部91とノイズ低減部92は、所定時間の遅延後、遅延調整部101から順次入力される第2フレームの短露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
ステップS57において、フレーム加算部24は、フレームメモリ23に記憶されている長露光信号を取得し、取得した長露光信号と、ノイズ低減部92から供給された短露光信号を加算した加算信号を生成し、HDR合成部25に出力する。
ステップS58において、HDR合成部25は、フレーム加算部24から供給された加算信号を長畜信号とし、ノイズ低減部92から供給された欠陥補正処理及びノイズ低減処理後の第2フレームの短露光信号を短畜信号として、HDR画像を生成するHDR合成処理を実行する。このHDR合成処理は、上述した図16の処理と同一である。HDR合成部25は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
<4.第4の実施の形態>
次に、固体撮像素子1の第4の実施の形態について説明する。
上述した第1乃至第3の実施の形態では、第1フレームを長露光信号とし、第2フレームが短露光信号となるように、画素アレイ部21の各画素20が駆動された。
これに対して、以下に説明する固体撮像素子1の第4の実施の形態では、図20に示されるように、第1フレームを短露光信号とし、第2フレームが長露光信号となるように、画素アレイ部21の各画素20が駆動される。
このように、第1フレームを短露光信号とした場合、第1フレームの短露光信号が短畜信号、第1フレームの短露光信号と第2フレームの長露光信号を加算した加算信号が長畜信号となる。また、第1フレームを短露光信号とした場合には、図20に示されるように、短畜信号と長畜信号の読出し開始位置を揃えることができる。
<ブロック図>
図21は、固体撮像素子1の第4の実施の形態を示すブロック図である。
図21は、固体撮像素子1の第4の実施の形態を示すブロック図である。
なお、図21においても、画素領域11と制御領域14については、図示が省略されている。
第1フレームを短露光信号とする場合、図21に示されるように、上述した第1乃至第3の実施の形態におけるフレームメモリ23とフレーム加算部24のほかに、もう1つのフレームメモリ23が必要となる。第4の実施の形態において、欠陥補正部91の前段に配置されたフレームメモリ23を第1のフレームメモリ23−1と称し、ノイズ低減部92の後段に配置されたフレームメモリ23を第2のフレームメモリ23−2と称する。
第1のフレームメモリ23−1は、第1フレームの短露光信号の信号ラインに配置され、フレーム加算部24は、第2フレームの長露光信号の信号ラインに配置される。第2のフレームメモリ23−2は、ノイズ低減部92とHDR合成部25との間に配置される。
なお、図21においても、欠陥補正部91の前段には、欠陥補正部91への入力信号として、第1のフレームメモリ23−1から出力される第1フレームの短露光信号、または、フレーム加算部24から出力される加算信号のいずれかを選択するスイッチが設けられているが、図示が省略されている。また、ノイズ低減部92の後段には、ノイズ低減部92からの出力信号の出力先を、第2のフレームメモリ23−2またはHDR合成部25のいずれかに切り替えるスイッチが設けられているが、図示が省略されている。
第1のフレームメモリ23−1は、取得した第1フレームの短露光信号を、後段の欠陥補正部91に供給するとともに、所定時間保持し、その後、フレーム加算部24に供給する。
フレーム加算部24は、第2フレームの長露光信号を取得し、第1のフレームメモリ23−1から供給される第1フレームの短露光信号と加算して、加算結果を欠陥補正部91に出力する。
第2のフレームメモリ23−2は、ノイズ低減部92が出力するノイズ低減処理後の第1フレームの短露光信号を一時記憶し、所定時間経過後、HDR合成部25に供給する。
<HDR画像生成処理>
図22のフローチャートを参照して、固体撮像素子1の第4の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
図22のフローチャートを参照して、固体撮像素子1の第4の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
初めに、ステップS71において、固体撮像素子1の制御部26は、画素アレイ部21の各画素20において短露光時間に設定されて得られた第1フレームの短露光信号の読み出しを開始する。第1フレームの短露光信号は、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
ステップS72において、第1のフレームメモリ23−1は、画素領域11のカラムAD変換部22から供給される第1フレームの短露光信号を、後段の欠陥補正部91に供給するとともに、一時記憶する。
ステップS73において、欠陥補正部91とノイズ低減部92は、第1のフレームメモリ23−1から順次入力される第1フレームの短露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
ステップS74において、第2のフレームメモリ23−2は、ノイズ低減部92から順次供給されるノイズ低減処理後の第1フレームの短露光信号を、後段のHDR合成部25に供給するとともに、一時記憶する。
ステップ75において、固体撮像素子1の制御部26は、画素アレイ部21の各画素20において長露光時間に設定されて得られた第2フレームの長露光信号の読み出しを開始する。第2フレームの長露光信号も、上述したように、第1フレームの読み出し終了後から、第2フレームの長露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
ステップ76において、フレーム加算部24は、第1のフレームメモリ23−1に記憶されている短露光信号を取得し、取得した短露光信号と、画素領域11のカラムAD変換部22から供給された第2フレームの長露光信号を加算した加算信号を生成し、欠陥補正部91に出力する。
ステップS77において、欠陥補正部91とノイズ低減部92は、フレーム加算部24からから順次入力される加算信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。処理後の加算信号は、HDR合成部25に供給される。
ステップS78において、HDR合成部25は、ノイズ低減部92から供給された加算信号を長畜信号とし、第2のフレームメモリ23−2から供給された欠陥補正処理及びノイズ低減処理後の短露光信号を短畜信号として、HDR画像を生成するHDR合成処理を実行する。このHDR合成処理は、上述した図16の処理と同一である。HDR合成部25は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
<5.第5の実施の形態>
<ブロック図>
図23は、固体撮像素子1の第5の実施の形態を示すブロック図である。
<ブロック図>
図23は、固体撮像素子1の第5の実施の形態を示すブロック図である。
なお、図23においても、画素領域11と制御領域14については、図示が省略されている。
第5の実施の形態は、上述した第4の実施の形態と同様に、第1フレームを短露光信号とし、第2フレームが長露光信号となるように、画素アレイ部21の各画素20を駆動する場合の構成であるが、2つのフレームメモリ23を必要としない構成例を示している。
図23の第5の実施の形態では、欠陥補正部91とノイズ低減部92の後段に、フレームメモリ23とフレーム加算部24が設けられる。
図23においても、欠陥補正部91の前段には、欠陥補正部91への入力信号として、第1フレームの短露光信号、または、第2フレームの長露光信号のいずれかを選択するスイッチが設けられているが、図示が省略されている。また、ノイズ低減部92の後段には、ノイズ低減部92からの出力信号の出力先を、フレームメモリ23またはフレーム加算部24のいずれかに切り替えるスイッチが設けられているが、図示が省略されている。
フレームメモリ23は、欠陥補正処理とノイズ低減処理が施された第1フレームの短露光信号を一時記憶し、所定時間経過後、短畜信号として、HDR合成部25に供給する。また、フレームメモリ23は、取得した第1フレームの短露光信号を、所定時間経過後、フレーム加算部24にも供給する。
フレーム加算部24は、欠陥補正処理とノイズ低減処理が施された第2フレームの長露光信号を取得し、フレームメモリ23から供給される第1フレームの短露光信号と加算した加算信号を生成し、長畜信号として、HDR合成部25に供給する。
<HDR画像生成処理>
図24のフローチャートを参照して、固体撮像素子1の第5の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
図24のフローチャートを参照して、固体撮像素子1の第5の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
初めに、ステップS91において、固体撮像素子1の制御部26は、画素アレイ部21の各画素20において短露光時間に設定されて得られた第1フレームの短露光信号の読み出しを開始する。第1フレームの短露光信号は、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
ステップS92において、欠陥補正部91とノイズ低減部92は、画素領域11のカラムAD変換部22から順次入力される第1フレームの短露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
ステップS93において、フレームメモリ23は、ノイズ低減部92から順次供給されるノイズ低減処理後の第1フレームの短露光信号を、後段のHDR合成部25に供給するとともに、一時記憶する。
ステップS94において、固体撮像素子1の制御部26は、画素アレイ部21の各画素20において長露光時間に設定されて得られた第2フレームの長露光信号の読み出しを開始する。第2フレームの長露光信号も、上述したように、第1フレームの読み出し終了後から、第2フレームの長露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
ステップS95において、欠陥補正部91とノイズ低減部92は、画素領域11のカラムAD変換部22から順次入力される第2フレームの長露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
ステップ96において、フレーム加算部24は、フレームメモリ23に記憶されている第1フレームの短露光信号を取得し、取得した第1フレームの短露光信号と、ノイズ低減部92から出力された欠陥補正処理及びノイズ低減処理後の第2フレームの長露光信号とを加算した加算信号を生成し、HDR合成部25に出力する。
ステップS97において、HDR合成部25は、フレーム加算部24から供給された加算信号を長畜信号とし、フレームメモリ23から供給された短露光信号を短畜信号として、HDR画像を生成するHDR合成処理を実行する。このHDR合成処理は、上述した図16の処理と同一である。HDR合成部25は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
図21の第4の実施の形態の固体撮像素子1は、第1フレームの短露光信号と長露光信号を加算することで、先に長畜信号を生成し、生成した長畜信号に対して欠陥補正処理及びノイズ低減処理を実行する。
一方、図23の第5の実施の形態の固体撮像素子1は、第1フレームの短露光信号と第2フレームの長露光信号のそれぞれに対して欠陥補正処理及びノイズ低減処理を実行し、処理後の短露光信号と長露光信号を加算して、長畜信号を生成する。
<6.第6の実施の形態>
<ブロック図>
図25は、固体撮像素子1の第6の実施の形態を示すブロック図である。
<ブロック図>
図25は、固体撮像素子1の第6の実施の形態を示すブロック図である。
なお、図25においても、画素領域11と制御領域14については、図示が省略されている。
第6の実施の形態は、上述した第5の実施の形態と同様に、第1フレームを短露光信号とし、第2フレームを長露光信号とし、かつ、2つのフレームメモリ23を必要としない構成例を示している。
図25の第6の実施の形態では、欠陥補正部91とノイズ低減部92の前段に、フレーム加算部24が設けられ、欠陥補正部91とノイズ低減部92の後段に、フレームメモリ23が設けられている。フレーム加算部24は、第2フレームの長露光信号の信号ラインに配置されている。
図25においても、欠陥補正部91の前段には、欠陥補正部91への入力信号として、第1フレームの短露光信号、または、フレーム加算部24からの加算信号のいずれかを選択するスイッチが設けられているが、図示が省略されている。また、ノイズ低減部92の後段には、ノイズ低減部92からの出力信号の出力先を、フレームメモリ23またはHDR合成部25のいずれかに切り替えるスイッチが設けられているが、図示が省略されている。
フレームメモリ23は、欠陥補正処理とノイズ低減処理が施された第1フレームの短露光信号を一時記憶し、所定時間経過後、短畜信号として、HDR合成部25に供給する。また、フレームメモリ23は、取得した第1フレームの短露光信号を、所定時間経過後、フレーム加算部24にも供給する。
フレーム加算部24は、カラムAD変換部22から出力される第2フレームの長露光信号を取得し、フレームメモリ23から供給される第1フレームの短露光信号と加算した加算信号を生成し、長畜信号として、後段の欠陥補正部91に供給する。
<HDR画像生成処理>
図26のフローチャートを参照して、固体撮像素子1の第6の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
図26のフローチャートを参照して、固体撮像素子1の第6の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
初めに、ステップS101において、固体撮像素子1の制御部26は、画素アレイ部21の各画素20において短露光時間に設定されて得られた第1フレームの短露光信号の読み出しを開始する。第1フレームの短露光信号は、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
ステップS102において、欠陥補正部91とノイズ低減部92は、画素領域11のカラムAD変換部22から順次入力される第1フレームの短露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
ステップS103において、フレームメモリ23は、ノイズ低減部92から順次供給されるノイズ低減処理後の第1フレームの短露光信号を、後段のHDR合成部25に供給するとともに、一時記憶する。
ステップS104において、固体撮像素子1の制御部26は、画素アレイ部21の各画素20において長露光時間に設定されて得られた第2フレームの長露光信号の読み出しを開始する。第2フレームの長露光信号も、第1フレームの読み出し終了後から、第2フレームの長露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
ステップS105において、フレーム加算部24は、画素領域11のカラムAD変換部22から順次入力される第2フレームの長露光信号を取得し、取得した長露光信号と、フレームメモリ23から取得した第1フレームの短露光信号を加算した加算信号を生成する。
ステップ106において、欠陥補正部91とノイズ低減部92は、フレーム加算部24から順次供給される加算信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
ステップS107において、HDR合成部25は、フレームメモリ23に記憶されている第1フレームの短露光信号を取得し、ノイズ低減部92から供給された欠陥補正処理及びノイズ低減処理の処理後の加算信号を長畜信号とし、フレームメモリ23から取得した第1フレームの短露光信号を短畜信号として、HDR画像を生成するHDR合成処理を実行する。このHDR合成処理は、上述した図16の処理と同一である。HDR合成部25は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
図23の第5の実施の形態の固体撮像素子1は、第1フレームの短露光信号と第2フレームの長露光信号のそれぞれに対して欠陥補正処理及びノイズ低減処理を実行し、処理後の短露光信号と長露光信号を加算して、長畜信号を生成する。
一方、図25の第6の実施の形態の固体撮像素子1は、欠陥補正処理及びノイズ低減処理の処理後の第1フレームの短露光信号と、処理前の第2フレームの長露光信号を加算し、その結果得られる加算信号(長畜信号)に対して欠陥補正処理及びノイズ低減処理を実行する。
<7.第7の実施の形態>
<ブロック図>
図27は、固体撮像素子1の第7の実施の形態を示すブロック図である。
<ブロック図>
図27は、固体撮像素子1の第7の実施の形態を示すブロック図である。
図27においても、画素領域11と制御領域14については、図示が省略されている。
上述した第1乃至第6の実施の形態は、いずれも、HDR合成部25の前段に欠陥補正部91とノイズ低減部92が配置された構成であったのに対して、第7の実施の形態では、欠陥補正部91とノイズ低減部92が、HDR合成部25の後段に配置されている。
本技術のHDR合成処理は、合成をする際に、2枚の画像の位置合わせや補間処理を行わないので、HDR合成処理後に欠陥画素が周囲の画素に影響することがない。そのため、図27に示されるように、HDR合成処理を行うHDR合成部25の後段に、欠陥補正部91とノイズ低減部92を設け、欠陥補正処理とノイズ低減処理を行うことができる。ただし、この場合、ノイズ低減部92には、合成後の画素信号(以下、HDR信号という。)が、長畜信号と短畜信号をどの比率で合成したのかを知らせる必要があるため、合成比率情報として、HDRブレンド率γが、合成演算部85からノイズ低減部92に供給される。
固体撮像素子1の第7の実施の形態におけるフレーム加算モードのHDR画像生成処理は、図11を参照して説明した第1の実施の形態におけるHDR画像生成処理のステップS5の処理の後に、HDR画像の各画素信号(HDR信号)に対して、欠陥補正処理及びノイズ低減処理を順番に実行する処理が追加されたものとなる。
<8.第8の実施の形態>
<4枚の画像合成の例>
上述した第1乃至第7の実施の形態は、いずれも、画素アレイ部21の各画素20を、2種類の異なる露光時間で露光して得られる2種類の画素信号を用いてHDR画像を生成する例であった。
<4枚の画像合成の例>
上述した第1乃至第7の実施の形態は、いずれも、画素アレイ部21の各画素20を、2種類の異なる露光時間で露光して得られる2種類の画素信号を用いてHDR画像を生成する例であった。
しかし、露光時間を3回以上に分割し、3種類以上の画素信号を用いてHDR画像を生成する構成とすることもできる。
図28は、出力フレーム長Tにおいて4回の露光時間を設定し、4種類の画素信号を出力する場合の画素駆動を示す図である。
図28において、第1の露光時間が設定された第1のフレームの画素信号を第1の露光信号、第2の露光時間が設定された第2のフレームの画素信号を第2の露光信号、第3の露光時間が設定された第3のフレームの画素信号を第3の露光信号、第4の露光時間が設定された第4のフレームの画素信号を第4の露光信号という。第1の露光時間乃至第4の露光時間それぞれは、同一の露光時間であってもよいし、異なる露光時間であってもよい。
このように、4種類の画素信号が生成される場合、固体撮像素子1は、例えば、第1の露光信号乃至第4の露光信号を加算した信号を第1の長畜信号、第2の露光信号乃至第4の露光信号を加算した信号を第2の長畜信号、第3の露光信号と第4の露光信号を加算した信号を第3の長畜信号、及び、第4の露光信号を短畜信号として用いて、HDR画像を生成することができる。
<ブロック図>
図29は、固体撮像素子1の第8の実施の形態として、4回の露光時間を設定し、4種類の画素信号を用いてHDR画像を生成する場合の固体撮像素子1の構成例を示すブロック図である。
図29は、固体撮像素子1の第8の実施の形態として、4回の露光時間を設定し、4種類の画素信号を用いてHDR画像を生成する場合の固体撮像素子1の構成例を示すブロック図である。
図29においても、画素領域11と制御領域14の図示は省略されている。
メモリ領域12は、第1のフレームメモリ23−1、第2のフレームメモリ23−2、及び、第3のフレームメモリ23−3を有する。
ロジック領域13は、第1のフレーム加算部24−1、第2のフレーム加算部24−2、及び第3のフレーム加算部24−3と、HDR合成部25を有する。
画素領域11から出力された第4の露光信号は、ロジック領域13の第1のフレーム加算部24−1とHDR合成部25に供給される。
画素領域11から出力された第3の露光信号は、メモリ領域12の第1のフレームメモリ23−1に供給され、一時記憶された後、ロジック領域13の第1のフレーム加算部24−1に供給される。
画素領域11から出力された第2の露光信号は、メモリ領域12の第2のフレームメモリ23−2に供給され、一時記憶された後、ロジック領域13の第2のフレーム加算部24−2に供給される。
画素領域11から出力された第1の露光信号は、メモリ領域12の第3のフレームメモリ23−3に供給され、一時記憶された後、ロジック領域13の第3のフレーム加算部24−3に供給される。
第1のフレーム加算部24−1は、第1のフレームメモリ23−1から供給された第3の露光信号と、画素領域11から出力された第4の露光信号とを加算し、その結果得られる第3の長畜信号(=第3の露光信号+第4の露光信号)を、第2のフレーム加算部24−2とHDR合成部25に供給する。
第2のフレーム加算部24−2は、第2のフレームメモリ23−2から供給された第2の露光信号と、第1のフレーム加算部24−1から出力された第3の長畜信号(=第3の露光信号+第4の露光信号)とを加算し、その結果得られる第2の長畜信号(=第2の露光信号+第3の露光信号+第4の露光信号)を、第3のフレーム加算部24−3とHDR合成部25に供給する。
第3のフレーム加算部24−3は、第3のフレームメモリ23−3から供給された第1の露光信号と、第2のフレーム加算部24−2から出力された第2の長畜信号(=第2の露光信号+第3の露光信号+第4の露光信号)とを加算し、その結果得られる第1の長畜信号(=第1の露光信号+第2の露光信号+第3の露光信号+第4の露光信号)を、HDR合成部25に供給する。
HDR合成部25は、第1の長畜信号乃至第3の長畜信号及び短畜信号のそれぞれを、所定のHDRブレンド率γで合成し、HDR画像を生成するHDR合成処理を実行する。HDR合成部25は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
上述した第2乃至第8の実施の形態においても、長畜画像及び短畜画像のいずれも画素アレイ部21の全画素で画素信号を取得することができるので、空間解像度も時間解像度も落とすことなく、モアレやエイリアシングといった画質劣化が発生しない。したがって、画質劣化の少ないHDR画像を生成することができる。
また、固体撮像素子1では、多段カラムADC構造により、画素アレイ部21の複数行の同時読出しを可能とし、短蓄画像と長蓄画像の読み出し時間差を少なくすることができるため、動被写体の影響を受けにくいHDR画像を生成することができる。
<9.電子機器への適用例>
本技術は、固体撮像素子への適用に限られるものではない。即ち、本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に固体撮像素子を用いる複写機など、画像取込部(光電変換部)に固体撮像素子を用いる電子機器全般に対して適用可能である。固体撮像素子は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
本技術は、固体撮像素子への適用に限られるものではない。即ち、本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に固体撮像素子を用いる複写機など、画像取込部(光電変換部)に固体撮像素子を用いる電子機器全般に対して適用可能である。固体撮像素子は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
図30は、本技術に係る電子機器としての、撮像装置の構成例を示すブロック図である。
図30の撮像装置200は、レンズ群などからなる光学部201、図1の固体撮像素子1の構成が採用される固体撮像素子(撮像デバイス)202、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路203を備える。また、撮像装置200は、フレームメモリ204、表示部205、記録部206、操作部207、および電源部208も備える。DSP回路203、フレームメモリ204、表示部205、記録部206、操作部207および電源部208は、バスライン209を介して相互に接続されている。
光学部201は、被写体からの入射光(像光)を取り込んで固体撮像素子202の撮像面上に結像する。固体撮像素子202は、光学部201によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像素子202として、図1の固体撮像素子1、即ち、多段カラムADC構造により、画素アレイ部21の複数行の同時読出しを可能とし、第1フレームと第2フレームを加算した画素信号を長畜信号、第1フレームと第2フレームの一方の画素信号を短畜信号としてHDR画像を生成することができる固体撮像素子を用いることができる。
表示部205は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像素子202で撮像された動画または静止画を表示する。記録部206は、固体撮像素子202で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
操作部207は、ユーザによる操作の下に、撮像装置200が持つ様々な機能について操作指令を発する。電源部208は、DSP回路203、フレームメモリ204、表示部205、記録部206および操作部207の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
上述したように、固体撮像素子202として、上述した各実施の形態に係る固体撮像素子1を用いることで、短蓄画像と長蓄画像の読み出し時間差が少なく、画質劣化の少ないHDR画像を生成することができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置200においても、撮像画像の高画質化を図ることができる。
<イメージセンサの使用例>
図31は、上述した固体撮像素子1としてのイメージセンサを使用する使用例を示す図である。
図31は、上述した固体撮像素子1としてのイメージセンサを使用する使用例を示す図である。
上述した固体撮像素子1としてのイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
また、本技術は、可視光の入射光量の分布を検知して画像として撮像する固体撮像素子への適用に限らず、赤外線やX線、あるいは粒子等の入射量の分布を画像として撮像する固体撮像素子や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の固体撮像素子(物理量分布検知装置)全般に対して適用可能である。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
複数の画素が行列状に2次元配置された画素アレイ部と、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
を備え、
同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である
固体撮像素子。
(2)
同時に読み出された前記第1のフレームの画素信号をAD変換する第1のAD変換部と、
同時に読み出された前記第2のフレームの画素信号をAD変換する第2のAD変換部と
をさらに備える
前記(1)に記載の固体撮像素子。
(3)
同時に読み出された前記第1のフレームの画素信号と前記第2のフレームの画素信号は、同一の画素列の画素信号である
前記(1)または(2)に記載の固体撮像素子。
(4)
前記制御部は、前記画素アレイ部の4行の前記画素の画素信号を同時に読み出すように前記画素を駆動する
前記(1)乃至(3)のいずれかに記載の固体撮像素子。
(5)
前記第1のフレームの画素信号を記憶する記憶部と、
前記第1のフレームの画素信号と、前記第2のフレームの画素信号を加算する加算部と、
前記加算部で算出して得られた加算信号と、前記第1のフレームの画素信号を、所定の合成比で合成する合成演算部と
をさらに備える
前記(1)乃至(4)のいずれかに記載の固体撮像素子。
(6)
前記第1のフレームの画素信号は、前記第2のフレームの画素信号よりも、露光時間が長い信号である
前記(5)に記載の固体撮像素子。
(7)
前記第1のフレームの画素信号は、前記第2のフレームの画素信号よりも、露光時間が短い信号である
前記(5)に記載の固体撮像素子。
(8)
第1乃至第3の半導体基板からなる3枚の半導体基板を積層して構成され、
前記第1の半導体基板には、前記画素アレイ部が少なくとも形成され、
前記第2の半導体基板には、前記記憶部が少なくとも形成され、
前記第3の半導体基板には、前記加算部と前記合成演算部が少なくとも形成されている
前記(5)に記載の固体撮像素子。
(9)
前記第2の半導体基板は、前記第1の半導体基板と前記第3の半導体基板との間に配置されている
前記(8)に記載の固体撮像素子。
(10)
前記記憶部は、少なくとも前記第2のフレームの画素信号の読み出しが開始されるまで、前記第1のフレームの画素信号を記憶する
前記(5)乃至(9)のいずれかに記載の固体撮像素子。
(11)
前記合成演算部は、前記加算信号と前記第1のフレームの画素信号を所定の合成比で合成することにより、HDR画像を生成する
前記(5)乃至(10)のいずれかに記載の固体撮像素子。
(12)
前記記憶部は、2枚以上の画像を記憶し、
前記合成演算部は、3枚以上の画像それぞれの画像信号を、所定の合成比で合成する
前記(5)乃至(11)のいずれかに記載の固体撮像素子。
(13)
複数の画素が行列状に2次元配置された画素アレイ部を備える固体撮像素子が、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動し、
同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である
固体撮像素子の駆動方法。
(14)
複数の画素が行列状に2次元配置された画素アレイ部と、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
を備え、
同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である
固体撮像素子
を備える電子機器。
(1)
複数の画素が行列状に2次元配置された画素アレイ部と、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
を備え、
同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である
固体撮像素子。
(2)
同時に読み出された前記第1のフレームの画素信号をAD変換する第1のAD変換部と、
同時に読み出された前記第2のフレームの画素信号をAD変換する第2のAD変換部と
をさらに備える
前記(1)に記載の固体撮像素子。
(3)
同時に読み出された前記第1のフレームの画素信号と前記第2のフレームの画素信号は、同一の画素列の画素信号である
前記(1)または(2)に記載の固体撮像素子。
(4)
前記制御部は、前記画素アレイ部の4行の前記画素の画素信号を同時に読み出すように前記画素を駆動する
前記(1)乃至(3)のいずれかに記載の固体撮像素子。
(5)
前記第1のフレームの画素信号を記憶する記憶部と、
前記第1のフレームの画素信号と、前記第2のフレームの画素信号を加算する加算部と、
前記加算部で算出して得られた加算信号と、前記第1のフレームの画素信号を、所定の合成比で合成する合成演算部と
をさらに備える
前記(1)乃至(4)のいずれかに記載の固体撮像素子。
(6)
前記第1のフレームの画素信号は、前記第2のフレームの画素信号よりも、露光時間が長い信号である
前記(5)に記載の固体撮像素子。
(7)
前記第1のフレームの画素信号は、前記第2のフレームの画素信号よりも、露光時間が短い信号である
前記(5)に記載の固体撮像素子。
(8)
第1乃至第3の半導体基板からなる3枚の半導体基板を積層して構成され、
前記第1の半導体基板には、前記画素アレイ部が少なくとも形成され、
前記第2の半導体基板には、前記記憶部が少なくとも形成され、
前記第3の半導体基板には、前記加算部と前記合成演算部が少なくとも形成されている
前記(5)に記載の固体撮像素子。
(9)
前記第2の半導体基板は、前記第1の半導体基板と前記第3の半導体基板との間に配置されている
前記(8)に記載の固体撮像素子。
(10)
前記記憶部は、少なくとも前記第2のフレームの画素信号の読み出しが開始されるまで、前記第1のフレームの画素信号を記憶する
前記(5)乃至(9)のいずれかに記載の固体撮像素子。
(11)
前記合成演算部は、前記加算信号と前記第1のフレームの画素信号を所定の合成比で合成することにより、HDR画像を生成する
前記(5)乃至(10)のいずれかに記載の固体撮像素子。
(12)
前記記憶部は、2枚以上の画像を記憶し、
前記合成演算部は、3枚以上の画像それぞれの画像信号を、所定の合成比で合成する
前記(5)乃至(11)のいずれかに記載の固体撮像素子。
(13)
複数の画素が行列状に2次元配置された画素アレイ部を備える固体撮像素子が、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動し、
同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である
固体撮像素子の駆動方法。
(14)
複数の画素が行列状に2次元配置された画素アレイ部と、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
を備え、
同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である
固体撮像素子
を備える電子機器。
1 固体撮像素子, 11 画素領域, 12 メモリ領域, 13 ロジック領域, 14 制御領域, 20 画素, 21 画素アレイ部, 22(22A,22B) カラムAD変換部, 23 フレームメモリ, 24 フレーム加算部, 25 HDR合成部, 26 制御部, 31乃至33 半導体基板, 31 FD, 50 ADC, 85 合成演算部, 91(91S,91L) 欠陥補正部, 92(92S,92L) ノイズ低減部, 101 遅延調整部, 200 撮像装置, 202 固体撮像素子
Claims (14)
- 複数の画素が行列状に2次元配置された画素アレイ部と、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
を備え、
同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である
固体撮像素子。 - 同時に読み出された前記第1のフレームの画素信号をAD変換する第1のAD変換部と、
同時に読み出された前記第2のフレームの画素信号をAD変換する第2のAD変換部と
をさらに備える
請求項1に記載の固体撮像素子。 - 同時に読み出された前記第1のフレームの画素信号と前記第2のフレームの画素信号は、同一の画素列の画素信号である
請求項1に記載の固体撮像素子。 - 前記制御部は、前記画素アレイ部の4行の前記画素の画素信号を同時に読み出すように前記画素を駆動する
請求項1に記載の固体撮像素子。 - 前記第1のフレームの画素信号を記憶する記憶部と、
前記第1のフレームの画素信号と、前記第2のフレームの画素信号を加算する加算部と、
前記加算部で算出して得られた加算信号と、前記第1のフレームの画素信号を、所定の合成比で合成する合成演算部と
をさらに備える
請求項1に記載の固体撮像素子。 - 前記第1のフレームの画素信号は、前記第2のフレームの画素信号よりも、露光時間が長い信号である
請求項5に記載の固体撮像素子。 - 前記第1のフレームの画素信号は、前記第2のフレームの画素信号よりも、露光時間が短い信号である
請求項5に記載の固体撮像素子。 - 第1乃至第3の半導体基板からなる3枚の半導体基板を積層して構成され、
前記第1の半導体基板には、前記画素アレイ部が少なくとも形成され、
前記第2の半導体基板には、前記記憶部が少なくとも形成され、
前記第3の半導体基板には、前記加算部と前記合成演算部が少なくとも形成されている
請求項5に記載の固体撮像素子。 - 前記第2の半導体基板は、前記第1の半導体基板と前記第3の半導体基板との間に配置されている
請求項8に記載の固体撮像素子。 - 前記記憶部は、少なくとも前記第2のフレームの画素信号の読み出しが開始されるまで、前記第1のフレームの画素信号を記憶する
請求項5に記載の固体撮像素子。 - 前記合成演算部は、前記加算信号と前記第1のフレームの画素信号を所定の合成比で合成することにより、HDR画像を生成する
請求項5に記載の固体撮像素子。 - 前記記憶部は、2枚以上の画像を記憶し、
前記合成演算部は、3枚以上の画像それぞれの画像信号を、所定の合成比で合成する
請求項5に記載の固体撮像素子。 - 複数の画素が行列状に2次元配置された画素アレイ部を備える固体撮像素子が、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動し、
同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である
固体撮像素子の駆動方法。 - 複数の画素が行列状に2次元配置された画素アレイ部と、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
を備え、
同時に読み出された複数行の前記画素信号のうちの第1の画素行の画素信号は、第1のフレームの画素信号であり、第2の画素行の画素信号は、第2のフレームの画素信号である
固体撮像素子
を備える電子機器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015090375A JP2016208402A (ja) | 2015-04-27 | 2015-04-27 | 固体撮像素子およびその駆動方法、並びに電子機器 |
PCT/JP2016/061988 WO2016175036A1 (ja) | 2015-04-27 | 2016-04-14 | 固体撮像素子およびその駆動方法、並びに電子機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015090375A JP2016208402A (ja) | 2015-04-27 | 2015-04-27 | 固体撮像素子およびその駆動方法、並びに電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016208402A true JP2016208402A (ja) | 2016-12-08 |
Family
ID=57199136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015090375A Pending JP2016208402A (ja) | 2015-04-27 | 2015-04-27 | 固体撮像素子およびその駆動方法、並びに電子機器 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2016208402A (ja) |
WO (1) | WO2016175036A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018142706A1 (ja) * | 2017-02-01 | 2018-08-09 | ソニーセミコンダクタソリューションズ株式会社 | 撮像システム、撮像装置、及び制御装置 |
WO2019171782A1 (ja) * | 2018-03-09 | 2019-09-12 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
US10834350B2 (en) | 2017-08-15 | 2020-11-10 | Canon Kabushiki Kaisha | Image sensing device, camera, and transportation equipment |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109040633B (zh) * | 2018-11-02 | 2021-04-20 | 思特威(上海)电子科技股份有限公司 | 具有增益补偿的hdr图像传感器、读出电路及方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5521721B2 (ja) * | 2009-08-28 | 2014-06-18 | ソニー株式会社 | 撮像素子およびカメラシステム |
WO2012042967A1 (ja) * | 2010-09-27 | 2012-04-05 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP2012257193A (ja) * | 2011-05-13 | 2012-12-27 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
JP2014099582A (ja) * | 2012-10-18 | 2014-05-29 | Sony Corp | 固体撮像装置 |
WO2014065055A1 (ja) * | 2012-10-23 | 2014-05-01 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP6164867B2 (ja) * | 2013-02-21 | 2017-07-19 | キヤノン株式会社 | 固体撮像装置、その制御方法、および制御プログラム |
-
2015
- 2015-04-27 JP JP2015090375A patent/JP2016208402A/ja active Pending
-
2016
- 2016-04-14 WO PCT/JP2016/061988 patent/WO2016175036A1/ja active Application Filing
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018142706A1 (ja) * | 2017-02-01 | 2018-08-09 | ソニーセミコンダクタソリューションズ株式会社 | 撮像システム、撮像装置、及び制御装置 |
JPWO2018142706A1 (ja) * | 2017-02-01 | 2019-11-21 | ソニーセミコンダクタソリューションズ株式会社 | 撮像システム、撮像装置、及び制御装置 |
US11025846B2 (en) | 2017-02-01 | 2021-06-01 | Sony Semiconductor Solutions Corporation | Imaging system, imaging apparatus, and control apparatus |
JP7071292B2 (ja) | 2017-02-01 | 2022-05-18 | ソニーセミコンダクタソリューションズ株式会社 | 撮像システム、撮像装置、及び制御装置 |
US10834350B2 (en) | 2017-08-15 | 2020-11-10 | Canon Kabushiki Kaisha | Image sensing device, camera, and transportation equipment |
WO2019171782A1 (ja) * | 2018-03-09 | 2019-09-12 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
US11089231B2 (en) | 2018-03-09 | 2021-08-10 | Fujifilm Corporation | Image capturing apparatus, image capturing method, and program |
Also Published As
Publication number | Publication date |
---|---|
WO2016175036A1 (ja) | 2016-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10771718B2 (en) | Imaging device and imaging system | |
US11050955B2 (en) | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus | |
JP6969539B2 (ja) | 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器 | |
JP4691930B2 (ja) | 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール | |
JP4821921B2 (ja) | 固体撮像装置および電子機器 | |
JP4311181B2 (ja) | 半導体装置の制御方法および信号処理方法並びに半導体装置および電子機器 | |
JP5215262B2 (ja) | 撮像装置 | |
WO2016072289A1 (ja) | 撮像素子および駆動方法、並びに電子機器 | |
WO2017169885A1 (ja) | 撮像装置、駆動方法、および、電子機器 | |
WO2017141727A1 (ja) | 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器 | |
JP2008167004A (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP2014154982A (ja) | 撮像装置およびその制御方法 | |
JP2010283573A (ja) | 電子カメラ | |
WO2016175036A1 (ja) | 固体撮像素子およびその駆動方法、並びに電子機器 | |
JP2017175345A (ja) | 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器 | |
JP5885431B2 (ja) | 撮像素子及び撮像装置 | |
JP4419675B2 (ja) | 固体撮像装置および固体撮像装置の駆動方法 | |
JP5168319B2 (ja) | 固体撮像装置および固体撮像装置の駆動方法 | |
JP5115602B2 (ja) | 半導体装置およびその制御方法 | |
JP5115601B2 (ja) | 半導体装置およびその制御方法 | |
JP4916095B2 (ja) | 固体撮像装置および固体撮像装置の駆動方法 | |
JP2014175778A (ja) | 撮像装置および撮像方法 | |
US10623642B2 (en) | Image capturing apparatus and control method thereof with change, in exposure period for generating frame, of conversion efficiency | |
WO2016203966A1 (ja) | 撮像装置、撮像方法、並びにプログラム | |
JP2018093301A (ja) | 撮像素子及び撮像素子の制御方法 |