JP2019153987A - 撮像装置及び撮像装置の信号処理方法、並びに、電子機器 - Google Patents

撮像装置及び撮像装置の信号処理方法、並びに、電子機器 Download PDF

Info

Publication number
JP2019153987A
JP2019153987A JP2018039339A JP2018039339A JP2019153987A JP 2019153987 A JP2019153987 A JP 2019153987A JP 2018039339 A JP2018039339 A JP 2018039339A JP 2018039339 A JP2018039339 A JP 2018039339A JP 2019153987 A JP2019153987 A JP 2019153987A
Authority
JP
Japan
Prior art keywords
pixel
analog
unit
digital conversion
units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018039339A
Other languages
English (en)
Inventor
正弘 志村
Masahiro Shimura
正弘 志村
坂根 誠二郎
Seijiro Sakane
誠二郎 坂根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018039339A priority Critical patent/JP2019153987A/ja
Priority to PCT/JP2019/003981 priority patent/WO2019171853A1/ja
Priority to US16/976,740 priority patent/US11146753B2/en
Publication of JP2019153987A publication Critical patent/JP2019153987A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/69SSIS comprising testing or correcting structures for circuits other than pixel cells
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

【課題】複数の参照電圧生成部間の個体バラツキによる参照電圧間の誤差に起因する画質不良を抑制し、撮像画像の画質を向上する撮像装置を提供する。【解決手段】撮像装置において、CMOSイメージセンサ1は、アナログ−デジタル変換部13A、13Bは光電変換部を含む画素2が配置された画素アレイ部11から、画素行単位で出力される各画素の信号を並行処理してデジタル信号に変換する。参照電圧生成部14A、14Bはアナログ−デジタル変換部に対応して設けられ、AD変換に用いる参照電圧を生成する。電圧設定部17は複数の画素電圧レベルを設定し、アナログ−デジタル変換部を通して出力する。画像処理部は、画素アレイ部の各画素の信号をAD変換した結果に対して補正を行うための補正量を算出する演算部としての機能を有し、複数の画素電圧レベルのそれぞれを、アナログ−デジタル変換部でAD変換した結果に基づいて補正量を算出する。【選択図】図1

Description

本開示は、撮像装置及び撮像装置の信号処理方法、並びに、電子機器に関する。
CMOSイメージセンサ等の撮像素子において、画素が行列状に配置されて成る画素アレイ部(画素群)に対し、列方向に並列にアナログ−デジタル変換(以下、「AD変換」と記述する場合がある)を行う、所謂、列並列アナログ−デジタル変換方式が知られている。この種の撮像素子において、近年、撮像素子の画素数が増大傾向にある一方、単位時間当たりの撮像フレーム出力数(フレームレート)も高速化の傾向にある。
列並列アナログ−デジタル変換方式の撮像素子において、単位時間当たりのAD変換処理数を多くし、AD変換から撮像フレーム出力までの処理速度を向上させることで、フレームレートを向上させることができる。そのフレームレート向上の手法の一つとして、複数の画素行について、並行して、列並列AD変換を行う技術がある。この従来技術では、画素アレイ部を挟んで上下に、例えば2系統の列並列AD変換部を配置する構成が採られている(例えば、特許文献1参照)。
特開2008−252605号公報(特に、段落番号[0144]及び図17)
特許文献1に記載の従来技術では、所謂、ランプ波(RAMP波)の参照電圧を生成する参照電圧生成部が、2系統の列並列AD変換部毎に設けられる。しかしながら、参照電圧生成部を複数持つことで、ランプ波の参照電圧の設定が同じであっても、複数の参照電圧生成部間の個体バラツキにより、ランプ波の参照電圧間に微小ながら差異が生じる。この参照電圧間の微小な差異が、撮像フレームに対する横筋による画質不良、もしくは、AD変換領域間の段差として現れ、撮像画像の画質が悪化する一因となる。
本開示は、複数の参照電圧生成部間の個体バラツキによる参照電圧間の誤差に起因する画質不良を抑制し、撮像画像の画質の向上を図ることができる撮像装置及びその信号処理方法、並びに、当該撮像装置を有する電子機器を提供することを目的とする。
上記の目的を達成するための本開示の撮像装置は、
光電変換部を含む画素が配置されて成る画素アレイ部から、複数の画素行単位で出力される各画素の信号を並行処理してデジタル信号に変換する複数のアナログ−デジタル変換部、
複数のアナログ−デジタル変換部に対応して設けられ、アナログ−デジタル変換に用いる参照電圧を生成する複数の参照電圧生成部、
複数の画素電圧レベルを設定し、複数のアナログ−デジタル変換部のそれぞれを通して出力する電圧設定部、及び、
画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行うための補正量を算出する演算部を備え、
演算部は、複数の画素電圧レベルのそれぞれを、複数のアナログ−デジタル変換部のそれぞれでアナログ−デジタル変換した結果に基づいて補正量を算出する。
また、上記の目的を達成するための本開示の撮像装置の信号処理方法は、
光電変換部を含む画素が配置されて成る画素アレイ部から、複数の画素行単位で出力される各画素の信号を並行処理してデジタル信号に変換する複数のアナログ−デジタル変換部、及び、
複数のアナログ−デジタル変換部に対応して設けられ、アナログ−デジタル変換に用いる参照電圧を生成する複数の参照電圧生成部を備える撮像装置の信号処理に当たって、
複数の画素電圧レベルを設定し、複数のアナログ−デジタル変換部のそれぞれを通して出力し、
複数の画素電圧レベルのそれぞれを、複数のアナログ−デジタル変換部のそれぞれでアナログ−デジタル変換した結果に基づいて、画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行うための補正量を算出する。
また、上記の目的を達成するための本開示の電子機器は、上記の構成の撮像装置を有する。
上記の構成の撮像装置、その信号処理方法、あるいは、電子機器において、複数の画素電圧レベルのそれぞれを、複数のアナログ−デジタル変換部のそれぞれでAD変換することで、そのAD変換結果は、複数の参照電圧生成部間の個体バラツキに起因する参照電圧間のAD変換性能の誤差を含むものとなる。従って、AD変換の結果から、AD変換性能の誤差を補正するための補正量を算出できる。そして、当該補正量を用いて補正処理を行うことにより、複数の参照電圧生成部間の個体バラツキによる参照電圧間のAD変換性能誤差に起因する画質不良を抑制可能になる。
本開示によれば、複数の参照電圧生成部間の個体バラツキによる参照電圧間のAD変換性能誤差に起因する画質不良を抑制できるため、撮像画像の画質の向上を図ることができる。尚、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。また、本明細書に記載された効果はあくまで例示であって、これに限定されるものではなく、また付加的な効果があってもよい。
図1は、本開示の実施形態に係るCMOSイメージセンサの基本的な構成の概略を示す概略構成図である。 図2は、画素の回路構成の一例を示す回路図である。 図3は、列並列型アナログ−デジタル変換部の構成の一例を示すブロック図である。 図4は、積層型のチップ構造の概略を示す分解斜視図である。 図5は、本開示の撮像装置のシステム構成の概略を示すブロック図である。 図6は、画素電圧レベルとAD変換値との関係を示す特性図である。 図7は、実施例1に係るAD変換性能誤差の算出についての説明図である。 図8は、参照電圧RAMP1,RAMP2間のAD変換性能誤差を補正する処理手順の一例を示すフローチャートである。 図9A及び図9Bは、誤差補正の適用を開始するフレームタイミングについての説明図である。 図10は、実施例2に係るCMOSイメージセンサの構成の概略を示す概略構成図である。 図11は、ダミー画素の回路構成の一例を示す回路図である。 図12は、実施例3に係る信号処理部の構成の一例を示すブロック図である。 図13は、実施例4に係る信号処理部の構成の一例を示すブロック図である。 図14は、本開示に係る技術の適用例を示す図である。 図15は、本開示の電子機器の一例である撮像装置の構成を示すブロック図である。 図16は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 図17は、撮像部の設置位置の例を示す図である。
以下、本開示の技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示の撮像素子及びその信号処理方法、並びに、電子機器、全般に関する説明
2.本開示の実施形態に係る撮像素子
2−1.CMOSイメージセンサの例
2−2.単位画素の構成例
2−3.チップ構造
2−4.2つの参照電圧生成部に起因する画質不良について
2−5.本開示の撮像装置のシステム構成
2−6.実施形態の説明
2−6−1.実施例1
2−6−2.実施例2
2−6−3.実施例3
2−6−4.実施例4
2−6−5.実施形態の変形例
2−6−6.実施形態の応用例
3.本開示の電子機器
3−1.カメラモジュール
3−2.移動体への応用例
4.本開示がとることができる構成
<本開示の撮像装置及びその信号処理方法、並びに、電子機器、全般に関する説明>
本開示の撮像装置及びその信号処理方法、並びに、電子機器にあっては、演算部について、複数の参照電圧生成部が生成する各参照電圧の設定が同じである場合における、各参照電圧間のアナログ−デジタル変換性能の誤差を補正するための補正量を算出する構成とすることができる。更に、演算部について、複数の参照電圧間の画素電圧レベルに対するアナログ−デジタル変換値の特性差に基づいて補正量を算出する構成とすることができる。
上述した好ましい構成を含む本開示の撮像装置及びその信号処理方法、並びに、電子機器にあっては、複数の画素電圧レベルについて、黒レベルに設定された第1の画素電圧レベル、及び、白レベルに設定された第2の画素電圧レベルを含む構成とすることができる。更に、演算部について、画素電圧レベルに対するアナログ−デジタル変換値の特性において、第1の画素電圧レベルの設定時の撮像フレーム内のアナログ−デジタル変換値に基づく特性、及び、第2の画素電圧レベルの設定時の撮像フレーム内のアナログ−デジタル変換値に基づく特性の違いから補正量を算出する構成とすることができる。
更に、上述した好ましい構成を含む本開示の撮像装置及びその信号処理方法、並びに、電子機器にあっては、演算部について、画素電圧レベルに対するアナログ−デジタル変換値の特性の傾き及び切片の違いから補正量を算出する構成とすることができる。演算部について、1撮像フレームのアナログ−デジタル変換値を、第1の画素電圧レベル及び第2の画素電圧レベル別に積算し、アナログ−デジタル変換値の平均値を取得し、この取得した平均値を基に、画素電圧レベルに対するアナログ−デジタル変換値の特性の傾き及び切片の誤差量を算出する構成とすることができる。
あるいは又、上述した好ましい構成を含む本開示の撮像装置及びその信号処理方法、並びに、電子機器にあっては、電圧設定部について、画素アレイ部内に形成されたダミー画素から成り、ダミー画素は、複数の参照電圧生成部のそれぞれに対応して、少なくとも1画素列分設けられる構成とすることができる。また、第1半導体基板及び第2半導体基板の少なくとも2つの半導体基板が積層された積層構造において、画素アレイ部を第1半導体基板に形成されるとき、ダミー画素については、第1半導体基板以外の半導体基板に形成することが好ましい。
あるいは又、上述した好ましい構成を含む本開示の撮像装置及びその信号処理方法、並びに、電子機器にあっては、演算部について、算出した補正量を用いて、画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行う構成とすることができる。このとき、演算部が画素アレイ部の基板外に設けられた画像処理部から成り、当該画像処理部において、算出した補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う構成とすることができる。
あるいは又、上述した好ましい構成を含む本開示の撮像装置及びその信号処理方法、並びに、電子機器にあっては、演算部が画素アレイ部の基板外に設けられた外部演算装置から成り、外部演算装置で算出した補正量を、画素アレイ部の基板内に設けられた信号処理部に供給する。そして、当該信号処理部において、外部演算装置から供給される補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う構成とすることができる。
あるいは又、上述した好ましい構成を含む本開示の撮像装置及びその信号処理方法、並びに、電子機器にあっては、演算部が画素アレイ部の基板内に設けられた信号処理部から成り、当該信号処理部において、算出した補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う構成とすることができる。
<本開示の実施形態に係る撮像素子>
先ず、本開示の実施形態に係る撮像素子の基本的な構成について説明する。ここでは、本実施形態に係る撮像素子として、X−Yアドレス方式の撮像素子の一種であるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを例に挙げて説明する。CMOSイメージセンサは、CMOSプロセスを応用して、又は、部分的に使用して作製された撮像素子である。
[CMOSイメージセンサの例]
図1は、本開示の実施形態に係るCMOSイメージセンサの基本的な構成の概略を示す概略構成図である。本実施形態に係るCMOSイメージセンサ1は、光電変換部を含む画素2が半導体基板10上に、行方向及び列方向に、即ち、行列状に2次元配置されて成る画素アレイ部11を有する。ここで、行方向とは画素行の画素2の配列方向(所謂、水平方向)を言い、列方向とは画素列の画素2の配列方向(所謂、垂直方向)を言う。
画素2は、光電変換部で光電変換を行うことにより、受光した光量に応じた光電荷を生成し、蓄積する。画素2の構造については、半導体基板10において、配線層が形成される側の基板面を表面(正面)とするとき、その反対側の裏面側から照射される光を取り込む裏面照射型の画素構造とすることもできるし、表面(正面)から照射される光を取り込む表面照射型の画素構造とすることもできる。
図1では、図示を省略しているが、一般的に、画素アレイ部11には、オプティカルブラック(OPB)領域が設けられる。このオプティカルブラック領域の画素は、黒レベルの基準となるレベルを得るための遮光された画素であり、通常、撮像出力に用いられる画素(以下、「有効画素」と記述する場合がある)の外側に設けられる。
画素アレイ部11において、行列状の画素配列に対し、画素行毎に画素駆動線311〜31m(以下、総称して「画素駆動線31」と記述する場合がある)が行方向に沿って配線されている。また、画素列毎に垂直信号線32A1〜32An及び垂直信号線32B1〜32Bn(以下、総称して「垂直信号線32」と記述する場合がある)が列方向に沿って配線されている。画素駆動線31は、画素2から信号を読み出す際の駆動を行うための駆動信号を伝送する。図1では、画素駆動線31について1本の配線として図示しているが、1本に限られるものではない。画素駆動線31の一端は、行選択部12の各行に対応した出力端に接続されている。
画素列毎に配線された2本の垂直信号線のうち、垂直信号線32A1〜32Anは、例えば奇数行の画素行の画素信号の読み出しに用いられ、垂直信号線32B1〜32Bnは、例えば偶数行の画素行の画素信号の読み出しに用いられる。すなわち、画素列毎に垂直信号線32が2本ずつ配線された構成とすることで、2行単位で画素信号の読み出しが可能となっている。
画素アレイ部11の周辺領域には、画素2を駆動する周辺回路部として、例えば、行選択部12、アナログ−デジタル変換部13A,13B、参照電圧生成部14A,14B、水平転送走査部15A,15B、信号処理部16、電圧設定部17、及び、タイミング制御部18等が設けられている。すなわち、本実施形態に係るCMOSイメージセンサ1は、アナログ−デジタル変換部及び水平転送走査部が、画素アレイ部11の上下に2系統有することで、AD変換から撮像フレームの出力までの処理速度を向上させ、フレームレートの向上を図る構成となっている。
以下に、画素アレイ部11の周辺回路部、即ち、行選択部12、アナログ−デジタル変換部13A,13B、参照電圧生成部14A,14B、水平転送走査部15A,15B、信号処理部16、電圧設定部17、及び、タイミング制御部18について説明する。
行選択部12は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部11の各画素2の選択に際して、画素行の走査や画素行のアドレスを制御する。この行選択部12は、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の2つの走査系を有する構成となっている。
読出し走査系は、画素アレイ部11から画素信号を読み出すために、画素アレイ部11の画素2を行単位で順に選択走査する。画素2から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対し、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。この掃出し走査系による掃出し走査により、読出し行の画素2の光電変換部から不要な電荷が掃き出されることによって当該光電変換部がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す(リセットする)ことにより、所謂、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部の光電荷を捨てて、新たに露光を開始する(光電荷の蓄積を開始する)動作のことを言う。
アナログ−デジタル変換部13A,13Bは、垂直信号線321〜32nの各々に対応して設けられた複数のAD変換器の集合から成り、垂直信号線32を通して画素列毎に出力される2行分のアナログの画素信号を並行してAD変換する列並列型のアナログ−デジタル変換部である。より具体的には、アナログ−デジタル変換部13Aは、例えば奇数行の各画素信号をAD変換を行い、アナログ−デジタル変換部13Bは、例えば偶数行の各画素信号をAD変換を行う。
列並列アナログ−デジタル変換部13A,13Bにおけるアナログ−デジタル変換器としては、参照信号比較型のアナログ−デジタル変換器の一例であるシングルスロープ型アナログ−デジタル変換器が用いられる。列並列アナログ−デジタル変換部13A,13Bの具体的な構成の詳細については後述する。
シングルスロープ型アナログ−デジタル変換器では、時間が経過するにつれて電圧値が徐々に変化する、ランプ波(RAMP波)の参照電圧RAMPが用いられる。そのため、ランプ波の参照電圧RAMPを生成する参照電圧生成部14A,14Bが、2系統のアナログ−デジタル変換部13A,13Bの近傍に配置されている。参照電圧生成部14A,14Bは、例えばデジタル−アナログ変換(DA変換)回路によって構成することができる。
2系統のアナログ−デジタル変換部13A,13Bにおいて、同一の条件でAD変換を行うために、ランプ波の参照電圧RAMPについて、参照電圧生成部14A,14B間で同一設定とされる。ここで、「同一設定」とは、厳密に同一設定である場合の他、実質的に同一設定である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
因みに、2系統のアナログ−デジタル変換部13A,13Bで同じ波形の参照電圧RAMPを用いるには、一般的には、一つの参照電圧生成部を2系統のアナログ−デジタル変換部13A,13B間で共用することになる。しかしながら、例えば、DA変換回路などから構成される参照電圧生成部の回路規模は大きいため、画素アレイ部11の周辺領域において、2系統のアナログ−デジタル変換部13A,13Bから同等の距離に参照電圧生成部の配置スペースを確保することは困難である。このような理由から、2系統のアナログ−デジタル変換部13A,13B毎にその近傍に、参照電圧生成部14A,14Bが配置されている。
水平転送走査部15A,15Bは、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部11の各画素2の信号の読み出しに際し、画素列の走査や画素列のアドレスを制御する。そして、水平転送走査部15A,15Bによる制御の下に、アナログ−デジタル変換部13A,13Bでデジタル信号に変換された画素信号が読み出され、信号処理部16へ出力される。具体的には、水平転送走査部15Aからは、画素アレイ部11の奇数行の画素信号が信号処理部16へ出力され、水平転送走査部15Bからは、画素アレイ部11の偶数行の画素信号が信号処理部16へ出力される。
信号処理部16は、水平転送走査部15Aから供給される奇数行の画素信号と、水平転送走査部15Bから供給される偶数行の画素信号とを、画素アレイ部11の画素行の順番に並び替える信号処理を行う。信号処理部16は更に、画素アレイ部11の画素行の順番に並び替えられた画素信号に対して、例えば、増幅処理、演算処理等の種々の信号処理を行う。
電圧設定部17は、本実施形態の特徴部分の一つであり、複数の画素電圧レベル、例えば、第1の画素電圧レベル及び第2の画素電圧レベルを設定し、2系統のアナログ−デジタル変換部13A,13Bのそれぞれを通して出力する。この電圧設定部17の作用の詳細については後述する。
タイミング制御部18は、各種のタイミング信号、クロック信号、及び、制御信号等を生成し、これら生成した信号を基に、行選択部12アナログ−デジタル変換部13A,13B、水平転送走査部15A,15B、信号処理部16、及び、電圧設定部17等の駆動制御を行う。
上述したように、本実施形態に係るCMOSイメージセンサ1は、列方向において、画素アレイ部11を挟んで一方側(図の上側)及び他方側(図の下側)にそれぞれアナログ−デジタル変換部や水平転送走査部等を配置し、画素信号を2つの画素行単位で上下に読み出す構成となっている。この上下読出しの構成によれば、AD変換から撮像フレームの出力までの処理速度を向上させることができるため、フレームレートの向上を図ることができる。
尚、本実施形態では、画素信号を読み出すに当たって、アナログ−デジタル変換部や水平転送走査部等を2系統有する構成を例示したが、2系統に限られるものではなく、又、偶数系統に限られるものでもない。すなわち、アナログ−デジタル変換部や水平転送走査部等を3系統以上の複数系統有する構成であってもよい。
[画素の回路構成例]
図2は、画素2の回路構成の一例を示す回路図である。画素2は、光電変換部として、例えば、フォトダイオード21を有している。画素2は、フォトダイオード21に加えて、転送トランジスタ22、リセットトランジスタ23、増幅トランジスタ24、及び、選択トランジスタ25を有する画素構成となっている。
尚、ここでは、転送トランジスタ22、リセットトランジスタ23、増幅トランジスタ24、及び、選択トランジスタ25の4つのトランジスタとして、例えばNチャネルのMOS型電界効果トランジスタ(Field Effect Transistor:FET)を用いている。但し、ここで例示した4つのトランジスタ22〜25の導電型(チャネル)の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
この画素2に対して、先述した画素駆動線31として、複数の画素駆動線が同一画素行の各画素2に対して共通に配線されている。これら複数の画素駆動線は、行選択部12の各画素行に対応した出力端に画素行単位で接続されている。行選択部12は、複数の画素駆動線に対して転送信号TRG、リセット信号RST、及び、選択信号SELを適宜出力する。
フォトダイオード21は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷(ここでは、光電子)に光電変換してその光電荷を蓄積する。フォトダイオード21のカソード電極は、転送トランジスタ22を介して増幅トランジスタ24のゲート電極と電気的に接続されている。ここで、増幅トランジスタ24のゲート電極が電気的に繋がった領域は、フローティングディフュージョン(浮遊拡散領域/不純物拡散領域)FDである。フローティングディフュージョンFDは、電荷を電圧に変換する電荷電圧変換部である。
転送トランジスタ22のゲート電極には、高レベル(例えば、VDDレベル)がアクティブとなる転送信号TRGが行選択部12から与えられる。転送トランジスタ22は、転送信号TRGに応答して導通状態となることで、フォトダイオード21で光電変換され、当該フォトダイオード21に蓄積された光電荷をフローティングディフュージョンFDに転送する。
リセットトランジスタ23は、高電位側電源VDDのノードとフローティングディフュージョンFDとの間に接続されている。リセットトランジスタ23のゲート電極には、高レベルがアクティブとなるリセット信号RSTが行選択部12から与えられる。リセットトランジスタ23は、リセット信号RSTに応答して導通状態となり、フローティングディフュージョンFDの電荷を電圧VDDのノードに捨てることによってフローティングディフュージョンFDをリセットする。
増幅トランジスタ24は、ゲート電極がフローティングディフュージョンFDに、ドレイン電極が高電位側電源VDDのノードにそれぞれ接続されている。増幅トランジスタ24は、フォトダイオード21での光電変換によって得られる信号を読み出すソースフォロワの入力部となる。すなわち、増幅トランジスタ24は、ソース電極が選択トランジスタ25を介して垂直信号線32に接続される。そして、増幅トランジスタ24と、垂直信号線32の一端に接続される電流源Iとは、フローティングディフュージョンFDの電圧を垂直信号線32の電位に変換するソースフォロワを構成している。
選択トランジスタ25は、ドレイン電極が増幅トランジスタ24のソース電極に接続され、ソース電極が垂直信号線32に接続されている。選択トランジスタ25のゲート電極には、高レベルがアクティブとなる選択信号SELが行選択部12から与えられる。選択トランジスタ25は、選択信号SELに応答して導通状態となることで、画素2を選択状態として増幅トランジスタ24から出力される信号を垂直信号線32に伝達する。
尚、選択トランジスタ25については、高電位側電源電圧VDDのノードと増幅トランジスタ24のドレイン電極との間に接続する回路構成を採ることもできる。また、本例では、画素2の画素回路として、転送トランジスタ22、リセットトランジスタ23、増幅トランジスタ24、及び、選択トランジスタ25から成る、即ち4つのトランジスタ(Tr)から成る4Tr構成を例に挙げたが、これに限られるものではない。例えば、選択トランジスタ25を省略し、増幅トランジスタ24に選択トランジスタ25の機能を持たせる3Tr構成とすることもできるし、必要に応じて、トランジスタの数を増やした5Tr以上の構成とすることもできる。
[アナログ−デジタル変換部の構成例]
次に、列並列型のアナログ−デジタル変換部13A,13Bの具体的な構成について説明する。図3は、アナログ−デジタル変換部13A,13Bの構成の一例を示すブロック図である。ここでは、一方のアナログ−デジタル変換部13Bの構成を示しているが、他方のアナログ−デジタル変換部13Aの構成も同じである。
アナログ−デジタル変換部13Bは、垂直信号線32B1〜32Bnの各々に対応して設けられた複数のシングルスロープ型アナログ−デジタル変換器の集合から成る。ここでは、n列目のシングルスロープ型アナログ−デジタル変換器130を例に挙げて説明する。
シングルスロープ型アナログ−デジタル変換器130は、比較器131、カウンタ回路132、及び、ラッチ回路133を有する回路構成となっている。シングルスロープ型アナログ−デジタル変換器130には、参照電圧生成部14Bから、ランプ波の参照電圧RAMPが供給される。
比較器131は、画素2から読み出され、垂直信号線32を通して出力されるアナログの画素信号を比較入力とし、参照電圧生成部14Bで生成される参照電圧RAMPを基準入力とし、両信号を比較する。そして、比較器131は、例えば、参照電圧RAMPが画素信号よりも大きいときに出力が第1の状態(例えば、高レベル)になり、参照電圧RAMPが画素信号以下のときに出力が第2の状態(例えば、低レベル)になる。そして、比較器131は、画素信号の信号レベルに応じた、具体的には、信号レベルの大きさに対応したパルス幅を持つパルス信号を比較結果として出力する。
カウンタ回路132には、比較器131に対する参照電圧RAMPの供給開始タイミングと同じタイミングで、タイミング制御部18からクロック信号CLKが与えられる。そして、カウンタ回路132は、クロック信号CLKに同期してカウント動作を行うことによって、比較器131の出力パルスのパルス幅の期間、即ち、比較動作の開始から比較動作の終了までの期間を計測する。このカウンタ回路132のカウント結果(カウント値)が、アナログの画素信号をデジタル化したデジタル値となる。
ラッチ回路133は、カウンタ回路132のカウント結果であるデジタル値を保持(ラッチ)する。また、ラッチ回路133は、信号レベルの画素信号に対応するD相のカウント値と、リセットレベルの画素信号に対応するP相のカウント値との差分をとることにより、ノイズ除去処理の一例である、CDS(Correlated Double Sampling;相関二重サンプリング)を行う。そして、水平転送走査部15Bによる制御の下に、ラッチしたデジタル値を出力する。
上述したように、シングルスロープ型アナログ−デジタル変換器130の集合から成る列並列アナログ−デジタル変換部13Bでは、参照電圧生成部14Bで生成される、線形に変化するアナログ値の参照電圧RAMPと、画素2から出力されるアナログの画素信号との大小関係が変化するまでの時間情報からデジタル値を得る。尚、上記の例では、画素列に対して1対1の関係でアナログ−デジタル変換器130が配置されて成るアナログ−デジタル変換部13Bを例示したが、複数の画素列を単位としてアナログ−デジタル変換器130が配置されて成るアナログ−デジタル変換部13Bとすることも可能である。
[チップ構造]
上記の構成のCMOSイメージセンサ1では、チップ(半導体集積回路)構造として、所謂、平置型のチップ構造(所謂、平置構造)を例示したが、平置型のチップ構造に限られるものではない。ここで、平置型のチップ構造とは、図1に示すように、画素アレイ部11と同じ半導体基板10上に、画素アレイ部11の周辺の回路部分を形成した構造である。具体的には、平置型のチップ構造では、画素アレイ部11と同じ半導体基板10上に、行選択部12、アナログ−デジタル変換部13A,13B、参照電圧生成部14A,14B、水平転送走査部15A,15B、信号処理部16、電圧設定部17、及び、タイミング制御部18等が形成されている。
チップ(半導体集積回路)構造として、平置型のチップ構造の他に、積層型のチップ構造を例示することができる。図4に、積層型のチップ構造の概略を分解斜視図で示す。図4に示すように、積層型のチップ構造(所謂、積層構造)は、第1半導体基板10A及び第2半導体基板10Bの少なくとも2つの半導体基板が積層された構造となっている。この積層構造において、画素アレイ部11は、1層目の第1半導体基板10Aに形成される。また、行選択部12、アナログ−デジタル変換部13A,13B、参照電圧生成部14A,14B、水平転送走査部15A,15B、信号処理部16、電圧設定部17、及び、タイミング制御部18等の回路部分は、2層目の第2半導体基板10Bに形成される。そして、1層目の第1半導体基板10Aと2層目の第2半導体基板10Bとは、ビア(VIA)やCu−Cu接続などの接続部19を通して電気的に接続される。
この積層構造のCMOSイメージセンサ1によれば、第1半導体基板10Aとして画素アレイ部11を形成できるだけの大きさ(面積)のもので済むため、1層目の第1半導体基板10Aのサイズ(面積)、ひいては、チップ全体のサイズを小さくできる。更に、1層目の第1半導体基板10Aには画素2の作製に適したプロセスを適用でき、2層目の第2半導体基板10Bには回路部分の作製に適したプロセスを適用できるため、CMOSイメージセンサ1の製造に当たって、プロセスの最適化を図ることができるメリットもある。特に、回路部分の作製に当たっては、先端プロセスの適用が可能になる。
尚、ここでは、第1半導体基板10A及び第2半導体基板10Bが積層されて成る2層構造の積層構造を例示したが、積層構造としては、2層構造に限られるものではなく、3層以上の構造とすることもできる。そして、3層以上の積層構造の場合、行選択部12、アナログ−デジタル変換部13A,13B、参照電圧生成部14A,14B、水平転送走査部15A,15B、信号処理部16、電圧設定部17、及び、タイミング制御部18等の回路部分については、2層目以降の半導体基板に分散して形成することができる。
[2つの参照電圧生成部に起因する画質不良について]
ところで、本実施形態に係るCMOSイメージセンサ1にあっては、フレームレートの向上を目的として、上下読出しの構成を採っていることから、参照電圧生成部が複数、例えばアナログ−デジタル変換部13A,13Bのそれぞれに対応して2つの参照電圧生成部14A,14Bが設けられている。参照電圧生成部が複数の場合、2つの参照電圧生成部14A,14B間でランプ波の参照電圧RAMPの出力設定が同一(同一設定)とされる。
しかしながら、参照電圧RAMPの出力設定が同一であったとしても、2つの参照電圧生成部14A,14B間に製造上の個体バラツキによる性能の差異が生ずることは避けられず、参照電圧生成部14A,14B間の個体バラツキに起因して、それぞれの参照電圧RAMP間のAD変換性能に微小ながら差異が生じる。その結果、それぞれの参照電圧RAMPによる画素行のAD変換結果に横筋の成分が発生する。すなわち、複数の参照電圧RAMP間の微小な差異が、撮像フレームに対する横筋による画質不良、もしくは、AD変換領域間の段差として現れ、撮像画像の画質が悪化する一因となる。
上記の複数の参照電圧RAMP間のAD変換性能の誤差(差異)に対する補正を、参照電圧生成部14A,14B自体に施すことは、本来、それが理想である。しかしながら、参照電圧生成部14A,14B間の製造上の個体バラツキの差異が、参照電圧生成部14A,14B自体の動作設定分解能よりも微小である場合は、その差異を補正することができない。また、そのような微小差異を参照電圧生成部14A,14B自体で可能な構成を採ると、アナログ回路規模が増大し、チップ面積の増大となる。
[本開示の撮像装置のシステム構成]
本開示の撮像装置のシステム構成の概略を図5に示す。本開示の撮像装置は、上記の構成のCMOSイメージセンサ1に加えて、CMOSイメージセンサ1以外のチップに設けられた画像処理部3及び制御部4を備える構成となっている。画像処理部3は、画像処理プロセッサ等から成り、上述した複数の参照電圧RAMP間のAD変換性能の誤差(差異)に対する補正処理を行う。その詳細については後述する。制御部4は、例えば、MPU(Micro Processing Unit)等のプロセッサから成り、画像処理部3での補正処理を含むシステム全体の制御を行う。
[実施形態の説明]
複数の参照電圧RAMP間のAD変換性能誤差について、デジタルデータ上での補正を実現するために、CMOSイメージセンサ1は、複数の画素電圧レベルを設定し、複数の画素電圧レベルのそれぞれを、2系統のアナログ−デジタル変換部13A,13Bのそれぞれを通して出力する電圧設定部17を備えている。尚、図1には、電圧設定部17で設定した複数の画素電圧レベルを、垂直信号線321〜32nの全てに供給する形態を表しているが、必ずしも全てに供給することに限られるものではなく、垂直信号線321〜32nの一部あるいは一本に供給する形態であってもよい。
そして、画像処理部3において、デジタルデータ上で補正を行うための補正量の算出処理、及び、その算出した補正量に基づくデジタルデータ上での補正処理が行われる。具体的には、画像処理部3は、複数の画素電圧レベルのそれぞれを、アナログ−デジタル変換部13A,13のそれぞれでAD変換した結果(撮像フレーム)に基づいて、デジタルデータ上で補正を行うための補正量を算出する。この補正量は、複数の参照電圧RAMP間のAD変換性能誤差の誤差量でもある。
すなわち、画像処理部3は、画素アレイ部11の各画素(有効画素)2の信号のAD変換結果に対して補正を行うための補正量を算出する演算部としての機能を有している。画像処理部3は更に、補正量を算出する演算機能に加えて、当該演算機能で算出した補正量を用いて、画素アレイ部11の各画素2の信号をアナログ−デジタル変換部13A,13でAD変換した結果、即ち、撮像フレーム出力後のデジタルデータに対して補正を行う補正機能を有している。
このようにして、本実施形態では、例えば2つの参照電圧生成部14A,14Bを備えるCMOSイメージセンサ1において、参照電圧RAMPが同一設定である場合の参照電圧生成部14A,14B間の個体バラツキに起因する、複数の参照電圧RAMP間のAD変換性能の誤差(差異)を、それぞれのAD変換後の撮像フレームからデジタル値として算出する。そして、その後の有効画素についての撮像フレームに対して、複数の参照電圧RAMP間のAD変換性能誤差が減少する方向に、その誤差量(デジタル値)に応じた補正量を用いてデジタルデータ上で補正を行う。
以下に、参照電圧RAMPの出力設定が同一である場合における、複数の参照電圧RAMP間のAD変換性能誤差を、有効画素についての撮像フレームの出力後のデジタルデータ上で補正するための具体的な実施例について説明する。
(実施例1)
実施例1は、複数の参照電圧RAMP間のAD変換性能誤差を、それぞれのAD変換後の撮像フレームからデジタル値として算出する例である。実施例1では、複数の参照電圧RAMP間の画素電圧レベルに対するAD変換値の差異は、画素電圧レベルとAD変換値との関係を示す図6の線形特性において、当該線形特性の傾き及び切片の両方に発生すると考える。以降、便宜上、線形特性の傾きの差異を「ゲイン誤差」と呼び、切片の差異を「オフセット誤差」と呼ぶこととする。尚、図6では、複数の参照電圧RAMPを、参照電圧RAMP1及び参照電圧RAMP2の2つとしている。
ゲイン誤差及びオフセット誤差をそれぞれデジタル値として算出するために、本実施形態に係るCMOSイメージセンサ1は電圧設定部17を備えている。電圧設定部17は、複数の画素電圧レベル、例えば、第1の画素電圧レベル及び第2の画素電圧レベルを設定し、垂直信号線321〜32nを通して、2系統のアナログ−デジタル変換部13A,13Bに供給する。そして、2系統のアナログ−デジタル変換部13A,13Bはそれぞれ、参照電圧RAMP1及び参照電圧RAMP2を用いて、奇数行/偶数行の画素行単位で、第1の画素電圧レベル及び第2の画素電圧レベルについてAD変換を実行する。
より具体的には、電圧設定部17による画素電圧レベルの設定の下で、例えば1撮像フレーム期間分、参照電圧RAMP1及び参照電圧RAMP2に基づくAD変換を並行して行うことで、複数の参照電圧RAMP間のAD変換性能誤差の補正のための撮像フレーム(以下、「補正用画素フレーム」と記述する)を出力する。この補正用画素フレームの出力を、少なくとも2種類の画素電圧レベルの設定、即ち、第1の画素電圧レベル及び第2の画素電圧レベルの設定の下に行う。
第1の画素電圧レベル及び第2の画素電圧レベルを設定したときに出力される補正用画素フレーム1及び補正用画素フレーム2には、参照電圧RAMP1及び参照電圧RAMP2によるAD変換画素が含まれている。但し、各補正用画素フレーム毎の画素電圧レベルは同じとし、1撮像フレーム分のAD変換を終えてから、画素電圧レベルを変更(第1の画素電圧レベル→第2の画素電圧レベル)して、次の補正用画素フレームのAD変換を行うこととする。
補正用画素フレーム1及び補正用画素フレーム2に基づく補正量の算出、及び、有効画素についての撮像フレーム出力後のデジタルデータに対する補正量に基づく補正の各処理は、画像処理部3において行われる。以下に、画像処理部3での処理について具体的に説明する。
画像処理部3は、第1の画素電圧レベル及び第2の画素電圧レベルが設定されたそれぞれのフレーム毎に、即ち、補正用画素フレーム1及び補正用画素フレーム2毎に、1撮像フレーム中でAD変換した画素値(AD変換値)を、適用した参照電圧RAMP1及び参照電圧RAMP2別に積算し、AD変換値の平均値を取得する。この取得したAD変換値の平均値に基に、図7に示すように、横軸を設定画素電圧レベル、縦軸をAD変換値(平均値)とした参照電圧RAMP1,RAMP2別のAD変換性能の1次近似式を得ることができる。
そして、この1次近似式から、参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の各誤差量を算出することができる。参照電圧RAMP1,RAMP2間のゲイン誤差量については、第1の画素電圧レベル及び第2の画素電圧レベルの電圧差が大きいほど算出を確実に行うことができる。このような観点から、第1の画素電圧レベルを黒レベルVbに設定し、第2の画素電圧レベルを白レベルVwに設定することが好ましい。この画素電圧レベルの設定により、参照電圧RAMP1,RAMP2間のゲイン誤差量を確実に算出することができる。
参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の各誤差量の算出については、参照電圧RAMP1,RAMP2毎のAD変換値の積算を、補正用画素フレーム1及び補正用画素フレーム2の出力段階で画素出力順に逐次行えばよい。従って、画像処理部3では、フレームメモリ等の記憶手段を用いなくても各誤差量の算出を行うことができる。
次に、画像処理部3において実行される、参照電圧RAMP1,RAMP2間のAD変換性能誤差を補正する、具体的には、ゲイン誤差及びオフセット誤差の各誤差についてデジタル補正する手法について説明する。
参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の算出を、電圧設定部17による画素電圧レベルの設定の下に行った後、AD変換対象画素を画素アレイ部11内の有効画素についての撮像フレームの出力を行う。そして、参照電圧RAMP1,RAMP2の一方を基準の参照電圧とし、他方の参照電圧でAD変換された有効画素の撮像フレームの画素値(AD変換値)全てに対して、誤差が解消する方向にゲイン誤差を乗算(又は、除算)し、オフセット誤差を加算(又は、減算)する。以上の処理により、有効画素の撮像フレームに対して、参照電圧RAMP1,RAMP2間のAD変換性能誤差について、デジタルデータ上での補正が行われる。
ここで、図5のシステム構成において実行される、参照電圧RAMP1,RAMP2間のAD変換性能誤差を補正する処理手順の一例について、図8のフローチャートを用いて説明する。この一連の処理は、例えば、制御部4を構成するプロセッサによる制御の下に実行される。
プロセッサは、CMOSイメージセンサ1のリセット/スタンバイを解除し(ステップS11)、次いで、内部電圧の安定化を待ち(ステップS12)、次いで、電圧設定部17による画素電圧レベルの設定を行う(ステップS13)。このときの電圧設定部17による画素電圧レベルの設定は、例えば、第1の画素電圧レベル(例えば、黒レベルVb)の設定となる。
次に、プロセッサは、電圧設定部17による画素電圧レベルの設定の下に、アナログ−デジタル変換部13A,13Bでの参照電圧RAMP1,RAMP2に基づくAD変換処理を経て補正用画素フレームを出力する(ステップS14)。この処理では、第1の画素電圧レベル(黒レベルVb)の設定の下での補正用画素フレーム1の出力となる。次に、プロセッサは、参照電圧RAMP1,RAMP2毎にAD変換値を積算し、AD変換値の平均値を算出し(ステップS15)、次いで、電圧設定部17での電圧設定の変更が必要か否かを判断する(ステップS16)。
電圧設定部17での電圧設定の変更が必要であれば、電圧設定部17による電圧設定を第1の画素電圧レベルから第2の画素電圧レベル(例えば、白レベルVw)に変更し(ステップS17)、ステップS14に戻る。そして、第2の画素電圧レベル(白レベルVw)の設定の下に、AD変換処理を経て補正用画素フレーム(即ち、補正用画素フレーム2)を出力し(ステップS14)、次いで、参照電圧RAMP1,RAMP2毎にAD変換値を積算し、AD変換値の平均値を算出する(ステップS15)。
第2の画素電圧レベルの設定の下での処理が完了した後、プロセッサは、参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の各誤差量を算出し(ステップS18)、次いで、有効画素についての撮像フレームを出力し(ステップS19)、しかる後、デジタルデータ上での補正処理を行う(ステップS20)。ステップS18及びステップS20の各処理は、画像処理部3の処理である。
上記の手順に則っていれば、補正用画素フレームを出力し、ゲイン誤差及びオフセット誤差の算出後、それら誤差補正の適用を開始するフレームタイミングは、図9Aに示すように、補正用画素フレームの出力後であれば任意のタイミングでよい。尚、誤差補正の適用は、必ずしも、ある撮像フレームの先頭から開始する必要はなく、撮像フレーム出力中の任意ラインから適用開始しても構わない。この場合、誤差補正の適用を開始した時点の撮像フレームについては、撮像フレームの途中から誤差補正が行われるが、その撮像フレームの出力が終われば、その後の撮像フレームは先頭から全ラインで誤差補正されることになる。
(実施例2)
実施例2は、電圧設定部17としてダミー画素を用いる例である。実施例2に係るCMOSイメージセンサ1の構成の概略を図10に示す。
ダミー画素は、画素電圧レベルを設定する電圧設定部17の一例であり、画素アレイ部11の領域内に設けられる。画素アレイ部11の領域は、有効画素領域11A、オプティカルブラック(OPB)領域11B、及び、ダミー画素領域11Cに分けられている。そして、有効画素領域11Aには、撮像出力に用いられる有効画素(図1の画素2に相当)が配置されている。オプティカルブラック領域11Bには、黒レベルの基準となるレベルを得るための遮光されたOPB画素が配置されている。
ダミー画素領域11Cには、複数の画素電圧レベルを設定するためのダミー画素、例えばダミー画素2A及びダミー画素2Bが配置されている。ダミー画素2A及びダミー画素2Bは、本来の画素2(有効画素/OPB画素)と違って、光電変換部(フォトダイオード)を持たないが、本来の画素2と同様に、垂直信号線32に接続されている。具体的には、ダミー画素2Aは、奇数行の画素信号を伝送する垂直信号線32Anに接続され、ダミー画素2Bは、偶数行の画素信号を伝送する垂直信号線32Bnに接続されている。
ダミー画素2A及びダミー画素2Bは、複数の参照電圧生成部14A,14Bのそれぞれに対応して、少なくとも1画素列分設けられる。本例では、ダミー画素2A及びダミー画素2Bを1画素列(例えば、n行目の1画素列)だけ設ける場合を例示しているが、全画素列に対して設けてもよいし、複数画素列に対して設けてもよい。また、ダミー画素2A及びダミー画素2Bをそれぞれ、1画素行分だけではなく、複数画素行分設けるようにしてもよい。
図11に、ダミー画素2A及びダミー画素2Bの回路構成の一例を示す。ダミー画素2A/ダミー画素2Bの垂直信号線32への接続は、タイミング制御部18による制御の下に、行選択部12からダミー画素選択信号DMSELを、選択トランジスタ25のゲート電極に与えることによって行われる。画素電圧レベルについては、増幅トランジスタ24のゲート電極を、セレクタ26を介して、電源電圧VDDのノードに接続された可変抵抗27のライン、もしくは、チップ外部端子と直接接続されるラインに接続することによって設定することができる。画素電圧レベルの大きさについては、可変抵抗27の抵抗値の調整によって任意に設定することができる。
第1の画素電圧レベル及び第2の画素電圧レベルの設定、参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の算出、及び、参照電圧RAMP1,RAMP2間のAD変換性能誤差のデジタルデータ上での補正などの処理については、実施例1の場合と同様である。
図10に示す構成では、平置型のチップ構造において、ダミー画素2A及びダミー画素2Bを画素アレイ部11の一部に配置する構成を例示している。ダミー画素2A及びダミー画素2Bは、任意の画素電圧レベルを設定する回路部である。従って、平置型のチップ構造において、ダミー画素2A及びダミー画素2Bを、必ずしも、フォトダイオードを含む有効画素(画素2)が配置される層に配置しなくてもよい。
また、ダミー画素2A及びダミー画素2Bについては、平置型のチップ構造への適用に限られるものではなく、図4に示す積層型のチップ構造に対しても適用可能である。積層型のチップ構造に適用する場合には、ダミー画素2A及びダミー画素2Bを、有効画素が形成される層とは別の層、即ち、画素アレイ部11が形成される半導体基板以外の半導体基板に形成することが好ましい。これにより、ダミー画素2A及びダミー画素2Bを有効画素と同数程度配置することが可能になる。その結果、より多くのダミー画素数の下に、参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の算出をより正確に行うことができる。
(実施例3)
実施例3は、外部で求めた参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差を用いて、CMOSイメージセンサ1の内部で、参照電圧RAMP1,RAMP2間のAD変換性能誤差の補正処理を行う例である。この補正処理は、例えば、図1の信号処理部16で行うことができる。AD変換性能誤差の補正処理を行う機能を有する信号処理部16を備えるCMOSイメージセンサ1は、本開示の撮像装置の一例である。
実施例3に係る信号処理部16の構成の一例を図12に示す。図12に示すように、実施例3に係る信号処理部16は、不揮発性メモリ161、乗算回路162、及び、加算回路163を有するデジタル回路構成となっている。信号処理部16には、例えば、ロジックテスタなどの外部演算装置5を用いて算出された、参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の各情報が与えられる。すなわち、実施例3では、参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の算出は、演算部の一例である外部演算装置5で行われることになる。
外部演算装置5から信号処理部16に与えられる、参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の各情報は、不揮発性メモリ161に記憶保持される。そして、この不揮発性メモリ161に記憶保持されたゲイン誤差及びオフセット誤差の各情報を用いて、乗算回路162及び加算回路163において、デジタルデータ上での補正が行われる。
具体的には、参照電圧RAMP1,RAMP2の一方を基準とし、他方でAD変換された有効画素の撮像フレームのAD変換値全てに対して、乗算回路162で誤差が解消する方向にゲイン誤差を乗算し、加算回路163でオフセット誤差を加算する。この信号処理部16での処理により、有効画素の撮像フレームに対して、参照電圧RAMP1,RAMP2間のAD変換性能誤差のデジタルデータ上での補正が行われる。
そして、上述した参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の算出、これら誤差情報の不揮発性メモリ161への記憶、及び、参照電圧RAMP1,RAMP2間のAD変換性能誤差の補正の各処理を、撮像素子の量産試験工程として行うようにする。これにより、撮像素子の撮像と撮像フレームの出力(つまり、ストリーミング)の途中で、補正用画素フレームを出力させることなく、参照電圧RAMP1,RAMP2間の誤差補正が行われた状態で撮像素子を出荷できる。
(実施例4)
実施例4は、参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の算出、及び、参照電圧RAMP1,RAMP2間のAD変換性能誤差の補正の各処理を、CMOSイメージセンサ1の内部で行う例である。これらの処理は、例えば、図1の信号処理部16で行うことができる。ゲイン誤差及びオフセット誤差の算出、及び、AD変換性能誤差の補正の各処理を行う機能を有する信号処理部16を備えるCMOSイメージセンサ1は、本開示の撮像装置の一例である。
実施例4に係る信号処理部16の構成の一例を図13に示す。図13に示すように、実施例3に係る信号処理部16は、フレームメモリ164、積算平均回路1651、積算平均回路1652、参照電圧間誤差情報記憶部166、ゲイン、オフセット誤差算出回路167、及び、参照電圧間誤差補正回路168を有するデジタル回路構成となっている。
実施例4に係る信号処理部16において、フレームメモリ164は、水平転送走査部15A,15Bから供給されるAD変換値を1撮像フレーム分記憶保持する。積算平均回路1631は、フレームメモリ164に記憶保持された、参照電圧RAMP1に基づく補正用撮像フレームのAD変換値について積算し、AD変換値の平均値を算出する。積算平均回路1632は、フレームメモリ164に記憶保持された、参照電圧RAMP2に基づく補正用撮像フレームのAD変換値について積算し、AD変換値の平均値を算出する。
参照電圧間誤差情報記憶部166は、積算平均回路1651及び積算平均回路1652で算出されたAD変換値の平均値を、参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差に関する情報として記憶する。具体的には、参照電圧間誤差情報記憶部166には、参照電圧RAMP1に基づく補正用撮像フレームについての、第1の画素電圧レベルの設定時のAD変換値の平均値1661、及び、第2の画素電圧レベルの設定時のAD変換値の平均値1662が記憶される。参照電圧間誤差情報記憶部166には、更に、参照電圧RAMP2に基づく補正用撮像フレームについての、第1の画素電圧レベルの設定時のAD変換値の平均値1663、及び、第2の画素電圧レベルの設定時のAD変換値の平均値1664が記憶される。
ゲイン、オフセット誤差算出回路167は、参照電圧間誤差情報記憶部166に記憶保持された参照電圧間誤差情報に基づいて、参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の各誤差量を、参照電圧RAMP1,RAMP2間のAD変換性能誤差として算出する。参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の各誤差量の算出については、実施例1の算出手法を用いることができる。
参照電圧間誤差補正回路168は、ゲイン、オフセット誤差算出回路167で算出された、参照電圧RAMP1,RAMP2間のゲイン誤差及びオフセット誤差の各誤差量を用いて、参照電圧RAMP1,RAMP2間のAD変換性能誤差の補正を行う。具体的には、参照電圧間誤差補正回路168は、フレームメモリ164に記憶保持された、有効画素についての撮像フレームのAD変換値全てに対して、誤差が解消する方向にゲイン誤差を乗算(又は、除算)し、オフセット誤差を加算(又は、減算)することにより、デジタルデータ上での補正を行う。
上述したように、実施例4では、画素アレイ部11と共に半導体基板10上に形成された信号処理部16が、ゲイン誤差及びオフセット誤差の算出、及び、AD変換性能誤差の補正の各処理を行う演算部として機能する。この実施例4によれば、複数の参照電圧間のAD変換性能誤差の算出、及び、当該AD変換性能誤差の補正の各処理を、CMOSイメージセンサ1の内部で行うことで、撮像フレームのストリーミング中に、AD変換性能誤差の補正前後で補正用画素フレームが出力されることを防ぐことができる。
(実施形態の変形例)
上記の実施形態では、画素が行列状に配置されて成るCMOSイメージセンサに適用した場合を例に挙げて説明したが、本開示に係る技術は、CMOSイメージセンサへの適用に限られるものではない。すなわち、本開示に係る技術は、画素が行列状に2次元配置されて成るX−Yアドレス方式の撮像装置(撮像素子)全般に対して適用可能である。
また、本開示に係る技術は、可視光の入射光量の分布を検知して画像として撮像する撮像素子への適用に限らず、赤外線やX線、あるいは粒子等の入射量の分布を画像として撮像する撮像装置全般に対して適用可能である。
(実施形態の応用例)
以上説明した本実施形態に係るCMOSイメージセンサ1は、例えば図14に示すように、可視光、赤外光、紫外光、X線等の光をセンシングする様々な装置に使用することができる。様々な装置の具体例について以下に列挙する。
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供され装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
<本開示の電子機器>
本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。ここでは、デジタルスチルカメラやビデオカメラ等の撮像装置や、携帯電話機などの撮像機能を有する携帯端末装置や、画像読取部に撮像素子を用いる複写機などの電子機器に適用する場合について説明する。
[カメラモジュール]
図15は、本開示の電子機器の一例である、デジタルスチルカメラやビデオカメラ等のカメラモジュールの構成例を示すブロック図である。
図15に示すように、本例に係るカメラモジュール100は、レンズ群等を含む撮像光学系101、撮像部102、DSP(Digital Signal Processor)回路103、フレームメモリ104、表示装置105、記録装置106、操作系107、及び、電源系108等を有している。そして、DSP回路103、フレームメモリ104、表示装置105、記録装置106、操作系107、及び、電源系108がバスライン109を介して相互に接続された構成となっている。
撮像光学系101は、被写体からの入射光(像光)を取り込んで撮像部102の撮像面上に結像する。撮像部102は、光学系101によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。DSP回路103は、一般的なカメラ信号処理、例えば、ホワイトバランス処理、デモザイク処理、ガンマ補正処理などを行う。
フレームメモリ104は、DSP回路103での信号処理の過程で適宜データの格納に用いられる。表示装置105は、液晶表示装置や有機EL(electro luminescence)表示装置等のパネル型表示装置から成り、撮像部102で撮像された動画または静止画を表示する。記録装置106は、撮像部102で撮像された動画または静止画を、可搬型の半導体メモリや、光ディスク、HDD(Hard Disk Drive)等の記録媒体に記録する。
操作系107は、ユーザによる操作の下に、本撮像装置100が持つ様々な機能について操作指令を発する。電源系108は、DSP回路103、フレームメモリ104、表示装置105、記録装置106、及び、操作系107の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
上述したカメラモジュール100は、ビデオカメラやデジタルスチルカメラ、更には、スマートフォン、携帯電話機等のモバイル機器向けカメラモジュールとして用いることができる。そして、このカメラモジュール100において、撮像部102として、先述した実施形態に係る撮像装置を用いることでは、当該撮像装置は、複数の参照電圧生成部間の個体バラツキによる参照電圧間のAD変換性能誤差に起因する画質不良の抑制によって撮像画像の画質の向上を図ることができるため、高画質の撮影画像を得ることができる。
[移動体への応用例]
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される撮像素子として実現されてもよい。
図16は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図16に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図16では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図17は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
尚、図17には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920〜7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図16に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE−A(LTE−Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi−Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図16の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
尚、図16に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部7910,7912,7914,7916,7918や車外情報検出部7920,7922,7924,7926,7928,7930に適用され得る。そして、本開示に係る技術を適用することにより、複数の参照電圧生成部間の個体バラツキによる参照電圧間のAD変換性能誤差に起因する画質不良の抑制によって撮像画像の画質の向上を図ることができるため、例えば、撮像対象を高精度にて検出可能な車両制御システムを構築できる。
<本開示がとることができる構成>
本開示は、以下のような構成をとることもできる。
≪A.撮像装置≫
[A−1]光電変換部を含む画素が配置されて成る画素アレイ部から、複数の画素行単位で出力される各画素の信号を並行処理してデジタル信号に変換する複数のアナログ−デジタル変換部、
複数のアナログ−デジタル変換部に対応して設けられ、アナログ−デジタル変換に用いる参照電圧を生成する複数の参照電圧生成部、
複数の画素電圧レベルを設定し、複数のアナログ−デジタル変換部のそれぞれを通して出力する電圧設定部、及び、
画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行うための補正量を算出する演算部を備え、
演算部は、複数の画素電圧レベルのそれぞれを、複数のアナログ−デジタル変換部のそれぞれでアナログ−デジタル変換した結果に基づいて補正量を算出する、
撮像装置。
[A−2]演算部は、複数の参照電圧生成部が生成する各参照電圧の設定が同じである場合における、各参照電圧間のアナログ−デジタル変換性能の誤差を補正するための補正量を算出する、
上記[A−1]に記載の撮像装置。
[A−3]演算部は、複数の参照電圧間の画素電圧レベルに対するアナログ−デジタル変換値の特性差に基づいて補正量を算出する、
上記[A−1]又は上記[A−2]に記載の撮像装置。
[A−4]複数の画素電圧レベルは、黒レベルに設定された第1の画素電圧レベル、及び、白レベルに設定された第2の画素電圧レベルを含む、
上記[A−1]乃至上記[A−3]のいずれかに記載の撮像装置。
[A−5]演算部は、画素電圧レベルに対するアナログ−デジタル変換値の特性において、第1の画素電圧レベルの設定時の撮像フレーム内のアナログ−デジタル変換値に基づく特性、及び、第2の画素電圧レベルの設定時の撮像フレーム内のアナログ−デジタル変換値に基づく特性の違いから補正量を算出する、
上記[A−4]に記載の撮像装置。
[A−6]演算部は、画素電圧レベルに対するアナログ−デジタル変換値の特性の傾き及び切片の違いから補正量を算出する、
上記[A−5]に記載の撮像装置。
[A−7]演算部は、1撮像フレームのアナログ−デジタル変換値を、第1の画素電圧レベル及び第2の画素電圧レベル別に積算し、アナログ−デジタル変換値の平均値を取得し、この取得した平均値を基に、画素電圧レベルに対するアナログ−デジタル変換値の特性の傾き及び切片の誤差量を算出する、
上記[A−6]に記載の撮像装置。
[A−8]電圧設定部は、画素アレイ部内に形成されたダミー画素から成る、
上記[A−1]乃至上記[A−7]のいずれかに記載の撮像装置。
[A−9]ダミー画素は、複数の参照電圧生成部のそれぞれに対応して、少なくとも1画素列分設けられている、
上記[A−8]に記載の撮像装置。
[A−10]第1半導体基板及び第2半導体基板の少なくとも2つの半導体基板が積層された積層構造において、
画素アレイ部は、第1半導体基板に形成され、
ダミー画素は、第1半導体基板以外の半導体基板に形成されている、
上記[A−9]に記載の撮像装置。
[A−11]演算部は、算出した補正量を用いて、画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行う、
上記[A−1]乃至上記[A−10]のいずれかに記載の撮像装置。
[A−12]演算部は、画素アレイ部の基板外に設けられた画像処理部から成り、
画像処理部は、算出した補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う、
上記[A−11]に記載の撮像装置。
[A−13]演算部は、画素アレイ部の基板外に設けられた外部演算装置から成り、
外部演算装置は、算出した補正量を、画素アレイ部の基板内に設けられた信号処理部に供給し、
信号処理部は、外部演算装置から供給される補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う、
上記[A−11]に記載の撮像装置。
[A−14]演算部は、画素アレイ部の基板内に設けられた信号処理部から成り、
信号処理部は、算出した補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う、
上記[A−11]に記載の撮像装置。
≪B.撮像装置の信号処理方法≫
[B−1]光電変換部を含む画素が配置されて成る画素アレイ部から、複数の画素行単位で出力される各画素の信号をデジタル信号に並行処理して変換する複数のアナログ−デジタル変換部、及び、
複数のアナログ−デジタル変換部に対応して設けられ、アナログ−デジタル変換に用いる参照電圧を生成する複数の参照電圧生成部を備える撮像装置の信号処理に当たって、
複数の画素電圧レベルを設定し、複数のアナログ−デジタル変換部のそれぞれを通して出力し、
複数の画素電圧レベルのそれぞれを、複数のアナログ−デジタル変換部のそれぞれでアナログ−デジタル変換した結果に基づいて、画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行うための補正量を算出する、
撮像装置の信号処理方法。
[B−2]複数の参照電圧生成部が生成する各参照電圧の設定が同じである場合における、各参照電圧間のアナログ−デジタル変換性能の誤差を補正するための補正量を算出する、
上記[B−1]に記載の撮像装置の信号処理方法。
[B−3]複数の参照電圧間の画素電圧レベルに対するアナログ−デジタル変換値の特性差に基づいて補正量を算出する、
上記[B−1]又は上記[B−2]に記載の撮像装置の信号処理方法。
[B−4]複数の画素電圧レベルは、黒レベルに設定された第1の画素電圧レベル、及び、白レベルに設定された第2の画素電圧レベルを含む、
上記[B−1]乃至上記[B−3]のいずれかに記載の撮像装置の信号処理方法。
[B−5]画素電圧レベルに対するアナログ−デジタル変換値の特性において、第1の画素電圧レベルの設定時の撮像フレーム内のアナログ−デジタル変換値に基づく特性、及び、第2の画素電圧レベルの設定時の撮像フレーム内のアナログ−デジタル変換値に基づく特性の違いから補正量を算出する、
上記[B−4]に記載の撮像装置の信号処理方法。
[B−6]画素電圧レベルに対するアナログ−デジタル変換値の特性の傾き及び切片の違いから補正量を算出する、
上記[B−5]に記載の撮像装置の信号処理方法。
[B−7]1撮像フレームのアナログ−デジタル変換値を、第1の画素電圧レベル及び第2の画素電圧レベル別に積算し、アナログ−デジタル変換値の平均値を取得し、この取得した平均値を基に、画素電圧レベルに対するアナログ−デジタル変換値の特性の傾き及び切片の誤差量を算出する、
上記[B−6]に記載の撮像装置の信号処理方法。
[B−8]電圧設定部は、画素アレイ部内に形成されたダミー画素から成る、
上記[B−1]乃至上記[B−7]のいずれかに記載の撮像装置の信号処理方法。
[B−9]ダミー画素は、複数の参照電圧生成部のそれぞれに対応して、少なくとも1画素列分設けられている、
上記[B−8]に記載の撮像装置の信号処理方法。
[B−10]第1半導体基板及び第2半導体基板の少なくとも2つの半導体基板が積層された積層構造において、
画素アレイ部は、第1半導体基板に形成され、
ダミー画素は、第1半導体基板以外の半導体基板に形成されている、
上記[B−9]に記載の撮像装置の信号処理方法。
[B−11]算出した補正量を用いて、画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行う、
上記[B−1]乃至上記[B−10]のいずれかに記載の撮像装置の信号処理方法。
[B−12]画素アレイ部の基板外に設けられた画像処理部で補正量を算出し、
画像処理部において、算出した補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う、
上記[B−11]に記載の撮像装置の信号処理方法。
[B−13]画素アレイ部の基板外に設けられた外部演算装置で補正量を算出し、
外部演算装置において、算出した補正量を、画素アレイ部の基板内に設けられた信号処理部に供給し、
信号処理部において、外部演算装置から供給される補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う、
上記[B−11]に記載の撮像装置の信号処理方法。
[B−14]画素アレイ部の基板内に設けられた信号処理部において、補正量を算出し、この算出した補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う、
上記[B−11]に記載の撮像装置の信号処理方法。
≪C.電子機器≫
[C−1]光電変換部を含む画素が配置されて成る画素アレイ部から、複数の画素行単位で出力される各画素の信号を並行処理してデジタル信号に変換する複数のアナログ−デジタル変換部、
複数のアナログ−デジタル変換部に対応して設けられ、アナログ−デジタル変換に用いる参照電圧を生成する複数の参照電圧生成部、
複数の画素電圧レベルを設定し、複数のアナログ−デジタル変換部のそれぞれを通して出力する電圧設定部、及び、
画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行うための補正量を算出する演算部を備え、
演算部は、複数の画素電圧レベルのそれぞれを、複数のアナログ−デジタル変換部のそれぞれでアナログ−デジタル変換した結果に基づいて補正量を算出する、
撮像装置を有する電子機器。
[C−2]演算部は、複数の参照電圧生成部が生成する各参照電圧の設定が同じである場合における、各参照電圧間のアナログ−デジタル変換性能の誤差を補正するための補正量を算出する、
上記[C−1]に記載の電子機器。
[C−3]演算部は、複数の参照電圧間の画素電圧レベルに対するアナログ−デジタル変換値の特性差に基づいて補正量を算出する、
上記[C−1]又は上記[C−2]に記載の電子機器。
[C−4]複数の画素電圧レベルは、黒レベルに設定された第1の画素電圧レベル、及び、白レベルに設定された第2の画素電圧レベルを含む、
上記[C−1]乃至上記[C−3]のいずれかに記載の電子機器。
[C−5]演算部は、画素電圧レベルに対するアナログ−デジタル変換値の特性において、第1の画素電圧レベルの設定時の撮像フレーム内のアナログ−デジタル変換値に基づく特性、及び、第2の画素電圧レベルの設定時の撮像フレーム内のアナログ−デジタル変換値に基づく特性の違いから補正量を算出する、
上記[C−4]に記載の電子機器。
[C−6]演算部は、画素電圧レベルに対するアナログ−デジタル変換値の特性の傾き及び切片の違いから補正量を算出する、
上記[C−5]に記載の電子機器。
[C−7]演算部は、1撮像フレームのアナログ−デジタル変換値を、第1の画素電圧レベル及び第2の画素電圧レベル別に積算し、アナログ−デジタル変換値の平均値を取得し、この取得した平均値を基に、画素電圧レベルに対するアナログ−デジタル変換値の特性の傾き及び切片の誤差量を算出する、
上記[C−6]に記載の電子機器。
[C−8]電圧設定部は、画素アレイ部内に形成されたダミー画素から成る、
上記[C−1]乃至上記[C−7]のいずれかに記載の電子機器。
[C−9]ダミー画素は、複数の参照電圧生成部のそれぞれに対応して、少なくとも1画素列分設けられている、
上記[C−8]に記載の電子機器。
[C−10]第1半導体基板及び第2半導体基板の少なくとも2つの半導体基板が積層された積層構造において、
画素アレイ部は、第1半導体基板に形成され、
ダミー画素は、第1半導体基板以外の半導体基板に形成されている、
上記[C−9]に記載の電子機器。
[C−11]演算部は、算出した補正量を用いて、画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行う、
上記[C−1]乃至上記[C−10]のいずれかに記載の電子機器。
[C−12]演算部は、画素アレイ部の基板外に設けられた画像処理部から成り、
画像処理部は、算出した補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う、
上記[C−11]に記載の電子機器。
[C−13]演算部は、画素アレイ部の基板外に設けられた外部演算装置から成り、
外部演算装置は、算出した補正量を、画素アレイ部の基板内に設けられた信号処理部に供給し、
信号処理部は、外部演算装置から供給される補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う、
上記[C−11]に記載の電子機器。
[C−14]演算部は、画素アレイ部の基板内に設けられた信号処理部から成り、
信号処理部は、算出した補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う、
上記[C−11]に記載の電子機器。
1・・・CMOSイメージセンサ、2・・・画素、3・・・画像処理部、4・・・制御部、5・・・外部演算装置、11・・・画素アレイ部、12・・・行選択部、13A,13B・・・アナログ−デジタル変換部、14A,14B・・・参照電圧生成部、15A,15B・・・水平転送走査部、16・・・信号処理部、17・・・電圧設定部、18・・・タイミング制御部、21・・・フォトダイオード、22・・・転送トランジスタ、23・・・リセットトランジスタ、24・・・増幅トランジスタ、25・・・選択トランジスタ、311〜31m・・・画素駆動線、32A1〜32An,32B1〜32Bn・・・垂直信号線

Claims (16)

  1. 光電変換部を含む画素が配置されて成る画素アレイ部から、複数の画素行単位で出力される各画素の信号を並行処理してデジタル信号に変換する複数のアナログ−デジタル変換部、
    複数のアナログ−デジタル変換部に対応して設けられ、アナログ−デジタル変換に用いる参照電圧を生成する複数の参照電圧生成部、
    複数の画素電圧レベルを設定し、複数のアナログ−デジタル変換部のそれぞれを通して出力する電圧設定部、及び、
    画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行うための補正量を算出する演算部を備え、
    演算部は、複数の画素電圧レベルのそれぞれを、複数のアナログ−デジタル変換部のそれぞれでアナログ−デジタル変換した結果に基づいて補正量を算出する、
    撮像装置。
  2. 演算部は、複数の参照電圧生成部が生成する各参照電圧の設定が同じである場合における、各参照電圧間のアナログ−デジタル変換性能の誤差を補正するための補正量を算出する、
    請求項1に記載の撮像装置。
  3. 演算部は、複数の参照電圧間の画素電圧レベルに対するアナログ−デジタル変換値の特性差に基づいて補正量を算出する、
    請求項1に記載の撮像装置。
  4. 複数の画素電圧レベルは、黒レベルに設定された第1の画素電圧レベル、及び、白レベルに設定された第2の画素電圧レベルを含む、
    請求項1に記載の撮像装置。
  5. 演算部は、画素電圧レベルに対するアナログ−デジタル変換値の特性において、第1の画素電圧レベルの設定時の撮像フレーム内のアナログ−デジタル変換値に基づく特性、及び、第2の画素電圧レベルの設定時の撮像フレーム内のアナログ−デジタル変換値に基づく特性の違いから補正量を算出する、
    請求項4に記載の撮像装置。
  6. 演算部は、画素電圧レベルに対するアナログ−デジタル変換値の特性の傾き及び切片の違いから補正量を算出する、
    請求項5に記載の撮像装置。
  7. 演算部は、1撮像フレームのアナログ−デジタル変換値を、第1の画素電圧レベル及び第2の画素電圧レベル別に積算し、アナログ−デジタル変換値の平均値を取得し、この取得した平均値を基に、画素電圧レベルに対するアナログ−デジタル変換値の特性の傾き及び切片の誤差量を算出する、
    請求項6に記載の撮像装置。
  8. 電圧設定部は、画素アレイ部内に形成されたダミー画素から成る、
    請求項1に記載の撮像装置。
  9. ダミー画素は、複数の参照電圧生成部のそれぞれに対応して、少なくとも1画素列分設けられている、
    請求項8に記載の撮像装置。
  10. 第1半導体基板及び第2半導体基板の少なくとも2つの半導体基板が積層された積層構造において、
    画素アレイ部は、第1半導体基板に形成され、
    ダミー画素は、第1半導体基板以外の半導体基板に形成されている、
    請求項9に記載の撮像装置。
  11. 演算部は、算出した補正量を用いて、画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行う、
    請求項1に記載の撮像装置。
  12. 演算部は、画素アレイ部の基板外に設けられた画像処理部から成り、
    画像処理部は、算出した補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う、
    請求項11に記載の撮像装置。
  13. 演算部は、画素アレイ部の基板外に設けられた外部演算装置から成り、
    外部演算装置は、算出した補正量を、画素アレイ部の基板内に設けられた信号処理部に供給し、
    信号処理部は、外部演算装置から供給される補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う、
    請求項11に記載の撮像装置。
  14. 演算部は、画素アレイ部の基板内に設けられた信号処理部から成り、
    信号処理部は、算出した補正量を用いて、画素アレイ部の有効画素のアナログ−デジタル変換結果に対して補正を行う、
    請求項11に記載の撮像装置。
  15. 光電変換部を含む画素が配置されて成る画素アレイ部から、複数の画素行単位で出力される各画素の信号をデジタル信号に並行処理して変換する複数のアナログ−デジタル変換部、及び、
    複数のアナログ−デジタル変換部に対応して設けられ、アナログ−デジタル変換に用いる参照電圧を生成する複数の参照電圧生成部を備える撮像装置の信号処理に当たって、
    複数の画素電圧レベルを設定し、複数のアナログ−デジタル変換部のそれぞれを通して出力し、
    複数の画素電圧レベルのそれぞれを、複数のアナログ−デジタル変換部のそれぞれでアナログ−デジタル変換した結果に基づいて、画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行うための補正量を算出する、
    撮像装置の信号処理方法。
  16. 光電変換部を含む画素が配置されて成る画素アレイ部から、複数の画素行単位で出力される各画素の信号を並行処理してデジタル信号に変換する複数のアナログ−デジタル変換部、
    複数のアナログ−デジタル変換部に対応して設けられ、アナログ−デジタル変換に用いる参照電圧を生成する複数の参照電圧生成部、
    複数の画素電圧レベルを設定し、複数のアナログ−デジタル変換部のそれぞれを通して出力する電圧設定部、及び、
    画素アレイ部の各画素の信号をアナログ−デジタル変換した結果に対して補正を行うための補正量を算出する演算部を備え、
    演算部は、複数の画素電圧レベルのそれぞれを、複数のアナログ−デジタル変換部のそれぞれでアナログ−デジタル変換した結果に基づいて補正量を算出する、
    撮像装置を有する電子機器。
JP2018039339A 2018-03-06 2018-03-06 撮像装置及び撮像装置の信号処理方法、並びに、電子機器 Pending JP2019153987A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018039339A JP2019153987A (ja) 2018-03-06 2018-03-06 撮像装置及び撮像装置の信号処理方法、並びに、電子機器
PCT/JP2019/003981 WO2019171853A1 (ja) 2018-03-06 2019-02-05 撮像装置及び撮像装置の信号処理方法、並びに、電子機器
US16/976,740 US11146753B2 (en) 2018-03-06 2019-02-05 Imaging apparatus, signal processing method for imaging apparatus, and electronic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018039339A JP2019153987A (ja) 2018-03-06 2018-03-06 撮像装置及び撮像装置の信号処理方法、並びに、電子機器

Publications (1)

Publication Number Publication Date
JP2019153987A true JP2019153987A (ja) 2019-09-12

Family

ID=67847193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018039339A Pending JP2019153987A (ja) 2018-03-06 2018-03-06 撮像装置及び撮像装置の信号処理方法、並びに、電子機器

Country Status (3)

Country Link
US (1) US11146753B2 (ja)
JP (1) JP2019153987A (ja)
WO (1) WO2019171853A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102413629B1 (ko) * 2021-03-09 2022-06-28 성균관대학교산학협력단 이미지 센서 및 이를 포함하는 이미지 처리 장치
KR20230065286A (ko) 2020-09-07 2023-05-11 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
JP7407416B2 (ja) * 2019-11-26 2024-01-04 パナソニックIpマネジメント株式会社 撮像装置およびカメラ
US11910114B2 (en) * 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100674966B1 (ko) * 2005-03-23 2007-01-26 삼성전자주식회사 동작중에도 아날로그 디지털 변환기의 특성을 검사할 수있는 이미지 촬상용 반도체 장치
JP5034610B2 (ja) 2007-03-30 2012-09-26 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US8730081B2 (en) * 2012-03-19 2014-05-20 Omnivision Technologies, Inc. Calibration in multiple slope column parallel analog-to-digital conversion for image sensors
JP2013207433A (ja) 2012-03-28 2013-10-07 Sony Corp 固体撮像装置、撮像信号出力方法および電子機器
WO2015079597A1 (ja) * 2013-11-29 2015-06-04 パナソニックIpマネジメント株式会社 固体撮像装置及び撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230065286A (ko) 2020-09-07 2023-05-11 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 장치
KR102413629B1 (ko) * 2021-03-09 2022-06-28 성균관대학교산학협력단 이미지 센서 및 이를 포함하는 이미지 처리 장치

Also Published As

Publication number Publication date
US20210006740A1 (en) 2021-01-07
WO2019171853A1 (ja) 2019-09-12
US11146753B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
WO2019171853A1 (ja) 撮像装置及び撮像装置の信号処理方法、並びに、電子機器
JP7278953B2 (ja) 固体撮像素子及び電子機器
CN111615824B (zh) 摄像器件和电子设备
JP7078822B2 (ja) 光検出装置および光検出システム
JP6748622B2 (ja) 撮像システムおよび撮像装置
US11659300B2 (en) Solid-state image sensor, method of driving solid-state image sensor, and electronic apparatus
CN113647089B (zh) 成像***
US11683606B2 (en) Imaging device and electronic equipment
US20230217127A1 (en) Imaging device and imaging method
WO2019198586A1 (ja) 撮像素子及び電子機器
TWI788818B (zh) 攝像裝置及攝像方法
WO2019239746A1 (ja) アナログ-デジタル変換器、アナログ-デジタル変換方法、及び、撮像装置
WO2020153055A1 (ja) デジタル-アナログ変換装置、撮像装置、及び、電子機器
TW202147824A (zh) 攝像裝置、電子機器及攝像方法
WO2018150790A1 (ja) 撮像システムおよび撮像装置
JP2018029221A (ja) 固体撮像素子、信号処理装置、および、固体撮像素子の制御方法