JP6405646B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP6405646B2 JP6405646B2 JP2014035584A JP2014035584A JP6405646B2 JP 6405646 B2 JP6405646 B2 JP 6405646B2 JP 2014035584 A JP2014035584 A JP 2014035584A JP 2014035584 A JP2014035584 A JP 2014035584A JP 6405646 B2 JP6405646 B2 JP 6405646B2
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- conversion unit
- digital signal
- unit
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
従来、撮像領域全体で一律に露光量等の撮像条件を制御する撮像装置が知られている（例えば、特許文献１参照）。
特許文献１ 特開平０８−２２０４４号公報
2. Description of the Related Art Conventionally, there has been known an imaging apparatus that controls imaging conditions such as exposure amount uniformly in the entire imaging area (see, for example, Patent Document 1).
従来の撮像装置では、撮像領域全体で一律の撮像条件で撮像するので、被写体によっては撮像領域の全ての場所で最適な撮像条件とはならない場合がある。 In the conventional imaging apparatus, since imaging is performed under uniform imaging conditions in the entire imaging area, the optimal imaging conditions may not be obtained at all locations in the imaging area depending on the subject.
本発明の第１の態様においては、入射した光を光電変換して電荷を生成する光電変換部を有し、光電変換部で生成された電荷に基づくアナログ信号を出力し、第１方向および第２方向に配置される複数の画素と、画素から出力されたアナログ信号をデジタル信号に変換するＡＤ変換部と、ＡＤ変換部で変換されたデジタル信号の上位ビットに基づいて、第１方向に配置された複数の画素毎に撮像条件を制御する制御部と、を備える撮像素子を提供する。 In the first aspect of the present invention, a photoelectric conversion unit that photoelectrically converts incident light to generate charges, and outputs an analog signal based on the charges generated by the photoelectric conversion unit , the first direction and the first direction a plurality of pixels arranged in two directions, and the AD converter for converting analog signals output from the pixels into digital signals, based on the upper bits of the digital signal converted by the AD converter, arranged in a first direction And a control unit that controls the imaging condition for each of the plurality of pixels.
本発明の第２の態様においては、第１の態様に係る撮像素子を備えるカメラを提供する。 According to a second aspect of the present invention, there is provided a camera comprising the image sensor according to the first aspect.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、本発明の実施形態に係る撮像装置５００の構成の一例を示す図である。撮像装置５００は、撮像部１００、ＡＤ変換装置２７、第２ラインメモリ２８、判定装置２９、加算装置３２、第１ラインメモリ３６、行走査回路４１、タイミング制御回路５０、第２列走査回路５２、第１列走査回路５１、および制御部６０を備える。撮像部１００は、複数の画素１４を有する。複数の画素１４は、互いに直交するＸ方向およびＹ方向により構成される面において、行列状（マトリックス状）に２次元配置される。なお、Ｘ方向は撮像部１００の行方向であってよく、Ｙ方向は撮像部１００の列方向であってよい。Ｚ方向は、Ｘ方向およびＹ方向に直交する。Ｚ方向は、入射光が被写体から撮像部１００に入射する方向であってよい。
FIG. 1 is a diagram illustrating an example of a configuration of an
撮像部１００において、画素１４はＮ行×Ｍ列に２次元配置される。なお、ＮおよびＭは自然数である。撮像部１００において、複数の画素１４のそれぞれは、互いに隣接して設けられた複数の光電変換部１２を有する。本例では、複数の画素１４のそれぞれは、一対の光電変換部１２を有する。それぞれの光電変換部１２は、入射光に応じた電荷を蓄積する。これにより、複数の光電変換部１２の各々に入射した光に応じて、アナログ信号が生成される。本明細書において画素１４とは、デジタル画像の最小構成単位である一の画素信号を構成するべく、光電変換部１２等が設けられた領域を指す。
In the
各画素１４における一対の光電変換部１２は、共通の行制御線２１および個別の列信号線２２に接続される。例えば、ｉおよびｊは、１≦ｉ≦Ｎおよび１≦ｊ≦Ｍを満たし、ｉ行の画素１４は、行信号線２１−ｉおよび列制御線２２−ｊａに接続された光電変換部１２−ｉａ、ならびに、行信号線２１−ｉおよび列制御線２２−ｊｂに接続された光電変換部１２−ｉｂを有する。例えば、１つの画素１４は、行制御線２１−１および列信号線２２−１ａに接続された光電変換部１２−１ａ、ならびに、行制御線２１−１および列信号線２２−１ｂに接続された光電変換部１２−１ｂを有する。
A pair of
なお、画素１４が有する光電変換部１２の数は２つに限られず、３つ以上としてもよい。例えば、他の例において、１つの画素１４が有する光電変換部１２の数は４つである。画素１４は、光電変換部１２に加えて、光電変換部１２において生成された電荷の転送等を制御する複数のトランジスタを有してよい。
Note that the number of
撮像部１００には、マイクロレンズアレイが設けられる。マイクロレンズアレイは複数のマイクレンズを含む。マイクロレンズアレイはＺ方向の負側から正側へ入射する光を複数の画素１４へ導くよう撮像部１００に対して設けられる。マイクロレンズアレイにおける１つのマイクロレンズは、一対の光電変換部１２に対して、入射光を導く。
The
これにより、一対の測距瞳を通過する光束を一対の光電変換部１２に導くことができる。よって、１つの画素１４における一対の光電変換部１２を、被写体の焦点を検出するために用いることができる。また、一対の光電変換部１２を、一の画素信号を形成するために用いることもできる。
Thereby, the light beam passing through the pair of distance measuring pupils can be guided to the pair of
各行には、それぞれ行制御線２１が設けられる。行制御線２１の一端は、行走査回路４１の出力端に接続される。各行制御線２１には行走査回路４１から制御信号Ｃ（１）〜Ｃ（Ｎ）が出力される。画素１４の一対の光電変換部１２は、同一の行制御線２１により行走査回路４１に接続される。制御信号Ｃ（１）〜Ｃ（Ｎ）は後述の転送信号Ｔｘ、リセット信号Ｒおよび選択信号Ｓを有してよい。一対の光電変換部１２は、制御信号Ｃ（１）〜Ｃ（Ｎ）に応じて同時に電荷蓄積または信号読出し制御が行なわれる。なお、行走査回路４１はシフトレジスタ等により構成される。行走査回路４１の動作は、タイミング制御回路５０により制御される。
Each row is provided with a
各列には、２本の列信号線２２が設けられる。画素１４における一対の光電変換部１２のうち一方の光電変換部１２−ｉaは、列毎に設けられた２本の列信号線２２のうち一方の列信号線２２−ｊａに接続される。また、他方の光電変換部１２−ｉｂは、列毎に設けられた２本の列信号線２２のうち他方の列信号線２２−ｊｂに接続される。各々の光電変換部１２は、制御信号Ｃ（１）〜Ｃ（Ｎ）により制御される。光電変換部１２−１ａから出力されるアナログ信号は列信号線２２−１ａに出力され、光電変換部１２−１ｂから出力されるアナログ信号は列信号線２２−１ｂに出力される。
Each column is provided with two column signal lines 22. One photoelectric conversion unit 12-ia of the pair of
ＡＤ変換装置２７は、複数のＡＤ変換部２３を有する。１つのＡＤ変換部２３は、１つの列信号線２２に接続される。ＡＤ変換部２３には、列信号線２２に接続された光電変換部１２からアナログ信号が出力される。ＡＤ変換部２３は、光電変換部１２における電荷蓄積量に応じたアナログ信号をデジタル信号に変換する信号変換部の一例である。ＡＤ変換部２３は、タイミング制御回路５０から与えられる制御信号ＴＡ１に応じて、入力されたアナログ信号をデジタル信号に変換して第２ラインメモリ２８へ出力する。
The
第２ラインメモリ２８は、複数のメモリ２４を有する。１つのメモリ２４は、１つのＡＤ変換部２３に対応して接続される。メモリ２４は、タイミング制御回路５０から与えられる制御信号ＴＭ２により制御されて、ＡＤ変換部２３から出力されるデジタル信号を記憶する。
The
第２列走査回路５２は、シフトレジスタ等により構成される。第２列走査回路５２の動作は、タイミング制御回路５０により制御される。第２列走査回路５２は、第２ラインメモリ２８における複数のメモリ２４のそれぞれを走査信号ＴＳ２により制御して、複数のメモリ２４に記憶されたデジタル信号を順に第２出力線４９に出力させる。これにより、一対の光電変換部１２（例えば１２−ｉａおよび１２−ｉｂ）から出力されるアナログ信号は、デジタル信号としてシステム制御部５０１へ出力される。当該デジタル信号は、各光電変換部１２についてシリアルに出力される。つまり、各光電変換部１２のデジタル信号を各々独立に測定することができる。システム制御部５０１については後述する。
The second
複数の画素１４における一対の光電変換部１２は、焦点検出に用いることができる。異なる二つの測距瞳から１つの行に設けられた複数の画素１４へ導かれた光束は、右用の複数の光電変換部１２（例えば、光電変換部１２−１ａ、１２−２ａ…１２−ｉａ…等）および左用の複数の光電変換部１２（例えば、光電変換部１２−１ｂ、１２−２ｂ…１２−ｉｂ…等）を用いて、一対の像の強度分布情報に変換される。当該一対の像の強度分布情報を用いて、像ズレ検出演算処理（相関演算処理および位相差検出処理）が行われる。これにより、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行い、予定結像面に対する現在の結像面の偏差（デフォーカス量）が算出される。
The pair of
判定装置２９は、複数の判定部２５を有する。判定部２５は、１つのＡＤ変換部２３に対応して１つ設けられる。本例では、１つの判定部２５は、１つのＡＤ変換部２３に対応して設けられた１つのメモリ２４に接続される。判定部２５は、メモリ２４に記憶されたデジタル信号のビット値を読み出す。これにより、判定部２５は、対応するＡＤ変換部２３が出力したデジタル信号のビット状態を判定する。判定部２５におけるビット状態の判定の詳細については後述する。
The
制御部６０には、複数の判定部２５の判定結果が各々出力される。制御部６０は、それぞれの判定部２５における判定結果に基づいて、それぞれの判定部２５に対応する光電変換部１２における撮像条件を、複数の画素１４の行単位で制御する。本例では、一行の画素１４に対して行制御線２１を１つ設けるが、一行の画素１４のそれぞれの画素１４について行制御線２１を１つ設けてもよい。これにより、画素１４毎に撮像条件を制御することができる。また、一行の画素１４のそれぞれの画素１４におけるそれぞれの光電変換部１２について行制御線２１を１つ設けてもよい。これにより、画素１４の光電変換部１２毎に撮像条件を制御することができる。制御部６０の動作の詳細については後述する。
The
加算装置３２は、複数の加算回路３０を有する。１つの加算回路３０には、ＡＤ変換装置２７における一対のＡＤ変換部２３が接続される。当該一対のＡＤ変換部２３は、１つの画素１４における一対の光電変換部１２に対応して接続されたＡＤ変換部２３である。加算装置３２は、一対のＡＤ変換部２３から出力されるデジタル信号を、タイミング制御回路５０から与えられる制御信号ＴＤ１に応じて加算する。加算回路３０の各々は、加算デジタル信号を、第１ラインメモリ３６へ出力する。
The adding device 32 has a plurality of adding
第１ラインメモリ３６は、複数のメモリ３４を有する。１つのメモリ３４は、１つの加算回路３０に対応して接続される。メモリ３４は、加算回路３０から出力される加算デジタル信号を、タイミング制御回路５０から与えられる制御信号ＴＭ１に応じて、デジタル信号として記憶する。これにより、各メモリ３４には、各行に対応する画素１４において、一対の光電変換部１２−ｉａおよび光電変換部１２―ｉｂの出力信号に対応するデジタル信号を加算した加算デジタル信号が記憶される。
The
第１列走査回路５１は、シフトレジスタ等により構成される。第１列走査回路５１の動作は、タイミング制御回路５０により制御される。第１列走査回路５１は、第１ラインメモリ３６における複数のメモリ３４のそれぞれを走査信号ＴＳ１により制御して、複数のメモリ３４に記憶された加算デジタル信号を順に第１出力線４５に出力させる。これにより、一対の光電変換部１２（例えば１２−ｉａおよび１２−ｉｂ）から出力されるアナログ信号は、加算デジタル信号としてシリアルにシステム制御部５０１へ出力される。加算デジタル信号は、デジタル画像の最小構成単位である一の画素を構成する画像信号となる。
The first
本例においては、各ＡＤ変換部２３において変換したデジタル信号を焦点検出のために第２ラインメモリ２８に記憶し、かつ、記憶したデジタル信号を第２出力線４９にシリアルに出力することができる。加えて、ＡＤ変換部２３において変換した一対のデジタル信号を画像形成のために加算装置３２において加算し、加算デジタル信号を第１ラインメモリ３６に記憶し、かつ、記憶した加算デジタル信号を第１出力線４５にシリアルに出力することができる。
In this example, the digital signal converted by each
したがって、撮像装置５００は、焦点検出用のデジタル信号と画像形成用の加算デジタル信号とを並列に出力することができる。なお、並列に出力するとは、略同時に出力することを指す。つまり、撮像装置５００は、焦点検出用のデジタル信号と画像形成用の加算デジタル信号とを、時間的にオーバーラップして出力することができる。焦点検出用のデジタル信号と画像用の加算デジタル信号とは、個別の画像処理部と焦点検出部とにおいてそれぞれ処理されるので、焦点検出処理と画像処理とを同時に独立して行なうことができる。
Therefore, the
図２は、撮影レンズのレンズ特性と、光電変換部１２の出力信号との関係を説明する図である。図２は、ＰＯ値およびＦ値に応じた（１−１）〜（２−３）の６つの状態における光電変換部１２の出力信号を示す。撮影レンズの位置ずれおよび歪等に起因して、光軸から離れた画素１４においては光スポットが画素１４の中央からずれて当たる現象が生じ得る。この現象を評価する指標としてＰＯ値が存在する。光軸から離れた画素１４において光スポットが画素１４の光軸とは反対側に当たる場合をＰＯ値が小さいと称し（例えば（１−１）および（２−１））、光軸から離れた画素１４において光スポットが画素１４の光軸側に当たる場合をＰＯ値が大きいと称する（例えば（１−３）および（２−３））。
FIG. 2 is a diagram for explaining the relationship between the lens characteristics of the photographing lens and the output signal of the
（１−１）〜（２−３）の横軸は、撮像部１００に設けられた複数の画素１４について、光軸に対する画素１４の距離である像高を示す。なお、当該横軸のゼロ点は光軸に相当する。また、縦軸は、各画素１４における一対の光電変換部１２の出力を示す。（１−１）〜（２−３）においては、例として１つの画素１４における一対の光電変換部１２−ｉａおよび１２−ｉｂを用いて説明する。光電変換部１２−ｉａの出力信号を点線で示し、光電変換部１２−ｉｂの出力信号を実線で示す。
The horizontal axis of (1-1) to (2-3) indicates the image height, which is the distance of the
また、（１−１）〜（２−３）のそれぞれにおいて、破線円で示した位置に対応して、光スポットの位置を示す図および一対の光電変換部１２の出力を示す（（ａ）、（ｂ）および（ｃ））。各（ａ）、（ｂ）および（ｃ）においては、横軸は光の入射角であり、縦軸は光電変換部１２の出力である。各（ａ）、（ｂ）および（ｃ）において、光電変換部１２−ｉａの出力信号を点線で示し、光電変換部１２−ｉｂの出力信号を実線で示す。
Further, in each of (1-1) to (2-3), a diagram showing the position of the light spot and the output of the pair of
通常、撮像部１００におけるマイクロレンズは、光軸に対する画素１４の位置に応じて、画素１４に対してずらして配置される。このように設計することで、ある特定のＰＯ値のレンズに対して、どの位置の画素１４であっても、画素１４の中心に光のスポットが配置される。このように、どの位置の画素１４であっても、画素１４の中心に光スポットがくるＰＯ値を、ＰＯ値ジャストと称する。（１−２）および（２−２）はＰＯ値ジャストを示す図である。
Usually, the microlenses in the
これに対して、ＰＯ値ジャストのレンズよりも、ＰＯ値が小さくなるレンズ、または、ＰＯ値が大きくなるレンズでは、画素１４の位置に応じて、光スポットが画素１４の中心からずれてしまう。（１−１）および（２−１）は、ＰＯ値ジャストよりもＰＯ値が小さい場合を示す図である。また、（１−３）および（２−３）は、ＰＯ値ジャストよりもＰＯ値が大きい場合を示す図である。
On the other hand, in a lens with a smaller PO value or a lens with a larger PO value than a PO value just lens, the light spot shifts from the center of the
画素１４は、一対の光電変換部１２−ｉａおよび１２−ｉｂに分割されるので、光スポットが画素１４の中心からずれる場合、２つの光電変換部１２で、出力信号の大きさに差が生じる。例えば、光軸から離れた位置では、光スポットの大部分が、一方の光電変換部１２に含まれてしまい、当該光電変換部１２の出力信号が非常に大きくなるのに対して、他方の光電変換部１２の出力信号が非常に小さくなる。例えば、（１−１）の（ａ）では、光電変換部１２−ｉａの出力信号が非常に大きくなるのに対して、光電変換部１２−ｉｂの出力信号が非常に小さくなる。
Since the
また、Ｆ値が変動すると、像面における光スポット径が変化する。（２−１）、（２−２）および（２−３）は、（１−１）、（１−２）および（１−３）よりもＦ値が小さい場合を示す。Ｆ値が小さいと光スポットの径は大きくなる。この場合、２つの光電変換部１２の出力信号の大きさの差は小さくなる。一方、光軸から離れた位置では、光スポットが、画素１４の領域外にはみ出してしまい、画素１４全体での出力信号の大きさが減少する。
Further, when the F value changes, the light spot diameter on the image plane changes. (2-1), (2-2), and (2-3) show cases where the F value is smaller than (1-1), (1-2), and (1-3). When the F value is small, the diameter of the light spot is large. In this case, the difference in magnitude between the output signals of the two
このように、ＰＯ値、Ｆ値等のレンズ特性に応じて、２つの光電変換部１２の出力信号の大きさは変動する。例えば、（１−３）の（ｃ）に示すように、光スポットが一方の光電変換部１２−ｉａにのみ当たり、他方の光電変換部１２−ｉｂには当たらない場合がある。この場合、光電変換部１２−ｉａにおいて光電変換された電荷が、光電変換素子内において飽和しやすくなる。
Thus, the magnitudes of the output signals of the two
１つの画素１４における少なくとも一方の光電変換部１２において電荷飽和を生じると、焦点検出用の信号の演算が破綻する場合があり、また、画像形成用の信号としては輝度の階調が小さくなる。それゆえ、光電変換部１２における電荷飽和を防止することは、焦点検出用のデジタル信号と画像形成用の加算デジタル信号とを並列出力する構成に対して、さらに有利な効果を与える。
If charge saturation occurs in at least one of the
図３は、撮像装置５００において電荷飽和を防止する制御を説明する図である。撮像装置５００は、例えば静止画または動画を撮像するカメラである。図３において、図１と同じ構成については同一の符号を付した。本例では、１つの行に設けられた複数の画素１４が１つの行制御線２１により同様に制御される。ただし、説明の便宜上、１つの行における１つの画素１４の制御について説明する。
FIG. 3 is a diagram for explaining control for preventing charge saturation in the
判定部２５は、ＡＤ変換部２３に対応して設けられる。図３においては、ＡＤ変換部２３−１ａは判定部２５−１ａに、ＡＤ変換部２３−１ｂは判定部２５−１ｂに、それぞれ接続される。それぞれの判定部２５は、対応するＡＤ変換部２３が出力するデジタル信号の上位ビットの少なくともいずれかのビットの状態を判定する。つまり、複数の判定部２５は、上位ビットの状態をデジタル信号毎に判定する。
The
なお、デジタル信号の「上位ビット」は、デジタル信号の各ビットを、対応する電荷蓄積量（または、画像信号の輝度値）の大きさの順に並べた場合に、電荷蓄積量が大きい側の半分のビットである。「対応する電荷蓄積量の大きさ」とは、当該ビットの値が遷移した場合の、電荷蓄積量の変動量の大きさに対応する。例えば、左側のビットから順番に２＾（ｋ−１）の大きさに対応しているＰビットのデジタル信号においては（ただし、ｋはＰから１の自然数であり、最も左側のビットがｋ＝Ｐであり、最も右側のビットがｋ＝１である）、「上位ビット」とは、ｋ＝Ｐ〜（Ｐ／２）＋１までのビットを指す。Ｐが奇数の場合、Ｐ／２は小数点以下を切り上げてよく、切り捨ててもよい。 The “upper bit” of the digital signal is a half of the larger charge accumulation amount when each bit of the digital signal is arranged in the order of the magnitude of the corresponding charge accumulation amount (or the luminance value of the image signal). Is a bit. “The magnitude of the corresponding charge accumulation amount” corresponds to the magnitude of the fluctuation amount of the charge accumulation amount when the value of the bit changes. For example, in a P-bit digital signal corresponding to a size of 2 ^ (k−1) in order from the left bit (where k is a natural number from P to 1, and the leftmost bit is k = “The uppermost bit” is a bit from k = P to (P / 2) +1. When P is an odd number, P / 2 may be rounded up or down.
なお、デジタル信号のビットのうち、対応する電荷蓄積量の大きさが最大のビット（上記の例では、ｋ＝Ｐのビット）を最上位ビット（ＭＳＢ）、次に電荷蓄積量が大きいビット（上記の例では、ｋ＝Ｐ−１のビット）をＭＳＢ−１、以下同様に、ＭＳＢ−２、ＭＳＢ−３・・・と称する。 Of the bits of the digital signal, the bit with the largest charge accumulation amount (in the above example, the bit with k = P) is the most significant bit (MSB), and the bit with the next largest charge accumulation amount ( In the above example, k = P−1 bits) is referred to as MSB-1, and similarly, as MSB-2, MSB-3,.
また、デジタル信号の各ビットは、電荷蓄積量（または、画像信号の輝度値）が小さい状態を示す第１の論理値から、大きい状態を示す第２の論理値に遷移する。本例において第１の論理値は「０」であり、第２の論理値は「１」である。 In addition, each bit of the digital signal transitions from a first logical value indicating a small charge accumulation amount (or a luminance value of an image signal) to a second logical value indicating a large state. In this example, the first logical value is “0”, and the second logical value is “1”.
デジタル信号の上位ビットの状態を判定することで、対応する光電変換部１２が所定の電荷蓄積時間で蓄積した電荷蓄積量（すなわち入射光の明るさ）のおおよその値を容易に検出することができる。制御部６０は、複数の判定部２５における各々の判定結果の少なくとも一つが、予め定められた判定結果であることを条件として、複数の光電変換部１２の撮像条件をともに制御する。例えば制御部６０は、判定部２５−１ａの判定結果および判定部２５−１ｂの判定結果の少なくとも一つに基づいて、光電変換部１２−１ａおよび光電変換部１２−１ｂの撮像条件をともに制御する。これにより、光電変換部１２を一行毎に最適な撮像条件が設定することができる。
By determining the state of the upper bit of the digital signal, it is possible to easily detect an approximate value of the charge accumulation amount (that is, the brightness of incident light) accumulated by the corresponding
例えば、デジタル信号の最上位ビットＭＳＢの論理値が「０」の場合、対応する光電変換部１２に対しては、電荷蓄積時間を２倍にしてもデジタル信号が飽和しないと推測される。制御部６０は、デジタル信号のレンジを最大限利用するべく、当該光電変換部１２の電荷蓄積時間をより長く設定する。また、制御部６０は、ＡＤ変換部２３の前段におけるアナログ信号の増幅率を、判定部２５における判定結果に基づいて制御することもできる。このように、制御部６０は、光電変換部１２を一行毎に様々な撮像条件を最適化することができる。撮像条件には、光電変換部１２における電荷蓄積時間、フレームレート、アナログ信号の増幅率以外にも、撮像装置５００において制御可能なパラメータのうち、上記デジタル信号に影響を与える他の条件も含まれる。
For example, when the logical value of the most significant bit MSB of the digital signal is “0”, it is estimated that the corresponding
また、判定部２５は、最上位ビットＭＳＢ以外の上位ビットの状態を判定してもよい。例えば、判定部２５は、最上位ビットＭＳＢに加え、上位ビットＭＳＢ−１の状態を判定する。これらのビットの論理値がともに「０」の場合、対応する光電変換部１２に対しては、電荷蓄積時間を４倍にしてもデジタル信号が飽和しないと推測される。制御部６０は、当該光電変換部１２の電荷蓄積時間を例えば４倍に設定する。
Further, the
なお、複数のＡＤ変換部２３は、並行してアナログ信号を読み出し、それぞれデジタル信号に変換する。また、複数の判定部２５は、並行してデジタル信号の上位ビットの状態を判定する。制御部６０は、それぞれの光電変換部１２に対して並行して、電荷蓄積時間等の撮像条件を設定する。
The plurality of
本例では、一行の画素１４に対して行制御線２１を１つ設けるが、一行の画素１４のそれぞれの画素１４について行制御線２１を１つ設けてもよい。これにより、画素１４毎に撮像条件を制御することができる。また、一行の画素１４のそれぞれの画素１４におけるそれぞれの光電変換部１２について行制御線２１を１つ設けてもよい。これにより、画素１４の光電変換部１２毎に撮像条件を制御することができる。
In this example, one
図４は、画素１４の構成例を示す図である。本例において、それぞれの光電変換部１２は、各々一つの、光電変換素子１０４、転送トランジスタ１５２、リセットトランジスタ１５４、増幅トランジスタ１５６、および、選択トランジスタ１５８を有する。１つの行に設けられた複数の画素１４は、同じ構成を有する。ただし、説明の便宜上、１つの行における１つの画素１４について説明する。また、光電変換部１２−１ｂは、光電変換部１２−１ａと同じ構成であるので、以下では光電変換部１２−１ａについて述べる。
FIG. 4 is a diagram illustrating a configuration example of the
転送トランジスタ１５２−１ａのソースおよびドレインはそれぞれ、光電変換素子１０４−１ａの出力端、および、増幅トランジスタ１５６−１ａのゲートに接続される。光電変換素子１０４−１ａの出力端と、転送トランジスタ１５２−１ａのソースとの間の配線における寄生容量は、光電変換素子１０４−１ａが発生した電荷を蓄積する電荷蓄積部として機能する。本例において電荷蓄積部は光電変換素子１０４−１ａの一部である。転送トランジスタ１５２−１ａのゲートには、電荷蓄積部が蓄積した電荷量を転送するか否かを制御する転送信号Ｔｘ（１）が入力される。なお、Ｔｘ（１）は、転送トランジスタ１５２−１ａおよび転送トランジスタ１５２−１ｂに共通に入力される。 The source and drain of the transfer transistor 152-1a are connected to the output terminal of the photoelectric conversion element 104-1a and the gate of the amplification transistor 156-1a, respectively. The parasitic capacitance in the wiring between the output terminal of the photoelectric conversion element 104-1a and the source of the transfer transistor 152-1a functions as a charge accumulation unit that accumulates the charges generated by the photoelectric conversion element 104-1a. In this example, the charge storage portion is a part of the photoelectric conversion element 104-1a. A transfer signal Tx (1) for controlling whether or not to transfer the amount of charge accumulated in the charge accumulation unit is input to the gate of the transfer transistor 152-1a. Note that Tx (1) is input in common to the transfer transistor 152-1a and the transfer transistor 152-1b.
リセットトランジスタ１５４−１ａのドレインには基準電圧ＶＤＤが入力され、ソースは増幅トランジスタ１５６−１ａのゲートに接続される。リセットトランジスタ１５４−１ａのゲートには、電荷蓄積部が蓄積した電荷量をリセットするか否かを制御するリセット信号Ｒ（１）が入力される。なお、Ｒ（１）は、リセットトランジスタ１５４−１ａおよび１５４−１ｂに共通に入力される。 The reference voltage VDD is input to the drain of the reset transistor 154-1a, and the source is connected to the gate of the amplification transistor 156-1a. A reset signal R (1) for controlling whether or not to reset the amount of charge stored in the charge storage unit is input to the gate of the reset transistor 154-1a. R (1) is input in common to the reset transistors 154-1a and 154-1b.
増幅トランジスタ１５６−１ａのドレインには基準電圧ＶＤＤが入力され、ソースは選択トランジスタ１５８−１ａのドレインに接続される。増幅トランジスタ１５６−１ａは、転送トランジスタ１５２−１ａから転送された電荷量に応じたアナログの画像信号を出力する。 The reference voltage VDD is input to the drain of the amplification transistor 156-1a, and the source is connected to the drain of the selection transistor 158-1a. The amplification transistor 156-1a outputs an analog image signal corresponding to the amount of charge transferred from the transfer transistor 152-1a.
選択トランジスタ１５８−１ａのゲートには選択信号Ｓ（１）が入力される。ソースはＡＤ変換部２３−１ａに接続されている。転送トランジスタ１５２−１ａは、選択信号Ｓ（１）に応じて、転送トランジスタ１５２−１ａからの画像信号をＡＤ変換部２３−１ａに入力する。なお、Ｓ（１）は、選択トランジスタ１５８−１ａおよび選択トランジスタ１５８−１ｂに共通に入力される。また、これら転送信号Ｔｘ（１）、リセット信号Ｒ（１）、および選択信号Ｓ（１）は、図１における制御信号線２１−２により供給されてよい。 A selection signal S (1) is input to the gate of the selection transistor 158-1a. The source is connected to the AD conversion unit 23-1a. The transfer transistor 152-1a inputs the image signal from the transfer transistor 152-1a to the AD conversion unit 23-1a in response to the selection signal S (1). Note that S (1) is input in common to the selection transistor 158-1a and the selection transistor 158-1b. Further, the transfer signal Tx (1), the reset signal R (1), and the selection signal S (1) may be supplied by the control signal line 21-2 in FIG.
本例においては、１つの光電変換素子１０４に対して１つのＡＤ変換部２３および判定部２５が設けられる。また、それぞれの光電変換部１２に対しては、転送信号Ｔｘ、リセット信号Ｒ、選択信号Ｓが共通に入力される。このため、１つの行毎に光電変換素子１０４におけるデジタル信号の上位ビットの状態を判定して、光電変換素子１０４について一行毎に電荷蓄積時間等の撮像条件を制御することができる。なお、本明細書においては、光電変換素子１０４が蓄積した電荷、および、電荷蓄積時間を、当該光電変換素子１０４が存在する光電変換部１２が蓄積した電荷、および、電荷蓄積時間と称する場合がある。
In this example, one
本例では、一行の画素１４に対して行制御線２１を１つ設けるが、一行の画素１４のそれぞれの画素１４について行制御線２１を１つ設けてもよい。これにより、画素１４毎に撮像条件を制御することができる。また、一行の画素１４のそれぞれの画素１４におけるそれぞれの光電変換部１２について行制御線２１を１つ設けてもよい。これにより、画素１４の光電変換部１２毎に撮像条件を制御することができる。
In this example, one
図５は、撮像装置５００の動作例を示すタイミングチャートである。図５において横軸は時間を示す。縦軸は、一列における光電変換部１２−１ａおよび１２−１ｂ、１２−２ａおよび１２−２ｂ、１２−３ａおよび１２−３ｂ、‥１２−ｉａおよび１２−ｉｂ、１２−（ｉ＋１）ａおよび１２−（ｉ＋１）ｂ、ならびに、１２−Ｎａおよび１２−Ｎｂを示す。なお、１つの画素１４における一対の光電変換部１２（例えば１２−ｉａおよび１２−ｉｂ）は、行制御線２１（例えば２１−ｉ）により同様に制御される。横長の四角の枠は各光電変換部１２に対応するデジタル信号を示す。当該四角枠中の１および０は、当該デジタル信号の各ビットを示す。なお、デジタル信号を示す四角枠の長短にかかわらず、各デジタル信号の桁数は同じである。
FIG. 5 is a timing chart illustrating an operation example of the
本例の撮像装置５００は、予め設定される設定期間内に取得したデジタル信号に基づいて一つの画像を取得する。当該画像は静止画であってよく、動画における１コマの画像であってもよい。
The
本例の制御部６０は、一行にあるＭ個のデジタル信号の最上位ビットに基づいて、Ｍ個の光電変換部１２の電荷蓄積時間をともに制御する。図５において、各デジタル信号のビットのうち、時間軸で最もマイナス方向寄りに記載されたビットが最上位ビットである。
The
本例における制御部６０は、それぞれの光電変換部１２の電荷蓄積時間の長さを、予め定められた長さのフレーム単位で制御する。本例において設定期間は、７つのフレームに分割される。
The
まず、それぞれの光電変換部１２は、共通の長さのフレーム１を電荷蓄積期間として電荷を蓄積する。それぞれのＡＤ変換部２３は、対応する光電変換部１２が蓄積した電荷をデジタル信号に変換する。それぞれの判定部２５は、対応するデジタル信号の最上位ビットの状態を判定する。
First, each
制御部６０は、最上位ビットが、電荷蓄積量が小さい状態を示す第１の論理値から、大きい状態を示す第２の論理値に遷移していない場合（すなわち論理値が「０」である場合）に、対応する光電変換部１２の電荷蓄積時間を、予め設定されている電荷蓄積時間より長い時間に設定する。本例の制御部６０は、光電変換部１２−１ａ、１２−１ｂ、１２−２ａ、１２−２ｂ、１２−ｉａ、１２−ｉｂ、１２−Ｎａおよび１２−Ｎｂの電荷蓄積時間を２フレーム分にする。
When the most significant bit has not transitioned from the first logical value indicating the state where the charge accumulation amount is small to the second logical value indicating the large state (that is, the logical value is “0”). In the case), the charge accumulation time of the corresponding
次に、対応するデジタル信号の最上位ビットが「０」の光電変換部１２は、フレーム２および３を電荷蓄積時間として電荷を蓄積する。対応するＡＤ変換部２３および判定部２５の動作は、フレーム１と同様である。また、制御部６０は、フレーム１においてデジタル信号の最上位ビットが論理値「０」から論理値「１」に遷移している場合に、上記の設定期間が経過するまで、対応する光電変換部１２が蓄積した電荷の読み出しを停止させる。本例では、光電変換部１２−３ａ、１２−３ｂ、１２−（ｉ＋１）ａおよび１２−（ｉ＋１）ｂが蓄積した電荷の読出しを停止させる。ＡＤ変換部２３の読み出し動作を停止させることで、消費電力を低減することができる。また、デジタル信号の最上位ビットが論理値「０」から論理値「１」に遷移した撮像領域の電荷の読み出しを停止させることで、デジタル信号を格納するために用いるメモリの数（容量）を減少させることができる。さらに、メモリ数の減少に伴い後段における画像処理等の演算量を減少させることができる。
Next, the
制御部６０は、フレーム２およびフレーム３においてデジタル信号の最上位ビットが「０」と判定された光電変換部１２の電荷蓄積時間を更に２倍にする。また、フレーム２および３においてデジタル信号の最上位ビットが「１」と判定されたＡＤ変換部２３は、以降の読み出し動作を停止する。
The
以上のように、制御部６０は、予め定められた設定期間が経過するまで、それぞれの光電変換部１２に対する電荷蓄積時間の設定を繰り返す。制御部６０は、設定期間内で取得したデジタル信号を用いて、それぞれの光電変換部１２への入射光の明るさ（すなわち、画像信号の輝度値）を算出する。
As described above, the
本例の制御部６０は、設定期間内で取得したデジタル信号を、光電変換部１２毎に積算する。また、制御部６０は、それぞれの光電変換部１２の積算デジタル信号に、それぞれの光電変換部１２の電荷蓄積時間に応じた係数を乗算して、それぞれの光電変換部１２の輝度値を算出する。本例において当該係数は、設定期間の長さを、光電変換部１２の電荷蓄積時間の積算値で除算して算出できる。
The
例えば、図５の例における光電変換部１２−１ａおよび１２−１ｂについては、フレーム１、フレーム２からフレーム３、フレーム４からフレーム７で取得した３つのデジタル信号を積算する。また、光電変換部１２−１ａおよび１２−１ｂについては、電荷蓄積時間の累積が、設定期間の全期間に渡るので、係数は１になる。光電変換部１２−２ａおよび１２−２ｂについては、フレーム１、フレーム２からフレーム３で取得した２つのデジタル信号を積算する。また、光電変換部１２−２ａおよび１２−２ｂについては、電荷蓄積時間の累積は、設定期間の３／７である。従って、係数は７／３になる。
For example, for the photoelectric conversion units 12-1a and 12-1b in the example of FIG. 5, three digital signals acquired from
同様に、光電変換部１２−２ａについては、フレーム１で取得したデジタル信号に、係数７を乗算する。このような処理により、それぞれの光電変換部１２における電荷蓄積時間の累積値の相違を補償して、画像データの輝度値を算出することができる。また、それぞれの光電変換部１２の電荷蓄積時間を最適化して、ＡＤ変換部２３のデジタル値のレンジを最大限に活用できる。これにより、例えば高輝度の被写体に対応して、１つの画素１４における少なくとも一方の光電変換部１２から出力される画像信号の値が大きくなり、デジタル変換後のデジタル信号が飽和することを防ぐことができる。したがって、高輝度の被写体に対しても焦点検出をすることができる。また、例えば低輝度の被写体に対応する光電変換部１２から出力される画像信号の値が小さく、デジタル変換後のデジタル信号における階調差が出ない、いわゆる黒潰れを低減することができる。なお、電荷蓄積時間の初期値（例えばフレーム１の長さ）を十分短くすることで、白とびを防ぐことができる。
Similarly, for the photoelectric conversion unit 12-2a, the digital signal acquired in
本例では、各光電変換部１２について、設定期間内に取得したデジタル信号を積算したが、他の例では、各光電変換部１２について最後に取得したデジタル信号だけを用いて輝度値を算出してよい。この場合、上記係数は、それぞれの光電変換部１２について最後にデジタル信号を取得したときの電荷蓄積時間の長さの比で定まる。例えば光電変換部１２−１ａについては、フレーム４からフレーム７で取得したデジタル信号に係数１を乗算する。光電変換部１２−１ｂについては、フレーム２からフレーム３で取得したデジタル信号に係数４／２＝２を乗算する。光電変換部１２−２ａについては、フレーム１で取得したデジタル信号に係数４／１＝４を乗算する。
In this example, the digital signals acquired within the set period for each
また、本例の制御部６０は、デジタル信号の最上位ビットが１になった光電変換部１２に対して、電荷蓄積時間を２倍にしたが、倍率は２倍に限定されない。当該倍率は２倍以下の値であってよく、２倍より大きい値であってもよい。
Moreover, although the
また、本例の制御部６０は、デジタル信号の最上位ビットだけに基づいて電荷蓄積時間を制御したが、デジタル信号の他の上位ビットに更に基づいて電荷蓄積時間を制御してもよい。この場合、電荷蓄積時間を再設定するときの倍率は、再設定に用いるデジタル信号の上位ビットの桁数に応じて制御してよい。例えば、デジタル信号の最上位ビットＭＳＢおよび上位ビットＭＳＢ−１の上位２桁がともに「０」の場合、制御部６０は、対応する光電変換部１２の電荷蓄積時間を２桁×２＝４倍にする。同様に上位ｐ桁が全て「０」の場合、制御部６０は、対応する光電変換部１２の電荷蓄積時間を２×ｐ倍にしてよい。
In addition, the
また、制御部６０は、デジタル信号が所定の閾値を超えていない場合に、電荷蓄積時間を長く設定してもよい。例えば、制御部６０は、デジタル信号が飽和値の９０％を超えていない場合に、電荷蓄積時間をより長く設定する。この場合、電荷蓄積時間は、２倍に設定してよく、１０／９倍に設定してよく、その他の倍率に設定してもよい。
Further, the
また、図５の例においては、全ての光電変換部１２の各電荷蓄積時間の始点（図５においては、フレーム１、フレーム２、フレーム４の始点）は同一であるが、当該始点は同一でなくともよい。また、図５の例においては、電荷蓄積時間の長さをフレーム単位で制御したが、フレームの長さを一行毎に変化させてもよい。それぞれの行における電荷蓄積時間の長さは、図４において説明したリセット信号Ｒのタイミングと、選択信号Ｓのタイミングにより制御することができる。
In the example of FIG. 5, the start points of the respective charge accumulation times of all the photoelectric conversion units 12 (the start points of
なお本例では、一行の画素１４に対して行制御線２１を１つ設けた例を説明したが、一行の画素１４のそれぞれの画素１４について行制御線２１を１つ設けてもよい。これにより、画素１４毎に撮像条件を制御することができる。また、一行の画素１４のそれぞれの画素１４におけるそれぞれの光電変換部１２について行制御線２１を１つ設けてもよい。これにより、画素１４の光電変換部１２毎に撮像条件を制御することができる。
In this example, an example in which one
図６は、図５に示した撮像装置５００の動作の概要を示すフローチャートである。設定期間が始まると、まずＳ６０２において、それぞれの光電変換部１２が所定の電荷蓄積時間で電荷を蓄積する。そして、ＡＤ変換部２３が、電荷蓄積量をデジタル信号に変換する。
FIG. 6 is a flowchart showing an outline of the operation of the
Ｓ６０４において、それぞれの判定部２５は、対応する光電変換部１２について、デジタル信号の最上位ビットＭＳＢが「１」か否かを判定する。制御部６０は、最上位ビットＭＳＢが「１」でない光電変換部１２について、電荷蓄積時間を２倍に再設定する（Ｓ６０６）。また、制御部６０は、最上位ビットＭＳＢが「１」である光電変換部１２については、電荷の蓄積および電荷量の読み出しを停止させる（Ｓ６０８）。
In S <b> 604, each
Ｓ６１０において、制御部６０は、所定の設定時間が終了したか否かを判定する。設定時間が終了していない場合、Ｓ６０６において再設定した電荷蓄積時間を用いて、Ｓ６０２からの処理を繰り返す。所定の設定時間が終了している場合、処理を終了する。当該処理の終了後、制御部６０は、取得したそれぞれのデジタル信号に基づいて、それぞれの光電変換部１２の輝度値を算出する。
In S610, the
なお、Ｓ６０４の変形例として、制御部６０は、複数の判定部２５の結果に基づいて光電変換部１２の電荷蓄積時間を設定してもよい。例えば、判定部２５が複数の画素１４からなるブロックについて最上位ビットＭＳＢを判定した場合において、制御部６０は、最上位ビットＭＳＢが「１」である光電変換部１２の数が予め定められた数以上である場合に、電荷蓄積時間を設定してよい。当該予め定められた数は、複数の画素１４からなるブロック当たりにおいて、常に最上位ビットＭＳＢが「１」である（常に飽和信号を出す）いわゆる欠陥画素の数よりも大きくしてよい。
As a modification of S604, the
また例えば、判定部２５が一行分の画素１４の最上位ビットＭＳＢを判定した場合において、制御部６０は、最上位ビットＭＳＢが「１」である光電変換部１２の数が予め定められた数以上である場合に、電荷蓄積時間を設定してよい。当該予め定められた数は、一行分の画素１４におけるいわゆる欠陥画素の数よりも大きくてよい。また、最上位ビットＭＳＢが「１」である光電変換部１２の数が予め定められた数以上である場合に、制御部６０は、光電変換部１２から出力されるアナログ信号を増幅する増幅率を制御してよい。例えば制御部６０は、光電変換部１２−１ａとＡＤ変換部２３−１ａとの間および光電変換部１２−１ｂとＡＤ変換部２３−１ｂとの間に設けられるアンプの増幅率を制御してよい。なお当該アンプは、ＡＤ変換部２３−１ａの内部に設けられてもよい。当該構成により、いわゆる欠陥画素がある場合において、制御部６０が常に電荷蓄積時間または増幅率等を制御することを防ぐことができる。よって、制御部６０の負荷および消費電力を抑えることができる。
Further, for example, when the
図７は、撮像装置５００の他の動作例を示すタイミングチャートである。本例の制御部６０は、デジタル信号の最上位ビットが、第１の論理値「０」から第２の論理値「１」に遷移している場合に、所定の設定期間が経過するまで、対応する光電変換部１２について電荷蓄積時間の設定を維持する。そして、対応する光電変換部１２に対して当該電荷蓄積時間での電荷の蓄積を繰り返させるとともに、対応するＡＤ変換部２３に当該電荷蓄積時間で蓄積された電荷の読み出しを繰り返させる。他の動作は、図５および図６において説明した例と同様である。
FIG. 7 is a timing chart showing another operation example of the
例えば、光電変換部１２−２ａおよび１２−２ｂについては、フレーム２からフレーム３において読み出したデジタル信号の最上位ビットが「１」なので、制御部６０は光電変換部１２−２ａおよび１２−２ｂにおける電荷蓄積時間を２フレーム分に維持して、電荷の蓄積および読み出しを繰り返す。また、光電変換部１２−（ｉ＋１）ａおよび１２−（ｉ＋１）ｂについては、フレーム１において読み出したデジタル信号の最上位ビットが「１」なので、制御部６０は光電変換部１２−（ｉ＋１）ａおよび１２−（ｉ＋１）ｂにおける電荷蓄積時間を１フレーム分に維持して、電荷の蓄積および読み出しを繰り返す。
For example, for the photoelectric conversion units 12-2a and 12-2b, since the most significant bit of the digital signal read in the
設定期間が終了した場合、制御部６０は、それぞれの光電変換部１２について、読み出したデジタル信号を積算する。本例では、それぞれの光電変換部１２の累積電荷蓄積時間は等しい。このため、制御部６０は、デジタル信号の積算値に係数を乗算しない。そして、制御部６０は、加算された一対の光電変換部１２（例えば、光電変換部１２−ｉａおよび１２−ｉｂ）のデジタル信号から、それぞれの画素１４について輝度値を算出する。
When the set period ends, the
本例の撮像装置５００は、それぞれの光電変換部１２が、設定期間の全期間に渡って動作する。このため、設定期間内で生じたノイズ等を平均化することができる。また、それぞれの光電変換部１２が動作する期間が同一なので、光電変換部１２間の撮像タイミングを同一にすることができる。
In the
図８は、図７に示した撮像装置５００の動作の概要を示すフローチャートである。本例のフローチャートは、図６に示したフローチャートに対して、Ｓ６０８に代えてＳ６１２を有する点で相違する。本例においては、制御部６０は、最上位ビットＭＳＢが「１」である光電変換部１２については、電荷蓄積時間の設定を維持する（Ｓ６１２）。撮像装置５００は、当該電荷蓄積時間の設定を用いて、所定の設定時間が終了するまで電荷の蓄積および読み出しを繰り返す。
FIG. 8 is a flowchart showing an outline of the operation of the
また、撮像装置５００は、図５示した動作と、図７に示した動作とを選択的に実行してよい。撮像装置５００は、ユーザの操作に基づいて、いずれかの動作を選択してよい。また、撮像装置５００は、電池の残量が所定値より少なくなった場合に、図５に示した省電力モードを選択し、電池の残量が所定値以上の場合に、図７に示した高精度モードを選択してよい。
In addition, the
図９は、撮像装置５００の他の動作例を示すタイミングチャートである。本例の制御部６０は、デジタル信号の全てのビットが、第１の論理値「０」から第２の論理値「１」に遷移している場合には、対応する光電変換部１２の電荷蓄積時間を、現在設定されている電荷蓄積時間より短い時間に設定する。つまり、制御部６０は、デジタル信号の最上位ビットが「１」の場合であっても、デジタル信号の全てのビットが「１」になっている場合には、電荷蓄積時間をより短くする。これにより、例えば高輝度の被写体に対応して、１つの画素１４における少なくとも一方の光電変換部１２から出力される画像信号の値が大きくなり、デジタル変換後のデジタル信号が飽和することを防ぐことができる。したがって、高輝度の被写体に対しても焦点検出をすることができる。他の動作は、図５から図８において説明したいずれかの動作例と同様である。
FIG. 9 is a timing chart illustrating another example of the operation of the
図９の例においては、光電変換部１２−１ａおよび１２−１ｂのデジタル信号の全ビットが、フレーム１において「１」になっている。制御部６０は、光電変換部１２−１ａおよび１２−１ｂの電荷蓄積時間を、１フレーム分よりも短くする。例えば制御部６０は、光電変換部１２−１ａおよび１２−１ｂの電荷蓄積時間を０．５フレーム分にする。制御部６０は、光電変換部１２−１ａおよび１２−１ｂのデジタル信号が飽和（全ビットが「１」の状態）しなくなるまで、光電変換部１２−１ａおよび１２−１ｂの電荷蓄積時間を徐々に短くする。
In the example of FIG. 9, all bits of the digital signals of the photoelectric conversion units 12-1 a and 12-1 b are “1” in the
また、制御部６０は、光電変換部１２−１ａおよび１２−１ｂのデジタル信号の最上位ビットが「０」になった場合、光電変換部１２−１ａおよび１２−１ｂの電荷蓄積時間を長くしてもよい。このとき、すでにデジタル信号が飽和することがわかっている電荷蓄積時間よりも短い時間に設定することが好ましい。例えば、１フレーム分の電荷蓄積時間の場合にデジタル信号が飽和し、０．４フレーム分の電荷蓄積時間の場合にデジタル信号の最上位ビットが「０」になった場合、次の電荷蓄積時間を、０．７フレーム分程度に設定する。図５から図９において説明した動作例において、制御部６０は、新たに設定する電荷蓄積時間の長さを、設定期間の残りを任意の整数で除算することで算出してもよい。
In addition, when the most significant bit of the digital signals of the photoelectric conversion units 12-1a and 12-1b becomes “0”, the
また、制御部６０は、それぞれの光電変換部１２について、飽和したデジタル信号を除外して、デジタル信号を積算してよい。この場合、除外したデジタル信号に対応する電荷蓄積時間の長さに応じた係数を、積算デジタル信号に乗算する。これにより、デジタル信号の飽和による誤差をなくすことができる。
Further, the
また、制御部６０は、全ての光電変換部１２について、デジタル信号の最上位ビットが「１」となり、且つ、デジタル信号が飽和していないことを条件として、設定期間の経過前に処理を終了してよい。これにより、処理時間を短縮することができる。
In addition, the
図１０は、図９に示した撮像装置５００の動作の概要を示すフローチャートである。本例のフローチャートは、図６または図８に示したフローチャートに対して、Ｓ６１４およびＳ６１６の処理が追加される。デジタル信号の最上位ビットが「１」と判定された場合（Ｓ６０４）、Ｓ６１４において、デジタル信号の全ビットが「１」、すなわち飽和しているか否かを判定する。デジタル信号が飽和している場合、対応する光電変換部１２の電荷蓄積時間を例えば１／２倍にする（Ｓ６１６）。デジタル信号が飽和していない場合、Ｓ６０８以降の処理を実行する。なお、Ｓ６０８に代えて、図８に示したＳ６１２の処理を実行してもよい。
FIG. 10 is a flowchart showing an outline of the operation of the
図１１は、撮像装置５００の他の構成例において電荷飽和を防止する制御を示す図である。本例の撮像装置５００は、図１に関連して説明した撮像装置５００の構成に加え、操作部１８６を更に備える。操作部１８６は、ユーザの操作を受け付ける。
FIG. 11 is a diagram illustrating control for preventing charge saturation in another configuration example of the
制御部６０は、操作部１８６がユーザから第１の操作を受け付けた場合に、図５から図１０に関連して説明したように、設定期間においてそれぞれの光電変換部１２に対する電荷蓄積時間の設定を繰り返して、それぞれの光電変換部１２について電荷蓄積時間の最適設定を予め取得する。ここで、電荷蓄積時間の最適設定とは、最後にデジタル信号を取得したときの電荷蓄積時間を指す。
When the
例えば図５の例では、光電変換部１２−１ａおよび１２−１ｂの電荷蓄積時間の最適設定は４フレーム分であり、光電変換部１２−２ａおよび１２−１ｂの電荷蓄積時間の最適設定は２フレーム分であり、光電変換部１２−３ａおよび１２−３ｂの電荷蓄積時間の最適設定は１フレーム分である。また、第１の操作は、例えば撮像装置５００のシャッターボタンが半押しされた操作である。
For example, in the example of FIG. 5, the optimum setting of the charge accumulation time of the photoelectric conversion units 12-1a and 12-1b is 4 frames, and the optimum setting of the charge accumulation time of the photoelectric conversion units 12-2a and 12-1b is 2. The optimum setting of the charge accumulation time of the photoelectric conversion units 12-3a and 12-3b is one frame. The first operation is an operation in which, for example, the shutter button of the
制御部６０は、操作部１８６がユーザから第２の操作を受け付けた場合に、電荷蓄積時間の最適設定を用いて撮像部１００に被写体を撮像させる。この場合、制御部６０は、それぞれの光電変換部１２に対して電荷蓄積時間の最適設定を設定して、所定の撮像期間内において当該電荷蓄積時間での電荷の蓄積および読み出しを繰り返す。当該繰り返し回数は１回でもよい。第２の操作は、例えば撮像装置５００のシャッターボタンが全押しされた操作である。
When the
制御部６０は、例えば撮像期間内で取得したデジタル信号を積算することで、それぞれの光電変換部１２の輝度値を算出する。また、制御部６０は、光電変換部１２間における電荷蓄積時間の累積値の差異に応じた係数を、積算デジタル信号に乗算してもよい。本例の撮像装置５００は、それぞれの光電変換部１２の電荷蓄積時間の最適設定を予め取得するので、それぞれの光電変換部１２の輝度値を効率よく算出することができる。
The
図１２は、撮像装置５００の他の構成例において電荷飽和を防止する制御を示す図である。本例の撮像装置５００は、図１から図１１に関連して説明した撮像装置５００の構成に加え、複数のＡＤ変換部２３に対応して設けられる複数のアンプ１８８を備える。アンプ１８８は、それぞれの光電変換部１２およびＡＤ変換部２３の間に設けられる。アンプ１８８は、対応する光電変換部１２からのアナログの画像信号を増幅して、対応するＡＤ変換部２３に入力する。図１２においては、ＡＤ変換部２３−１およびＡＤ変換部２３−２に対応するアンプ１８８−１およびアンプ１８８−２を示している。なお、アンプ１８８は、対応するＡＤ変換部２３に内蔵されていてもよい。つまり、アンプ１８８およびＡＤ変換部２３が一つの素子として形成されてよい。
FIG. 12 is a diagram illustrating control for preventing charge saturation in another configuration example of the
制御部６０は、対応するデジタル信号の上位ビットおよび対応する光電変換部１２の電荷蓄積時間に基づいて、それぞれのアンプ１８８における増幅率を独立に制御する。例えば制御部６０は、電荷蓄積時間をより長い時間に再設定した場合に、所定の時間よりも長くなってしまう場合には、電荷蓄積時間を維持して、アンプ１８８における増幅率を増加させる。これにより、電荷蓄積時間が長くなりすぎることを防ぐことができる。
The
また、制御部６０は、電荷蓄積時間を長くすることで、設定時間内にデジタル信号の最上位ビットが「１」になるかならないかを、デジタル信号の上位ビットに基づいて判別してもよい。制御部６０は、最上位ビットが「１」にならないと判別した場合、アンプ１８８における増幅率を増加させてもよい。例えば、図５の例において、フレーム２からフレーム３において取得したデジタル信号の最上位ビットＭＳＢおよび上位ビットＭＳＢ−１がともに「０」である場合、電荷蓄積時間を２倍しても、デジタル信号の最上位ビットＭＳＢは「０」にならないと予測される。このような場合、制御部６０は、電荷蓄積時間を２倍にしつつ、対応するアンプ１８８の増幅率を２倍に増加させる。また、図９に示した光電変換部１２−１ａのデジタル信号のように、電荷蓄積時間がフレーム長よりも短くなる場合、電荷蓄積時間を維持してアンプ１８８における増幅率を低下させてもよい。
Further, the
図１３は、撮像部１００の他の構成例を示す図である。本例においては、１つの画素１４における光電変換部１２−１ａと光電変換部１２−１ｂとに応じて、それぞれ異なる行制御線２１が設けられる点が、図１の構成と異なる。例えば、光電変換部１２−１ａには行制御線２１−１ａが接続され、光電変換部１２−１ｂには行制御線２１−１ｂが接続される。これにより、光電変換部１２−１ａと光電変換部１２−１ｂとにおいて、転送信号Ｔｘ（１）、リセット信号Ｒ（１）および選択信号Ｓ（１）を別々のタイミングで制御することができる。
FIG. 13 is a diagram illustrating another configuration example of the
例えば、光電変換部１２−１ａの転送信号Ｔｘ（１）と光電変換部１２−１ｂの転送信号Ｔｘ（１）とのタイミングを異ならせることにより、光電変換部１２−１ａと光電変換部１２−１ｂとの撮像タイミングに時間差を設けることができる。また、光電変換部１２−１ａおよび光電変換部１２−１ｂの転送信号Ｔｘ（１）のタイミング幅を異ならせることにより、光電変換部１２−１ａと１２−１ｂとの電荷蓄積時間に差を設けることができる。 For example, the timings of the transfer signal Tx (1) of the photoelectric conversion unit 12-1a and the transfer signal Tx (1) of the photoelectric conversion unit 12-1b are different from each other, so that the photoelectric conversion unit 12-1a and the photoelectric conversion unit 12- A time difference can be provided in the imaging timing with 1b. Further, by making the timing widths of the transfer signals Tx (1) of the photoelectric conversion units 12-1a and 12-1b different, a difference is provided in the charge accumulation time between the photoelectric conversion units 12-1a and 12-1b. be able to.
また、この場合に、制御部６０は、判定部２５−１ａの判定結果および判定部２５−１ｂの判定結果の少なくとも一つに基づいて、光電変換部１２−１ａおよび光電変換部１２−１ｂのいずれか一方の撮像条件を制御してもよい。つまり、光電変換部１２−１ａおよび光電変換部１２−１ｂを、異なる撮像条件で制御してもよい。例えば、光電変換部１２−１ａの最上位ビットＭＳＢの論理値が「１」であり、かつ、光電変換部１２−１ｂの最上位ビットＭＳＢの論理値が「０」であると判定された場合、制御部６０は、光電変換部１２−１ａの撮像条件を変更し、かつ、光電変換部１２−１ｂの撮像条件を変更しない。これにより、光電変換部１２−１ａおよび１２−１ｂにおいて撮像条件を最適化することができる。
In this case, the
図１４は、撮像部１００の他の構成例を示す図である。本例においては、１つの画素１４において光電変換部１２を４つ設ける点が図１の構成と異なる。本例においては、光電変換部１２−１ａ−１および光電変換部１２−１ａ−２は共通の列信号線２２−１ａに接続され、光電変換部１２−１ｂ−１および光電変換部１２−１ｂ−２は共通の列信号線２２−１ｂに接続される。なお、光電変換部１２−１ａ−１、１２−１ａ−２、１２−１ｂ−１および１２−１ｂ−２は、共通の制御号線２１−２に接続される。１つの画素１４は４つの光電変換部１２を有するので、１つの画素１４を、Ｘ方向およびＹ方向の焦点検出に用いることができる。
FIG. 14 is a diagram illustrating another configuration example of the
図１５は、本実施形態に係る撮像素子２００の断面図である。本例では、いわゆる裏面照射型の撮像素子２００を示すが、撮像素子２００は裏面照射型に限定されず、表面照射型であってもよい。撮像素子２００は、撮像チップ１１３に積層された積層チップを備える構造であればよい。
FIG. 15 is a cross-sectional view of the
撮像チップ１１３において、素子等が形成されるＸ‐Ｙ平面の面積は予め定められている。したがって、撮像チップ１１３において、１列分の画素１４に対して２つのＡＤ変換部２３および２つの判定部２５を全列について設けることには、素子レイアウトおよび配線等についての物理的な制約がある。ＡＤ変換部２３および判定部２５を撮像チップ１１３とは異なる信号処理チップ１１１に設けることにより、当該制約をなくすことができる。
In the
本例の撮像素子２００は、入射光に対応した画像信号を出力する撮像チップと１１３と、画像信号を処理する信号処理チップ１１１と、画像信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有する複数のバンプ１０９により互いに電気的に接続される。本例では、信号処理チップ１１１およびメモリチップ１１２が、上述した積層チップに相当する。
The
なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面右方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。
As shown in the figure, incident light is incident mainly in the positive direction of the Z-axis indicated by a white arrow. In the present embodiment, in the
撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。撮像チップ１１３は、図１から図１４に示した撮像部１００に対応する。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、光に応じた電荷を生成する複数の光電変換素子１０４を有する。撮像チップ１１３は、当該電荷に応じた画像信号を出力する。本例のＰＤ層１０６は、二次元的に配された複数の光電変換素子１０４、および、光電変換素子１０４に対応して設けられたトランジスタ１０５を有する。トランジスタ１０５は、図４における各トランジスタに対応する。
An example of the
ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、光電変換素子１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２、光電変換素子１０４およびトランジスタ１０５の組が画素の構成単位となる。
A
カラーフィルタ１０２における入射光の入射側には、それぞれの光電変換素子１０４に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応する光電変換素子１０４へ向けて入射光を集光する。
On the incident light incident side of the
配線層１０８は、ＰＤ層１０６からの画像信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
The
配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
A plurality of
同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
Similarly, a plurality of
なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの出力配線に対して一つ設けてよく、複数設けてもよい。バンプ１０９の大きさは、光電変換素子１０４のピッチよりも大きくてもよい。また、画素以外の周辺領域において、画素に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。
The bonding between the
信号処理チップ１１１は、撮像チップ１１３が出力するアナログの画像信号を受け取る。信号処理チップ１１１は、受け取った画像信号に対して所定の信号処理を行い、メモリチップ１１２に出力する。メモリチップ１１２は、信号処理チップ１１１から受け取る信号を保存する。
The
本例の信号処理チップ１１１には、複数のＡＤ変換部２３および複数の判定部２５が設けられる。また、信号処理チップ１１１には、制御部６０が更に設けられてもよい。それぞれのＡＤ変換部２３は、撮像チップ１１３が出力するアナログの画像信号を、デジタル信号に変換する。信号処理チップ１１１は、当該デジタル信号に対して、補正等の所定の演算を行ってよい。
In the
複数のＡＤ変換部２３の少なくとも一部は、複数の画素が設けられた面と平行なＡＤＣ配置面において、二次元に配置される。例えば、撮像チップ１１３において複数の画素が行方向および列方向に沿って二次元に配置されており、信号処理チップ１１１において複数のＡＤ変換部２３が行方向および列方向に沿って二次元に配置される。複数のＡＤ変換部２３は、信号処理チップ１１１において等間隔に配置されることが好ましい。
At least some of the plurality of
また、ＡＤＣ配置面に配置された複数のＡＤ変換部２３のうちの少なくとも二以上のＡＤ変換部２３は並列動作する。並列動作とは、複数のＡＤ変換部２３におけるアナログ−デジタル変換処理が、略同時に行われることを指す。これにより、当該二以上のＡＤ変換部２３が略同時に発熱することとなり、複数のＡＤ変換部２３が独立に動く場合に比べて、温度分布のばらつきを低減することができる。なお、ＡＤＣ配置面に配置された複数のＡＤ変換部２３の全てが略同時に動作することが好ましい。これにより、ＡＤ変換部２３の発熱による温度分布を均等にすることができる。また、複数のＡＤ変換部２３は、信号処理チップ１１１のＡＤＣ配置面において、不均一に配置されてもよい。例えば複数のＡＤ変換部２３は、信号処理チップ１１１のＡＤＣ配置面の中央よりも、端部の方が密度が高くなるように配置されてもよい。
In addition, at least two or more
また、複数のＡＤ変換部２３は、信号処理チップ１１１において、Ｚ軸方向における位置が異なる複数のＡＤＣ配置面に配置されてもよい。つまり、信号処理チップ１１１は多層チップであり、複数のＡＤ変換部２３は、異なる層に設けられてよい。この場合においても、複数のＡＤ変換部２３が配置された位置を、単一のＡＤＣ配置面に投影した場合に、それぞれのＡＤ変換部２３が等間隔に配置されることが好ましい。
In addition, the plurality of
また、信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。
The
図１６は、撮像装置５００のより詳細な構成例を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸（ＯＡ）に沿って入射する被写体光束を撮像部１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像部１００、システム制御部５０１、駆動部５０２、ワークメモリ５０４、操作部１８６、記録部５０５、表示部５０６および駆動部５１４を主に備える。
FIG. 16 is a block diagram illustrating a more detailed configuration example of the
撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１６では瞳近傍に配置された仮想的な１枚のレンズで代表して表している。駆動部５０２は、システム制御部５０１からの指示に従って撮像部１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。本例において駆動部５０２およびシステム制御部５０１は、図１から図１５に関連して説明したＡＤ変換部２３、判定部２５および制御部６０の機能を担う。図１５に示したように、駆動部５０２およびシステム制御部５０１を形成する制御回路の一部は、チップ化されて、撮像部１００に積層されてもよい。
The photographing
撮像部１００は、第１出力線４５を経由して、加算デジタル信号をシステム制御部５０１の画像処理部５１１へ引き渡す。撮像部１００は、図１から図１５において説明した撮像部１００と同一である。画像処理部５１１は、当該加算デジタル信号に基づいて画素値を算出する。具体的には、画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。
The
撮像部１００は、第２出力線４９を経由して、デジタル信号をシステム制御部５０１の画像処理部５１１へ引き渡してもよい。画像処理部５１１は、当該デジタル信号に基づいて右目用画素および左目用画素の画素値を算出する。具体的には、画像処理部５１１は、ワークメモリ５０４をワークスペースとして算出した画素値に対して種々の画像処理を施し、画像データを生成する。生成された画像データは、記録部５０５に記録される。
The
撮像部１００は、第２出力線４９を経由して、デジタル信号をシステム制御部５０１の焦点検出部５１３へ引き渡す。焦点検出部５１３は、デジタル信号に基づいて焦点位置を検出する。焦点検出部５１３は、デジタル信号に基づいて焦点位置を検出する。具体的には、焦点検出部５１３は、右目用および左目用の複数の光電変換部１２に由来するデジタル信号を用いて、一対の像の強度分布情報を生成する。焦点検出部５１３は、当該一対の像の強度分布情報を用いて、像ズレ検出演算処理（相関演算処理および位相差検出処理）を行う。
The
これにより、焦点検出部５１３は、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量を検出する。さらに、焦点検出部５１３は、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行い、予定結像面に対する現在の結像面の偏差（デフォーカス量）を算出する。駆動部５１４は当該でフォーカス量を用いて撮影レンズ５２０の位置を調節する。
Thereby, the
撮像部１００は、第２出力線４９を経由して、デジタル信号をシステム制御部５０１の演算部５１２へ引き渡す。システム制御部５０１の演算部５１２は、各光電変換部１２の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。なお、図１から図１５に関連して説明した制御部６０が、これらの撮像条件を制御してもよい。
The
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. It is apparent from the description of the scope of claims that embodiments with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Even if the operation flow in the claims, the description, and the drawings is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１２ 光電変換部、１４ 画素、２１ 行制御線、２２ 列信号線、２３ ＡＤ変換部、２４ メモリ、２５ 判定部、２７ ＡＤ変換装置、２８ 第２ラインメモリ、２９ 判定装置、３０ 加算回路、３２ 加算装置、３４ メモリ、３６ 第１ラインメモリ、４１ 行走査回路、４５ 第１出力線、４９ 第２出力線、５０ タイミング制御回路、５１ 第１列走査回路、５２ 第２列走査回路、６０ 制御部、１００ 撮像部、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パッシベーション膜、１０４ 光電変換素子、１０５ トランジスタ、１０６ ＰＤ層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、１５２ 転送トランジスタ、１５４ リセットトランジスタ、１５６ 増幅トランジスタ、１５８ 選択トランジスタ、１８６ 操作部、１８８ アンプ、２００ 撮像素子、５００ 撮像装置、５２０ 撮影レンズ、５０１ システム制御部、５０２ 駆動部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５１１ 画像処理部、５１２ 演算部、５１３ 焦点検出部、５１４ 駆動部
12 photoelectric conversion units, 14 pixels, 21 row control lines, 22 column signal lines, 23 AD conversion units, 24 memories, 25 determination units, 27 AD conversion units, 28 second line memories, 29 determination units, 30 addition circuits, 32 Adder, 34 memory, 36 first line memory, 41 row scanning circuit, 45 first output line, 49 second output line, 50 timing control circuit, 51 first column scanning circuit, 52 second column scanning circuit, 60 control Part, 100 image pickup part, 101 micro lens, 102 color filter, 103 passivation film, 104 photoelectric conversion element, 105 transistor, 106 PD layer, 107 wiring, 108 wiring layer, 109 bump, 110 TSV, 111 signal processing chip, 112 memory Chip, 113 imaging chip, 152 transfer transistor, 154 Set transistor, 156 amplification transistor, 158 selection transistor, 186 operation unit, 188 amplifier, 200 imaging device, 500 imaging device, 520 photographing lens, 501 system control unit, 502 drive unit, 504 work memory, 505 recording unit, 506
Claims (13)
前記画素から出力されたアナログ信号をデジタル信号に変換するＡＤ変換部と、
前記ＡＤ変換部で変換されたデジタル信号の上位ビットに基づいて、前記第１方向に配置された複数の前記画素毎に撮像条件を制御する制御部と、
を備える撮像素子。 A plurality of pixels that have a photoelectric conversion unit that photoelectrically converts incident light to generate charges, output analog signals based on the charges generated by the photoelectric conversion unit, and are arranged in the first direction and the second direction When,
An AD converter that converts an analog signal output from the pixel into a digital signal;
A control unit that controls imaging conditions for each of the plurality of pixels arranged in the first direction based on upper bits of the digital signal converted by the AD conversion unit;
An imaging device comprising:
前記制御部は、前記デジタル信号の上位ビットに基づいて、前記画素の電荷蓄積時間、前記画素から前記アナログ信号が出力されるフレームレート、前記アナログ信号の増幅率の少なくとも１つを制御する撮像素子。 The imaging device according to claim 1,
The control unit controls at least one of a charge accumulation time of the pixel, a frame rate at which the analog signal is output from the pixel, and an amplification factor of the analog signal based on the upper bits of the digital signal. .
前記制御部は、前記ＡＤ変換部で変換されたデジタル信号の上位ビットが第１理論値から第２理論値へ遷移しない場合、前記画素の電荷蓄積時間を長くする撮像素子。 The image sensor according to claim 1 or 2,
The image pickup device that lengthens the charge accumulation time of the pixel when the high order bit of the digital signal converted by the AD converter does not transition from the first theoretical value to the second theoretical value.
前記制御部は、前記ＡＤ変換部で変換されたデジタル信号の全てのビットが第１理論値から第２理論値へ遷移した場合、前記画素の電荷蓄積時間を短くする撮像素子。 The imaging device according to any one of claims 1 to 3,
The control unit is an imaging device that shortens the charge accumulation time of the pixel when all the bits of the digital signal converted by the AD conversion unit transition from the first theoretical value to the second theoretical value.
前記制御部は、前記画素の電荷蓄積時間を長くしても前記ＡＤ変換部で変換されたデジタル信号の上位ビットが第１理論値から第２理論値へ遷移しないと判別した場合、前記アナログ信号の増幅率を大きくする撮像素子。 The imaging device according to claim 3 ,
Wherein, when the upper bits of the digital signal be longer the charge accumulation time is converted by the AD conversion unit of the pixel is determined to not transition from the first theory to the second theory, the analog signal An image sensor that increases the amplification factor.
前記制御部は、前記ＡＤ変換部で変換されたデジタル信号の全てのビットが第１理論値から第２理論値へ遷移した場合において、前記画素の電荷蓄積時間を短くすると前記電荷蓄積時間がフレーム長よりも短くなる場合には、前記アナログ信号の増幅率を小さくする撮像素子。 The imaging device according to any one of claims 1 to 3 ,
When all the bits of the digital signal converted by the AD converter have transitioned from the first theoretical value to the second theoretical value, the control unit reduces the charge accumulation time of the pixel to the frame. An image sensor that reduces the amplification factor of the analog signal when the length is shorter than the length .
前記制御部は、前記第１方向に配置された複数の前記画素のうち少なくとも１つの画素の前記デジタル信号の上位ビットに基づいて、前記第１方向に配置された複数の前記画素毎に撮像条件を制御する撮像素子。 The imaging device according to any one of claims 1 to 6 ,
The control unit is configured to capture an imaging condition for each of the plurality of pixels arranged in the first direction based on an upper bit of the digital signal of at least one pixel among the plurality of pixels arranged in the first direction. An image sensor for controlling.
前記画素は、マイクロレンズと、前記マイクロレンズを透過した光を光電変換して電荷を生成する複数の前記光電変換部とを有し、複数の前記光電変換部でそれぞれ生成された電荷に基づく複数のアナログ信号を出力し、
前記ＡＤ変換部は、複数の前記アナログ信号を複数のデジタル信号にそれぞれ変換し、
前記制御部は、複数の前記デジタル信号の上位ビットに基づいて、前記画素を制御する撮像素子。 The imaging device according to any one of claims 1 to 7 ,
The pixel includes a microlens and a plurality of the photoelectric conversion units that generate charges by photoelectrically converting light transmitted through the microlens, and a plurality of pixels based on the charges generated by the plurality of photoelectric conversion units, respectively. Output analog signal,
The AD converter converts each of the plurality of analog signals into a plurality of digital signals,
The said control part is an image pick-up element which controls the said pixel based on the high-order bit of the said several digital signal.
前記制御部は、複数の前記デジタル信号の上位ビットに基づいて、複数の前記光電変換部のそれぞれの電荷蓄積時間、前記画素から複数の前記アナログ信号がそれぞれ出力されるフレームレート、複数の前記アナログ信号のそれぞれの増幅率の少なくとも１つをそれぞれ制御する撮像素子。 The image sensor according to claim 8 , wherein
The control unit is configured to, based on upper bits of the plurality of digital signals, charge accumulation times of the plurality of photoelectric conversion units, frame rates at which the plurality of analog signals are output from the pixels, and a plurality of the analogs, respectively. An image sensor that controls at least one of the amplification factors of each signal.
前記画素は、マイクロレンズと、前記マイクロレンズを透過した光を光電変換して電荷を生成する第１光電変換部と第２光電変換部とを有し、前記第１光電変換部で生成された電荷に基づく第１アナログ信号と前記第２光電変換部で生成された電荷に基づく第２アナログ信号とを出力し、
前記ＡＤ変換部は、第１アナログ信号を第１デジタル信号に、第２アナログ信号を第２デジタル信号に変換し、
前記制御部は、前記第１デジタル信号の上位ビットに基づいて、前記画素を制御する撮像素子。 The imaging device according to any one of claims 1 to 7 ,
The pixel includes a microlens, a first photoelectric conversion unit that photoelectrically converts light transmitted through the microlens and generates a charge, and a second photoelectric conversion unit that is generated by the first photoelectric conversion unit. Outputting a first analog signal based on charges and a second analog signal based on charges generated by the second photoelectric conversion unit;
The AD converter converts a first analog signal into a first digital signal and a second analog signal into a second digital signal,
The said control part is an image pick-up element which controls the said pixel based on the high-order bit of the said 1st digital signal.
前記制御部は、前記第１デジタル信号の上位ビットに基づいて、前記第１光電変換部の電荷蓄積時間、前記画素から前記第１アナログ信号が出力されるフレームレート、前記第１アナログ信号の増幅率の少なくとも１つを制御し、前記第２デジタル信号の上位ビットに基づいて、前記第２光電変換部の電荷蓄積時間、前記画素から前記第２アナログ信号が出力されるフレームレート、前記第２アナログ信号の増幅率の少なくとも１つを制御する撮像素子。 The image sensor according to claim 10 , wherein
The control unit is configured to determine a charge accumulation time of the first photoelectric conversion unit, a frame rate at which the first analog signal is output from the pixel, and an amplification of the first analog signal based on upper bits of the first digital signal. Controlling at least one of the rates, and based on the upper bits of the second digital signal, the charge accumulation time of the second photoelectric conversion unit, the frame rate at which the second analog signal is output from the pixel, the second An image sensor that controls at least one of the amplification factors of an analog signal.
前記ＡＤ変換部は、前記第１光電変換部で生成された電荷に基づくアナログ信号をデジタル信号に変換する第１ＡＤ変換部と、前記第２光電変換部で生成された電荷に基づくアナログ信号をデジタル信号に変換する第２ＡＤ変換部とを有する撮像素子。 The imaging device according to claim 11 ,
The AD converter unit converts the analog signal based on the electric charge generated by the first photoelectric conversion unit into a digital signal and the analog signal based on the electric charge generated by the second photoelectric conversion unit. An image sensor having a second AD conversion unit for converting into a signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014035584A JP6405646B2 (en) | 2014-02-26 | 2014-02-26 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014035584A JP6405646B2 (en) | 2014-02-26 | 2014-02-26 | Imaging device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018176084A Division JP7055727B2 (en) | 2018-09-20 | 2018-09-20 | Image sensor and camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015162735A JP2015162735A (en) | 2015-09-07 |
| JP6405646B2 true JP6405646B2 (en) | 2018-10-17 |
Family
ID=54185583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014035584A Active JP6405646B2 (en) | 2014-02-26 | 2014-02-26 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6405646B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017108281A (en) * | 2015-12-09 | 2017-06-15 | 株式会社ニコン | Imaging device and imaging apparatus |
| CN108702467B (en) | 2016-03-24 | 2020-12-08 | 富士胶片株式会社 | Control device and control method for solid electronic imaging device |
| JP2019004225A (en) * | 2017-06-12 | 2019-01-10 | 日本放送協会 | Signal reading circuit and solid-state imaging element |
| JP7055727B2 (en) * | 2018-09-20 | 2022-04-18 | 株式会社ニコン | Image sensor and camera |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2587559B2 (en) * | 1991-12-17 | 1997-03-05 | リズム時計工業株式会社 | Image signal forming method for liquid crystal display |
| JPH09298689A (en) * | 1996-05-07 | 1997-11-18 | Fujitsu Ltd | Image pickup device |
| JP2002101341A (en) * | 2000-09-26 | 2002-04-05 | Canon Inc | Imaging unit and imaging system |
| JP2006197393A (en) * | 2005-01-14 | 2006-07-27 | Canon Inc | Solid-state imaging device, driving method thereof and camera |
| JP2008228039A (en) * | 2007-03-14 | 2008-09-25 | Canon Inc | Network camera apparatus and control method thereof |
| RU2018109081A (en) * | 2012-05-02 | 2019-02-26 | Никон Корпорейшн | DEVICE FOR IMAGE FORMATION |
-
2014
- 2014-02-26 JP JP2014035584A patent/JP6405646B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015162735A (en) | 2015-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5979849B2 (en) | Imaging device and imaging apparatus | |
| JP6765860B2 (en) | Image sensor, image sensor, and image signal processing method | |
| JP6413235B2 (en) | Imaging device and imaging apparatus | |
| JPWO2013046973A1 (en) | Solid-state imaging device, imaging apparatus, and focusing control method | |
| JP6413233B2 (en) | Imaging device and imaging device | |
| CN105684436B (en) | Image pickup element and image pickup apparatus | |
| JP7232291B2 (en) | Imaging element and imaging device | |
| JP6405646B2 (en) | Imaging device | |
| CN107710744A (en) | Picture pick-up device and picture pick-up device | |
| JP5187039B2 (en) | Solid-state imaging device and electronic camera using the same | |
| JP7055727B2 (en) | Image sensor and camera | |
| JP5750918B2 (en) | Solid-state imaging device and imaging apparatus using the same | |
| JP6702351B2 (en) | Imaging device | |
| JP2014165778A (en) | Solid state image sensor, imaging device and focus detector | |
| GB2575188A (en) | Image pickup device and imaging apparatus | |
| JP6318526B2 (en) | Imaging device | |
| US11381762B2 (en) | Integrated circuit chip and image capturing apparatus | |
| JP2018056944A (en) | Imaging device and imaging element | |
| JP2014230242A (en) | Imaging device and imaging apparatus | |
| JP2015154153A (en) | Camera with imaging apparatus | |
| JP6825665B2 (en) | Image sensor and image sensor | |
| JP6597769B2 (en) | Imaging device and imaging apparatus | |
| JP2018056945A (en) | Imaging device and imaging element | |
| JP2023057134A (en) | Image pickup device and imaging apparatus | |
| JP6268782B2 (en) | Imaging device and imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171107 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180403 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180604 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180802 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180903 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6405646 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |