JP6366325B2 - Imaging system - Google Patents
Imaging system Download PDFInfo
- Publication number
- JP6366325B2 JP6366325B2 JP2014068841A JP2014068841A JP6366325B2 JP 6366325 B2 JP6366325 B2 JP 6366325B2 JP 2014068841 A JP2014068841 A JP 2014068841A JP 2014068841 A JP2014068841 A JP 2014068841A JP 6366325 B2 JP6366325 B2 JP 6366325B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- pixel
- color
- signal
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、撮像システムに関する。 The present invention relates to an imaging system.
近年、被写体に赤外光を投射し、その反射光を撮像装置で受光することで、被写体距離を算出する方法が提案されている。光の速度は、３×１０ｍ／ｓである。これが既知であるので、光源より対象物に向かってパルス光を放ち、対象物からはね返ってきた反射光を受け、そのパルス光の遅れ時間を計測することで、対象物までの距離を測定することができる。ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法とは、このパルス光の飛行時間を測定することで、対象物までの距離を測る方法である。遅れ時間計測範囲に対する距離計測範囲を読み取ることができ、例えば遅れ時間計測範囲が１μｓであり、遅れ時間計測分解能が、１ｎｓのものができれば、１５０ｍの範囲を１５ｃｍの分解能で測定でき、車載用の距離センサとして利用可能である。 In recent years, there has been proposed a method of calculating a subject distance by projecting infrared light onto a subject and receiving the reflected light with an imaging device. The speed of light is 3 × 10 m / s. Since this is known, the pulse light is emitted from the light source toward the target, the reflected light bounced back from the target is received, and the distance to the target is measured by measuring the delay time of the pulsed light. Can do. The TOF (Time-Of-Flight) method is a method for measuring the distance to an object by measuring the time of flight of this pulsed light. The distance measurement range with respect to the delay time measurement range can be read. For example, if the delay time measurement range is 1 μs and the delay time measurement resolution is 1 ns, the 150 m range can be measured with a resolution of 15 cm. It can be used as a distance sensor.
この原理を応用し、電荷振り分け方式の画素構造を有するＣＭＯＳ型固体撮像装置を用いて、２次元の距離画像を取得する技術が提案されている（例えば、特許文献１参照）。具体的には、照射パルス光が物体に反射して、遅れて到達する反射パルス光の先行部分に対応する信号成分と後行部分に対応する信号成分をスイッチで振り分ける。これらの信号を画素毎に検出し、先行部分と後行部分の比率を求めることにより、画素毎の距離情報を得ることができる。 By applying this principle, a technique for acquiring a two-dimensional distance image using a CMOS solid-state imaging device having a charge distribution type pixel structure has been proposed (for example, see Patent Document 1). Specifically, the irradiation pulse light is reflected by the object, and the signal component corresponding to the preceding portion of the reflected pulse light that arrives late and the signal component corresponding to the following portion are distributed by the switch. The distance information for each pixel can be obtained by detecting these signals for each pixel and obtaining the ratio of the preceding part and the succeeding part.
さらに、ＴＯＦ法でフォトダイオードの開口率を低下させない方法として、偶数行と奇数行で転送タイミングを変えることで、異なる画素出力を用いて距離情報を得る方法が提案されている（例えば、特許文献２参照）。 Further, as a method of not reducing the aperture ratio of the photodiode by the TOF method, a method of obtaining distance information using different pixel outputs by changing transfer timing between even rows and odd rows has been proposed (for example, Patent Documents). 2).
通常、画像を生成するための固体撮像装置は、画素上に赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタがベイヤ状に配置される。特許文献２では、偶数行画素の信号と奇数行画素の信号を用いて、距離情報を得るようにしている。しかし、これでは色違いの画素出力を用いることになり、正確な距離情報を得るために、後段の処理回路が複雑になる課題がある。また、１つのフローティングディフュージョン部を偶数行画素と奇数行画素で共有しているため、ほぼ同時に転送される信号を保持するためのメモリが別途必要になる。また、通常の撮像システムには、パッシブ型の専用のセンサで、位相差検出により焦点検出情報を生成させる手段を有しているが、一般的に暗い状況では精度が落ちる課題がある。
In general, in a solid-state imaging device for generating an image, red (R), green (G), and blue (B) color filters are arranged in a Bayer shape on pixels. In
本発明の目的は、簡単な構成で被写体までの距離を算出するための画素信号を生成することができる撮像システムを提供することである。 An object of the present invention is to provide an imaging system capable of generating a pixel signal for calculating a distance to a subject with a simple configuration.
本発明の撮像システムは、第１の光電変換素子および前記第１の光電変換素子の電荷を転送する第１の転送スイッチを備え、前記第１の光電変換素子の電荷に応じた信号を出力する第１の画素と、第２の光電変換素子および前記第２の光電変換素子の電荷を転送する第２の転送スイッチを備え、前記第２の光電変換素子の電荷に応じた信号を出力する第２の画素とを有する複数の画素が行列状に配置され、前記第１の画素および前記第２の画素は同色のカラーフィルタを備えるとともに互いに隣接して配置された固体撮像素子と、被写体に光を投射する発光素子と、前記第１の画素および前記第２の画素の出力信号に基づいて前記被写体までの距離を算出する距離算出部と、第１のモードと第２のモードのいずれかのモードに切り替えるように制御する制御手段と、を有し、前記制御手段は、前記第１のモードにおいて、前記第１の転送スイッチおよび前記第２の転送スイッチを同時にオンするように前記固体撮像素子を駆動するように制御し、前記第２のモードにおいて、前記第１の転送スイッチをオンし、その後、前記発光素子による光の投射を開始し、その後、前記第１の転送スイッチをオフし、前記第２の転送スイッチをオンし、その後、前記発光素子が光の投射を終了し、その後、前記第２の転送スイッチをオフするように前記固体撮像素子および前記発光素子を駆動するとともに、前記距離算出部が前記被写体までの距離を算出するように制御することを特徴とする。 The imaging system of the present invention includes a first photoelectric conversion element and a first transfer switch that transfers the charge of the first photoelectric conversion element, and outputs a signal corresponding to the charge of the first photoelectric conversion element. A first pixel, a second photoelectric conversion element, and a second transfer switch that transfers the charge of the second photoelectric conversion element, and outputs a signal corresponding to the charge of the second photoelectric conversion element. It is arranged in a plurality of a matrix state and a second pixel, the first pixel and the second pixel and the solid-state image sensor disposed adjacent to each other provided with a same color of the color filter, the photographic material A light emitting element that projects light onto the light source , a distance calculation unit that calculates a distance to the subject based on output signals of the first pixel and the second pixel, and any one of the first mode and the second mode Switch to some mode Control means for controlling, and in the first mode, the control means drives the solid-state imaging device so as to simultaneously turn on the first transfer switch and the second transfer switch. Controlling, in the second mode, to turn on the first transfer switch, and then start projecting light by the light emitting element, and then turn off the first transfer switch, and the second transfer The switch is turned on, and then the light emitting element finishes projecting light, and then the solid-state imaging device and the light emitting element are driven to turn off the second transfer switch, and the distance calculation unit Control is performed so as to calculate the distance to the subject .
簡単な構成で被写体までの距離を算出するための高精度の画素信号を得ることができる。これにより、被写体までの距離を高精度で算出することができる。 It is possible to obtain a highly accurate pixel signal for calculating the distance to the subject in easy single configuration. As a result, the distance to the subject can be calculated with high accuracy.
（第１の実施形態）
図１は、本発明の第１の実施形態による画素１００の構成例を示す図である。フォトダイオード１０１は、光電変換により電荷を生成する光電変換素子であり、アノードが接地されている。フォトダイオード１０１のカソードは、転送ＭＯＳトランジスタ（転送スイッチ）１０２を介して、フローティングディフュージョンＣｆｄ及び増幅ＭＯＳトランジスタ１０４のゲートに接続されている。増幅ＭＯＳトランジスタ１０４のゲートは、フローティングディフュージョンＣｆｄをリセットするためのリセットＭＯＳトランジスタ１０３のソースが接続されている。リセットＭＯＳトランジスタ１０３のドレインは、電源電圧ＶＤＤのノードに接続されている。増幅ＭＯＳトランジスタ１０４は、ドレインが電源電圧ＶＤＤのノードに接続され、ソースが選択ＭＯＳトランジスタ１０５のドレインに接続されている。
(First embodiment)
FIG. 1 is a diagram illustrating a configuration example of a
転送ＭＯＳトランジスタ１０２のゲートには、信号ＰＴＸが入力される。転送ＭＯＳトランジスタ１０２は、信号ＰＴＸに応じて、フォトダイオード１０１の電荷をフローティングディフュージョンＣｆｄ及び増幅ＭＯＳトランジスタ１０４のゲートに転送する。リセットＭＯＳトランジスタ１０３のゲートには、信号ＰＲＥＳが入力される。リセットＭＯＳトランジスタ１０３は、信号ＰＲＥＳに応じて、フローティングディフュージョンＣｆｄ及びフォトダイオード１０１の電荷をリセットする。選択ＭＯＳトランジスタ１０５のゲートには、信号ＰＳＥＬが入力される。選択ＭＯＳトランジスタ１０５は、信号ＰＳＥＬに応じて、増幅ＭＯＳトランジスタ１０４のソースを端子ＯＵＴに接続する。端子ＯＵＴは、図３の垂直出力線３０１に接続される。増幅ＭＯＳトランジスタ１０４は、選択ＭＯＳトランジスタ１０５を介して、図３の垂直出力線３０１の負荷の電流源３０２に接続されることで、ソースフォロワアンプとして機能する。なお、信号ＰＲＥＳ及びＰＳＥＬは、それぞれ、図２の垂直走査部２０２により生成される。
A signal PTX is input to the gate of the
図２は、ＣＭＯＳ型固体撮像装置２００の構成例を示す図である。固体撮像装置２００は、画素部２０１、垂直走査部２０２、読み出し部２０３、水平走査部２０４及び読み出しアンプ１５０を有する。画素部２０１は、２次元行列状に配置された複数の画素１００（図１）を有し、光学系により結像された光学像を受光する。垂直走査部２０２は、信号ＰＴＸ、ＰＳＥＬ及びＰＴＸにより、画素部２０１内の画素１００の行を順に選択する。水平走査部２０４は、画素部２０１内の画素の列を順に選択する。これにより、画素部２０１内の複数の画素は、順に選択される。読み出し部２０３は、垂直走査部２０２及び水平走査部２０４によって選択される画素１００の信号を読み出しアンプ１５０に読み出す。なお、固体撮像装置２００は、上記の各回路にタイミング信号を提供するタイミングジェネレータ等を備えても良い。
FIG. 2 is a diagram illustrating a configuration example of the CMOS solid-
図３は、図１の画素１００及び図２の読み出し部２０３の一部の構成例を示す図である。画素１００＿００は、第０行第０列の画素１００である。画素１００＿０１は、第０行第１列の画素１００である。画素１００＿０２は、第０行第２列の画素１００である。画素１００＿０３は、第０行第３列の画素１００である。画素１００＿１０は、第１行第０列の画素１００である。画素１００＿１１は、第１行第１列の画素１００である。画素１００＿１２は、第１行第２列の画素１００である。画素１００＿１３は、第１行第３列の画素１００である。８個の画素１００＿００〜１００＿１３は、画素部２０１内で２次元行列状に配置される。８個の画素１００＿００〜１００＿１３の例を説明するが、実際にはより多数の画素１００が配置されている。各列の画素１００の出力端子ＯＵＴは、列毎に配置された垂直出力線３０１及び電流源３０２に共通に接続されている。電流源３０２は、垂直出力線３０１の負荷である。
3 is a diagram illustrating a configuration example of a part of the
信号ＰＴＸ＿００〜ＰＴＸ＿１３は、それぞれ、画素１００＿００〜１００＿１３の転送ＭＯＳトランジスタ１０２のゲートに入力される信号ＰＴＸである。信号ＰＳＥＬ＿０は、第０行の画素１００＿００，１００＿０１，１００＿０２，１００＿０３の選択ＭＯＳトランジスタ１０５のゲートに入力される信号ＰＳＥＬである。
The signals PTX_00 to PTX_13 are signals PTX input to the gates of the
増幅アンプ３０３は、垂直出力線３０１に読み出された信号を増幅する。保持容量３０６は、スイッチ３０４を介して、増幅アンプ３０３の出力信号を保持する。保持容量３０７は、スイッチ３０５を介して、増幅アンプ３０３の出力信号を保持する。スイッチ３０４は、図５の信号ＰＴＮにより駆動され、保持容量３０６は画素１００のリセット状態の信号（Ｎ信号）を保持する。また、スイッチ３０５は、図５の信号ＰＴＳにより駆動され、保持容量３０７は画素１００の光電変換に基づく信号（Ｓ信号）を保持する。保持容量３０６及び３０７の各列の信号は、水平走査部２０４によって、読み出しアンプ１５０の入力端子に順次転送される。読み出しアンプ１５０は、保持容量３０７のＳ信号と保持容量３０６のＮ信号の差分を出力する。
The
図４は、画素１００＿００〜１００＿１３のレイアウト図である。画素１００＿００〜１００＿１３は、それぞれ、半導体層に、フォトダイオード１０１、転送ＭＯＳトランジスタ１０２及びフローティングディフュージョンＣｆｄを有し、その直上にマイクロレンズ４０１が配置される。また、フォトダイオード１０１の上には、カラーフィルタ層がベイヤ配列されている。画素１００＿００及び１００＿０２には、赤色（Ｒ）のカラーフィルタが配置される。画素１００＿０１及び１００＿０３には、緑色（Ｇｒ）のカラーフィルタが配置される。画素１００＿１０及び１００＿１２には、緑色（Ｇｂ）のカラーフィルタが配置される。画素１００＿１１及び１００＿１３には、青色（Ｂ）のカラーフィルタが配置される。
FIG. 4 is a layout diagram of the pixels 100_00 to 100_13. Each of the pixels 100_00 to 100_13 includes a
図５は、固体撮像装置２００の第１のモードにおける駆動方法を示すタイミングチャートであり、被写体を撮像するためにフォトダイオード１０１に蓄積された信号を１画面分、読み出す駆動方法を示す。横軸は、時間の経過を示しており、その時刻をＴ１〜Ｔ１３で示している。信号ＨＤがローレベルからハイレベルになることで、垂直走査部２０２による画素選択行が切り替わる。また、信号ＨＤの位相は、選択行の信号ＰＳＥＬの位相を示している。また、各パルス信号はハイレベルで対応するトランジスタをオンさせる。さらに、第０行の同一行の転送ＭＯＳトランジスタ１０２は、２列毎の信号ＰＴＸ＿００，ＰＴＸ＿０１と信号ＰＴＸ＿０２，ＰＴＸ＿０３により駆動される。第１行の同一行の転送ＭＯＳトランジスタ１０２は、２列毎の信号ＰＴＸ＿１０，ＰＴＸ＿１１と信号ＰＴＸ＿１２，ＰＴＸ＿１３により駆動される。時刻Ｔ１以前では、フォトダイオード１０１は、光電変換により生成した電荷の蓄積を行っている。
FIG. 5 is a timing chart showing a driving method in the first mode of the solid-
時刻Ｔ１では、信号ＨＤ、ＰＴＳ、ＰＴＮがローレベルであり、信号ＰＲＥＳがハイレベルである。次に、時刻Ｔ２では、信号ＨＤ（ＰＳＥＬ）がローレベルからハイレベルになることで、垂直走査部２０２により第０行が選択される。具体的には、第０行の信号ＰＳＥＬ＿０がローレベルからハイレベルになり、第０行の選択ＭＯＳトランジスタ１０５がオンし、第０行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１に接続される。このとき、信号ＰＲＥＳはハイレベルであり、全画素１００のリセットＭＯＳトランジスタ１０３がオンし、フローティングディフュージョンＣｆｄはリセット状態である。
At time T1, the signals HD, PTS, and PTN are at a low level, and the signal PRES is at a high level. Next, at time T2, the signal HD (PSEL) changes from the low level to the high level, so that the
次に、時刻Ｔ３〜Ｔ４では、信号ＰＴＳ及びＰＴＮがハイレベルになり、スイッチ３０４及び３０５がオンし、保持容量３０６及び保持容量３０７はリセットされる。
Next, at times T3 to T4, the signals PTS and PTN are at a high level, the
次に、時刻Ｔ５では、信号ＰＲＥＳがローレベルになり、全画素１００のリセットＭＯＳトランジスタ１０３がオフし、フローティングディフュージョンＣｆｄのリセット状態が解除される。
Next, at time T5, the signal PRES goes low, the
次に、時刻Ｔ６〜Ｔ７では、信号ＰＴＮが再びハイレベルになり、スイッチ３０４がオンし、画素１００のリセット状態解除後の出力信号（Ｎ信号）が保持容量３０６に保持さる。
Next, at times T <b> 6 to T <b> 7, the signal PTN becomes high level again, the
次に、時刻Ｔ８〜Ｔ９では、信号ＰＴＸ＿００，ＰＴＸ＿０１及び信号ＰＴＸ＿０２，ＰＴＸ＿０３がハイレベルになる。これにより、第０行の全画素１００＿００〜１００＿０３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。また、時刻Ｔ８〜Ｔ１０では、信号ＰＴＳが再びハイレベルになり、スイッチ３０５がオンし、第０行の画素１００＿００〜１００＿０３の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持される。
Next, at times T8 to T9, the signals PTX_00 and PTX_01 and the signals PTX_02 and PTX_03 are at a high level. Thereby, in all the pixels 100_00 to 100_03 in the 0th row, the
次に、時刻Ｔ１０〜Ｔ１１の期間では、水平走査部２０４により、保持容量３０６及び３０７に保持された信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、保持容量３０７のＳ信号と保持容量３０６のＮ信号の差分を出力する。
Next, during the period from time T <b> 10 to T <b> 11, the signals held in the holding
次に、時刻Ｔ１１では、信号ＰＲＥＳがハイレベルになり、全画素１００のリセットＭＯＳトランジスタ１０３がオンし、フローティングディフュージョンＣｆｄがリセットされる。
Next, at time T11, the signal PRES goes high, the
時刻Ｔ１１〜Ｔ１２では、信号ＨＤ及びＰＳＥＬ＿０がローレベルになり、第０行の選択ＭＯＳトランジスタ１０５がオフし、第０行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１から切断される。
At times T11 to T12, the signals HD and PSEL_0 are at a low level, the 0th row
次に、時刻Ｔ１２では、信号ＨＤ及びＰＳＥＬ＿１がローレベルからハイレベルになり、第１行の選択ＭＯＳトランジスタ１０５がオンし、第１行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１から切断される。時刻Ｔ２〜Ｔ１２と同様に、第１行の画素１００＿１０〜１００＿１３の読み出しが行われる。この際、第０行の信号ＰＴＸ＿００〜ＰＴＸ＿０３の代わりに、第１行の信号ＰＴＸ＿１０〜ＰＴＸ＿１３の信号がハイレベルになり、第１行の画素１００＿１０〜１００＿１３の転送ＭＯＳトランジスタ１０２がオンする。上記の処理を全行について順次行い、１画面分の全ての画素１００の信号の読み出しを行うことができる。これにより、被写体を撮像するための１画面分の画素信号が得られる。
Next, at time T12, the signals HD and PSEL_1 change from low level to high level, the first row
図６は、第２のモードにおいて、固体撮像装置２００を用いてＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法による被写体距離情報（距離画像）を生成可能な撮像システム（カメラ）の構成例を示す図である。撮影レンズ６０１は、被写界からの光を固体撮像装置２００に集光する。発光素子（投光手段）６０２は、被写界に対して、『Ｒ色』、『Ｇ色』、『Ｂ色』のパルス光を投射（照射）する。タイミング発生回路６０３は、固体撮像装置２００及び発光素子６０２を駆動する。発光素子６０２は、信号ＬＥＤ＿Ｒ＿ＰＬＳがハイレベルになることにより、『Ｒ色』の光を被写界に対して投射する。また、発光素子６０２は、信号ＬＥＤ＿Ｇ＿ＰＬＳがハイレベルになることにより、『Ｇ色』の光を被写界に対して投射する。また、発光素子６０２は、信号ＬＥＤ＿Ｂ＿ＰＬＳがハイレベルになることにより、『Ｂ色』の光を被写界に対して投射する。距離算出部６０４は、発光素子６０２から投射された光が被写体に反射して固体撮像装置２００で受光されるまでの時間を測定することで、撮像システムから被写体までの距離情報（距離画像）を算出する。発光素子６０２は、赤色、緑色及び青色の光を選択的に投射可能である。図４の複数の画素１００＿００〜１００＿１３のカラーフィルタは、発光素子６０２が投射する赤色、緑色及び青色の光と略同一色のカラーフィルタを有する。
FIG. 6 is a diagram illustrating a configuration example of an imaging system (camera) that can generate subject distance information (distance image) by the TOF (Time-Of-Flight) method using the solid-
図７は、固体撮像装置２００の第２のモードにおける駆動方法を示すタイミングチャートであり、１画面分の被写体距離情報を生成するための駆動方法を示す。このタイミングチャートでは、発光素子６０２が『Ｒ色』の光を投射してその反射光を『Ｒ色』のフィルタを有する画素１００で受光する、または、発光素子６０２が『Ｂ色』の光を投射してその反射光を『Ｂ色』のフィルタを有する画素１００で受光する。これにより、１画面分の被写体までの距離を測定する。
FIG. 7 is a timing chart showing a driving method in the second mode of the solid-
まず、時刻Ｔ１では、信号ＨＤ、ＰＴＳ及びＰＴＮがローレベルであり、信号ＰＲＥＳがハイレベルである。次に、時刻Ｔ２では、信号ＨＤ及びＰＳＥＬ＿０がハイレベルになり、第０行の選択ＭＯＳトランジスタ１０５がオンし、第０行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１に接続される。このとき、信号ＰＲＥＳはハイレベルであり、全画素１００のリセットＭＯＳトランジスタ１０３がオンし、フローティングディフュージョンＣｆｄはリセット状態である。また、時刻Ｔ２〜Ｔ３では、信号ＰＴＸ＿００，ＰＴＸ＿０１及び信号ＰＴＸ＿０２，ＰＴＸ＿０３がハイレベルになり、第０行の全画素１００＿００〜１００＿０３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がリセットされる。
First, at time T1, the signals HD, PTS, and PTN are at a low level, and the signal PRES is at a high level. Next, at time T <b> 2, the signals HD and PSEL_ 0 are at a high level, the 0th row
次に、時刻Ｔ４〜Ｔ５では、信号ＰＴＳ及びＰＴＮがハイレベルになり、スイッチ３０４及び３０５がオンし、保持容量３０６及び保持容量３０７がリセットされる。
Next, at times T4 to T5, the signals PTS and PTN are at a high level, the
次に、時刻Ｔ６では、信号ＰＲＥＳがローレベルになり、全画素１００のリセットＭＯＳトランジスタ１０３がオフし、フローティングディフュージョンＣｆｄのリセット状態が解除される。
Next, at time T6, the signal PRES goes low, the
次に、時刻Ｔ７〜Ｔ８では、信号ＰＴＮが再びハイレベルになり、スイッチ３０４がオンし、画素１００のリセット状態解除後の出力信号（Ｎ信号）が保持容量３０６に保持さる。
Next, at time T <b> 7 to T <b> 8, the signal PTN goes high again, the
次に、時刻Ｔ９〜Ｔ１１の期間では、信号ＰＴＸ＿００及びＰＴＸ＿０１がハイレベルになる。これにより、画素１００＿００及び１００＿０１では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。
Next, in the period from time T9 to T11, the signals PTX_00 and PTX_01 are at a high level. Thereby, in the pixels 100_00 and 100_01, the
次に、時刻Ｔ１１〜Ｔ１３の期間では、信号ＰＴＸ＿０２及びＰＴＸ＿０３がハイレベルになる。これにより、画素１００＿０２及び１００＿０３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。
Next, in the period of time T11 to T13, the signals PTX_02 and PTX_03 are at a high level. Thereby, in the pixels 100_02 and 100_03, the
また、時刻Ｔ１０〜時刻Ｔ１２の期間では、信号ＬＥＤ＿Ｒ＿ＰＬＳがハイレベルになり、発光素子６０２は『Ｒ色』の光を被写界に向けて投射する。
In the period from time T10 to time T12, the signal LED_R_PLS is at a high level, and the
その後、時刻Ｔ１４〜Ｔ１５では、信号ＰＴＳが再びハイレベルになり、スイッチ３０５がオンし、第０行の画素１００＿００〜１００＿０３の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持される。
After that, at time T14 to T15, the signal PTS becomes high level again, the
次に、時刻Ｔ１５〜Ｔ１６の期間では、水平走査部２０４により、保持容量３０６及び３０７に保持された信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、保持容量３０７のＳ信号と保持容量３０６のＮ信号の差分を出力する。
Next, during the period from time T15 to time T16, the signals held in the holding
ここで、発光素子６０２が『Ｒ色』の光を被写界に向けて投射しその反射光が固体撮像装置２００で受光される期間のうち、時刻Ｔ９〜Ｔ１１内の一部の期間に画素１００＿００及び１００＿０１のフォトダイオード１０１が受光する。また、時刻Ｔ１１〜Ｔ１３内の一部の期間に画素１００＿０２及び１００＿０３のフォトダイオード１０１が受光する。図４に示すように、画素１００＿００及び１００＿０２は、フォトダイオード１０１上に『Ｒ色』のカラーフィルタが配置されているので、投射光が『Ｒ色』の場合に、信号の強度が非常に高くなる。一方、画素１００＿０１及び１００＿０３は、フォトダイオード１０１上に『Ｇ色』のカラーフィルタが配置されているので、光電変換の効率は悪い。
Here, the pixels in a part of time T9 to T11 in the period in which the
つまり、第０行の画素１００＿００〜１００＿０３から読み出されたＳ信号及びＮ信号の差分信号のうち、画素１００＿００及び１００＿０２のフォトダイオード１０１の出力信号に所定の演算を行う。これにより、『Ｒ色』で投射された光の反射光を効率よく用いて被写体距離を算出することができる。
That is, a predetermined calculation is performed on the output signals of the
ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法による被写体距離情報の生成方法を説明する。時刻Ｔ９〜Ｔ１３の間に被写界に光を投射し、その反射光を受光する際、２個の画素１００＿００及び１００＿０２のフォトダイオード１０１の電荷を時分割に取り出す。撮像システム内の距離算出部６０４（図６）は、２個の画素１００＿００及び１００＿０２の出力信号を比較することで、撮像システムから被写体までの距離を算出することができる。
A method for generating subject distance information by the TOF (Time-Of-Flight) method will be described. During the time T9 to T13, when light is projected onto the object scene and the reflected light is received, the charges of the
次に、時刻Ｔ１６では、信号ＰＲＥＳがハイレベルになり、全画素１００のリセットＭＯＳトランジスタ１０３がオンし、フローティングディフュージョンＣｆｄがリセットされる。
Next, at time T16, the signal PRES goes high, the
時刻Ｔ１６〜Ｔ１７では、信号ＨＤ及びＰＳＥＬ＿０がローレベルになり、第０行の選択ＭＯＳトランジスタ１０５がオフし、第０行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１から切断される。
At times T16 to T17, the signals HD and PSEL_0 are at a low level, the 0th row
次に、時刻Ｔ１７では、信号ＨＤ及びＰＳＥＬ＿１がローレベルからハイレベルになり、第１行の選択ＭＯＳトランジスタ１０５がオンし、第１行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１に接続される。
Next, at time T17, the signals HD and PSEL_1 change from the low level to the high level, the
また、時刻Ｔ１７では、信号ＰＴＸ＿１０，ＰＴＸ＿１１及び信号ＰＴＸ＿１２，ＰＴＸ＿１３がハイレベルになり、第１行の全画素１００＿１０〜１００＿１３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がリセットされる。
At time T17, the signals PTX_10 and PTX_11 and the signals PTX_12 and PTX_13 are at a high level, the
次に、時刻Ｔ４〜Ｔ５の期間と同様に、信号ＰＴＳ及びＰＴＮがハイレベルになる。次に、時刻Ｔ６と同様に、信号ＰＲＥＳがローレベルになる。次に、時刻Ｔ７〜Ｔ８の期間と同様に、信号ＰＴＮがハイレベルになる。次に、時刻Ｔ１８では、信号ＰＴＮがローレベルになる。 Next, as in the period of time T4 to T5, the signals PTS and PTN are at a high level. Next, as at time T6, the signal PRES goes low. Next, as in the period of time T7 to T8, the signal PTN goes high. Next, at time T18, the signal PTN goes low.
次に、時刻Ｔ１９〜Ｔ２１の期間では、信号ＰＴＸ＿１０及びＰＴＸ＿１１がハイレベルになる。これにより、画素１００＿１０及び１００＿１１では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。
Next, during the period of time T19 to T21, the signals PTX_10 and PTX_11 are at a high level. As a result, in the pixels 100_10 and 100_11, the
次に、時刻Ｔ２１〜Ｔ２３の期間では、信号ＰＴＸ＿１２及びＰＴＸ＿１３がハイレベルになる。これにより、画素１００＿１２及び１００＿１３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。
Next, during the period of time T21 to T23, the signals PTX_12 and PTX_13 are at a high level. Thereby, in the pixels 100_12 and 100_13, the
また、時刻Ｔ２０〜時刻Ｔ２２の期間では、信号ＬＥＤ＿Ｂ＿ＰＬＳがハイレベルになり、発光素子６０２は『Ｂ色』の光を被写界に向けて投射する。
In the period from time T20 to time T22, the signal LED_B_PLS is at a high level, and the
その後、時刻Ｔ２４では、信号ＰＴＳが再びハイレベルになり、スイッチ３０５がオンし、第１行の画素１００＿１０〜１００＿１３の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持される。次に、水平走査部２０４により、保持容量３０６及び３０７に保持された信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、保持容量３０７のＳ信号と保持容量３０６のＮ信号の差分を出力する。
After that, at time T <b> 24, the signal PTS becomes high level again, the
ここで、発光素子６０２が『Ｂ色』の光を被写界に向けて投射しその反射光が固体撮像装置２００で受光される期間のうち、時刻Ｔ１９〜Ｔ２１内の一部の期間に画素１００＿１０及び１００＿１１のフォトダイオード１０１が受光する。また、時刻Ｔ２１〜Ｔ２３内の一部の期間に画素１００＿１２及び１００＿１３のフォトダイオード１０１が受光する。図４に示すように、画素１００＿１１及び１００＿１３は、フォトダイオード１０１上に『Ｂ色』のカラーフィルタが配置されているので、投射光が『Ｂ色』の場合に、信号の強度が非常に高くなる。一方、画素１００＿１０及び１００＿１２は、フォトダイオード１０１上に『Ｇ色』のカラーフィルタが配置されているので、光電変換の効率は悪い。
Here, the pixels in a part of time T19 to T21 in the period in which the
つまり、第１行の画素１００＿１０〜１００＿１３から読み出されたＳ信号及びＮ信号の差分信号のうち、画素１００＿１１及び１００＿１３のフォトダイオード１０１の出力信号に所定の演算を行う。これにより、『Ｂ色』で投射された光の反射光を効率よく用いて被写体距離を算出することができる。
That is, a predetermined calculation is performed on the output signals of the
上記の第１行の処理を終えた後、上記の第０行の処理と同様に、第２行の処理を行う。その後、上記の第１行の処理と同様に、第３行の処理を行う。偶数行の処理と奇数行の処理を全行について順次行い、１画面分の全ての画素１００の読み出しを行う。１画面分の被写体距離情報が得られる。
After finishing the processing of the first row, the processing of the second row is performed in the same manner as the processing of the zeroth row. Thereafter, the third line process is performed in the same manner as the first line process. The even-numbered row processing and the odd-numbered row processing are sequentially performed for all rows, and all
図８（ａ）及び（ｂ）は、図７のタイミングチャートで駆動させたときの画素の出力信号のイメージを示す図であり、各行毎にハッチで示した２個の画素１００のフォトダイオード１０１の信号を用いて、被写体距離の算出を行う。例えば、図８（ａ）では、『Ｒ色』の光を投射した時に用いる『Ｒ色』のカラーフィルタのフォトダイオード１０１をハッチで示している。図８（ｂ）では、『Ｂ色』の光を投射した時に用いる『Ｂ色』のカラーフィルタのフォトダイオード１０１をハッチで示している。すなわち、２行のうちの１行で、４列中の同色の２列の画素１００の出力信号を用いる。このように、１画面において、１×４画素毎に１つの距離情報（距離画像）を得ることができる。
FIGS. 8A and 8B are diagrams showing an image of the output signal of the pixel when driven by the timing chart of FIG. 7, and the
図９は、図７に対応し、固体撮像装置２００の第２のモードにおける駆動方法を示すタイミングチャートであり、１画面分の被写体距離情報を生成するための駆動方法を示す。このタイミングチャートでは、発光素子６０２が『Ｇ色』の光を投射してその反射光を『Ｇ色』のフィルタを有する画素１００で受光することで、被写体までの距離を測定する場合を示す。図９と図７との違いは、時刻Ｔ１０〜時刻Ｔ１２の期間、及び時刻Ｔ２０〜時刻Ｔ２２の期間で、信号ＬＥＤ＿Ｂ＿ＰＬＳがハイレベルになり、発光素子６０２が『Ｇ色』の光を被写界に向けて投射している点である。以下、図９が図７と異なる点を説明する。
FIG. 9 corresponds to FIG. 7 and is a timing chart showing a driving method in the second mode of the solid-
時刻Ｔ１０〜時刻Ｔ１２の期間では、発光素子６０２が『Ｇ色』の光を被写界に向けて投射しその反射光が固体撮像装置２００で受光される期間のうち、時刻Ｔ９〜Ｔ１１内の一部の期間に画素１００＿００及び１００＿０１のフォトダイオード１０１が受光する。また、時刻Ｔ１１〜Ｔ１３内の一部の期間に画素１００＿０２及び１００＿０３のフォトダイオード１００が受光する。図４に示すように、画素１００＿０１及び１００＿０３は、フォトダイオード１０１上に『Ｇ色』のカラーフィルタが配置されているので、投射光が『Ｇ色』の場合に、信号の強度が非常に高くなる。一方、画素１００＿００及び１００＿０２は、フォトダイオード１０１上に『Ｒ色』のカラーフィルタが配置されているので、光電変換の効率は悪い。
In the period from time T10 to time T12, the
つまり、第０行の画素１００＿００〜１００＿０３から読み出されたＳ信号及びＮ信号の差分信号のうち、画素１００＿０１及び１００＿０３の出力信号に所定の演算を行う。これにより、『Ｇ色』で投射された光の反射光を効率よく用いて、被写体距離を算出することができる。 That is, a predetermined calculation is performed on the output signals of the pixels 100_01 and 100_03 among the differential signals of the S and N signals read from the pixels 100_00 to 100_03 in the 0th row. Accordingly, the subject distance can be calculated by efficiently using the reflected light of the light projected in “G color”.
同様に、時刻Ｔ２０〜時刻Ｔ２２の期間に『Ｇ色』の光を被写界に向けて投射しその反射光が固体撮像装置２００で受光される期間のうち、時刻Ｔ１９〜Ｔ２１内の一部の期間に画素１００＿１０及び１００＿１１のフォトダイオード１０１が受光する。また、時刻Ｔ２１〜Ｔ２３内の一部の期間に画素１００＿１２及び１００＿１３のフォトダイオード１０１が受光する。図４に示すように、画素１００＿１０及び１００＿１２は、フォトダイオード１０１上に『Ｇ色』のカラーフィルタが配置されているので、投射光が『Ｇ色』の場合に、信号の強度は非常に高くなる。一方、画素１００＿１１及び１００＿１３は、フォトダイオード１０１上に『Ｂ色』のカラーフィルタが配置されているので、光電変換の効率は悪い。
Similarly, during the period from time T20 to time T22, “G color” light is projected toward the object scene, and a part of the time T19 to T21 in the period in which the reflected light is received by the solid-
つまり、第１行の画素１００＿１０〜１００＿１３から読み出されたＳ信号及びＮ信号の差分信号のうち、画素１００＿１０及び１００＿１２の出力信号に所定の演算を行う。これにより、『Ｇ色』で投射された光の反射光を効率よく用いて、被写体距離を算出することができる。 That is, a predetermined calculation is performed on the output signals of the pixels 100_10 and 100_12 among the differential signals of the S signal and the N signal read from the pixels 100_10 to 100_13 in the first row. Accordingly, the subject distance can be calculated by efficiently using the reflected light of the light projected in “G color”.
上記の第１行の処理を終えた後、上記の第０行の処理と同様に、第２行の処理を行う。その後、上記の第１行の処理と同様に、第３行の処理を行う。偶数行の処理と奇数行の処理を全行について順次行い、１画面分の全ての画素１００の読み出しを行う。
After finishing the processing of the first row, the processing of the second row is performed in the same manner as the processing of the zeroth row. Thereafter, the third line process is performed in the same manner as the first line process. The even-numbered row processing and the odd-numbered row processing are sequentially performed for all rows, and all
図１０は、図９のタイミングチャートで駆動させたときの画素出力のイメージを示す図であり、発光素子６０２が『Ｇ色』の光を投射した時に、各行毎にハッチで示した２個の画素のフォトダイオードの信号を用いて、被写体距離の算出を行う。すなわち、毎行の４列中の同色の２列の画素１００の出力信号を用いる。このように、１画面において１×４画素毎に１つの距離情報（距離画像）を得ることができる。
FIG. 10 is a diagram showing an image of pixel output when driven by the timing chart of FIG. 9. When the
以上のように、第１の実施形態によれば、被写体を撮像するための１画面分の画素信号を得られるとともに、投射された光の色に応じて反射光を効率よく用いることで、１画面において１×４画素毎に１つの距離情報（距離画像）を得ることができる。 As described above, according to the first embodiment, a pixel signal for one screen for capturing an image of a subject can be obtained, and reflected light can be used efficiently according to the color of the projected light. One distance information (distance image) can be obtained for every 1 × 4 pixels on the screen.
次に、第１の実施形態の応用例を説明する。固体撮像装置２００を用いた撮像システムにおいて、通常は、パッシブ型の専用のセンサで位相差検出により焦点検出情報を生成しながら撮影レンズ６０１を駆動し、被写体にピントを合わせ、図５のタイミングチャートで駆動することで、被写体を撮像する。
Next, an application example of the first embodiment will be described. In an imaging system using the solid-
周囲環境が暗く、パッシブ型の専用のセンサで位相差検出による焦点検出が困難な場合は、図６〜図１０で説明したＴＯＦ法により距離情報（距離画像）を取得し、撮影レンズ６０１を駆動して、被写体にピントを合わせる。この際、図５のタイミングチャートで駆動することで、被写体を撮像する。
When the surrounding environment is dark and it is difficult to detect the focus by phase difference detection using a passive type dedicated sensor, distance information (distance image) is acquired by the TOF method described with reference to FIGS. 6 to 10 and the photographing
さらに、ＴＯＦ法による距離情報（距離画像）の取得時は、被写体の色に応じて、投射光色を変えて、対応する駆動方式で駆動を行うことで、効率的に距離情報を取得することができる。このような動作を行うことで、ピント合わせができる明るさの範囲を広げることが可能である。 Furthermore, when acquiring distance information (distance image) by the TOF method, the distance information can be efficiently acquired by changing the projection light color according to the color of the subject and driving with the corresponding driving method. Can do. By performing such an operation, it is possible to widen the range of brightness that can be focused.
（第２の実施形態）
図１３は、図３に対応し、本発明の第２の実施形態による画素１００及び読み出し部２０３の一部の構成例を示す図である。ここでは、２×２個の画素１００＿００，１００＿０１，１００＿１０，１００＿１１を例に説明する。実際には、より多くの画素１００が配置されている。以下、図１３が図３と異なる点を説明する。第０列の画素１００＿００及び１００＿１０に対して２本の垂直出力線３０１ａ及び３０１ｂが設けられ、奇数行の画素１００＿１０は垂直出力線３０１ａに接続され、偶数行の画素１００＿００は垂直出力線３０１ｂに接続される。同様に、第１列の画素１００＿０１及び１００＿１１に対して２本の垂直出力線３０１ａ及び３０１ｂが設けられ、奇数行の画素１００＿１１は垂直出力線３０１ａに接続され、偶数行の画素１００＿０１は垂直出力線３０１ｂに接続される。図３と同様に、垂直出力線３０１ａ及び３０１ｂは、それぞれ、増幅アンプ３０３に接続される。保持容量３０６は、スイッチ３０４を介して、増幅アンプ３０３の出力端子に接続される。保持容量３０７は、スイッチ３０５を介して、増幅アンプ３０３の出力端子に接続される。すなわち、本実施形態は、図７及び図９のタイミングチャートにおける１行分の動作で、２行分の画素１００の出力信号を得ることができる。
(Second Embodiment)
FIG. 13 corresponds to FIG. 3 and is a diagram illustrating a configuration example of a part of the
図１１は、図９に対応し、固体撮像装置２００の第２のモードにおける駆動方法を示すタイミングチャートであり、１画面分の被写体距離情報を生成するための駆動方法を示す。このタイミングチャートでは、発光素子６０２が『Ｇ色』の光を投射してその反射光を『Ｇ色』のフィルタを有する画素１００で受光することで、被写体までの距離を測定する場合を示す。
FIG. 11 corresponds to FIG. 9 and is a timing chart showing a driving method in the second mode of the solid-
以下、図１１が図９と異なる点を説明する。時刻Ｔ２から時刻Ｔ１７までで２行分の画素１００の読み出しを行っており、同一行の転送ＭＯＳトランジスタ１０２は同一のタイミングで駆動されている。
Hereinafter, the points of FIG. 11 different from FIG. 9 will be described. The
時刻Ｔ２〜Ｔ３では、信号ＰＴＸ＿００〜ＰＴＸ＿１３がハイレベルになり、全画素１００＿００〜１００＿１３で、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がリセットされる。また、時刻Ｔ２〜Ｔ１６では、信号ＰＳＥＬ＿０及びＰＳＥＬ＿１がハイレベルになり、第０行の画素１００＿００〜１００＿０２及び第１行の画素１００＿１０〜１００＿１３で、選択ＭＯＳトランジスタ１０５がオンする。
At times T2 to T3, the signals PTX_00 to PTX_13 are at a high level, the
時刻Ｔ７〜Ｔ８では、第０行及び第１行の信号ＰＴＮがハイレベルになり、第０行及び第１行の画素１００＿００〜１００＿１３のリセット状態解除後の出力信号（Ｎ信号）が保持容量３０６に保持さる。
At times T7 to T8, the signal PTN of the 0th row and the 1st row becomes a high level, and the output signal (N signal) after the reset state of the pixels 100_00 to 100_13 of the 0th row and the 1st row is released is the
時刻Ｔ９〜Ｔ１１の期間では、信号ＰＴＸ＿００，ＰＴＸ＿０１及び信号ＰＴＸ＿１０，ＰＴＸ＿１１がハイレベルになる。これにより、画素１００＿００，１００＿０１，１００＿１０，１００＿１１では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。
In the period from time T9 to T11, the signals PTX_00 and PTX_01 and the signals PTX_10 and PTX_11 are at a high level. Thereby, in the pixels 100_00, 100_01, 100_10, and 100_11, the
時刻Ｔ１１〜Ｔ１３の期間では、信号ＰＴＸ＿０２，ＰＴＸ＿０３及び信号ＰＴＸ＿１２，ＰＴＸ＿１３がハイレベルになる。これにより、画素１００＿０２，１００＿０３，１００＿１２，１００＿１３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。
In the period from time T11 to T13, the signals PTX_02 and PTX_03 and the signals PTX_12 and PTX_13 are at a high level. Thereby, in the pixels 100_02, 100_03, 100_12, and 100_13, the
また、時刻Ｔ１０〜Ｔ１２の期間では、信号ＬＥＤ＿Ｇ＿ＰＬＳがハイレベルになり、発光素子６０２が『Ｇ色』の光を被写界に向けて投射する。
In the period from time T10 to time T12, the signal LED_G_PLS is at a high level, and the
その後、時刻Ｔ１４〜Ｔ１５では、信号ＰＴＳがハイレベルになり、第０行及び第１行の画素１００＿００〜１００＿１３の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持さる。
After that, at time T14 to T15, the signal PTS becomes a high level, and an output signal (S signal) based on photoelectric conversion of the pixels 100_00 to 100_13 in the 0th row and the 1st row is held in the holding
その後、時刻Ｔ１５〜Ｔ１６の期間では、水平走査部２０４により、保持容量３０６及び３０７の信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、第０行及び第１行のＳ信号とＮ信号の差分を出力する。
Thereafter, during the period from time T15 to time T16, the signals of the
上記の第０行及び第１行の処理を終えた後、時刻Ｔ１７以降で、上記の第０行及び第１行の処理と同様に、第２行及び第３行の処理を行う。 After finishing the processing of the 0th row and the 1st row, after the time T17, the processing of the 2nd row and the 3rd row is performed similarly to the processing of the 0th row and the 1st row.
時刻Ｔ１７では、信号ＰＴＸ＿００〜ＰＴＸ＿１３がハイレベルになり、全画素で、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がリセットされる。また、時刻Ｔ１７では、信号ＰＳＥＬ＿２及びＰＳＥＬ＿３がハイレベルになり、第２行の画素１００及び第３行の画素で、選択ＭＯＳトランジスタ１０５がオンする。
At time T17, the signals PTX_00 to PTX_13 become high level, the
時刻Ｔ１８の前では、第２行及び第３行の信号ＰＴＮがハイレベルになり、第２行及び第３行の画素のリセット状態解除後の出力信号（Ｎ信号）が保持容量３０６に保持さる。
Prior to time T18, the signals PTN in the second and third rows are at a high level, and the output signal (N signal) after the reset state of the pixels in the second and third rows is released is held in the holding
時刻Ｔ１９〜Ｔ２１の期間では、信号ＰＴＸ＿２０，ＰＴＸ＿２１及び信号ＰＴＸ＿３０，ＰＴＸ＿３１がハイレベルになる。これにより、画素１００＿２０，１００＿２１，１００＿３０，１００＿３１では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。
In the period from time T19 to T21, the signals PTX_20 and PTX_21 and the signals PTX_30 and PTX_31 are at a high level. Thereby, in the pixels 100_20, 100_21, 100_30, and 100_31, the
時刻Ｔ２１〜Ｔ２３の期間では、信号ＰＴＸ＿２２，ＰＴＸ＿２３及び信号ＰＴＸ＿３２，ＰＴＸ＿３３がハイレベルになる。これにより、画素１００＿２２，１００＿２３，１００＿３２，１００＿３３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。
During the period from time T21 to T23, the signals PTX_22 and PTX_23 and the signals PTX_32 and PTX_33 are at a high level. Thereby, in the pixels 100_22, 100_23, 100_32, and 100_33, the
また、時刻Ｔ２０〜Ｔ２２の期間では、信号ＬＥＤ＿Ｇ＿ＰＬＳがハイレベルになり、発光素子６０２が『Ｇ色』の光を被写界に向けて投射する。
In the period from time T20 to T22, the signal LED_G_PLS is at a high level, and the
その後、時刻Ｔ２４では、信号ＰＴＳがハイレベルになり、第２行及び第３行の画素１００＿２０〜１００＿３３の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持さる。
Thereafter, at time T <b> 24, the signal PTS goes high, and the output signal (S signal) based on the photoelectric conversion of the pixels 100_20 to 100_33 in the second row and the third row is held in the holding
その後、水平走査部２０４により、保持容量３０６及び３０７の信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、第２行及び第３行のＳ信号とＮ信号の差分を出力する。
Thereafter, the signals of the
上記の処理を全行について順次、２行単位で行い、１画面分の全ての画素１００の信号を読み出す。
The above processing is sequentially performed for all rows in units of two rows, and signals of all
図１２は、図１１のタイミングチャートで駆動させたときの画素の出力信号のイメージを示す図であり、発光素子６０２が『Ｇ色』の光を投射した時に、各行毎にハッチで示した２個の画素１００のフォトダイオード１０１の信号を用いて、被写体距離の算出を行う。すなわち、２行２列中の同色の２個の画素の出力を用いる。このように１画面において、２×２画素毎に１つの距離情報（距離画像）を得ることができる。
FIG. 12 is a diagram illustrating an image of an output signal of a pixel when driven by the timing chart of FIG. 11. When the
以上のように、第２の実施形態によれば、被写体を撮像するための１画面分の画素信号を得られると共に、投射された光の色に応じて、反射光を効率よく用いることで、１画面において２×２画素毎に１つの距離情報（距離画像）を得ることができる。なお、上記の第１の実施形態の応用例を、本実施形態に適用することも可能である。 As described above, according to the second embodiment, a pixel signal for one screen for imaging a subject can be obtained, and reflected light can be used efficiently according to the color of the projected light. One distance information (distance image) can be obtained for every 2 × 2 pixels in one screen. Note that an application example of the first embodiment can also be applied to the present embodiment.
第１及び第２の実施形態によれば、第２のモード（図７等）では、転送ＭＯＳトランジスタ１０２は、発光素子６０２が光を投射している期間とオーバーラップするタイミングでオン状態になり、発光素子６０２が投射する光の色に応じて、オン／オフ状態が異なる。また、転送ＭＯＳトランジスタ１０２は、第１のモードでは、同一行でオン／オフ状態が同じであり、第２のモードでは、同一行であっても列によってオン／オフ状態が異なる。
According to the first and second embodiments, in the second mode (FIG. 7 and the like), the
行列状のフォトダイオード１０１は、第１のフォトダイオード１０１及び第１のフォトダイオード１０１に隣接する同色のカラーフィルタが設けられる第２のフォトダイオード１０１を有する。行列状の転送ＭＯＳトランジスタ１０２は、第１のフォトダイオード１０１の電荷を転送する第１の転送ＭＯＳトランジスタ１０２及び第２のフォトダイオード１０１の電荷を転送する第２の転送ＭＯＳトランジスタ１０２を有する。第２のモードでは、第１の転送ＭＯＳトランジスタ１０２がオンし、その後、発光素子６０２が光の投射を開始し、その後、第１の転送ＭＯＳトランジスタ１０２がオフし、第２の転送ＭＯＳトランジスタ１０２がオンする。その後、発光素子６０２が光の投射を終了し、その後、第２の転送ＭＯＳトランジスタ１０２がオフする。距離算出部６０４は、第１のフォトダイオード１０１の電荷及び第２のフォトダイオード１０１の電荷に応じて、被写体までの距離を算出する。第１のモード（図５）では、第１の転送ＭＯＳトランジスタ１０２及び第２の転送ＭＯＳトランジスタ１０２は、同時にオンする。
The
第１の実施形態（図３）では、複数の垂直出力線３０１は、複数のフォトダイオード１０１の各列に対応して設けられる。複数のフォトダイオード１０１のうちの各列のフォトダイオード１０１の電荷に応じた信号は、同一の垂直出力線３０１に出力可能である。複数のフォトダイオード１０１の電荷に応じた信号は、複数のフォトダイオード１０１の１行単位で、垂直出力線３０１に出力される。
In the first embodiment (FIG. 3), a plurality of
第２の実施形態（図１３）では、複数の垂直出力線３０１ａ及び３０１ｂは、複数のフォトダイオード１０１の各列に対応し、奇数行及び偶数行で別に設けられる。複数のフォトダイオード１０１の電荷に応じた信号は、複数のフォトダイオード１０１の２行単位で、垂直出力線３０１ａ及び３０１ｂに出力される。
In the second embodiment (FIG. 13), the plurality of
第１及び第２の実施形態によれば、被写体の撮像画像を得るための１画面分の画素信号を得られるとともに、投射された光の色に応じて反射光を効率よく用いることで距離算出精度を向上させた距離画像を得ることができる。また、ＴＯＦ法で取得した距離情報（距離画像）により、撮影レンズ６０１を駆動し、被写体にピントを合わせできるため、ピント合わせできる明るさの範囲を広げることが可能である。
According to the first and second embodiments, a pixel signal for one screen for obtaining a captured image of a subject can be obtained, and a distance calculation is performed by efficiently using reflected light according to the color of the projected light. A distance image with improved accuracy can be obtained. In addition, since the photographing
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１０１ フォトダイオード、１０２，１０３，１０４，１０５ ＭＯＳトランジスタ、６０２ 発光素子 101 photodiode, 102, 103, 104, 105 MOS transistor, 602 light emitting element
Claims (6)
被写体に光を投射する発光素子と、
前記第１の画素および前記第２の画素の出力信号に基づいて前記被写体までの距離を算出する距離算出部と、
第１のモードと第２のモードのいずれかのモードに切り替えるように制御する制御手段と、を有し、
前記制御手段は、前記第１のモードにおいて、前記第１の転送スイッチおよび前記第２の転送スイッチを同時にオンするように前記固体撮像素子を駆動するように制御し、前記第２のモードにおいて、前記第１の転送スイッチをオンし、その後、前記発光素子による光の投射を開始し、その後、前記第１の転送スイッチをオフし、前記第２の転送スイッチをオンし、その後、前記発光素子が光の投射を終了し、その後、前記第２の転送スイッチをオフするように前記固体撮像素子および前記発光素子を駆動するとともに、前記距離算出部が前記被写体までの距離を算出するように制御することを特徴とする撮像システム。 A first pixel that includes a first transfer switch that transfers the charge of the first photoelectric conversion element and the first photoelectric conversion element, and that outputs a signal corresponding to the charge of the first photoelectric conversion element; A plurality of second photoelectric conversion elements and a second transfer switch that transfers a charge of the second photoelectric conversion element, and a second pixel that outputs a signal corresponding to the charge of the second photoelectric conversion element. Are arranged in a matrix, and the first pixel and the second pixel include color filters of the same color and are disposed adjacent to each other;
A light emitting element for projecting light on the subject,
A distance calculation unit that calculates a distance to the subject based on output signals of the first pixel and the second pixel;
Control means for controlling to switch to one of the first mode and the second mode,
The control means controls to drive the solid-state imaging device so as to simultaneously turn on the first transfer switch and the second transfer switch in the first mode, and in the second mode, Turn on the first transfer switch, then start projecting light by the light emitting element, then turn off the first transfer switch, turn on the second transfer switch, and then turn on the light emitting element Finishes projecting light, and then drives the solid-state imaging device and the light emitting device to turn off the second transfer switch, and controls the distance calculation unit to calculate the distance to the subject. An imaging system characterized by:
前記複数の画素のうちの各列の画素の信号は、同一の出力線に出力可能であり、
前記複数の画素の信号は、前記複数の画素の１行単位で、前記出力線に出力されることを特徴とする請求項１に記載の撮像システム。 Furthermore, it has a plurality of output lines provided corresponding to each column of the plurality of pixels ,
The signals of the pixels in each column of the plurality of pixels can be output to the same output line,
Signals of the plurality of pixels, one line at a time of the plurality of pixels, the imaging system according to claim 1, wherein the output to the output line.
前記複数の画素の信号は、前記複数の画素の２行単位で、前記出力線に出力されることを特徴とする請求項１に記載の撮像システム。 Furthermore, each of the plurality of pixels has a plurality of output lines separately provided in odd rows and even rows, corresponding to each column,
Signals of the plurality of pixels, in units of two rows of the plurality of pixels, the imaging system according to claim 1, wherein the output to the output line.
前記第１の画素および前記第２の画素が備えるカラーフィルタは、前記発光素子が投射する光の色のいずれかと略同一色であることを特徴とする請求項１〜３のいずれか１項に記載の撮像システム。 The light emitting element can selectively project red, green and blue light,
Wherein the first pixel and the second color filter having pixels comprising the any one of claims 1 to 3, wherein the light emitting element is characterized in that substantially the same color and any color of light to be projected The imaging system described in 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014068841A JP6366325B2 (en) | 2014-03-28 | 2014-03-28 | Imaging system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014068841A JP6366325B2 (en) | 2014-03-28 | 2014-03-28 | Imaging system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015192341A JP2015192341A (en) | 2015-11-02 |
| JP6366325B2 true JP6366325B2 (en) | 2018-08-01 |
Family
ID=54426518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014068841A Active JP6366325B2 (en) | 2014-03-28 | 2014-03-28 | Imaging system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6366325B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114125413A (en) * | 2021-12-09 | 2022-03-01 | 维沃移动通信有限公司 | Pixel assembly, image sensor assembly and electronic device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4369573B2 (en) * | 1999-11-17 | 2009-11-25 | Ｈｏｙａ株式会社 | 3D image detection device |
| KR101467509B1 (en) * | 2008-07-25 | 2014-12-01 | 삼성전자주식회사 | Image sensor and operating method for image sensor |
| JP5232189B2 (en) * | 2010-03-11 | 2013-07-10 | 株式会社東芝 | Solid-state imaging device |
-
2014
- 2014-03-28 JP JP2014068841A patent/JP6366325B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015192341A (en) | 2015-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11719908B2 (en) | Image sensor and image capturing apparatus | |
| US10070078B2 (en) | Solid-state image sensor with pixels having in-pixel memories, motion information acquisition apparatus, and imaging apparatus | |
| CN108028898B (en) | Image sensor and image pickup apparatus | |
| US20150215562A1 (en) | Solid-state imaging device, driving method thereof, and imaging system | |
| JP6755799B2 (en) | Image sensor and solid-state image sensor used for it | |
| US20160219237A1 (en) | Image capturing apparatus, control method for the same, and storage medium | |
| JP6588702B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| US20160353043A1 (en) | Image sensor and image apparatus | |
| JP6362511B2 (en) | Imaging apparatus and control method thereof | |
| JP7232291B2 (en) | Imaging element and imaging device | |
| JP6946045B2 (en) | Focus detector and imaging system | |
| JP6955543B2 (en) | Image sensor and image sensor | |
| JP2016024234A (en) | Imaging apparatus | |
| JP6366325B2 (en) | Imaging system | |
| JP6320154B2 (en) | Imaging device and driving method of imaging device | |
| JP2016184868A (en) | Imaging device and driving method of imaging device | |
| JP6641135B2 (en) | Imaging device and imaging device | |
| JP6320132B2 (en) | Imaging system | |
| JP6736329B2 (en) | Image sensor | |
| JP6399844B2 (en) | Imaging device | |
| JP6366341B2 (en) | Imaging device | |
| US20220006941A1 (en) | Solid-state imaging device | |
| JP6980859B2 (en) | Image sensor | |
| JP2023057134A (en) | Image pickup device and imaging apparatus | |
| JP2019149608A (en) | Imaging apparatus and focus detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180703 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6366325 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |