JP2015201733A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】通常画像と距離画像の両方を取得することが可能な撮像素子において、距離画像から、解像度を落とさずに精度良く距離情報を取得する。
【解決手段】被写体に向けて投光する発光装置１１６と、フォトダイオード（ＰＤ）と、ＰＤに接続された画素メモリ（第１の電荷蓄積手段）と、スイッチを介して画素メモリに接続されたＦＤ（第２の電荷蓄積手段）とを有する画素が、２次元に複数配列された撮像素子１０２と、発光装置の投光期間を含む電荷蓄積期間の開始から、投光期間の間の予め決められた時間まで、スイッチを導通させ、スイッチを遮断してからＦＤに蓄積された電荷に対応する第１の信号を読み出し、電荷蓄積期間が経過したときに、画素メモリに蓄積された電荷に対応する第２の信号を読み出すように撮像素子を駆動する駆動回路１０５と、第１の信号及び第２の信号に基づいて、被写体までの距離を算出する信号処理回路１０７とを有する。
【選択図】図１

Description

本発明は、撮像装置及びその制御方法に関するものである。

近年、撮像素子は撮像を行うだけでなく、様々な機能を付加した撮像素子が提案されている。

撮像素子に付加する機能の一つにＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法を用いて距離画像の取得を行う機能が注目されている。ＴＯＦ法とは、光源から対象物に向かってパルス光を投光してから、対象物からの反射光が観測点に到達するまでの時間（パルス光の遅延時間）を計測することで、対象物までの距離を計測する方法である。光の速度は３×１０^８ｍ／ｓｅｃと既知であることから、例えば、観測点と光源とを同一地点に置いたとき、遅延時間が２ｎｓｅｃであったとすると、光の総飛行距離は６０ｃｍであり、対象物までの距離はその半分の３０ｃｍと分かる。

この原理を撮像素子に応用し、画素毎に被写体までの距離情報を取得することで、距離画像を得る技術が提案されている。特許文献１では、１画素に少なくとも２つの転送スイッチとそれに対応する２つの電荷蓄積部を備え、反射パルス光により発生した電荷を２つの転送スイッチによってそれぞれの電荷蓄積部に振り分ける。そして、２つの電荷蓄積部の電荷量の比を求めることにより画素毎の距離情報を得ている。また、特許文献２では画素毎ではなく偶数行と奇数行などの２つの画素グループにそれぞれ電荷を振り分けることで、１画素につき１つの転送スイッチと１つの電荷蓄積部の構成で距離情報を得ることが可能な技術が提案されている。

特開２００４−２９４４２０号公報 特開２０１０−２１３２３１号公報

しかしながら、特許文献１では独立した２つの転送スイッチを駆動して電荷振り分けを行うため、精度良く２つのスイッチの駆動タイミングを合わせる必要がある。そのため、転送スイッチや転送パルスのバラつきなどが発生すると、電荷振り分け動作に不具合が生じ、距離情報を誤る可能性がある。また、特許文献２では上記問題に加え、電荷の振り分けを画素内で行うのではなく、複数の画素間で行う為、解像度が低下してしまう。

本発明は上記問題点を鑑みてなされたものであり、通常画像と距離画像の両方を取得することが可能な撮像素子において、距離画像から、解像度を落とさずに精度良く距離情報を取得できるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、被写体に向けて投光する発光手段と、入射した光量に応じた電荷を発生する光電変換素子と、前記光電変換素子に接続された第１の電荷蓄積手段と、スイッチを介して前記第１の電荷蓄積手段に接続された第２の電荷蓄積手段とを有する画素を含む複数の画素が行列状に配置された撮像素子と、前記発光手段の投光期間を含む電荷蓄積期間の開始から、前記投光期間の間の予め決められた時間まで、前記スイッチを導通させ、前記スイッチを遮断してから前記第２の電荷蓄積手段に蓄積された電荷に対応する第１の信号を読み出し、前記電荷蓄積期間が経過したときに、前記第１の電荷蓄積手段に蓄積された電荷に対応する第２の信号を読み出すように前記撮像素子を駆動する駆動手段と、前記第１の信号及び前記第２の信号に基づいて、被写体までの距離を算出する算出手段とを有する。

通常画像と距離画像の両方を取得することが可能な撮像素子において、距離画像から、解像度を落とさずに精度良く距離情報を取得することができる。

本発明の実施形態における撮像装置の構成を示すブロック図。 実施形態における撮像素子の概略構成を示す図。 第１の実施形態における１つの画素と列回路の等価回路図。 第１の実施形態における発光装置の構成を示すブロック図。 第１の実施形態における通常画像取得時の撮像素子の駆動パターンを示すタイミングチャート。 第１の実施形態における距離画像取得時の撮像素子の駆動パターンを示すタイミングチャート。 図６に示すタイミングチャートの一部を示す図。 第２の実施形態における列回路の等価回路図。 第２の実施形態における通常画像取得時の撮像素子の駆動パターンを示すタイミングチャート。 第２の実施形態における距離画像取得時の撮像素子の駆動パターンを示すタイミングチャート。 第３の実施形態における発光装置の構成を示すブロック図。 第３の実施形態における発光装置による光経路を示した概略図。 第３の実施形態における発光装置の駆動を示すタイミングチャート。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

●撮像装置の構成
図１は本発明の実施の形態における撮像装置の概略構成を示すブロック図である。図１に示す撮像装置において、光学系１０１はレンズおよび絞り等から構成され、撮像装置と一体的に構成しても、着脱可能に構成しても良い。撮像素子１０２は、光学系１０１を介して入射する光を光電変換して、アナログ信号を出力する。ＣＤＳ回路１０３は撮像素子１０２から出力されるアナログ信号の処理を行い、Ａ／Ｄ変換器１０４はアナログ信号の画像データをデジタル信号に変換する。タイミング信号発生回路（ＴＧ）１０６はＣＤＳ回路１０３、Ａ／Ｄ変換器１０４、駆動回路１０５、発光装置１１６を動作させる信号を発生し、駆動回路１０５は光学系１０１、撮像素子１０２、発光装置１１６を駆動する。

Ａ／Ｄ変換器１０４から出力される画像データは画像メモリ１０８に一時記憶され、信号処理回路１０７により、ホワイトバランス補正、ガンマ補正をはじめとした各種信号処理が施される。処理を施された画像データは記録回路１１０を介して記憶媒体１０９に保存される。また、画像表示装置１１１は信号処理された画像データを、表示回路１１２を介して表示する。

システム制御部１１３は、撮像装置全体を制御するＣＰＵ等で構成される。ＲＯＭ１１４は、システム制御部１１３で実行する制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データを記憶する。ＲＡＭ１１５は、ＲＯＭ１１４に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部１１３が撮像装置を制御する際に使用する。

図２は、図１に示す撮像素子１０２の概略構成を示す図である。図２に示すように、撮像素子１０２は、画素部２０１、垂直走査回路２０２、列回路群２０３、水平走査回路２０４を含む。画素部２０１は、複数の画素が行列状に配置されており、光学系１０１により結像された光学像を受光する。垂直走査回路２０２は、画素部２０１の行を順に選択し、水平走査回路２０４は、画素部２０１の列を順に選択することによって、画素部２０１の複数の画素が順に選択される。列回路群２０３は、垂直走査回路２０２によって選択された行の信号を読み出し、水平走査回路２０４によって選択される列の信号をＣＤＳ回路１０３へ出力する。

＜第１の実施形態＞
次に、第１の実施形態における上記構成を有する撮像装置の詳細構成及び制御について説明する。

●画素と列回路の構成
図３は、第１の実施形態における撮像素子１０２を構成する１つの画素３０１と、列回路群２０３を構成する１つの列回路３０２の等価回路図である。複数の画素３０１が行列状に配置されて画素部２０１を形成する。また、列回路３０２は対応する列の画素信号をサンプリングする回路であり、列回路３０２が列毎に構成されて、列回路群２０３を構成している。

画素３０１において、フォトダイオード（ＰＤ）３０３（光電変換素子）は、入射した光を受光し、その受光量に応じた信号電荷を生成して蓄積する光電変換部として機能する。第１転送スイッチ３０４は、第１転送パルスφＴＸ１によって駆動され、ＰＤ３０３で発生した電荷を、画素メモリ３０５（第１の電荷蓄積手段）に転送する。画素メモリ３０５では、ＰＤ３０３から転送された電荷を保持可能な構成となっている。第２転送スイッチ３０６は、第２転送パルスφＴＸ２によって駆動され、画素メモリ３０５に保持された電荷を、フローティングでフュージョン部（ＦＤ）３０７（第２の電荷蓄積手段）に転送する。ＦＤ３０７では、画素メモリ３０５から転送された電荷を保持可能な構成となっている。なお、ここでは画素部２０１を形成する際の工程を簡略化する為に、画素メモリ３０５とＦＤ３０７を同じ不純物濃度で形成するものとする。リセットスイッチ３１０は、リセットパルスφＲＥＳによって駆動され、基準電位ＶＤＤを供給可能な構成となっている。

ＦＤ３０７は、上述したように転送された電荷を保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部としても機能する。出力部３０８は、ＦＤ３０７に保持した電荷に基づく電圧信号を増幅して、画素の信号として出力する。ここでは例として、出力部３０８のＭＯＳトランジスタと定電流源３１１を用いたソースフォロワ回路を示している。選択スイッチ３０９は、垂直選択パルスφＳＥＬによって駆動され、出力部３０８で増幅された信号が垂直信号線３１２に出力される。垂直信号線３１２に出力された信号は、列毎に対応して構成される列回路３０２でサンプリングされた後、図１におけるＣＤＳ回路１０３へ出力される。

列回路３０２は、読み出しスイッチ３１３、３１５、３１７、３１９、及び信号保持部３１４、３１６、３１８、３２０、及び水平転送スイッチ３２１、３２２、３２３、３２４を含む。読み出しスイッチ３１３、３１５、３１７、３１９は、読み出しパルスφＮ１、φＮ２、φＳ１、φＳ２によって各々駆動され、垂直信号線３１２に出力される各信号が信号保持部３１４、３１６、３１８、３２０にサンプリングされる。

水平転送スイッチ３２１、３２３は、水平選択パルスφＨａによって駆動され、水平転送スイッチ３２２、３２４は、水平選択パルスφＨｂによって駆動される。信号保持部３１４、３１６、３１８、３２０にサンプリングされた信号は、水平選択パルスφＨａ、φＨｂによって各々Ｎ１信号、Ｎ２信号、Ｓ１信号、Ｓ２信号として、ＣＤＳ回路１０３へ列毎に順次出力される。なお、列回路３０２は、上記構成の他に、信号を増幅するためのバッファアンプを適宜配置した構成としてもよい。

●発光装置の構成と駆動方法
図４は、図１に示す発光装置１１６の第１の実施形態における構成を示すブロック図である。発光装置１１６は、主に、光源制御部４０１と光源部４０２から構成されている。光源制御部４０１はＴＧ１０６から発光パルスφＬｉｇｈｔを受け取り、φＬｉｇｈｔがＨｉ時に点灯、Ｌｏｗ時に消灯、というように、φＬｉｇｈｔに対応した光源部４０２の明滅制御を行う。

●通常画像取得時の駆動パターン
次に、図５に示すタイミングチャートを参照して、第１の実施形態における通常画像を取得する際の撮像素子１０２の駆動パターンを説明する。パルス名後の括弧内に示すｎ、ｎ＋１、ｎ＋２はそれぞれｎ行目、ｎ＋１行目、ｎ＋２行目に与えるパルスであることを示している。なお、ｎは偶数とする。

まず、期間ｔ５０１で、全行分のリセットパルスφＲＥＳ、全行分の第２転送パルスφＴＸ２をＨｉにする。また、期間ｔ５０１と開始時刻を同じくする期間ｔ５０３で、全行分の第１転送パルスφＴＸ１をＨｉにする。これにより、リセットスイッチ３１０、第１転送スイッチ３０４、及び第２転送スイッチ３０６がオン（導通）し、ＰＤ３０３、画素メモリ３０５、及びＦＤ３０７の電位が初期電位にリセットされる。

期間ｔ５０１におけるＰＤ３０３、画素メモリ３０５のリセットが終了すると、期間ｔ５０２で電荷の蓄積を行う。この時、ＰＤ３０３で生成された電荷は第１転送スイッチ３０４を介して、画素メモリ３０５に保持される。期間ｔ５０２（ｔ５０３）が終了すると、全行分の第１転送パルスφＴＸ１をＬｏｗにし、露光が終了する。期間ｔ５０２ですべての画素が同時に蓄積を行うので、いわゆるグローバル電子シャッター駆動となる。

次いで、期間ｔ５０４でリセットパルスφＲＥＳ（ｎ）をＨｉにすることで、リセットスイッチ３１０をオンし、ＦＤ３０７をリセットする。その後、期間ｔ５０５の間、ｎ行目の垂直選択パルスφＳＥＬ（ｎ）をＨｉにし、選択スイッチ３０９をオンすることで読み出し行を選択する。期間ｔ５０６で読み出しパルスφＮ１をＨｉにし、読み出しスイッチ３１３をオンにすることで、ＦＤ３０７のリセット電位を信号保持部３１４に読み出す。

期間ｔ５０７で第２転送パルスΦＴＸ２（ｎ）をＨｉにし、第２転送スイッチ３０６をオンにすることで、画素メモリ３０５に蓄積された電荷がＦＤ３０７に読み出される。期間ｔ５０８で読み出しパルスφＳ１をＨｉにし、読み出しスイッチ３１７をオンにすることで、ＦＤ３０７の信号電位を信号保持部３１８に読み出す。

期間ｔ５０９において、水平選択パルスφＨａに応じて水平転送スイッチ３２１、３２３を駆動し、信号保持部３１４、３１８にサンプリングされたｎ行目の信号を列毎に読み出す。また、期間ｔ５０９でｎ行目の水平転送が始まると同時にｎ行目と同様にして、ｎ＋１行目の信号の読み出しを始める。但し、ｎ＋１行目の信号はｎ行目と違い、読み出しスイッチ３１５、信号保持部３１６、水平転送スイッチ３２２及び、読み出しスイッチ３１９、信号保持部３２０、水平転送スイッチ３２４の経路で読出しを行う。このように、偶数行と奇数行で列回路の読出し経路を偶奇行で交互に入れ替えることで、前の行の水平転送が終了するのを待たずに信号読み出しを開始できるので、読み出し時間の短縮を図ることができる。

次いで、ｎ＋１行目の読み出しが終了すると、偶数行であるｎ行目と同様の列回路の読出し経路でｎ＋２行目の信号を読み出し、以下、すべての行に対して、同様に行うことで画像データを取得することができる。

なお、本実施形態では図５における期間ｔ５０２に行う電荷蓄積期間中において、第１転送スイッチ３０４をオンにすることで、ＰＤ３０３で生成された電荷を順次画素メモリ３０５に転送して蓄積した。更に、電荷蓄積期間が経過したときに第１転送スイッチ３０４をオフ（遮断）する駆動とした。しかしながら、本発明はこれに限られるものではなく、例えば、次のように駆動してもよい。すなわち、期間ｔ５０２において第１転送スイッチ３０４をオフとし、ＰＤ３０３で電荷を蓄積させて、露光終了時に第１転送スイッチ３０４をオンオフさせることで、画素メモリ３０５に電荷を転送させる。または、第１転送スイッチ３０４を設けずに、画素メモリ３０５への電荷の蓄積をもって、電荷蓄積期間を終了するようにしても良い。

●距離画像取得時の駆動パターン
次に図６に示すタイミングチャートを参照して、第１の実施形態における距離画像を取得する際の撮像素子１０２の駆動パターンを説明する。パルス名後の括弧内に示すｎ、ｎ＋１、ｎ＋２は図５と同様にそれぞれｎ行目、ｎ＋１行目、ｎ＋２行目に与えるパルスであることを示している。但し、距離画像取得の際には偶数行、奇数行の区別なく読み出す。

まず、期間ｔ６１２の間、ｎ行目の垂直選択パルスφＳＥＬ（ｎ）をＨｉにし、選択スイッチ３０９をオンすることで読み出し行を選択する。また、期間ｔ６０１で、リセットパルスφＲＥＳ（ｎ）、第１転送パルスφＴＸ１（ｎ）、第２転送パルスφＴＸ２（ｎ）をＨｉにする。これによって、ｎ行目のリセットスイッチ３１０、第１転送スイッチ３０４、及び第２転送スイッチ３０６がオンし、ＰＤ３０３、画素メモリ３０５、及びＦＤ３０７の電位が初期電位にリセットされる。次いで、期間ｔ６０２で、読み出しパルスφＮ１をＨｉにし、読み出しスイッチ３１３をオンにすることで、ＦＤ３０７のリセット電位を信号保持部３１４に読み出す。

次に期間ｔ６０３、ｔ６０４、ｔ６０５における駆動の説明を行う。図７は図６におけるφＬｉｇｈｔ、φＴＸ１（ｎ）、φＴＸ２（ｎ）の期間ｔ６０３、ｔ６０４、ｔ６０５を抜き出して示したものである。また、期間ｔ６０５´のφＬｉｇｈｔ上の一点鎖線は被写体からの反射光の一例を示している。

期間ｔ６０３で第２転送パルスφＴＸ２（ｎ）を、期間ｔ６０４で第１転送パルスφＴＸ１（ｎ）をそれぞれＨｉにし、第１転送スイッチ３０４と第２転送スイッチ３０６をオンにする。これにより、ＰＤ３０３で生成された電荷は画素メモリ３０５とＦＤ３０７で構成される合成容量に保持される。

期間ｔ６０３が終了すると、第２転送パルスφＴＸ２（ｎ）をＬｏｗにし、第２転送スイッチ３０６がオフとなり、ＰＤ３０３で生成された電荷は期間ｔ６０３で保持された電荷に加えて、画素メモリ３０５に保持される。

このように第２転送スイッチ３０６のみをオフにすることで、電荷を画素メモリ３０５とＦＤ３０７に振り分けることが可能となる。これにより、電荷振り分け動作を２つの転送スイッチを独立に制御して行うことで生じる、電荷の振り分け誤差を低減することができる。

また、第１の実施形態では期間ｔ６０３とｔ６０４の開始時刻を同じに設定し、期間ｔ６０４を期間ｔ６０３の倍の長さとなるように設定する。また、光源部４０２を点灯する期間ｔ６０５（投光期間）の半分の時間が期間ｔ６０３が終了するタイミングと一致するように設定する。ここで、期間ｔ６０３にＰＤ３０３で発生した電荷をＱ１、期間ｔ６０３が終了してから期間ｔ６０４が終了するまでにＰＤ３０３で発生した電荷をＱ２とする。この場合、例えば被写体までの距離が至近の場合は投射光のタイミングと反射光のタイミングはほぼ等しいと考えられるので、電荷Ｑ１と電荷Ｑ２はほぼ等しい電荷量となる。一方、被写体までに距離がある場合、投射光のタイミングに対して、反射光のタイミングが遅れることになるので（例えば、ｔ６０５´の一点鎖線で示すタイミング）、電荷Ｑ１に対して、電荷Ｑ２が多くなることになる。

次に、図６に戻して期間ｔ６０６以降の説明をする。期間ｔ６０６で読み出しパルスφＳ１をＨｉにし、読み出しスイッチ３１５をオンにすることで、ＦＤ３０７に振り分けられた信号電位を信号保持部３１８に読み出す。

期間ｔ６０７でリセットパルスφＲＥＳ（ｎ）をＨｉにし、再度ＦＤ３０７を初期電位にリセットする。期間ｔ６０８で読み出しパルスφＮ２をＨｉにし、読み出しスイッチ３１５をオンにすることで、２度目のＦＤ３０７のリセット電位を信号保持部３１６に読み出す。

期間ｔ６０９で第２転送パルスφＴＸ２（ｎ）をＨｉにし、第２転送スイッチ３０６をオンにすることで、画素メモリ３０５に振り分けられた電荷をＦＤ３０７に転送する。期間ｔ６１０で読み出しパルスφＳ２をＨｉにし、読み出しスイッチ３１９をオンにすることで、ＦＤ３０７に保持されている信号電位を信号保持部３２０に読み出す。

期間ｔ６１１において、水平選択パルスφＨａ、φＨｂに応じて水平転送スイッチ３２１、３２２、３２３、３２４を駆動し、信号保持部３１４、３１６、３１８、３２０にサンプリングされたｎ行目のＮ１、Ｎ２、Ｓ１、Ｓ２の各信号を列毎に順次読み出す。

期間ｔ６１１が終わるとｎ行目と同様にしてｎ＋１行目の信号を読み出す。ｎ＋１行目の読み出しが終了すると同様にｎ＋２行目の信号を読み出し、以下、すべての行に対して、同様に駆動を行う。

ここで、距離画像を取得する際の駆動方法としては、行毎に順次リセット・蓄積・読み出しを繰り返し行うローリング駆動となる。

●距離画像の取得時の演算方法
上述した距離画像の取得時の駆動パターンで撮像素子１０２を駆動させ、読み出した信号Ｎ１、Ｎ２、Ｓ１、Ｓ２はＣＤＳ回路１０３、Ａ／Ｄ変換器１０４を介して、信号処理回路１０７へと転送される。

画素メモリ３０５の容量をＣｍ、ＦＤ３０７の容量をＣｆ、図６における期間ｔ６０３にＰＤ３０３で発生した電荷をＱ１、期間ｔ６０３が終了してから期間ｔ６０４が終了するまでにＰＤ３０３で発生した電荷をＱ２とする。この場合、信号処理回路１０７では信号Ｎ１、Ｎ２、Ｓ１、Ｓ２を用いて、電荷Ｑ１、Ｑ２を求める処理を下記の式（１）及び（２）によって行う。
Q1=(Cm+Cf)*(S1-N1) …（１）
Q2=(Cm+Cf)*(S2-N2)-Cm*(S1-N1) …（２）

電荷Ｑ１とＱ２の和に対する電荷Ｑ２の比をＲとすると、以下の式（３）となる。
R=Q2/(Q1+Q2) …（３）

ここで、期間ｔ６０３にφＬｉｇｈｔがＨｉになる時間をｕ１、期間ｔ６０３終了時から期間ｔ６０４終了時までにφＬｉｇｈｔがＨｉになる時間をｕ２とすると、ｕ１とｕ２の和に対するｕ２の比Ｕは、
U=u2/(u1+u2) …（４）

次いで、上記式（３）及び式（４）で求めた電荷比Ｒ、発光時間比Ｕに加え、被写体にパルス光を投光してから反射してくるまでの光飛行時間をｔ[sec]、光の速度をｃ[m/sec]とする。更に、図６の期間ｔ６０５に相当する光源部４０２による発光時間をＷ[sec]、被写体までの距離をＬ[m]とすると、電荷比Ｒと光飛行時間ｔの関係と、光飛行時間ｔと被写体までの距離Ｌの関係は下記のようにとなる。
R=1/W*t+U …（５）
t=2L/C …（６）

上記式（５）は電荷比Ｒと光飛行時間ｔの関係を示しており、電荷比Ｒは発光時間Ｗの逆数に比例し、発光時間比Ｕがオフセットとなる。本実施形態ではＵが１／２となるよう設定しているので、式（５）と式（６）とから、電荷比Ｒと被写体までの距離Ｌの関係は下記の式（７）に示すものとなる。
L=Wc/2*R-Wc/4 …（７）

このように、撮像素子からの信号Ｎ１、Ｎ２、Ｓ１、Ｓ２を用いて、式（１）から式（７）の演算を信号処理回路１０７で行うことで、画素毎の距離情報を得ることが可能となる。

上記の通り本第１の実施形態によれば、従来の画素メモリを持つ画素構成の撮像素子において、画素メモリとＦＤを介する転送スイッチの駆動のみで電荷を振り分けることができる。これにより、転送パルスや転送スイッチのバラつきによる距離情報の誤差を低減させることが可能で、且つ、距離画像の解像度を低下させることもない撮像素子を実現することができる。

なお、上述した例では、画素部２０１を構成するすべての画素が図３に示す画素３０１であるものとして説明したが、本発明はこれに限るものではなく、一部の画素を画素３０１で構成するようにしてもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、距離画像の読み出しを早めることを目的として、列回路３０２を、信号Ｎ１、Ｎ２、Ｓ１、Ｓ２の信号保持部を並列に配置する構成とした。距離画像を取得する際、４つの信号保持部を並列に並べることで、各信号を信号保持部に保持した後、列数分の水平選択パルスφＨのみの時間で読み出すことが可能となっている。一方で、４つの信号保持部を並列に配置する列回路では水平方向に回路規模が大きくなることでレイアウト上不利となってしまい、列数に制限がかかる等の可能性がある。

そこで、第２の実施形態では第１の実施形態の列回路と同じ機能を、回路規模を縮小し、且つ水平方向のレイアウトを考慮した列回路で構成する。具体的には２つの信号保持部を直列につないだ回路を２つ並列に並べることで、１つの列回路につき、水平転送スイッチの数を半減することができる。また、水平方向のスペースを縮小させることができる。

●列回路の構成
図８は、第２の実施形態における列回路８０１の等価回路図であり、第１の実施形態で図３を参照して説明した列回路３０２の代わりに用いることができる。なお、画素３０１及び垂直信号線３１２等の構成は、図３に示すものと同様であるのでものとする。列回路８０１は、第１読み出しスイッチ８０２、８０３、第１信号保持部８０４、８０５、第２読み出しスイッチ８０６、８０７、第２信号保持部８０８、８０９、及び水平転送スイッチ８１０、８１１から構成されている。第１信号保持部８０４、８０５は前段の信号保持手段に相当し、第２信号保持部８０８、８０９は後段の信号保持手段に相当する。

第１読み出しスイッチ８０２は第１読み出しパルスφＮａ、第１読み出しスイッチ８０３は第１読み出しパルスφＳａによって駆動され、垂直信号線３１２に出力される各信号が第１信号保持部８０４、８０５に保持される。第２読み出しスイッチ８０６は第２読み出しパルスφＮｂ、第２読み出しスイッチ８０７は第２読み出しパルスφＳｂによって駆動され、第１信号保持部８０４、８０５に保持された各信号を第２信号保持部８０８、８０９に転送する。

水平転送スイッチ８１０、８１１は、水平選択パルスφＨによって駆動され、第２信号保持部８０８、８０９に保持された信号をＣＤＳ回路１０３へ列毎に順次出力する。

このように、信号保持部を２つ直列に接続した回路を２系統並列に配置することで、第１の実施形態で示した列回路３０２に比べて、水平転送スイッチの数を４つから２つへと半減でき、水平方向のスペースを縮小できるのでレイアウト上有利になる。

●通常画像取得時の駆動パターン
次に図９に示すタイミングチャートを参照して、第２の実施形態における通常画像を取得する際の撮像素子１０２の駆動パターンを説明する。パルス名後の括弧内に示すｎ、ｎ＋１、ｎ＋２はそれぞれｎ行目、ｎ＋１行目、ｎ＋２行目に与えるパルスであることを示している。また、第１の実施形態と違い、偶数行、奇数行の区別はしない。

期間ｔ９０１からｔ９０４までは、第１の実施形態において図５で示したタイミングチャートの期間ｔ５０１からｔ５０４と同様である。

その後、期間ｔ９０５の間、ｎ行目の垂直選択パルスφＳＥＬ（ｎ）をＨｉにし、選択スイッチ３０９をオンすることで読み出し行を選択する。期間ｔ９０６で読み出しパルスφＮａをＨｉにし、第１読み出しスイッチ８０２をオンにすることで、ＦＤ３０７のリセット電位を第１信号保持部８０４に読み出す。

期間ｔ９０７で第２転送パルスΦＴＸ２（ｎ）をＨｉにし、第２転送スイッチ３０６をオンにすることで、画素メモリ３０５に蓄積された電荷がＦＤ３０７に読み出される。期間ｔ９０８で第１読み出しパルスφＳａをＨｉにし、第１読み出しスイッチ８０３をオンにすることで、ＦＤ３０７の信号電位を第１信号保持部８０５に読み出す。

期間ｔ９０９において、第２読み出しパルスφＮｂ、φＳｂをＨｉにし、第２信号読み出しスイッチ８０６、８０７をオンにすることで、第１信号保持部８０４、８０５に保持されている信号を第２信号保持部８０８、８０９に転送する。

期間ｔ９１０において、水平選択パルスφＨに応じて水平転送スイッチ８１０、８１１を駆動し、第２信号保持部８０８、８０９に保持されたｎ行目の信号を列毎に順次読み出す。また、期間ｔ９１０の開始時刻においてｎ行目と同様にｎ＋１行目の読み出しが開始し、以下、すべての行に対して、同様に駆動を行うことで、通常画像を得ることができる。

●距離画像取得時の駆動パターン
次に図１０に示すタイミングチャートを参照して、第２の実施形態における距離画像を取得する際の撮像素子１０２の駆動パターンを説明する。パルス名後の括弧内に示すｎ、ｎ＋１、ｎ＋２は図９と同様にそれぞれｎ行目、ｎ＋１行目、ｎ＋２行目に与えるパルスであることを示している。また、偶数行、奇数行の区別はない。

まず、期間ｔ１０１２の間、ｎ行目の垂直選択パルスφＳＥＬ（ｎ）をＨｉにし、選択スイッチ３０９をオンすることで読み出し行を選択する。また、期間ｔ１００１で、リセットパルスφＲＥＳ（ｎ）、第１転送パルスφＴＸ１（ｎ）、第２転送パルスφＴＸ２（ｎ）をＨｉにする。これによって、ｎ行目のリセットスイッチ３１０と第１転送スイッチ３０４と第２転送スイッチ３０６をオンし、ＰＤ３０３と画素メモリ３０５とＦＤ３０７の電位が初期電位にリセットされる。次いで、期間ｔ１００２で、第１読み出しパルスφＮａをＨｉにし、第１読み出しスイッチ８０２をオンにすることで、ＦＤ３０７のリセット電位を第１信号保持部８０４に読み出す。

期間ｔ１００３、ｔ１００４、ｔ１００５における駆動は図６で示す期間ｔ６０３、ｔ６０４、ｔ６０５と同様である。

次いで、期間ｔ１００６で第１読み出しパルスφＳａをＨｉにし、第１読み出しスイッチ８０３をオンにすることで、ＦＤ３０７に振り分けられた信号電位を第１信号保持部８０５に読み出す。そして、期間ｔ１００７で第２読み出しパルスφＮｂ、φＳｂをＨｉにし、第２信号読み出しスイッチ８０６、８０７をオンにすることで、第１信号保持部８０４、８０５に保持されている信号を第２信号保持部８０８、８０９に転送する。その後、水平選択パルスφＨに応じて水平転送スイッチ８１０、８１１を駆動し、第２信号保持部８０８、８０９に保持されたｎ行目の信号を列毎に順次読み出す。

次いで、期間ｔ１００８で再度リセットパルスφＲＥＳ（ｎ）をＨｉにし、ＦＤ３０７の電位を初期電位にリセットする。期間ｔ１００９で第１読み出しパルスφＮａをＨｉにし、第１読み出しスイッチ８０２をオンにすることで、期間ｔ１００８で行ったＦＤ３０７のリセット電位を第１信号保持部８０４に読み出す。

期間ｔ１０１０で第２転送パルスφＴＸ２（ｎ）をＨｉにし、第２転送スイッチ３０６をオンにすることで、画素メモリ３０５に振り分けられた電荷をＦＤ３０７に転送し、保持する。期間ｔ１０１１で第１読み出しパルスφＳａをＨｉにし、ＦＤ３０７の信号電位を第１信号保持部８０５に読み出す。

期間ｔ１０１３で第２読み出しパルスφＮｂ、φＳｂをＨｉにし、第２信号読み出しスイッチ８０６、８０７をオンにすることで、第１信号保持部８０４、８０５に保持されている信号を第２信号保持部８０８、８０９に転送する。その後、期間ｔ１０１４で水平選択パルスφＨに応じて水平転送スイッチ８１０、８１１を駆動し、第２信号保持部８０８、８０９に保持されたｎ行目の信号を列毎に順次読み出す。

また、期間ｔ１０１４の開始時刻でｎ行目と同様にｎ＋１行目の信号の読み出しを開始する。ｎ＋１行目の読み出しが終了すると同様にｎ＋２行目の信号を読み出し、以下、すべての行に対して、同様に駆動を行う。

ここで、距離画像を取得する際の駆動方法は第１の実施形態と同様、行毎に順次リセット、蓄積、読み出しを行うローリング駆動となる。また、信号処理回路１０７で行う処理方法は、第１の実施形態で説明した方法と同様である。

上記の通り本第２の実施形態によれば、信号保持部を２つ直列に接続した回路を２系統並列に配置することで、第１の実施形態で示した列回路に比べて、読み出し時間が長くなるが、水平転送スイッチの数を４つから２つへと半減することができる。これにより、水平方向のスペースを縮小できるので、レイアウト上有利になる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。

●発光装置の構成と駆動方法
距離画像を取得する際、投光した光が被写体から反射して撮像素子にあたるまでの距離の間、撮像素子が信号を取り出せるだけの光強度を保っている必要がある。光の強度は距離の二乗に反比例して減衰する性質がある為、投光時の光エネルギーは高い方が望ましい。

また、本実施形態における距離画像取得時の駆動方法は行毎に順次リセット・蓄積・読み出しを繰り返し行うローリング駆動である。すなわち選択している行の画素群に発光装置による被写体からの反射光が当たればよい。したがって、画角全体に投光する必要はなく、行の画素群に当たるだけの幅以上となるように光を集約させることで、投射光の強度を上げることができる。第３の実施形態では行に応じてラインスキャンを行うことで投射光強度を上げる。

図１１は第３の実施形態における発光装置の構成を示すブロック図である。点線部１１００は発光装置を示しており、光源制御部１１０１、光源駆動部１１０２、ラインレーザー１１０３から構成されている。光源制御部１１０１は図１におけるＴＧ１０６から垂直選択パルスφＳＥＬと発光パルスφＬｉｇｈｔを受け取り、光源駆動部１１０２を介して、ラインレーザー１１０３のラインスキャン駆動の制御や明滅の制御を行う。

図１２は発光装置による投光位置と光経路を示した概略図である。投光位置は発光装置内の光源駆動部１１０２により投光角度を変えることで決まり、図上の投光角度θ1、θ２、θ３はそれぞれ光経路を示す実線部Ｌ１、一点鎖線部Ｌ２、二点鎖線部Ｌ３に対応している。

図１３は投光と投光角度制御のタイミングチャートである。発光パルスφＬｉｇｈｔがＨｉの期間に光源制御部１１０１を介してラインレーザー１１０３が点灯し、Ｌｏｗ期間は消灯する。また、選択パルスφＳＥＬの立ち上げに応じて選択行に光が当たる角度θになるよう光源制御部１１０１を介して、光源駆動部１１０２が角度制御を行う。

このように例えばラインレーザーのような光をライン状に集約させた光源を用いて、ローリング駆動を行っている撮像素子において電荷蓄積を行っている画素行に対応させた投光位置制御を行うことで、投射光の強度を上げることができる。

この時、撮像素子１０２の駆動モードや光学系１０１の焦点距離情報等の状態に関する情報を用いて、投光開始位置、投光終了位置、投光幅、投光高さ、投光位置を変化させる間隔、及び投光位置を変化させる速度等の投光に関する各種パラメータを変えてもよい。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。上述した第１の実施形態では画素部２０１を形成する際の工程の簡略化を考慮して、画素メモリ３０５とＦＤ３０７の不純物濃度を同一とした。不純物濃度が同じことからポテンシャル深さは同一となるので、画素メモリ３０５からＦＤ３０７への電荷を転送する際には電荷の容量分割が発生する。これを考慮して距離画像取得の際には、信号処理回路１０７で信号Ｓ１、Ｓ２、Ｎ１、Ｎ２から電荷Ｑ１と電荷Ｑ２を算出することで、画素毎の距離情報を取得したが、式（１）及び式（２）で示したように複雑な演算が必要となってしまう。また、この構成では通常画像を取得する際にも画素メモリ３０５とＦＤ３０７による容量分割が発生し、感度が落ちてしまう。

これを鑑みて、第４の実施形態では画素メモリ３０５の電荷をＦＤ３０７へ完全転送できる構成とする。具体的には、画素メモリ３０５とＦＤ３０７のポテンシャル深さを画素メモリ３０５よりＦＤ３０７の方が深くなるようにそれぞれを形成する不純物濃度を変える。このような構成とする時、第１の実施形態で説明した式（１）及び式（２）が不要となり、電荷比Ｒを信号Ｎ１、Ｎ２、Ｓ１、Ｓ２を用いて、下記式（８）により求めることができる。
R=(S2-N2)/((S1-N2)+(S2-N2)) …（８）

上記に示すように距離情報を取得する際に必要な演算の簡略化が可能となる。また、通常画像を取得する際にも、容量分割による感度の低下を低減することが可能となる。

１０１ 光学系
１０２ 撮像素子
１０５ 駆動回路
１０７ 信号処理回路
１１６ 発光装置
３０１ 画素
３０２ 列回路
３０３ フォトダイオード（ＰＤ）
３０５ 画素メモリ
３０７ フローティングデフュージョン部（ＦＤ）
３１４、３１６、３１８、３２０ 信号保持部
８０１ 列回路
８０４、８０５ 第１信号保持部
８０８、８０９ 第２信号保持部

Claims (8)

1. 被写体に向けて投光する発光手段と、
   入射した光量に応じた電荷を発生する光電変換素子と、前記光電変換素子に接続された第１の電荷蓄積手段と、スイッチを介して前記第１の電荷蓄積手段に接続された第２の電荷蓄積手段とを有する画素を含む複数の画素が行列状に配置された撮像素子と、
   前記発光手段の投光期間を含む電荷蓄積期間の開始から、前記投光期間の間の予め決められた時間まで、前記スイッチを導通させ、前記スイッチを遮断してから前記第２の電荷蓄積手段に蓄積された電荷に対応する第１の信号を読み出し、前記電荷蓄積期間が経過したときに、前記第１の電荷蓄積手段に蓄積された電荷に対応する第２の信号を読み出すように前記撮像素子を駆動する駆動手段と、
   前記第１の信号及び前記第２の信号に基づいて、被写体までの距離を算出する算出手段と
   を有することを特徴とする撮像装置。
2. 前記投光期間の間の予め決められた時間は、前記投光期間の半分が経過した時間であることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の電荷蓄積手段及び前記第２の電荷蓄積手段の電位をリセットするリセット手段と、
   前記複数の画素の各列に並列に接続された４つの信号保持手段とを更に有し、
   前記４つの信号保持手段は、それぞれが、前記第１の信号、前記第２の信号、前記第１の信号を読み出す前に前記撮像素子から読み出されたリセット電位の信号、前記第２の信号を読み出す前に前記撮像素子から読み出されたリセット電位の信号のうち、互いに異なるいずれかの信号を保持することを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１の電荷蓄積手段及び前記第２の電荷蓄積手段の電位をリセットするリセット手段と、
   前記複数の画素の各列に、２つの信号保持手段をスイッチを介して直列に接続して構成された系が、２系統並列に接続された４つの信号保持手段とを更に有し、
   前記第１の信号を読み出す前に前記撮像素子から読み出されたリセット電位の信号と、前記第１の信号とを２つの系に分けて前段の２つの前記信号保持手段に保持し、前記スイッチを介して後段の２つの前記信号保持手段にそれぞれ転送した後、前記第２の信号を読み出す前に前記撮像素子から読み出されたリセット電位の信号と、前記第２の信号とを前段の２つの前記信号保持手段に保持することを特徴とする請求項１または２に記載の撮像装置。
5. 前記発光手段はライン状に集約させた光を投光し、前記被写体からの反射光が前記撮像素子の各行の光電変換素子に順に入射するように、投光する角度を変えながら投光を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記光電変換素子は、光学系を介して入射する光量に応じた電荷を発生し、
   前記発光手段は、前記撮像素子の駆動及び前記光学系の状態に応じて、投光開始位置、投光終了位置、投光幅、投光高さ、投光位置を変化させる間隔、及び投光位置を変化させる速度の少なくとも１つのパラメータについての制御を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記第２の電荷蓄積手段のポテンシャルが前記第１の電荷蓄積手段よりも高くなるように、前記第１の電荷蓄積手段と、前記第２の電荷蓄積手段の不純物濃度を互いに異ならせたことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 被写体に向けて投光する発光手段、及び、入射した光量に応じた電荷を発生する光電変換素子と、前記光電変換素子に接続された第１の電荷蓄積手段と、スイッチを介して前記第１の電荷蓄積手段に接続された第２の電荷蓄積手段とを有する画素を含む複数の画素が行列状に配置された撮像素子を有する撮像装置の制御方法であって、
   駆動手段が、前記発光手段の投光期間を含む電荷蓄積期間の開始から、前記投光期間の間の予め決められた時間まで、前記スイッチを導通させる工程と、
   前記駆動手段が、前記スイッチを遮断してから前記第２の電荷蓄積手段に蓄積された電荷に対応する第１の信号を読み出す工程と、
   前記駆動手段が、前記電荷蓄積期間が経過したときに、前記第１の電荷蓄積手段に蓄積された電荷に対応する第２の信号を読み出す工程と、
   算出手段が、前記第１の信号及び前記第２の信号に基づいて、被写体までの距離を算出する工程と
   有することを特徴とする制御方法。

Images