JP6865589B2 - 撮像装置 - Google Patents

Description

本発明は、イメージセンサ、撮像装置および車両に関する。

イメージセンサを含む撮像装置のなかには、被写体の形状等を示す画像信号と、その被写体と撮像装置との間の距離を示す距離信号との双方を読み出すものがある（特許文献１参照）。被写体と撮像装置との間の距離を計測する方法の一例として、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）法が用いられる。この方法によれば、被写体に対して光を照射した後、その被写体からの反射光を検出し、光の照射のタイミングから反射光の検出のタイミングまでの時間差（遅延時間）に基づいて、被写体と撮像装置との間の距離を測定することができる。このような撮像装置は、例えば車載用カメラに適用され、車両周辺の障害物、及び、その障害物と車両との間の距離を検出するのに用いられる。

特開２００８−１１６３０９号公報

撮像装置は複数の画素を備え、各画素はフォトダイオード等の光電変換素子を含む。ここで、ある被写体の形状等と、その被写体と撮像装置との間の距離とを適切に関連付けるため、上述の画像信号および距離信号はいずれも同一画素（同一の光電変換素子）から読み出されることが好ましい。

本発明は、画像信号および距離信号の双方を同一画素から適切に取得する新規な技術を提供することを目的とする。

本発明の一つの側面は撮像装置に係り、前記撮像装置は、複数の画素を有する第１の撮像部と、前記第１の撮像部から離間して配され、複数の画素を有する第２の撮像部と、プロセッサと、を備える撮像装置であって、前記第１の撮像部の各画素は、第１光電変換素子、第１信号保持部および第２信号保持部を有し、前記第２の撮像部の各画素は、第２光電変換素子および第３信号保持部を有し、前記プロセッサは、光照射部により被写体に光を照射していない状態で前記被写体からの光量に応じて前記第１光電変換素子で発生した信号を、画像信号として前記第１信号保持部により保持する第１動作と、前記光照射部により前記被写体に光を照射し、該被写体からの反射光に基づいて前記第１光電変換素子で発生した信号を、前記被写体と前記撮像装置との間の距離を示す距離信号として前記第２信号保持部により保持する第２動作と、前記複数の画素のそれぞれから、前記第１動作で前記第１信号保持部に保持された前記画像信号と、前記第２動作で前記第２信号保持部に保持された前記距離信号とをそれぞれ出力させる第３動作と、を行うように前記第１の撮像部を駆動し、前記プロセッサは、前記第１動作では、前記被写体からの光量に応じて前記第２光電変換素子で発生した信号を、画像信号として前記第３信号保持部により保持し、前記第３動作では、前記第１動作で前記第３信号保持部に保持された前記画像信号を読み出すように前記第２の撮像部を駆動することを特徴とする。

本発明によれば、画像信号および距離信号の双方を同一画素から適切に取得することができる。

撮像装置の構成例を説明するための図である。 撮像部の構成例を説明するための図である。 画素の駆動方法の例を説明するための図である。 画素の駆動方法の例を説明するための図である。 撮像装置の構成例を説明するための図である。 撮像時の制御方法の例を説明するためのフローチャートである。 画素の駆動方法の例を説明するための図である。 画素の駆動方法の例を説明するための図である。 画素の駆動方法の例を説明するための図である。 画素の駆動方法の例を説明するための図である。 画素の駆動方法の例を説明するための図である。 画素の駆動方法の例を説明するための図である。 ＴＯＦ法に基づく測距を実現する方法の例を説明するための図である。 車載カメラに関する撮像システムの例を説明するための図である。

以下、添付図面を参照しながら本発明の好適な実施形態について説明する。なお、各図は、構造ないし構成を説明する目的で記載されたものに過ぎず、図示された各部材の寸法は必ずしも現実のものを反映するものではない。また、各図において、同一の部材または同一の構成要素には同一の参照符号を付しており、以下、重複する内容については説明を省略する。

（第１実施形態）
図１〜４を参照しながら、第１実施形態の撮像装置（撮像システム）１を説明する。図１は、撮像装置１の構成例を示すブロック図である。撮像装置１は、撮像部１１、プロセッサ１２、光照射部１３、ディスプレイ１４および出力部１５を備える。

撮像部１１は、画素アレイ１１１およびコントローラ１１２を有する。プロセッサ１２は、コントローラ１１２と通信可能であり、詳細は後述とするが、コントローラ１１２により画素アレイ１１１を制御して被写体（不図示）の画像データを取得する。

本実施形態では、コントローラ１１２は、光照射部１３を制御して被写体に対して光を照射させることもできる。詳細は後述とするが、プロセッサ１２は、撮像部１１を用いて、被写体の画像データを取得する他、光照射部１３の光を受けた該被写体からの反射光に基づいて、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）法に従う測距を行うことが可能である。即ち、プロセッサ１２は、光照射部１３による被写体への照射のタイミングと、該被写体からの反射光の検出のタイミングとの時間差に基づいて、被写体との距離を取得する。よって、コントローラ１１２は、プロセッサ１２からの制御信号に基づいて光照射部１３を制御し、換言すると、プロセッサ１２は、コントローラ１１２により光照射部１３を制御可能に構成される。ここで、被写体との距離は、本実施形態では、撮像装置１（特に撮像部１１）から被写体までの距離である。

プロセッサ１２は、撮像部１１から得られた画像データに基づく画像（例えば動画等の映像）をディスプレイ１４に表示させることができる。ディスプレイ１４には、液晶ディスプレイ、有機ＥＬディスプレイ等の公知の表示装置が用いられればよい。これと共に、プロセッサ１２は、上記ＴＯＦ法に基づいて取得した被写体との距離を示す信号を、出力部１５により、その信号に基づいて所定の処理を行う演算部（例えばＣＰＵ（中央処理装置））に出力する。或いは、出力部１５は、ディスプレイ１４と一体に構成されてもよく、例えば、ディスプレイ１４において、被写体と共に、その被写体との距離が合わせて表示されてもよい。

プロセッサ１２は、例えば、各機能をプログラムすることが可能な集積回路ないしデバイス（例えばＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ））でもよい。或いは、プロセッサ１２は、各機能を実現するためのＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の演算装置でもよい。或いは、プロセッサ１２は、専用集積回路（ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等）でもよい。或いは、プロセッサ１２は、ＣＰＵ及びメモリを備え、各機能はソフトウェア上で実現されてもよい。即ち、プロセッサ１２の機能は、ハードウェア及び／又はソフトウェアによって実現されればよい。

図２（ａ）は、撮像部１１の構成例を示している。撮像部１１は、画素アレイ１１１およびコントローラ１１２の他、駆動部１１３および信号読出部１１４を更に有する。画素アレイ１１１は、行列状に（複数の行および複数の列を形成するように）配列された複数の画素ＰＸを含む。駆動部１１３は、本実施形態では、デコーダやシフトレジスタ等で構成された垂直走査回路であり、複数の画素ＰＸを行ごとに駆動する。信号読出部１１４は、各列に配された信号増幅回路１１４１およびサンプリング回路１１４２、マルチプレクサ１１４３、並びに、デコーダやシフトレジスタ等で構成された水平走査回路１１４４を含む。このような構成により、信号読出部１１４は、駆動部１１３により駆動された複数の画素ＰＸから列ごとに信号読出を行う。詳細は後述とするが、サンプリング回路１１４２によるサンプリングにおいて、ＣＤＳ（相関二重サンプリング）処理が用いられる。コントローラ１１２は、タイミングジェネレータを含み、画素ＰＸ、駆動部１１３および信号読出部１１４の同期制御を行う。

図２（ｂ）は、単位画素ＰＸの回路構成例を示す。画素ＰＸは、光電変換素子ＰＤ、各種トランジスタＴ＿ＧＳ１、Ｔ＿ＧＳ２、Ｔ＿ＴＸ１、Ｔ＿ＴＸ２、Ｔ＿ＯＦＤ、Ｔ＿ＲＥＳ、Ｔ＿ＳＦ及びＴ＿ＳＥＬ、並びに、キャパシタＣ１、Ｃ２及びＣ＿ＦＤを含む。光電変換素子ＰＤには、本実施形態ではフォトダイオードが用いられるが、その他の公知の光検出素子が用いられてもよい。トランジスタＴ＿ＧＳ１、Ｔ＿ＧＳ２、Ｔ＿ＴＸ１、Ｔ＿ＴＸ２、Ｔ＿ＯＦＤ、Ｔ＿ＲＥＳ、Ｔ＿ＳＦ及びＴ＿ＳＥＬには、本実施形態ではＮＭＯＳトランジスタが用いられるが、他の公知のスイッチ素子が用いられてもよい。キャパシタＣ１、Ｃ２及びＣ＿ＦＤは、ＮＭＯＳトランジスタの拡散層領域（ドレイン／ソース）に付随する容量成分に対応する。

光電変換素子ＰＤは、トランジスタＴ＿ＧＳ１のドレイン、トランジスタＴ＿ＧＳ２のドレインおよびトランジスタＴ＿ＯＦＤのソースに一方の端子が接続され、他方の端子が接地されるように配される。トランジスタＴ＿ＧＳ１のソースと、トランジスタＴ＿ＴＸ１のドレインとは互いに接続され、これらの接続ノードにおいてキャパシタＣ１が形成される。同様に、トランジスタＴ＿ＧＳ２のソースと、トランジスタＴ＿ＴＸ２のドレインとは互いに接続され、これらの接続ノードにおいてキャパシタＣ２が形成される。また、トランジスタＴ＿ＯＦＤのドレインは、電源電圧ＶＤＤに接続される。

トランジスタＴ＿ＴＸ１のソースと、トランジスタＴ＿ＴＸ２のソースと、トランジスタＴ＿ＲＥＳのソースと、トランジスタＴ＿ＳＦのゲートとは互いに接続され、これらの接続ノードにおいてキャパシタＣ＿ＦＤが形成される。トランジスタＴ＿ＲＥＳのドレインおよびトランジスタＴ＿ＳＦのドレインは、電源電圧ＶＤＤに接続される。また、トランジスタＴ＿ＳＦのソースは、トランジスタＴ＿ＳＥＬのドレインに接続される。トランジスタＴ＿ＳＥＬのソースは、画素ＰＸの信号を出力するための列信号線ＬＣに接続される。

トランジスタＴ＿ＧＳ１は、制御信号Ｐ＿ＧＳ１をゲートで受けて、導通状態（オン）または非導通状態（オフ）に制御される。本実施形態では、トランジスタＴ＿ＧＳ１は、信号Ｐ＿ＧＳ１がハイレベル（Ｈレベル）のときに導通状態となり、ローレベル（Ｌレベル）のときに非導通状態となる。同様に、トランジスタＴ＿ＧＳ２は、制御信号Ｐ＿ＧＳ２をゲートで受けて、導通状態または非導通状態に制御される。同様に、トランジスタＴ＿ＴＸ１、Ｔ＿ＴＸ２、Ｔ＿ＯＦＤ、Ｔ＿ＲＥＳ及びＴ＿ＳＥＬは、それぞれ、制御信号Ｐ＿ＴＸ１、Ｐ＿ＴＸ２、Ｐ＿ＯＦＤ、Ｐ＿ＲＥＳ及びＴ＿ＳＥＬにより制御される。これらの制御信号Ｐ＿ＧＳ１等は、駆動部１１３から、タイミングジェネレータ１１２の同期信号に基づいて各画素ＰＸに供給される。

トランジスタＴ＿ＧＳ１は、光電変換素子ＰＤで発生した電荷をキャパシタＣ１に転送する第１転送部として機能する。トランジスタＴ＿ＧＳ２は、光電変換素子ＰＤで発生した電荷をキャパシタＣ２に転送する第２転送部として機能する。キャパシタＣ１は、光電変換素子ＰＤで発生した電荷量に応じた信号（電圧）を保持する第１信号保持部として機能する。同様に、キャパシタＣ２は、第２信号保持部として機能する。トランジスタＴ＿ＴＸ１は、キャパシタＣ１の信号をキャパシタＣ＿ＦＤ（容量部）に転送する第３転送部として機能する。トランジスタＴ＿ＴＸ２は、キャパシタＣ２の信号をキャパシタＣ＿ＦＤに転送する第４転送部として機能する。

トランジスタＴ＿ＲＥＳは、リセットトランジスタとも称され、キャパシタＣ＿ＦＤの電圧をリセットするリセット部として機能する。トランジスタＴ＿ＳＦは、増幅トランジスタとも称され、ソースフォロワ動作を行う信号増幅部として機能する。トランジスタＴ＿ＳＥＬは、選択トランジスタとも称され、トランジスタＴ＿ＳＦのソースの電圧に応じた信号を画素信号として列信号線ＬＣに出力することが可能であり、画素信号の出力を行うか否かを選択する選択部として機能する。また、トランジスタＴ＿ＯＦＤは、オーバーフロードレイントランジスタとも称され、光電変換素子ＰＤでの発生電荷を排出するオーバーフロードレイン部として機能する。或いは、トランジスタＴ＿ＯＦＤは、光電変換素子ＰＤの電圧をリセットする第２リセット部として機能する、とも言える。

撮像部１１の各要素は、半導体チップで構成され、撮像部１１はイメージセンサと称されてもよい。なお、本実施形態では、撮像部１１はＣＭＯＳイメージセンサであるが、他の実施形態として、ＣＣＤイメージセンサが用いられてもよい。

図３は、本実施形態に係る画素ＰＸの駆動方法の例を示すタイミングチャートである。図中において、横軸は時間軸を示す。縦軸に示された「フレーム」は、複数の画素ＰＸの全てから得られた画素信号の群に基づいて形成される静止画１枚分の画像データ（フレームデータ）に対応する。本実施形態では、動画撮影を行うものとし、このフレームデータの取得を繰り返す。図中において、第ｎのフレームデータをＦＲ（ｎ）と示す。また、理解のため、フレームデータＦＲ（ｎ）の前後のフレームデータであるフレームデータＦＲ（ｎ−１）、ＦＲ（ｎ＋１）及びＦＲ（ｎ＋２）を合わせて図示する。

ここで、フレームデータＦＲ（ｎ−１）、ＦＲ（ｎ）、ＦＲ（ｎ＋１）及びＦＲ（ｎ＋２）を読み出すための期間を、それぞれ、期間Ｔ＿ＦＲ（ｎ−１）、Ｔ＿ＦＲ（ｎ）、Ｔ＿ＦＲ（ｎ＋１）及びＴ＿ＦＲ（ｎ＋２）とする。

縦軸に示された「光照射」は、被写体に光を照射するための光照射部１３の状態（アクティブ／インアクティブ）を示す。具体的には、光照射のＨレベルは光照射部１３がアクティブ（光を照射している状態）であることを示し、また、光照射のＬレベルは光照射部１３がインアクティブ（光を照射していない状態）であることを示す。

縦軸に示された「蓄積電荷」は、光電変換素子ＰＤで発生し蓄積された電荷を示し、図中の参照符号は、ある期間における蓄積電荷量を示す。例えば、「ＱＡ１（ｎ）」は、期間Ｔ１＿ＦＲ（ｎ）において光電変換素子ＰＤで蓄積された電荷量である。

縦軸に示された「保持信号（Ｃ１）」は、キャパシタＣ１に保持される信号を示し、その信号レベルは、光電変換素子ＰＤからトランジスタＴ＿ＧＳ１により転送された電荷量に対応する電圧値である。同様に、「保持信号（Ｃ２）」は、キャパシタＣ２に保持される信号を示し、その信号レベルは、光電変換素子ＰＤからトランジスタＴ＿ＧＳ２により転送された電荷量に対応する電圧値である。

縦軸に示された「読出動作」は、複数の画素ＰＸからの行ごとの信号読出の態様を示し、参照符号と共に図示されたブロックは、ある行についての信号読出が為されたことを示す。例えば、「ＲＯ（１）」で示されたブロックは、第１行の画素ＰＸについて信号読出を行ったことを示す。なお、本実施形態において、画素アレイ１１１の行数はＸ（２以上の自然数）とする（ＲＸ（１）からＲＯ（Ｘ）までを図示する。）。

以下では、説明を容易にするため、フレームデータＦＲ（ｎ）の読出動作に着目するが、他のフレームデータＦＲ（ｎ＋１）等についても同様である。なお、図の理解を容易にするため、「蓄積電荷」、「保持信号（Ｃ１）」、「保持信号（Ｃ２）」及び「読出動作」については、フレームデータＦＲ（ｎ）の読出動作に関連するものを実線で図示し、それ以外のものについては破線で図示する。

フレームデータＦＲ（ｎ）を読み出すための期間Ｔ＿ＦＲ（ｎ）は、期間Ｔ１＿ＦＲ（ｎ）、Ｔ２＿ＦＲ（ｎ）及びＴ３＿ＦＲ（ｎ）を含む。期間Ｔ１＿ＦＲ（ｎ）では、光照射をしていない状態で（光照射：Ｌレベル）、光電変換素子ＰＤにおいて電荷の蓄積を行う。期間Ｔ１＿ＦＲ（ｎ）の蓄積電荷ＱＡ１（ｎ）は、被写体からの光であって画素ＰＸに入射した光の光量に基づく。そして、期間Ｔ１＿ＦＲ（ｎ）の最後のタイミングで、蓄積電荷ＱＡ１（ｎ）に相当する信号ＭｅｍＡ１（ｎ）がキャパシタＣ１に保持される。なお、信号ＭｅｍＡ１（ｎ）は、期間Ｔ２＿ＦＲ（ｎ）、Ｔ３＿ＦＲ（ｎ）およびＴ１＿ＦＲ（ｎ＋１）にわたって保持される。

期間Ｔ２＿ＦＲ（ｎ）では、光照射をしている状態で（光照射：Ｈレベル）、光電変換素子ＰＤにおいて電荷の蓄積を行う。期間Ｔ２＿ＦＲ（ｎ）の蓄積電荷ＱＡ２（ｎ）は、光照射部１３により光が照射された被写体からの反射光であって画素ＰＸに入射した光の光量に基づく。なお、画素ＰＸには、この反射光だけでなく、光が照射されていなかった場合の光も入射する。そのため、蓄積電荷ＱＡ２（ｎ）は、この反射光の光量に応じた成分の他、それ以外の成分をも含む点に留意されたい。そして、期間Ｔ２＿ＦＲ（ｎ）の最後のタイミングで、蓄積電荷ＱＡ２（ｎ）に相当する信号ＭｅｍＡ２（ｎ）がキャパシタＣ２に保持される。なお、信号ＭｅｍＡ２（ｎ）は、期間Ｔ３＿ＦＲ（ｎ）、Ｔ１＿ＦＲ（ｎ＋１）およびＴ２＿ＦＲ（ｎ＋１）にわたって保持される。

ここで、被写体からの反射光は、画素ＰＸにおいて、光照射のタイミングから、被写体との距離に応じた時間だけ遅延して検出される。そのため、例えば、被写体との距離が大きくなると、蓄積電荷ＱＡ２（ｎ）及びそれに相当する信号ＭｅｍＡ２（ｎ）は小さくなり、一方、この距離が小さくなると、蓄積電荷ＱＡ２（ｎ）及び信号ＭｅｍＡ２（ｎ）は大きくなる。

詳細は後述とするが、期間Ｔ３＿ＦＲ（ｎ）では、読出動作が開始され、第１行についての信号読出ＲＯ（１）から、第Ｘ行についての信号読出ＲＯ（Ｘ）まで、順に実行される。この読出動作は、信号ＭｅｍＡ１（ｎ）及びＭｅｍＡ２（ｎ）がいずれもキャパシタＣ１及びＣ２にそれぞれ保持されている期間Ｔ３＿ＦＲ（ｎ）およびＴ１＿ＦＲ（ｎ＋１）の間に為される。

図１を参照しながら述べたプロセッサ１２は、以上のようにして読み出された信号ＭｅｍＡ１（ｎ）及びＭｅｍＡ２（ｎ）に基づいて、画像データおよび距離情報を取得することができる。プロセッサ１２は、信号ＭｅｍＡ１（ｎ）を、被写体の形状等を示す画像信号として取得する。また、プロセッサ１２は、信号ＭｅｍＡ２（ｎ）を、被写体との距離を示す距離信号として取得する。ここで、前述のとおり、信号ＭｅｍＡ２（ｎ）の起源となる蓄積電荷ＱＡ２（ｎ）は、照射部１３により照射された被写体からの反射光の光量に応じた成分の他、それ以外の成分をも含む。そこで本実施形態では、プロセッサ１２は、信号ＭｅｍＡ２（ｎ）から信号ＭｅｍＡ１（ｎ）を減算し（光照射部１３により光が照射されていなかった場合に相当する信号成分を信号ＭｅｍＡ２（ｎ）から除去し）、その結果に基づいて被写体との距離を算出する。

なお、詳細は後述とするが、期間Ｔ３＿ＦＲ（ｎ）では、光電変換素子ＰＤでの電荷蓄積を行わない。具体的には、期間Ｔ３＿ＦＲ（ｎ）における光電変換素子ＰＤでの発生電荷はトランジスタＴ＿ＯＦＤにより排出される。即ち、期間Ｔ３＿ＦＲ（ｎ）の「蓄積電荷」はオーバーフロードレイン動作（ＯＦＤ動作）により破棄され、図３においてストライプのハッチングにより示される（後述の実施形態で述べる他の図についても同様）。

図４（ａ）は、図３の画素ＰＸの駆動方法を具体的に説明するためのタイミングチャートである。ここでは、説明を容易にするため、第ｍ行および第（ｍ＋１）行の画素ＰＸに着目するが、他の行についても同様である。

縦軸に示された「Ｐ＿ＯＦＤ（ｍ）」、「Ｐ＿ＧＳ１（ｍ）」及び「Ｐ＿ＧＳ２（ｍ）」は、それぞれ、第ｍ行の画素ＰＸのトランジスタＴ＿ＯＦＤ、Ｔ＿ＧＳ１及びＴ＿ＧＳ２を制御するための制御信号である（図２（ｂ）参照）。同様に、「Ｐ＿ＯＦＤ（ｍ＋１）」、「Ｐ＿ＧＳ１（ｍ＋１）」及び「Ｐ＿ＧＳ２（ｍ＋１）」は、第（ｍ＋１）行についての制御信号に対応する。また、「第ｍ行の読出動作」は、Ｈレベルの場合には信号読出ＲＯ（ｍ）が実行中であることを示し、Ｌレベルの場合には信号読出ＲＯ（ｍ）が実行中ではないことを示す。「第（ｍ＋１）行の読出動作」についても同様である。

期間Ｔ１＿ＦＲ（ｎ）が始まる前、即ち、期間Ｔ３＿ＦＲ（ｎ−１）の最後のタイミングで、信号Ｐ＿ＯＦＤ（ｍ）にＨレベルのパルスが付され、これにより、光電変換素子ＰＤがリセットされる。その後（信号Ｐ＿ＯＦＤ（ｍ）がＬレベルに戻った後）、光電変換素子ＰＤでは電荷が発生し蓄積される。期間Ｔ１＿ＦＲ（ｎ）の最後のタイミングで、信号Ｐ＿ＧＳ１（ｍ）にＨレベルのパルスが付与され、これにより、期間Ｔ１＿ＦＲ（ｎ）での蓄積電荷ＱＡ１（ｎ）に相当する信号ＭｅｍＡ１（ｎ）が画像信号としてキャパシタＣ１に保持される。

その後（信号Ｐ＿ＧＳ１（ｍ）がＬレベルに戻った後）、期間Ｔ２＿ＦＲ（ｎ）において、光電変換素子ＰＤでは再び電荷が発生し蓄積される。前述のとおり、期間Ｔ２＿ＦＲ（ｎ）では、光照射部１３による光照射が実行される。期間Ｔ２＿ＦＲ（ｎ）の最後のタイミングで、信号Ｐ＿ＧＳ２（ｍ）にＨレベルのパルスが付与され、これにより、期間Ｔ２＿ＦＲ（ｎ）での蓄積電荷ＱＡ２（ｎ）に相当する信号ＭｅｍＡ２（ｎ）が距離信号としてキャパシタＣ２に保持される。

上述の期間Ｔ１＿ＦＲ（ｎ）〜Ｔ２＿ＦＲの制御は、図中では第（ｍ＋１）行のみが示されているが、全ての行において一括で為される。即ち、画素アレイ１１１が有する複数の画素ＰＸの全てにおいて、信号ＭｅｍＡ１（ｎ）のキャパシタＣ１での保持は略同時で実行され、また、信号ＭｅｍＡ２（ｎ）のキャパシタＣ２での保持は略同時で実行される。これにより、全画素ＰＸについて電荷の蓄積時間を均一化することが可能となり、いわゆるグローバル電子シャッタを実現することができる。

その後、期間Ｔ３＿ＦＲ（ｎ）において、第１行から第Ｘ行までの読出動作、即ち、信号読出ＲＯ（１）〜ＲＯ（Ｘ）が順に為される。ここでは信号読出ＲＯ（１）〜ＲＯ（Ｘ）は行番号の順に為されるが、全画素ＰＸについて電荷の蓄積時間が均一化され、蓄積電荷がキャパシタＣ１及びＣ２にそれぞれ保持されているため、信号読出ＲＯ（１）〜ＲＯ（Ｘ）はどのような順で為されてもよい。また、信号読出ＲＯ（ｍ）及びＲＯ（ｍ＋１）は、期間Ｔ３＿ＦＲ（ｎ）と期間Ｔ１＿ＦＲ（ｎ＋１）との間の境界で区切られた形で図示されているが、期間Ｔ３＿ＦＲ（ｎ）〜Ｔ１＿ＦＲ（ｎ＋１）の間のいずれのタイミングで為されてもよい。

図４（ｂ）は、信号読出ＲＯ（ｍ）及びＲＯ（ｍ＋１）を行う際の画素ＰＸの駆動方法を具体的に説明するためのタイミングチャートである。縦軸に示された「Ｐ＿ＳＥＬ（ｍ）」、「Ｐ＿ＲＥＳ（ｍ）」、「Ｐ＿ＴＸ１（ｍ）」及び「Ｐ＿ＴＸ２（ｍ）」は、それぞれ、第ｍ行の画素ＰＸのトランジスタＴ＿ＳＥＬ、Ｔ＿ＲＥＳ、Ｔ＿ＴＸ１及びＴ＿ＴＸ２を制御するための制御信号である。同様に、「Ｐ＿ＳＥＬ（ｍ＋１）」、「Ｐ＿ＲＥＳ（ｍ＋１）」、「Ｐ＿ＴＸ１（ｍ＋１）」及び「Ｐ＿ＴＸ２（ｍ＋１）」は、第（ｍ＋１）行についての制御信号に対応する。

また、「信号読出部のサンプリング」は、Ｈレベルの場合には、信号読出部１１４においてサンプリング回路１１４２によるサンプリングが実行中であることを示し、Ｌレベルの場合には、該サンプリングが実行中ではないことを示す。前述のとおり（図２（ａ）参照）、信号読出部１１４は行ごとに画素ＰＸから信号を読み出す。そのため、ある行の画素ＰＸから信号を読み出す場合には、上記「信号読出部のサンプリング」のＨレベルは、その行の画素ＰＸからの信号をサンプリングすることを示す。

信号読出ＲＯ（ｍ）及びＲＯ（ｍ＋１）を行うための期間を、それぞれ、期間Ｔ＿ＲＯ（ｍ）及びＴ＿ＲＯ（ｍ＋１）とする。まず、期間Ｔ＿ＲＯ（ｍ）について述べる。期間Ｔ＿ＲＯ（ｍ）の間、制御信号Ｐ＿ＳＥＬ（ｍ）はＨレベルに維持される。期間Ｔ＿ＲＯ（ｍ）は、期間Ｔ０＿ＲＯ（ｍ）、Ｔ１＿ＲＯ（ｍ）、Ｔ２＿ＲＯ（ｍ）、Ｔ３＿ＲＯ（ｍ）及びＴ４＿ＲＯ（ｍ）を含む。

ここで、図２（ａ）を参照しながら述べたとおり、信号読出部１１４ではＣＤＳ処理が為される。具体的には、期間Ｔ０＿ＲＯ（ｍ）で制御信号Ｐ＿ＲＥＳ（ｍ）にＨレベルのパルスが付与され、キャパシタＣ＿ＦＤがリセットされた後、期間Ｔ１＿ＲＯ（ｍ）において、該リセットされたキャパシタＣ＿ＦＤの電圧をサンプリングする。これにより得られる信号を「ＭｅｍＡ１（ｍ）＿Ｎ」と示す。

このサンプリングの完了後、期間Ｔ１＿ＲＯ（ｍ）の最後のタイミングで制御信号Ｐ＿ＴＸ１（ｍ）にＨレベルのパルスが付与され、トランジスタＴ＿ＴＸ１によりキャパシタＣ１からキャパシタＣ＿ＦＤに信号ＭｅｍＡ１（ｍ）が転送される。その後、期間Ｔ２＿ＲＯ（ｍ）において、信号ＭｅｍＡ１（ｍ）が転送されたキャパシタＣ＿ＦＤの電圧をサンプリングする。これにより得られる信号を「ＭｅｍＡ１（ｍ）＿Ｓ」と示す。

ＣＤＳ処理では、このようにして得られた信号ＭｅｍＡ１（ｍ）＿Ｎと信号ＭｅｍＡ１（ｍ）＿Ｓとの差分をとり、回路構成や特性ばらつき等に起因するオフセット成分を除去する。上述の図３の説明では、説明を容易にするため、信号ＭｅｍＡ１（ｎ）が画像信号として取得されることを述べた。しかし、本実施形態では、この画像信号は、実際には信号ＭｅｍＡ１（ｍ）＿Ｎ及びＭｅｍＡ１（ｍ）＿Ｓを用いた上記ＣＤＳ処理に基づいて得られる。即ち、この画像信号は、ＭｅｍＡ１（ｍ）＿ＳからＭｅｍＡ１（ｍ）＿Ｎを減算して得られる信号である。

その後、期間Ｔ２＿ＲＯ（ｍ）の最後のタイミングで制御信号Ｐ＿ＲＥＳ（ｍ）にＨレベルのパルスが付与され、キャパシタＣ＿ＦＤがリセットされた後、期間Ｔ３＿ＲＯ（ｍ）において、該リセットされたキャパシタＣ＿ＦＤの電圧をサンプリングする。これにより得られる信号を「ＭｅｍＡ２（ｍ）＿Ｎ」と示す。

このサンプリングの完了後、期間Ｔ３＿ＲＯ（ｍ）の最後のタイミングで制御信号Ｐ＿ＴＸ２（ｍ）にＨレベルのパルスが付与され、トランジスタＴ＿ＴＸ２によりキャパシタＣ２からキャパシタＣ＿ＦＤに信号ＭｅｍＡ２（ｍ）が転送される。その後、期間Ｔ４＿ＲＯ（ｍ）において、信号ＭｅｍＡ２（ｍ）が転送されたキャパシタＣ＿ＦＤの電圧をサンプリングする。これにより得られる信号を「ＭｅｍＡ２（ｍ）＿Ｓ」と示す。

そして、信号ＭｅｍＡ１（ｍ）＿Ｎ及びＭｅｍＡ１（ｍ）＿Ｓ同様、ＣＤＳ処理により、信号ＭｅｍＡ２（ｍ）＿Ｎと信号ＭｅｍＡ２（ｍ）＿Ｓとの差分をとり、オフセット成分を除去する。上述の図３の説明では、説明を容易にするため、信号ＭｅｍＡ２（ｎ）を距離信号として取得することを述べた。しかし、本実施形態では、この距離信号は、実際には信号ＭｅｍＡ２（ｍ）＿Ｎ及びＭｅｍＡ２（ｍ）＿Ｓを用いた上記ＣＤＳ処理に基づいて得られる。即ち、この距離信号は、ＭｅｍＡ２（ｍ）＿ＳからＭｅｍＡ２（ｍ）＿Ｎを減算して得られる信号である。

また、上述の図３の説明では、被写体との距離は、信号ＭｅｍＡ２（ｎ）から信号ＭｅｍＡ１（ｎ）を減算した結果に基づいて算出されることを述べた。よって、この距離は、上記距離信号（ＭｅｍＡ２（ｍ）＿ＳからＭｅｍＡ２（ｍ）＿Ｎを減算して得られる信号）から、上記画像信号（ＭｅｍＡ１（ｍ）＿ＳからＭｅｍＡ１（ｍ）＿Ｎを減算して得られる信号）を更に減算して得られた結果に基づいて算出される。

なお、本実施形態では、期間Ｔ１＿ＦＲ（ｎ）と期間Ｔ２＿ＦＲ（ｎ）とは互いに等しい長さである。そのため、上記減算により、光照射部１３により光が照射されていなかった場合に相当する信号成分は適切に除去され（即ち、ＴＯＦ法に基づく信号成分が適切に抽出され）、この距離信号に基づいて、被写体との距離情報を高い精度で検出することが可能となる。

以上のようにして、信号読出ＲＯ（ｍ）が為される。

次の期間Ｔ＿ＲＯ（ｍ＋１）では、制御信号Ｐ＿ＳＥＬ（ｍ）はＨレベルに維持され、期間Ｔ＿ＲＯ（ｍ）同様の制御が、第（ｍ＋１）行についても為される。第（ｍ＋１）行についての期間Ｔ０＿ＲＯ（ｍ＋１）〜Ｔ４＿ＲＯ（ｍ＋１）での動作および制御の内容は、それぞれ、第ｍ行についての期間Ｔ０＿ＲＯ（ｍ）〜Ｔ４＿ＲＯ（ｍ＋１）での動作および制御の内容に対応する。このようにして、信号読出ＲＯ（ｍ＋１）が為される。

本実施形態によれば、被写体の形状等を示す画像信号と、被写体との距離を示す距離信号との双方を、同一の画素ＰＸの同一の光電変換素子ＰＤから略同時（１フレーム分のフレームデータを読み出す間）に取得することができる。そのため、被写体の形状等と、その被写体との距離とを適切に関連付けることが可能となり、被写体の検出精度を向上させることができる。例えば、動画撮影時においては、動く可能性のある被写体を監視しながら、それと略同時に、その被写体との距離を検出することが可能となる。

撮像装置１は、例えば、自動ブレーキ等の先進運転支援システム（ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ））を備える車両（四輪車など）に適用される。よって、本実施形態では、動画撮影における画素ＰＸの駆動方法を例示した。しかしながら、本実施形態の内容は静止画撮影を行う場合にも適用可能であることは言うまでもない。

（第２実施形態）
図５〜８を参照しながら第２実施形態を説明する。図５に示されるように、本実施形態では、撮像装置１は、撮像部１１の他、第２の撮像部１１Ｂを更に備える。区別のため、第１実施形態で述べた撮像部１１を「撮像部１１Ａ」とする。撮像部１１Ａ及び１１Ｂは互いに離間するように並んで配置される。撮像部１１Ａと撮像部１１Ｂとは同様に構成されればよい。区別のため、前述の画素アレイ１１１およびコントローラ１１２を、それぞれ、撮像部１１Ａについては「１１１Ａ」及び「１１２Ａ」とし、撮像部１１Ｂについては「１１１Ｂ」及び「１１２Ｂ」とする。

本実施形態では、光照射部１３は、コントローラ１１２Ａによる制御に基づいて被写体に対して光を照射するが、他の実施形態として、コントローラ１１２Ｂにより制御されてもよい。

プロセッサ１２は、撮像部１１Ａ及び１１Ｂの双方から画像データを取得する。これにより、プロセッサ１２は、前述のＴＯＦ法での測距の他、撮像部１１Ａ及び１１Ｂの双方から取得した２つのフレームデータを用いてステレオ法での測距を行うことができる。即ち、プロセッサ１２は、被写体との距離を、撮像部１１Ａ及び１１Ｂの視差に基づいて計測可能である。

例えば、前述の第１実施形態で述べたように、フレームデータＦＲ（ｎ）の取得により、撮像部１１Ａは、信号ＭｅｍＡ１（ｎ）及びＭｅｍＡ２（ｎ）をプロセッサ１２に出力する。一方、撮像部１１Ｂは、フレームデータＦＲ（ｎ）の取得により、撮像部１１Ａの信号ＭｅｍＡ１（ｎ）に対応する信号ＭｅｍＢ１（ｎ）を、プロセッサ１２に出力する。なお、本実施形態では、撮像部１１Ｂは、信号ＭｅｍＡ２（ｎ）に対応する信号を出力しないものとする。

プロセッサ１２は、ステレオ方式の距離算出部１２１、ＴＯＦ方式の距離算出部１２２、判定部１２３およびセレクタ１２４を有する。距離算出部１２１は、撮像部１１Ａから信号ＭｅｍＡ１（ｎ）を受け、撮像部１１Ｂから信号ＭｅｍＢ１（ｎ）を受け、これら信号ＭｅｍＡ１（ｎ）及びＭｅｍＢ１（ｎ）を用いてステレオ法に基づく距離算出を行う。一方、距離算出部１２２は、撮像部１１Ａから信号ＭｅｍＡ１（ｎ）及びＭｅｍＡ２（ｎ）の双方を受け、ＴＯＦ法に基づく距離算出を行う（第１実施形態参照）。

判定部１２３は、詳細は後述とするが、距離算出部１２１の算出結果を受けて、その算出結果が所定条件を満たすか否かを判定し、その判定結果をセレクタ１２４に出力する。セレクタ１２４には、距離算出部１２１の算出結果、及び、距離算出部１２２の算出結果を入力可能である。セレクタ１２４は、判定部１２３の判定結果を受け、この判定結果に基づいて、距離算出部１２１の算出結果、及び、距離算出部１２２の算出結果の一方を選択し、出力部１５に出力する。なお、ディスプレイ１４に出力される画像データは、信号ＭｅｍＡ１（ｎ）及び／又はＭｅｍＢ１（ｎ）に基づく画像信号の群により形成されればよい。

前述のとおり、プロセッサ１２の機能は、ハードウェア及び／又はソフトウェアによって実現されうる。よって、本実施形態では、説明のため、上述の要素１２１〜１２４を互いに独立した要素として示すが、これらの要素１２１〜１２４の機能の個々は単一の要素により実現されてもよい。

図６は、撮像時の制御方法の例を示すフローチャートである。まず、ステップＳ１００（以下、単に「Ｓ１００」と示す。他のステップについても同様。）で、距離算出部１２１によってステレオ法での距離算出を行う。次にＳ１１０では、判定部１２３によって、Ｓ１００での算出結果が所定条件を満たすか否かを判定する。この所定条件が成立する場合には、Ｓ１２０に進んで、距離算出部１２２によってＴＯＦ法での距離算出を行い、この所定条件が不成立の場合には、Ｓ１３０に進む。Ｓ１３０では、ディスプレイ１４により画像表示を行い、出力部１５により距離情報の出力を行う。ここで出力される距離情報は、Ｓ１１０で所定条件が不成立の場合にはＳ１００での算出結果（ステレオ法に基づく算出結果）に従い、Ｓ１１０で所定条件が成立の場合にはＳ１２０での算出結果（ＴＯＦ法に基づく算出結果）に従う。

Ｓ１１０の所定条件の例として、被写体の輝度が所定の基準値より小さいこと、被写体との距離が所定の基準値より大きいこと、等が挙げられる。即ち、撮影環境が比較的暗い場合や、検出対象物（被写体）が比較的遠くに位置する場合には、ＴＯＦ法に基づいて算出された距離情報を採用する。本実施形態では、これらの例のいずれか１つが成立した場合にＳ１２０に進むものとするが、他の実施形態として、これらの例の２以上または全てが成立した場合にＳ１２０に進むものとしてもよい。

図７は、本実施形態に係る画素ＰＸの駆動方法の例を示すタイミングチャートを、図３（第１実施形態参照）同様に示す。撮像部１１Ａについての動作および制御の内容は、図３同様であるため、ここでは説明を省略する。

撮像部１１Ｂについては、例えばフレームデータＦＲ（ｎ）に対応する期間Ｔ＿ＦＲ（ｎ）に着目すると、期間Ｔ１＿ＦＲ（ｎ）での撮像部１１Ｂの動作および制御の内容は、撮像部１１Ａのものと同様である。即ち、期間Ｔ１＿ＦＲ（ｎ）では、光電変換素子ＰＤにおいて電荷ＱＢ１（ｎ）を蓄積する。そして、期間Ｔ１＿ＦＲ（ｎ）の最後のタイミングで、蓄積電荷ＱＢ１（ｎ）に相当する信号ＭｅｍＢ１（ｎ）がキャパシタＣ１に保持される。一方、期間Ｔ２＿ＦＲ（ｎ）〜Ｔ３＿ＦＲ（ｎ）では、光電変換素子ＰＤでの電荷蓄積を行わない。具体的には、期間Ｔ２＿ＦＲ（ｎ）〜Ｔ３＿ＦＲ（ｎ）における光電変換素子ＰＤでの発生電荷はトランジスタＴ＿ＯＦＤにより排出される。よって、本実施形態では、撮像部１１Ｂにおける各画素ＰＸのキャパシタＣ２は使用されない。図中において、撮像部１１Ｂの「保持信号（Ｃ２）」について「不使用」と示す。

図８（ａ）は、図７の画素ＰＸの駆動方法を具体的に説明するためのタイミングチャートを、図４（ａ）（第１実施形態参照）同様に示す。撮像部１１Ａについての動作および制御の内容は、図４（ａ）同様であるため、ここでは説明を省略する。

撮像部１１Ｂについては、例えば期間Ｔ＿ＦＲ（ｎ）に着目すると、期間Ｔ２＿ＦＲ（ｎ）の最後のタイミングで制御信号Ｐ＿ＧＳ２（ｍ）及びＰ＿ＧＳ２（ｍ＋１）にＨレベルのパルスが付与されないことを除いて、撮像部１１Ａのものと同様である。このことは、期間Ｔ＿ＦＲ（ｎ＋１）等、他の期間においても同様である。図８（ａ）において、撮像部１１Ａの場合と異なる部分（上記Ｈレベルのパルスが付与されない部分）を破線で示す。

即ち、本実施形態では、撮像部１１Ａでは第１実施形態で述べた撮像部１１同様の動作が実行される。一方、撮像部１１Ｂでは、画像信号を取得するための電荷ＱＢ１（ｎ）の蓄積、及び、信号ＭｅｍＢ１（ｎ）の保持が実行され、距離信号を取得するための動作ないし制御は省略される。

図８（ｂ）は、信号読出ＲＯ（ｍ）及びＲＯ（ｍ＋１）を行う際の画素ＰＸの駆動方法を具体的に説明するためのタイミングチャートを、図４（ｂ）（第１実施形態参照）同様に示す。撮像部１１Ａについての動作および制御の内容は、図４（ｂ）同様であるため、ここでは説明を省略する。

撮像部１１Ｂについては、例えば第ｍ行の信号読出ＲＯ（ｍ）に対応する期間Ｔ＿ＲＯ（ｍ）に着目すると、次の３点を除いて、撮像部１１Ａのものと同様である。第１に、期間Ｔ２＿ＲＯ（ｍ）の最後のタイミングで制御信号Ｐ＿ＲＥＳ（ｍ）にＨレベルのパルスが付与されない。第２に、期間Ｔ３＿ＲＯ（ｍ）の最後のタイミングで制御信号Ｐ＿ＴＸ２（ｍ）にＨレベルのパルスが付与されない。そして、第３に、期間Ｔ３＿ＲＯ（ｍ）〜Ｔ４＿ＲＯ（ｍ）においてサンプリングが実行されない。このことは、期間Ｔ＿ＲＯ（ｍ＋１）等、他の期間においても同様である。図８（ｂ）において、撮像部１１Ａの場合と異なる部分（上記Ｈレベルのパルスが付与されない部分、サンプリングが実行されない部分）を破線で示す。

即ち、本実施形態では、撮像部１１Ｂでは、画像信号を取得するための動作ないし制御は、撮像部１１Ａ同様に実行され、一方、距離信号を取得するための動作ないし制御は省略される。

本実施形態によれば、第１実施形態同様、ＴＯＦ法に基づく測距を高い精度で行うことができることに加え、ステレオ法に基づく測距を行うことも可能である。即ち、本実施形態によれば、プロセッサ１２は、動作モードとして、ステレオ法に基づく測距を行う第１モードと、ＴＯＦ法に基づく測距を行う第２モードとを含む。なお、本実施形態では、第１モードに予め設定され、Ｓ１１０の所定条件が成立の場合に第１モードから第２モードに遷移する態様を例示したが、第２モードに予め設定され、所定条件が不成立の場合に第２モードから第１モードに遷移する形でもよい。以上、本実施形態によれば、第１実施形態同様の効果が得られると共に、被写体との距離の計測方法を撮影環境等に合わせて変更することができ、この距離の算出をより高い精度で行うことができる。

（第３実施形態）
図９〜１０を参照しながら第３実施形態を説明する。本実施形態は、主に、撮像部１１Ｂにおいても距離信号を取得するための動作ないし制御を行う、という点で前述の第２実施形態と異なる。即ち、撮像部１１Ｂは、第２実施形態で述べた信号ＭｅｍＢ１（ｎ）の他、撮像部１１Ａの信号ＭｅｍＡ２（ｎ）に対応する信号ＭｅｍＢ２（ｎ）を、プロセッサ１２に出力する。

図９は、本実施形態に係る画素ＰＸの駆動方法の例を示すタイミングチャートを、図７（第２実施形態参照）同様に示す。撮像部１１Ａについての動作および制御の内容は、図７同様であるため、ここでは説明を省略する。

撮像部１１Ｂについては、例えば期間Ｔ＿ＦＲ（ｎ）に着目すると、期間Ｔ１＿ＦＲ（ｎ）〜Ｔ２＿ＦＲ（ｎ）での撮像部１１Ｂの動作および制御の内容は、図７同様である。一方、期間Ｔ３＿ＦＲ（ｎ）では、光電変換素子ＰＤにおいて電荷ＱＢ２（ｎ）を蓄積する。そして、期間Ｔ３＿ＦＲ（ｎ）の最後のタイミングで、蓄積電荷ＱＢ２（ｎ）に相当する信号ＭｅｍＢ２（ｎ）がキャパシタＣ２に保持される。期間Ｔ＿ＦＲ（ｎ）は、その次の期間である期間Ｔ４＿ＦＲ（ｎ）を更に含み、期間Ｔ４＿ＦＲ（ｎ）では、光電変換素子ＰＤでの電荷蓄積を行わない。具体的には、期間Ｔ４＿ＦＲ（ｎ）における光電変換素子ＰＤでの発生電荷はトランジスタＴ＿ＯＦＤにより排出される。

なお、本実施形態では、信号読出ＲＯ（１）〜ＲＯ（Ｘ）は、期間Ｔ４＿ＦＲ（ｎ）〜Ｔ１ＦＲ（ｎ＋１）の間に為されればよい。

本実施形態では、ＴＯＦ法に基づく測距は、信号ＭｅｍＡ２（ｎ）及びＭｅｍＢ２（ｎ）の双方を用いて為される。例えば、被写体との距離が大きくなると、信号ＭｅｍＡ２（ｎ）は小さくなり、信号ＭｅｍＢ２（ｎ）は大きくなり、一方、この距離が小さくなると、信号ＭｅｍＡ２（ｎ）は大きくなり、信号ＭｅｍＢ２（ｎ）は小さくなる。よって、本実施形態によれば、信号ＭｅｍＡ２（ｎ）及びＭｅｍＢ２（ｎ）の双方を用いることにより、ＴＯＦ法に基づく測距の精度を向上させることができる。

本実施形態では、期間Ｔ２＿ＦＲ（ｎ）と期間Ｔ３＿ＦＲ（ｎ）とは、互いに等しく時間であり、かつ、期間Ｔ１＿ＦＲ（ｎ）よりも短いものとする。期間Ｔ２＿ＦＲ（ｎ）及びＴ３＿ＦＲ（ｎ）を短くすることにより、フレームレート（単位時間あたりに取得可能なフレームデータの数）を大きくすることができる。これと共に、光照射部１３の照射光の光量を大きくしてもよい。これにより、ＴＯＦ法に基づく測距の精度を更に向上させることが可能となる。

よって、本実施形態によれば、第２実施形態同様の効果が得られると共に、被写体との距離の算出の高精度化およびフレームレートの向上において更に有利である。

なお、第１実施形態同様の手順で、信号ＭｅｍＡ１（ｎ）及びＭｅｍＢ１（ｎ）を用いて、光照射部１３により光が照射されていなかった場合に相当する信号成分を信号ＭｅｍＡ２（ｎ）及びＭｅｍＢ２（ｎ）からそれぞれ除去してもよい。その場合、この算出は、期間Ｔ２＿ＦＲ（ｎ）及びＴ３＿ＦＲ（ｎ）と期間Ｔ１＿ＦＲ（ｎ）との比に相当する係数を用いて為されればよい。

図１０（ａ）は、図９の画素ＰＸの駆動方法を具体的に説明するためのタイミングチャートを、図８（ａ）（第２実施形態参照）同様に示す。撮像部１１Ａについての動作および制御の内容は、図８（ａ）同様であるため、ここでは説明を省略する。

撮像部１１Ｂについては、例えば期間Ｔ＿ＦＲ（ｎ）に着目すると、期間Ｔ１＿ＦＲ（ｎ）では、撮像部１１Ａ同様の動作ないし制御が為される。一方、期間Ｔ２＿ＦＲ（ｎ）の最後のタイミングでは、制御信号Ｐ＿ＯＦＤ（ｍ）及びＰ＿ＯＦＤ（ｍ＋１）にＨレベルのパルスが付与される。これにより、期間Ｔ２＿ＦＲ（ｎ）における光電変換素子ＰＤでの発生電荷はトランジスタＴ＿ＯＦＤにより排出される。その後（制御信号Ｐ＿ＯＦＤ（ｍ）等がＬレベルに戻った後）、期間Ｔ３＿ＦＲ（ｎ）において、光電変換素子ＰＤでは再び電荷が発生し蓄積される。期間Ｔ３＿ＦＲ（ｎ）の最後のタイミングでは、制御信号Ｐ＿ＧＳ２（ｍ）及びＰ＿ＧＳ２（ｍ＋１）にＨレベルのパルスが付与される。これにより、期間Ｔ３＿ＦＲ（ｎ）での蓄積電荷ＱＢ２（ｎ）に相当する信号ＭｅｍＢ２（ｎ）がキャパシタＣ２に保持される。このことは、期間Ｔ＿ＦＲ（ｎ＋１）等、他の期間においても同様である。図１０（ａ）において、図８（ａ）（第２実施形態参照）と異なる部分（上記Ｈレベルのパルスが付与された部分）を破線で示す。

図１０（ｂ）は、信号読出ＲＯ（ｍ）及びＲＯ（ｍ＋１）を行う際の画素ＰＸの駆動方法を具体的に説明するためのタイミングチャートを、図８（ｂ）（第２実施形態参照）同様に示す。本実施形態では、撮像部１１Ａ及び１１Ｂの動作および制御の内容は、図８（ｂ）を参照しながら述べた撮像部１１Ａのものと同様となる。即ち、画像信号を取得するための動作ないし制御は、撮像部１１Ａ及び１１Ｂのいずれにおいても実行され、また、距離信号を読み出すための動作ないし制御も、撮像部１１Ａ及び１１Ｂのいずれにおいても実行される。

変形例として、期間Ｔ１＿ＦＲ（ｎ）、Ｔ２＿ＦＲ（ｎ）及びＴ３＿ＦＲ（ｎ）を、互いに等しい時間（例えば、期間Ｔａとする。）に設定することも可能である。即ち、
Ｔ１＿ＦＲ（ｎ）＝Ｔ２＿ＦＲ（ｎ）＝Ｔ３＿ＦＲ（ｎ）≡Ｔａ、
とする。この方法によれば、比較的簡素な構成でＴＯＦ法に基づく測距を行うことができる。このことを、図１３を参照しながら述べる。

図１３は、上記ＴＯＦ法に基づく測距の方法の一例を説明するためのタイミングチャートである。光照射部１３による光の照射期間は期間Ｔ２＿ＦＲ（ｎ）と一致するが、前述のとおり、被写体からの反射光は、その被写体との距離に応じた時間だけ遅延した検出される。図中に示されるように、この遅延時間を時間ｔ０とする。ここで、
ｅ０：上記反射光に相当する信号成分の合計、
ｅ１：信号ＭｅｍＡ２（ｎ）のうちの上記反射光に対応する成分、
ｅ２：信号ＭｅｍＢ２（ｎ）のうちの上記反射光に対応する成分、
とする。即ち、ｅ１は、期間Ｔ２＿ＦＲ（ｎ）の間に検出された反射光に相当する成分であり、また、ｅ２は、期間Ｔ３＿ＦＲ（ｎ）の間に検出された反射光に相当する成分である。

このとき、以下の式が成立する。即ち、
ｅ０＝ｅ１＋ｅ２、
ｅ１＝ｅ０×（１−ｔ０／Ｔａ）、
ｅ２＝ｅ０×（ｔ０／Ｔａ）、
である。なお、
Ｔ１＿ＦＲ（ｎ）＝Ｔ２＿ＦＲ（ｎ）＝Ｔ３＿ＦＲ（ｎ）
であるので、信号ＭｅｍＡ２（ｎ）及びＭｅｍＢ２（ｎ）のそれぞれから上記反射光に相当する成分以外のものを除去することができる。例えば、ｅ１は信号ＭｅｍＡ１（ｎ）及びＭｅｍＡ２（ｎ）の差分をとることにより適切に算出される。同様に、ｅ２は信号ＭｅｍＢ１（ｎ）及びＭｅｍＢ２（ｎ）の差分をとることにより適切に算出される。

上記式から、遅延時間ｔ０は、
ｔ０＝Ｔａ／（１＋ｅ１／ｅ２）、
と表せる。即ち、遅延時間ｔ０は、Ｔａ、ｅ１及びｅ２に基づいて算出可能である。よって、この変形例によれば、比較的簡素な構成でＴＯＦ法に基づく測距を行うことができ、例えば被写体の光反射率が１ではない場合においても、その被写体との距離を適切に算出可能となる。

（第４実施形態）
図１１〜１２を参照しながら第４実施形態を説明する。本実施形態は、主に、１フレーム分のフレームデータを取得する間に、距離信号を取得するための動作ないし制御を複数回にわたって行う（繰り返す）、という点で前述の第３実施形態と異なる。具体的には、期間Ｔ＿ＦＲ（ｎ）に着目すると、本実施形態では、図９〜１０を参照しながら述べた期間Ｔ２＿ＦＲ（ｎ）〜Ｔ３＿ＦＲ（ｎ）の一連の動作が、Ｋ回（Ｋ＞２）繰り返される。

図１１は、本実施形態に係る画素ＰＸの駆動方法の例を示すタイミングチャートを、図９（第３実施形態参照）同様に示す。ここで、上記繰り返される一連の動作について、図中において、第１回の期間Ｔ２＿ＦＲ（ｎ）及びＴ３＿ＦＲ（ｎ）を「Ｔ２（１）＿ＦＲ（ｎ）」及び「Ｔ３（１）＿ＦＲ（ｎ）」とそれぞれ示す。第２回以降のものについても同様とする（例えば、第Ｋ回のものについては、「Ｔ２（Ｋ）＿ＦＲ（ｎ）」及び「Ｔ３（Ｋ）＿ＦＲ（ｎ）」と示す。）。

本実施形態によれば、第３実施形態（即ち、上記一連の動作を１回のみ行った場合）に比べて、距離情報の誤差を平均化することができ、被写体との距離の算出精度を更に向上させることができる。また、期間Ｔ２（１）＿ＦＲ（ｎ）〜Ｔ２（Ｋ）＿ＦＲ（ｎ）及びＴ３（１）＿ＦＲ（ｎ）〜Ｔ３（Ｋ）＿ＦＲ（ｎ）の個々の期間を、更に短くすることにより、被写体との距離の算出精度を更に向上させることも可能となる。

図１２（ａ）及び図１２（ｂ）は、画素ＰＸの駆動方法を具体的に説明するためのタイミングチャートを、図１０（ａ）及び図１０（ｂ）（第３実施形態参照）同様に示す。本タイミングチャートは、図１０（ａ）の期間Ｔ２＿ＦＲ（ｎ）〜Ｔ３＿ＦＲ（ｎ）の一連の動作が、Ｋ回（Ｋ＞２）繰り返されることを除いて、第３実施形態のものと同様である。なお、本実施形態においても、信号読出ＲＯ（１）〜ＲＯ（Ｘ）は、期間Ｔ４＿ＦＲ（ｎ）〜Ｔ１＿ＦＲ（ｎ＋１）の間に為されればよい。

（第５実施形態）
図１４（Ａ）は、車載カメラに関する撮像システムの一例を示したものである。撮像システム１０００は、上述した各実施例の撮像装置を撮像装置１０１０として備える撮像システムである。撮像システム１０００は、撮像装置１０１０により取得された複数の画像データに対し、画像処理を行う画像処理部１０３０と、撮像システム１０００により取得された複数の画像データから視差（視差画像の位相差）の取得を行う視差取得部１０４０を有する。

この視差の取得は、撮像システム１０００が、複数の撮像装置１０１０を有するステレオカメラの形態の場合には、複数の撮像装置１０１０のそれぞれから出力される信号を用いて行うことができる。

撮像システム１０００は、取得された視差に基づいて対象物までの距離を取得する距離取得部１０５０と、取得された距離に基づいて衝突可能性があるか否かを判定する衝突判定部１０６０と、を有する。ここで、視差取得部１０４０や距離取得部１０５０は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部１０６０はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、距離情報取得手段は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などによって実現されてもよい。また、距離情報取得手段は、ＦＰＧＡ、ＡＳＩＣの組合せによって実現されてもよい。

撮像システム１０００は車両情報取得装置１３１０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム１０００は、衝突判定部１０６０での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ１４１０と接続されている。また、撮像システム１０００は、衝突判定部１０６０での判定結果に基づいて、ドライバーへ警報を発する警報装置１４２０とも接続されている。例えば、衝突判定部１０６０の判定結果として衝突の可能性があった場合、制御ＥＣＵ１４１０は、ブレーキをかけること、アクセルを戻すこと、エンジン出力を抑制すること等、衝突を回避し又は被害を軽減するための車両制御を行う。警報装置１４２０は、音等の警報を鳴らすこと、カーナビゲーションシステムなどの画面に警報情報を表示すること、シートベルトやステアリングに振動を与えること等、ユーザに対して警告を行う。

本実施形態では車両の周囲、例えば前方または後方を撮像システム１０００で撮像する。

図１４（Ｂ）に、車両前方を撮像する場合の撮像システムを示した。また、以上では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、撮像システムは、四輪車等の車両に限らず、例えば、船舶、航空機、産業用ロボット等の移動体（移動装置）に適用することができる。更に、以上の内容は、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器にも適用可能である。

（その他）
以上、いくつかの好適な態様を例示したが、本発明はこれらの例に限られるものではなく、本発明の趣旨を逸脱しない範囲で、その一部が変更されてもよい。例えば、ある実施形態に公知の要素が加えられてもよいし、ある実施形態の一部が、他の実施形態に適用され又は削除されてもよい。また、本明細書に記載された個々の用語は、本発明を説明する目的で用いられたものに過ぎず、本発明は、その用語の厳密な意味に限定されるものでないことは言うまでもなく、その均等物をも含みうる。

１：撮像装置、１１：撮像部、１１１：画素アレイ、ＰＸ：画素、１１３：駆動部、１１４：信号読出部。

Claims (8)

1. 複数の画素を有する第１の撮像部と、
   前記第１の撮像部から離間して配され、複数の画素を有する第２の撮像部と、
   プロセッサと、を備える撮像装置であって、
   前記第１の撮像部の各画素は、第１光電変換素子、第１信号保持部および第２信号保持部を有し、
   前記第２の撮像部の各画素は、第２光電変換素子および第３信号保持部を有し、
   前記プロセッサは、
   光照射部により被写体に光を照射していない状態で前記被写体からの光量に応じて前記第１光電変換素子で発生した信号を、画像信号として前記第１信号保持部により保持する第１動作と、
   前記光照射部により前記被写体に光を照射し、該被写体からの反射光に基づいて前記第１光電変換素子で発生した信号を、前記被写体と前記撮像装置との間の距離を示す距離信号として前記第２信号保持部により保持する第２動作と、
   前記複数の画素のそれぞれから、前記第１動作で前記第１信号保持部に保持された前記画像信号と、前記第２動作で前記第２信号保持部に保持された前記距離信号とをそれぞれ出力させる第３動作と、
   を行うように前記第１の撮像部を駆動し、
   前記プロセッサは、
   前記第１動作では、前記被写体からの光量に応じて前記第２光電変換素子で発生した信号を、画像信号として前記第３信号保持部により保持し、
   前記第３動作では、前記第１動作で前記第３信号保持部に保持された前記画像信号を読み出す
   ように前記第２の撮像部を駆動する
   ことを特徴とする撮像装置。
2. 前記プロセッサは、前記光照射部を制御可能に構成されている
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の撮像部の各画素は、第４信号保持部を更に有し、
   前記プロセッサは、
   前記第２動作では、前記被写体からの前記反射光に基づいて前記第２光電変換素子で発生した信号を、前記被写体と前記撮像装置との間の距離を示す距離信号として前記第４信号保持部により保持し、
   前記第３動作では、前記第２動作で前記第４信号保持部に保持された前記距離信号を更に読み出す
   ように前記第２の撮像部を駆動する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記プロセッサは、前記第２動作では、
   第１期間において、前記光照射部により前記被写体に光を照射すると共に前記第２信号保持部に前記距離信号を保持し、
   前記第１期間の次の期間であって前記第１期間と等しい期間である第２期間において、前記第４信号保持部に前記距離信号を保持する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記プロセッサは、前記第１動作の後、複数回の前記第２動作を繰り返した後に、前記第３動作を行う
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記プロセッサは、動作モードとして、
   前記第１信号保持部に保持された前記画像信号と前記第３信号保持部に保持された前記画像信号とに基づいて前記被写体と前記撮像装置との間の距離を算出する第１モードと、
   前記第２信号保持部に保持された前記距離信号に基づいて該距離を算出する第２モードと、
   を含む
   ことを特徴とする請求項２から請求項５のいずれか１項に記載の撮像装置。
7. 前記プロセッサは、所定条件を満たさない場合に前記第１モードで前記被写体と前記撮像装置との間の距離を算出し、前記所定条件を満たす場合に前記第２モードで該距離を算出し、
   前記所定条件は、
   前記被写体の輝度が所定の基準値より小さいこと、及び、
   前記被写体と前記撮像装置との間の距離が所定の基準値より大きいこと
   の少なくとも１つを含む
   ことを特徴とする請求項６に記載の撮像装置。
8. 移動体であって、
   請求項１から請求項７のいずれか１項に記載の撮像装置と、
   前記撮像装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
   前記距離情報に基づいて前記移動体を制御する制御手段と、を有する
   ことを特徴とする移動体。
   

Images