JP6825164B1 - 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法 - Google Patents

Abstract

光パルスを照射する光源部（２）と、画素が二次元の行列状に複数配置された距離画像センサを備えた受光部（３）と、予め定めた固定の電荷振り分け回数で振り分けられた電荷量に基づいて、撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部（４）と、を備えた距離画像撮像装置（１）において、前記距離画像処理部は、異なる電荷振り分け回数（Ｈ，Ｌ）で電荷蓄積部に積算された少なくとも２つの電荷量を１つの組として取得し、多くの電荷振り分け回数（Ｈ）で積算された電荷量である第１の電荷量（ＱＨ２，ＱＨ３）と、予め定めた閾値（Ｖｔｈ）とを比較した結果に基づいて、第１の電荷量（ＱＨ２，ＱＨ３）、および組として取得した少ない電荷振り分け回数（Ｌ）で積算された電荷量である第２の電荷量（ＱＬ２，ＱＬ３）のいずれか一方の電荷量を、距離を求める際に用いる電荷量として選択する。

Description

本発明は、距離画像撮像装置および距離画像撮像装置による距離画像撮像方法に関する。

従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定する、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下「ＴＯＦ」という）方式の距離センサが実現されている。ＴＯＦ方式の距離センサでは、撮影対象の空間に近赤外光を照射し、近赤外光を照射した時間と、近赤外光が被写体によって反射して戻ってくる時間との差、つまり、近赤外光の飛行時間に基づいて、被写体との距離を測定している。

また、近年のＴＯＦ方式の距離センサの中には、撮像装置に搭載される固体撮像装置と同様に、距離を測定するための光を検出する画素を二次元の行列状に複数配置し、被写体との間の２次元の距離の情報のみではなく、被写体の画像も取得（撮像）することができる、いわゆる、距離画像撮像装置も実現されている。

そして、距離画像撮像装置には、被写体との距離を測定する複数の方式のうち、パルス状の近赤外光（以下、「パルス光」という）を照射し、パルス光を照射した時間と、被写体によって反射してきたパルス光を検出した時間との差に基づいて、パルス光の飛行時間を計測する方式のものがある。このような方式の距離画像撮像装置において、被写体との距離の情報や被写体の画像を取得するためのセンサとして用いられる撮像素子には、それぞれの画素の中に、複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とを設けた構成のものがある。振り分け構成の撮像素子では、画素を構成する光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分け、それぞれの電荷蓄積部に振り分けられた電荷の比に基づいて、被写体によって反射してきたパルス光の遅れ時間を算出することによって、被写体との距離を測定することができる。

ここで、振り分け構成の撮像素子においては、それぞれの電荷蓄積部に電荷を振り分ける回数が、それぞれの画素において被写体との距離を測定する際の感度となる。このため、従来の振り分け構成の撮像素子では、一般的に、電荷蓄積部に電荷を振り分ける回数が一定の回数、つまり、所定の回数で固定されている。

ところで、距離画像撮像装置では、様々な被写体の状況や環境において距離を測定する必要がある。例えば、距離を測定する被写体が近い位置に存在していたり、被写体が存在する周囲の環境が明るく、被写体の背景から強い光（背景光）が入射する環境であったり、近赤外光の反射率が高い被写体であったりする。このような場合、電荷蓄積部に電荷を振り分ける回数が固定であると、それぞれの画素において電荷蓄積部に振り分ける電荷量が多くなり、電荷蓄積部が飽和して、被写体との距離の測定精度が低下したり、被写体との距離を測定することができなくなってしまったりする問題がある。また逆に、例えば、距離画像撮像装置において距離を測定する対象の被写体が遠い位置に存在していたり、被写体が存在する周囲の環境が暗い環境であったり、近赤外光の反射率が低い被写体であったりする。このような場合、電荷蓄積部に電荷を振り分ける回数が固定である振り分け構成の撮像素子では、それぞれの画素において電荷蓄積部に振り分ける電荷量が少なくなり、同様に、被写体との距離の測定精度が低下したり、被写体との距離を測定することができなくなってしまったりする問題がある。このため、距離画像撮像装置では、被写体との距離を測定することができる距離の範囲を広くする、つまり、距離の測定のダイナミックレンジを広くすることが望まれている。

これに関して、例えば、特許文献１に開示されたような、距離センサ（距離画像撮像装置）に関する技術が提案されている。特許文献１に開示された距離センサの技術では、制御部が、光源部が照射する光照射時間の開始から所定時間の間に受光部（振り分け構成の撮像素子）が受光した光の受光量を積算するように制御し、積算された受光量の大きさに応じて、受光部が受光量を積算する回数を変化させている。また、特許文献１に開示された距離センサの技術では、制御部が、積算された受光量の大きさに応じて、受光期間を変化させている。つまり、特許文献１に開示された距離センサの技術では、受光部によって今回積算された受光量の大きさを、受光部による次回の積算回数と受光期間とにフィードバックしている。これにより、特許文献１に開示された距離センサでは、背景光が強い状況下において、被写体との距離を測定する際の測定精度の低下を抑制することができる。

日本国特許第６４０６４４９号公報

しかしながら、特許文献１に開示された距離センサの技術は、フィードバック制御によって被写体との距離の測定精度の低下を抑制している。このため、特許文献１に開示された距離センサでは、フィードバック制御を行うための構成や制御が必要であり、距離センサ自体の構成や制御が複雑になってしまう。

本発明は、上記の課題に基づいてなされたものであり、振り分け構成の撮像素子を用いた距離画像撮像装置において、複雑な構成や制御をすることなく、距離を測定する被写体の状況や環境の変化による影響を少なくして、被写体との距離を測定する範囲を広くすることができる距離画像撮像装置および距離画像撮像装置による距離画像撮像方法を提供することを目的としている。

本発明の第１の態様によれば、距離画像撮像装置は、撮影対象の空間に対して所定の周期で断続的な光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、前記光パルスの照射に同期して前記電荷をそれぞれの前記電荷蓄積部に振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光部と、予め定めた固定の電荷振り分け回数で振り分けられて前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部と、を備え、前記距離画像処理部は、前記距離画像センサにおいて異なる前記電荷振り分け回数で前記電荷蓄積部に積算された少なくとも２つの前記電荷量を１つの組として取得し、多くの前記電荷振り分け回数で積算された前記電荷量である第１の電荷量と、予め定めた閾値とを比較した結果に基づいて、前記第１の電荷量、および組として取得した少ない前記電荷振り分け回数で積算された前記電荷量である第２の電荷量のいずれか一方の電荷量を、前記距離を求める際に用いる電荷量として選択する。

本発明の第２の態様によれば、上記第１の態様の距離画像撮像装置において、前記第１の電荷量および前記第２の電荷量は、前記光パルスが前記被写体によって反射された反射光に応じて発生された電荷を含む前記電荷の量であってもよい。

本発明の第３の態様によれば、上記第２の態様の距離画像撮像装置において、前記距離画像処理部は、前記第１の電荷量が前記閾値以下である場合に、前記第１の電荷量を、前記距離を求める際に用いる電荷量として選択し、前記第１の電荷量が前記閾値を超えた場合に、前記第２の電荷量を、前記距離を求める際に用いる電荷量として選択してもよい。

本発明の第４の態様によれば、上記第３の態様の距離画像撮像装置において、前記第１の電荷量は、前記光パルスを照射している期間中の前記反射光に応じて発生された電荷を含む前記電荷の量である第１−１電荷量と、前記光パルスの照射が停止した後の期間中の前記反射光に応じて発生された電荷を含む前記電荷の量である第１−２の電荷量と、を含み、前記距離画像処理部は、前記第１−１電荷量と前記第１−２電荷量とのうち、いずれか大きい方の電荷量と前記閾値とを比較した結果に基づいて、前記第１の電荷量および前記第２の電荷量のいずれか一方の電荷量を、前記距離を求める際に用いる電荷量として選択してもよい。

本発明の第５の態様によれば、上記第１の態様から上記第４の態様のいずれか一態様の距離画像撮像装置において、前記距離画像処理部は、前記距離を求める際に用いるために選択した電荷量を表すフラグ信号を出力してもよい。

本発明の第６の態様によれば、上記第１の態様から上記第５の態様のいずれか一態様の距離画像撮像装置において、前記距離画像処理部は、前記画素ごとに、前記距離を求める際に用いる電荷量を選択してもよい。

本発明の第７の態様によれば、上記第１の態様から上記第５の態様のいずれか一態様の距離画像撮像装置において、前記距離画像処理部は、前記距離画像センサにおいて前記画素が配置された領域を複数に分割したブロックの単位ごとに、前記距離を求める際に用いる電荷量を選択してもよい。

本発明の第８の態様によれば、上記第１の態様から上記第７の態様のいずれか一態様の距離画像撮像装置において、前記閾値は、前記電荷蓄積部に積算して蓄積することができる電荷量が飽和する電荷量に対して定めた値であってもよい。

本発明の第９の態様によれば、上記第８の態様の距離画像撮像装置において、前記閾値は、可変の値であってもよい。

本発明の第１０の態様によれば、上記第１の態様から上記第９の態様のいずれか一態様の距離画像撮像装置において、前記電荷蓄積部は、前記電荷を蓄積する電荷蓄積容量を含んで構成されてもよい。

本発明の第１１の態様によれば、距離画像撮像装置による距離画像撮像方法は、撮影対象の空間に対して所定の周期で断続的な光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、前記光パルスの照射に同期して前記電荷をそれぞれの前記電荷蓄積部に振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光部と、予め定めた固定の電荷振り分け回数で振り分けられて前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部と、を備えた距離画像撮像装置による距離画像撮像方法であって、前記距離画像処理部が、前記距離画像センサにおいて異なる前記電荷振り分け回数で前記電荷蓄積部に積算された少なくとも２つの前記電荷量を１つの組として取得し、多くの前記電荷振り分け回数で積算された前記電荷量である第１の電荷量と、予め定めた閾値とを比較した結果に基づいて、前記第１の電荷量、および組として取得した少ない前記電荷振り分け回数で積算された前記電荷量である第２の電荷量のいずれか一方の電荷量を、前記距離を求める際に用いる電荷量として選択する処理を行う。

上記各態様によれば、振り分け構成の撮像素子を用いた距離画像撮像装置において、複雑な構成や制御をすることなく、距離を測定する被写体の状況や環境の変化による影響を少なくして、被写体との距離を測定する範囲を広くすることができる距離画像撮像装置および距離画像撮像装置による距離画像撮像方法を提供することができるという効果が得られる。

本発明の実施形態の距離画像撮像装置の概略構成を示したブロック図である。 本発明の実施形態の距離画像撮像装置に用いられる撮像素子の概略構成を示したブロック図である。 本発明の実施形態の距離画像撮像装置に用いられる撮像素子の受光領域に配置された画素の構成の一例を示した回路図である。 本発明の実施形態の距離画像撮像装置に用いられる撮像素子の受光領域に配置された画素を駆動するタイミングを示したタイミングチャートである。 本発明の実施形態の距離画像撮像装置において距離の測定のための画素信号のフレームを取得するタイミングの一例を模式的に示した図である。 本発明の実施形態の距離画像撮像装置において距離の測定に用いる画素信号を選択する処理を模式的に示した図である。 本発明の実施形態の距離画像撮像装置において距離の測定に用いる画素信号を選択する処理の関係の一例を示した図である。 本発明の実施形態の距離画像撮像装置において測定した距離の情報が含まれるフレームの構成の一例を模式的に示した図である。 本発明の実施形態の距離画像撮像装置において距離の測定のための画素信号のフレームを取得するタイミングの別の一例を模式的に示した図である。 本発明の実施形態の距離画像撮像装置において距離の測定に用いる画素信号を選択する別の処理を模式的に示した図である。 本発明の実施形態の距離画像撮像装置において距離の測定に用いる画素信号を選択する別の処理の関係の一例を示した図である。 本発明の実施形態の距離画像撮像装置において測定した距離の情報が含まれるフレームの別の構成の一例を模式的に示した図である。

以下、本発明の実施形態について、図面を参照して説明する。図１は、本発明の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とからなる。なお、図１には、距離画像撮像装置１において距離を測定する対象物である被写体Ｓも併せて示している。

光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体Ｓが存在する空間に、所定の周期で断続的な光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ
Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備えている。

光源装置２１は、被写体Ｓに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ〜９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。

拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体Ｓに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして光源部２から出射されて、被写体Ｓに照射される。

受光部３は、距離画像撮像装置１において距離を測定する対象の被写体Ｓによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備えている。

レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。

距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備え、それぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられた振り分け構成の撮像素子である。距離画像センサ３２は、タイミング制御部４１からの制御に応じて、画素を構成する光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分け、それぞれの電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。

なお、距離画像センサ３２では、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。

距離画像処理部４は、距離画像撮像装置１の全体を制御する制御部である。また、距離画像処理部４は、測定する被写体Ｓとの間の距離を演算する演算部でもある。距離画像処理部４は、タイミング制御部４１と、距離演算部４２とを備えている。

タイミング制御部４１は、光源部２が被写体Ｓに光パルスＰＯを照射するタイミングや、受光部３に備えた距離画像センサ３２が反射光ＲＬを受光するタイミングなどを制御する。

距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体Ｓとの間の距離を演算した距離情報を出力する。

このような構成によって、距離画像撮像装置１では、光源部２が被写体Ｓに照射した近赤外の波長帯域の光パルスＰＯが被写体Ｓによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体Ｓとの距離を測定した距離情報を出力する。

なお、図１においては、距離画像処理部４を内部に備えた構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。

次に、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、本発明の実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示したブロック図である。図２において、距離画像センサ３２は、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備えている。なお、図２に示した距離画像センサ３２では、複数の画素３２１が、８行８列に二次元の行列状に配置された受光領域３２０の一例を示している。

制御回路３２２は、垂直走査回路３２３、水平走査回路３２４、および画素信号処理回路３２５などの距離画像センサ３２に備えた構成要素を制御する。制御回路３２２は、例えば、距離画像撮像装置１に備えた距離画像処理部４（より具体的には、タイミング制御部４１）からの制御に応じて、距離画像センサ３２に備えた構成要素の動作を制御する。なお、制御回路３２２による距離画像センサ３２に備えた構成要素の制御は、例えば、距離画像処理部４（より具体的には、タイミング制御部４１）が直接行う構成であってもよい。この場合、距離画像センサ３２は、制御回路３２２を備えない構成であってもよい。

垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０内に配置されたそれぞれの画素３２１を制御し、それぞれの画素３２１から、入射した光を光電変換した電荷量に応じた電圧の信号（以下、「電圧信号」という）を対応する垂直信号線に出力させる（読み出させる）駆動回路である。垂直走査回路３２３は、画素３２１を駆動（制御）するための駆動信号を、受光領域３２０内に配置された画素３２１の行ごとに出力する。このとき、垂直走査回路３２３は、画素３２１を構成する光電変換素子が発生した電荷を、複数の電荷蓄積部に振り分ける。つまり、垂直走査回路３２３は、電荷振り分け駆動回路を含んで構成されている。これにより、画素３２１においてそれぞれの電荷蓄積部に振り分けられた電荷量に応じた電圧信号が、受光領域３２０の行ごとに対応する垂直信号線に読み出され、画素信号処理回路３２５に出力される。

受光領域３２０内に配置されたそれぞれの画素３２１は、入射した光、つまり、光源部２が被写体Ｓに照射した光パルスＰＯが被写体Ｓによって反射された反射光ＲＬを受光し、受光した反射光ＲＬの光量（受光量）に応じた電荷を発生させる。それぞれの画素３２１では、垂直走査回路３２３から入力された駆動信号によって、複数備えたいずれかの電荷蓄積部に、受光した反射光ＲＬの光量（受光量）に応じた電荷が振り分けられる。そして、それぞれの画素３２１は、それぞれの電荷蓄積部に振り分けられて蓄積された電荷の電荷量に応じた大きさの電圧信号を、対応する垂直信号線に出力する。なお、画素３２１の構成と駆動（制御）方法とに関する詳細な説明は、後述する。

画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理を行う信号処理回路である。予め定めた信号処理としては、例えば、相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：ＣＤＳ）によって電圧信号に含まれるノイズを抑圧するノイズ抑圧処理などがある。また、予め定めた信号処理としては、例えば、アナログの電圧信号の大きさを表すデジタル値に変換するアナログ／デジタル変換（Ａ／Ｄ変換）処理などがある。

なお、画素信号処理回路３２５は、受光領域３２０のそれぞれの列に対応した複数の画素信号処理回路からなる画素信号処理回路群であってもよい。この場合、画素信号処理回路３２５は、水平走査回路３２４からの制御に応じて、予め定めた信号処理をした後の電圧信号が、受光領域３２０の行ごとに水平信号線に出力される。

水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される、信号処理をした後の電圧信号を、水平信号線に順次出力させる（読み出させる）駆動回路である。水平走査回路３２４は、それぞれの列の画素３２１に対応する電圧信号を出力させるための制御信号を、画素信号処理回路３２５に順次出力する。これにより、１フレーム分の画素信号が、水平信号線を経由して距離画像センサ３２の外部に順次出力される。このとき、距離画像センサ３２は、例えば、出力アンプなどの不図示の出力回路から、信号処理をした後の電圧信号を、画素信号として距離画像センサ３２の外部に出力する。

以下の説明においては、距離画像センサ３２に備えた画素信号処理回路３２５が、画素３２１から出力された電圧信号に対してノイズ抑圧処理を行い、その後、Ａ／Ｄ変換処理をして出力する、つまり、デジタル値に変換した電圧信号を出力するものとして説明する。

次に、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、本発明の実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の受光領域３２０内に配置された画素３２１の構成の一例を示した回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、３つの画素信号読み出し部を備えた構成の一例である。

画素３２１は、１つの光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する３つの画素信号読み出し部ＲＵとを備えている。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備えている。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。

なお、図３においては、３つの画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」または「３」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、３つの画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備えている。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２および画素信号読み出し部ＲＵ３も同様の構成である。

光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。なお、本発明においては、画素３２１に備える光電変換素子ＰＤの構造に関して特に規定しない。このため、光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、画素３２１に備える光電変換素子としては、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。

ドレインゲートトランジスタＧＤは、垂直走査回路３２３から入力された駆動信号に応じて、光電変換素子ＰＤが発生して蓄積し、それぞれの画素信号読み出し部ＲＵに転送されなかった電荷を破棄するためのトランジスタである。つまり、ドレインゲートトランジスタＧＤは、光電変換素子ＰＤが発生した、被写体Ｓとの間の距離の測定に用いない電荷をリセットするトランジスタである。

読み出しゲートトランジスタＧは、垂直走査回路３２３から入力された駆動信号に応じて、光電変換素子ＰＤが発生して蓄積した電荷を、対応する電荷蓄積部ＣＳに転送するためのトランジスタである。読み出しゲートトランジスタＧによって転送された電荷は、対応する電荷蓄積部ＣＳに保持（蓄積）される。

フローティングディフュージョンＦＤは、ソースフォロアゲートトランジスタＳＦのゲート端子に接続されたノードに付随する容量であり、対応する読み出しゲートトランジスタＧによって転送された電荷を保持（蓄積）する。

電荷蓄積容量Ｃは、対応する読み出しゲートトランジスタＧによって転送された電荷を保持（蓄積）する容量である。

リセットゲートトランジスタＲＴは、垂直走査回路３２３から入力された駆動信号に応じて、対応する電荷蓄積部ＣＳに保持された電荷を破棄するためのトランジスタである。つまり、リセットゲートトランジスタＲＴは、対応する電荷蓄積部ＣＳに保持された電荷をリセットするトランジスタである。

ソースフォロアゲートトランジスタＳＦは、ゲート端子に接続された電荷蓄積部ＣＳに蓄積された電荷量に応じた電圧信号を増幅して、対応する選択ゲートトランジスタＳＬに出力するためのトランジスタである。

選択ゲートトランジスタＳＬは、垂直走査回路３２３から入力された駆動信号に応じて、対応するソースフォロアゲートトランジスタＳＦによって増幅された電圧信号を、対応する出力端子Ｏから出力するためのトランジスタである。

このような構成によって、画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を３つの電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。

距離画像センサ３２に配置される画素の構成は、図３に示したような、３つの画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、１つの光電変換素子ＰＤと、光電変換素子ＰＤが発生して蓄積した電荷を振り分ける複数の画素信号読み出し部ＲＵを備えた構成の画素であれば、いかなる構成の画素であってもよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２つであってもよいし、４つ以上であってもよい。

また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよい。つまり、画素３２１は、それぞれの電荷蓄積容量Ｃを備えていない構成であってもよい。この構成の場合には、電荷検出感度が高められる効果を有する。しかしながら、距離画像撮像装置１において距離の測定におけるダイナミックレンジを広くすることを考えると、より多くの電荷を保持（蓄積）することができる構成の方が優位である。このため、画素３２１では、画素信号読み出し部ＲＵに電荷蓄積容量Ｃを備え、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳを構成することにより、フローティングディフュージョンＦＤのみで電荷蓄積部ＣＳを構成した場合よりも、より多くの電荷を保持（蓄積）することができる構成にしている。

また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、距離画像センサ３２に配置される画素に、ドレインゲートトランジスタＧＤを備えない構成であってもよい。

次に、距離画像撮像装置１における画素３２１の駆動（制御）方法（タイミング）について説明する。図４は、本発明の実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の受光領域３２０内に配置された画素３２１を駆動するタイミングを示したタイミングチャートである。図４には、距離画像センサ３２に１フレーム分の画素信号を出力させる際の画素３２１の駆動信号のタイミングとともに、光源部２が被写体Ｓに照射する光パルスＰＯのタイミングを示している。

最初に、受光した光の光量（受光量）に応じて光電変換素子ＰＤが発生して蓄積した電荷を、それぞれの画素信号読み出し部ＲＵに振り分ける電荷蓄積期間における画素３２１の駆動（制御）について説明する。電荷蓄積期間では、光源部２によって光パルスＰＯを被写体Ｓに照射する。そして、光パルスＰＯを照射したタイミングに同期して画素３２１を駆動することにより、受光した背景光および反射光ＲＬに応じた電荷を、それぞれの電荷蓄積部ＣＳに振り分ける。垂直走査回路３２３は、受光領域３２０内に配置された全ての画素３２１を同時に駆動する、いわゆる、グローバル駆動によって、全ての画素３２１に備えたそれぞれの電荷蓄積部ＣＳに電荷を振り分けて蓄積させる。なお、光源装置２１がパルス状のレーザー光を発光する時間、つまり、光パルスＰＯのパルス幅Ｔｗは、例えば、１０ｎＳなど、予め定めた非常に短い時間である。その理由は、パルス変調方式による距離の測定では、測定することができる最大の距離（以下、「最大測定距離」という）が、光パルスＰＯのパルス幅Ｔｗによって決められるからである。上述した光パルスＰＯのパルス幅Ｔｗが１０ｎＳである場合、最大測定距離は１．５ｍになる。また、単純に光パルスＰＯのパルス幅Ｔｗを広くする、つまり、光源装置２１におけるレーザー光の発光時間を長くすると、光電変換素子ＰＤがより多くの反射光ＲＬを受光することができるが、測定する被写体Ｓとの距離の分解能が低下する。他方、光パルスＰＯのパルス幅Ｔｗが短いと、光電変換素子ＰＤが光電変換によって発生させる電荷の電荷量も少なくなる。このため、距離画像撮像装置１では、電荷蓄積期間においてそれぞれの電荷蓄積部ＣＳに十分な量の電荷が蓄積されるように、光パルスＰＯの照射および電荷の振り分けを複数回行う。

図４に示したタイミングチャートの電荷蓄積期間には、光パルスＰＯの照射および全ての画素３２１における電荷の振り分けを複数回行う場合の画素３２１の駆動タイミングを示している。なお、図４に示したタイミングチャートの電荷蓄積期間における光パルスＰＯは、“Ｈｉｇｈ”レベルのときに光パルスＰＯが照射（光源装置２１がレーザー光を発光）し、“Ｌｏｗ”レベルのときに光パルスＰＯの照射が停止（光源装置２１が消灯）されるものとして説明する。また、図４に示したタイミングチャートは、全ての画素３２１がリセットされている、つまり、光電変換素子ＰＤおよび電荷蓄積部ＣＳに電荷が蓄積されていない状態から始まるものとして説明する。

電荷蓄積期間では、まず、垂直走査回路３２３は、光源部２が光パルスＰＯを照射するパルス幅Ｔｗと同じ時間だけ前の時刻ｔＡ１から、光電変換素子ＰＤが光電変換して発生させた、光パルスＰＯが照射される前の背景光に応じた電荷を、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に転送して蓄積させる。

その後、垂直走査回路３２３は、光源部２が光パルスＰＯを照射するタイミングと同じ時刻ｔＡ２から、光電変換素子ＰＤが現在光電変換した光に応じて発生させた電荷を、読み出しゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に転送して蓄積させる。ここで、電荷蓄積部ＣＳ２に蓄積される電荷は、光パルスＰＯを照射しているパルス幅Ｔｗの時間内に被写体Ｓによって反射されてきた反射光ＲＬに応じた電荷である。この電荷には、背景光に応じた電荷に加えて、被写体Ｓまでの距離（絶対距離）に比例した少ない遅れ時間で入射してきた反射光ＲＬに応じた電荷が含まれている。より具体的には、例えば、被写体Ｓが近い位置に存在する場合には、照射した光パルスＰＯが短い時間で被写体Ｓによって反射されて反射光ＲＬとして戻ってくるため、電荷蓄積部ＣＳ２には、近い位置に存在する被写体Ｓが反射した反射光ＲＬに応じた電荷がより多く含まれている。

その後、垂直走査回路３２３は、光源部２が光パルスＰＯの照射を停止するタイミングと同じ時刻ｔＡ３から、光電変換素子ＰＤが現在光電変換した光に応じて発生させた電荷を、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に転送して蓄積させる。ここで、電荷蓄積部ＣＳ３に蓄積される電荷は、光パルスＰＯを照射しているパルス幅Ｔｗの時間外に被写体Ｓによって反射されてきた反射光ＲＬに応じた電荷である。この電荷には、背景光に応じた電荷に加えて、被写体Ｓまでの距離（絶対距離）に比例した多くの遅れ時間で入射してきた反射光ＲＬに応じた電荷が含まれている。より具体的には、例えば、被写体Ｓが遠い位置に存在する場合には、照射した光パルスＰＯがより長い時間を要して被写体Ｓによって反射されて反射光ＲＬとして戻ってくるため、電荷蓄積部ＣＳ３には、遠い位置に存在する被写体Ｓが反射した反射光ＲＬに応じた電荷がより多く含まれている。

その後、垂直走査回路３２３は、光源部２が光パルスＰＯを照射するパルス幅Ｔｗと同じ時間だけ経過した時刻ｔＡ４から、光電変換素子ＰＤが現在光電変換した光に応じて発生させた電荷、つまり、被写体Ｓとの間の距離の測定に用いない電荷を、ドレインゲートトランジスタＧＤを介して破棄させる。言い換えれば、光電変換素子ＰＤがリセットさせる。

その後、垂直走査回路３２３は、光源部２が次に光パルスＰＯを照射するパルス幅Ｔｗと同じ時間だけ前の時刻ｔＡ５において、光電変換素子ＰＤのリセットを解除する。そして、時刻ｔＡ１からのタイミングと同様に、光電変換素子ＰＤが次に光電変換して発生させた電荷、つまり、次に光パルスＰＯが照射される前の背景光に応じた電荷を、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に転送して蓄積させる。

以降、垂直走査回路３２３は、時刻ｔＡ１〜時刻ｔＡ５までと同様の画素３２１の駆動（以下、「電荷振り分け駆動」という）を繰り返す。これにより、電荷蓄積期間では、全ての画素３２１に備えたそれぞれの電荷蓄積部ＣＳに、電荷振り分け駆動を繰り返した分の電荷量が蓄積されて保持される。なお、電荷蓄積期間において電荷振り分け駆動を繰り返す最大の回数は、距離画像センサ３２が、１フレーム分の画素信号を出力する（取得する）周期によって決まる。より具体的には、距離画像センサ３２が、１フレーム分の画素信号を取得する時間から、画素信号読み出し期間を差し引いた時間を、光源装置２１がパルス状のレーザー光を発光する時間、つまり、光パルスＰＯのパルス周期時間Ｔｏで除算した商の回数である。なお、距離画像センサ３２では、電荷振り分け駆動の回数が多いほど、それぞれの電荷蓄積部ＣＳに蓄積（積算）される電荷量が多くなり、高感度となる。これにより、距離画像センサ３２では、測定する被写体Ｓとの距離の分解能を高めることができる。

続いて、電荷蓄積期間が終了した後に、それぞれの画素信号読み出し部ＲＵに備えたそれぞれの電荷蓄積部ＣＳに振り分けられた電荷量に応じた電圧信号を、受光領域３２０内に配置された画素３２１の行ごとに順次出力させる画素信号読み出し期間における画素３２１の駆動（制御）について説明する。画素信号読み出し期間では、受光領域３２０内に配置された画素３２１を行ごとに駆動する、いわゆる、ローリング駆動によって、対応する行に配置された画素３２１に備えた電荷蓄積部ＣＳに蓄積（積算）されて保持されている電荷量に応じた電圧信号を、行順次で画素信号処理回路３２５に出力させる。

なお、上述したように、距離画像センサ３２においては、それぞれの画素３２１が出力した電圧信号に対して、画素信号処理回路３２５が、ノイズ抑圧処理やＡ／Ｄ変換処理などの予め定めた信号処理を行う。ここで、画素信号処理回路３２５がノイズ抑圧処理として行う相関二重サンプリング（ＣＤＳ）処理は、電荷蓄積部ＣＳに蓄積（積算）されて保持されている電荷量に応じた電圧信号（以下、「距離画素電圧信号ＰＳ」という）と、電荷蓄積部ＣＳがリセットされている状態（リセット状態）の電荷量に応じた電圧信号（以下、「リセット電圧信号ＰＲ」という）との差分をとる処理である。このため、画素信号読み出し期間では、それぞれの画素３２１に備えたそれぞれの電荷蓄積部ＣＳに対応する距離画素電圧信号ＰＳとリセット電圧信号ＰＲとのそれぞれの電圧信号を、行順次で画素信号処理回路３２５に出力させる。

図４に示したタイミングチャートの画素信号読み出し期間には、受光領域３２０の水平方向（行方向）にｙ行（ｙは１以上の整数）、垂直方向（列方向）にｘ列（ｘは１以上の整数）の複数の画素３２１が配置されている場合において、受光領域３２０のｉ行目（１≦ｉ≦ｙ）に配置されたそれぞれの画素３２１（ｉ）から、距離画素電圧信号ＰＳ（ｉ）とリセット電圧信号ＰＲ（ｉ）とのそれぞれの電圧信号を出力させる場合の画素３２１の駆動タイミングを示している。なお、図４に示したタイミングチャートでは、それぞれの画素３２１（ｉ）に備えた電荷蓄積部ＣＳ１（ｉ）、電荷蓄積部ＣＳ２（ｉ）、電荷蓄積部ＣＳ３（ｉ）の順番に、それぞれの電圧信号を出力させている。

画素信号読み出し期間では、まず、時刻ｔＲ１〜時刻ｔＲ２の期間において、垂直走査回路３２３は、距離画素電圧信号ＰＳ１（ｉ）を、出力端子Ｏ１（ｉ）から垂直信号線を介して画素信号処理回路３２５に出力させる。これにより、画素信号処理回路３２５は、垂直信号線を介して画素信号読み出し部ＲＵ１（ｉ）から出力された距離画素電圧信号ＰＳ１（ｉ）を、一旦保持する。

その後、時刻ｔＲ３〜時刻ｔＲ４の期間において、垂直走査回路３２３は、リセット電圧信号ＰＲ１（ｉ）を、出力端子Ｏ１（ｉ）から垂直信号線を介して画素信号処理回路３２５に出力させる。これにより、画素信号処理回路３２５は、一旦保持している距離画素電圧信号ＰＳ１（ｉ）と、垂直信号線を介して画素信号読み出し部ＲＵ１（ｉ）から出力されたリセット電圧信号ＰＲ１（ｉ）との差分をとる、すなわち、電荷蓄積部ＣＳ１（ｉ）に蓄積（積算）されて保持されている電荷量に応じた電圧信号に含まれるノイズを抑圧する。

その後、時刻ｔＲ４〜時刻ｔＲ７の期間において、垂直走査回路３２３は、時刻ｔＲ１〜時刻ｔＲ４の期間と同様に、距離画素電圧信号ＰＳ２（ｉ）とリセット電圧信号ＰＲ２（ｉ）とを、出力端子Ｏ２（ｉ）から垂直信号線を介して画素信号処理回路３２５に出力させる。さらに、時刻ｔＲ７〜時刻ｔＲ１０の期間においても、垂直走査回路３２３は、時刻ｔＲ１〜時刻ｔＲ４の期間と同様に、距離画素電圧信号ＰＳ３（ｉ）とリセット電圧信号ＰＲ３（ｉ）とを、出力端子Ｏ３（ｉ）から垂直信号線を介して画素信号処理回路３２５に出力させる。

以降、垂直走査回路３２３は、時刻ｔＲ１〜時刻ｔＲ１０までと同様の画素３２１の駆動（以下、「画素信号読み出し駆動」という）を順次、受光領域３２０の他の行に配置されたそれぞれの画素３２１（例えば、ｉ＋１行目に配置されたそれぞれの画素３２１）に対して行って、受光領域３２０内に配置された全ての画素３２１から、それぞれの電圧信号を順次出力させる。

このような駆動（制御）方法（タイミング）によって、垂直走査回路３２３は、受光領域３２０内に配置されたそれぞれの画素３２１において光電変換素子ＰＤが発生して蓄積した電荷のそれぞれの画素信号読み出し部ＲＵへの振り分けを複数回行い、画素信号読み出し部ＲＵに備えた電荷蓄積部ＣＳに蓄積（積算）された電荷量に応じた電圧信号を順次、垂直信号線を介して画素信号処理回路３２５に出力させる。

なお、画素信号処理回路３２５は、ノイズを抑圧したそれぞれの電圧信号に対してＡ／Ｄ変換処理を行ごとに行う。そして、水平走査回路３２４が、画素信号処理回路３２５がＡ／Ｄ変換処理を行った後のそれぞれの行の電圧信号を、受光領域３２０の列の順番に水平信号線を経由して順次出力させることによって、距離画像センサ３２は、１フレーム分の全ての画素３２１の画素信号を外部に出力する。これにより、距離画像撮像装置１では、１フレーム分の画素信号が、いわゆる、ラスター順に、距離演算部４２に出力される。

なお、図４に示した画素３２１の駆動（制御）タイミングからもわかるように、１フレーム分の画素信号のそれぞれには、対応する画素３２１に備えた３つの画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）のそれぞれに対応する３つの電圧信号が含まれている。距離演算部４２は、距離画像センサ３２から出力された１フレーム分の画素信号に基づいて、被写体Ｓとの間の距離を、それぞれの画素信号ごと、つまり、それぞれの画素３２１ごとに演算する。

ここで、距離演算部４２における被写体Ｓとの間の距離の演算方法について説明する。ここでは、画素信号読み出し部ＲＵ１の電荷蓄積部ＣＳ１に振り分けられた光パルスＰＯが照射される前の背景光に応じた電荷の電荷量を電荷量Ｑ１とする。また、画素信号読み出し部ＲＵ２の電荷蓄積部ＣＳ２に振り分けられた背景光と少ない遅れ時間で入射してきた反射光ＲＬに応じた電荷の電荷量を電荷量Ｑ２とする。また、画素信号読み出し部ＲＵ３の電荷蓄積部ＣＳ３に振り分けられた背景光と多くの遅れ時間で入射してきた反射光ＲＬに応じた電荷の電荷量を電荷量Ｑ３とする。距離演算部４２は、それぞれの画素３２１ごとの被写体Ｓとの間の距離Ｄを、下式（１）によって求める。

Ｄ＝（Ｑ３−Ｑ１）／（Ｑ２＋Ｑ３−２Ｑ１）×Ｄｍ ・・・（１）

上式（１）において、Ｄｍは、光パルスＰＯの照射によって測定することができる最大の距離（最大測定距離）である。ここで、最大測定距離Ｄｍは、下式（２）によって表される。

Ｄｍ＝（ｃ／２）Ｔｗ ・・・（２）

上式（２）において、ｃは光速、Ｔｗは光パルスＰＯのパルス幅である。

このようにして、距離画像撮像装置１では、距離画像センサ３２の受光領域３２０内に配置されたそれぞれの画素３２１ごとに、被写体Ｓとの間の距離Ｄを求めることができる。

なお、上述したように、距離画像センサ３２に配置される画素の構成は、図３に示したような、３つの画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、１つの光電変換素子ＰＤと、光電変換素子ＰＤが発生して蓄積した電荷を振り分ける２つ以上の画素信号読み出し部ＲＵを備えた構成の画素であればよい。この場合、つまり、画素信号読み出し部ＲＵを備える数が異なる構成の画素が配置された距離画像センサにおいても、画素の駆動（制御）方法（タイミング）は、図４に示した距離画像撮像装置１における画素３２１の駆動（制御）方法（タイミング）と同様に考えることによって、容易に実現することができる。より具体的には、それぞれの画素信号読み出し部ＲＵに備えた読み出しゲートトランジスタＧやドレインゲートトランジスタＧＤに入力する駆動信号の位相が互いに重ならないように位相関係を維持した周期で、画素に対する電荷振り分け駆動を繰り返すことによって、距離画像センサ３２と同様に、それぞれの画素信号読み出し部ＲＵに備えた電荷蓄積部ＣＳに、対応する光に応じた電荷を蓄積（積算）させることができる。そして、画素信号読み出し駆動によって全ての画素からそれぞれの電圧信号を順次出力させることによって、距離画像センサ３２と同様に、１フレーム分の画素信号を距離画像センサの外部に出力することができる。これにより、距離演算部４２は、画素信号読み出し部ＲＵを備える数が異なる構成の画素が配置された距離画像センサから出力された１フレーム分の画素信号に基づいて、同様に、被写体Ｓとの間の距離Ｄをそれぞれの画素信号ごと（それぞれの画素ごと）に求めることができる。

そして、距離画像撮像装置１では、被写体Ｓとの間の距離Ｄを測定する奥行き方向のダイナミックレンジを広くするため、受光部３に備えた距離画像センサ３２によって、電荷振り分け駆動の回数が異なる複数フレームの画素信号を１つの組として取得する。言い換えれば、距離画像撮像装置１では、電荷振り分け駆動の回数を異なる回数としたことによって感度が異なる複数フレームの画素信号を１つの組として取得する。例えば、距離画像撮像装置１は、高感度の画素信号のフレームと、低感度の画素信号のフレームとの２フレーム分の画素信号を取得する。そして、距離画像撮像装置１では、感度が異なる複数フレームの画素信号に含まれる同じ位置の画素３２１に対応する画素信号のうち、いずれか１つの画素信号を選択することによって、距離演算部４２が画素３２１の位置ごとに被写体Ｓとの間の距離Ｄを求めることができる奥行き方向の範囲や被写体Ｓの背景光の範囲を広くする、いわゆる、広ダイナミックレンジ化を実現する。

（第１の実施形態）
次に、距離画像撮像装置１において測定することができる被写体Ｓとの間の距離Ｄの広ダイナミックレンジ化の実現方法（第１の実施形態）について説明する。図５は、本発明の実施形態の距離画像撮像装置１において距離（距離Ｄ）の測定のための画素信号のフレームを取得するタイミングの一例を模式的に示した図である。

距離画像撮像装置１は、被写体Ｓとの間の距離Ｄを測定するための画素信号として、電荷振り分け駆動の回数、つまり、それぞれの画素３２１において光電変換素子ＰＤが光電変換して発生させた電荷を振り分けて電荷蓄積部ＣＳに積算させる回数に応じて感度が異なる複数フレームの画素信号を１つの組として取得する。第１の実施形態の広ダイナミックレンジ化の実現方法では、固定の電荷振り分け駆動の回数（以下、「電荷振り分け回数」という）を予め２つ定め、予め定めたそれぞれの電荷振り分け回数で電荷振り分け駆動して取得した２つの画素信号のフレームを１組とすることによって、距離画像撮像装置１において被写体Ｓとの間の距離Ｄを測定することができる奥行き方向の範囲や被写体Ｓの背景光の範囲を広くする広ダイナミックレンジ化を実現する。図５には、電荷振り分け回数が多い高感度の画素信号のフレーム（以下、「高感度フレーム」という）ＨＧを第１フレームとし、電荷振り分け回数が少ない低感度の画素信号のフレーム（以下、「低感度フレーム」という）ＬＧを第２フレームとした１組の画素信号のフレームを取得する場合の一例を示している。距離画像撮像装置１では、図５に示したように、高感度フレームＨＧと低感度フレームＬＧとの２フレーム分の画素信号の組を、連続して取得する。つまり、距離画像撮像装置１は、高感度フレームＨＧと低感度フレームＬＧとを交互に連続して取得する。

なお、図５においては、高感度フレームＨＧ、低感度フレームＬＧの順番で２フレーム分の画素信号を交互に取得する場合の一例を示したが、距離画像撮像装置１が２フレーム分の画素信号を取得する順番は、図５に示した順番に限定されるものではない。つまり、距離画像撮像装置１は、低感度フレームＬＧ、高感度フレームＨＧの順番で、２フレーム分の画素信号を交互に取得してもよい。

また、図５には、高感度フレームＨＧと低感度フレームＬＧとのそれぞれのフレームを取得する際に要する電荷蓄積期間と画素信号読み出し期間との構成（割合）も模式的に示している。１フレーム分の画素信号の周期のうち、画素信号読み出し期間の長さは、距離画像センサ３２の受光領域３２０内に配置された全ての画素３２１からそれぞれの画素信号を読み出すために要する時間によって決まる。言い換えれば、１フレーム分の画素信号の周期のうち、画素信号読み出し期間の長さは、距離画像センサ３２の受光領域３２０内に配置された画素３２１の数、つまり、画素数によって決まる。このため、１フレーム分の画素信号の周期内で電荷蓄積期間として利用することができる時間、つまり、最大の電荷蓄積期間（最大電荷蓄積期間）の長さは、１フレーム分の時間から画素信号読み出し期間の時間を差し引いた時間である。そして、距離画像撮像装置１では、１フレーム分の画素信号を取得するための電荷振り分け駆動を、最大電荷蓄積期間を超えない時間内で行う。このため、１フレーム分の画素信号を取得するために電荷振り分け駆動を繰り返すことができる最大の回数、つまり、最大の電荷振り分け回数は、上述したように、最大電荷蓄積期間を光パルスＰＯのパルス周期時間Ｔｏで除算した商の回数となる。

距離画像撮像装置１においては、制御回路３２２、または距離画像処理部４（より具体的には、タイミング制御部４１）からの制御に応じて、垂直走査回路３２３が、最大電荷蓄積期間の時間内で、１フレーム分の画素信号を取得するための電荷振り分け駆動を行い、画素３２１に備えた画素信号読み出し部ＲＵ内のそれぞれの電荷蓄積部ＣＳに、光電変換素子ＰＤが光電変換して発生した電荷を蓄積（積算）させる。このとき、垂直走査回路３２３が行う電荷振り分け駆動の回数は、高感度フレームＨＧと低感度フレームＬＧとにおける感度の比に応じた回数にする。例えば、高感度フレームＨＧの感度を低感度フレームＬＧの感度の１０倍程度とする場合、垂直走査回路３２３は、低感度フレームＬＧを取得するために行う電荷振り分け駆動の回数を、高感度フレームＨＧを取得するために行う電荷振り分け駆動の回数の１／１０程度にする。より具体的には、図５において、高感度フレームＨＧを取得するために行う電荷振り分け駆動の回数（電荷振り分け回数）を、例えば、Ｈ＝１０万回とした場合、垂直走査回路３２３は、低感度フレームＬＧを取得するために行う電荷振り分け回数を、Ｌ＝１万回とする。

距離画像撮像装置１では、図５に示したタイミングで取得したそれぞれの組の画素信号のフレームに基づいて、距離演算部４２が、画素３２１の位置ごとに被写体Ｓとの間の距離Ｄを演算する。このとき、距離演算部４２は、高感度フレームＨＧに含まれる画素信号に基づいて被写体Ｓとの間の距離Ｄを演算するのか、低感度フレームＬＧに含まれる画素信号に基づいて被写体Ｓとの間の距離Ｄを演算するのかを、画素３２１ごとに選択する。より具体的には、距離演算部４２は、高感度フレームＨＧに画素信号として含まれる３つの電圧信号のそれぞれが表す電荷量Ｑに基づいて被写体Ｓとの間の距離Ｄを演算するのか、低感度フレームＬＧに画素信号として含まれる３つの電圧信号のそれぞれが表す電荷量Ｑに基づいて被写体Ｓとの間の距離Ｄを演算するのかを、画素３２１ごとに選択する。そして、距離演算部４２は、選択した電荷量Ｑに基づいて、被写体Ｓとの間の距離Ｄを画素３２１ごとに演算する。

次に、距離演算部４２が被写体Ｓとの間の距離Ｄを演算する際に用いる３つの電荷量Ｑを選択する処理について説明する。図６は、本発明の実施形態の距離画像撮像装置１において距離Ｄの測定に用いる画素信号（電荷量Ｑ）を選択する処理を模式的に示した図である。図６には、距離演算部４２が、距離画像センサ３２の受光領域３２０において、ｉ行（１≦ｉ≦ｙ）ｊ列（１≦ｊ≦ｘ）に配置された１つの画素３２１の位置における被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号を選択する処理を模式的に示している。なお、図６では、高感度フレームＨＧに画素信号として含まれる３つの電圧信号のそれぞれが表す電荷量Ｑを「電荷量ＱＨ」とし、低感度フレームＬＧに画素信号として含まれる３つの電圧信号のそれぞれが表す電荷量Ｑを「電荷量ＱＬ」としている。

上述したように、距離演算部４２は、上式（１）によって被写体Ｓとの間の距離Ｄを求める。ここで、電荷量Ｑ１は、背景光に応じた電荷量である。また、電荷量Ｑ２は、背景光と少ない遅れ時間、つまり、近い位置に存在する被写体Ｓが反射した反射光ＲＬとに応じた電荷量である。また、電荷量Ｑ３は、背景光と多くの遅れ時間、つまり、遠い位置に存在する被写体Ｓが反射した反射光ＲＬとに応じた電荷量である。このため、それぞれの電荷量Ｑの関係は、Ｑ１＜（Ｑ２，Ｑ３）となる。そして、電荷量Ｑ２と電荷量Ｑ３との関係は、近い位置に存在する被写体Ｓが反射した反射光ＲＬを受光した画素３２１では、Ｑ２＞Ｑ３となり、遠い位置に存在する被写体Ｓが反射した反射光ＲＬを受光した画素３２１では、Ｑ２＜Ｑ３となる。

距離演算部４２は、電荷量判定処理Ｐ１において、高感度フレームＨＧに画素信号として含まれる３つの電圧信号のそれぞれが表す電荷量ＱＨ１、電荷量ＱＨ２、電荷量ＱＨ３のうち、被写体Ｓが反射した反射光ＲＬに応じた電荷量が含まれる電荷量ＱＨ２と電荷量ＱＨ３とに基づいて、高感度フレームＨＧまたは低感度フレームＬＧのいずれか一方の画素信号を、被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。より具体的には、距離演算部４２は、高感度フレームＨＧの画素信号を用いて、ＭＡＸ（ＱＨ２，ＱＨ３）の処理によっていずれか大きい方の電荷量ＱＨを選択し、選択した電荷量ＱＨを、画素信号を選択するための基準の閾値と比較する。図６では、電荷量判定処理Ｐ１において選択した電荷量ＱＨと比較する基準の閾値を、電荷量Ｑに応じた電圧信号である画素信号の大きさ（電圧値Ｖ）で表し、閾値Ｖｔｈとしている。そして、距離演算部４２は、選択した電荷量ＱＨが閾値Ｖｔｈ以下である（電荷量判定処理Ｐ１の判定結果が“ＮＯ”）場合、判定結果を表すフラグ信号ＦｌａｇをＦｌａｇ＝０とし、切り替えスイッチＳＷをＮＯ側にして、高感度フレームＨＧの画素信号を被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。一方、距離演算部４２は、選択した電荷量ＱＨが閾値Ｖｔｈを超える（電荷量判定処理Ｐ１の判定結果が“ＹＥＳ”）場合に、判定結果を表すフラグ信号ＦｌａｇをＦｌａｇ＝１とし、切り替えスイッチＳＷをＹＥＳ側にして、低感度フレームＬＧの画素信号を被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。

ここで、距離演算部４２が選択する画素信号と閾値Ｖｔｈとの関係について説明する。図７は、本発明の実施形態の距離画像撮像装置１において距離Ｄの測定に用いる画素信号を選択する処理（電荷量判定処理Ｐ１）の関係の一例を示した図である。図７には、横軸を入射光量とし、縦軸を画素信号、すなわち、電荷蓄積部ＣＳに振り分けられた電荷量Ｑに応じた電圧信号の大きさ（電圧値Ｖ）とし、画素３２１が同じ光量の反射光ＲＬを受光した場合の画素信号の線形および飽和特性を示している。また、図７には、閾値Ｖｔｈを示している。

高感度フレームＨＧおよび低感度フレームＬＧのいずれのフレームに含まれる画素信号も、画素３２１が受光した反射光ＲＬの光量が多くなるにつれて、電圧信号の大きさが大きくなる。しかしながら、画素３２１が同じ光量の反射光ＲＬを受光した場合、電荷振り分け回数が多い高感度フレームＨＧの画素信号の方が、電荷振り分け回数が少ない低感度フレームＬＧの画素信号よりも早く電圧信号が飽和してしまう。図７には、高感度フレームＨＧの画素信号がＳＨ以降飽和し、低感度フレームＬＧがＳＬ以降飽和する特性を示している。

このため、距離演算部４２における電荷量判定処理Ｐ１では、上述したように、高感度フレームＨＧの画素信号の大きさ（電圧値Ｖ）を閾値Ｖｔｈと比較し、画素信号の大きさが閾値Ｖｔｈを超えているか否かによって、高感度フレームＨＧの画素信号または低感度フレームＬＧの画素信号のいずれか一方の画素信号を、被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。図７では、高感度フレームＨＧの画素信号の大きさ（電圧値Ｖ）が、ＳＴの時点で閾値Ｖｔｈを超えるため、この時点でフラグ信号ＦｌａｇをＦｌａｇ＝１として、低感度フレームＬＧの画素信号を被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。なお、ＳＴの時点よりも前では、フラグ信号ＦｌａｇをＦｌａｇ＝０として、高感度フレームＨＧの画素信号を被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択している。

このようにして距離演算部４２は、画素信号の大きさ（電圧値Ｖ）が飽和する前に、電荷振り分け回数を少なくすることによって強い光量の反射光ＲＬが入射した場合に対する飽和耐性をＳＬまで高めた低感度フレームＬＧの画素信号に切り替えて、被写体Ｓとの間の距離Ｄを演算することができる。

なお、距離演算部４２が電荷量判定処理Ｐ１において用いる閾値Ｖｔｈは、距離画像センサ３２に配置された画素３２１に備えた電荷蓄積部ＣＳが飽和する電荷量Ｑに対して予め定めた割合（例えば、９０％）を規定した値である。閾値Ｖｔｈは、例えば、距離画像センサ３２（より具体的には、画素３２１）を製造する際の製造条件などに基づいて決定し、決定した値を予め距離演算部４２に設定しておくものであってもよい。また、閾値Ｖｔｈは、例えば、距離画像撮像装置１が距離Ｄを測定する対象の被写体Ｓの状態や、距離画像撮像装置１が被写体Ｓとの間の距離Ｄを測定する際の測定モードなど、任意の条件に基づいて決定し、決定した値を距離演算部４２が被写体Ｓとの間の距離Ｄを演算する前に、距離画像処理部４に備えた不図示の制御部や、距離画像撮像装置１の内部または外部に備えた不図示の制御部が設定するものであってもよい。つまり、被写体Ｓが存在する位置、被写体Ｓが存在する背景の環境、被写体Ｓの光パルスＰＯの反射率などの被写体Ｓの状態や、距離画像撮像装置１が測定する距離Ｄの範囲を切り替えるモード（例えば、近距離測定モードや遠距離測定モードなど）の任意の条件に基づいて変更することができる可変の値であってもよい。これにより、距離画像撮像装置１では、被写体Ｓが近い位置に存在していたり、遠い位置に存在していたり、被写体Ｓが存在する周囲の環境が明るいことにより強い背景光が入射する環境であったり、周囲の環境が暗いことにより背景光が入射しない環境であったり、光パルスＰＯの反射率が高い被写体Ｓあったり、反射率が低い被写体Ｓあったりする場合でも、それぞれに適した閾値Ｖｔｈに変更することができる。

このようにして、距離演算部４２は、感度が異なる２つのフレームに含まれる同じ位置の画素３２１に対応する画素信号のうち、いずれか１つの画素信号を、被写体Ｓとの間の距離Ｄを演算する画素信号として選択する。その後、距離演算部４２は、選択した画素信号に含まれる３つの電圧信号のそれぞれが表す電荷量Ｑ（電荷量Ｑ１、電荷量Ｑ２、電荷量Ｑ３）を上式（１）に適用して、被写体Ｓとの間の距離Ｄを演算する。

そして、距離演算部４２は、求めた距離Ｄと、フラグ信号Ｆｌａｇとを対応付けて、画素３２１の位置に対応する距離情報とする。これにより、距離演算部４２が出力する距離情報に含まれる距離Ｄは、高感度フレームＨＧの画素信号または低感度フレームＬＧの画素信号のいずれの画素信号を用いて求められたものであるのかを、フラグ信号Ｆｌａｇを参照することによって容易に判別することができる。以降、距離演算部４２は、同様に、電荷量判定処理Ｐ１による画素信号の選択と、選択した画素信号に基づいた距離Ｄの演算とを、距離画像センサ３２の受光領域３２０内に配置されたそれぞれの画素３２１ごとに繰り返す。これにより、距離演算部４２は、全ての画素３２１の位置に対応する１フレーム分の距離情報を出力する。

なお、本発明においては、電荷量判定処理Ｐ１を行うための距離演算部４２の構成に関して特に規定しない。例えば、距離演算部４２は、取得した高感度フレームＨＧの画素信号を一時的に記憶するフレームメモリと、取得した低感度フレームＬＧの画素信号を一時的に記憶するフレームメモリとの２つのフレームメモリを備えた構成であってもよい。この構成の場合、距離演算部４２は、それぞれのフレームメモリに記憶した同じ画素３２１に対応する画素信号を読み出しながら、電荷量判定処理Ｐ１による画素信号の選択と、選択した画素信号に基づいた距離Ｄの演算とを行う。また、例えば、距離演算部４２は、取得した低感度フレームＬＧの画素信号を一時的に記憶する１つのフレームメモリを備えた構成であってもよい。この構成の場合、距離演算部４２は、低感度フレームＬＧ、高感度フレームＨＧの順番で、２フレーム分の画素信号の組を取得し、最初に取得する低感度フレームＬＧの画素信号をフレームメモリに記憶する。そして、距離演算部４２は、高感度フレームＨＧの画素信号を取得する際に、フレームメモリに記憶した同じ画素３２１に対応する低感度フレームＬＧの画素信号を読み出し、現在取得した高感度フレームＨＧの画素信号とフレームメモリから読み出した低感度フレームＬＧの画素信号に対して、電荷量判定処理Ｐ１および距離Ｄの演算を行う。つまり、距離演算部４２は、高感度フレームＨＧの画素信号を取得するタイミングに同期して、リアルタイムに電荷量判定処理Ｐ１と距離Ｄの演算を行う。

ここで、１フレーム分の距離情報の構成について説明する。図８は、本発明の実施形態の距離画像撮像装置１において測定した距離の情報（距離情報）が含まれるフレームの構成の一例を模式的に示した図である。図８の（ａ）には高感度フレームＨＧの構成の一例を示し、図８の（ｂ）には低感度フレームＬＧの構成の一例を示し、図８の（ｃ）には距離情報のフレームの一例を示している。

上述したように、距離演算部４２は、高感度フレームＨＧと低感度フレームＬＧとの２フレーム分の画素信号の組を取得し、それぞれの画素３２１ごとにいずれかの画素信号を選択して求めた距離Ｄとフラグ信号Ｆｌａｇとを対応付けた距離情報を出力する。図８には、それぞれのフレームにおいて、距離画像センサ３２の受光領域３２０のｉ行（１≦ｉ≦ｙ）ｊ列（１≦ｊ≦ｘ）に配置された１つの画素３２１の位置に対応する距離情報が含まれたフレームの一例を示している。

距離演算部４２は、図８の（ａ）に示した高感度フレームＨＧに画素信号として含まれる電荷量ＱＨｋ（ｉ，ｊ）（ｋ＝１，２，３）と、図８の（ｂ）に示した低感度フレームＬＧに画素信号として含まれる電荷量ＱＬｋ（ｉ，ｊ）（ｋ＝１，２，３）とのいずれか一方の電荷量Ｑを電荷量判定処理Ｐ１において選択し、選択した電荷量Ｑを上式（１）に適用して、被写体Ｓとの間の距離Ｄを演算する。そして、距離演算部４２は、図８の（ｃ）に示したように、演算した距離Ｄ（ｉ，ｊ）とフラグ信号Ｆｌａｇ（ｉ，ｊ）とを対応付けた距離情報のフレームを出力する。なお、距離演算部４２は、上述したように、１つのフレームメモリを備えた構成であっても、この１つのフレームメモリだけを用いて、図８の（ｃ）に示した距離情報のフレームを出力する同様の処理をすることもできる。

なお、上述した説明では、距離演算部４２が、高感度フレームＨＧと低感度フレームＬＧとのそれぞれの１フレーム分の画素信号に基づいて、距離画像センサ３２の受光領域３２０内に配置されたそれぞれの画素３２１ごとに、電荷量判定処理Ｐ１による画素信号の選択と、選択した画素信号に基づいた距離Ｄの演算とを繰り返す場合について説明した。しかし、距離演算部４２における電荷量判定処理Ｐ１と距離Ｄの演算とは、画素３２１ごとに行う構成に限定されるものではない。例えば、距離演算部４２は、距離画像センサ３２における受光領域３２０を、水平方向（行方向）および垂直方向（列方向）に隣接する２つの画素３２１（２×２画素）ごとや、４つの画素３２１（４×４画素）ごとなど、予め定めた複数の画素３２１の単位で分割したブロックごとに、電荷量判定処理Ｐ１と距離Ｄの演算とを行う構成であってもよい。

その後、距離演算部４２は、１フレーム分の距離情報を視覚的に表した距離情報画像を生成してもよい。また、距離演算部４２は、距離画像撮像装置１における距離Ｄの測定範囲、つまり、距離画像センサ３２の撮像領域の範囲内に含まれる被写体Ｓの形状を明暗で視覚的に表した、距離情報画像に対応する明暗画像を生成してもよい。ただし、明暗画像は、それぞれの画素３２１が受光した反射光ＲＬの光量を明暗で表した画像であるため、画素信号の感度、つまり、電荷量Ｑの絶対値に依存する。そして、距離演算部４２が出力する１フレーム分の距離情報には、高感度フレームＨＧの画素信号を用いて求めた距離Ｄと、低感度フレームＬＧの画素信号を用いて求めた距離Ｄとが混在している。このため、単純に距離情報画像に対応する明暗画像を生成してしまうと、それぞれの画素３２１における明暗が統一されずに違和感のある明暗画像となってしまう。このため、距離演算部４２は、１フレーム分のそれぞれの距離情報において距離Ｄに対応付けられているフラグ信号Ｆｌａｇを参照し、高感度フレームＨＧの画素信号と低感度フレームＬＧの画素信号との間で、同じ位置の明暗が同じになるように合わせるゲイン調整を行って、明暗画像を生成する。なお、距離演算部４２は、１フレーム分の距離情報に、Ｆｌａｇ＝０のフラグ信号Ｆｌａｇのみが含まれている場合には、高感度フレームＨＧの画素信号に基づいて明暗画像を生成し、Ｆｌａｇ＝０とＦｌａｇ＝１との２つのフラグ信号Ｆｌａｇが含まれている場合には、低感度フレームＬＧの画素信号に基づいて明暗画像を生成するようにしてもよい。

上述したように、第１の実施形態では、距離演算部４２が、電荷量判定処理Ｐ１によって、感度が異なる２つのフレームの画素信号に含まれる同じ位置の画素３２１に対応する画素信号のうち、いずれか１つの画素信号を、被写体Ｓとの間の距離Ｄを演算する画素信号として選択する。その後、距離演算部４２は、選択した画素信号に含まれる３つの電圧信号のそれぞれが表す電荷量Ｑ（電荷量Ｑ１、電荷量Ｑ２、電荷量Ｑ３）を上式（１）に適用して、被写体Ｓとの間の距離Ｄを演算する。これにより、第１の実施形態では、距離演算部４２が、画素信号の大きさが閾値Ｖｔｈよりも小さい場合には、高感度の距離Ｄを求めることができ、画素信号の大きさが閾値Ｖｔｈを超える場合には、飽和耐性の高い距離Ｄを求めることができる。このことにより、第１の実施形態では、距離演算部４２が求める距離Ｄの広ダイナミックレンジ化を図ることができる。言い換えれば、第１の実施形態では、距離画像撮像装置１において被写体Ｓとの間の距離Ｄを測定することができる奥行き方向の範囲や被写体Ｓの背景光の範囲を広くすることができる。

（第２の実施形態）
次に、距離画像撮像装置１において測定することができる被写体Ｓとの間の距離Ｄの広ダイナミックレンジ化の別の実現方法（第２の実施形態）について説明する。図９は、本発明の実施形態の距離画像撮像装置１において距離Ｄの測定のための画素信号のフレームを取得するタイミングの別の一例を模式的に示した図である。第２の実施形態の広ダイナミックレンジ化の実現方法では、固定の電荷振り分け回数を予め３つ定め、予め定めたそれぞれの電荷振り分け回数で取得した３つの画素信号のフレームを１組とすることによって、距離画像撮像装置１において被写体Ｓとの間の距離Ｄを測定することができる奥行き方向の範囲や被写体Ｓの背景光の範囲を広くする広ダイナミックレンジ化を実現する。図９には、距離画像撮像装置１において、電荷振り分け回数が異なる３つの画素信号のフレームを１組として取得する場合の一例を示している。より具体的には、図９には、電荷振り分け回数が多い高感度フレームＨＧを第１フレームとし、電荷振り分け回数が中程度の中感度の画素信号のフレーム（以下、「中感度フレーム」という）ＭＧを第２フレームとし、電荷振り分け回数が少ない低感度フレームＬＧを第３フレームとした１組の画素信号のフレームを取得する場合の一例を示している。距離画像撮像装置１では、図９に示したように、高感度フレームＨＧと、中感度フレームＭＧと、低感度フレームＬＧとの３フレームの画素信号を、交互に連続して取得する。

なお、図９においては、高感度フレームＨＧ、中感度フレームＭＧ、低感度フレームＬＧの順番で３フレーム分の画素信号を交互に取得する場合の一例を示したが、距離画像撮像装置１が３フレーム分の画素信号を取得する順番は、図９に示した順番に限定されるものではなく、組ごとにフレームの順番が変わらなければ、いかなる順番であってもよい。例えば、低感度フレームＬＧ、中感度フレームＭＧ、高感度フレームＨＧの順番であってもよいし、高感度フレームＨＧ、低感度フレームＬＧ、中感度フレームＭＧの順番であってもよい。

また、図９には、高感度フレームＨＧと、中感度フレームＭＧと、低感度フレームＬＧとのそれぞれのフレームを取得する際に要する電荷蓄積期間と画素信号読み出し期間との構成（割合）も模式的に示している。なお、それぞれのフレームを取得する際に要する電荷蓄積期間と画素信号読み出し期間との構成（割合）の考え方は、第１の実施形態において図５に示した電荷蓄積期間と画素信号読み出し期間との構成（割合）の考え方と同様である。このため、図９に示したそれぞれのフレームを取得する際に要する電荷蓄積期間と画素信号読み出し期間との構成（割合）に関する詳細な説明は省略する。

第２の実施形態の広ダイナミックレンジ化の実現方法では、例えば、高感度フレームＨＧの感度を低感度フレームＬＧの感度の１０倍程度とし、中感度フレームＭＧの感度を低感度フレームＬＧの感度の５倍程度とする場合、垂直走査回路３２３は、中感度フレームＭＧを取得するために行う電荷振り分け駆動の回数を、高感度フレームＨＧを取得するために行う電荷振り分け駆動の回数の１／２程度にし、低感度フレームＬＧを取得するために行う電荷振り分け駆動の回数を、高感度フレームＨＧを取得するために行う電荷振り分け駆動の回数の１／１０程度にする。より具体的には、図９において、高感度フレームＨＧを取得するために行う電荷振り分け回数を、例えば、Ｈ＝１０万回とした場合、垂直走査回路３２３は、中感度フレームＭＧを取得するために行う電荷振り分け回数を、Ｍ＝５万回とし、低感度フレームＬＧを取得するために行う電荷振り分け回数を、Ｌ＝１万回とする。

第２の実施形態の広ダイナミックレンジ化の実現方法でも、第１の実施形態の広ダイナミックレンジ化の実現方法と同様の考え方で、距離画像撮像装置１が、図９に示したタイミングで取得したそれぞれの組の画素信号のフレームに基づいて、距離演算部４２が、画素３２１の位置ごとに被写体Ｓとの間の距離Ｄを演算する。このとき、距離演算部４２は、高感度フレームＨＧに含まれる画素信号に基づいて被写体Ｓとの間の距離Ｄを演算するのか、中感度フレームＭＧまたは低感度フレームＬＧに含まれる画素信号に基づいて被写体Ｓとの間の距離Ｄを演算するのかを、画素３２１ごとに選択する。ここで、距離演算部４２は、中感度フレームＭＧまたは低感度フレームＬＧの画素信号を選択した場合、さらに、中感度フレームＭＧに含まれる画素３２１の位置の画素信号に基づいて、中感度フレームＭＧに含まれる画素信号に基づいて被写体Ｓとの間の距離Ｄを演算するのか、低感度フレームＬＧに含まれる画素信号に基づいて被写体Ｓとの間の距離Ｄを演算するのかを、画素３２１ごとに選択する。そして、距離演算部４２は、選択した電荷量Ｑに基づいて、被写体Ｓとの間の距離Ｄを画素３２１ごとに演算する。

次に、距離演算部４２が被写体Ｓとの間の距離Ｄを演算する際に用いる３つの電荷量Ｑを選択する処理について説明する。図１０は、本発明の実施形態の距離画像撮像装置１において距離Ｄの測定に用いる画素信号（電荷量Ｑ）を選択する別の処理を模式的に示した図である。図１０には、距離演算部４２が、距離画像センサ３２の受光領域３２０において、ｉ行（１≦ｉ≦ｙ）ｊ列（１≦ｊ≦ｘ）に配置された１つの画素３２１の位置における被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号を選択する処理を模式的に示している。なお、図１０では、高感度フレームＨＧに画素信号として含まれる３つの電圧信号のそれぞれが表す電荷量Ｑを「電荷量ＱＨ」とし、中感度フレームＭＧに画素信号として含まれる３つの電圧信号のそれぞれが表す電荷量Ｑを「電荷量ＱＭ」とし、低感度フレームＬＧに画素信号として含まれる３つの電圧信号のそれぞれが表す電荷量Ｑを「電荷量ＱＬ」としている。

第２の実施形態の広ダイナミックレンジ化の実現方法でも、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、距離演算部４２は、上式（１）によって被写体Ｓとの間の距離Ｄを求める。ここで、電荷量Ｑ１、電荷量Ｑ２、および電荷量Ｑ３や、それぞれの電荷量Ｑの関係は、第１の実施形態の広ダイナミックレンジ化の実現方法と同様である。つまり、それぞれの電荷量Ｑの関係は、Ｑ１＜（Ｑ２，Ｑ３）となり、電荷量Ｑ２と電荷量Ｑ３との関係は、近い位置に存在する被写体Ｓが反射した反射光ＲＬを受光した画素３２１では、Ｑ２＞Ｑ３となり、遠い位置に存在する被写体Ｓが反射した反射光ＲＬを受光した画素３２１では、Ｑ２＜Ｑ３となる。

距離演算部４２は、電荷量判定処理Ｐ１１において、第１の実施形態の広ダイナミックレンジ化の実現方法における電荷量判定処理Ｐ１と同様に、高感度フレームＨＧの電荷量ＱＨ２と電荷量ＱＨ３とに基づいて、高感度フレームＨＧと、中感度フレームＭＧおよび低感度フレームＬＧとのいずれか１つの画素信号を、被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。そして、距離演算部４２は、中感度フレームＭＧおよび低感度フレームＬＧのいずれか一方の画素信号を、被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択した場合、電荷量判定処理Ｐ１２において、中感度フレームＭＧに画素信号として含まれる３つの電圧信号のそれぞれが表す電荷量ＱＭ１、電荷量ＱＭ２、電荷量ＱＭ３のうち、被写体Ｓが反射した反射光ＲＬに応じた電荷量が含まれる電荷量ＱＭ２と電荷量ＱＭ３とに基づいて、中感度フレームＭＧまたは低感度フレームＬＧのいずれか一方の画素信号を、被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。

より具体的には、距離演算部４２は、まず高感度フレームＨＧの画素信号を用いて、ＭＡＸ（ＱＨ２，ＱＨ３）の処理によっていずれか大きい方の電荷量ＱＨを選択し、選択した電荷量ＱＨを、画素信号を選択するための基準の閾値Ｖｔｈと比較する。そして、距離演算部４２は、選択した電荷量ＱＨが閾値Ｖｔｈ以下である（電荷量判定処理Ｐ１１の判定結果が“ＮＯ”）場合、判定結果を表すフラグ信号ＦｌａｇＡをＦｌａｇＡ＝０とし、切り替えスイッチＳＷ１をＮＯ側にして、高感度フレームＨＧの画素信号を被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。一方、距離演算部４２は、選択した電荷量ＱＨが閾値Ｖｔｈを超える（電荷量判定処理Ｐ１１の判定結果が“ＹＥＳ”）場合に、判定結果を表すフラグ信号ＦｌａｇＡをＦｌａｇＡ＝１とし、切り替えスイッチＳＷ１をＹＥＳ側にして次の判定処理、つまり、電荷量判定処理Ｐ１２を行う。電荷量判定処理Ｐ１２において距離演算部４２は、中感度フレームＭＧの画素信号を用いて、ＭＡＸ（ＱＭ２，ＱＭ３）の処理によっていずれか大きい方の電荷量ＱＭを選択し、選択した電荷量ＱＭを閾値Ｖｔｈと比較する。そして、距離演算部４２は、選択した電荷量ＱＭが閾値Ｖｔｈ以下である（電荷量判定処理Ｐ１２の判定結果が“ＮＯ”）場合、判定結果を表すフラグ信号ＦｌａｇＢをＦｌａｇＢ＝０とし、切り替えスイッチＳＷ２をＮＯ側にして、中感度フレームＭＧの画素信号を被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。一方、距離演算部４２は、選択した電荷量ＱＭが閾値Ｖｔｈを超える（電荷量判定処理Ｐ１２の判定結果が“ＹＥＳ”）場合に、判定結果を表すフラグ信号ＦｌａｇＢをＦｌａｇＢ＝１とし、切り替えスイッチＳＷ２をＹＥＳ側にして、低感度フレームＬＧの画素信号を被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。

なお、上述した説明では、電荷量判定処理Ｐ１１に続いて電荷量判定処理Ｐ１２を行う場合について説明したが、電荷量判定処理Ｐ１１と電荷量判定処理Ｐ１２とを行う際の時間的な順序に関しては、上述した順序に限定されるものではない。つまり、先に電荷量判定処理Ｐ１２を行ってから電荷量判定処理Ｐ１１を行ってもよい。

ここで、距離演算部４２が選択する画素信号と閾値Ｖｔｈとの関係について説明する。図１１は、本発明の実施形態の距離画像撮像装置１において距離Ｄの測定に用いる画素信号を選択する別の処理（電荷量判定処理Ｐ１１および電荷量判定処理Ｐ１２）の関係の一例を示した図である。図１１には、第１の実施形態において図７に示した距離の測定に用いる画素信号を選択する処理（電荷量判定処理Ｐ１）の関係の一例と同様に、横軸を入射光量とし、縦軸を画素信号、すなわち、電荷蓄積部ＣＳに振り分けられた電荷量Ｑに応じた電圧信号の大きさ（電圧値Ｖ）とし、画素３２１が同じ光量の反射光ＲＬを受光した場合の画素信号の線形および飽和特性を示している。また、図１１にも、第１の実施形態において図７に示した距離の測定に用いる画素信号を選択する処理（電荷量判定処理Ｐ１）の関係の一例と同様に、閾値Ｖｔｈを示している。

高感度フレームＨＧ、中感度フレームＭＧ、および低感度フレームＬＧのいずれのフレームに含まれる画素信号も、画素３２１が受光した反射光ＲＬの光量が多くなるにつれて電圧信号の大きさが大きくなる。そして、画素３２１が同じ光量の反射光ＲＬを受光した場合、電荷振り分け回数が多い高感度フレームＨＧの画素信号、電荷振り分け回数が中程度の中感度フレームＭＧの画素信号、電荷振り分け回数が少ない低感度フレームＬＧの画素信号の順に電圧信号が飽和してしまう。図１１には、高感度フレームＨＧの画素信号がＳＨ以降飽和し、中感度フレームＭＧがＳＭ以降飽和し、低感度フレームＬＧがＳＬ以降飽和する特性を示している。

このため、距離演算部４２における電荷量判定処理Ｐ１１では、上述したように、高感度フレームＨＧの画素信号の大きさ（電圧値Ｖ）を閾値Ｖｔｈと比較し、画素信号の大きさが閾値Ｖｔｈを超えているか否かによって、高感度フレームＨＧの画素信号、中感度フレームＭＧおよび低感度フレームＬＧのいずれか一方の画素信号のいずれか１つの画素信号を、被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。そして、距離演算部４２は、電荷量判定処理Ｐ１１において、中感度フレームＭＧおよび低感度フレームＬＧのいずれか一方の画素信号を、被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択した場合に、電荷量判定処理Ｐ１２を行う。距離演算部４２における電荷量判定処理Ｐ１２では、上述したように、中感度フレームＭＧの画素信号の大きさ（電圧値Ｖ）を閾値Ｖｔｈと比較し、画素信号の大きさが閾値Ｖｔｈを超えているか否かによって、中感度フレームＭＧの画素信号または低感度フレームＬＧの画素信号のいずれか一方の画素信号を、被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。

図１１では、高感度フレームＨＧの画素信号の大きさ（電圧値Ｖ）が、ＳＴＨの時点で閾値Ｖｔｈを超えるため、この時点でフラグ信号ＦｌａｇＡをＦｌａｇＡ＝１として、中感度フレームＭＧおよび低感度フレームＬＧのいずれか一方の画素信号を被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。なお、ＳＴＨの時点よりも前では、フラグ信号ＦｌａｇＡをＦｌａＡｇ＝０として、高感度フレームＨＧの画素信号を被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択している。また、図１１では、中感度フレームＭＧの画素信号の大きさ（電圧値Ｖ）が、ＳＴＭの時点で閾値Ｖｔｈを超えるため、この時点でさらにフラグ信号ＦｌａｇＢをＦｌａｇＢ＝１として、低感度フレームＬＧの画素信号を被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択する。なお、ＳＴＨからＳＴＭの間では、フラグ信号ＦｌａｇＡのみがＦｌａｇＡ＝１であり、フラグ信号ＦｌａｇＢはＦｌａｇＢ＝０である。このため、ＳＴＨからＳＴＭの間では、中感度フレームＭＧの画素信号を被写体Ｓとの間の距離Ｄを演算する際に用いる画素信号として選択している。

このようにして距離演算部４２は、第２の実施形態の広ダイナミックレンジ化の実現方法でも、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、画素信号の大きさ（電圧値Ｖ）が飽和する前に、電荷振り分け回数を少なくすることによって強い光量の反射光ＲＬが入射した場合に対する飽和耐性をＳＭまで高めた中感度フレームＭＧの画素信号、または飽和耐性をＳＬまで高めた低感度フレームＬＧの画素信号に切り替えて、被写体Ｓとの間の距離Ｄを演算することができる。しかも、第２の実施形態の広ダイナミックレンジ化の実現方法では、感度が異なる３つの画素信号のフレームを被写体Ｓとの間の距離Ｄの演算に用いるため、第１の実施形態の広ダイナミックレンジ化の実現方法よりもさらに広ダイナミックレンジ化を図ることができる。

なお、距離演算部４２が電荷量判定処理Ｐ１１および電荷量判定処理Ｐ１２において用いる閾値Ｖｔｈは、第１の実施形態の広ダイナミックレンジ化の実現方法と同様の考え方に基づいて、距離画像センサ３２に配置された画素３２１に備えた電荷蓄積部ＣＳが飽和する電荷量Ｑに対して規定、決定、または設定した固定または可変の値である。このため、第２の実施形態の広ダイナミックレンジ化の実現方法において用いる閾値Ｖｔｈの考え方に関する詳細な説明は省略する。なお、上述した説明では、電荷量判定処理Ｐ１１においてＭＡＸ（ＱＨ２，ＱＨ３）と比較する閾値Ｖｔｈと、電荷量判定処理Ｐ１２にＭＡＸ（ＱＭ２，ＱＭ３）と比較する閾値Ｖｔｈとが同じ値である場合を説明した。しかし、電荷量判定処理Ｐ１１において用いる閾値Ｖｔｈと、電荷量判定処理Ｐ１２において用いる閾値Ｖｔｈとは、同じ値に限定されるものではなく、異なる値であってもよい。

このようにして、第２の実施形態の広ダイナミックレンジ化の実現方法における距離演算部４２は、感度が異なる３つのフレームの画素信号に含まれる同じ位置の画素３２１に対応する画素信号のうち、いずれか１つの画素信号を、被写体Ｓとの間の距離Ｄを演算する画素信号として選択する。その後、距離演算部４２は、選択した画素信号に含まれる３つの電圧信号のそれぞれが表す電荷量Ｑ（電荷量Ｑ１、電荷量Ｑ２、電荷量Ｑ３）を上式（１）に適用して、被写体Ｓとの間の距離Ｄを演算する。

そして、距離演算部４２は、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、距離画像センサ３２の受光領域３２０内に配置されたそれぞれの画素３２１ごとに上述した処理を繰り返し、全ての画素３２１の位置において求めた距離Ｄと、フラグ信号ＦｌａｇＡおよびフラグ信号ＦｌａｇＢとを対応付けた１フレーム分の距離情報を出力する。これにより、距離演算部４２が出力する距離情報に含まれる距離Ｄは、高感度フレームＨＧの画素信号、中感度フレームＭＧの画素信号、または低感度フレームＬＧの画素信号のいずれの画素信号を用いて求められたものであるのかを、フラグ信号ＦｌａｇＡおよびフラグ信号ＦｌａｇＢを参照することによって容易に判別することができる。

なお、本発明においては、第２の実施形態の広ダイナミックレンジ化の実現方法でも、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、電荷量判定処理Ｐ１１および電荷量判定処理Ｐ１２を行うための距離演算部４２の構成に関して特に規定しない。従って、第２の実施形態の広ダイナミックレンジ化の実現方法においても、例えば、距離演算部４２は、取得したそれぞれのフレームの画素信号に対応する３つのフレームメモリを備えた構成であってもよい。この構成の場合、距離演算部４２は、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、それぞれのフレームメモリに記憶した同じ画素３２１に対応する画素信号を読み出しながら、電荷量判定処理Ｐ１１および電荷量判定処理Ｐ１２による画素信号の選択と、選択した画素信号に基づいた距離Ｄの演算とを行う。また、例えば、距離演算部４２は、１つのフレームメモリを備え、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、他のフレームの画素信号を取得するタイミングに同期して、リアルタイムに電荷量判定処理Ｐ１１および電荷量判定処理Ｐ１２と距離Ｄの演算とを行う構成であってもよい。この構成の場合、距離演算部４２は、低感度フレームＬＧ、中感度フレームＭＧ、高感度フレームＨＧの順番で、３フレーム分の画素信号の組を取得し、最初に取得する低感度フレームＬＧの画素信号をフレームメモリに記憶する。そして、距離演算部４２は、中感度フレームＭＧの画素信号を取得する際に、フレームメモリに記憶した同じ画素３２１に対応する低感度フレームＬＧの画素信号を読み出し、現在取得した中感度フレームＭＧの画素信号とフレームメモリから読み出した低感度フレームＬＧの画素信号に対して、電荷量判定処理Ｐ１２を行い、中感度フレームＭＧの画素信号を選択した場合に、フレームメモリに記憶している低感度フレームＬＧの画素信号を、中感度フレームＭＧの画素信号に置き換え（上書きし）、フラグ信号ＦｌａｇＢを追加する。その後、距離演算部４２は、高感度フレームＨＧの画素信号を取得する際に、フレームメモリに記憶した同じ画素３２１に対応する中感度フレームＭＧまたは低感度フレームＬＧの画素信号を読み出し、現在取得した高感度フレームＨＧの画素信号とフレームメモリから読み出した中感度フレームＭＧまたは低感度フレームＬＧの画素信号に対して、電荷量判定処理Ｐ１１を行い、高感度フレームＨＧの画素信号を選択した場合に、フレームメモリに記憶している中感度フレームＭＧまたは低感度フレームＬＧの画素信号を、高感度フレームＨＧの画素信号に置き換え（上書きし）、フラグ信号ＦｌａｇＡを追加する。そして、距離演算部４２は、それぞれの画素３２１の位置における距離Ｄの演算を行う。

ここで、１フレーム分の距離情報の構成について説明する。図１２は、本発明の実施形態の距離画像撮像装置１において測定した距離の情報（距離情報）が含まれるフレームの別の構成の一例を模式的に示した図である。図１２の（ａ）には高感度フレームＨＧの構成の一例を示し、図１２の（ｂ）には中感度フレームＭＧの構成の一例を示し、図１２の（ｃ）には低感度フレームＬＧの構成の一例を示し、図１２の（ｄ）には距離情報のフレームの一例を示している。

上述したように、距離演算部４２は、高感度フレームＨＧと、中感度フレームＭＧと、低感度フレームＬＧとの３フレーム分の画素信号の組を取得し、それぞれの画素３２１ごとにいずれかの画素信号を選択して求めた距離Ｄと、フラグ信号ＦｌａｇＡおよびフラグ信号ＦｌａｇＢとを対応付けた距離情報を出力する。図１２には、第１の実施形態において図８に示した測定した距離の情報（距離情報）が含まれるフレームの構成の一例と同様に、それぞれのフレームにおいて、距離画像センサ３２の受光領域３２０のｉ行（１≦ｉ≦ｙ）ｊ列（１≦ｊ≦ｘ）に配置された１つの画素３２１の位置に対応する距離情報が含まれたフレームの一例を示している。

距離演算部４２は、図１２の（ａ）に示した高感度フレームＨＧに画素信号として含まれる電荷量ＱＨｋ（ｉ，ｊ）（ｋ＝１，２，３）と、図１２の（ｂ）に示した中感度フレームＭＧに画素信号として含まれる電荷量ＱＭｋ（ｉ，ｊ）（ｋ＝１，２，３）と、図１２の（ｃ）に示した低感度フレームＬＧに画素信号として含まれる電荷量ＱＬｋ（ｉ，ｊ）（ｋ＝１，２，３）とのいずれか１つの電荷量Ｑを、電荷量判定処理Ｐ１１および電荷量判定処理Ｐ１２において選択する。そして、距離演算部４２は、選択した電荷量Ｑを上式（１）に適用して、被写体Ｓとの間の距離Ｄを演算する。その後、距離演算部４２は、図１２の（ｄ）に示したように、演算した距離Ｄ（ｉ，ｊ）と、フラグ信号ＦｌａｇＡ（ｉ，ｊ）およびフラグ信号ＦｌａｇＢ（ｉ，ｊ）とを対応付けた距離情報のフレームを出力する。

なお、第２の実施形態の広ダイナミックレンジ化の実現方法でも、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、距離演算部４２が、高感度フレームＨＧと、中感度フレームＭＧと、低感度フレームＬＧとのそれぞれの１フレーム分の画素信号に基づいて、距離画像センサ３２の受光領域３２０内に配置されたそれぞれの画素３２１ごとに、電荷量判定処理Ｐ１１および電荷量判定処理Ｐ１２による画素信号の選択と、選択した画素信号に基づいた距離Ｄの演算とを繰り返す場合について説明した。しかし、第２の実施形態の広ダイナミックレンジ化の実現方法でも、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、距離演算部４２における電荷量判定処理Ｐ１１、電荷量判定処理Ｐ１２、および距離Ｄの演算は、画素３２１ごとに行う構成に限定されるものではなく、予め定めた複数の画素３２１の単位で分割したブロックごとに、電荷量判定処理Ｐ１１、電荷量判定処理Ｐ１２、および距離Ｄの演算を行う構成であってもよい。

その後、距離演算部４２は、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、１フレーム分の距離情報を視覚的に表した距離情報画像を生成してもよい。ここで生成する距離情報画像においても、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、距離演算部４２が求めた距離Ｄは、高感度フレームＨＧ、中感度フレームＭＧ、または低感度フレームＬＧの画素信号のいずれの画素信号を用いて求めたかには依存しない。

また、距離演算部４２は、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、距離画像撮像装置１における距離Ｄの測定範囲内に含まれる被写体Ｓの形状を明暗で視覚的に表した、距離情報画像に対応する明暗画像を生成してもよい。ただし、距離演算部４２は、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、１フレーム分のそれぞれの距離情報において距離Ｄに対応付けられているフラグ信号ＦｌａｇＡおよびフラグ信号ＦｌａｇＢを参照し、高感度フレームＨＧの画素信号と、中感度フレームＭＧと、低感度フレームＬＧの画素信号との間でゲイン調整を行って、明暗画像を生成する。なお、距離演算部４２は、第１の実施形態の広ダイナミックレンジ化の実現方法と同様の考え方で、１フレーム分の距離情報に含まれるフラグ信号ＦｌａｇＡおよびフラグ信号ＦｌａｇＢの状態に応じて、明暗画像の生成に用いる画素信号のフレーム全体を切り替えるようにしてもよい。つまり、距離演算部４２は、１フレーム分の距離情報に含まれるフラグ信号ＦｌａｇＡが全てＦｌａｇＡ＝０である場合には、高感度フレームＨＧの画素信号に基づいて明暗画像を生成するようにしてもよい。また、距離演算部４２は、１フレーム分の距離情報に含まれるフラグ信号ＦｌａｇＡがＦｌａｇＡ＝１であるが、フラグ信号ＦｌａｇＢが全てＦｌａｇＢ＝０である場合には、中感度フレームＭＧの画素信号に基づいて明暗画像を生成し、フラグ信号ＦｌａｇＢにＦｌａｇＢ＝０とＦｌａｇＢ＝１との２つの状態が含まれている場合には、低感度フレームＬＧの画素信号に基づいて明暗画像を生成するようにしてもよい。

上述したように、第２の実施形態でも、第１の実施形態と同様の考え方に基づいて、距離演算部４２が、電荷量判定処理Ｐ１１および電荷量判定処理Ｐ１２によって、感度が異なる３つのフレームの画素信号に含まれる同じ位置の画素３２１に対応する画素信号のうち、いずれか１つの画素信号を、被写体Ｓとの間の距離Ｄを演算する画素信号として選択する。その後、距離演算部４２は、第１の実施形態の広ダイナミックレンジ化の実現方法と同様に、選択した画素信号に含まれる３つの電圧信号のそれぞれが表す電荷量Ｑ（電荷量Ｑ１、電荷量Ｑ２、電荷量Ｑ３）を上式（１）に適用して、被写体Ｓとの間の距離Ｄを演算する。これにより、第２の実施形態では、距離演算部４２が、画素信号の大きさが閾値Ｖｔｈよりも小さい場合には、高感度の距離Ｄを求めることができ、画素信号の大きさが閾値Ｖｔｈを超える場合には、飽和耐性を中程度に高めた距離Ｄ、または、飽和耐性をさらに高めた距離Ｄを求めることができる。このことにより、第２の実施形態では、距離演算部４２が求める距離Ｄのさらなる広ダイナミックレンジ化を図ることができる。つまり、第２の実施形態では、第１の実施形態の広ダイナミックレンジ化の実現方法よりもさらに広ダイナミックレンジ化を図ることができる。

なお、第１の実施形態では、２つの固定の電荷振り分け回数を予め定めることによって、感度が異なる２つの画素信号のフレームを１組として取得して１フレーム分の距離情報を出力する場合について説明した。また、第２の実施形態では、３つの固定の電荷振り分け回数を予め定めることによって、感度が異なる３つの画素信号のフレームを１組として取得して１フレーム分の距離情報を出力する場合について説明した。しかし、距離画像撮像装置１において予め定める固定の電荷振り分け回数の数は、第１の実施形態や第２の実施形態において説明した数に限定されるものではない。つまり、距離画像撮像装置１において１フレーム分の距離情報を出力するために取得する画素信号のフレームの数（フレーム数）は、第１の実施形態や第２の実施形態において説明したフレーム数に限定されるものではない。従って、距離画像撮像装置１において１フレーム分の距離情報を出力するために取得する画素信号のフレーム数は、４フレーム以上であってもよい。

上記に述べたように、本発明の各実施形態によれば、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部とを備えた画素を複数配置した振り分け構成の撮像素子を用いた距離画像撮像装置において、固定の振り分け回数を予め複数定める。そして、本発明の各実施形態では、予め定めたそれぞれの振り分け回数で、照射した光パルスが被写体によった反射された反射光に応じて発生した電荷をそれぞれの電荷蓄積部に振り分ける電荷振り分け駆動をすることによって感度の異なる画素信号のフレームを複数取得する。その後、本発明の各実施形態では、感度の異なる２つの画素信号のフレーム間で、被写体との間の距離を測定する際に用いる画素信号を選択する処理を行う。この画素信号を選択する処理では、２つの画素信号のフレームのうち、より感度が高い方の画素信号のフレームに含まれる画素信号が表す被写体からの反射光を含む電荷量が、電荷蓄積部が飽和する電荷量に対して予め定めた基準の閾値を超えるか否かによって、被写体との間の距離を測定する際に用いる画素信号を選択する。より具体的には、被写体からの反射光を含む電荷量が閾値以下である場合には、より感度が高い方の画素信号のフレームに含まれる画素信号を被写体との間の距離を測定する際に用いる画素信号として選択し、被写体からの反射光を含む電荷量が閾値を超える場合には、感度が低い方の画素信号のフレームに含まれる画素信号を被写体との間の距離を測定する際に用いる画素信号として選択する。本発明の各実施形態では、被写体との間の距離を測定する際に用いる画素信号を選択する処理を、取得したそれぞれの画素信号のフレーム間で行う。

これにより、本発明の各実施形態では、取得した複数の画素信号のフレームに含まれる画素信号の中から、被写体との間の距離を測定する際に用いる１つの画素信号を選択し、被写体との間の距離を測定（演算）することができる。つまり、本発明の各実施形態では、被写体が近い位置に存在していたり、遠い位置に存在していたり、被写体が存在する周囲の環境が明るいことにより強い背景光が入射する環境であったり、周囲の環境が暗いことにより背景光が入射しない環境であったり、光パルスの反射率が高い被写体あったり、反射率が低い被写体あったりする様々な状態であっても、被写体との間の距離を測定（演算）することができる。このことにより、本発明の各実施形態では、距離を測定する被写体の状況や環境の変化による影響を少なくして、被写体との距離を測定する範囲を広くする、つまり、距離の測定におけるダイナミックレンジを広くすることができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更をすることができる。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

上記各実施形態によれば、振り分け構成の撮像素子を用いた距離画像撮像装置において、複雑な構成や制御をすることなく、距離を測定する被写体の状況や環境の変化による影響を少なくして、被写体との距離を測定する範囲を広くすることができる。

１ 距離画像撮像装置
２ 光源部
２１ 光源装置
２２ 拡散板
３ 受光部
３１ レンズ
３２ 距離画像センサ
３２０ 受光領域
３２１ 画素
３２２ 制御回路
３２３ 垂直走査回路
３２４ 水平走査回路
３２５ 画素信号処理回路
４ 距離画像処理部
４１ タイミング制御部
４２ 距離演算部
ＰＤ 光電変換素子
ＧＤ ドレインゲートトランジスタ
ＲＵ 画素信号読み出し部
Ｏ 出力端子
Ｇ 読み出しゲートトランジスタ
ＦＤ フローティングディフュージョン
Ｃ 電荷蓄積容量
ＲＴ リセットゲートトランジスタ
ＳＦ ソースフォロアゲートトランジスタ
ＳＬ 選択ゲートトランジスタ
ＣＳ 電荷蓄積部
ＰＯ 光パルス
ＲＬ 反射光
Ｓ 被写体

Claims (11)

1. 撮影対象の空間に対して所定の周期で断続的な光パルスを照射する光源部と、
   入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、前記光パルスの照射に同期して前記電荷をそれぞれの前記電荷蓄積部に振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光部と、
   予め定めた固定の電荷振り分け回数で振り分けられて前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部と、
   を備え、
   前記距離画像処理部は、
   前記距離画像センサにおいて異なる前記電荷振り分け回数で前記電荷蓄積部に積算された少なくとも２つの前記電荷量を１つの組として取得し、
   多くの前記電荷振り分け回数で積算された前記電荷量である第１の電荷量と、予め定めた閾値とを比較した結果に基づいて、前記第１の電荷量、および組として取得した少ない前記電荷振り分け回数で積算された前記電荷量である第２の電荷量のいずれか一方の電荷量を、前記距離を求める際に用いる電荷量として選択する、
   距離画像撮像装置。
2. 前記第１の電荷量および前記第２の電荷量は、
   前記光パルスが前記被写体によって反射された反射光に応じて発生された電荷を含む前記電荷の量である、
   請求項１に記載の距離画像撮像装置。
3. 前記距離画像処理部は、
   前記第１の電荷量が前記閾値以下である場合に、前記第１の電荷量を、前記距離を求める際に用いる電荷量として選択し、
   前記第１の電荷量が前記閾値を超えた場合に、前記第２の電荷量を、前記距離を求める際に用いる電荷量として選択する、
   請求項２に記載の距離画像撮像装置。
4. 前記第１の電荷量は、
   前記光パルスを照射している期間中の前記反射光に応じて発生された電荷を含む前記電荷の量である第１−１電荷量と、
   前記光パルスの照射が停止した後の期間中の前記反射光に応じて発生された電荷を含む前記電荷の量である第１−２の電荷量と、
   を含み、
   前記距離画像処理部は、
   前記第１−１電荷量と前記第１−２電荷量とのうち、いずれか大きい方の電荷量と前記閾値とを比較した結果に基づいて、前記第１の電荷量および前記第２の電荷量のいずれか一方の電荷量を、前記距離を求める際に用いる電荷量として選択する、
   請求項３に記載の距離画像撮像装置。
5. 前記距離画像処理部は、
   前記距離を求める際に用いるために選択した電荷量を表すフラグ信号を出力する、
   請求項１から請求項４のいずれか１項に距離画像撮像装置。
6. 前記距離画像処理部は、
   前記画素ごとに、前記距離を求める際に用いる電荷量を選択する、
   請求項１から請求項５のいずれか１項に距離画像撮像装置。
7. 前記距離画像処理部は、
   前記距離画像センサにおいて前記画素が配置された領域を複数に分割したブロックの単位ごとに、前記距離を求める際に用いる電荷量を選択する、
   請求項１から請求項５のいずれか１項に距離画像撮像装置。
8. 前記閾値は、
   前記電荷蓄積部に積算して蓄積することができる電荷量が飽和する電荷量に対して定めた値である、
   請求項１から請求項７のいずれか１項に距離画像撮像装置。
9. 前記閾値は、
   可変の値である、
   請求項８に記載の距離画像撮像装置。
10. 前記電荷蓄積部は、
    前記電荷を蓄積する電荷蓄積容量を含んで構成される、
    請求項１から請求項９のいずれか１項に距離画像撮像装置。
11. 撮影対象の空間に対して所定の周期で断続的な光パルスを照射する光源部と、
    入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、前記光パルスの照射に同期して前記電荷をそれぞれの前記電荷蓄積部に振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光部と、
    予め定めた固定の電荷振り分け回数で振り分けられて前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部と、
    を備えた距離画像撮像装置による距離画像撮像方法であって、
    前記距離画像処理部が、
    前記距離画像センサにおいて異なる前記電荷振り分け回数で前記電荷蓄積部に積算された少なくとも２つの前記電荷量を１つの組として取得し、
    多くの前記電荷振り分け回数で積算された前記電荷量である第１の電荷量と、予め定めた閾値とを比較した結果に基づいて、前記第１の電荷量、および組として取得した少ない前記電荷振り分け回数で積算された前記電荷量である第２の電荷量のいずれか一方の電荷量を、前記距離を求める際に用いる電荷量として選択する処理を行う、
    距離画像撮像装置による距離画像撮像方法。
    
    
    
    
    

Images