JPWO2015025497A1 - 測距システム、およびそれに用いる固体撮像素子 - Google Patents

Abstract

測距システム（１）は、光照射を指示する発光信号と反射光の露光を指示する露光信号とを発生する信号発生部（３０）と、発光信号を受信して、測距を目的としない照明と、反射光による測距のための光照射とを行う第１の照明測距兼用光源部（２０）と、露光信号を受信して露光を行い、反射光の露光量を取得する撮像部（１０）と、露光量を用いて、距離情報を演算して出力する演算部（４０）とを備え、第１の照明測距兼用光源部に照明を行わせる照明モードと、第１の照明測距兼用光源部に光照射をさせて撮像部を動作させることにより第１の測距を行う第１の測距モードとを動作モードとして有する。

Description

本開示は、測距システム及び信号発生装置に関する。

図２１は、これまで提案された様々な検知システムのなかで、特許文献１に開示された従来技術の検知システムである。

この検知システムは、自動車用途であり、自動車の前部に設けられた赤外光源としてのＬＥＤランプ１２と、撮像手段としてのカメラ１３と、自動車の内部に設けられた制御手段としての制御回路１４と、表示手段としてのモニタ１５と、から構成されている。

また、ＬＥＤランプ１２は暗闇を照らす目的のヘッドライト光源とは別の光源であり、自動車のバンパーの端付近に設けられ、例えば波長８８０ｎｍの近赤外光を出射するように構成されている。

また、カメラ１３は、アクティブタイプのシステムとして、ＬＥＤランプ１２から出射される近赤外線に対して感度を有する固体撮像素子から構成され、近赤外線による画像撮像を行なう。

モニタ１５は、自動車の車室内に設けられた専用のモニタ又はカーナビゲーションシステム等のモニタを使用して、その画面上に上述した撮像画面が表示され、あるいは所謂ヘッドアップディスプレイとして、フロントガラスの内面に設けられたスクリーンに上述した撮像画面が投影されるようになっている。

また、赤外受光素子１６は、パッシブタイプのシステムとして、歩行者や動物等が発する赤外線を検出する。

特開２００２−２７４２５８号公報

しかしながら、特許文献１に開示された従来技術では、暗闇等を明るくするための光源と、カメラ１３で撮像を行うため近赤外光を発振する光源（ＬＥＤランプ１２）を、それぞれ設置する必要があり、システム（装置）の小型化、軽量化が難しいという課題を有している。

また、近年、検知システムの性能向上、用途拡大させるためには、特に距離情報を正確に取得することが求められている。

前記課題を鑑み、システム（装置）の小型化、軽量化と高い測距精度を備える測距システム及び信号発生装置を提供する。

上記課題を解決するために、本開示の一態様に係る測距システムは、光照射を指示する発光信号と反射光の露光を指示する露光信号とを発生する信号発生部と、前記発光信号を受信して、測距を目的としない照明と、反射光による測距のための前記光照射とを行う第１の照明測距兼用光源部と、前記露光信号を受信して前記露光を行い、前記反射光の露光量を取得する撮像部と、前記露光量を用いて、距離情報を演算して出力する演算部とを備え、前記第１の照明測距兼用光源部に前記照明を行わせる照明モードと、前記第１の照明測距兼用光源部に前記光照射をさせて前記撮像部を動作させることにより第１の測距を行う第１の測距モードとを、動作モードとして有する。

この構成によれば、１つの光源（照明測距兼用光源部）を、照明だけでなく測距にも兼用するので、照明システムと測距システムとを独立にそれぞれを設置する場合と比べて、測距システムの小型化、軽量化を容易にすることができる。しかも、照明測距兼用光源部は照明にも用いる光源なので測距に十分な光量の反射光を得られることから、測距精度を高めることができる。

また、本開示の一態様に係る測距システムでは、前記第１の測距モードにおいて前記第１の照明測距兼用光源部から照射される光の振幅は、前記照明モードにおいて前記第１の照明測距兼用光源部から照射される光の振幅よりも大きくなるようにしてもよい。

この構成によれば、測距精度をもっと高めることができる。

また、本開示の一態様に係る測距システムでは、前記第１の測距モードにおいて前記第１の照明測距兼用光源部から照射される光の点灯時間幅は、前記照明モードにおいて前記第１の照明測距兼用光源部から照射される光の点灯時間幅よりも短くなるようにしてもよい。

この構成によれば、測距精度をもっと高めることができる。

また、本開示の一態様に係る測距システムは、さらに、前記第１の照明測距兼用光源部を消灯した状態で、前記撮像部を動作させ前記演算部にバックグラウンド光量を計測させるモードを備え、前記演算部は、前記第１の測距モードの露光量から前記バックグラウンド光量を減じる補正を行ってもよい。

この構成によれば、測距精度をさらにもっと高めることができる。

また、本開示の一態様に係る測距システムにおいて、前記第１の照明測距兼用光源部は、単色のＬＥＤ、又は複数色のＬＥＤを搭載してもよい。

また、本開示の一態様に係る測距システムにおいて、前記第１の測距モードおよび前記照明モードの切り替えを少なくとも１２０回／秒としてもよい。

また、本開示の一態様に係る測距システムは、さらに第２の照明測距兼用光源部を備え、前記演算部は、さらに、前記第１および第２の照明測距兼用光源部の位相差情報を用いて測距を行ってもよい。

また、本開示の一態様に係る測距システムにおいて、前記第１および第２の照明測距兼用光源部は、車両に備えられた左右のハイビーム光源と左右のロービーム光源のうち、（ａ）左および右のハイビーム光源、並びに（ｂ）左および右のロービーム光源のいずれかであってもよい。

また、本開示の一態様に係る測距システムにおいて、前記演算部は、前記撮像部からの画像信号を用いて現在のフレームと前のフレームを比較することにより第２の測距を行ってもよい。

また、本開示の一態様に係る測距システムにおいて、前記演算部は、前記第１および第２の測距による距離情報の一方を、前記第１および第２の測距の距離情報の他方により補正を行ってもよい。

また、本開示の一態様に係る測距システムにおいて、前記第１、第２の測距を、昼夜、天候、被写体までの距離、又は、前記被写体もしくは前記測距システムの動き速度により使い分けてもよい。

また、本開示の一態様に係る測距システムにおいて、前記撮像部は固体撮像素子を備え、前記固体撮像素子はＣＣＤ型の固体撮像素子であってもよい。

また、本開示の一態様に係る測距システムは、前記撮像部は複数の画素を有する固体撮像素子を備え、前記複数の画素のそれぞれは、光電変換する受光部と、前記受光部から読み出された信号電荷を蓄積する蓄積部とを備え、前記固体撮像素子は、前記複数の画素において前記受光部の信号電荷を前記蓄積部に一括して読み出すＭＯＳ型の固体撮像素子であってもよい。

また、本開示の一態様に係る測距システムにおいて、前記撮像部は複数の画素を有する固体撮像素子を備え、前記複数の画素のそれぞれは、受光面と垂直な軸を中心軸とし異なる屈折率の材料を同心状に繰り返し配置した構造を有するマイクロレンズを備えていてもよい。

また、本開示の一態様に係る測距システムは、前記撮像部は複数の画素を有する固体撮像素子を備え、前記複数の画素のそれぞれは、赤外線透過フィルタ、赤色光および赤外線を透過する第１のフィルタ、緑色光および赤外線を透過する第２のフィルタ、および、青色光および赤外線を透過する第３のフィルタの何れかを備えてもよい。

また、本開示の一態様に係る測距システムは、前記赤外線透過フィルタ、および、前記第１から第３フィルタの少なくとも１つは、無機材料を積層したフィルタであってもよい。

また、本開示の一態様に係る測距システムは、重機、又は、重機と作業現場の構造物に搭載してもよい。

また、本開示の一態様に係る測距システムは、輸送機器に搭載してもよい。

また、本開示の一態様に係る測距システムは、住宅設備機器に搭載してもよい。

また、本開示の一態様に係る信号発生装置は、発光パルス信号を制御する信号発生装置であって、前記信号発生装置は、複種類の前記発光パルス信号を制御し、前記複種類の発光パルス信号は、測距を行うための光照射を指示する第１発光パルス信号と、測距を目的としない照明の点灯を指示する第２発光パルス信号とを含み、前記第２発光パルス信号がＯＦＦとなるときに、前記第１発光パルス信号はＯＮとなる。

この構成によれば、測距精度を高めることができる。

また、本開示の一態様に係る信号発生装置において、前記第１発光パルス信号がＯＮとなる期間は、前記第２発光パルス信号がＯＮとなる期間よりも短くてもよい。

この構成によれば、測距精度をもっと高めることができる。

また、本開示の一態様に係る信号発生装置において、前記第２発光パルス信号は、前記第１発光パルス信号がＯＮとなる期間を複数回繰り返した後に、ＯＮとなってもよい。

また、本開示の一態様に係る信号発生装置において、前記第１発光パルス信号がＯＮとなる回数と前記第２発光パルス信号がＯＮとなる回数との合計は、少なくとも１２０回／秒としてもよい。

また、本開示の一態様に係る信号発生装置において、前記第１発光パルス信号の振幅は、前記第２発光パルス信号の振幅よりも大きくてもよい。

また、本開示の一態様に係る信号発生装置において、前記第１発光パルス信号は、Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔにより測距を行うために用いられてもよい。

また、本開示の一態様に係る信号発生装置は、前記第１発光パルス信号により発生した照射光の、被写体による反射光の露光を指示する露光信号を制御してもよい。

本開示に係る測距システム及び信号発生装置によれば、システム（装置）の小型化、軽量化と高い測距精度を実現することが出来る。

図１は、実施の形態１に係る測距システムの概略構成を示す機能ブロック図である。 図２は、実施の形態１に係る測距システムの搭載例を示す概略搭載図である。 図３は、実施の形態１に係る測距システムの搭載例を示す概略搭載図である。 図４は、実施の形態１に係る固体撮像素子の画素の構造を示す断面図である。 図５は、実施の形態１に係るＣＣＤ型の固体撮像素子の機能構成図である。 図６は、実施の形態１に係るＭＯＳ型の固体撮像素子の単位セルの構成を示す回路図である。 図７は、実施の形態１に係る単位セルが２次元状に配置されてなるＭＯＳイメージセンサの概略構成図である。 図８は、実施の形態１に係る発光信号及び露光信号による動作例を示す第１のタイミングチャートである。 図９Ａは、実施の形態１に係る発光信号及び露光信号による動作例を示す第２のタイミングチャートである。 図９Ｂは、実施の形態１に係る発光信号によるＴＯＦモード又は照明モードで一定回数連続して動作させる動作例を示す図である。 図１０は、実施の形態１に係る発光信号及び露光信号による動作例を示す第３のタイミングチャートである。 図１１は、実施の形態２に係る測距システムの概略構成を示す機能ブロック図である。 図１２は、実施の形態２に係る測距システムを自動車に搭載した例を示す概略搭載図である。 図１３Ａは、実施の形態２に係る測距システムの第１および第２の照明測距兼用光源の詳細を示した図である。 図１３Ｂは、実施の形態２に係る測距システムのＴＯＦモード（第１の測距モード）と照明モードにおけるハイビーム光源、ロービーム光源の組み合わせ例を示す図である。 図１４Ａは、実施の形態３に係る、単独の照明測距兼用光源を備える測距システムの概略構成を示す機能ブロック図である。 図１４Ｂは、実施の形態３に係る、第１および第２の照明測距兼用光源を備える測距システムの概略構成を示す機能ブロック図である。 図１５Ａは、実施の形態３に係る固体撮像素子のマイクロレンズの第１の配列例を示す図である。 図１５Ｂは、実施の形態３に係る固体撮像素子のマイクロレンズの第２の配列例を示す図である。 図１５Ｃは、実施の形態３に係る固体撮像素子のマイクロレンズの第３の配列例を示す図である。 図１５Ｄは、実施の形態３に係る固体撮像素子と、レンズおよび被写体との間の光路を示す説明図である。 図１６は、実施の形態に係る固体撮像素子のマイクロレンズの配置および構造を単位セル群毎に示す平面構造図である。 図１７は、実施の形態４に係る測距システムを住宅設備機器に搭載した例を示す図である。 図１８Ａは、実施の形態に係る測距システムの搭載されるイメージセンサの画素について、特にＩＲ透過フィルタ（フォトニック型）の詳細を説明した断面構造図である。 図１８Ｂは、実施の形態に係る測距システムの搭載されるイメージセンサの画素について、特にＩＲ透過フィルタ（有機材料型）の詳細を説明した断面構造図である。 図１９は、実施の形態に係る固体撮像素子の平面構造図である。 図２０は、実施の形態に係る固体撮像素子の断面構造図である。 図２１は、従来技術の検知システムの概略構成を示す機能ブロック図である。

以下、本開示の実施の形態に係る測距システムについて、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本開示の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本開示を限定するものではない。

（実施の形態１）
実施の形態１に係る測距システム（センシングシステム）は、光照射を指示する複種類の発光信号（発光パルス信号）と反射光の露光を指示する露光信号とを発生（制御）する信号発生部（信号発生装置）と、発光信号を受信して、測距（センシング）を目的としない照明と、反射光による測距（センシング）のための光照射とを行う第１の照明測距兼用光源部と、露光信号を受信して露光を行い、反射光の露光量を取得する撮像部と、露光量を用いて、距離情報を演算して出力する演算部とを備え、撮像部および演算部を動作させることなく第１の照明測距兼用光源部に照明を行わせる照明モードと、第１の照明測距兼用光源部に光照射をさせて撮像部を動作させることにより第１の測距を行う第１の測距モード（センシングモード）とを、動作モードとして有することを特徴とする。

図１は、実施の形態１に係る測距システムの概略構成を示す機能ブロック図である。

同図に示すように、測距システム（検知システム）１は、撮像部１０と、照明測距兼用光源２０（第１の照明測距兼用光源部）と、信号発生部３０と、演算部４０とを備える。

照明測距兼用光源２０は、駆動回路、コンデンサ及び発光素子を有し、コンデンサに保持した電荷を発光素子へ供給することで光を発する。発光素子としてはレーザダイオードや発光ダイオード（ＬＥＤ）等のその他の発光素子を用いてもよい。

また、照明測距兼用光源２０は、測距を目的としないで暗闇等を明るくするための照明用光源と、距離などの物理量を検知するための測距用光源とが兼用となっている。例えば、後述する図１２のように、輸送機器（例えば、自動車）に用いる場合は、ヘッドライト又はフォグランプ等と兼用する。

また、照明測距兼用光源２０として用いるＬＥＤは、単色ＬＥＤ（例として白色ＬＥＤ）を用いることが出来る。

また、照明測距兼用光源２０として用いるＬＥＤとして複数色のＬＥＤ（例えば、赤色ＬＥＤ、青色ＬＥＤ．黄色ＬＥＤ等）を組み合わせてもよく、この場合は、測距に長波長側（例えば、赤色ＬＥＤ）の光源を用いると、霧等の拡散粒子による減衰が軽減され、白色を用いた場合に比べてより遠くを測距すること出来る。

また、複数色のＬＥＤとして、例えば、赤色ＬＥＤ、青色ＬＥＤ，黄色ＬＥＤ等と共に白色ＬＥＤを組み合わせることもでき、この場合は、例えば、夕方等において強い日差しを受けている場合はより波長の短い白色を用い、雨が降っている場合などは散乱による減衰を低減できる波長の長い光源（例えば、赤色ＬＥＤ等）を使い、夜間は道路状況に応じて対向車線側ではなく歩道側の光源をより強力にして到達距離を上げるというように使い分けることより、どのような天候、環境状況でも高い精度で測距することが出来る。

また、赤色ＬＥＤ、青色ＬＥＤ、黄色ＬＥＤ等による複数種類の色のＬＥＤを組み合わせることにより、照明光源から発振される光の波長領域の中から、近赤外光を選択的に用いた測距を行うことも出来る。

また、信号発生部３０は、光照射を指示する発光信号（第１発光パルス信号、第２発光パルス信号）５１と、被写体からの反射光の露光を指示する露光信号５２とを発生する。照明測距兼用光源２０は、信号発生部３０で発生する発光信号（第１発光パルス信号）５１を受信するタイミングに従って被写体に対する測距のための光照射と、信号発生部３０で発生する発光信号（第２発光パルス信号）５１を受信するタイミングに従って測距を目的としないで暗闇を明るくするための光照射とを行う。

撮像部１０は、カメラレンズ、固体撮像素子（イメージセンサ）、及びＡ／Ｄコンバータ等のＲＡＷデータ５３を作成し出力する回路を有する。なお、本実施の形態は、Ａ／Ｄコンバータ等のＲＡＷデータ５３を作成し出力する回路は固体撮像素子に搭載されている場合も含む。

また、撮像部１０は、対象物体（被写体）を含む領域に対して、信号発生部３０で発生する露光信号５２が示すタイミングに従って複数回の露光を行い、複数回の露光量の総和に対応したＲＡＷデータ５３（ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）情報）を出力する。

また、演算部４０は、撮像部１０から受けたＲＡＷデータ５３に基づいて演算し、被写体までの距離情報（検知情報）を出力する。

なお、本実施の形態では、信号発生部３０、撮像部１０及び演算部４０は、その一部又はすべてが、半導体基板にワンチップで搭載される場合も含む。

図２、図３は、図１の測距システムの搭載例を示す概略搭載図である。図２は、重機であるショベルカーに搭載した場合であり、特に、照明測距兼用光源２０と撮像部１０の詳細を示した概略図である。

図２では、ショベルカー９０には、照明測距兼用光源２０と撮像部１０が搭載され、撮像部１０はショベルカー９０の上部旋回体の上部に搭載されている。また、ショベルカー９０の上部旋回体における車両前部にはアームが備えられ、アームの先端部分に、バルク材を掬い込むバケット９６が設けられている。また、上部旋回体は３６０度旋回可能となっている。

また、図３では、ショベルカー９０には撮像部１０が搭載されており、工事現場の構造物１８に照明測距兼用光源２０が設置されている。

本実施の形態に係る測距システム１を重機、又は、重機と作業現場の構造物に搭載すれば、例えば、地面等を掘り下げる場合の障害物までの距離を正確に測定することが出来、つまり、一定の距離又は障害物（例えば図２、図３のＹ箇所）までの距離まで自動的に掘り下げ、想定する距離から外れた（又は、想定する距離に近づいた）場合は自動的に動作停止など、小型かつ軽量な測距システム１でありながら自動運転を行うことも出来るようになる。

なお、図２、図３では重機の搭載した例を示したが、これに限定されず、例えば、その他の重機（ブルドーザー等）、輸送機器（自動車、自転車、オートバイ、鉄道車両、飛行機、宇宙機等）、輸送機器とインフラ設備、住宅設備機器など、あらゆる機器に搭載することが可能である。

また、図４は、本実施の形態に係る固体撮像素子の画素の構造を示す断面図である。

図中の固体撮像素子は、半導体基板３０１、受光部（ＰＤ）３０３、金属配線、ゲート電極又は転送電極３０５、マイクロレンズ３０７等を含む。被写体からの反射光は、マイクロレンズ３０７により集光されて受光部（ＰＤ）３０３に到達する。

なお、本実施の形態に係る固体撮像素子は、赤外線（以下、ＩＲと呼ぶ）に対してのみ感度を有するイメージセンサを使用出来ると共に、赤色領域、緑色領域及び青色領域（以下、ＲＧＢと呼ぶ）、並びに、ＩＲ（以下、ＲＧＢ＋ＩＲと呼ぶ）に対して感度を有するイメージセンサを用いることが可能である。なお、ＲＧＢ＋ＩＲを用いた場合の詳細は後述する。

次に、本実施の形態に係る測距システム１の撮像部１０に、ＣＣＤ型の固体撮像素子を用いた場合について説明する。

図５は、ＣＣＤ型の固体撮像素子の機能構成図である。同図に示すように、ＣＣＤ型固体撮像素子は、受光部（フォトダイオード、ＰＤ）１０１と、複数の垂直転送部１０２と、水平転送部１０３と、信号電荷検出部１０４とを備える。

フォトダイオード１０１は、受光した光を電荷に変換する。垂直転送部１０２は、複数のゲートから構成され、フォトダイオード１０１から読み出した電荷を順次垂直方向に転送する。水平転送部１０３は、複数のゲートから構成されている複数のゲートがパケットとして垂直転送部１０２から受けた電荷を順次水平方向に転送する。信号電荷検出部１０４は、水平転送部から受けた電荷を順次検出して電圧信号に変換してＲＡＷデータ（ＴＯＦ情報）５３を出力する。

また、複数のフォトダイオード（ＰＤ）１０１を一括してリセットする動作、いわゆるグローバルリセットにより各ＰＤにおいて検出する光の時間差を無くすることが出来るので、被測定物への光の遅延を計測することを利用する高精度な測距を実現することが出来る。

なお、図５はＣＣＤイメージセンサ（ＣＣＤ型固体撮像素子）であるが、本実施の形態ではＭＯＳイメージセンサを用いることも出来る。このＭＯＳイメージセンサは複数の画素を有する固体撮像素子を備え、複数の画素のそれぞれは、光電変換する受光部と、受光部から読み出された信号電荷を蓄積する蓄積部とを備える。ＭＯＳイメージセンサは、複数の画素において受光部の信号電荷を蓄積部に一括して読み出すことを特徴とする。

図６は、本実施の形態に係る測距システム１の撮像部１０に用いるＭＯＳ型の固体撮像素子の一例であり、ＭＯＳイメージセンサにおける単位セル２０１の構成を示す回路図である。ここに、ｎは１から４までの整数とする。

図６より、個々の単位セル２０１は、受光部であるＰＤと、シャッタ信号ＴＸＳｎをＨとすることでＰＤに蓄積した信号電荷をリセット（排出）するためのシャッタトランジスタＭ５と、蓄積部であるフローティングディフュージョン（ｆｌｏａｔｉｎｇ ｄｉｆｕｓｉｏｎ：ＦＤ）と、転送信号ＴＸｎをＨとすることでＰＤに蓄積した信号電荷をＦＤに読み出すための読み出しトランジスタＭ１と、リセット信号ＲＳｎをＨとすることでＦＤに読み出された信号電荷をリセットするためのリセットトランジスタＭ２と、ゲートがＦＤに接続されたソースフォロワトランジスタＭ３と、選択信号ＳＥＬｎをＨとすることでソースフォロワトランジスタＭ３を垂直信号線へ接続するライン選択トランジスタＭ４とから構成される。リセットトランジスタＭ２とソースフォロワトランジスタＭ３とシャッタトランジスタＭ５とのドレインは、画素電極ＶＤＤに接続されている。

図７は、図６の単位セル２０１が２次元状に配置されてなるＭＯＳイメージセンサの概略構成図である。

図７のＭＯＳイメージセンサは、単位セル２０１を４行４列の２次元状に配列した撮像領域２０２と、列ごとのトランジスタ閾値電圧のばらつきにより発生する固定パターンノイズ（ｆｉｘｅｄ ｐａｔｔｅｒｎ ｎｏｉｓｅ：ＦＰＮ）を除去するためのＦＰＮ除去部２０３と、ＦＰＮ除去部２０３の出力信号を順次選択するための水平選択部２０４と、水平選択部２０４の出力信号を増幅するための差動アンプ２０５とから構成されている。なお、撮像領域２０２は説明の便宜上４行４列の小サイズとしている。

撮像領域２０２の行は、不図示の垂直走査部により順次選択される。各列の垂直信号線２０６に電流源２０９が接続されている。ＦＰＮ除去部２０３の各列は、サンプルホールド信号ＳＨＳを受ける信号レベル用のサンプルトランジスタＭ１１と、サンプルホールド信号ＳＨＮを受けるリセットレベル用のサンプルトランジスタＭ１２と、信号レベル用の容量Ｃｌｌと、リセットレベル用の容量Ｃ１２とから構成される。水平選択部２０４の各列は、信号レベル用の容量Ｃｌｌと第１の水平信号線２０７との間に介在した第１の列選択トランジスタＭ２１と、リセットレベル用の容量Ｃ１２と第２の水平信号線２０８との間に介在した第２の列選択トランジスタＭ２２とから構成される。水平選択部２０４の各列は、不図示の水平走査部からの信号Ｈ１〜Ｈ４により順次選択される。差動アンプ２０５は、第１の水平信号線２０７と第２の水平信号線２０８との間の電位差を増幅する。

図６、図７に示した固体撮像素子は、ＰＤの信号電荷を全画素において一括して読み出し蓄積する蓄積部（図６のＦＤ）を備えることを特徴とし、撮像領域２内の複数のフォトダイオードＰＤを一括してリセットすることが出来、つまり、ＭＯＳ型であってもグローバルシャッタ＆グローバルリセット機能を実現する。

但し、本実施の形態に係る固体撮像素子は、図５、図６、図７で示したＣＣＤ型、ＭＯＳ型イメージセンサに限定されるものではなく、測距システム１として他の要求を考慮して、その他の固体撮像素子（イメージセンサ）を用いても後述する効果（測距精度向上、等）を得ることが可能である。

次に、本実施の形態に係る測距システムの動作方法について、図８、図９Ａ、図１０のタイミングチャートを用いて詳細を説明する。図８、図９Ａ、図１０は、発光信号及び露光信号による動作例を示す第１〜第３のタイミングチャートである。本実施の形態では、第１〜第３のタイミングチャートのいずれかの動作を用いることが出来る。

まず、第１の駆動方法として、図８を用いて測距時（ＴＯＦモード）の駆動操作を説明すると、発光信号５１は測距を行うための光照射を指示する第１発光パルス信号と、測距を目的としない照明の点灯を指示する第２発光パルス信号とを含み、第２発光パルス信号がＯＦＦのときに、第１発光パルス信号はＯＮとなり、第１発光パルス信号は、ＴＯＦにより測距を行うために用いられる。また、投射した光が対象物まで往復するのにかかる時間から距離を計測するＴＯＦを基本原理とし、発光信号（第１発光パルス信号）５１により発生した照射光の、被写体である測定対象物による反射光の露光を指示する露光信号５２が、第一の露光信号と第二の露光信号との異なるタイミングの２パターンで制御されることで露光したそれぞれの光量の比に基づいて測定対象物までの距離を算出する。例えば、第一の露光信号によって、測定対象物からの反射光の全てを含むように露光を行い、第二の露光信号によって、測定対象物からの反射光が発光タイミングに対して遅延する程、露光量が増加するような露光を行う。また背景光等のオフセット成分を検出するため、発光信号５１を停止させて第一の露光信号、第二の露光信号と同じ条件の露光を行う。

そして、第一の露光信号による露光量の総和Ｓ０、第二の露光信号による露光量の総和Ｓ１、背景光の露光量の総和ＢＧ、照射する直接光の発光信号５１の時間幅Ｔ０、光速度ｃの各値から被写体までの距離Ｌを算出する（式１参照）。

また、１画面における発光信号５１、第一の露光信号、第二の露光信号のタイミングでは、発光信号（第１発光パルス信号）５１と第一の露光信号とを複数回繰り返し出力し、その後発光信号（第１発光パルス信号）５１と第二の露光信号とを同じ回数だけ繰り返し出力し、その後発光信号（第１発光パルス信号）５１を停止させて第一の露光信号や第二の露光信号と同じ条件の露光信号５２を同じ回数だけ繰り返し出力する。この一連のタイミングを１セットとし、これを複数セット繰り返し出力した後、蓄積された露光量を出力して被写体までの距離を（式１）により算出するようにしてもよい。

続いて、図８を用いて照明時（照明モード）の駆動操作を説明すると、光の振幅が照明モードに比べてＴＯＦモード（センシングモード）の方が高い強度となるように動作を行う。つまり、第１発光パルス信号の振幅は第２発光パルス信号の振幅よりも大きく、これにより、ＴＯＦモードにおいて照明測距兼用光源２０から照射される光の振幅は、照明モードにおいて照明測距兼用光源２０から照射される光の振幅よりも大きい。

これにより、本実施の形態に係る測距システム１は、暗闇等を明るくするための光源と、反射光により測距を行うため光源を兼用することにより、測距システム１の小型化、軽量化を実現することが出来、さらに、距離情報を正確に取得することが出来る。

次に、第２の駆動方法を、図９Ａを用いて、図８で説明した内容との相違点を中心に詳細を説明する。

まず、照明モードでの駆動は、図８の駆動方法と同じである。一方、ＴＯＦモード（センシングモード）では、図８を説明した駆動と同様に行うが、この一連の動作時間が照明モードより短時間に行う。つまり、点灯時間幅が照明モードに比べてＴＯＦモードの方が短い（狭い）ようにする。言い換えれば、第１発光パルス信号がＯＮとなる期間は第２発光パルス信号がＯＮとなる期間よりも短く、これにより、ＴＯＦモードにおいて照明測距兼用光源２０から照射される光の点灯時間幅は、照明モードにおいて照明測距兼用光源２０から照射される光の点灯時間幅よりも短い。

この動作により、図８と同様に、測距システム１の小型化、軽量化を実現することが出来、さらに、距離情報を正確に取得することが出来る。

次に、第３の駆動方法として、図１０を用いて、図８で説明した内容との相違点を中心に詳細を説明する。

図１０では、ＴＯＦモード（センシングモード）に、第１の測距モードとバックグラウンド光量測定モード（第２の測距モード）を備えている。この例では、測距システム１は、照明測距兼用光源２０を消灯した状態で、撮像部１０を動作させ演算部４０にバックグラウンド光量を計測させるモードを備え、演算部４０は、第１の測距モードの露光量からバックグラウンド光量を減じる補正を行う。

第１の測距モードでは基本的な動作は図８、図９Ａで説明したものと同じである。バックグラウンド光量を測定するモードでは露光信号５２のタイミングパターンとして第三の露光信号を追加している。具体的には、照明測距兼用光源２０を消灯した状態でバックグラウンド光量を測定するモード（つまり、測距計算時に背景光量をＴＯＦモードの受信データから引く）となる駆動である。

この動作により、測距システム１の小型化、軽量化を実現することが出来、距離情報を更に正確に取得することが出来る。

引き続き、測距システムの動作方法について説明すると、図８、図９Ａ、図１０の駆動方法において、照明点灯＋ＴＯＦ点灯の回数は一定回数よりも多くとなるように、第１発光パルス信号がＯＮとなる回数と第２発光パルス信号がＯＮとなる回数との合計は６０回以上／秒、より好ましくは、１２０回以上／秒とする高速パルス駆動を行う。例えば、照明点灯＋ＴＯＦ点灯の回数を６０回以上／秒、より好ましくは、１２０回以上／秒とする。つまり、第１の測距モードおよび照明モードの切り替えを少なくとも１２０回／秒とする。

これにより、ＬＥＤ光源からの光が被写体、歩行者等に対して、目のちらつきを感じることを防ぎ、アイセーブを実現することが出来る。言い換えれば、ＬＥＤは実際には１２０回／秒以上の速さでパルス駆動により動的に点灯するけれども、人の目には残像効果により連続発光しているように見えるため、ちらつきや違和感から人の目を保護する。

つまり、本実施の形態では、測距システム１の小型化、軽量化、さらに、正確な距離情報の取得と共に、被写体、歩行者等に対してアイセーブを実現することが出来る。

なお、本実施の形態の測距システムは、図８、図９Ａ、図１０の駆動方法を組み合わせて駆動を行うことも可能である。

また、図８、図９Ａ、図１０の駆動方法では、ＴＯＦモードと照明モードを交互に駆動する例を説明したが、それに限定されるものではなく、第２発光パルス信号は、第１発光パルス信号がＯＮとなる期間を複数回繰り返した後に、ＯＮとなっても良い。図９Ｂは、発光信号によるＴＯＦモード又は照明モードで一定回数連続して動作させる動作例を示す図である。図９Ｂに示すように、例えば、ＴＯＦモード又は照明モードで一定回数連続して動作を行うことも出来る。

（実施の形態２）
以下、図面を参照しながら、実施の形態２に係る測距システム１の構成及び動作について、これまでの実施の形態で説明した内容との相違点を中心に詳細を説明する。

実施の形態２における測距システムは、さらに、第２の前記照明測距兼用光源部を備え、演算部４０は、第１および第２の照明測距兼用光源部の位相差情報を用いて測距を行うように構成されている。図１１は実施の形態２に係る別の測距システムの概略構成を示す機能ブロック図である。また、図１２は実施の形態２を一例として、測距システム１を輸送機器である自動車に搭載した場合であり、特に、照明測距兼用光源２０と撮像部１０の詳細を示した概略斜視図である。第１および第２の照明測距兼用光源部は、照明測距兼用光源部２０ａおよび２０ｂである。

図１１、図１２では、自動車用のヘッドライトのように、一定の距離で離れた複数の照明測距兼用光源２０ａ、２０ｂとして、照明用光源と距離などの物理量を検知するための測距用光源とが兼用となっている。

これにより、異なる位置から照射された光の複数の反射光を撮像部１０が受け取り、撮像部１０から複数のＲＡＷデータ５３ａ、５３ｂを演算部４０に出力する。演算部４０では、左右ヘッドライトを用いたＴＯＦによる距離演算と、さらに、複数のＲＡＷデータ５３ａ、５３ｂ、つまり位相差のある反射光を用いた第２の距離情報を補正情報としてＴＯＦデータの補正を行う。これにより、本実施の形態の測距システムは、更に精度の高い検知を行うことが出来る。

さらに、照明測距兼用光源２０ａ、２０ｂに対して、測距時においてそれぞれ異なる波長の光源を用いることにより、照明測距兼用光源２０ａ、２０ｂから得られる画像データ、および距離データを得、物体の形状を立体的に捉えることが出来る。

すなわち、本実施の形態では、特に複数の照明測距光源として自動車のヘッドライトシステムに適用することがより好ましく、この方法では照射光ａと反射光ａの経路と照射光ｂと反射光ｂの経路の差によって被写体とイメージセンサとの相対位置を計算することが出来、既存の照明機器の構成を大きく変えることなく、より高い精度の距離検知を行うことが可能となる。

なお、図１２では、一定の距離で離れた複数の照明用光源としてヘッドライトを用いたが、その他の光源（例えば、フォグランプ１００ａ、１００ｂ）を用いることも可能である。

また、図１２では、撮像部１０をフロントガラス内上部（バックミラー付近）に設置したが、それに限定されるものではなく、例えば、フロントグリル内、フロンバンパー内、等に設置することも可能である。

さらに、本実施の形態の詳細な説明を続けると、図１３Ａは実施の形態２を自動車用途として用いた自動車用の測距システム１であり、特に、第１および第２の照明測距兼用光源の詳細を示した図である。第１および第２の照明測距兼用光源部は、車両に備えられた左右のハイビーム光源と左右のロービーム光源のうち、（ａ）左および右のハイビーム光源、および（ｂ）左および右のロービーム光源のいずれかである。

つまり、自動車のヘッドライトに本実施の形態の測距システム１を用い、ハイビーム光源１１ａ、１１ｂおよびロービーム光源１２ａ、１２ｂを第１および第２の照明測距兼用光源として用いる。つまり、第１の照明測距兼用光源は、ハイビーム光源１１ａおよびロービーム光源１２ａの少なくとも一方を含み、第２の照明測距兼用光源は、ハイビーム光源１１ｂおよびロービーム光源１２ｂの少なくとも一方を含む。これにより、夜間時に暗闇を充分に照らしながら、精度良く距離測定を行うことが出来る。

図１３Ｂは、ＴＯＦモード（第１の測距モード）と照明モードにおける第１および第２の照明測距兼用光源部としてのハイビーム光源１１ａ、１１ｂ、ロービーム光源１２ａ、１２ｂの組み合わせ例を示す図である。

図１３Ｂ中の組Ａは、ＴＯＦモード（第１の測距モード）、照明モードの両方においてもロービーム光源１２ａ、１２ｂを用いることを示す。つまり、図８〜図１０における動作および位相差情報を用いた測距を組Ａで行う。

同様に、組Ｂは、ＴＯＦモード（第１の測距モード）、照明モードの両方においてもハイビーム光源１１ａ、１１ｂを用いることを示す。組Ｃは、ＴＯＦモード（第１の測距モード）ではロービーム光源１２ａ、１２ｂを用いて、照明モードではハイビーム光源１１ａ、１１ｂを用いることを示す。組Ｄは、ＴＯＦモード（第１の測距モード）ではハイビーム光源１１ａ、１１ｂを用いて、照明モードではロービーム光源１２ａ、１２ｂを用いることを示す。

なお、組Ｄの場合、ハイビームに別途赤外光を用い、ロービーム光源１２ａ、１２ｂと同期を取ればロービームによる暗闇を照らす照明と、赤外光ハイビームによる被写体、歩行者等に対して、まぶしさを与えることなく測距が可能となる。ここでいう同期とは、第１および第２の照明測距兼用光源部の一方の消灯と他方の点灯とを同期させることをいう。

なお、本実施の形態は、上述した図８、図９Ａ、図１０で説明したＴＯＦモード、照明モード、バックグラウンド光量測定モードの各動作を用いることも可能であり、より高い精度となる測距を行うことが出来る。

なお、図１２、図１３Ａでは自動車の搭載した例を示したが、これに限定されず、例えば、その他の輸送機器（自転車、オートバイ、鉄道車両、飛行機、宇宙機等）、輸送機器とインフラ設備、重機（ショベルカー、ブルドーザー等）、住宅設備機器など、あらゆる機器に搭載することが可能である。

（実施の形態３）
実施の形態３では、撮像部からの画像信号を用いて現在のフレームと前のフレームを比較することにより第２の測距を行う画像測距モードを有する測距システムについて説明する。

以下、図面を参照しながら、実施の形態３に係る測距システム１の構成及び動作について、上述した実施の形態との相違点を中心に説明する。

図１４Ａ、図１４Ｂは、実施の形態３に係る測距システム１の概略構成を示す機能ブロック図である。そのうち、図１４Ａは、実施の形態１における図１で示したような単独の照明測距兼用光源２０を備えた場合であり、図１４Ｂは実施の形態２における図１１で示したように第１および第２の照明測距兼用光源を備えた場合である。

図１４Ａ、図１４Ｂより、測距システム１は、撮像部１０と、照明測距兼用光源２０と、信号発生部３０と、演算部４０とを備える。

照明測距兼用光源２０（２０ａ、２０ｂ）は、駆動回路、コンデンサ及び発光素子を有し、コンデンサに保持した電荷を発光ダイオードへ供給することで光を発する。発光素子としてはレーザダイオードや発光ダイオード（ＬＥＤ）等のその他の発光素子を用いてもよい。

また、信号発生部３０は、光照射を指示する発光信号５１（５１ａ、５１ｂ）と、被写体からの反射光の露光を指示する露光信号５２（５２ａ、５２ｂ）とを発生する。照明測距兼用光源２０（２０ａ、２０ｂ）は、信号発生部３０で発生する発光信号５１を受信するタイミングに従って被写体に対して測距のための光照射を行う。

更に、信号発生部３０で発生する発光信号５１（５１ａ、５１ｂ）を受信するタイミングに従って、測距を目的としないで暗闇を明るくするための光照射を行う。

撮像部１０は、カメラレンズ、固体撮像素子（イメージセンサ）、及びＡ／Ｄコンバータ等のＲＡＷデータ５３（５３ａ、５３ｂ）を作成し出力する回路を有する。また、撮像部１０は、対象物体（被写体）を含む領域に対して、信号発生部３０で発生する露光信号５２（５２ａ、５２ｂ）が示すタイミングに従って複数回の露光を行い、複数回の露光量の総和に対応したＲＡＷデータ５３（５３ａ、５３ｂ）（ＴＯＦ情報）を得る。

さらに、撮像部１０は、撮像を行い、その画像情報を演算部４０に出力する。

演算部４０は、撮像部１０から受けたＲＡＷデータ５３（５３ａ、５３ｂ）、及び、画像情報を用いて演算し、被写体までの距離情報（検知情報）を出力する。

まず、ＴＯＦモードで測距を行うのは上述した実施の形態と同じである。

さらに、本実施の形態では画像撮像を行い、その画像データから距離を測定する。その方法の一例として、撮像部１０で連続画像を撮影し、現在のフレーム（画像）と前のフレーム（画像）を比較し、演算により距離を算出する（画像測距モード）。

このように、ＴＯＦデータと画像情報の両方を距離情報として用いて、以下のような使い方により、測距精度を向上させることが出来る。

第１の使い方は、昼夜により測定モード（距離情報）を使い分ける方法である。例えば、昼間など通常は照明光源を点灯させないような場合、本実施の形態では照明測距兼用光源２０（２０ａ、２０ｂ）は消灯して画像測距モードで測距を行う。また、夜間などで通常照明光源を点灯させる場合は、本実施の形態では照明測距兼用光源２０（２０ａ、２０ｂ）は点灯（パルス点灯駆動）させて、ＴＯＦモードで測距を行う。これにより、昼間は照明測距兼用光源２０を点灯させずに、昼夜を問わずに正確な測距することが出来る。

第２の使い方は、ＴＯＦモードの距離情報に、画像測距モードの距離情報でデータ補完を行う方法である。この方法では、より一層測距精度を向上させることが出来る。

第３の使い方は、扱われる天候や環境条件などにより測定モード（距離情報）を使い分ける方法である。例えば、夕方等の強い日差しを受けている場合、雨が降っている場合など（つまり、画像認識が難しい場合は）はＴＯＦモードを用い、それ以外の環境では、画像測距モードを用いる。これによって、どのような天候、状況でも高い精度で測距することが出来る。

第４の使い方は、被写体までの距離により測定モード（距離情報）を使い分ける方法である。すなわち、例えば１０ｍまでの近距離ではＴＯＦモードと画像測距モードを用い、例えば１０ｍ以上の遠距離では主としてＴＯＦモードを用いる。これにより、どのような被写体までの距離の場合でも高い精度で測距することが出来る。

第５の使い方は、本システムが搭載された輸送機器（例えば、自動車）、又は被写体の動き速度によって測定モード（距離情報）を使い分ける方法である。例えば輸送機器の速度が、例えば３０ｋｍ／ｈまでの低速度ではＴＯＦモードと画像測距モードを用い、例えば３０〜１００ｋｍ／ｈまでの中速度ではＴＯＦモードと画像測距モードをフレームごとに使い分け、例えば１００ｋｍ／ｈ以上の高速度ではＴＯＦモードをそれぞれ用いる。これにより、どのような被写体までの距離の場合でも高い精度で測距することが出来る。

なお、本実施の形態は、上述した図８、図９Ａ、図１０で説明したＴＯＦモード、照明モード、バックグラウンド光量測定モードの各動作を用いることも可能であり、より高い精度となる測距を行うことが出来る。

また、本実施の形態に係る測距システム１を、上述した図２、図３のように、重機、又は、重機と作業現場の構造物に搭載すれば、障害物に到達するまでは自動的に掘り下げ、更に、掘り下げることが出来ない障害物（物体が硬い、爆発の危険がある、等）と画像撮像から認識した場合は自動的に動作停止など、小型かつ軽量な測距システム１でありながら自動運転を行うことも出来るようになる。

また、本実施の形態の測距システム１は、例えば、輸送機器（自転車、オートバイ、鉄道車両、飛行機、宇宙機等）、輸送機器とインフラ設備、重機（ショベルカー、ブルドーザー等）、住宅設備機器など、あらゆる機器に搭載することが可能である。

（実施の形態３の変形例）
以下、図面を参照しながら、本変形例に係る測距システム１の構成及び動作について、これまでの実施の形態で説明した内容との相違点を中心に詳細を説明する。

まず、図１５Ａ〜図１５Ｃは、単位セル（マイクロレンズ）の第１〜第３の配列例を示す図である。図１５Ｄは、固体撮像素子と、レンズおよび被写体との間の光路を示す説明図である。領域Ａ、Ｂはそれぞれレンズ中の領域である。

図１５Ａ〜図１５Ｃでは、第１の単位セル４０１は図１５Ｄの領域Ａからの光を受光する単位セルに対応し、第２の単位セル４０２は図１５Ｄの領域Ｂからの光を受光する単位セルに対応している。

図１５Ａでは、複数の第１の単位セル４０１と複数の第２の単位セル４０２とが千鳥格子で配置されており、列方向（垂直方向）および行方向（水平方向）に交互に配置されている。図１５Ｂでは、第１の単位セル４０１の列と第２の単位セル４０２の列とが行方向に交互に配置されている。図１５Ｃでは、第１の単位セル４０１の行と第２の単位セル４０２の行とが列方向に交互に配置されている。なお、単位セルの配列としては３種類を図示したが、第１の単位セル４０１および第２の単位セル４０２を数セル単位のブロック毎に配置するなどしても良い。このように配置することで局所的には２種類の光を同時に受光する。

図１６は、マイクロレンズの配置および構造を単位セル群毎に示す平面構造図である。

上述した図４で示したように、一般的にマイクロレンズ３０７は曲面構造を備え、マイクロレンズ及びマイクロレンズが接触する物質（気体、固体等）の屈折率間差により光を曲げて集光させる。

一方、図１６に示したマイクロレンズは、上方から見たとき、マイクロレンズへの入射光の波長と同程度かそれよりも短い線幅で分離され、マイクロレンズの受光面に対して垂直な方向の軸を中心軸とする同心構造の複数の光透過膜を有し、複数の光透過膜の組み合わせによって制御された実効屈折率分布を有している。つまり、上記の中心軸から異なる屈折率の材料（光透過膜）を繰り返し配置した構造によりレンズとしての実効屈折率分布を有する。

また、このようなマイクロレンズを実現するために、マイクロレンズは、例えば無機材料で形成されたマイクロレンズ、いわゆるデジタルマイクロレンズとされる。図１６のような上面パターンを持つマイクロレンズを各単位セルの上方に実装すれば、各単位セルで局所的に入射角度変化に対する異なる集光特性を持つことが出来る。つまり、上記の中心軸を単位セルの中心から偏心させることによって、光量（受光感度）が最大となる入射角度を設定することができる。

したがって、光量が最大となる入射角度が異なる第１の単位セルおよび第２の単位セルが隣り合って設けられるため、２方向の入射光を同時に受光でき、いわゆるステレオカメラを用いることなく、単眼のイメージセンサにより立体画像を実現できる。

本構成により、ステレオカメラ（複眼カメラ）を用いなくても、立体画像を描画することが出来、その立体画像データからを用いた画像測距モードは、より一層高精度で測距を行うことが出来る。

なお、上述したデジタルマイクロレンズは、図４、図１８Ａ、図１８Ｂで説明したマイクロレンズ３０７に用いることも可能である。

（実施の形態４）
以下、図面を参照しながら、実施の形態３に係る測距システム１の構成及び動作について説明する。

図１７は、実施の形態１又は実施の形態２で説明した測距システム１を住宅設備機器（住空間）に搭載した例を示す図である。同図では、特に、照明測距兼用光源２０と撮像部１０を示す。

本実施の形態に係る測距システム１を住宅設備機器に搭載すれば、例えば、空間内の寸法情報、家具など配置情報をデータとして自動的に得ることが出来、データを用いて、通信販売で家具等を購入する場合に、サイズ的に設置が可能であるか、などのシミュレーションを自動的に行うことが可能となる。

（実施の形態の変形例１）
以下、図面を参照しながら、本変形例に係る測距システム１の構成及び動作について、これまでの実施の形態で説明した内容との相違点を中心に詳細を説明する。

図１８Ａ、図１８Ｂは、本実施の形態１〜３に係る測距システム１の搭載されるイメージセンサの画素について、特にＩＲ透過フィルタの詳細を説明した構造断面図である。

図１８Ａでは、ＩＲ透過フィルタは、例えば、互いに屈折率が異なる層を周期的に積層させた、いわゆるフォトニックカラーフィルタ３３１とする。ＩＲ透過フィルタは、例えば、積層構造のうちの少なくとも一つの層の厚さを色光ごとに異ならせることで、単位セル２１が検出対象とする色光に応じて、選択的に透過させる波長に差が設けられている。

また、ＩＲ透過フィルタは、無機材料、例えば、ＳｉＯ２やＴｉＯ２を積層させて構成されている。ＩＲ透過フィルタは、例えば、スパッタリング、真空蒸着等の真空成膜法により製造する。無機材料を使用することで、単位セル２１ごとに波長特性に差を持たせたＩＲ透過フィルタを形成することができる。

ここで、図４で上述したように、イメージセンサは、ＩＲ光を受光し信号電荷を発生させるのは、受光部（例えば、フォトダイオード）の構造の最適化（例えば、不純物プロファイルの最適化）により、ＩＲ透過フィルタが無くても受光、信号電荷発生は可能である。しかしながら、ＩＲ透過フィルタをイメージセンサに搭載することにより、受光する光の波長を選択することが出来る。

さらに、図１８ＢのようにＩＲ透過フィルタを一般的な有機材料でＩＲ透過フィルタ３３０を形成し本開示の効果を得ることは可能であるが、上述したような無機材料で形成することにより、選択する光の波長幅を狭くすることが出来る。

以上により、より高精度な測距を行うことが出来る。

（実施の形態の変形例２）
また、図１９は、本実施の形態に係る固体撮像素子の平面構造図であり、各画素にはＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、ＩＲの各フィルタが設置されている。

この画素は、また、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲの各々の画素にはフィルタ透過により、背景光が赤外成分を含む場合はその一部の赤外光が受光される。つまり、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲの各々の画素にＲ成分と前記一部の赤外成分、Ｇ成分と前記一部の赤外成分、Ｂ成分と前記一部の赤外成分が受光される。また、ＩＲ透過フィルタにより、ＩＲ画素には一部の赤外成分のみが受光されて光電変換が行われ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、ＩＲ各々の画素で、可視露光時間中に蓄積される。

このとき、実施の形態２及び実施の形態３の測距システム１において、ＩＲ透過フィルタを透過した光を用いＴＯＦモードで測距を行い、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ透過フィルタを透過した光を用いて、画像撮像を行い、その画像データからを用いた距離を測定する。その方法の一例として、撮像部１０で連続画像を撮影し、現在のフレーム（画像）と前のフレーム（画像）を比較演算により距離を算出すれば、より高精度な測距を行うことが出来る。

なお、本変形例では、図２０に示すように、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、ＩＲの各フィルタを、上述した図１８Ａのように無機材料を積層することで形成することも可能である。

また、本変形例では、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、ＩＲの各フィルタを、上述した図１８Ｂのように有機材料で形成することも可能である。

また、本変形例では、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、ＩＲの各フィルタを、無機材料によるフィルタと有機材料によるフィルタとに適宜分けて形成することも可能である。

また、本変形例では、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、ＩＲの各フィルタを、無機材料によるフィルタと有機材料によるフィルタを組み合せて（例えば、半導体基板に対して垂直方向に重なるように）形成することも可能である。

本開示に係る測距システムは、周辺環境に依存することなく、測定対象物の高精度な３次元測定が実現できるため、例えば、人物、建物などの３次元測定に有用である。

１ 測距システム
２ 撮像領域
１０ 撮像部
１１ａ、１１ｂ ハイビーム光源
１２ａ、１２ｂ ロービーム光源
１８ 構造物
２０、２０ａ、２０ｂ 照明測距兼用光源
２１ 単位セル
３０ 信号発生部
４０ 演算部
５１ 発光信号
５２ 露光信号
５３、５３ａ、５３ｂ ＲＡＷデータ
９０ ショベルカー
９６ バケット
１００ａ、１００ｂ フォグランプ
１０１ フォトダイオード
１０２ 垂直転送部
１０３ 水平転送部
１０４ 信号電荷検出部
２０１ 単位セル
２０２ 撮像領域
２０３ 除去部
２０４ 水平選択部
２０５ 差動アンプ
２０６ 垂直信号線
２０７、２０８ 水平信号線
２０９ 電流源
３０１ 半導体基板
３０５ 金属配線、ゲート電極又は転送電極
３０７ マイクロレンズ
３３０ 透過フィルタ
３３１ フォトニックカラーフィルタ
４０１ 第１の単位セル
４０２ 第２の単位セル
Ｃ１１、Ｃ１２ 容量
Ｍ１ 読み出しトランジスタ
Ｍ２ リセットトランジスタ
Ｍ３ ソースフォロワトランジスタ
Ｍ４ ライン選択トランジスタ
Ｍ５ シャッタトランジスタ
ＰＤ フォトダイオード
Ｍ１２ リセットレベル用サンプルトランジスタ
Ｍ２１、Ｍ２２ 列選択トランジスタ
Ｍｌｌ 信号レベル用サンプルトランジスタ
ＲＳｎ リセット信号
ＳＨＮ サンプルホールド信号
ＳＨＳ サンプルホールド信号
ＴＸｎ 転送信号
ＶＤＤ 画素電極
ＳＥＬｎ 選択信号
ＴＸＳｎ シャッタ信号

本開示は測距システム、およびそれに用いる固体撮像素子に関する。

Claims (26)

1. 光照射を指示する発光信号と反射光の露光を指示する露光信号とを発生する信号発生部と、
   前記発光信号を受信して、測距を目的としない照明と、反射光による測距のための前記光照射とを行う第１の照明測距兼用光源部と、
   前記露光信号を受信して前記露光を行い、前記反射光の露光量を取得する撮像部と、
   前記露光量を用いて、距離情報を演算して出力する演算部とを備え、
   前記第１の照明測距兼用光源部に前記照明を行わせる照明モードと、前記第１の照明測距兼用光源部に前記光照射をさせて前記撮像部を動作させることにより第１の測距を行う第１の測距モードとを、動作モードとして有する
   測距システム。
2. 前記第１の測距モードにおいて前記第１の照明測距兼用光源部から照射される光の振幅は、前記照明モードにおいて前記第１の照明測距兼用光源部から照射される光の振幅よりも大きい
   請求項１に記載の測距システム。
3. 前記第１の測距モードにおいて前記第１の照明測距兼用光源部から照射される光の点灯時間幅は、前記照明モードにおいて前記第１の照明測距兼用光源部から照射される光の点灯時間幅よりも短い
   請求項１又は２に記載の測距システム。
4. さらに、前記第１の照明測距兼用光源部を消灯した状態で、前記撮像部を動作させ前記演算部にバックグラウンド光量を計測させるモードを備え、
   前記演算部は、前記第１の測距モードの露光量から前記バックグラウンド光量を減じる補正を行う
   請求項１〜３のいずれかに記載の測距システム。
5. 前記第１の照明測距兼用光源部は、単色のＬＥＤ、又は複数色のＬＥＤを搭載する
   請求項１〜４のいずれかに記載の測距システム。
6. 前記第１の測距モードおよび前記照明モードの切り替えを少なくとも１２０回／秒とする
   請求項５に記載の測距システム。
7. 前記測距システムは、さらに第２の照明測距兼用光源部を備え、
   前記演算部は、さらに、前記第１および第２の照明測距兼用光源部の位相差情報を用いて測距を行う
   請求項１〜６のいずれかに記載の測距システム。
8. 前記第１および第２の照明測距兼用光源部は、車両に備えられた左右のハイビーム光源と左右のロービーム光源のうち、（ａ）左および右のハイビーム光源、並びに（ｂ）左および右のロービーム光源のいずれかである
   請求項７に記載の測距システム。
9. 前記演算部は、
   前記撮像部からの画像信号を用いて現在のフレームと前のフレームを比較することにより第２の測距を行う
   請求項１〜８のいずれかに記載の測距システム。
10. 前記演算部は、前記第１および第２の測距による距離情報の一方を、前記第１および第２の測距の距離情報の他方により補正を行う
    請求項９に記載の測距システム。
11. 前記第１、第２の測距は、昼夜、天候、被写体までの距離、又は、前記被写体もしくは前記測距システムの動き速度により使い分ける
    請求項９又は１０に記載の測距システム。
12. 前記撮像部は固体撮像素子を備え、
    前記固体撮像素子はＣＣＤ型の固体撮像素子である
    請求項１〜１１のいずれかに記載の測距システム。
13. 前記撮像部は複数の画素を有する固体撮像素子を備え、
    前記複数の画素のそれぞれは、
    光電変換する受光部と、
    前記受光部から読み出された信号電荷を蓄積する蓄積部とを備え、
    前記固体撮像素子は、前記複数の画素において前記受光部の信号電荷を前記蓄積部に一括して読み出すＭＯＳ型の固体撮像素子である
    請求項１〜１１のいずれかに記載の測距システム。
14. 前記撮像部は複数の画素を有する固体撮像素子を備え、
    前記複数の画素のそれぞれは、受光面と垂直な軸を中心軸とし異なる屈折率の材料を同心状に繰り返し配置した構造を有するマイクロレンズを備える
    請求項１〜１３のいずれかに記載の測距システム。
15. 前記撮像部は複数の画素を有する固体撮像素子を備え、
    前記複数の画素のそれぞれは、赤外線透過フィルタ、赤色光および赤外線を透過する第１のフィルタ、緑色光および赤外線を透過する第２のフィルタ、および、青色光および赤外線を透過する第３のフィルタの何れかを備える
    請求項１〜１４のいずれかに記載の測距システム。
16. 前記赤外線透過フィルタ、および、前記第１から第３フィルタの少なくとも１つは、無機材料を積層したフィルタである
    請求項１５に記載の測距システム。
17. 前記測距システムを重機、又は、重機と作業現場の構造物に搭載した
    請求項１〜１６のいずれかに記載の測距システム。
18. 前記測距システムを輸送機器に搭載した
    請求項１〜１６のいずれかに記載の測距システム。
19. 前記測距システムを住宅設備機器に搭載した
    請求項１〜１６のいずれかに記載の測距システム。
20. 発光パルス信号を制御する信号発生装置であって、
    前記信号発生装置は、複種類の前記発光パルス信号を制御し、
    前記複種類の発光パルス信号は、測距を行うための光照射を指示する第１発光パルス信号と、測距を目的としない照明の点灯を指示する第２発光パルス信号とを含み、
    前記第２発光パルス信号がＯＦＦとなるときに、前記第１発光パルス信号はＯＮとなる
    信号発生装置。
21. 前記第１発光パルス信号がＯＮとなる期間は、前記第２発光パルス信号がＯＮとなる期間よりも短い
    請求項２０に記載の信号発生装置。
22. 前記第２発光パルス信号は、前記第１発光パルス信号がＯＮとなる期間を複数回繰り返した後に、ＯＮとなる
    請求項２０又は２１に記載の信号発生装置。
23. 前記第１発光パルス信号がＯＮとなる回数と前記第２発光パルス信号がＯＮとなる回数との合計は、少なくとも１２０回／秒とする
    請求項２０〜２２のいずれかに記載の信号発生装置。
24. 前記第１発光パルス信号の振幅は、前記第２発光パルス信号の振幅よりも大きい
    請求項２０〜２３のいずれかに記載の信号発生装置。
25. 前記第１発光パルス信号は、Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔにより測距を行うために用いられる
    請求項２０〜２４のいずれかに記載の信号発生装置。
26. 前記信号発生装置は、前記第１発光パルス信号により発生した照射光の、被写体による反射光の露光を指示する露光信号を制御する
    請求項２０〜２５のいずれかに記載の信号発生装置。

Images