JP6238229B2 - 視差センサ及び相関信号の生成方法 - Google Patents
視差センサ及び相関信号の生成方法 Download PDFInfo
- Publication number
- JP6238229B2 JP6238229B2 JP2014000994A JP2014000994A JP6238229B2 JP 6238229 B2 JP6238229 B2 JP 6238229B2 JP 2014000994 A JP2014000994 A JP 2014000994A JP 2014000994 A JP2014000994 A JP 2014000994A JP 6238229 B2 JP6238229 B2 JP 6238229B2
- Authority
- JP
- Japan
- Prior art keywords
- pulse
- signals
- pulse width
- signal
- analog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
TOFレンジセンサで採用されているTOF方式は、特殊なLSIに加えて強力な発光器とその変調装置を要することから、TOFレンジセンサは、小型化や低コスト化、低消費電力化が困難という課題がある。そして、屋内に設置されるゲーム機器の三次元インターフェース等に採用されているパターン照射(三角測量)方式は、照射光に対する反射光量が距離の二乗に反比例して急激に減衰することから、広範囲な距離検知に不向きであり、更に、照射光以外の光の影響や、光を照射される対象物の反射率のばらつき等、検出精度の劣化を生じさせる要因を取り除くことは原理的に難しい。従って、TOF方式やパターン照射方式の採用は、照射光を安定して検知可能な狭い範囲での用途に限定される。
しかしながら、その視野角は狭く分解能が低いという特性があり、更に、雨粒等が反射雑音となることから天候に左右されるという課題がある。
そして、このステレオ視方式を用いた視差センサの具体例が、特許文献1、2に記載されている。
以下、ステレオ視方式を基に距離を検出する原理を説明する。
間隔を空けて配置された第1、第2の撮像素子がそれぞれ撮像した2つの画像を比較すると、同じ被写体がその2つの画像中で異なった位置に表示される。その2つの画像中における被写体の位置の差が大きいほど、第1、第2の撮像素子とその被写体の距離が近いといえる。
例えば、図11に示すように、第1、第2の撮像素子(図11では、第1、第2の撮像素子をそれぞれ、左眼及び右眼と記している)によって、3つの被写体A、B、Cを撮像すると、一方の画像の各画素と他方の画像の各画素を比較する相関マトリックス上の3つの位置において、大きな相関が現れる。これは、その大きな相関が現れた3つの位置に、被写体A、B、Cがそれぞれあることを意味している。
なお、相関マトリックス上の座標と斜交座標の関係は、第1、第2の撮像素子の位置関係と、第1、第2の撮像素子それぞれの撮像方向の関係とにより決定されるため、相関マトリックス上の各位置を斜交座標に変換するためのテーブルは、予め作成可能である。
本発明は、かかる事情に鑑みてなされるもので、高集積化が可能な視差センサ及び相関信号の生成方法を提供することを目的とする。
前記第1の撮像素子とは異なる角度から前記被写体を撮像した画像を基に、複数の第2のアナログ電圧信号を出力する第2の撮像素子と、
並列に配され、前記複数の第1のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第1のパルス幅画素信号にそれぞれ変換する複数の第1のアナログ/パルス幅変調回路と、
並列に配され、前記複数の第2のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第2のパルス幅画素信号にそれぞれ変換する複数の第2のアナログ/パルス幅変調回路と、
前記複数の第1、第2のアナログ/パルス幅変調回路に、前記第1、第2のアナログ電圧信号の変換を同時に行わせる同期制御回路と、
隣り合う前記第1のアナログ/パルス幅変調回路からそれぞれ出力される2つの前記第1のパルス幅画素信号の差異を第1の比較パルス信号として、それぞれ出力する複数の第1のパルス信号比較回路と、
隣り合う前記第2のアナログ/パルス幅変調回路からそれぞれ出力される2つの前記第2のパルス幅画素信号の差異を第2の比較パルス信号として、それぞれ出力する複数の第2のパルス信号比較回路と、
第1、第2の制御パルス信号をそれぞれ出力する第1、第2の信号発信回路と、
前記各第1の比較パルス信号と前記第1の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第1の差分パルス信号としてそれぞれ出力する複数の第1の論理回路と、
前記各第2の比較パルス信号と前記第2の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第2の差分パルス信号としてそれぞれ出力する複数の第2の論理回路と、
前記複数の第1の差分パルス信号それぞれと前記複数の第2の差分パルス信号それぞれの各組み合わせに対し、前記第1、第2の差分パルス信号の相関の大きさに比例もしくは対応する相関アナログ信号を出力する相関検知回路マトリックスとを備え、
前記第1、第2の制御パルス信号の各値は、一方が0で、他方が1である。
前記複数の第1のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第1のパルス幅画素信号に、並列に配された複数の第1のアナログ/パルス幅変調回路によって、それぞれ同時に変換する処理、及び、前記複数の第2のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第2のパルス幅画素信号に、並列に配された複数の第2のアナログ/パルス幅変調回路によって、それぞれ同時に変換する処理を同時に行う工程と、
隣り合う前記第1のアナログ/パルス幅変調回路からそれぞれ出力される2つの前記第1のパルス幅画素信号の差異を第1の比較パルス信号として出力する処理を、前記複数の第1のアナログ/パルス幅変調回路全てに対して行い、隣り合う前記第2のアナログ/パルス幅変調回路からそれぞれ出力される2つの前記第2のパルス幅画素信号の差異を第2の比較パルス信号として出力する処理を、前記複数の第2のアナログ/パルス幅変調回路全てに対して行う工程と、
前記各第1の比較パルス信号と第1の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第1の差分パルス信号として出力し、前記各第2の比較パルス信号と第2の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第2の差分パルス信号として出力する工程と、
前記複数の第1の差分パルス信号それぞれと前記複数の第2の差分パルス信号それぞれの各組み合わせに対し、前記第1、第2の差分パルス信号の相関の大きさに比例もしくは対応する相関アナログ信号を出力する工程とを有し、
前記第1、第2の制御パルス信号の各値は、一方が0で、他方が1である。
図1、図2に示すように、本発明の一実施の形態に係る視差センサ10は、距離を計測する対象となる被写体を撮像し、複数の第1のアナログ電圧信号を出力する第1の撮像素子(第1の画像素子)11と、第1の撮像素子11とは異なる角度から被写体を撮像し、複数の第2のアナログ電圧信号を出力する第2の撮像素子(第2の画像素子)12と、並列に配され、複数の第1のアナログ電圧信号を、複数の第1のパルス幅画素信号にそれぞれ変換する複数の第1のアナログ/パルス幅変調回路13と、並列に配され、複数の第2のアナログ電圧信号を、複数の第2のパルス幅画素信号にそれぞれ変換する複数の第2のアナログ/パルス幅変調回路14と、隣り合う第1のアナログ/パルス幅変調回路13からそれぞれ出力される2つの第1のパルス幅画素信号の差異を第1の比較パルス信号として、それぞれ出力する複数の第1のパルス信号比較回路15と、隣り合う第2のアナログ/パルス幅変調回路14からそれぞれ出力される2つの第2のパルス幅画素信号の差異を第2の比較パルス信号として、それぞれ出力する複数の第2のパルス信号比較回路16とを備えて、第1、第2の撮像素子11、12の各画像中の被写体の位置を特定する。以下、これらについて詳細に説明する。
第1、第2の撮像素子11、12には、共通のシーケンサ18が接続され、第1、第2の撮像素子11、12の各画素行列は、シーケンサ18によって、それぞれ、同じ行にあるn個(複数)の画素17が選択される。
なお、各第1のアナログ/パルス幅変調回路13(各第2のアナログ/パルス幅変調回路14についても同じ)は、MOSFETを備えた周知のコンパレータによって構成することができる。
各第1のアナログ/パルス幅変調回路13は、第1の撮像素子11から与えられる第1のアナログ電圧信号の電圧値が、ランプ信号の値を上回っている間、第1のパルス幅画素信号を出力し、第1のアナログ電圧信号の電圧値が、ランプ信号の値以下の間、第1のパルス幅画素信号の出力を行わない。従って、第1のアナログ電圧信号の電圧値が大きいほど、第1のアナログ/パルス幅変調回路13から出力される第1のパルス幅画素信号のパルス幅は広くなる。
第1のパルス幅画像信号を出力中の第1のアナログ/パルス幅変調回路13、及び、第2のパルス幅画像信号を出力中の第2のアナログ/パルス幅変調回路14は、最も小さくなったランプ信号の値が最も大きくなるタイミングで、第1、第2のパルス幅画像信号の出力をそれぞれ終える。
第1のパルス信号比較回路アレイ21は、図2に示すように、n−1個(複数)の並列に配置された第1のパルス信号比較回路15を備え、各第1のパルス信号比較回路15には、隣り合う2つの第1のアナログ/パルス幅変調回路13が接続されている。
各第1のパルス信号比較回路15は、図4(A)に示すように、2つの入力端子と、4つのインバータ23、24、25、26と、2つのNANDゲート27、28と、2つの出力端子を備えている。以下、一側からi番目の第1のパルス信号比較回路15が備える2つの入力端子をそれぞれ、入力端子INi、及び、入力端子INi+1とし、その第1のパルス信号比較回路15が備える出力端子をそれぞれ、出力端子OUTi+、及び、出力端子OUTi−とする。なお、1≦i≦n−1である。
OUTi−=(INi+1)∧(/INi) ・・・・・(式2)
なお、(/INi+1)及び(/INi)は、それぞれINi+1及びINiの反転信号、∧は論理積を意味する。
一方、入力端子INiへの第1のパルス幅画素信号の入力が無く、入力端子INi+1に第1のパルス幅画素信号が入力しているとき、出力端子OUTi+からは第1の比較パルス信号が出力されず、出力端子OUTi−から第1の比較パルス信号が出力される。
その結果、入力端子INi及び入力端子INi+1それぞれへの信号入力の状態に相関があるほど、出力端子OUTi+及び出力端子OUTi−からそれぞれ出力される第1の比較パルス信号のパルス幅は狭くなる。
相関検知回路マトリックス30は、(n−1)×(n−1)個(複数)の相関検知回路31を備え、その(n−1)×(n−1)個の相関検知回路31は、菱形状に並べられている。
左上側の直線部30aに平行に配された相関検知回路31の列は、n−1列あり、1列あたりn−1個の相関検知回路31が並べられている。そして、右上側の直線部30bに平行に配された相関検知回路31の行は、n−1行あって、1行あたりn−1個の相関検知回路31が配列されている。
一側からi番目の第1のパルス信号比較回路15の出力端子OUTi+及び出力端子OUTi−は、図5に示すように、それぞれXNOR回路32、33を介して、i番目の行にある各相関検知回路31に接続されている。図5では、一側からi番目の第1のパルス信号比較回路15の出力端子OUTi+及び出力端子OUTi−を、それぞれ「OUTi+(L)」及び「OUTi−(L)」と記している。以下、「OUTi+(L)」、「OUTi−(L)」と記載したときは、i番目の第1のパルス信号比較回路15の出力端子OUTi+、及び、出力端子OUTi−をそれぞれ意味する。
なお、図5では、j番目の第2のパルス信号比較回路16の出力端子OUTj+及び出力端子OUTj−を、それぞれ「OUTj+(R)」及び「OUTj−(R)」と記載している。以下、「OUTj+(R)」、「OUTj−(R)」と記載したときは、j番目の第2のパルス信号比較回路16の出力端子OUTj+、及び、出力端子OUTj−をそれぞれ意味する。
なお、図1、図2においては、XNOR回路32〜35、及び、第1、第2の信号発信回路36、37が省略されている。
一方、本実施の形態では、視差センサ10全体で、第1、第2の信号発信回路36、37は1つずつあって、第1の信号発信回路36は、(n−1)個のXNOR回路32及び(n−1)個のXNOR回路33に接続され、第2の信号発信回路37は(n−1)個のXNOR回路34及び(n−1)個のXNOR回路35に接続されている。
電流スイッチ回路部39は、XNOR回路32、34からそれぞれ出力される第1、第2の差分パルス信号の論理積の真理値が1であるとき、導通状態となって、コンデンサ38に蓄積されている電荷を一定の電流値で放電させ、その論理積の真理値が0であるとき、非導通状態となる。
電流スイッチ回路部40も、電流スイッチ回路部39と同様に、XNOR回路33、35からそれぞれ出力される第1、第2の差分パルス信号の論理積の真理値が1であるとき、導通状態となって、コンデンサ38に放電させ、その論理積の真理値が0であるとき、非導通状態となる。
本実施の形態では、トランジスタ41、43〜46は全て、同型(具体的には、n型)のMOSFETである。
また、コンデンサ38には、電源47に連結されたリセットスイッチ48、及び、読出スイッチ49に連結された出力回路部42が接続されている。
読出スイッチ49は、読み出し信号が与えられることによって、出力回路部42に電流信号を出力させないオフ状態から、出力回路部42に電流信号を出力させるオン状態に切り替わる。
そして、相関検知回路31には、出力回路部42から出力された電流信号をその電流値に比例もしくは対応した大きさの電圧値の電圧信号に変換して出力する電流電圧変換回路51が接続されている。
まず、リセット信号がリセットスイッチ48に入力され、図6に示すように、コンデンサ38の電圧(図6では、「Vc」と記す)が、Vdに上昇する。そして、第1の信号発信回路36が第1の制御パルス信号を出力し、第2の信号発信回路37が第2の制御パルス信号を出力していない状態(以下、この状態を、「不一致降下モードM1の状態」ともいう)で、第1のパルス信号比較回路15は、出力端子OUT+から第1の比較パルス信号(図6では、「OUT+(L)」と記す)を出力し、第2のパルス信号比較回路16は、出力端子OUT+から第2の比較パルス信号(図6では、「OUT+(R)」と記す)を出力する。
第1の比較パルス信号が出力されているときに、トランジスタ43に対し、XNOR回路32から第1の差分パルス信号(図6では、「L+」と記す)が入力し、第2の比較パルス信号が出力されていないときに、トランジスタ44に対し、XNOR回路34から第2の差分パルス信号(図6では、「R+」と記す)が入力する。
トランジスタ43、44に第1、第2の差分パルス信号がそれぞれ入力されるのは、第1のパルス信号比較回路15の出力端子OUT+から第1の比較パルス信号が出力され(第1の比較パルス信号の値が1であり)、第2のパルス信号比較回路16の出力端子OUT+から第2の比較パルス信号が出力されていない(第2の比較パルス信号の値が0である)ときである。このため、第1のパルス信号比較回路15の出力端子OUT+から第1の比較パルス信号が出力され、第2のパルス信号比較回路16の出力端子OUT+から第2の比較パルス信号が出力されていない状態の時間が長いほど、コンデンサ38の電圧は低くなる。
そして、トランジスタ45、46にそれぞれ第1、第2の差分パルス信号が入力されるのは、第1のパルス信号比較回路15の出力端子OUT−から第1の比較パルス信号が出力され、第2のパルス信号比較回路16の出力端子OUT−から第2の比較パルス信号が出力していない時間帯であるので、第1のパルス信号比較回路15の出力端子OUT−から第1の比較パルス信号が出力され、第2のパルス信号比較回路16の出力端子OUT−から第2の比較パルス信号が出力されていない時間帯が長いほど、コンデンサ38の電圧は低くなる。
従って、不一致降下モードM1の状態と不一致降下モードM2の状態とをそれぞれ経ることによって、第1のパルス信号比較回路15の信号出力と第2のパルス信号比較回路16の信号出力の相関レベルが低い(即ち、第1、第2のパルス信号比較回路15、16のいずれか一方のみが信号を出力している状態が長い)ほど、コンデンサ38の電圧が低下する仕組みを設けることができる。
複数のシフトレジスタ54は、左右方向に並べられ、それそれ、外部から信号が入力されたタイミングで読み出し信号を出力する。複数のシフトレジスタ54には、左から順に、所定の時間間隔で、外部から信号が入力される。
本実施の形態では、複数の電流電圧変換回路51が、図2に示すように、縦方向に並べられ、各電流電圧変換回路51は、縦方向の同じ位置において左右方向に並んだ相関検知回路31それぞれから電流出力を受信することができる。
なお、視差センサ10は、電流電圧変換回路51から出力される電圧信号を基にして、第1の撮像素子11の各画素17と第2の撮像素子12の各画素17の相関レベルを求め、第1、第2の撮像素子11、12における被写体の各位置を特定する図示しない演算回路を備えている。
第1の撮像素子11の特定の行にあるn個の画素17から、第1のアナログ電圧信号がそれぞれ出力され、これと同じ行にある第2の撮像素子12のn個の画素17から、第2のアナログ電圧信号がそれぞれ出力されている状態で、図8に示すように、相関検知回路31にリセット信号が与えられ、コンデンサ38の電圧はVdに上昇する。
図8においては、第1の撮像素子11の一側からi番目、i+1番目の各画素17から出力される第1のアナログ電圧信号をそれぞれ、「画素出力(L)i」及び「画素出力(L)i+1」と記し、第2の撮像素子12の一側からj番目、j+1番目の各画素17からそれぞれ出力される第2のアナログ電圧信号を、「画素出力(R)j」及び「画素出力(R)j+1」と記している。そして、一側からi番目の第1のパルス信号比較回路15に対応し、かつ、一側からj番目の第2のパルス信号比較回路16に対応する相関検知回路31が有するコンデンサ38の電圧が、図8では、「Vc(i、j)」と記されている。
なお、図8において、Po(L)がオンで、Po(R)がオフの時間帯が、不一致降下モードM1の時間帯を示し、逆に、Po(L)がオフで、Po(R)がオンの時間帯が、不一致降下モードM2の時間帯を示している。
また、不一致降下モードM1の状態、及び、不一致降下モードM2の状態を経て低下した、各相関検知回路31のコンデンサ38の電圧値は、不一致降下モードM2でランプ信号の値が最小値に低下した時点で確定する。
本実施の形態では、各相関検知回路31のコンデンサ38の電圧値を確定するまでの期間を、相関処理期間といい、相関処理期間においては、第1、第2の信号発信回路36、37はいずれか一方のみが信号出力を行う(即ち、第1、第2の制御パルス信号の各値は、一方が0で、他方が1である)。
読み出し期間では、複数のシフトレジスタ54に対して、左のシフトレジスタ54から右に向かって順番に、1クロックの時間間隔で信号が与えられる。なお、図8では、シフトレジスタ54に与えられる信号の様子が「CLK」として記されている。
各相関検知回路31は、シフトレジスタ54から読み出し信号を与えられたタイミングで、接続された各電流電圧変換回路51に電流信号を送信し、電流電圧変換回路51は、受信した電流信号を電圧信号に変換して、演算回路に出力する。
その結果、相関検知回路マトリックス30は、複数の第1の差分パルス信号それぞれと複数の第2の差分パルス信号それぞれの各組み合わせに対し、第1、第2の差分パルス信号の相関の大きさに比例もしくは対応するパルス幅の電流信号(相関アナログ信号)を出力することができる。
相関積分処理を採用する場合、一の相関処理期間が終了した時点で得られる相関結果に、次の相関処理期間で得られる相関結果が加えられ、最後の相関処理期間が終了した時点で、最終的な相関結果が得られる(即ち、各相関検知回路31のコンデンサ38の電圧が確定し、出力される)。
比較例に係る相関検知回路100は、図10に示すように、2つの電流スイッチ回路部101、102がそれぞれ2つのパスを備え、電流スイッチ回路部101、102それぞれの一方のパスに2つのMOSFET103、104があり、電流スイッチ回路部101、102それぞれの他方のパスに2つのMOSFET105、106がある。
定電流源として機能するトランジスタ107は、電流スイッチ回路部101、102にドレインが接続され、ソースがグランドに接続されている。
なお、トランジスタ107はMOSFETである。また、相関検知回路31と同様の構成については、相関検知回路31と同じ符号を付して詳しい説明は省略する。
そして、電流スイッチ回路部102は、第1のパルス信号比較回路15の出力端子OUT−、及び、第2のパルス信号比較回路16の出力端子OUT−のいずれか一方のみから比較パルス信号が出力されている際に導通状態となって、トランジスタ107の電圧値を低下させる。
更に、相関検知回路31では、図5に示すように、電流スイッチ回路部39、40がそれぞれ、2つのMOSFETを備え、そのMOSFETが全てn型であるのに対し、相関検知回路100では、図10に示すように、電流スイッチ回路部101、102がそれぞれ、4つのMOSFETを備え、しかも、その4つのMOSFETは、2つがp型で、残りの2つがn型である。
このため、共に非導通状態であった電流スイッチ回路部101、102の少なくとも一方が導通状態となってコンデンサ38の電圧低下が一定の速度になったときの、トランジスタ107のドレインの電圧値をVsとすると、電流スイッチ回路部101、102の少なくとも一方が導通状態となってから、トランジスタ107のドレインの電圧値がVsになるまでの間、第1、第2の撮像素子11、12の各画素17の相関とは関係なく、コンデンサ38から電荷がリークすることになる。
Von<<Vc≒Vd ・・・・・(式3)
そして、トランジスタ107のドレインノードの寄生容量をCs、第1、第2の撮像素子11、12の各画素17の相関とは関係なくコンデンサ38からリークする電荷量をQsとすると、Qs=Cs×Vsであるので、リセットスイッチ48にリセット信号を与えた直後のQsは、Qs≒Cs×Vdとなる。
よって、電荷リークが相関処理期間ごとに生じることを鑑みれば、この電荷リークが、第1の撮像素子11の画素17と第2の撮像素子12の画素17の相関レベルの導出精度に及ぼす影響は大きいといえる。
従って、非導通状態であった電流スイッチ回路部39、40の少なくとも一方が導通状態になってから、トランジスタ41のソースノードの電圧値がVb−Vtになるまでの間に、第1、第2の撮像素子11、12の各画素17の相関とは関係なくコンデンサ38からリークする電荷量を抑制することができる。その理由を、以下に記す。
Qm=Cm×{(Vb−Vt)−Von} ・・・・・(式4)
そして、(Vb−Vt)−VonとVdには、以下の式5の関係がある。
(Vb−Vt)−Von<<Vd ・・・・・(式5)
Cm<Cs ・・・・・(式6)
式4〜式6、及び、Qs≒Cs×Vdより、Qm<<Qsといえる。
即ち、相関検知回路31は、相関検知回路100に比べ、相関積分処理において、電荷リークが、第1の撮像素子11の画素17と第2の撮像素子12の画素17の相関レベルの導出精度に及ぼす影響を小さくすることができる。
また、本実施の形態では、リセットスイッチ48にp型のMOSFETを用いているが、これをトランジスタ41、43〜46、読出スイッチ49と同じn型にして、相関検知回路31が備えるMOSFETの型を統一することで、高集積化の効果をより高めることができる。
その相関信号の生成方法は、(1)第1の撮像素子11で被写体を撮像し、複数の第1のアナログ電圧信号を出力すると同時に、第2の撮像素子12で、第1の撮像素子11が撮像する被写体を異なる角度から撮像し、複数の第2のアナログ電圧信号を出力する工程と、(2)複数の第1のアナログ電圧信号を、複数の第1のパルス幅画素信号に、並列に配された複数の第1のアナログ/パルス幅変調回路13によって、それぞれ同時に変換する処理、及び、複数の第2のアナログ電圧信号を、複数の第2のパルス幅画素信号に、並列に配された複数の第2のアナログ/パルス幅変調回路14によって、それぞれ同時に変換する処理を同時に行う工程と、(3)隣り合う第1のアナログ/パルス幅変調回路13からそれぞれ出力される2つの第1のパルス幅画素信号の差異を第1の比較パルス信号として出力する処理を、複数の第1のアナログ/パルス幅変調回路13全てに対して行い、隣り合う第2のアナログ/パルス幅変調回路14からそれぞれ出力される2つの第2のパルス幅画素信号の差異を第2の比較パルス信号として出力する処理を、複数の第2のアナログ/パルス幅変調回路14全てに対して行う工程と、(4)各第1の比較パルス信号と第1の制御パルス信号の排他論理和の否定値(排他論理和の値であってもよい)を、第1の差分パルス信号として出力し、各第2の比較パルス信号と第2の制御パルス信号の排他論理和の否定値(排他論理和の値であってもよい)を、第2の差分パルス信号として出力する工程と、(5)複数の第1の差分パルス信号それぞれと複数の第2の差分パルス信号それぞれの各組み合わせに対し、第1、第2の差分パルス信号の相関の大きさに比例もしくは対応する相関アナログ信号を出力する工程とを有している。
例えば、第1、第2の論理回路は、XNOR回路(排他的論理和の否定値を出力する回路)に限定されず、XOR回路(排他的論理和の値を出力する回路)にすることもでき、第1、第2の論理回路にXOR回路を採用する場合、相関検知回路の電流スイッチ回路部にp型のMOSFETを用いればよい。
また、相関検知回路から出力される相関アナログ信号は、電流信号である必要はなく、電圧信号であってもよい。相関検知回路にコンデンサの電圧値に比例した大きさの電圧値を出力する出力部を設けることで、相関アナログ信号として電圧信号を出力することができる。
そして、相関検知回路は、第1、第2の差分パルス信号に相関がある時間帯で、コンデンサから電荷を放電させて電圧を低下させる設計になっているが、第1、第2の差分パルス信号に相関がある時間帯で、コンデンサに電荷を一定の速度で充電して電圧を上昇させる設計であってもよい。
ここで、特定の回路とは、例えば、第1のパルス信号比較回路から出力される第1の比較パルス信号が所定のパルス幅未満の場合に、予め定められたパルス幅を有するパルス信号を第1の論理回路に送信し、第1のパルス信号比較回路から出力される第1の比較パルス信号が所定のパルス幅以上の場合、第1の比較パルス信号をそのまま、第1の論理回路に送るものである。この特定の回路を設けることによって、距離を計測する対象となる被写体を特定する検出処理の簡素化を期待することができる。なお、これと同様に機能する回路が、第2のパルス信号比較回路と第2の論理回路の間にも必要となる。
この特定の回路を設けた場合でも、所定の条件で、第1の比較パルス信号が第1の論理回路に入力し、第2の比較パルス信号が第2の論理回路に入力することになるため、この特定の回路を設けた視差センサも、本発明の適用範囲であることはいうまでもない。
Claims (4)
- 距離を計測する対象となる被写体を撮像した画像を基に、複数の第1のアナログ電圧信号を出力する第1の撮像素子と、
前記第1の撮像素子とは異なる角度から前記被写体を撮像した画像を基に、複数の第2のアナログ電圧信号を出力する第2の撮像素子と、
並列に配され、前記複数の第1のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第1のパルス幅画素信号にそれぞれ変換する複数の第1のアナログ/パルス幅変調回路と、
並列に配され、前記複数の第2のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第2のパルス幅画素信号にそれぞれ変換する複数の第2のアナログ/パルス幅変調回路と、
前記複数の第1、第2のアナログ/パルス幅変調回路に、前記第1、第2のアナログ電圧信号の変換を同時に行わせる同期制御回路と、
隣り合う前記第1のアナログ/パルス幅変調回路からそれぞれ出力される2つの前記第1のパルス幅画素信号の差異を第1の比較パルス信号として、それぞれ出力する複数の第1のパルス信号比較回路と、
隣り合う前記第2のアナログ/パルス幅変調回路からそれぞれ出力される2つの前記第2のパルス幅画素信号の差異を第2の比較パルス信号として、それぞれ出力する複数の第2のパルス信号比較回路と、
第1、第2の制御パルス信号をそれぞれ出力する第1、第2の信号発信回路と、
前記各第1の比較パルス信号と前記第1の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第1の差分パルス信号としてそれぞれ出力する複数の第1の論理回路と、
前記各第2の比較パルス信号と前記第2の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第2の差分パルス信号としてそれぞれ出力する複数の第2の論理回路と、
前記複数の第1の差分パルス信号それぞれと前記複数の第2の差分パルス信号それぞれの各組み合わせに対し、前記第1、第2の差分パルス信号の相関の大きさに比例もしくは対応する相関アナログ信号を出力する相関検知回路マトリックスとを備え、
前記第1、第2の制御パルス信号の各値は、一方が0で、他方が1であることを特徴とする視差センサ。 - 請求項1記載の視差センサにおいて、前記相関検知回路マトリックスは、コンデンサと、前記第1、第2の差分パルス信号の論理積の真理値の変化に合わせて、前記コンデンサを、充放電しない状態から、充放電する状態に切り替える電流スイッチ回路部と、前記コンデンサと前記電流スイッチ回路部を接続する連結部に配され、特定の大きさの電流が流れている状態で前記コンデンサに充放電させる電流制御用トランジスタとを備えた複数の相関検知回路を有することを特徴とする視差センサ。
- 請求項2記載の視差センサにおいて、前記電流スイッチ回路部は、前記第1、第2の論理回路にそれぞれ接続された第1、第2のトランジスタを備え、該第1、第2のトランジスタ及び前記電流制御用トランジスタは、同型であることを特徴とする視差センサ。
- 第1の撮像素子で距離を計測する対象となる被写体を撮像し、複数の第1のアナログ電圧信号を出力すると同時に、第2の撮像素子で前記第1の撮像素子とは異なる角度から前記被写体を撮像し、複数の第2のアナログ電圧信号を出力する工程と、
前記複数の第1のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第1のパルス幅画素信号に、並列に配された複数の第1のアナログ/パルス幅変調回路によって、それぞれ同時に変換する処理、及び、前記複数の第2のアナログ電圧信号を、電圧値に比例するパルス幅を有した複数の第2のパルス幅画素信号に、並列に配された複数の第2のアナログ/パルス幅変調回路によって、それぞれ同時に変換する処理を同時に行う工程と、
隣り合う前記第1のアナログ/パルス幅変調回路からそれぞれ出力される2つの前記第1のパルス幅画素信号の差異を第1の比較パルス信号として出力する処理を、前記複数の第1のアナログ/パルス幅変調回路全てに対して行い、隣り合う前記第2のアナログ/パルス幅変調回路からそれぞれ出力される2つの前記第2のパルス幅画素信号の差異を第2の比較パルス信号として出力する処理を、前記複数の第2のアナログ/パルス幅変調回路全てに対して行う工程と、
前記各第1の比較パルス信号と第1の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第1の差分パルス信号として出力し、前記各第2の比較パルス信号と第2の制御パルス信号の排他論理和の値、もしくは、該排他論理和の否定値を、第2の差分パルス信号として出力する工程と、
前記複数の第1の差分パルス信号それぞれと前記複数の第2の差分パルス信号それぞれの各組み合わせに対し、前記第1、第2の差分パルス信号の相関の大きさに比例もしくは対応する相関アナログ信号を出力する工程とを有し、
前記第1、第2の制御パルス信号の各値は、一方が0で、他方が1であることを特徴とする相関信号の生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014000994A JP6238229B2 (ja) | 2014-01-07 | 2014-01-07 | 視差センサ及び相関信号の生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014000994A JP6238229B2 (ja) | 2014-01-07 | 2014-01-07 | 視差センサ及び相関信号の生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015129669A JP2015129669A (ja) | 2015-07-16 |
JP6238229B2 true JP6238229B2 (ja) | 2017-11-29 |
Family
ID=53760500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014000994A Active JP6238229B2 (ja) | 2014-01-07 | 2014-01-07 | 視差センサ及び相関信号の生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6238229B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7296550B2 (ja) * | 2021-10-01 | 2023-06-23 | 浩二 尊田 | 非ノイマン型の回路 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001169188A (ja) * | 1999-12-08 | 2001-06-22 | Toshiba Corp | クランプ回路 |
JP3962546B2 (ja) * | 2000-01-19 | 2007-08-22 | フジノン株式会社 | 測距装置 |
JP4554963B2 (ja) * | 2004-03-16 | 2010-09-29 | 裕 有馬 | 視差センサ及び視差画像の生成方法 |
JP5146959B2 (ja) * | 2008-03-27 | 2013-02-20 | 国立大学法人九州工業大学 | 視差センサおよび視差画像の生成方法 |
JP5163410B2 (ja) * | 2008-10-06 | 2013-03-13 | 株式会社ニコン | 撮像素子およびカメラ |
JP2010197227A (ja) * | 2009-02-25 | 2010-09-09 | Kyushu Institute Of Technology | イメージセンサー及びそれを用いた視差センサー並びに視差画像の生成方法 |
JP2011203192A (ja) * | 2010-03-26 | 2011-10-13 | Kyushu Institute Of Technology | 視差センサ、及び視差画像生成方法 |
JP5608436B2 (ja) * | 2010-06-22 | 2014-10-15 | ルネサスエレクトロニクス株式会社 | 可変容量素子 |
CN101876533B (zh) * | 2010-06-23 | 2011-11-30 | 北京航空航天大学 | 一种显微立体视觉校准方法 |
-
2014
- 2014-01-07 JP JP2014000994A patent/JP6238229B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015129669A (ja) | 2015-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11769775B2 (en) | Distance-measuring imaging device, distance measuring method of distance-measuring imaging device, and solid-state imaging device | |
US10690755B2 (en) | Solid-state imaging device having increased distance measurement accuracy and increased distance measurement range | |
JP6443132B2 (ja) | 演算装置 | |
CN205826866U (zh) | 测距装置及其集成*** | |
CN107852470B (zh) | 固体摄像装置的驱动方法 | |
KR20160032014A (ko) | 타임 오브 플라이트 시스템 구동 방법 | |
US9568607B2 (en) | Depth sensor and method of operating the same | |
JP6609980B2 (ja) | 光飛行時間測定装置及び光学的測距装置 | |
JP6481405B2 (ja) | 演算装置 | |
US11703594B2 (en) | Time-resolving sensor using SPAD + PPD or capacitors in pixel for range measurement | |
JP2013195344A (ja) | 飛行時間型距離センサ | |
JP6238229B2 (ja) | 視差センサ及び相関信号の生成方法 | |
US11592329B2 (en) | Photoelectric conversion apparatus, photoelectric conversion system, moving body, and testing method of photoelectric conversion apparatus | |
US11290673B2 (en) | Sensor operating based on measuring range of depth and sensing system including the same | |
US20230122042A1 (en) | Device, system, mobile object, and apparatus | |
US11172146B2 (en) | Imaging apparatus and solid-state imaging device used therein | |
CN113766159A (zh) | 图像感测装置及包括其的拍摄装置 | |
US12044802B2 (en) | Photoelectric conversion device and photoelectric conversion system comprising a control unit to set a third exposure period and a.fourth exposure period on a basis of light value comparison based on signal charge during first and second exposure periods | |
KR20140138618A (ko) | 거리 센서 및 거리 화상 센서 | |
Noohi et al. | A high-speed low-power multitask digital vision chip | |
JP2005265457A (ja) | 視差センサ及び視差画像の生成方法 | |
JP2024025283A (ja) | 測距装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171024 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6238229 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |