JP7100049B2 - 光測距システム用シストリックプロセッサシステム - Google Patents

光測距システム用シストリックプロセッサシステム Download PDF

Info

Publication number
JP7100049B2
JP7100049B2 JP2019546248A JP2019546248A JP7100049B2 JP 7100049 B2 JP7100049 B2 JP 7100049B2 JP 2019546248 A JP2019546248 A JP 2019546248A JP 2019546248 A JP2019546248 A JP 2019546248A JP 7100049 B2 JP7100049 B2 JP 7100049B2
Authority
JP
Japan
Prior art keywords
array
systolic
roic
photon
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019546248A
Other languages
English (en)
Other versions
JP2020524258A (ja
Inventor
ピーター フェルディナンド ザルード,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SRI International Inc
Original Assignee
SRI International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SRI International Inc filed Critical SRI International Inc
Publication of JP2020524258A publication Critical patent/JP2020524258A/ja
Application granted granted Critical
Publication of JP7100049B2 publication Critical patent/JP7100049B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/24Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • G01L1/241Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet by photoelastic stress analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

前置き
相互参照
本出願は、米国特許法119条に基づき、その開示の全体が参照により本明細書に組み込まれる、2017年2月28日付けで出願された「SYSTOLIC PROCESSOR FOR FOCAL PLANE GEIGER MODE APD ARRAYS」という名称の特許仮出願第62/465,040号に対して優先権を主張する。
政府の権利
本発明は、国防高等研究計画局に与えられた契約番号HR0011-13-C-0045における政府の援助で行われた。政府は、本発明に特定の権利を有する。政府は、本発明に特定の権利を有する。
技術分野
本開示の実施形態は概して、光測距システム用シストリックプロセッサシステムに関する。より詳細には、実施形態は、飛行時間測定のためにより高い分解能を有するより優れた読み出しを創出するためのLiDARシステム用シストリックプロセッサシステムに関する。
本明細書では、1または複数の光パルスで1または複数の対象の特徴を測定するシステム用の様々な方法、装置、およびシステムを提供することができる。
一実施形態では、シストリック処理は、例えば、飛行時間測定のためにより高い分解能を有するより優れた読み出しを創出するための光測距システムに使用される。受信機回路は、クロック回路と協働するアレイに配置された、アバランシェフォトダイオード(APD)などの1または複数の光検出器を含む読出し集積回路(ROIC)を備えている。読出し集積回路は、少なくとも第1の参照時間および第2の参照点で始まる飛行時間を測定するように構成されている。アレイの各行は、複数の光検出器および関連するレジスタで作ることができる。
ROICは、光検出器のシストリック処理を行う。ROICは、極めて正確な分解能で飛行時間の測定などの対象の特徴を判断するために、少なくとも、i)時間単位で、反射光パルスの初期光子がアレイ内の光検出器のそれぞれによっていつ捕捉され、ii)その光子が地理的にアレイ内のどこに配置されているかを補足し、iii)光検出器によって捕捉されるデータを走査し、その後、iv)時間単位で、クロック回路からの入力に対して光子がいつ捕捉されたのかを知るためにアルゴリズムで走査したデータを分析するように、光検出器のシストリック処理を行う。
図面は、本明細書で提供される設計のいくつかの実施形態を参照する。
図1は、例えば、飛行時間測定のためにより高い分解能を有するより優れた読み出しを創出するために、シストリック処理読出し集積回路(ROIC)で1または複数の光パルスを有する1または複数の対象の特徴を測定する例示的な光測距システムの一実施形態のブロック図である。 非同期動作におけるROICに対するシストリック処理の例示的な表示の一実施形態の図である。 非同期動作におけるROICに対するシストリック処理の例示的な表示の一実施形態の図である。 非同期動作におけるROICに対するシストリック処理の例示的な表示の一実施形態の図である。 非同期動作におけるROICに対するシストリック処理の例示的な表示の一実施形態の図である。 非同期動作におけるROICに対するシストリック処理の例示的な表示の一実施形態の図である。 非同期動作におけるROICに対するシストリック処理の例示的な表示の一実施形態の図である。 非同期動作におけるROICに対するシストリック処理の例示的な表示の一実施形態の図である。 シストリック処理ROICの一実施形態のブロック図である。 シストリック処理ROICの一実施形態のブロック図である。 図4は、例示的なシストリック処理要素の部分の一実施形態のブロック図である。 図5は、光測距システム用シストリックプロセッサシステムの一部となり得る1または複数の演算デバイスの一実施形態を示す図である。
設計は様々な変更、等価物、および代替形態の対象であり、その特定の実施形態は、図に例として示し、詳細に説明する。設計は、開示した特定の実施形態に限るものではなく、逆に、特定の実施形態を使用した全ての変更、等価物、および代替形態を含むことを意図していることを理解されたい。
以下の説明では、本設計の完全な理解を提供するために、特定のデータ信号、名称がある構成部品、フレームの数などの例として多くの特定の詳細を記載することがある。しかし、本設計をこれらの特定の詳細がなくとも実施することができることは、当業者には自明のことである。他の例では、本設計を不必要に曖昧にすることを避けるために、よく知られている構成部品または方法は、詳細に説明せず、ブロック図で説明した。さらに、第1の演算デバイスなどの特定の数的参照を行うことがある。しかし、特定の数的参照は、文字通りの順序として解釈すべきではなく、第1の演算デバイスが第2の演算デバイスとは異なるということを解釈するものである。したがって、記載した特定の詳細は単に例示的なものである。特定の詳細は、本設計の精神および範囲から変更することができるが、未だその範囲内にあると解釈することができる。「結合」という用語は、構成部品に直接、または別の構成部品を通して構成部品に間接的に接続することと定義される。
一般的に、クロック回路と協働する、アレイに配置された1または複数の光検出器を備えたROICを使用する光測距システムの1または複数の実施形態を論じる。ROICは、光検出器のシストリック処理を行うことができる。ROICは、少なくとも、i)時間単位で、反射光パルスの初期光子がアレイ内の光検出器のそれぞれによっていつ捕捉され、ii)補足する光検出器の列および行アドレスに関してその光子が地理的にアレイ内のどこに配置されているかを捕捉し、iii)アレイ内の所与の光検出器で光子が、少なくとも時間単位でいつ、地理的にどこで補足されたのかについて、光検出器によって捕捉されるデータを走査し、その後、iv)時間単位で、クロック回路からの入力に対して光子が厳密にいつ捕捉されたのかを正確に知るためにその時間と場所に関してアルゴリズムでデータを分析するように、光検出器のシストリック処理を行う。
3つの注目すべき点:1)一般的に、従前のROICアーキテクチャでは、各画素での実際の時間情報が必要であった。これは、電力損失が画素の数で線形的に増加することを意味する。代わりに、本設計では、2行以上のシストリックプロセッサ要素が、時間単位の共通のタイマ維持トラックを共有する。2)また、従前のROICアーキテクチャでは、飛行時間カウンタは、カウントサイクルの持続時間だけタイムを取る必要があり、その後、無制限にカウントし続ける必要がある。それによって、これらは時にオーバーフローするので、より高次の「時間」がROICの外側に保持される必要があるか、または、はるかに長い必要があるものの、それらは、電力損失をさらに増加させ、ROICによって生成されるデータ量を増加させる。3)また、従前のROICアーキテクチャでは、いくつかの動作サイクルなどの無駄な時間差が、光子の検出を捕捉するときと、画素がその位置で別の光子を検出することができるときとの間に存在する。代わりに、本設計では、一組の光検出器およびその関連レジスタは、対象からアレイ内のその地理的位置に戻る初期光子を検出することができ、次いで一組の光検出器およびその関連レジスタが対象からアレイ内のその地理的位置まで戻る別の光子を検出することが可能な直ぐ次のサイクルが始まる。光検出器のシストリック処理は、アレイ内でその光検出器およびその関連レジスタに対する光子を捕捉することによって、飛行時間データを記録するROICにおける無駄な時間を減少させ、それにより、反射光パルスの検出によるより高い分解能が得られる。
図1は、例えば、飛行時間測定のためにより高い分解能を有するより優れた読み出しを創出するために、シストリック処理読出し集積回路(ROIC)で1または複数の光パルスを有する1または複数の対象の特徴を測定する例示的な光測距システムの一実施形態のブロック図を示す。
LiDARシステムなどの光測距システム100は、1または複数の光パルスおよび検出した反射光子で、飛行時間測定を含む時間の測定による距離などの1または複数の対象の特徴を測定する。1または複数のレーザは、1または複数の光パルスを生成する。1または複数のカメラは、1または複数の対象物からの反射光パルス内の光子を検出する。
受信機回路は、クロック回路と協働するアレイに配置された、アバランシェフォトダイオード(APD)などの1または複数の光検出器を含むROICを備えている。ROICは、クロック回路からの入力を使用することによって、少なくとも反射光パルスの飛行時間を測定し、その後、第1の参照時間で始まり、第2の参照点で止まる飛行時間を測定するように構成されている。第1の参照点は、ノイズを除去するためである場合にはシステム予測に基づきパルスが戻ってくることを期待された時間、レーザパルスがレーザから離れる時間、またはいくつかの他の参照時点であってもよい。第2の参照点は、アレイ内の関連する光検出器が反射光パルスの光子を検出するとき、システムがその範囲のサンプリングを完了したとき、またはいくつかの他の参照時点であってもよい。アレイの各行は、複数の光検出器および関連するレジスタで作ることができる。アレイの各列も、複数の光検出器および関連するレジスタで作ることができる。
ROICは、複数のシストリックプロセッサ要素を含む。各シストリックプロセッサ要素は、固有の光検出器および関連するレジスタを有する。各シストリックプロセッサ要素は、検出した光子位置および到達時間情報を伝達するために、2つの入力、i)左側の隣接するシストリックプロセッサ要素からのシストリックプロセッサ要素の出力、およびii)アレイ内の関連する画素の列アドレスを有する。
ROICは、光検出器のシストリック処理を行う。ROICは、極めて正確な分解能で飛行時間の測定などの対象の特徴を判断するために、少なくとも、i)時間単位で、反射光パルスの初期光子がアレイ内の光検出器のそれぞれによっていつ捕捉され、ii)補足する光検出器の列および行アドレスに関してその光子が地理的にアレイ内のどこに配置されているかを捕捉し、iii)アレイ内の所与の光検出器で光子が、時間単位でいつ、地理的にどこで補足されたのかについて、光検出器によって捕捉されるデータを走査し、その後、iv)時間単位で、クロック回路からの入力に対して光子が厳密にいつ捕捉されたのかを正確に知るためにその時間と場所に関してアルゴリズムでデータを分析するように、光検出器のシストリック処理を行う。
各シストリックプロセッサ要素は、以下の通り、シストリック処理を行うことができる。
i)光子検出がない場合、データは、並列なシフトレジスタの形態のシストリックプロセッサ要素のアレイ内で左から右に進む。
ii)光子検出のイベントが起こると、作動された光検出器の列アドレスは、そのシストリックプロセッサ要素に投入され、このデータがその行に対して共通のバッファに記憶されるまでその後のクロックサイクルそれぞれで右にシリアルにシフトされる。(シストリックプロセッサへの入力で)最も左側のシストリックプロセッサ要素は、その左隣がなく、代わりに、固有の列アドレスを通過するように構成されている。
下流側分析モジュールと協働するシストリックプロセッサ要素は、レーザから対象までのその光子の飛行時間の持続時間に対する検出された光子の実際の到達時間と、その後、アレイ内の画素の反射波における初期光子の検出を決定する。
1または複数の電源は、電力をレーザ、受信機、クロック回路、およびカメラに供給する。
一実施形態では、LiDARは、(距離および空間分解能の両方で)優れた精度で距離を測定することができる。LiDARは、光パルスが対象に到達し、戻る必要がある時間の測定によって距離を測定する。LiDARは、短い光パルスを生成するレーザ、および反射光パルスを検出し、光の飛行時間を測定するカメラを備えている。APDの導入により、単一の光子、対象から戻る第1の光子、すなわち、二次反射によって反射された光子ではなく、対象とLiDARの間の最も短い経路を有する光子を検出する能力によって、LiDARの性能を著しく向上させることができる。
この設計は、平面ガイガーモードAPDアレイの各画素からタイマを取り除くシストリック処理技術を使用してもよく、それにより、電力消費を著しく減らし、より高密度のアレイを可能にするよう回路を単純化することができる。
ROICは、本明細書で論じるような多数のシステムで使用されてもよい。例えば、ROICは、伝達装置(transmitter)を備えていない受動的リスナシステムで使用されてもよい。また、ROICは、特徴を判断することができる顕微鏡のような応用例で使用されてもよい。顕微鏡およびそのようなデバイスは、戻ってくる光または対象検出に基づいて、データを取得し、サイズ、化学的構成などの特徴を得る、ROICを使用する光伝達装置を有する。また、ROICアレイは小型である。寸法は、隣接する画素間のピッチに相関することがあることに留意されたい。また、誤差はクエンチ回路によって判断することができる。
図2aから2gは、非同期動作におけるROIC200に対するシストリック処理の例示的な表示の一実施形態の図である。これらの図は、3×3画素タイルに対する一連の連続飛行時間値を示している。図では、「C」を有する第1の矩形は、その列および行アドレスでの光検出器を示し、第2の矩形は値を記憶する関連するレジスタである。関連するレジスタは、中に数字を有し、列アドレス位置を示すことができる。比較を容易にするために、これらの矩形は、図3Aおよび3Bに示した例示的なものに対応し得る。これらの図では、FIFOバッファ、フィードバックスイッチを備えた矩形の左縁部近くの底部に飛行時間カウンタが1つだけある。したがって、シストリックプロセッサ要素の2つ以上の行は、時間単位の共通のタイマ維持トラックを共有し得る。
「シストリック処理」という用語は、接続された単純なプロセッサの近傍のアレイを含む、コンピュータアーキテクチャの階層を説明するために使用することができる。データは、固定速度でパイプラインモードにおいてこれらのプロセッサを通して流れる。「シストリック処理」という用語は、光検出器および関連するレジスタのアレイの制御のための、ROIC内での例示的な構造および処理を適切に説明するので、ここで使用されている。本文脈におけるシストリック処理は、いくつかの有利な特性を有する:
各列での光子到達とシストリックプロセッサからの放出の間の遅延は、クロックサイクルの倍数である。
シストリック処理が左から右に進み、各シストリック処理要素(SPE)の遅延が1クロックサイクルである場合、また列を右から左に数えることができる場合、アルゴリズムは、光子の到達時間をシストリックプロセッサからの放出時間マイナス列数として判断することができる。
各画素(APD位置)で電子的に供給される時間情報について必要がない。時間情報は単に、シストリックプロセッサからの放出で追跡される必要がある。
SPEのサイズがlog(n)で大きくなる四角形のアレイであって、nは列の数であり、例えば、アレイ内の列の数の倍はそれぞれ、SPEの幅に1ビットを加え、同期または非同期モードでは、各画素は飛行時間カウンタの長さ(普通は、10ビット以上)に等しい固定幅を有する。繰り返しとなるが、ROICアレイは小型である。
光検出器および関連するレジスタは、反射パルスの光子が検出されるときとアレイ内で光子が収集された地理的場所を示すデータを捕捉する。したがって、データは、アレイ内における検出された光子の到達時間および位置を反映する。各サイクルでは、データは、光検出器および関連するレジスタからアレイの行を通してバッファまでシリアルにシフトし、その後、捕捉したデータを、時間単位で、光子がクロック回路からの入力、および光子が捕捉された地理的場所に対してアレイ内で捕捉された正確なときに復号化するためにアルゴリズムを使用する固有の列アドレスデコーダおよびタイムスタンプデコーダに送信する。
図2aは、0の飛行時間値から始まる。図2aは、時間0でのシストリック処理を示す。図2bおよび図2cは、次の2つのサイクルを示す。図2bは、時間1でのシストリック処理を示す。光子は検出されていない。図2cは、時間2でのシストリック処理を示す。第1の光子は、(小さい星で示された)左側の最上部SPEに到達する。また、図2cでは、光子は左側の最上部画素(C3)に到達し、その列アドレス(C3)の値はシストリックプロセッサにローディングされる。この光子は2時間単位に等しい飛行時間に到達したことに留意されたい。図2dは、時間3でのシストリック処理を示す。2つ以上の光子が、アレイの第2の行における列C2およびC1に到達する。また、第1の光子に対するデータは、シストリックプロセッサを通して右側に1ステップ移動する。したがって、2つ以上の光子が到達し、それぞれの列アドレスが、シストリックプロセッサのレジスタにローディングされる。同じ時間の間、前の光子の列アドレスは、シストリック処理パイプラインを通して右に1ステップシフトする。これらの2つの光子が3時間単位に等しい飛行時間に到達したことに留意されたい。図2eは、時間4でのシストリック処理を示す。光子を示すデータは、シストリックプロセッサから出て、飛行時間カウンタC1-4の現在の値が付される。したがって、シストリックプロセッサは、そのコンテンツを右に1ステップ移動させる。これにより、シストリックプロセッサからの最も右側の光子列アドレスに移動し、この点で、列アドレスは現在の飛行時間値が付される。この過程は、「タイムスタンプ」と言うことができる。図2fは、時間5でのシストリック処理を示す。2つ以上の光子を示すデータは、シストリックプロセッサから出て、C3-5およびC2-5と「タイムスタンプ」される。また、他の検出光子C1-4に対するデータはFIFOバッファに入る。したがって、残りの2つの光子をタイムスタンプすることができ、前にタイムスタンプされた光子は、FIFOバッファに書き込まれる。図2gは、時間6でのシストリック処理を示す。3つの光子全てに対するデータが、FIFOバッファに書き込まれる。したがって、図2gでは、最後の2つの光子をFIFOバッファに書き込むことができる。
次に、異なるデコーダモジュールはFIFOのコンテンツを検査することができる。上部の行では、システムは行1列アドレス3からの光子が時間5でシストリックプロセッサから出た記録を有する。下の行、行2では、システムは2つの光子の記録を有する。行2、列1からの1つの記録が時間4で出る。行2、列2からの第2の記録が時間5で出る。アルゴリズムは、行1で第1の到達光子に対して5-3=2(時間単位)、および行2からの他の2つの光子に対して4-1=3(時間単位)および5-2=3(時間単位)として実際の光子到達時間を算出することができる。
アレイを構成する行および列の各光検出器は、単一の光子を検出する能力を有し、したがって、二次反射によって反射されるあらゆる光子を検出するというよりむしろ、アレイ内のその地理的位置に対象から戻る第1/初期の光子を検出する能力を有する。また、直近のサイクルの始まりにおいて、一組の光検出器および関連するレジスタが、アレイ内のその地理的位置に対象から戻る別の光子を検出することが可能である。光検出器のシストリック処理は、画素のアレイ内のその画素に対する光子を捕捉することによって、飛行時間データを記録するために、ROICの無駄な時間を減少させることができ、それにより、反射光パルスの検出によるより高い分解能/改良された測定が得られる。
3つの注目すべき点:1)本設計では、2行以上のシストリックプロセッサ要素が、時間単位の共通のタイマ維持トラックを共有する。2)従前のROICアーキテクチャでは、飛行時間カウンタは、カウントサイクルの持続時間だけタイムを取る必要があり、その後、無制限にカウントし続ける必要がある。それによって、これらは時にオーバーフローするので、より高次の「時間」がROICの外側に保持される必要があるか、または、はるかに長い必要があるものの、それらは電力損失を増加させ、ROICによって生成されるデータ量を増加させる。3)また、従前のROICアーキテクチャでは、いくつかの動作サイクルなどの無駄な時間差が、光子の検出を捕捉するときと、画素がその位置で別の光子を検出することができるときとの間に存在する。代わりに、本設計では、一組の光検出器およびその関連レジスタは、対象からアレイ内のその地理的位置に戻る初期光子を検出することができ、次いで一組の光検出器およびその関連レジスタが対象からアレイ内のその地理的位置まで戻る別の光子を検出することが可能な直ぐ次のサイクルが始まる。
図3Aおよび3Bは、シストリック処理ROICの一実施形態を示す。図3Aからのシストリック処理ROICの構成部品は、図3B内に続く。システム300は、シストリック処理要素(SPE)、タイムスタンプブロック(TS)、行FIFO、ラウンドロビンアービタ、ポートFIFO、シリアライザおよびLVDSドライバを含むシストリックプロセッサを備えている。熟練したFPGA設計者は、管理のために、これらのブロックをマルチポート市販SRAMおよび対応するアルゴリズムに置換することができる。
シストリック処理要素
各画素(光検出器位置)は、それに関連する1つのSPEを有し、接続されたSPEの全ての行は画素の1つの行に対応している。各SPEは、2つの入力、左側の隣からのSPE出力、およびその関連する画素の列アドレスを有する。(シストリックプロセッサへの入力において)最も左側のSPEは、左側に隣がなく、代わりに、固有の列アドレスを通過するように構成されている。光子検出がない場合、情報は左から右に進み、SPEのチェーンは並列シフトレジスタを形成する。光子検出のイベントの場合、活性化された画素の列アドレスは、そのSPEに投入され、次のクロックサイクルで右にシフトされる。
アレイ内の第1の行に対する第1のタイムスタンプブロック、第2の行に対する第2のタイムスタンプブロックなどは全て、クロック回路からの共通の時間参照入力を受信する。各タイムスタンプブロックは、タイムカウンタ(タイマ)およびタイムスタンプ(TS)と呼ばれるコンテンツを備えた関連するシャドウタイマレジスタからなる。各タイムスタンプブロックは、パイプライン列アドレスレジスタ(CA)と協働する。タグ付けされた列アドレスのデータフローがタイムスタンプブロックを通過する場合、タイムカウンタの瞬間値が、検出された光子の位置および到達時間を示すように、列アドレスレジスタからの列アドレスに付される。各タイムスタンプデコーダは、クロック回路から共通の時間参照入力を受信する。
上記SPEで一連のチェーンによって形成されたシストリックプロセッサは、アドレスが光子の検出を反映することを示す光子タグを備えた列アドレスの一定フローを作り出す。このフローは、タイムスタンプデコーダブロックに示される。
タイムスタンプ
タイムスタンプブロック(図3B参照)はそれぞれ、タイムカウンタ(タイマ)、タイムスタンプ(TS)と呼ばれるコンテンツを備えたシャドウタイマレジスタ、およびパイプライン列アドレスレジスタ(CA)を備えている。タグ付けされた列アドレスのフローがタイムスタンプブロックを通過すると、タイマの瞬間値は、列アドレスに付される(列アドレスがタイムスタンプされる)。位置および到達時間の両方が知られている必要があるので、結果は光子タグと共に通過される。
タイマのタイミング能力は、その幅によって制限される。本構成では、タイマ幅は、例えば、10ビットである。より長い露出時間では、タイマは周期的にオーバーフローする。タイムスタンプブロックは、タイマのオーバーフローを監視し、TSおよびCAのコンテンツ全体を後続のロジックブロックへのタイマオーバーフローを示す独自のビット組合せと置き換える。
留意点:上記シストリック処理原理および概念は、到達情報の検出された光子位置および時間を生成および維持することが十分可能であることに留意されたい。しかし、選択されたIC過程によって維持可能な最大クロック速度が十分な時間分解能を提供しない場合がある。このような場合、本明細書に記載されたフェーズシフト方法を利用することができる。クロック回路は、互いに対して90度シフトされ、アレイ内の各画素に分配される、同じ周波数で生成された少なくとも2つのクロック信号を有する。これらのクロック信号は、全ての画素で2つ以上のラッチによって追跡される。光子の到達の検出の始まりに、2つのラッチは2つのクロック信号の瞬時状態を捕捉するラッチモードにスイッチされる。少なくとも2つのクロック信号は90度シフトされたクロックであるので、1つのクロックサイクルに対応する各サイクル内の少なくとも4つの二値の組合せにつながることに留意されたい。タイムスタンプブロックは、1つのクロックサイクルの四分円内に光子到達時間を区別するように構成され、したがって、クロック信号の周波数の少なくとも4倍だけ時間分解能を増加させる。
本実施例では、1GHzのクロックが使用されるが、所望の分解能は250psである。これを達成するために、互いに対して90度シフトされる2つの1GHzクロックは、各画素に分配することができる。これらのクロックは全ての画素で2つのラッチによって追跡することができる。光子到達検出の始めに、これらの2つのラッチは、2つのクロックの瞬時状態を捕捉するラッチモードにスイッチされることができる。2つの90度シフトクロックが各1ナノ秒サイクル内で4つの二値の組合せにつながるので、光子到達時間はさらに1ナノ秒サイクルの四分円内に区別することができる。これらの2つのビットのラッチ状態は、シストリックプロセッサ内の列アドレスに付され、タイムスタンプブロックでタイムスタンプに付される。IC過程が4GHzのクロック周波数を援助することができ、タイマブロックの幅が2ビット増加する場合、2つの90度シフトクロックなしで、また各画素でのラッチなしでも同一の結果が得られることに留意されたい。
行FIFO
一実施例では、最大数の出力LVDSポートが、4つのタイムスタンプ出力経路(画素行)を1つのポートに組み合わせる。ピーク瞬時スループット需要を受け入れるために、各行の出力に比較的浅いFIFOがある。光の均一およびガウス分配でのモデリングにより、4ワードの深さが十分であることが明らかになった。行FIFOは、シリアライザの能力がデータ流出を制限し始める場合に、光強度のみでオーバーフローし始める。このような場合に行FIFOの深さを増加させることは経路の能力を増加させず、オーバーフローが始まるのを遅らせるだけである。
オーバーフローの場合、行FIFOはそのコンテンツを保存し、余分な光子タイムスタンプを単に処分する。目立った例外は、処分することができないタイマオーバーフローインディケータであり、それによって、必要に応じて行FIFOの上部を上書きする。
ラウンドロビンアービタ
一実施形態では、行FIFOからの読出しを、ラウンドロビンアービタによって制御することができる。ラウンドロビンアービタは、4つの行FIFOからの読出しリクエスト、およびポートFIFOからのFIFOフルインディケータを監視する。ラウンドロビンアービタは、現在の状態に基づき、4つの行FIFOの間で仲裁する単純なシーケンサを備えている。ポートFIFOが完全ではなく、4つの行FIFO全てが読出しをリクエストしている場合、アービタは、ラウンドロビンシーケンス内でこれらのリスエストに応じる(したがって、ラウンドロビンアービタという名前である)。4つの行FIFO全てが読取をリクエストしているわけではない場合、ラウンドロビンシーケンスが省略される、すなわち、ポートFIFO入力能力を最大限に利用するために、空の行FIFOをスキップすることができる。最終的に、1つの行FIFOだけがコンテンツを有する場合、1クロックサイクル速度毎に1トランスファーでポートFIFOに移動させる。ラウンドロビンアービタはどの行FIFOが使用されているかを知っているので、行FIFOコンテンツに行アドレスを示す追加の2ビットを付す。それによって、ポートFIFOの入力では、各光子到達イベントは、タイムスタンプ、列アドレスおよび行アドレスによって識別される。
ポートFIFO
ポートFIFOの機能は、シストリックプロセッサの瞬時ピークスループット需要をシリアルLVDSポートの最大移動能力と速度マッチさせることである。行FIFOに使用される同じモデリングは、総計の光子到達速度がシリアルポートの能力より低い限り、16ワードのポートFIFO深さがランダム光子到達速度での場合において98%を超えてピーク需要を満たすことを示唆している。総計光子到達速度がシリアルポート能力を超えると、ポートFIFOは、その深さに関わらず、次第にオーバーフローし、排出するのに過剰な時間がかかる。
ポートFIFOは、オーバーフローが起きないので、基本FIFO構造である。ラウンドロビンアービタは、単にフルポートFIFOへの書き込みを停止し、行FIFOにオーバーフロー問題を転送する。
ポートFIFOからの読出しは、シリアライザによって制御することができる。シリアライザは、前の文字の終わりで、ポートFIFOから新しいコンテンツをフェッチする。ポートFIFOが空であるときにシリアライザが新しい文字を必要とする場合、アイドル文字、有効な光子到達文字で起こることがない1と0の固有の文字列を生成し、受信機をロックし、次の有効データに対して準備したままにする。
図4は、シストリック処理要素の例示的部分の一実施形態のブロック図を示す。各シストリックプロセッサ要素はさらに、検出した光子到達およびその列および行アドレスを反映したデータをアレイを通してシリアルにシフトするために、i)その入力にマルチプレクサまたは等価ブール論理ゲートと、ii)ローカル列アドレス(CAxx)の発生器と、iii)マルチプレクサ入力セレクタロジック(SEL)とを備えている。
詳細には、2つの隣接するSPE400を示す図4を参照のこと。シストリック処理要素は、入力に2:1マルチプレクサ(2:1MUX)を有するレジスタ(REG)、ローカル列アドレス(CAxx)の発生器、およびマルチプレクサ入力セレクタロジック(SEL)を備えている。REGの幅は、シストリックプロセッサチェーンの長さに左右される。本構成では、各シストリックプロセッサチェーンによって処理される画素の数は16であり、それによって、REGの幅は4ビット(log16=4)である。さらに、REGのアドレスコンテンツが検出した光子到達(光子タグ)を反映しているかどうかを示す追加のビット(図4の上部に示す)がある。2:1MUXは、左の隣からのREGのコンテンツ、またはその独自の画素の列アドレスのいずれかを通過させる。CAxx列アドレス発生器は、配線され(VSSおよびVDDタイの組合せ)、さらに省電力化することができる。SELブロックは、その左隣および独自の画素からの光子タグを監視する。デフォルトSEL出力は、隣の光子タグに関わらず、隣のコンテンツを選択する。独自の画素が光子を検出した場合にのみ、SELは1サイクルに対してそのCAxxを投入する。明らかに、隣とその独自の画素両方が同じクロックサイクル中にREGへのアクセスを主張する場合に、相反する需要がある可能性がある。本構成では、周辺を犠牲にしてイメージャの中心からの画素を好むように、隣が優先される。
一実施形態では、光検出器は平面ガイガーモードアバランシェフォトダイオード(APD)アレイであり、ROICは、光検出器としてAPDのアレイ、およびガイガーモード動作を制御する回路を含むように構成され、第1のセットのAPDおよび関連するレジスタはこのAPDおよび関連するレジスタをバイパスするためのバイパス回路を有し、それによって、データは、アレイの所与の行で、欠陥のあるセットのAPDおよび関連するレジスタを通してシリアルにシフトすることができる。
応用例
同期および非同期ガイガーモードAPD平面アレイは両方とも、空中および地上ベース3D画像化、測距、マッピング、衝突回避、ターゲティングなどのためにLiDARで使用することができる。3D画像化の利点は、例えば、濃い熱帯の枝葉の下に隠された対象の検出で示されてきた。より最近では、公道を使用した自律走行車両の早期実験により、LiDARは360°レーダー、受動ビデオカメラなどの他のセンサの能力を増大させるのに必要であることが提案されている。
熱損失および回路複雑性は、ガイガーモードで動作される既存の平面APDアレイの最大サイズおよび最小画素ピッチまで限定する可能性がある。このような限定は、全ての画素で飛行時間情報を必要とする既存のROICアーキテクチャの結果である。今日報告されている最新のアレイは、50μmの画素ピッチのサイズで256×64画素であり、飛行時間測定は1から2マイクロ秒に限定することができる。電力消費は、ミッションの持続時間を制限し、画素ピッチは、カメラの重量および費用を増加させる大きなレンズの使用を必要とする。将来における本技術のより幅広い産業展開は、小さい画素ピッチおよび大きい空間分解能(より高い画素カウント)と組み合わせられた電力消費の減少に左右される。
略語のリスト
APD-アバランシェフォトダイオード:光電流のアバランシェ乗算を利用するように設計されたフォトダイオード。逆バイアス電圧が降伏電圧に近づくと、吸着された光子によって作り出されたホール電子対は、イオンに衝突する場合に追加のホール電子対を作り出すのに十分なエネルギーを得るために強い電界によって加速し、したがって、生成された電流を乗算する。
ガイガーモード(Geiger mode)-APDは2つのモード、線形およびガイガーモードで動作させることができる。線形モードでは、APDバイアスはアバランシェをトリガするのに十分ではなく、APDはゲイン(普通は、1から5までの間)で動作する。ガイガーモードでは、APDバイアスは、アバランシェをトリガするのに十分なレベルとこれを急冷するレベルの間で機敏に制御される。このモードでは、APDは100から1000までの間の光電流ゲインを示す。
ROIC(Read-Out Integrated Circuit)-読出し集積回路:画素内デジタル化およびデジタル読出を行う標準的な鋳造CMOS過程を利用した集積回路。ROICは、フォトダイオードのアレイ(フォトダイオードのタイプは変化する)にハイブリッド化することができ、APDの場合、ガイガーモード動作を制御する回路を備える。
LiDAR(Light imaging, Detection And Ranging)-光画像化、検出および測距:レーザ光インパルスで対象を照らし、戻された(反射した)光の飛行時間を測定することによって距離を測定する。地質学、農学、考古学、気象学、物理学および天文学、軍事、さらに最近では自動車業界によって自律走行車両で、高い分解能3Dマップを作るために使用される。
図5は、光測距システム用シストリックプロセッサシステムの一部となり得る1または複数の演算デバイス900の一実施形態を示す。演算デバイスは、指示を実行する1または複数のプロセッサまたは処理ユニット920、情報を記憶する1または複数のメモリ930-932、演算デバイス900のユーザからデータ入力を受信する1または複数のデータ入力構成部品960-963、管理モジュールを含む1または複数のモジュール、演算デバイスの外部で他の演算デバイスと通信する通信リンクを確立するネットワークインターフェイス通信回路970、センサからの出力が特定のトリガ状態を感知し、その後、これに応じて1または複数のプログラミングされた動作を生成するために使用される1または複数のセンサ、1または複数のメモリ930-932に記憶された情報の少なくとも一部を表示する表示画面991、および他の構成部品を備えてもよい。ソフトウェア944、945、946内で実施される本システムの部分は、1または複数のメモリ930-932に記憶することができ、1または複数のプロセッサ920によって実行される。
システムメモリ930は、読取専用メモリ(ROM)931およびランダムアクセスメモリ(RAM)932などの揮発性および/または不揮発性メモリの形のコンピュータ記憶媒体を備えている。これらの演算機械読取可能媒体は、演算システム900によってアクセスすることができるあらゆる市販の媒体であってもよい。例として、これに限らないが、演算機械読取可能媒体使用は、コンピュータ読取可能指示、データ構造、他の実行可能ソフトウェア、または他のデータなどの情報の記憶を含む。コンピュータ記憶媒体としては、これに限らないが、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)または他の光学ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶デバイス、または、所望の情報を記憶するために使用することができ、演算デバイス900によってアクセスすることができる他の有形媒体が挙げられる。無線チャネルなどの一時媒体は、機械読取可能媒体には含まれない。通信媒体は典型的には、コンピュータ読取可能指示、データ構造、他の実行可能ソフトウェア、または他の輸送機構を具体化し、あらゆる情報運搬媒体を備える。
システムはさらに、開始中などに、演算システム900内の要素の間に情報を転送するのを助ける基本的ルーティンを含む基本的入出力システム933(BIOS)を備え、典型的にはROM931に記憶される。RAM932は典型的には、処理ユニット920に直ぐにアクセス可能である、および/またはそれによって現在動作されているデータおよび/またはソフトウェアを含んでいる。これに限らないが、例として、RAM932は、オペレーティングシステム934の一部、アプリケーションプログラム935、他の実行可能ソフトウェア936、およびプログラムデータ937を含むことができる。
演算システム900はまた、他の着脱可能/着脱不可能な揮発性/不揮発性コンピュータ記憶媒体を含むことができる。単に例として、システムは固体メモリ941を有する。固体メモリ941は典型的には、インターフェイス940などの着脱不可能なメモリインターフェイスを通してシステムバス921に接続され、USBドライブ951は典型的には、インターフェイス950などの着脱可能なメモリインターフェイスによってシステムバス921に接続されている。
ユーザは、キーボード、タッチスクリーン、またはソフトウェアまたはハードウェア入力ボタン962などの入力デバイス、マイク963、マウス、トラックボールまたはタッチパッドなどのポインティングデバイスおよび/またはスクロール入力構成部品を通して、演算システム900にコマンドおよび情報を入力することができる。これら、および他の入力デバイスはしばしば、システムバス921に結合されたユーザ入力インターフェイス960を通して処理ユニット920に接続されるが、並列ポート、ゲームポート、またはユニバーサルシリアルバス(USB)などの他のインターフェイスおよびバス構造によって接続することができる。表示モニタ991または他のタイプの表示画面デバイスはまた、表示インターフェイス990などのインターフェイスを介してシステムバス921に接続される。モニタ991に加えて、演算デバイスはまた、スピーカ997、バイブレータ999などの他の周辺出力デバイス、および出力周辺インターフェイス995を通して接続することができる他の出力デバイスを備えることができる。
演算システム900は、遠隔演算システム980などの1または複数の遠隔コンピュータ/クライアントデバイスへの論理接続を使用してネットワーク化環境で動作することができる。遠隔演算システム980は、パーソナルコンピュータ、携帯演算デバイス、サーバ、ルータ、ネットワークPC、ピアデバイス、または他の共通のネットワークノードであってもよく、典型的には、演算システム900に対して上に記載した要素の多くまたは全てを備えている。図5に示した論理接続は、パーソナルエリアネットワーク(PAN)972(例えば、ブルートゥース(登録商標))、ローカルエリアネットワーク(LAN)971(例えば、Wi-Fi)、およびワイドエリアネットワーク(WAN)973(例えば、携帯ネットワーク)を含むことができるが、パーソナルエリアネットワーク(例えば、ブルートゥース(登録商標))などの他のネットワークを含むことができる。このようなネットワーク環境は、職場、会社コンピュータネットワーク、イントラネットおよびインターネットで普通である。ブラウザアプリケーションは、演算デバイスにあり、メモリ内に記憶されることがある。
LANネットワーク環境で使用される場合、演算システム900は、例えば、ブルートゥース(登録商標)またはWi-Fiアダプタである可能性がある、ネットワークインターフェイス970を通してLAN971に接続されている。WANネットワーク環境(例えば、インターネット)で使用される場合、演算システム900は典型的には、WAN973上の通信を確立する何らかの手段を備えている。携帯遠隔通信技術に関し、例えば、内部または外部にある可能性がある無線インターフェイスは、ネットワークインターフェイス970、または他の適当な機構を介してシステムバス921に接続することができる。ネットワーク化環境では、演算システム900、またはその部分に対して示された他のソフトウェアは、遠隔メモリ記憶デバイスに記憶することができる。例として、これに限らないが、システムは、遠隔演算デバイス980上にある遠隔アプリケーションプログラム985を有する。示したネットワーク接続は、使用することができる演算デバイス間の通信リンクを確立する例および他の手段であることを理解されたい。
論じたように、演算システム900は、処理ユニット920、メモリ(例えば、ROM931、RAM932など)、演算デバイスに電力を与える埋め込み式電池、電池に充電するためのAC電力入力、表示画面、ネットワークに接続された遠隔演算デバイスと無線通信する埋め込み式Wi-Fi回路を備えた携帯デバイスを含むことができる。
本設計は、図5を参照して記載したように、演算システム上で行うことができることに留意されたい。しかし、本設計は、サーバ、メッセージ処理専用の演算デバイス、または本設計の異なる部分が分散型演算システムの異なる部分で行われる分散型システムで行うことができる。
いくつかの実施形態では、本明細書で論じられたアルゴリズムを容易にするために使用されるソフトウェアは、持続性機械読取可能媒体上で具体化することができる。機械読取可能媒体は、機械(例えば、コンピュータ)によって読取可能な形で情報を記憶するあらゆる機構を備えている。例えば、持続性機械読取可能媒体としては、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、デジタル多用途ディスク(DVD)、EPROM、EEPROM、FLASHメモリ、磁気または光学カード、または電子指示を記憶するのに適切なあらゆるタイプの媒体が挙げることができる。
本明細書に記載した応用例としては、これに限らないが、ソフトウェア応用例、携帯応用例、およびオペレーティングシステム応用例の一部であるプログラムが挙げられることに留意されたい。この説明のいくつかの部分は、コンピュータメモリ内のデータビット上の動作のアルゴリズムおよび記号表示で示されている。これらのアルゴリズム記述および表示は、その他の当業者に作業の内容を最も効果的に伝えるために、データ処理業界の当業者によって使用される手段である。アルゴリズムはここでは、また、普通、所望の結果につながる一貫した一連のステップであると考えられる。ステップは、物理量の物理的操作を必要とするものである。必ずではないが、普通、これらの量は、記憶する、伝達する、組み合わせる、比較する、あるいは操作することが可能な電気または磁気信号の形をとる。時々、基本的に共通使用の理由で、これらの信号をビット、値、要素、記号、文字、用語、数などと呼ぶことが便利であることが証明された。これらのアルゴリズムは、C、C+、HTTP、Java、または他の同様の言語などの多くの異なるソフトウェアプログラミング言語で書くことができる。また、アルゴリズムは、ソフトウェア内のコードのライン、ソフトウェア内の構成論理ゲート、または両方の組合せで実施することができる。一実施形態では、ロジックは、ブール論理の法則にしたがう電子回路、指示のパターンを含むソフトウェア、または両方のあらゆる組合せからなる。ソフトウェア内で実施されるアルゴリズムのあらゆる部分を、メモリの一部で実行可能なフォーマットに記憶することができ、1または複数のプロセッサによって実行される。
しかし、これらおよび同様の用語の全ては、適当な物理量に関連するものであり、単に、これらの量に適用された便利なラベルであることに留意すべきである。上記記載から明らかにそうでないと特に示していない限り、明細書全体を通して、「処理する」または「演算する」または「算出する」または「判断する」または「表示する」などの用語を使用した記載は、コンピュータシステム、またはコンピュータシステムのレジスタおよびメモリ内の物理的(電子的)量として代表されるデータを、コンピュータシステムメモリまたはレジスタ、またはこのような情報記憶、伝達または表示デバイス内の物理的量として同様に代表される他のデータに操作および変換する同様の電子演算デバイスの動作および過程のことを言うことが分かる。
電子ハードウェア構成部品によって行われる多くの機能は、ソフトウェアエミュレーションによって複製することができる。したがって、これらの同じ機能を達成するために書き込まれたソフトウェアプログラムは、入出力回路内のハードウェア構成部品の機能をエミュレーションすることができる。したがって、前述のシステムの演算デバイス上で1または複数のプロセッサによって実行される場合、演算デバイスに本明細書に記載するように概説される動作を行うようにさせる、指示およびデータを記憶するように構成された1または複数の持続性機械読取可能媒体が本明細書で提供される。
「一実施形態」、「一実施例」などへの明細書での言及は、記載した実施形態または実施例は、特定の機構、構造、または特徴を含むことがあるが、全ての実施形態は、特定の機構、構造または特徴を含むものではないことを示す。このような表現は必ずしも、同じ実施形態のことを言うものではない。さらに、特定の機構、構造、または特徴が実施形態に関連して説明されている場合、明示的に示されているかどうかに関わらず、他の実施形態に関連してこのような機構、構造、または特徴に影響を与えることは、当業者の知識の範囲内であると考えられる。
その前述の設計および実施形態をかなり詳細に提供したが、本明細書に記載した設計および実施形態を限定することは出願人の意図するものではない。追加の適応および/または変更が可能であり、より幅広い態様では、これらの適応および/または変更も包含される。したがって、適当に解釈された場合に、特許請求の範囲によってのみ限定される、以下の特許請求の範囲で提供される範囲から逸脱することなく、前述の設計および実施形態に変更を行うことができる。

Claims (20)

  1. 1または複数の光パルスで1または複数の対象物の存在を測定するシステムであって、
    前記1または複数の光パルスを生成するように構成された1または複数のレーザと、
    前記1または複数のターゲット対象物からの反射光パルスを受け取るように構成された1または複数のカメラと、
    前記カメラ内にあって、クロック回路と協働し、アレイに配置された1または複数の光検出器を備えた読出し集積回路(ROIC)を有する受信機回路であって、
    前記ROICは、前記クロック回路からのクロック信号を使用することによって少なくとも第1の参照で始まり第2の参照点で止まる前記反射光パルスの飛行時間を測定するように構成され、
    前記ROICは、前記光検出器のシストリック処理を行うように構成され、
    前記ROICは、少なくとも、i)前記反射光パルスの初期光子が前記アレイ内の前記光検出器のそれぞれによって捕捉されたか、ii)前記光子が地理的に前記アレイ内のどこに配置されているかを捕捉し、iii)前記光検出器によって捕捉されるデータを走査し、その後、iv)時間単位で、前記クロック回路からの前記入力に対して前記光子がいつ捕捉されたのかを知るためのアルゴリズムで走査した前記データを分析するように、前記光検出器の前記シストリック処理を行う、受信機回路と、
    前記レーザ、前記受信機回路、前記クロック回路および前記カメラに電力を供給するように構成された1または複数の電源と、を備えた、システム。
  2. 前記光検出器および関連するレジスタは、前記反射パルスの前記光子が検出されたことと前記アレイ内で前記光子が収集された地理的場所を示すデータを捕捉するように構成され、前記アレイ内の前記光検出器および関連するレジスタは、前記データを前記アレイの行を通して前記クロック信号のクロックサイクルでバッファまでシリアルにシフトするように構成され、次いで前記バッファは、捕捉した前記データを固有の列アドレスデコーダおよびタイムスタンプデコーダに送信し、前記シフトは、前記時間単位で、前記クロック回路からの前記クロック信号に対して前記アレイ内で前記光子が捕捉されたときと、前記光子が捕捉された地理的位置とを知る前記アルゴリズムを使用するタイミング回路と同期され、各タイムスタンプデコーダは、前記クロック回路から共通の時間参照クロック信号を受信する、請求項1に記載のシステム
  3. 前記システムはLiDARシステムであり、前記アレイの各行は複数の光検出器および関連するレジスタで構成され、前記アレイの各列も複数の光検出器および関連するレジスタで構成されている、請求項1に記載のシステム
  4. 前記ROICは複数のシストリックプロセッサ要素を含み、各シストリックプロセッサ要素は独自の光検出器および関連するレジスタを有し、各シストリックプロセッサ要素は、検出した光子位置および到達時間情報を伝達するために、2つの入力:i)左側の隣接するシストリックプロセッサ要素からのシストリックプロセッサ要素の出力、およびii)前記アレイ内の関連する画素の列アドレスを有する、請求項3に記載のシステム
  5. 各シストリックプロセッサ要素はさらに、検出した光子到達およびその列および行アドレスを反映した前記データを前記アレイを通してシリアルにシフトするために、i)その入力にマルチプレクサまたは等価ブール論理ゲートと、ii)ローカル列アドレスの発生器と、iii)マルチプレクサ入力セレクタロジックと、を備えている、請求項4に記載のシステム
  6. 前記アレイ内の第1の行に対する第1のタイムスタンプブロックおよび第2の行に対する第2のタイムスタンプブロックの両方は、前記クロック回路から共通の時間参照となるクロック信号を受信し、各タイムスタンプブロックは、タイムスタンプと呼ばれるコンテンツを備えたタイムカウンタおよび関連するシャドウタイマレジスタからなり、パイプライン列アドレスレジスタと協働し、タグ付けされた列アドレスのデータフローが前記タイムスタンプブロックを通過する場合、前記タイムカウンタの瞬間値が、前記検出された光子の位置および到達時間を示すように、前記パイプライン列アドレスレジスタからの列アドレスに付される、請求項1に記載のシステム
  7. 前記光検出器は平面ガイガーモードアバランシェフォトダイオード(APD)アレイであり、前記ROICは、前記光検出器としてAPDのアレイおよびガイガーモード動作を制御する回路を含むように構成され、第1のセットのAPDおよびその関連するレジスタは、このAPDおよび関連するレジスタをバイパスするためのバイパス回路を有し、それによって、前記データは、前記アレイの所与の行で欠陥のあるセットのAPDおよび関連するレジスタを通してシリアルにシフトすることができる、請求項1に記載のシステム
  8. 前記ROICは複数のシストリックプロセッサ要素を含み、各シストリックプロセッサ要素は独自の光検出器および関連するレジスタを有し、各シストリックプロセッサ要素は、i)光子検出がない場合、前記データは、並列なシフトレジスタの形態のシストリックプロセッサ要素の前記アレイ内で左から右に進み、ii)光子検出のイベントが起こると、作動された光検出器の列アドレスは、そのシストリックプロセッサ要素に投入され、このデータがその行に対して共通のバッファに記憶されるまでその後の各クロックサイクルで右にシリアルにシフトされるという前記シストリック処理を行うように構成され、
    2行以上のシストリックプロセッサ要素が、前記時間単位の共通のタイマ維持トラックを共有する、請求項1に記載のシステム
  9. 前記光検出器の前記シストリック処理は、前記アレイ内でその光検出器およびその関連レジスタに対する光子を捕捉することによって飛行時間データを記録する前記ROICの無駄な時間を減少させ、それにより、前記反射光パルスの検出によるより高い分解能が得られる、請求項2に記載のシステム
  10. 1または複数の光パルスで1または複数の対象物の特徴を測定するシステムを使用する方法であって、
    前記1または複数の光パルスを生成するステップと、
    前記1または複数のターゲット対象物からの反射光パルスを検出するステップと、
    クロック回路と協働し、アレイに配置された1または複数の光検出器を備えた読出し集積回路(ROIC)を有する受信機を使用するステップであって、
    前記ROICは、前記クロック回路からのクロック信号を使用することによって少なくとも第1の参照で始まり第2の参照点で止まる前記飛行時間を測定するように構成され、
    前記ROICは、前記光検出器のシストリック処理を行うように構成され、
    前記ROICは、少なくとも、i)反射光パルスの初期光子が前記アレイ内の前記光検出器のそれぞれによって捕捉されたか、ii)その光子が地理的に前記アレイ内のどこに配置されているかを捕捉し、iii)前記アレイ内の所与の前記光検出器で前記光子が、捕捉されたか、地理的にどこで補足されたのかについて、前記検出器によって捕捉されるデータを走査し、その後、iv)時間単位で、前記クロック回路からの前記クロック信号に対して前記光子がいつ捕捉されたのかを知るためのアルゴリズムで、走査した前記データを分析するように、前記光検出器の前記シストリック処理を行う、ステップとを含む方法。
  11. 反射パルスの光子が検出されたことと前記アレイ内で前記光子が収集された地理的場所を示すデータを捕捉するステップであって、前記データを前記光検出器および関連するレジスタから前記アレイの行を通して前記クロック信号のクロックサイクルでバッファまでシリアルにシフトし、次いで前記バッファは、捕捉した前記データを、前記時間単位で、前記クロック回路からの前記入力に対して前記アレイ内で前記光子が補足されたときと、前記光子が捕捉された地理的位置とを知る前記アルゴリズムを使用する固有の列アドレスデコーダおよびタイムスタンプデコーダに送信する、ステップをさらに含む、請求項10に記載の方法。
  12. 前記システムはLiDARシステムであり、前記アレイの各行は複数の光検出器および関連するレジスタで構成され、前記アレイの各列も複数の光検出器および関連するレジスタで構成されている、請求項10に記載の方法。
  13. 前記ROICは複数のシストリックプロセッサ要素を含み、各シストリックプロセッサ要素は独自の光検出器および関連するレジスタを有し、各シストリックプロセッサ要素は、検出した光子位置および到達時間情報を伝達するために、2つの入力:i)左側の隣接するシストリックプロセッサ要素からのシストリックプロセッサ要素の出力、およびii)前記アレイ内の関連する画素の列アドレスを有する、請求項12に記載の方法。
  14. 前記アレイ内の第1の行に対する第1のタイムスタンプブロックおよび第2の行に対する第2のタイムスタンプブロックに前記クロック回路から共通の時間参照入力を供給するステップであって、各タイムスタンプブロックは、タイムスタンプと呼ばれるコンテンツを備えたタイムカウンタおよび関連するシャドウタイマレジスタからなり、パイプライン列アドレスレジスタと協働し、タグ付けされた列アドレスのデータフローが前記タイムスタンプブロックを通過する場合、前記タイムカウンタの瞬間値が、検出された前記光子の位置および到達時間を示すように、列アドレスに付される、ステップをさらに含む、請求項10に記載の方法。
  15. 互いに対して90度シフトされ、前記アレイ内の各画素に分配される、同じ周波数で生成された少なくとも2つのクロック信号を有する前記クロック回路を使用するステップであって、これらのクロック信号は、全ての画素で2つのラッチによって追跡され、光子の到達の検出の始まりに、前記2つのラッチは2つのクロック信号の瞬時状態を捕捉するラッチモードにスイッチされ、前記少なくとも2つのクロック信号は90度シフトされたクロックであるので、前記少なくとも2つのクロック信号は、1つのクロックサイクルに対応する各サイクル内の少なくとも4つの二値の組合せとなり、タイムスタンプブロックは、1のクロックサイクルの四分円内に光子到達時間を区別するように構成され、それゆえ、前記クロック信号の周波数の少なくとも4倍だけ時間分解能を増加させる、ステップとをさらに含む、請求項10に記載の方法。
  16. 前記光検出器は、平面ガイガーモードアバランシェフォトダイオード(APD)アレイであり、前記ROICは、前記光検出器としてのAPDのアレイおよびガイガーモード動作を制御する回路を含むように構成され、第1のセットのAPDおよびその関連するレジスタは、このAPDおよび関連するレジスタをバイパスするためのバイパス回路を有し、
    それによって、前記データは、前記アレイの所与の行で、欠陥のあるセットのAPDおよび関連するレジスタを通してシリアルにシフトすることができる、請求項10に記載の方法。
  17. 前記ROICは、複数のシストリックプロセッサ要素を含み、各シストリックプロセッサ要素は独自の光検出器および関連するレジスタを有し、各シストリックプロセッサ要素は、i)光子検出がない場合、前記データは、並列なシフトレジスタの形態のシストリックプロセッサ要素のアレイ内で左から右に進み、ii)光子検出のイベントが起こると、作動された光検出器の列アドレスは、そのシストリックプロセッサ要素に投入され、このデータがその行に対して共通のバッファに記憶されるまでその後のクロックサイクルそれぞれで右にシリアルにシフトされるという前記シストリック処理を行うように構成され、および、2行以上のシストリックプロセッサ要素が、時間単位の共通のタイマ維持トラックを共有する、請求項10に記載の方法。
  18. クロック回路と協働し、アレイに配置された1または複数の光検出器を備えた読出し集積回路(ROIC)であって、
    前記ROICは、前記クロック回路からのクロック信号を使用することによって、少なくとも第1の参照で始まり第2の参照点で止まる反射光パルスの飛行時間を測定するように構成され、
    前記ROICは、前記光検出器のシストリック処理を行うように構成され、
    前記ROICは、少なくとも、i)前記反射光パルスの初期光子が前記アレイ内の前記光検出器のそれぞれによって捕捉されたか、ii)その光子が地理的に前記アレイ内のどこに配置されているかを捕捉し、iii)前記光検出器によって捕捉されるデータを走査し、その後、iv)時間単位で、前記クロック回路からの前記クロック信号に対して前記光子がいつ捕捉されたのかを知るためのアルゴリズムで走査した前記データを分析するように、前記光検出器の前記シストリック処理を行う、ROICを備えた装置。
  19. 前記ROICは複数のシストリックプロセッサ要素を含み、各シストリックプロセッサ要素は独自の光検出器および関連するレジスタを有し、各シストリックプロセッサ要素は、検出した光子位置および到達時間情報を伝達するために、2つの入力:i)左側の隣接するシストリックプロセッサ要素からのシストリックプロセッサ要素の出力、およびii)前記アレイ内の関連する画素の列アドレスを有する、請求項18に記載の装置。
  20. 前記ROICは複数のシストリックプロセッサ要素を含み、各シストリックプロセッサ要素は独自の光検出器および関連するレジスタを有し、各シストリックプロセッサ要素は、i)光子検出がない場合、前記データは、並列なシフトレジスタの形態のシストリックプロセッサ要素のアレイ内で左から右に進み、ii)光子検出のイベントが起こると、作動された光検出器の列アドレスは、そのシストリックプロセッサ要素に投入され、このデータがその行に対して共通のバッファに記憶されるまでその後の各クロックサイクルで右にシリアルにシフトされるという前記シストリック処理を行うように構成され、
    2行以上のシストリックプロセッサ要素が、前記時間単位の共通のタイマ維持トラックを共有する、請求項18に記載の装置。
JP2019546248A 2017-02-28 2018-02-20 光測距システム用シストリックプロセッサシステム Active JP7100049B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762465040P 2017-02-28 2017-02-28
US62/465,040 2017-02-28
PCT/US2018/018843 WO2018160395A1 (en) 2017-02-28 2018-02-20 A systolic processor system for a light ranging system

Publications (2)

Publication Number Publication Date
JP2020524258A JP2020524258A (ja) 2020-08-13
JP7100049B2 true JP7100049B2 (ja) 2022-07-12

Family

ID=63370217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019546248A Active JP7100049B2 (ja) 2017-02-28 2018-02-20 光測距システム用シストリックプロセッサシステム

Country Status (4)

Country Link
US (1) US11442153B2 (ja)
JP (1) JP7100049B2 (ja)
DE (1) DE112018001060T5 (ja)
WO (1) WO2018160395A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101976643B1 (ko) * 2018-10-15 2019-05-10 주식회사 로이첸 회전식 조리기
KR102048656B1 (ko) * 2019-05-03 2020-01-08 김영희 경사바닥체 일체형 경사진 볶음기

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11573302B2 (en) * 2019-10-17 2023-02-07 Argo AI, LLC LiDAR system comprising a Geiger-mode avalanche photodiode-based receiver having pixels with multiple-return capability
US11709248B2 (en) * 2020-11-10 2023-07-25 Texas Instruments Incorporated Beamforming hardware accelerator for radar systems
WO2023206352A1 (en) * 2022-04-29 2023-11-02 Huawei Technologies Co., Ltd. Apparatus for light detection and ranging
JP2024023058A (ja) * 2022-08-08 2024-02-21 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209897A (ja) 2000-01-26 2001-08-03 Mitsubishi Electric Corp 路上監視装置
JP2004234660A (ja) 2003-01-30 2004-08-19 Pohang Eng College 多層実時間ステレオマッチング方法及びシステム
US20100020306A1 (en) 2006-07-13 2010-01-28 Velodyne Acoustics, Inc. High definition lidar system
JP2011128024A (ja) 2009-12-17 2011-06-30 Sharp Corp 3次元撮像装置
WO2015033497A1 (ja) 2013-09-06 2015-03-12 パナソニックIpマネジメント株式会社 撮像装置及びその駆動方法
JP2015155872A (ja) 2014-02-21 2015-08-27 株式会社豊田中央研究所 ヒストグラム作成装置及びレーザレーダ装置
JP2016014665A (ja) 2014-07-03 2016-01-28 アドヴァンスド サイエンティフィック コンセプツ,イン 密集環境のladarセンサ
WO2016144528A1 (en) 2015-03-10 2016-09-15 Raytheon Company Coherent ladar using intra-pixel quadrature detection

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003295944A1 (en) 2002-11-26 2005-02-04 James F. Munro An apparatus for high accuracy distance and velocity measurement and methods thereof
US7564996B2 (en) * 2003-01-17 2009-07-21 Parimics, Inc. Method and apparatus for image processing
US8976340B2 (en) 2011-04-15 2015-03-10 Advanced Scientific Concepts, Inc. Ladar sensor for landing, docking and approach
US9244924B2 (en) 2012-04-23 2016-01-26 Sri International Classification, search, and retrieval of complex video events
US9734730B2 (en) 2013-01-31 2017-08-15 Sri International Multi-modal modeling of temporal interaction sequences
US20140212854A1 (en) 2013-01-31 2014-07-31 Sri International Multi-modal modeling of temporal interaction sequences
US9904852B2 (en) 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
WO2015077614A1 (en) * 2013-11-22 2015-05-28 Schwarz Brent S Lidar scanner calibration
US9875445B2 (en) 2014-02-25 2018-01-23 Sri International Dynamic hybrid models for multimodal analysis
US10126411B2 (en) 2015-03-13 2018-11-13 Continental Advanced Lidar Solutions Us, Llc. Beam steering LADAR sensor
US10884503B2 (en) 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209897A (ja) 2000-01-26 2001-08-03 Mitsubishi Electric Corp 路上監視装置
JP2004234660A (ja) 2003-01-30 2004-08-19 Pohang Eng College 多層実時間ステレオマッチング方法及びシステム
US20100020306A1 (en) 2006-07-13 2010-01-28 Velodyne Acoustics, Inc. High definition lidar system
JP2011128024A (ja) 2009-12-17 2011-06-30 Sharp Corp 3次元撮像装置
WO2015033497A1 (ja) 2013-09-06 2015-03-12 パナソニックIpマネジメント株式会社 撮像装置及びその駆動方法
JP2015155872A (ja) 2014-02-21 2015-08-27 株式会社豊田中央研究所 ヒストグラム作成装置及びレーザレーダ装置
JP2016014665A (ja) 2014-07-03 2016-01-28 アドヴァンスド サイエンティフィック コンセプツ,イン 密集環境のladarセンサ
WO2016144528A1 (en) 2015-03-10 2016-09-15 Raytheon Company Coherent ladar using intra-pixel quadrature detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岡田 至弘 ほか,大規模シストリックアレイプロセッサにおける局所並列画像処理,電気学会論文誌,日本,社団法人電気学会,1993年11月20日,Vol.113-C No.11,933~938

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101976643B1 (ko) * 2018-10-15 2019-05-10 주식회사 로이첸 회전식 조리기
KR102048656B1 (ko) * 2019-05-03 2020-01-08 김영희 경사바닥체 일체형 경사진 볶음기

Also Published As

Publication number Publication date
US20200003876A1 (en) 2020-01-02
US11442153B2 (en) 2022-09-13
DE112018001060T5 (de) 2020-10-29
JP2020524258A (ja) 2020-08-13
WO2018160395A1 (en) 2018-09-07

Similar Documents

Publication Publication Date Title
JP7100049B2 (ja) 光測距システム用シストリックプロセッサシステム
US11894400B2 (en) Global shutter pixel circuit and method for computer vision applications
US10171790B2 (en) Depth sensor, image capture method, and image processing system using depth sensor
Niclass et al. A 0.18-$\mu $ m CMOS SoC for a 100-m-Range 10-Frame/s 200$\,\times\, $96-Pixel Time-of-Flight Depth Sensor
US8642938B2 (en) Shared time of flight pixel
US20150041625A1 (en) Time to digital converter and applications thereof
US9948880B2 (en) Asynchronous multimode focal plane array
US9006630B2 (en) Quality of optically black reference pixels in CMOS iSoCs
US11366205B2 (en) Optical sensor, distance measurement device, and electronic apparatus
Zhang et al. A 240× 160 3D-stacked SPAD dToF image sensor with rolling shutter and in-pixel histogram for mobile devices
Gyongy et al. Direct time-of-flight single-photon imaging
TWI776971B (zh) 具有雷射測距(lrf)能力之多模讀出積體電路(roic)像素,及相關之焦面陣列及多模lrf設備
US20140253758A1 (en) Method and Apparatus for a Time-of-Flight Sensor with Charge Storage
US20200109987A1 (en) Photon sensing with threshold detection using capacitor-based comparator
EP3987305B1 (en) Direct time-of-flight depth sensor architecture and method for operating of such a sensor
CN114762216A (zh) 用于lidar测量的可配置存储器块
Acconcia et al. Toward high-performance SPAD arrays for space-based atmosphere and ocean profiling LiDARs
CN114071040A (zh) 一种图像传感器和读出信号的方法
EP3749979A1 (en) Photon detecting 3d imaging sensor device
CN111726548B (zh) 图像传感器的像素和图像传感器
Kitichotkul et al. The role of detection times in reflectivity estimation with single-photon lidar
JP2022166834A (ja) 深度センサ及びその動作方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190826

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190926

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20190926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220630

R150 Certificate of patent or registration of utility model

Ref document number: 7100049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20240308

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04