JP7100049B2 - 光測距システム用シストリックプロセッサシステム - Google Patents
光測距システム用シストリックプロセッサシステム Download PDFInfo
- Publication number
- JP7100049B2 JP7100049B2 JP2019546248A JP2019546248A JP7100049B2 JP 7100049 B2 JP7100049 B2 JP 7100049B2 JP 2019546248 A JP2019546248 A JP 2019546248A JP 2019546248 A JP2019546248 A JP 2019546248A JP 7100049 B2 JP7100049 B2 JP 7100049B2
- Authority
- JP
- Japan
- Prior art keywords
- array
- systolic
- roic
- photon
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims description 33
- 238000012545 processing Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 23
- 238000000098 azimuthal photoelectron diffraction Methods 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000009885 systemic effect Effects 0.000 claims 1
- 238000013461 design Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 18
- 238000005259 measurement Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 241001522296 Erithacus rubecula Species 0.000 description 7
- 101710108416 Robin Proteins 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 208000003035 Pierre Robin syndrome Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009414 blockwork Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000348 solid-phase epitaxy Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L1/00—Measuring force or stress, in general
- G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
- G01L1/241—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet by photoelastic stress analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
本出願は、米国特許法119条に基づき、その開示の全体が参照により本明細書に組み込まれる、2017年2月28日付けで出願された「SYSTOLIC PROCESSOR FOR FOCAL PLANE GEIGER MODE APD ARRAYS」という名称の特許仮出願第62/465,040号に対して優先権を主張する。
本発明は、国防高等研究計画局に与えられた契約番号HR0011-13-C-0045における政府の援助で行われた。政府は、本発明に特定の権利を有する。政府は、本発明に特定の権利を有する。
本開示の実施形態は概して、光測距システム用シストリックプロセッサシステムに関する。より詳細には、実施形態は、飛行時間測定のためにより高い分解能を有するより優れた読み出しを創出するためのLiDARシステム用シストリックプロセッサシステムに関する。
各画素(光検出器位置)は、それに関連する1つのSPEを有し、接続されたSPEの全ての行は画素の1つの行に対応している。各SPEは、2つの入力、左側の隣からのSPE出力、およびその関連する画素の列アドレスを有する。(シストリックプロセッサへの入力において)最も左側のSPEは、左側に隣がなく、代わりに、固有の列アドレスを通過するように構成されている。光子検出がない場合、情報は左から右に進み、SPEのチェーンは並列シフトレジスタを形成する。光子検出のイベントの場合、活性化された画素の列アドレスは、そのSPEに投入され、次のクロックサイクルで右にシフトされる。
タイムスタンプブロック(図3B参照)はそれぞれ、タイムカウンタ(タイマ)、タイムスタンプ(TS)と呼ばれるコンテンツを備えたシャドウタイマレジスタ、およびパイプライン列アドレスレジスタ(CA)を備えている。タグ付けされた列アドレスのフローがタイムスタンプブロックを通過すると、タイマの瞬間値は、列アドレスに付される(列アドレスがタイムスタンプされる)。位置および到達時間の両方が知られている必要があるので、結果は光子タグと共に通過される。
一実施例では、最大数の出力LVDSポートが、4つのタイムスタンプ出力経路(画素行)を1つのポートに組み合わせる。ピーク瞬時スループット需要を受け入れるために、各行の出力に比較的浅いFIFOがある。光の均一およびガウス分配でのモデリングにより、4ワードの深さが十分であることが明らかになった。行FIFOは、シリアライザの能力がデータ流出を制限し始める場合に、光強度のみでオーバーフローし始める。このような場合に行FIFOの深さを増加させることは経路の能力を増加させず、オーバーフローが始まるのを遅らせるだけである。
一実施形態では、行FIFOからの読出しを、ラウンドロビンアービタによって制御することができる。ラウンドロビンアービタは、4つの行FIFOからの読出しリクエスト、およびポートFIFOからのFIFOフルインディケータを監視する。ラウンドロビンアービタは、現在の状態に基づき、4つの行FIFOの間で仲裁する単純なシーケンサを備えている。ポートFIFOが完全ではなく、4つの行FIFO全てが読出しをリクエストしている場合、アービタは、ラウンドロビンシーケンス内でこれらのリスエストに応じる(したがって、ラウンドロビンアービタという名前である)。4つの行FIFO全てが読取をリクエストしているわけではない場合、ラウンドロビンシーケンスが省略される、すなわち、ポートFIFO入力能力を最大限に利用するために、空の行FIFOをスキップすることができる。最終的に、1つの行FIFOだけがコンテンツを有する場合、1クロックサイクル速度毎に1トランスファーでポートFIFOに移動させる。ラウンドロビンアービタはどの行FIFOが使用されているかを知っているので、行FIFOコンテンツに行アドレスを示す追加の2ビットを付す。それによって、ポートFIFOの入力では、各光子到達イベントは、タイムスタンプ、列アドレスおよび行アドレスによって識別される。
ポートFIFOの機能は、シストリックプロセッサの瞬時ピークスループット需要をシリアルLVDSポートの最大移動能力と速度マッチさせることである。行FIFOに使用される同じモデリングは、総計の光子到達速度がシリアルポートの能力より低い限り、16ワードのポートFIFO深さがランダム光子到達速度での場合において98%を超えてピーク需要を満たすことを示唆している。総計光子到達速度がシリアルポート能力を超えると、ポートFIFOは、その深さに関わらず、次第にオーバーフローし、排出するのに過剰な時間がかかる。
同期および非同期ガイガーモードAPD平面アレイは両方とも、空中および地上ベース3D画像化、測距、マッピング、衝突回避、ターゲティングなどのためにLiDARで使用することができる。3D画像化の利点は、例えば、濃い熱帯の枝葉の下に隠された対象の検出で示されてきた。より最近では、公道を使用した自律走行車両の早期実験により、LiDARは360°レーダー、受動ビデオカメラなどの他のセンサの能力を増大させるのに必要であることが提案されている。
APD-アバランシェフォトダイオード:光電流のアバランシェ乗算を利用するように設計されたフォトダイオード。逆バイアス電圧が降伏電圧に近づくと、吸着された光子によって作り出されたホール電子対は、イオンに衝突する場合に追加のホール電子対を作り出すのに十分なエネルギーを得るために強い電界によって加速し、したがって、生成された電流を乗算する。
Claims (20)
- 1または複数の光パルスで1または複数の対象物の存在を測定するシステムであって、
前記1または複数の光パルスを生成するように構成された1または複数のレーザと、
前記1または複数のターゲット対象物からの反射光パルスを受け取るように構成された1または複数のカメラと、
前記カメラ内にあって、クロック回路と協働し、アレイに配置された1または複数の光検出器を備えた読出し集積回路(ROIC)を有する受信機回路であって、
前記ROICは、前記クロック回路からのクロック信号を使用することによって少なくとも第1の参照点で始まり第2の参照点で止まる前記反射光パルスの飛行時間を測定するように構成され、
前記ROICは、前記光検出器のシストリック処理を行うように構成され、
前記ROICは、少なくとも、i)前記反射光パルスの初期光子が前記アレイ内の前記光検出器のそれぞれによって捕捉されたか、ii)前記光子が地理的に前記アレイ内のどこに配置されているかを捕捉し、iii)前記光検出器によって捕捉されるデータを走査し、その後、iv)時間単位で、前記クロック回路からの前記入力に対して前記光子がいつ捕捉されたのかを知るためのアルゴリズムで、走査した前記データを分析するように、前記光検出器の前記シストリック処理を行う、受信機回路と、
前記レーザ、前記受信機回路、前記クロック回路および前記カメラに電力を供給するように構成された1または複数の電源と、を備えた、システム。 - 前記光検出器および関連するレジスタは、前記反射パルスの前記光子が検出されたことと前記アレイ内で前記光子が収集された地理的場所とを示すデータを捕捉するように構成され、前記アレイ内の前記光検出器および関連するレジスタは、前記データを前記アレイの行を通して前記クロック信号の各クロックサイクルでバッファまでシリアルにシフトするように構成され、次いで前記バッファは、捕捉した前記データを固有の列アドレスデコーダおよびタイムスタンプデコーダに送信し、前記シフトは、前記時間単位で、前記クロック回路からの前記クロック信号に対して前記アレイ内で前記光子が捕捉されたときと、前記光子が捕捉された地理的位置とを知る前記アルゴリズムを使用するタイミング回路と同期され、各タイムスタンプデコーダは、前記クロック回路から共通の時間参照クロック信号を受信する、請求項1に記載のシステム。
- 前記システムはLiDARシステムであり、前記アレイの各行は複数の光検出器および関連するレジスタで構成され、前記アレイの各列も複数の光検出器および関連するレジスタで構成されている、請求項1に記載のシステム。
- 前記ROICは複数のシストリックプロセッサ要素を含み、各シストリックプロセッサ要素は独自の光検出器および関連するレジスタを有し、各シストリックプロセッサ要素は、検出した光子位置および到達時間情報を伝達するために、2つの入力:i)左側の隣接するシストリックプロセッサ要素からのシストリックプロセッサ要素の出力、およびii)前記アレイ内の関連する画素の列アドレスを有する、請求項3に記載のシステム。
- 各シストリックプロセッサ要素はさらに、検出した光子到達およびその列および行アドレスを反映した前記データを前記アレイを通してシリアルにシフトするために、i)その入力にマルチプレクサまたは等価ブール論理ゲートと、ii)ローカル列アドレスの発生器と、iii)マルチプレクサ入力セレクタロジックと、を備えている、請求項4に記載のシステム。
- 前記アレイ内の第1の行に対する第1のタイムスタンプブロックおよび第2の行に対する第2のタイムスタンプブロックの両方は、前記クロック回路から共通の時間参照となるクロック信号を受信し、各タイムスタンプブロックは、タイムスタンプと呼ばれるコンテンツを備えたタイムカウンタおよび関連するシャドウタイマレジスタからなり、パイプライン列アドレスレジスタと協働し、タグ付けされた列アドレスのデータフローが前記タイムスタンプブロックを通過する場合、前記タイムカウンタの瞬間値が、前記検出された光子の位置および到達時間を示すように、前記パイプライン列アドレスレジスタからの列アドレスに付される、請求項1に記載のシステム。
- 前記光検出器は平面ガイガーモードアバランシェフォトダイオード(APD)アレイであり、前記ROICは、前記光検出器としてAPDのアレイおよびガイガーモード動作を制御する回路を含むように構成され、第1のセットのAPDおよびその関連するレジスタは、このAPDおよび関連するレジスタをバイパスするためのバイパス回路を有し、それによって、前記データは、前記アレイの所与の行で欠陥のあるセットのAPDおよび関連するレジスタを通してシリアルにシフトすることができる、請求項1に記載のシステム。
- 前記ROICは複数のシストリックプロセッサ要素を含み、各シストリックプロセッサ要素は独自の光検出器および関連するレジスタを有し、各シストリックプロセッサ要素は、i)光子検出がない場合、前記データは、並列なシフトレジスタの形態のシストリックプロセッサ要素の前記アレイ内で左から右に進み、ii)光子検出のイベントが起こると、作動された光検出器の列アドレスは、そのシストリックプロセッサ要素に投入され、このデータがその行に対して共通のバッファに記憶されるまでその後の各クロックサイクルで右にシリアルにシフトされるという前記シストリック処理を行うように構成され、
2行以上のシストリックプロセッサ要素が、前記時間単位の共通のタイマ維持トラックを共有する、請求項1に記載のシステム。 - 前記光検出器の前記シストリック処理は、前記アレイ内でその光検出器およびその関連レジスタに対する光子を捕捉することによって飛行時間データを記録する前記ROICの無駄な時間を減少させ、それにより、前記反射光パルスの検出によるより高い分解能が得られる、請求項2に記載のシステム。
- 1または複数の光パルスで1または複数の対象物の特徴を測定するシステムを使用する方法であって、
前記1または複数の光パルスを生成するステップと、
前記1または複数のターゲット対象物からの反射光パルスを検出するステップと、
クロック回路と協働し、アレイに配置された1または複数の光検出器を備えた読出し集積回路(ROIC)を有する受信機を使用するステップであって、
前記ROICは、前記クロック回路からのクロック信号を使用することによって少なくとも第1の参照点で始まり第2の参照点で止まる前記飛行時間を測定するように構成され、
前記ROICは、前記光検出器のシストリック処理を行うように構成され、
前記ROICは、少なくとも、i)反射光パルスの初期光子が前記アレイ内の前記光検出器のそれぞれによって捕捉されたか、ii)その光子が地理的に前記アレイ内のどこに配置されているかを捕捉し、iii)前記アレイ内の所与の前記光検出器で前記光子が、捕捉されたか、地理的にどこで補足されたのかについて、前記検出器によって捕捉されるデータを走査し、その後、iv)時間単位で、前記クロック回路からの前記クロック信号に対して前記光子がいつ捕捉されたのかを知るためのアルゴリズムで、走査した前記データを分析するように、前記光検出器の前記シストリック処理を行う、ステップとを含む方法。 - 反射パルスの光子が検出されたことと前記アレイ内で前記光子が収集された地理的場所とを示すデータを捕捉するステップであって、前記データを前記光検出器および関連するレジスタから前記アレイの行を通して前記クロック信号の各クロックサイクルでバッファまでシリアルにシフトし、次いで前記バッファは、捕捉した前記データを、前記時間単位で、前記クロック回路からの前記入力に対して前記アレイ内で前記光子が補足されたときと、前記光子が捕捉された地理的位置とを知る前記アルゴリズムを使用する固有の列アドレスデコーダおよびタイムスタンプデコーダに送信する、ステップをさらに含む、請求項10に記載の方法。
- 前記システムはLiDARシステムであり、前記アレイの各行は複数の光検出器および関連するレジスタで構成され、前記アレイの各列も複数の光検出器および関連するレジスタで構成されている、請求項10に記載の方法。
- 前記ROICは複数のシストリックプロセッサ要素を含み、各シストリックプロセッサ要素は独自の光検出器および関連するレジスタを有し、各シストリックプロセッサ要素は、検出した光子位置および到達時間情報を伝達するために、2つの入力:i)左側の隣接するシストリックプロセッサ要素からのシストリックプロセッサ要素の出力、およびii)前記アレイ内の関連する画素の列アドレスを有する、請求項12に記載の方法。
- 前記アレイ内の第1の行に対する第1のタイムスタンプブロックおよび第2の行に対する第2のタイムスタンプブロックに前記クロック回路から共通の時間参照入力を供給するステップであって、各タイムスタンプブロックは、タイムスタンプと呼ばれるコンテンツを備えたタイムカウンタおよび関連するシャドウタイマレジスタからなり、パイプライン列アドレスレジスタと協働し、タグ付けされた列アドレスのデータフローが前記タイムスタンプブロックを通過する場合、前記タイムカウンタの瞬間値が、検出された前記光子の位置および到達時間を示すように、列アドレスに付される、ステップをさらに含む、請求項10に記載の方法。
- 互いに対して90度シフトされ、前記アレイ内の各画素に分配される、同じ周波数で生成された少なくとも2つのクロック信号を有する前記クロック回路を使用するステップであって、これらのクロック信号は、全ての画素で2つのラッチによって追跡され、光子の到達の検出の始まりに、前記2つのラッチは2つのクロック信号の瞬時状態を捕捉するラッチモードにスイッチされ、前記少なくとも2つのクロック信号は90度シフトされたクロックであるので、前記少なくとも2つのクロック信号は、1つのクロックサイクルに対応する各サイクル内の少なくとも4つの二値の組合せとなり、タイムスタンプブロックは、1のクロックサイクルの四分円内に光子到達時間を区別するように構成され、それゆえ、前記クロック信号の周波数の少なくとも4倍だけ時間分解能を増加させる、ステップとをさらに含む、請求項10に記載の方法。
- 前記光検出器は、平面ガイガーモードアバランシェフォトダイオード(APD)アレイであり、前記ROICは、前記光検出器としてのAPDのアレイおよびガイガーモード動作を制御する回路を含むように構成され、第1のセットのAPDおよびその関連するレジスタは、このAPDおよび関連するレジスタをバイパスするためのバイパス回路を有し、
それによって、前記データは、前記アレイの所与の行で、欠陥のあるセットのAPDおよび関連するレジスタを通してシリアルにシフトすることができる、請求項10に記載の方法。 - 前記ROICは、複数のシストリックプロセッサ要素を含み、各シストリックプロセッサ要素は独自の光検出器および関連するレジスタを有し、各シストリックプロセッサ要素は、i)光子検出がない場合、前記データは、並列なシフトレジスタの形態のシストリックプロセッサ要素のアレイ内で左から右に進み、ii)光子検出のイベントが起こると、作動された光検出器の列アドレスは、そのシストリックプロセッサ要素に投入され、このデータがその行に対して共通のバッファに記憶されるまでその後のクロックサイクルそれぞれで右にシリアルにシフトされるという前記シストリック処理を行うように構成され、および、2行以上のシストリックプロセッサ要素が、時間単位の共通のタイマ維持トラックを共有する、請求項10に記載の方法。
- クロック回路と協働し、アレイに配置された1または複数の光検出器を備えた読出し集積回路(ROIC)であって、
前記ROICは、前記クロック回路からのクロック信号を使用することによって、少なくとも第1の参照点で始まり第2の参照点で止まる反射光パルスの飛行時間を測定するように構成され、
前記ROICは、前記光検出器のシストリック処理を行うように構成され、
前記ROICは、少なくとも、i)前記反射光パルスの初期光子が前記アレイ内の前記光検出器のそれぞれによって捕捉されたか、ii)その光子が地理的に前記アレイ内のどこに配置されているかを捕捉し、iii)前記光検出器によって捕捉されるデータを走査し、その後、iv)時間単位で、前記クロック回路からの前記クロック信号に対して前記光子がいつ捕捉されたのかを知るためのアルゴリズムで、走査した前記データを分析するように、前記光検出器の前記シストリック処理を行う、ROICを備えた装置。 - 前記ROICは複数のシストリックプロセッサ要素を含み、各シストリックプロセッサ要素は独自の光検出器および関連するレジスタを有し、各シストリックプロセッサ要素は、検出した光子位置および到達時間情報を伝達するために、2つの入力:i)左側の隣接するシストリックプロセッサ要素からのシストリックプロセッサ要素の出力、およびii)前記アレイ内の関連する画素の列アドレスを有する、請求項18に記載の装置。
- 前記ROICは複数のシストリックプロセッサ要素を含み、各シストリックプロセッサ要素は独自の光検出器および関連するレジスタを有し、各シストリックプロセッサ要素は、i)光子検出がない場合、前記データは、並列なシフトレジスタの形態のシストリックプロセッサ要素のアレイ内で左から右に進み、ii)光子検出のイベントが起こると、作動された光検出器の列アドレスは、そのシストリックプロセッサ要素に投入され、このデータがその行に対して共通のバッファに記憶されるまでその後の各クロックサイクルで右にシリアルにシフトされるという前記シストリック処理を行うように構成され、
2行以上のシストリックプロセッサ要素が、前記時間単位の共通のタイマ維持トラックを共有する、請求項18に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762465040P | 2017-02-28 | 2017-02-28 | |
US62/465,040 | 2017-02-28 | ||
PCT/US2018/018843 WO2018160395A1 (en) | 2017-02-28 | 2018-02-20 | A systolic processor system for a light ranging system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020524258A JP2020524258A (ja) | 2020-08-13 |
JP7100049B2 true JP7100049B2 (ja) | 2022-07-12 |
Family
ID=63370217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019546248A Active JP7100049B2 (ja) | 2017-02-28 | 2018-02-20 | 光測距システム用シストリックプロセッサシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11442153B2 (ja) |
JP (1) | JP7100049B2 (ja) |
DE (1) | DE112018001060T5 (ja) |
WO (1) | WO2018160395A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101976643B1 (ko) * | 2018-10-15 | 2019-05-10 | 주식회사 로이첸 | 회전식 조리기 |
KR102048656B1 (ko) * | 2019-05-03 | 2020-01-08 | 김영희 | 경사바닥체 일체형 경사진 볶음기 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11573302B2 (en) * | 2019-10-17 | 2023-02-07 | Argo AI, LLC | LiDAR system comprising a Geiger-mode avalanche photodiode-based receiver having pixels with multiple-return capability |
US11709248B2 (en) * | 2020-11-10 | 2023-07-25 | Texas Instruments Incorporated | Beamforming hardware accelerator for radar systems |
WO2023206352A1 (en) * | 2022-04-29 | 2023-11-02 | Huawei Technologies Co., Ltd. | Apparatus for light detection and ranging |
JP2024023058A (ja) * | 2022-08-08 | 2024-02-21 | ソニーセミコンダクタソリューションズ株式会社 | 光検出装置および光検出システム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209897A (ja) | 2000-01-26 | 2001-08-03 | Mitsubishi Electric Corp | 路上監視装置 |
JP2004234660A (ja) | 2003-01-30 | 2004-08-19 | Pohang Eng College | 多層実時間ステレオマッチング方法及びシステム |
US20100020306A1 (en) | 2006-07-13 | 2010-01-28 | Velodyne Acoustics, Inc. | High definition lidar system |
JP2011128024A (ja) | 2009-12-17 | 2011-06-30 | Sharp Corp | 3次元撮像装置 |
WO2015033497A1 (ja) | 2013-09-06 | 2015-03-12 | パナソニックIpマネジメント株式会社 | 撮像装置及びその駆動方法 |
JP2015155872A (ja) | 2014-02-21 | 2015-08-27 | 株式会社豊田中央研究所 | ヒストグラム作成装置及びレーザレーダ装置 |
JP2016014665A (ja) | 2014-07-03 | 2016-01-28 | アドヴァンスド サイエンティフィック コンセプツ,イン | 密集環境のladarセンサ |
WO2016144528A1 (en) | 2015-03-10 | 2016-09-15 | Raytheon Company | Coherent ladar using intra-pixel quadrature detection |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003295944A1 (en) | 2002-11-26 | 2005-02-04 | James F. Munro | An apparatus for high accuracy distance and velocity measurement and methods thereof |
US7564996B2 (en) * | 2003-01-17 | 2009-07-21 | Parimics, Inc. | Method and apparatus for image processing |
US8976340B2 (en) | 2011-04-15 | 2015-03-10 | Advanced Scientific Concepts, Inc. | Ladar sensor for landing, docking and approach |
US9244924B2 (en) | 2012-04-23 | 2016-01-26 | Sri International | Classification, search, and retrieval of complex video events |
US9734730B2 (en) | 2013-01-31 | 2017-08-15 | Sri International | Multi-modal modeling of temporal interaction sequences |
US20140212854A1 (en) | 2013-01-31 | 2014-07-31 | Sri International | Multi-modal modeling of temporal interaction sequences |
US9904852B2 (en) | 2013-05-23 | 2018-02-27 | Sri International | Real-time object detection, tracking and occlusion reasoning |
WO2015077614A1 (en) * | 2013-11-22 | 2015-05-28 | Schwarz Brent S | Lidar scanner calibration |
US9875445B2 (en) | 2014-02-25 | 2018-01-23 | Sri International | Dynamic hybrid models for multimodal analysis |
US10126411B2 (en) | 2015-03-13 | 2018-11-13 | Continental Advanced Lidar Solutions Us, Llc. | Beam steering LADAR sensor |
US10884503B2 (en) | 2015-12-07 | 2021-01-05 | Sri International | VPA with integrated object recognition and facial expression recognition |
-
2018
- 2018-02-20 US US16/488,918 patent/US11442153B2/en active Active
- 2018-02-20 WO PCT/US2018/018843 patent/WO2018160395A1/en active Application Filing
- 2018-02-20 JP JP2019546248A patent/JP7100049B2/ja active Active
- 2018-02-20 DE DE112018001060.0T patent/DE112018001060T5/de active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209897A (ja) | 2000-01-26 | 2001-08-03 | Mitsubishi Electric Corp | 路上監視装置 |
JP2004234660A (ja) | 2003-01-30 | 2004-08-19 | Pohang Eng College | 多層実時間ステレオマッチング方法及びシステム |
US20100020306A1 (en) | 2006-07-13 | 2010-01-28 | Velodyne Acoustics, Inc. | High definition lidar system |
JP2011128024A (ja) | 2009-12-17 | 2011-06-30 | Sharp Corp | 3次元撮像装置 |
WO2015033497A1 (ja) | 2013-09-06 | 2015-03-12 | パナソニックIpマネジメント株式会社 | 撮像装置及びその駆動方法 |
JP2015155872A (ja) | 2014-02-21 | 2015-08-27 | 株式会社豊田中央研究所 | ヒストグラム作成装置及びレーザレーダ装置 |
JP2016014665A (ja) | 2014-07-03 | 2016-01-28 | アドヴァンスド サイエンティフィック コンセプツ,イン | 密集環境のladarセンサ |
WO2016144528A1 (en) | 2015-03-10 | 2016-09-15 | Raytheon Company | Coherent ladar using intra-pixel quadrature detection |
Non-Patent Citations (1)
Title |
---|
岡田 至弘 ほか,大規模シストリックアレイプロセッサにおける局所並列画像処理,電気学会論文誌,日本,社団法人電気学会,1993年11月20日,Vol.113-C No.11,933~938 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101976643B1 (ko) * | 2018-10-15 | 2019-05-10 | 주식회사 로이첸 | 회전식 조리기 |
KR102048656B1 (ko) * | 2019-05-03 | 2020-01-08 | 김영희 | 경사바닥체 일체형 경사진 볶음기 |
Also Published As
Publication number | Publication date |
---|---|
US20200003876A1 (en) | 2020-01-02 |
US11442153B2 (en) | 2022-09-13 |
DE112018001060T5 (de) | 2020-10-29 |
JP2020524258A (ja) | 2020-08-13 |
WO2018160395A1 (en) | 2018-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7100049B2 (ja) | 光測距システム用シストリックプロセッサシステム | |
US11894400B2 (en) | Global shutter pixel circuit and method for computer vision applications | |
US10171790B2 (en) | Depth sensor, image capture method, and image processing system using depth sensor | |
Niclass et al. | A 0.18-$\mu $ m CMOS SoC for a 100-m-Range 10-Frame/s 200$\,\times\, $96-Pixel Time-of-Flight Depth Sensor | |
US8642938B2 (en) | Shared time of flight pixel | |
US20150041625A1 (en) | Time to digital converter and applications thereof | |
US9948880B2 (en) | Asynchronous multimode focal plane array | |
US9006630B2 (en) | Quality of optically black reference pixels in CMOS iSoCs | |
US11366205B2 (en) | Optical sensor, distance measurement device, and electronic apparatus | |
Zhang et al. | A 240× 160 3D-stacked SPAD dToF image sensor with rolling shutter and in-pixel histogram for mobile devices | |
Gyongy et al. | Direct time-of-flight single-photon imaging | |
TWI776971B (zh) | 具有雷射測距(lrf)能力之多模讀出積體電路(roic)像素,及相關之焦面陣列及多模lrf設備 | |
US20140253758A1 (en) | Method and Apparatus for a Time-of-Flight Sensor with Charge Storage | |
US20200109987A1 (en) | Photon sensing with threshold detection using capacitor-based comparator | |
EP3987305B1 (en) | Direct time-of-flight depth sensor architecture and method for operating of such a sensor | |
CN114762216A (zh) | 用于lidar测量的可配置存储器块 | |
Acconcia et al. | Toward high-performance SPAD arrays for space-based atmosphere and ocean profiling LiDARs | |
CN114071040A (zh) | 一种图像传感器和读出信号的方法 | |
EP3749979A1 (en) | Photon detecting 3d imaging sensor device | |
CN111726548B (zh) | 图像传感器的像素和图像传感器 | |
Kitichotkul et al. | The role of detection times in reflectivity estimation with single-photon lidar | |
JP2022166834A (ja) | 深度センサ及びその動作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190826 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190926 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20190926 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220105 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7100049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20240308 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |