JP2021527205A - 高密度投影パターンを使用した距離測定 - Google Patents

高密度投影パターンを使用した距離測定 Download PDF

Info

Publication number
JP2021527205A
JP2021527205A JP2020568306A JP2020568306A JP2021527205A JP 2021527205 A JP2021527205 A JP 2021527205A JP 2020568306 A JP2020568306 A JP 2020568306A JP 2020568306 A JP2020568306 A JP 2020568306A JP 2021527205 A JP2021527205 A JP 2021527205A
Authority
JP
Japan
Prior art keywords
projected
artifact
light intensity
window
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020568306A
Other languages
English (en)
Other versions
JP7292315B2 (ja
Inventor
昭輝 木村
ヤン ヘラー
Original Assignee
マジック アイ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マジック アイ インコーポレイテッド filed Critical マジック アイ インコーポレイテッド
Publication of JP2021527205A publication Critical patent/JP2021527205A/ja
Application granted granted Critical
Publication of JP7292315B2 publication Critical patent/JP7292315B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一例において、本方法は、距離センサの処理システムによって、距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、パターンが、複数の投影アーチファクトを含む、命令することと、処理システムによって、光のパターンを含む物体の画像内の複数のアーチファクトのうち第1の投影アーチファクトの位置を検出することであって、検出することが、第1の投影アーチファクトの軌道に対応するウィンドウ内のピーク光強度の領域を識別することを含み、軌道が、距離センサの撮像センサ上の第1の投影アーチファクトの潜在的な移動範囲を表す、検出することと、処理システムによって、第1の投影アーチファクトの位置に部分的に基づいて、距離センサから物体までの距離を計算することと、を含む。

Description

関連出願の相互参照
本出願は、参照によりその開示全体が本明細書に組み込まれる、2018年6月6日に出願された米国仮特許出願第62/681,236号に基づく優先権を主張する。
米国特許出願第14/920,246号、同第15/149,323号、および同第15/149,429号は、距離センサの様々な構成について記載している。このような距離センサは、セキュリティ、ゲーム、無人機の制御、およびその他の用途を含む、様々な用途で有用であり得る。
これらの用途において説明される距離センサは、投影システム(例えば、レーザー、回折光学素子、および/または他の協調コンポーネントを含む)を含み、これらは、人間の目には実質的に見えない波長(例えば、赤外線)の光ビームを視野内に投射する。光ビームは広がって、適切な受光系(レンズ、画像取込デバイス、および/または他の構成要素など)によって検出されることができる(ドット、ダッシュ、または他のアーチファクトからなる)パターンを作成する。パターンが視野内の物体に入射すると、センサから物体までの距離は、視野の1つまたは複数の画像内のパターンの外観(例えば、ドット、ダッシュ、またはその他のアーチファクトの位置関係)に基づいて計算することができ、これらの画像は、センサの受光系によって取り込まれることができる。物体の形状および寸法もまた判定することができる。
例えば、パターンの外観は、物体までの距離によって変化し得る。一例として、パターンが、ドットからなるパターンである場合、物体がセンサに近いと、ドット同士は互いに近くにあるように見え、物体がセンサから遠いと、ドット同士は互いに遠くにあるように見え得る。
一例において、方法は、距離センサの処理システムによって、距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、パターンが、複数の投影アーチファクトを含み、複数の投影アーチファクトの各投影アーチファクトが、距離センサの撮像センサ上で各投影アーチファクトの潜在的な移動範囲を表す軌道に関連付けられ、軌道の移動方向に平行な方向において隣接する2つの軌道の間に少なくとも第1の閾値距離が存在し、軌道の移動方向に垂直な方向において隣接する2つの軌道の間に少なくとも第2の閾値距離が存在する、命令することと、処理システムによって、光のパターンを含む物体の画像内の複数のアーチファクトのうち第1の投影アーチファクトの位置を検出することであって、第1の投影アーチファクトに関連付けられた第1の軌道に対応する第1のウィンドウ内のピーク光強度の領域を識別することを含む、検出することと、処理システムによって、第1の投影アーチファクトの位置に部分的に基づいて、距離センサから物体までの距離を計算することと、を含む。
別の例において、非一時的な機械可読記憶媒体は、プロセッサによって実行可能な命令で符号化される。これらの命令は、実行されると、プロセッサに動作を実行させ、この動作は、一例において、方法を含み、この方法は、距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、パターンが、複数の投影アーチファクトを含み、複数の投影アーチファクトの各投影アーチファクトが、距離センサの撮像センサ上で各投影アーチファクトの潜在的な移動範囲を表す軌道に関連付けられ、軌道の移動方向に平行な方向において隣接する2つの軌道の間に少なくとも第1の閾値距離が存在し、軌道の移動方向に垂直な方向において隣接する2つの軌道の間に少なくとも第2の閾値距離が存在する、命令することと、光のパターンを含む物体の画像内の複数のアーチファクトのうち第1の投影アーチファクトの位置を検出することであって、第1の投影アーチファクトに関連付けられた第1の軌道に対応する第1のウィンドウ内のピーク光強度の領域を識別することを含む、検出することと、第1の投影アーチファクトの位置に部分的に基づいて、距離センサから物体までの距離を計算することと、を含む。
別の例において、方法は、距離センサの処理システムによって、距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、パターンが、複数の投影アーチファクトを含む、命令することと、処理システムによって、光のパターンを含む物体の画像内の複数のアーチファクトのうち第1の投影アーチファクトの位置を検出することであって、検出することが、第1の投影アーチファクトの軌道に対応するウィンドウ内のピーク光強度の領域を識別することを含み、軌道が、距離センサの撮像センサ上の第1の投影アーチファクトの潜在的な移動範囲を表す、検出することと、処理システムによって、第1の投影アーチファクトの位置に部分的に基づいて、距離センサから物体までの距離を計算することと、を含む。
本開示の各例による、距離センサの投影システムによって生成された投影パターン内の投影アーチファクトの位置を検出するためのウィンドウの使用を概念的に示した図である。 本開示の各例による、複数の投影アーチファクトの軌跡の拡大図である。 本開示による、ウィンドウおよび関連する1つの投影アーチファクトについての幾何学的形状を示す図である。 物体が距離センサに非常に接近しているため、パターンの領域内の投影アーチファクトが非常に大きい/明るいため、投影アーチファクトが互いに重なり合い、個々の投影アーチファクトを区別することが困難になっている例示的投影パターンを示す図である。 光学ノイズによって投影パターンの領域内の個々の投影アーチファクトを区別することが困難である例示的投影パターンを示す図である。 図3のウィンドウ内に光学ノイズが存在する場合を示した図である。 本開示による、高密度投影パターンを使用した距離測定のための方法の一例を示すフロー図である。 センサから物体までの距離を計算するための例示的電子デバイスの高レベルブロック図である。
本開示は、高密度投影パターンを使用した距離測定のための装置、方法、および非一時的なコンピュータ可読媒体について概ね説明するものである。上述したように、米国特許出願第14/920,246号、同第15/149,323号、および同第15/149,429号に記載されているような距離センサは、物体までの距離(および、潜在的には、その物体の形状および寸法)を、広がる光ビームを投影して、その物体を含む視野内に(例えば、ドット、ダッシュ、またはその他のアーチファクトからなる)パターンを作成することによって判定する。光ビームは、人間の目には実質的に見えないが(例えば、受光系の)適切な検出器には見える波長の光を放出する1つまたは複数のレーザー光源から投影してよい。次いで、三角測量技術を使用して、検出器までのパターンの外観に基づいて、物体までの三次元距離を計算してよい。
高密度パターン(すなわち、投影アーチファクトの間の距離が小さいパターン)は、より高解像度の距離測定を行うことができるため、多くの場合、望ましいものである。しかし、このようなパターンの密度が高いと、距離の計算がより複雑になることもある。一例として、投影アーチファクト同士が互いに近いほど、個々の投影アーチファクトの軌道の移動(移動領域、または潜在的な移動範囲)が重なる可能性が高くなる。この重なりによって、センサが個々の投影アーチファクトとそれらの移動とを区別することがより困難になる。投影アーチファクトの移動は投影アーチファクトの外観に影響を与えるため、また距離は投影アーチファクトの外観に基づいて計算されるため、距離の測定が複雑になり、計算時間が長くなる。
また、物体がセンサにより近いと、低密度パターンでも密度が高く見えることがある。具体的には、投影アーチファクトのサイズ、強度、および間隔は、物体までの距離に応じて変化する。センサが物体からより遠くに離れていると、投影パターンの密度は低く見えることになり、投影アーチファクトは、投影アーチファクト間の間隔が大きくなり、より小さく、かつ明るさがより低く見えることになる。センサが物体により近い場合、投影パターンの密度は高く見えることになり、投影アーチファクトは、投影アーチファクト間の間隔が小さくなると、より大きく、かつより明るく見えることになる。投影アーチファクトのサイズ、強度、および形状も、物体の形状、反射率、および反射率分布に基づいて変化し得る。
さらに複雑なことに、検出器によって取り込まれた画像には、投影パターンに加えて視覚的なノイズが含まれることがある。この視覚的なノイズは、物体の特性(反射率など)および/または周囲の照明条件の結果として発生することがある。視覚的なノイズにより、特に投影パターンが非常に密である場合には、効率的に投影アーチファクトを正確に認識することがより困難になり得る。
本開示の各例は、高密度投影パターンの画像(画像は投影パターンに加えて視覚的なノイズを含むことがある)内の個々の投影アーチファクトを確実に識別する方法を提供する。特に、本開示の各例は、従来は二次元の問題であった投影アーチファクトの位置を検出する問題を、一次元の問題に縮約する。一例では、各投影アーチファクトの軌道には、ウィンドウが割り当てられ、このウィンドウは、例えば、固定された、複数の位置からなる物理的範囲であり、この範囲内では、投影パターン内に投影アーチファクトが(三角測量の原理により)現れると予想される。本開示の各例では、距離センサは、これらのウィンドウを決定するために較正された状態であるものとする。次いで、所与の投影アーチファクトの対応する軌道ウィンドウ内で、ピーク光強度の領域を識別する。ピーク光強度のこの領域は、投影アーチファクトの位置に対応すると見なされる。このようにして投影アーチファクトの位置を素早く識別できるため、物体の距離を迅速に三角測量して計算することが可能になる。さらなる例では、ウィンドウの遠端部に閾値が適用されてもよく、ピーク光強度がこれらの閾値を超えて位置する場合(例えば、ウィンドウの縁部のうちの1つに近過ぎる場合)、その投影アーチファクトは距離計算から除外される。これにより、視覚的なノイズおよびセンサに近すぎて正確な距離計算ができない物体について補正する。
図1は、本開示の各例による、距離センサの投影システムによって生成された投影パターン内の投影アーチファクトの位置を検出するためのウィンドウの使用を概念的に示している。図1の例では、投影アーチファクトはドットとして図示されている。しかしながら、投影アーチファクトは、ダッシュ、xなどの他の形式を取ることもある。したがって、図1は、一例としてドットを使用するものである。投影アーチファクトは、グリッドのx軸およびy軸に沿って配置され得るものであり、そのため、複数の行および複数の列が形成される。この配置は、y軸に平行な(例えば、行に直交する)中心線(図示せず)を中心として対称であり得る。投影アーチファクトの軌道102〜102(以下、個別に「軌道102」と呼ぶか、または集合的に「軌道102同士」と呼ぶ)は、x軸に平行である(例えば、x軸に沿って移動する)。
一例では、各軌道102は、対応するウィンドウ104〜104(以下、個別に「ウィンドウ104」と呼ぶか、または集合的に「ウィンドウ104同士」と呼ぶ)に関連付けられる。上述したように、軌道102のウィンドウ104は、固定された、複数の位置からなる物理的範囲を表しており、この範囲内では、距離計算対象物体上に投影パターンが投影されると、対応する投影アーチファクトがその投影パターン内に現れることが予想される。一例では、各ウィンドウ104は、実質的に円錐形またはテーパ形状を有し得る。例えば、図1では、各ウィンドウ104の左側は、各ウィンドウの右側よりも狭いものとして示されている。この形状は、物体の距離による投影アーチファクトのサイズの変化を考慮したものである。具体的には、距離センサが物体から離れるほど、物体上に現れる投影アーチファクトは小さくなる。逆に、距離センサが物体に近いほど、物体上に現れる投影アーチファクトは大きくなる。したがって、各ウィンドウ104の狭い方の端部106は、対応する投影アーチファクトを検出するための遠方限界距離を表し、一方、ウィンドウの広い方の端部108は、対応する投影アーチファクトを検出するための近方限界距離を表す。
図示の例では、同一直線上にある隣接する軌道102同士の間に重なりがないことに留意されたい。すなわち、投影パターンの同じ行に現れる2つの隣接する投影アーチファクトの軌道102同士(軌道102および102など)は重ならない。このことは、図2に概念的に示されており、図2は、本開示の各例による、複数の投影アーチファクトの軌道200〜200(以下、個別に「軌道200」と呼ぶか、まとめて「軌道200同士」と呼ぶ)の拡大図を示す。図示されたように、所与の軌道の近方限界距離(例えば、対応するウィンドウの広い端部)と、同じ行の隣接する軌道の遠方限界距離(例えば、そのウィンドウの狭い端部)との間には、少なくとも閾値距離d(d>0)が存在する。さらに、所与の軌道200の軌道中心(例えば、x軸に平行な軌道200を通る仮想線202〜202)と、y軸に沿って移動して隣接する軌道200の軌道中心との間に、少なくとも閾値距離d(d>0)が存在する。したがって、2つの投影アーチファクトが同じ軌道中心202を共有することはできない。さらに、2つのウィンドウが重なることはない。図2のパターンは、単純化されていることに留意されたい。例えば、(例えば、x軸に沿って)隣接する行同士の間、または(例えば、y軸に沿って)隣接する列同士の間にはオフセットが存在してもよい。
図3は、本開示による、ウィンドウ300および関連する1つの投影アーチファクト302についての幾何学的形状を示す。図3はまた、ウィンドウ300にわたる光強度(または「画素値」)の分布のプロット304を示している。ここで、「画素値」とは、距離センサの撮像センサ310の特定の画素において測定された、画像内の光の強度を示す値を指す。図示されたように、ピーク光強度(プロット304のピーク306によって示される)は、ウィンドウ300内の投影アーチファクト302の位置と一致する。
一例では、ウィンドウ300内の光強度の不均一性の影響を低減するために、ウィンドウ300のサブウィンドウ(例えば、微小領域)xについて、光強度(lΔx)のy方向の平均を計算してもよい。このサブウィンドウは、ウィンドウ300内のy方向の全体にわたって伸張していてもよいが、ウィンドウ300内のx方向(例えば、投影アーチファクトの移動方向)の微小部分または限定的部分(例えば、5パーセント以下)にわたって伸張し得る。
さらに、x方向の光強度lΔxの分布、ならびに閾値範囲または値s(図3に線308で示される)を超える光強度のx方向の分布が判定されてよい。一例では、光強度分布閾値範囲の限界であるRminおよびRmaxは、x方向の投影アーチファクトの位置x1(すなわち、Rx1min、Rx1max)に関して定数値または様々に異なる値を有する。さらなる例では、閾値sは、x方向の位置xに関して定数値または様々に異なる値を有し得る。
したがって、距離センサの撮像センサによって取得された画像が投影アーチファクト302に対応するかどうかを判定するために、以下のステップを行ってよい。まず、光強度lΔxのx方向の画素x1(Rx1)における光強度分布範囲を、光強度分布閾値範囲(Rx1min、Rx1max)と比較する。光強度分布閾値範囲(Rx1min、Rx1max)は、ウィンドウ300の遠方限界距離および近方限界距離を考慮から除外することによって、ウィンドウ300を短縮してよい。
光強度lΔxのx方向のx1(Rx1)における光強度分布範囲が光強度分布閾値範囲(Rx1min、Rx1max)から外れている場合、投影アーチファクト302は無視してもよい(例えば、距離測定計算から除外してもよい)。例えば、Rx1がRx1maxよりも大きい場合、これは、物体が距離センサに近すぎて、距離センサが投影アーチファクト302を確実に観察できないことを示し得る。この状況の例を図4に示す。図4は、例示的な投影パターン400を示しており、この投影パターン400では、物体が距離センサに非常に接近しているため、パターン400の領域402内の投影アーチファクトが非常に大きい/明るいため、投影アーチファクトが互いに重なり合い、個々の投影アーチファクトを区別することが困難になっている。
同様に、Rx1がRx1minよりも小さい場合、検出された光は、投影アーチファクト302ではなくノイズの結果である可能性が高い。この状況の例を図5に示す。図5は、例示的な投影パターン500を示しており、この投影パターン500では、光学ノイズ502が、投影パターン500の領域内の個々の投影アーチファクトを区別することを困難にしている。図6もまた、図3のウィンドウ300に光学ノイズが存在する場合を図示している。図6に示すように、光ノイズの存在により、Rx1が光強度分布閾値範囲(Rx1min、Rx1max)から外れている。
しかしながら、光強度lΔxのx方向のx1(Rx1)における光強度分布範囲が光強度分布閾値範囲(Rx1min、Rx1max)内に含まれる場合、投影アーチファクト302の位置は、さらなる動作により検出してよい。一例では、光強度分布閾値範囲(Rx1min、Rx1max)内に含まれる画素値ごとに、X0の値(投影アーチファクト)を所定のアルゴリズムに従って計算する(例えば、中心値、メジアン値などをとる)。ただし、レンズ特性、ビーム投影特性、その他の要因により、光強度分布と投影アーチファクト位置との関係が様々に異なり得ることに留意されたい。
図7は、本開示による、高密度投影パターンを使用した距離測定のための方法700の一例を示すフロー図である。方法700は、例えば、距離センサのプロセッサまたは図8に示されたプロセッサ802などのプロセッサによって実行され得る。一例として、方法700は、処理システムによって実行されるものとして説明する。
方法700は、ステップ702から開始してよい。ステップ704において、処理システムは、光のパターンを物体上に投影してよい。光のパターンは、距離センサの投影システムの複数のビームによって作成されてよい。複数のビームは、複数の投影アーチファクトを物体上に投影してよく、投影アーチファクトは集合的に光のパターン、または「投影パターン」を形成する。投影パターンの幾何学的制約は、上記図2によって定義してよい。上述したように、この光は、人間の目には実質的に見えないが、距離センサの撮像センサ(例えば、赤外線)によって検出可能である波長としてよい。
ステップ706において、処理システムは、それらの複数のビームのうち第1のビームに割り当てられたウィンドウを識別してよい。一例では、複数のビームのうちの少なくともいくつかのビームは、上述のように、ビームが物体上に作成するそれぞれの投影アーチファクトについてのそれぞれの検出領域または「ウィンドウ」に割り当てられるものとする。x方向のウィンドウの長さは、予め定義されていてもよく、互いに重ならない。一例では、第1のビームに割り当てられたウィンドウは、距離センサの撮像センサ上の第1のビームの投影アーチファクトの画像の直径以下である、投影パターンのy方向幅を有する。
ステップ708において、処理システムは、ウィンドウのy方向(例えば、投影アーチファクトの軌道に垂直な方向)における光強度(例えば、距離センサの撮像センサに受光された光)の量(例えば、合計または平均)を計算してよい。y方向の光強度の量は、サブウィンドウにわたって計算してよく、このサブウィンドウは、y方向ではウィンドウの全体にわたって伸張していてもよいが、x方向ではウィンドウの微小部分(例えば、5パーセント以下)にわたって伸張し得る。
ステップ710において、処理システムは、(例えば、投影アーチファクトの軌道に平行な方向における)ウィンドウのx方向にわたる光強度分布が第1の事前定義された閾値を超えるウィンドウの領域を識別してよい。一例では、第1の事前定義された閾値の値は、x方向に沿った位置に応じて設定される。ウィンドウのうちのこの領域は、x1として示すことができる。
次に、処理システムは、ステップ708で識別されたウィンドウの領域x1における光強度分布が、光強度分布閾値範囲(Rx1min、Rx1max)から外れているかどうかを判定してよい。一例では、光強度分布閾値範囲の最小値と最大値は、x方向に沿った位置に応じて別々の値を有する。
ステップ712において、処理システムは、光強度分布が光強度分布閾値範囲の最大値(Rx1max)を超えるかどうかを判定してよい。処理システムが、ステップ712において、光強度分布が光強度分布閾値範囲の最大値を超えると判定した場合、処理システムは、ステップ714に進んでよい。ステップ714において、処理システムは、第1のビームに関連する投影アーチファクトを距離計算から除外してよい。
この場合、処理システムは、距離が検出中である物体が距離センサに近すぎて、第1のビームに関連する投影アーチファクトを使用して正確な距離測定をすることができない可能性があると見なしてよい。一例では、処理システムは、この想定をメモリに記憶してもよい。続いて、少なくとも閾値個の隣接するウィンドウ同士が、光強度分布閾値範囲の最大値を超える光強度分布を含むと判定された場合、処理システムは、物体が距離センサに近過ぎると結論付けてよい。処理システムは、物体と距離センサとの間の距離を調整するようにユーザに警告する信号を生成してよい。あるいは、閾値個未満の隣接するウィンドウ同士が、光強度分布閾値範囲の最大値を超える光強度分布を含むと判定された場合、処理システムは、光学/光ノイズが存在すると結論付けてよい。この場合、処理システムは、距離センサの画像取込手段の設定(例えば、露光時間)を調整するか、または調整を行うようにユーザに警告する信号を生成してよい。
ステップ712に戻り、処理システムが、ステップ712において、光強度分布が光強度分布閾値範囲の最大値を超えないと判定した場合、処理システムは、ステップ716に進んでよい。ステップ716において、処理システムは、光強度分布が光強度分布閾値範囲の最小値(Rx1min)を下回るかどうかを判定してよい。
処理システムが、ステップ716において、光強度分布が光強度分布閾値範囲の最小値を下回ると判定した場合、処理システムは、ステップ718に進んでよい。ステップ718において、処理システムは、第1のビームに関連する投影アーチファクトを距離計算から除外してよい。この場合、処理システムは、ウィンドウ内で検出された光が、投影アーチファクトではなく、光学/光ノイズであると見なしてよい。
あるいは、処理システムが、ステップ716において、光強度分布が光強度分布閾値範囲の最小値を下回らないと判定した場合、方法700は、ステップ720に進んでよい。ステップ720において、処理システムは、ステップ708で識別された領域x1における光強度の量に応じて、撮像センサ上の投影アーチファクトの位置を判定してよい。一例では、この量は、光強度の中心値および/またはメジアン値(これは、投影アーチファクトの中心を示し得る)を含んでもよい。
ステップ714またはステップ718に従って投影アーチファクトが距離計算から除外されるか、または投影アーチファクトの位置がステップ720で判定されると、方法700はステップ722に進む。ステップ722において、処理システムは、光強度に基づいて(例えば、方法700に従って)識別された複数の投影アーチファクトの位置に従って、物体から距離センサまでの距離を演算してよい。したがって、方法700は、複数のビームに関連する複数のウィンドウに対して実行してよく、その結果、複数の投影アーチファクトの位置を識別することができる。
方法700は、ステップ724で終了してよい。
したがって、方法700は、投影アーチファクトの位置を判定する従来の二次元の問題を、固定ウィンドウ内のピーク光強度の領域を探すことによって、一次元の問題に変換する。ピーク強度のこれらの領域は、それらがある特定の閾値基準を満たしている場合、投影アーチファクトの位置を表していると見なしてよい。
場合によっては、1つのウィンドウ内の複数の領域が閾値基準を満たす場合があることに留意されたい(例えば、複数の領域が、光強度分布閾値範囲内に含まれるピーク光強度を有する場合がある)。この場合、これらのウィンドウに関連付けられたビームによって生成された投影アーチファクトは、距離の計算から除外されてもよい。
明示的に指定されていないが、上記の方法700の一部のブロック、機能、または動作は、特定の用途のために記憶すること、表示すること、および/または出力することを含み得ることに留意されたい。換言すれば、方法700において説明された任意のデータ、記録、フィールド、および/または中間結果は、具体的な用途に応じて、記憶され、表示され、および/または別のデバイスに出力されてよい。さらに、図7において判定動作について記載した、または判定を含む、ブロック、機能、または動作は、判定動作の両方の分岐が実行されることを意味するものではない。換言すれば、判定動作の結果によっては、判定動作の分岐のうちの1つが行われない場合がある。
図8は、センサから物体までの距離を計算するための例示的な電子デバイス800の高レベルのブロック図を示す。このように、電子デバイス800は、距離センサなど、電子デバイスまたはシステムのプロセッサとして実装され得る。
図8に示すように、電子デバイス800は、ハードウェアプロセッサ要素802(例えば、中央処理ユニット(CPU)、マイクロプロセッサ、またはマルチコアプロセッサ)と、メモリ804(例えば、ランダムアクセスメモリ(RAM)および/または読み取り専用メモリ(ROM))と、センサから物体までの距離を計算するためのモジュール805と、様々な入力/出力デバイス806(例えば、記憶装置(これらに限定されないが、テープドライブ、フロッピードライブ、ハードディスクドライブ、またはコンパクトディスクドライブを含む)、受信機、送信機、ディスプレイ、出力ポート、入力ポート、およびユーザ入力デバイス(キーボード、キーパッド、マウス、マイクロホン、カメラ、レーザー光源、LED光源など))と、を備える。
1つのプロセッサ要素が示されているが、電子デバイス800は、複数のプロセッサ要素を使用してもよいことに留意されたい。さらに、この図には1つの電子デバイス800が示されているが、上述の方法が、特定の例示的例について分散もしくは並列で実装される場合、すなわち、上記の方法の各ブロックまたは方法全体が、複数または並列の電子デバイスにわたって実装される場合、この図の電子デバイス800は、それらの複数の電子デバイスの各々を表すことを意図している。
本開示は、例えば、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)を含むプログラマブルロジックアレイ(PLA)、またはハードウェアデバイス上に配備されるステートマシンを使用して、機械可読命令によって、および/または機械可読命令とハードウェアの組み合わせで実行してよく、汎用コンピュータまたは任意の他のハードウェアの等価物(例えば上述の方法に関係するコンピュータ可読命令)は、上記で開示した方法のブロック、機能、および/または動作を実行するようにハードウェアプロセッサを構成するために使用されてよいことに留意されたい。
一例では、センサから物体までの距離を計算するための本モジュールまたはプロセス805のための命令およびデータ(例えば、機械可読命令)は、メモリ804内にロードされ、ハードウェアプロセッサ要素802によって実行されて、方法700に関連して上述したブロック、機能、または動作を実施してよい。さらに、ハードウェアプロセッサが命令を実行して「動作」を行うとき、これは、ハードウェアプロセッサがその動作を直接的に行うこと、および/またはその動作を行うように別のハードウェアデバイスまたは構成要素(例えばコプロセッサなど)と共に促進し、指示し、共働することを含んでよい。
上記の方法に関する機械可読命令を実行するプロセッサは、プログラムされたプロセッサまたは専用のプロセッサとして認識され得る。このように、本開示のセンサから物体までの距離を計算するための本モジュール805は、実体的なまたは物理的な(概して非一時的な)コンピュータ可読記憶装置または媒体(例えば、揮発性メモリ、非揮発性メモリ、ROMメモリ、RAMメモリ、磁気または光学ドライブ、デバイス、またはディスケットなど)に記憶されてよい。より具体的には、コンピュータ可読記憶装置は、コンピュータまたは安全センサシステムのコントローラなどのプロセッサまたは電子デバイスによってアクセスされるデータおよび/または命令などの情報を記憶する能力を提供する任意の物理的デバイスを含んでよい。
上記開示の変形例、並びに他の特徴および機能、またはそれらの代替物は、他の多くの異なるシステムまたはアプリケーションに組み合わせてよいことを理解されたい。現在予期しないまたは予想しない様々な代替、改良、または変形が今後なされ得るが、それらもまた、以下の特許請求の範囲に包含されることが意図される。

Claims (20)

  1. 距離センサの処理システムによって、前記距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、前記パターンが、複数の投影アーチファクトを含み、前記複数の投影アーチファクトの各投影アーチファクトが、前記距離センサの撮像センサ上で前記各投影アーチファクトの潜在的な移動範囲を表す軌道に関連付けられ、前記軌道の移動方向に平行な方向において隣接する2つの軌道の間に少なくとも第1の閾値距離が存在し、前記軌道の前記移動方向に垂直な方向において隣接する2つの軌道の間に少なくとも第2の閾値距離が存在する、命令することと、
    前記処理システムによって、前記光のパターンを含む前記物体の画像内の前記複数のアーチファクトのうち第1の投影アーチファクトの位置を検出することであって、前記第1の投影アーチファクトに関連付けられた第1の軌道に対応する第1のウィンドウ内のピーク光強度の領域を識別することを含む、検出することと、
    前記処理システムによって、前記第1の投影アーチファクトの前記位置に部分的に基づいて、前記距離センサから前記物体までの距離を計算することと、を含む方法。
  2. 第2の投影アーチファクトに関連付けられた第2の軌道に対応する第2のウィンドウ内のピーク光強度の領域が、事前定義された閾値範囲から外れている場合、前記処理システムによって、前記複数の投影アーチファクトのうち前記第2の投影アーチファクトの位置を前記計算することから除外することをさらに含む、請求項1に記載の方法。
  3. 前記第2のウィンドウ内の前記ピーク光強度の領域が前記閾値範囲の最大値よりも大きい場合、かつ前記第2のウィンドウに隣接する少なくとも閾値個のウィンドウもまた前記最大値よりも大きいピーク光強度を示す場合、前記処理システムによって、前記物体が前記距離センサに近すぎて前記第2の投影アーチファクトを確実に観察できないと見なすことをさらに含む、請求項2に記載の方法。
  4. 前記処理システムによって、前記物体と前記距離センサとの間の距離を調整するようにユーザに警告する信号を生成することをさらに含む、請求項3に記載の方法。
  5. 前記第2のウィンドウ内の前記ピーク光強度の領域が前記閾値範囲の最大値よりも大きい場合、かつ前記第2のウィンドウに隣接する少なくとも閾値個のウィンドウもまた前記最大値よりも大きいピーク光強度を示す場合、前記処理システムによって、光学ノイズが多すぎて前記第2の投影アーチファクトを確実に観察できないと見なすことをさらに含む、請求項2に記載の方法。
  6. 前記処理システムによって、前記距離センサの画像取込手段の設定を調整するようにユーザに警告する信号を生成することをさらに含む、請求項5に記載の方法。
  7. 前記第2のウィンドウ内の前記ピーク光強度の領域が、前記閾値範囲の最小値よりも小さい場合、前記処理システムによって、光学ノイズが多すぎて前記第2の投影アーチファクトを確実に観察できないと見なすことをさらに含む、請求項2に記載の方法。
  8. 前記軌道の前記移動方向に垂直な方向における前記第1のウィンドウの幅が、前記第1の投影アーチファクトの直径以下である、請求項1に記載の方法。
  9. 前記検出することより前に、
    前記処理システムによって、前記第1のウィンドウのサブウィンドウにわたる光強度の量を計算することであって、前記サブウィンドウが、前記軌道の前記移動方向に垂直な方向では前記第1のウィンドウの全体にわたって伸張しているが、前記軌道の前記移動方向に平行な方向では前記第1のウィンドウの全体よりも短く伸張している、計算することをさらに含む、請求項8に記載の方法。
  10. 前記量が光強度の合計である、請求項9に記載の方法。
  11. 前記量が光強度の平均である、請求項9に記載の方法。
  12. 前記ピーク光強度が、前記第1のウィンドウ内の光強度の中心値である、請求項1に記載の方法。
  13. 前記ピーク光強度が、前記第1のウィンドウ内の光強度のメジアン値である、請求項1に記載の方法。
  14. 少なくとも2つのピーク光強度の領域が、第2の投影アーチファクトに関連付けられた第2の軌道に対応する第2のウィンドウ内で検出された場合、前記処理システムによって、前記複数の投影アーチファクトのうち前記第2の投影アーチファクトの位置を前記計算することから除外することをさらに含む、請求項1に記載の方法。
  15. 距離センサのプロセッサによって実行可能な命令で符号化された非一時的な機械可読記憶媒体であって、
    前記命令は、実行されると、前記プロセッサに動作を行わせ、
    前記動作は、
    前記距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、前記パターンが、複数の投影アーチファクトを含み、前記複数の投影アーチファクトの各投影アーチファクトが、前記距離センサの撮像センサ上で前記各投影アーチファクトの潜在的な移動範囲を表す軌道に関連付けられ、前記軌道の移動方向に平行な方向において隣接する2つの軌道の間に少なくとも第1の閾値距離が存在し、前記軌道の前記移動方向に垂直な方向において隣接する2つの軌道の間に少なくとも第2の閾値距離が存在する、命令することと、
    前記光のパターンを含む前記物体の画像内の前記複数のアーチファクトのうち第1の投影アーチファクトの位置を検出することであって、前記第1の投影アーチファクトの軌道に対応するウィンドウ内のピーク光強度の領域を識別することを含む、検出することと、
    前記第1の投影アーチファクトの前記位置に部分的に基づいて、前記距離センサから前記物体までの距離を計算することと、を含む非一時的な機械可読記憶媒体。
  16. 距離センサの処理システムによって、前記距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、前記パターンが、複数の投影アーチファクトを含む、命令することと、
    前記処理システムによって、前記光のパターンを含む前記物体の画像内の前記複数のアーチファクトのうち第1の投影アーチファクトの位置を検出することであって、前記検出することが、前記第1の投影アーチファクトの軌道に対応するウィンドウ内のピーク光強度の領域を識別することを含み、前記軌道が、前記距離センサの撮像センサ上の前記第1の投影アーチファクトの潜在的な移動範囲を表す、検出することと、
    前記処理システムによって、前記第1の投影アーチファクトの前記位置に部分的に基づいて、前記距離センサから前記物体までの距離を計算することと、を含む方法。
  17. 第2の投影アーチファクトに関連付けられた第2の軌道に対応する第2のウィンドウ内のピーク光強度の領域が、事前定義された閾値範囲から外れている場合、前記処理システムによって、前記複数の投影アーチファクトのうち前記第2の投影アーチファクトの位置を前記計算することから除外することをさらに含む、請求項16に記載の方法。
  18. 前記軌道の前記移動方向に垂直な方向における前記第1のウィンドウの幅が、前記第1の投影アーチファクトの直径以下である、請求項16に記載の方法。
  19. 前記検出することより前に、
    前記処理システムによって、前記第1のウィンドウのサブウィンドウにわたる光強度の量を計算することであって、前記サブウィンドウが、前記軌道の前記移動方向に垂直な方向では前記第1のウィンドウの全体にわたって伸張しているが、前記軌道の前記移動方向に平行な方向では前記第1のウィンドウの全体よりも短く伸張している、計算することをさらに含む、請求項18に記載の方法。
  20. 少なくとも2つのピーク光強度の領域が、第2の投影アーチファクトに関連付けられた第2の軌道に対応する第2のウィンドウ内で検出された場合、前記処理システムによって、前記複数の投影アーチファクトのうち前記第2の投影アーチファクトの位置を前記計算することから除外することをさらに含む、請求項16に記載の方法。
JP2020568306A 2018-06-06 2019-06-04 高密度投影パターンを使用した距離測定 Active JP7292315B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862681236P 2018-06-06 2018-06-06
US62/681,236 2018-06-06
PCT/US2019/035368 WO2019236563A1 (en) 2018-06-06 2019-06-04 Distance measurement using high density projection patterns

Publications (2)

Publication Number Publication Date
JP2021527205A true JP2021527205A (ja) 2021-10-11
JP7292315B2 JP7292315B2 (ja) 2023-06-16

Family

ID=68764079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020568306A Active JP7292315B2 (ja) 2018-06-06 2019-06-04 高密度投影パターンを使用した距離測定

Country Status (7)

Country Link
US (1) US11474245B2 (ja)
EP (1) EP3803266A4 (ja)
JP (1) JP7292315B2 (ja)
KR (1) KR20210008025A (ja)
CN (1) CN112513565B (ja)
TW (1) TWI808189B (ja)
WO (1) WO2019236563A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7133554B2 (ja) 2016-12-07 2022-09-08 マジック アイ インコーポレイテッド 焦点調整可能な画像センサを含む距離センサ
KR20200054326A (ko) 2017-10-08 2020-05-19 매직 아이 인코포레이티드 경도 그리드 패턴을 사용한 거리 측정
EP3692501A4 (en) 2017-10-08 2021-07-07 Magik Eye Inc. CALIBRATION OF A SENSOR SYSTEM INCLUDING MULTIPLE MOBILE SENSORS
WO2019182881A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Distance measurement using projection patterns of varying densities
WO2019182871A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
CN112513565B (zh) * 2018-06-06 2023-02-10 魔眼公司 使用高密度投影图案的距离测量
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
WO2020150131A1 (en) 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020231747A1 (en) 2019-05-12 2020-11-19 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
CN114830190A (zh) 2019-12-29 2022-07-29 魔眼公司 将三维坐标与二维特征点相关联
JP2023510738A (ja) 2020-01-05 2023-03-15 マジック アイ インコーポレイテッド 3次元カメラの座標系を2次元カメラの入射位置に移動させる方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002341238A (ja) * 2002-03-18 2002-11-27 Olympus Optical Co Ltd 測距装置のための調整装置
JP2003088512A (ja) * 2001-06-15 2003-03-25 Sumitomo Osaka Cement Co Ltd 監視装置
JP2006505784A (ja) * 2002-11-11 2006-02-16 キネティック リミテッド 測距装置
JP2014119428A (ja) * 2012-12-19 2014-06-30 Fujitsu Semiconductor Ltd 距離測定装置、距離測定方法
JP2014206489A (ja) * 2013-04-15 2014-10-30 シャープ株式会社 測距装置

Family Cites Families (189)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914460A (en) 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US4954962A (en) 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH045112A (ja) 1990-04-23 1992-01-09 Sumitomo Rubber Ind Ltd 低転がり抵抗タイヤ
US5061062A (en) 1990-07-02 1991-10-29 General Electric Company Focus spot size controller for a variable depth range camera
JPH09507264A (ja) 1994-01-11 1997-07-22 シエル・インターナシヨネイル・リサーチ・マーチヤツピイ・ベー・ウイ クリーナー組成物
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JP3328111B2 (ja) 1995-08-23 2002-09-24 日本電気株式会社 空間距離測定方法及び空間距離測定装置
US6038415A (en) 1997-07-18 2000-03-14 Minolta Co., Ltd. Image forming apparatus and image-carrier cartridge device which is employed in the same
EP0898245B1 (en) 1997-08-05 2004-04-14 Canon Kabushiki Kaisha Image processing method and apparatus
US5980454A (en) 1997-12-01 1999-11-09 Endonetics, Inc. Endoscopic imaging system employing diffractive optical elements
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
AUPP299498A0 (en) 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
US6122039A (en) 1998-10-28 2000-09-19 Banner Engineering Corp. Method and apparatus to detect and report object displacement utilizing optical triangulation principles
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
JP2002056348A (ja) 2000-08-07 2002-02-20 Tohken Co Ltd オートフォーカス機能を有する手持ち式読取装置及びオートフォーカス方法、並び距離計測方法
US6937350B2 (en) 2001-06-29 2005-08-30 Massachusetts Institute Of Technology Apparatus and methods for optically monitoring thickness
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
US20040041996A1 (en) * 2002-08-28 2004-03-04 Fuji Xerox Co., Ltd. Range finder and method
TWI247104B (en) 2003-02-26 2006-01-11 Hon Hai Prec Ind Co Ltd A measuring method for pattern of light guide plate
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
US7460250B2 (en) * 2003-10-24 2008-12-02 3Dm Devices Inc. Laser triangulation system
WO2005076198A1 (en) 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US20050288956A1 (en) 2004-06-16 2005-12-29 Ewald Speicher Systems and methods for integrating business process documentation with work environments
US7191056B2 (en) 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP2006313116A (ja) 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
US20070091174A1 (en) 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP4760391B2 (ja) 2006-01-13 2011-08-31 カシオ計算機株式会社 測距装置及び測距方法
JP4799216B2 (ja) 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
US7375803B1 (en) 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4889373B2 (ja) 2006-05-24 2012-03-07 ローランドディー.ジー.株式会社 3次元形状測定方法およびその装置
US8471892B2 (en) 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
WO2008133957A1 (en) 2007-04-23 2008-11-06 California Institute Of Technology Single-lens, single-sensor 3-d imaging device with a central aperture for obtaining camera position
TWI320480B (en) 2007-04-23 2010-02-11 Univ Nat Formosa One diffraction 6 degree of freedom optoelectronic measurement system
DE102007054906B4 (de) 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
US8285025B2 (en) 2008-03-25 2012-10-09 Electro Scientific Industries, Inc. Method and apparatus for detecting defects using structured light
US9170097B2 (en) 2008-04-01 2015-10-27 Perceptron, Inc. Hybrid system
CN102027388B (zh) 2008-04-11 2013-08-28 瑞士联邦理工大学,洛桑(Epfl) 采用显示器作为照明源的基于飞行时间的成像***
US8187097B1 (en) 2008-06-04 2012-05-29 Zhang Evan Y W Measurement and segment of participant's motion in game play
DE102008031942A1 (de) 2008-07-07 2010-01-14 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts
DE112009001652T5 (de) 2008-07-08 2012-01-12 Chiaro Technologies, Inc. Mehrkanal-Erfassung
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
JP2010091855A (ja) 2008-10-09 2010-04-22 Denso Corp レーザビーム照射装置
JP5251419B2 (ja) 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
CN101794065A (zh) 2009-02-02 2010-08-04 中强光电股份有限公司 投影显示***
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
JP5484098B2 (ja) 2009-03-18 2014-05-07 三菱電機株式会社 投写光学系及び画像表示装置
JP4991787B2 (ja) 2009-04-24 2012-08-01 パナソニック株式会社 反射型光電センサ
PL2438397T3 (pl) 2009-06-01 2019-05-31 Dentsply Sirona Inc Sposób i urządzenie do trójwymiarowej detekcji powierzchni z dynamiczną ramką odniesienia
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
JP2011169701A (ja) 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
US9151607B2 (en) * 2010-05-31 2015-10-06 University Of North Carolina At Charlotte Dimensional measurement through a combination of photogrammetry and optical scattering
JP5612916B2 (ja) 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US8964189B2 (en) * 2010-08-19 2015-02-24 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
JP5163713B2 (ja) 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
US8830637B2 (en) 2010-08-31 2014-09-09 Texas Instruments Incorporated Methods and apparatus to clamp overvoltages for alternating current systems
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8593535B2 (en) 2010-09-10 2013-11-26 Apple Inc. Relative positioning of devices based on captured images of tags
JP2012068762A (ja) 2010-09-21 2012-04-05 Sony Corp 検出装置、検出方法、プログラム、及び電子機器
EP2433716A1 (en) 2010-09-22 2012-03-28 Hexagon Technology Center GmbH Surface spraying device with a nozzle control mechanism and a corresponding method
EP2633268B1 (en) * 2010-10-27 2018-09-26 Nikon Corporation Profile measuring apparatus and method for manufacturing a structure.
TWI428558B (zh) 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP5815940B2 (ja) * 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
US9888225B2 (en) 2011-02-04 2018-02-06 Koninklijke Philips N.V. Method of recording an image and obtaining 3D information from the image, camera system
JP5746529B2 (ja) * 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
JP2014122789A (ja) 2011-04-08 2014-07-03 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
CN102859321A (zh) * 2011-04-25 2013-01-02 三洋电机株式会社 物体检测装置以及信息取得装置
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
EP2718668B1 (en) 2011-06-07 2023-07-26 Creaform Inc. Sensor positioning for 3d scanning
KR101974651B1 (ko) 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
JP2014238259A (ja) 2011-09-28 2014-12-18 三洋電機株式会社 情報取得装置および物体検出装置
US9142025B2 (en) 2011-10-05 2015-09-22 Electronics And Telecommunications Research Institute Method and apparatus for obtaining depth information using optical pattern
KR101605224B1 (ko) 2011-10-05 2016-03-22 한국전자통신연구원 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
TW201329509A (zh) 2012-01-10 2013-07-16 Walsin Lihwa Corp 立體掃瞄裝置及其立體掃瞄方法
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
KR20140116551A (ko) 2012-01-31 2014-10-02 쓰리엠 이노베이티브 프로퍼티즈 캄파니 표면의 삼차원 구조를 측정하는 방법 및 장치
US9186470B2 (en) * 2012-02-08 2015-11-17 Apple Inc. Shape reflector and surface contour mapping
EP2821748B1 (en) 2012-03-01 2019-07-31 Nissan Motor Co., Ltd Range finding device and range finding method
WO2013145164A1 (ja) 2012-03-28 2013-10-03 富士通株式会社 撮像装置
EP2849648B1 (en) 2012-05-18 2020-01-08 Siemens Healthcare Diagnostics Inc. Fish eye lens imaging apparatus and imaging method
US8699005B2 (en) 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
DE102012013159B4 (de) 2012-07-02 2014-11-27 Mirek Göbel Strömungsmaschine zum Fördern großer Fluidmengen
WO2014008904A1 (en) 2012-07-10 2014-01-16 Wavelight Gmbh Process and apparatus for determining optical aberrations of an eye
US20140016113A1 (en) 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light
JP2014020978A (ja) 2012-07-20 2014-02-03 Fujitsu Ltd 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法
EP2696590B1 (en) 2012-08-06 2014-09-24 Axis AB Image sensor positioning apparatus and method
JP2014044113A (ja) 2012-08-27 2014-03-13 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
US9275459B2 (en) 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
KR102556725B1 (ko) 2012-10-24 2023-07-17 시리얼 테크놀로지즈 에스.에이. 조명 디바이스
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
DE102012022039B4 (de) 2012-11-09 2020-03-26 Mbda Deutschland Gmbh Modulare Laserbestrahlungseinheit
JP6241793B2 (ja) 2012-12-20 2017-12-06 パナソニックIpマネジメント株式会社 3次元測定装置および3次元測定方法
US10466359B2 (en) 2013-01-01 2019-11-05 Inuitive Ltd. Method and system for light patterning and imaging
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US8768559B1 (en) 2013-01-22 2014-07-01 Qunomic Virtual Technology, LLC Line projection system
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
US9536339B1 (en) 2013-06-13 2017-01-03 Amazon Technologies, Inc. Processing unordered point cloud
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
JP6211876B2 (ja) 2013-10-01 2017-10-11 株式会社トプコン 測定方法及び測定装置
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
CN103559735B (zh) 2013-11-05 2017-03-01 重庆安钻理科技股份有限公司 一种三维重建方法及***
BR112016015664A8 (pt) 2014-01-06 2020-06-09 Eyelock Llc aparelho para gerar repetidamente imagens de uma íris e dispositivo de reconhecimento de imagem de íris de uso repetitivo
GB2522248A (en) 2014-01-20 2015-07-22 Promethean Ltd Interactive system
KR102166691B1 (ko) 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
US9526427B2 (en) 2014-03-21 2016-12-27 Hypermed Imaging, Inc. Compact light sensors with symmetrical lighting
US9307231B2 (en) 2014-04-08 2016-04-05 Lucasfilm Entertainment Company Ltd. Calibration target for video processing
JP6002275B2 (ja) 2014-04-30 2016-10-05 シナノケンシ株式会社 計測装置
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US20150347833A1 (en) 2014-06-03 2015-12-03 Mark Ries Robinson Noncontact Biometrics with Small Footprint
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
WO2016010481A1 (en) 2014-07-14 2016-01-21 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules operable to distinguish between signals indicative of reflections from an object of interest and signals indicative of a spurious reflection
WO2016018260A1 (en) * 2014-07-29 2016-02-04 Apple Inc. Distortion quantifier
WO2016025502A1 (en) 2014-08-11 2016-02-18 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
WO2016024203A2 (en) * 2014-08-12 2016-02-18 Mantisvision Ltd. System, method and computer program product to project light pattern
KR20160020323A (ko) 2014-08-13 2016-02-23 옥은호 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서
JP6370177B2 (ja) 2014-09-05 2018-08-08 株式会社Screenホールディングス 検査装置および検査方法
KR20170072319A (ko) 2014-10-24 2017-06-26 매직 아이 인코포레이티드 거리 센서
JP6121063B1 (ja) 2014-11-04 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd カメラ較正方法、デバイス及びシステム
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
US20160157725A1 (en) 2014-12-08 2016-06-09 Luis Daniel Munoz Device, system and methods for assessing tissue structures, pathology, and healing
KR102369792B1 (ko) 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
JP6152395B2 (ja) 2015-03-09 2017-06-21 テスト リサーチ, インク. 光学検出システム
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
EP3274653B1 (en) 2015-03-22 2020-11-25 Facebook Technologies, LLC Depth mapping with a head mounted display using stereo cameras and structured light
CN107407728B (zh) * 2015-03-26 2020-05-22 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
CN107709925B (zh) 2015-03-27 2018-12-14 富士胶片株式会社 距离图像获取装置
WO2016157600A1 (ja) 2015-03-30 2016-10-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
DE112015006245B4 (de) * 2015-03-30 2019-05-23 Fujifilm Corporation Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren
US9694498B2 (en) 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
KR102473740B1 (ko) 2015-04-20 2022-12-05 삼성전자주식회사 동시 rgbz 센서 및 시스템
US10488192B2 (en) * 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
JP6761817B2 (ja) * 2015-05-10 2020-09-30 マジック アイ インコーポレイテッド 物体までの距離を算出するための方法
DE102015209143B4 (de) 2015-05-19 2020-02-27 Esaote S.P.A. Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation
WO2016194018A1 (ja) 2015-05-29 2016-12-08 オリンパス株式会社 照明装置及び計測装置
DE112015006609B4 (de) * 2015-06-09 2021-10-21 Mitsubishi Electric Corporation Bilderzeugungsgerät, Bilderzeugungsverfahren und Musterlichterzeugungsgerät
US20160377414A1 (en) * 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
KR20170005649A (ko) 2015-07-06 2017-01-16 엘지전자 주식회사 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
EP3115742B1 (en) 2015-07-10 2020-04-15 Hexagon Technology Center GmbH 3d measuring machine
US10223793B1 (en) 2015-08-05 2019-03-05 Al Incorporated Laser distance measuring method and system
DE102015115011A1 (de) 2015-09-08 2017-03-09 Valeo Schalter Und Sensoren Gmbh Laserscanner für Kraftfahrzeuge
US9989357B2 (en) 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
JP2018538107A (ja) * 2015-09-23 2018-12-27 イースト カロライナ ユニバーシティ 発光体を使用して物体距離及びターゲット寸法を測定する方法、システム、及びコンピュータプログラム製品
US20170094251A1 (en) 2015-09-30 2017-03-30 Faro Technologies, Inc. Three-dimensional imager that includes a dichroic camera
US10176554B2 (en) 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6597150B2 (ja) 2015-10-09 2019-10-30 富士通株式会社 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法
FR3042610B1 (fr) 2015-10-14 2018-09-07 Quantificare Dispositif et procede pour reconstruire en trois dimensions la tete et le corps
US10942261B2 (en) 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
JP6038415B1 (ja) 2015-11-25 2016-12-07 三菱電機株式会社 3次元画像計測装置及び方法
KR20170094968A (ko) 2016-02-12 2017-08-22 엘지이노텍 주식회사 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
US11030775B2 (en) 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
CN107438148B (zh) 2016-05-27 2021-08-24 松下知识产权经营株式会社 摄像***
US9686539B1 (en) 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
JP7133554B2 (ja) 2016-12-07 2022-09-08 マジック アイ インコーポレイテッド 焦点調整可能な画像センサを含む距離センサ
US20180227566A1 (en) 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
KR102201627B1 (ko) 2017-02-21 2021-01-12 가부시키가이샤 나노룩스 고체 촬상 소자 및 촬상 장치
US10810753B2 (en) 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
WO2018211588A1 (ja) 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置、撮像方法及びプログラム
US10769914B2 (en) 2017-06-07 2020-09-08 Amazon Technologies, Inc. Informative image data generation using audio/video recording and communication devices
WO2019041116A1 (zh) 2017-08-29 2019-03-07 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
EP3692501A4 (en) * 2017-10-08 2021-07-07 Magik Eye Inc. CALIBRATION OF A SENSOR SYSTEM INCLUDING MULTIPLE MOBILE SENSORS
KR20200054326A (ko) * 2017-10-08 2020-05-19 매직 아이 인코포레이티드 경도 그리드 패턴을 사용한 거리 측정
US10679076B2 (en) * 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
EP3717932A1 (en) * 2017-11-28 2020-10-07 Sony Semiconductor Solutions Corporation Illumination device, time of flight system and method
WO2019182881A1 (en) * 2018-03-20 2019-09-26 Magik Eye Inc. Distance measurement using projection patterns of varying densities
WO2019182871A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
JP7039388B2 (ja) 2018-05-24 2022-03-22 株式会社トプコン 測量装置
CN112513565B (zh) * 2018-06-06 2023-02-10 魔眼公司 使用高密度投影图案的距离测量
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US10638104B2 (en) 2018-09-14 2020-04-28 Christie Digital Systems Usa, Inc. Device, system and method for generating updated camera-projector correspondences from a reduced set of test patterns
US10916023B2 (en) 2018-09-14 2021-02-09 Facebook Technologies, Llc Depth measurement assembly with a structured light source and a time of flight camera
US11158074B1 (en) * 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
US20200182974A1 (en) * 2018-12-08 2020-06-11 Magik Eye Inc. Vertical cavity surface emitting laser-based projector
WO2020150131A1 (en) 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
JP2020139869A (ja) 2019-02-28 2020-09-03 キヤノン株式会社 計測装置、算出方法、システム及びプログラム
US11474209B2 (en) * 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020231747A1 (en) * 2019-05-12 2020-11-19 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003088512A (ja) * 2001-06-15 2003-03-25 Sumitomo Osaka Cement Co Ltd 監視装置
JP2002341238A (ja) * 2002-03-18 2002-11-27 Olympus Optical Co Ltd 測距装置のための調整装置
JP2006505784A (ja) * 2002-11-11 2006-02-16 キネティック リミテッド 測距装置
JP2014119428A (ja) * 2012-12-19 2014-06-30 Fujitsu Semiconductor Ltd 距離測定装置、距離測定方法
JP2014206489A (ja) * 2013-04-15 2014-10-30 シャープ株式会社 測距装置

Also Published As

Publication number Publication date
JP7292315B2 (ja) 2023-06-16
CN112513565B (zh) 2023-02-10
US20190377088A1 (en) 2019-12-12
TWI808189B (zh) 2023-07-11
EP3803266A4 (en) 2022-03-09
TW202012873A (zh) 2020-04-01
US11474245B2 (en) 2022-10-18
EP3803266A1 (en) 2021-04-14
KR20210008025A (ko) 2021-01-20
CN112513565A (zh) 2021-03-16
WO2019236563A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
JP2021527205A (ja) 高密度投影パターンを使用した距離測定
CN110178156B (zh) 包括可调节焦距成像传感器的距离传感器
CN107430772B (zh) 机器的运动测量***以及用于操作运动测量***的方法
CN111492262B (zh) 使用经向网格图案的距离测量
JP2021518535A (ja) 様々な密度の投影パターンを使用する距離測定
US20200051268A1 (en) Baffles for three-dimensional sensors having spherical fields of view
TW202101028A (zh) 使用高密度投射圖案的距離量測
JP6187671B2 (ja) 自己位置算出装置及び自己位置算出方法
US11019249B2 (en) Mapping three-dimensional depth map data onto two-dimensional images
US11415408B2 (en) System and method for 3D profile determination using model-based peak selection
JP6614905B2 (ja) 三次元計測装置およびその制御方法
KR20220122645A (ko) 3차원 좌표를 2차원 피처 포인트와 연관
CN114730010B (zh) 利用飞行时间信息增强基于三角测量的三维距离测量
JP6492974B2 (ja) 自己位置算出装置及び自己位置算出方法
JP7442752B1 (ja) 被検査体の形状検査方法
US20230034718A1 (en) Criteria based false positive determination in an active light detection system
KR101087863B1 (ko) 구조 광 패턴을 이용한 영상의 경계를 결정하는 방법, 이러한 방법이 기록된 기록매체 및 구조 광 패턴을 이용한 영상의 경계 인식 시스템
CN115298514A (zh) 包括补充准确度数据的距离测量

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230606

R150 Certificate of patent or registration of utility model

Ref document number: 7292315

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150