JP7149941B2 - 装置および方法 - Google Patents
装置および方法 Download PDFInfo
- Publication number
- JP7149941B2 JP7149941B2 JP2019530433A JP2019530433A JP7149941B2 JP 7149941 B2 JP7149941 B2 JP 7149941B2 JP 2019530433 A JP2019530433 A JP 2019530433A JP 2019530433 A JP2019530433 A JP 2019530433A JP 7149941 B2 JP7149941 B2 JP 7149941B2
- Authority
- JP
- Japan
- Prior art keywords
- phase
- correlation
- signal
- signals
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
そして、Sφは、下記の数式を用いて位相シフト波とみなされ得る。
cは光の速度を表し、fmodは変調周波数を表し、nは位相アンビギュイティに関する整数を表す。
式12~14の逆正接項は、4つの相関が計測される際にはシーンもカメラも変化しないという仮定に基づく。例えば、φが定数で、0°、90°、180°、270°の信号シフトが行われた相関の間でASが定数ΔASの分だけ増加する場合、位相オフセット誤差は以下のようになる。
図8は人差し指を立てた状態で手を回すような動作を行った際に手の上部に設置した3D ToFカメラで取得したシーンにおける手を後ろから見た図である。連続して取得された相関から算出された位相差の誤差は、Y軸上のカメラに近づいたり離れたりするような誤った深度計測を引き起こす。対象画素とその周囲の画素との勾配とともに深度計測の誤差が増加する。左の画像(図8a)は、従来技術の位相シフトシーケンスによって取得された画像である。右の画像(図8b)は上記の実施形態の位相シフトシーケンスによって取得された画像である。図8から分かるように、従来技術の位相シフトシーケンスによるモーションブラーと比較して、本実施形態の位相シフトシーケンスによるモーションブラーは減少されている。
(1)
光検出信号(Sφ)と各位相シフト参照信号(SQ、SQ ̄、SI、SI ̄)を相関させることによって、直交相関信号(Sφ,Q、Sφ,Q ̄)と同相相関信号(Sφ,I、Sφ,I ̄)を含む相関信号(Sφ,Q、Sφ,Q ̄、Sφ,I、Sφ,I ̄)を取得するように構成された回路を具備する装置であって、
上記直交相関信号(Sφ,Q、Sφ,Q ̄)の取得の平均時間と上記同相相関信号(Sφ,I、Sφ,I ̄)の取得の平均時間が等しい、または略等しくなるように、上記回路が構成される
装置。
(2)
(1)に記載の装置であって、
プロセッサは、下記の位相シフトシーケンス(AからH)のいずれか1つに基づき上記相関信号(Sφ,Q、Sφ,Q ̄、Sφ,I、Sφ,I ̄)を取得するように構成される
装置。
(3)
(1)または(2)に記載の装置であって、
変調光信号(S)と比較して、参照信号(SI、SQ、SQ ̄、SI ̄)はそれぞれ0°、90°、270°、および180°位相シフトされる
装置。
(4)
(1)から(3)のいずれか1つに記載の装置であって、
上記相関信号は直交変調信号であり、
上記回路は180°反対の位相において第1および最後の相関信号を取得し、第2および第3の相関信号も180°反対の位相において取得するように構成される
装置。
(5)
(1)から(3)のいずれか1つに記載の装置であって、
上記回路は、まず0°と90°の相関測定の第1の集合を続けて取得し、次に210°と120°の相関測定の第2の集合を続けて取得するように構成される
装置。
(6)
(3)に記載の装置であって、
上記回路は
第1の時間T0において0°の相関信号(Sφ,I)を取得し、
第2の時間T0+ΔTにおいて90°の相関信号(Sφ,Q)を取得し、
第3の時間T0+2.ΔTにおいて270°の相関信号(Sφ,Q ̄)を取得し、
最後の時間T0+3.ΔTにおいて180°の相関信号(Sφ,I ̄)を取得するように構成され、
T0は上記相関信号(Sφ,Q、Sφ,Q ̄、Sφ,I、Sφ,I ̄)の取得が開始された時間を示し、ΔTは所定の時間間隔を示す
装置。
(7)
(1)から(4)のいずれか1つに記載の装置であって、
プロセッサは、下記の位相シフトシーケンス(AからH)のいずれか1つに基づき上記相関信号(Sφ,Q、Sφ,Q ̄、Sφ,I、Sφ,I ̄)を取得するように構成される
装置。
(8)
(1)から(3)のいずれか1つに記載の装置であって、
プロセッサは、下記の位相シフトシーケンス(IからP)のいずれか1つに基づき上記相関信号(Sφ,Q、Sφ,Q ̄、Sφ,I、Sφ,I ̄)を取得するように構成される
装置。
(9)
(1)から(3)のいずれか1つに記載の装置であって、
変調光信号(S)でシーン(24)を照らすように構成される照明ユニット(18)をさらに具備する
装置。
(10)
(1)から(9)に記載の装置であって、
上記光検出信号(Sφ)を受信するように構成された撮像素子(1)をさらに具備する
装置。
(11)
光検出信号(Sφ)と各位相シフト参照信号(SQ、SQ ̄、SI、SI ̄)を相関させることによって、相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合と相関信号(Sφ,I、Sφ,I ̄)の第2の集合を含む相関信号(Sφ,Q、Sφ,Q ̄、Sφ,I、Sφ,I ̄を取得するように構成された回路を具備する装置であって、
上記相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合の平均位相と上記相関信号(Sφ,I、Sφ,I ̄の第2の集合の平均位相が直交する、または略直交するように上記回路が構成され、
上記相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合の取得の平均時間と上記相関信号(Sφ,I、Sφ,I ̄)の第2の集合の取得の平均時間が等しい、または略等しくなるように上記回路が構成される
装置。
(12)
(11)に記載の装置であって、
上記相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合は直交変調信号を含み、
上記相関信号の第2の集合は同相相関信号(Sφ,I、Sφ,I ̄)を含む
装置。
(13)
(11)または(12)に記載の装置であって、
上記相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合は、所定の位相角で位相シフトされた直交変調信号を含み、
上記相関信号の第2の集合は、上記所定の位相角で位相シフトされた同相相関信号(Sφ,I、Sφ,I ̄)を含む
装置。
(14)
(11)から(13)のいずれか1つに記載の装置であって、
プロセッサは、下記の位相シフトシーケンス(AからH)のいずれか1つに基づき上記相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合および上記相関信号(Sφ,I、Sφ,I ̄)の第2の集合を取得するように構成される
装置。
(15)
(11)から(13)のいずれか1つに記載の装置であって、
プロセッサは、下記の位相シフトシーケンス(IからP)のいずれか1つに基づき上記相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合および上記相関信号(Sφ,I、Sφ,I ̄)の第2の集合を取得するように構成される
装置。
(16)
光検出信号(Sφ)と各位相シフト参照信号(SQ、SQ ̄、SI、SI ̄)を相関させることによって、直交相関信号(Sφ,Q、Sφ,Q ̄)と同相相関信号(Sφ,I、Sφ,I ̄)を含む相関信号(Sφ,Q、Sφ,Q ̄、Sφ,I、Sφ,I ̄)を取得することを含む方法であって、
上記直交相関信号(Sφ,Q、Sφ,Q ̄)の取得の平均時間と上記同相相関信号(Sφ,I、Sφ,I ̄)の取得の平均時間が略等しくなるよう上記相関信号(Sφ,Q、Sφ,Q ̄、Sφ,I、Sφ,I ̄)を取得する
方法。
(17)
プロセッサ上で実行される際に上記プロセッサに(16)に記載の方法を実行させる命令を含むコンピュータ・プログラム。
(18)
光検出信号(Sφ)と各位相シフト参照信号(SQ、SQ ̄、SI、SI ̄)を相関させることによって、相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合と相関信号(Sφ,I、Sφ,I ̄)の第2の集合を含む相関信号(Sφ,Q、Sφ,Q ̄、Sφ,I、Sφ,I ̄)を取得することを含む方法であって、
上記相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合の平均位相と上記相関信号(Sφ,I、Sφ,I ̄)の第2の集合の平均位相が直交、または略直交し、
上記相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合の取得の平均時間と上記相関信号(Sφ,I、Sφ,I ̄)の第2の集合の取得の平均時間が等しい、または略等しい
方法。
(19)
プロセッサ上で実行される際に上記プロセッサに(18)に記載の方法を実行させる命令を含むコンピュータ・プログラム。
(20)
プロセッサ上で実行される際に上記プロセッサに、
光検出信号(Sφ)と各位相シフト参照信号(SQ、SQ ̄、SI、SI ̄)を相関させることによって、直交相関信号(Sφ,Q、Sφ,Q ̄)と同相相関信号(Sφ,I、Sφ,I ̄)を含む相関信号(Sφ,Q、Sφ,Q ̄、Sφ,I、Sφ,I ̄)を取得すること
を実行させる命令を含むコンピュータ・プログラムであって、
上記直交相関信号(Sφ,Q、Sφ,Q ̄)の取得の平均時間と上記同相相関信号(Sφ,I、Sφ,I ̄)の取得の平均時間が略等しくなるよう相関信号(Sφ,Q、Sφ,Q ̄、Sφ,I、Sφ,I ̄)を取得させる
コンピュータ・プログラム。
(21)
プロセッサ上で実行される際に上記プロセッサに、
光検出信号(Sφ)と各位相シフト参照信号(SQ、SQ ̄、SI、SI ̄)を相関させることによって、相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合と相関信号(Sφ,I、Sφ,I ̄)の第2の集合を含む相関信号(Sφ,Q、Sφ,Q ̄、Sφ,I、Sφ,I ̄)を取得すること
を実行させる命令を含むコンピュータ・プログラムであって、
上記相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合の平均位相と上記相関信号(Sφ,I、Sφ,I ̄)の第2の集合の平均位相が直交、または略直交し、
上記相関信号(Sφ,Q、Sφ,Q ̄)の第1の集合の取得の平均時間と上記相関信号(Sφ,I、Sφ,I ̄)の第2の集合の取得の平均時間が等しい、または略等しい
コンピュータ・プログラム。
Claims (1)
- 位相シフト法によって測定された距離に基づいて、3D画像を生成する装置であって、
光検出信号と各位相シフト参照信号を相関させることによって、直交相関信号と同相相関信号を含む相関信号を取得するように構成された回路を具備し、
前記回路は、前記直交相関信号の取得の平均時間と前記同相相関信号の取得の平均時間が等しくなるように構成され、
前記回路は、
第1の時間T0 において0°の相関信号を取得し、
第2の時間T0 +ΔTにおいて90°の相関信号を取得し、
第3の時間T0 +2.ΔTにおいて270°の相関信号を取得し、
最後の時間T0 +3.ΔTにおいて180°の相関信号を取得するように構成され、
T0 は前記相関信号の取得が開始された時間を示し、ΔTは所定の時間間隔を示す
装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16202730 | 2016-12-07 | ||
EP16202730.4 | 2016-12-07 | ||
PCT/EP2017/081856 WO2018104464A1 (en) | 2016-12-07 | 2017-12-07 | Apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020513555A JP2020513555A (ja) | 2020-05-14 |
JP7149941B2 true JP7149941B2 (ja) | 2022-10-07 |
Family
ID=57517811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019530433A Active JP7149941B2 (ja) | 2016-12-07 | 2017-12-07 | 装置および方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11353565B2 (ja) |
EP (1) | EP3552044B1 (ja) |
JP (1) | JP7149941B2 (ja) |
CN (1) | CN110062894B (ja) |
WO (1) | WO2018104464A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7164476B2 (ja) * | 2019-03-27 | 2022-11-01 | 株式会社キーエンス | 画像処理装置 |
WO2020235458A1 (ja) * | 2019-05-22 | 2020-11-26 | ソニー株式会社 | 画像処理装置、方法及び電子機器 |
CN111443357A (zh) * | 2020-05-19 | 2020-07-24 | 炬佑智能科技(苏州)有限公司 | 一种测距方法及测距*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011520116A (ja) | 2008-05-09 | 2011-07-14 | フリーイェ・ユニヴェルシテイト・ブリュッセル | バックグランド放射光の抑制に有利なtof領域 |
DE102012204512A1 (de) | 2012-03-21 | 2013-09-26 | PMD Technologie GmbH | Vorrichtung und Verfahren zur Phasenmessung eines modulierten Lichts |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0616081B2 (ja) * | 1988-10-06 | 1994-03-02 | 日本鋼管株式会社 | 距離測定装置 |
DE19821974B4 (de) * | 1998-05-18 | 2008-04-10 | Schwarte, Rudolf, Prof. Dr.-Ing. | Vorrichtung und Verfahren zur Erfassung von Phase und Amplitude elektromagnetischer Wellen |
US6404535B1 (en) * | 1998-11-30 | 2002-06-11 | Trw Inc. | Optically implemented wideband complex correlator using a multi-mode imaging device |
JP4283170B2 (ja) * | 2003-12-17 | 2009-06-24 | 株式会社デンソー | 物体検出装置 |
US7450220B2 (en) | 2006-02-08 | 2008-11-11 | Canesta, Inc | Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems |
US8155914B2 (en) * | 2007-11-13 | 2012-04-10 | Oewaves, Inc. | Measuring phase noise in radio frequency, microwave or millimeter signals based on photonic delay |
US8203699B2 (en) | 2008-06-30 | 2012-06-19 | Microsoft Corporation | System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed |
US8988661B2 (en) | 2009-05-29 | 2015-03-24 | Microsoft Technology Licensing, Llc | Method and system to maximize space-time resolution in a time-of-flight (TOF) system |
EP2264481A1 (en) * | 2009-06-04 | 2010-12-22 | IEE International Electronics & Engineering S.A. | Method and device for acquiring a range image |
US9341715B2 (en) * | 2010-04-07 | 2016-05-17 | Heptagon Micro Optics Pte. Ltd. | Multi-level digital modulation for time of flight method and system |
US9178520B2 (en) * | 2010-10-14 | 2015-11-03 | Rwth Aachen | Broadband optical phase detection and phase noise removal with an optical resonator |
EP2477043A1 (en) | 2011-01-12 | 2012-07-18 | Sony Corporation | 3D time-of-flight camera and method |
US9213883B2 (en) | 2012-01-10 | 2015-12-15 | Samsung Electronics Co., Ltd. | Method and apparatus for processing depth image |
US9325920B2 (en) * | 2012-01-10 | 2016-04-26 | Softkinetics Sensors Nv | Processing of time-of-flight signals |
KR101913321B1 (ko) | 2012-05-10 | 2018-10-30 | 삼성전자주식회사 | 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치 |
EP2743724B1 (de) * | 2012-12-12 | 2015-09-23 | Espros Photonics AG | TOF Entfernungssensor sowie Verfahren zum Betrieb |
EP2939049B1 (en) * | 2012-12-28 | 2018-02-28 | Nokia Technologies Oy | A method and apparatus for de-noising data from a distance sensing camera |
EP2894492B1 (en) | 2014-01-13 | 2020-10-28 | Sony Depthsensing Solutions SA/NV | A method for driving a time-of-flight system |
-
2017
- 2017-12-07 JP JP2019530433A patent/JP7149941B2/ja active Active
- 2017-12-07 WO PCT/EP2017/081856 patent/WO2018104464A1/en unknown
- 2017-12-07 CN CN201780075974.8A patent/CN110062894B/zh active Active
- 2017-12-07 EP EP17811563.0A patent/EP3552044B1/en active Active
- 2017-12-07 US US16/465,304 patent/US11353565B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011520116A (ja) | 2008-05-09 | 2011-07-14 | フリーイェ・ユニヴェルシテイト・ブリュッセル | バックグランド放射光の抑制に有利なtof領域 |
DE102012204512A1 (de) | 2012-03-21 | 2013-09-26 | PMD Technologie GmbH | Vorrichtung und Verfahren zur Phasenmessung eines modulierten Lichts |
Also Published As
Publication number | Publication date |
---|---|
US20190346542A1 (en) | 2019-11-14 |
EP3552044B1 (en) | 2023-05-24 |
EP3552044A1 (en) | 2019-10-16 |
CN110062894B (zh) | 2023-09-01 |
WO2018104464A1 (en) | 2018-06-14 |
US11353565B2 (en) | 2022-06-07 |
CN110062894A (zh) | 2019-07-26 |
JP2020513555A (ja) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6246131B2 (ja) | タイムオブフライト信号の処理における又はこれに関する改良 | |
JP6261681B2 (ja) | タイムオブフライト信号の処理における又はこれに関する改良 | |
US20170322310A1 (en) | Multipath signal removal in time-of-flight camera apparatus | |
US10024966B2 (en) | Efficient implementation of distance de-aliasing for ranging systems using phase domain computation | |
EP3712650A1 (en) | Resolving distance measurement ambiguities using coded-modulation phase image frames | |
JP7149941B2 (ja) | 装置および方法 | |
EP3114503A2 (en) | Time of flight camera system which resolves direct and multi-path radiation components | |
CN111308482B (zh) | 基于编码调制图像的滤波连续波飞行时间测量 | |
JP6621767B2 (ja) | 飛行時間データをビニングするための方法 | |
CN112601972A (zh) | 通过无模糊范围切换增大飞行时间***范围的方法及*** | |
KR20150133082A (ko) | 깊이 영상 생성 장치 및 방법 | |
US20200182984A1 (en) | Apparatuses and Methods for Determining Depth Motion Relative to a Time-of-Flight Camera in a Scene Sensed by the Time-of-Flight Camera | |
WO2011000815A1 (en) | Range camera and range image acquisition method | |
CN113497892B (zh) | 摄影装置、测距装置及方法、以及存储介质、计算机装置 | |
US11686828B2 (en) | Method and apparatus for compensating stray light caused by an object in a scene that is sensed by a time-of-flight camera | |
CN112630790A (zh) | 根据间接飞行时间距离计算技术计算相位角的间接飞行时间距离计算装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211018 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20211018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211216 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220719 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220719 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220726 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7149941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |