JP6731919B2 - 光コヒーレンス断層撮影像におけるスペックル低減 - Google Patents
光コヒーレンス断層撮影像におけるスペックル低減 Download PDFInfo
- Publication number
- JP6731919B2 JP6731919B2 JP2017527637A JP2017527637A JP6731919B2 JP 6731919 B2 JP6731919 B2 JP 6731919B2 JP 2017527637 A JP2017527637 A JP 2017527637A JP 2017527637 A JP2017527637 A JP 2017527637A JP 6731919 B2 JP6731919 B2 JP 6731919B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- scan
- image
- scan images
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012014 optical coherence tomography Methods 0.000 title claims description 31
- 239000011159 matrix material Substances 0.000 claims description 69
- 238000000034 method Methods 0.000 claims description 63
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000009792 diffusion process Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 229910003460 diamond Inorganic materials 0.000 claims description 2
- 239000010432 diamond Substances 0.000 claims description 2
- 238000010845 search algorithm Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 102100035593 POU domain, class 2, transcription factor 1 Human genes 0.000 description 6
- 101710084414 POU domain, class 2, transcription factor 1 Proteins 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 210000003161 choroid Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/02055—Reduction or prevention of errors; Testing; Calibration
- G01B9/02075—Reduction or prevention of errors; Testing; Calibration of particular errors
- G01B9/02082—Caused by speckles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/02083—Interferometers characterised by particular signal processing and presentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/0209—Low-coherence interferometers
- G01B9/02091—Tomographic interferometers, e.g. based on optical coherence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
Landscapes
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
Description
(a)A走査像の周辺における各隣接部を画定するステップと、
(b)各隣接部において既定の方向におけるA走査像を他のA走査像と位置合わせするステップと、
(c)位置合わせされたA走査像を使用して第1の行列Xを形成するステップであって、第1の行列の各列が位置合わせされたA走査像である、ステップと、
(d)第1の行列Xと第2の行列との間の差分を表すコスト関数を最小化する第2の行列を求めるステップであって、第2の行列が、複雑性制約に従うように制約される、ステップと、
を含む方法である。
Ai,j=li,j+gi,j
目的は、Ai,jからli,jを再現することである。li,jとni,jとに関するいくつかの仮定がなければこの問題を解くことはできないが、本実施形態は、小さな隣接部内でli,jが非常に似ているという仮定により動機付けされる。この仮定に基づいて、隣接したA走査像を、類似モデルを使用してモデル化する。
Ai+p,j+q=li+p,j+q+gi+p,j+q
式中、(p,q)∈Ωであり、Ωは「隣接部」(または、「隣接領域」)を表し、A走査像に隣接してA走査像を囲むA走査像の組である。したがって、A走査像の組は、像形成方向に見たとき二次元配列を形成する。
X=L+G (1)
式中、Lは、rank(L)≦rの低ランク部分であり、Gはノイズである。以下で報告される実験において、本発明者らは、r=2に設定する。
A1∈RDxrであり、式中、DはA走査像における画素数である。
X=L+S+G (3)
式中、Lは、rank(L)≦rの低ランク部分であり、Sは、card(S)≦kの疎部分であり、Gはノイズである。以下で報告される実験において、rは2に等しく、kは行列Sのすべての元の30%に設定された。
まず、方法1(すなわち、ステップ3の第1の例)に関する実施形態の使用の結果を示す。便宜上、本発明者らは、再現されたA走査像から形成されたB走査像について検証する。図5は、以下を含む像復元の例を示す。
以下の参考文献の開示内容は、参照により本明細書に組み込まれる。
[1] J. S. Lee、「Speckle analysis and smoothing of synthetic aperture radar images」、Computer Graphics Image Processing、17巻、24〜32頁、1981
[2] D. T. Kuanm、A. A. Sawchuk、T. C. Strand、P. Chavel、「 Adaptive noise smoothing filter for images with signal dependent noise」、IEEE Trans. Pat. Anal. Mach. Intell.、vol. 7、165〜177頁、1985
[3] A. Lopes、R. Touzi、E. Nesby、「Adaptive speckle filter and scene heterogeneity」、IEEE Trans. Geosci. Remote Sens.、28巻、992〜1000頁、1990
[4] P. Perona、J. Malik、「Scale-space and edge detection using anisotropic diffusion」、IEEE Trans. Patt. Ana. Mach. Intell.、12巻、629〜 639頁、1990
[5] Y. Yu、S. T. Acton、「Speckle reducing anisotropic diffusion」、IEEE Trans. Image Processing、11巻、1260〜1270頁、2002
[6] S. Aja-Fernandez、C. Alberola-Lopez、「On the estimation of the coefficient of variation for anisotropic diffusion speckle filtering」、IEEE Trans. Image Processing」、15巻、9号、2006
[7] K. Krissian、C. F. Westin、R. Kikinis、K. G. Vosburgh、「Oriented speckle reducing anisotropic diffusion」、IEEE Trans. Image Processing、16(5)巻、1412〜1424頁、2007
[8] S. Zhu、K. Ma、「A new diamond search algorithm for fast block-matching motion estimation」、IEEE Trans. Image Processing、9巻、287〜290頁、2000
[9] T. Zhou、D. Tao、「GoDec: Randomized Low-rank & Sparse Matrix Decomposition in Noisy Case」、International Conference on Machine Learning、33〜40頁、2011
Claims (11)
- 複数のA走査像により構成される光コヒーレンス断層撮影(OCT)像を改善するためのコンピュータで実行される方法であって、各々のA走査像が、既定の方向において像形成された構造を表し、前記A走査像は、1つまたは複数のB走査像としてグループ化され、前記方法は、各々のA走査像に対して、
(a)前記各々のA走査像の周辺におけるA走査像の組からなる各隣接部を画定するステップであって、前記A走査像の組は、前記既定の方向に見たときの二次元配列を形成する、ステップと、
(b)前記各隣接部における前記A走査像の組を前記各隣接部の前記各々のA走査像に位置合わせするステップと、
(c)前記位置合わせされたA走査像を使用して第1の行列Xを形成するステップであって、前記第1の行列Xの各列が前記位置合わせされたA走査像である、ステップと、
(d)前記第1の行列Xと第2の行列との間の差分を表すコスト関数を最小化する前記第2の行列を求めるステップであって、前記第2の行列が複雑性制約に従うように制約される、ステップとを含む、
方法。 - 前記複雑性制約は、前記第2の行列が既定の値以下のランクをもつように制約されることである、
請求項1に記載の方法。 - 前記複雑性制約は、低ランク行列Lと疎行列Sとの和として前記第2の行列を表すものであり、前記複雑性制約は、前記低ランク行列Lが第1の所定の値未満のランクをもつように制約されることであり、前記疎行列Sが、第2の所定の値未満のいくつかの非ゼロ元を含むように制約される、
請求項1に記載の方法。 - 前記複数のA走査像におけるノイズ低減の事前ステップを含む、
請求項1から請求項3のいずれか一項に記載の方法。 - 前記ノイズ低減が、スペックル低減異方性拡散アルゴリズムである、
請求項4に記載の方法。 - ステップ(b)が、
前記A走査像を含む1つまたは複数のA走査像からなる第1のA走査像グループを定義するステップと、
各隣接したA走査像に対して、
(i)第2の各A走査像グループを定義するステップであって、前記第2の各A走査像グループが、前記各隣接部の前記各隣接したA走査像を含む1つまたは複数のA走査像からなる、ステップと、
(ii)前記各第2のA走査像グループの前記1つまたは複数のA走査像が平行移動値分だけ前記既定の方向に平行移動される場合、前記第1のA走査像グループと前記第2のA走査像グループとの間の差分を最小化する各平行移動値を求めるステップと、
(iii)前記隣接したA走査像を前記各平行移動値分だけ平行移動させるステップと、
により実行される、
請求項1から請求項5のいずれか一項に記載の方法。 - ステップ(b)が、ブロックマッチングアルゴリズムにより実行される、
請求項6に記載の方法。 - 前記ブロックマッチングアルゴリズムが、ダイヤモンド探索アルゴリズムである、
請求項7に記載の方法。 - 前記二次元配列が、長方形領域または楕円形領域である、
請求項7に記載の方法。 - プロセッサと、前記プロセッサにより実行されたとき前記プロセッサに請求項1から請求項9のいずれか一項に記載の方法を実行させるように動作するプログラム命令を記憶するように構成されたメモリ装置とを備える、
コンピュータシステム。 - プロセッサにより実行されたとき前記プロセッサに請求項1から請求項9のいずれか一項に記載の方法を実行させるためのプログラム命令を有する、
コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SG10201407886S | 2014-11-20 | ||
SG10201407886S | 2014-11-20 | ||
PCT/SG2015/050460 WO2016080914A1 (en) | 2014-11-20 | 2015-11-19 | Speckle reduction in optical coherence tomography images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017536547A JP2017536547A (ja) | 2017-12-07 |
JP6731919B2 true JP6731919B2 (ja) | 2020-07-29 |
Family
ID=56014302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017527637A Active JP6731919B2 (ja) | 2014-11-20 | 2015-11-19 | 光コヒーレンス断層撮影像におけるスペックル低減 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10478058B2 (ja) |
EP (1) | EP3221842B1 (ja) |
JP (1) | JP6731919B2 (ja) |
SG (1) | SG11201704162TA (ja) |
WO (1) | WO2016080914A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018119077A1 (en) | 2016-12-21 | 2018-06-28 | Acucela Inc. | Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications |
US10578722B2 (en) * | 2017-03-27 | 2020-03-03 | Honeywell International Inc. | System and method for glare suppression and ranging |
JP7027076B2 (ja) * | 2017-09-07 | 2022-03-01 | キヤノン株式会社 | 画像処理装置、位置合わせ方法及びプログラム |
JP2019047841A (ja) | 2017-09-07 | 2019-03-28 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
RU2679947C1 (ru) * | 2017-12-13 | 2019-02-14 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Тамбовский государственный технический университет" (ФГБОУ ВО "ТГТУ") | Способ получения структурных изображений в эндоскопической оптической когерентной томографии |
CA3103899A1 (en) | 2018-06-20 | 2019-12-26 | Acucela Inc. | Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications |
US11257190B2 (en) * | 2019-03-01 | 2022-02-22 | Topcon Corporation | Image quality improvement methods for optical coherence tomography |
US11024013B2 (en) | 2019-03-08 | 2021-06-01 | International Business Machines Corporation | Neural network based enhancement of intensity images |
WO2021134087A1 (en) | 2019-12-26 | 2021-07-01 | Acucela Inc. | Optical coherence tomography patient alignment system for home based ophthalmic applications |
CN112288640B (zh) * | 2020-07-21 | 2022-08-30 | 中国地质大学(武汉) | 一种抑制sar图像相干斑噪声的方法、***和终端设备 |
US10959613B1 (en) | 2020-08-04 | 2021-03-30 | Acucela Inc. | Scan pattern and signal processing for optical coherence tomography |
JP2023538542A (ja) | 2020-08-14 | 2023-09-08 | アキュセラ インコーポレイテッド | 光干渉断層撮影a走査のデカービングのためのシステムおよび方法 |
US11393094B2 (en) | 2020-09-11 | 2022-07-19 | Acucela Inc. | Artificial intelligence for evaluation of optical coherence tomography images |
EP4221565A1 (en) | 2020-09-30 | 2023-08-09 | Acucela Inc. | Myopia prediction, diagnosis, planning, and monitoring device |
WO2022204622A1 (en) | 2021-03-24 | 2022-09-29 | Acucela Inc. | Axial length measurement monitor |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003011764A2 (en) | 2001-08-03 | 2003-02-13 | Volker Westphal | Real-time imaging system and method |
US7347548B2 (en) * | 2003-05-01 | 2008-03-25 | The Cleveland Clinic Foundation | Method and apparatus for measuring a retinal sublayer characteristic |
JP5543171B2 (ja) * | 2009-10-27 | 2014-07-09 | 株式会社トプコン | 光画像計測装置 |
US8699773B2 (en) * | 2010-10-21 | 2014-04-15 | Beth Israel Deaconess Medical Center | Method for image reconstruction using low-dimensional-structure self-learning and thresholding |
US8989465B2 (en) * | 2012-01-17 | 2015-03-24 | Mayo Foundation For Medical Education And Research | System and method for medical image reconstruction and image series denoising using local low rank promotion |
WO2013116689A1 (en) * | 2012-02-03 | 2013-08-08 | Oregon Health & Science University | In vivo optical flow imaging |
US20140126839A1 (en) * | 2012-11-08 | 2014-05-08 | Sharp Laboratories Of America, Inc. | Defect detection using joint alignment and defect extraction |
KR102025756B1 (ko) * | 2013-01-04 | 2019-09-27 | 삼성전자주식회사 | 영상에서 스펙클을 제거하는 방법, 장치 및 시스템. |
JP6679505B2 (ja) * | 2014-06-16 | 2020-04-15 | エージェンシー フォー サイエンス,テクノロジー アンド リサーチ | 光干渉断層撮影画像内のスペックルノイズの低減 |
-
2015
- 2015-11-19 JP JP2017527637A patent/JP6731919B2/ja active Active
- 2015-11-19 US US15/528,080 patent/US10478058B2/en active Active
- 2015-11-19 EP EP15860693.9A patent/EP3221842B1/en active Active
- 2015-11-19 SG SG11201704162TA patent/SG11201704162TA/en unknown
- 2015-11-19 WO PCT/SG2015/050460 patent/WO2016080914A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP3221842A1 (en) | 2017-09-27 |
US10478058B2 (en) | 2019-11-19 |
WO2016080914A1 (en) | 2016-05-26 |
JP2017536547A (ja) | 2017-12-07 |
EP3221842B1 (en) | 2021-01-06 |
EP3221842A4 (en) | 2018-05-09 |
SG11201704162TA (en) | 2017-06-29 |
US20170319059A1 (en) | 2017-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6731919B2 (ja) | 光コヒーレンス断層撮影像におけるスペックル低減 | |
CN111095349B (zh) | 减少图像中的噪声 | |
Duan et al. | Denoising optical coherence tomography using second order total generalized variation decomposition | |
EP3154409B1 (en) | Reducing speckle noise in optical coherence tomography images | |
CA2844087C (en) | System and method for rapid oct image acquisition using compressive sampling | |
Lebed et al. | Rapid volumetric OCT image acquisition using compressive sampling | |
US20110109631A1 (en) | System and method for performing volume rendering using shadow calculation | |
JP2020513983A (ja) | 光干渉断層撮影の多重en−face血管造影平均化システム、方法および装置 | |
JP7490741B2 (ja) | 医用画像処理装置、医用画像処理方法及びプログラム | |
JP2023520001A (ja) | ニューラルネットワークを用いたoctaボリュームにおけるフロー投影アーチファクトの補正 | |
Stankiewicz et al. | Denoising methods for improving automatic segmentation in OCT images of human eye | |
Mentl et al. | Noise reduction in low-dose ct using a 3D multiscale sparse denoising autoencoder | |
US11147449B2 (en) | Ophthalmological device | |
Cheng et al. | Speckle reduction in optical coherence tomography by matrix completion using bilateral random projection | |
Wu et al. | Cooperative low-rank models for removing stripe noise from OCTA images | |
Lebed et al. | Rapid radial optical coherence tomography image acquisition | |
Wu et al. | Quantitative evaluation of transform domains for compressive sampling-based recovery of sparsely sampled volumetric OCT images | |
KR102401585B1 (ko) | 다중 영상 융합 장치 및 방법 | |
Sui et al. | Speckle noise reduction in OCT and projection images using hybrid wavelet thresholding | |
KR102062372B1 (ko) | 영역 분할 기법에 기반한 화질 개선 광간섭 단층 촬영 장치 및 그 영상 처리 방법 | |
Timothy et al. | Spectral bandwidth recovery of optical coherence tomography images using deep learning | |
Lindberg et al. | Linear, transfinite and weighted method for interpolation from grid lines applied to OCT images | |
Adiga | Retinal Image Quality Improvement via Learning | |
Jovanov et al. | Noise Reduction in Optical Coherence Tomography Volumes for Improved 3D Visualization | |
Shalbaf et al. | An image processing pipeline for segmenting the retinal layers from optical coherence tomography images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171024 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181009 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200707 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6731919 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |