JP6928757B2 - 光学顕微鏡における画像処理のためのシステムおよび方法 - Google Patents
光学顕微鏡における画像処理のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP6928757B2 JP6928757B2 JP2018503206A JP2018503206A JP6928757B2 JP 6928757 B2 JP6928757 B2 JP 6928757B2 JP 2018503206 A JP2018503206 A JP 2018503206A JP 2018503206 A JP2018503206 A JP 2018503206A JP 6928757 B2 JP6928757 B2 JP 6928757B2
- Authority
- JP
- Japan
- Prior art keywords
- point spread
- spread function
- microscope
- image
- deconvolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 40
- 238000000034 method Methods 0.000 title claims description 37
- 238000000386 microscopy Methods 0.000 title description 2
- 230000006870 function Effects 0.000 claims description 108
- 230000003287 optical effect Effects 0.000 claims description 20
- 238000002073 fluorescence micrograph Methods 0.000 claims description 9
- 238000009987 spinning Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 7
- 238000007667 floating Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 22
- 238000005096 rolling process Methods 0.000 description 20
- 230000005284 excitation Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 11
- 238000005286 illumination Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004624 confocal microscopy Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005469 synchrotron radiation Effects 0.000 description 2
- 241000206602 Eukaryota Species 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009125 cardiac resynchronization therapy Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Description
101 光源
101a 光ビーム
102 ライン形成ユニット
104 ライン形成ユニット
105 スキャンミラーユニット
106 アクチュエータ
107 対物レンズ
109 試料
115 撮像光学系
117 2次元センサユニット
121 制御ユニット
125 フィルタユニット
200 概略図
202 照明
204 広視野
206 共焦点性
208 ローリングシャッタ
210 点拡がり関数
300 モデル
302 楕円
304 楕円
306 楕円
308 楕円
310 楕円
312 楕円
314 楕円
400 単色蛍光画像
402 視野
404 対象物
406 画像
408 対象物
502 生の画像
504 対象物
506 画像
508 対象物
600 画像処理システム
602 CMOSカメラ
604 入力装置
606 プロセッサ
608 表示装置
700 方法
702 単色画像
704 対象物
706 非対称にデコンボリューションされた画像
708 非対称にデコンボリューションされた対象物
800 方法
802 ブロック
804 ブロック
806 ブロック
808 ブロック
810 ブロック
812 ブロック
Claims (11)
- 光学顕微鏡で画像を処理するための方法であって、
顕微鏡を用いて生の画像(502)を取得するステップ(802)であって、前記生の画像(502)は非対称解像度を有する、ステップと、
非対称にデコンボリューションされた画像(706)を生成するために、X方向とY方向とで異なる点拡がり関数(210)を用いて前記生の画像(502)の少なくとも一部を非対称にデコンボリューションするステップ(804)と、
前記非対称にデコンボリューションされた画像(706)を表示装置(608)に表示するステップ(812)と、を含み、
前記生の画像(502)は、Y方向に共焦点性を有し、X方向に広視野を有する楕円形の点拡がり関数(210)を有し、
前記点拡がり関数(210)を用いて前記生の画像(502)を非対称にデコンボリューションするステップ(804)は、
前記X方向における広視野点拡がり関数(210)に少なくとも部分的に基づいて前記点拡がり関数(210)を決定するステップと、
前記点拡がり関数(210)を前記Y方向の共焦点点拡がり関数(210)に適用するステップと、
前記広視野点拡がり関数(210)を用いて前記X方向をデコンボリューションするステップ(806)と、
前記共焦点点拡がり関数(210)を用いて前記Y方向をデコンボリューションするステップ(808)と、をさらに含み、
前記共焦点点拡がり関数(210)は、前記広視野点拡がり関数(210)の平方根である、方法。 - 前記顕微鏡の光子収集効率は、同等の広視野顕微鏡の少なくとも10%である、請求項1に記載の方法。
- 前記顕微鏡は、ラインスキャン共焦点顕微鏡、生細胞共焦点顕微鏡、「スピニングディスク」顕微鏡、蛍光顕微鏡、デコンボリューション顕微鏡、またはポイントスキャン共焦点顕微鏡である、請求項1に記載の方法。
- 前記生の画像(502)は単色蛍光画像(400)である、請求項1に記載の方法。
- 前記X方向またはY方向をデコンボリューションするステップは、ベイジアンデコンボリューション、リチャードソン−ルーシーデコンボリューション、ウィーナーデコンボリューション、フーリエデコンボリューション、ウェーブレット、またはデコンボリューションを計算する他の画像処理方法を含む、請求項1に記載の方法。
- 光学顕微鏡で画像を処理するためのシステム(600)であって、
(a)CMOSカメラ(602)からの画像データを提供するように構成された入力装置(604)と、
(b)前記入力装置(604)に結合された少なくとも1つのプロセッサ(606)と、を含み、前記少なくとも1つのプロセッサ(606)は、
非対称にデコンボリューションされた画像(706)を生成するために、X軸に沿ったものとY軸に沿ったものとで異なる点拡がり関数(210)を用いて、前記画像データの少なくとも一部を非対称にデコンボリューションするように構成され、
前記画像データは、非対称解像度を有する単色蛍光画像(400)を含み、
前記単色蛍光画像(400)は、前記Y軸に共焦点性を有し、前記X軸に広視野を有する楕円形の点拡がり関数(210)を含み、
前記少なくとも1つのプロセッサ(606)は、
前記X軸における広視野点拡がり関数(210)に少なくとも部分的に基づいて前記点拡がり関数(210)を決定し、
前記点拡がり関数(210)を前記Y軸における共焦点点拡がり関数(210)に適用し、
前記広視野点拡がり関数(210)を用いて前記X軸をデコンボリューションし、
前記共焦点点拡がり関数(210)を用いて前記Y軸をデコンボリューションするようにさらに構成され、
前記共焦点点拡がり関数(210)は、前記広視野点拡がり関数(210)の平方根である、システム(600)。 - 前記少なくとも1つのプロセッサ(606)は、中央処理装置、グラフィックス処理装置、および浮動小数点演算装置のうちの少なくとも1つを含む、請求項6に記載のシステム(600)。
- 前記入力装置(604)は、ラインスキャン共焦点顕微鏡、生細胞共焦点顕微鏡、「スピニングディスク」顕微鏡、蛍光顕微鏡、デコンボリューション顕微鏡、またはポイントスキャン共焦点顕微鏡である、請求項6に記載のシステム(600)。
- 前記顕微鏡の光子収集効率は、同等の広視野顕微鏡の少なくとも10%である、請求項8に記載のシステム(600)。
- 前記X軸またはY軸をデコンボリューションすることは、ベイジアンデコンボリューション、リチャードソン−ルーシーデコンボリューション、ウィーナーデコンボリューション、フーリエデコンボリューション、ウェーブレット、またはデコンボリューションを計算する他の画像処理方法を含む、請求項6に記載のシステム(600)。
- CMOSカメラ(602)ベースのラインスキャン共焦点蛍光顕微鏡からの単色画像(702)を処理するための画像処理システム(600)であって、
(a)前記単色画像(702)を生成することができる1つまたは複数のCMOSカメラ(602)と、
(b)前記単色画像(702)を処理するためのシステム(600)と、を含み、前記システム(600)は、
(1)前記CMOSカメラ(602)からの画像データを提供するように構成された入力装置(604)と、
(2)前記入力装置(604)に結合された少なくとも1つのプロセッサ(606)と、を含み、前記少なくとも1つのプロセッサ(606)は、
非対称にデコンボリューションされた画像(706)を生成するために、X方向とY方向とで異なる点拡がり関数(210)を用いて前記単色画像(702)の少なくとも一部を非対称にデコンボリューションするように構成され、
前記単色画像(702)は、前記Y方向に共焦点性を有し、前記X方向に広視野を有する楕円形の点拡がり関数(210)を含み、
前記少なくとも1つのプロセッサ(606)は、
前記X方向における広視野点拡がり関数(210)に少なくとも部分的に基づいて前記点拡がり関数(210)を決定し、
前記点拡がり関数(210)を前記Y方向における共焦点点拡がり関数(210)に適用し、
前記広視野点拡がり関数(210)を用いて前記X方向をデコンボリューションし、
前記共焦点点拡がり関数(210)を用いて前記Y方向をデコンボリューションするようにさらに構成され、
前記共焦点点拡がり関数(210)は、前記広視野点拡がり関数(210)の平方根である、画像処理システム(600)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/808,470 | 2015-07-24 | ||
US14/808,470 US10031328B2 (en) | 2015-07-24 | 2015-07-24 | Systems and methods for image processing in optical microscopes |
PCT/US2016/042811 WO2017019366A1 (en) | 2015-07-24 | 2016-07-18 | Systems and methods for image processing in optical microscopes |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018521360A JP2018521360A (ja) | 2018-08-02 |
JP6928757B2 true JP6928757B2 (ja) | 2021-09-01 |
Family
ID=57836056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018503206A Active JP6928757B2 (ja) | 2015-07-24 | 2016-07-18 | 光学顕微鏡における画像処理のためのシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10031328B2 (ja) |
EP (1) | EP3332283B1 (ja) |
JP (1) | JP6928757B2 (ja) |
CN (1) | CN107850766B (ja) |
WO (1) | WO2017019366A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023189393A1 (ja) * | 2022-03-29 | 2023-10-05 | ソニーグループ株式会社 | 生体試料観察システム、情報処理装置及び画像生成方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20175410A (fi) * | 2017-05-08 | 2018-11-09 | Grundium Oy | Laite ja menetelmä mikroskooppileikkeiden skannaamiseksi |
EP3614190A1 (en) * | 2018-08-20 | 2020-02-26 | Till GmbH | Microscope device with virtual objective |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2724737A (en) * | 1951-01-29 | 1955-11-22 | Alsede W Hogan | Electric color image formation and control |
US4826299A (en) | 1987-01-30 | 1989-05-02 | Canadian Patents And Development Limited | Linear deiverging lens |
US5740409A (en) * | 1996-07-01 | 1998-04-14 | Sun Microsystems, Inc. | Command processor for a three-dimensional graphics accelerator which includes geometry decompression capabilities |
US6844150B2 (en) * | 2000-08-24 | 2005-01-18 | The Regents Of The University Of California | Ultrahigh resolution multicolor colocalization of single fluorescent probes |
US7811825B2 (en) * | 2002-04-19 | 2010-10-12 | University Of Washington | System and method for processing specimens and images for optical tomography |
EP1787157B1 (en) | 2004-07-23 | 2014-09-24 | GE Healthcare Niagara Inc. | Apparatus for fluorescent confocal microscopy |
KR100743591B1 (ko) * | 2005-09-23 | 2007-07-27 | 한국과학기술원 | 사이드 로브가 제거된 공초점 자가 간섭 현미경 |
JP4799428B2 (ja) * | 2007-01-22 | 2011-10-26 | 株式会社東芝 | 画像処理装置及び方法 |
JP2008197283A (ja) * | 2007-02-09 | 2008-08-28 | Nikon Corp | スリット走査共焦点顕微鏡、及び画像取得方法 |
WO2010068884A2 (en) * | 2008-12-11 | 2010-06-17 | The Regents Of The University Of California | Methods and systems for direct sequencing of single dna molecules |
EP2584310A4 (en) * | 2010-06-17 | 2014-07-09 | Panasonic Corp | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
JP5412394B2 (ja) * | 2010-09-30 | 2014-02-12 | オリンパス株式会社 | 標本観察装置 |
JP5809865B2 (ja) * | 2011-07-19 | 2015-11-11 | 株式会社 日立産業制御ソリューションズ | 画像処理装置及び画像処理方法 |
US9338354B2 (en) * | 2011-10-03 | 2016-05-10 | Nikon Corporation | Motion blur estimation and restoration using light trails |
EP2584584A1 (en) * | 2011-10-19 | 2013-04-24 | FEI Company | Method for adjusting a STEM equipped with an aberration corrector |
US9098147B2 (en) * | 2011-12-29 | 2015-08-04 | Industrial Technology Research Institute | Ranging apparatus, ranging method, and interactive display system |
EP2966492B1 (en) * | 2012-05-02 | 2020-10-21 | Centre National De La Recherche Scientifique | Method and apparatus for single-particle localization using wavelet analysis |
EP2704177B1 (en) * | 2012-09-04 | 2014-11-26 | Fei Company | Method of investigating and correcting aberrations in a charged-particle lens system |
CA2900842C (en) * | 2013-03-12 | 2020-01-21 | Ventana Medical Systems, Inc. | Digitally enhanced microscopy for multiplexed histology |
-
2015
- 2015-07-24 US US14/808,470 patent/US10031328B2/en active Active
-
2016
- 2016-07-18 EP EP16831056.3A patent/EP3332283B1/en not_active Revoked
- 2016-07-18 JP JP2018503206A patent/JP6928757B2/ja active Active
- 2016-07-18 WO PCT/US2016/042811 patent/WO2017019366A1/en active Application Filing
- 2016-07-18 CN CN201680043260.4A patent/CN107850766B/zh active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023189393A1 (ja) * | 2022-03-29 | 2023-10-05 | ソニーグループ株式会社 | 生体試料観察システム、情報処理装置及び画像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
US10031328B2 (en) | 2018-07-24 |
EP3332283B1 (en) | 2020-09-02 |
EP3332283A4 (en) | 2019-11-27 |
WO2017019366A1 (en) | 2017-02-02 |
CN107850766A (zh) | 2018-03-27 |
CN107850766B (zh) | 2022-04-05 |
EP3332283A1 (en) | 2018-06-13 |
JP2018521360A (ja) | 2018-08-02 |
US20170023786A1 (en) | 2017-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11604342B2 (en) | Microscopy devices, methods and systems | |
US8472113B2 (en) | Scanning microscope and method for light-microscopic imaging of an object | |
US10690898B2 (en) | Light-field microscope with selective-plane illumination | |
CA2868263C (en) | Slide scanner with dynamic focus and specimen tilt and method of operation | |
US8575570B2 (en) | Simultaneous orthogonal light sheet microscopy and computed optical tomography | |
US9697605B2 (en) | Method for the microscopic three-dimensional reproduction of a sample | |
US8547634B2 (en) | Optical arrangement for photomanipulation | |
US9715095B2 (en) | Microscope and method for SPIM microscopy | |
US10191263B2 (en) | Scanning microscopy system | |
US11215804B2 (en) | Microscope and method for imaging a sample | |
US20190170646A1 (en) | Light-sheet microscope with parallelized 3d image acquisition | |
JP5311195B2 (ja) | 顕微鏡装置 | |
JP6928757B2 (ja) | 光学顕微鏡における画像処理のためのシステムおよび方法 | |
US10776955B2 (en) | Method for the analysis of spatial and temporal information of samples by means of optical microscopy | |
EP2889666A1 (en) | Image generation system | |
EP1806575B1 (en) | Examination apparatus | |
WO2019148008A1 (en) | Apparatuses and methods for multi-direction digital scanned light sheet microscopy | |
WO2017090209A1 (ja) | 顕微鏡、観察方法、及び制御プログラム | |
US20220137383A1 (en) | Apparatus and method for capturing image data | |
JP5765569B2 (ja) | 顕微鏡装置 | |
JP2011027803A (ja) | 光源装置および顕微鏡 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190515 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20201125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210510 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6928757 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |