JP6632361B2 - 画像処理装置、画像処理システム、画像処理方法、及びプログラム。 - Google Patents
画像処理装置、画像処理システム、画像処理方法、及びプログラム。 Download PDFInfo
- Publication number
- JP6632361B2 JP6632361B2 JP2015244647A JP2015244647A JP6632361B2 JP 6632361 B2 JP6632361 B2 JP 6632361B2 JP 2015244647 A JP2015244647 A JP 2015244647A JP 2015244647 A JP2015244647 A JP 2015244647A JP 6632361 B2 JP6632361 B2 JP 6632361B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- interest
- dimensional image
- value
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 87
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 description 42
- 230000008569 process Effects 0.000 description 32
- 230000006870 function Effects 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000001727 in vivo Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000002445 nipple Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000000062 pectoralis major Anatomy 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Description
第一の実施形態においては、被検体を撮像した第一の三次元画像を、第二の三次元画像に位置や形状が合うように変形させる、変形位置合わせを行う。そして、変形位置合わせにより得られる変形画像である第三の三次元画像における誤差の推定値と統計値を取得する例について説明する。なお、第一の実施形態においては第一の三次元画像が予め第二の三次元画像に変形位置合わせされている場合について説明する。すなわち、第一の実施形態においては、第一の三次元画像と第二の三次元画像の間の変形情報(以下、変形パラメータと称する。)が予め取得されていることとする。さらに、第一の実施形態においては、第一の三次元画像と第二の三次元画像との間の位置合わせの誤差に関する情報として、第三の三次元画像上の各ボクセル位置における位置合わせ誤差の推定値を示す誤差画像が予め生成されていることとする。誤差画像とは、各ボクセル値が、その位置における位置合わせ誤差の推定値を示す三次元画像である。
第一の実施形態においては、変形画像の各ボクセル位置における位置合わせ誤差の推定値を誤差画像として保持する場合を例に説明したが、これに限らず、第二の三次元画像の各ボクセル位置における位置合わせ誤差の推定値を誤差画像として保持してもよい。この場合、ステップS250において、統計値取得部112は、第二の三次元画像に対して設定した断面と関心領域との交差領域に関して誤差推定値の統計値を取得する処理を行う。そして、ステップS260において、表示制御部114は、第二の三次元画像の断面画像に重畳して誤差統計値を表示させる。この観点では、第二の三次元画像も注目画像となる。
第二の実施形態に係る画像表示装置は、被検体を撮像した第一の三次元画像と第二の三次元画像の変形位置合わせ処理を行う。すなわち、第一の三次元画像と第二の三次元画像の間の変形パラメータを取得して、第一の三次元画像を第二の三次元画像に位置や形状が合うように変形させた変形画像(第三の三次元画像)を生成する。そして、第二の三次元画像と第三の三次元画像の断面画像を比較可能なように表示する。その際に、第二の実施形態に係る画像表示装置は、表示断面における位置合わせ誤差の推定値の統計値すなわち誤差統計値を取得して、断面画像と関連付けて表示する。ユーザによる対応情報の入力に基づいて位置合わせを対話的に行う構成であるため、位置合わせ誤差の推定値やその統計値の取得も動的に実行される。以下、第二の実施形態に係る画像表示装置について、第一の実施形態とは異なる部分についてのみ説明する。第一の実施形態及び第一の実施形態の変形例における説明と同様の部分については、上述した説明を援用することにより詳しい説明を省略する。
第二の実施形態にかかる画像処理装置の機能構成として出力部を省略した。変形例として、第一の実施形態と同様に、変形画像生成部607や断面画像生成部110により生成された画像や、統計値取得部112により取得された誤差統計値をデータサーバ150に出力する出力部が画像処理装置60に含まれていてもよい。
第三の実施形態に係る画像表示装置は、表示断面以外の断面に関する位置合わせ誤差推定値の統計値を提示する。より具体的には、所定の基準からの距離に応じた位置合わせ誤差推定値の統計値を取得することを特徴とする。第三の実施形態では、所定の基準として、被検体の表面を用いるものとする。以下、第三の実施形態に係る画像表示装置について、第一実施形態と異なる部分についてのみ説明する。
第三の実施形態にかかる画像処理装置の機能構成として出力部を省略したが、第一の実施形態と同様に、統計値取得部812により取得された誤差統計値をデータサーバ150に出力する出力部が画像処理装置60に含まれていてもよい。
Claims (18)
- 被検体の第一の三次元画像を変形させて前記第一の三次元画像とは異なる第二の三次元画像に位置合わせした第三の三次元画像を得るための位置合わせにおける誤差の推定値を、前記第二の三次元画像あるいは前記第三の三次元画像を注目画像として、前記注目画像の複数の位置について取得する推定値取得手段と、
前記注目画像における注目断面を指定する指定手段と、
前記指定手段により指定された前記注目断面における前記位置合わせの誤差の統計値を、前記注目断面の複数の位置について前記推定値取得手段により取得された前記推定値に基づいて取得する統計値取得手段と、
前記統計値取得手段により取得された前記統計値を表示部に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。 - 被検体の第一の三次元画像と、前記第一の三次元画像とは異なる第二の三次元画像とをそれぞれ変形することにより位置合わせされた第三の三次元画像と第四の三次元画像を得るための位置合わせにおける誤差の推定値を、前記第三の三次元画像あるいは前記第四の三次元画像を注目画像として、前記注目画像の複数の位置について取得する推定値取得手段と、
前記注目画像における注目断面を指定する指定手段と、
前記指定手段により指定された前記注目断面における前記位置合わせの誤差の統計値を、前記注目断面の複数の位置について前記推定値取得手段により取得された前記推定値に基づいて取得する統計値取得手段と、
前記統計値取得手段により取得された前記統計値を表示部に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。 - 前記注目画像に含まれる領域を関心領域として特定する特定手段をさらに有し、
前記統計値取得手段は、前記指定手段により指定された前記注目断面と、前記特定手段により特定された関心領域とが重なる領域に含まれる複数の位置について、前記推定値取得手段により取得された前記推定値に基づいて、該注目断面と該関心領域とが重なる領域における前記位置合わせの誤差の統計値を取得することを特徴とする請求項1又は請求項2に記載の画像処理装置。 - 前記表示制御手段は、前記注目断面における前記位置合わせの誤差の統計値と、前記注目断面と前記関心領域とが重なる領域における前記位置合わせの誤差の統計値とを、前記表示部に表示させることを特徴とする請求項3に記載の画像処理装置。
- 前記表示制御手段は、前記特定手段により前記関心領域が特定された場合には、前記注目断面と前記関心領域とが重なる領域における前記位置合わせの誤差の統計値を前記表示部に表示させ、前記注目断面における前記位置合わせの誤差の統計値を前記表示部に表示させないことを特徴とする請求項3に記載の画像処理装置。
- 前記指定手段により指定された前記注目断面の二次元画像を生成する生成手段をさらに有することを特徴とする請求項1乃至請求項5のいずれか一項に記載の画像処理装置。
- 前記生成手段は、前記注目画像における所定の厚みの範囲内での輝度値の最大値または最小値のいずれかを投影した投影画像を生成し、
前記統計値取得手段は、前記投影画像を構成する輝度値の元となる位置について前記推定値取得手段により取得された前記推定値に基づいて、前記投影画像における前記位置合わせの誤差の統計値を取得することを特徴とする請求項6に記載の画像処理装置。 - 前記生成手段は前記位置合わせを行うことを特徴とする請求項6又は請求項7記載の画像処理装置。
- 前記生成手段により生成された画像を外部装置に出力する出力手段をさらに有することを特徴とする請求項6乃至請求項8のいずれか一項に記載の画像処理装置。
- 前記出力手段は、前記統計値取得手段により取得された統計値を、前記注目画像と対応付けて出力することを特徴とする請求項9に記載の画像処理装置。
- 前記指定手段は、前記注目画像に含まれる所定の領域からの距離に基づいて断面を指定することを特徴とする請求項1乃至請求項10のいずれか一項に記載の画像処理装置。
- 前記統計値取得手段は、前記第一の三次元画像と前記第二の三次元画像に共通して含まれる対応点の情報に基づいて、前記統計値を取得することを特徴とする請求項1乃至請求項11のいずれか一項に記載の画像処理装置。
- 前記統計値は、平均値、中央値、最大値、最小値の少なくともいずれかを含むことを特徴とする、請求項1乃至請求項12のいずれか一項に記載の画像処理装置。
- 前記位置合わせにおける誤差を推定する推定手段を更に有し、
前記推定値取得手段は、前記推定手段による推定に基づいて前記推定値を取得することを特徴とする請求項1乃至請求項13のいずれか一項に記載の画像処理装置。 - 前記表示制御手段は、前記注目断面と前記統計値とをともに前記表示部に表示させることを特徴とする請求項1乃至請求項14のいずれか一項に記載の画像処理装置。
- 被検体の第一の三次元画像を変形させて前記第一の三次元画像とは異なる第二の三次元画像に位置合わせした第三の三次元画像を得るための位置合わせにおける誤差の推定値を、前記第二の三次元画像あるいは前記第三の三次元画像を注目画像として、前記注目画像の複数の位置について取得する推定値取得手段と、
前記注目画像における注目断面を指定する指定手段と、
前記指定手段により指定された前記注目断面における前記位置合わせの誤差の統計値を、前記注目断面の複数の位置について前記推定値取得手段により取得された前記推定値に基づいて取得する統計値取得手段と、
前記統計値取得手段により取得された前記統計値を表示部に表示させる表示制御手段と、
を有することを特徴とする画像処理システム - 被検体の第一の三次元画像を変形させて前記第一の三次元画像とは異なる第二の三次元画像に位置合わせした第三の三次元画像を得るための位置合わせにおける誤差の推定値を、前記第二の三次元画像あるいは前記第三の三次元画像を注目画像として、前記注目画像の複数の位置について取得する推定値取得ステップと、
前記注目画像における注目断面を指定する指定ステップと、
前記指定ステップにおいて指定された前記注目断面における前記位置合わせの誤差の統計値を、前記注目断面の複数の位置について前記推定値取得ステップにおいて取得された前記推定値に基づいて取得する統計値取得ステップと、
前記統計値取得ステップにより取得された前記統計値を表示部に表示させる表示制御ステップと、
を有することを特徴とする画像処理方法。 - 請求項17に記載の画像処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015244647A JP6632361B2 (ja) | 2015-12-15 | 2015-12-15 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム。 |
US15/379,353 US10319102B2 (en) | 2015-12-15 | 2016-12-14 | Image processing apparatus, image processing system, image processing method, and storage medium |
CN201611164161.XA CN106887017B (zh) | 2015-12-15 | 2016-12-14 | 图像处理装置、图像处理***及图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015244647A JP6632361B2 (ja) | 2015-12-15 | 2015-12-15 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017111583A JP2017111583A (ja) | 2017-06-22 |
JP6632361B2 true JP6632361B2 (ja) | 2020-01-22 |
Family
ID=59019358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015244647A Active JP6632361B2 (ja) | 2015-12-15 | 2015-12-15 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム。 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10319102B2 (ja) |
JP (1) | JP6632361B2 (ja) |
CN (1) | CN106887017B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019217576B4 (de) * | 2019-11-14 | 2021-10-14 | Siemens Healthcare Gmbh | Identifizieren und Bereitstellen von Fehlausrichtungsbildmerkmalen |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10160075B4 (de) * | 2001-12-07 | 2005-11-17 | Siemens Ag | Verfahren zum Betrieb eines bildgebenden medizinischen Diagnosegeräts |
US7831073B2 (en) * | 2005-06-29 | 2010-11-09 | Accuray Incorporated | Precision registration of X-ray images to cone-beam CT scan for image-guided radiation treatment |
US8386015B2 (en) * | 2008-10-27 | 2013-02-26 | Siemens Aktiengesellschaft | Integration of micro and macro information for biomedical imaging |
EP2597615A1 (en) * | 2008-11-25 | 2013-05-29 | Algotec Systems Ltd. | Method and system for segmenting medical imaging data according to a skeletal atlas |
GB0913930D0 (en) * | 2009-08-07 | 2009-09-16 | Ucl Business Plc | Apparatus and method for registering two medical images |
JP5950619B2 (ja) * | 2011-04-06 | 2016-07-13 | キヤノン株式会社 | 情報処理装置 |
US8948487B2 (en) * | 2011-09-28 | 2015-02-03 | Siemens Aktiengesellschaft | Non-rigid 2D/3D registration of coronary artery models with live fluoroscopy images |
US9058647B2 (en) * | 2012-01-16 | 2015-06-16 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
GB201203883D0 (en) * | 2012-03-05 | 2012-04-18 | King S College London | Method and system to assist 2D-3D image registration |
KR102001219B1 (ko) * | 2012-11-26 | 2019-07-17 | 삼성전자주식회사 | 의료 영상들의 정합 방법 및 장치 |
WO2015103388A1 (en) * | 2014-01-02 | 2015-07-09 | Metritrack, Inc. | System and method for tracking completeness of co-registered medical image data |
CN106163408B (zh) * | 2014-03-11 | 2020-01-07 | 皇家飞利浦有限公司 | 使用同时的x平面成像的图像配准和引导 |
KR102233966B1 (ko) * | 2014-05-12 | 2021-03-31 | 삼성전자주식회사 | 의료 영상 정합 방법 및 그 장치 |
IL236003A (en) * | 2014-11-30 | 2016-02-29 | Ben-Yishai Rani | Model and method for registering a model |
GB201502877D0 (en) * | 2015-02-20 | 2015-04-08 | Cydar Ltd | Digital image remapping |
US10262424B2 (en) * | 2015-12-18 | 2019-04-16 | The Johns Hopkins University | Method for deformable 3D-2D registration using multiple locally rigid registrations |
US10957068B2 (en) * | 2017-01-06 | 2021-03-23 | Canon Kabushiki Kaisha | Information processing apparatus and method of controlling the same |
-
2015
- 2015-12-15 JP JP2015244647A patent/JP6632361B2/ja active Active
-
2016
- 2016-12-14 CN CN201611164161.XA patent/CN106887017B/zh active Active
- 2016-12-14 US US15/379,353 patent/US10319102B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN106887017A (zh) | 2017-06-23 |
US20170169579A1 (en) | 2017-06-15 |
CN106887017B (zh) | 2021-10-15 |
JP2017111583A (ja) | 2017-06-22 |
US10319102B2 (en) | 2019-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9990744B2 (en) | Image registration device, image registration method, and image registration program | |
US9665936B2 (en) | Systems and methods for see-through views of patients | |
US9449247B2 (en) | Contour correction device, method, and program | |
JP6467221B2 (ja) | 画像処理装置および方法 | |
US10366544B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
JP5194138B2 (ja) | 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム | |
JP6353827B2 (ja) | 画像処理装置 | |
JP2011024763A (ja) | 画像処理方法および画像処理装置 | |
US20150117727A1 (en) | Medical image data processing apparatus and method | |
US10262402B2 (en) | Curved line correction apparatus, method, and medium | |
CN107851337B (zh) | 交互式网格编辑 | |
JP2012045256A (ja) | 領域分割結果修正装置、方法、及びプログラム | |
US10699424B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium with generation of deformed images | |
JP6772123B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
JP3989896B2 (ja) | 医用画像処理装置、関心領域抽出方法、ならびに、プログラム | |
JP6632361B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム。 | |
JP5808004B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6643416B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7277652B2 (ja) | 修正指示領域表示装置、方法およびプログラム | |
JP5991731B2 (ja) | 情報処理装置及び情報処理方法 | |
US20210256741A1 (en) | Region correction apparatus, region correction method, and region correction program | |
JP6204891B2 (ja) | 画像表示装置、方法、及びプログラム | |
JP2006178772A (ja) | 画像処理方法および装置並びにプログラム | |
JP2000235641A (ja) | 画像表示装置 | |
EP4258216A1 (en) | Method for displaying a 3d model of a patient |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191210 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6632361 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |