JPWO2020054542A1 - 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム - Google Patents
医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム Download PDFInfo
- Publication number
- JPWO2020054542A1 JPWO2020054542A1 JP2020545948A JP2020545948A JPWO2020054542A1 JP WO2020054542 A1 JPWO2020054542 A1 JP WO2020054542A1 JP 2020545948 A JP2020545948 A JP 2020545948A JP 2020545948 A JP2020545948 A JP 2020545948A JP WO2020054542 A1 JPWO2020054542 A1 JP WO2020054542A1
- Authority
- JP
- Japan
- Prior art keywords
- interest
- region
- medical image
- transition time
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 230000007704 transition Effects 0.000 claims abstract description 160
- 238000000034 method Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 27
- 238000003780 insertion Methods 0.000 description 9
- 230000037431 insertion Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000003111 delayed effect Effects 0.000 description 6
- 238000011867 re-evaluation Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 102000001554 Hemoglobins Human genes 0.000 description 4
- 108010054147 Hemoglobins Proteins 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 208000032544 Cicatrix Diseases 0.000 description 2
- 238000012323 Endoscopic submucosal dissection Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000012326 endoscopic mucosal resection Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001613 neoplastic effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 230000037387 scars Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 208000000151 Colon Diverticulum Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 102220465832 La-related protein 1_F10A_mutation Human genes 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000008400 supply water Substances 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Endoscopes (AREA)
Abstract
Description
図1は、本実施形態に係る医療画像処理装置を含む内視鏡システム9の全体構成を示す概略図である。図1に示すように、内視鏡システム9は、電子内視鏡である内視鏡スコープ10と、光源装置11と、内視鏡プロセッサ装置12と、表示装置13と、医療画像処理装置14と、操作部15と、表示器16と、を備える。
医療画像処理装置14は、主として時系列画像に含まれる注目領域を術者に報知するものであり、本実施形態では、例えばパーソナルコンピュータが用いられる。また、操作部15は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器16(表示部の一例)はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
内視鏡システム9を用いた医療画像処理方法について説明する。図3は、第1の実施形態に係る医療画像処理方法の各処理を示すフローチャートである。医療画像処理方法は、画像取得工程(ステップS1)と、注目領域検出工程(ステップS2)と、特徴量算出工程(ステップS4)と、遷移時間設定工程(ステップS5)と、強調処理工程(ステップS6)と、を含む。
図4は、強調処理工程(ステップS6)の詳細を示すフローチャートである。
図5は、注目領域の強調レベルの遷移の一例を示す図である。図5に示す例では、時刻t1は注目領域が検出された時刻である。また、時刻t2は時刻t1から遷移時間Taが経過した時刻である。更に、時刻t3は時刻t1から終了時間Te(=Ta+Tb)が経過した時刻である。
図6に示した例では、重畳表示する図形の色を変更することで第1強調レベルLV1での強調及び第2強調レベルLV2での強調を行ったが、強調レベルの変更は以下の態様も可能である。
本実施形態では、注目領域情報取得部42は、注目領域の視認性に基づいて特徴量を算出し、遷移時間設定部46は、視認性が相対的に悪いほど長い時間に遷移時間Taを設定したが、注目領域の他の特性に基づいて特徴量を算出し、遷移時間を設定してもよい。
第1の実施形態では、新たな注目領域が検出されると、その注目領域の特徴量を算出し、算出した特徴量に応じてその注目領域の遷移時間Taを設定していた。したがって、遷移時間Taは検出された時点で決定しており、その後の内視鏡スコープ10の移動等による注目領域の変化には対応していない。これに対し、第2の実施形態では、注目領域の特徴量に応じて遷移時間を再設定する。
図13は、遷移時間設定工程(ステップS21)の詳細を示すフローチャートである。
上記の医療画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したCD−ROM(Compact Disk-Read Only Memory)等の非一時的な記録媒体を構成することも可能である。
10…内視鏡スコープ
11…光源装置
12…内視鏡プロセッサ装置
13…表示装置
14…医療画像処理装置
15…操作部
16…表示器
20…挿入部
21…手元操作部
22…ユニバーサルコード
25…軟性部
26…湾曲部
27…先端部
28…撮像素子
29…湾曲操作ノブ
30…送気送水ボタン
31…吸引ボタン
32…静止画撮影指示部
33…処置具導入口
35…ライトガイド
36…信号ケーブル
37a…コネクタ
37b…コネクタ
38…動画
38a…フレーム画像
39…静止画
40…時系列画像取得部
41…注目領域検出部
42…注目領域情報取得部
43…座標算出部
44…制御部
45…表示制御部
45A…画像表示制御部
45B…報知情報表示制御部
46…遷移時間設定部
47…記憶部
50…図形記憶部
51…プログラム
F1〜F42…図形
R1〜R5…注目領域
S1〜S35…医療画像処理方法の各ステップ
図13は、遷移時間再設定工程(ステップS21)の詳細を示すフローチャートである。
Claims (25)
- 表示部に順次表示される複数の医療画像に含まれる注目領域の位置を強調する強調処理部と、
前記注目領域の特徴量に応じて遷移時間を設定する遷移時間設定部と、
を備え、
前記強調処理部は、前記注目領域の位置を第1強調レベルで強調し、かつ前記第1強調レベルで強調してから前記遷移時間経過後に前記第1強調レベルよりも相対的に小さい第2強調レベルで強調する医療画像処理装置。 - 前記複数の医療画像を取得する画像取得部と、
前記医療画像から注目領域を検出する注目領域検出部と、
前記注目領域の特徴量を算出する特徴量算出部と、
を備えた請求項1に記載の医療画像処理装置。 - 前記複数の医療画像を前記表示部に順次表示させる表示制御部を備えた請求項1又は2に記載の医療画像処理装置。
- 前記特徴量は、前記注目領域の視認性に基づいて算出される請求項1から3のいずれか1項に記載の医療画像処理装置。
- 前記遷移時間設定部は、前記注目領域の視認性が相対的に悪いほど前記遷移時間を長い時間に設定する請求項4に記載の医療画像処理装置。
- 前記特徴量は、前記注目領域の前記医療画像内における大きさに基づいて算出される請求項1から5のいずれか1項に記載の医療画像処理装置。
- 前記遷移時間設定部は、前記注目領域の前記医療画像内における大きさが相対的に小さいほど前記遷移時間を長い時間に設定する請求項6に記載の医療画像処理装置。
- 前記特徴量は、前記注目領域の前記医療画像内の位置に基づいて算出される請求項1から7のいずれか1項に記載の医療画像処理装置。
- 前記遷移時間設定部は、前記注目領域の前記医療画像内の位置が周辺部に相対的に近いほど前記遷移時間を長い時間に設定する請求項8に記載の医療画像処理装置。
- 前記特徴量は、前記注目領域の輝度値、又は前記注目領域の輝度値と前記注目領域外の輝度値との差分に基づいて算出される請求項1から9のいずれか1項に記載の医療画像処理装置。
- 前記遷移時間設定部は、前記注目領域の輝度値が小さいほど、又は前記注目領域の輝度値と前記注目領域外の輝度値との差分が小さいほど前記遷移時間を長い時間に設定する請求項10に記載の医療画像処理装置。
- 前記特徴量は、前記注目領域の色情報、又は前記注目領域の色情報と前記注目領域外の色情報との差分に基づいて算出される請求項1から11のいずれか1項に記載の医療画像処理装置。
- 前記遷移時間設定部は、前記注目領域の色空間と前記注目領域外の色空間との差分が小さいほど前記遷移時間を長い時間に設定する請求項12に記載の医療画像処理装置。
- 前記特徴量は、前記注目領域の動き量、又は前記注目領域の動き方向に基づいて算出される請求項1から13のいずれか1項に記載の医療画像処理装置。
- 前記遷移時間設定部は、前記注目領域の動き量が大きいほど前記遷移時間を長い時間に設定する請求項14に記載の医療画像処理装置。
- 前記遷移時間設定部は、前記第1強調レベルで強調してから前記遷移時間が経過するまでの間の前記注目領域の特徴量に応じて前記遷移時間を再設定する請求項1から15のいずれか1項に記載の医療画像処理装置。
- 前記強調処理部は、前記第1強調レベルで強調してから前記遷移時間が経過するまで前記第1強調レベルで強調する請求項1から16のいずれか1項に記載の医療画像処理装置。
- 前記強調処理部は、前記第1強調レベルで強調してから前記遷移時間が経過するまで強調レベルを相対的に徐々に下げて強調する請求項1から16のいずれか1項に記載の医療画像処理装置。
- 前記強調処理部は、前記第2強調レベルで強調してから一定時間が経過すると強調を終了する請求項1から18のいずれか1項に記載の医療画像処理装置。
- 前記強調処理部は、前記第2強調レベルで強調してから前記一定時間が経過するまで前記第2強調レベルで強調する請求項19に記載の医療画像処理装置。
- 前記強調処理部は、前記第2強調レベルで強調してから前記一定時間が経過するまで強調レベルを相対的に徐々に下げて強調する請求項19に記載の医療画像処理装置。
- 前記複数の医療画像を撮像する内視鏡スコープと、
前記表示部と、
請求項1から21のいずれか1項に記載の医療画像処理装置と、
を備えた内視鏡システム。 - 表示部に順次表示される複数の医療画像に含まれる注目領域の位置を強調する強調処理工程と、
前記注目領域の特徴量に応じて遷移時間を設定する遷移時間設定工程と、
を備え、
前記強調処理工程は、前記注目領域の位置を第1強調レベルで強調し、かつ前記第1強調レベルで強調してから前記遷移時間経過後に前記第1強調レベルよりも相対的に小さい第2強調レベルで強調する医療画像処理方法。 - 請求項23に記載の医療画像処理方法をコンピュータに実行させるためのプログラム。
- 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項24に記載のプログラムをコンピュータに実行させる記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018169399 | 2018-09-11 | ||
JP2018169399 | 2018-09-11 | ||
PCT/JP2019/034790 WO2020054542A1 (ja) | 2018-09-11 | 2019-09-04 | 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020054542A1 true JPWO2020054542A1 (ja) | 2021-08-30 |
JP7170050B2 JP7170050B2 (ja) | 2022-11-11 |
Family
ID=69777639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020545948A Active JP7170050B2 (ja) | 2018-09-11 | 2019-09-04 | 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、内視鏡システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US12059123B2 (ja) |
EP (1) | EP3851023B1 (ja) |
JP (1) | JP7170050B2 (ja) |
CN (1) | CN112654283A (ja) |
WO (1) | WO2020054542A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112739250A (zh) * | 2018-09-18 | 2021-04-30 | 富士胶片株式会社 | 医用图像处理装置、处理器装置、医用图像处理方法及程序 |
JP7237883B2 (ja) * | 2020-04-14 | 2023-03-13 | Eizo株式会社 | 情報処理装置、情報処理方法、及びコンピュータプログラム |
WO2023166647A1 (ja) * | 2022-03-03 | 2023-09-07 | オリンパスメディカルシステムズ株式会社 | 医療支援システムおよび画像表示方法 |
WO2024166310A1 (ja) * | 2023-02-09 | 2024-08-15 | オリンパスメディカルシステムズ株式会社 | 医療用装置、医療用システム、学習装置、医療用装置の作動方法およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006255021A (ja) * | 2005-03-15 | 2006-09-28 | Toshiba Corp | 画像表示装置及び画像表示方法 |
JP2011160848A (ja) * | 2010-02-05 | 2011-08-25 | Olympus Corp | 画像処理装置、内視鏡システム、プログラム及び画像処理方法 |
US20160093046A1 (en) * | 2014-09-26 | 2016-03-31 | Samsung Electronics Co., Ltd. | Apparatus and method for supporting computer aided diagnosis |
WO2017081976A1 (ja) * | 2015-11-10 | 2017-05-18 | オリンパス株式会社 | 内視鏡装置 |
WO2017104192A1 (ja) * | 2015-12-17 | 2017-06-22 | オリンパス株式会社 | 医用観察システム |
WO2017203560A1 (ja) * | 2016-05-23 | 2017-11-30 | オリンパス株式会社 | 内視鏡画像処理装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5597021B2 (ja) * | 2010-04-15 | 2014-10-01 | オリンパス株式会社 | 画像処理装置及びプログラム |
JP6188721B2 (ja) | 2012-12-13 | 2017-08-30 | オリンパス株式会社 | 蛍光観察装置 |
-
2019
- 2019-09-04 WO PCT/JP2019/034790 patent/WO2020054542A1/ja unknown
- 2019-09-04 JP JP2020545948A patent/JP7170050B2/ja active Active
- 2019-09-04 CN CN201980058481.2A patent/CN112654283A/zh active Pending
- 2019-09-04 EP EP19860269.0A patent/EP3851023B1/en active Active
-
2021
- 2021-02-19 US US17/180,638 patent/US12059123B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006255021A (ja) * | 2005-03-15 | 2006-09-28 | Toshiba Corp | 画像表示装置及び画像表示方法 |
JP2011160848A (ja) * | 2010-02-05 | 2011-08-25 | Olympus Corp | 画像処理装置、内視鏡システム、プログラム及び画像処理方法 |
US20160093046A1 (en) * | 2014-09-26 | 2016-03-31 | Samsung Electronics Co., Ltd. | Apparatus and method for supporting computer aided diagnosis |
WO2017081976A1 (ja) * | 2015-11-10 | 2017-05-18 | オリンパス株式会社 | 内視鏡装置 |
WO2017104192A1 (ja) * | 2015-12-17 | 2017-06-22 | オリンパス株式会社 | 医用観察システム |
WO2017203560A1 (ja) * | 2016-05-23 | 2017-11-30 | オリンパス株式会社 | 内視鏡画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7170050B2 (ja) | 2022-11-11 |
US20210174115A1 (en) | 2021-06-10 |
WO2020054542A1 (ja) | 2020-03-19 |
CN112654283A (zh) | 2021-04-13 |
EP3851023A4 (en) | 2021-10-13 |
US12059123B2 (en) | 2024-08-13 |
EP3851023A1 (en) | 2021-07-21 |
EP3851023B1 (en) | 2024-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11607109B2 (en) | Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system | |
JP7413585B2 (ja) | 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム | |
JP7170050B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、内視鏡システム | |
WO2017057574A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP7125479B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム | |
JP7315576B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム | |
US11481944B2 (en) | Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus | |
WO2020184257A1 (ja) | 医用画像処理装置及び方法 | |
JP6840263B2 (ja) | 内視鏡システム及びプログラム | |
US20210174557A1 (en) | Medical image processing apparatus, medical image processing method, program, and endoscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210415 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7170050 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |