JP6479671B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP6479671B2 JP6479671B2 JP2015541439A JP2015541439A JP6479671B2 JP 6479671 B2 JP6479671 B2 JP 6479671B2 JP 2015541439 A JP2015541439 A JP 2015541439A JP 2015541439 A JP2015541439 A JP 2015541439A JP 6479671 B2 JP6479671 B2 JP 6479671B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- pixel
- region
- volume
- main
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004204 blood vessel Anatomy 0.000 claims description 123
- 210000000709 aorta Anatomy 0.000 claims description 110
- 238000000034 method Methods 0.000 claims description 96
- 238000000605 extraction Methods 0.000 claims description 78
- 239000000284 extract Substances 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 206010028980 Neoplasm Diseases 0.000 description 111
- 208000032843 Hemorrhage Diseases 0.000 description 27
- 210000000056 organ Anatomy 0.000 description 24
- 230000008602 contraction Effects 0.000 description 18
- 230000000740 bleeding effect Effects 0.000 description 17
- 238000003672 processing method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 10
- 210000000988 bone and bone Anatomy 0.000 description 9
- PBLQSFOIWOTFNY-UHFFFAOYSA-N 3-methylbut-2-enyl 4-methoxy-8-(3-methylbut-2-enoxy)quinoline-2-carboxylate Chemical compound C1=CC=C2C(OC)=CC(C(=O)OCC=C(C)C)=NC2=C1OCC=C(C)C PBLQSFOIWOTFNY-UHFFFAOYSA-N 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 239000002246 antineoplastic agent Substances 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000003325 tomography Methods 0.000 description 3
- 229940041181 antineoplastic drug Drugs 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000023597 hemostasis Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010053476 Traumatic haemorrhage Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000000459 calcaneus Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
複数の断層画像から三次元画像データとなる全領域を作る画像形成部と、
前記全領域から大動脈に繋がる主領域を抽出する主領域抽出部と
前記主領域から大動脈だけを示す大動脈領域を抽出する大動脈領域抽出部と、
前記全領域から患部を含む患部領域を求める患部領域抽出部と、
前記患部領域から前記大動脈領域までをつなぐ目的血管領域を求める目的血管抽出部とを有することを特徴とする。
以下、本発明に係る画像処理装置、画像処理方法及びコンピュータプログラムの第一実施形態について、図面を参照しながら説明する。
被検体の腫瘍及び大動脈を含む対象領域を断層撮影して得られた複数の断層画像からなる断層画像群を積層した三次元画像データを生成する画像形成工程(ステップs1)と、
断層画像群から選択された少なくとも1枚の断層画像から、大動脈の断面の中心画素を抽出する中心抽出工程(ステップs2)と、
上記三次元画像データに対して、中心画素を初期領域として領域拡張処理することにより、大動脈と大動脈から分岐する枝血管や骨や臓器等のその他の領域を含むような主領域を抽出する主領域抽出工程(ステップs3)と、
抽出された主領域を収縮処理することにより、大動脈の芯部の領域とその他の部分を分離する収縮処理工程(ステップs4)と、
分離された芯部の領域とその他の領域とを含む領域に対して、上記中心画素を初期領域として領域拡張処理することにより、芯部の領域のみを抽出する芯部抽出工程(ステップs5)と、
芯部の領域を膨張処理することにより大動脈の領域を復元させる膨張処理工程(ステップs6)と、
ユーザーから指示された上記三次元画像データ中の腫瘍上の任意の点を、設定点として設定する腫瘍位置設定工程(ステップs7)と、
三次元画像データに対して、設定点を初期領域として領域拡張処理することにより、腫瘍の領域を抽出する腫瘍領域抽出工程(ステップs8)と、
抽出された腫瘍の領域と主領域とが重なる領域を検出する重なり領域検出工程(ステップs9)と、
上記三次元画像データに対して、重なり領域を初期領域として領域拡張処理することにより、腫瘍と大動脈とをつなぐ目的血管の領域を抽出する目的血管抽出工程(ステップs10)、を規定している。
はじめに、医用画像診断装置160で被検体の腫瘍及び大動脈を含む対象領域を断層撮影する。得られた投影データやMR信号等のデータから断層画像が再構成され、断層画像群として医用画像保管装置150に記憶される(ステップs0)。
本プロセスでは、ステップs0で得られた被検体の腫瘍及び大動脈を含む対象領域の断層画像群Set{Ln}から三次元画像データを生成させる。具体的には、画像形成部101により、複数の断層画像からなる断層画像群Set{Ln}を体軸方向に沿って積層することにより三次元画像のボリュームデータを生成させる。
再び図3を参照する。本プロセスでは、ステップs1で得られた、三次元画像データVol{Ln}から選択された少なくとも1層の断層画像に基づいて、大動脈の断面の中心画素P1を抽出する。中心抽出部102は、三次元画像データVol{Ln}から選択された少なくとも1層の断層画像に基づいて大動脈の断面の中心画素P1を抽出する。図4(b)中の符号10は、三次元画像データVol{Ln}を構成する、大動脈の中心画素P1が特定された1層の断層画像10を示している。
図3を再び参照する。本プロセスでは、中心抽出工程(ステップs2)で得られた断層画像10の中心画素P1を初期領域(開始点)として、全領域Vol{Ln}の体積画素に領域拡張処理を施すことにより、大動脈及び大動脈から分岐する枝血管や骨や臓器等のその他の領域を含む主領域Main{Ln}を抽出する。なお、主領域Main{Ln}は少なくとも大動脈を含み、また、大動脈に接し、かつ画素値が近いために大動脈から分離しにくいその他の領域を含む。
再び図3を参照する。本プロセスでは、主領域抽出工程(s3)で抽出された主領域Main{Ln}に対して、収縮処理部104により収縮処理を施すことにより、大動脈の芯部とその他の領域とを分離する。すなわち、主領域Main{Ln}の画像を収縮処理することにより、大動脈の芯部の領域と、枝血管等の細血管や肋骨や脊椎等のような骨、臓器等のその他の領域とを分離する。
本プロセスでは、収縮処理工程(s4)で分離された、収縮された主領域SMain{Ln}から、大動脈1の芯部だけを抽出する。収縮された主領域SMain{Ln}には、大動脈1の芯部と、収縮処理工程(s4)で残った臓器3(画素値が閾値VPth以上の体積画素の領域)等が含まれる。そこで、中心抽出工程(s2)で抽出された中心画素P1を初期領域として領域拡張処理を施すことにより、大動脈1の芯部1bだけを抽出する。このようにして得られた領域のデータを芯部領域CMain{Ln}とする。
本プロセスでは、芯部抽出工程(s5)で抽出された芯部領域CMain{Ln}に対して膨張処理を施すことにより、大動脈の輪郭を抽出して大動脈の外形を復元させる。この復元した大動脈を表す体積画素を「復元された主領域RMain{Ln}」とする。このようにして生成された被検体の大動脈1の領域(復元された主領域RMain{Ln})を図4(f)に示す。
本プロセスでは、腫瘍位置設定部107により、画像形成部101で形成された全領域Vol{Ln}中の腫瘍上の任意の設定点P2を位置設定する。また、医用画像診断装置160で撮影した断層画像群Set{Ln}で設定点P2を位置設定してもよい。いずれにしても、本プロセスでは、全領域Vol{Ln}中で腫瘍と判断される箇所の体積画素の座標が指定される。なお、設定点P2の指定は、画像処理によってソフト的に自動指定してもよいし、ユーザーが断層画像群Set{Ln}を見ながら直接指定してもよい。
本プロセスでは、腫瘍領域抽出部108により、画像形成工程(s1)で生成された三次元画像のボリュームデータVol{Ln}に対して、腫瘍位置設定工程(s7)で設定された設定点P2を初期領域として領域拡張処理を所定回数だけ繰り返すことにより、腫瘍領域C{Ln}を決める。領域拡張処理の繰り返し回数は、腫瘍領域C{Ln}が腫瘍周囲の血管を含む程度までの回数であることが必要である。図3ではステップs8を「C{Ln}を決める」と記載した。なお、腫瘍領域C{Ln}は、患部領域C{Ln}と言っても良い。領域拡張処理の具体的処理フローは図5に示したフローと同じである。つまり、腫瘍領域C{Ln}は、メインメモリに上に割り当てられたときに、各体積画素の画素値がゼロになっているデータである。
本プロセスでは、重なり領域検出部109により、腫瘍領域抽出工程(s8)により特定された腫瘍8を表す腫瘍領域(患部領域)C{Ln}と、主領域抽出工程(s3)により抽出された主領域Main{Ln}との重なり領域L{Ln}を検出する。この処理により、特定された腫瘍8の大動脈1に繋がる血管の起点を抽出できる。図4(g)中、L{Ln}は、腫瘍8から伸びる大動脈1に繋がる血管を含む重なり領域L{Ln}である。具体的にはそれぞれの領域に共通する画素値がVPth以上若しくは、画素値がVPthC以上の体積画素を見つければ良い。
本プロセスでは、目的血管抽出部110により、重なり領域検出工程(s9)で検出された重なり領域L{Ln}を初期領域として、画像形成工程(s1)で生成された三次元画像のボリュームデータVol{Ln}に対して、初期領域から大動脈1に到達する血管を抽出するように履歴付き領域拡張処理を施す。また、主領域抽出工程(ステップs3)で求めた主領域Main{Ln}から目的とする血管を抽出してもよい。ここでは主領域Main{Ln}を対象として説明を続ける。
本プロセスでは、目的血管抽出工程(s10)により抽出されて生成された画像を三次元画像として画像表示部90に表示する。少なくとも大動脈領域である復元された主領域RMain{Ln}、腫瘍領域C{Ln}、目的血管領域Ob{Ln}の3つのデータを表示するのが望ましい。また、主領域Main{Ln}や全領域Vol{Ln}をこれら3つのデータに重ねて若しくは差し引いて表示してもよい。もちろん、これらのデータは適宜着色若しくは輝度を変化させて表示することができる。
本実施形態の画像処理装置、画像処理方法及びコンピュータプログラムは、被検体の三次元画像データを形成するための断層画像群Set{Ln}の取得(s0)から膨張処理工程(s6)までは第一実施形態と同様である。第一実施形態においては、腫瘍から伸びる血管の起点を特定するために、ユーザーが既知の腫瘍上に腫瘍の位置を特定するために設定点P2を指定した。なお、以下の説明において、「領域に含める」、「領域に属する」といった表現は第一実施形態の場合と同じである。
本プロセスでは、始点設定部207により、画像形成部101で形成された全領域Vol{Ln}中の、既知の目的とする血管上の点(P3)や、出血を示す領域上の点(P4)を始点として設定する。また、医用画像診断装置160で撮影した断層画像群Set{Ln}で血管上の点(P3)や出血を示す領域(P4)を位置設定してもよい。いずれにしても、本プロセスでは、全領域Vol{Ln}中で始点(P3、P4)と判断される箇所の体積画素の座標が指定される。なお、この指定は、ユーザーの直接指示で行っても良い。なお、始点(P3、P4)は患部体積画素である。
本プロセスでは、目的血管抽出部210により、始点設定工程(s20)で設定された既知の目的とする血管上の点(P3)や、出血を示す領域上の点(P4)を初期領域として、画像形成工程(s1)で生成された三次元画像のボリュームデータVol{Ln}に対して、初期領域(P3若しくはP4)から大動脈1に到達する目的血管領域Ob{Ln}を抽出する。また、主領域Main{Ln}から目的血管領域Ob{Ln}を抽出してもよい。
本プロセスでは、目的血管抽出工程(s21)により抽出されて生成された目的血管領域Ob{Ln}のデータを三次元画像として画像表示部90に表示する。このような処理により、血管上の点(P3)と大動脈1とをつなぐ枝血管20や、出血を示す領域上の点(P4)と大動脈1とをつなぐ枝血管30を表示することができる。
2 枝血管
3 腫瘍のない臓器
4 腫瘍のある臓器
5 肋骨
6 脊椎
8 腫瘍
20,30 枝血管
50 演算制御部
60 主記憶部
70 補助記憶部
71 画像処理プログラム
80 入力部
90 画像表示部
100,200 画像処理装置
101 画像形成部
102 中心抽出部
103 主領域抽出部
104 収縮処理部
105 芯部抽出部
106 膨張処理部
107 腫瘍位置設定部
207 始点設定部
108 腫瘍領域抽出部
109 重なり領域検出部
110,210 目的血管抽出部
150 医用画像保管装置
160 医用画像診断装置
1000 医用画像診断システム
Claims (1)
- 複数の断層画像から3次元画像データとなる全領域を作る画像形成部と、
前記全領域から大動脈に繋がる主領域を抽出する主領域抽出部と
前記主領域から大動脈だけを示す大動脈領域を抽出する大動脈領域抽出部と、
前記全領域から患部を含む患部領域を求める患部領域抽出部と、
前記患部領域から前記大動脈領域までをつなぐ目的血管領域を求める目的血管抽出部とを有し、
前記主領域抽出部は、
前記断層画像の1枚を2値化処理し、
前記2値化処理された断層画像上の各画素に対して最も近い画素値がゼロの点までの距離を求める距離変換処理を行い、
前記距離が最も大きかった画素を含む体積画素を中心画素とし、前記中心画素から領域拡張処理によって大動脈に繋がる主領域を抽出し、
前記大動脈領域抽出部は、
前記主領域を所定の回数だけ収縮処理し、
前記収縮された主領域に対して前記中心画素から領域拡張処理を行い芯部領域を求め、
前記芯部領域を所定の回数だけ膨張処理を行い、
前記患部領域抽出部は、
前記全領域から前記患部に含まれる患部体積画素を指定し、前記患部体積画素から所定の範囲に含まれる体積画素を前記患部領域に含め、
前記目的血管抽出部は、
前記患部領域と前記主領域の共通部分である重なり領域を求め、
前記重なり領域から前記大動脈領域までを領域拡張の履歴を残しながら領域拡張処理を行い、
前記患部領域から前記大動脈領域までの拡張履歴に沿った体積画素を領域拡張処理し、
前記目的血管領域を求めることを特徴とする画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013209887 | 2013-10-07 | ||
JP2013209887 | 2013-10-07 | ||
PCT/JP2014/005109 WO2015052922A1 (ja) | 2013-10-07 | 2014-10-07 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015052922A1 JPWO2015052922A1 (ja) | 2017-03-09 |
JP6479671B2 true JP6479671B2 (ja) | 2019-03-06 |
Family
ID=52812753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015541439A Active JP6479671B2 (ja) | 2013-10-07 | 2014-10-07 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6479671B2 (ja) |
WO (1) | WO2015052922A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7513405B2 (ja) * | 2020-02-28 | 2024-07-09 | キヤノンメディカルシステムズ株式会社 | 医用情報処理装置及び医用情報処理プログラム |
JP6832479B1 (ja) * | 2020-04-10 | 2021-02-24 | 株式会社ヴォクシス | 立体を形状の狭隘部で分割する画像処理方法、画像処理プログラム、及び画像処理装置 |
CN111932554B (zh) * | 2020-07-31 | 2024-03-22 | 青岛海信医疗设备股份有限公司 | 一种肺部血管分割方法、设备及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4087517B2 (ja) * | 1998-11-25 | 2008-05-21 | 株式会社日立製作所 | 領域抽出方法 |
JP4688361B2 (ja) * | 2001-07-23 | 2011-05-25 | 株式会社日立メディコ | 臓器の特定領域抽出表示装置及びその表示方法 |
JP4564233B2 (ja) * | 2003-01-31 | 2010-10-20 | 株式会社東芝 | 画像処理装置、画像データ処理方法、及びプログラム |
CN101120381B (zh) * | 2005-02-14 | 2012-09-26 | 皇家飞利浦电子股份有限公司 | 用于确定靶向给药的注入点的设备和方法 |
WO2007125676A1 (ja) * | 2006-04-26 | 2007-11-08 | Hitachi Medical Corporation | 磁気誘導型ドラッグデリバリーシステム |
JP4916386B2 (ja) * | 2007-06-13 | 2012-04-11 | 株式会社日立メディコ | X線ct装置 |
JP5291988B2 (ja) * | 2008-05-29 | 2013-09-18 | 株式会社東芝 | 画像処理装置及び画像診断装置 |
JP5011426B2 (ja) * | 2010-08-11 | 2012-08-29 | 富士フイルム株式会社 | 画像診断支援装置、方法及びプログラム |
JP5844093B2 (ja) * | 2010-09-15 | 2016-01-13 | 株式会社東芝 | 医用画像処理装置及び医用画像処理方法 |
-
2014
- 2014-10-07 JP JP2015541439A patent/JP6479671B2/ja active Active
- 2014-10-07 WO PCT/JP2014/005109 patent/WO2015052922A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2015052922A1 (ja) | 2017-03-09 |
WO2015052922A1 (ja) | 2015-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106659453B (zh) | 用于分割肺部的***和方法 | |
JP4822142B2 (ja) | 内視鏡挿入支援システム及び内視鏡挿入支援方法 | |
US10111713B2 (en) | Surgery assistance apparatus, surgery assistance method and non-transitory computer-readable recording medium having stored therein surgery assistance program | |
JP7132299B2 (ja) | 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム | |
EP2554120B1 (en) | Projection image generation device, projection image generation programme, and projection image generation method | |
JP4824146B1 (ja) | 医療機器および医療機器の制御方法 | |
US10524823B2 (en) | Surgery assistance apparatus, method and program | |
JP5559642B2 (ja) | 手術支援装置、手術支援方法および手術支援プログラム | |
JP5011426B2 (ja) | 画像診断支援装置、方法及びプログラム | |
JP2012090669A (ja) | 医用画像診断支援装置および方法、並びにプログラム | |
US9198603B2 (en) | Device, method and program for searching for the shortest path in a tubular structure | |
US20110052028A1 (en) | Method and system of liver segmentation | |
JP7304437B2 (ja) | 肺炎徴候の分割方法、装置、媒体及び電子デバイス | |
JP2007135858A (ja) | 画像処理装置 | |
JP5105997B2 (ja) | 医用画像処理装置、医用画像診断装置、及びプログラム | |
JP6479671B2 (ja) | 画像処理装置 | |
JP2007222626A (ja) | 医用画像データ内の特異部の自動検出方法および装置 | |
JP2004230086A (ja) | 画像処理装置、画像データ処理方法、及びプログラム | |
US20180184987A1 (en) | Cross-sectional image generating apparatus, cross-sectional image generating method, and recording medium | |
JP6066197B2 (ja) | 手術支援装置、方法およびプログラム | |
JP2011110357A (ja) | 画像処理方法、画像処理装置及びプログラム | |
US11056149B2 (en) | Medical image storage and reproduction apparatus, method, and program | |
JP5491237B2 (ja) | 医用画像表示装置及び医用画像表示方法 | |
JP2008000270A (ja) | 生体組織の識別画像作成方法、装置およびプログラム | |
WO2014155917A1 (ja) | 手術支援装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170927 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6479671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |