JP6569539B2 - イメージング装置 - Google Patents

イメージング装置 Download PDF

Info

Publication number
JP6569539B2
JP6569539B2 JP2016004114A JP2016004114A JP6569539B2 JP 6569539 B2 JP6569539 B2 JP 6569539B2 JP 2016004114 A JP2016004114 A JP 2016004114A JP 2016004114 A JP2016004114 A JP 2016004114A JP 6569539 B2 JP6569539 B2 JP 6569539B2
Authority
JP
Japan
Prior art keywords
pixel value
subject
image
imaging apparatus
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016004114A
Other languages
English (en)
Other versions
JP2017123951A (ja
Inventor
石川 亮宏
亮宏 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2016004114A priority Critical patent/JP6569539B2/ja
Publication of JP2017123951A publication Critical patent/JP2017123951A/ja
Application granted granted Critical
Publication of JP6569539B2 publication Critical patent/JP6569539B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

この発明は、被検者の体内に投与された蛍光色素に対して励起光を照射し、この蛍光色素から発生する蛍光を撮影するイメージング装置に関する。
近赤外蛍光イメージングと呼称される手法が、外科手術における血管造影に利用されている。この近赤外蛍光イメージングにおいては、蛍光色素であるインドシアニングリーン(ICG)をインジェクタ等により注入することで患部に投与する。そして、このインドシアニングリーンにその波長が600〜850nm(ナノメータ)程度の近赤外光を励起光として照射すると、インドシアニングリーンは750〜900nm程度の波長の近赤外蛍光を発する。この蛍光を、近赤外光を検出可能な撮像素子で撮影し、その画像を液晶表示パネル等の表示部に表示する。この近赤外蛍光イメージングによれば、体表から20mm程度までの深さに存在する血管やリンパ管等の観察が可能となる。
また、近年、腫瘍を蛍光標識して手術ナビゲーションに利用する手法が注目されている。腫瘍を蛍光標識するための蛍光標識剤としては、5−アミノレブリン酸(5−ALA/5−Aminolevulinic Acid)が使用される。この5−アミノレブリン酸(以下、これを略称するときは「5−ALA」という)を被検者に投与した場合、5−ALAは蛍光色素であるPpIX(protoporphyrinIX/プロトポルフィリンナイン)に代謝される。なお、このPpIXは癌細胞に特異的に蓄積する。そして、5−ALAの代謝物であるPpIXに向けて410nm程度の波長の可視光を照射すると、PpIXからおよそ630nm程度の波長の赤色の可視光が蛍光として発光される。このPpIXからの蛍光を観察することにより、癌細胞を確認することが可能となる。
特許文献1には、インドシアニングリーンが投与された生体の被検臓器に対して、インドシアニングリーンの励起光を照射して得られた近赤外蛍光の強度分布イメージと、インドシアニングリーン投与前の被検臓器に対して、X線、核磁気共鳴または超音波を作用させて得られた癌病巣分布イメージとを比較し、近赤外蛍光の強度分布イメージで検出されるが癌病巣分布イメージでは検出されない領域のデータを、癌の副病巣領域データとして収集するデータ収集方法が開示されている。
このような体内に侵入させた蛍光色素からの蛍光を撮影するイメージング装置では、被検者からの蛍光と、被検者の可視画像とを同時に動画として記憶し、ビデオレコーダで記録した撮影画像を動画再生する構成となっている。このように、従来のイメージング装置は、所定のフレームレートで撮影した画像を動画として録画・再生することで、明るい外部照明環境下での、ICG等の蛍光色素投与後の血管・リンパ管の走行の観察や癌病巣領域の確認ができるものである。
このような録画データは、参照用に使用し得るだけではなく、解析に利用することにより新しい知見を得ることができる。例えば、ROI(Region Of Interest:関心領域)の時間方向の信号変化曲線を描画するTIC(Time Intensity Curve)解析においては、ROIの画素値がピークとなるまでの時間を求めることにより、インドシアニングリーン等の蛍光色素の造影時間を定量的に評価することが可能となる。例えば、心臓冠動脈バイパス手術後の血流確認のためにはTICによりROIの画素値の経時的な変化曲線を得ることが有効な手段となる。
一方、心臓などの被検者の体動を伴う領域をROIとして解析する場合には、被検者の体動に伴う補正を実行する必要がある。例えば、心筋部をROIとして解析するときに、拍動に伴う心血管の移動がある場合には、解析領域に心血管が混入することから、TIC曲線に対して、被検者の体動に伴う心血管領域の周期的な成分が重畳することになる。
特許文献2には、被検者の体動に伴う動きを、ベクトル計算を用いて補正するようにした超音波診断装置が開示されている。
国際公開第2009/139466号 特開2010−51729号公報
例えば、心臓の心筋部付近をROIとするTIC解析においては、血管部の位置固定(ロック化)が必要となるが、特許文献2に記載されたベクトル計算においては、血管を全ての領域において位置固定することは不可能である。すなわち、特許文献2に記載されたベクトル計算では、空間的な移動を伴う補正計算に長い時間が必要となり、血管部を全域において位置固定することは困難となる。
この発明は上記課題を解決するためになされたものであり、被検者の体動に伴って移動する関心領域に対しても、関心領域の画素値の経時的な変化曲線を容易に得ることが可能なイメージング装置を提供することを目的とする。
請求項1に記載の発明は、被検者に投与された蛍光色素を励起させるための励起光を、前記被検者に向けて照射する励起用光源と、励起光が照射されることにより前記蛍光色素から発生した蛍光を撮影することにより、蛍光画像を取得する撮影部と、前記被検者の体動にともなって変化する前記蛍光画像を経時的に記憶する画像記憶部と、を備えたイメージング装置において、関心領域に対応する位置における前記蛍光画像の画素値を経時的に測定する画素値測定部と、前記画素値測定部により測定された画素値のうち、前記被検者の体動の周期以上の時間間隔の間で最小値となる画素値をサンプリングすることにより、関心領域の画素値の経時的な変化曲線を作成する変化曲線作成部と、を備えたことを特徴とする。
請求項2に記載の発明は、請求項1に記載の発明において、前記変化曲線作成部により作成された変化曲線を平滑化する平滑化部をさらに備える。
請求項3に記載の発明は、請求項1または請求項2に記載の発明において、前記関心領域は、心臓における心筋部分である。
請求項1に記載の発明によれば、被検者の体動に伴って移動する関心領域に対しても、蛍光画像における関心領域の画素値の経時的な変化曲線を容易に得ることが可能となる。
請求項2に記載の発明によれば、蛍光画像における関心領域の画素値の平滑化された経時的な変化曲線を得ることが可能となる。
請求項3に記載の発明によれば、被検者の拍動に伴って移動する心血管の影響を防止して、蛍光画像における心筋部分の画素値の経時的な変化曲線を容易に得ることが可能となる。
この発明に係るイメージング装置の斜視図である。 この発明に係るイメージング装置の側面図である。 この発明に係るイメージング装置の平面図である。 照明・撮影部12の概要図である。 照明・撮影部12におけるカメラ21の概要図である。 この発明に係るイメージング装置の主要な制御系を示すブロック図である。 モニター15に表示される心臓91付近の画像を示す模式図である。 カメラ21により被検者を撮影して得たROIに対応する領域の画素値を示すグラフである。 図8に示すグラフに対してサンプリングを実行した後の状態を示すグラフである。 図9に示すグラフに対して、平滑化を実行した後の状態を示すグラフである。
以下、この発明の実施の形態を図面に基づいて説明する。図1は、この発明に係るイメージング装置の斜視図である。図2は、この発明に係るイメージング装置の側面図である。図3は、この発明に係るイメージング装置の平面図である。
この発明に係るイメージング装置は、被検者の体内に注入された蛍光色素としてのインドシアニングリーンに対し励起光を照射し、このインドシアニングリーンから放射される蛍光を撮影するためのものであり、4個の車輪13を備えた台車11と、この台車11の上面における台車11の進行方向の前方(図2および図3における左方向)付近に配設されたアーム機構30と、このアーム機構30にサブアーム41を介して配設された照明・撮影部12と、モニター15とを備える。台車11の進行方向の後方には、台車11を移動するときに使用されるハンドル14が付設されている。また、台車11の上面には、このイメージング装置を遠隔操作するためのリモコンを装着するための凹部16が形成されている。
上述したアーム機構30は、台車11の進行方向の前方側に配設されている。このアーム機構30は、台車11の進行方向の前方側に立設された支柱36上に配設された支持部37に対して、ヒンジ部33により連結された第1アーム部材31を備える。この第1アーム部材31は、ヒンジ部33の作用により、支柱36および支持部37を介して、台車11に対して揺動可能となっている。なお、上述したモニター15は、支柱36に付設されている。
この第1アーム部材31の上端には、第2アーム部材32がヒンジ部34により連結されている。この第2アーム部材32は、ヒンジ部34の作用により、第1アーム部材31に対して揺動可能となっている。このため、第1アーム部材31と第2アーム部材32とは、図2において符合Cを付した仮想線で示すように、第1アーム部材31と第2アーム部材32とが第1アーム部材31と第2アーム部材32との連結部であるヒンジ部34を中心として所定の角度開いた撮影姿勢と、図1から図3において符合Aを付した実線で示すように、第1アーム部材31と第2アーム部材32とが近接する待機姿勢とをとることが可能となっている。
第2アーム部材32の下端には、支持部43がヒンジ部35により連結されている。この支持部43は、ヒンジ部35の作用により、第2アーム部材32に対して揺動可能となっている。この支持部43には、回転軸42が支持されている。そして、照明・撮影部12を支持したサブアーム41は、第2アーム部材32の先端に配設された回転軸42を中心に回動する。このため、照明・撮影部12は、このサブアーム41の回動により、図1から図3において符合Aを付した実線で、あるいは、図2において符合Cを付した仮想線で示すように、撮影姿勢または待機姿勢をとるためのアーム機構30に対して台車11の進行方向の前方側の位置と、図2および図3において符合Bを付した仮想線で示すように、台車11を移動させる時の姿勢であるアーム機構30に対して台車11の進行方向の後方側の位置との間を移動する。
図4は、照明・撮影部12の概要図である。
この照明・撮影部12は、可視光および近赤外光を撮影可能な複数の撮像素子を備えたカメラ21と、このカメラ21の外周部に配設された可視光源22と、可視光源22の外周部に配設された励起用光源23とを備える。可視光源22は、白色光(可視光)を照射する。また、励起用光源23は、蛍光色素としてのインドシアニングリーンを励起させるための励起光であるその波長が810nmの近赤外光を照射する。810nmの近赤外光を照射されたインドシアニングリーンからは、ピークが845nm程度の近赤外光が蛍光として放射される。
なお、この実施形態においては、可視光源22および励起用光源23と、カメラ21とを一体化した照明・撮影部12を使用しているが、可視光源22および励起用光源23と、カメラ21とを、個別に配設してもよい。
図5は、照明・撮影部12におけるカメラ21の概要図である。
このカメラ21は、焦点合わせのために往復移動する可動レンズ54と、波長選択フィルター53と、可視光用撮像素子51と、蛍光用撮像素子52とを備える。可視光用撮像素子51と蛍光用撮像素子52とは、CMOSやCCDから構成される。カメラ21に対して、その光軸Lに沿って同軸で入射した可視光および蛍光は、焦点合わせ機構を構成する可動レンズ54を通過した後、波長選択フィルター53に到達する。同軸状に入射した可視光および蛍光のうち、可視光は、波長選択フィルター53により反射され、可視光用撮像素子51に入射する。また、同軸状の可視光および蛍光のうち、蛍光は、波長選択フィルター53を通過して蛍光用撮像素子52に入射する。このとき、可動レンズ54を含む焦点合わせ機構の作用により、可視光は可視光用撮像素子51に対して焦点合わせされ、蛍光は蛍光用撮像素子52に対して焦点合わせされる。
図6は、この発明に係るイメージング装置の主要な制御系を示すブロック図である。
このイメージング装置は、論理演算を実行するCPU、装置の制御に必要な動作プログラムが格納されたROM、制御時にデータ等が一時的にストアされるRAM等から構成され、装置全体を制御する制御部60を備える。この制御部60は、蛍光画像と可視画像に対して各種の画像処理を実行する画像処理部61を備える。この画像処理部61は、後述するように、ROI(関心領域)に対応する位置における蛍光画像の画素値を経時的に測定する画素値測定部66と、この画素値測定部66により測定された画素値のうち、被検者の体動の周期以上の時間間隔の間で最小値となる画素値をサンプリングすることによりROIの画素値の経時的な変化曲線を作成する変化曲線作成部67と、この変化曲線作成部67により作成された変化曲線を平滑化する平滑化部68とを備える。
また、制御部60は、オペレータにより各種の情報が入力される入力部62と接続されている。また、この制御部60は、上述したモニター15と接続されている。なお、入力部62は、このイメージング装置を遠隔操作するためのリモコンに配設されていてもよく、モニター15がタッチパネル式のものである場合にはこのモニター15の画面に配設されてもよく、台車11に配設されてもよい。
また、制御部60は、カメラ21、可視光源22および励起用光源23を備えた照明・撮影部12と接続されている。また、この制御部60は、カメラ21により撮影された画像を経時的に記憶する画像記憶部63とも接続されている。この画像記憶部63は、蛍光画像を経時的に記憶する蛍光画像記憶部64と、可視画像を経時的に記憶する可視画像記憶部65とから構成される。なお、蛍光画像記憶部64および可視画像記憶部65を備える代わりに、可視画像と蛍光画像とを合成(フュージョン)した画像を経時的に記憶する合成画像記憶部を備えていても良い。
次に、以上のような構成を有するイメージング装置を使用することにより、例えば、心臓冠動脈バイパス手術後の血流確認のためにTIC解析を利用してROIの蛍光画像の画素値の経時的な変化曲線を得るイメージング動作について説明する。図7は、モニター15に表示される心臓91付近の画像を示す模式図である。
この実施形態は、心臓91における心血管92近傍の心筋部分をROIとして、その蛍光画像の画素値の経時的な変化を測定する場合についてのものである。心筋部分をROIとして蛍光画像の画素値の経時的な変化を観察するTIC解析は、心臓冠動脈バイパス手術後の血流確認のために有効な手段となる。一方、心血管92近傍の心筋部をROIとして解析するときには拍動に伴う心血管92の移動により、心血管92が画素値の測定領域に混入することから、TIC曲線に対して被検者の体動に伴う心血管領域の画像の周期的な成分が重畳することになる。このため、この発明に係るイメージング装置においては、カメラ21により撮影して得たROIに対応する位置の蛍光画像の画素値のうち、被検者の体動の周期、すなわち、被検者の拍動の周期以上の時間間隔の間で最小値となる画素値をサンプリングする構成を採用している。
図8は、カメラ21により被検者を撮影して得たROIに対応する領域の画素値を示すグラフである。図9は、図8に示すグラフに対してサンプリングを実行した後の状態を示すグラフである。図10は、図9に示すグラフに対して、平滑化を実行した後の状態を示すグラフである。なお、これらの図における縦軸は画素値を示し、横軸は時間を示している。
心血管92近傍の心筋部分をROIとして蛍光画像の画素値の経時的な変化を測定する場合においては、カメラ21における蛍光用撮像素子52により撮像した蛍光画像に対して、ROIに対応する領域の画素値を図6に示す画素値測定部66により測定する。ここで、ROIに対応する領域とは、被検者の体動がない場合におけるROIの位置に相当する領域である。TIC解析においては、ROIの画素値を経時的に測定する必要があるが、実際には、被検者の拍動に伴いROIの位置が変化する。このため、この実施形態においては、被検者の拍動がないときにROIが存在する領域をROIに対応する領域として、その位置の画素値を測定している。
このROIに対応する領域の画素値の測定は、一定の時間継続して実行され、そのときの全ての画像におけるROIに対応する領域の画素値が、図8に示すように、曲線L1として表示される。例えば、フレームレートが60fps(frame per second)で30秒間画素値の測定を実行した場合には、1800点の画素値が測定されることになる。
このときには、図8に示すように、被検者の拍動に伴うROIの移動によりROIに相当する領域に心血管92が混入することから、ROIに相当する領域の画素値を表す曲線L1は、被検者の拍動と同等の周期で上下動を繰り返すことになる。
このため、この発明に係るイメージング装置においては、画素値測定部66により測定された画素値のうち、被検者の拍動による体動の周期以上の時間間隔の間で最小値となる画素値を、図6に示す変化曲線作成部67によりサンプリングする。すなわち、被検者の拍動による体動の1周期の間変化する画素値のうち、その値が最も小さくなった時点の画素値を取り出す。そして、この画素値の変化をグラフとして表示する。図9に示す画素値の変化を示す曲線L2は、このようにして最小値となる画素値がサンプリングされたグラフである。
この曲線L2においては、被検者の拍動による体動の周期以上の時間間隔の間で最小値となる画素値がサンプリングされていることから、被検者の拍動による心血管92の混入の影響が排除される。このため、この曲線L2は、ROIの画素値の経時的な変化を示す変化曲線に相当するものとなる。
なお、図9に示す曲線L2においては、2個のピークP1、P2が存在している。これらのピークP1、P2のうち、ピークP1は、例えば、被検者の拍動が乱れ、被検者の拍動による体動の周期以上の時間間隔の間に心血管92の混入がない時間が存在しなかった状態を示している。また、ピークP2は、例えば、ROIに相当する領域に対して、メス等の機器が混入した状態を示している。
次に、図9に示すROIの画素値の経時的な変化を示す変化曲線に相当する曲線L2に対して、図6に示す平滑化部68により平滑化を実行する。これにより、図10に示すように、ピークP1、P2等が除外され、十分に平滑化された、ROIの画素値の経時的な変化曲線である曲線L3を得ることができる。
なお、上述した「被検者の拍動による体動の周期以上の時間」は、例えば、被検者の体動より少し長い時間である。例えば、被検者の鼓動が1秒間隔(毎分60回)程度であったとすると、1秒以上の時間である。この時間を長くした場合には、上述した平滑化を省略した場合においても、不要なピークが除外されて平滑化された、ROIの画素値の経時的な変化を示す変化曲線を得ることができる。このため、この場合には、上述した平滑化工程を省略することも可能となる。但し、この時間を長く設定した場合には、ROIの画素値の経時的な変化を示す変化曲線に時間的なずれを生ずる。このため、上述した「被検者の拍動による体動の周期以上の時間」は、被検者の体動の時間間隔より長く、かつ、被検者の体動の時間間隔の2倍より短い時間であることが好ましい。すなわち、「被検者の拍動による体動の周期以上の時間」は、被検者の体動の1周期より長く2周期より短いことが好ましい。
なお、上述した実施形態においては、蛍光色素を含む材料としてインドシアニングリーンを使用し、このインドシアニングリーンに対して600nm〜850nm程度の近赤外光を励起光として照射することにより、インドシアニングリーンからおおよそ810nmをピークとする近赤外領域の蛍光を発光させる場合について説明したが、近赤外線以外の光を使用してもよい。
また、蛍光色素として、インドシアニングリーンを使用するかわりに、上述した5−ALA等の、その他の蛍光色素を使用してもよい。
12 照明・撮影部
21 カメラ
22 可視光源
23 励起用光源
30 アーム機構
51 可視光用撮像素子
52 蛍光用撮像素子
60 制御部
61 画像処理部
62 入力部
63 画像記憶部
64 蛍光画像記憶部
65 可視画像記憶部
66 画素値測定部
67 変化曲線作成部
68 平滑化部

Claims (3)

  1. 被検者に投与された蛍光色素を励起させるための励起光を、前記被検者に向けて照射する励起用光源と、
    励起光が照射されることにより前記蛍光色素から発生した蛍光を撮影することにより、蛍光画像を取得する撮影部と、
    前記被検者の体動にともなって変化する前記蛍光画像を経時的に記憶する画像記憶部と、
    を備えたイメージング装置において、
    関心領域に対応する位置における前記蛍光画像の画素値を経時的に測定する画素値測定部と、
    前記画素値測定部により測定された画素値のうち、前記被検者の体動の周期以上の時間間隔の間で最小値となる画素値をサンプリングすることにより、関心領域の画素値の経時的な変化曲線を作成する変化曲線作成部と、
    を備えたことを特徴とするイメージング装置。
  2. 請求項1に記載のイメージング装置において、
    前記変化曲線作成部により作成された変化曲線を平滑化する平滑化部をさらに備えるイメージング装置。
  3. 請求項1または請求項2に記載のイメージング装置において、
    前記関心領域は、心臓における心筋部分であるイメージング装置。
JP2016004114A 2016-01-13 2016-01-13 イメージング装置 Active JP6569539B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016004114A JP6569539B2 (ja) 2016-01-13 2016-01-13 イメージング装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016004114A JP6569539B2 (ja) 2016-01-13 2016-01-13 イメージング装置

Publications (2)

Publication Number Publication Date
JP2017123951A JP2017123951A (ja) 2017-07-20
JP6569539B2 true JP6569539B2 (ja) 2019-09-04

Family

ID=59363575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016004114A Active JP6569539B2 (ja) 2016-01-13 2016-01-13 イメージング装置

Country Status (1)

Country Link
JP (1) JP6569539B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3122757B2 (ja) * 1995-06-09 2001-01-09 工業技術院長 呼吸検出装置
JP5374835B2 (ja) * 2007-06-06 2013-12-25 セイコーエプソン株式会社 生体情報計測装置及びその制御方法
EP3733055A1 (en) * 2008-01-25 2020-11-04 Novadaq Technologies ULC Method for evaluating blush in myocardial tissue

Also Published As

Publication number Publication date
JP2017123951A (ja) 2017-07-20

Similar Documents

Publication Publication Date Title
JP5388472B2 (ja) 制御装置、x線撮影システム、制御方法、及び当該制御方法をコンピュータに実行させるためのプログラム。
US11941768B2 (en) Methods and systems for alignment of a subject for medical imaging
JP5639521B2 (ja) 歯科用光干渉断層画像生成装置の制御装置、制御方法及び制御プログラム
JP2018128294A (ja) 関心領域追跡装置
JP6485275B2 (ja) イメージング装置
JP2019048111A (ja) イメージング方法
US11116454B2 (en) Imaging device and method
JP6432533B2 (ja) イメージング装置
US20170325755A1 (en) Perfusion imaging
JP6569539B2 (ja) イメージング装置
JP6747576B2 (ja) イメージング装置
JP6613903B2 (ja) イメージング装置
JP6708143B2 (ja) 時間強度曲線測定装置
JP2018061708A (ja) イメージング装置
JP7200755B2 (ja) イメージング装置およびイメージング装置の作動方法
JP2018128759A (ja) テカリ領域除去装置
JP2019066398A (ja) イメージング装置
US20200022580A1 (en) Imaging device
US20230075943A1 (en) Imaging apparatus and imaging method
JP6406115B2 (ja) イメージング装置
JP2020141728A (ja) イメージング装置およびイメージング方法
JP2018185598A (ja) 画像処理装置およびイメージング装置
WO2016039002A1 (ja) イメージング装置およびイメージング方法
Hlukhau Multiphoton microscopy for in-tissue imaging of micro-robots
WO2019220555A1 (ja) イメージング装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190722

R151 Written notification of patent or utility model registration

Ref document number: 6569539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151