JP6335030B2 - 医用画像診断装置、超音波診断装置および医用画像処理装置 - Google Patents

医用画像診断装置、超音波診断装置および医用画像処理装置 Download PDF

Info

Publication number
JP6335030B2
JP6335030B2 JP2014118950A JP2014118950A JP6335030B2 JP 6335030 B2 JP6335030 B2 JP 6335030B2 JP 2014118950 A JP2014118950 A JP 2014118950A JP 2014118950 A JP2014118950 A JP 2014118950A JP 6335030 B2 JP6335030 B2 JP 6335030B2
Authority
JP
Japan
Prior art keywords
breast
interest
position information
region
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014118950A
Other languages
English (en)
Other versions
JP2015231438A (ja
Inventor
米山 直樹
直樹 米山
広治 安藤
広治 安藤
伸秀 大井
伸秀 大井
康典 大嶋
康典 大嶋
拓 村松
拓 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2014118950A priority Critical patent/JP6335030B2/ja
Publication of JP2015231438A publication Critical patent/JP2015231438A/ja
Application granted granted Critical
Publication of JP6335030B2 publication Critical patent/JP6335030B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明の一態様としての実施形態は、医用画像診断装置、超音波診断装置および医用画像処理装置に関する。
乳がんやその他の***の異常を発見するためにマンモグラフィ(mammography)と呼ばれる***X線画像に基づく診断が行われている。マンモグラフィは***X線画像診断装置(マンモグラフィ装置)によって取得される。マンモグラフィ装置は***を圧迫し薄く伸ばした状態でX線を照射し画像を取得する。マンモグラフィ装置による***X線画像の取得は、X線による被ばくという問題があるものの短時間で取得可能であり、乳がん検診などで幅広く利用されている。
このようなマンモグラフィ装置によって取得された***X線画像から異常所見を抽出し読影レポートを作成する際に、***X線画像を模式化した図を用いて***X線画像上の異常所見の観察される領域(以下、関心領域と呼ぶ)を読影レポートに自動で入力する発明が提供されている(たとえば、特許文献1等)。
特開2011−24622号公報
マンモグラフィ装置による乳がん検査では、一般的に左右それぞれの***について内外斜方向(MLO:Medio Lateral Oblique)と頭尾方向(CC:Cranio Caudal)の2方向から撮影が行われる。マンモグラフィ装置での検査において関心領域が認められた場合は、超音波診断装置、MRI(Magnetic Resonance Imaging)装置、X線CT(Computed Tomography)装置などの他のモダリティ装置での撮影や、生体組織検査(バイオプシー:biopsy)などにより精密検査が行われる。
しかしながら、マンモグラフィ装置によって取得された***X線画像は立体的な***を圧迫して取得した2次元画像である。そのため、たとえば精密検査において取得された画像と***X線画像とを比較する場合、MLOおよびCC方向から取得された***X線画像に基づいて関心領域の位置を想像する必要がある。また、マンモグラフィ装置で取得した***X線画像を読影する読影医等と、精密検査を行う医師や検査技師等、精密検査によって取得された画像を読影する読影医等がそれぞれ異なる場合もあり、関心領域の位置情報を互いに共有することは困難であった。
そこで、***X線画像における関心領域の位置情報を容易に把握可能な医用画像診断装置および医用画像処理装置が要望されている。
本実施形態に係る医用画像診断装置は、被検体の***を2方向以上の方向から撮影した***X線画像にそれぞれ含まれる互いに対応する関心領域に基づいて、前記関心領域の3次元位置情報を特定する位置情報特定部と、前記***を模式的に表した図である***モデルに、特定された前記関心領域の3次元位置情報を示したシェーマを生成するシェーマ生成部と、備えたことを特徴とする。
実施形態に係る医用画像診断装置の一例を示す概念的な構成図。 実施形態に係る医用画像診断装置の機能構成例を示す機能ブロック図。 実施形態に係る医用画像診断装置の動作の一例を示すフローチャート。 マンモグラフィ装置によって取得される***X線画像の例を説明する図。 実施形態に係る医用画像診断装置の***モデルの例を説明する図。 実施形態に係る医用画像診断装置の***X線画像に基づいて***モデルを生成する方法を説明する図。 実施形態に係る医用画像診断装置で生成された***モデルの例を説明する図。 実施形態に係る医用画像診断装置における***X線画像と***モデルの位置合わせ方法を説明する図。 実施形態に係る医用画像診断装置における***X線画像の関心領域の位置情報を特定する方法を説明する図。 実施形態に係る医用画像診断装置における***X線画像の関心領域の奥行情報を説明する図。 実施形態に係る医用画像診断装置における***X線画像の関心領域が複数ある場合に位置情報を特定する方法を説明する図。 実施形態に係る医用画像診断装置におけるシェーマの例を説明する図。 実施形態に係る医用画像診断装置におけるシェーマの断面図の例を説明する図。
以下、医用画像診断装置の実施の形態について添付図面を参照して説明する。
(1)構成
図1は、実施形態に係る医用画像診断装置100の一例を示す概念的な構成図である。図1の例では医用画像診断装置100が超音波診断装置として構成される例を示している。なお、医用画像診断装置100は超音波診断装置に限らず、MRI装置、X線CT装置、SPECT(Single Photon Emission computed Tomography)装置などの他のモダリティ装置で構成されていてもよい。
図1に例示した超音波診断装置で構成された医用画像診断装置100は、画像処理部10、撮像部20、通信制御部30、システム制御部40、表示部50、入力部60を備えた構成である。そのうち、画像処理部10は主制御部110および記憶部120を備えており、撮像部20は超音波診断装置の撮像に必要な超音波プローブ210、送受信部220、データ収集部230を備えた構成である。たとえば、医用画像診断装置100がX線CT装置で構成される場合は、撮像部20はX線CT装置の撮像に必要なX線照射装置、高圧電源、X線検出器、DAS(Data Acquisition System)などを備えた構成となる。
図1に示した医用画像診断装置100は、通信制御部30を介して電子ネットワーク経由でマンモグラフィ装置200、医用画像一元管理サーバ300と接続している。通信制御部30は、ネットワーク形態に応じた種々の通信プロトコルを実装する。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全体を意味し、病院基幹LAN、無線/有線LANやインターネット網のほか、電話通信回線網、光ファイバー通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。マンモグラフィ装置200および医用画像一元管理サーバ300には***X線画像が記憶されており、医用画像診断装置100はマンモグラフィ装置200および医用画像一元管理サーバ300から***X線画像を電子ネットワーク経由で取得する。
画像処理部10は、***X線画像または撮像部20で収集された収集データの画像処理を行う。画像処理部10での画像処理は、記憶部120に格納されたプログラムが主制御部110によって実行されることで処理される。
撮像部20は、撮像条件に従って被検体を撮像しデータを収集する。図1の例では医用画像診断装置100は超音波診断装置で構成されており、撮像部20は超音波診断画像のデータを収集する。超音波診断装置は超音波プローブ210から被検体内に超音波を送信させ、被検体内部で音響インピーダンスの不整合によって生じる反射波を超音波プローブで受信させることでデータを収集する。送受信部220は、超音波プローブ210から送信超音波を放射させるための駆動信号と、超音波プローブ210からの受信信号に対して整相加算を行う処理を行う。データ収集部230は、システム制御部40からの制御信号に従って、送受信部220から得られた受信信号に基づいてBモードデータ、カラードプラデータ、およびドプラスペクトラムのうちいずれか1つのデータを収集する。
システム制御部40はCPU(Central Processing Unit)およびメモリを備え、医用画像診断装置100を統括的に制御する。
表示部50はたとえば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイなどの一般的な表示装置により構成されるほか、システム制御部40の制御に従ってシェーマや撮像部20で収集され画像処理部10で生成された画像データなどをディスプレイ表示する。
入力部50は、たとえばキーボード、タッチパネル、テンキー、マウスなどの一般的な入力装置により構成される。入力部50はユーザの関心領域の選択や、画像処理などに対応した入力信号をシステム制御部40に出力する。
なお、医用画像診断装置100は医用画像読影装置や画像表示装置のような医用画像処理装置で構成されてもよい。
図2は、実施形態に係る医用画像診断装置100の機能構成例を示す機能ブロック図である。図2が示すように医用画像診断装置100は大きく画像処理部10、撮像部20、表示部50から構成されている。そのうち画像処理部10は、画像記憶部121、***モデル記憶部123、患者情報記憶部125、位置情報特定部111、シェーマ生成部112、***モデル選択部113、***モデル生成部114、断面生成部115、画像生成部116を有する。
上記構成のうち、位置情報特定部111、シェーマ生成部112、***モデル選択部113、***モデル生成部114、断面生成部115、画像生成部116の各機能は画像処理部10の記憶部120に格納されたプログラムを主制御部110が実行することによって実現される機能である。
画像記憶部121は、被検体の***を2方向以上の方向から撮影した***X線画像を記憶する。画像記憶部121にはマンモグラフィ装置200で撮影され医用画像一元管理サーバ300に蓄積された***X線画像が入力されてもよいし、マンモグラフィ装置200で撮影された***X線画像が入力されてもよい。***X線画像はDICOM(Digital Imaging and Communication in Medicine)形式に準拠した医用画像データであって、付帯情報としてMLOやCCなどの撮像方向や撮像角度、撮像条件などの情報を含んでいる。さらに、付帯情報には***X線画像の1画素(ピクセル)に対応する被検体の長さを求めるための生体長変換値を含むこともできる。生体長換算値については後述する。
***モデル記憶部123は、一般的な***の形状や大きさを模式的に表した***モデルを記憶する。***モデルは***の外観、形状、大きさなどを理解するためのものであって、イラストまたは写真等で表したものである。***モデルは2次元であってもよいし、3次元であってもよい。***モデルは、外部記憶装置からダウンロードされてもよいし、外部記憶装置を直接参照するようにしてもよい。***モデルについては後述する。
患者情報記憶部125は、被検体の乳頭の位置の胸囲、***の下部の胸囲、***の大きさおよび形状を示す生体長情報を含む体形情報を記憶する。生体長情報は***X線画像の付帯情報に含まれていてもよいし、医用画像一元管理サーバ300や図示しない病院システムなどからダウンロードあるいはこれらを参照するようにしてもよい。
位置情報特定部111は、被検体の***を2方向以上の方向から撮影した***X線画像にそれぞれ含まれる互いに対応する関心領域に基づいて、関心領域の3次元位置情報を特定する。さらに、位置情報特定部111は***X線画像上の特定の位置に基づいて***X線画像と***モデルの位置合わせを行い、特定された関心領域の位置情報を***モデル上の位置として特定する。位置情報特定部111の処理については後述する。
シェーマ生成部112は、***を模式的に表した図である***モデルに特定された関心領域の位置情報を示したシェーマを生成する。シェーマ生成部112は、位置情報特定部111で特定された***モデル上の位置に、関心領域の3次元位置情報を示したシェーマを生成する。シェーマの生成方法については後述する。
***モデル選択部113は、患者情報記憶部125に記憶された被検体の体形情報に基づいて、被検体の***に最も近い***モデルを選択する。***モデルの選択方法は後述する。
***モデル生成部114は、被検体の体形情報に基づいて被検体の***に対応する***モデルを生成する。また、2方向以上の方向から撮影した***X線画像に基づいて楕円体の***モデルを生成する。***モデルの生成方法については後述する。
断面生成部115は、シェーマが3次元である場合において、3次元シェーマの所望の断面の断面図を生成する。断面生成部115で生成される断面図については後述する。
画像生成部116は、撮像部20で収集した収集データに基づいて画像データを生成する。図1の例のように医用画像診断装置100が超音波診断装置で構成されている場合は、超音波プローブ210で受信した反射波に基づく受信信号を画像処理して超音波画像を生成する。
(2)動作
以下、実施形態に係る医用画像診断装置100の動作について説明する。
図3は、実施形態に係る医用画像診断装置100の動作の一例を示すフローチャートである。
ST101では、画像記憶部121にマンモグラフィ装置200または医用画像一元管理サーバ300から***X線画像が入力される。本実施形態に係る医用画像診断装置100には2以上の方向から撮影された***X線画像が入力される。
図4は、マンモグラフィ装置200によって取得される***X線画像の例を説明する図である。***X線画像は、一般的に内外斜方向(MLO)と頭尾方向(CC)の2方向から撮影が行われる。図4(a)はMLO方向の撮影方法を、図4(c)はCC方向の撮像方法を説明している。また図4(b)はMLO方向から撮影した際の***X線画像の例を示しており、図4(d)はCC方向から撮影した際の***X線画像の例をそれぞれ示している。
図4(a)に示すように、MLO方向の撮影ではマンモグラフィ装置200の圧迫板は撮影時に被検体の***を圧迫するために撮影台の上方に設けられる圧迫器具である。圧迫板は透明な樹脂で形成されており、撮影台に対して接離可能に支持されている。そして、圧迫板を撮影台側に移動させることによって被検体の***を圧迫し、***の厚さを薄く略均一にすることが可能である。このような圧迫板により***を挟み込み薄く伸ばした後、図4(a)に矢印で示した立位体軸方向から所定の角度に傾けた状態でMLO方向の撮影を行う。***X線画像は圧迫板によってつぶされた***の厚み分積分された画像であり、図4(a)に示すようにMLO方向の撮影では破線で示したMLO断面を中心としたX線***画像が取得される。MLO方向の撮像角度は被検体の***の位置や体形に応じて異なり、撮像時にマンモグラフィ装置200に入力または検出された角度が画像データに付帯される。また、***X線画像は撮像時の撮像条件に加えて、***の大きさなどの生体長情報も付帯することができる。
図4(c)はCC方向の撮影方法を説明する図である。MLO方向と同様に圧迫板により***を挟み込み薄く伸ばした後、図4(c)に矢印で示した立位体軸方向と垂直な断面であるCC方向の撮影を行う。CC方向からの撮影も図4(c)に破線で示したCC断面を中心としたX線***画像が取得される。
図4(a)および図4(c)ではそれぞれMLO方向およびCC方向からの撮影方法を示したが、マンモグラフィ装置200での撮像方向はこれに限らない。たとえば、外頭尾方向(XCC;eXaggerated Cranio Caudal)、内側***間隙(CV;cleavage)など様々な方向から撮影が可能である。
図4(b)はMLO方向から撮影した***X線画像の例を示している。図4(b)右側に示した矢印はMLO断面と平行であり、左右対称に***のMLO画像が示されている。図4(b)の上部は頭側、下部は足側を示している。図4(b)は右側(R)のMLO画像中に関心領域が存在する例を示しており、MLO_関心領域はMLOの関心領域を示している。
図4(d)はCC方向から撮影した***X線画像の例を示している。図4(d)左側に示した矢印はCC断面と平行であり、左右対称に***のCC画像が示されている。図4(b)の上部は外側、下部は内側を示している。図4(d)は右側(R)CC画像中に関心領域が存在する例を示しており、CC_関心領域はCCの関心領域を示している。
図4(b)および図4(c)の例にはMLOとCCのそれぞれに関心領域が存在するがこれらの画像は、撮像の度に変わり得る投影方向から撮像した画像である。また、***を圧迫した状態で(すなわち、***を変形した状態で)撮像した画像である。このため、図4(b)および図4(c)に例示したMLOとCCのような従来の***X線画像だけからは、関心領域の3次元的な位置が直感的に把握しづらい。たとえば、超音波診断装置を用いて関心領域の部位を診断しようとする際、それぞれの画像に示された関心領域の位置から***の関心領域の3次元的な位置を頭の中で想像しなければならなかった。また、関心領域が複数存在する場合はそれぞれの対応関係を考慮しつつ位置を想像しなければならず、関心領域の位置を容易に把握することが困難であった。さらに医師等の頭の中で構築された位置情報を、他の医師や患者などと共有することが困難であり関心領域の位置情報を容易に伝達および共有することが困難であった。
そこで、本実施形態に係る医用画像診断装置100ではマンモグラフィ装置200で2以上の方向から取得した画像に基づいて、関心領域の位置情報を示すシェーマ(以下、単にシェーマと呼ぶ)を生成することで、上述の問題を解消する。
以下、図3のフローチャートに戻ってシェーマの生成方法について説明する。
ST103では、位置情報特定部111が***モデルを取得する。取得する***モデルには大きく3種類あり、***モデル記憶部123に予め記憶された***の標準的な形状を示す***モデル、予め複数用意された***モデルの中から被検体の***の大きさなどに応じて選択された***モデル、被検体ごとに生成された***モデルである。
図5は、実施形態に係る医用画像診断装置100***モデルの例を説明する図である。図5に示すように、***モデルは***の微細な内部構造を省略し、特徴的な構造を簡潔に示した模式図のことである。
図5(a)は2次元の***モデルの例を示している。図5(a)では、***を体軸方向(図5(a)のY軸)に垂直な方向から観察した模式図を例示している。図5(a)の例では左右の***を円で示し、その中心付近に乳頭を示す円がそれぞれ示されている。図5(a)では***を円で模式化した例を示したが楕円や円弧などで示してもよいし、図4(a)および(b)に例示した胸部のイラストであってもよい。また、***の内部構造として、乳腺、筋肉、リンパ腺などを模式的に示してもよい。
図5(b)は3次元の***モデルの例を示している。図5(b)では、左右の***を半球上の図形で示した模式図を例示している。図5(b)の例では半球で示したが、より***の形状に近い山型の形状であってもよい。
位置情報特定部111は図5に例示した***モデルを***モデル記憶部123から取得する。あるいは、***モデル記憶部123は図5に例示した***モデルが***の大きさに応じて予め複数記憶しており、***モデル選択部113が患者情報記憶部125や***X線画像の付帯情報から取得した被検体の***の大きさに基づいて適当な***モデルを選択する。位置情報特定部111は選択した***モデルを取得する。***モデルの選択は、たとえば、被検体の体形情報である乳頭の位置の胸囲(トップバスト)および***の下部の胸囲(アンダーバスト)の差にから算出した被検体の***のカップサイズに基づいて行われる。カップサイズに応じて異なる***モデルが***モデル記憶部123に予め記憶されており、算出したカップサイズに対応する***モデルが複数の***モデルの中から選択される。また、上述のカップサイズ以外にも、マンモグラフィ装置200で撮像したときなどに取得可能な***の横幅や厚みなどの生体長情報を利用してもよい。
また、***モデル生成部114により***モデルが生成されてもよい。たとえば、上述の患者情報に含まれるアンダーバストから***の底面の直径を算出し2次元の円形の***モデルを生成してもよい。さらにトップバストとアンダーバストの差から算出した高さに基づいて、半球状の***モデルを生成してもよい。また、***X線画像に基づいて***モデルを生成してもよい。***X線画像は生体長換算値を備えており、画像から実際の***の大きさを測定することができる。生体長換算値は、***X線画像における1画素(ピクセル)の実際の長さを求めるための値であり、たとえば「1画素は1mm」のように設定されている。この生体長換算値に基づいて、上述のような方法により***X線画像の画素値から実際の長さを算出することができる。このように***X線画像や患者情報に基づいて生成された***モデルは被検体の***を同じスケールで表すことができる。
図6は、実施形態に係る医用画像診断装置100の***X線画像に基づいて***モデルを生成する方法を説明する図である。図6では***X線画像から楕円体の***モデルを生成する方法を説明する。
図6(a)はMLO方向、図6(b)はCC方向から撮影した***X線画像を示している。まず、それぞれの***X線画像に撮影された***の輪郭線を抽出する。***の輪郭線ユーザ等が指定してもよいし、エッジ処理などを用いた一般的な画像処理によって抽出されてもよい。次に画像を等間隔に分割する。図6(a)および図6(b)に示した破線はそれぞれの画像の右側(***の基部)から等間隔に分割したときの分割線である。図6(a)および図6(b)に示した矢印は、4番目の分割線と***の輪郭線との交点を結んだ直線を示している。図6(a)のMLO_φ4は、MLO画像上の4番目の分割線と***の輪郭線との交点を結んだ直線であり、図6(b)CC_φ4は、CC画像上の4番目の分割線と***の輪郭線との交点を結んだ直線である。
図6(c)は、MLO_φ4とCC_φ4を撮像方向に応じてXY座標平面上に表した例を示している。MLO_φ4とCC_φ4はそれぞれ乳頭を通る直線と交わっており、図6(c)の例では、MLO_φ4とCC_φ4を乳頭の位置で交差させている。図6(c)に示すように、MLO_φ4とCC_φ4に内接する楕円を生成することができる。このような楕円を分割線ごとに生成し、それらを並べることで楕円体の***モデルを生成することができる。
図6(c)ではMLO_φ4とCC_φ4をそれぞれはそれぞれ乳頭の位置で交差させ楕円を生成する例を示したが、乳頭の位置と楕円の中心は必ずしも一致しない。そこで、楕円を4つに分けてそれぞれの領域で4分の1楕円を生成し、それをつなぎ合わせた図形により***モデルを生成してもよい。
図7は、実施形態に係る医用画像診断装置100で生成された***モデルの例を説明する図である。図6で説明したように、図7(a)はそれぞれの分割線から生成された楕円を分割線と同じ間隔で並べた例を示している。
図7(b)は図7(a)に示した楕円を内接あるいは内包する半楕円体を示している。このように楕円を並べることで、***の形状を模式的に表すことができる。図7(b)で示した半楕円体は、***を圧迫して撮影した***X線画像に基づいて生成したものであるため、圧迫された形状の***を模式化した***モデルが生成される。しかしながら、つぶれた形状であっても***における関心領域の位置関係を把握するには十分である。なお、図6(c)で生成された楕円を円に変形し、楕円から変形した円を分割線に応じて並べたものから半球状の***モデルを生成してもよい。
上述のように***モデルを取得したら、***モデル上で***X線画像の関心領域の位置情報を特定する。位置情報は***X線画像と***モデルとの位置合わせを行ったうえで特定される。以下、図3のフローチャートに戻って位置情報の特定方法とシェーマの生成方法について説明する。
ST105では、位置情報特定部111が***X線画像と***モデルとの位置合わせを行う。
ST107では、位置情報特定部111がMLO方向とCC方向の***X線画像に含まれる関心領域に基づいて位置情報を特定する。
ST109では、シェーマ生成部112が***モデルに関心領域の位置情報を示したシェーマを生成する。
ST111では、表示部50にシェーマが表示される。
図8は、実施形態に係る医用画像診断装置100における***X線画像と***モデルの位置合わせ方法を説明する図である。位置情報特定部111は、***X線画像の特定の構造が存在する位置に基づいて***モデルと位置合わせを行う。図8の例は左側に図4(b)のMLO方向から撮影したMLO画像が、右側に図5(a)の2次元の***モデルが示されている。MLO画像の特定の構造として***の端部と乳頭を抽出している。***の端部や乳頭は画像処理により特定してもよいし、ユーザが入力部60から入力することによって特定されてもよい。図8の左図の例では、MLO画像の破線で示された位置を上端部、1点鎖線で示された位置を乳頭、2点鎖線で示された位置を下端部としてそれぞれ特定している。図8の右図の***モデルにも、MLO画像の***の上端部、乳頭、下端部に対応する位置にそれぞれ破線、1点鎖線、2点鎖線が示されている。MLO画像は立位体軸方向から所定の角度傾けた状態で取得される画像であるため、***モデルの立位体軸方向を示すY軸から所定の角度傾いたMLO断面方向にそって、MLO画像の***の上端部、乳頭、下端部に対応する位置が特定される。
位置情報特定部111は、***モデル上の特定した位置に***X線画像が一致するように***X線画像を変形させることで位置合わせを行う。たとえば、***X線画像に示した矢印Bは下端部から乳頭の間の距離を示している。***モデルに示された矢印B’は***X線画像の矢印Bに対応している。***X線画像は生体長換算値を持ち、矢印Bの実際の長さを算出することができる。図8はこの矢印の長さに応じて***X線画像を変形し、位置を合わせる例を示している。
図8には***X線画像の乳頭から上端部までの距離を示す矢印Aとそれに対応する***モデルの矢印A’が示されている。この矢印Aに基づいて同様に***X線画像を変更することで位置合わせを行ってもよい。さらに、***X線画像を乳頭から上端部と乳頭から下端部の2つの部分に分けて、それぞれ変形し、位置合わせを行ってもよい。
位置情報特定部111による位置合わせは、CC方向の画像に対しても行われる。このようにして***モデルと位置を合わせた***X線画像に基づいて、***モデル上に関心領域の位置情報を特定する。
図9は、実施形態に係る医用画像診断装置100における***X線画像の関心領域の位置情報を特定する方法を説明する図である。図9は位置情報特定部111で***モデルに位置を合わせた状態のMLO画像とCC画像とを、***モデルに仮想的に合成した状態を図示している。MLO画像は図4(a)に示したMLO断面に対応する画像である。図9の例では、MLO画像を***モデルのXY直交座標平面に対して垂直な面で、立位体軸方向から所定の角度傾いたMLO断面上に位置した例を示している。同様に、図9にはCC画像を図4(c)のCC断面上に***モデルのXY直交座標平面に対して垂直な面に位置した例を示している。それぞれの***X線画像にはMLO_関心領域とCC_関心領域が示されている。図9の1点鎖線は、MLO画像内のMLO_関心領域の位置から、MLO画像に垂直に伸ばした線である。同様に図9の2点鎖線は、CC画像内のCC_関心領域の位置から、CC画像に垂直に伸ばした線である。1点鎖線と2点鎖線で囲まれた領域が***の関心領域の3次元的な位置情報を示している。たとえば、***モデルが3次元である場合は上述の位置情報が***モデル上の関心領域の位置情報となる。関心領域の位置情報はたとえば、XYZ直交座標系の座標で示されてもよいし、特定の位置からの長さなどで示されてもよい。また、MLO_関心領域とCC_関心領域は一定の領域を有することから***モデル上の位置情報を座標の集合や、一定の領域を示す図形の輪郭線の数式や輪郭線の大きさなどで示してもよい。また、関心領域の3次元的な位置情報をXY直交座標平面に射影したときの位置情報を2次元***モデル上の関心領域の位置情報としてもよい。
図9の例ではMLO_関心領域とCC_関心領域から2つの垂線を伸ばし、その垂線で囲まれた領域を関心領域の位置情報とする例を示したが、MLO_関心領域とCC_関心領域の中心から伸ばした垂線の交点を中心とした位置を関心領域の位置情報としてもよいし、MLO_関心領域とCC_関心領域の外周の垂線から関心領域の位置情報を特定してもよい。2以上の垂線または、***X線画像の関心領域の外周を用いれば、関心領域の位置情報に関心領域の形状や大きさ等の情報を含めることができる。図9の例ではMLOとCCの2方向から撮影した***X線画像から位置情報を特定する例を示したが、3つ以上の方向から撮影した***X線画像を用いてもよい。さらに、***X線画像に基づいて関心領域の奥行情報を位置情報としてもよい。
図10は、実施形態に係る医用画像診断装置100における***X線画像の関心領域の奥行情報を説明する図である。奥行情報は***の輪郭からCC_関心領域までの距離を示す情報である。図10ではY軸線と平行にCC_関心領域から***の輪郭に直線を引き、その直線と***の輪郭とが交わる点から、CC_関心領域の中心までの距離を奥行情報とする例を示している。図10ではCC方向の画像に基づいて奥行情報を特定する方法を例示したが、MLO方向の画像に基づいて特定してもよい。また、***の輪郭からの距離ではなく、乳頭や***端部からの距離を算出してもよい。
上述のように、***X線画像の関心領域から特定した位置情報に基づいて、***モデル上に関心領域を示すことができる。なお、図9および10では関心領域が1つである例を説明したが、2以上ある場合も同様の方法で関心領域の位置情報を特定することができる。しかしながら、複数の関心領域が近接する場合は関心領域の対応関係を指定する必要がある。
図11は、実施形態に係る医用画像診断装置100における***X線画像の関心領域が複数ある場合に位置情報を特定する方法を説明する図である。図11の例ではMLO画像にはMLO_関心領域1とMLO_関心領域2の2つの関心領域が存在し、CC画像にはCC_関心領域1とCC_関心領域2の2つの関心領域が存在する場合を示している。図9の例と同様に、MLO_関心領域1、MLO_関心領域2、CC_関心領域1およびCC_関心領域2から垂線を伸ばし、それぞれの垂線が交わった位置に関心領域が存在する。図11の例では、MLO_関心領域1の垂線はCC_関心領域1とCC_関心領域2の2つの垂線との間に「1」と「2」の関心領域が特定される。また、MLO_関心領域2の垂線はCC_関心領域1とCC_関心領域2の2つの垂線との間に「3」と「4」の関心領域が特定される。このような場合、MLO画像のMLO_関心領域1とMLO_関心領域2とCC画像のCC_関心領域1とCC_関心領域2との対応関係が判断できなければ関心領域の位置情報が重複して検出されることとなる。
そこで、ユーザ等が入力部60からの入力や、予めX線***画像に関心領域を入力する際にMLO画像とCC画像の関心領域の対応関係を指定することで、関心領域が複数ある場合であっても位置情報を特定することができる。たとえば、図11の例のようにMLO画像とCC画像に2つの関心領域が存在する場合、MLO_関心領域1とCC_関心領域1とが対応関係にあることを指定すれば、他方のMLO_関心領域2とCC_関心領域2については自動で対応関係が決定する。
上述のように位置情報特定部111は、***X線画像に指定された関心領域の***モデル上の位置情報を特定する(ST107)。特定した***モデル上の関心領域の位置情報に基づいて、シェーマ生成部112は***モデル上に関心領域を示したシェーマを生成する(ST109)。
図12は、実施形態に係る医用画像診断装置100におけるシェーマの例を説明する図である。
図12(a)は、図5(a)に示した2次元の***モデルに、位置情報特定部111が特定した位置情報に基づいて関心領域を表示した例である。たとえば、図4に示すような***X線画像が取得された場合、図9に示す方法で右***に関心領域が特定される。特定された関心領域の位置情報は、たとえば***モデルのXY直交座標系における座標や***の輪郭からの距離(奥行情報)などにより特定される。そのような位置情報に基づいて、シェーマ生成部112は***モデル上の特定された位置に関心領域を表示する。
***モデル上に表示する関心領域は、たとえば図12に示すような記号であってもよいし、位置情報に含まれる関心領域の大きさや輪郭など形状であってもよい。また、座標、奥行情報、関心領域の長径や短径、面積などの数値を示してもよい。
図12(b)は、図5(c)に示した3次元の***モデルに位置情報特定部111が特定した位置情報に基づいて関心領域を表示した例である。図12(a)と同様に、関心領域を図形で示してもよいし、位置情報から特定される関心領域の立体的形状を示してもよい。また一般的な3次元画像同様に、3次元シェーマは回転させることで様々な方向から関心領域を観察することができる。また、断面生成部115は3次元シェーマを所望の断面で切断し、断面を生成することもできる。
図13は、実施形態に係る医用画像診断装置100におけるシェーマの断面図の例を説明する図である。図13(a)は図12(b)の右***のシェーマを示している。図13(a)には右***のシェーマを断面Aで切断する例が示されている。断面Aは関心領域を含む断面であり、XY直交座標平面に平行な面である。図13(b)は断面Aで切断したときの切断面の例を示している。
上述のように、本実施形態に係る医用画像診断装置100は、3次元シェーマに観察したい断面を指定することで、断面生成部115がその方向で切断した断面を生成することができる。このようにして生成された断面に基づいて、X線CT装置やMRIで撮像した画像の中から3次元シェーマから生成された断面と同一断面のスライス画像を抽出することができる。X線CT装置やMRIの撮像ではスライス厚やスライス間隔といった撮像条件が画像データに付帯される。また、シェーマも被検体の生体長情報や***X線の生体長換算値に基づいて被検体の***の大きさに関する情報を有する。これらの情報から、シェーマとX線CT装置やMRI装置で取得されたマルチスライス画像を連動させて表示することが可能である。
また、***の検査ではマンモグラフィ装置200を用いた診断と併せて超音波診断装置による検査が行われる。さらに、超音波診断装置により撮影しながら***X線画像の関心領域に対応する箇所に針を挿入し、細胞を取得する生体組織検査などが行われる場合もある。このような場合、***X線画像と同じ関心領域を超音波診断装置で観察することが望まれる。そこで、3次元シェーマから生成される断面と超音波診断装置で収集される画像データとを同期させて表示させることで、より正確で効率のよい検査が可能となる。たとえば、超音波診断装置の超音波プローブに位置センサを取付けておき、被検体の***の特徴的な構造に基づいて、3次元シェーマとの位置合わせを行う。このような位置合わせにより、超音波診断装置の超音波プローブの位置や傾きに応じて生成される超音波画像と同じ断面を3次元シェーマから生成できる。生体長情報により長さによる位置合わせが可能であることから、超音波画像とシェーマの断面図との位置ずれが生じにくい。また、3次元シェーマに超音波診断装置で***のどの断面を観察しているかを表示してもよい。
本実施形態に係る医用画像診断装置100はシェーマを生成することによって、***X線画像に観察された関心領域の位置情報を容易に把握することが可能となる。またシェーマにより、医師、医療従事者および患者などの間で関心領域の位置情報を共有することができ、効率のよい診断や説明などが可能となる。また、シェーマは***X線画像や被検体の生体長情報に基づいて被検体の***を再現したものであることから、他のモダリティ装置と同期させた表示が可能となり、複数の診断画像を用いて容易かつ正確に手術や検査などを行うことができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
10 画像処理部
20 撮像部
30 通信制御部
40 システム制御部
50 表示部
60 入力部
100 医用画像診断装置
200 マンモグラフィ装置
300 医用画像一元管理サーバ
110 主制御部
120 記憶部
210 超音波プローブ
220 送受信部
230 データ収集部
111 位置情報特定部
112 シェーマ生成部
113 ***モデル選択部
114 ***モデル生成部
115 断面生成部
116 画像生成部
121 画像記憶部
123 ***モデル記憶部
125 患者情報記憶部

Claims (17)

  1. 被検体の***を2方向以上の方向から撮影した***X線画像にそれぞれ含まれる互いに対応する関心領域に基づいて、前記関心領域の3次元位置情報を特定する位置情報特定部と、
    前記***を模式的に表した図である***モデルに、特定された前記関心領域の3次元位置情報を示したシェーマを生成するシェーマ生成部と、
    一般的な***の形状を模式的に表した***モデルを記憶する***モデル記憶部と、
    を備え、
    前記位置情報特定部は、前記***X線画像上の特定の位置に基づいて前記***X線画像と前記***モデルの位置合わせを行い、特定された前記関心領域の3次元位置情報を前記***モデル上の位置として特定し、
    前記シェーマ生成部は、特定された前記***モデル上の位置に、前記関心領域の前記3次元位置情報を示したシェーマを生成する、
    用画像診断装置。
  2. 被検体の***を2方向以上の方向から撮影した***X線画像にそれぞれ含まれる互いに対応する関心領域に基づいて、前記関心領域の3次元位置情報を特定する位置情報特定部と、
    前記被検体の乳頭の位置の胸囲、***の下部の胸囲、***の大きさおよび形状を示す生体長情報を含む体形情報を記憶する患者情報記憶部と、
    前記被検体の体形情報に基づいて、前記被検体の***に最も近い***モデルを選択する***モデル選択部と、
    選択された***モデルに、特定された前記関心領域の3次元位置情報を示したシェーマを生成するシェーマ生成部と、
    を備えた、
    用画像診断装置。
  3. 被検体の***を2方向以上の方向から撮影した***X線画像にそれぞれ含まれる互いに対応する関心領域に基づいて、前記関心領域の3次元位置情報を特定する位置情報特定部と、
    前記被検体の乳頭の位置の胸囲、***の下部の胸囲、***の大きさおよび形状を示す生体長情報を含む体形情報を記憶する患者情報記憶部と、
    前記被検体の前記体形情報に基づいて前記被検体の***に対応する***モデルを生成する***モデル生成部と、
    生成された***モデルに、特定された前記関心領域の3次元位置情報を示したシェーマを生成するシェーマ生成部と、
    を備えた、
    用画像診断装置。
  4. 前記***モデル生成部は、前記2方向以上の方向から撮影した***X線画像に基づいて楕円体の***モデルを生成する、
    ことを特徴とする請求項に記載の医用画像診断装置。
  5. 前記位置情報特定部は、前記***X線画像に含まれる生体長変換値に基づいて前記***X線画像と前記被検体の***に対応する***モデルの位置合わせを行い前記関心領域の前記3次元位置情報を前記***モデル上の位置として特定する、
    ことを特徴とする請求項乃至のいずれか1つに記載の医用画像診断装置。
  6. 前記***モデルは2次元または3次元から構成された図である、
    ことを特徴とする請求項1乃至のいずれか1つに記載の医用画像診断装置。
  7. 前記位置情報特定部は、前記2方向以上の方向から撮影した前記***X線画像にそれぞれ含まれる互いに対応する前記関心領域を起点とする直線がそれぞれ交わる位置を前記3次元位置情報として特定する、
    ことを特徴とする請求項1乃至6のいずれか1つに記載の医用画像診断装置。
  8. 前記位置情報特定部は、前記関心領域を起点とする直線がそれぞれ交わる位置が2以上となる場合、前記関心領域の対応関係を選択させることによって前記3次元位置情報を特定する、
    ことを特徴とする請求項に記載の医用画像診断装置。
  9. 前記3次元位置情報は、前記***の輪郭から前記関心領域までの奥行情報をさらに含む、
    ことを特徴とする請求項1乃至のいずれか1つに記載の医用画像診断装置。
  10. 前記シェーマを表示する表示部と、
    前記シェーマが3次元である場合において、前記3次元シェーマの所望の断面の断面図を生成する断面図生成部と、
    をさらに備え、
    前記表示部は、前記断面図を表示する、
    ことを特徴とする請求項1乃至のいずれか1つに記載の医用画像診断装置。
  11. 請求項10に記載の医用画像診断装置であって、
    超音波プローブで受信した反射波に基づく受信信号を画像処理して超音波画像を生成する画像生成部をさらに備え、
    前記表示部は、前記シェーマおよび前記超音波画像を表示する、
    ことを特徴とする超音波診断装置で構成された医用画像診断装置。
  12. 被検体の***を2方向以上の方向から撮影した***X線画像にそれぞれ含まれる互いに対応する関心領域に基づいて、前記関心領域の3次元位置情報を特定する位置情報特定部と、
    前記***を模式的に表した図である***モデルに、特定された前記関心領域の3次元位置情報を示したシェーマを生成するシェーマ生成部と、
    一般的な***の形状を模式的に表した***モデルを記憶する***モデル記憶部と、
    超音波プローブで受信した反射波に基づく受信信号を画像処理して超音波画像を生成する画像生成部と、
    を備え
    前記位置情報特定部は、前記***X線画像上の特定の位置に基づいて前記***X線画像と前記***モデルの位置合わせを行い、特定された前記関心領域の3次元位置情報を前記***モデル上の位置として特定し、
    前記シェーマ生成部は、特定された前記***モデル上の位置に、前記関心領域の前記3次元位置情報を示したシェーマを生成する、
    超音波診断装置。
  13. 被検体の***を2方向以上の方向から撮影した***X線画像にそれぞれ含まれる互いに対応する関心領域に基づいて、前記関心領域の3次元位置情報を特定する位置情報特定部と、
    前記被検体の乳頭の位置の胸囲、***の下部の胸囲、***の大きさおよび形状を示す生体長情報を含む体形情報を記憶する患者情報記憶部と、
    前記被検体の体形情報に基づいて、前記被検体の***に最も近い***モデルを選択する***モデル選択部と、
    選択された***モデルに、特定された前記関心領域の3次元位置情報を示したシェーマを生成するシェーマ生成部と、
    超音波プローブで受信した反射波に基づく受信信号を画像処理して超音波画像を生成する画像生成部と、
    を備えた超音波診断装置。
  14. 被検体の***を2方向以上の方向から撮影した***X線画像にそれぞれ含まれる互いに対応する関心領域に基づいて、前記関心領域の3次元位置情報を特定する位置情報特定部と、
    前記被検体の乳頭の位置の胸囲、***の下部の胸囲、***の大きさおよび形状を示す生体長情報を含む体形情報を記憶する患者情報記憶部と、
    前記被検体の前記体形情報に基づいて前記被検体の***に対応する***モデルを生成する***モデル生成部と、
    生成された***モデルに、特定された前記関心領域の3次元位置情報を示したシェーマを生成するシェーマ生成部と、
    超音波プローブで受信した反射波に基づく受信信号を画像処理して超音波画像を生成する画像生成部と、
    を備えた超音波診断装置。
  15. 被検体の***を2方向以上の方向から撮影した***X線画像にそれぞれ含まれる互いに対応する関心領域に基づいて、前記関心領域の3次元位置情報を特定する位置情報特定部と、
    前記***を模式的に表した図である***モデルに、特定された前記関心領域の3次元位置情報を示したシェーマを生成するシェーマ生成部と、
    一般的な***の形状を模式的に表した***モデルを記憶する***モデル記憶部と、
    を備え
    前記位置情報特定部は、前記***X線画像上の特定の位置に基づいて前記***X線画像と前記***モデルの位置合わせを行い、特定された前記関心領域の3次元位置情報を前記***モデル上の位置として特定し、
    前記シェーマ生成部は、特定された前記***モデル上の位置に、前記関心領域の前記3次元位置情報を示したシェーマを生成する、
    医用画像処理装置。
  16. 被検体の***を2方向以上の方向から撮影した***X線画像にそれぞれ含まれる互いに対応する関心領域に基づいて、前記関心領域の3次元位置情報を特定する位置情報特定部と、
    前記被検体の乳頭の位置の胸囲、***の下部の胸囲、***の大きさおよび形状を示す生体長情報を含む体形情報を記憶する患者情報記憶部と、
    前記被検体の体形情報に基づいて、前記被検体の***に最も近い***モデルを選択する***モデル選択部と、
    選択された***モデルに、特定された前記関心領域の3次元位置情報を示したシェーマを生成するシェーマ生成部と、
    を備えた
    医用画像処理装置。
  17. 被検体の***を2方向以上の方向から撮影した***X線画像にそれぞれ含まれる互いに対応する関心領域に基づいて、前記関心領域の3次元位置情報を特定する位置情報特定部と、
    前記被検体の乳頭の位置の胸囲、***の下部の胸囲、***の大きさおよび形状を示す生体長情報を含む体形情報を記憶する患者情報記憶部と、
    前記被検体の前記体形情報に基づいて前記被検体の***に対応する***モデルを生成する***モデル生成部と、
    生成された***モデルに、特定された前記関心領域の3次元位置情報を示したシェーマを生成するシェーマ生成部と、
    を備えた
    医用画像処理装置。
JP2014118950A 2014-06-09 2014-06-09 医用画像診断装置、超音波診断装置および医用画像処理装置 Active JP6335030B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014118950A JP6335030B2 (ja) 2014-06-09 2014-06-09 医用画像診断装置、超音波診断装置および医用画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014118950A JP6335030B2 (ja) 2014-06-09 2014-06-09 医用画像診断装置、超音波診断装置および医用画像処理装置

Publications (2)

Publication Number Publication Date
JP2015231438A JP2015231438A (ja) 2015-12-24
JP6335030B2 true JP6335030B2 (ja) 2018-05-30

Family

ID=54933336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014118950A Active JP6335030B2 (ja) 2014-06-09 2014-06-09 医用画像診断装置、超音波診断装置および医用画像処理装置

Country Status (1)

Country Link
JP (1) JP6335030B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI609674B (zh) * 2016-05-12 2018-01-01 太豪生醫股份有限公司 ***影像對位方法與影像處理裝置
US11219427B2 (en) * 2016-06-07 2022-01-11 Koninklijke Philips N.V. Ultrasound system and method for breast tissue imaging and annotation of breast ultrasound images
JP7432296B2 (ja) * 2016-09-12 2024-02-16 キヤノンメディカルシステムズ株式会社 医用情報処理システム
JP6797623B2 (ja) * 2016-09-27 2020-12-09 キヤノン株式会社 画像処理装置および画像処理方法
EP3537447A1 (en) * 2018-03-07 2019-09-11 Koninklijke Philips N.V. Display of medical image data
JP7258640B2 (ja) * 2018-04-27 2023-04-17 キヤノンメディカルシステムズ株式会社 医用情報処理システム及び医用情報処理プログラム
JP7282594B2 (ja) * 2019-05-20 2023-05-29 キヤノンメディカルシステムズ株式会社 医用画像処理装置、x線診断装置及びプログラム
JP7368247B2 (ja) * 2020-01-23 2023-10-24 キヤノンメディカルシステムズ株式会社 超音波診断装置および画像処理プログラム
JPWO2022065050A1 (ja) * 2020-09-28 2022-03-31
JP2022120469A (ja) * 2021-02-05 2022-08-18 コニカミノルタ株式会社 画像処理装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0006598D0 (en) * 2000-03-17 2000-05-10 Isis Innovation Three-dimensional reconstructions from images
US20060251301A1 (en) * 2004-11-02 2006-11-09 Mcnamara Michael P Jr Method and apparatus for determining correlation between spatial coordinates in breast
JP5738507B2 (ja) * 2006-01-19 2015-06-24 東芝メディカルシステムズ株式会社 超音波プローブの軌跡表現装置及び超音波診断装置
JP5523681B2 (ja) * 2007-07-05 2014-06-18 株式会社東芝 医用画像処理装置

Also Published As

Publication number Publication date
JP2015231438A (ja) 2015-12-24

Similar Documents

Publication Publication Date Title
JP6335030B2 (ja) 医用画像診断装置、超音波診断装置および医用画像処理装置
JP6495003B2 (ja) 医用画像処理装置、医用画像診断装置及び医用画像処理方法
US10682111B2 (en) Medical image display device and medical image processing method
US20180008232A1 (en) Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus
WO2014200099A1 (ja) 超音波診断装置
US10463316B2 (en) Medical information processing system
US20150139518A1 (en) Image processing apparatus
KR20220159402A (ko) 다중 이미징 방식에서의 관심 영역의 연계를 위한 시스템 및 방법
JP2017202321A (ja) 医用画像診断装置
US9149250B2 (en) Ultrasound diagnosis apparatus and image-information management apparatus
JP2017070608A (ja) 超音波画像診断装置
JP6331922B2 (ja) 医用画像システム及びプログラム
KR102545008B1 (ko) 초음파 영상 장치 및 그 제어 방법
US20200261046A1 (en) Mammography apparatus and program
US11559282B2 (en) Medical information processing system and medical image processing apparatus
JP2015104465A (ja) 医用画像システム及びプログラム
JP2016040688A (ja) 読影レポート作成支援装置
CN108230417A (zh) 合成2d图像中的多层色彩显示
JP6858485B2 (ja) 医用情報処理装置
JP6455235B2 (ja) 医用画像システム及びプログラム
JP7432296B2 (ja) 医用情報処理システム
JP2018000775A (ja) 超音波診断装置、及び医用画像処理装置
JP6258026B2 (ja) 超音波診断装置
JP6291813B2 (ja) 医用画像システム及びプログラム
JP2018033657A (ja) 医用画像システム及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160511

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180427

R150 Certificate of patent or registration of utility model

Ref document number: 6335030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150