JP2015000094A - 仮想内視鏡画像生成装置および方法並びにプログラム - Google Patents

仮想内視鏡画像生成装置および方法並びにプログラム Download PDF

Info

Publication number
JP2015000094A
JP2015000094A JP2013124350A JP2013124350A JP2015000094A JP 2015000094 A JP2015000094 A JP 2015000094A JP 2013124350 A JP2013124350 A JP 2013124350A JP 2013124350 A JP2013124350 A JP 2013124350A JP 2015000094 A JP2015000094 A JP 2015000094A
Authority
JP
Japan
Prior art keywords
viewpoint
large intestine
region
virtual endoscopic
endoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013124350A
Other languages
English (en)
Other versions
JP2015000094A5 (ja
JP6026357B2 (ja
Inventor
善則 板井
Yoshinori Itai
善則 板井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013124350A priority Critical patent/JP6026357B2/ja
Priority to PCT/JP2014/003132 priority patent/WO2014199640A1/ja
Publication of JP2015000094A publication Critical patent/JP2015000094A/ja
Priority to US14/961,667 priority patent/US9542772B2/en
Publication of JP2015000094A5 publication Critical patent/JP2015000094A5/ja
Application granted granted Critical
Publication of JP6026357B2 publication Critical patent/JP6026357B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】デジタルクレンジング処理を実行せずとも残渣に埋もれた大腸の内壁を観察することができる仮想内視鏡画像を生成する。【解決手段】仮想内視鏡画像生成部12が、3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、大腸領域の内壁と、大腸領域内に存在する残渣領域の内壁との両方を仮想内視鏡画像上に現わすことができる不透明度テンプレートと、大腸領域内の空間領域と残渣領域との境界近傍に設定された視点と、その視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、視点から延びる光線ベクトル上の3次元画像の画素値のうち設定面から先の光線ベクトル上の画素値とに基づいて仮想内視鏡画像を生成する。【選択図】図1

Description

本発明は、大腸の内壁を表す仮想内視鏡画像を生成する仮想内視鏡画像生成装置および方法並びにプログラムに関するものである。
近年、CT(Computed Tomography)装置などのモダリティによって撮影された3次元画像から患者の大腸、小腸、胃などの管腔臓器を抽出し、その抽出した管腔臓器の3次元画像を画像診断に用いることが行われている。
たとえば、大腸に空気を入れた状態でCT撮影を行い、その撮影によって得た3次元画像を大腸の内側からボリュームレンダリングすることによって、あたかも内視鏡で観察するような画像を作り出すことが可能であり、この画像を仮想内視鏡画像と呼んでいる。
この仮想内視鏡画像を生成する場合には、検査前に大腸の中を空にする必要があるが、大腸内に残渣が残る場合がある。この残渣が仮想内視鏡画像に残っていると大腸内の観察の妨げとなる。
そこで、あらかじめ残渣を造影してCT撮影を行い、そのCT撮影後に画像処理でその造影されたタギング領域を取り除くことによって仮想的に残渣の存在しない3次元画像を生成してボリュームレンダリングすることもあり、これをデジタルクレンジング処理と呼んでいる。たとえば特許文献1および特許文献2には、このようなデジタルクレンジング処理を行った後に、ポリープなどの検出を行う方法が開示されている。
特表2012−504003号公報 特表2009−511216号公報
しかしながら、上述したように大腸領域の3次元画像に対してデジタルクレンジング処理を施すようにしたのでは、その精度上の問題によってタギング領域が残っていたり、逆に観察すべき大腸内腔のひだやポリープの形状が大きく変わってしまう場合がある。
本発明は、上記事情に鑑み、デジタルクレンジング処理を実行せずとも残渣に埋もれた大腸の内壁を観察することができる仮想内視鏡画像を生成することができる仮想内視鏡画像生成装置および方法並びにプログラムを提供することを目的とするものである。
本発明の仮想内視鏡画像生成装置は、大腸領域を含む3次元画像を取得する3次元画像取得部と、大腸領域の3次元画像に基づいて、大腸領域内を内視鏡によって仮想的に撮影した画像を表す仮想内視鏡画像を生成する仮想内視鏡画像生成部とを備えた仮想内視鏡画像生成装置において、仮想内視鏡画像生成部が、3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、大腸領域の内壁と、大腸領域内に存在する残渣領域の内壁との両方を仮想内視鏡画像上に現わすことができる不透明度テンプレートと、大腸領域内の空間領域と残渣領域との境界近傍に設定された視点と、その視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、視点から延びる光線ベクトル上の3次元画像の画素値のうち設定面から先の光線ベクトル上の画素値とに基づいて、仮想内視鏡画像を生成するものである。
また、上記本発明の仮想内視鏡画像生成装置は、不透明度設定テーブルの変更を受け付ける不透明度変更受付部を備えたものとできる。
また、設定面を、視線方向に垂直な平面とできる。
また、設定面を、曲面とできる。
また、設定面を、視線方向に垂直な平面と曲面とからなるものとできる。
また、曲面を、球面または放物曲面とできる。
また、視点からの上記距離の変更を受け付ける距離変更受付部を備えたものとできる。
また、視点の位置を大腸領域の中心線に沿って移動させる視点設定部を設け、その視点設定部を、中心線上の視点が残渣領域に対して予め設定された距離まで近づいた場合に、中心線上の視点を境界近傍まで連続的に移動させるものとできる。
また、視点設定部を、視点が境界近傍に設定された後、残渣領域に対して予め設定された距離だけ遠ざかる中心線上の位置まで視点を連続的に移動させるものとできる。
また、大腸領域の中心線近傍に視点を設定する視点設定部を設け、その視点設定部を、設定した視点から重力方向に延ばした線上に予め設定された閾値以上の画素値が存在する場合に、視点を中心線近傍の位置から上記閾値以上の画素値の位置に移動させるものとできる。
本発明の仮想内視鏡画像生成方法は、大腸領域を含む3次元画像を取得し、大腸領域の3次元画像に基づいて、大腸領域内を内視鏡によって仮想的に撮影した画像を表す仮想内視鏡画像を生成する仮想内視鏡画像生成方法において、3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、大腸領域の内壁と、大腸領域内に存在する残渣領域の内壁との両方を仮想内視鏡画像上に現わすことができる不透明度テンプレートと、大腸領域内の空間領域と残渣領域との境界近傍に設定された視点と、その視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、視点から延びる光線ベクトル上の3次元画像の画素値のうち設定面から先の光線ベクトル上の画素値とに基づいて、仮想内視鏡画像を生成する。
本発明の仮想内視鏡画像生成プログラムは、コンピュータを、大腸領域を含む3次元画像を取得する3次元画像取得部、大腸領域の3次元画像に基づいて、大腸領域内を内視鏡によって仮想的に撮影した画像を表す仮想内視鏡画像を生成する仮想内視鏡画像生成部として機能させる仮想内視鏡画像生成プログラムにおいて、仮想内視鏡画像生成部が、3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、大腸領域の内壁と、大腸領域内に存在する残渣領域の内壁との両方を仮想内視鏡画像上に現わすことができる不透明度テンプレートと、大腸領域内の空間領域と残渣領域との境界近傍に設定された視点と、その視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、視点から延びる光線ベクトル上の3次元画像の画素値のうち設定面から先の光線ベクトル上の画素値とに基づいて、仮想内視鏡画像を生成するものである。
本発明の仮想内視鏡画像生成装置および方法並びにプログラムによれば、3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、大腸領域の内壁と、大腸領域内に存在する残渣領域の内壁との両方を仮想内視鏡画像上に現わすことができる不透明度テンプレートと、大腸領域内の空間領域と残渣領域との境界近傍に設定された視点と、その視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、視点から延びる光線ベクトル上の3次元画像の画素値のうち設定面から先の光線ベクトル上の画素値とに基づいて仮想内視鏡画像を生成するようにしたので、デジタルクレンジング処理を実行せずとも残渣に埋もれた大腸の内壁を観察することができる仮想内視鏡画像を生成することができる。なお、本発明によって生成される仮想内視鏡画像については、後で詳述する。
本発明の仮想内視鏡画像生成装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図 大腸領域の内壁と大腸領域内に存在するタギング領域の内壁との両方を仮想内視鏡画像上に現わすことができるカラーテンプレートの一例を示す図 空間領域内やタギング領域内に視点を設定した場合に生成される仮想内視鏡画像を説明するための図 空間領域内やタギング領域内に視点を設定した場合に生成される仮想内視鏡画像の一例を示す図 空間領域とタギング領域との境界近傍に設定された視点とクリップ面の一例を示す図 本発明の仮想内視鏡画像生成装置および方法並びにプログラムの一実施形態により生成された仮想内視鏡画像の一例を示す図 本発明の仮想内視鏡画像生成装置および方法並びにプログラムの一実施形態の作用を説明するためのフローチャート 視点の移動方法の一例を説明するための図 クリップ面のその他の例を示す図
以下、本発明の仮想内視鏡画像生成装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の医用画像診断支援システムの概略構成を示すブロック図である。
本実施形態の医用画像診断支援システムは、図1に示すように、医用画像表示制御装置1と、3次元画像保管サーバ2と、ディスプレイ3と、入力装置4とを備えている。
医用画像表示制御装置1は、コンピュータに本実施形態の仮想内視鏡画像生成プログラムがインストールされたものである。
医用画像表示制御装置1は、中央処理装置(CPU)および半導体メモリや、ハードディスクやSSD(Solid State Drive)等のストレージデバイスを備えている。ストレージデバイスには、本実施形態の仮想内視鏡画像生成プログラムがインストールされており、この仮想内視鏡画像生成プログラムが中央処理装置によって実行されることによって、図1に示すような3次元画像取得部10、大腸領域抽出部11、仮想内視鏡画像生成部12および視点設定部14が動作する。
3次元画像取得部10は、手術前または検査前などに予め撮影された被検体の3次元画像5を取得するものである。3次元画像5としては、たとえばCT装置やMRI(Magnetic Resonance Imaging)装置などから出力されたスライスデータから再構成されたボリュームデータや、MS(Multi Slice)CT装置やコーンビームCT装置から出力されたボリュームデータなどがある。3次元画像5は、3次元画像保管サーバ2に被検体の識別情報とともに予め保管されており、3次元画像取得部10は、入力装置4において入力された被検体の識別情報に対応する3次元画像5を3次元画像保管サーバ2から読み出すものである。なお、3次元画像取得部10において多数のスライスデータを取得してボリュームデータを生成するようにしてもよい。本実施形態における3次元画像取得部10は、CT装置によって撮影された大腸を含む3次元画像5を取得するものである。
大腸領域抽出部11は、3次元画像取得部10によって取得された3次元画像5が入力され、その入力された3次元画像5から大腸領域の3次元画像を抽出するものである。
大腸領域を抽出する方法としては、具体的には、まず、3次元画像5に基づいて体軸に垂直な断面(軸位断;axial)の軸位断画像を複数生成し、その各軸位断画像に対して、公知の手法により、体表を基準に体外と体内領域を分離する処理を行う。たとえば、入力された軸位断画像に対して二値化処理を施し、輪郭抽出処理により輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。
次に、体内領域の軸位断画像に対して閾値による二値化処理を行い、各軸位断画像における大腸の領域の候補を抽出する。具体的には、大腸の管内には空気が入っているため、空気のCT値に対応する閾値(たとえば、−600以下)を設定して二値化処理を行い、各軸位断画像の体内の空気領域を大腸領域候補として抽出する。
最後に、各軸位断画像データ間で、抽出された体内の大腸領域候補がつながる部分のみを抽出することによって大腸領域を取得する。なお、大腸領域を取得する方法としては、上記の方法に限らず、その他にもRegion Growing法やLevel Set法など公知な方法を用いるようにしてもよい。
仮想内視鏡画像生成部12は、入力された大腸領域の3次元画像に基づいて、大腸領域の内腔を表す仮想内視鏡画像を生成するものである。仮想内視鏡画像は、内視鏡によって仮想的に大腸の内腔を撮影した画像である。
具体的には、仮想内視鏡画像生成部12は、予め設定された視点および視線方向に基づく視線ベクトルを中心として放射線状に延ばした複数の光線ベクトル上のボクセルデータを、所定の投影面に投影した中心投影による画像を仮想内視鏡画像として生成するものである。なお、中心投影の具体的な方法としては、たとえば公知のボリュームレンダリング手法等を用いることができる。
ここで、このように仮想内視鏡画像を生成する際、上述したように大腸領域の3次元画像に対してデジタルクレンジング処理を施すようにしたのでは、その精度上の問題によってタギング領域が残っていたり、逆に観察すべき大腸内腔のひだやポリープの形状が大きく変わってしまう場合がある。
そこで、本実施形態の医用画像診断支援システムにおいては、デジタルクレンジング処理を実行せずとも残渣に埋もれた大腸の内壁を観察することができる仮想内視鏡画像を生成する。
具体的には、本実施形態の仮想内視鏡画像生成部12には、図2に示すようなカラーテンプレート(請求項における不透明度テンプレートに相当する)が予め設定されている。図2に示すカラーテンプレートは、CT値であるボクセルデータ(画素値)と不透明度とを対応づけたカラーテンプレートであって、大腸領域の内壁と、大腸領域内に存在するタギング領域の内壁との両方を仮想内視鏡画像上に現わすことができるものである。
図2に示すカラーテンプレートは、大腸領域内の空間領域と大腸内壁との境界部分のボクセルデータに対して1.0の不透明度を割り当てるとともに、タギング領域と大腸内壁との境界部分のボクセルデータに対して1.0の不透明度を割り当てるものであり、かつ空間領域内のボクセルデータとタギング領域内のボクセルデータにはゼロの不透明度を割り当てるものである。
より具体的には、本実施形態のカラーテンプレートは、空間領域が空気であり、タギング領域の造影剤のCT値が100〜200である場合には、空気のCT値は−600以下であるため−600以下の第1の閾値よりも小さいボクセルデータに対してゼロの不透明度を割り当て、造影剤のCT値である100以上の第2の閾値よりも大きいボクセルデータに対してゼロの不透明度を割り当て、そして、第1の閾値以上第2の閾値以下のボクセルデータに対して1.0の不透明度を割り当てるものである。さらに、カラーテンプレートには、不透明度とともに色が設定されており、本実施形態においては大腸の内壁が赤で表され、タギング領域の内壁が緑で表されるように設定されている。なお、カラーテンプレートに設定される色はこれに限らず、その他の色を採用するようにしてもよく、また、大腸内壁とタギング領域の内壁とに同じ色を割り当てるようにしてもよい。
また、カラーテンプレートにおける第1の閾値、第2の閾値および色は、ユーザによって任意に変更できるようにしてもよい。第1の閾値、第2の閾値および色の変更は、入力装置4によって受け付けられ、その変更後の内容が仮想内視鏡画像生成部12に設定される。残渣を造影する際に用いられる造影剤は、その種類によってCT値が異なるので、そのCT値に合わせて第2の閾値を変更することができる。造影剤の種類としてはガストログラフィン(登録商標)やバリウムなどがある。また、大腸領域内の空間領域の気体も空気以外の気体を用いることも可能であるので、その気体のCT値に合わせて第1の閾値を変更することができる。
ここで、上述したようなカラーテンプレートを用いたとしても、仮想内視鏡画像の視点を、たとえば図3に示すように視点P1に設定し、この視点P1と光線ベクトルVとに基づいて仮想内視鏡画像を生成した場合には、空間領域から大腸壁へ光線ベクトルVが通過する際のボクセルデータの変化と、空間領域からタギング領域境界へ光線ベクトルVが通過する際のボクセルデータの変化とは識別することができないため、図4の左図に示すような仮想内視鏡画像となってしまい、仮想内視鏡画像上で大腸内部とタギング領域内部とを同時に観察することができない。
また、仮想内視鏡画像の視点を図3に示す視点P2に設定し、この視点P2と光線ベクトルVとに基づいて仮想内視鏡画像を生成した場合には、タギング領域から大腸壁へ光線ベクトルVが通過する際のボクセルデータの変化と、タギング領域から空間領域へ光線ベクトルVが通過する際のボクセルデータの変化とは識別することができないため、図4の右図に示すような仮想内視鏡画像となってしまい、この場合も、仮想内視鏡画像上で大腸内部とタギング領域内部とを同時に観察することができない。
そこで、本実施形態の仮想内視鏡画像生成部12は、大腸の内壁とタギング領域の内壁との両方を観察可能な仮想内視鏡画像を生成する際には、図5に示すように、仮想内視鏡画像の視点を大腸領域内の空間領域とタギング領域の境界近傍に設定する。なお、境界近傍とは、たとえば境界から±5mmの範囲である。また、空間領域とタギング領域との境界はCT値に基づいて求めるようにすればよい。
そして、仮想内視鏡画像生成部12は、さらに、図5に示すように境界近傍に設定された視点から視線方向に所定の距離だけ離れた位置にクリップ面CP(請求項における設定面に相当する)を設定する。視線方向と視点からの距離は予め設定されるものであるがユーザによって変更可能としてもよい。視線方向と視点からの距離の変更は、入力装置4において受け付けられる。なお、視点とクリップ面との距離については、3mm〜30mmの範囲であることが望ましい。
そして、仮想内視鏡画像生成部12は、視点から放射線状に延びる光線ベクトルV上に存在するボクセルデータのうち、クリップ面CPから先の光線ベクトルV上に存在するボクセルデータと、上述したカラーテンプレートとを用いてボリュームレンダリング手法等によって仮想内視鏡画像を生成する。図6は、このようにして生成した仮想内視鏡画像の一例を示すものである。図6に示すように、仮想内視鏡画像上には、大腸内壁とタギング領域の内壁との両方が同時に現れることになる。これにより残渣に埋もれている大腸内壁の状態まで観察することができる。また、視点を境界近傍に設定するようにしたので、図4に示す仮想内視鏡画像上に現れている空間領域とタギング領域との境界面が、図6に示す仮想内視鏡画像においては線上に現れることになるので、境界面の画像が観察の邪魔になることがない。
視点設定部14は、仮想内視鏡画像生成部12において仮想内視鏡画像を生成する際に用いられる視点を設定するものである。本実施形態における視点設定部14は、大腸のボクセルデータに基づいて大腸の中心線を抽出し、その中心線に沿った経路上において、視点を移動させながら順次切り替えて設定するものである。また、視点設定部14は、経路上に設定された視点がタギング領域に対して接近した場合に、大腸領域内の空間領域とタギング領域の境界近傍に視点を設定し、その後、タギング領域から中心線上の点が遠ざかる場合に、境界近傍の視点を中心線上の位置に戻すものである。なお、視点の移動方法については、後で詳述する。
また、仮想内視鏡画像の視点については、上述したような設定方法に限らず、たとえばディスプレイ3上に表示された大腸の3次元画像上において、ユーザが入力装置4を用いて任意の点を指定することによって設定するようにしてもよいし、大腸の中心線上の所定の点を手動で指定することによって設定するようにしてもよい。
表示制御部13は、仮想内視鏡画像生成部12において生成された仮想内視鏡画像をディスプレイ3に表示させるものである。
入力装置4は、マウスやキーボードなどを備えたものであり、ユーザによる操作入力を受け付けるものである。本実施形態の入力装置4は、上述したように仮想内視鏡画像を生成する際に用いられる視点や視線方向、カラーテンプレートにおける第1の閾値、第2の閾値および色、視点とクリップ面CPとの距離などの設定入力を受け付けるものである。入力装置4は、請求項における不透明度変更受付部および距離変更受付部に相当するものである。
次に、本実施形態の医用画像診断支援システムの作用について、図7に示すフローチャートおよび図8を参照しながら説明する。
まず、入力装置4を用いてユーザによって被検体の識別情報が入力され、医用画像表示制御装置1の3次元画像取得部10は、その入力された被検体の識別情報に対応する3次元画像5を3次元画像保管サーバ2から読み出して取得する(S10)。
3次元画像取得部10によって取得された3次元画像5は、大腸領域抽出部11に入力され、大腸領域抽出部11は、入力された3次元画像5に基づいて大腸の3次元画像を抽出して取得する(S12)。
大腸領域抽出部11によって取得された大腸の3次元画像は、仮想内視鏡画像生成部12および視点設定部14に出力され、視点設定部14は、入力された大腸の3次元画像に基づいて大腸領域の中心線を取得し(S14)、その中心線上に複数の視点を設定する(S16)。
そして、視点設定部14において設定された複数の視点のうち、たとえば大腸の入り口近傍の最初の視点が仮想内視鏡画像生成部12に入力され、仮想内視鏡画像生成部12は、入力された大腸の3次元画像、最初の視点、予め設定された視線方向および上述したカラーテンプレートに基づいて仮想内視鏡画像を生成し、その生成した仮想内視鏡画像を表示制御部13に出力する。表示制御部13は、入力された仮想内視鏡画像をディスプレイ3に表示させる。
次いで、視点設定部14は、仮想内視鏡画像の視点を大腸領域の中心線に沿って移動させ、その視点を仮想内視鏡画像生成部12に順次出力する(S20)。なお、視点の移動は自動的に行ってもよいし、ユーザによる入力装置4における設定入力によって行うようにしてもよい。
仮想内視鏡画像生成部12は、入力された視点に基づいて仮想内視鏡画像を順次生成して表示制御部13に出力し、表示制御部13は、入力された仮想内視鏡画像を順次切り替えてディスプレイ3に表示させる。
そして、上述したように大腸領域の中心線に沿って視点を移動させていった際、移動後の視点がタギング領域に接近した場合には、視点設定部14は、仮想内視鏡画像の視点を大腸領域内の空間領域とタギング領域の境界近傍に連続的に移動させて設定する(S22,YES、S24)。なお、このときの視点設定部14における視点の移動方法については、後で詳述する。
次いで、視点設定部14は、視線方向とクリップ面CPとを設定し(S24)、仮想内視鏡画像生成部12は、視点設定部14によって設定された視点、視線方向、クリップ面CPおよびカラーテンプレートに基づいて、大腸の内壁とタギング領域の内壁との両方を観察可能な仮想内視鏡画像を生成し、表示制御部13に出力し、表示制御部13は、入力された仮想内視鏡画像をディスプレイ3に表示させる(S28)。
引き続き、視点設定部14は、タギング領域境界近傍において大腸が延びる方向に向かって視点を移動させる(S30)。そして、視点がタギング領域と大腸内壁との境界まで移動した場合には、視点設定部14は、視点を再び大腸領域の中心線まで連続的に移動させる(S32,YES,S34)。
仮想内視鏡画像生成部12は、再び大腸領域の中心線上の視点に基づいて仮想内視鏡画像を生成して表示制御部13に出力し、表示制御部13は、入力された仮想内視鏡画像をディスプレイ3に表示させる(S36)。
そして、仮想内視鏡画像を表示させる処理を終了する指示がユーザによって設定入力されない場合には(S38,NO)、S20に戻り、再び大腸領域の中心線上の経路に沿って視点が移動して設定され、各視点に基づいて仮想内視鏡画像が順次生成されて表示される。
仮想内視鏡画像を表示させる処理を終了する指示がユーザによって設定入力された場合には(S38,YES)、そのまま処理を終了する。
次に、上述したような視点設定部14における視点の移動方法を、図8を参照しながら具体的に説明する。
視点設定部14は、まず、大腸領域の中心線上の視点群の各視点において、その視点から重量方向に延ばした直線上にタギング領域が存在するか否かを確認する。具体的には、上述した重力方向に延ばした直線上に所定の閾値以上のCT値のボクセルデータが存在するか否かを確認する。そして、重力方向に延ばした直線上にタギング領域が最初に確認された視点を開始点tとし、最後の確認された視点を終了点tとして設定する。
そして、視点設定部14は、大腸領域の中心線に沿って視点を移動させていく際、t−δからtまでの間については、視点が空間領域とタギング領域の境界近傍に次第に近付くような経路に修正し、その経路上に沿って視点を移動させる。なお、上記δは、予め設定された一定値である。また、t−δからtまでの間の経路ついては、tから重量方向に延ばした直線とタギング領域境界との接点Qと、t−δとを直線で結んだ経路としてもよいし、曲線で結んだ経路としてもよい。
そして、視点設定部14は、tからtまでの間については、空間領域とタギング領域の境界近傍に視点を設定する。
また、視点設定部14は、tからt+δまでの間については、視点が空間領域とタギング領域の境界近傍から次第に遠ざかり、かつ大腸の中心線に近付くような経路に修正し、その経路上に沿って視点を移動させる。なお、tからt+δまでの間の経路についても、tから重量方向に延ばした直線とタギング領域境界との接点Qと、t+δとを直線で結んだ経路としてもよいし、曲線で結んだ経路としてもよい。
上述したようにして、視点設定部14は、視点の移動にともなって視点がタギング領域に接近したり、タギング領域から遠ざかる際には、大腸領域の中心線に沿った経路Lを経路L’に修正する。これにより視点の移動に伴う仮想内視鏡画像の変化を小さくすることができ、内視鏡撮影における画像の変化により近づけることができる。
また、上記実施形態の説明においては、仮想内視鏡画像の視点を大腸領域の中心線上の経路に沿って移動させ、中心線上の視点がタギング領域に対して予め設定された距離まで近づいた場合に、中心線上の視点をタギング領域の境界近傍まで連続的に移動させ、その後、タギング領域に対して予め設定された距離だけ遠ざかる中心線上の位置まで視点を連続的に移動させるようにしたが、視点の移動の方法はこれに限られるものではない。
たとえば、視点設定部14が、視点を大腸領域の中心線上の経路に沿って移動させる際、この移動に伴って、大腸領域の中心線上に設定した視点から重力方向に延ばした線上に予め設定された閾値以上のボクセルデータが存在するか否かを確認し、閾値以上のボクセルデータが存在する場合に、視点を中心線上の位置から上記閾値以上のボクセルデータの位置まで移動させるようにしてもよい。なお、このとき中心線から最も近い閾値以上のボクセルデータの位置まで移動させることが望ましい。
また、上記実施形態のように、視点を大腸領域の中心線上の経路に沿って移動させるのではなく、大腸領域の中心線近傍の任意の位置を視点として設定するようにしてもよい。
そして、このように大腸領域の中心線近傍の任意の位置を視点として設定する場合においても、上述したように、視点設定部14が、大腸領域の中心線近傍に設定した視点から重力方向に延ばした線上に予め設定された閾値以上のボクセルデータが存在するか否か確認し、閾値以上のボクセルデータが存在する場合に、視点を中心線近傍の位置から上記閾値以上のボクセルデータの位置まで移動させるようにしてもよい。なお、このときも中心線から最も近い上記閾値以上のボクセルデータの位置まで移動させることが望ましい。
上述したように大腸領域の中心線近傍に設定した視点から重力方向に延ばした線上に閾値以上のボクセルデータが存在するか否か確認するようにした場合には、厳密にタギング領域を求めることなく、視点を境界近傍まで移動させることができる。
また、たとえばタギング領域が相対的に小さい領域である場合には、視点を境界近傍に移動させた方がかえって観察し難い仮想内視鏡画像となる場合もある。したがって、視点を境界近傍に移動させるタイミングとしては、ユーザが入力装置4において所定の設定入力した場合に視点を移動させるようにしてもよい。
また、上記実施形態の説明においては、クリップ面CPとして視線方向に垂直な平面を設定するようにしたが、クリップ面CPは平面に限らず、球面または放物曲面などの曲面としてもよい。また、図9に示すように、クリップ面CPを、平面6aと球面または放物曲面などの曲面6bとから構成するようにしてもよい。なお、このとき視点が曲面6bの開口側に位置するように設定される。また、空間領域とタギング領域との境界が曲面6bを通過するように設定することが望ましい。このようにクリップ面CPを構成することによって、図6に示す境界部分の直線の画像を細くすることができ、より観察し易い仮想内視鏡画像を生成することができる。
1 医用画像表示制御装置
2 3次元画像保管サーバ
3 ディスプレイ
4 入力装置
10 3次元画像取得部
11 大腸領域抽出部
12 仮想内視鏡画像生成部
13 表示制御部
14 視点設定部

Claims (12)

  1. 大腸領域を含む3次元画像を取得する3次元画像取得部と、前記大腸領域の3次元画像に基づいて、前記大腸領域内を内視鏡によって仮想的に撮影した画像を表す仮想内視鏡画像を生成する仮想内視鏡画像生成部とを備えた仮想内視鏡画像生成装置において、
    前記仮想内視鏡画像生成部が、
    前記3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、前記大腸領域の内壁と、前記大腸領域内に存在する残渣領域の内壁との両方を前記仮想内視鏡画像上に現わすことができる前記不透明度テンプレートと、
    前記大腸領域内の空間領域と前記残渣領域との境界近傍に設定された視点と、
    該視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、
    前記視点から延びる光線ベクトル上の前記3次元画像の画素値のうち前記設定面から先の前記光線ベクトル上の画素値とに基づいて、前記仮想内視鏡画像を生成するものである仮想内視鏡画像生成装置。
  2. 前記不透明度設定テーブルの変更を受け付ける不透明度変更受付部を備えた請求項1記載の仮想内視鏡画像生成装置。
  3. 前記設定面が、前記視線方向に垂直な平面である請求項1または2記載の仮想内視鏡画像生成装置。
  4. 前記設定面が、曲面である請求項1または2記載の仮想内視鏡画像生成装置。
  5. 前記設定面が、前記視線方向に垂直な平面と曲面とからなるものである請求項1または2記載の仮想内視鏡画像生成装置。
  6. 前記曲面が、球面または放物曲面である請求項4または5記載の仮想内視鏡画像生成装置。
  7. 前記視点からの前記距離の変更を受け付ける距離変更受付部を備えた請求項1から6いずれか1項記載の仮想内視鏡画像生成装置。
  8. 前記視点の位置を前記大腸領域の中心線に沿って移動させる視点設定部を備え、
    該視点設定部が、前記中心線上の視点が前記残渣領域に対して予め設定された距離まで近づいた場合に、前記中心線上の視点を前記境界近傍まで連続的に移動させるものである請求項1から7いずれか1項記載の仮想内視鏡画像生成装置。
  9. 前記視点設定部が、前記視点が前記境界近傍に設定された後、前記残渣領域に対して予め設定された距離だけ遠ざかる前記中心線上の位置まで前記視点を連続的に移動させるものである請求項8記載の仮想内視鏡画像生成装置。
  10. 前記大腸領域の中心線近傍に前記視点を設定する視点設定部を備え、
    該視点設定部が、設定した視点から重力方向に延ばした線上に予め設定された閾値以上の前記画素値が存在する場合に、前記視点を前記中心線近傍の位置から前記閾値以上の画素値の位置に移動させるものである請求項1から7いずれか1項記載の仮想内視鏡画像生成装置。
  11. 大腸領域を含む3次元画像を取得し、前記大腸領域の3次元画像に基づいて、前記大腸領域内を内視鏡によって仮想的に撮影した画像を表す仮想内視鏡画像を生成する仮想内視鏡画像生成方法において、
    前記3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、前記大腸領域の内壁と、前記大腸領域内に存在する残渣領域の内壁との両方を前記仮想内視鏡画像上に現わすことができる前記不透明度テンプレートと、
    前記大腸領域内の空間領域と前記残渣領域との境界近傍に設定された視点と、
    該視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、
    前記視点から延びる光線ベクトル上の前記3次元画像の画素値のうち前記設定面から先の前記光線ベクトル上の画素値とに基づいて、前記仮想内視鏡画像を生成する仮想内視鏡画像生成方法。
  12. コンピュータを、大腸領域を含む3次元画像を取得する3次元画像取得部、前記大腸領域の3次元画像に基づいて、前記大腸領域内を内視鏡によって仮想的に撮影した画像を表す仮想内視鏡画像を生成する仮想内視鏡画像生成部として機能させる仮想内視鏡画像生成プログラムにおいて、
    前記仮想内視鏡画像生成部が、
    前記3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、前記大腸領域の内壁と、前記大腸領域内に存在する残渣領域の内壁との両方を前記仮想内視鏡画像上に現わすことができる前記不透明度テンプレートと、
    前記大腸領域内の空間領域と前記残渣領域との境界近傍に設定された視点と、
    該視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、
    前記視点から延びる光線ベクトル上の前記3次元画像の画素値のうち前記設定面から先の前記光線ベクトル上の画素値とに基づいて、前記仮想内視鏡画像を生成するものである仮想内視鏡画像生成プログラム。
JP2013124350A 2013-06-13 2013-06-13 仮想内視鏡画像生成装置および方法並びにプログラム Active JP6026357B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013124350A JP6026357B2 (ja) 2013-06-13 2013-06-13 仮想内視鏡画像生成装置および方法並びにプログラム
PCT/JP2014/003132 WO2014199640A1 (ja) 2013-06-13 2014-06-12 仮想内視鏡画像生成装置および方法並びにプログラム
US14/961,667 US9542772B2 (en) 2013-06-13 2015-12-07 Virtual endoscope image-generating device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013124350A JP6026357B2 (ja) 2013-06-13 2013-06-13 仮想内視鏡画像生成装置および方法並びにプログラム

Publications (3)

Publication Number Publication Date
JP2015000094A true JP2015000094A (ja) 2015-01-05
JP2015000094A5 JP2015000094A5 (ja) 2016-01-28
JP6026357B2 JP6026357B2 (ja) 2016-11-16

Family

ID=52021952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013124350A Active JP6026357B2 (ja) 2013-06-13 2013-06-13 仮想内視鏡画像生成装置および方法並びにプログラム

Country Status (3)

Country Link
US (1) US9542772B2 (ja)
JP (1) JP6026357B2 (ja)
WO (1) WO2014199640A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018102912A (ja) * 2016-11-29 2018-07-05 バイオセンス・ウエブスター・(イスラエル)・リミテッドBiosense Webster (Israel), Ltd. 解剖学的空腔の改善された視覚化

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6134978B2 (ja) * 2013-05-28 2017-05-31 富士フイルム株式会社 投影画像生成装置、方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63266583A (ja) * 1987-04-03 1988-11-02 トムソン−セージェーエール 対象物の像を計算および画像化するための方法
JP2001502197A (ja) * 1996-09-16 2001-02-20 ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク 三次元仮想的検査を行うためのシステム及び方法
JP2002534191A (ja) * 1999-01-04 2002-10-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 管状構造を示す画像を処理し、その構造を通る経路を構成する方法、システム及び装置
JP2005182207A (ja) * 2003-12-16 2005-07-07 Square Enix Co Ltd 画像描画装置及び方法、プログラム並びに記録媒体
JP2009511216A (ja) * 2005-10-17 2009-03-19 ザ ジェネラル ホスピタル コーポレイション コンピュータトモグラフィーコロノグラフィー画像のデジタルデジタル洗浄用の構造解析システム、方法、ソフトウェア構成及びコンピュータがアクセス可能な媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194117B2 (en) * 1999-06-29 2007-03-20 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US7477768B2 (en) * 1999-06-29 2009-01-13 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US6477401B1 (en) * 2000-03-10 2002-11-05 Mayo Foundation For Medical Education And Research Colonography of an unprepared colon
US6947784B2 (en) * 2000-04-07 2005-09-20 The General Hospital Corporation System for digital bowel subtraction and polyp detection and related techniques
WO2002093496A1 (en) * 2001-05-15 2002-11-21 Koninklijke Philips Electronics N.V. Analysis of a multi-dimensional data set
US7379572B2 (en) * 2001-10-16 2008-05-27 University Of Chicago Method for computer-aided detection of three-dimensional lesions
US7349563B2 (en) * 2003-06-25 2008-03-25 Siemens Medical Solutions Usa, Inc. System and method for polyp visualization
US20050054895A1 (en) * 2003-09-09 2005-03-10 Hoeg Hans David Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
US7454045B2 (en) * 2003-10-10 2008-11-18 The United States Of America As Represented By The Department Of Health And Human Services Determination of feature boundaries in a digital representation of an anatomical structure
DE102004027710A1 (de) * 2004-06-07 2006-01-26 Siemens Ag Verfahren zur automatischen Detektion einer Struktur bei bildgebenden medizinischen Verfahren, Computertomografiegerät, Arbeitsstation und Comupterprogrammprodukt
DE102004027708B4 (de) * 2004-06-07 2006-07-27 Siemens Ag Verfahren zur medizinischen 3D-Bilddarstellung und -verarbeitung, Computertomografiegerät, Arbeitsstation und Computerprogrammprodukt
WO2006000925A2 (en) * 2004-06-23 2006-01-05 Koninklijke Philips Electronics, N.V. Virtual endoscopy
WO2006099490A1 (en) * 2005-03-15 2006-09-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data
US8249687B2 (en) * 2005-06-02 2012-08-21 Vital Images, Inc. Systems and methods for virtual identification of polyps
US7876947B2 (en) * 2007-10-10 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for detecting tagged material using alpha matting
GB2463906A (en) 2008-09-29 2010-03-31 Medicsight Plc Identification of medical image objects using local dispersion and Hessian matrix parameters
JP5486432B2 (ja) * 2010-07-28 2014-05-07 富士フイルム株式会社 画像処理装置、その作動方法およびプログラム
JP5675227B2 (ja) * 2010-08-31 2015-02-25 富士フイルム株式会社 内視鏡画像処理装置および作動方法、並びに、プログラム
JP5369078B2 (ja) * 2010-11-26 2013-12-18 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63266583A (ja) * 1987-04-03 1988-11-02 トムソン−セージェーエール 対象物の像を計算および画像化するための方法
JP2001502197A (ja) * 1996-09-16 2001-02-20 ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク 三次元仮想的検査を行うためのシステム及び方法
JP2002534191A (ja) * 1999-01-04 2002-10-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 管状構造を示す画像を処理し、その構造を通る経路を構成する方法、システム及び装置
JP2005182207A (ja) * 2003-12-16 2005-07-07 Square Enix Co Ltd 画像描画装置及び方法、プログラム並びに記録媒体
JP2009511216A (ja) * 2005-10-17 2009-03-19 ザ ジェネラル ホスピタル コーポレイション コンピュータトモグラフィーコロノグラフィー画像のデジタルデジタル洗浄用の構造解析システム、方法、ソフトウェア構成及びコンピュータがアクセス可能な媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018102912A (ja) * 2016-11-29 2018-07-05 バイオセンス・ウエブスター・(イスラエル)・リミテッドBiosense Webster (Israel), Ltd. 解剖学的空腔の改善された視覚化

Also Published As

Publication number Publication date
WO2014199640A1 (ja) 2014-12-18
US9542772B2 (en) 2017-01-10
JP6026357B2 (ja) 2016-11-16
US20160086371A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
JP5675227B2 (ja) 内視鏡画像処理装置および作動方法、並びに、プログラム
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
JP5785120B2 (ja) 医用画像診断支援装置および方法並びにプログラム
JP5369078B2 (ja) 医用画像処理装置および方法、並びにプログラム
US20160228075A1 (en) Image processing device, method and recording medium
JP5826082B2 (ja) 医用画像診断支援装置および方法並びにプログラム
WO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
US10398286B2 (en) Medical image display control apparatus, method, and program
JP2014124384A (ja) 仮想内視鏡画像表示装置および方法並びにプログラム
JP2014230612A (ja) 内視鏡観察支援装置
US9501709B2 (en) Medical image processing apparatus
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
JP2007014483A (ja) 医用診断装置及び診断支援装置
JP2011206297A (ja) 仮想内視鏡画像処理装置、方法、及びプログラム
JP6026357B2 (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
JP5554028B2 (ja) 医用画像処理装置、医用画像処理プログラム、及びx線ct装置
JP2010075549A (ja) 画像処理装置
US9558589B2 (en) Medical image display apparatus, method, and program
US20170091554A1 (en) Image alignment device, method, and program
US11056149B2 (en) Medical image storage and reproduction apparatus, method, and program
JP2005131317A (ja) 挿入支援システム
JP6199267B2 (ja) 内視鏡画像表示装置、その作動方法およびプログラム
JP5918734B2 (ja) 医用画像処理装置およびその作動方法並びに医用画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161012

R150 Certificate of patent or registration of utility model

Ref document number: 6026357

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250