JP6254053B2 - 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法 - Google Patents

内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法 Download PDF

Info

Publication number
JP6254053B2
JP6254053B2 JP2014164640A JP2014164640A JP6254053B2 JP 6254053 B2 JP6254053 B2 JP 6254053B2 JP 2014164640 A JP2014164640 A JP 2014164640A JP 2014164640 A JP2014164640 A JP 2014164640A JP 6254053 B2 JP6254053 B2 JP 6254053B2
Authority
JP
Japan
Prior art keywords
image
endoscope
projection
region
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014164640A
Other languages
English (en)
Other versions
JP2016039874A (ja
Inventor
剛幸 橋本
剛幸 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014164640A priority Critical patent/JP6254053B2/ja
Publication of JP2016039874A publication Critical patent/JP2016039874A/ja
Application granted granted Critical
Publication of JP6254053B2 publication Critical patent/JP6254053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)

Description

本発明は、被検体を撮影して得られた3次元画像を用いて、気管支のような体内の管腔状臓器への内視鏡の挿入および生検を支援する内視鏡画像診断支援装置、システムよびプログラム、並びに内視鏡画像診断支援装置の作動方法に関するものである。
近年、患者の大腸や気管支等の管腔状臓器を内視鏡を用いて観察または処置を行う技術が注目されている。しかしながら、内視鏡画像は、CCD(Charge Coupled Device)等の撮像素子により管腔状臓器内部の色や質感が鮮明に表現された画像が得られる一方で、管腔状臓器の内部を2次元の画像に表すものである。このため、内視鏡画像が管腔状臓器内のどの位置を表しているものかを把握することが困難である。
そこで、CT(Computed Tomography)装置等のモダリティによる断層撮影により取得された3次元画像を用いて、実際に内視鏡によって撮影した画像と類似した仮想内視鏡画像を生成し、管腔状臓器内において、異常部位である関心領域が存在する目標とする地点までの経路を予め取得する技術が提案されている。この仮想内視鏡画像は、内視鏡を目標とする位置まで導くためのナビゲーション画像として用いられる。
一方、関心領域の組織のサンプルを採取して生検を行うために、先端に穿刺針が取り付けられた内視鏡が提案されている。このような内視鏡を用いて生検のために組織のサンプルを採取する場合、内視鏡を操作するオペレータは、ナビゲーション画像を見ながら関心領域の位置まで内視鏡を挿入し、穿刺針を用いて関心領域を穿刺することにより、関心領域の組織のサンプルを採取する。そして採取した組織のサンプルを用いて生検が行われる。
しかしながら、ナビゲーション画像を用いても、気管支のような多段階に分岐する管路内を通って、穿刺を行う関心領域の位置まで内視鏡の先端を短時間で到達させるのは困難である。また、関心領域が気管支の外側にあると、内視鏡先端と穿刺を行う位置との距離を把握しにくい。
このため、内視鏡先端と穿刺を行う位置との関係を明示して、管腔状臓器における目標とする位置までの内視鏡の経路をナビゲーションする各種手法が提案されている。例えば特許文献1には、気管支の仮想内視鏡画像に、サンプルを採取する関心領域を重畳表示する手法が提案されている。とくに特許文献1の手法においては、内視鏡先端から関心領域までの距離が小さくなるほど、関心領域が大きく表示されるため、内視鏡先端から関心領域までの距離を把握することができる。また、特許文献2には、関心領域への内視鏡先端の接近に応じて、仮想内視鏡画像の色調を変更することにより、内視鏡先端から関心領域までの距離を把握する手法が提案されている。また、特許文献3には、気管支等の管腔状臓器の仮想内視鏡画像において、内視鏡先端から管腔状臓器の壁の外側にある関心領域を、内壁とは異なる画素値により内壁上に表示する手法が提案されている。さらに、特許文献4には、気管支壁の外側にある関心領域を、視点位置からの実内視鏡画像または仮想内視鏡画像に融合させて表示する手法が提案されている。特許文献1〜4の手法によれば、仮想内視鏡画像あるいは実内視鏡画像中の気管支の内壁に、内視鏡先端の位置を基準とした関心領域を表示することができるため、内視鏡を関心領域まで容易に導くことができる。
国際公開2011/102012号 特開2005−131319号公報 特開2005−349199号公報 特表2010−517632号公報
しかしながら、特許文献1〜4に記載された手法においては、内視鏡の先端を基準とした関心領域の位置は分かるものの、内視鏡先端と関心領域との距離が分かりにくい。また、穿刺を行う際には、予め設定された穿刺を行うのに好ましい、内視鏡の先端が到達すべき位置(以下特定点とする)と内視鏡先端とを一致させる必要があるが、特許文献1〜4に記載された手法においては、内視鏡先端を特定点と精度よく一致させることは困難である。
本発明は、上記事情に鑑みなされたものであり、内視鏡画像診断支援装置、システム、方法およびプログラムにおいて、内視鏡先端と特定点および関心領域との距離を分かりやすくすることを目的とする。
本発明による内視鏡画像診断支援装置は、被検体の3次元画像に含まれる管腔状臓器を抽出する管腔状臓器抽出手段と、
管腔状臓器内に挿入された内視鏡を用いて撮影を行うことにより生成された、管腔状臓器の内壁を表す実内視鏡画像、および3次元画像から生成された、内視鏡の先端に対応する3次元画像中の位置から見た管腔状臓器の内壁を表す仮想内視鏡画像を取得する画像取得手段と、
3次元画像を用いて、管腔状臓器内部に設定された特定点を基準として、管腔状臓器の内壁に、管腔状臓器に関連する関心領域を投影した第1の投影像を生成し、かつ内視鏡の先端を基準として、管腔状臓器の内壁に関心領域を投影した第2の投影像を生成する投影像生成手段と、
実内視鏡画像および仮想内視鏡画像の少なくとも一方に第1および第2の投影像を重畳させて表示手段に表示する表示制御手段とを備えたことを特徴とするものである。
「管腔状臓器に関連する関心領域」とは、気管支、小腸、大腸等の管腔状臓器に関連する腫瘍、結節およびリンパ節等の構造物の領域を意味する。
なお、本発明による内視鏡画像診断支援装置においては、第1の投影像を、特定点または第1の投影像の投影位置と関心領域の表面との距離に応じて強調されてなるものとしてもよい。
この場合、第1の投影像を、第1の投影像の輪郭線、不透明度および色の少なくとも1つを変更することにより強調されてなるものとしてもよい。
また、本発明による内視鏡画像診断支援装置においては、第2の投影像を、内視鏡の先端または第2の投影像の投影位置と関心領域の表面との距離に応じて強調されてなるものとしてもよい。
この場合、第2の投影像を、第2の投影像の輪郭線、不透明度および色の少なくとも1つを変更することにより強調されてなるものとしてもよい。
「特定点あるいは内視鏡の先端もしくは第1または第2の投影像の投影位置と関心領域の表面との距離に応じて強調される」とは、距離が変化した際に投影像の強調の程度を変更することをいう。例えば、距離が小さくなるほど、投影像がより強調されるように強調の程度を変更することが好ましい。より具体的には、距離が小さくなるほど、投影像の輪郭線をより濃くあるいは太くしたり、投影像の不透明度をより1に近づけるようにしたり、色の濃度をより大きくしたりすることが考えられる。
なお、投影位置と関心領域の表面との距離としては、投影位置の中心から関心領域の表面までの距離としてもよく、関心領域の表面と投影位置における各投影点との距離の平均値としてもよい。
また、本発明による内視鏡画像診断支援装置においては、第1および第2の投影像の少なくとも一方を、内視鏡の先端と特定点とが特定の距離以下となった場合に、特定の距離より大きい場合よりも強調されてなるものとしてもよい。
この場合、特定の距離を、関心領域の穿刺を行うために内視鏡の先端に取り付けられた穿刺針による穿刺可能となる距離としてもよい。
「特定の距離」とは、内視鏡に取り付けられた穿刺針により、関心領域の穿刺を行うことが可能となる距離、すなわち穿刺針の稼動範囲となる距離である。具体的には、穿刺針の先端の数ミリ程度が関心領域に穿刺されれば、組織のサンプルを採取することができるため、特定の距離は、穿刺針の長さから数ミリ程度短い距離とすることが考えられる。
また、本発明による内視鏡画像診断支援装置においては、特定点を、関心領域の生検を行うための施術前に設定された点としてもよい。
また、特定点を、関心領域の生検を行うための施術中に設定された点としてもよい。
また、表示制御手段を、第1の投影像および第2の投影像の少なくとも一方の表示および非表示を切り替え可能な手段としてもよい。
また、画像取得手段を実内視鏡画像を取得する手段とし、
3次元画像から仮想内視鏡画像を生成する仮想内視鏡画像生成手段をさらに備えるものとしてもよい。
また、管腔状臓器内に挿入された内視鏡の先端の位置を検出する位置検出手段をさらに備えるものとしてもよい。
また、3次元画像から関心領域を抽出する関心領域抽出手段をさらに備えるものとしてもよい。
本発明による内視鏡画像診断支援システムは、内視鏡と、
内視鏡により被検体の3次元画像に含まれる管腔状臓器の内面を撮影することにより、管腔状臓器の内面を表す実内視鏡画像を生成する実内視鏡画像生成手段と、
本発明による内視鏡画像診断支援装置とを備えたことを特徴とするものである。
本発明による内視鏡画像診断支援方法は、被検体の3次元画像に含まれる管腔状臓器を抽出し、
管腔状臓器内に挿入された内視鏡を用いて撮影を行うことにより生成された、管腔状臓器の内壁を表す実内視鏡画像、および3次元画像から生成された、内視鏡の先端に対応する3次元画像中の位置から見た管腔状臓器の内壁を表す仮想内視鏡画像を取得し、
3次元画像を用いて、管腔状臓器の内部に設定された特定点を基準として、管腔状臓器の内壁に、管腔状臓器に関連する関心領域を投影した第1の投影像を生成し、かつ内視鏡の先端を基準として、管腔状臓器の内壁に関心領域を投影した第2の投影像を生成し、
実内視鏡画像および仮想内視鏡画像の少なくとも一方に第1および第2の投影像を重畳させて表示手段に表示することを特徴とするものである。
なお、本発明による内視鏡画像診断支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明によれば、3次元画像から、管腔状臓器内部に設定された特定点を基準として、管腔状臓器の内壁に関心領域を投影した第1の投影像が生成され、内視鏡の先端を基準として、管腔状臓器の内壁に関心領域を投影した第2の投影像が生成される。そして、実内視鏡画像および仮想内視鏡画像の少なくとも一方に第1および第2の投影像が重畳されて表示手段に表示される。
ここで、第1の投影像は特定点を基準として、管腔状臓器の内壁に関心領域を投影することにより生成され、第2の投影像は、内視鏡の先端を基準として、管腔状臓器の内壁に関心領域を投影することにより生成される。このため、実内視鏡画像および仮想内視鏡画像の少なくとも一方に重畳される第1の投影像と第2の投影像との間隔は、特定点と内視鏡の先端との距離を表すものとなる。これにより、内視鏡を管腔状臓器内において特定点へ向けて移動させると、第1の投影像と第2の投影像との間隔が徐々に小さくなる。したがって、本発明によれば、第1の投影像と第2の投影像との間隔により、内視鏡の先端と特定点との距離、さらには関心領域との距離を容易に把握することができる。
また、第1の投影像と第2の投影像とが重なるように内視鏡を移動させることにより、内視鏡の先端を特定点と精度よく一致させることができる。このため、管腔状臓器内のより好ましい位置において、関心領域の穿刺を行って、関心領域の組織のサンプルを採取することができる。
本発明の実施形態による内視鏡画像診断支援装置を適用した、内視鏡画像診断支援システムの概要を示すハードウェア構成図 内視鏡の先端の拡大図 ワークステーションに内視鏡画像診断支援プログラムをインストールすることにより実現された内視鏡画像診断支援装置の概略構成を示す図 気管支と関心領域との位置関係を模式的に示す図 第1の投影像の生成を説明するための図 投影像の強調の例を説明するための図 投影像の強調の他の例を説明するための図 本実施形態において行われる処理を示すフローチャート ナビゲーション画像の例を示す図 ナビゲーション画像の他の例を示す図 ナビゲーション画像のさらに他の例を示す図
以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の実施形態による内視鏡画像診断支援装置を適用した、内視鏡画像診断支援システムの概要を示すハードウェア構成図である。図1に示すように、このシステムでは、内視鏡装置3、3次元画像撮影装置5、画像保管サーバ6、および内視鏡画像診断支援装置8とが、ネットワーク9を経由して通信可能な状態で接続されている。
内視鏡装置3は、被検体の管腔状臓器の内部を撮影する内視鏡スコープ31、撮影により得られた信号に基づいて管腔状臓器の内部の画像を生成するプロセッサ装置32、並びに内視鏡スコープ31の先端の位置および向きを検出する位置検出装置34等を備える。
内視鏡スコープ31は、操作部3Aに管腔状臓器内に挿入される挿入部が連続して取り付けられたものであり、プロセッサ装置32に着脱可能に接続されたユニバーサルコードを介してプロセッサ装置32に接続されている。操作部3Aは、挿入部の先端3Bが所定の角度範囲内で上下方向および左右方向に湾曲するように動作を指令したり、後述する穿刺針を操作して組織のサンプルの採取を行ったりするための各種ボタンを含む。本実施形態では、内視鏡スコープ31は気管支用の軟性鏡であり、被検体の気管支内に挿入される。そして、プロセッサ装置32に設けられた不図示の光源装置から光ファイバーで導かれた光が内視鏡スコープ31の挿入部の先端3Bから照射され、内視鏡スコープ31の撮像光学系により被検体の気管支内の画像が取得される。なお、内視鏡スコープ31の挿入部の先端3Bについて、説明を容易なものとするために、以降の説明においては内視鏡の先端3Bと称するものとする。
図2は内視鏡の先端3Bの拡大図である。図2に示すように、内視鏡の先端3Bには、撮像レンズ35および撮像レンズ35に入射する気管支内壁の像を、プロセッサ装置32に案内するための光ファイバ36が設けられている。また、気管支に関連する関心領域の組織の生検を行うために、関心領域を穿刺して組織のサンプルを採取する穿刺針37が取り付けられている。穿刺針37は、操作部3Aの操作により、矢印A方向に往復移動可能に先端3Bに取り付けられている。オペレータは、気管支内に設定された特定点に向けて内視鏡スコープ31の挿入部を移動する。そして特定点において操作部3Aを操作することにより、内視鏡の先端3Bから、穿刺針37を関心領域に向けて進出させて関心領域を穿刺する。そしてこれにより、関心領域の組織のサンプルを採取することができる。
位置検出装置34は、被検体の体内における内視鏡の先端3Bの位置および向きを検出するものである。具体的には、被検体の特定部位の位置を基準点とした3次元座標系の検出領域を有するエコー装置により、内視鏡の先端3Bの特徴的な形状を検出することで、被検体の体内における内視鏡の先端3Bの相対的な位置および向きを検出し、検出した先端3Bの位置および向きの情報をプロセッサ装置32に供給するものである(例えば、特開2006−61274号公報参照)。検出した先端3Bの位置および向きは、撮影して得られた内視鏡画像の視点および視線方向に該当する。
プロセッサ装置32は、内視鏡スコープ31で撮影された撮影信号をデジタル画像信号に変換し、ホワイトバランス調整およびシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像T0を生成する。なお、プロセッサ装置32が実内視鏡画像生成手段に対応する。内視鏡画像T0は、位置検出装置34により検出されたその撮影時における先端3Bの位置および向きの情報が付帯情報として付加され、画像保管サーバ6あるいは内視鏡画像診断支援装置8に送信される。
3次元画像撮影装置5は、被検体の検査対象部位を撮影することにより、その部位を表す3次元画像V0を生成する装置であり、具体的には、CT装置、MRI(Magnetic Resonance Imaging )装置、PET(Positron Emission Tomography )、超音波診断装置等である。この3次元画像撮影装置5により生成された3次元画像V0は画像保管サーバ6に送信され、保存される。本実施形態では、3次元画像撮影装置5は、気管支を含む胸部を撮影した3次元画像V0を生成する。
画像保管サーバ6は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ6は、ネットワーク9を介して他の装置と通信を行い、画像データ等を送受信する。具体的には内視鏡装置3で取得された内視鏡画像T0および3次元画像撮影装置5で生成された3次元画像V0等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、内視鏡画像T0は、内視鏡の先端3Bの移動に応じて撮影される動画像データとなる。このため、内視鏡画像T0は、画像保管サーバ6を経由することなく、内視鏡画像診断支援装置8に送信されることが好ましい。なお、画像データの格納形式やネットワーク9経由での各装置間の通信は、DICOM(Digital Imaging and COmmunication in Medicine)等のプロトコルに基づいている。
内視鏡画像診断支援装置8は、1台のコンピュータに、本発明の内視鏡画像診断支援プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションあるいはパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。内視鏡画像診断支援プログラムは、DVD、CD−ROM等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図3は、ワークステーションに内視鏡画像診断支援プログラムをインストールすることにより実現された内視鏡画像診断支援装置の概略構成を示す図である。図3に示すように、内視鏡画像診断支援装置8は、標準的なワークステーションの構成として、CPU81、メモリ82およびストレージ83を備えている。また、内視鏡画像診断支援装置8には、本発明の表示手段であるディスプレイ84と、マウス等の入力装置85とが接続されている。
ストレージ83には、ネットワーク9を経由して内視鏡装置3、3次元画像撮影装置5および画像保管サーバ6等から取得した実内視鏡画像T0、3次元画像V0および内視鏡画像診断支援装置8での処理によって生成された画像等が記憶されている。
また、メモリ82には、内視鏡画像診断支援プログラムが記憶されている。内視鏡画像診断支援プログラムは、CPU81に実行させる処理として、内視鏡装置3が取得した実内視鏡画像T0および3次元画像撮影装置5が取得した3次元画像V0の画像取得処理、管腔状臓器および関心領域の抽出処理、3次元画像V0からの仮想内視鏡画像生成処理、投影像生成処理、並びに表示制御処理を規定している。そして、CPU81がプログラムに従いこれらの処理を実行することで、汎用のワークステーションは、画像取得部71、気管支抽出部72、関心領域抽出部73、仮想内視鏡画像生成部74、投影像生成部75および表示制御部76として機能する。なお、内視鏡画像診断支援装置8は、画像取得処理、管腔状臓器および関心領域の抽出処理、仮想内視鏡画像生成処理、投影像生成処理、並びに表示制御処理をそれぞれ行うCPUを備えるものであってもよい。また、気管支抽出部72が、本発明の管腔状臓器抽出手段に対応する。
画像取得部71は、内視鏡装置3により気管支内を所定の視点位置において撮影した内視鏡画像T0および3次元画像V0を取得する。ここで、以降の説明において、内視鏡装置3により撮影した内視鏡画像T0を、後述する仮想内視鏡画像と区別するために実内視鏡画像T0と称するものとする。画像取得部71は、実内視鏡画像T0および3次元画像V0が既にストレージ83に記憶されている場合には、ストレージ83から取得するようにしてもよい。実内視鏡画像T0は、気管支の内側の表面、すなわち気管支内壁を表す画像である。実内視鏡画像T0は必要に応じて表示制御部76に出力される。
気管支抽出部72は、3次元画像V0から気管支を抽出する。具体的には、気管支抽出部72は、例えば特開2010-220742号公報等に記載された手法を用いて、入力された3次元画像V0に含まれる気管支領域のグラフ構造を気管支として抽出するものである。以下、このグラフ構造の抽出方法の一例を説明する。
3次元画像V0においては、気管支の内部の画素は空気領域に相当するため低い画素値を示す領域として表されるが、気管支壁は比較的高い画素値を示す円柱あるいは線状の構造物として表される。そこで、各画素ごとに画素値の分布に基づく形状の構造解析を行って気管支を抽出する。
気管支は多段階に分岐し、末端に近づくほど気管支の径は小さくなっていく。気管支抽出部72は、異なるサイズの気管支を検出することができるように、3次元画像V0を多重解像度変換して解像度が異なる複数の3次元画像を生成し、各解像度の3次元画像ごとに検出アルゴリズムを適用することにより、異なるサイズの管状構造物を検出する。
まず、各解像度の3次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるかを判定する。ヘッセ行列は、各軸(3次元画像のx軸、y軸、z軸)方向における濃度値の2階の偏微分係数を要素とする行列であり、下式のように3×3行列となる。
任意の画素におけるヘッセ行列の固有値をλ1、λ2、λ3としたとき、固有値のうち2つの固有値が大きく、1つの固有値が0に近い場合、例えば、λ3、λ2≫λ1、λ1≒0を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値(λ1≒0)に対応する固有ベクトルが管状構造物の主軸方向に一致する。
気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍等の影響により、全ての管状構造物が繋がった1つのグラフ構造として検出されるとは限らない。そこで、3次元画像V0全体からの管状構造物の検出が終了した後、検出された各管状構造物が一定の距離内にあり、かつ抽出された2つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とがなす角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して、抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。
そして、気管支抽出部72は、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、気管支を表すグラフ構造を得ることができる。なお、グラフ構造の生成方法としては、上述した方法に限定されるものではなく、他の方法を採用するようにしてもよい。
関心領域抽出部73は、3次元画像V0から、気管支に関連する結節、腫瘍およびリンパ節等を関心領域として抽出する。ここで、関心領域抽出部73は、結節、腫瘍およびリンパ節等の関心領域の種類ごとに、3次元画像V0中の各画素がその関心領域を示す画素であるかどうかを識別する識別器を備える。識別器は、各種類の関心領域を含む複数のサンプル画像を、例えばアダブースティングアルゴリズム等の手法を用いて機械学習することにより取得される。関心領域抽出部73は、識別器を用いて、3次元画像V0から関心領域を抽出する。なお、関心領域抽出部73を、公知のコンピュータ支援診断CAD(computer-aided diagnosis)システムを備えるものとし、CADシステムを用いて関心領域を抽出するようにしてもよい。また、オペレータがその3次元画像V0を読影して発見した関心領域の位置を、入力装置85を用いて入力したものを受けて、関心領域を抽出するようにしてもよい。
仮想内視鏡画像生成部74は、3次元画像V0から、実内視鏡画像T0の視点に対応する3次元画像V0中の視点から見た、気管支内壁を描写した仮想内視鏡画像K0を生成する。具体的には、仮想内視鏡画像生成部74は、まず実内視鏡画像T0に付帯された先端3Bの位置および向き、すなわち実内視鏡画像T0の視点および視線方向の情報を取得する。また、気管支の内壁の形状が忠実に描写されるよう、気管支の内壁の画素に、一般的なボリュームレンダリングにおいて与えられる不透明度として1に近い値を与える。なお、不透明度は0〜1の値により定義されるものとする。そして、位置Pに対応する3次元画像V0中の位置を視点として、その視点から放射状に伸ばした複数の視線上の画像情報を、向きに対応する方向を投影方向の中心とした投影面に投影した投影画像を3次元画像V0から生成する。投影の具体的な方法としては、例えば、公知のボリュームレンダリング手法等を用いる。以上の処理により、生成される投影画像は、実内視鏡画像T0と同一の構図を有する仮想内視鏡画像K0となる。仮想内視鏡画像K0は、必要に応じて表示制御部76に出力される。
投影像生成部75は、3次元画像V0を用いて、気管支内部に設定された特定点を基準として、気管支内壁に関心領域を投影した第1の投影像を生成し、かつ内視鏡の先端3Bの位置を基準として、気管支内壁に関心領域を投影した第2の投影像を生成する。まず、第1の投影像の生成について説明する。
まず、投影像生成部75は、操作者による入力装置85を用いての特定点の設定を受け付ける。特定点とは、内視鏡の先端3Bに設けられた穿刺針37により、関心領域の穿刺を行うのに好ましい気管支内部の地点であり、オペレータにより予め設定される。例えば、オペレータは、内視鏡を用いた生検の施術前に、3次元画像V0に含まれる肺野領域をディスプレイ84にボリュームレンダリング表示等して、気管支に関連する関心領域、すなわち腫瘍、結節およびリンパ節等を特定する。
図4は気管支と関心領域との位置関係を模式的に示す図である。図4に示すように、関心領域91は気管支90の外側であって、気管支90に隣接して存在する。このため、オペレータは、ディスプレイ84に表示された画像を見ながら、穿刺針37の稼動範囲、内視鏡の先端3Bの湾曲可能な角度範囲等を考慮して、穿刺針37を最も効率よく関心領域に到達させることができる位置を特定点に設定する。例えば、図4に示す点P0を特定点に設定する。なお、特定点P0の位置は、位置検出装置34が用いた、被検体の特定部位の位置を基準点とした3次元座標により表される。このように設定された特定点の情報、すなわち特定点の3次元座標は、ストレージ83に保存される。投影像生成部75はストレージ83から特定点の位置の情報を取得する。
次に投影像生成部75は、特定点P0を基準として関心領域91を気管支内壁に投影した第1の投影像を生成する。図5は第1の投影像の生成を説明するための図である。図5に示すように、投影像生成部75は、特定点P0から関心領域91の表面を構成する各画素に至る投影線、および投影線と気管支90の内壁面92との交点を求める。そして、関心領域91を交点に投影することにより第1の投影像R1を取得する。
続いて、投影像生成部75は、第2の投影像R2を生成する。なお、第2の投影像R2の生成は、第1の投影像R1を生成する際の基準位置が特定点P0ではなく、内視鏡の先端3Bの位置、すなわち実内視鏡画像T0の視点である点を除いて、第1の投影像R1の生成と同一であるため、ここでは詳細な説明は省略する。
表示制御部76は、気管支内部のナビゲーション画像に第1および第2の投影像R1,R2を重畳してディスプレイ84に表示する。ナビゲーション画像は、内視鏡を特定点P0、すなわち穿刺を行う位置まで導くための画像であり、実内視鏡画像T0および仮想内視鏡画像K0の少なくとも一方から生成される。なお、本実施形態においては、仮想内視鏡画像K0をナビゲーション画像として用いるものとするが、実内視鏡画像T0をナビゲーション画像として用いてもよい。また、実内視鏡画像T0および仮想内視鏡画像K0を並べてナビゲーション画像を生成してもよく、実内視鏡画像T0および仮想内視鏡画像K0を重畳してナビゲーション画像を生成してもよい。なお、ナビゲーション画像が実内視鏡画像T0および仮想内視鏡画像K0を並べたものである場合、第1および第2の投影像R1,R2は、実内視鏡画像T0および仮想内視鏡画像K0のいずれか一方のみに重畳してもよく、双方に重畳してもよい。
また、入力装置85からの指示により、ナビゲーション画像G1において、仮想内視鏡画像K0、実内視鏡画像T0、仮想内視鏡画像K0と実内視鏡画像T0とを並べたもの、および仮想内視鏡画像K0と実内視鏡画像T0とを重畳したものを切り替えられるようにしてもよい。
なお、第1の投影像R1と第2の投影像R2とを区別するために、表示制御部76は、第1および第2の投影像R1,R2を、それぞれ異なる画素値を有するように表示することが好ましい。この場合、第1の投影像R1を青色、第2の投影像R2を赤色となるように表示してもよい。また、画素値のみならず、第1および第2の投影像R1,R2とで輪郭線の種類を、例えば破線と実線というように異なるものとしてもよく、第1および第2の投影像R1,R2のそれぞれに異なる模様を付与して表示するようにしてもよい。
また、第1および第2の投影像R1,R2を生成する際の、基準となる位置と関心領域91の表面との距離である投影距離に応じて、第1および第2の投影像R1,R2を強調して表示してもよい。例えば、第1の投影像R1に関して、図6に示すように、投影距離が小さいほど、段階的に第1の投影像R1の色の濃度を大きくするようにしてもよい。逆に、投影距離が小さいほど、段階的に第1の投影像R1の濃度を小さくするようにしてもよい。なお、図6においては投影距離を4段階に分け、投影距離が小さいほど大きい濃度となる4段階の濃度により第1の投影像R1が表されている。
また、図7に示すように、投影距離が小さいほど、徐々に第1の投影像R1の濃度を濃くするようにしてもよい。また、投影距離が小さいほど、第1の投影像R1の輪郭線が太くあるいは濃くなるように第1の投影像R1を生成してもよい。さらに、また、投影距離が小さいほど、第1の投影像R1の不透明度が1に近づくように第1の投影像R1を表示してもよい。
また、表示制御部76は、内視鏡の先端3Bの位置の情報を位置検出装置34から取得し、先端3Bの位置と特定点P0との距離が特定の距離以下となった場合に、特定の距離より大きい場合よりも、第1および第2の投影像R1,R2を強調して表示してもよい。具体的には、不透明度が0から1の間の値で定義される場合、先端3Bと特定点P0との距離が特定の距離より大きい場合には、第1および第2の投影像R1,R2の不透明度を、例えば0.5以下となるように小さい値とし、特定の距離以下となった場合に、第1および第2の投影像R1,R2の不透明度を1に近い値とすればよい。これにより、先端3Bと特定点P0との距離が特定の距離より大きい場合には、第1および第2の投影像R1,R2は透明に見え、特定の距離以下の場合には、第1および第2の投影像R1,R2は不透明に見えることとなる。
この場合、第1および第2の投影像R1,R2の双方を強調して表示してもよいが、第1の投影像R1のみ、あるいは第2の投影像R2のみを強調して表示してもよい。
なお、先端3Bの位置と特定点P0との距離が小さくなるほど、不透明度を大きくするようにしてもよい。また、不透明度のみならず、先端3Bの位置と特定点P0との距離が特定の距離以下となった場合に、輪郭線を太くしたり輪郭線の種類を変更したりして第1および第2の投影像R1,R2を強調表示してもよい。また、第1および第2の投影像R1,R2の色をそれまでとは異なるものとなるように変更したり、色の濃度を大きくしたりすることにより、第1および第2の投影像R1,R2を強調表示してもよい。本実施形態においては、内視鏡の先端3Bと特定点P0との距離が特定の距離より大きい場合に不透明度を0.5程度の第1の不透明度に設定し、特定の距離以下となった場合に、1に近い第2の不透明度に設定するものとして説明する。
ここで、特定の距離としては、穿刺針37により関心領域91の穿刺を行うことが可能となる距離である。具体的には、穿刺針37の先端の数ミリ程度が関心領域に穿刺されれば、組織のサンプルを採取できるため、特定の距離は、穿刺針の長さから数ミリ程度短い距離とすることが考えられる。
なお、表示制御部76において、投影距離に応じて第1および第2の投影像R1,R2を強調して表示するのに代えて、投影像生成部75において、投影距離に応じて強調された第1および第2の投影像R1,R2を生成してもよい。この場合、表示制御部76は、強調された第1および第2の投影像R1,R2をナビゲーション画像に重畳して表示すればよいこととなる。
次いで、本実施形態において行われる処理について説明する。図8は本実施形態において行われる処理を示すフローチャートである。なお、3次元画像V0は画像取得部71により取得されてストレージ83に保存されているものとする。また、気管支抽出部72により3次元画像V0から気管支が抽出され、関心領域抽出部73により3次元画像V0から関心領域が抽出され、その情報がストレージ83に保存されているものとする。また、特定点P0はオペレータにより設定され、特定点P0の情報がストレージ83に保存されているものとする。
オペレータによる処理開始の指示が入力装置5からなされると、画像取得部71が実内視鏡画像T0を取得する(ステップST1)。そして、仮想内視鏡画像生成部74が、実内視鏡画像T0の視点に対応する仮想内視鏡画像K0を生成する(ステップST2)。さらに、投影像生成部75が、気管支内部に設定された特定点を基準として、気管支内壁に関心領域を投影した第1の投影像R1を生成し(ステップST3)、内視鏡の先端3Bの位置を基準として、気管支内壁に関心領域を投影した第2の投影像を生成する(ステップST4)。なお、第1の投影像R1は、内視鏡の先端3Bの位置に応じて変化するものではないため、予め生成してストレージ83に保存しておくようにしてもよい。
次いで、表示制御部76は、仮想内視鏡画像K0をナビゲーション画像として生成する(ステップST5)。続いて、表示制御部76は、先端3Bの位置と特定点P0との距離を算出し、算出した距離が特定の距離以下となったか否かを判定する(ステップST6)。ステップST6が否定されると、表示制御部76は第1および第2の投影像R1,R2の不透明度を第1の不透明度に設定し(ステップST7)、設定された第1の不透明度により、第1および第2の投影像R1,R2をナビゲーション画像に重畳して、ディスプレイ84に表示し(ステップST8)、ステップST1にリターンする。
一方、ステップST6が肯定されると、表示制御部76は第1および第2の投影像R1,R2の不透明度を第2の不透明度に設定し(ステップST9)、設定された第2の不透明度により、第1および第2の投影像R1,R2をナビゲーション画像に重畳して、ディスプレイ84に表示し(ステップST8)、ステップST1にリターンする。
以下、本実施形態においてディスプレイ84に表示されるナビゲーション画像について説明する。図9〜図11は、ナビゲーション画像の例を示す図である。内視鏡の先端3Bが特定点から離れている場合、内視鏡の先端3Bから特定点P0を臨むことができないため、図9に示すように、ナビゲーション画像G1には、第1の投影像R1は表示されず、第2の投影像R2のみが表示されている。また、第2の投影像R2の不透明度は第1の不透明度となっている。なお、図9においては、第2の投影像R2の輪郭を破線とすることにより、第2の投影像R2の不透明度が第1の不透明度であることを示している。
さらに、内視鏡を特定点に向けて進め、内視鏡の先端3Bから特定点が臨めるようになると、第1の投影像R1がナビゲーション画像G1に表示され、さらに内視鏡の先端3Bと特定点P0との距離が特定の値以下となると、図10に示すように、ナビゲーション画像G1には、第1および第2の投影像R1,R2がそれぞれ第2の不透明度にて表示される。また、ナビゲーション画像における第1および第2の投影像R1,R2との間隔に基づいて、オペレータは内視鏡の先端3Bと特定点P0との距離を容易に認識することができる。
さらに、内視鏡の先端3Bが特定点P0に近づくと、図11に示すように、ナビゲーション画像G1において、第1および第2の投影像R1,R2が重なるようになる。そして、第1および第2の投影像R1,R2の位置を一致させることにより、内視鏡の先端3Bを特定点P0に到達させることができる。
この状態において、オペレータは内視鏡スコープ31の操作部3Aを操作して、穿刺針37を関心領域91に穿刺して、関心領域91の組織のサンプルを採取することができる。ここで、本実施形態においては、第1および第2の投影層R1,R2は、関心領域91の表面と特定点P0または内視鏡の先端3Bとの距離に応じて強調表示されている。このため、第1および第2の投影像R1,R2における最も強調された部分を狙って穿刺を行うことにより、より少ない移動量により穿刺針76を関心領域91に到達させることができるため、より容易に関心領域91の組織のサンプルを採取することができる。
なお、穿刺を行う際には、穿刺の状態を確認するために、ナビゲーション画像G1を、仮想内視鏡画像K0から実内視鏡画像T0に切り替えるようにしてもよい。また、穿刺を行うための操作部3Aの操作を受けて、ナビゲーション画像G1を仮想内視鏡画像K0から実内視鏡画像T0に切り替えられるようにすることが好ましい。
このように、本実施形態においては、気管支の内部に設定された特定点P0を基準とした第1の投影像R1、および内視鏡の先端3Bを基準とした第2の投影像R2を生成し、ナビゲーション画像G1に第1および第2の投影像R1,R2を重畳して表示するようにしたものである。このため、ナビゲーション画像G1に表示される第1の投影像R1と第2の投影像R2との間隔は、特定点P0と内視鏡の先端3Bとの距離を表すものとなる。これにより、穿刺を行う際に、内視鏡を気管支内において特定点P0へ向けて移動させると、第1の投影像R1と第2の投影像R2との間隔が徐々に小さくなる。したがって、本実施形態によれば、第1の投影像R1と第2の投影像R2との間隔により、内視鏡の先端3Bと特定点P0との距離、さらには関心領域91との距離を容易に把握することができる。
また、第1の投影像R1と第2の投影像R2とが重なるように内視鏡を移動させることにより、内視鏡の先端3Bを特定点P0と精度よく一致させることができる。このため、気管支内のより好ましい位置において、穿刺を行うことができる。
なお、上記実施形態においては、生検を行うための施術前に特定点を設定しているが、施術中に特定点P0を設定してもよい。この場合、設定した特定点P0に対して改めて第1の投影像R1が生成されることとなる。
また、上記実施形態においては、第1および第2の投影像R1,R2をナビゲーション画像G1に重畳して表示しているが、入力装置85からの指示により、第1および第2の投影像R1,R2の表示および非表示を切り替えられるようにしてもよい。これにより、オペレータが所望とするように、ナビゲーション画像に第1および第2の投影像R1,R2を重畳して表示することができる。
なお、上記実施形態においては、内視鏡画像診断支援装置8が仮想内視鏡画像生成部74を備えているが、外部の装置において仮想内視鏡画像K0を生成するようにし、画像取得部71により実内視鏡画像T0および仮想内視鏡画像K0の双方を取得するようにしてもよい。この場合、内視鏡画像診断支援装置8には、仮想内視鏡画像生成部74は不要となる。
また、上記実施形態においては、本発明の内視鏡画像診断支援装置を気管支の観察に適用した場合について説明したが、これに限定されるものではなく、大腸、小腸、食道および血管等の他の管腔状臓器を内視鏡により観察する場合にも、本発明を適用できる。
また、上記実施形態においては、投影距離に応じて第1および第2の投影像R1,R2を強調して表示しているが、第1および第2の投影像R1,R2の投影位置と関心領域91の表面との距離に応じて、第1および第2の投影像R1,R2を強調して表示してもよい。この場合、投影位置と関心領域91の表面との距離としては、例えば投影位置の中心から関心領域91の表面までの距離としてもよく、関心領域の表面と投影位置における各投影点との距離の平均値としてもよい。
以下、本発明の実施態様の作用効果について説明する。
第1の投影像を、特定点または第1の投影像の投影位置と関心領域の表面との距離に応じて強調されてなるものとすることにより、特定点から見た関心領域表面までの距離の把握が容易となる。このため、内視鏡先端を特定点と一致させて穿刺を行う際に、特定点からできるだけ近い位置にある関心領域の表面に向けて穿刺を行うことができる。したがって、穿刺針の移動量が小さくなり、これにより穿刺を容易に行うことができる。
また、第2の投影像を、内視鏡の先端または第2の投影像と関心領域の表面との距離に応じて強調されてなるものとすることにより、内視鏡の先端から見た関心領域表面までの距離の把握が容易となる。このため、内視鏡先端を特定点と一致させて穿刺を行う際に、特定点からできるだけ近い位置にある関心領域の表面に向けて穿刺を行うことができる。したがって、穿刺針の移動量が小さくなり、これにより穿刺を容易に行うことができる。
また、第1および第2の投影像の少なくとも一方を、内視鏡の先端と特定点とが特定の距離以下となった場合に、特定の距離より大きい場合よりも強調されてなるものとすることにより、穿刺を行う際に、内視鏡の先端が特定点に近づいたことを容易に認識することができる。
また、第1の投影像および第2の投影像の少なくとも一方の表示および非表示を切り替え可能とすることにより、オペレータが所望とするように第1および第2の投影像をナビゲーション画像に重畳して表示することができる。
3 内視鏡装置
5 3次元画像撮影装置
6 画像保管サーバ
8 内視鏡画像診断支援装置
34 位置検出装置
71 画像取得部
72 気管支抽出部
73 関心領域抽出部
74 仮想内視鏡画像生成部
75 投影像生成部
76 表示制御部
81 CPU
82 メモリ
83 ストレージ
84 ディスプレイ
85 入力装置

Claims (16)

  1. 被検体の3次元画像に含まれる管腔状臓器を抽出する管腔状臓器抽出手段と、
    前記管腔状臓器内に挿入された内視鏡を用いて撮影を行うことにより生成された、該管腔状臓器の内壁を表す実内視鏡画像、および前記3次元画像から生成された、前記内視鏡の先端に対応する前記3次元画像中の位置から見た前記管腔状臓器の内壁を表す仮想内視鏡画像を取得する画像取得手段と、
    前記3次元画像を用いて、前記管腔状臓器の内部に設定された特定点を基準として、前記管腔状臓器の内壁に、該管腔状臓器に関連する関心領域を投影した第1の投影像を生成し、かつ前記内視鏡の先端を基準として、前記管腔状臓器の内壁に前記関心領域を投影した第2の投影像を生成する投影像生成手段と、
    前記実内視鏡画像および前記仮想内視鏡画像の少なくとも一方に前記第1および前記第2の投影像を重畳させて表示手段に表示する表示制御手段とを備えたことを特徴とする内視鏡画像診断支援装置。
  2. 前記第1の投影像は、前記特定点または該第1の投影像の投影位置と前記関心領域の表面との距離に応じて強調されてなる請求項1記載の内視鏡画像診断支援装置。
  3. 前記第1の投影像は、該第1の投影像の輪郭線、不透明度および色の少なくとも1つを変更することにより強調されてなる請求項2記載の内視鏡画像診断支援装置。
  4. 前記第2の投影像は、前記内視鏡の先端または該第2の投影像の投影位置と前記関心領域の表面との距離に応じて強調されてなる請求項1から3のいずれか1項記載の内視鏡画像診断支援装置。
  5. 前記第2の投影像は、該第2の投影像の輪郭線、不透明度および色の少なくとも1つを変更することにより強調されてなる請求項4記載の内視鏡画像診断支援装置。
  6. 前記第1および前記第2の投影像の少なくとも一方は、前記内視鏡の先端と前記特定点とが特定の距離以下となった場合に、該特定の距離より大きい場合よりも強調されてなる請求項1から5のいずれか1項記載の内視鏡画像診断支援装置。
  7. 前記特定の距離は、前記関心領域の穿刺を行うために前記内視鏡の先端に取り付けられた穿刺針による穿刺可能となる距離である請求項6記載の内視鏡画像診断支援装置。
  8. 前記特定点は、前記関心領域の生検を行うための施術前に設定された点である請求項1から7のいずれか1項記載の内視鏡画像診断支援装置。
  9. 前記特定点は、前記関心領域の生検を行うための施術中に設定された点である請求項1から7のいずれか1項記載の内視鏡画像診断支援装置。
  10. 前記表示制御手段は、前記第1の投影像および前記第2の投影像の少なくとも一方の表示および非表示を切り替え可能な手段である請求項1から9のいずれか1項記載の内視鏡画像診断支援装置。
  11. 前記画像取得手段は、前記実内視鏡画像を取得する手段であり、
    前記3次元画像から前記仮想内視鏡画像を生成する仮想内視鏡画像生成手段をさらに備えた請求項1から10のいずれか1項記載の内視鏡画像診断支援装置。
  12. 前記管腔状臓器内に挿入された前記内視鏡の先端の位置を検出する位置検出手段をさらに備えた請求項1から11のいずれか1項記載の内視鏡画像診断支援装置。
  13. 前記3次元画像から前記関心領域を抽出する関心領域抽出手段をさらに備えた請求項1から12のいずれか1項記載の内視鏡画像診断支援装置。
  14. 内視鏡と、
    前記内視鏡により被検体の3次元画像に含まれる管腔状臓器の内面を撮影することにより、該管腔状臓器の内面を表す実内視鏡画像を生成する実内視鏡画像生成手段と、
    請求項1から13のいずれか1項記載の内視鏡画像診断支援装置とを備えたことを特徴とする内視鏡画像診断支援システム。
  15. 管腔状臓器抽出手段が、被検体の3次元画像に含まれる管腔状臓器を抽出し、
    画像取得手段が、前記管腔状臓器内に挿入された内視鏡を用いて撮影を行うことにより生成された、該管腔状臓器の内壁を表す実内視鏡画像、および前記3次元画像から生成された、前記内視鏡の先端に対応する前記3次元画像中の位置から見た前記管腔状臓器の内壁を表す仮想内視鏡画像を取得し、
    投影画像生成手段が、前記3次元画像を用いて、前記管腔状臓器の内部に設定された特定点を基準として、前記管腔状臓器の内壁に、該管腔状臓器に関連する関心領域を投影した第1の投影像を生成し、かつ前記内視鏡の先端を基準として、前記管腔状臓器の内壁に前記関心領域を投影した第2の投影像を生成し、
    表示制御手段が、前記実内視鏡画像および前記仮想内視鏡画像の少なくとも一方に前記第1および前記第2の投影像を重畳させて表示手段に表示することを特徴とする内視鏡画像診断支援装置の作動方法。
  16. 被検体の3次元画像に含まれる管腔状臓器を抽出する手順と、
    前記管腔状臓器内に挿入された内視鏡を用いて撮影を行うことにより生成された、該管腔状臓器の内壁を表す実内視鏡画像、および前記3次元画像から生成された、前記内視鏡の先端に対応する前記3次元画像中の位置から見た前記管腔状臓器の内壁を表す仮想内視鏡画像を取得する手順と、
    前記3次元画像を用いて、前記管腔状臓器の内部に設定された特定点を基準として、前記管腔状臓器の内壁に、該管腔状臓器に関連する関心領域を投影した第1の投影像を生成し、かつ前記内視鏡の先端を基準として、前記管腔状臓器の内壁に前記関心領域を投影した第2の投影像を生成する手順と、
    前記実内視鏡画像および前記仮想内視鏡画像の少なくとも一方に前記第1および前記第2の投影像を重畳させて表示手段に表示する手順とをコンピュータに実行させることを特徴とする内視鏡画像診断支援プログラム。
JP2014164640A 2014-08-13 2014-08-13 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法 Active JP6254053B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014164640A JP6254053B2 (ja) 2014-08-13 2014-08-13 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014164640A JP6254053B2 (ja) 2014-08-13 2014-08-13 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法

Publications (2)

Publication Number Publication Date
JP2016039874A JP2016039874A (ja) 2016-03-24
JP6254053B2 true JP6254053B2 (ja) 2017-12-27

Family

ID=55540500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014164640A Active JP6254053B2 (ja) 2014-08-13 2014-08-13 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法

Country Status (1)

Country Link
JP (1) JP6254053B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018134197A (ja) * 2017-02-21 2018-08-30 株式会社日立製作所 医用手技ナビゲーションシステムおよび方法
JP6847011B2 (ja) * 2017-03-29 2021-03-24 富士フイルム株式会社 3次元画像処理装置および方法並びにプログラム
JP6955303B2 (ja) 2017-04-12 2021-10-27 富士フイルム株式会社 医用画像処理装置および方法並びにプログラム
US11026747B2 (en) * 2017-04-25 2021-06-08 Biosense Webster (Israel) Ltd. Endoscopic view of invasive procedures in narrow passages
WO2019164277A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술영상을 이용한 출혈 평가 방법 및 장치
KR102014359B1 (ko) * 2018-02-20 2019-08-26 (주)휴톰 수술영상 기반 카메라 위치 제공 방법 및 장치
WO2019164274A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 학습데이터 생성 방법 및 장치
DE112019004880T5 (de) * 2018-09-27 2021-07-01 Hoya Corporation Elektronisches endoskopsystem
WO2021054360A1 (ja) * 2019-09-20 2021-03-25 Hoya株式会社 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置
WO2022176873A1 (ja) 2021-02-22 2022-08-25 富士フイルム株式会社 医療画像処理装置、医療画像処理方法およびプログラム
WO2022176874A1 (ja) 2021-02-22 2022-08-25 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム
CN116740768B (zh) * 2023-08-11 2023-10-20 南京诺源医疗器械有限公司 基于鼻颅镜的导航可视化方法、***、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010075549A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置
JP5421828B2 (ja) * 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム

Also Published As

Publication number Publication date
JP2016039874A (ja) 2016-03-24

Similar Documents

Publication Publication Date Title
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
JP6371729B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
JP6348078B2 (ja) 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
JP6594133B2 (ja) 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
JP6967602B2 (ja) 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
JP5785120B2 (ja) 医用画像診断支援装置および方法並びにプログラム
JP7050817B2 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理装置の動作方法及びプログラム
JP6824078B2 (ja) 内視鏡位置特定装置、方法およびプログラム
US10939800B2 (en) Examination support device, examination support method, and examination support program
JP2012165838A (ja) 内視鏡挿入支援装置
JP7023196B2 (ja) 検査支援装置、方法およびプログラム
JP5554028B2 (ja) 医用画像処理装置、医用画像処理プログラム、及びx線ct装置
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
JP7148534B2 (ja) 画像処理装置、プログラム、及び内視鏡システム
JP4022192B2 (ja) 挿入支援システム
JP6199267B2 (ja) 内視鏡画像表示装置、その作動方法およびプログラム
JP7023195B2 (ja) 検査支援装置、方法およびプログラム
JP6745748B2 (ja) 内視鏡位置特定装置、その作動方法およびプログラム
JP4190454B2 (ja) 挿入支援装置
WO2022190366A1 (ja) 内視鏡用形状計測システムおよび内視鏡用形状計測方法
WO2022230160A1 (ja) 内視鏡システム、内腔構造算出システム及び内腔構造情報の作成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170428

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171129

R150 Certificate of patent or registration of utility model

Ref document number: 6254053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250