図1は、本発明の一実施例である内視鏡観察支援装置10(以下、単に支援装置10という)の構成を例示する図である。この図1に示すように、本実施例の支援装置10は、制御装置12と、映像表示装置14と、内視鏡装置16と、センサ装置18と、内視鏡本体20とを、備えて構成されている。前記制御装置12は、例えば、CPUによりRAMの一時記憶機能を利用しつつROMに予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂コンピュータである。前記映像表示装置14は、好適には、TFT(Thin Film Transistor Liquid Crystal)等の公知の表示装置(ディスプレイ)であり、出力インターフェイスを介して前記制御装置12等に接続されている。
図2は、前記内視鏡本体20の構成を概略的に説明する図である。この図2に示すように、前記内視鏡本体20は、長手管状に形成された可曲性(可撓性)の管状部22と、その管状部22における一方の端部に設けられた操作部24とを、備えて構成されている。前記管状部22は、前記操作部24に設けられた図示しないアングル(つまみ)等による操作に応じて、前記管状部22の先端部すなわち前記操作部24とは逆側の端部22aの指向する方向を自在に変化させられるように構成されている。前記管状部22には、好適には、生検鉗子をはじめとする処置具の出し入れを行うための構成である鉗子口(器具挿入チャンネル)や、空気や水を送出或いは吸引するためのパイプ等が組み込まれている。斯かる構成については、図3等を用いて後述する。
前記管状部22には、内視鏡26が設けられている。この内視鏡26は、管腔臓器の観察に用いられる公知の電子スコープ或いはファイバスコープ等であり、好適には、主に気管や気管支の観察に用いられる気管支鏡(bronchoscope)である。前記内視鏡26は、前記管状部22における前記操作部24とは逆側の端部(先端部)22aに設けられた観察部28と、その観察部28に接続されると共に前記管状部22内に設けられたケーブル部30とを、備えて構成されている。前記内視鏡26は、前記ケーブル部30を介して前記内視鏡装置16に接続される。すなわち、前記観察部28により取得された内視鏡画像が、前記ケーブル部30を介して前記内視鏡装置16延いては前記制御装置12へ供給されるように構成されている。
前記観察部28は、前記内視鏡26における画像(被検体の像)の取得部に対応し、前記管状部22の先端に相当する端部22aに設けられている。前記内視鏡26が電子スコープである場合において、前記観察部28は、CCD(Charge Coupled Device)等の撮像素子に相当する。前記内視鏡26がファイバスコープである場合において、前記観察部28は、前記管状部22内に設けられたガラス繊維(光ファイバ)に前記画像を取り入れるためのレンズ部に相当する。前記管状部22における前記観察部28の付近には、管腔臓器内における前記観察部28による観察部位を照らすための光源22b(図3を参照)が設けられている。前記内視鏡26がファイバスコープである場合においては、照明用の光を管腔臓器内に導くための別の光ファイバが前記管状部22内に組み込まれている。
前記内視鏡本体20には、超音波プローブ32が設けられている。この超音波プローブ32は、観察対象となる部位に対して超音波を放出させると共に、その超音波の反射波を受信することで、前記観察対象となる部位の超音波画像を取得する公知の装置である。前記超音波プローブ32は、前記管状部22における前記操作部24とは逆側の端部(先端部)22aに設けられた送受信部34と、その送受信部34と前記内視鏡装置16とを接続するケーブル部36とを、備えて構成されている。前記送受信部34は、前記観察対象となる部位に対して超音波を放出させると共に、その超音波の反射波を受信する装置であり、前記超音波プローブ32の本体に相当する。前記送受信部34は、前記ケーブル部36を介して前記内視鏡装置16に接続される。すなわち、前記送受信部34により取得された超音波画像が、前記ケーブル部36を介して前記内視鏡装置16延いては前記制御装置12へ供給されるように構成されている。
前記超音波プローブ32は、好適には、前記管状部22に備えられた鉗子口に相当するチャンネル22c(図3を参照)に挿通されて設けられている。すなわち、前記ケーブル部36が、前記管状部22に備えられた前記チャンネル22cに挿通されて設けられており、前記送受信部34が、前記管状部22の端部22aから突出して設けられている。前記送受信部34は、前記管状部22における前記端部22aからの突出量を変更できるように構成されている。すなわち、本実施例において、前記管状部22における端部(操作部24とは反対側の端部)22aが基端部に相当する。図3に示すように、前記送受信部34は、好適には、前記端部22aからの突出方向に長手状に構成されている。更に好適には、前記端部22aからの突出方向に軸心を有する円柱状に構成されている。前記超音波プローブ32は、好適には、前記送受信部34の、前記端部22aからの突出量を制御するアクチュエータを備えている。このアクチュエータは、前記制御装置12等からの指令に応じて前記送受信部34の突出量を自動で変更するものであってもよいし、前記操作部24に備えられたつまみ等の操作に応じて前記送受信部34の突出量を変更するものであってもよい。前記アクチュエータは、好適には、前記送受信部34を連続的に回転させつつ前記端部22aからの突出量を制御する。或いは、前記超音波プローブ32は、前記管状部22に対する挿入長を手動(手繰り)で変更することで、前記送受信部34の、前記端部22aからの突出量を、手動で変更できるように構成されたものであってもよい。
図3は、前記管状部22の端部22aの構成を概略的に示す図である。この図2に示すように、前記内視鏡本体20は、好適には、前記内視鏡26の先端部及び前記超音波プローブ32の先端部にそれぞれ磁気式位置センサ38、40を備えている。すなわち、前記内視鏡26の先端部における前記観察部28の近傍に前記磁気式位置センサ38が、前記超音波プローブ32の先端部における前記送受信部34の近傍に前記磁気式位置センサ40が、それぞれ設けられている。図3においては、前記内視鏡26の先端部に対応して設けられた磁気式位置センサ38が前記管状部22の側面に固定(外付け)された態様を示しているが、前記磁気式位置センサ38は、前記管状部22のチャンネル内等に内蔵されたものであってもよい。前記超音波プローブ32の先端部に対応して設けられた磁気式位置センサの位置も、その超音波プローブ32の先端部を好適に検出し得る位置であれば、図3に示す態様には限定されない。
前記磁気式位置センサ38、40は、好適には、磁場発生装置により発生させられる磁場(磁気信号)を検出することで各センサの位置を検出する公知の磁気式位置センサであり、前記センサ装置18に接続されている。前記センサ装置18は、図示しない磁場発生装置を備えている。前記センサ装置18においては、例えば、前記磁場発生装置から発信される磁気信号を各磁気式位置センサ38、40が受信することにより、各磁気式位置センサ38、40から例えば5次元の情報すなわち3次元の位置情報及び2次元の方向情報が取得され、前記センサ装置18を介して前記制御装置12等に供給されるようになっている。このように、前記センサ装置18は、好適には、前記内視鏡26の先端部及び前記超音波プローブ32の先端部にそれぞれ設けられた磁気式位置センサ38、40の検出結果に基づいて、前記内視鏡26の先端位置及び前記超音波プローブ32の先端位置を検出するものである。すなわち、本実施例において、前記センサ装置18は、前記内視鏡26の先端位置及び前記超音波プローブ32の先端位置を検出する先端位置検出部に相当する。前記センサ装置18は、前記磁気式位置センサ38、40により前記内視鏡26の先端位置及び前記超音波プローブ32の先端位置を直接検出するものであってもよいし、それら磁気式位置センサ38、40の検出結果に基づいて前記内視鏡26の先端位置及び前記超音波プローブ32の先端位置を算出(推定)するものであってもよい。
前記支援装置10は、前記超音波プローブ32に対応する前記磁気式位置センサ40の代替として、前記管状部22に対する前記超音波プローブ32の挿入長を検出する超音波プローブ挿入長センサ90を備えたものであってもよい。図4は、前記超音波プローブ挿入長センサ90を用いて前記超音波プローブ32の先端位置検出を行う態様における前記内視鏡本体20の構成を模式的に示す図である。前記超音波プローブ挿入長センサ90は、例えば、光学式の移動距離センサやロータリエンコーダ等の公知の非接触式挿入長センサである。前記超音波プローブ挿入長センサ90は、好適には、図4に示すように、前記管状部22に設けられた鉗子口等のチャンネル22cにおける前記操作部24側の開口部に設けられており、その開口部から前記管状部22に対する前記超音波プローブ32の挿入長(挿入長さ寸法)を検出する。
図4に示す態様において、前記センサ装置18は、好適には、前記磁気式位置センサ38の検出結果に基づいて前記内視鏡26の先端位置を検出し、その内視鏡26の先端位置及び前記超音波プローブ挿入長センサ90の検出結果に基づいて前記超音波プローブ32の先端位置を検出する。前記管状部22に設けられたチャンネル22cの長さ寸法及び前記超音波プローブ32の長さ寸法は予め求められるため、基端部に対応する前記端部22aからの前記超音波プローブ32の突出量は、前記管状部22に対する前記超音波プローブ32の挿入長に対応する。本実施例において、前記内視鏡26の先端位置は、前記管状部22の端部22aに対応する。従って、前記内視鏡26の先端位置及び前記端部22aからの前記超音波プローブ32の突出量に基づいて、前記内視鏡26の先端位置に対する相対位置としての前記超音波プローブ32の先端位置を検出することができる。
図4に破線で示すように、前記支援装置10は、更に、前記内視鏡26に対応する前記磁気式位置センサ38の代替として、被検体(観察対象となる管腔臓器)に対する前記内視鏡26(管状部22)の挿入長を検出する内視鏡挿入長センサ92を備えたものであってもよい。前記内視鏡挿入長センサ92は、例えば、内視鏡検査に際して被検体が***にくわえる内視鏡挿入補助具(マウスピース)94に装着された公知の気管支鏡挿入長センサである。掛かる態様において、前記センサ装置18は、前記内視鏡挿入長センサ92の検出結果と、前記超音波プローブ挿入長センサ90の検出結果とに基づいて、前記内視鏡26の先端位置及び前記超音波プローブ32の先端位置を検出する。
更に別の態様として、前記センサ装置18は、基端部に対応する前記端部22aからの前記超音波プローブ32の突出量そのものを検出するものであってもよい。例えば、前記送受信部34の長手方向(端部22aからの突出方向)に、例えば二次元コード等のパターンが所定間隔でマーキングされており、そのパターンを検出することで前記端部22aからの前記超音波プローブ32(送受信部34)の突出量を検出するものであってもよい。或いは、前記内視鏡26により取得される内視鏡画像に含まれる、前記端部22aから突出する前記超音波プローブ32(送受信部34)の像を解析することにより、前記端部22aからの前記超音波プローブ32の突出量を算出(推定)する等の態様も考えられる。
図1に示すように、前記制御装置12は、記憶部42を備えている。この記憶部42は、好適には、情報を記憶可能なハードディスクドライブ等の公知の記憶装置(記憶媒体)である。小型メモリカードや光ディスク等の着脱式記憶媒体であってもよい。前記記憶部42には、画像データベース44及び臓器データベース46等の各種データベースが設けられている。前記画像データベース44には、公知のX線CT(Computed Tomography)装置や磁気共鳴(MRI;Magnetic Resonance Imaging)装置等によって予め得られた被検体の3次元画像データが記憶される。この3次元画像データは、X線CTにより得られたものにおいては、被検体に対して多方向からX線を照射し、被検体を透過してきたX線を検出器で検出して、透過X線量の情報をコンピュータで処理して3次元画像として再構成したものである。前記画像データベース44には、例えば、X線CTや磁気共鳴装置等により得られた被検体の3次元濃淡画像、換言すれば被検体の単位体積であるボクセル毎の画素値(濃度値)が記憶される。前記画像データベース44には、X線CTや磁気共鳴装置等により得られた管腔臓器の3次元画像データが記憶される。好適には、X線CTや磁気共鳴装置等により得られた気管支の3次元画像データが記憶される。
前記臓器データベース46は、観察対象である被検体の前記管腔臓器に関する各種情報を格納する。好適には、木構造をなす臓器の一例として、被検体の気管支に関する各種情報を格納する。例えば、前記臓器データベース46は、被検体の気管支に関する情報として、気管支においてそれぞれ所定の解剖学的名称で識別される複数の部位それぞれに対応して、各部位の解剖学的名称情報、各部位の走行方向、長さ、断面積等の特徴情報を格納する。
本実施例の支援装置10は、被検体の管腔臓器に関して予めX線CTや磁気共鳴装置等により得られた前記3次元画像データに基づいて、その管腔臓器内に挿入された前記内視鏡26及び超音波プローブ32による観察を支援する制御を行う。好適には、気管支等の木構造をなす臓器に対応する前記3次元仮想画像を生成すると共に、その3次元仮想画像の観察を支援する。好適には、気管支の3次元画像データに基づいて、その気管支内に挿入された前記内視鏡26及び超音波プローブ32による観察を支援する制御を行う。すなわち、前記内視鏡26及び超音波プローブ32による所定の気管支の観察に際して、その気管支に対応して予め得られて前記画像データベース44に記憶された3次元画像データを読み出し、その3次元画像データに基づいて後述する制御を行うことにより、その気管支内に挿入された前記内視鏡26及び超音波プローブ32による観察を支援する。或いは、大腸、小腸、十二指腸、胃、胆管、膵管、リンパ管等の管腔臓器(中空臓器)に対応する3次元仮想画像の観察及び支援を行うものであってもよい。
図1に示すように、前記支援装置10は、超音波画像取得部48、CT画像データ取込部50、情報処理部52、情報抽出部60、情報融合処理部62、解剖学的名称情報表示部80、及び情報可視化部82等の制御部を備えている。これらの制御部は、好適には、何れも前記制御装置12に機能的に備えられたものであるが、各制御部が個別に複数の制御装置やコンピュータに設けられると共に相互に通信が可能に構成されたものであってもよい。前記各制御部のうち一部が前記支援装置10とは別の制御装置に備えられたものであってもよい。例えば、前記情報融合処理部62、情報可視化部82等が前記支援装置10とは別の装置(例えば、表示専用の装置)に備えられたものであってもよい。
前記超音波画像取得部48は、前記超音波プローブ32による観察位置の超音波画像を取得する。すなわち、前記超音波プローブ32の送受信部34から前記観察対象となる部位に対して超音波を放出させると共に、その超音波の反射波を受信することで、前記観察位置の超音波画像を取得する。
前記超音波画像取得部48は、前記超音波プローブ32における前記管状部22の前記端部22aからの突出量を変化させつつ前記超音波プローブ32による観察位置の超音波画像を連続的に複数取得する。好適には、前記超音波プローブ32に備えられたアクチュエータにより、前記送受信部34を連続的に回転させると共に前記端部22aからの前記送受信部34の突出量を変化させつつ、その送受信部34により超音波画像を連続的に複数取得する。換言すれば、被検体における観察対象部位に対して、前記送受信部34を連続的に回転させると共に微小に出し入れしつつ、当該部位の超音波画像を連続的に複数取得する。すなわち、被検体における観察対象部位に関して、その3次元領域について連続スキャンを行う。
前記CT画像データ取込部50は、観察対象となる前記管腔臓器に対応して予め得られて前記画像データベース44に記憶された3次元画像データを、その画像データベース44から取り込む。すなわち、前記3次元画像データを読み込んで、前記制御装置12におけるRAM等に展開する。
前記情報処理部52は、前記内視鏡装置16及びセンサ装置18から供給される情報を処理する。すなわち、前記内視鏡装置16及びセンサ装置18による被検体の観察に係る各種情報の処理を行う。このため、前記情報処理部52は、カメラ/センサ/プローブ校正部54、カメラ/超音波画像観察位置推定部56、及び管腔臓器画像作成部58を備えている。以下、各制御部の処理について説明する。
前記カメラ/センサ/プローブ校正部54は、所定のアルゴリズムに基づいて、前記内視鏡装置16及びセンサ装置18から供給される情報の校正(補正)を行う。例えば、前記内視鏡26により取得される内視鏡画像における歪みの校正等を行う。前記超音波プローブ32により取得される超音波画像における歪みの校正等を行う。前記磁気式位置センサ38、40により検出される位置ぶれの校正、磁場歪みの校正等を行う。
前記管腔臓器画像作成部58は、前記CT画像データ取込部50により取り込まれた3次元画像データに基づいて、観察対象となる前記管腔臓器の図像を作成する。例えば、前記CT画像データ取込部50により取り込まれた3次元画像データに基づいて、前記管腔臓器の3次元仮想画像を生成する。前記画像データベース44に記憶された3次元画像データは、例えば、CT装置等を用いて、X線照射器・検出器を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の3次元領域について連続スキャンを行った3次元画像データである。前記管腔臓器画像作成部58は、斯かる3次元画像データを読み出し、3次元領域の連続するスライスの断層像を積み重ねることによって臓器の3次元仮想画像を作成する。本実施例においては、観察対象となる臓器の仮想的な外形(例えば、正面側から視た外観を表す像)を示す3次元仮想画像の表示制御について説明するが、例えば管腔臓器の内部(内腔)に内視鏡を挿入して撮影を行った際の映像に対応する3次元仮想内視鏡画像を、前記3次元画像データに基づいて表示させる表示制御にも、本発明は好適に適用される。
前記情報抽出部60は、前記管腔臓器画像作成部58により作成される前記3次元仮想画像に関して、観察対象である管腔臓器に係る各種情報を抽出する。前記情報抽出部60は、例えば、それぞれ所定の解剖学的名称で識別される複数の臓器(臓器の部位)に関して、前記管腔臓器画像作成部58により生成される前記3次元仮想画像における各部が、どの臓器(臓器の部位)に対応するか識別する。好適には、前記管腔臓器画像作成部58により生成される前記3次元仮想画像における各部の走行方向、長さ、断面積等の特徴を抽出し、前記臓器データベース46に記憶された特徴情報を参照することで、対象となる部位がどの臓器に対応するか識別する。例えば、前記臓器データベース46に記憶された特徴情報に関して、走行方向、長さ、断面積等の特徴が最も近い臓器を、対象となる部位に対応する臓器として識別する。前記情報抽出部60は、前記管腔臓器画像作成部58により生成される前記臓器の3次元仮想画像を、体積領域であるVOI(Volume Of Interest:注目体積領域=以下、単にVOIと記す)により分割し、VOI内の臓器の領域情報及び構造情報を抽出すること等により、観察対象である臓器を識別するものであってもよい。
図5は、前記情報抽出部60による、被検体の肺に係る各種情報の抽出について説明する図である。この図5に示すように、前記情報抽出部60は、前記管腔臓器画像作成部58により生成される前記臓器の3次元仮想画像において、気管及び気管支に対応する部分、肺のリンパ節に対応する部分、肺の血管(動脈、静脈)に対応する部分、肺野及び肺葉に対応する部分の区分(セグメンテーション)を行う。そして、区分された気管及び気管支に対応する部分、リンパ節に対応する部分、血管に対応する部分、肺野及び肺葉に対応する部分それぞれに含まれる、解剖学的名称で識別される複数の臓器の区分を行う。以上のようにして、前記管腔臓器画像作成部58により生成される前記3次元仮想画像における各部と、被検体における肺の構造との対応付けを行う。
前記カメラ/超音波画像観察位置推定部56は、前記センサ装置18による検出結果に基づいて、前記内視鏡26による観察位置及び前記超音波プローブ32による観察位置を推定する。前記内視鏡26による観察位置は、例えば、前記観察部28のレンズ位置に対応する。前記超音波プローブ32による観察位置は、例えば、前記送受信部34における超音波の送信及び反射波の受信を行う部位(例えば、送受信部34の先端部)に対応する。前記カメラ/超音波画像観察位置推定部56は、前記管腔臓器画像作成部58により作成される3次元仮想画像における相対位置としての、前記内視鏡26による観察位置及び前記超音波プローブ32による観察位置を推定する。すなわち、本実施例においては、前記カメラ/超音波画像観察位置推定部56が、前記センサ装置16による検出結果に基づいて、前記3次元画像データに基づいて構築される前記管腔臓器の3次元画像における、前記内視鏡26による観察位置及び前記超音波プローブ32による観察位置の対応付けを行う観察位置対応付部に相当する。
前記カメラ/超音波画像観察位置推定部56は、例えば、(1)前記内視鏡26に対応する座標系、(2)前記超音波プローブ32に対応する座標系、(3)前記磁気式位置センサ38、40に対応する座標系、(4)前記3次元仮想画像に対応する座標系等、複数の座標系(例えば、それぞれ3次元の座標系)を考え、各座標系相互の変換行列を導出することで、前記内視鏡26による観察位置及び前記超音波プローブ32による観察位置の対応付けを行う。例えば、(a)前記内視鏡26に対応する座標系と前記磁気式位置センサ38に対応する座標系との変換行列、(b)前記超音波プローブ32に対応する座標系と前記磁気式位置センサ40に対応する座標系との変換行列、及び(c)前記3次元仮想画像に対応する座標系と前記磁気式位置センサ38、40に対応する座標系との変換行列を導出することで、前記内視鏡26による観察位置及び前記超音波プローブ32による観察位置の対応付けを行う。好適には、前記内視鏡26により取得される内視鏡画像の解析により得られるその内視鏡画像の特徴、前記超音波プローブ32により取得される超音波画像の解析により得られるその超音波画像の特徴、及び前記3次元仮想画像の解析により得られるその3次元仮想画像(例えば、気管支の芯線)等に基づいて、前記座標系の対応付けが行われる。この座標系の対応付けについては、「久郷 達也, 北坂 孝幸, 羅 雄彪, 森 健策, “画像情報統合に基づく超音波気管支鏡ナビゲーションシステム,”電子情報通信学会技術研究報告, Vol.111, No.47(IE2011 9-39), Page.7-12(2011.05.12)」に詳しい。
前記情報融合処理部62は、前記情報処理部52により処理された情報に関して、各種情報を融合(合成)させ、情報可視化部82を介して前記映像表示装置14に表示させる制御を行う。好適には、以下に詳述するように、前記管腔臓器画像作成部58により作成される前記管腔臓器の3次元仮想画像と、前記内視鏡26により取得される内視鏡画像と、前記超音波プローブ32により取得される超音波画像とを、前記映像表示装置14に同期して表示させる。すなわち、本実施例においては、前記情報融合処理部62が画像表示制御部として機能する。このため、前記情報融合処理部62は、挿入経路生成部64、カメラ/プローブ位置提示部66、CT像/超音波画像融合部68、経路名称表示部70、超音波画像3次元再構築部72、特定部位検出部74、特定部位画像抽出部76、及び生検目的部位表示部78を備えている。以下、各制御部の処理について説明する。
前記挿入経路生成部64は、前記管腔臓器画像作成部58により作成される前記3次元仮想画像において、前記内視鏡本体20(管状部22)が挿入される経路に対応する経路情報を生成する。例えば、前記カメラ/超音波画像観察位置推定部56による対応付けの結果に基づいて、前記3次元仮想画像において、前記内視鏡本体20が挿入される始点から、前記内視鏡26による観察位置(或いは、超音波プローブ32による観察位置)までの経路に対応する経路情報を生成する。例えば、気管支に対応する前記3次元仮想画像において、前記内視鏡本体20が挿入される始点に相当する気管の咽喉側端部から、前記内視鏡26による観察位置(或いは、超音波プローブ32による観察位置)までの経路に対応する経路情報を生成する。前記挿入経路生成部64は、好適には、後述する特定部位検出部74により検出された特定部位までの経路に対応する経路情報を生成する。例えば、前記内視鏡本体20が挿入される始点から、前記特定部位検出部74により検出された特定部位までの経路に対応する経路情報を生成する。
前記経路名称表示部70は、前記挿入経路生成部64により生成された経路情報に関する名称情報を表示させる。例えば、前記カメラ/超音波画像観察位置推定部56による対応付けの結果に基づいて、前記情報抽出部60により抽出される、前記経路情報に対応する経路上における臓器の解剖学的名称を表示させる。例えば、気管支に対応する経路情報に関して、その経路情報に対応する経路上における「Left Main Bronchus」、「Right Main Bronchus」等の気管支名称を、前記挿入経路生成部64により生成される経路情報における各臓器の対応する位置に表示させる。
前記解剖学的名称情報表示部80は、観察対象である臓器の解剖学的名称情報を生成して表示させる。例えば、観察対象である臓器の解剖学的名称に対応するテキストデータ(文字画像データ)を生成して表示させる。好適には、前記管腔臓器画像作成部58により作成される前記管腔臓器の3次元仮想画像に対して、生成されたテキストデータを合成表示させる。好適には、前記管腔臓器画像作成部58により作成される前記管腔臓器の3次元仮想画像において、前記情報抽出部60により抽出(識別)される観察対象である臓器に対応する部位に、その臓器の解剖学的名称に対応するテキストデータを合成表示させる。
前記カメラ/プローブ位置提示部66は、前記管腔臓器画像作成部58により作成される前記3次元仮想画像上に、前記内視鏡26による観察位置及び前記超音波プローブ32による観察位置を提示する。好適には、前記カメラ/超音波画像観察位置推定部56による推定結果、すなわち前記内視鏡26による観察位置及び前記超音波プローブ32による観察位置の対応付けの結果に基づいて、前記管腔臓器画像作成部58により作成される前記3次元仮想画像上に、前記内視鏡26による観察位置及び前記超音波プローブ32による観察位置を表示させる。すなわち、本実施例においては、前記カメラ/プローブ位置提示部66が観察位置表示制御部に相当する。
前記CT像/超音波画像融合部68は、前記管腔臓器画像作成部58により作成される前記3次元仮想画像と、前記超音波プローブ32により取得された超音波画像とを、合成表示させる。好適には、前記カメラ/超音波画像観察位置推定部56による推定結果、すなわち前記超音波プローブ32による観察位置の対応付けの結果に基づいて、前記管腔臓器画像作成部58により作成される前記3次元仮想画像上における、前記超音波プローブ32による観察位置に、前記超音波プローブ32により取得された超音波画像を合成表示させる。
前記超音波画像3次元再構築部72は、前記超音波画像取得部48により前記超音波プローブ32の突出量を変化させつつ取得された複数の超音波画像に基づいて、前記超音波プローブ32による観察位置の3次元画像を再構築する。例えば、前記超音波画像取得部48により取得された複数の超音波画像に基づいて、3次元領域の連続するスライスの断層像を積み重ねることによって前記観察部位の3次元仮想画像を作成する。すなわち、本実施例においては、前記超音波画像3次元再構築部72が3次元画像再構築部に相当する。
前記特定部位検出部74は、前記3次元画像データに基づいて構築される前記管腔臓器の3次元画像における特定部位を検出する。好適には、前記特定部位として、前記管腔臓器の3次元画像における病変部すなわち病変の存在が疑われる部位を検出する。好適には、前記3次元画像データに基づいて、例えば所定のCT値のボクセルの具合である等、予め定められた条件に合致すること等により前記管腔臓器における病変部の存在を検出する。例えば、被検体の気管支内腔よりも外側(気管支壁の向こう側)における肺癌をはじめとする病変部の存在を検出する。
前記特定部位画像抽出部76は、前記特定部位検出部74により検出された特定部位に関して、前記超音波画像取得部48により取得された複数の超音波画像に基づいて、前記超音波プローブ32による観察位置における前記特定部位の3次元画像を抽出する。例えば、前記超音波画像3次元再構築部72により再構築された前記超音波プローブ32による観察部位の3次元仮想画像から、前記特定部位検出部74により検出された前記特定部位に対応する3次元仮想画像を抽出する。以下、図6〜図9を参照して特定部位(病変部)の検出及びその特定部位に対応する3次元仮想画像の抽出について説明する。
図6は、前記支援装置10により生成される気管支の図像の一例を模式的に示す図である。この図6に示す図像100は、前記CT画像データ取込部50により取り込まれた3次元画像データに基づいて、前記管腔臓器画像作成部58により作成された前記内視鏡26による観察対象である管腔臓器の3次元仮想画像(外形像)に相当する。図6に示す例では、前記気管支の図像100上に、前記挿入経路生成部64により生成された経路情報に基づいて、前記気管支内に挿入される前記内視鏡26の経路102が合成されている。更に、前記内視鏡26により取得された内視鏡画像104が、前記気管支の図像100上における前記内視鏡26の観察位置に合成表示されると共に、前記挿入経路生成部64により生成された経路情報における、対応する臓器の情報が、前記経路名称表示部70により表示される様子を示している。
図7は、前記気管支の図像100に対応して検出される病変部について説明する図である。図7に示す例では、前記管腔臓器画像作成部58により作成された3次元仮想画像である前記気管支の図像100において、前記特定部位検出部74により、前記特定部位としての病変部106が検出される様子を示している。このようにして病変部106が検出された場合、前記挿入経路生成部64により、前記内視鏡本体20が挿入される始点から、前記病変部106までの経路に対応する経路情報が生成される。図7に示す例では、前記気管支の図像100上に、前記挿入経路生成部64により生成された経路情報に基づいて、前記内視鏡本体20が挿入される始点から前記病変部106までの経路108が合成されている。
図8及び図9は、前記超音波プローブ32により前記病変部106の超音波画像が取得される様子を説明する図である。前記気管支の図像100に合成された前記経路108に従って、前記気管支内に前記内視鏡26を挿通(進行)させることで、図8に示すように、前記内視鏡26の観察部28(超音波プローブ32の送受信部34)を前記病変部106まで簡便に誘導できる。ここで、前記内視鏡26では、気管支内腔よりも外側(気管支壁の向こう側)における組織の観察はできない。そこで、前記病変部106に対して、前記超音波プローブ32により超音波画像の取得が行われる。図8においては、前記超音波プローブ32により取得された超音波画像108が、前記気管支の図像100上における前記超音波プローブ32の観察位置に合成表示される様子を示している。図8に示すように、前記超音波画像108は、例えば、前記超音波プローブ32における前記送受信部34の長手方向に垂直な平面に対応する画像である。前記超音波プローブ32により取得された超音波画像108には、気管支内腔よりも外側における組織の像が含まれる。例えば、前記超音波画像108は、前記気管支に対応する像110、気管支近傍における血管に対応する像112、及び前記病変部106に対応する像114を含んでいる。
前記支援装置10においては、図9に示すように、前記超音波画像取得部48により前記超音波プローブ32における前記管状部22の端部22aからの突出量が変化させられつつ前記病変部106の超音波画像108a、108b、108c、・・・(以下、特に区別しない場合には単に超音波画像108という)が連続的に複数取得される。例えば、前記気管支における、前記病変部106近傍の細い管に対して前記超音波プローブ32が微小に出し入れされつつ、当該部位の超音波画像108が連続的に複数取得される。好適には、前記送受信部34が連続的に回転させられると共に、前記管に対して前記超音波プローブ32が微小に出し入れされつつ、当該部位の超音波画像108が連続的に複数取得される。このようにして取得された複数の超音波画像108に基づいて、3次元領域の連続するスライスの断層像を積み重ねることによって前記超音波プローブ32の観察部位の3次元仮想画像が再構築される。そして、図9に示すように、その3次元仮想画像から、前記病変部106に対応する3次元画像116が抽出される。
前記CT像/超音波画像融合部68は、前記カメラ/超音波観察位置推定部56により推定される前記超音波プローブ32の観察位置に基づいて、前記特定部位画像抽出部76により抽出された前記特定部位の3次元画像を、前記管腔臓器画像作成部58により作成された前記管腔臓器の3次元画像に合成表示させる。例えば、前記のようにして抽出された前記病変部106に対応する3次元画像116を、前記気管支の図像100における前記病変部106に対応する位置に合成表示させる。すなわち、本実施例においては、前記CT像/超音波画像融合部68が特定部位画像合成表示部に相当する。ここで、前記超音波画像108の取得時には、前記超音波プローブ32の突出量が変化させられる。従って、前記管腔臓器画像作成部58により作成された前記管腔臓器の3次元画像に対する、前記超音波プローブ32による観察位置の相対的な位置関係も変化するが、本実施例においては、前記カメラ/超音波画像観察位置推定部56により前記超音波プローブ32の観察位置が前記管腔臓器の3次元画像に対応付けられているため、再構築された特定部位の3次元画像を、臓器全体の3次元画像におけるより正確な位置に合成表示させることができる。
前記生検目的部位表示部78は、前記管腔臓器画像作成部58により作成された前記管腔臓器の3次元画像において、前記特定部位検出部74により検出された特定部位を、生検目的部位として表示させる。好適には、前記CT像/超音波画像融合部68により前記管腔臓器の3次元画像に合成表示された、前記病変部106に対応する3次元画像116を、生検目的部位として表示させる。この生検目的部位とは、例えば、前記内視鏡本体20における管状部22に備えられた鉗子口に挿入された針や生検鉗子をはじめとする処置具による生検の対象となる部位に相当する。すなわち、組織の採取のために前記針が刺される部位、或いは生検鉗子により掴み取られる部位に相当する。例えば、気管支の内視鏡検査において被検体が呼吸している場合には、その呼吸に合わせて気管支の形状が若干変形する。このため、予め得られた管腔臓器の3次元画像データに基づいて作成された3次元画像に基づいて生検目的部位を決定した場合、その生検目的部位が組織を採取すべき部位(例えば、病変部106)から若干ずれるおそれがある。本実施例においては、前記超音波プローブ32により連続的に取得された複数の超音波画像108に基づいて生成された、前記病変部106に対応する3次元画像116が生検目的部位として表示されるため、組織の採取のために前記針が刺される部位、或いは生検鉗子により掴み取られる部位としてより正確な位置を提示することができる。
以上に説明したように、前記情報処理部52及び情報融合処理部54により生成延いては合成された画像は、前記情報可視化部82を介して前記映像表示装置14に表示される。図10〜図15は、前記情報可視化部82を介して前記映像表示装置14に表示される観察画面を例示している。図10に示す観察画面118では、前記内視鏡26により取得された内視鏡画像及びその内視鏡26の経路名称を含む画像120、及び前記内視鏡26の位置及び方向から作成した前記管腔臓器内部の3次元仮想画像122が、1つの画面内に同期して表示されている。図11に示す観察画面124では、前記画像120、122に加え、前記内視鏡26の動きや経路、目的部位としての前記特定部位(病変部106)や周辺情報等を含む画像126が、1つの画面内に同期して表示されている。図12に示す観察画面128では、前記画像120、122に加え、前記内視鏡26の動きや経路、前記超音波プローブ32により取得される超音波画像等を含む画像130、及び前記超音波プローブ32により取得される超音波画像132が、1つの画面内に同期して表示されている。図13に示す観察画面134では、前記画像120、122、132に加え、予め得られた管腔臓器の3次元画像データに基づいて構築された3次元仮想画像(CT像)上における前記内視鏡26及び超音波プローブ32による観察位置を示す画像136、前記内視鏡26の動きや経路、目的部位としての前記特定部位や周辺情報、前記超音波プローブ32により取得される超音波画像等を含む画像138が、1つの画面内に同期して表示されている。図14に示す観察画面140では、前記画像120、122、132、136、138が、図13に示す観察画面134とは異なる配置で1つの画面内に同期して表示されている。図15に示す観察画面142では、前記画像120、122、132、136、138に加え、前記超音波プローブ32により取得された複数の超音波画像から再構築された目的部位としての前記特定部位の3次元画像144、及び前記複数の超音波画像から再構築された3次元画像に対する生検目的部位を提示する画像146が、1つの画面内に同期して表示されている。
図16は、前記支援装置10の制御装置12による前記内視鏡26に対応する座標系と前記磁気式位置センサ38に対応する座標系との変換行列決定制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、ステップ(以下、ステップを省略する)SA1において、前記内視鏡26により取得される内視鏡画像と、前記磁気式位置センサ38の検出結果とが取り込まれる。次に、SA2において、SA1にて取り込まれた内視鏡画像が解析され、その内視鏡画像における特徴が抽出される。次に、SA3において、SA1にて取り込まれた前記磁気式位置センサ38の検出結果及びSA2にて抽出された内視鏡画像における特徴に基づいて、変換行列の初期値が設定される。次に、SA4において、SA3にて設定された変換行列による変換誤差が算出される。次に、SA5において、SA4にて算出された変換誤差が、予め定められた許容誤差の範囲内であるか否かが判断される。このSA5の判断が否定される場合には、SA6において、変換行列が変更された後、SA4以下の処理が再び実行されるが、SA5の判断が肯定される場合には、SA7において、SA3にて設定された変換行列或いはSA6にて変更された変換行列が、前記内視鏡26に対応する座標系と前記磁気式位置センサ38に対応する座標系との変換行列として決定された後、それをもって本ルーチンが終了させられる。
図17は、前記支援装置10の制御装置12による前記超音波プローブ32に対応する座標系と前記磁気式位置センサ40に対応する座標系との変換行列決定制御の他の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、SB1において、前記超音波プローブ32により取得される内視鏡画像と、前記磁気式位置センサ40の検出結果とが取り込まれる。次に、SB2において、SB1にて取り込まれた超音波画像が解析され、その超音波画像における特徴が抽出される。次に、SB3において、SB1にて取り込まれた前記磁気式位置センサ40の検出結果及びSB2にて抽出された超音波画像における特徴に基づいて、変換行列の初期値が設定される。次に、SB4において、SB3にて設定された変換行列による変換誤差が算出される。次に、SB5において、SB4にて算出された変換誤差が、予め定められた許容誤差の範囲内であるか否かが判断される。このSB5の判断が否定される場合には、SB6において、変換行列が変更された後、SB4以下の処理が再び実行されるが、SB5の判断が肯定される場合には、SB7において、SB3にて設定された変換行列或いはSB6にて変更された変換行列が、前記超音波プローブ32に対応する座標系と前記磁気式位置センサ40に対応する座標系との変換行列として決定された後、それをもって本ルーチンが終了させられる。
図18は、前記支援装置10の制御装置12による前記3次元仮想画像に対応する座標系と前記磁気式位置センサ38、40に対応する座標系との変換行列決定制御の更に別の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、SC1において、予め得られた管腔臓器の3次元画像データに基づいて生成される3次元仮想画像(CT画像)と、前記磁気式位置センサ38、40の検出結果とが取り込まれる。次に、SC2において、SC1にて取り込まれた3次元仮想画像が解析され、その3次元仮想画像における特徴として、例えば気管支芯線(気管支の長手方向に沿った中心線)が抽出される。次に、SC3において、SC1にて取り込まれた前記磁気式位置センサ38、40の検出結果及びSC2にて抽出された気管支芯線に基づいて、変換行列の初期値が設定される。次に、SC4において、SC3にて設定された変換行列による変換誤差が算出される。次に、SC5において、SC4にて算出された変換誤差が、予め定められた許容誤差の範囲内であるか否かが判断される。このSC5の判断が否定される場合には、SC6において、変換行列が変更された後、SC4以下の処理が再び実行されるが、SC5の判断が肯定される場合には、SC7において、SC3にて設定された変換行列或いはSC6にて変更された変換行列が、前記3次元仮想画像に対応する座標系と前記磁気式位置センサ38、40に対応する座標系との変換行列として決定された後、それをもって本ルーチンが終了させられる。
図19は、前記支援装置10の制御装置12による内視鏡観察支援制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、S1において、予め得られた管腔臓器の3次元画像データが前記画像データベース44から読み出され、その3次元画像データに基づいて、前記管腔臓器の3次元仮想画像が生成される。次に、S2において、前記内視鏡26により内視鏡画像が取得されると共に、前記超音波プローブ32により超音波画像が取得される。次に、S3において、SA1〜SA7、SB1〜SB7、SC1〜SC7にて決定された変換行列に基づいて、S1にて生成された前記管腔臓器の3次元仮想画像に対して前記内視鏡26の観察位置及び前記超音波プローブ32の観察位置が対応付けられる。次に、S4において、S3の対応付けの結果に基づいて、S1にて生成された前記管腔臓器の3次元仮想画像上に、前記内視鏡26により取得された内視鏡画像、前記超音波プローブ32により取得された超音波画像等が合成されると共に、前記内視鏡26及び前記超音波プローブ32の先端位置等の情報が提示され、前記映像表示装置14に表示される。次に、S5において、S1にて生成された前記管腔臓器の3次元仮想画像における特定部位として、病変部の存在が検出されたか否かが判断される。このS5の判断が否定される場合には、S1以下の処理が再び実行されるが、S5の判断が肯定される場合には、S6において、S5にて検出された病変部までの経路情報が作成され、S1にて生成された前記管腔臓器の3次元仮想画像上に提示される。次に、S7において、前記内視鏡26(超音波プローブ32)の先端位置が、S5にて検出された病変部に到達したか否かが判断される。このS7の判断が否定されるうちは、S7の判断が繰り返されることにより待機させられるが、S7の判断が肯定される場合には、S8において、前記超音波プローブ32における前記端部22aからの突出量が変化させられつつ、前記超音波プローブ32による観察位置の超音波画像が連続的に複数取得される。次に、S9において、S8にて取得された複数の超音波画像に基づいて、前記超音波プローブ32による観察位置の3次元画像が再構築される。次に、S10において、S9にて再構築された3次元画像から、S5にて検出された病変部の3次元画像が抽出される。次に、S11において、S10にて抽出された病変部の3次元画像が、S1にて生成された前記管腔臓器の3次元仮想画像上における、検出された病変部に対応する位置に合成され、前記映像表示装置14に表示された後、それをもって本ルーチンが終了させられる。
以上の制御において、S2及びS8が前記超音波画像取得部48の動作に、S3が観察位置対応付部としての前記カメラ/超音波画像観察位置推定部56の動作に、S1が前記管腔臓器画像作成部58の動作に、S4が画像表示制御部としての前記情報融合処理部62及び観察位置表示制御部としての前記カメラ/プローブ位置提示部66の動作に、S11が特定部位画像合成表示部としての前記CT像/超音波画像融合部68の動作に、S9が3次元画像再構築部としての前記超音波画像3次元再構築部72の動作に、S10が前記特定部位画像抽出部76の動作に、それぞれ対応する。
このように、本実施例によれば、基端部としての端部22aからの突出量を変更できる超音波プローブ32と、内視鏡26の先端位置及び前記超音波プローブ32の先端位置を検出する先端位置検出部としてのセンサ装置18と、そのセンサ装置18による検出結果に基づいて、3次元画像データに基づいて構築される前記管腔臓器の3次元画像における、前記内視鏡26による観察位置及び前記超音波プローブ32による観察位置の対応付けを行う観察位置対応付部としての前記カメラ/超音波画像観察位置推定部56(S3)と、前記超音波プローブ32における前記端部22aからの突出量を変化させつつ前記超音波プローブ32による観察位置の超音波画像を連続的に複数取得する超音波画像取得部48(S8)と、その超音波画像取得部48により取得された複数の超音波画像に基づいて、前記超音波プローブ32による観察位置の3次元画像を再構築する3次元画像再構築部としての超音波画像3次元再構築部72(S9)とを、備えたものであることから、前記超音波プローブ32による観察位置と前記内視鏡26による観察位置との対応関係が変化し、更には前記超音波プローブ32の観察位置と前記3次元画像データに基づいて構築される前記管腔臓器の3次元画像との対応関係が変化した場合においても、前記超音波プローブ32による観察位置と前記内視鏡26による観察位置、更には前記管腔臓器の3次元画像との対応関係を好適に把握し、目的となる部位の3次元画像を再構築できる。すなわち、超音波プローブ32による観察を効果的に支援する支援装置10を提供することができる。
前記超音波画像取得部48により取得された複数の超音波画像に基づいて、前記超音波プローブ32による観察位置における特定部位の3次元画像を抽出する特定部位画像抽出部76(S10)と、前記カメラ/超音波画像観察位置推定部56による対応付けの結果に基づいて、前記特定部位画像抽出部76により抽出された前記特定部位の3次元画像を、前記3次元画像データに基づいて構築される前記管腔臓器の3次元画像に合成表示させる特定部位画像合成表示部としての前記CT像/超音波画像融合部68(S11)とを、備えたものであるため、前記超音波プローブ32により取得される超音波画像に基づいて、観察対象となる管腔臓器の3次元画像上に、病変部をはじめとする特定部位の3次元画像を好適に合成表示できる。
前記3次元画像データに基づいて構築される前記管腔臓器の3次元画像と、前記内視鏡26により取得される内視鏡画像と、前記超音波プローブ32により取得される超音波画像とを、同期して表示させる画像表示制御部としての前記情報融合処理部62(S4)を備えたものであるため、観察対象である管腔臓器の3次元画像、内視鏡画像、及び超音波画像を表示させる実用的なナビゲーションを実現できる。
前記カメラ/超音波画像観察位置推定部56による対応付けの結果に基づいて、前記3次元画像データに基づいて構築される前記管腔臓器の3次元画像上に、前記超音波プローブ32による観察位置を表示させる観察位置表示制御部としての前記カメラ/プローブ位置提示部66(S4)を備えたものであるため、超音波プローブ32による観察位置を、観察対象である管腔臓器の3次元画像上に表示させる実用的なナビゲーションを実現できる。
前記センサ装置18は、前記内視鏡26の先端部及び前記超音波プローブ32の先端部にそれぞれ設けられた磁気式位置センサ38、40の検出結果に基づいて、前記内視鏡26の先端位置及び前記超音波プローブ32の先端位置を検出するものであるため、実用的な態様で前記内視鏡26及び前記超音波プローブ32の先端位置を検出できる。
前記センサ装置18は、前記内視鏡26の先端部に設けられた磁気式位置センサ38の検出結果に基づいて前記内視鏡26の先端位置を検出し、その内視鏡26の先端位置及び前記超音波プローブ32の挿入長を検出する超音波プローブ挿入長センサ90の検出結果に基づいて前記超音波プローブ32の先端位置を検出するものであるため、実用的な態様で前記内視鏡26及び前記超音波プローブ32の先端位置を検出できる。
前記センサ装置18は、前記内視鏡26の挿入長を検出する内視鏡挿入長センサ92の検出結果と、前記超音波プローブ32の挿入長を検出する超音波プローブ挿入長センサ90の検出結果とに基づいて、前記内視鏡26の先端位置及び前記超音波プローブ32の先端位置を検出するものであるため、実用的な態様で前記内視鏡26及び前記超音波プローブ32の先端位置を検出できる。
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
例えば、前述の実施例では、前記支援装置10により管腔臓器としての気管支の観察を支援する態様について説明したが、本発明はこれに限定されるものではなく、前記支援装置10は、例えば、大腸、小腸、十二指腸、胃、胆管、膵管、リンパ管等の管腔臓器(中空臓器)に対応する3次元仮想画像の観察にも好適に使用される。
前述の実施例において、前記超音波プローブ32は、その先端部に前記送受信部34を備え、その送受信部34の長手方向に垂直な平面に対応する超音波画像を取得するものであったが、本発明に備えられる超音波プローブは、斯かる態様には限定されない。例えば、長手方向の側部(側面)から超音波を放出すると共に、その側部において反射波を受信する形式の超音波プローブを備えた内視鏡観察支援装置にも、本発明は好適に適用される。前記内視鏡26は、その先端部に単一の観察部28を備えたものであったが、前記管状部22の端部22aに加え、或いは端部22aを除く中腹に単数乃至複数の観察部28を備えたものであってもよい。
前述の実施例においては、前記観察画面118等において、画像120、122等が前記映像表示装置14の1画面に同期して表示される表示態様について説明したが、複数の映像表示装置14が設けられており、前記120、122等がそれぞれ異なる画面(異なる映像表示装置)に同期して表示されるものであっても当然に構わない。
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。