図1は、本発明の一実施例である内視鏡観察支援装置10(以下、単に支援装置10という)の構成を例示する図である。この図1に示すように、本実施例の支援装置10は、中央演算処理装置であるCPU12と、読出専用メモリであるROM14と、随時書込読出メモリであるRAM16と、記憶装置18と、映像表示装置20と、入力装置22と、内視鏡24とを、備えて構成されている。前記CPU12は、前記RAM16の一時記憶機能を利用しつつ前記ROM14に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータである。
前記記憶装置18は、好適には、情報を記憶可能なハードディスクドライブ等の公知の記憶装置(記憶媒体)である。小型メモリカードや光ディスク等の着脱式記憶媒体であってもよい。前記映像表示装置20は、好適には、TFT(Thin Film Transistor Liquid Crystal)等の公知の表示装置(ディスプレイ)であり、出力インターフェイス26を介して前記CPU12等に接続されている。前記入力装置22は、キーボードやマウス等の公知の入力デバイスであり、入力インターフェイス28を介して前記CPU12等に接続されている。
前記内視鏡24は、管腔臓器の観察に用いられる公知の電子スコープ或いはファイバスコープ等であり、好適には、主に大腸の観察に用いられる大腸内視鏡(colonoscope)である。前記内視鏡24は、インターフェイス30を介して前記CPU12等に接続されている。図2は、前記内視鏡24の構成を概略的に説明する図である。この図2に示すように、前記内視鏡24は、長手管状に形成された可曲性(可撓性)の管状部32と、その管状部32における一方の端部(先端部)に設けられた観察部34と、前記管状部32におけるその観察部34とは逆側の端部に設けられた操作部36と、その操作部36から延伸して設けられた接続ケーブル38とを、備えて構成されている。
前記管状部32は、例えば長さ寸法1.2〜1.3m程度、径寸法8〜13mm程度の長手管状に形成されており、前記操作部36に設けられた図示しないアングル(つまみ)等による操作に応じて、前記観察部34が設けられた先端部の指向する方向を自在に変化させられるように構成されている。前記管状部32における前記観察部34の付近には、管腔臓器内における前記観察部34による観察部位を照らすための光源が設けられている。前記内視鏡24がファイバスコープである場合においては、照明用の光を管腔臓器内に導くための別の光ファイバが前記管状部32内に組み込まれている。前記管状部32には、好適には、生検鉗子の出し入れを行うための機構、空気や水を送出或いは吸引するためのパイプ等が組み込まれている。
前記観察部34は、前記内視鏡24における画像(被検体の像)の取得部に対応し、前記管状部32における先端部に設けられている。前記内視鏡24が電子スコープである場合において、前記観察部34は、CCD(Charge Coupled Device)等の撮像素子に相当する。前記内視鏡24がファイバスコープである場合において、前記観察部34は、前記管状部32内に設けられたガラス繊維(光ファイバ)に前記画像を取り入れるためのレンズ部に相当する。
前記接続ケーブル38は、前記内視鏡24を前記内視鏡支援装置10本体に接続するためのケーブルであり、前記接続ケーブル38における前記操作部36とは逆側の端部には、接続端子40が設けられている。この接続端子40が前記内視鏡支援装置10本体に設けられた対応する接続端子に接続されることで、前記内視鏡24が前記インターフェイス30を介して前記CPU12等に接続される。
本実施例の内視鏡24において、好適には、複数(本実施例においては4つ)の位置センサ42a、42b、42c、42d(以下、特に区別しない場合には単に位置センサ42という)が前記管状部32に設けられている。図2においては、各位置センサ42が設けられた位置を白抜矢印で示している。この図2に示すように、前記複数の位置センサ42は、好適には、前記管状部32の先端部(観察部34が設けられた側)から所定の間隔(例えば20cm間隔)で配設されている。前記管状部32の先端部に設けられた前記位置センサ42aは、好適には、前記内視鏡24の器具挿入チャンネル内に取り付けられている。前記複数の位置センサ42は、好適には、前記管状部32に内蔵されたものであるが、その管状部32の側面等に固定(外付け)されたものであってもよい。前記複数の位置センサ42は、好適には、公知の磁気式位置センサであり、例えば、各位置センサ42とは別に図示しない発信機が設けられ、その発信機から発信される磁気信号を各位置センサ42が受信することにより各位置センサ42から5次元の情報すなわち3次元の位置情報及び2次元の方向情報が取得され、前記CPU12等に供給されるようになっている。
図1に示すように、前記支援装置10に備えられた記憶装置18には、画像データベース44が設けられている。この画像データベース44には、公知のX線CT(Computed Tomography)装置や磁気共鳴(MRI;Magnetic Resonance Imaging)装置等によって予め得られた被検体の3次元画像データが記憶される。この3次元画像データは、X線CTにより得られたものにおいては、被検体に対して多方向からX線を照射し、被検体を透過してきたX線を検出器で検出して、透過X線量の情報をコンピュータで処理して3次元画像として再構成したものである。前記画像データベース44には、例えば、X線CTや磁気共鳴装置等により得られた被検体の3次元濃淡画像、換言すれば被検体の単位体積であるボクセル毎の画素値(濃度値)が記憶される。前記画像データベース44には、X線CTや磁気共鳴装置等により得られた管腔臓器の3次元画像データが記憶される。好適には、X線CTや磁気共鳴装置等により得られた大腸の3次元画像データが記憶される。
本実施例の支援装置10は、被検体の管腔臓器に関して予めX線CTや磁気共鳴装置等により得られた前記3次元画像データに基づいて、その管腔臓器内に挿入された前記内視鏡24による観察を支援する制御を行う。好適には、大腸の3次元画像データに基づいて、その大腸内に挿入された前記内視鏡24による観察を支援する制御を行う。すなわち、前記内視鏡24による所定の大腸の観察に際して、その大腸に対応して予め得られて前記画像データベース44に記憶された3次元画像データを読み出し、その3次元画像データに基づいて後述する制御を行うことにより、その大腸内に挿入された前記内視鏡24による観察を支援する。
図4及び図5は、前記内視鏡24による好適な観察対象となる大腸の模型である大腸ファントム(phantom)80を例示する正面写真であり、図4は前記内視鏡24を挿入していない状態、図5は前記内視鏡24を挿入した状態をそれぞれ示している。図5においては、大腸ファントム80内に挿入された前記内視鏡24(管状部32)を破線で示している。図6は、図4に示す状態の大腸ファントム80に関してX線CTにより得られた3次元画像82の一例を示している。図4及び図5に比較して示すように、大腸等の変形しやすい管腔臓器を対象とする内視鏡検査においては、その管腔臓器の形状や長さ等が検査中に様々に変化する。すなわち、図4に示すような大腸に前記内視鏡24を挿入することで、S状結腸や横行結腸における湾曲していた部分が前記内視鏡24の管状部32の曲がりに沿って変形し、その部分における襞が密になると共に図5に示すように正面視における形状が大きく変化する。そのため、図6に示すような3次元画像82に対応する画像データに基づいて大腸の病変が疑われる部位が発見された場合であっても、従来の技術では斯かる病変が疑われる部位の仮想内視鏡画像を実内視鏡画像と対応付けて表示させることや、前記病変が疑われる部位まで前記内視鏡24を誘導することが困難であった。本実施例の支援装置10は、斯かる問題点を前提とし、大腸等の変形しやすい管腔臓器を対象とする内視鏡検査においても好適にその観察を支援できるように、以下に詳述するような制御を行う。
図3は、前記支援装置10に備えられた制御機能の一例の要部を説明する機能ブロック線図である。この図3に示す仮想芯線算出部50、内視鏡線算出部52、マッチング処理部54、観察位置推定部60、病変存在検出部62、病変報知制御部64、及び画像表示制御部66は、好適には、何れも前記CPU12に機能的に備えられたものであるが、各制御部が個別に複数のCPUやコンピュータに設けられると共に相互に通信が可能に構成されたものであってもよい。また、前記各制御部のうち一部が前記支援装置10とは別の制御装置に備えられたものであってもよい。例えば、前記病変報知制御部64及び画像表示制御部66が前記支援装置10とは別の装置(例えば、表示専用の装置)に備えられたものであってもよい。
前記仮想芯線算出部50は、前記画像データベース44に記憶された3次元画像データに基づいて、その3次元画像データに対応する管腔臓器の長手方向に沿った仮想芯線を算出する。この仮想芯線は、前記3次元画像データに対応する管腔臓器の大まかな中心線に相当するものである。前記仮想芯線算出部50は、例えば、前記3次元画像データから対象となる管腔臓器の領域を抽出し、抽出された管腔臓器領域から前記管腔臓器の大まかな中心線を表す前記仮想芯線を算出する。
図8は、管腔臓器である大腸の3次元画像の一例である大腸CT像84を示す図である。この図8に示す大腸CT像84に対応する3次元画像データを対象とする前記仮想芯線算出部50による仮想芯線の導出の具体例を、図9〜図12を用いて説明する。先ず、図8に示す大腸CT像84に対応する3次元画像データに基づいて、その3次元画像データに対応する大腸の領域(大腸領域)が公知の領域拡張法で抽出される。例えば、前記3次元画像データにおけるCT値が−600HU以下の部分が大腸領域として抽出される。次に、抽出された大腸領域の中心付近を通る線図形が作成される。例えば、抽出された大腸領域に公知の細線化アルゴリズムが適用されることにより、その中心付近を通る線図形が作成される。図9は、斯かる処理により作成された線図形86を例示している。次に、作成された線図形86における偽枝が削除される。すなわち、連続して最も長く延伸する主線図形(曲線)から分岐する比較的短い線図形が削除される。図10は、斯かる処理により偽枝が削除された線図形88を例示している。次に、偽枝が削除された線図形88上において等間隔に複数の点が取得される。図11は、斯かる処理により取得された複数の点90を例示している。次に、取得された複数の点90に関して公知の3次スプライン補間により滑らかな仮想芯線が算出される。すなわち、取得された複数の点90を3次スプライン補間の制御点として図12に示すような仮想芯線92が算出される。以上のようにして算出された仮想芯線92は、例えば点列pC iC(iC=1,・・・,IC)として表現される。
前記内視鏡線算出部52は、前記管腔臓器内に挿入された前記内視鏡24の形状を示す内視鏡線を算出する。この内視鏡線は、好適には、前記内視鏡24の管状部32の大まかな中心線に相当するものである。すなわち、前記内視鏡線算出部52は、前記管腔臓器内に挿入された前記内視鏡24の管状部32の形状を示す内視鏡線を算出する。好適には、前記複数の位置センサ42それぞれにより検出される位置情報及び方向情報に基づいて、公知のエルミート(Hermite)スプライン補間により前記内視鏡線を算出する。エルミートスプライン補間によれば、制御点における位置及び方向を反映した補間曲線を作成できる。前記内視鏡線算出部52は、好適には、前記複数の位置センサ42それぞれの検出結果を制御点として、各位置センサ42それぞれにより検出される位置情報及び方向情報に基づくエルミートスプライン補間を行う。更に好適には、前記3次元画像データから検出された被検体の肛門の位置を、前記エルミートスプライン補間における制御点に追加する。更に好適には、予め実験的に求められた前記管状部32の性質(曲がりやすさ等)を考慮し、前記エルミートスプライン補間におけるパラメータを決定する。
図13は、前記内視鏡線算出部52による内視鏡線の算出の具体例を説明する図である。先ず、前記複数の位置センサ42それぞれにより検出される位置情報及び方向情報が取得され、図13(a)に示すように複数の制御点94a、94b、94c、94d(以下、特に区別しない場合には単に制御点94という)が定められる。図13に示す例において、前記制御点94aは前記位置センサ42aの検出結果に、前記制御点94bは前記位置センサ42bの検出結果に、前記制御点94cは前記位置センサ42cの検出結果に、前記制御点94dは前記位置センサ42dの検出結果に、それぞれ対応している。次に、前記複数の制御点94a〜94dに関してエルミートスプライン補間が行われる。このエルミートスプライン補間において、好適には、予め実験的に求められた前記管状部32の性質が考慮される。図13(b)は、斯かる処理により得られたスプライン補間曲線96を例示している。次に、前記3次元画像データから検出された被検体の肛門の位置を示す制御点94eが追加され、前記複数の制御点94a〜94eに関してエルミートスプライン補間が行われる。斯かる処理により、前記内視鏡24の形状を表す図13(c)に示すような内視鏡線98が算出される。以上のようにして算出された内視鏡線98は、例えば点列pS iS(iS=1,・・・,IS)として表現される。
前記マッチング処理部54は、前記仮想芯線算出部50により算出された仮想芯線と、前記内視鏡線算出部52により算出された内視鏡線との対応関係を導出する。換言すれば、前記管腔臓器の長手方向に沿った仮想芯線と、その管腔臓器内に挿入された前記内視鏡の形状を示す内視鏡線とのマッチングを行う。好適には、被検体の大腸に関する処理において、前記内視鏡24の先端部(観察部34)が盲腸まで挿入された状態における内視鏡線を対象として、その内視鏡線と前記仮想芯線との対応関係を導出する。斯かる処理を行うため、図3に示すように、前記マッチング処理部54は、座標系レジストレーション処理部56及び線レジストレーション処理部58を備えている。図7は、図6の3次元画像82に対応して前記仮想芯線算出部50により算出された仮想芯線100を例示している。以下、この仮想芯線100と、図13(c)に例示する内視鏡線98との対応関係の導出について、前記座標系レジストレーション処理部56及び線レジストレーション処理部58の処理の具体例を説明する。
前記座標系レジストレーション処理部56は、前記仮想芯線算出部50により算出された前記仮想芯線に対応する座標系と、前記内視鏡線算出部52により算出された前記内視鏡線に対応する座標系との対応付けを行う。前記3次元画像と前記位置センサ42とはそれぞれ異なる座標系を持つため、前記仮想芯線算出部50により算出された前記仮想芯線と前記内視鏡線算出部52により算出された前記内視鏡線とは同様にそれぞれ異なる座標系を持つ。従って、前記仮想芯線と前記内視鏡線との対応関係の導出においては、それらの座標系の対応付けが必要とされる。前記座標系レジストレーション処理部56は、好適には、公知のICPアルゴリズムを利用したICPレジストレーションにより前記仮想芯線に対応する座標系と前記内視鏡線に対応する座標系との対応付けを行う。このICPレジストレーションについては、「Paul J. Besl and Neil D. McKay, “A method for registration of 3-D shapes,”IEEE Trans. PAMI, vol.14, no.2, 1992.」に詳しい。
前記ICPレジストレーションにおいて、好適には、前記仮想芯線100及び前記内視鏡線98がそれぞれ点列で表現される。例えば、前記仮想芯線100が点列pC iC(iC=1,・・・,IC)として表現され、前記内視鏡線98が点列pS iS(iS=1,・・・,IS)として表現される。次に、前記内視鏡線98に対応する点列に回転及び平行移動が適用され、前記仮想芯線100に対応する点列に近づけられる。そして、2つの点列間の距離が最も小さくなる場合における回転及び平行移動から、前記内視鏡線98の点列に係る変換行列が算出される。
前記座標系レジストレーション処理部56は、好適には、前記仮想芯線100における所定の箇所の芯線を直線化した後、前記ICPレジストレーションを行う。図14は、前記仮想芯線100における所定の箇所の直線化について説明する図である。前記座標系レジストレーション処理部56は、好適には、前記ICPレジストレーションの前処理として、予め定められた、前記仮想芯線100において大きく屈曲する箇所の芯線を直線化する。好適には、前記仮想芯線100における横行結腸及びS状結腸に対応する2箇所の芯線を直線化する。例えば、図14に示す例において、破線で囲繞して示す横行結腸に対応する芯線102及びS状結腸に対応する芯線104をそれぞれ直線化する。紙面向かって右側の図は、前記2箇所における芯線102、104が直線化された仮想芯線100を示している(直線化前の芯線を一点鎖線で示している)。被検体の大腸に前記内視鏡24を挿入する場合、横行結腸及びS状結腸は大きく屈曲していることに加え、図4及び図5に対比して示すように前記内視鏡24が挿入されると屈曲がのばされて正面視において直線に近い形状に変形させられる。一方、大腸における余の部分すなわち下行結腸及び上行結腸等は元々直線に近い形状であり、前記内視鏡24が挿入されもその形状が大きくは変化しない。従って、斯かる大腸内視鏡検査における大腸の変形の特性を踏まえ、前記横行結腸に対応する芯線102及びS状結腸に対応する芯線104をそれぞれ直線化することで、前記ICPレジストレーションによる対応付けに関してより好ましい結果が得られる。
前記座標系レジストレーション処理部56は、好適には、前記仮想芯線100及び内視鏡線98それぞれにおける端点(両端部の点)を相互に対応付けて前記ICPレジストレーションを行う。ここで、大腸が観察対象である場合において、好適には、前記仮想芯線100における両端部の点は盲腸及び肛門に対応する。前記内視鏡24が大腸における盲腸まで挿入された状態において、好適には、前記内視鏡線98における両端部の点は同様に盲腸及び肛門に対応する。従って、前記座標系レジストレーション処理部56は、好適には、前記仮想芯線100及び内視鏡線98それぞれの両端における盲腸及び肛門に対応する点を相互に対応付けて前記ICPレジストレーションを行う。
図15及び図16は、前記座標系レジストレーション処理部56によるICPレジストレーションの具体例を説明する図であり、図15は前記仮想芯線100の座標系と前記内視鏡線98の座標系との対応付けが行われる前の状態を、図16は座標系の対応付けが行われた状態をそれぞれ示している。図15及び図16においては、区別のために前記仮想芯線100を実線で、前記内視鏡線98を破線でそれぞれ示している。図15に示す状態においては、前記仮想芯線100の座標系と前記内視鏡線98の座標系との対応付けが行われていない。この図15に示す状態から、前記仮想芯線100に対して前記内視鏡線98を回転及び平行移動させると、その内視鏡線98に対応する点列が前記仮想芯線100に対応する点列に近づけられる。ここで、好適には、図16に示すように、前記仮想芯線100及び内視鏡線98それぞれにおける端点(両端部の点)が相互に対応付けられる。すなわち、前記仮想芯線100及び内視鏡線98それぞれにおける盲腸及び肛門に対応する点が相互に対応付けられる。そして、前記仮想芯線100に対応する点列と前記内視鏡線98に対応する点列との距離が最も小さくなる場合における前記内視鏡線98の回転及び平行移動から、前記内視鏡線98の点列に係る変換行列が算出される。このようにして導出される変換行列が、前記仮想芯線100の座標系と前記内視鏡線98の座標系との対応付けを行うための関係に相当する。以上の処理により、手動(人的作業)で対応点を求める等の手間を要することなく自動的に前記仮想芯線100の座標系と前記内視鏡線98の座標系とのレジストレーションが実現される。この座標系のレジストレーションは、所定の管腔臓器を対象とする前記支援装置10による観察支援に際して少なくとも1回実行すれば足り、必ずしも複数回実行されなくともよい。
前記線レジストレーション処理部58は、前記座標系レジストレーション処理部56による対応付けの結果に基づいて、前記仮想芯線算出部50により算出された前記仮想芯線100と前記内視鏡線算出部52により算出された前記内視鏡線98との対応関係を導出する。換言すれば、前記仮想芯線100に対して座標系の対応付けが行われた前記内視鏡線98及び前記仮想芯線100に関して、前記前記仮想芯線100上の各点と、前記内視鏡線98上の各点との間で対応関係を作成する。好適には、前記仮想芯線算出部50により算出された前記仮想芯線100について複数のランドマークを検出し、それら複数のランドマークに基づいて前記仮想芯線100と前記内視鏡線98との対応関係を導出する。
図17は、前記線レジストレーション処理部58による前記仮想芯線100についてのランドマークの検出及び前記内視鏡線98における対応点の導出について説明する図である。前記線レジストレーション処理部58は、好適には、前記仮想芯線100の形状に基づいてその仮想芯線100における複数のランドマークを検出する。例えば、前記仮想芯線100上の位置と、各位置における芯線の曲率とに基づいて、その仮想芯線100における複数のランドマークを検出する。大腸を対象とする処理において、好適には、図17に示すように、(a)前記仮想芯線100における盲腸に相当するランドマーク106a、(b)前記仮想芯線100における肝湾曲に相当するランドマーク106b、(c)前記仮想芯線100における脾湾曲に相当するランドマーク106c、(d)前記仮想芯線100におけるS状結腸と下行結腸との結合部に相当するランドマーク106d、及び(e)前記仮想芯線100における肛門に相当するランドマーク106eの5点のランドマーク106a〜106e(以下、特に区別しない場合には単にランドマーク106という)を検出する。
図17においては、前記ランドマーク106a及び106eを丸印で、前記ランドマーク106b、106c、106dを四角印でそれぞれ示している。前記盲腸に相当するランドマーク106aは、前記仮想芯線100における端点(盲腸側の端点)に対応する。前記肝湾曲に相当するランドマーク106bは、例えば、紙面上下方向をz軸方向とした場合において(紙面上方向をz軸の正方向とする、以下の説明において同じ)、上行結腸と横行結腸との間においてz座標が極大となる点に対応する。前記脾湾曲に相当するランドマーク106cは、例えば、横行結腸と下行結腸の間においてz座標が極大となる点に対応する。前記S状結腸と下行結腸との結合部に相当するランドマーク106dは、例えば、S状結腸と下行結腸との結合部付近においてz座標が極小となる点に対応する。前記肛門に相当するランドマーク106eは、前記仮想芯線100における端点(肛門側の端点)に対応する。
前記線レジストレーション処理部58は、好適には、前記のようにして検出された前記仮想芯線100における複数のランドマーク106から前記内視鏡線98までの距離に基づいて前記仮想芯線100と前記内視鏡線98との対応関係を導出する。例えば、前記仮想芯線100に対して座標系の対応付けが行われた前記内視鏡線98に関して、前記仮想芯線100における複数のランドマーク106それぞれから前記内視鏡線98上の点までの距離に基づいて、その内視鏡線98における各ランドマーク106a〜106eに対応する対応点108a〜108e(以下、特に区別しない場合には単に対応点108という)を導出する。好適には、前記内視鏡線98上の点であって、各ランドマーク106からの距離が最も小さい点をそのランドマーク106に対応する対応点108として導出する。図17においては、前記仮想芯線100における複数のランドマーク106a〜106eそれぞれに対応する前記内視鏡線98の対応点108a〜108eを星印で示している。すなわち、前記対応点108aが前記ランドマーク106aに、対応点108bが前記ランドマーク106bに、対応点108cが前記ランドマーク106cに、対応点108dが前記ランドマーク106dに、対応点108eが前記ランドマーク106eに、それぞれ対応する。
前記線レジストレーション処理部58は、好適には、前記のようにして検出された前記ランドマーク106相互間における前記仮想芯線100上の各点と、前記内視鏡線98上の各点における対応関係を、公知の線形補間により導出する。図18は、前記仮想芯線100上の各点と前記内視鏡線98上の各点における対応関係を線形補間により導出する処理について説明する図である。この図18に示すように、前記線レジストレーション処理部58は、好適には、前記仮想芯線100上におけるランドマーク106相互間の各点と、前記内視鏡線98上における対応点108(対象となるランドマーク106に対応するもの)相互間の各点とを、等間隔で対応付ける処理を行う。
すなわち、図18に示す例においては、前記仮想芯線100上における前記ランドマーク106aから前記ランドマーク106bまでの区間の各点と、前記内視鏡線98上における前記対応点108aから前記対応点108bまでの区間の各点とを、等間隔で対応付ける処理を行う。前記仮想芯線100上における前記ランドマーク106bから前記ランドマーク106cまでの区間の各点と、前記内視鏡線98上における前記対応点108bから前記対応点108cまでの区間の各点とを、等間隔で対応付ける処理を行う。前記仮想芯線100上における前記ランドマーク106cから前記ランドマーク106dまでの区間の各点と、前記内視鏡線98上における前記対応点108cから前記対応点108dまでの区間の各点とを、等間隔で対応付ける処理を行う。前記仮想芯線100上における前記ランドマーク106dから前記ランドマーク106eまでの区間の各点と、前記内視鏡線98上における前記対応点108dから前記対応点108eまでの区間の各点とを、等間隔で対応付ける処理を行う。
前記線レジストレーション処理部58は、好適には、前記仮想芯線100における相互に隣接する前記ランドマーク106相互間に含まれる前記内視鏡線98の長さが変更される毎に、前記仮想芯線100と前記内視鏡線98との対応関係を更新する。換言すれば、管腔臓器内に挿入された前記内視鏡24の長さ寸法が変化するのに合わせて、前記仮想芯線100と前記内視鏡線98との対応関係を随時更新する。例えば、大腸の内視鏡検査においては、前記内視鏡24の先端部(観察部34)が盲腸まで挿入された後、前記内視鏡24が大腸から引き出されつつその内視鏡24による観察が行われる。すなわち、前記内視鏡24による大腸内視鏡検査においては、被検体の大腸内に挿入された前記内視鏡24(管状部32)の長さ寸法が随時変化してゆく。従って、前記ランドマーク106相互間に含まれる前記内視鏡線98の長さが変更される毎に、前記仮想芯線100と前記内視鏡線98との対応関係を更新する処理を行うことで、更に厳密に前記仮想芯線100と前記内視鏡線98との対応関係を導出することができる。
例えば、図18に示すように、前記仮想芯線100上における前記ランドマーク106aから前記ランドマーク106bまでの区間の各点と、前記内視鏡線98上における前記対応点108aから前記対応点108bまでの区間の各点との対応付け処理において、当初の対応点108aから108bまでの距離がl1であり、前記内視鏡24の先端部が盲腸に対応する位置(当初の対応点108aに相当する位置)から長さ寸法l1−l2だけ(当初の対応点108bから距離l2の位置まで)引き出された場合を考える。前記仮想芯線100上における前記ランドマーク106aから前記ランドマーク106bまでの区間の長さ寸法はLであるとする。この場合、前記仮想芯線100上における前記ランドマーク106bから、前記ランドマーク106aに向かう方向への長さL・l2/l1までの区間の各点と、前記内視鏡線98上における前記対応点108bから、前記対応点108aに向かう方向への長さl2までの区間の各点とを、前記の線形補間により導出する処理を行う。また好適には、前記内視鏡線98における先端部が、前記仮想芯線100上における何れかのランドマーク106から規定の距離範囲内に存在する場合には、前記内視鏡線98における先端部が斯かる近距離のランドマーク106に対応付けられて前記の線形補間が行われるものであってもよい。
以上のように、前記内視鏡線98と前記仮想芯線100との対応関係が導出されると、前記内視鏡線98に対応する前記内視鏡24の観察部34が、前記仮想芯線100に対応する管腔臓器内の何れの位置に存在するのか同定できる。すなわち、前記観察位置推定部60は、前記マッチング処理部54(線レジストレーション処理部58)により導出された対応関係に基づいて、前記内視鏡24の観察対象である管腔臓器内における前記内視鏡24の観察位置を推定する。本実施例の内視鏡24において、前記観察部34は、前記管状部32における一方の端部(先端部)に設けられている。従って、前記観察位置推定部60は、好適には、前記内視鏡線98における先端側(観察部34側)の端点に対応付けられた、前記仮想芯線100上における点に対応する位置を、前記内視鏡24の観察位置として推定する。
前記病変存在検出部62は、前記3次元画像データに基づいて前記管腔臓器における病変の存在を検出する。好適には、前記3次元画像データに基づいて、例えば所定のCT値のボクセルの具合である等、予め定められた条件に合致すること等により前記管腔臓器における病変の存在を検出する。例えば、公知のCTコロノグラフィ(Computed Tomography Colonography)等により、その3次元画像データに対応する3次元画像における前記管腔臓器の表面にポリープ或いは癌等の病変が疑われる突起状部が存在するか否かを判定する。斯かる突起状部が存在する場合には、前記管腔臓器における病変の存在を検出する。すなわち、前記病変存在検出部62は、好適には、前記3次元画像データに基づいて前記管腔臓器における病変が疑われる突起状部の存在する位置を検出する。その他、3次元画像データに対応する3次元画像における前記管腔臓器の表面性状に基づいて大腸炎、動静脈奇形、大腸線種等の病変が疑われる部位を検出するものであってもよい。
前記病変報知制御部64は、前記観察位置推定部60により推定される前記内視鏡24の観察位置が、前記病変存在検出部62により検出された病変付近に達した場合には、その旨の報知(警告)を行う。すなわち、前記観察位置推定部60により推定される、観察対象である管腔臓器内における前記内視鏡24の観察位置が、その管腔臓器に対応する3次元画像データに基づいて前記病変存在検出部62により検出された病変部位から所定の距離範囲内となった場合には、その旨の報知を行う。好適には、前記映像表示装置20において、前記観察位置推定部60により推定される前記内視鏡24の観察位置が、前記病変存在検出部62により検出された病変付近に達した旨の警告表示を行う。すなわち、前記病変報知制御部64は、後述する病変検出結果表示制御部76に含まれるものであってもよい。或いは、前記病変報知制御部64は、前記支援装置10に備えられた図示しないスピーカ等を介して、警告音等により前記報知を行うものであってもよい。
前記画像表示制御部66は、図示しないグラフィックスプロセッサ等を介して、前記支援装置10による制御に係る各種画像(映像)を前記映像表示装置20に表示させる。すなわち、前記管腔臓器内に挿入された前記内視鏡24による観察を支援する各種画像を前記映像表示装置20に表示させる。斯かる処理を行うため、図3に示すように、前記画像表示制御部66は、実内視鏡画像表示制御部68、臓器図像表示制御部70、仮想内視鏡画像表示制御部72、仮想展開像表示制御部74、及び病変検出結果表示制御部76を備えている。以下、各表示制御部による処理について分説する。
前記臓器図像表示制御部70は、前記3次元画像データに基づいて前記管腔臓器の図像を表示させる。この管腔臓器の図像は、例えば正面視において管腔臓器全体の形状を示す像であり、好適には、前記管腔臓器の外形像である。すなわち、前記臓器図像表示制御部70は、好適には、前記3次元画像データに基づいて前記管腔臓器の外形(例えば、正面側から視た外観を表す像)を示す図像を表示させる。すなわち、前記支援装置10による観察支援制御に際して、前記内視鏡24による観察対象である管腔臓器に対応して予め得られて前記画像データベース44に記憶された3次元画像データを読み出し、公知の技術によりその3次元画像データに基づいて前記管腔臓器の外形像を生成して前記映像表示装置20に表示させる。
前記臓器図像表示制御部70は、前記管腔臓器の図像表示制御において、前記観察位置推定部60により推定される前記内視鏡24の観察位置を前記管腔臓器の図像上に表示させる。図19は、前記支援装置10による観察支援制御に際して、前記画像表示制御部66により前記映像表示装置20に表示される内視鏡ナビゲーション画面110を例示する図である。この図19に示すように、前記臓器図像表示制御部70は、好適には、前記内視鏡ナビゲーション画面110の一部に前記管腔臓器の外形像112を表示させると共に、その外形像112上に前記観察位置推定部60により推定される前記内視鏡24の観察位置114を表示させる。好適には、前記観察位置推定部60により推定される前記内視鏡24の観察位置114が変化する毎に、前記外形像112上における前記観察位置114の表示を更新する。
前記仮想内視鏡画像表示制御部72は、前記3次元画像データに基づいて前記管腔臓器の仮想内視鏡画像を表示させる。すなわち、前記支援装置10による観察支援制御に際して、前記内視鏡24による観察対象である管腔臓器に対応して予め得られて前記画像データベース44に記憶された3次元画像データを読み出し、公知の技術によりその3次元画像データに基づいて前記管腔臓器の仮想内視鏡画像を生成して前記映像表示装置20に表示させる。
前記仮想内視鏡画像表示制御部72は、前記観察対象である管腔臓器に対応する3次元画像データに基づいて、前記観察位置推定部60により推定される前記内視鏡24の観察位置に対応する前記管腔臓器の仮想内視鏡画像を表示させる。好適には、前記観察位置推定部60により推定される前記内視鏡24の観察位置から、その内視鏡24(観察部34)の視点位置及び視点方向、予め設定された視野角等に基づいて、前記管腔臓器の仮想内視鏡画像を生成し、前記映像表示装置20に表示させる。図19に示すように、前記仮想内視鏡画像表示制御部72は、好適には、前記観察位置に対応する仮想内視鏡画像116を前記内視鏡ナビゲーション画面110の一部に表示させる。好適には、前記観察位置推定部60により推定される前記内視鏡24の観察位置が変化する毎に、前記仮想内視鏡画像116(視点位置及び視点方向等)の表示を更新する。
前記仮想内視鏡画像表示制御部72は、好適には、前記3次元画像データに基づいて前記管腔臓器の全球型仮想内視鏡画像を表示させる。この全球型仮想内視鏡画像とは、最大視野角が90°以上である仮想内視鏡画像であり、例えば視点位置を球状に取り囲む視野を有する仮想内視鏡画像である。前記仮想内視鏡画像表示制御部72は、好適には、視点位置から前記視野に対してレイを発生させることにより公知のボリュームレンダリング法を用いて前記全球型仮想内視鏡画像を生成する。すなわち、前記支援装置10による観察支援制御に際して、前記内視鏡24による観察対象である管腔臓器に対応して予め得られて前記画像データベース44に記憶された3次元画像データを読み出し、公知の技術によりその3次元画像データに基づいて前記管腔臓器の全球型仮想内視鏡画像を生成して前記映像表示装置20に表示させる。
前記仮想内視鏡画像表示制御部72は、好適には、前記観察対象である管腔臓器に対応する3次元画像データに基づいて、前記観察位置推定部60により推定される前記内視鏡24の観察位置に対応する前記管腔臓器の全球型仮想内視鏡画像を表示させる。好適には、前記観察位置推定部60により推定される前記内視鏡24の観察位置から、その内視鏡24(観察部34)の視点位置及び視点方向、予め設定された視野角等に基づいて、前記管腔臓器の全球型仮想内視鏡画像を生成し、前記映像表示装置20に表示させる。図20は、前記仮想内視鏡画像表示制御部72により表示される、前記管腔臓器の全球型仮想内視鏡画像118を例示する図である。図20に示す全球型仮想内視鏡画像118は、最大視野角360°に対応するものである。この図20に示す全球型仮想内視鏡画像118を、前記内視鏡ナビゲーション画面110に前記外形像112及び仮想内視鏡画像116等と共に表示させるものであってもよい。
前記仮想展開像表示制御部74は、前記3次元画像データに基づいて前記管腔臓器の仮想展開像を表示させる。すなわち、前記支援装置10による観察支援制御に際して、前記内視鏡24による観察対象である管腔臓器に対応して予め得られて前記画像データベース44に記憶された3次元画像データを読み出し、公知の技術によりその3次元画像データに基づいて前記管腔臓器の仮想展開像を生成して前記映像表示装置20に表示させる。
前記仮想展開像表示制御部74は、前記管腔臓器の仮想展開像表示制御において、前記観察位置推定部60により推定される前記内視鏡24の観察位置を前記管腔臓器の仮想展開像上に表示させる。図19に示すように、前記仮想展開像表示制御部74は、好適には、前記内視鏡ナビゲーション画面110の一部に前記管腔臓器の仮想展開像120を表示させると共に、前記観察位置推定部60により推定される前記内視鏡24の観察位置の誤差に基づいて、前記仮想展開像120における前記内視鏡24の観察位置を含む所定範囲120aの明度と、余の部分120b、120cの明度とを異なる表示とする。好適には、前記所定範囲120aの明度が、前記余の部分120b、120cの明度よりも相対的に明るくなるように前記仮想展開像120の表示を制御する。或いは、前記仮想展開像120における前記所定範囲120aには特にフィルタをかけることなく、前記余の部分120b、120cにスモーク(靄のように視認し難くする効果)や所謂モザイク等のフィルタをかける表示制御を行うものであってもよい。或いは、前記仮想展開像120における前記所定範囲120aの色を前記余の部分120b、120cとは異なる色としたり、影(陰影)の描き方を異なるものとする等の表示制御を行うものであってもよい。好適には、観察対象である管腔臓器の区間毎に観察位置の誤差が予め定められたものであり、前記仮想展開像表示制御部74は、前記観察位置推定部60により推定される前記内視鏡24の観察位置が、観察対象である前記管腔臓器における何れの区間に含まれるかを判定し、前記観察位置の誤差を決定する。前記仮想展開像表示制御部74は、好適には、前記観察位置推定部60により推定される前記内視鏡24の観察位置が変化する毎に、前記仮想展開像120の表示を更新する。すなわち、前記仮想展開像120において余の部分よりも明るく表示させる所定範囲120aを更新する。
前記病変検出結果表示制御部76は、前記病変存在検出部62による検出結果を表示させる。好適には、前記病変存在検出部62により検出された病変の存在を、前記臓器図像表示制御部70により表示される前記外形像112、前記仮想内視鏡画像表示制御部72により表示される前記仮想内視鏡画像116、全球型仮想内視鏡画像118、及び前記仮想展開像表示制御部74により表示される前記仮想展開像120のうち少なくとも1つにおける、検出された病変に対応する部位に表示させる。図19及び図20に示す例においては、図面を見やすくするため各画像における病変位置を破線で囲繞して示しているが、実際の制御において、前記病変検出結果表示制御部76は、好適には、各画像における検出された病変に対応する部位を、余の部分とは異なる色(例えば紫色等)のマーカ等により色替え表示させる。すなわち、図19に示す例においては、前記仮想内視鏡画像116上に検出された病変の位置に対応する病変部位116dを、前記仮想展開像120上に検出された病変の位置に対応する病変部位120dをそれぞれ表示させている。外形像112に関しては、観察位置114が検出された病変位置に相当する。図20に示す例においては、前記全球型仮想内視鏡画像118上に検出された病変の位置に対応する病変部位118dを表示させている。前記病変検出結果表示制御部76は、好適には、前記観察位置推定部60により推定される前記内視鏡24の観察位置が変化する毎に、前記外形像112、前記仮想内視鏡画像116、前記全球型仮想内視鏡画像118、及び前記仮想展開像120等における病変部位の表示を更新する。
前記実内視鏡画像表示制御部68は、前記内視鏡24の観察部34により取得された画像(実画像)を前記映像表示装置20に表示させる。すなわち、前記観察部34により取得され、前記接続ケーブル38及び前記インターフェイス30等を介して入力される画像を前記映像表示装置20に表示させる。好適には、前記内視鏡24の観察部34により取得された画像を、前記臓器図像表示制御部70により表示される前記外形像112、前記仮想内視鏡画像表示制御部72により表示される前記仮想内視鏡画像116、全球型仮想内視鏡画像118、及び前記仮想展開像表示制御部74により表示される前記仮想展開像120のうち少なくとも1つと共に前記映像表示装置20に表示させる。或いは、前記外形像112、前記仮想内視鏡画像116、前記全球型仮想内視鏡画像118、及び前記仮想展開像120等が表示される前記映像表示装置20とは異なる映像表示装置に、前記内視鏡24の観察部34により取得された画像を表示させるものであってもよい。更に、前記実内視鏡画像表示制御部68は、前記支援装置10とは別体の制御装置に備えられたものであってもよい。
図21は、前記内視鏡24による大腸の観察における前記支援装置10による観察支援制御に際して、前記画像表示制御部66により前記映像表示装置20に表示される他の内視鏡ナビゲーション画面130を例示する図である。この図21に示すように、前記画像表示制御部66は、好適には、前記実内視鏡画像表示制御部68により表示される前記内視鏡24の実観察画像(ライブ大腸鏡像)132と、前記臓器図像表示制御部70により表示される前記大腸の外形像134と、前記仮想内視鏡画像表示制御部72により表示される前記大腸の仮想内視鏡画像(仮想化内視鏡像)136と、前記仮想展開像表示制御部74により表示される前記大腸の仰臥位仮想展開像138及び伏臥位仮想展開像140と、前記病変存在検出部62による検出結果に対応する病変の存在(ポリープナビ)142と、前記観察位置推定部60により推定される前記内視鏡24の観察位置が、前記病変存在検出部62により検出された病変付近に達した旨の警告144と、その病変部位に対応して前記仮想内視鏡画像表示制御部72により表示される仮想内視鏡画像(対応仮想化大腸鏡像)146とを、含む内視鏡ナビゲーション画面130を前記映像表示装置20における1画面に表示させる。更に、前記仮想内視鏡画像136上に、前記病変存在検出部62により検出された病変の位置に対応する病変部位136dを表示させる。
図22は、前記支援装置10のCPU12による内視鏡ナビゲーション制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、ステップ(以下、ステップを省略する)S1において、前記支援装置10による前記内視鏡24の観察支援(ナビゲーション)制御が開始されるか否かが判断される。好適には、前記内視鏡24の先端部(観察部34)が盲腸まで挿入され、前記内視鏡24の観察が開始されるか否かが判断される。このS1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S1の判断が肯定される場合には、S2において、前記内視鏡24による観察の対象となる大腸に対して予め取得され、前記画像データベース44に記憶された3次元画像データが読み出される。次に、S3において、S2にて読み出された3次元画像データに基づいて大腸の長手方向に沿った仮想芯線100が算出される。
次に、S4において、前記複数の位置センサ42それぞれにより検出される位置情報及び方向情報に基づいて、大腸内に挿入された前記内視鏡24の形状を示す内視鏡線98が算出される。次に、S5において、S3にて算出された前記仮想芯線100に対応する座標系と、S4にて算出された前記内視鏡線98に対応する座標系との対応付けを行う座標系レジストレーション処理が実行される。次に、S6において、S5の座標系レジストレーション処理の結果に基づいて、S3にて算出された前記仮想芯線100と、S4にて算出された前記内視鏡線98との対応関係を算出する線レジストレーション処理が実行される。次に、S7において、S6にて導出された対応関係に基づいて、前記大腸内における前記内視鏡24の観察位置(先端位置)が推定される。
次に、S8において、前記仮想芯線100における相互に隣接する前記ランドマーク106相互間に含まれる前記内視鏡線98の長さが変更されたか否かが判断される。このS8の判断が肯定される場合には、S6以下の処理が再び実行されるが、S8の判断が否定される場合には、SSにおいて、図23に示す画像表示処理が実行された後、S9において、前記支援装置10による前記内視鏡24の観察支援制御が終了させられるか否かが判断される。このS9の判断が否定される場合には、S8以下の処理が再び実行されるが、S9の判断が肯定される場合には、それをもって本ルーチンが終了させられる。
図23に示す画像表示制御においては、先ず、SS1において、前記内視鏡24の観察部34により取得された画像(実画像)が前記映像表示装置20に表示される。このSS1の処理は必ずしも実行されなくともよい。次に、SS2において、前記映像表示装置20に前記大腸の外形像を表示させる外形像表示モードであるか否かが判断される。このSS2の判断が否定される場合には、SS4以下の処理が実行されるが、SS2の判断が肯定される場合には、SS3において、S2にて読み出された3次元画像データに基づいて前記大腸の外形を示す外形像が生成され、前記映像表示装置20に表示されると共に、S7にて推定された前記内視鏡24の観察位置が前記大腸の外形像上に表示される。
次に、SS4において、前記映像表示装置20に前記大腸の仮想内視鏡画像を表示させる仮想内視鏡画像表示モードであるか否かが判断される。このSS4の判断が否定される場合には、SS6以下の処理が実行されるが、SS4の判断が肯定される場合には、SS5において、S2にて読み出された3次元画像データに基づいて、S7にて推定された前記内視鏡24の観察位置に対応する前記大腸の仮想内視鏡画像が生成され、前記映像表示装置20に表示される。次に、SS6において、前記映像表示装置20に前記大腸の仮想展開像を表示させる仮想展開像表示モードであるか否かが判断される。このSS6の判断が否定される場合には、SS8以下の処理が実行されるが、SS6の判断が肯定される場合には、SS7において、S2にて読み出された3次元画像データに基づいて前記大腸の仮想展開像が生成され、前記映像表示装置20に表示されると共に、S7にて推定された前記内視鏡24の観察位置の誤差に基づいて、前記大腸の仮想展開像における前記内視鏡24の観察位置を含む所定範囲の明度が、余の部分よりも明るく表示させられる。
次に、SS8において、S2にて読み出された3次元画像データに基づいて、前記大腸に病変が疑われる部位が存在するか否かが判断される。このSS8の判断が否定される場合には、SS10以下の処理が実行されるが、SS8の判断が肯定される場合には、SS9において、検出された病変の存在が前記映像表示装置20に表示される。好適には、SS3にて表示された外形像、SS5にて表示された仮想内視鏡画像、SS7にて表示された仮想展開像のうち少なくとも1つにおける、検出された病変に対応する部位にその存在を表示させる。次に、SS10において、S7にて推定された前記内視鏡24の観察位置が、SS8にて検出された病変付近に達したか否かが判断される。このSS10の判断が否定される場合には、それをもって図22に示す制御に復帰させられるが、SS10の判断が肯定される場合には、SS11において、前記内視鏡24の観察位置が、前記大腸における病変が疑われる部位に接近している警告が前記映像表示装置20等において報知された後、それをもって図22に示す制御に復帰させられる。
以上の制御において、S3が前記仮想芯線算出部50の動作に、S4が前記内視鏡線算出部52の動作に、S5及びS6が前記マッチング処理部54の動作に、S5が前記座標系レジストレーション処理部56の動作に、S6が前記線レジストレーション処理部58の動作に、S7が前記観察位置推定部60の動作に、SS8が前記病変存在検出部62の動作に、SS11が前記病変報知制御部64の動作に、SSが前記画像表示制御部66の動作に、SS1が前記実内視鏡画像表示制御部68の動作に、SS3が前記臓器図像表示制御部70の動作に、SS5が前記仮想内視鏡画像表示制御部72の動作に、SS7が前記仮想展開像表示制御部74の動作に、SS9が前記病変検出結果表示制御部76の動作に、それぞれ対応する。
このように、本実施例によれば、前記3次元画像データに基づいて前記管腔臓器の長手方向に沿った仮想芯線100を算出する仮想芯線算出部50(S3)と、前記管腔臓器内に挿入された前記内視鏡24の形状を示す内視鏡線98を算出する内視鏡線算出部52(S4)と、前記仮想芯線算出部50により算出された前記仮想芯線100と、前記内視鏡線算出部52により算出された前記内視鏡線98との対応関係を導出するマッチング処理部54(S5及びS6)と、そのマッチング処理部54により導出された対応関係に基づいて、前記管腔臓器内における前記内視鏡24の観察位置を推定する観察位置推定部56(S7)とを、備えたものであることから、大腸等の変形しやすい管腔臓器であっても、その管腔臓器の仮想芯線100と前記内視鏡の形状を示す内視鏡線98とのマッチングにより、内視鏡24による観察の支援を好適に実現することができる。すなわち、大腸等の管腔臓器の観察を支援する支援装置10を提供することができる。
前記仮想芯線算出部50により算出された前記仮想芯線100に対応する座標系と、前記内視鏡線算出部52により算出された前記内視鏡線98に対応する座標系との対応付けを行う座標系レジストレーション処理部56(S5)を備え、前記マッチング処理部54は、その座標系レジストレーション処理部56による対応付けの結果に基づいて、前記仮想芯線100と前記内視鏡線98との対応関係を導出するものであるため、好適且つ実用的な態様で前記管腔臓器の仮想芯線100と前記内視鏡24の形状を示す内視鏡線98との対応関係を導出できる。
前記マッチング処理部54は、前記仮想芯線算出部50により算出された前記仮想芯線100について複数のランドマーク106を検出し、それら複数のランドマーク106に基づいて前記仮想芯線100と前記内視鏡線98との対応関係を導出するものであるため、好適且つ実用的な態様で前記管腔臓器の仮想芯線100と前記内視鏡24の形状を示す内視鏡線98との対応関係を導出できる。
前記3次元画像データに基づいて前記管腔臓器の図像である外形像112を表示させ、前記観察位置推定部56により推定される前記内視鏡24の観察位置を前記外形像112上に表示させる臓器図像表示制御部70(SS3)を備えたものであるため、内視鏡24による観察位置を、観察対象である管腔臓器の外形像112上に表示させる実用的な内視鏡ナビゲーションを実現できる。
前記3次元画像データに基づいて、前記観察位置推定部56により推定される前記内視鏡24の観察位置に対応する前記管腔臓器の仮想内視鏡画像116を表示させる仮想内視鏡画像表示制御部72(SS5)を備えたものであるため、内視鏡24による観察位置に対応する管腔臓器の仮想内視鏡画像116を表示させる実用的な内視鏡ナビゲーションを実現できる。
前記仮想内視鏡画像表示制御部72は、前記3次元画像データに基づいて、前記観察位置推定部56により推定される前記内視鏡24の観察位置に対応する前記管腔臓器の全球型仮想内視鏡画像118を表示させるものであるため、内視鏡24による観察位置に対応する管腔臓器の全球型仮想内視鏡画像118を表示させる実用的な内視鏡ナビゲーションを実現できる。
前記3次元画像データに基づいて前記管腔臓器の仮想展開像120を表示させ、前記観察位置推定部56により推定される前記内視鏡24の観察位置を前記管腔臓器の仮想展開像120上に表示させる仮想展開像表示制御部74(SS7)を備えたものであるため、内視鏡24による観察位置に対応する管腔臓器の仮想展開像120を表示させる実用的な内視鏡ナビゲーションを実現できる。
前記仮想展開像表示制御部74は、前記観察位置推定部56により推定される前記内視鏡24の観察位置の誤差に基づいて、前記管腔臓器の仮想展開像120における前記内視鏡24の観察位置を含む所定範囲120aの表示を、余の部分120b、120cとは異なる表示とするものであるため、内視鏡24による観察位置に対応する管腔臓器の仮想展開像120を更に分かり易く表示させる内視鏡ナビゲーションを実現できる。
前記3次元画像データに基づいて前記管腔臓器における病変の存在を検出する病変存在検出部62(SS8)と、その病変存在検出部62による検出結果を表示させる病変検出結果表示制御部76(SS9)とを、備えたものであるため、内視鏡24による観察対象である管腔臓器における病変の有無を表示させる実用的な内視鏡ナビゲーションを実現できる。
前記観察位置推定部56により推定される前記内視鏡24の観察位置が、前記病変存在検出部62により検出された病変付近に達した場合には、その旨の報知を行う病変報知制御部64(SS11)を備えたものであるため、内視鏡24による観察位置が病変付近に達した場合、その旨の報知を行う実用的な内視鏡ナビゲーションを実現できる。
前記臓器図像表示制御部70により表示される前記管腔臓器の外形像112、前記仮想内視鏡画像表示制御部72により表示される前記管腔臓器の仮想内視鏡画像116、全球型仮想内視鏡画像118、及び、前記仮想展開像表示制御部74により表示される前記管腔臓器の仮想展開像120のうち少なくとも1つを表示させ、前記病変検出結果表示制御部76は、前記病変存在検出部62により検出された病変の存在を、前記管腔臓器の外形像112、前記管腔臓器の仮想内視鏡画像116、全球型仮想内視鏡画像118、及び前記管腔臓器の仮想展開像120のうち少なくとも1つにおける、検出された病変に対応する部位に表示させるものであるため、各画像上に検出された病変部位を表示させることで、実用的且つ分かり易い内視鏡ナビゲーションを実現できる。
前記マッチング処理部54は、前記仮想芯線100の形状に基づいてその仮想芯線100における複数のランドマーク106を検出し、検出された前記仮想芯線100における複数のランドマーク106から前記内視鏡線98までの距離に基づいて前記仮想芯線100と前記内視鏡線98との対応関係を導出するものであるため、好適且つ実用的な態様で前記管腔臓器の仮想芯線100と前記内視鏡24の形状を示す内視鏡線98との対応関係を導出できる。
前記マッチング処理部54は、前記ランドマーク106相互間における前記仮想芯線100上の各点及び前記内視鏡線98上の各点における対応関係を線形補間により導出するものであるため、好適且つ実用的な態様で前記管腔臓器の仮想芯線100と前記内視鏡24の形状を示す内視鏡線98との対応関係を導出できる。
前記マッチング処理部54は、相互に隣接する前記ランドマーク106相互間に含まれる前記内視鏡線98の長さが変更される毎に、前記仮想芯線100と前記内視鏡線98との対応関係を更新するものであるため、前記管腔臓器から内視鏡24が引き抜かれたり挿入されたたりする毎に、前記管腔臓器の仮想芯線100と前記内視鏡24の形状を示す内視鏡線98との対応関係をリアルタイムで導出できる。
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
例えば、前述の実施例において、前記支援装置10は、前記内視鏡24による管腔臓器としての大腸の観察を支援するものであったが、本発明はこれに限定されるものではなく、例えば、前記内視鏡24による小腸等の管腔臓器の観察を支援するものであってもよい。
前述の実施例において、前記内視鏡24は、その先端部に単一の観察部34を備えたものであったが、前記管状部32の先端部に加え、或いは先端部を除く中腹に単数乃至複数の観察部34を備えたものであってもよい。斯かる内視鏡24による観察において、前記支援装置10における観察位置推定部60は、好適には、前記内視鏡24における複数の観察部34それぞれに対応する観察位置を推定する。
前述の実施例においては、前記外形像112、仮想内視鏡画像116、及び仮想展開像120が、前記映像表示装置20における1画面に表示される表示態様について説明したが、複数の映像表示装置20が設けられており、前記外形像112、仮想内視鏡画像116、及び仮想展開像120がそれぞれ異なる画面(異なる映像表示装置)に表示されるものであっても当然に構わない。
前述の実施例において、前記内視鏡24の管状部32には、所定の間隔で4つの位置センサ42が設けられたものであったが、3つ以下の位置センサ或いは5つ以上の位置センサが設けられたものであってもよい。位置センサの数が多いほど、前記管腔臓器に対する前記内視鏡24(管状部32)の相対位置を好適に検出することができる。
前述の実施例において、前記マッチング処理部54は、大腸に対応する前記仮想芯線100において5つのランドマーク106を検出するものであったが、4つ以下のランドマーク或いは6つ以上のランドマークを検出するものであってもよい。検出されるランドマークの数が多いほど、前記仮想芯線100と前記内視鏡線98との対応関係を好適に導出することができる。
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。