JP2009056239A

JP2009056239A - 内視鏡装置

Info

Publication number: JP2009056239A
Application number: JP2007228267A
Authority: JP
Inventors: Toshiya Akimoto; 俊也秋本; Junichi Onishi; 順一大西
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2007-09-03
Filing date: 2007-09-03
Publication date: 2009-03-19
Anticipated expiration: 2027-09-03
Also published as: JP4922107B2

Abstract

【課題】内視鏡を目的部位に確実かつ迅速に挿入することができる内視鏡装置を提供する。
【解決手段】内視鏡装置１は、被検体の体腔路を撮像する内視鏡２Ａと、前記被検体の３次元領域の画像データに基づいて、体腔外から前記被検体内の関心部位１００Ｂまで前記内視鏡２Ａの先端部２ｂを挿入するための挿入経路を設定する経路設定手段と、前記被検体の３次元領域の画像データに基づいて、前記体腔路の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記内視鏡先端部２ｂの位置を検出する位置検出手段と、前記先端部位置から前記関心部位まで前記内視鏡先端部２ｂを挿入するための、前記挿入経路と一部重複している再挿入経路を設定する再経路設定手段と、前記内視鏡の撮像画像と前記挿入経路の仮想内視鏡画像と前記再挿入経路の仮想内視鏡画像とを合成する画像処理手段とを備える。
【選択図】図１

Description

本発明は、内視鏡装置に関し、特に多数の分岐を有する体腔路内に挿入する内視鏡装置に関する。

近年、３次元画像を用いた診断が広く行われるようになっている。例えば、Ｘ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置により被検体の断層像を撮像することにより被検体内の３次元画像データを得て、この３次元画像データを用いて目的部位の診断が行われるようになっている。

ＣＴ装置では、Ｘ線照射位置および検出位置を連続的に回転させつつ、被検体を連続的に移動することにより、被検体を螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌｓｃａｎ）が行われる。そして、連続した被検体の多数の断層２次元画像から、３次元画像を作成される。

診断が広く行われている３次元画像の１つに、肺の気管支の３次元画像がある。気管支の３次元画像は、例えば肺癌等が疑われる関心部位の位置を３次元的に把握するのに利用される。そして、関心部位を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプルを採取することが行われる。

気管支のように、多段階の分岐を有する体内の管路では、関心部位の所在が分岐の末梢に近いときには、内視鏡の先端を短時間で正しく目的部位に到達させることが難しい。このため、例えば、特開２０００−１３５２１５号公報には、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。

また、気管支内視鏡を目的部位に、より容易にナビゲーションするために、特開２００５−１３１０４６号公報には、被検体内の体腔路の３次元画像を連続したフレーム単位の仮想画像として生成する仮想画像生成手段と、被検体内の体腔路が分岐する全分岐部での前記仮想画像の複数の縮小画像とからなるナビゲーション画像を生成するナビゲーション画像生成手段を有する内視鏡の挿入支援システムが開示されている。
特開２０００−１３５２１５号公報特開２００５−１３１０４６号公報

しかしながら、特開２０００−１３５２１５号公報または特開２００５−１３１０４６号公報に開示された気管支内視鏡挿入支援装置等を用いていても、内視鏡挿入途中で、患者がせきをした場合等には、内視鏡の先端部が当初設定した挿入経路からずれてしまうことがある。術者が、内視鏡の先端部が当初設定した挿入経路からずれてしまったことに気がつかないと、誤った組織をサンプリングしてしまう可能性もある。術者が内視鏡の先端部が当初設定した挿入経路からずれてしまったことに気がついた場合には、術者は患者の負担を考慮して、内視鏡の先端部を最小の戻り作業で、当初設定した正しい経路に戻すことが好ましい。しかし、多段階の分岐を有する気管支に挿入されている内視鏡の先端部を、どの分岐部まで戻せばよいのかを、術者が判断するのは容易ではなかった。

本発明は、内視鏡を目的部位に確実かつ迅速に挿入することができる内視鏡装置を提供することを目的とする。

上記目的を達成すべく、本発明の内視鏡装置は、被検体の体腔路を撮像する内視鏡と、前記被検体の３次元領域の画像データに基づいて、体腔外から前記被検体内の関心部位まで前記内視鏡の先端部を挿入するための前記体腔路の挿入経路を設定する経路設定手段と、前記被検体の３次元領域の画像データに基づいて、前記体腔路の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記内視鏡の先端部の位置を検出する位置検出手段と、前記先端部の前記位置から前記関心部位まで前記内視鏡の前記先端部を挿入するための、前記体腔路の前記挿入経路と一部重複している再挿入経路を設定する再経路設定手段と、前記内視鏡の撮像画像と、前記挿入経路の仮想内視鏡画像と、前記再挿入経路の仮想内視鏡画像とを合成する画像処理手段とを備える。

本発明は、内視鏡を目的部位に確実かつ迅速に挿入することができる内視鏡装置を提供するものである。

以下、図面を参照して本発明の実施の形態について説明する。

＜第１の実施の形態＞
図１は、本発明の実施の形態の内視鏡装置１の構成を示す構成図である。図１に示すように、本実施の形態の内視鏡装置１は、被検体の患者の体腔路である気管支に挿入し気管支内を撮像し気管支末端の関心部位組織を生検する内視鏡２Ａを有する気管支鏡装置２と、内視鏡先端部２ｂの位置を検出する位置検出部３と、ＣＴ画像データに基づき気管支内部の仮想気管支内視鏡画像（ＶｉｒｔｕａｌＢｒｏｎｃｈｕｓＳｃｏｐｅ：以下、仮想内視鏡画像またはＶＢＳ画像と記す）を生成すると共に撮像部２ａからの撮像信号に基づき、気管支鏡装置２により得られる内視鏡画像（以下、ライブ画像と記す）とＶＢＳ画像等とを合成してモニタ６に表示し内視鏡２Ａの気管支への挿入ナビゲーションを行う挿入支援装置５と、挿入支援装置５に術者の指示を入力する第１の入力部８と、挿入支援装置５の経路設定指示を入力する第２の入力部１９とを備えて構成される。

気管支鏡装置２は、被検体の体腔路に挿入される内視鏡２Ａと、内視鏡２Ａを制御する内視鏡制御部２Ｂとからなる。内視鏡２Ａの先端部２ｂには、撮像装置２ａ等が配設されている。

挿入支援装置５は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（ＭａｇｎｅｔｏＯｐｔｉｃａｌｄｉｓｋ）装置またはＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）装置等の可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれた３次元画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきＭＰＲ（ＭｕｌｔｉＰｌａｎａｒＲｅｃｏｎｓｔｒｕｃｔｉｏｎ）画像を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像から内視鏡２Ａの気管支関心部位への挿入経路（以下、挿入経路またはルートという）を設定する経路設定手段および再経路設定手段を有するルート設定部１４と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成する仮想内視鏡画像生成手段を有するＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、気管支鏡装置２からの撮像信号および第１の入力部８からの入力信号により、ライブ画像、ＶＢＳ画像および複数の分岐サムネイルＶＢＳ画像等からなる後述する表示画面を生成する画像合成部を有する画像処理部１７と、ルート設定部１４が生成した挿入経路および画像処理部１７が生成したナビゲーション画面等をモニタ６に表示させる画像表示制御部１８とから構成される。

位置検出部９は、後述するように、現在位置の画像と多数のＶＢＳ画像とを画像認識処理し所定値より類似していると判断されたＶＢＳ画像が得られる位置を内視鏡先端部２ｂの現在位置として検出する位置検出手段である。

なお、ＣＴ画像データ格納部１２およびＶＢＳ画像格納部１６は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５および画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。

次に、記被検体の３次元領域の画像データに基づいて、体腔外から被検体内の関心部位まで内視鏡２Ａの先端部２ｂを挿入するための、体腔路の挿入経路を設定する経路設定手段を有するルート設定部１４および仮想内視鏡画像生成手段を有するＶＢＳ画像生成部１５について説明する。

内視鏡２Ａの挿入に先立ち、挿入支援装置５は、ＣＴ画像データ取り込み部１１によりＣＴ装置で生成された患者の３次元画像データを取り込み、取り込んだ３次元画像データをＣＴ画像データ格納部１２に格納する。そして、患者の例えば３つの異なる多断面像からなるＭＰＲ画像がＭＰＲ画像生成部により生成され、ルート設定部１４は、このＭＰＲ画像上の、図２に示す体腔内の挿入始点Ａ１と、被検体内の関心部位１００Ｂ近傍の挿入終点Ｅ１とが、第２の入力部１９により指定されると、挿入始点Ａ１と挿入終点Ｅ１を結ぶ体腔路を設定するルート設定処理を行い、内視鏡２Ａの挿入経路を設定する。挿入経路が設定されると、ＶＢＳ画像生成部１５は、設定した経路の連続したＶＢＳ画像をフレーム単位で生成し、生成したＶＢＳ画像をＶＢＳ画像格納部１６に格納する。

挿入支援装置５は、挿入経路を設定し、ＶＢＳ画像を生成し格納すると、挿入経路等をモニタ６に表示する。図３は挿入経路等を表示した表示画面６ａの例を示す図である。図３に示すように表示画面６ａには、患者情報や分岐部の情報等６Ａと、内視鏡２Ａの挿入経路Ｒ１を表示する画像６Ｂと、および詳細は図示しないＶＢＳ画像６Ｃ等とが表示される。画像６Ｂには、３次元画像から生成された患者の気管支画像１００Ａに重畳して、体腔外に近い体腔内の内視鏡２Ａの挿入始点Ａ１から、被検体内の関心部位１００Ｂ近傍の内視鏡２Ａの挿入終点Ｅ１と、ルート設定部１４が設定した内視鏡２Ａの挿入経路Ｒ１が表示されている。

なお、以下では、説明を簡単にするため挿入経路上の分岐部が４カ所のみの場合を例とする。図４は、内視鏡２Ａの挿入経路Ｒ２を説明するための模式図である。図４において気管支腔路は、各線分で表示され、気管支は、分岐部Ｊ１、Ｊ１１、Ｊ１１１、Ｊ１１１１、Ｊ１１１２およびＪ１１１２２等において、分岐している。挿入始点Ａ２と挿入終点Ｅ２を結ぶ破線がルート設定部１４が設定した内視鏡２Ａの挿入経路Ｒ２である。以下、分岐部Ｊ１、Ｊ１１、Ｊ１１１、Ｊ１１１１、Ｊ１１１２およびＪ１１１２２の、それぞれを指すときはＪという。なお、分岐部Ｊは、末梢側で分岐する毎に最終桁に１桁の数字を付加して表示している。例えば、Ｊ１１１１およびＪ１１１２はいずれも挿入始点Ａ２から数えて４回目の分岐部であり、Ｊ１１１１およびＪ１１１２に至る挿入経路は挿入始点Ａ２から分岐部Ｊ１１１までは同じ経路であったことを示している。図４において、挿入経路Ｒ２は、挿入始点Ａ２から４回の分岐部、すなわち、Ｊ１、Ｊ１１、Ｊ１１１、Ｊ１１１１を経由して、挿入終点Ｅ１に至っている。なお、図４において分岐部Ｊは２分岐部の場合のみを表示しているが３分岐以上の場合もある。また、分岐部次数とは、分岐の回数を表す数であり、Ｊ１では１，Ｊ１１１１では４となる。

次に、図５は、図２とは異なるモニタ６の表示画面６ａの表示形態を示す図である。なお、図１においてはモニタ６は１台のみ図示したが、複数のモニタを用いて異なる表示形態の表示画面を同時に表示することも可能である。図５示すように表示画面６ａには、挿入経路Ｒ２にある気管支の分岐部ＪのＶＢＳ画像６Ｄと、ＶＢＳ画像６Ｄで表示されている分岐部の情報と、ルート中の分岐部のＶＢＳ画像の分岐サムネイル画像６Ｅと、ＶＢＳ画像６Ｄのコントロール例えば回転操作を指示するためのアイコンおよび分岐サムネイルＶＢＳ画像６Ｅの中からＶＢＳ画像６Ｄとして表示する画像を選択するための操作等を行うためのアイコン等とが表示されている。

ＶＢＳ画像６Ｄには、静止画だけでなく、挿入始点Ａ２から挿入終点Ｅ２までの挿入経路Ｒ２のＶＢＳ画像を、所望の内視鏡挿入速度の動画で表示することもできる。

なお、図５において、縮小表示された分岐サムネイルＶＢＳ画像６Ｅの中で、分岐サムネイルＶＢＳ画像６Ｅ１の表示枠が太く表示されていのは、分岐サムネイルＶＢＳ画像６Ｅ１が、ＶＢＳ画像６Ｄとして表示されている分岐サムネイルＶＢＳ縮小画像であることを示している。

次に、図６から図１２を用いて、挿入支援装置５による内視鏡２Ａの挿入ナビゲーションについて説明する。図６から図８は、挿入ナビゲーションの際のモニタ６の表示画面６ａの表示形態を示す図であり、図９から図１１は挿入支援装置の動作の流れを説明するためのフローチャートであり、図１２は、内視鏡２Ａの再挿入経路である挿入経路３を説明するための模式図である。なお、ナビゲーションを開始前に経路設定手段により、挿入経路１が設定されているものとする。以下、図９から図１１に示すフローチャートに従い、挿入支援装置５による内視鏡２Ａの挿入ナビゲーションについて説明する。

＜ステップＳ１＞
挿入支援装置５は、ナビゲーションを開始すると、モニタ６に図６に示すような表示画面６ａを表示する。

この表示画面６ａは、内視鏡撮像部２ａからのライブ画像を表示する内視鏡ライブ画像表示エリア６Ｆと、ＶＢＳ画像６ｄを表示するＶＢＳ画像表示エリア６Ｄと、ＶＢＳ画像６ｄ表示の分岐部名称、分岐部次数等の表示エリア６Ｈと、ルートの全ての分岐部でのＶＢＳ画像を縮小して分岐サムネイルＶＢＳ画像として表示する分岐サムネイルＶＢＳ画像６Ｅ等とからなる。内視鏡２Ａの挿入前であるステップＳ１では、内視鏡ライブ画像表示エリア６Ｆにはライブ画像は表示されないが、ＶＢＳ画像表示エリア６Ｄにはルートの最初の分岐部のＶＢＳ画像６ｄ１が表示され、分岐サムネイルＶＢＳ画像６Ｅとしては、挿入経路上の４箇所の全ての分岐部での分岐サムネイルＶＢＳ画像６Ｅ１〜６Ｅ４が表示される。なお、図６においては分岐サムネイルＶＢＳ画像を１列表示としたが、分岐部が多い場合には２列以上にわたって分岐サムネイルＶＢＳ画像を表示するようにしてもよい。

図６において、ＶＢＳ画像６ｄ１には挿入経路１に沿って進むための経路穴にマーカ６Ｇを重畳して表示している。また、ＶＢＳ画像表示エリア６Ｄに表示されるＶＢＳ画像６ｄ１に対応する分岐サムネイルＶＢＳ画像６Ｅ１の枠が太枠あるいはカラー表示され、他の分岐サムネイルＶＢＳ画像と識別可能となっており、術者はＶＢＳ画像表示エリア６Ｄに表示されるＶＢＳ画像がどの分岐部の画像かを容易に認識できるようになっている。このステップＳ１の段階では分岐サムネイルＶＢＳ画像６Ｅ１の枠が太枠あるいはカラー表示されている。また、各分岐サムネイルＶＢＳ画像の上側に、挿入終点までの挿入経路にある分岐部の数が表示される。このため、術者は現在の内視鏡の先端部の位置から関心部位まで体腔路の分岐部の数を確実に把握できる。

＜ステップＳ２＞
内視鏡２Ａの気管支内への挿入が開始される。

＜ステップＳ３＞
挿入支援装置５は、図６に示す表示画面６ａに内視鏡ライブ画像表示エリア６Ｆに内視鏡撮像部からのライブ画像６ｆを表示する。尚、ステップＳ３においてもＶＢＳ画像表示エリア６Ｄにはルートの最初の分岐部のＶＢＳ画像６ｄ１が表示され、分岐サムネイルＶＢＳ画像エリア６Ｅには全ての分岐部での分岐サムネイルＶＢＳ画像６Ｅ１〜６Ｅ４が表示され、分岐サムネイルＶＢＳ画像６Ｅ１の枠が太枠あるいはカラー表示される。

＜ステップＳ４＞
内視鏡２Ａの先端部２ｂが最初（第１）の分岐部Ｊ１に到達すると、術者は静止画像を得るフリーズスイッチを押下する。挿入支援装置５は、フリーズスイッチがＯＮされたかどうか判断し、ＯＮされたならばステップＳ５に進み、ＯＮされないならばステップＳ３に戻り、ＯＮされるまでライブ画像表示を続ける。

＜ステップＳ５＞
挿入支援装置５は、ライブ画像６ｆの静止画像を取り込み、画像処理部１７において、公知の画像認識処理によって、該静止画像と最初の分岐部のＶＢＳ画像６ｄ１との類似度を計算する。

＜ステップＳ６＞
挿入支援装置５は、所定値を超える類似度でライブ画像６ｆの静止画像とＶＢＳ画像６ｄ１とが類似していると判断すると、両画像が同一の分岐部での画像であるとする。

＜ステップＳ７＞
挿入支援装置５は、術者の画像回転自動スイッチ操作を待って、あるいは自動で、ＶＢＳ画像６ｄ１を回転させ、ライブ画像６ｆの静止画像の方向とＶＢＳ画像６ｄ１の方向とを一致させる。

このようにしてライブ画像６ｆの静止画像とＶＢＳ画像６ｄ１とを一致させると、術者はマーカ６Ｇが示す経路穴をライブ画像６ｆ上で容易に見いだせるので、マーカ６Ｇの指示に従って挿入を続行する。

＜ステップＳ８＞
挿入支援装置５は、表示画面６ａを更新する。すなわち、図７に示すように、挿入支援装置５は、内視鏡の挿入につれて、次の分岐部Ｊ１１のＶＢＳ画像６ｄ２を表示するとともに、すでに通過した分岐部の分岐サムネイルＶＢＳ画像６Ｅ１を消去し、次の分岐部の分岐サムネイルＶＢＳ画像６Ｅ２の枠を太枠あるいはカラー表示とし、分岐サムネイルＶＢＳ画像の上側に表示する残りの分岐の数を減ずる。もちろん、すでに通過した分岐サムネイルＶＢＳ画像６Ｅ１を消去せずに残しておいても差し支えない。

＜ステップＳ９＞
挿入支援装置５は、ステップＳ８で関心部位１００Ｂに達したか（すなわち、ナビゲーションの挿入終点Ｅ２に達したか）どうかを判断し、関心部位１００Ｂに到達した場合は処理を終了し、関心部位１００Ｂに到達していない場合にはステップＳ３に戻り、関心部位１００Ｂに到達するまで、ステップＳ３〜Ｓ７の処理を繰り返す。

次に、図１０のフローチャートを用い、ステップＳ６においてＮＯの場合の挿入支援装置５によりナビゲーション処理の流れを説明する。

＜ステップＳ１１＞
上記の挿入支援装置５による内視鏡２Ａの挿入ナビゲーションにより目的部位まで内視鏡先端部２ｂを挿入できた場合には問題はないが、内視鏡挿入途中で、患者がせきをした場合等には、内視鏡２Ａの先端部２ｂが当初設定した挿入経路からずれて、異なる分岐部に入り込んでしまうことがある。

その場合には、本実施の形態の内視鏡装置１においては、ステップＳ６において、所定値以下の類似度となり、挿入支援装置５は当初設定した挿入経路以外のルートに挿入されたと判断し警告をする。なお、警告は表示画面６ａ上に表示してもよいし、音または光等の公知の警告手段を用いてもよい。挿入支援装置５からの警告により、術者は間違った挿入経路に内視鏡先端部２ｂが挿入されたことを確実に認識し、内視鏡２Ａの挿入を中断できる。

＜ステップＳ１２＞
挿入支援装置５の位置検出部９の位置検出手段は、内視鏡先端部２ｂの現在の位置を検出するために、現在の静止画像と、多数の気管支管腔路内のＶＢＳ画像とを画像認識処理し、類似度を計算する。

＜ステップＳ１３＞
位置検出手段は、現在の静止画像と所定値を超える類似度で類似していると判断したＶＢＳ画像が得られる位置を現在の内視鏡先端部２ｂの位置とする
通常は、画像認識処理に用いる現在の静止画像としては、ステップＳ５で取り込み、当初設定した挿入経路からずれていると判断した分岐部の画像を用いる。新規に画像を取り込む場合にも、分岐部の画像が好ましい。このため、現在のライブ画像が分岐部でない場合には、内視鏡２Ａを挿入もしくは引き抜いて先端部２ｂが分岐部となるように修正し、撮像部２ａが撮像する画像が分岐部となるように修正することが好ましい。分岐部の画像には、それぞれ特徴があり、画像認識による位置検出精度が向上するからである。

挿入支援装置５は、位置検出処理の速度向上のために、当初設定した挿入経路１からずれる直前の分岐部に近い分岐部のＶＢＳ画像から画像認識処理を進めることが好ましい。例えば、内視鏡先端部２ｂが分岐部Ｊ１１１１通過後に当初設定した挿入経路からずれた場合には、Ｊ１１１、Ｊ１１１２、Ｊ１１１２１およびＪ１１１２２等の分岐部から画像認識処理を進め、その後、Ｊ１１およびＪ１１２等の分岐部の処理を行い、それでも所定値より類似していると判断されたＶＢＳ画像が得られなかった場合には、Ｊ１２の末梢側の分岐部の処理を行うことが好ましい。

あるいは、位置検出部９は、内視鏡先端部２ｂに設けた磁界センサに外部から特定方向の磁界を印加し、内視鏡先端部２ｂの位置を検出する位置検出手段であってもよい。同様に、内視鏡先端部２ｂに設けた磁界発生部からの磁界を外部に設けた磁界センサ等で内視鏡先端部２ｂの位置を検出する位置検出手段であってもよい。すなわち、位置検出部９は、電磁波を利用して先端部の位置を算出する位置検出手段であってもよい。

＜ステップＳ１４＞
挿入支援装置５は、内視鏡先端部２ｂの現在位置が含まれる気管支管腔路の中心線を求める。すなわち、内視鏡先端部２ｂの位置は必ず気管支管腔路内のある一点であるため、その点の属する気管支管腔路を求める。

＜ステップＳ１５＞
挿入支援装置５は、ステップＳ１４で求めた現在の内視鏡先端部２ｂの位置が含まれる気管支管腔路の中心線が、当初の挿入経路１に含まれているかを判断する。

＜ステップＳ１６＞
ステップＳ１５においてＹＥＳの場合には、先端部２ｂは、挿入経路１上にあり、現在の先端部２ｂの位置は、挿入支援装置５が先端部２ｂがずれたと判断した分岐部より前か後ろに移動しただけである。このため、挿入支援装置５は、当初作成した挿入経路１のデータに基づき、現在の先端部２ｂの位置から末梢側の次の分岐部のＶＢＳ画像表示等を行い、ステップＳ３からの動作に戻る。

一方、ステップＳ１５においてＮｏの場合には、内視鏡先端部２ｂは当初の挿入経路１からずれている。このため、挿入支援装置５は、再挿入経路、すなわち新たな挿入経路３を求める。以下、図１１のフローチャートおよび、図１２の気管支管腔路の模式図を例に説明する。

図１２において、内視鏡先端部２ｂの現在位置をＰ２とする。現在位置Ｐ２は当初の挿入経路１であるＲ２からずれている。すなわち、内視鏡先端部２ｂは、分岐部Ｊ１１１２２にあり、分岐部Ｊ１１１２２のＶＢＳ画像と内視鏡２Ａの静止画像が所定値を超える類似度で類似している。

＜ステップＳ２１＞
ルート設定部１４の再経路設定手段は、現在位置Ｐ２から挿入始点Ａ２までの挿入経路２であるＲ３を求める。図１２に示すように挿入経路２は、Ｐ２からＪ１１１２、Ｊ１１１、Ｊ１１、Ｊ１を経由してＡ２に至る。

＜ステップＳ２２＞
ルート設定部１４の再経路設定手段は、当初の挿入経路（挿入経路１）Ｒ２と、現在位置Ｐ２から挿入始点Ｓ２までの挿入経路２であるＲ３が一致する範囲を求める。図１２に示すように挿入経路１Ｒ２は、Ａ２から、Ｊ１、Ｊ１１、Ｊ１１１、Ｊ１１１１を経由してＥ２に至る。このため、Ｒ２とＲ３が一致する範囲は、Ａ２から、Ｊ１、Ｊ１１、Ｊ１１１までである。このＲ２とＲ３が一致する範囲を求めることで、Ｒ２とＲ３の合流分岐部がＪ１１１であることが判明する。

＜ステップＳ２３＞
ルート設定部１４の再経路設定手段は、挿入経路２の現在位置Ｐ２から合流分岐部Ｊ１１１までの挿入経路と、経路１の合流分岐部がＪ１１１から挿入終点Ｅ２までの挿入経路を合成し、Ｐ２からＥ２への再挿入経路Ｒ４を設定する。図１２に示すようにＲ４は、Ｐ２から、Ｊ１１１２、Ｊ１１１、Ｊ１１１１を経由してＥ２に至る。

なお、ルート設定部１４の再経路設定手段は、挿入経路１を設定した経路設定手段と同じ手段であってもよいし、異なる設定手段であってもよい。

＜ステップＳ２４＞
挿入支援装置５は、再挿入経路Ｒ４に合わせたデータを生成する。すなわち、再挿入経路Ｒ４のうち、挿入経路１と重複しない部分については、動画表示するフレーム画像データや分岐サムネイル画像等がないため、これらを生成する。ただし、処理時間を短縮するため、分岐サムネイル画像のみを作成してもよい。また、Ｐ２から末梢側の最初の分岐部は、再挿入経路Ｒ４に含まれないが、現在観察している分岐部であるので、必要に応じ、データを作成するとよい。

そして、挿入支援装置５は、図８に示すように、表示画面６ａに表示する。表示画面６ａの内視鏡ライブ画像表示エリア６Ｆには、分岐部Ｊ１１１２２を観察している内視鏡撮像部２ａからのライブ画像が表示され、ＶＢＳ画像表示エリア６Ｄには、分岐部Ｊ１１１２２のＶＢＳ画像６ｄ５が表示され、表示エリア６Ｈには分岐部の名称Ｊ１１１２２が表示され、分岐サムネイルＶＢＳ画像エリア６Ｅには、再挿入経路Ｒ３の全ての分岐部での分岐サムネイルＶＢＳ画像が表示されている。

分岐サムネイルＶＢＳ画像のうち、分岐部Ｊ１１１２２および分岐部Ｊ１１１２の分岐サムネイルＶＢＳ画像６Ｅ５および６Ｅ６には、画像に重畳して下向きの矢印マーク６Ｊが表示され、当該分岐部が、通常の挿入操作ではなく、内視鏡２Ａを引き抜く分岐部であることを術者に示している。あるいは、内視鏡２Ａを引き抜く分岐部の分岐サムネイルＶＢＳ画像は、表示枠の色を変える等の表示形態によっても、通常の挿入操作ではないことを術者に示すことができる。また、分岐サムネイルＶＢＳ画像の上には、挿入終点Ｅ２までの分岐数である４が表示されている。

＜ステップＳ２５＞
ステップＳ３に戻る。通常の挿入経路１ではなく、内視鏡２Ａを引き抜く分岐部がある再挿入経路３による再挿入ナビゲーションとなるが、挿入支援装置５の動作は、通常の挿入ナビゲーションとほぼ同じである。
なお、内視鏡先端部２ｂが合流分岐部Ｊ１１１まで戻った後は、挿入支援装置５の動作は通常の挿入ナビゲーションと全く同じである。表示装置６の表示画面６ａを、最初に作成表示した表示画面に戻してもよい。すなわち、分岐サムネイルＶＢＳ画像を連続表示している場合には、Ｊ１、Ｊ１１、Ｊ１１１およびＪ１１１１の分岐サムネイルＶＢＳ画像に戻してもよい。

以上のように、術者は、本実施の形態の内視鏡装置１により、内視鏡挿入途中で、患者がせきをし、内視鏡２Ａの先端部２ｂが当初設定した挿入経路からずれてしまった場合でも、ずれてしまったことを、挿入支援装置５の警告により確実に認識できる。また、術者は、挿入支援装置５のナビゲーションにより、内視鏡２Ａの先端部２ｂを最小の戻り作業で、当初設定した正しい挿入経路に確実かつ迅速に戻し、内視鏡２Ａの挿入をすることができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の第１の実施の形態の内視鏡装置の構成を示す構成図である。挿入経路等を表示した表示画面の例を示す図である。挿入経路等を表示した表示画面の例を示す図である。内視鏡の挿入経路を説明するための模式図である。モニタの表示画面の表示形態を示す図である。挿入ナビゲーションの際のモニタの表示画面の表示形態を示す図である。挿入ナビゲーションの際のモニタの表示画面の表示形態を示す図である。挿入ナビゲーションの際のモニタの表示画面の表示形態を示す図である。挿入支援装置の動作の流れを説明するためのフローチャートである。挿入支援装置の動作の流れを説明するためのフローチャートである。挿入支援装置の動作の流れを説明するためのフローチャートである。内視鏡の再挿入経路を説明するための模式図である。

符号の説明

１…内視鏡装置、２…気管支鏡装置、２Ａ…内視鏡、２ａ…内視鏡撮像部、２ｂ…先端部、３…位置検出部、６…モニタ、５…挿入支援装置、６Ｇ…マーカ、９…位置検出部、１２…ＶＢＳ画像データ格納部、１３…ＭＰＲ画像生成部、１４…ルート設定部、１５…ＶＢＳ画像生成部、１６…ＶＢＳ画像格納部、１７…画像処理部、１８…画像表示制御部、Ｊ…分岐部、Ｐ１…挿入始点、Ｐ２…現在位置、Ｅ１…挿入終点、Ｒ１…挿入経路、Ｒ３…再挿入経路

Claims

被検体の体腔路を撮像する内視鏡と、
前記被検体の３次元領域の画像データに基づいて、体腔外から前記被検体内の関心部位まで前記内視鏡の先端部を挿入するための前記体腔路の挿入経路を設定する経路設定手段と、
前記被検体の３次元領域の画像データに基づいて、前記体腔路の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
前記内視鏡の先端部の位置を検出する位置検出手段と、
前記先端部の前記位置から前記関心部位まで前記内視鏡の前記先端部を挿入するための、前記体腔路の前記挿入経路と一部重複している再挿入経路を設定する再経路設定手段と、
前記内視鏡の撮像画像と、前記挿入経路の仮想内視鏡画像と、前記再挿入経路の仮想内視鏡画像とを合成する画像処理手段と
を備えることを特徴とする内視鏡装置。
前記仮想内視鏡画像生成手段は、前記被検体の３次元領域の画像データから、前記再挿入経路の仮想内視鏡画像を生成することを特徴とする請求項１に記載の内視鏡装置。
画像処理手段は、前記内視鏡の撮像画像と、前記挿入経路の仮想内視鏡画像と、前記再挿入経路の仮想内視鏡画像と、付加情報とを合成することを特徴とする請求項１または請求項２に記載の内視鏡装置。
前記付加情報は、前記先端部の位置から前記関心部位までの前記体腔路の分岐部の数であることを特徴とする請求項３に記載の内視鏡装置。
前記付加情報は、分岐部名称であることを特徴とする請求項３に記載の内視鏡装置。
前記画像処理手段は、前記内視鏡の挿入につれて、すでに通過した前記挿入経路および記再挿入経路の仮想内視鏡画像を除いて合成することを特徴とする請求項３から請求項５のいずれか１項に記載の内視鏡装置。
前記位置検出手段は、画像認識により、前記内視鏡の撮像画像と類似する前記仮想内視鏡画像が生成される前記体腔路位置を前記先端部の位置とすることを特徴とする請求項１から請求項６のいずれか１項に記載の内視鏡装置。
前記位置検出手段が検出する前記先端部の位置は、前記体腔路の分岐部であることを特徴とする請求項７に記載の内視鏡装置。
前記位置検出手段は、電磁波を利用して前記先端部の位置を算出することを特徴とする請求項１から請求項６のいずれか１項に記載の内視鏡装置。
前記体腔路は気管支管腔路であることを特徴とする請求項１から請求項９のいずれか１項に記載の内視鏡装置。