JP5715311B2 - 内視鏡システム - Google Patents

Description

本発明は、被検体内を撮像手段により撮像する内視鏡システムに関する。

近年、体腔内等に挿入可能な挿入部を有する内視鏡は医療分野などにおいて広く用いられるようになっている。
一方、体腔内における気管支のように複雑に分岐した管腔臓器内に挿入して管腔臓器の末梢側の目標部位（の患部組織）を検査、又は処置具による生検や処置を行うような場合においては、挿入した際に得られる内視鏡画像のみでは、目標部位付近まで挿入部先端を導入することが困難な場合がある。
このため、目標部位付近まで内視鏡の挿入部先端を導入する操作を支援するためのシステム又は装置が提案されている。
例えば、第１の従来例としてのＷＯ２００７−１２９４９３号公報の医療画像観察支援装置は、ＣＴ画像データ取込部、ＣＴ画像データ格納部、情報抽出部、解剖学的情報データベース、視点位置／視線方向設定部、管腔臓器画像生成部、解剖学的名称情報発生部、枝指定部、画像合成表示部及びユーザＩ／Ｆ制御部を備えた構成を開示している。視点位置／視線方向設定部は、情報抽出部が抽出した管腔臓器の構造情報に基づき、管腔臓器の略中心軸に視点をロックオンして管腔臓器の外観を観察する視点位置及び視線方向を設定する。

また、第２の従来例としての日本国特開２０１１−２１２２４４号公報の内視鏡システムは、仮想視野決定部が、内視鏡位置姿勢検出部で検出された内視鏡の位置に対応する３次元医用画像中での位置に配置された仮想内視鏡の仮想視野を、注目位置特定部によって特定された注目構造物の位置、内視鏡の対応位置と姿勢、内視鏡画角取得部で取得された内視鏡の画角に基づいて、注目構造物の位置が仮想視野内に含まれるように、かつ、内視鏡の視野と連続性を有するように決定し、仮想内視鏡画像生成部が、３次元医用画像形成部で形成された３次元医用画像を入力として、内視鏡の対応位置を視点とし、決定された仮想視野を有する仮想内視鏡画像を生成し、表示制御部が、生成された仮想内視鏡画像をＷＳディスプレイに表示させる内容を開示している。

内視鏡の挿入部先端の位置を推定する場合、内視鏡の撮像手段により撮像した内視鏡画像（実画像）と、ＣＴによる管腔臓器の３次元データに基づいて生成した仮想内視鏡画像（仮想画像）との比較により行われる。そのため、最初に両画像の比較による位置合わせが行われる。
そして、位置の推定の精度が低下したような場合には、所定の精度を確保できる状態に設定するための再度の位置合わせが必要になるが、上述した従来例は、再度の位置合わせを行うのに時間がかかる欠点があった。
より具体的に説明すると、例えば第１の従来例は、内視鏡先端位置を３次元画像上に座標変換して芯線との距離を比較する観点と、分岐部の実画像と仮想画像とを比較する観点を開示しているが、再度の位置合わせを行うのに適した情報量で記録することを明確には開示していない。

また、第２の従来例も、同様に再度の位置合わせを行うのに適した情報量で記録することを開示していない。
このように従来例においては、比較の候補となる仮想画像が多すぎることが多いために、再度の位置合わせに時間がかかってしまう欠点が発生する。このため、再度の位置合わせに適した情報量の情報を記録することが望まれる。また、従来例においては、記録する条件が視覚的に確認し難いため、確認し易い条件で記録するようにして、ユーザに対する利便性を向上することが望まれる。
本発明は上述した点に鑑みてなされたもので、視覚的に把握し易い条件で再度の位置合わせを行うのに適した情報量の情報を記録する内視鏡システムを提供することを目的とする。

本発明の一態様の内視鏡システムは、管腔を有する臓器に対して、前記管腔内の所定の視点位置における仮想的な内視鏡画像である仮想内視鏡画像を生成する仮想内視鏡画像生成部と、前記管腔に挿入される内視鏡内に設けられ、前記管腔内の観察画像を取得する撮像部と、前記仮想内視鏡画像生成部において生成された前記仮想内視鏡画像と前記撮像部において取得された前記観察画像とを比較する画像比較部と、前記画像比較部による比較結果に基づき前記内視鏡の挿入部の先端の位置の情報を位置情報として取得する位置情報取得部と、前記位置情報取得部により取得される前記挿入部の先端の位置から前記臓器における特徴領域までの距離を算出する距離算出部と、前記距離算出部が算出する前記距離が、予め定められた設定距離以内であるか否かを判定する距離比較部と、前記撮像部により撮像された内視鏡画像内において、前記管腔が分岐する分岐領域における形状の変化量または明るさの変化量を検知する変化量検知部と、前記距離比較部による判定結果及び前記変化量検知部の検知結果に基づいて、前記内視鏡の挿入部の先端の位置を記録する情報記録部と、を備える。

図１は本発明の第１の実施形態の内視鏡システムの全体構成を示す図。 図２Ａは気管支の一部と気管支形状画像を表す図。 図２Ｂは気管支内に挿入して気管支径を経時的に算出した様子を示す図。 図２Ｃは気管支径を算出した位置と、算出された気管支径の大きさを示す図。 図２Ｄは再度の位置合わせを行う指示がされた場合にモニタに表示される候補情報を示す図。 図３Ａはステレオ計測を行うステレオ内視鏡を備えた内視鏡装置の構成を示す図。 図３Ｂはステレオ計測を行う計測対象の位置が左右の撮像素子の撮像面に結像される関係を示す説明図。 図３Ｃはステレオ内視鏡を用いて気管支内を撮像した画像をモニタ画面に表示した１例を示す図。 図３Ｄは図３Ｃの画像から気管支径を算出するための説明図。 図３Ｅは単一の撮像装置を用いたステレオ計測により気管支径を算出するための説明図。 図４Ａは第１の実施形態における処理内容の１例を示すフローチャート。 図４Ｂは図４Ａにおける一部の処理内容の詳細を示すフローチャート。 図５は挿入部の先端の位置と分岐点間の距離の算出（計測）例を示す図。 図６は気管支径を算出（計測）する例を示す図。 図７は挿入部の先端の位置とスパーとの間の距離に対して設定距離を設定して挿入する様子を示す図。 図８は図７の場合における処理内容の一部を示すフローチャート。 図９Ａは挿入部の先端の位置とスパーとの間の距離を最短距離で算出する例を示す図。 図９Ｂは挿入部の先端の位置から最短距離となる芯線上の位置とスパーとの間の距離を算出する例を示す図。 図９Ｃは３次元データのある座標面に沿って距離を算出する例を示す図。 図１０は挿入部の先端位置と芯線との距離を監視して挿入部を挿入する場合の説明図。 図１１Ａは挿入部の先端の位置と芯線との間の距離等を算出する場合の説明図。 図１１Ｂは図１１Ａとは異なる方法で距離を算出する場合の説明図。 図１２はユーザが設定領域を設定して挿入部を挿入する場合の説明図。 図１３は気管支内に挿入した場合に内視鏡画像における暗部の面積等から明るさの変化量を監視する動作の説明図。 図１４は気管支内に挿入した場合に内視鏡画像における気管支の分岐形状の変化量を監視する動作の説明図。 図１５は気管支内に挿入した場合に内視鏡画像におけるスパーの長さの変化量を監視する動作と、挿入部の先端の位置を移動した際のスパーの長さの変化の様子を示す図。 図１６は気管支内に挿入した場合に内視鏡画像におけるスパーの角度の変化量を監視する動作と、スパーの角度変化の様子を示す図。 図１７は気管支内に挿入した場合に内視鏡画像における視野不良の発生を監視する動作の説明図。 図１８は気管支内に挿入した場合に内視鏡画像における分岐以外の変化を監視する動作の説明図。 図１９は内視鏡画像におけるぶれ量を算出する構成の説明図。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示すように本発明の第１の実施形態の内視鏡システム１は、検査対象となる被検体としての患者における所定の管腔臓器としての気管支２（図２Ａ）内に挿入される内視鏡３Ａを備えた内視鏡装置４Ａと、この内視鏡装置４Ａと共に使用され、内視鏡３Ａの挿入支援を行うための挿入支援装置５と、から主に構成される。
内視鏡装置４Ａは、内視鏡３Ａと、この内視鏡３Ａに照明光を供給する光源装置６と、内視鏡３Ａに搭載された撮像手段を構成する撮像素子７に対する信号処理を行う信号処理装置としてのカメラコントロールユニット（ＣＣＵと略記）８Ａと、ＣＣＵ８Ａにより生成された内視鏡画像を表示するモニタ９Ａと、を有する。

内視鏡３Ａは、可撓性を有する細長の挿入部（又は内視鏡挿入部）１１と、この挿入部１１の後端に設けられた操作部１２とを有し、挿入部１１の先端部１３には照明窓と観察窓とが設けられる。挿入部１１，操作部１２内には照明光を伝達するライトガイド１４が挿通され、このライトガイド１４の入射端は光源装置６に接続され、光源装置６内の図示しない光源ランプ又はＬＥＤにより発生した照明光が入射端に入射される。このライトガイド１４により伝達された照明光は、照明窓に取り付けられた出射端（先端面）から前方に出射される。
また、観察窓には、被写体を結像する対物光学系を形成する対物レンズ１５が取り付けられ、その結像位置にＣＣＤ等の撮像素子７が配置され、対物レンズ１５と撮像素子７とにより、挿入部１１が挿入される所定の管腔臓器としての気管支２内を撮像する撮像手段（又は撮像部）としての撮像装置１６が形成される。

撮像素子７は、挿入部１１，操作部１２内を挿通された信号線を介してＣＣＵ８Ａに接続される。ＣＣＵ８Ａは、その内部の図示しない画像信号生成回路により撮像素子７の撮像面に結像された光学像に対応する撮像画像の画像信号を生成し、この画像信号をモニタ９Ａに出力する。モニタ９Ａは、画像信号の画像（動画像）を、内視鏡画像（撮像画像とも言う）として表示する。
内視鏡３Ａの挿入部１１には、先端部１３の後端に湾曲自在の湾曲部１９が設けてあり、術者は操作部１２に設けた湾曲操作ノブ２０を回転する操作を行うことにより、湾曲部１９を上下、左右の任意の方向に湾曲することができる。なお、湾曲操作ノブ２０は、上下方向に湾曲させるための上下方向用湾曲操作ノブと、左右方向に湾曲させるための左右方向用湾曲操作ノブとを備えている。
図１に示す内視鏡装置４Ａの代わりに、図３Ａに示す内視鏡装置４Ｂを採用しても良い。

内視鏡装置４Ｂは、立体計測（ステレオ計測）が可能なステレオ内視鏡３Ｂと、光源装置６と、ステレオ内視鏡３Ｂに設けた２つの撮像素子７ａ，７ｂに対する信号処理を行うＣＣＵ８ＢとＣＣＵ８Ｂより生成されたステレオ画像信号を表示するステレオ表示用モニタ９Ｂを有する。
ステレオ内視鏡３Ｂの挿入部１１の先端部１３には、左右方向に所定間隔だけ離間して左右の対物レンズ１５ａ、１５ｂが配置され、それぞれの結像位置に左右の撮像素子７ａ，７ｂが配置されて、左右の撮像装置１６ａ，１６ｂを有するステレオ撮像装置１６′が構成される。なお、左右の対物レンズ１５ａ、１５ｂと左右の撮像装置１６ａ，１６ｂとはそれぞれ特性が揃ったものが用いられている。
また、挿入部１１内には光源装置６からの照明光を伝送するライトガイド１４が挿通されている。ライトガイド１４の先端は、先端部１３の照明窓に取り付けられ、伝送した照明光を照明窓から出射し、体腔内における患部等の被写体を照明する。

照明された被写体を撮像する左右の撮像素子７ａ，７ｂは、光電変換した撮像信号をＣＣＵ８Ｂ内の撮像制御部１８ａ、１８ｂに入力され、撮像制御部１８ａ、１８ｂは、左右の画像信号を生成してステレオ画像信号生成部１８ｃに出力する。
ステレオ画像信号生成部１８ｃは、左右の画像信号からステレオ表示用の画像信号を生成し、ステレオ表示用モニタ９Ｂに出力する。そして、ステレオ表示用モニタ９Ｂは、ステレオ表示用の画像信号を表示し、術者等のユーザはステレオ表示用の画像信号の表示により被写体を立体視することが可能となる。
また、撮像制御部１８ａ、１８ｂにより生成された左右の画像信号は、計測演算部１８ｄに入力され、左右の画像信号を用いて、三角測量の原理を利用したステレオ計測により、撮像した内視鏡画像上における２点間の距離等を計測可能にする。後述するように例えば気管支径Ｄａを計測（算出）することが可能となる。計測演算部１８ｄにより算出された気管支径Ｄａ等の情報は、画像処理部２５に出力される。なお、内視鏡画像から計測（算出）される気管支径Ｄａは、気管支２の平均的な内径でなく、管腔における２点から算出される内径の値である。このため、気管支２が分岐する分岐領域付近においては、気管支の実際の内径よりも大きな気管支径Ｄａが計測（算出）される場合がある。図３Ａにおいて、撮像制御部１８ａ（又は１８ｂ）により生成された映像信号も画像処理部２５に出力される。

次に図３Ｂを用いてステレオ計測による計測対象の点（位置）の３次元座標の求め方を説明する。左右の対物レンズ１５ａ、１５ｂを用いて撮像素子７ａ，７ｂの撮像面の画像に対して、三角測量の方法により、計測点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の（１）式〜（３）式で計算される。ただし、歪み補正が施された左右の画像上の計測点６１，６２の２次元座標をそれぞれ（Ｘ_Ｌ，Ｙ_Ｌ）、（Ｘ_Ｒ，Ｙ_Ｒ）とし、左右の対物レンズ１５ａ，１５ｂの光学中心６３，６４間の距離をＤとし、焦点距離をＦとし、ｔ＝Ｄ／（Ｘ_Ｌ−Ｘ_Ｒ）とする。すると、以下の関係式が成立する。
Ｘ＝ｔ×Ｘ_Ｒ＋Ｄ／２ ・・・（１）
Ｙ＝ｔ×Ｙ_Ｒ ・・・（２）
Ｚ＝ｔ×Ｆ ・・・（３）
上記のように計測点６０に対する画像上での２次元座標の計測点６１，６２が決定すると、パラメータとしての距離Ｄおよび焦点距離Ｆを用いて計測点６０の３次元座標が求まる。

いくつかの点の３次元座標を求めることによって、それらにおける２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左の対物レンズ１５ａの光学中心６３、または右の対物レンズ１５ｂの光学中心６４から被写体までの距離（物体距離）を求めることも可能となる。上記のステレオ計測を行うためには、内視鏡３Ｂの先端部１３と対物レンズ１５ａ，１５ｂの特性を示す光学データを用いる。なお、図３Ｂにおいては、２つの撮像面を共に含む面をＰＬで示し、また、（図３Ｂにおいては表示していない対物レンズ１５ａ，１５ｂの光軸上となる）右の撮像面の中心をＯ_Ｌ，Ｏ_Ｒで示している。
ステレオ画像から３次元座標を演算する方法としては、日本国特開２０１１−０２７９１１号公報に示される方法などがある。
本実施形態においては、後述する気管支径Ｄａを計測する場合には、図３Ｂの撮像面上での気管支径の一方の計測点６０に対応する点６１および６２と、他方の計測点に対応する点を指定することにより指定された２点間の気管支径Ｄａを算出する。

この方法に関して図３Ｃおよび図３Ｄを用いて説明する。モニタ９Ｂの表示画面７１には内視鏡画像中の気管支７２と、この気管支７２の抹消側となる次の気管支分岐部７３が表示されている様子を示している。この画面７１の範囲に対して、メッシュ７４で示すようなブロックで区切り、各ブロック内の平均輝度が所定値以下のエリアを抽出する。このようにして抽出された検出ブロック７５を斜線をつけて示したのが図３Ｄとなる。
そして、検出ブロック７５の一番直径の大きくなる２次元座標の２点を気管支径Ｄａとして判定して、その２点を計測点６０ａおよび、計測点６０ｂを設定する。なお、図３Ｄは、左画面および右画面における一方の画面を示し、他方の画面でも同様に計測点６０ａ，６０ｂを設定する。一般的に、管腔臓器を内視鏡で観察すると奥に行くほど暗い画像となるため、上記のように説明した方法で計測点を設定することが可能となる。計測点６０ａ，６０ｂを指定する場合、該計測点６０ａ，６０ｂ間が最も大きくなる方向に指定するようにしても良い。

上記演算をステレオ画像を構成する左画面および右画面の両方で実施し、左画面および右画面においてそれぞれ２次元の計測点６０ａおよび計測点６０ｂを求める。そして、左画面の計測点６０ａに相当する点を図３Ｂの２次元の点６１、右画面の計測点６０ａに相当する点を２次元の点６２として演算すると、計測点６０の（３次元座標）位置を求めることができる。同様の演算を計測点６０ｂに相当する左画面および、右画面に対して行うことで、気管支径両端の計測点６０に相当する３次元座標を得ることができるため、この２点間の距離から（該２点を結ぶ計測方向の）気管支径Ｄａを算出することができる。
以上の動作を内視鏡画像が更新される毎に行うことで、内視鏡画像から算出した計測方向の気管支径Ｄａの変化を監視することが可能となる。
また、図３Ａに示した対となる左右の撮像装置１６ａ，１６ｂを有するステレオ撮像装置１６′を備えたステレオ内視鏡３Ｂを用いる代わりに、図１の単眼（単一）の撮像装置１６を備えた内視鏡３Ａを用いて、以下のようにステレオ計測を行うようにしても良い。

図３Ｅに示すように気管支２内に内視鏡３Ａを挿入した場合において、術者が挿入部１１の先端側の湾曲部１９を左右に湾曲させて図３Ｂの左右の撮像装置で撮像する状態とほぼ等価な状態に設定して、ステレオ計測により気管支径を算出するようにしても良い。
例えば湾曲部１９を湾曲しない状態において、挿入部１１の先端を気管支２の中心線付近に設定し、術者は湾曲部１９を例えば左側に湾曲させて、挿入部１１の先端が気管支２の左側の内壁に接触させて、図３Ｂの左の撮像装置１６ａで撮像する状態に相当する第１の撮像位置１６ａ′に設定する。第１の撮像位置１６ａ′における対物レンズ１５と撮像素子７とをそれぞれ１５ａ′、７ａ′で示している。

この第１の撮像位置１６ａ′において撮像を行った後に、術者は湾曲部１９を右側に湾曲させて、図３Ｅにおいて２点鎖線で示すように先端を気管支２の右側の内壁に接触させて図３Ｂにおける右の撮像装置１６ｂで撮像する状態に相当する第２の撮像位置１６ｂ′に設定する。第２の撮像位置１６ｂ′における対物レンズ１５と撮像素子７とをそれぞれ１５ｂ′、７ｂ′で示している。この第２の撮像位置１６ｂ′において撮像を行う。
湾曲操作ノブ２０の操作によって湾曲部１９を左右にそれぞれ湾曲させた場合の先端部１３の左右方向の移動量や、撮像装置１６の対物レンズ１５の焦点距離、撮像素子７の左右及び垂直方向の画素数、画素のピッチ等の情報を予め調べて情報記録部２７等に格納しておく。

このようにした場合、図３Ｂの左右の光学中心６３，６４に対応する図３Ｅにおける光学中心６３′、６４′や左右の光学中心間の距離Ｄに対応する距離Ｄ′を湾曲部１９の湾曲角（又は湾曲操作ノブ２０の操作量）等から算出することができる。また図３Ｂの計測点６０の場合に対応する計測点６０′に対する撮像素子７ａ′、７ｂ′上での計測点６１′，６２′の情報から計測点６０′の３次元位置を算出できる。また、計測点６０′として気管支径の一方の位置と他方の位置との２点を指定することにより、気管支径を算出することが可能となる。このように、図１の内視鏡３Ａを用いて、気管支径を算出しても良い。なお、左右の方向に湾曲させた場合で説明したが、他の方向に湾曲させた場合にも、同様に該他の方向に沿った気管支径を算出することが可能となる。
図１に示すように上記挿入支援装置５は、内視鏡３Ａ又は３Ｂによる検査が行われる患者に対して、公知のＣＴ（Computed Tomography）で生成された患者の３次元画像情報としてのＣＴデータを、ＤＶＤ、ブルーレイディスク、フラッシュメモリ等の可搬型の記憶媒体を介して取り込むＣＴデータ取込部２１と、このＣＴデータ取込部２１によって取り込まれたＣＴデータを記録する画像記録手段としてのＣＴ画像データ記録部２２とを有する。

なお、ＣＴ画像データ記録部２２は、ＣＴで生成された（被検体としての患者の３次元画像情報としての）ＣＴデータを通信回線、インタネット等を経由して記憶しても良い。このＣＴ画像データ記録部２２は、ハードディスク装置や、フラッシュメモリ、ＤＶＤ等により構成することができる。
また、画像記録手段を構成するＣＴ画像データ記録部２２は、ＣＴデータより画像データを分離したＣＴ画像データと、ＣＴデータより位置情報を分離した該ＣＴ画像データに対応する第１の座標系（ＣＴ座標系）を用いた３次元の位置データとを対応付けた対応付け画像情報として記録する対応付け画像情報記録部２２ａを有する。
また、挿入支援装置５は、ＣＴ画像データ記録部２２のＣＴ画像データから所定の管腔臓器としての気管支２の３次元画像データを抽出する管腔臓器抽出手段としての管腔臓器抽出回路、中央演算処理装置（ＣＰＵ略記）等からなる気管支抽出部２３を有する。

この気管支抽出部２３は、抽出した気管支２の３次元データ（より具体的には３次元のボリュームデータ）から、気管支２の中空形状を表す３次元形状の情報（形状データ）と、３次元形状の画像情報（画像データ）を生成する。つまり、気管支抽出部２３は、抽出した気管支２の３次元データから中空の３次元形状の気管支形状の画像としての気管支形状画像２ａを生成する気管支形状画像生成手段としての気管支形状画像生成部２３ａを有する。
また、この気管支抽出部２３は、気管支２の３次元データを抽出する際、３次元データに対応する第１の座標系（又はＣＴ座標系）での３次元の位置データと対応付けて抽出する。そして、この気管支抽出部２３は、気管支２の３次元形状のデータ（つまり気管支形状データ）と３次元の位置データとを対応付けした対応付け情報を記録するメモリなどからなる対応付け情報記録部２３ｂを有する。

また、挿入支援装置５は、内視鏡３Ａ又は３Ｂにおける挿入部１１の先端部１３に設けた撮像装置１６又は１６ａ，１６ｂの撮像により生成される内視鏡画像に対応する仮想的な内視鏡画像としての仮想内視鏡画像（ＶＢＳ画像と言う）を生成する仮想内視鏡画像生成手段としてのＶＢＳ画像生成部２４を有する。以下においては、内視鏡３Ａ又は３Ｂにおけるいずれでも良い場合においては、内視鏡３Ａの場合で説明する。
ＶＢＳ画像生成部２４には、内視鏡３Ａの先端部１３の撮像装置１６に関する結像系を含む特性情報（対物レンズ１５の焦点距離、撮像素子７の画素数、画素サイズ等）が、例えば入力装置３１から制御部２６を経て入力される。なお、制御部２６を経由することなく、入力装置３１から撮像装置１６に関する特性情報をＶＢＳ画像生成部２４に入力するようにしても良い。

ＶＢＳ画像生成部２４は、実際に気管支２内に挿入された内視鏡３Ａの先端部１３内に配置された撮像装置１６の３次元位置（挿入部１１の先端の３次元位置とも言える）の情報と、撮像装置１６による気管支２内の被写体を結像する特性情報と、前記気管支形状データに基づいて、前記３次元位置（単に位置ともいう）を視点位置として気管支２内を内視鏡的に撮像した内視鏡画像を仮想的に描画するＶＢＳ画像を生成する画像生成回路、又はＣＰＵ等により構成される。なお、ＶＢＳ画像生成部２４は、同じ視点位置においても先端の軸方向（撮像装置１６の光軸方向とほぼ一致）を変化した場合には、その変化に対応したＶＢＳ画像を生成することができる。
従って、例えば挿入部１１の先端の位置と、先端の（軸）方向とをＣＴ座標系により指定すると、ＶＢＳ画像生成部２４は、位置と方向の指定に対応したＶＢＳ画像を生成する。

また、挿入支援装置５は、ＣＣＵ８Ａから入力される内視鏡画像と、ＶＢＳ画像生成部２４のＶＢＳ画像との位置合わせを画像マッチングで行うＣＰＵ、画像処理回路等で構成される画像処理部２５と、画像処理部２５等の制御を行う制御手段としてＣＰＵ等で構成される制御部２６と、制御部２６の制御下で挿入支援するためのＶＢＳ画像等の情報を候補情報又は位置及び画像情報として記録する情報記録手段を構成するメモリ等で構成される情報記録部２７とを有する。
また、挿入支援装置５は、ＣＴ画像データ記録部２２に記録されたＣＴ画像データに基づき多断面再構築画像としてのＣＴ断層画像（ＭＰＲ画像という）を生成するＭＰＲ画像生成部２８と、ＭＰＲ画像生成部２８が生成したＭＰＲ画像を有する挿入経路の設定画面としての経路設定画面を生成し、内視鏡３Ａの気管支２内の目標部位側へ挿入する際の経路を設定するマウス等のポインティングデバイス等の経路設定手段としての経路設定部２９とを有する。

そして、例えばＣＴ画像データから図２Ａに示すように目標部位３６を指定した場合、経路設定部２９はＣＴ画像データと気管支形状画像２ａとから気管支２における（挿入部１１の）挿入開始位置から目標部位３６近傍となる目標位置までの経路データを生成する経路データ生成回路等の経路データ生成部２９ａの機能を有する。
また、内視鏡システム１は、経路設定部２９に対して設定情報を入力するキーボードやポインティングデバイス等からなる入力装置３１を有する。また、術者は、この入力装置３１から画像処理部２５に対して、画像処理を行う際のパラメータや、データを入力したり、制御部２６に対して制御動作を選択、指示することができる。
また、術者が経路設定を行った場合、経路設定部２９は設定された経路の情報をＶＢＳ画像生成部２４、ＭＰＲ画像生成部２８、制御部２６に送る。ＶＢＳ画像生成部２４及びＭＰＲ画像生成部２８は、それぞれ経路に沿ったＶＢＳ画像、ＭＰＲ画像を生成し、制御部２６は経路に沿って各部の動作の制御を行う。

上記画像処理部２５には、ＣＣＵ８Ａにより生成された内視鏡画像（実画像又は単に画像とも言う）と、ＶＢＳ画像生成部２４により生成されたＶＢＳ画像とが入力される。また、気管支形状画像生成部２３ａにより生成された気管支形状画像２ａも、画像処理部２５に入力される。
本実施形態においては、撮像装置１６が配置された挿入部１１の先端部１３に、挿入部１１の先端の位置を検出するセンサを搭載していないため、画像処理部２５による位置合わせ処理部２５ａにおける画像マッチングによって挿入部１１の先端の３次元位置（単に位置とも言う）を推定（又は算出）する。
あらかじめ、気管支２の入口やカリーナＫ（図２Ａ参照）等、気管支形状画像２ａからＣＴ座標系により特定できる３次元位置（既知となる位置）又はその近傍位置を動画マッチングの開始位置として設定しておくと、その位置情報を基にＶＢＳ画像生成部はＶＢＳ画像を生成する。画像処理部２５の位置合わせ処理部２５ａは、気管支２の入口やカリーナ等、気管支形状画像２ａからＣＴ座標系（第１の座標系）により特定できる３次元位置（既知となる位置）又はその近傍位置に挿入部１１の先端を設定して、ＣＴ座標系により挿入部１１の先端の位置を推定（又は算出）できる状態に設定する。

そして、術者は内視鏡画像がＶＢＳ画像と同じように見えるように挿入部１１の先端を挿入する。このような位置合わせを行うことにより、画像処理部２５の位置合わせ処理部２５ａは、内視鏡画像とＶＢＳ画像とを比較し、比較結果が設定された条件（所定の精度を確保できる誤差）以内で一致するように画像マッチングを開始する。
このため、画像処理部２５は、内視鏡画像とＶＢＳ画像とを比較する画像比較手段としての画像比較回路等により構成される画像比較部２５ｂを有し、位置合わせ処理部２５ａは、画像比較部２５ｂによる画像比較を利用して画像マッチングによる位置合わせの処理を行う。
上記のような位置合わせを行うことにより、画像処理部２５の位置合わせ処理部２５ａは、挿入部１１の先端の位置と、先端の軸方向（撮像装置１６の視点方向又は視線方向）とをＣＴ座標系（第１の座標系）での位置座標と軸方向（姿勢とも言う）を示す情報により特定できる状態にする。

このようにして位置合わせした後は、該位置合わせした情報を用いて、画像比較部２５ｂによる画像比較結果により、以後の挿入部１１の先端の位置を、ＣＴ座標系（第１の座標系）での位置に対応付けた情報として取得することが可能になる。つまり、画像処理部２５は、挿入部１１の先端の位置（情報）を取得する位置情報取得手段として、挿入部１１の先端の位置を推定により取得する位置推定部２５ｃを有する。位置推定部２５ｃも画像比較部２５ｂによる画像比較結果に基づいて挿入部１１の先端の位置を取得する。更に説明すると、画像処理部２５は、挿入部１１が気管支２の深部側（末梢側）に挿入される操作において、位置合わせ処理部２５ａにより位置合わせ後の状態におけるＣＴ座標系のもとで挿入部１１の先端の移動した位置を、内視鏡画像とＶＢＳ画像との両画像の比較結果により、推定する。

つまり、位置合わせ処理した位置から、挿入部１１の先端を芯線３５にほぼ沿って（挿入のために）移動する操作に伴って、撮像装置１６が移動するため、内視鏡画像が変化する。
この場合、位置推定部２５ｃは、芯線３５にほぼ沿った経路上で挿入部１１の先端を移動した場合の（ＶＢＳ画像生成部２４から出力される）ＶＢＳ画像を用いて現在の内視鏡画像と最も良くマッチングするＶＢＳ画像を画像処理により選出し、選出したＶＢＳ画像に対応する３次元位置を挿入部１１の先端の位置として算出（推定）する。上記ように位置推定部２５ｃは、挿入部１１の先端の位置と共にその姿勢（挿入部１１の先端付近の軸方向又は長手方向）も算出（推定）する。
挿入部１１の先端は、芯線３５上から外れた位置に移動される場合もあるため、芯線３５から適宜の距離だけ偏心した位置においてのＶＢＳ画像をＶＢＳ画像生成部２４が生成し、生成したＶＢＳ画像を位置合わせ処理部２５ａに出力するようにしても良い。このようにすると、画像マッチングによる位置推定の範囲を拡大できる。

また、位置推定部２５ｃにより推定された２つの位置の差分量から挿入部１１の先端の移動量及び移動した位置を算出（推定）する。また、位置推定部２５ｃは、推定された１つの位置と、気管支２における特徴領域における分岐点（ＣＴ座標系により特定できる位置）のような特定の位置との間の距離を算出（推定）することもできる。
このため、位置推定部２５ｃは、この位置推定部２５ｃにより推定される挿入部１１の先端の位置と、所定の管腔臓器としての気管支２内における分岐している分岐領域などの特徴領域までの距離を算出する距離算出手段としての距離算出部の機能を有する。上述したように、画像処理部２５は、挿入部１１の先端の位置の情報を推定により取得する位置情報取得手段としての位置推定部２５ｃの機能を有する。この場合、位置合わせ処理部２５ａが位置推定部２５ｃの機能を含む構成と定義しても良い。
なお、本明細書においては、挿入部１１の先端は、内視鏡３Ａの先端と同じ意味で用いる。

また、画像処理部２５は、制御部２６における表示を制御する表示制御部２６ａ等の制御の下で、画像表示手段としてのモニタ３２に表示する画像を生成する。
表示制御部２６ａの制御下で、画像処理部２５は、通常は、気管支形状画像生成部２３ａにより生成された気管支形状画像２ａの画像信号（映像信号）をモニタ３２に出力する。そして、モニタ３２には図２Ａに示すように気管支形状画像２ａが例えば管腔の中心を通る方向に沿った断面で切り出した２次元断層画像として表示される。なお、２次元断層画像で表示する場合に限定されるものでなく、３次元画像で表示しても良い。３次元画像で表示する場合には、例えば平行投影法による投影図や、管腔内部が分かるように透視図で表示しても良い。
また、図２Ａに示すように、モニタ３２において表示される気管支形状画像２ａには、気管支２の管腔の中心を通る芯線３５も表示するようにしている。

なお、芯線３５は、例えば気管支形状画像生成部２３ａが生成するが、画像処理部２５において芯線３５を生成しても良い。また、画像処理部２５は、気管支形状画像２ａ上に、芯線３５と共に、位置推定部２５ｃにより推定された挿入部１１の先端の位置を重畳する画像等を生成する画像生成部２５ｄの機能を有する。
術者等のユーザは、挿入部１１をその先端から気管支２内に挿入する場合、気管支２の３次元形状を表す気管支形状画像２ａ上に芯線３５と挿入部１１の先端の位置とが表示されるため、その表示を参考にすることによって、挿入部１１の挿入の操作が行い易くなる。また、芯線３５に沿って挿入する操作を行うことにより、画像マッチングによる挿入部１１の先端の位置の推定を短時間に行うことができる。
また、画像処理部２５は、位置推定部２５ｃにより推定される挿入部１１の先端の位置と、所定の管腔臓器としての気管支２内における特徴領域までの距離を設定距離と比較する距離比較手段としての距離比較部２５ｅを有する。

なお、画像処理部２５が距離比較部２５ｅを有する構成とする代わりに、制御部２６が距離比較手段としての距離比較部２５ｅを有する構成にしても良い。上述したように画像処理部２５における位置推定部２５ｃが距離を算出（推定）すると説明したが、距離比較部２５ｅが距離の算出（推定）と、距離の比較とを行うようにしても良い。
また、本実施形態においては、画像処理部２５は、撮像装置１６により撮像された内視鏡画像（単に画像とも言う）内における特徴部の変化量を検知する変化量検知手段としての変化量検知部２５ｇを有する。変化量検知部２５ｇは、特徴部としての気管支径（気管支２の内径）の変化量を検知する気管支径変化量検知部２５ｈ、特徴部としての分岐領域の明るさの変化量を検知する明るさ変化量検知部２５ｉ、分岐領域の形状の変化量を検知する形状変化量検知部２５ｊを有する。
また、形状変化量検知部２５ｊは、気管支２の管腔が分かれる（分岐する）スパー（分岐点又は分岐境界）の長さや角度の変化量を検知するスパー変化量検出部２５ｋを有し、また明るさ変化量検知部２５ｉは、後述する視野不良検知部２５ｌの機能を有する。視野不良検知部２５ｌの機能を明るさ変化量検知部２５ｉが備える場合に限定されない。

なお、上記制御部２６は、位置推定部２５ｃにより推定した挿入部１１の先端の位置により経路データ生成部２９ａによって、（内視鏡３Ａの挿入部１１の挿入前に）生成された経路データを補正するようにしても良い。
また、制御部２６は、距離比較部２５ｅによる比較結果と、変化量検知部２５ｇによる検知結果とが記録するための所定の条件を満たすか否かの判定を行う条件判定部２６ｂの機能を有する。
制御部２６における条件判定部２６ｂは、所定の条件を満たすと判定した場合には、所定の条件を満たすと判定した場合の位置推定部２５ｃにより推定した挿入部１１の先端の位置及び姿勢の情報と、該位置及び姿勢の情報に対応するＶＢＳ画像とを関連付けた情報を（位置及び画像情報又は再度の位置合わせの際に提示する候補情報として）情報記録部２７に記録させる。

このため、情報記録部２７は、距離比較部２５ｅによる比較結果と、変化量検知部２５ｇによる検知結果とに基づいて、挿入部１１の先端の位置及び姿勢の情報と、該位置及び姿勢の情報に対応するＶＢＳ画像とを関連付けた候補情報となる位置及び画像情報（単に情報とも記す）を記録する情報記録手段の機能を有する。
また、制御部２６の条件判定部２６ｂは、情報記録部２７に位置及び画像情報を記録する制御を行う情報記録制御部２６ｃの機能を有する。
また、制御部２６の例えば表示制御部２６ａは、例えば術者が現在の挿入部１１の先端の推定された位置の精度が低いと思うような場合等、再度の位置合わせを行うために、入力装置３１から、再度の位置合わせを行う指示信号が入力されたような場合には、情報記録部２７に記録された情報を読み出し、画像処理部２５を介してモニタ３２に候補情報として表示するように制御する。

この場合、画像処理部２５は、気管支形状画像２ａ上に情報記録部２７から読み出した候補情報を、重畳して表示する画像を生成する画像生成部２５ｄを有する。具体的には、気管支形状画像２ａ上に、挿入部１１の先端の位置及び姿勢と、該位置及び姿勢に対応するＶＢＳ画像とを重畳して表示する。なお、後述するように図２Ｄは、モニタ３２に表示される気管支形状画像２ａ上に、挿入部１１の先端の位置を該位置に対応した位置に表示すると共に、該位置に対応するＶＢＳ画像を該位置に（線で）関連付けて重畳して表示した様子を示す。
術者は、候補情報を参考にして、再度の位置合わせを行い、位置合わせ処理部２５ａ又は位置推定部２５ｂは挿入部１１の先端の位置及び姿勢の情報を気管支２の座標系と対応付けた状態で取得することができる。そして、再度の位置合わせにより、位置推定部２５ｂは、所定の精度を確保して、再度の位置合わせした位置から再び挿入部１１の先端を気管支２の深部側に挿入する操作を行うことができる。
本実施形態においては、上述したように情報記録制御部２６ｃ又は条件判定部２６ｂは、距離比較部２５ｅによる比較結果が第１の条件を満たし、変化量検知部２５ｇによる検知結果第２の条件を満たす（つまり第１の条件と第２の条件からなる所定の条件を満たす）判定結果の場合に、その判定結果が得られた場合の（推定された）挿入部１１の先端の位置及び姿勢と、該位置及び姿勢に対応するＶＢＳ画像とを含む情報を候補情報として情報記録部２７が記録するようにしている。なお、上記先端の位置及び姿勢における少なくとも位置を含む候補情報を形成する情報を情報記録部２７に記録するようにしても良い。

本実施形態においては、上記のように互いに異なる複数の条件を満たす場合に情報を記録することにより、再度の位置合わせを行う場合、適度の情報量（又は適度の数）の候補情報を表示手段（又は表示装置）としてのモニタ３２において表示（又は提示）することができるようにしている。
本実施形態においては、撮像装置１６により撮像された内視鏡画像における所定の管腔臓器としての気管支２に関する気管支径等の特徴部の変化量を変化量検知部２５ｇにより検知し、少なくとも該変化量検知部２５ｇによる検知結果に基づいて、前記検知結果の際の挿入部１１の先端に位置及び姿勢（の情報）と、該位置及び姿勢に対応するＶＢＳ画像とを含む情報を（再度の位置合わせを行う際に提示する場合の候補情報として）情報記録部２７に記録する。
術者等のユーザは、撮像装置１６により撮像した内視鏡画像を観察しながら挿入部１１を挿入する操作を行うために、情報を記録する条件または状況を把握し易い。また、再度の位置合わせを行う際に提示される候補情報は、内視鏡画像中における特徴部の変化量が挿入部１１の先端の位置の移動に対して敏感に変化するようなものに対応させることができるため、画像比較による位置合わせも行い易いものとなる。

なお、情報記録部２７に記録する情報は、挿入部１１の先端の位置及び姿勢と、対応するＶＢＳ画像とを含むが、前記位置及び姿勢の情報に対応する内視鏡画像も含むように記録しても良い。
また、画像処理部２５は、内視鏡画像とＶＢＳ画像との両画像を比較して画像マッチングを行う際に、内視鏡画像やＶＢＳ画像を一時的に記憶したり、画像処理のワークエリアとして用いる画像メモリ２６ｆを有する。なお、画像処理部２５の外部に画像メモリ２５ｆを設けるようにしても良い。
また、本実施形態において、例えば入力装置３１は、距離比較部２５ｅが比較する挿入部１１の先端と特徴領域に関する第１の条件と、変化量検知部２５ｇが検知する特徴部の変化量に関する第２の条件とのそれぞれを選択的に指定（又は設定）する指定部３１ａを有する様な構成にしても良い。

また、例えば情報記録部２７は、上述した候補情報となる情報を記録する他に、第１の条件に関する第１の条件の候補情報と、第２の条件に関する第２の条件の候補情報とを予め記録する条件情報記録手段としての条件情報記録部２７ａを有するようにしても良い。なお、情報記録部２７と別体で条件情報記録部２７ａを備える構成にしても良い。
第１の条件の候補情報は、（ａ）挿入部１１の先端と、芯線３５が分かれる分岐点Ｂｉ（ｉ＝１，２，…）との距離ｄａ、（ｂ）挿入部１１の先端と、気管支２が分かれるスパーＳｐｉ（ｉ＝１，２，…）との距離ｄｂ、（ｃ）挿入部１１の先端と、芯線３５又は気管支壁との距離ｄｃ、（ｄ）挿入部１１の先端と、予め設定された領域との距離ｄｄ等である。そして、術者等のユーザが、（ａ）〜（ｄ）の第１の条件の候補情報の中から第１の条件（の情報）として使用することができるように指定部３１ａから選択的に指定することができるようにしても良い。この他に、第１の条件の候補情報として、（ｅ）挿入部１１の先端と、目標部位までの距離、（ｆ）挿入部１１の先端と、挿入開始位置までの距離等を含めるようにしても良い。

また、第２の条件の候補情報は、（ａ）気管支径Ｄａの変化、（ｂ）画像（内視鏡画像）又は内視鏡画像を表示する表示画面の明るさ変化、（ｃ）分岐の形状の変化、（ｄ）スパーＳｐの長さの変化、（ｅ）スパーＳｐの角度の変化、（ｆ）視野の不良、（ｇ）内視鏡画像の大きなぶれ、（ｈ）内視鏡画像に気管支以外が映ったような変化等である。そして、術者等のユーザが、（ａ）〜（ｈ）の第２の条件の候補情報の中から第２の条件（の情報）として使用することができるように指定手段としてのマウスやキーボード等からなる指定部３１ａから選択的に指定することができるようにしても良い。
この場合、制御部２６は、指定部３１ａによる指定に対応して、第１の条件と第２の条件の設定を行う条件設定部２６ｄの機能を有する。条件設定部２６ｄは、第１の条件と第２の条件の設定を行う際に、条件判定部２６ｂが判定する際に用いる閾値情報の設定も行う。なお、閾値情報も情報記録部２７に、第１の条件の候補情報と対応付けて記録するようにしても良い。
なお、図１において、例えば画像処理装置２５は、ＣＰＵ（中央演算処理装置）により構成することができるが、画像処理部２５内部の位置合わせ処理部２５ａ−変化量検知部２５ｇをそれぞれＣＰＵ以外の専用のハードウェアを用いて構成しても良い。また、図１における制御部２６に関しても、ＣＰＵにより構成しても良いし、ＣＰＵ以外の専用のハードウェアを用いて構成しても良い。

このような構成の内視鏡システム１は、予め取得した被検体における３次元画像情報を記録する画像記録手段としてのＣＴ画像データ記録部２２と、前記３次元画像情報から所定の管腔臓器としての気管支２を抽出する管腔臓器抽出手段としての気管支抽出部２３と、前記管腔臓器抽出手段により抽出された前記所定の管腔臓器の情報に対して所定の視点位置から内視鏡的に描画した仮想内視鏡画像を生成する仮想内視鏡画像生成手段としてのＶＢＳ画像生成部２４と、内視鏡３Ａ又は３Ｂ内に設けられ、前記所定の管腔臓器内を撮像する撮像手段としての撮像装置１６又は１６′と、前記所定の管腔臓器内における前記内視鏡３Ａの挿入部１１の先端の位置の情報を位置情報として取得する位置情報取得手段としての位置推定部２５ｃと、前記管腔臓器抽出手段により抽出された前記所定の管腔臓器における特徴領域と前記位置情報取得手段により取得される前記内視鏡３Ａ又は３Ｂの挿入部１１の先端の位置から前記特徴領域までの距離を設定距離と比較する距離比較手段としての距離比較部２５ｅと、前記撮像手段により撮像された画像としての内視鏡画像内において、前記所定の管腔臓器における特徴部の変化量を検知する変化量検知手段としての変化量検知部２５ｇと、前記距離比較手段の比較結果及び前記変化量検知手段の検知結果に基づいて、前記内視鏡の挿入部の先端の位置情報に対応する前記仮想内視鏡画像とを含む位置及び画像情報を記録する情報記録手段としての情報記録部２７と、を備えることを特徴とする。

次に本実施形態の動作を説明する。
図４Ａは、本実施形態における代表的な処理を示し、図４Ｂは図４Ａにおける一部の処理部分、つまり所定の条件を満たす場合に候補情報となる（位置及び画像）情報を記録する処理部分を示す。
図１の内視鏡システム１の電源が投入され、内視鏡装置４Ａ（又は４Ｂ）と、挿入支援装置５とが動作状態になると、図４Ａにおける処理がスタートする。図４Ａにおける最初のステップＳ１において初期設定処理が行われる。この初期設定処理として、術者は、入力装置３１から本実施形態において挿入支援に用いる情報の入力を行う。この場合、術者は指定部３１ａから第１の条件と第２の条件との指定を行う。また、条件判定部２６ｂは、指定された第１の条件と第２の条件に対応した判定を行う状態になる。

術者が、第１の条件として、挿入部１１の先端と、芯線３５が分かれる分岐点Ｂｉとの距離ｄａを指定し、第２の条件として気管支径Ｄａの変化を指定した場合を（Ａ）として、以下に説明する。
（Ａ）第１の条件と第２の条件として挿入部１１の先端（の位置）と分岐点Ｂｉ間の距離ｄａと、気管支径Ｄａの変化が指定された場合
気管支形状画像生成部２３ａは、図２Ａに示すように気管支２の形状画像としての気管支形状画像２ａを生成し、画像処理部２５を経てモニタ３２には、気管支形状画像２ａが表示される。また、上述したように気管支形状画像２ａ上に、気管支２の管腔の中心を通る芯線３５が表示される。また、芯線３５が分岐する分岐点Ｂｉもモニタ３２上に表示される。芯線３５と、分岐点Ｂｉの各位置は、ＣＴ座標系において特定される既知の３次元位置となる。

次のステップＳ２において術者は、挿入部１１の先端を気管支２内に挿入する。この時、術者は、画像マッチング開始位置としてあらかじめ設定された気管支２の入口やカリーナＫ（図２Ａ参照）等のＶＢＳ画像と、撮像装置１６（又は１６′）による内視鏡画像が同じに見えるように挿入部１１の先端を挿入する。このような位置合わせを行うことにより、画像処理部２５の位置合わせ処理部２５ａは、内視鏡画像とＶＢＳ画像とが設定された条件（所定の精度を確保できる誤差以内）で一致するように画像マッチングを開始する。なお、撮像装置１６′を用いる場合には、撮像装置１６′における一方の撮像装置１６ａ又は１６ｂによる内視鏡画像を採用すれば良い。
ステップＳ２の位置合わせ処理後に、術者は挿入部１１の先端を位置合わせした位置よりも気管支２の深部側に挿入する。挿入部１１が挿入された場合、ステップＳ３に示すように画像処理部２５の位置推定部２５ｃは、挿入部１１の先端の位置及び姿勢を画像比較部２５ｂを用いた画像マッチングにより推定する。画像マッチングにより推定できた場合には、図２Ａに示すように推定した位置を気管支形状画像２ａ上における該当する位置に表示する。また、この情報を例えば画像メモリ２５ｆに記憶する。
また、次のステップＳ４に示すように制御部２６は、術者等から再度の位置合わせを行う指示信号が入力されたか否かをモニタしている。

上述したようにステップＳ２において位置合わせした状態の位置からの移動距離が大きくないような場合には、術者は再度の位置合わせの指示を行う必要がない。なお、画像処理部２５の画像比較部２５ｂが、内視鏡画像とＶＢＳ画像との画像を比較し、画像比較により両画像のマッチングの程度が予め設定された閾値以上にずれた場合、換言すると、挿入部１１の先端の位置を推定することに失敗した場合には再度の位置合わせの指示信号を発生し、この指示信号を制御部２６に入力する構成にしても良い。この場合においても、位置合わせした状態の位置からの移動距離が大きくないような場合には、指示信号が制御部２６に入力されない。
制御部２６に指示信号が入力されない場合には、ステップＳ５において制御部２６の条件判定部２６ｂは、距離比較部２５ｅによる比較結果及び変化量検知部２５ｇによる検知結果が所定の条件を満たすか否かの判定を行う。

ステップＳ５において、所定の条件を満たさない判定結果の場合には、ステップＳ３の処理に戻る。一方、所定の条件を満たす判定結果になると、ステップＳ６に進み、例えば条件判定部２６ｂは、所定の条件を満たす判定結果の場合においての挿入部１１の先端の位置及び姿勢と、対応するＶＢＳ画像の情報を情報記録部２７に記録するように制御する。
なお、所定の条件を満たす判定結果は、後述するように少なくとも時間的に異なる２つ以上のタイミングにおいての比較結果となるため、比較を行った２つ以上の時間における１つの時間での挿入部１１の先端の位置及び姿勢と、該位置及び姿勢に対応するＶＢＳ画像の情報が情報記録部２７に記録されることになる。ステップＳ６の処理後にステップＳ３の処理に戻る。このようにして、最初に位置合わせした位置から、挿入部１１の先端がかなり移動したような場合においては、画像比較部２５ｂによるマッチングの精度が低下し易くなる。

マッチングの精度が低下したような場合には、再度の位置合わせを行うための指示信号が制御部２６に入力され、制御部２６は指示信号の入力を検知する。そして、ステップＳ７に示すように制御部２６の表示制御部２６ａは、情報記録部２７に記録された情報を候補情報として読み出し、モニタ３２において候補情報を提示又は表示するように制御する。
次のステップＳ８において術者は、モニタ３２に表示された候補情報を参考にして、再度の位置合わせを行った後、ステップＳ３に戻り、ステップＳ２においての古い位置合わせの情報を更新する。なお、ステップＳ７の処理の後、（ステップＳ３でなく）ステップＳ２に戻り、候補情報を参照して再度の位置合わせを行うようにしても良い。このようにして、図４Ａの処理を繰り返し行い、挿入部１１を気管支２の末梢側（深部側）に挿入する操作を円滑に行うことが可能になる。

次に図４ＡにおけるステップＳ５，Ｓ６の処理を図４Ｂを参照してより詳細に説明する。なお、図４Ｂにおける気管支径に関する処理に関しては、図３Ａにおいて説明した内視鏡装置４Ｂによるステレオ計測、又は図３Ｅによるステレオ計測を用いるとして説明する。
図４ＡにおけるステップＳ４において制御部２６に再度の位置合わせの指示信号が入力されない場合には、図４ＢのステップＳ１１において画像処理部２５の位置推定部２５ｃは、ステップＳ３において取得した挿入部１１の先端の位置（の情報）と気管支抽出部２３が抽出した気管支２の３次元データにおける分岐点Ｂｉ（の位置情報）とから両者間の距離ｄａを算出する。この場合の気管支２（とその気管支形状画像２ａ）と、気管支２内に挿入された挿入部１１を図２Ａに示す。

図２Ａに示すように挿入部１１の先端が、分岐点Ｂｉよりも挿入口側の位置Ｐｊにあると、この挿入部１１の先端の位置Ｐｊよりも前方側に位置する分岐点Ｂｉとの距離ｄａに対して、（該分岐点Ｂｉにおいて予め）設定された閾値距離としての設定距離ｄｔｈが（第１の条件の指定に伴って）設定されている。
次のステップＳ１２において距離比較部２５ｅは、算出された挿入部１１の先端の位置Ｐｊと分岐点Ｂｉとの間の距離ｄａが、設定距離ｄｔｈ以内か否かの第１の条件を満たすか否かを判定する。
ステップＳ１２の判定処理において、第１の条件を満たさない判定結果の場合には、ステップＳ３の処理に戻る。一方、ステップＳ１２の判定処理において、第１の条件を満たす判定結果の場合には、次のステップＳ１３において内視鏡装置４Ｂ（の計測演算部１８ｄ）または内視鏡３Ａによる湾曲部１９の湾曲を利用したスレテオ計測によって、上述したように内視鏡画像の情報から気管支径Ｄａを算出する。そして、算出した気管支径Ｄａの情報を画像処理部２５の変化量検知部２５ｇに送る。

次のステップＳ１４において変化量検知部２５ｇ（の気管支径変化量検知部２５ｈ）は、算出された気管支径Ｄａが、該気管支径Ｄａに対して予め設定された閾値情報としての設定値Ｄｔｈ以上変化したか否かの第２の条件を満たすか否かを判定する。図２Ｂは、図２Ａに示したように挿入部１１の先端が第１の条件を満たす状態の位置から挿入部１１を気管支２の末梢側に挿入した場合の様子を示す。
図２Ｂに示すように挿入部１１の先端の位置Ｐｊは、位置推定部２５ｃにより例えば一定の時間間隔毎に推定されて取得され、推定された位置Ｐｊは、位置Ｐ１，Ｐ２，…，Ｐ６、Ｐ７を経て現在の先端の位置Ｐ８のように移動する。なお、一定の時間間隔毎の場合に限定されるものでなく、一定の距離毎でも良いし、挿入部１１の先端位置を演算した場合の所定の演算回数毎や、気管支径を算出する演算を行った場合における所定の演算回数毎等でも良い。

また、図２Ｂにおいて白丸で示す各位置Ｐｊ（図２Ｂにおいては、ｊ＝１，２，…，６）は、分岐点Ｂｉにおける第１の条件を満たす位置であり、黒丸で示す位置Ｐ７，Ｐ８は、分岐点Ｂｉにおける第１の条件から外れる位置となる。但し、次の分岐点Ｂｉ＋１において分岐点ｉの場合と同様の処理が行われることになる。
また、上述の各位置Ｐｊにおいて、計測演算部１８ｄにより算出された気管支径Ｄａの変化の様子の概略は図２Ｂのようになり、図２Ｃは第１の条件を満たす状態における挿入部１１の先端の移動中において、気管支径を算出した各気管支径算出時の位置Ｐ１〜Ｐ６と、算出された気管支径Ｄａの変化の様子を示す。なお、第１の条件を満たす各位置Ｐ１〜Ｐ６での情報は、画像メモリ２５ｆ等に一時的に記憶される。
図２Ｂ及び図２Ｃに示すように気管支径Ｄａは、分岐点Ｂｉ付近においてピークとなるように気管支径Ｄａが大きく変化する。この場合、位置Ｐ３から位置Ｐ４に移動した場合に、気管支径Ｄａは設定値Ｄｔｈより小さい状態から設定値Ｄｔｈを超える大きな値に変化する。

このため、制御部２６の条件判定部２６ｂは、位置Ｐ３から位置Ｐ４に変化した場合における位置Ｐ３及び姿勢又は位置Ｐ４及び姿勢と共に、位置Ｐ３及び姿勢又は位置Ｐ４及び姿勢における対応するＶＢＳ画像との情報を（候補情報として）情報記録部２７に記録する。つまり、図４ＢにおけるステップＳ１５に示すように気管支径Ｄａが設定値Ｄｔｈ以上変化する前後の挿入部１１の先端の位置（Ｐ３又はＰ４）及び姿勢と、対応するＶＢＳ画像との情報が（候補情報として）情報記録部２７に記録される。
なお、位置Ｐ４から位置Ｐ５に変化した場合にも気管支径Ｄａは大きい値から小さい値に変化するが第１の条件を満たす状態になった位置Ｐ１の場合からの変化は設定値Ｄｔｈ以内であるので記録しない。上記のように情報記録部２７に位置Ｐ３及び姿勢又は位置Ｐ４及び姿勢と共に、位置Ｐ３及び姿勢又は位置Ｐ４及び姿勢における対応するＶＢＳ画像との情報を（候補情報として）情報記録部２７に記録する代わりに、位置Ｐ３とＰ４との間の位置及び姿勢の情報と共に、対応するＶＢＳ画像との情報を記録するようにしても良い。

このようにステップＳ１５での分岐点Ｂｉ付近での情報の記録が行われた後、ステップＳ３の処理に戻る。そして、同様の処理が繰り返される。例えば、図２Ｂのように減算の位置がＰ８となった場合には、次の分岐点Ｂｉ＋１において分岐点Ｂｉの場合と同様の処理が繰り返される。このようにして、挿入部１１は、気管支２の抹消側の位置に挿入され、挿入部１１の先端が目標部位近傍まで挿入されると図４Ａ又は図４Ｂの処理が終了する。上記の説明から分かるように気管支２における各分岐点Ｂｉ付近において気管支径が大きく変化し、本実施形態においては、各分岐点Ｂｉ付近において情報を記録する。
このため、例えば図２Ａにおける分岐点Ｂｉ＋１よりも抹消側に挿入された状態（例えば図２Ａにおける位置Ｐｋ）で、再度の位置合わせの指示信号が制御部２６に入力された場合には、分岐点Ｂｉ付近で情報記録部２７に記録された情報と、分岐点Ｂｉ＋１付近で情報記録部２７に記録された情報とが候補情報としてモニタ３２に表示される。

図２Ｄは、この場合の候補情報の表示例を示す。図２Ｄの候補情報の表示例においては、位置Ｐｋに至るまでに情報記録部２７に記録された挿入部１１の先端の位置（図２Ｄでは分岐点ＢｉとＢｉ＋１と、それぞれに対応するＶＢＳ画像とが例えば線で結ぶようにして表示される。なお、分岐点Ｂｉよりも基幹側（挿入口側）の分岐点Ｂｉ−１等も同様に表示しても良い。
図２Ｄに示すように気管支２における特徴的な領域となる管腔が分岐する分岐点Ｂｉ、Ｂｉ＋１付近でそれぞれ記録した情報を、再度の位置合わせする場合の候補情報として表示する。このように再度の位置合わせに適した各分岐点付近における必要最小限に絞った候補情報を表示する。従って、術者は、再度の位置合わせを円滑かつ短時間に行い易くなる。換言すると、第１の条件と第２の条件とにより、記録する情報を絞り込むようにしているので、再度の位置合わせを行うのに適した（多すぎない）情報量の情報を記録することができる。

なお、図２Ｄにおいては、分岐点ＢｉとＢｉ＋１とにおける候補画像の提示例を示したが、挿入部１１の先端の位置Ｐｋに対して、推定された位置Ｐｋに最も近い状態において情報記録部２７に記録された情報を候補情報として提示するようにしても良い。図２Ｄに適用した場合には、分岐点Ｂｉ＋１付近で記録された情報のみを候補情報として提示するようにしても良い。
これに対して、従来例においては、本実施形態における挿入部１１の先端と特徴領域としての分岐点Ｂｉとの距離に対する第１の条件と、内視鏡画像における特徴部としての管腔の内径の変化量（より具体的には気管支径の変化量）に対する第２の条件とにより、（情報記録部２７に）記録する情報を絞り込むようにしていないので、再度の位置合わせの際に表示される候補情報が多すぎてしまい、適切なもので再度の位置合わせを行うまでに時間がかかってしまう。

また、本実施形態においては、挿入部１１の先端の位置の移動に対して、内視鏡画像における特徴部が大きく変化した場合において、情報を記録するようにしているので、術者等のユーザは、情報を記録する条件を視覚的に把握し易い。従って、本実施形態は、ユーザが視覚的に把握し易い条件で再度の位置合わせを行うのに適した情報量の情報を記録するができる。
また、本実施形態においては、記録された情報を候補情報として表示（提示）して再度の位置合わせを行う場合、挿入部１１の先端の位置の移動に対して、内視鏡画像における特徴部が大きく変化する特性を反映しているので、ユーザは、画像マッチングによる再度の位置合わせを視覚的に行い易くなる。
なお、図２Ｃに示すように気管支径Ｄａが変化した場合、気管支径Ｄａが先端の位置の移動の軌跡に対して最大（ピーク）となる位置Ｐ４の状態での情報を情報記録部２７に記録するようにしても良い。
このように記録すると、再度の位置合わせを行うための候補情報として提示した場合、この候補情報に近い位置付近で、挿入部１１の先端の位置を動かした場合、内視鏡画像中の気管支径が挿入部１１の位置の変化に対して大きく変化するため、再度の位置合わせの際の画像比較に対する変化の割合を増大できる。また、内視鏡画像中の気管支径が最大となるような位置付近であるので、特定し易い状態の位置ともなる。

また、モニタ３２において、図２Ｄにおいて更に２点鎖線で示すように現在の内視鏡画像を、情報記録部２７から読み出して表示する候補情報としてのＶＢＳ画像（及び内視鏡画像）と共に、気管支形状画像２ａ上に重畳した合成画像として表示するようにしても良い。このように現在の内視鏡画像を候補情報に隣接して表示すると、候補情報との画像比較による位置合わせを行い易くできる。
また、この場合、候補情報側のＶＢＳ画像を現在の内視鏡画像の表示位置に重ねるように表示位置を移動可能にしたり、候補情報側の内視鏡画像を現在の内視鏡画像の表示位置に重ねるように表示位置を移動可能にする画像移動部を画像処理部２５に設けた構成にしても良い。或いは現在の内視鏡画像の表示位置を候補情報側のＶＢＳ画像の表示位置や、候補情報側の内視鏡画像の表示位置に移動可能にすることができる画像移動部を備えた構成にしても良い。

また、図２Ｄにおいては、２つの分岐点Ｂｉ、Ｂｉ＋１付近の候補情報を表示（提示）した例を示しているが、最後に記録した情報のみを候補情報として表示（提示）するようにしても良い。図２Ｄに適用すると、分岐点Ｂｉ＋１付近の情報のみを候補情報として表示（提示）することになる。
なお、分岐点Ｂｉと挿入部１１の先端の位置Ｐｊとの距離ｄａを算出（計測）する場合、以下に説明する図５（Ａ）−図５（Ｃ）のいずれかで算出するようにしても良い。
図５（Ａ）に示す例では、分岐点Ｂｉと挿入部１１の先端の位置Ｐｊとの距離ｄａは、両者を結ぶ最短距離で算出される。図５（Ｂ）においては、挿入部１１の先端の位置Ｐｊから芯線３５上における最短距離となる位置Ｐｊ１が設定され、該位置Ｐｊ１と分岐点Ｂｉ間の距離ｄａ１を距離ｄａの代わりに採用するようにしても良い。

また、図５（Ｂ）においては、挿入部１１の先端の位置Ｐｊから芯線３５上における最短距離となる位置Ｐｊ１を設定したが、その代わりに図５（Ｃ）に示すように気管支２の３次元データに対応するＣＴ座標系の座標面と平行な面で挿入部１１の先端の位置Ｐｊを芯線３５上に移した位置Ｐｊ２と分岐点Ｂｉ間の距離ｄａ２を距離ｄａとして採用するようにしても良い。
また、気管支径Ｄａを算出（計測）する場合、図６に示すように挿入部１１の先端（の軸方向）と垂直な面において算出した気管支径Ｄａ１を採用しても良いし、先端と、該先端から最短距離となる芯線３５上の点を通り、芯線３５と垂直な面に沿って算出した気管支径Ｄａ２を採用しても良い。

上述においては、第１の条件として図２Ａに示したように分岐点Ｂｉと挿入部１１の先端間の距離ｄａの場合で説明したが、分岐点Ｂｉの代わりに気管支２が分岐するスパーＳｐｉを採用しても良い。
（Ｂ）第１の条件と第２の条件として、挿入部１１の先端（の位置）とスパー間の距離と、気管支径の変化が指定された場合
この場合には図２Ａの代わりに図７に示すようにスパーＳｐｉと先端Ｐｊ間の距離ｄｂがスパーＳｐｉを中心とした半径ｄｔｈの設定距離ｄｔｈ以内か否かの判定が行われる。なお、スパーＳｐｉの場合の設定距離ｄｔｈを分岐点Ｂｉの場合の設定距離ｄｔｈと異なる値に設定しても良い。
この場合には、図４Ａ，図４Ｂにおける分岐点ＢｉをスパーＳｐｉに読み替えた内容になる。このため、図４Ｂのフローチャートは、図８に示すようになる。

図８におけるステップＳ１１は、図４Ｂにおける分岐点間の距離ｄａがスパー間の距離ｄｂに変更した内容となる。また、図８におけるステップＳ１２は、図４Ｂにおける（挿入部１１の先端位置と分岐点間の距離）ｄａが（挿入部１１の先端位置とスパー間の距離）ｄｂに変更した内容となる。
そして、この場合の作用効果は、分岐点Ｂｉの場合で説明したものと殆ど同じとなる。なお、挿入部１１の先端位置ＰｊとスパーＳｐｉ間の距離ｄｂは、図９Ａに示すように挿入部１１の先端の位置ＰｊとスパーＳｐｉ間の最短距離ｄｂ１を距離ｄｂとして良い。また、図９Ｂに示すように挿入部１１の先端位置Ｐｊから最短距離となる芯線３５上の位置Ｐｊ１とスパーＳｐｉ間の最短距離ｄｂ２を距離ｄｂとして良い。
また、図９Ｃに示すように気管支２の３次元データに対応するＣＴ座標系の座標面と平行な面で挿入部１１の先端位置Ｐｊを芯線３５上に移した位置Ｐｊ２と分岐点Ｂｉ間の距離ｄａ３を距離ｄｂとして採用するようにしても良い。

（Ｃ）第１の条件と第２の条件として、挿入部１１の先端（の位置）と芯線３５間の距離ｄｃと、気管支径Ｄａの変化が指定された場合
この場合には、図４Ａ，図４Ｂにおいて分岐点Ｂｉを芯線３５に読み替えた処理を行うことになる。この場合には、位置推定部２５ｃが挿入部１１の先端の位置Ｐｊを推定した場合、距離比較部２５ｅは先端の位置Ｐｊと芯線３５からの距離ｄｃを算出し、該距離ｄｃの値の変化を監視する動作を継続して行う。
図１０は気管支２内に挿入して先端の位置Ｐｊの位置推定と共に、先端の位置Ｐｊと芯線３５からの距離ｄｃが設定値ｄｃｔ以内となる第１の条件を満たすか否かを判定した場合の様子を示す。また、この場合においても気管支径Ｄａの変化も監視している。位置Ｐｊが時間的に位置Ｐ１，Ｐ２，…，Ｐ７を経てＰ８の現在の位置Ｐｊのように移動した場合、距離ｄｃは位置Ｐ７においてのみｄｃ＞ｄｃｔとなっている。

この場合には、位置Ｐ１〜Ｐ６においては第１の条件を満たすため、（Ａ）において説明した場合と同様に図１０における位置Ｐ３から位置Ｐ４に移動した場合の気管支径Ｄａが設定値Ｄｔｈ以上に変化するため、分岐点Ｂｉ付近の位置Ｐ４（又はＰ３）において情報を記録する。この場合においても、（Ａ）において説明した場合と同様の作用効果を有する。
なお、上述した説明においては、第１の条件を満たす状態において、内視鏡画像中における気管支径Ｄａが設定値Ｄｔｈ以上変化した場合に、情報を記録する場合を説明したが、さらに第１の条件が変化した場合、つまり距離ｄｃが設定値ｄｃｔ以下からｄｃｔ以上に変化した場合に対しても、変化した場合の前の位置Ｐｊにおいて情報を記録するようにしても良い。

このように記録した場合には、必要最小限に近い情報を記録することができると共に、再度の位置合わせを行う直前の位置での情報を記録することができる。具体的には、図１０の場合においては、位置Ｐ４（又はＰ３）での情報の他に、位置Ｐ７のように芯線３５から外れた位置となる直前の位置Ｐ６での情報を記録することができる。この場合には、位置Ｐ６での情報も候補情報として表示して、再度の打ち合わせを行うことができる。そして、この場合には、位置Ｐ４まで戻すことなく、再度の打ち合わせを行うことができる。
なお、芯線３５と先端の位置Ｐｊの距離ｄｃを監視する代わりに、位置Ｐｊと気管支壁との距離ｄｄを監視するようにしても良い。またこの場合、距離ｄｄが予め設定された距離ｄｄｔより小さい（短い）か否かを判定するようにしても良い。

図１１Ａと図１１Ｂは、先端の位置Ｐｊと芯線３５間の距離ｄｃ、又は先端の位置Ｐｊと気管支壁間の距離ｄｄを算出（計測）する様子を示す。
図１１Ａにおいて示すように先端の位置Ｐｊから垂線により芯線３５に至る距離ｄｃ１や、先端の位置Ｐｊから該先端の軸に対する垂線で芯線３５に至る距離ｄｃ２を距離ｄｃとして採用しても良い。
また、図１１Ａにおいて示すように先端の位置Ｐｊから垂線により気管支壁に至る距離ｄｄ１や、先端の位置Ｐｊから該先端の軸に対する垂線で気管支壁に至る距離ｄｄ２を距離ｄｄとして採用しても良い。
また、図１１Ｂに示すように先端の位置Ｐｊから３次元データのある座標面と平行な面上で先端の位置Ｐｊと芯線３５間の距離ｄｃ３を距離ｄｃとしたり、先端の位置Ｐｊから３次元データのある座標面と平行な面上で先端の位置Ｐｊと気管支壁間の距離ｄｄ３を距離ｄｄとして採用しても良い。

（Ｄ）第１の条件と第２の条件として、挿入部１１の先端（の位置）に対してユーザ（術者）により予め設定された領域の中心までの距離ｄｅと、気管支径Ｄａの変化が指定された場合
この場合には、ユーザとしての術者は、入力装置３１から気管支２内に挿入部１１を挿入しようとする場合、図１２に示すように挿入の経路に沿って、所定の設定領域Ｒｉ、Ｒｉ＋１等を予め設定する。
そして、距離比較部２５ｅは、挿入部１１の先端の位置Ｐｊと設定領域Ｒｉの中心Ｒｉｃとの距離が設定領域Ｒｉ内となる距離か否かを監視する動作を継続して行う。
この場合、上述した（Ａ）において分岐点Ｂｉを中心として設定距離ｄｔｈが設定された場合と同様の動作となる。なお、球形の設定領域Ｒｉでなく、設定領域Ｒｉ＋１のように非球形の形状に設定することもできる。

また、図１２に示す形状の設定領域の場合に限らず、直方体などの形状で設定領域を設定しても良い。また、例えば芯線上の分岐点等を中心にして、予め設定した半径の球形の初期領域を設定し、設定後にユーザが所望の大きさ、形状に変更したり、削除等の修正を行えるようにしても良い。
この場合には、ユーザの要望に対応した情報の記録や、候補情報の表示（提示）が可能になる。
（Ｅ）第１の条件と第２の条件として、挿入部１１の先端位置と分岐点又はスパー間の距離と、内視鏡画像の明るさの変化が指定された場合
この場合には図１３に示すように挿入部１１を気管支２内に挿入した場合、変化量検知部２５ｇの明るさ変化量検知部２５ｉは、内視鏡画像における明るさの変化量を検知する。

具体的には、図１３に示す位置Ｐ１，Ｐ２，…，Ｐ５で示すように例えば一定間隔又は一定時間間隔で（画像処理部２５における）明るさ変化量検知部２５ｉは、内視鏡画像を取得し、取得した内視鏡画像内で暗部の面積を監視する動作を継続して行う。図１３においては各位置Ｐｊ（ｊ＝１，２，…，５）で取得した内視鏡画像と共に、既定値以下となる暗部を抽出した状態で示す。
暗部の面積とは、内視鏡画像における明るさが、既定値以下となる画像部分の合計面積を指す。図１３においては、気管支２内における挿入部１１の先端前方側の管腔部分における分岐部分が暗部として認識される。例えば、位置Ｐ１から位置Ｐ２に移動した場合における暗部の面積変化は小さいが、位置Ｐ３においては分岐している分岐領域に近づくために、位置Ｐ２と比較して暗部の面積が大きく変化している。明るさ変化量検知部２５ｉは、暗部の面積が大きく変化したことを検知した場合、変化の前後において、情報記録部２７にＶＢＳ画像を含む情報を記録する。

なお、暗部として検出される分岐部分の数の変化（例えば２個から１個，又は１個から２個の変化）に基づいて、暗部の面積の大きな変化量として検知することにより、その際に情報記録部２７にＶＢＳ画像を含む情報を記録するようにしても良い。
また、明るさの変化量として、暗部の面積の変化量から検出する場合に限定されるものでなく、内視鏡画像の明るさの平均値を算出し、平均値が閾値以上の変化量となった場合に、情報記録部２７にＶＢＳ画像を含む情報を記録するようにしても良い。
内視鏡画像を取得する間隔は、一定時間毎、又は一定距離毎の他に、挿入部１１の先端位置を取得するタイミングと連動させても良い。さらに、第１の条件として図１３に示すように先端位置と分岐点Ｂｉ間の距離ｄａが設定距離ｄｔｈ以内とする場合に限定されるものでなく先端位置とスパー間の距離ｄｂが設定距離以内に設定しても良い。
また、第１の条件として、距離ｄａ、ｄｂ以外を用いて設定しても良い。

（Ｅ）の場合には、画像中の特徴部の変化量として暗部の面積等、術者が視覚的に比較し易い変化量を採用しているので、候補情報として表示した場合にも、位置合わせの状態を視覚的に行い易い。
（Ｆ）第１の条件と第２の条件として、挿入部１１の先端位置と分岐点又はスパー間の距離と、内視鏡画像における分岐形状の変化が指定された場合
図１４においては気管支２の分岐形状の部分を抽出した状態で示している。この場合には図１４に示すように挿入部１１を気管支２内に挿入した場合、変化量検知部２５ｇの形状変化量検知部２５ｊは、内視鏡画像における特徴部の形状の変化量を検知する。
より具体的には、図１４に示す位置Ｐ１，Ｐ２，…，Ｐ５で示すように例えば一定間隔又は一定時間間隔で（画像処理部２５における）形状変化量検知部２５ｊは、内視鏡画像を取得し、取得した内視鏡画像内で例えば気管支２の分岐形状を監視する動作を継続して行う。

図１４おいては各位置Ｐｊ（ｊ＝１，２，…，５）で取得した内視鏡画像と共に、気管支２の分岐形状を抽出した状態で示す。
具体的には、位置Ｐ１から位置Ｐ２に移動した場合における気管支分岐形状の変化は小さいが、位置Ｐ３においては分岐している分岐領域に近づくために、位置Ｐ２と比較して気管支分岐形状が大きく変化している。形状変化量検知部２５ｊは、気管支分岐形状が大きく変化したことを検知した場合、変化の前後において、情報記録部２７にＶＢＳ画像を含む情報を記録する。
内視鏡画像を取得する間隔は、一定時間毎、又は一定距離毎の他に、挿入部１１の先端位置を取得するタイミングと連動させても良い。さらに、第１の条件として図１３に示すように先端位置と分岐点Ｂｉ間の距離ｄａが設定距離ｄｔｈ以内とする場合に限定されるものでなく先端位置とスパー間の距離ｄｂが設定距離以内に設定しても良い。
また、第１の条件として、距離ｄａ、ｄｂ以外を用いて設定しても良い。

（Ｆ）の場合には、画像中の特徴部の変化量として気管支分岐形状の変化のように、術者が視覚的に比較し易い変化量を採用しているので、候補情報として表示した場合にも、位置合わせの状態を視覚的に行い易い。
（Ｇ）第１の条件と第２の条件として、挿入部１１の先端位置と分岐点又はスパー間の距離と、内視鏡画像におけるスパーの長さの変化が指定された場合
この場合には図１５（Ａ）に示すように挿入部１１を気管支２内に挿入した場合、変化量検知部２５ｇのスパー変化量検知部２５ｋは、内視鏡画像におけるスパーの長さの変化量を検知する。図１５（Ａ）おいては各位置Ｐｊ（ｊ＝１，２，…，５）で取得した内視鏡画像と共に、スパーの長さを抽出した状態で示す。なお、スパーの長さとは、気管支２の管腔が二股の分岐している分岐部における境界の長さである。

図１５（Ａ）に示す位置Ｐ１，Ｐ２，…，Ｐ５で示すように例えば一定間隔又は一定時間間隔で（画像処理部２５における）スパー変化量検知部２５ｋは、内視鏡画像を取得し、取得した内視鏡画像内で例えば気管支２のスパーの長さを監視する動作を継続して行う。図１５（Ｂ）は挿入部１１の先端の位置Ｐｊと、スパーの長さの関係を示す。図１５（Ａ），図１５（Ｂ）から分かるように例えば、位置Ｐ１から位置Ｐ２に移動した場合におけるスパーの長さの変化は小さいが、位置Ｐ３においては分岐している分岐領域に近づくために、位置Ｐ２と比較してスパーの長さが大きく変化している。スパー変化量検知部２５ｋは、スパーの長さが大きく変化したことを検知した場合、変化の前後において、情報記録部２７にＶＢＳ画像を含む情報を記録する。

内視鏡画像を取得する間隔は、一定時間毎、又は一定距離毎の他に、挿入部１１の先端位置を取得するタイミングと連動させても良い。さらに、第１の条件として図１５に示すように先端位置と分岐点Ｂｉ間の距離ｄａが設定距離ｄｔｈ以内とする場合に限定されるものでなく先端位置とスパー間の距離ｄｂが設定距離以内に設定しても良い。
また、第１の条件として、距離ｄａ、ｄｂ以外を用いて設定しても良い。
（Ｇ）の場合には、画像中の特徴部の変化量として気管支分岐形状の変化のように、術者が視覚的に比較し易い変化量を採用しているので、候補情報として表示した場合にも、位置合わせの状態を視覚的に行い易い。

（Ｈ）第１の条件と第２の条件として、挿入部１１の先端位置と分岐点又はスパー間の距離と、内視鏡画像におけるスパーの角度の変化が指定された場合
この場合には図１６（Ａ）に示すように挿入部１１を気管支２内に挿入した場合、変化量検知部２５ｇのスパー変化量検知部２５ｋは、内視鏡画像におけるスパーの角度（向き）の変化量を検知する。図１６（Ａ）おいては各位置Ｐｊ（ｊ＝１，２，…，５）で取得した内視鏡画像と共に、スパーの角度を抽出した状態で示す。なお、スパーの角度とは、気管支２の管腔が二股の分岐している分岐部における境界部分の長手方向の向き又は、基準方向となす角度である。
図１６（Ａ）に示す位置Ｐ１，Ｐ２，…，Ｐ５で示すように例えば一定間隔又は一定時間間隔で（画像処理部２５における）スパー変化量検知部２５ｋは、内視鏡画像を取得し、取得した内視鏡画像内で例えば気管支２のスパーの角度を監視する動作を継続して行う。

図１６（Ｂ）は挿入部１１の先端の位置Ｐｊと、スパーの角度の関係を示す。図１６（Ａ），図１６（Ｂ）から分かるように例えば、位置Ｐ１から位置Ｐ２に移動した場合におけるスパーの角度の変化は小さいが、位置Ｐ３においては分岐している分岐領域に近づけるために術者は挿入部１１を捩るために、位置Ｐ２と比較してスパーの角度が大きく変化している。スパー変化量検知部２５ｋは、スパーの角度が大きく変化したことを検知した場合、変化の前後において、情報記録部２７にＶＢＳ画像を含む情報を記録する。
内視鏡画像を取得する間隔は、一定時間毎、又は一定距離毎の他に、挿入部１１の先端位置を取得するタイミングと連動させても良い。さらに、第１の条件として図１６（Ａ）に示すように先端位置と分岐点Ｂｉ間の距離ｄａが設定距離ｄｔｈ以内とする場合に限定されるものでなく先端の位置とスパー間の距離ｄｂが設定距離以内に設定しても良い。

また、第１の条件として、距離ｄａ、ｄｂ以外を用いて設定しても良い。
（Ｈ）の場合には、画像中の特徴部の変化量として気管支分岐形状の変化のように、術者が視覚的に比較し易い変化量を採用しているので、候補情報として表示した場合にも、位置合わせの状態を視覚的に行い易い。
（Ｉ）第１の条件と第２の条件として、挿入部１１の先端位置と分岐点又はスパー間の距離と、内視鏡画像における視野不良の変化が指定された場合
この場合には図１７に示すように挿入部１１を気管支２内に挿入した場合、変化量検知部２５ｇの視野不良検知部２５ｌは、内視鏡画像における視野不良の発生を検知する。視野不良（の発生）は、気管支内で撮像した内視鏡画像において、管腔の先端側の分岐や暗部が識別できる程度に映っているか否かで判定し、汚れが視野全体を覆ってしまうことを想定して、視野不良検知部２５ｌは、内視鏡画像の明るさが所定の明るさよりも暗くなり、暗い領域がほぼ内視鏡画像の全体に及ぶ場合に視野不良と判定する。

このため、例えば明るさ変化量検知部２５ｉが視野不良検知部２５ｌの機能を備える。
図１７においては各位置Ｐｊ（ｊ＝１，２，…，５）で取得した内視鏡画像の概略を示す。位置Ｐ１，Ｐ２，…，Ｐ５で示すように例えば一定間隔又は一定時間間隔で（画像処理部２５における）視野不良検知部２５ｌは、内視鏡画像を取得し、取得した内視鏡画像内で視野不良を監視する動作を継続して行う。図１７に示す例では、位置Ｐ２から位置Ｐ３に移動した場合に視野不良の発生を検知して、変化の直前の位置Ｐ２において、情報記録部２７にＶＢＳ画像を含む情報を記録する。
内視鏡画像を取得する間隔は、一定時間毎、又は一定距離毎の他に、挿入部１１の先端位置を取得するタイミングと連動させても良い。さらに、第１の条件として図１６（Ａ）に示すように先端位置と分岐点Ｂｉ間の距離ｄａが設定距離ｄｔｈ以内とする場合に限定されるものでなく先端の位置とスパー間の距離ｄｂが設定距離以内に設定しても良い。また、第１の条件として、距離ｄａ、ｄｂ以外を用いて設定しても良い。

（Ｉ）の場合には、画像中の特徴部の変化量として視野不良のように、術者が視覚的に比較し易い変化量を採用しているので、情報を記録した状態を把握し易い。
なお、上述した形状変化量検知部２５ｊは、気管支内の分岐形状の変化量を検知していたが、以下のように分岐形状から分岐形状以外の構造、形状に変化した場合、換言すると、分岐形状以外に変化したことを検知した場合に情報を記録するようにしても良い。
（Ｊ）第１の条件と第２の条件として、挿入部１１の先端位置と分岐点又はスパー間の距離と、内視鏡画像における気管支分岐形状からの変化が指定された場合
この場合には図１８に示すように挿入部１１を気管支２内に挿入した場合、変化量検知部２５ｇの形状変化量検知部２５ｊは、気管支２内を撮像した内視鏡画像における気管支２の分岐が内視鏡画像内に存在しているか否かを監視する動作を継続して行う。そして、術者により挿入部１１の湾曲部１９が湾曲されたり、挿入部１１が捩られたりして、分岐が内視鏡画像内に存在していないと判定した場合には、その直前の位置でのＶＢＳ画像を含む情報を情報記録部２７に記録する。

図１８に示すように位置Ｐ１，Ｐ２，…，Ｐ５で示すように例えば一定間隔又は一定時間間隔で（画像処理部２５における）形状変化量検知部２５ｊは、内視鏡画像を取得し、取得した内視鏡画像内で例えば分岐形状部分を抽出し、分岐の有無を監視する動作を継続して行う。そして、図１８において位置Ｐ２から位置Ｐ３に移動した場合分岐が存在しない状態に変化したことを判定し、その変化の直前の位置Ｐ２において、情報記録部２７にＶＢＳ画像を含む情報を記録する。
内視鏡画像を取得する間隔は、一定時間毎、又は一定距離毎の他に、挿入部１１の先端位置を取得するタイミングと連動させても良い。さらに、第１の条件として図１６（Ａ）に示すように先端位置と分岐点Ｂｉ間の距離ｄａが設定距離ｄｔｈ以内とする場合に限定されるものでなく先端の位置とスパー間の距離ｄｂが設定距離以内に設定しても良い。また、第１の条件として、距離ｄａ、ｄｂ以外を用いて設定しても良い。

（Ｊ）の場合には、画像中の特徴部の変化量として分岐形状の有無の変化のように、術者が視覚的に比較し易い変化量を採用しているので、情報を記録した状態を把握し易い。
（Ｋ）第１の条件と第２の条件として、挿入部１１の先端位置と分岐点又はスパー間の距離と、内視鏡画像における特徴部のぶれの変化が指定された場合
この場合には図１９に示すように画像処理部２５は、ＣＣＵ８Ａから順次所定の時間間隔（例えば１／３０ｓ又は１／６０ｓ）で入力される画像信号を画像メモリ２５ｆにおける第１メモリ８１ａと第２メモリ８１ｂに交互に記憶する。例えば、最新となるｎ番目の画像Ｉｎは、第２メモリ８１ｂに記憶され、その１フレーム又は１フィールド前のｎ−１番目の画像Ｉｎ−１は第２メモリ８１ｂに記憶されている。

隣接するフレーム又はフィールドで撮像されたｎ−１番目の画像Ｉｎ−１と、ｎ番目の画像Ｉｎとはぶれ量演算処理部８２に入力され、ぶれ量演算処理部８２は、一方の画像（例えば画像Ｉｎ）中において設定した点に対して、他方の画像における対応点をぶれ量を表す動きベクトル量として算出する演算を行う。
ぶれ量演算処理部８２により算出された動きベクトル量は、ぶれ量判定部８３に入力され、ぶれ量判定部８３は、算出された動きベクトル量をぶれ量と見なして、動きベクトル量の大きさ（絶対値）が規定値を超えるか否かを判定し、判定結果に応じてＶＢＳ画像を含む情報を候補情報として記録したりする。なお、図１に示す条件判定部２６ｂがぶれ量判定部８３の機能を備える構成にしても良い。

ぶれ量演算処理部８２は、画像Ｉｎの中心点を中心としたＷ×Ｈピクセルの範囲をテンプレートに設定し、その中心点に対応する画像Ｉｎ−１上の対応点を探索する。対応点の探索は、例えば輝度のＳＡＤ（Sum of Absolute Differences）を算出することにより行われる。テンプレートの画素値をｔ（ｘ，ｙ）、探索対象の画像の画素値をｇ（ｘ，ｙ）とすると、座標（ｕ，ｖ）におけるＳＡＤであるＦ（ｕ，ｖ） は一般に（４）式で算出される。
Ｆ（ｕ，ｖ）＝Σ_ｉΣ_ｊ｜ｇ（ｉ＋ｕ，ｊ＋ｖ）−ｔ（ｉ，ｊ）｜ （４）
なお、Σ_ｉ，Σ_ｊは、それぞれｉがＮ_Ｗ以内、Ｎ_Ｈ以内のテンプレートの幅Ｗ、高さＨにおいて｜ｇ−ｔ｜を加算する演算を行うことを表し、またテンプレートの幅をＷ、高さをＨとし、−Ｗ／２≦Ｎ_Ｗ≦Ｗ／２，−Ｈ／２≦Ｎ_Ｈ≦Ｈ／２とする。また、画像Ｉｎに相当する画像Ｉｎ−１の中心座標を （Ｏｘ，Ｏｙ）とし、Ｏｘ−Ｗ／２≦ｕ≦Ｏｘ＋Ｗ／２，Ｏｙ−Ｈ／２≦ｖ≦Ｏｙ＋Ｈ／２の範囲でＦ（ｕ，ｖ）が算出される。Ｆ（ｕ，ｖ）が最小となるときの座標（Ｅｘ，Ｅｙ）が対応点となる。

画像Ｉｎの中心座標（Ｏｘ，Ｏｙ）に対する対応点の座標（Ｅｘ，Ｅｙ）から、動きベクトルｍは（５）式で算出される。
ｍ＝（Ｅｘ−Ｏｘ，Ｅｙ−Ｏｙ） ・・・（５）
以上が動きベクトルｍの算出方法である。
動きベクトルｍの算出により、該動きベクトルｍをぶれ量として算出する処理が終了すると、ぶれ量判定部８３にて動きベクトルｍの大きさを規定値と比較を行い、ぶれ量判定部８３は、動きベクトルｍの大きさが規定値より大きいと判定した場合は、ぶれ量判定部８３は、情報記録部２７に対して規定値を超えるぶれ変化が発生したと判定して、情報記録部２７に対して、ＶＢＳ画像を記録する記録指示信号（又は保存指示信号）を出力する。この記録指示信号を受けた情報記録部２７は、規定値を超えるぶれが発生前の、画像メモリ２５ｆの第１メモリ８１ａの画像を候補画像として記録する。この候補画像を記録する動作は、記録指示信号が入力される度に行われ、情報記録部２７には候補画像が蓄積されていく。

以上の動作を繰り返すことで、内視鏡画像のぶれが規定値より大きくなった場合の直前の内視鏡画像を候補画像として蓄積していくことが可能となる。尚、内視鏡画像のぶれを検出する方法としては、SHIFT（Scale-Invariant Feature Transform）による演算や、各画像に対応する特徴点を演算することができなかった場合あるいは、画像の周波数解析で高周波成分が規定値以上に減少した場合に、同様に記録するようにしても良い。そのような場合にも同様の効果が得られる。
なお、上述した実施形態において、第１の条件と第２の条件に関して代表的な組み合わせの場合を説明したが、上述した組み合わせ以外の組み合わせにより、情報を記録するようにしても良い。
つまり、本発明は上述した実施形態における第１の条件と第２の条件に関する組み合わせが異なる構成、方法の場合も含む。更に、第１の条件と第２の条件はユーザが設定するだけでなく、予め機器内の例えば条件設定部２６ｄや、情報記録制御部２６ｃ等へ記憶させておくことでユーザが設定を行わなくても設定されるようにしても良い。
また、条件情報記録手段としての条件情報記録部２７ａは、第１の条件と第２の条件として設定可能な複数の候補条件の情報や候補情報をそれぞれ記録すると説明したが、候補条件の情報や候補情報を用いることなく、第１の条件と第２の条件として設定可能な複数の条件情報（又は情報）をそれぞれ記録すると述べても良い。

なお、上述の説明においては、入力装置３１等から再度の位置合わせを行う指示信号が制御部２６に入力された場合に、情報記録部２７に記録された情報を候補情報として表示手段としてのモニタ３２に表示（提示）することを説明した。
本発明はこの場合に限定されるものでなく、例えば、所定のタイミングで情報記録部２７に記録された情報を候補情報として表示手段としてのモニタ３２で表示（提示）するようにしても良い。
例えば入力装置３１等からユーザが制御部２６に対して、候補情報を表示する時間間隔や条件を設定するための入力を行い、制御部２６は、設定された時間間隔又は条件に合致する場合に、情報記録部２７から情報を読み出す制御を行い、画像処理部２５を経てモニタ３２にＶＢＳ画像を含む候補情報を表示するようにしても良い。
また、撮像手段により撮像された画像情報及び仮想内視鏡画像を比較する画像比較手段と、情報取得手段に記録された仮想内視鏡画像を所定のタイミングで表示する表示手段と、備えた構成において、情報取得手段が、画像比較手段の比較結果に基づいて撮像手段の少なくとも位置情報を取得する構成にしても良い。
また、本発明は、上述した例えば図１に示した構成に限定されるものでなく、請求項１に記載した基本的な構成のみにしても良いし、この基本的な構成において、単数又は複数の構成要素を選択的に追加した構成にしても良い。

本出願は、２０１３年３月６日に日本国に出願された特願２０１３−４４６０１号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (14)

1. 管腔を有する臓器に対して、前記管腔内の所定の視点位置における仮想的な内視鏡画像である仮想内視鏡画像を生成する仮想内視鏡画像生成部と、
   前記管腔に挿入される内視鏡内に設けられ、前記管腔内の観察画像を取得する撮像部と、
   前記仮想内視鏡画像生成部において生成された前記仮想内視鏡画像と前記撮像部において取得された前記観察画像とを比較する画像比較部と、
   前記画像比較部による比較結果に基づき前記内視鏡の挿入部の先端の位置の情報を位置情報として取得する位置情報取得部と、
   前記位置情報取得部により取得される前記挿入部の先端の位置から前記臓器における特徴領域までの距離を算出する距離算出部と、
   前記距離算出部が算出する前記距離が、予め定められた設定距離以内であるか否かを判定する距離比較部と、
   前記撮像部により撮像された内視鏡画像内において、前記管腔が分岐する分岐領域における形状の変化量または明るさの変化量を検知する変化量検知部と、
   前記距離比較部による判定結果及び前記変化量検知部の検知結果に基づいて、前記内視鏡の挿入部の先端の位置を記録する情報記録部と、
   を備えることを特徴とする内視鏡システム。
2. 前記距離算出部は、前記特徴領域である前記管腔における分岐または前記管腔の中心を通る芯線から前記挿入部の先端の位置までの距離を算出し、
   前記変化量検知部は、前記形状の変化量または明るさの変化量が、予め設定された閾値を超えたか否かを判定し、
   前記情報記憶部は、前記距離比較部において前記距離が前記設定距離以内であると判定され、かつ前記変化量検知部において前記形状の変化量または明るさの変化量が予め設定された閾値を超えたと判定された場合に前記内視鏡の挿入部の先端の位置を記録することを特徴とする請求項1に記載の内視鏡システム。
3. 前記変化量検知部は、前記内視鏡画像内において、前記管腔が分岐する分岐領域における形状の変化量を検知することを特徴とする請求項1に記載の内視鏡システム。
4. 前記変化量検知部は、前記内視鏡画像内において、前記管腔が分岐する分岐領域における明るさの変化量を検知することを特徴とする請求項1に記載の内視鏡システム。
5. 更に、前記距離比較部の比較結果と前記変化量検知部の検知結果とがそれぞれ第１の条件及び第２条件からなる所定の条件を満たすか否かの判定を行う条件判定部を有し、
   前記情報記録部は、前記条件判定部が前記第１の条件及び前記第２条件を満たす判定を行った場合に、前記内視鏡の挿入部の先端の位置を記録することを特徴とする請求項1に記載の内視鏡システム。
6. 前記臓器の管腔の形状を表す画像である管腔形状画像を生成する管腔形状画像生成部と、
   前記位置情報取得部が前記画像比較部の比較結果に基づく前記内視鏡の挿入部の先端の位置情報の取得に失敗した場合、又は前記情報記録部に記録された前記位置を提示させるための指示信号が発生した場合に、前記情報記録部に記録された前記内視鏡の挿入部の先端の位置を前記管腔形状画像における対応する位置に表示すると共に、該先端の位置に対応する前記仮想内視鏡画像を表示するように制御する表示制御部と、
   をさらに備えることを特徴とする請求項２に記載の内視鏡システム
7. 前記第１の条件と前記第２の条件としてそれぞれ選択的に設定可能な複数の条件情報を記録した条件情報記録部と、
   前記条件情報記録部から前記第１の条件と前記第２の条件としてそれぞれ使用する条件情報を選択的に指定する指定部と、
   を更に備えることを特徴とする請求項５に記載の内視鏡システム。
8. 前記情報記録部に記録された前記内視鏡の挿入部の先端の位置と、該先端の位置に対応する前記仮想内視鏡画像とを提示させるための指示信号を発生する入力部と、
   前記指示信号の発生に基づいて前記内視鏡の挿入部の先端の位置と、該先端の位置に対応する前記仮想内視鏡画像とを表示する表示装置と、
   を更に有することを特徴とする請求項１に記載の内視鏡システム。
9. 前記変化量検知部は、前記内視鏡画像内において、前記管腔が分岐する分岐領域における形状の変化量または明るさの変化量としての前記管腔の内径を一定の時間毎に推定することにより、前記一定の時間内における前記内径の変化量を検知し、
   前記情報記録部は、前記変化量検知部が設定値以上の前記内径の変化量を検知した場合における前記内視鏡の挿入部の先端の位置を記録することを特徴とする請求項１に記載の内視鏡システム。
10. 前記変化量検知部は、前記内視鏡画像内において、前記管腔が分岐する分岐領域における形状の変化量または明るさの変化量としての前記管腔の内径を一定の時間毎に推定することにより、前記一定の時間内における前記内径の変化量を検知し、
    前記条件判定部は、前記変化量検知部が設定値以上の前記内径の変化量を検知した場合に前記第１の条件を満たすと判定することを特徴とする請求項５に記載の内視鏡システム。
11. 前記条件判定部は、前記変化量検知部が設定値以上の前記明るさ又は前記形状の変化量を検知した場合に、前記第２の条件を満たすと判定することを特徴とする請求項５に記載の内視鏡システム。
12. 前記距離比較部は、一定時間毎に前記位置情報取得部により取得される前記内視鏡の挿入部の先端の位置から前記管腔が分岐する分岐領域までの第１の距離、又は前記内視鏡の挿入部の先端の位置と前記管腔の中心を通る芯線との間の第２の距離、又は前記内視鏡の挿入部の先端の位置と前記管腔の中心を通る芯線が分岐する芯線分岐点との間の第３の距離を前記第１の距離、又は前記第２の距離、又は前記第３の距離に対応して設定された前記設定距離と比較し、
    前記条件判定部は、前記距離比較部が前記第１の距離、又は前記第２の距離、又は前記第３の距離が前記設定距離以内と判定した場合に、前記第１の条件を満たすと判定することを特徴とする請求項５に記載の内視鏡システム。
13. 前記条件判定部が、前記第１の条件を満たすと判定した場合、前記情報記録部は、更に前記挿入部の先端の軸方向の情報を記録することを特徴とする請求項１２に記載の内視鏡システム。
14. 前記条件判定部が前記第２の条件を満たすと判定した場合、前記情報記録部は、更に前記挿入部の先端の軸方向の情報を記録することを特徴とする請求項１１に記載の内視鏡システム。

Images