JPWO2017212725A1 - 医療用観察システム - Google Patents

Abstract

内視鏡の撮像部に基づく撮像画像（内視鏡画像）が入力される特徴量比較部４４内の輝度抽出回路４４ａは、撮像画像の分割領域の輝度平均値の最大値と最小値との差分を算出し、比較回路４４ｂは差分が閾値以下か否かを比較し、閾値以下の場合にはトリガ信号生成部４５はトリガ信号を生成し、３次元モデル画像生成部４１ａは、撮像画像と、内視鏡の先端部内センサ３４に基づく位置情報から３次元形状画像を構築する処理を開始する。

Description

本発明は、内視鏡による観察に基づいて３次元モデル画像を生成する医療用観察システムに関する。

近年、内視鏡は、医療用分野等において広く用いられるようになっている。また、内視鏡は、腎盂、腎杯のように被検体における複雑な３次元形状を有する管腔臓器内の検査、又は観察に使用される場合がある。
このように、複雑な３次元形状を有する管腔臓器内を観察するような場合には、観察しようとする管腔領域の３次元形状（立体形状）を表示して、観察状況をユーザに提示する観察支援システムが用いられる場合がある。
例えば、第１の従来例としての日本国特開平１０−２３４６６２号公報は、マウス又はキーボードからの入力操作をトリガとして、被検体のスライス画像から３次元モデル画像の生成を開始することを開示している。
また、第２の従来例としての日本国特開２００２−３０６４０３号公報は、内視鏡の先端位置の座標データの変化をトリガとして、先端付近の器官のＣＴデータを記憶部から読み出して、先端付近の周囲の器官の内壁の３次元画像を構築して、モニタに３次元画像を表示することを開示している。

第１の従来例は、ユーザによる入力操作を必要とするため、入力操作が煩わしいと感じるユーザも存在し、また、検査中においてユーザが入力操作を忘れると、３次元モデル画像の生成が開始されないことが発生し、改善すべき欠点がある。
また、第２の従来例は、内視鏡の先端の位置の変化により３次元モデル画像を生成するが、撮像された画像に基づいて３次元モデル画像を生成することを開始することを開示していない。
ユーザは、内視鏡により臓器内部等の検査対象領域を観察（又は検査）する場合、観察している領域等の３次元モデル画像（３次元形状画像）を構築して表示すると、観察済みの領域の形状を把握できると共に、現在観察している状況から次に内視鏡を移動して観察しようとする作業を行い易くなる。
また、このように３次元モデル画像を構築して表示するようにした場合、ユーザは、内視鏡を患者に挿入した挿入口付近の３次元モデル画像を必要とせず、検査対象領域又はその周辺領域を観察する状態になった状態において３次元モデル画像の構築を開始する要望が多い。
このため、３次元モデル画像の構築を開始するべき状態になった場合に３次元モデル画像の構築を開始する医療用観察システムが望まれる。
本発明は上述した点に鑑みてなされたもので、撮像された画像等に基づいて生成されるトリガ信号により、自動的に３次元モデル画像の生成を開始する医療用観察システムを提供することを目的とする。

本発明の一態様の医療用観察システムは、３次元形状を有する被検体の内部を撮像する撮像部を有する内視鏡と、前記撮像部により出力された撮像画像に基づいて、前記被検体の３次元モデル画像を構築する３次元モデル画像生成部と、前記撮像画像における所定のパラメータが所定値以上変化した場合、前記３次元モデル画像の生成を開始するトリガ信号を生成する信号生成部と、前記３次元モデル画像生成部に対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記３次元モデル画像の生成を開始するよう制御する制御部と、を有する。
また、本発明の他の態様の医療用観察システムは、３次元形状を有する被検体の内部を観察する内視鏡と、前記被検体の３次元モデル画像を構築する３次元モデル画像生成部と、前記内視鏡が所定の位置にあることを検知した場合、前記３次元モデル画像の生成を開始するトリガ信号を生成する信号生成部と、前記３次元モデル画像生成部に対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記３次元モデル画像の生成を開始するよう制御する制御部と、を有する。

図１は本発明の第１の実施形態の医療用観察システムの全体構成を示す図。 図２は、図１における観察支援装置の構成を示すブロック図。 図３は内視鏡が挿入される尿管及びその深部の腎盂、腎杯を示す図。 図４は第１の実施形態の全体的な処理を示すフローチャート。 図５Ａは尿管内で得られる内視鏡画像を示す図。 図５Ｂは尿管内のように狭い管腔内に挿入部の先端部が挿入された様子を示す図。 図５Ｃは、図５Ｂの場合に得られる内視鏡画像を示す図。 図５Ｄは、図５Ｃの線に沿った輝度の分布を示す図。 図６Ａは腎盂内で得られる内視鏡画像を示す図。 図６Ｂは腎盂内のように広い管腔内に挿入部の先端部が挿入された様子を示す図。 図６Ｃは、図６Ｂの場合に得られる内視鏡画像を示す図。 図６Ｄは、図６Ｃの線に沿った輝度の分布を示す 図７Ａは画像の輝度平均値を用いてトリガ信号を生成するための比較又は判定を行う場合の処理を示すフローチャート。 図７Ｂは、図７Ａの一部を変形した処理を示すフローチャート。 図８Ａは画像を分割した分割領域の輝度平均値を用いてトリガ信号を生成するための比較又は判定を行う処理を示すフローチャート。 図８Ｂは内視鏡画像全体を複数の分割領域に分割した様子を示す図。 図９Ａは、図８Ａと一部が異なる処理を示すフローチャート。 図９Ｂは内視鏡画像における１つのラインに沿って複数の分割領域を設定した様子を示す図。 図１０は本発明の第２の実施形態における特徴量比較部の構成を示すブロック図。 図１１は第２の実施形態におけるトリガ信号を生成するための比較又は判定を行う処理を示すフローチャート。 図１２Ａは内視鏡を尿管内に挿入した状態を示す図。 図１２Ｂは、図１２Ａの場合に得られる内視鏡画像を示す図。 図１３Ａは内視鏡を尿管腎盂移行部内に挿入した状態を示す図。 図１３Ｂは、図１３Ａの場合に得られる内視鏡画像を示す図。 図１４Ａは内視鏡を腎盂内に挿入した状態を示す図。 図１４Ｂは、図１４Ａの場合に得られる内視鏡画像を示す図。 図１５は内視鏡の先端部が尿管内から腎盂内までに挿入された場合にメモリに記録される履歴情報を示す図。 図１６Ａは内視鏡により咽頭を観察した場合の内視鏡画像の概略を示す図。 図１６Ｂは内視鏡により気管支を観察した場合の内視鏡画像の概略を示す図。 図１６Ｃは内視鏡により左右の主気管支の分岐部を観察した場合の内視鏡画像の概略を示す図。 図１７Ａは、図１６Ａの場合のより具体的な内視鏡画像を示す図。 図１７Ｂは、図１６Ｂの場合のより具体的な内視鏡画像を示す図。 図１７Ｃは、図１６Ｂの場合のより具体的な内視鏡画像を示す図。 図１７Ｄは、図１６Ｃの場合のより具体的な内視鏡画像を示す図。 図１８Ａは内視鏡が尿管内に留置されたアクセスシースの先端付近まで挿入された様子を示す図。 図１８Ｂは図１８Ａの場合における内視鏡画像の概略を示す図。 図１８Ｃは、図１８Ｂの場合のより具体的な内視鏡画像を示す図。 図１８Ｄは内視鏡画像の各画素を色度図上にプロットした様子を示す図。 図１９は本発明の第３の実施形態における特徴量比較部の構成を示すブロック図。 図２０Ａは第３の実施形態における色度図処理部を用いてトリガ信号を生成するための処理を示すフローチャート。 図２０Ｂは第３の実施形態における境界処理部を用いてトリガ信号を生成するための処理を示すフローチャート。 図２１は本発明の第４の実施形態における特徴量比較部の構成を示すブロック図。 図２２Ａは特定の構造となる腎杯の入口が存在する画像を示す図。 図２２Ｂは特定の構造となる腎乳頭が存在する画像を示す図。 図２２Ｃは、図２２Ｂと若干、異なる状態の腎乳頭が存在する画像を示す図。 図２３は本発明の第４の実施形態におけるトリガ信号を生成するための処理を示すフローチャート。 図２４Ａは本発明の第５の実施形態がキャリブレーション処理部を備えることを示すブロック図。 図２４Ｂは第５の実施形態における処理を示すフローチャート。 図２５Ａは内視鏡が尿管内に留置されたアクセスシースの先端付近まで挿入された様子を示す図。 図２５Ｂは、図２５Ａの場合において取得される内視鏡画像を示す図。 図２５Ｃは図２５Ａの状態から内視鏡の先端部がアクセスシースの先端部内に挿入された状態の様子を示す図。 図２５Ｄは内視鏡の先端部内に配置されたコイルに対して、アンテナのコイルが発生する磁界を示すと共に、金属で構成されたアクセスシースの先端部による渦電流により、その周囲に磁界が変化する様子を示す図。 図２６Ａは本発明の第６の実施形態における処理を示すフローチャート。 図２６Ｂは第６の実施形態の第１変形例における処理を示すフローチャート。 図２７は第６の実施形態の第２変形例における観察支援装置の構成を示すブロック図。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示すように第１の実施形態の医療用観察システム１は、内視鏡２と、トロリー３に配置された光源装置４と、内視鏡画像装置５と、観察支援装置６と、観察支援装置６に接続され、磁界を発生するアンテナ７と、モニタ８とを有する。
内視鏡２は、軟性の挿入部１１を有する軟性内視鏡であり、挿入部１１は、被検体を形成する患者９内に挿入される。
光源装置４は、照明光を発生し、発生した照明光を内視鏡２（のライトガイド１９）に供給する。内視鏡画像装置５は、内視鏡２に設けられた撮像部２５に対する信号処理を行う。内視鏡画像装置５は、撮像部２５から出力される撮像画像の画像信号からモニタ８に表示するための表示画像となる内視鏡画像の画像信号を生成し、観察支援装置６を介してモニタ８に出力する。モニタ８は、内視鏡画像表示エリア８ａには内視鏡画像を、３次元モデル画像表示エリア８ｂには観察支援装置６により生成された３次元モデル画像をそれぞれ表示する。
なお、図１に示す例では、観察支援装置６には、内視鏡画像装置５からの内視鏡画像（の画像信号）が入力される構成となっているが、撮像部２５の撮像画像（の画像信号）を観察支援装置６に入力し、観察支援装置６が内視鏡画像（の画像信号）も生成する構成にしても良い。

内視鏡２は、患者９における観察対象の被検体となる所定の管腔臓器（単に管腔臓器とも言う）の一部を形成する例えば尿管１０内に挿入される挿入部１１と、この挿入部１１の後端（基端）に設けられた操作部１２と、操作部１２から延出されるユニバーサルケーブル１３とを有する。ユニバーサルケーブル１３の端部に設けたライトガイドコネクタ１４は、光源装置４のライトガイドコネクタ受けに着脱自在に接続される。
なお、尿管１０は、その深部側において腎盂５１ａ、腎杯５１ｂに連通する（図３参照）。
挿入部１１は、その先端に設けられた硬質の先端部１５と、該先端部１５の後端に設けられた湾曲可能な湾曲部１６と、該湾曲部１６の後端から操作部１２の前端まで延びる可撓性を有する可撓管部１７とを有する。
操作部１２には湾曲部１６を湾曲操作するための湾曲操作ノブ１８が設けられている。

図１における一部の拡大図で示すように挿入部１１内には、照明光を伝送するライトガイド１９が挿通されており、このライトガイド１９の先端は、先端部１５の照明窓に取り付けられ、ライトガイド１９の後端は、ライトガイドコネクタ１４に至る。

ライトガイドコネクタ１４には、光源装置４の光源ランプ２０で発生した照明光が集光レンズ２１により集光されて入射され、ライトガイド１９は伝送した照明光を照明窓に取り付けられた先端面から出射する。また、光源装置４は、光源ランプ２０で発生する照明光の光量を調整する調光回路２２を有する。
照明窓から出射される照明光により照明された管腔臓器内の観察対象部位（被写体とも言う）は、先端部１５の照明窓に隣接して設けられた観察窓（撮像窓）に取り付けられた対物光学系２３によりその結像位置に光学像が結像される。対物光学系２３の結像位置には、撮像素子としての例えば電荷結合素子（ＣＣＤと略記）２４の撮像面が配置される。このＣＣＤ２４は、所定の画角（視野角）を有する。
対物光学系２３と、ＣＣＤ２４は、管腔臓器内を撮像する撮像部（又は撮像装置）２５を形成する。なお、ＣＣＤ２４の画角は、対物光学系２３の光学特性（例えば焦点距離）にも依存するために、対物光学系２３の光学特性を考慮に入れた撮像部２５の画角や、または対物光学系を用いて観察する場合の画角と言うこともできる。

ＣＣＤ２４は、挿入部１１内などを挿通された信号線２６の一端と接続され、該信号線２６の他端はライトガイドコネクタ１４に接続される接続ケーブル２７（内の信号線）を介して該接続ケーブル２７の端部の信号コネクタ２８に至る。この信号コネクタ２８は内視鏡画像装置５の信号コネクタ受けに着脱自在に接続される。
内視鏡画像装置５は、ＣＣＤ駆動信号を発生するドライバ３１と、ＣＣＤ２４の出力信号に対する信号処理を行い、内視鏡画像の画像信号（映像信号）を生成する信号処理回路３２とを有する。ドライバ３１は、信号線２６等を介してＣＣＤ２４にＣＣＤ駆動信号を印加し、ＣＣＤ駆動信号の印加によりＣＣＤ２４は、撮像面に結像された光学像を光電変換した撮像画像の画像信号を出力する。
ＣＣＤ２４は、挿入部１１内などを挿通された信号線２６の一端と接続され、該信号線２６の他端はライトガイドコネクタ１４に接続される接続ケーブル２７（内の信号線）を介して該接続ケーブル２７の端部の信号コネクタ２８に至る。この信号コネクタ２８は内視鏡画像装置５の信号コネクタ受けに着脱自在に接続される。

信号処理回路３２は、生成した内視鏡画像の画像信号を伝送線２９ａを介して観察支援装置６に送る。モニタ８は、ＣＣＤ２４の撮像面に結像された所定の画角（の範囲）で撮像された光学像に対応する撮像画像を内視鏡画像表示エリア（単に画像表示エリアと略記）８ａにおいて内視鏡画像を表示する。図１においては、ＣＣＤ２４の撮像面が例えば正方形の場合において、その４つの隅を切り欠いた８角形に近い内視鏡画像を表示する様子を示す。
また、信号処理回路３２により生成された内視鏡画像の画像信号は、伝送線２９ａを介して光源装置４の調光回路２２に出力し、調光回路２２は、画像信号の数フレーム分の平均値と、設定された基準の明るさとの差信号を生成し、差信号の値が０になるように光源ランプ２０が発生する照明光の光量を調整する。
内視鏡２は、例えばライトガイドコネクタ１４内に、該内視鏡２に固有の情報を格納したメモリ３０を有し、このメモリ３０は、内視鏡２に搭載されたＣＣＤ２４が有する画素数のデータ等を格納している。

内視鏡画像装置５は、その内部の図示しない読出回路が、メモリ３０に接続されたデータを読み出し、内視鏡画像装置５内のドライバ３１と信号処理回路３２に出力する。ドライバ３１は、入力された画素数のデータに応じたＣＣＤ駆動信号を発生し、信号処理回路３２は画素数のデータに対応した信号処理を行う。
上記信号処理回路３２は、生成した例えばデジタルの内視鏡画像の画像信号又は２次元の内視鏡画像データ（単に内視鏡画像とも言う）を観察支援装置６に入力する入力部を形成する。
挿入部１１の先端部１５内には、体外における所定の位置に配置されたアンテナ７により発生した磁場を検出することにより先端部１５の（３次元）を検出するための位置センサとなる複数のセンスコイル３４ａ〜３４ｃが配置されている。センスコイル３４ａ〜３４ｃは、先端部１５内に配置された先端部内センサ３４（図２参照）を形成する。
先端部１５内において、挿入部１１（又は先端部１５）の長手方向に沿って配置された２つのセンスコイル３４ａ，３４ｂと、２つのセンスコイル３４ａ，３４ｂを結ぶ線分と直交する方向に配置されたセンスコイル３４ｃとが配置されている。

センスコイル３４ａ，３４ｂを結ぶ線分方向は、撮像部２５を構成する対物光学系２３の光軸方向（又は視線方向又は先端部１５の姿勢）とほぼ一致するように配置されている。また、センスコイル３４ａ〜３４ｃを含む面がＣＣＤ２４の撮像面における上下方向にほぼ一致するように配置されている。
センスコイル３４ａ〜３４ｃにより検出された位置情報は、内視鏡画像装置５から、伝送線２９ｂを経由して観察支援装置６内の後述する先端部位置推定部に出力される。
このため、観察支援装置６内の後述する先端位置推定部４２は、３つのセンスコイル３４ａ〜３４ｃの３次元位置を検出することにより、先端部１５の３次元位置及び先端部１５の軸方向を検出（推定）することができる。換言すると、先端部１５においてのセンスコイル３４ａ〜３４ｃの３次元位置の検出からそれぞれ既知の距離離れて配置された撮像部２５を構成する対物光学系２３の３次元位置及び対物光学系２３の視線方向（光軸方向）を検出することができる。
先端位置推定部４２は、先端部１５の３次元位置及び姿勢を推定する位置・姿勢推定部を形成する。

なお、図１に示す内視鏡２における撮像部２５は、対物光学系２３の結像位置にＣＣＤ２４の撮像面を配置した構成であるが、対物光学系２３とＣＣＤとの間に対物光学系２３の光学像を伝送するイメージガイドを用いた構成の撮像部を備えた内視鏡の場合にも適用できる。
センスコイル３４ａ〜３４ｃは、内視鏡２内の信号線３５の一端に接続され、信号線３５の他端は、ライトガイドコネクタ１４から延出されるケーブル２７と接続される。ケーブル２７内の信号線３５は、内視鏡画像装置５から伝送線２９ｂを介して観察支援装置６内の先端位置推定部４２（図２参照）と接続される。
また、図１に示すように観察支援装置６に体表マーカ３６を接続して、患者９における例えば体表上の基準となる位置に設定した体表マーカ３６によりその基準となる位置の情報を取得することができる。
また、観察支援装置６に外部インタフェース（外部Ｉ／Ｆ）３７としてのＬＡＮを接続して、ＣＴ／ＭＲＩ装置から患者９の３次元情報となるＣＴ／ＭＲＩデータ等を取得することができるようにしている。

また、図２に示すように観察支援装置６には、キーボード、マウス、操作スイッチ、フットスイッチ等の入力装置３８が接続され、ユーザとしての術者は、入力装置３８から指示信号や、選択の信号等を観察支援装置６の画像処理部４１と制御部４３に入力することができる。
図２は被検体の３次元モデル画像を構築する処理等を行う観察支援装置６の構成を示す。
観察支援装置６は、３次元モデル画像を生成（構築）する画像処理部４１と、先端部１５の３次元位置を推定する先端位置推定部４２と、トリガ信号等を生成する制御部４３と、画像の合成を行う合成部４８とを有する。
画像処理部４１は、内視鏡画像装置５から入力される（２次元の）内視鏡画像（又は撮像画像）から３次元モデル画像を生成（構築）する３次元モデル画像生成部４１ａを有し、生成した３次元モデル画像（の画像信号）を合成部４８に出力する。
合成部４８は、内視鏡画像（の画像信号）と３次元モデル画像（の画像信号）とを合成し、モニタ８に出力し、モニタ８は内視鏡画像と３次元モデル画像とを表示する。

先端位置推定部４２には、先端部内センサ３４（を形成するセンスコイル３４ａ〜３４ｃ）からのセンサ情報が入力され、３つのセンスコイルの位置及び姿勢が推定される。先端位置推定部４２は、３つのセンサコイルの位置及び姿勢から先端部１５の位置及び姿勢（又は先端部１５の対物光学系２３の位置及び視線方向）を推定する。
また、先端位置推定部４２には、体表マーカ３６に組込まれた図示していないセンサ（２つのセンサコイル）からのセンサ情報が入力され、２つのセンサコイルの位置及び姿勢が推定される。また、先端位置推定部４２は、既知となるマーカ位置及び姿勢の情報を用いて、先端部の位置と姿勢を推定する際の較正（レジストレーション）を行うことができる。
先端位置推定部４２は、推定した位置及び姿勢の情報を３次元モデル画像生成部４１ａに出力する。
３次元モデル画像生成部４１ａは、２次元の内視鏡画像と、先端位置推定部４２により推定された位置及び姿勢の情報とを用いて、３次元モデル画像を生成（構築）する。
また、先端位置推定部４２は、推定した位置及び姿勢の情報を制御部４３に出力する。

制御部４３は、入力される内視鏡画像における所定のパラメータとしての所定の特徴量を抽出し、所定の閾値と比較する特徴量比較部４４と、トリガ信号を生成するトリガ信号生成部４５と、磁界検出部４６及び動作検知部４７とを有する。
また、制御部４３は、アンテナ７を形成する複数のソースコイルに対して、各ソースコイルの周囲に、それぞれ位置検出用の磁界を発生させる交流信号を印加する。なお、後述する図２５Ｄにおいては、１つのソースコイル７ａが、その周囲に発生する磁界Ｈを示す。
本実施形態における特徴量比較部４４は、内視鏡画像（撮像画像）の輝度情報に基づいて、トリガ信号を生成させるための比較結果の信号となる判定信号を出力する。
このため、特徴量比較部４４は、内視鏡画像の輝度を抽出すると共に、その平均値を算出する輝度抽出回路４４ａと、輝度抽出回路４４ａが抽出した輝度の平均値と、閾値格納部４４ｃが格納する閾値とを比較し、比較結果の判定信号を出力する比較回路（又は判定回路）４４ｂとを有する。

また、輝度抽出回路４４ａは、１フレーム分の内視鏡画像の輝度の平均値を算出する平均値算出回路の機能を他に、１フレーム分の内視鏡画像又はラインの沿った画像領域を複数の領域に分割して、各領域における輝度の平均値を算出する領域平均値算出回路の機能を待つ。
そして、術者は、入力装置３８から輝度情報に基づいてトリガ信号を生成する複数の処理における任意の１つの処理を選択することができる。
トリガ信号生成部４５は、特徴量比較部４４（の比較回路４４ｂ）による比較結果に基づいて、トリガ信号を生成する信号生成部を形成する。
なお、特徴量比較部４４は、特徴量の比較を行う場合、内視鏡の挿入動作に応じた異なる位置の各々において、先端位置推定部４２により推定された位置の情報を参照して、特徴量の比較を行う。
制御部４３は、トリガ信号生成部４５が生成したトリガ信号に基づいて、３次元モデル画像生成部４１ａに対して、３次元モデル画像の画像信号の生成を開始するように制御する。制御部４３は、中央処理装置（ＣＰＵ）、ＤＳＰ等により構成される。

なお、図２においては、制御部４３が、特徴量比較部４４及びトリガ信号生成部４５等を内蔵した構成例を示しているが、制御部４３の外部に特徴量比較部４４及びトリガ信号生成部４５を設けるようにしても良い。そして、特徴量比較部４４が判定信号を制御部４３に出力し、制御部４３が判定信号に基づいてトリガ信号生成部４５がトリガ信号を３次元モデル画像生成部４１ａに出力させる制御を行うようにしても良い。
なお、磁界検出部４６と、動作検知部４７に関しては、後述する実施形態において説明する。
本実施形態の医療用観察システム１は、３次元形状を有する被検体としての患者９の内部を撮像する撮像部２５を有する内視鏡２と、前記撮像部２５により出力された撮像画像（に対応する内視鏡画像）に基づいて、前記被検体の３次元モデル画像を構築する３次元モデル画像生成部４１ａと、前記撮像画像における所定のパラメータが所定値以上変化した場合、前記３次元モデル画像の生成を開始するトリガ信号を生成する信号生成部を形成するトリガ信号生成部４５と、前記３次元モデル画像生成部４１ａに対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記３次元モデル画像の生成を開始するよう制御する制御部４３と、を有することを特徴とする。

なお、本実施形態においては、挿入部１１の先端部１５の位置及び姿勢（又は対物光学系２３の位置及び視線方向）の情報を検出する先端部内センサ３４を備えた内視鏡としての内視鏡２の場合で説明する。しかし、図１において２点鎖線で示すようにセンサを有しない内視鏡２Ｂにおいても、一部の構成を変更することにより、適用できる。図１に示す内視鏡２Ｂは、内視鏡２においてのセンサを有しない構成以外は、内視鏡２と同様の構成である。
内視鏡２Ｂを用いる場合には、センサを有しないために、挿入部１１の先端部１５の対物光学系２３の位置及び視線方向の情報が得られない。そのために、内視鏡２Ｂが挿入される患者９の３次元形状情報を、例えばＣＴ装置から取得すると共に、画像マッチングにより内視鏡２Ｂの対物光学系２３の位置及び視線方向の情報を取得する。
内視鏡２Ｂにより得られる内視鏡画像に対応する仮想内視鏡画像をＣＴ装置による３次元形状情報から生成し、内視鏡画像と仮想内視鏡画像との画像マッチングにより内視鏡２Ｂの対物光学系２３の位置及び視線方向の情報を取得する。これに対して、内視鏡２の場合には、ＣＴ装置による患者９の３次元形状情報を取得することが不要となる。

次に本実施形態の動作を説明する。本実施形態の動作として、例えば内視鏡２を患者９の尿管１０内に挿入し、その深部の腎盂、腎杯を検査（観察）する場合を説明する。図３は、内視鏡２の挿入部１１が挿入される尿管１０及び深部の腎盂５１ａ、腎杯５１ｂを示す。
また、図４は、全体的な処理、つまり、３次元モデル画像の構築を開始するための判定を行う処理と、開始した場合の３次元モデル画像構築のフローチャートを示す。
図１に示す内視鏡２を光源装置４，内視鏡画像装置５に接続し、内視鏡画像装置５を光源装置４と（モニタ８が接続された）観察支援装置６に接続して各装置の電源を投入して動作状態に設定する。
内視鏡画像装置５は、対物光学系２３によりＣＣＤ２４の撮像面に結像された撮像画像に相当する内視鏡画像を観察支援装置６内の画像処理部４１に出力する。また内視鏡２の挿入部１１の先端部１５内に配置された先端部内センサ３４は、センサ情報を観察支援装置６内の先端位置推定部４２に出力する。

観察支援装置６は、動作状態となり、図４のステップＳ１に示すように制御部４３は、観察支援装置６を初期化する。制御部４３は、初期化の処理として、入力される内視鏡画像のフレーム番号のパラメータｉと、３次元モデル画像を生成させるか否かを表すトリガ信号に相当するパラメータｊとをそれぞれ初期値１，０とする。以後では、フレーム番号のパラメータｉを省略して、フレーム番号ｉで表記する。なお、ｊ＝０は、３次元モデル画像を生成させない状態のパラメータ値であり、ｊ＝１は、３次元モデル画像を生成させるトリガ信号が発生した状態のパラメータ値となる。
また、以下の説明においては、挿入部１１の先端部が尿管１０から腎盂５１ａ内に挿入された状態の場合に３次元モデル画像の生成を開始するように設定される場合を説明する。
観察支援装置６に最初のフレーム番号ｉ（＝１）の内視鏡画像（図４では単に画像）は、画像処理部（の３次元モデル画像生成部４１ａ）と特徴量比較部４４に入力される。また、３次元モデル画像生成部４１ａにはトリガ信号が発生した場合には、トリガ信号生成部４５からトリガ信号が入力される。

図４におけるステップＳ２において、３次元モデル画像生成部４１ａは、パラメータｊが１（つまり、トリガ信号が入力されている）かを判定する。トリガ信号が入力されていない場合には、ステップＳ３の処理に進み、トリガ信号が入力されている場合には、ステップＳ４の処理に進む。
挿入部１１の先端部１５を尿管１０内に挿入したような状態においては、ステップＳ２の判定処理の結果、ステップＳ３の処理に進む。ステップＳ３において特徴量比較部４４は、内視鏡画像、位置情報を取り込む。なお、ステップＳ３において特徴量比較部４４は、内視鏡画像、位置及び姿勢情報を取り込むようにしても良い。
ステップＳ３の処理の後のステップＳ５において特徴量比較部４４は、取り込んだ内視鏡画像から所定の特徴量（パラメータ）Ｃ（ｉｊ）を検出する。なお、Ｃ（ｉ，ｊ）は、後述する図７Ａにおいては入力された画像の輝度値から得られる画像の特徴的な値を示す。現時点ではＣ（ｉ，ｊ）は、Ｃ（１，０）となる。そして、次のステップＳ６において特徴量比較部４４は、検出した所定の特徴量Ｃ（ｉｊ）と、閾値とを比較する。そして、特徴量比較部４４は、所定の特徴量Ｃ（ｉｊ）が閾値以上であるか否かの比較結果を（制御部４３内の）トリガ信号生成部４５に出力する。なお、ステップＳ５，Ｓ６処理に関しては、図５等を参照して後述する。

上記のように挿入部１１の先端部１５が尿管１０内に挿入された状態においては、所定の特徴量Ｃ（ｉｊ）は閾値未満となり、ステップＳ７の処理に進む。一方、所定の特徴量Ｃ（ｉｊ）が閾値以上となる場合には、ステップＳ８の処理に進む。
ステップＳ７において制御部４３は、フレーム番号ｉを１つ増加させた（ｉ＝２）後、ステップＳ２の処理に戻る。このようにして、フレーム番号ｉが順次大きくなる内視鏡画像において、同様の処理が繰り返される。そして、挿入部１１の先端部１５が尿管１０の深部の腎盂５１ａ内に挿入されると、所定の特徴量Ｃ（ｉｊ）が閾値以上となり、ステップＳ６の処理からステップＳ８の処理に移る。
ステップＳ８においてトリガ信号生成部４５は、パラメータｊを１、つまりトリガ信号を発生し、トリガ信号を３次元モデル画像生成部４１ａに出力する。
次のステップＳ４において３次元モデル画像生成部４１ａは、内視鏡画像、位置及び視線方向（又は位置及び姿勢）の情報を取り込む。
次のステップＳ９において３次元モデル画像生成部４１ａは、（３次元モデル画像としての）３次元形状画像の構築を行う。

現時点では、トリガ信号が発生した直後であるので、トリガ信号の発生直後において取得した１フレーム分の内視鏡画像と、その場合の位置及び視線方向の情報を用いて３次元形状画像の構築を開始する。
３次元モデル画像生成部４１ａは、１フレーム分の内視鏡画像とその場合の位置及び視線方向の情報を用いて構築した３次元形状画像の画像信号をモニタ８に出力する。
次のステップＳ１０においてモニタ８は、１フレーム分の内視鏡画像により構築された３次元形状画像を（３次元モデル画像として）表示する。
次のステップＳ１１において制御部４３は、入力装置３８の終了ボタンなどから検査終了の指示信号が入力されたか否かを判定する。検査終了の指示信号が入力されていない場合には、ステップＳ７の処理に移り、フレーム番号のパラメータが１つ増加された後、ステップＳ２の処理に戻る。

トリガ信号が発生した状態であるので、ステップＳ２の処理の後、ステップＳ４の処理に進み、さらにステップＳ９、Ｓ１０の処理を行う。ステップＳ２，Ｓ４，Ｓ９−Ｓ１１，Ｓ７のループの処理を繰り返すことにより、３次元形状画像の構築領域が増加する。
３次元形状画像の構築を開始した位置から挿入部１１の先端部１５が腎盂５１ａの深部側に移動しながら撮像された撮像済み（観察済み）の内視鏡画像に対応した３次元形状画像が構築される。また、構築された３次元形状画像がモニタ８において例えば図１に示すように表示される。なお、モニタ８において３次元形状画像を表示した場合の観察する観察方向（視点方向）を設定することができる。観察方向が設定されない場合には、デフォルトの観察方向の設定の状態で３次元形状画像が表示される。

モニタ８において表示される３次元形状画像により、術者は内視鏡２により観察（検査）している腎盂５１ａの形状及び観察領域を把握でき、観察や処置を円滑に行い易くなる。
術者は、観察や処置を終了する場合には入力装置３８の終了ボタン等を操作して、検査終了の指示信号を入力する。すると、ステップＳ１２に示すように制御部４３は、３次元モデル画像生成部４１ａが３次元形状画像の構築をする処理を停止させ、図４の処理を終了する。
なお、上述の説明においては、３次元モデル画像生成部４１ａが、３次元モデル画像として３次元形状画像を生成（構築）して、生成した３次元形状画像をモニタ８に表示する例を説明した。

３次元モデル画像生成部４１ａが生成する３次元モデル画像として３次元形状画像の場合に限定されるものでなく、例えば３次元形状画像から観察済みの３次元領域となる３次元構築領域と、未観察の（ために構築されていない）３次元未構築領域との境界を視認可能にする（又は視認し易くする）３次元画像を生成（構築）し、モニタ８において３次元画像を３次元モデル画像として表示するようにしても良い。
次に図５Ａ−図６Ｄを参照して、所定の特徴量としての輝度情報を利用して、３次元モデル画像の構築を開始する（トリガ信号を生成する）比較結果を得る場合の処理を具体的に説明する。
本実施形態は、３次元モデル画像の構築を開始する所定の特徴量として、内視鏡画像における輝度情報を利用し、挿入部１１の先端部１５が尿管１０から腎盂５１ａ内に挿入された場合を検出する。また、腎盂５１ａ内に挿入された場合を検出する輝度情報として、術者は、（１フレーム分の）内視鏡画像の平均値を用いる場合と、（１フレーム分の）内視鏡画像の分割領域の平均値を用いる場合と、内視鏡画像上に設定したラインに沿った分割領域の平均値を用いる場合と、から選択することができる。

図５Ａは、尿管１０内で得られる内視鏡画像を示す。また、図５Ｂは、尿管１０内のように狭い管腔１０ａ内に挿入部１１の先端部１５が挿入された様子を示す。図５Ｃは、図５Ｂの場合に得られる内視鏡画像を示す。また、図５Ｄは、図５Ｃにおける水平方向のラインに沿った輝度の分布を示す。図５Ｄにおいて、点線は、輝度の平均値Ｐａｕを示す。

図５Ａ−図５Ｄから分かるように尿管１０又は狭い管腔１０ａ内では、内視鏡２の挿入部１１の先端部１５の対物光学系２３及びＣＣＤ２４の撮像部２５により観察（撮像）した場合、尿管１０等の内壁と先端部１５との距離が近く（小さく）なる。
そのため、得られる内視鏡画像における周辺部は、高い輝度値となり、内視鏡画像における中心部は尿管１０の奥部分に対応した低い輝度値となる（尿管１０、狭い管腔１０ａは、ほぼ真っ直ぐな状態であるとする）。
図６Ａは、腎盂５１ａ内で得られる内視鏡画像を示す。また、図６Ｂは、腎盂５１ａ内のように広い管腔５０内に挿入部１１の先端部１５が挿入された様子を示し、図６Ｃは、図６Ｂの場合に得られる内視鏡画像を示す。また、図６Ｄは、図６Ｃの水平方向のラインに沿った輝度の分布を示す。図６Ｄにおいて、点線は、輝度の平均値Ｐａｐを示す。

図６Ａ−図６Ｄから分かるように腎盂５１ａ内等では、広い管状構造になる為、内視鏡２の先端部１５の撮像部２５により観察（撮像）した場合、腎盂５１ａの内壁と先端部１５との距離が遠く（大きく）なる。この場合、光源装置４の調光回路２２による調光機能が動作し、照明光の光量が増加し、得られる内視鏡画像における周辺部と中心部とは、ほぼ同じような輝度値になる。
図６Ｄの平均値Ｐａｐは、Ｐａｕよりも大きくなる。そして、後述する図７Ａの処理においては、Ｐａｕ＜Ｐａ＿ｔｈ＜Ｐａｐの条件を満たす閾値Ｐａ＿ｔｈを用いて、腎盂５１ａの内視鏡画像の判定を行う。
本実施形態においては、図５Ｄ、図６Ｄに示すような輝度分布の特性を利用して、撮像された撮像画像又は内視鏡画像から腎盂５１ａの画像を判定する（比較結果の）判定信号を得る。
上述したように本実施形態においては、輝度分布の特性を利用して、腎盂５１ａの画像を判定する３つの方法又は構成を備えている。

図７Ａ又は図７Ｂと、図８Ａと、図９Ａは、腎盂５１ａの画像を判定する３つの処理を示す。まず、図７Ａを参照して、その動作（処理）を説明する。なお、図７Ａの代わりに図７Ｂを採用しても良い。
図４におけるステップＳ３の内視鏡画像、位置情報の取り込みの処理の後、図７ＡのステップＳ２１に示すように特徴量比較部４４（の前処理部又は輝度抽出回路４４ａ）は、内視鏡画像におけるノイズを除去するノイズ除去の処理を行う。特徴量比較部４４（の輝度抽出回路４４ａ）は、例えばガウシアンフィルタを用いて、ノイズを除去する。
次のステップＳ２２において特徴量比較部４４（のの前処理部又は輝度抽出回路４４ａ）は、内視鏡画像におけるハレーション部分の除去する処理を行う。特徴量比較部４４（の輝度抽出回路４４ａ）は、例えば内視鏡画像の色成分画像となるＲＧＢ画像を、輝度画像と色差画像に変換し、輝度画像（白黒画像）が、階調の上限に近い閾値以上となる画像部分をハレーションとして除去する。

次のステップＳ２３において特徴量比較部４４（の輝度抽出回路４４ａ）は、ステップＳ２１，Ｓ２２の処理を経た内視鏡画像の（ハレーション部分を除去した１フレーム分の）輝度画像の輝度平均値Ｐａを算出する。なお、図７Ｂにおいて説明するように内視鏡画像の中心部側の一部の領域における輝度平均値Ｐａを算出するようにしても良い。
次のステップＳ２４において特徴量比較部４４（の比較回路４４ｂ）は、輝度平均値Ｐａと、その輝度平均値Ｐａに対して予め設定した閾値Ｐａ＿ｔｈとを比較する。
Ｐａ≧Ｐａ＿ｔｈを満たさない比較結果の場合には、（判定信号を発生しないで）ステップＳ７の処理に戻る。つまり、腎盂５１ａ内の内視鏡画像を判定するための閾値Ｐａ＿ｔｈに達していないと判定され、次のフレーム番号ｉの内視鏡画像において同様の処理が繰り返される。そして、挿入部１１の先端部１５が腎盂５１ａ内に挿入され、腎盂５１ａ内の内視鏡画像を取得した状態になると、以下のような比較結果となる。
Ｐａ≧Ｐａ＿ｔｈを満たす比較結果の場合には、比較回路４４ｂは、判定信号を発生して、トリガ信号生成部４５に出力する。すると、ステップＳ８においてトリガ信号生成部４５は、トリガ信号を発生する。そして、図４において説明したように３次元モデル画像生成部４１ａは、腎盂５１ａ内の（２次元）内視鏡画像から３次元形状画像の構築を開始する。

図７ＡのステップＳ２３においては、内視鏡画像の輝度画像の輝度平均値Ｐａを算出して、閾値Ｐａ＿ｔｈと比較しているが、図７ＢのステップＳ２３′に示すように内視鏡画像の中心領域における輝度画像の輝度平均値Ｐａ′を算出するようにしても良い。そして、次のステップＳ２４′において比較回路４４ｂが、輝度平均値Ｐａ′と閾値Ｐａ＿ｔｈ′と比較するようにしても良い。中心領域としては、内視鏡画像の中心部を中心として、その周辺領域を含むように設定すれば良い。例えば中心領域として、中心部を中心として、内視鏡画像の全領域の１／９〜１／２程度に設定する。
図７ＢにおけるステップＳ２３′、Ｓ２４′以外の処理は、図７Ａと同じであり、その説明を省略する。
次に図８Ａの処理を説明する。図８ＡにおけるステップＳ３１とＳ３２は、図７ＡのステップＳ２１のノイズ除去とステップＳ２２のハレーション除去と同じ処理である。
次のステップＳ３３において特徴量比較部４４（の輝度抽出回路４４ａ）は、ステップＳ３１，Ｓ３２の処理を経た内視鏡画像を複数の画像領域としての分割領域に分割する。図８Ｂは、（ステップＳ３２の処理後の）内視鏡画像を水平方向及び垂直方向の分割数Ｎをそれぞれ１０としたＮ×Ｎに分割された分割領域Ｒｄを示す。

なお、分割数Ｎを１０にした場合に限定されるものでなく、２以上の数であれば良い。また、水平方向及び垂直方向の分割数Ｎを等しくした場合に限らず、異なる値に設定しても良い。
次のステップＳ３４において特徴量比較部４４（の輝度抽出回路４４ａ）は、各分割領域の輝度平均値を算出する。
次のステップＳ３５において特徴量比較部４４（の輝度抽出回路４４ａ）は、各分割領域の輝度平均値の最大値Ｐｍａｘと各分割領域の輝度平均値の最小値Ｐｍｉｎとを抽出する。更に、特徴量比較部４４（の輝度抽出回路４４ａ）は、最大値Ｐｍａｘと最小値Ｐｍｉｎとの差分Ｐｄ（＝Ｐｍａｘ−Ｐｍｉｎ）を算出する。
次のステップＳ３６において特徴量比較部４４（の比較回路４４ｂ）は、差分Ｐｄが、この差分Ｐｄに対して設定された閾値Ｐｄ＿ｔｈとを比較し、差分Ｐｄが閾値Ｐｄ＿ｔｈ以下か否かを判定する。
図５Ａと図６Ａとの比較、又は図５Ｃと図６Ｃとの比較、又は図５Ｄと図６Ｄとの比較から分かるように尿管１０内のように狭い管腔１０ａ内での内視鏡画像の分割領域における最大値と最小値との差は、腎盂５１ａ内の場合よりも大きい値となる。また、このような輝度分布の特性を考慮して、閾値Ｐｄ＿ｔｈが設定されている。

つまり、尿管１０内のように狭い管腔１０ａ内での内視鏡画像の場合には、差分Ｐｄが閾値Ｐｄ＿ｔｈより大きく、腎盂５１ａ内のように広い管腔５０内での内視鏡画像の場合には、差分Ｐｄが閾値Ｐｄ＿ｔｈ以下となるように、閾値Ｐｄ＿ｔｈが設定されている。

このため、尿管１０内の内視鏡画像の場合には、ステップＳ３６において差分Ｐｄが閾値Ｐｄ＿ｔｈより大きいと判定され、ステップＳ７の処理を経て（図４の）ステップＳ２の処理に戻る。そして、次のフレーム番号の内視鏡画像に対する同様の処理が繰り返される。
挿入部１１の先端部１５が、尿管１０の深部側に移動（挿入）され、腎盂５１ａに近づくと管腔が広くなり、ステップＳ３６において差分Ｐｄが閾値Ｐｄ＿ｔｈより大きいと判定されるものの差分Ｐｄと閾値Ｐｄ＿ｔｈとのずれ量は小さくなる。

そして、更に挿入部１１の先端部１５が、腎盂５１ａ内に至ると、ステップＳ３６において差分Ｐｄが閾値Ｐｄ＿ｔｈ以下と判定される。この判定結果の場合に、比較回路４４ｂは、判定信号をトリガ信号生成部４５に出力する。
すると、ステップＳ８においてトリガ信号生成部４５は、トリガ信号を発生する。そして、図４において説明したように３次元モデル画像生成部４１ａは、腎盂５１ａ内の（２次元）内視鏡画像から３次元形状画像の構築を開始する。
次に図９Ａを参照して３つ目の処理を説明する。図９Ａに示す処理は、図８Ａに類似するため、図８Ａにおける処理と異なる部分のみを説明する。
図８Ａにおいての処理は、内視鏡画像全体を２次元的に複数の分割領域に分割したのに対して、図９Ａの処理は、内視鏡画像における特定のラインに沿って複数の分割領域を設定し、複数の分割領域に対して図８Ａの場合と同様の処理を行う。
図９Ａにおける処理は、図８ＡにおいてステップＳ３３の処理をステップＳ３３′に変更した処理となり、その他は図８Ａと同じ処理となる。ステップＳ３３′において特徴量比較部４４（の輝度抽出回路４４ａ）は、例えば図５Ｃ又は図６Ｃに示すように内視鏡画像において特定のラインを設定し、特定のラインに沿って複数の分割領域を設定する。

図９Ｂは、特定のラインに沿って設定された複数の分割領域Ｒｄｈを示す。なお、図９Ｂでは特定のラインとして、内視鏡画像の中心を通る水平方向の１つのラインを設定したが、複数のラインを設定し、複数のラインに対して複数の分割領域を設定するようにしても良い。
なお、図９ＡにおけるステップＳ３６における閾値Ｐａ＿ｔｈは、図９Ｂのライン及びその場合の分割領域Ｒｄｈの大きさ等に応じて設定される。
図９Ａの処理を選択した場合には、図８Ａの場合よりも少ない演算量で済む利点がある。そのため、観察支援装置６に入力される内視鏡画像から時間的な遅れが殆ど発生しないタイミングで、３次元形状画像の構築を開始できる。
このように動作する第１の実施形態によれば、撮像された撮像画像又は内視鏡画像に基づいて生成されるトリガ信号により、自動的に３次元形状画像により形成される３次元モデル画像の生成を開始することができる。従って、術者が３次元モデル画像の生成を開始させる操作を必要としないので、操作性を向上できる。

（第２の実施形態）
次に本発明の第２の実施形態を説明する。本実施形態は、内視鏡画像を予め設定したテンプレート画像との類似度から、判定信号を生成する。このため、本実施形態においては、図２の観察支援装置６における特徴量比較部４４が、第１の実施形態と異なる。
図１０に示すように本実施形態における特徴量比較部４４は、参照画像としてのテンプレート画像を設定する画像設定部４４ｄと、内視鏡画像との類似度を算出する類似度算出部（又は類似度比較部）４４ｅと、算出した類似度の結果を記録するメモリ４４ｆを有する。
類似度算出部４４ｅは、算出した類似度が閾値設定部４４ｃにおいて設定された類似度の閾値以下（但し、類似度の算出方法によっては閾値以上となる）に類似している比較結果の場合に、第１の実施形態の場合と同様に、トリガ信号を発生させるための判定信号をトリガ信号生成部４５に出力する。その他の構成は、第１の実施形態と同様の構成である。
本実施形態における全体的な処理は、図４に示す第１の実施形態の場合と殆ど同じであり、第１の実施形態とは図４におけるステップＳ５，Ｓ６が異なる。
図１１は本実施形態におけるステップＳ５，Ｓ６に相当する処理の詳細を示す。

本実施形態においては、挿入口を有する尿管１０から挿入口の深部側の挿入経路に沿った腎盂５１ａ内に挿入された状態の内視鏡画像を精度良く判定するために、尿管１０内、腎盂５１ａ内での代表的な内視鏡画像となる２つのテンプレート画像の他に、その途中の尿管腎盂移行部５１ｃ内でのテンプレート画像を用意している。
そして、尿管１０から腎臓内に挿入された内視鏡２により取得される内視鏡画像が、尿管１０内、尿管腎盂移行部５１ｃ内、腎盂５１ａ内の特徴を有する各テンプレート画像の時間順に十分に類似する事（又は閾値以下に類似する事）が検出された場合には、腎盂５１ａ内に挿入されたと判定する。
より単純化して、例えば腎盂５１ａ内の特徴を有するテンプレート画像と十分に類似する事（又は閾値以下に類似していること）が検出された場合に、腎盂５１ａ内に挿入されたと判定し、トリガ信号を発生するようにしても良い。
また、尿管１０内又は尿管腎盂移行部５１ｃ内と、腎盂５１ａ内の特徴を有する各テンプレート画像を用意し、尿管１０内又は尿管腎盂移行部５１ｃ内のテンプレート画像と十分に類似する事が検出された後に、腎盂５１ａ内のテンプレート画像と十分に類似する事が検出された場合に、腎盂５１ａ内に挿入されたと判定し、トリガ信号を発生するようにしても良い。なお、他の臓器に挿入する場合に適用しても良い。
図１２Ａ、図１３Ａ及び図１４Ａは、挿入部１１の先端部がそれぞれ尿管１０内、尿管１０と腎盂５１ａとの間の尿管腎盂移行部５１ｃ内、腎盂５１ａ内に存在する状態を示す。なお、図１２Ａ等においては、髄質を５１ｄ、皮質を５１ｅで示している。
図１２Ｂ、図１３ＢＡ及び図１４Ｂは、図１２Ａ、図１３Ａ及び図１４Ａの場合の内視鏡２により取得される内視鏡画像を示す。図１２Ｂ、図１４Ｂの内視鏡画像は、図５Ａ、図６Ａに示した内視鏡画像と類似したものである。図１３Ｂは、屈曲している尿管腎盂移行部５１ｃ内において得られる内視鏡画像を示す。

これらの内視鏡画像にそれぞれ類似した画像がそれぞれテンプレート画像として設定される。
テンプレート画像は、実際の内視鏡画像により設定しても良いし、腎臓を模擬した腎臓ファントム内を内視鏡２により観察した場合に得られる観察画像により設定しても良い。また、ＣＴ装置等で得られた腎臓の３次元モデルから、この３次元モデル内に仮想的に内視鏡を配置した際に得られる仮想内視鏡画像から、尿管１０内、尿管腎盂移行部５１ｃ、腎盂５１ａ内のテンプレート画像を設定しても良い。
更に、実際の尿管１０内、尿管腎盂移行部５１ｃ、腎盂５１ａ内において内視鏡２によりそれぞれ得られる複数枚の内視鏡画像から、それぞれ輝度の平均的な内視鏡画像を作成して、尿管１０内、尿管腎盂移行部５１ｃ、腎盂５１ａ内のテンプレート画像を設定しても良い。
画像設定部４４ｄは、このように設定された３種類のテンプレート画像を予め格納する画像格納部を備え、画像設定部４４ｄは、テンプレート画像を画像格納部から読み出し、テンプレート画像を設定する。なお、画像格納部をメモリ４４ｆにより形成しても良い。

図１１の処理が開始すると、ステップＳ４１及びＳ４２において特徴量比較部４４（の前処理部又は類似度算出部４４ｅ）は、ノイズ除去とハレーション除去とを行う。ステップＳ４１及びＳ４２の処理は、図７ＡのステップＳ２１，Ｓ２２と同様の処理である。
次のステップＳ４３において制御部４３は、テンプレート画像（又はテンプレートマッチング）のパラメータｋを初期値０に設定する。なお、パラメータｋは、０が尿管１０、１が尿管腎盂移行部５１ｃ、２が腎盂５１ａに対応して設定される。
次のステップＳ４４において特徴量比較部４４（の画像設定部４４ｄ）は、パラメータｋに対応して３種類のテンプレート画像の設定を行う。つまり、画像設定部４４ｄは、このパラメータｋ＝０に対応した尿管１０のテンプレート画像、ｋ＝１の尿管腎盂移行部５１ｃのテンプレート画像、ｋ＝１の腎盂のテンプレート画像を設定（用意）する。
次のステップＳ４５において類似度算出部４４ｅは、内視鏡２により得られた内視鏡画像と、テンプレート画像との類似度Ｓikを算出するテンプレートマッチングを行う。また、次のステップＳ４６において類似度算出部４４ｅは、パラメータｋが２であるかを判定し、パラメータｋが２でない場合には、次のステップＳ４７おいて類似度算出部４４ｅは、パラメータｋを１つ大きくしてステップＳ４４の処理に戻る。

ステップＳ４４〜Ｓ４７のループの処理により、フレーム番号ｉの内視鏡画像と３種類のテンプレート画像との類似度Ｓikが算出されることになる。
本実施形態においては、内視鏡画像とテンプレート画像との類似度Ｓikを、以下の式１により算出する。
Ｓik＝ΣxΣy（ｆi(x,y)−ｔk(x,y)）^２ （１）
ここで、ｆi(x,y)は、フレーム番号ｉで、座標(x,y)の２次元内視鏡画像（の画素値）、ｔk(x,y)は、パラメータｋにおける座標（ｘ、ｙ）の２次元テンプレート画像（の画素値）を表す。また、ΣxとΣyは、２次元内視鏡画像及び２次元テンプレート画像におけるｘ座標とｙ座標の範囲内において加算することを表す。
式１から分かるように類似度Ｓikは、その値が小さい程、類似していることを示す。Ｓikを類似指数と定義し、類似指数Ｓikが小さい値ほど、類似度が大きい（高い）と表現しても良い。
ステップＳ４６においてパラメータｋが２の場合には、ステップＳ４８の処理に進む。

ステップＳ４８において類似度算出部４４ｅは、算出した３つの類似度Ｓikの値が、最小となる（最も類似している）テンプレート画像を選択して、その内視鏡画像ｆｉのシーンを設定し、例えば類似度算出部４４ｅ内のメモリ４４ｆに記録する。

例えば、最初のフレーム番号ｉ（ｉ＝１）の内視鏡画像ｆ１の場合には、内視鏡２の先端部１５が尿管１０内に存在した場合には、尿管１０に対して用意されたテンプレート画像ｔ０との類似度の値が最も小さくなる。そして、内視鏡画像ｆ１のシーンは、尿管１０内を観察するシーンＳｃ（尿管）として設定（判定）され、メモリ４４ｆにｆ１：Ｓｃ（尿管）を記録する。なお、ｆ１：シーンＳｃ（尿管）は、メモリ４４ｆがフレーム番号１の内視鏡画像ｆ１と、判定されたシーンＳｃ（尿管）とを対応付けて記録することを示す。
次のステップＳ４９において類似度算出部４４ｅは、メモリ４４ｆに尿管１０、尿管腎盂移行部５１ｃ、腎盂５１ａの順に検出された履歴情報（基準履歴情報と言う）が在るか否かを判定する。現時点では、そのような履歴情報が存在しないので、ステップＳ７の処理に移り、フレーム番号ｉを１つ大きくしてステップＳ２の処理に戻る。
このようにして、時間的に後のフレーム番号ｉの内視鏡画像ｆｉに対して同様の処理が繰り返される。そして、内視鏡２の先端部１５が尿管腎盂移行部５１ｃ内に達すると、その場合の内視鏡画像と尿管腎盂移行部５１ｃのテンプレート画像ｔ１との類似度の値が最小となる。そして、ステップＳ４８においてメモリ４４ｆには、ｆｉ：シーンＳｃ（尿管腎盂移行部）が記録される。また、この場合においても、次のステップＳ４９において基準履歴情報でないと判定され、ステップＳ７の処理に移る。

このようにして、時間的に後のフレーム番号ｉの内視鏡画像ｆｉに対して同様の処理が繰り返される。そして、内視鏡２の先端部１５が腎盂５１ａ内に達すると、その場合の内視鏡画像ｆｉと腎盂５１ａのテンプレート画像ｔ２との類似度の値が最小となる。そして、ステップＳ４８においてメモリ４４ｆには、ｆｉ：シーンＳｃ（腎盂）が記録される。

この場合のメモリ４４ｆに格納された履歴情報の例を図１５に示す。メモリ４４ｆには、フレーム番号ｉが付けられた内視鏡画像ｆｉと共に、類似度算出により算出（設定、又は判定）されたシーンＳｃ（Ｌ）が順次記録される。ここで、Ｌは、尿管、尿管腎盂移行部、腎盂の情報を表す。内視鏡２の先端部１５が尿管１０からその深部側に挿入され、腎盂５１ａ内に達すると、図１５に示すように時間的に尿管、尿管腎盂移行部、腎盂の順序のシーンＳｃ（Ｌ）の情報が記録される。
このような記録状態になると、ステップＳ４９において類似度算出部４４ｅは、メモリ４４ｆに記録された履歴情報から、尿管、尿管腎盂移行部、腎盂の順に検出されたと判定し、判定信号をトリガ信号生成部４５に出力し、ステップＳ５０の処理に進む。

ステップＳ５０においてトリガ信号生成部４５は、パラメータｊを０から１にして、トリガ信号を発生する。そして、図４の処理に進み、３次元形状画像の生成が開始する。
なお、類似度Ｓikとして式１に示した式の代わりに、以下の式２に示す正規化相互相関Ｔikを利用しても良い。
Ｔik＝ΣxΣy｛（ｆi(x,y)−<ｆi>）（ｔk(x,y)−<ｔk>）｝/Ｕ （２）
Ｕ＝（ΣxΣy（ｆi(x,y)−<ｆi>）^２（ｔk(x,y)−<ｔk>）^２）^１／２
なお、<ｆi>、<ｔk>は、それぞれｆi、ｔkの平均値を表す。
また、テンプレートマッチングは、内視鏡画像とテンプレート画像とがほぼ一致した画像でないと、類似度が小さくならない為、観察方向が変化すると、検出（判定）の精度が低下する。精度の低下を防止するために、例えば、図１２Ｂの内視鏡画像を尿管１０の場合のテンプレート画像にする場合、点線で示すように特徴部分を切り出した、切り出し画像をテンプレート画像に設定しても良い。他のテンプレート画像に対しても同様に適用しても良い。

また、尿管１０、尿管腎盂移行部５１ｃ、腎盂５１ａの場合の各テンプレート画像として、それぞれを画像の中心の回りで回転した複数のテンプレート画像を用意するようにしても良い。この場合には、類似度を算出する場合の演算量が増大するため、内視鏡画像及びテンプレート画像として、画素数を縮小した縮小画像を利用するようにしても良い。
また、類似度を算出する場合に用いるレンプレート画像として、実際の腎臓の観察画像を複数枚用いて、その画像を教師データとしてニューラルネットワークを構築して、尿管、尿管腎盂移行部、腎盂を検出するようにしてもよい。
上述した第１及び第２の実施形態は、内視鏡２を尿管１０から腎臓の腎盂側に挿入する場合を説明したが、内視鏡２を口から肺内に挿入する場合にも適用できることを以下に説明する。
内視鏡２の先端部１５を口から肺に挿入した場合、撮像される画像は、図１６Ａの咽頭、図１６Ｂの器管支，図１６Ｃの左右の主気管支の分岐部の順番の内視鏡画像となる。なお、図１６Ａ、図１６Ｂ，図１６Ｃは、それぞれ概略図を示し、より具体的な画像は、図１７Ａ、図１７Ｂ又は図１７Ｃ，図１７Ｄとなる。

内視鏡２の先端部１５が図１７Ａの咽頭を通過した後は、気管支の細い管腔が続き、その場合の内視鏡画像は図１７Ｂ又は図１７Ｃのような画像となる。その後、内視鏡画像における輝度が均一に近い状態となる、図１７Ｄに示すような左右の主気管支の分岐部が観察される（なお、左右の主気管支の分岐部は、管腔は腎盂のように広がらないが、左右に細い気管支が分かれ、分岐の壁を観察する為、輝度が均一に近い状態となる）。
気管支は、尿管１０の場合と同様に細い管腔構造となり、図１７Ｂ又は図１７Ｃに示すように中心側が暗くなる内視鏡画像となる。また、内視鏡２の先端部１５が気管支の深部側（奥に）に挿入されると、図１７Ｄに示すように輝度が均一に近い状態の左右の主気管支の分岐部が現れる内視鏡画像となる。そして、例えば、左右の主気管支の分岐部が現れる内視鏡画像を、輝度情報から検出（判定）したり、テンプレート画像を用いた類似度を算出して検出（判定）したりすることができる。
よって、上述した腎臓の観察の場合と同様に、第１の実施形態、第２の実施形態を適用して、（気管支の観察支援をするための）気管支の３次元形状画像（３次元モデル画像）の構築を自動的に開始させる処理を内視鏡画像から同様に行うことができる。

（第３の実施形態）
次に本発明の第３の実施形態を説明する。腎臓内等に内視鏡２を挿入する場合、円滑に挿入するための挿入補助具としてのアクセスシースを採用する場合がある。本実施形態においては、アクセスシースを採用した場合の実施形態である。
図１８Ａは、尿管１０内に留置したアクセスシース６１を示し、アクセスシース６１の先端は、尿管腎盂移行部５１ｃの手前あたりに配置される。そして、アクセスシース６１内に挿入した内視鏡２より、アクセスシース６１の先端を、内視鏡画像から検出することにより、尿管１０における腎盂尿管移行部の手前を検出することができる。なお、アクセスシース６１は、例えば後述する図２５Ａの拡大図に示すように先端部６１ａが、その他の部分（樹脂）と異なる金属により構成され、その色も異なる。
挿入補助具としてのアクセスシース６１は、内視鏡２の挿入部１１の外径よりも大きい内径の管路を有する。また、アクセスシース６１の基端の挿入口６１ｂ（図２５Ａ参照）から内視鏡２の挿入部１１の先端部１５を挿入可能である。挿入された内視鏡２の先端部１５をアクセスシース６１の先端部６１ａ（図２５Ａ参照）の先端の突出口から外部に突出させることができる。

図１８Ａに示すように、アクセスシース６１の先端付近に内視鏡２の先端部１５を挿入した場合、図１８Ｂの概略図に示すようにアクセスシース６１の先端内部画像Ｉ６１ａと、その内側の尿管内壁画像（尿管内部画像）Ｉ１０とを観察する状態となる。なお、先端内部画像Ｉ６１ａの外側は、アクセスシース６１の内壁画像Ｉ６１となり、先端部１５がアクセスシース６１の先端部内に位置すると、内壁画像Ｉ６１は無くなり、先端内部画像Ｉ６１ａと、尿管内壁画像Ｉ１０となる。
図１８Ｂに対応した実際に得られる内視鏡画像は、図１８Ｃのようになる。アクセスシース６１の内壁画像Ｉ６１と、アクセスシース６１の先端内部画像Ｉ６１ａと、その内側の尿管内壁画像Ｉ１０の色とが異なることから、先端内部画像Ｉ６１ａと尿管内壁画像Ｉ１０との境界を内視鏡画像から検出することができる。
また、図１８Ｂ及び図１８Ｃに示すようにアクセスシース６１の先端内部画像Ｉ６１ａとその内側の尿管内壁画像Ｉ１０との境界は、円又は楕円となるので、その境界を形状から検出することもできる。

本実施形態においては、上記境界を検出した場合には判定信号を発生し、内視鏡画像から３次元形状画像の構築を開始するトリガ信号を発生する。また、本実施形態においては、境界を検出（判定）するために、例えば図１８Ｄに示す色度図を利用する。
図１９は、本実施形態における特徴量比較部４４の構成を示す。本実施形態は、図１及び図２と同様の構成であり、図２における特徴量比較部４４のより詳細な構成が第１の実施形態の場合と異なるのみの構成となる。
図１９に示すように特徴量比較部４４は、色度図上の処理を行う色度図処理部４４ｇと、先端内部画像Ｉ６１ａとその内側の尿管内壁画像Ｉ１０との円又は楕円の境界を検出するための円形ハフ変換等の処理を行う境界処理部４４ｈとを有する。また、境界処理部４４ｈは、円形ハフ変換を行う円形ハフ変換処理部を含む。
術者は、入力装置３８から色度図処理部４４ｇを用いてトリガ信号を発生させる場合と、境界処理部４４ｈを用いてトリガ信号を発生させる場合とを選択することができる。

図２０Ａは、本実施形態における色度図処理部４４ｇを用いてトリガ信号を生成するための比較又は判定を行う処理を示す。
ステップＳ５１及びＳ５２において特徴量比較部４４（の前処理部又は）は、ステップＳ４１及びＳ４２の場合と同様に、内視鏡画像のノイズ除去の処理とハレーションの除去の処理を行う。
次のステップＳ５３において特徴量比較部４４（の色度図処理部４４ｇ）は、内視鏡画像の各画素を、図１８Ｄに示す色度図にプロットする。
内視鏡２の先端部１５が挿入された位置が図１８Ａに示す位置よりも浅い場合には、内視鏡画像の色度図上の位置は、アクセスシース６１の内壁画像Ｉ６１の色に対応した位置となる。
そして、内視鏡２の先端部１５が図１８Ａ又はこれに近い位置まで挿入されると、その場合の内視鏡画像は図１８Ｃに近い画像となり、色度図上においては、先端内部画像Ｉ６１ａの色が複数プロットされる。なお、図１８Ｄにおいて、先端内部画像Ｉ６１ａの所定の色の領域をＣ６１ａで示している。

次のステップＳ５４において特徴量比較部４４（の色度図処理部４４ｇ）は、プロットした位置（色）が所定の色の領域Ｃ６１ａ内に所定数以上存在するかを判定する。所定数以上存在しない場合には、ステップＳ７に移り、フレーム番号を１つ増加する。
一方、ステップＳ５４の判定処理において所定の色の領域Ｃ６１ａ内に所定数以上、プロットされた位置が存在する判定結果の場合には、特徴量比較部４４（の色度図処理部４４ｇ）は、トリガ信号を発生させる判定信号をトリガ信号生成部４５に出力する。
次のステップＳ８においてトリガ信号生成部４５はトリガ信号を発生する。そして、図２に示す３次元モデル画像生成部４１ａは、３次元形状画像の構築を開始する。
なお、ステップＳ５４の判定処理として、更に色度図上において尿管内壁画像Ｉ１０又は尿管腎盂移行部５１ｃの画像の色の領域Ｃ１０（図１８Ｄの色度図において示す）に、所定数以上、プロットされた位置が存在する条件を追加しても良い。
先端部１５がアクセスシース６１の先端部６１ａに近い位置になると、円形の領域のサイズが大きくなり、その内側の尿管内壁画像Ｉ１０又は尿管腎盂移行部５１ｃの画像の内視鏡画像に占める割合も大きくなる。そのため、そのような画像の色度図上でプロットされた色も考慮してステップＳ５４の判定を行うようにしても良い。

次に図２０Ｂを参照してアクセスシース先端内部と尿管との境界が、ほぼ円形を示すことを利用し、境界処理部４４ｈによる円形ハフ変換により境界を検出する場合の処理を説明する。
図２０Ｂに示す処理は、図２０ＡにおけるステップＳ５３とＳ５４とを、ステップＳ６１〜Ｓ６４に変更した処理となる。
ステップＳ５２の処理のステップＳ６１において特徴量比較部４４（の境界処理部４４ｈ）は、内視鏡画像内のエッジ抽出を行う。特徴量比較部４４（の境界処理部４４ｈ）は、例えば、内視鏡画像を形成するＲＧＢ画像におけるグリーン画像（Ｇ画像）を用いてCannyオペレータによるＧ画像内のエッジ成分を抽出する。
次のステップＳ６２において特徴量比較部４４（の境界処理部４４ｈ）は、内視鏡画像の輝度を２値化する処理を行う。より具体的には、特徴量比較部４４（の境界処理部４４ｈ）は、内視鏡画像におけるＧ画像を用いて内視鏡画像の濃度値ヒストグラムを作成し、更に２値化の閾値を設定し、内視鏡画像を２値化する（p-タイル法等を用いる）。

次のステップＳ６３において特徴量比較部４４（の境界処理部４４ｈ）は、尿管１０内の２値化部分を削除する。より具体的には、特徴量比較部４４（の境界処理部４４ｈ）は、内視鏡画像内の尿管画像領域を検出し、尿管画像領域内の２値化部分を削除する。
次のステップＳ６４において特徴量比較部４４（の境界処理部４４ｈ）は、円形ハフ変換による２値化したエッジの各画素をパラメータ空間に投票する。
次のステップＳ６５において特徴量比較部４４（の境界処理部４４ｈ）は、円形を抽出する処理を行う。より具体的には、特徴量比較部４４（の境界処理部４４ｈ）は、パラメータ空間での投票度数が最大となる位置を検出する。
次のステップＳ６６において特徴量比較部４４（の境界処理部４４ｈ）は、アクセスシース６１の先端部６１ａの有無を判定する。より具体的には、特徴量比較部４４（の境界処理部４４ｈ）は、ステップＳ６５で検出された投票度数が特定の閾値以上かを判定し、閾値未満である場合には、内視鏡２の先端部１５がアクセスシース６１の先端部６１ａ付近に存在しない状態の内視鏡画像であると判定する。この判定結果の場合には、ステップＳ７の処理に進む。

一方、特徴量比較部４４（の境界処理部４４ｈ）は、投票度数が特定の閾値以上である場合には、内視鏡２の先端部１５がアクセスシース６１の先端部６１ａ付近に存在する状態の内視鏡画像であると判定する。この判定結果の場合にはステップＳ８の処理に移る。

本実施形態によれば、アクセスシース６１を採用した場合、内視鏡画像からアクセスシース６１の先端部６１ａを検出することにより、トリガ信号を発生して、３次元形状画像の構築を自動的に開始させることができる。
また、本実施形態においては、アクセスシース６１の先端部６１ａを留置する位置の設定（調整）により、３次元形状画像の構築を開始させる位置を調整することができる。

（第４の実施形態）
次に本発明の第４の実施形態を説明する。本実施形態は、腎盂５１ａ、腎杯５１ｂ内における特定の構造を検出した場合、トリガ信号を発生して、３次元形状画像の構築を開始する。
本実施形態は、図２１に示すように特徴量比較部４４は、特定の構造を検出する構造検出部４４ｉを有する。構造検出部４４ｉは、検出対象に設定される特定の構造を有する基準画像の特徴を格納するメモリ４４ｊを有する。
構造検出部４４ｉは、内視鏡２による取得される内視鏡画像が特定の構造を有するか否かを検出（判定）し、特定の構造を有することを検出した場合、判定信号をトリガ信号生成部に出力する。そして、３次元形状画像の構築が開始する。
なお、メモリ４４ｊは、特定の構造を有する複数種類の基準画像の特徴を格納でき、術者は、検出対象とする特定の構造を選択（設定）できる。つまり、術者は、複数種類の基準画像の特徴から１つの基準画像の特徴を選択することにより、選択された基準画像の特徴（特定の構造）に相当する検出結果の位置から３次元形状画像の構築を開始させる選択を行うことができる。

図２２Ａと、図２２Ｂ又は図２２Ｃは、特定の構造を有する基準画像の例を示す。図２２Ａは、腎盂５１ａから腎杯５１ｂの入口が観察される分岐構造を有する基準画像を示す。図２２Ａのように腎盂５１ａ内において、その画像内に複数の矢印で示すように腎杯５１ｂの入口を表す、くぼんで奥が暗くなる構造（部分）Ｓｔ１が存在している。そして、構造検出部４４ｉは、このような腎杯５１ｂの入口を示す構造を１つ又は複数の分岐構造を検出した場合に、判定信号を発生し、３次元形状画像の構築が開始するようにする。
また、図２２Ｂ又は図２２Ｃは、上腎杯における腎乳頭を特定の色を有すると共に、***した形状となる特定の構造を有する基準画像を示す。内視鏡２を腎杯５１ｂ内に挿入し、図２２Ｂ又は図２２Ｃに示すように白色に近い周辺の色に対して、矢印で示すように肌色に近い色を有し、***した形状を有する腎乳頭の構造Ｓｔ２，Ｓｔ３を検出した場合に、構造検出部４４ｉは、判定信号を発生し、３次元形状画像の構築が開始するようにする。その他の構成は、第１の実施形態と同様の構成である。
図２３は、本実施形態におけるトリガ信号を生成するための処理のフローチャートを示す。この処理は、例えば図２０Ａにおいて、ステップＳ５３，Ｓ５４の処理をステップＳ７１，Ｓ７２に置換した処理となる。

ステップＳ７１において構造検出部４４ｉは、メモリ４４ｊに格納された検出対象の基準画像の特定の構造を参照して、内視鏡２による取得される内視鏡画像が特定の構造を有するか否かを検出する。
次のステップＳ７２において構造検出部４４ｉは、内視鏡画像が特定の構造を、予め設定された閾値以上の割合で特定の構造を有するか否かを判定する。閾値未満の割合で特定の構造を検出した場合には、ステップＳ７の処理に移り、閾値以上の割合で特定の構造を検出した場合にはステップＳ８の処理に進む。
本実施形態によれば、特定の構造を検出した場合に、自動的に３次元形状画像（３次元モデル画像）の構築（生成）を開始することができる。
また、複数種類の特定の構造を用意することにより、３次元形状画像を構築する位置を選択することができる。

（第５の実施形態）
次に本発明の第５の実施形態を説明する。本実施形態は、上述した第１〜第４の実施形態のいずれかの実施形態において、トリガ信号生成部４５又は動作検知部４７が、キャリブレーションを行うキャリブレーション処理部４５ａを有する。図２４Ａは、トリガ信号生成部４５がキャリブレーション処理部４５ａを有する例を示す。
また、本実施形態においては、術者は、入力装置３８から上述した実施形態の処理を行う場合と、キャリブレーション処理部４５ａによる処理に基づいてトリガ信号を生成する場合との一方を選択することができる。上述した実施形態の処理を選択した場合には、上述した実施形態と同様の処理となり、説明済みの動作となる。そのために、以下ではキャリブレーション処理部４５ａを選択した場合の処理等を説明する。
腎臓は呼吸によって移動する為、精度の高い観察支援を実現するためには呼吸による腎臓の動きを考慮する必要がある。例えば、呼吸の動きによる内視鏡２の先端部１５の位置を補正しない場合には、内視鏡２の先端部１５の位置に基づく３次元形状画像（３次元モデル画像）を構築する場合の精度と、表示した場合の精度も低下する。また、モニタ８に表示される腎盂・腎杯形状に対して内視鏡先端が実際と異なる位置に表示される。

このため、本実施形態においては、キャリブレーション処理部４５ａは、呼吸による腎臓の動きを検出して、内視鏡２の先端部１５の位置を補正するキャリブレーションの処理を行う。そして、キャリブレーションが完了した場合には、３次元形状画像の構築を開始する。
図２４Ｂは、本実施形態の処理を示す。図２４に示す処理は、図４の処理と類似しているので、異なる部分のみ説明する。ステップＳ１として、初期化を行う。ここではパラメータｊのみ用い、初期値ｊ＝０に設定し、ステップＳ２の処理に進む。ステップＳ２においてパラメータｊが１でない場合には、ステップＳ８１の処理に進み、ステップＳ８１においてキャリブレーション処理部４５ａは、キャリブレーションの処理を行う。
キャリブレーション処理部４５ａは、腎臓内に挿入した内視鏡２の先端部１５を、腎臓の動きに合わせて動かすことにより、先端部１５の位置の動きを、腎臓の動きとして先端部１５の位置を求めても良い。

キャリブレーション処理部４５ａは、腎臓内に内視鏡２の先端部１５が挿入された状態で、呼吸による腎臓の動きの変動量に基づいて、呼吸による先端部１５の位置を推定する先端の位置データの推定又は取得の処理を行う。
このような推定を行うことが可能な補正のデータ取得が完了した状態になると、キャリブレーション処理部４５ａは、キャリブレーションが完了し、完了を通知する判定信号又はトリガ信号を出力する。なお、キャリブレーション処理部４５ａがトリガ信号生成部４５の外部に設けられている場合には、キャリブレーション処理部４５ａがトリガ信号生成部４５にトリガ信号を発生させる判定信号を出力する。
ステップＳ８１の次のステップＳ８２においてキャリブレーション処理部４５ａは、キャリブレーションが完了したか（換言すると、補正のデータ取得が完了したか）を判定する。キャリブレーションが完了していない場合には、ステップＳ８１の処理に戻る。
一方、キャリブレーションが完了した場合には、ステップＳ８に進み、ステップＳ８の処理後にステップＳ４に進む。ステップＳ４以降は、図４と同様の処理を行う。但し、ステップＳ１１において、終了でない場合にはステップＳ４の処理に戻る。また、ステップＳ４において、先端部１５の位置の情報を取り込んだ際に、上記のように呼吸による変動量を補正した位置の情報を取得して、ステップＳ９の処理を行う。
本実施形態によれば、キャリブレーションの完了後に、トリガ信号を発生して、自動的に３次元形状画像の構築を開始できる。また、呼吸による先端部１５の位置が変動した場合の影響を低減した３次元形状画像の構築ができる。

（第６の実施形態）
次に本発明の第６の実施形態を説明する。本実施形態は、上述した第１〜第５の実施形態のいずれかの実施形態において、磁界検出部４６が、磁界変化を検出した場合に判定信号をトリガ信号生成部４５に出力し、３次元モデル画像生成部４１ａは、３次元形状画像の構築を開始する。入力装置３８から磁界検出部４６を用いない選択を行った場合には、上述した第１〜第５の実施形態のいずれかの動作となる。このため以下では、入力装置３８から磁界検出部４６を用いる選択を行った場合を説明する。
内視鏡２の先端部１５がアクセスシース６１の先端部６１ａ付近の位置を通過したような場合における、先端部内センサ３４から出力される磁界の検出信号から磁界検出部４６が磁界の変化量を検出して、トリガ信号を発生させる判定信号を発生する。
図２５Ａは、図１８Ａと同様の図であり、内視鏡２の先端部１５及びその周囲のアクセスシース６１の先端部６１ａの付近を拡大図により拡大して示す。拡大図からのハッチングから分かるように、アクセスシース６１の先端部６１ａは、導電性を有する金属で構成され、先端部６１ａ以外は樹脂等の非金属部材（又は絶縁製部材）で構成されている。以下に説明するようにアクセスシース６１の先端部６１ａが、アクセスシース６１におけるその他の部分と、磁界に対する特性が異なることを利用して、信号生成部を構成するトリガ信号生成部４５は、トリガ信号を発生（生成）する。

図２５Ｂは、図２５Ａの状態で取得される内視鏡画像の概略図を示し、図１８Ｂと同様の図となる。
図２５Ｃは、図２５Ａにおいて、更に内視鏡２の先端部１５がアクセスシース６１の先端部６１ａ内にまで挿入された状態を示す。
図２５Ｃにおける円形部分の拡大図に示すように、先端部１５内には先端部内センサ３４を形成するセンスコイル３４ａ〜３４ｃが配置されている。また、患者９の外部に配置されるアンテナ７を構成するソースコイル７ａには、交流電流が印加され、このソースコイル７ａは、その周囲に（交流）磁界を発生する。なお、先端部１５の位置の検出精度を向上するために、複数のソースコイルが採用されている。
図２５Ｄは、ソースコイル７ａが発生する磁界と、その磁界を検出するセンスコイル３４ａを示す（センスコイル３４ｂ，３４ｃは、センスコイル３４ａの場合と同様に作用する）。
図２５Ｄに示すように、ソースコイル７ａには時間的に変化する電流が流れ、時間的に変化する磁界Ｈが発生する。ソースコイル７ａが発生した磁界Ｈ内にセンスコイル３４ａを配置した場合、電磁誘導によりセンスコイル３４ａに電流が流れる。

また、ソースコイル７ａが発生した磁界Ｈ内にアクセスシース６１の先端部６１ａのような金属Ｍを配置した場合、磁束が金属Ｍを貫き、磁束の周りに渦電流Ｃｅが流れる。渦電流Ｃｅが流れると金属Ｍを貫いた磁束と逆方向に磁界が発生する。
そのため、金属Ｍの近傍にセンスコイル３４ａが配置されていると、センスコイル３４ａは、渦電流Ｃｅによって発生した磁界とソースコイル７ａが発生した磁界Ｈの合成された磁界を検出することになり、金属Ｍの有無によってセンスコイル３４ａが検出する出力が変化する。
内視鏡２の先端部１５がアクセスシース６１の先端部６１ａ内に存在した場合、又は先端部６１ａを通過した場合、アクセスシース６１の先端部６１ａを境にセンスコイル３４ａの出力が変動する。
従って、磁界検出部４６が変動する出力を検出することにより、内視鏡２の先端部１５がアクセスシース６１の先端部６１ａを通過したことを判定することができる。

図２６Ａは、この場合の処理を示す。図２６Ａの処理は、図２４においてステップＳ８１及びＳ８２の処理が異なる。ステップＳ２においてパラメータｊが１でない判定結果の場合には、ステップＳ８５において磁界検出部４６は、先端部内センサ３４が出力する検出信号の時間的変化量Ｄｔをモニタする。次のステップＳ８６において磁界検出部４６は、検出信号の時間的変化量Ｄｔの絶対値が、閾値Ｄｔｈ以上であるか否かを判定し、閾値Ｄｔｈ未満の場合には、ステップＳ８５の処理に戻る。なお、閾値Ｄｔｈは、正の値である（Ｄｔｈ＞０）。

一方、検出信号の時間的変化量Ｄｔの絶対値が、閾値Ｄｔｈ以上の場合には、磁界検出部４６は、判定信号をトリガ信号生成部４５に出力してステップＳ８に進む。ステップＳ８において、トリガ信号生成部４５は、トリガ信号を発生し、このステップＳ８の処理後、ステップＳ４の処理に移る。なお、ステップＳ４，Ｓ９〜Ｓ１２は、図４における処理と同様である。
本実施形態によれば、先端部１５がアクセスシース６１の先端部６１ａを通過した際の磁界変化量を検出した場合にトリガ信号を発生し、自動的に３次元形状画像の構築を開始できる。

なお、先端部１５がアクセスシース６１の先端部６１ａを通過した際の磁界変化量を検出した場合にトリガ信号を発生させる場合の他に、以下の場合においてトリガ信号を発生させるようにしても良い。
先端部１５がアクセスシース６１の先端部６１ａに近づき、先端部６１ａ内（先端部６１ａの内側）に入った際の磁界変化量を磁界検出部４６が検出した判定信号に基づいて、トリガ信号を発生させるようにしても良い。
換言すると、内視鏡２の先端部１５がアクセスシース６１の先端部６１ａのような所定の位置にあることを（磁界検出部４６が）検知した場合、トリガ信号生成部４５が３次元モデル画像の生成を開始するトリガ信号を生成するようにしても良い。
このように磁界検出部４６が内視鏡２の先端部１５内に配置され、先端部１５の位置を検出する先端部内センサ３４により検出される検出信号から内視鏡２の先端部１５周辺の磁界変化を検出し、検出結果の判定信号をトリガ信号生成部４５に出力する。

トリガ信号生成部４５は、磁界検出部４６の検出結果に基づいて、先端部１５が所定の位置としてのアクセスシース６１の先端部６１ａの位置にあることを検知してトリガ信号を発生し、３次元モデル画像生成部４１ａ又は制御部４３に出力する。３次元モデル画像生成部４１ａは、トリガ信号生成部４５からのトリガ信号により３次元モデル画像の生成を開始したり、又は制御部４３による制御下でトリガ信号に基づいて３次元モデル画像の生成を開始する。
トリガ信号生成部４５（及び磁界検出部４６）は、内視鏡２が所定の位置にあることを検知した場合のトリガ信号を生成する信号生成部をトリガ信号生成部４５が構成する。なお、トリガ信号生成部４５が磁界検出部４６を備える構成にしても良いし、逆に磁界検出部４６がトリガ信号生成部４５を備える構成にしても良い。そして、本実施形態は以下のような構成であるとも言える。

本実施形態の医療用観察システム１（例えば図１）は、３次元形状を有する被検体としての患者９の内部を観察する内視鏡２と、前記被検体の３次元モデル画像を構築する３次元モデル画像生成部４１ａと、前記内視鏡２（の先端部１５）がアクセスシース６１の先端部６１ａ等の所定の位置にあることを検知した場合、前記３次元モデル画像の生成を開始するトリガ信号を生成する信号生成部を形成するトリガ信号生成部４５と、前記３次元モデル画像生成部４１ａに対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記３次元モデル画像の生成を開始するよう制御する制御部４３と、を有することを特徴とする。
上記のように内視鏡２の先端部１５アクセスシース６１の先端部６１ａ等の所定の位置にあることを検知（検出）した場合の他の場合にも、トリガ信号を発生させるようにしても良い。
例えば、磁界検出部４６が、先端部内センサ３４がアンテナ７の検出範囲に入った場合に、トリガ信号生成部４５からトリガ信号を発生させ、３次元モデル画像生成部４１ａが３次元形状画像の構築を開始するような構成にしても良い。

より具体的には、磁界検出部４６は、先端部内センサ３４の検出信号の信号レベルの絶対値が、信号レベルの閾値以上となる場合に、トリガ信号を発生するようにしても良い。換言すると、先端部内センサ３４の検出信号の信号レベルの絶対値が、信号レベルの閾値以上となる場合に所定の精度で先端部１５の位置を検出又は推定できるアンテナ７の検出範囲内に入ったと判定する。
また、一定時間間隔等において先端部１５の位置の推定から、動作検知部４７が先端部１５の移動速度を算出し、移動速度が閾値未満となった場合に、トリガ信号を発生し、３次元モデル画像生成部４１ａが３次元形状画像の構築を開始するような構成にしても良い。
また、第６の実施形態により、内視鏡２の先端部１５が所定の位置にあることを検知した場合、その時間から設定された時間、又は所定の位置から設定された距離遡って、３次元モデル画像生成部４１ａが３次元形状画像の構築を開始するようにしても良い。

その他に、動作検知部４７がユーザによる入力装置３８やフットスイッチの操作、内視鏡２の挿入の操作、例えば湾曲操作、内視鏡２を挿入した後の、後退させる操作を検知した場合に、トリガ信号生成部４５からトリガ信号を発生させ、３次元モデル画像生成部４１ａが３次元形状画像の構築を開始するような構成にしても良い。
また、内視鏡画像（撮像画像）における所定のパラメータの所定値以上の結果（又は変化結果）と、術者等のユーザによる内視鏡２の挿入動作の検知結果と、に基づいて、トリガ信号を生成するようにしても良い。
図２６Ｂは、この場合の処理の例を（第６の実施形態の第１変形例として）示す。図２６Ｂは、例えば図４の処理において、ステップＳ６において所定の特徴量（パラメータ）Ｃ（ｉ，ｊ）が閾値以上の場合には、ステップＳ６′の処理を行うフローチャートとなる。ステップＳ６′以外は、図４と同様の処理となる。
ステップＳ６′において、例えば動作検知部４７により形成される挿入動作検知部が、（所定の）挿入動作を検知したか否かを判定（検知）し、挿入動作を検知しない場合には、ステップＳ７に移る。一方、ステップＳ６′において、動作検知部４７により形成される挿入動作検知部が、挿入動作を検知した場合には、ステップＳ８に進み、トリガ信号を発生する。

動作検知部４７により形成される挿入動作検知部は、上述した内視鏡２による湾曲操作等でも良いし、先端部内センサ３４がアンテナ７の検出範囲に入った場合を、所定の挿入動作を検知した場合に設定しても良い。このように複数の判定結果（又は検知結果）に基づいて、トリガ信号を生成するようにしても良い。図２６Ｂでは、撮像画像と挿入動作の場合とを組み合わせた例を示しているが、撮像画像と図２６Ａの検出信号の時間的変化量等とを組み合わせても良い。
また、ユーザが入力装置３８から上述した実施形態及び変形例等を選択的に動作させる選択を行うことができる構成にしても良い。
図２７は、ユーザが入力装置３８から上述した実施形態及び変形例等を選択的に動作させることができる（第６の実施形態の第２変形例の）観察支援装置６Ｂを示す。
図２７の観察支援装置６Ｂは、特徴量比較部４４が第１の実施形態における輝度抽出回路４４ａ，比較回路４４ｂ，閾値設定部４４ｃ，から第４の実施形態における構造検出部４４ｉ、メモリ４４ｊまでを有する。また、トリガ信号生成部４５は、キャリブレーション処理部４５ａを有する。

特徴量比較部４４は、第１の実施形態の輝度抽出回路４４ａ，比較回路４４ｂ，閾値設定部４４ｃ，第２の実施形態の画像設定部４４ｄ、類似度算出部４４ｅ、第３の実施形態の色度図処理部４４ｇ、境界処理部４４ｈ、第４の実施形態の構造検出部４４ｉ、メモリ４４ｊを有する。また、トリガ信号生成部４５は、第５の実施形態で説明したキャリブレーション処理部４５ａを有する。
そして、ユーザは、入力装置３８から第１の実施形態の輝度抽出回路４４ａ，比較回路４４ｂ，閾値設定部４４ｃ〜第４の実施形態の構造検出部４４ｉ、メモリ４４ｊまでの１つの実施形態を選択して、３次元形状画像の構築を開始させる構成を選択できる。
また、その他に、入力装置３８からキャリブレーション処理部４５ａを選択したり、磁界検出部４６を選択する等して、上述した第６の実施形態等の処理や動作を行うようにすることもできる。図２７の観察支援装置６Ｂを用いた場合には、３次元形状画像の構築を開始させる場合において、ユーザの選択肢が増え、操作性の良い医療用観察システムを実現できる。
なお、上述した実施形態等を部分的に組み合わせて異なる実施形態等を構成しても良い。

本出願は、２０１６年６月７日に日本国に出願された特願２０１６−１１３７７７号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

本発明の一態様の医療用観察システムは、撮像部と、被検体内に挿通され、所定の臓器まで挿通可能な挿入部と、を有する内視鏡と、トリガ信号が入力されることで、前記トリガ信号が入力された後に前記撮像部により出力された撮像画像に基づいて、前記被検体の立体形状を表す３次元形状画像の生成を開始し、かつ前記内視鏡により撮像される領域の変化に応じて前記立体形状の構築領域を増加する３次元モデル画像生成部と、前記３次元形状画像の生成を開始させるための前記トリガ信号を入力する信号生成部と、前記挿入部が前記所定の臓器まで到達しているかどうかを判定し、前記挿入部が前記所定の臓器まで到達していないと判断された場合は、前記信号生成部に前記トリガ信号を入力させず、かつ前記挿入部が前記所定の臓器まで到達したと判断された場合は、前記信号生成部に前記トリガ信号を入力させる制御を行う制御部と、を有する。

本発明の一態様の医療用観察システムは、撮像部と、被検体内の所定の臓器まで挿通可能な挿入部と、を有する内視鏡と、前記挿入部の先端部に配置されたセンサから当該先端部の３次元位置及び姿勢を推定する位置姿勢推定部と、前記撮像部において撮像された内視鏡画像の輝度情報として、１フレーム分の内視鏡画像の平均値、１フレーム分の内視鏡画像の分割領域の平均値または前記内視鏡画像上に設定した所定ラインに沿った分割領域の平均値から選択的に特徴量として算出可能な特徴量比較部と、前記特徴量比較部が算出した特徴量に基づいてトリガ信号を出力する信号生成部と、前記信号生成部から前記トリガ信号の入力に基づいて、前記位置姿勢推定部により推定された位置及び姿勢情報と前記内視鏡画像とを用いて前記被検体における前記所定の臓器の立体形状を表す３次元形状画像の構築を開始し、前記３次元形状画像の構築を開始した位置から前記内視鏡の移動に基づき撮像した内視鏡画像に対応した３次元形状画像を構築する３次元形状画像生成部と、を有する。

Claims (13)

1. ３次元形状を有する被検体の内部を撮像する撮像部を有する内視鏡と、
   前記撮像部により出力された撮像画像に基づいて、前記被検体の３次元モデル画像を構築する３次元モデル画像生成部と、
   前記撮像画像における所定のパラメータに基づいて、前記３次元モデル画像の生成を開始させるためのトリガ信号を生成する信号生成部と、
   前記３次元モデル画像生成部に対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記３次元モデル画像の生成を開始するよう制御する制御部と、
   を有することを特徴とする医療用観察システム。
2. 前記撮像画像における前記所定のパラメータを特徴量として所定の閾値と比較する特徴量比較部をさらに備え、
   前記信号生成部は、前記特徴量比較部による比較結果に基づいて、前記トリガ信号を生成することを特徴とする請求項１に記載の医療用観察システム。
3. 前記所定のパラメータは、輝度情報であることを特徴とする請求項１に記載の医療用観察システム。
4. 前記所定のパラメータは、前記撮像画像と、予め記憶されている参照画像と、の類似度であることを特徴とする請求項１に記載の医療用観察システム。
5. 術者による前記内視鏡の挿入動作を検知する挿入動作検知部を更に備え、
   前記信号生成部は、前記所定のパラメータが所定値以上変化し、かつ前記挿入動作検知部による検知結果に基づいて、前記トリガ信号を生成することを特徴とする請求項１に記載の医療用観察システム。
6. ３次元形状を有する被検体の内部を観察する内視鏡と、
   前記被検体の３次元モデル画像を構築する３次元モデル画像生成部と、
   前記内視鏡が所定の位置にあることを検知した場合、前記３次元モデル画像の生成を開始するトリガ信号を生成する信号生成部と、
   前記３次元モデル画像生成部に対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記３次元モデル画像の生成を開始するよう制御する制御部と、
   を有することを特徴とする医療用観察システム。
7. 前記内視鏡先端部周辺の磁界の変化を検出する磁界検出部をさらに備え、
   前記信号生成部は、前記磁界検出部による検出結果に基づいて、前記内視鏡が所定の位置にあることを検知して、前記トリガ信号を生成することを特徴とする請求項６に記載の医療用観察システム。
8. 前記内視鏡が挿入口から内部に挿入することが可能であると共に、前記挿入口から挿入された前記内視鏡の先端部を突出口から外部に突出させることが可能な管路として形成された挿入補助具を更に備え、
   前記磁界検出部は、前記内視鏡の先端部が前記挿入補助具における前記突出口から突出された際の磁界変化を検出することを特徴とする請求項７に記載の医療用観察システム。
9. 前記特徴量比較部は、前記撮像画像における前記特徴量として、前記撮像画像全体又は所定の方向に沿った前記撮像画像の領域を複数の分割領域に分割し、前記複数の分割領域それぞれの輝度平均値を算出し、更に前記輝度平均値の最大値と最小値との差分を算出する輝度算出回路を有し、
   前記差分が閾値以下の場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項２に記載の医療用観察システム。
10. 前記特徴量比較部は、前記内視鏡が挿入された前記被検体の内部における特定の位置においての前記撮像画像又は当該撮像画像に類似する画像を前記参照画像として予め記憶するメモリと、前記参照画像と実際に前記撮像部により撮像された前記撮像画像との類似度を算出する類似度算出部と、を有し、前記類似度算出部が十分に類似している比較結果の場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項２に記載の医療用観察システム。
11. 前記特徴量比較部は、前記内視鏡が挿入された前記被検体の内部における挿入口から該挿入口よりも深部側となる挿入経路に沿った少なくとも第１及び第２の特定の位置においての撮像画像又は当該撮像画像に類似する画像を、第１及び第２の参照画像として予め記憶するメモリと、前記第１及び第２の参照画像と実際に前記撮像部により撮像された前記撮像画像との類似度を算出する類似度算出部と、を有し、
    前記類似度算出部が前記撮像部による前記撮像画像が前記第１の参照画像と類似する比較結果を得た後に、前記撮像部による前記撮像画像が前記第２の参照画像と類似する比較結果を得た場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項２に記載の医療用観察システム。
12. 前記特徴量比較部は、前記内視鏡が挿入された前記被検体の内部における挿入口から該挿入口よりも深部側となる挿入経路に沿った第１、第２及び第３の特定の位置においての撮像画像又は当該撮像画像に類似する画像を、第１、第２及び第３の参照画像として予め記憶するメモリと、前記第１、第２及び第３の参照画像と実際に前記撮像部により撮像された前記撮像画像との類似度を算出する類似度算出部と、を有し、
    前記類似度算出部が前記撮像部による前記撮像画像が前記第１の参照画像と最も類似する第１の比較結果と、前記撮像部による前記撮像画像が前記第２の参照画像と最も類似する第２の比較結果とを順次得た後に、前記撮像部による前記撮像画像が前記第３の参照画像と最も類似する第３の比較結果を得た場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項２に記載の医療用観察システム。
13. 前記内視鏡が挿入口から内部に挿入することが可能であると共に、前記挿入口から挿入された前記内視鏡の先端部を突出口から外部に突出させることが可能な管路として形成され、前記突出口付近の内壁が他の内壁及び前記被検体内部の色と異なる色を有する挿入補助具を更に備え、
    前記特徴量比較部は、前記撮像部による前記撮像画像の各画素を色度図上にプロットする色度図処理部を有し、
    前記色度図処理部が色度図上にプロットされた各画素が前記突出口付近の内壁の色に相当する領域内に存在する数を所定数と比較し、所定数以上有る比較結果の場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項２に記載の医療用観察システム。

Images