JPWO2016039292A1

JPWO2016039292A1 - 内視鏡システム

Info

Publication number: JPWO2016039292A1
Application number: JP2016530258A
Authority: JP
Inventors: 美穂南里
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2014-09-11
Filing date: 2015-09-07
Publication date: 2017-04-27
Also published as: WO2016039292A1

Abstract

内視鏡システムは、所定の視点から被検体を見た被検体画像を生成する被検体画像生成部と、被検体画像上において互いに異なる２つの方向に対して同じ縮尺と、異なる縮尺を用いて、被検体上での異なる方向における長さを反映するための第１及び第２のスケール画像を生成するスケール画像生成部と、被検体画像に対して第１又は第２のスケール画像を選択的に重畳した重畳画像を生成する画像処理部と、を有する。

Description

本発明は、被検体の画像を表示する内視鏡システムに関する。

近年、内視鏡は、医療分野等において広く用いられるようになっている。また、内視鏡を用いて体内の臓器等を観察し、病変部等の部位が存在したような場合、その大きさを計測（又は取得）できるようにスケールを重畳するようにした装置がある。
例えば、第１の従来例としての日本国特開２００５−１１８１０７号公報は、広角画像と、この広角画像の一部を拡大する拡大画像とを表示すると共に、広角画像上に広角画像用座標スケールと、拡大画像上に拡大画像用座標スケールとを重畳して表示することにより、広角画像と拡大画像との倍率の把握を容易にできるようにしている。また、拡大画像の場合には、直交する２方向の座標スケールとして、それぞれの方向の拡大率に基づいた数値が付けられている。また、座標スケールとして、格子スケールや、同心円スケールを用いることが開示されている。
また、第２の従来例としての日本国特開２００７−９００６０号公報は、対象物の画像に対して、円周の目盛りとグリッドとを選択できるようにしている。

しかしながら、第１の従来例及び第２の従来例とも、表示される画像における各位置は、実質的に視点の位置からほぼ等距離に存在した場合のスケールの画像としてのスケール画像を表示する内容を開示している。
このため、病変部等の観察対象部位を、斜め方向から観察したような場合の画像を表示する場合のように、視点の位置から画像上の各位置に対応する（観察対象部位側の）各位置までの距離が変化するような場合において、上記の従来例を適用し、スケール画像により病変部等の大きさを計測した場合の大きさは、（画像上での縮尺が距離の変化を反映していない状態となるために）精度が低くなってしまう欠点がある。
本発明は上述した点に鑑みてなされたもので、病変部等の部位の大きさを精度良く計測することができる内視鏡システムを提供することを目的とする。

本発明の一態様の内視鏡システムは、所定の視点から被検体を見た被検体画像を生成するよう構成された被検体画像生成部と、前記被検体画像上において少なくとも互いに異なる２つの方向に対して同じ縮尺を用いて構成され、前記被検体画像上においての前記被検体上での異なる方向における長さを反映するための第１のスケール画像を生成するよう構成された第１のスケール画像生成部と、前記被検体画像上において少なくとも互いに異なる２つの方向に対して、互いに異なる縮尺を用いて構成され、前記被検体画像上においての前記被検体上における異なる方向における長さを反映する第２のスケール画像を生成するよう構成された第２のスケール画像生成部と、前記被検体画像に対して、前記第１のスケール画像若しくは前記第２のスケール画像を選択的に重畳した重畳画像を生成するよう構成された画像処理部と、を有する。

図１は本発明の第１の実施形態の内視鏡システムの全体構成を示す図。図２は図１における画像処理装置等の構成を示すブロック図。図３Ａは内視鏡画像上における異なる方向の縮尺が同じとなる同心円形状の第１のスケール画像を重畳した重畳画像を示す図。図３Ｂは内視鏡画像上おける互いに異なる２つの方向の縮尺が異なるグリッド形状の第２のスケール画像を重畳した重畳画像を示す図。図４は膀胱を球体で近似した３Ｄモデルに設定した第２の座標系等を示す図。図５Ａは内視鏡画像表示エリアの内視鏡画像と、重畳画像表示エリアの重畳画像とを隣接して表示したモニタ画面を示す図。図５Ｂは内視鏡画像表示エリアの内視鏡画像にスケール画像を重畳した重畳画像を表示したモニタ画面を示す図。図６Ａは遠近関係算出回路により、視点から内視鏡画像上における各点に対応する被検体上の各点に至る距離が変化する関係としての遠近関係を算出する様子の説明図。図６Ｂは視線方向が膀胱の内面に垂直に近い観察状態で膀胱の内面の観察を行う様子を示す図。図６Ｃは視線方向が膀胱の内面に垂直な方向に設定された状態で膀胱内面を観察する様子の説明図。図７は第１の実施形態における画像処理装置による処理手順を含む動作を示すフローチャート。図８Ａは第１のスケール画像生成の処理を示すフローチャート。図８Ｂは、図８Ａの動作の説明図。図９Ａは第２のスケール画像生成の処理を示すフローチャート。図９Ｂは、図９Ａの動作を説明する説明図。図１０はグリッド形状の第１のスケール画像が重畳された重畳画像を示す図。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示すように本発明の第１の実施形態の内視鏡システム１は、被検体としての患者Ｐの内部を観察（又は検査）する内視鏡２と、光源装置３と、プロセッサ４と、画像処理装置５と、モニタ６と、磁場発生装置７とを備えて構成される。内視鏡システム１は、通常光観察と特殊光観察の２つの観察モードで観察する機能を有する。内視鏡システム１のユーザとなる術者は、ベッド８上に仰向け等で載置されている被検体としての患者Ｐにおける所定の管腔臓器としての膀胱Ｂ内部の内視鏡検査を行う。
内視鏡２は、操作部２ａと、可撓性を有する挿入部２ｂと、ユニバーサルケーブル２ｃとを有する。内視鏡２は、例えば膀胱検査用の内視鏡により構成される。
さらに、ユニバーサルケーブル２ｃ内には、図２に示すようなライトガイド９が挿通されており、内視鏡２は、光源装置３からの照明光を、ライトガイド９を通して挿入部２ｂの先端部２ｄの照明窓から出射し、挿入部２ｂの先端部２ｄが挿入された被検体（の膀胱Ｂ）内を照明する。

また、図２に示すように、挿入部２ｂの先端部２ｄには、対物光学系１０と、その結像位置に撮像面が配置され、撮像面に結像された光学像を光電変換して撮像信号として出力する撮像素子１１とが設けられている。光源装置３の照明光により照明された膀胱Ｂ内の部位は、撮像素子１１により撮像される。従って、対物光学系１０と撮像素子１１は、被検体内に挿入され、被検体内を撮像する撮像部（又は撮像装置）１２を形成する。撮像素子１１により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を介して被検体画像を生成する被検体画像生成部又は被検体画像生成装置としてのプロセッサ４に入力され、撮像信号は、プロセッサ４内の画像生成回路４ａにおいて画像生成の処理が行われ、被検体画像としての内視鏡画像が生成される。
本実施形態においては、プロセッサ４内の画像生成回路４ａは、先端部２ｄに搭載された撮像部１２の撮像素子１１の撮像面に結像された被検体の光学像を電気的な撮像信号に変換して、光学像に対応する被検体画像を生成し、生成された被検体画像は内視鏡画像としてモニタ６で表示される。

このため、被検体を撮像する撮像部１２の位置及び撮像する撮像方向（対物光学系１０の光軸方向）が、被検体を見て被検体画像を生成する場合の視点の位置及び視線方向となる。
プロセッサ４は、観察モードを切り換えるための切換スイッチ４ｂを有し、切換スイッチ４ｂにより指定された観察モード信号は画像生成回路４ａに入力され、画像生成回路４ａは、切換スイッチ４ｂにより指定された観察モードに応じた内視鏡画像を生成する。より具体的には、通常光観察モードが指定された場合には、通常光（としての白色光）の照明の下で撮像した通常光観察画像を生成し、特殊光観察モードが指定された場合には、特殊光観察画像（より狭義には狭帯域光観察画像）を生成する。
また、切換スイッチ４ｂによる観察モード信号は、光源装置３のＬＥＤ制御回路３ａに入力され、ＬＥＤ制御回路３ａは、観察モードに応じた照明光を生成するように制御する。

切換スイッチ４ｂにより、通常光観察モードが指定された場合には、ＬＥＤ制御回路３ａは通常光観察モード用の光源となる白色ＬＥＤ３ｂを発光させるように制御し、特殊光観察モードが指定された場合には、ＬＥＤ制御回路３ａは特殊光観察モード用の光源となる狭帯域の青色ＬＥＤ３ｃを発光させるように制御する。
狭帯域の青色ＬＥＤ３ｃが発光した場合には、この狭帯域の青色の光が進行する光路上に４５度の角度で配置されたダイクロイックミラー３ｄにより選択的に反射された後、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端が取り付けられた照明窓から出射され、特殊光観察モード用の照明（より狭義には狭帯域光観察モード用の照明）を行う。
また、白色ＬＥＤ３ｂが発光した場合の白色光は、その光路上に配置されたダイクロイックミラー３ｄにより、狭帯域の青色の光を除く白色光の殆どが選択的に透過し、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色光を除く白色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端が取り付けられた照明窓から出射され、通常光観察モード用の照明を行う。

また、プロセッサ４（の画像生成回路４ａ）により生成された内視鏡画像は、プロセッサ４からモニタ６へ出力され、ライブの内視鏡画像が、モニタ６上に表示される。検査を行う術者は、挿入部２ｂの先端部２ｄを患者Ｐの尿道から挿入し、患者Ｐの膀胱Ｂ（図１において点線で示す）内を観察することができる。
さらに、挿入部２ｂの先端部２ｄには、位置センサとしての磁気センサ１３が配置されている。具体的には、図２に示すように先端部２ｄの撮像部１２を構成する対物光学系１０と撮像素子１１の近傍には、磁気センサ１３が設けられている。この磁気センサ１３は、先端部２ｄにおける撮像部１２の視点となる３次元位置（単に位置）と、その位置での視線方向との検出に利用される。
図２に示す内視鏡２は、先端部２ｄに搭載された撮像部１２を構成する対物光学系１０の光軸方向が、先端部２ｄの軸方向と平行となるために、撮像部１２の位置及び視線方向は、先端部２ｄの位置及びその軸方向（単に方向）と近似できる。

なお、本実施形態は、図２に示すように先端部２ｄに配置された対物光学系１０により、先端部２ｄに配置された撮像素子１１の撮像面に被検体の光学像を結像する内視鏡２の場合に限らず、先端部２ｄに配置された対物光学系１０により結像した光学像を光学像伝送系により挿入部２ｂの後方（基端）側に伝送し、挿入部２ｂの基端側に配置された撮像素子で撮像する内視鏡の場合にも適用できる。
この場合を含めた表現としては、撮像部の視点の位置（及び視線方向）の表現を用いるよりも（先端部２ｄに配置された）対物光学系１０の視点の位置（及び視線方向）を用いる方が妥当である。このため、以下においては、主に、視点の位置及び視線方向を対物光学系１０の視点の位置及び視線方向として用いたり、近似的な表現として視点の位置及び視線方向の代わりに（対物光学系１０又は先端部２ｄの）位置及び方向を用いる場合もある。
図１の拡大図に示すように、磁気センサ１３は、例えば２つのコイル２ｅを有する。磁気センサ１３は、先端部２ｄの位置及び方向を検出するセンサとなる。磁気センサ１３の信号線２ｆは、内視鏡２から延出され、画像処理装置５（内の位置方向取得回路２５）に接続される。

磁場発生装置７は既知となる所定の位置において磁場を発生し、磁気センサ１３は、磁場発生装置７が発生する磁場を検出する。磁場の検出信号は、信号線２ｆを介して内視鏡２から画像処理装置５（内の位置方向取得回路２５）に入力される。
位置方向取得回路２５は、入力された検出信号の振幅と位相とから先端部２ｄに配置された対物光学系１０の視点となる位置及び視線方向の情報としての視点の位置情報（視点位置情報）と視線方向情報とを取得する情報取得部を形成する情報取得回路２５ａを備える。なお、本実施形態においては、検査対象となる被検体は、膀胱Ｂの内面であり、膀胱Ｂは、後述するように球体で近似することができる。つまり、膀胱Ｂは、球体で表される３Ｄモデル画像Ｍ１（図４，図５Ｂ）で近似される。
内視鏡２の操作部２ａには、レリーズボタン１４が設けられている。レリーズボタン１４は、術者等のユーザが内視鏡画像を記録するときに、押すためのボタンである。レリーズボタン１４が押されると、レリーズボタン操作信号がプロセッサ４へ入力され、プロセッサ４は、レリーズ信号を生成して、画像処理装置５へ出力する。レリーズボタン１４が押されたときの内視鏡画像は、画像処理装置５の後述するメモリ２２に記録される。

また、内視鏡２には、各内視鏡２に固有の識別情報（ＩＤと略記）を発生するＲＯＭ（リードオンリメモリ）等により構成されるＩＤ発生部（図２では単にＩＤと略記）１５を有し、このＩＤ発生部１５は、プロセッサ４を経て画像処理装置５（内の位置方向取得回路２５）に入力される。
図２に示すように、ＩＤがプロセッサ４を介することなく、画像処理装置５（内の位置方向取得回路）に入力されるようにしても良い。位置方向取得回路２５は、ＩＤから対物光学系１０の焦点距離、対物光学系１０による光学像を撮像する撮像素子１１の画素数、ピクセルのサイズ、画角（視野角）等、撮像部１２が撮像する場合の撮像情報を取得する撮像情報取得部（又は撮像情報取得回路）２５ｂの機能を備える。取得された撮像情報は、後述する遠近関係を算出する場合に利用される。

画像処理装置５は、中央処理装置（以下、ＣＰＵという）２１と、メモリ２２と、表示インターフュース（以下、表示Ｉ／Ｆと略す）２３と、画像取込回路２４と、位置方向取得回路２５と、管腔臓器抽出回路２６と、駆動回路２７を備える。ＣＰＵ２１と、メモリ２２と、表示Ｉ／Ｆ２３と、画像取込回路２４と、位置方向取得回路２５と、管腔臓器抽出回路２６は、バス２８を介して互いに接続されている。また、内視鏡システム１は、図２に示すように被検体としての患者Ｐに関する３次元情報を取得するためのＣＴ（Computed Tomography）装置２９と、画像処理装置５に対して、ユーザが各種の情報の入力や選択するための入力を行う入力装置３０とを有する。
ＣＰＵ２１は、画像処理装置５内の各部の処理を制御する制御部を構成すると共に、位置方向取得回路２５が取得した視点の位置情報と視線方向情報と撮像情報を用いて、先端部２ｄに配置された対物光学系１０の視点となる位置から被検体画像中の各点に対応する被検体上の各点に至る距離の大小関係に相当する遠近関係を算出する遠近関係算出回路２１ａと、被検体画像に重畳するための２種類のスケール画像を生成するスケール画像生成回路２１ｂと、重畳画像を生成する画像処理部を形成する重畳画像生成回路２１ｃとを備える。

スケール画像生成回路２１ｂは、被検体画像上において少なくとも互いに異なる２つの方向に対して同じ縮尺を用いて構成され、前記被検体画像上においての被検体上での異なる方向における長さを反映するためのスケール（目盛り）を持つ第１のスケール画像を生成する第１のスケール画像生成回路２１ｄと、上記遠近関係算出回路２１ａにより算出された遠近関係に合わせて、被検体画像上において少なくとも互いに異なる２つの方向に対して、互いに異なる縮尺を用いて構成され、該被検体画像上においての被検体上における異なる方向における長さを反映するスケール（目盛り）を持つ第２のスケール画像を生成する第２のスケール画像生成回路２１ｅと、を有する。
図３Ａは、被検体画像としての内視鏡画像Ｉｅｎ上に第１のスケール画像Ｉ１を重畳した重畳画像Ｉｓを示し、図３Ｂは、内視鏡画像Ｉｅｎ上に第２のスケール画像Ｉ２を重畳した重畳画像Ｉｓを示す。なお、図３Ａ、図３Ｂは、例えば表示Ｉ／Ｆ２３における画像表示メモリ上に生成された状態で示し、画像表示メモリ上の重畳画像は、モニタ６の表示サイズに応じたサイズで表示される。この場合、画像表示メモリ上における内視鏡画像Ｉｅｎと第１のスケール画像Ｉ１又は第２のスケール画像Ｉ２との相対的な縮尺関係は、変化しない。

また、ＣＰＵ２１は、位置方向取得回路２５が取得した視点の位置情報と視線方向情報を取得した際に、磁場発生装置７を基準とした座標系としての第１の座標系（X_０Y_０Z_０）（図１参照）から膀胱Ｂの入口を基準とする中間座標系（X_１Y_１Z_１）（図１参照）に変換する座標変換処理回路２１ｆの機能を持つ。
座標変換処理回路２１ｆは、膀胱Ｂの入口の位置と方向を基準位置と基準方向と決定し、次の式（１）と式（２）に従って、位置方向取得回路２５の位置方向情報を、膀胱Ｂの入口を基準とする中間座標系（X_１Y_１Z_１）の位置方向情報に変換する。
Ｐ_１＝Ｒ_０１Ｐ_０＋Ｍ_０１・・・式（１）
Ｖ_１＝Ｒ_０１Ｖ_０・・・式（２）
ここで、Ｐ_０とＶ_０は、それぞれ、磁場発生装置７を基準とする座標系である第１の座標系（X_０Y_０Z_０）における位置（のベクトル表記）と（大きさが１の）方向ベクトルである。Ｒ_０１は、次の式（３）で示される回転行列であり、Ｍ_０１は、次の式（４）で示される並進行列である。

［数３］

［数４］

よって、第１の座標系（X_０Y_０Z_０）上の点（ｘ_０，ｙ_０，ｚ_０）は、次の式（５）に示すように、中間座標系（X_１Y_１Z_１）上の点（ｘ_１，ｙ_１，ｚ_１）に変換される。
［数５］

内視鏡２の先端部２ｄ（の対物光学系１０）の膀胱Ｂ内への挿入が検出されたとき（膀胱Ｂの入り口）における位置方向取得回路２５により取得される位置と方向のベクトルをＰ´₀、Ｖ´₀とすると、並進行列Ｍ_０１は以下の式（６）により求められる。

Ｍ_０１＝−Ｐ´₀ ・・・式（６）
また、回転行列Ｒ_０１は以下の条件を満たすように求める。回転行列Ｒ_０１の満たす条件は、Ｚ₁軸が重力方向と平行であること、及びＺ₁軸に対して垂直なX₁Y₁平面にV´₀を投影し、その投影したベクトル方向をY₁軸、Y₁Z₁平面に垂直なベクトルをX₁軸とする、ことである。
更に、上記座標変換処理回路２１ｆは、次の式（７）と式（８）に従って、中間座標系（X_１Y_１Z_１）の位置ベクトルと方向ベクトルを、球形の３Ｄモデル画像Ｍ１の中心Ｏ_２を基準とする第２の座標系（X_２Y_２Z_２）における位置ベクトルと方向ベクトルに変換する。図４は、中間座標系（X_１Y_１Z_１）と第２の座標系（X_２Y_２Z_２）の関係を説明するための図である。
Ｐ_２＝Ｒ_１２Ｐ_１＋Ｍ_０２・・・式（７）
Ｖ_２＝Ｒ_１２Ｖ_１・・・式（８）
ここで、Ｐ_１、Ｖ_１は、それぞれ、中間座標系（X_１Y_１Z_１）における任意の位置における位置（ベクトル）と方向ベクトルであり、Ｐ_２、Ｖ_２は、それぞれ、第２の座標系（X_２Y_２Z_２）に変換された場合の位置ベクトルと方向ベクトルである。

Ｐ_０、Ｖ_０を位置方向取得回路２５から算出される先端部２ｄの対物光学系１０の視点の位置を表す位置（ベクトル）、視線方向の方向ベクトルに設定すると、Ｐ_０、Ｖ_０は、Ｐ_１、Ｖ_１に変換され、更に該Ｐ_１、Ｖ_１は、Ｐ_２とＶ_２に変換される。
つまり、Ｐ_０、Ｖ_０を視点の位置、視線方向の方向ベクトルとして取得すると、対応するＰ_２、Ｖ_２は、第２の座標系（X_２Y_２Z_２）における対物光学系１０の視点の位置ベクトル（Ｐｖで兼用）、視線方向Ｖの方向ベクトル（Ｖで兼用）となる。Ｒ_１２は、次の式（９）で示される回転行列であり、Ｍ_０２は、次の式（１０）で示される並進行列である。
［数９］

［数１０］

よって、中間座標系（X_１Y_１Z_１）上の点（ｘ_１，ｙ_１，ｚ_１）は、次の式（１１）に示すように、第２の座標系（X_２Y_２Z_２）上の点（ｘ_２，ｙ_２，ｚ_２）に変換される。

［数１１］

X₁Y₁Z₁座標系をY₁軸方向にR₂移動した場合、並進M₁₂と回転R₁₂は、それぞれ、式（１２）と式（１３）のようになる。
［数１２］

［数１３］

以上のように、磁場発生装置７の第１の座標系（X_０Y_０Z_０）における位置Ｐ_０は、式（５）と式（１１）より、３Ｄモデル画像Ｍ１の中心Ｏ_２を基準とする第２の座標系（X_２Y_２Z_２）の位置Ｐ_２に変換され、第１の座標系（X_０Y_０Z_０）における方向V_０は、次の式（１４）に従って、第２の座標系（X_２Y_２Z_２）の方向V_２に変換される。

V_２＝Ｒ_１２Ｒ_０１V_０・・・式（１４）
また、図４は、内視鏡２の挿入部２ｂが膀胱Ｂ内に挿入された様子を３Ｄモデル画像Ｍ１で示し、対物光学系１０の視点の位置Ｐｖから視線方向Ｖが交差する球体の内面（膀胱Ｂの内面）の位置も第２の座標系（X_２Y_２Z_２）を用いて扱うことができる。
先端部２ｄの対物光学系１０の第２の座標系（X_２Y_２Z_２）における視点の位置Ｐｖと視線方向Ｖが決定すると、撮像素子１１の撮像面１１ａの中心位置（中心部）に結像される（膀胱Ｂを表す）球体の内面上の座標位置（単に位置とも言う）Ｐｓは、以下のように球体の半径Ｒを用いて求める。次の式（１５）と式（１６）を満たす係数ｋを算出し、第２の座標系（X_２Y_２Z_２）における座標位置としての位置（又は基準位置）Ｐｓを求める。
Ｐｓ＝Ｐｖ＋ｋＶ・・・式（１５）
｜Ｐｓ｜＝Ｒ・・・式（１６）
遠近関係算出回路２１ａは、式（１５）、式（１６）により位置Ｐｓを算出することにより、視点の位置Ｐｖと内面上の位置Ｐｓ間の距離を算出することができる。

図２に示すメモリ２２は、ＲＯＭ、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリなどを用いて形成され、このメモリ２２は、ＣＰＵ２１により実行される各種処理プログラム及び各種データを記憶し、さらに、画像生成回路４ａにより生成された内視鏡画像の情報、位置方向取得回路２５により取得された位置情報と視線方向情報なども記憶する。
つまり、メモリ２２は、内視鏡画像の情報を記憶する内視鏡画像情報記憶部２２ａと、視点の位置情報及び視線方向情報を記憶する位置方向情報記憶部２２ｂと、ＣＴ装置２９により取得された被検体としての患者Ｐの少なくとも膀胱Ｂを含む３次元画像情報を記憶する患者画像情報記憶部（又は被検体画像情報記憶部）２２ｃとを有する。内視鏡画像情報記憶部２２ａ、位置方向情報記憶部２２ｂ及び患者画像情報記憶部２２ｃは、例えばメモリ２２におけるそれぞれ異なる記憶エリアにより形成される。従って、これらの記憶部をそれぞれ記憶エリア、又は記憶装置と言うこともできる。

管腔臓器抽出回路２６は、患者Ｐの３次元画像情報から管腔臓器としての膀胱Ｂの中空形状の３次元画像を抽出する。つまり、管腔臓器抽出回路２６は、膀胱Ｂの３次元画像を抽出する膀胱抽出回路２６ａの機能を備える。抽出された膀胱Ｂの３次元画像情報は、３Ｄモデル画像Ｍ１として、メモリ２２内における患者画像情報記憶部２２ｃに格納される。このため、患者画像情報記憶部２２ｃは、臓器モデル画像記憶部の機能を持つ。なお、メモリ２２における患者画像情報記憶部２２ｃ以外の記憶エリアに臓器モデル画像記憶部を形成しても良い。

メモリ２２内に格納された臓器モデル画像としての３Ｄモデル画像Ｍ１は、例えばＣＰＵ２１により読み出され、表示Ｉ／Ｆ２３を介してモニタ６に表示される。
モニタ６には、画像生成回路４ａが生成した内視鏡画像と、画像処理装置５が生成した重畳画像と、臓器モデル画像とが合成された合成画像が入力され、モニタ６は、図５Ａに示すように内視鏡画像表示エリアＡ１に内視鏡画像Ｉｅｎ、重畳画像表示エリアＡ２に上述したスケール画像を重畳した重畳画像Ｉｓ、臓器モデル表示エリアＡ３に３Ｄモデル画像Ｍ１を表示する。なお、図５Ａのように表示する場合には、画像生成回路４ａで生成した内視鏡画像を図２において点線で示すようにモニタ６に出力して内視鏡画像表示エリアＡ１に内視鏡画像Ｉｅｎを表示するようにしても良い。
また、本実施形態においては、図５Ａに示す第１の表示形態を、第２の表示形態に変更する表示モード変更機能を有し、ユーザは、キードード等から構成される入力装置３０からの変更入力により重畳画像を内視鏡画像表示エリアＡ１において表示するように変更することができる。例えば、図５Ａの表示形態を変更する変更入力を行った場合には、図５Ｂに示すように内視鏡画像表示エリアＡ１に重畳画像Ｉｓを表示し、その右側の臓器モデル表示エリアＡ３に３Ｄモデル画像Ｍ１を表示する。

図２に示す画像取込回路２４は、プロセッサ４において生成された内視鏡画像を、一定の周期で取り込む処理を行う画像取込部の機能を有する。画像取込回路２４は、例えば、フレームレートと同じ、１秒間に３０枚の内視鏡画像を、プロセッサ４から取得する。また、画像取込回路２４は、プロセッサ４からのレリーズ信号も受信する。
また、画像取込回路２４は、上述したＣＴ装置２９により予め取得した被検体としての患者Ｐの３次元画像を取り込み、取り込まれた患者Ｐの３次元画像情報をメモリ２２に形成した記憶エリアにより構成される患者画像情報記憶部２２ｃに記憶する。このため、患者画像情報記憶部２２ｃは、被検体に関する３次元画像情報を構築するための画像情報を記憶する記憶部を構成する。
位置方向取得回路２５は、磁場発生装置７を駆動する駆動回路２７を制御して、磁場発生装置７に所定の磁場を発生させ、その磁場を磁気センサ１３により検出し、その検出された磁場の検出信号から、対物光学系１０の視点となる位置座標（ｘ、ｙ、ｚ）と視線方向となる配向（大きさ１のベクトル）のデータ、すなわち視点の位置情報及び視線方向情報を第１の座標系（X_０Y_０Z_０）においてリアルタイムで生成する。

すなわち、位置方向取得回路２５（の情報取得回路２５ａ）は、磁気センサ１３からの位置情報及び方向情報を取得して、対物光学系１０の視点の位置情報と視線方向情報（簡略化して位置視線方向情報とも言う）とを取得する。
ＣＰＵ２１は、画像取込回路２４が取り込んだ内視鏡画像（の情報）と、位置方向取得回路２５が検出した位置方向情報から算出された位置方向情報とを（例えば座標変換処理回路２１ｆにより球体の中心Ｏ_２を基準とした第２の座標系（X_２Y_２Z_２）に変換した後）関連付けた関連付け情報を、メモリ２２に記憶する。なお、第２の座標系（X_２Y_２Z_２）に変換しない状態でメモリ２２に記憶しても良い。
メモリ２２は、画像取込回路２４が取り込んだ上記内視鏡画像と、該内視鏡画像を取り込んだ際の位置方向情報とを関連付ける関連付け情報を、メモリ２２内の例えば関連付け情報記憶部２２ｄに記憶しても良い（図２の図示例）。又はメモリ２２における内視鏡画像情報記憶部２２ａ又は位置方向情報記憶部２２ｂが関連付け情報記憶部２２ｄの機能を持ち、その機能を持つ内視鏡画像情報記憶部２２ａ又は位置方向情報記憶部２２ｂが関連付け情報を記憶するようにしても良い。

また、本実施形態においては、ＣＰＵ２１の遠近関係算出回路（又は距離算出回路）２１ａは、膀胱抽出回路２６ａにより抽出された膀胱Ｂの３次元画像情報、より具体的には３次元の中空となる球体の３Ｄモデル画像情報と、上記関連付け情報とから、対物光学系１０の視点（の位置）から被検体画像としての内視鏡画像上の各点に対応する被検体上の各点まで（に至る距離の大小関係として）の遠近関係を算出する。
図６Ａは遠近関係算出回路２１ａによる遠近関係又は距離大小関係を算出する動作説明図を示す。図６Ａは、膀胱Ｂ内に挿入された挿入部２ｂの先端部２ｄに配置された対物光学系１０及び撮像素子１１により、膀胱Ｂの内面を観察している様子を示す。
膀胱Ｂの内面は、中心をＯ_２とした半径Ｒの球体で近似され、また、内面上の各位置は、Ｏ_２を基準（原点）とした第２の座標系（X_２Y_２Z_２）により扱い易くなる。
また、上述したように先端部２ｄに配置された対物光学系１０の視点の位置Ｐｖ及び視線方向（光軸方向）Ｖの情報は、位置方向取得回路２５を用いて取得され、第２の座標系（X_２Y_２Z_２）の情報に変換された後、内視鏡画像と関連付けて記憶される。また、位置方向取得回路２５（の撮像情報取得部２５ｂ）は、対物光学系１０の焦点距離ｆ、撮像素子１１の画素数、視野角等の撮像情報を取得する。

図６Ａに示すように視線方向Ｖに垂直に配置された撮像素子１１の撮像面１１ａには、視線方向Ｖ上の位置を中心として視野角θの範囲内となる内面の光学像が結像され、この光学像は、画像生成回路４ａにより内視鏡画像に変換される。この内視鏡画像は、画像処理装置５内の画像取込回路２４により取り込まれ、メモリ２２内又は表示Ｉ／Ｆ２３内に設けた画像メモリ２３ａに一時格納され、読み出されてモニタ６上には内視鏡画像（以下に説明する撮像面１１ａの光学像と等価な内視鏡画像と区別する必要がある場合にはモニタ上内視鏡画像と言う）として表示される。
図６Ａに示すように、対物光学系１０の光学中心を視点の位置Ｐｖとし、視点の位置Ｐｖから視線（光軸）方向Ｖに沿った直線が内面と交差する位置を基準位置Ｐｓとした場合、基準位置Ｐｓは、撮像面１１ａにおける例えば中心の基準位置Ｑｓに結像され、撮像素子１１の視野角θの境界となる位置Ｐａ，Ｐｂは撮像面１１ａにおける位置Ｑａ，Ｑｂにそれぞれ結像される。
視点の位置Ｐｖから位置Ｐｓまでの距離をＬｓとした場合、被検体（具体的には膀胱Ｂの内面）上における長さが撮像面１１ａ上では、ほぼｆ／Ｌｓの長さに縮尺される。

図６Ａにおいて、視線方向が球体の中心Ｏ_２近傍を通るように設定された場合（図６Ｂ，図８Ｂ参照）には、上記の縮尺は、内面上の位置が異なる場合にも、精度が高い近似となる。
撮像面１１ａの光学像は、被検体画像生成部を形成する画像生成回路４ａにより、例えば光学像と同じ縮尺の内視鏡画像（同じ縮尺で無くても良いが、説明を簡単にするために同じ縮尺とする）が生成される。このため、撮像面１１ａで説明する内容は、画像生成回路４ａにより生成される内視鏡画像においても同様に適用できる。
尤も、モニタ６の表示面上の内視鏡画像としてのモニタ上内視鏡画像は、モニタ６における表示するエリアの大きさに依存してそのサイズが変化する。
この場合には、撮像面１１ａの光学像（又は該光学像と同じ縮尺の内視鏡画像）における例えば単位の長さが、モニタ６の表示面において表示した場合にＥ倍の倍率の長さになる場合には、この倍率を用いることにより、撮像面１１ａ上で説明した内容をモニタ６上に表示されるモニタ上内視鏡画像においても同様に適用できる。

つまり、撮像面１１ａでの長さの縮尺、例えば上記のｆ／Ｌｓは、モニタ６の表示面上の内視鏡画像中においては、（ｆ／Ｌｓ）×Ｅ＝（ｆ×Ｅ）／Ｌｓのようにｆを（ｆ×Ｅ）に置換することにより同様に適用できる。このため、撮像面１１ａで説明したことは、縮尺の係数の値を変更する（前記の場合には、ｆを（ｆ×Ｅ）に変更する）ことによりモニタ６に表示される（モニタ上）内視鏡画像の場合にも適用できる。
本実施形態においては、例えば撮像面１１ａの光学像と同じ縮尺の内視鏡画像に対して第１のスケール画像と第２のスケール画像を生成して、重畳画像を生成した後、この重畳画像をモニタ６に出力するようにしているので、モニタ６の表示サイズの影響を殆ど受けない。
また、本実施形態においては、視点の位置Ｐｖから被検体側（膀胱Ｂの内面側）を対物光学系１０を用いて観察した場合の観察状態が、視線が中心Ｏ_２を通る状態に近い状態（換言すると、視線方向が、該視線方向上に対向する内面と垂直に近い状態）である場合（図６Ｂに示すような場合）に対応して、図３Ａで示したように同心円形状の第１のスケール画像Ｉ１を生成する。

これに対して、図６Ａに示すように視線が中心Ｏ_２の近傍を通らない観察状態に設定された場合には、基準位置Ｐｓからずれるに従って被検体側（膀胱Ｂの内面側）における長さが撮像面１１ａ上では、ｆ／Ｌｓの縮尺からずれる。
基準位置Ｐｓは、式（１５）から算出することができ、また、以下の式（１７）から距離Ｌｓの値も算出できる。
Ｌｓ＝｜Ｐｓ−Ｐｖ｜・・・式（１７）
位置Ｐａ，Ｐｂも、視点の位置Ｐｖから視線方向の方向ベクトルＶをθ／２だけ互いに逆となる方向に回転した方向ベクトルＶａ，Ｖｂとして、式（１５）、式（１６）と同様の式を適用することにより算出することができる。そして、式（１７）と同様の式を適用することにより距離Ｌａ，Ｌｂを算出することができる。
球体の内面における各位置Ｐｓ，Ｐａ，Ｐｂ近傍における長さは、撮像面１１ａ上において、各位置Ｑｓ、Ｑａ，Ｑｂ近傍において、それぞれｆ／Ｌｓ，ｆ／Ｌａ，ｆ／Ｌｂの長さに縮尺される。

また、図６Ａにおいて、例えば内面上の位置Ｐｓから距離（又は長さ）ｄの位置Ｐｃを設定した場合、位置Ｐｃと視点の位置Ｐｖを通る直線上となる撮像面１１ａ上の位置Ｑｃを取得することもできる。この場合、内面上での距離ｄは、撮像面１１ａにおいては距離（長さ）ＱｓＱｃ（位置ＱｓとＱｃ間の距離）に縮尺される。内面上での距離ｄを基準長に設定して、内面上の距離を撮像面上の距離に設定する処理を適用して、後述する第２のスケール画像を生成しても良い。
本実施形態においては、遠近関係算出回路２１ａは、図６Ａにおいて説明した内容に沿って、視点の位置Ｐｖから、（撮像面１１ａの光学像に対応する）内視鏡画像上（又は内視鏡画像中）における各点に対応する被検体上での各点までの距離を含む遠近関係を算出すると共に、被検体上での所定長さが内視鏡画像上で縮尺される縮尺の情報を算出する。

そして、重畳画像生成回路２１ｃは、内視鏡画像上において縮尺の値が変化する場合の内視鏡画像（が生成される観察状態）に対しては、図３Ｂに示すように内視鏡画像Ｉｅｎ上での長さ、又は縮尺の変化を反映した第２のスケール画像Ｉ２を生成し、生成した第２のスケール画像Ｉ２を内視鏡画像Ｉｅｎに重畳した重畳画像Ｉｓを生成する。

また、本実施形態においては、遠近関係算出回路２１ａにより算出された遠近関係を表す情報に応じて被検体画像としての内視鏡画像に重畳するスケール画像として第１のスケール画像又は第２のスケール画像の１つを自動的に決定（又は設定）するスケール画像決定部を形成する決定回路２１ｇを有する。図２においては、遠近関係算出回路２１ａが決定回路２１ｇの機能を備える構成で示しているが、この場合の構成に限定されるものでない。
決定回路２１ｇは、遠近関係算出回路２１ａにより算出された視点から被検体を形成する膀胱Ｂの内面上における複数の点までの複数の距離の情報を用いて視線方向が内面と垂直に近い角度の角度閾値より小さいか否かを判定する判定回路２１ｈを備え、決定回路２１ｇは、この判定回路２１ｈによる判定結果に応じて重畳するスケール画像を第１のスケール画像又は第２のスケール画像から自動的に決定する。
図６Ｂは、判定回路２１ｈの動作説明図を示す。

図６Ｂは、図６Ａの観察状態として、先端部２ｄにおける対物光学系１０の視点の位置Ｐｖにおける視線方向Ｖが膀胱Ｂの内面に垂直に近い設定状態で膀胱Ｂの内面を観察する様子を示す。視線方向Ｖが膀胱Ｂの内面に垂直に近い状態で内面を観察する場合を正面視と言う。
遠近関係算出回路２１ａは、基準位置Ｐｓから、例えば直交する２つの方向に所定の長さｄの２つの位置Ｐｃ，Ｐｄ（図６ＢではＰｃは紙面内、Ｐｄは紙面の垂直方向となるために図示せず）を内面上に設定し、それぞれの場合における視点の位置Ｐｖからの距離Ｌｃ，Ｌｄを取得する。
また、例えばメモリ２２には、予め視線方向Ｖが中心Ｏ_２を通る状態、つまり、視線方向Ｖが内面に垂直となる観察状態において、視点の位置Ｐｖから内面までの距離Ｌｓを任意の値に設定した場合において、上記所定の長さｄの位置の場合における視点から位置Ｐｃ（又はＰｄ）までの距離の値Ｌｒ（Ｌｓ）を格納している。なお、Ｌｒ（Ｌｓ）は、Ｌｓの値に依存してＬｒの値が変化することを表す。図６Ｃは、メモリ２２に格納される距離Ｌｒ（Ｌｓ）の説明図を示す。図６Ｃでは、２つの視点の位置Ｐｖ１，Ｐｖ２の場合の距離の値Ｌｒ（Ｌｓ）としてのＬｒ（Ｌｓ１），Ｌｒ（Ｌｓ２）を示す。

図６Ｃから分かるように距離の値Ｌｒ（Ｌｓ）は視線方向Ｖ上となる視点の位置Ｐｖ又は視点の位置Ｐｖから内面までの距離Ｌｓの値に応じて変化する。図６Ｃでは距離の値Ｌｒ（Ｌｓ１）、Ｌｒ（Ｌｓ２）として、視点の位置Ｐｖ１，Ｐｖ２から位置Ｐｃまでの距離の値を示しているが、位置Ｐｃの代わりに位置Ｐｄとした場合にも同じ値となる。メモリ２２は、距離Ｌｓの値と共に、対応する距離の値Ｌｒ（Ｌｓ）を格納する。また、メモリ２２は、距離の値Ｌｒ（Ｌｓ）に対して、Ｌｒ（Ｌｓ）よりはかなり小さい値Δ（例えばＬｒ（Ｌｓ）の数％から１０％程度）として設定した閾値Ｔａ（＝Ｌｒ（Ｌｓ）−Δ），Ｔｂ（＝Ｌｒ（Ｌｓ）＋Δ）も、距離Ｌｓに応じて格納している。

そして、判定回路２１ｈは、距離Ｌｃ，Ｌｄが、距離Ｌｓの値に応じて設定された閾値Ｔａ，Ｔｂに対して
Ｔａ≦Ｌｃ≦Ｔｂ，Ｔａ≦Ｌｄ≦Ｔｂ・・・式（１８）
の条件を満たす場合には、観察状態として視線方向Ｖが内面と垂直に近い状態（正面視の状態）であると判定し、決定回路２１ｇは第１のスケール画像を使用するように決定する。
これに対して、式（１８）の条件を満たさない場合には、観察状態として視線方向Ｖが内面と垂直に近い状態でないと判定し、決定回路２１ｇは、第２のスケール画像を使用するように決定する。図６Ｃは、上記の視点の位置Ｐｖ１，Ｐｖ２とは異なり、内面に垂直な方向から外れた視点の位置Ｐｖ３から内面を観察する場合の様子も示す。この場合には、視点の位置Ｐｖ３から位置Ｐｓまでの距離Ｌｓ３は、距離Ｌｓ１と同じ値で示しているが、視点の位置Ｐｖ３から位置Ｐｃまでの距離の値Ｌｒ（Ｌｓ３）は、Ｌｒ（Ｌｓ１）よりも遥かに大きくなる。このような場合には、式（１８）の条件を満たさないと判定される。
なお、式（１８）を用いる代わりに、図６Ｂに示すように視線方向Ｖと、中心Ｏ_２から基準位置Ｐｓを表すベクトルとのなす角αを算出し、判定回路２１ｈは、算出された角αが０から１０度以内に設定した角度閾値Ｔａｎ以内か否かにより観察状態として視線方向Ｖが内面と垂直に近い状態であるか否かを判定するようにしても良い。

つまり、
α≦Ｔａｎ・・・式（１９）
の条件を満たす場合には、観察状態として視線方向Ｖが内面と垂直に近い状態であると判定し、式（１９）の条件を満たさない場合には、観察状態として視線方向Ｖが内面と垂直に近い状態でないと判定するようにしても良い。
また、本実施形態においては、決定回路２１ｇの機能を用いるか否かをユーザが選択することができるようにしている。ユーザは、例えば入力装置３０に設けたスケール自動選択スイッチ３０ａをＯＮした場合には、決定回路２１ｇの決定動作により被検体画像としての内視鏡画像に重畳するスケール画像を自動的に決定する。また、入力装置３０から、決定回路２１ｇを用いる場合の上記閾値の値を指定（設定）したり、選択することもできるようにしている。このため、入力装置３０は、閾値を設定する閾値設定部（又は閾値設定装置）の機能を有する。
一方、スケール自動選択スイッチ３０ａをＯＦＦにした場合には、ユーザが被検体画像としての内視鏡画像に重畳するスケール画像を選択又は指定することができるようにしている。

なお、決定回路２１ｇの決定動作により被検体画像としての内視鏡画像に重畳するスケール画像を自動的に決定した状態においても、ユーザが入力装置３０から内視鏡画像に重畳するスケール画像を選択又は指定することができるようにしても良い。
術者等のユーザは、内視鏡２を用いて膀胱Ｂの内面を観察し、例えば病変部が存在し、その大きさを把握したいと望む場合には、重畳画像生成回路２１ｃに対して、第１のスケール画像又は第２のスケール画像を内視鏡画像に重畳する選択の指示を例えば入力装置３０から行うことにより、簡単にその大きさを把握することができるようにしている。
重畳画像生成回路２１ｃは、第１のスケール画像と、第２のスケール画像とを生成する処理を行い、生成した第１のスケール画像と、第２のスケール画像とを例えばメモリ２２に格納する。なお、メモリ２２以外のメモリでも良い。そして、ユーザから選択指示された第１のスケール画像又は第２のスケール画像を速やかに表示することができるようにしている。
なお、選択の指示がされた後、第１のスケール画像又は第２のスケール画像を短時間に生成できる（処理機能を有する）重畳画像生成回路２１ｃを採用している場合には、選択の指示がされた後に選択の指示がされた第１のスケール画像又は第２のスケール画像を生成するようにしても良いし、又は一方のスケール画像のみを生成し、他方のスケール画像は、選択の指示がされた後に生成するようにしても良い。また、図２においてはＣＰＵ２１により遠近関係算出回路２１ａ、スケール画像生成回路２１ｂ、重畳画像生成回路２１ｃ、座標変換回路２１ｆ、決定回路２１ｇを形成する構成で示しているが、専用の電子回路を用いて構成しても良い。

本実施形態の内視鏡システム１は、所定の視点から被検体を見た被検体画像を生成するよう構成された被検体画像生成部を形成する画像生成回路４ａと、前記被検体に対する前記視点の位置情報及び視線方向情報を取得するよう構成された情報取得部を形成する位置方向取得回路２５と、前記位置情報及び前記視線方向情報を用いて、前記視点から前記被検体画像上の各点に対応する前記被検体上の各点までの遠近関係（の情報）を算出するよう構成された遠近関係算出部を形成する遠近関係算出回路２１ａと、前記位置情報及び前記視線方向情報を用いて、前記被検体画像上において少なくとも互いに異なる２つの方向に対して同じ縮尺を用いて構成され、前記被検体画像上においての前記被検体上での異なる方向における長さを反映するための第１のスケール画像を生成するよう構成された第１のスケール画像生成部を形成する第１のスケール画像生成回路２１ｄと、前記遠近関係算出部により算出された遠近関係（の情報）に合わせて、前記被検体画像上において少なくとも互いに異なる２つの方向に対して、互いに異なる縮尺を用いて構成され、前記被検体画像上においての前記被検体上における異なる方向における長さを反映する第２のスケール画像を生成するよう構成された第２のスケール画像生成部を形成する第２のスケール画像生成回路２１ｅと、前記被検体画像に対して、前記第１のスケール画像若しくは前記第２のスケール画像を選択的に重畳した重畳画像を生成するよう構成された画像処理部を形成する重畳画像生成回路２１ｃと、を有することを特徴とする。

次に図７を参照して本実施形態における代表的な動作を説明する。図７は、内視鏡２を用いて膀胱Ｂの内面を検査又は観察する場合の動作を示す。
内視鏡システム１の電源が投入され、動作状態になった後、最初のステップＳ１において術者等のユーザは、初期設定を行う。例えば第１のスケール画像又は第２のスケール画像から形成されるスケール画像を表示する場合、図５Ａ又は図５Ｂのいずれの表示モードで表示するかの設定を行う。以後、この設定に従って、後述するスケール画像（重畳画像）が表示されることになる。
また、ユーザは、画像処理装置５の遠近関係算出回路２１ａによる遠近関係の算出結果に基づいて、表示されている内視鏡画像の観察状態が、内視鏡画像上での異なる位置においても縮尺が殆ど変化しない正面視に近い状態であるか否かによって、内視鏡画像に重畳するスケール画像を自動的に決定することを望む場合には、スケール自動選択スイッチ３０ａをＯＮにする。また、ユーザは、内視鏡画像に重畳するスケール画像をユーザ自身が選択（又は指定）することを望む場合には、スケール自動選択スイッチ３０ａをＯＦＦにする。

次のステップＳ２において術者は、内視鏡２の挿入部２ｂを患者Ｐの尿道を経て（検査又は観察対象の）膀胱Ｂ内に挿入する。ステップＳ３に示すように先端部２ｄ内の対物光学系１０及びその結像位置に配置された撮像素子１１により膀胱Ｂの内面を撮像した撮像信号は、画像生成回路４ａに入力され、画像生成回路４ａは、内視鏡画像を生成する。生成された内視鏡画像はモニタ６に表示される。
また、ステップＳ４に示すように位置方向取得回路２５は、先端部２ｄ内の対物光学系１０の視点の位置Ｐｖ及び視線方向Ｖの情報を取得し、座標変換処理回路２１ｆは、第２の座標系（X_２Y_２Z_２）に変換する。
そして、ステップＳ５に示すようにメモリ２２は、内視鏡画像と、この内視鏡画像を取得した時間に取得した対物光学系１０の視点の位置Ｐｖ及び視線方向Ｖの情報を第２の座標系（X_２Y_２Z_２）に変換して関連付けて格納（記憶）する。この動作は、制御部を形成するＣＰＵ２１が行う。

ステップＳ６においてＣＰＵ２１（の遠近関係算出回路２１ａ）は、視点の位置Ｐｖから、撮像部１２の視野内又は画角内となる撮像面１１ａ上（又は内視鏡画像中）における代表的な複数の点に対応する膀胱Ｂの内面上における複数の点までの距離を（正面視に近いか否かを判定するために）算出する。
更にＣＰＵ２１（の遠近関係算出回路２１ａ）は、内視鏡画像中（又は撮像面１１ａ中）における代表的な複数の点近傍において、内面上の長さに対する内視鏡画像中（又は撮像面１１ａ中）の縮尺を算出する。この場合、位置方向取得回路２５により取得された対物光学系の焦点距離ｆ等の撮像情報が参照される。
ステップＳ７においてＣＰＵ２１（のスケール画像生成回路２１ｂ）は、ステップＳ６において算出された距離、縮尺の情報（の少なくとも一部）を利用して、第１のスケール画像と第２のスケール画像とを生成する。なお、この処理は、ステップＳ７において行わないで、第１のスケール画像を後述するステップＳ１０の直前、第２のスケール画像を後述するステップＳ１１の直前にそれぞれ生成するように処理をしても良い。

次のステップＳ８においてＣＰＵ２１は、スケール自動選択スイッチ３０ａがＯＮか否かの判定を行う。
スケール自動選択スイッチ３０ａがＯＮされている場合には、次のステップＳ９においてＣＰＵ２１（の判定回路２１ｈ）は、式（１８）、又は式（１９）により、現在の内視鏡画像の観察状態が正面視、又は現在の視線方向が内面に垂直に近いか否かを判定する。
視線方向が内面に垂直に近い判定結果の場合には、ステップＳ１０においてＣＰＵ２１（の重畳画像生成回路２１ｃ）は、第１のスケール画像生成回路２１ｄにより生成した第１のスケール画像を内視鏡画像に重畳して重畳画像を生成する。そして、モニタ６は、内視鏡画像に第１のスケール画像を重畳した重畳画像を表示する。
一方、ステップＳ９の判定処理において、現在の視線方向が内面に垂直に近くない判定結果の場合には、ステップＳ１１においてＣＰＵ２１（の重畳画像生成回路２１ｃ）は、第２のスケール画像生成回路２１ｅにより生成した第２のスケール画像を内視鏡画像に重畳して重畳画像を生成する。そして、モニタ６は、内視鏡画像に第２のスケール画像を重畳した重畳画像を表示する。

ステップＳ１０又はＳ１１の処理の後、ステップＳ１２においてＣＰＵ２１は、ユーザにより入力装置３０から膀胱Ｂ内の検査又は観察を終了する入力操作がされたか否かを判定する。終了する入力操作がされていない場合には、ステップＳ３の処理に戻り、終了する操作入力がされた場合には、図７の処理を終了する。
また、ステップＳ８においてスケール自動選択スイッチ３０ａがＯＦＦの判定結果の場合（更にスケール自動選択スイッチ３０ａがＯＮの判定結果の場合）には、ステップＳ１３に示すようにＣＰＵ２１は、ユーザにより第１のスケール画像を用いた重畳画像が選択（又は指定）されたか否かを判定する。ユーザにより第１のスケール画像を用いた重畳画像が選択（又は指定）された判定結果の場合には、ステップＳ１０の処理に移る。
一方、ユーザにより第１のスケール画像を用いた重畳画像が選択（又は指定）されないで、第２のスケール画像を用いた重畳画像が選択（又は指定）された判定結果の場合には、ステップＳ１１の処理に移る。

図８Ａは、図７における第１のスケール画像生成の処理を示す。また、図８Ｂは、図８Ａの動作の説明図を示し、内視鏡２により膀胱Ｂの内面を観察する様子を示す。図８Ｂは、球体の中心をＯ_２で示すように、視線方向Ｖが内面と垂直に近い状態で観察する様子を示す。
第１のスケール画像生成の処理が開始すると、最初のステップＳ２１において第１のスケール画像生成回路２１ｄは、対物光学系１０の視点の位置Ｐｖ，視線方向Ｖから膀胱Ｂの内面を観察した場合に対応する内面上の位置を基準位置Ｐｓに設定し、該基準位置Ｐｓにおいての内視鏡画像上での縮尺の値を、遠近関係算出回路２１ａによる遠近関係の取得結果に基づいて取得する。
例えば、視点の位置Ｐｖ、及びこの視点の位置Ｐｖからの視線方向Ｖで、被検体となる膀胱Ｂの内面を撮像素子１１により撮像した場合、視線方向Ｖの延長線上となる内面の位置を基準位置Ｐｓとし、この基準位置Ｐｓに対応する撮像面１１ａ上又は内視鏡画像上での基準位置（図８ＢではＱｓ）とし、基準位置Ｐｓに対する内視鏡画像上の基準位置Ｑｓ（近傍）での縮尺の値Ｇを取得する。図６Ａで説明したように、縮尺の値Ｇはｆ／Ｌｓとなる。

次のステップＳ２２において第１のスケール画像生成回路２１ｄは、上記膀胱Ｂの内面上の基準位置Ｐｓにおいて、その両側に基準長Ｌｆ，Ｌｆを設定し、基準長２×Ｌｆに対して、取得した縮尺の値Ｇを乗算した長さを基準スケール直径Ｄａ（図３Ａでは内面上では５ｍｍに相当することを表す）とした第１の円Ｓｐ１を生成する。
次のステップＳ２３において第１のスケール画像生成回路２１ｄは、第１の円Ｓｐ１の外側に基準スケール直径Ｄａの２倍の基準スケール直径Ｄｂとなり、第１の円Ｓｐ１と同心となる第２の円Ｓｐ２を生成する。なお、基準長Ｌｆを基準スケール半径に設定しても同等の結果となる。
そして、第１の円Ｓｐ１と第２の円Ｓｐ２とからなる第１のスケール画像Ｉ１が生成される。次のステップＳ２４において第１のスケール画像生成回路２１ｄは、生成した第１のスケール画像Ｉ１を重畳画像生成回路２１ｃに送り、図８Ａの処理を終了する。
第１のスケール画像Ｉ１が送られた重畳画像生成回路２１ｃは、撮像素子１１により撮像した内視鏡画像上における基準位置Ｑｓを中心として第１のスケール画像Ｉ１を重畳して図３Ａに示すような重畳画像Ｉｓを生成する。

図３Ａの重畳画像Ｉｓは、例えば病変部Ｉｄ１，Ｉｄ２，Ｉｄ３を含む内視鏡画像Ｉｅｎ上に、基準位置Ｑｓを中心とした第１の円Ｓｐ１，第２の円Ｓｐ２からなる第１のスケール画像Ｉ１が重畳された画像となる。第１のスケール画像Ｉ１は、互いに異なる２つの方向の場合を含む任意の方向に対して、視線方向Ｖとほぼ垂直に交差する交差面（を形成する撮像素子１１の撮像面１１ａ）に沿うように形成される。
また、第１のスケール画像Ｉ１は、内視鏡画像上において少なくとも互いに異なる２つの方向に対して同じ縮尺を用いて構成され、該内視鏡画像上においての（被検体としての）膀胱Ｂの内面上での異なる方向における長さを反映するための同心円スケール（画像）による第１のスケール画像となる。つまり、同心円スケール（画像）は、互いに異なる２つの方向を含む任意の方向に対して、同じ縮尺を用いて構成され、膀胱Ｂの内面上での任意の方向における長さを反映するための（方向依存性のない）等方性の縮尺を表すスケールとなる。後述する図１０においては、直交する２つの方向に対して、同じ縮尺（つまり同じ２つの縮尺）を用いて構成され、膀胱Ｂの内面上で２つの方向における長さを反映するための縮尺のスケールとなる。
なお、図３Ａに示すように内視鏡画像Ｉｅｎの中心部となる基準位置Ｑｓの付近又は、周辺部、その他の位置に、算出した縮尺の値を用いる等して、膀胱Ｂの内面までの距離（例えば基準位置Ｐｓまでの距離Ｌｓ）等を表示するようにしても良い。

図３Ａに示すように第１のスケール画像Ｉ１は、任意の方向に沿って計測するための円形の目盛りを有する。
生成された重畳画像Ｉｓは、モニタ６に出力される。例えば図５Ａに示すように、モニタ６における重畳画像表示エリアＡ２には、重畳画像Ｉｓが表示される。術者は、内視鏡画像に重畳して表示される第１のスケール画像から、病変部等の大きさを把握することが簡単にできる。また、図５Ｂに示すように内視鏡画像表示エリアＡ１中に重畳画像Ｉｓを表示する表示形態を選択することもできる。この場合には、図５Ａよりも大きく表示できる。
図９Ａは、図７における第２のスケール画像生成の処理を示す。図９Ｂは、図９Ａの動作を内視鏡画像上で示す説明図を示す。第２のスケール画像生成の処理が開始すると、最初のステップＳ３１において第２のスケール画像生成回路２１ｅは、対物光学系１０の視点の位置Ｐｖ，及びこの視点の位置Ｐｖからの視線方向Ｖが、膀胱Ｂの内面と交わる基準位置Ｐｓ（図９Ｂ参照、図６Ａ参照）を設定し、該基準位置Ｐｓに対応する内視鏡画像上の位置Ｑｓ（図９Ｂ参照、図６Ａ参照）を取得する。

なお、図９Ｂでは、位置Ｑｓに対応する内面上の基準位置Ｐｓを（Ｐｓ）で示している。内面上における他の位置も同様に表記する。
次のステップＳ３２において第２のスケール画像生成回路２１ｅは、内面上において、基準位置Ｐｓを通る第１の直線（具体例では左右方向に延びる直線）ｌａを設定し、該第１の直線ｌａ上で、基準位置Ｐｓの両側に、基準位置Ｐｓから基準長Ｌの位置Ｐｌ１，Ｐｒ１，２倍の基準長Ｌの位置Ｐｌ２，Ｐｒ２，…，を設定し、位置Ｐｌ１，Ｐｒ１，Ｐｌ２，Ｐｒ２，…，に対応する内視鏡画像上の位置Ｑｌ１，Ｑｒ１，Ｑｌ２，Ｑｒ２，…，をそれぞれ取得する。図６Ａにおいて説明した方法で位置Ｑｌ１，Ｑｒ１等を取得できる。図９Ｂでは内面上の第１の直線ｌａを点線で示す。なお、図９Ｂにおいては、内面上での直線は、ｌａ，ｌｂのみを示し、後述するｌｕ１等は（複雑になるため）図示しない。
次のステップＳ３３において第２のスケール画像生成回路２１ｅは、基準位置Ｐｓを通り、第１の直線に例えば直交する第２の直線（具体例では上下方向に延びる直線）ｌｂを設定し、該第２の直線ｌｂ上においても、基準位置Ｐｓの両側に、基準位置Ｐｓから基準長Ｌの位置Ｐｕ１，Ｐｄ１，２倍の基準長Ｌの位置Ｐｕ２，Ｐｄ２，…，を設定し、位置Ｐｕ１，Ｐｄ１，Ｐｕ２，Ｐｄ２，…，に対応する内視鏡画像上の位置Ｑｕ１，Ｑｄ１，Ｑｕ２，Ｑｄ２，…，をそれぞれ取得する。
次のステップＳ３４において第２のスケール画像生成回路２１ｅは、位置Ｐｕ１を通り、第１の直線ｌａと平行な直線ｌｕ１（図示略）を設定し、該直線ｌｕ１上で、位置Ｐｕ１の両側に、該位置Ｐｕ１から基準長Ｌの位置Ｐｕｌ１，Ｐｕｒ１，２倍の基準長Ｌの位置Ｐｕｌ２，Ｐｕｒ２，…，を設定し、位置Ｐｕｌ１，Ｐｕｒ１，Ｐｕｌ２，Ｐｕｒ２，…，に対応する内視鏡画像上の位置Ｑｕｌ１，Ｑｕｒ１，Ｑｕｌ２，Ｑｕｒ２，…，をそれぞれ取得する。

同様に、次のステップＳ３５において第２のスケール画像生成回路２１ｅは、位置Ｐｄ１を通る第１の直線ｌａと平行な直線ｌｄ１を設定し、該直線ｌｄ１２上で、上で、位置Ｐｄ１の両側に、該位置Ｐｄ１から基準長Ｌの位置Ｐｄｌ１，Ｐｄｒ１，２倍の基準長Ｌの位置Ｐｄｌ２，Ｐｄｒ２，…，を設定し、位置Ｐｄｌ１，Ｐｄｒ１，Ｐｕｌ２，Ｐｕｒ２，…，に対応する内視鏡画像上の位置Ｑｄｌ１，Ｑｄｒ１，Ｑｕｌ２，Ｑｕｒ２，…，をそれぞれ取得する。
次のステップＳ３６において第２のスケール画像生成回路２１ｅは、位置Ｐｕ１の上側に隣接する位置Ｐｕ２，位置Ｐｄ１の下側に隣接する位置Ｐｄ２，位置Ｐｕ２の上側に隣接する位置Ｐｕ３，位置Ｐｄ２の下側に隣接する位置Ｐｄ３，…，に対してもステップＳ３４と同様の処理を繰り返し行う。

次のステップＳ３７において第２のスケール画像生成回路２１ｅは、直線ｌａに対応する曲線ｌａ′，直線ｌｕ１に対応する曲線ｌｕ１′，直線ｌｄ１に対応する曲線ｌｄ１′，…を引く。この場合、例えば曲線ｌａ′は、位置Ｑｓ，その両側の位置Ｑｌ１，Ｑｒｌ，該位置Ｑｌ１，Ｑｒｌの両側の位置Ｑｌ２，Ｑｒ２，…を通る。他の曲線も同様である。換言すると、位置Ｑｓと、その水平方向の両側に存在する位置を曲線ｌａ′で結び、同様に位置Ｑｕ１，Ｑｄ１，Ｑｕ２、Ｑｄ２，…の各位置に対しても、各位置の水平方向の両側に存在する位置を通る曲線ｌｕ１′ｌｄ１′，ｌｕ２′ｌｄ２′，…を引く。
また、次のステップＳ３８において第２のスケール画像生成回路２１ｅは、位置Ｑｓ，その上下方向の両側の位置Ｑｕ１，Ｑｄ１，該位置Ｑｕ１，Ｑｄ１の位置Ｑｕ２，Ｑｄ２，…を通る垂直方向に延びる曲線ｌｂ′を引く。
同様に、第２のスケール画像生成回路２１ｅは、位置Ｑｌ１，Ｑｒ１，Ｑｌ２，Ｑｒ２，…の各位置に対しても、ステップＳ３８の場合と同様に垂直方向に存在する各位置を通る垂直方向に延びる曲線ｌｌ１′，ｌｒ１′、ｌｌ２′、ｌｒ２′…を引く。

このようにして第２のスケール画像Ｉ２が生成される。そして、図９Ａの処理を終了する。図９Ｂに示すように（点線で示す）内面上における水平方向又は垂直方向に隣接する２つの位置間の距離は、基準長Ｌとなり、これに対して内視鏡画像上における水平方向又は垂直方向に隣接する２つの位置間の距離は、基準長Ｌを内視鏡画像上の長さで縮尺した値Ｌ′となる。
また、この第２のスケール画像Ｉ２は、内視鏡画像上においては、互いに異なる２つの方向に対して縮尺を変化させたスケール（目盛り）とすることにより、内視鏡画像上においての被検体としての膀胱Ｂの内面上での長さを反映したスケールを持つ画像となる。第１のスケール画像Ｉ１は、等方性のスケール画像であったのに対して、この第２のスケール画像Ｉ２は、方向依存性を有する異方性のスケール画像となる。
なお、図３Ｂのように内視鏡画像Ｉｅｎ上に第２のスケール画像Ｉ２を重畳した重畳画像Ｉｓを表示する場合には、図９Ｂで示す縮尺の値Ｌ′が膀胱Ｂの内面上では長さＬであることを示すようにＬを表示するようにしても良い。
なお、上述した第２のスケール画像Ｉ２の生成は、要約すると、以下のようになる。対物光学系１０の視線方向が交差する臓器内面上の基準位置Ｐｓから、臓器内面上において互いに直交する方向に沿って基準長Ｌの長さを単位として格子状に複数の位置Ｐｌ１，Ｐｌ２等を設定し、複数の位置Ｐｌ１，Ｐｌ２等に対応する被検体画像としての臓器画像上における複数の対応位置Ｑｉ１，Ｑｌ２等を取得し、取得した複数の対応位置Ｑｉ１，Ｑｌ２等を格子状に線で結んで第２のスケール画像Ｉ２を生成する。図３Ｂ，図９Ｂに示す第２のスケール画像Ｉ２の場合においては、上方向の領域では下方向の領域に対して、視点からの距離が大きくなっているために、内視鏡画像上でのスケールの間隔が下方向の領域と比較して小さくなっている。また、図３Ｂに示すように内視鏡画像Ｉｅｎ上における異なる複数の位置に病変部Ｉｄ１，Ｉｄ２，Ｉｄ３が存在したような場合においても第２のスケール画像Ｉ２によりそれらの大きさを計測又は把握することができる。

このように動作する本実施形態によれば、内視鏡画像上に、該内視鏡画像に対応する被検体上での基準長をほぼ反映した縮尺の第１のスケール画像又は第２のスケール画像を重畳した重畳画像を表示できるようにしているので、術者等のユーザは、内視鏡画像上に病変部等の注目する部位が存在した場合、その大きさを第１のスケール画像又は第２のスケール画像のスケールから簡単に精度良く計測することができる。
また、本実施形態によれば、スケール自動選択スイッチをＯＮにする等して、スケール自動選択機能を動作状態に設定した場合には、膀胱Ｂの内面を観察している状態における遠近関係の情報から、第１のスケール画像及び第２のスケール画像における一方を自動的に選択して、重畳画像を生成することができる。
具体的には、内視鏡画像上における異なる位置における縮尺が、基準位置における縮尺から閾値以内に収まる場合や、視線方向が被検体面に垂直に近い場合は、内視鏡画像上におけるいずれの方向に対しても同じ縮尺のスケールを持つ第１のスケール画像を用いた重畳画像を表示し、内視鏡画像上における異なる位置に応じて被検対面までの距離が変化するような場合には、内視鏡画像上における少なくとも互いに異なる２つの方向に対しては異なる縮尺となるグリッド形状の第２のスケール画像を用いた重畳画像を表示する。
そして、術者等のユーザは、内視鏡画像上に病変部等の注目する部位が存在した場合、その大きさを重畳して表示されている第１のスケール画像又は第２のスケール画像から簡単に精度良く計測することができる。

なお、上述した実施形態においては、正面視に近い観察状態においては同心となる第１の円と第２の円とを備えた第１のスケール画像を生成して、生成した第１のスケール画像を用いて重畳画像を生成する例を説明した。
これに対して、正面視に近い観察状態においても、グリッド形状の第１のスケール画像を生成し、生成したグリッド形状の第１のスケール画像を用いて重畳画像を生成するようにしても良い。この場合には、図１０に示すような重畳画像Ｉｓとなる。
図１０に示す重畳画像Ｉｓは、被検体を見る視線方向に対して略垂直に交差する撮像素子１１の撮像面１１ａにより形成される交差面上において第１の方向に沿って形成された第１の目盛り（図１０では水平方向にほぼ等間隔となる目盛り）と、前記前記交差面上において第１の方向に交差する第２の方向に沿って前記第１の目盛りと同じ縮尺で形成された第２の目盛り（図１０では水平方向にほぼ等間隔となる目盛り）を備えるグリッド形状の第１のスケール画像Ｉ１′を有する。

グリッド形状の第１のスケール画像Ｉ１′は、図９Ａに示す処理手順で生成することができる。ユーザは、第１のスケール画像を選択する場合、入力装置３０から円形の１のスケール画像Ｉ１と、グリッド形状の第１のスケール画像Ｉ１′とを選択することができる。また、スケール自動選択をＯＮした場合、第１のスケール画像が自動的に選択される場合に対して、ユーザが入力装置から円形の１のスケール画像Ｉ１と、グリッド形状の第１のスケール画像Ｉ１′との一方を選択することもできる。
なお、上述した実施形態において、例えば図６Ａに示す対物光学系１０の視点の位置Ｐｖを仮想的に設定する視点設定部（又は視点設定装置）を入力装置３０に設けるようにしても良い。図２においては入力装置３０に設けたる視点設定部３０ｂを点線で示している。
この場合、ＣＰＵ２１は、視点設定部３０ｂにより設定された視点の位置Ｐｖから対物光学系１０の光学特性を用いた光学像と、該光学像に対応する仮想内視鏡画像を生成する仮想内視鏡画像生成部の機能を有する。

また、上述した実施形態において、図２等に示すように内視鏡２は、単一の対物光学系１０及び撮像素子１１を備えた撮像部１２を用いているが、図２において２点鎖線で示すように３Ｄ内視鏡４２を用いるようにしても良い。
３Ｄ内視鏡４２は、挿入部２ｂの先端部２ｄには、左右方向に所定間隔だけ離間して左右の対物光学系１０ａ、１０ｂが配置され、それぞれの結像位置に左右の撮像素子１１ａ，１１ｂが配置されて、左右の撮像部１２ａ，１２ｂが構成される。その他、実線で示す内視鏡２の場合と同様に、ライトガイド９，磁気センサ１３を有する。
また、この３Ｄ内視鏡４２の場合、プロセッサ４は、左右の撮像部１２ａ，１２ｂに対する信号処理を行う画像生成回路を備える。上記遠近関係算出回路２１ａは、複数となる左右の対物光学系１０ａ、１０ｂのそれぞれの視点位置と、それぞれの視点位置に対応する視線方向の情報に基づき、各視点から左右の内視鏡画像における各点に対応する膀胱Ｂの内面の各点までの距離を算出する。
また、上述した実施形態に画像処理装置５おいて、図２等に示すようにCT装置から取り込んだ3次元画像に基づいて、３次元画像情報を構築する例を示したが、2次元の内視鏡画像から３次元画像情報を構築するようにしてもよい。この場合、３Ｄ形状データ構築部４２ａは、例えば特許第５３５４４９４号の公報に記載された方法や、この公報以外に公知となるShape from Shading 法のように１枚の２次元画像から対応する３Ｄ形状を推定しても良い。また、２枚以上の画像を用いるステレオ法、単眼移動視による３次元形状推定法、ＳＬＡＭ法、位置センサと組み合わせて３Ｄ形状を推定する手法でも良い。また、３Ｄ形状を推定する場合、外部のＣＴ装置等の断層像取得装置から取得した３Ｄ画像データを参照して３Ｄ形状データを構築するようにしても良い。

なお、上述した実施形態において、説明した内容の範囲内で一部の組み合わせを変更しても良い。

本出願は、２０１４年９月１１日に日本国に出願された特願２０１４−１８５４５９号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

本発明の一態様の内視鏡システムは、被検体内に挿入される挿入部を備えた内視鏡と、前記挿入部における所定の視点から前記被検体を見た被検体画像を生成するよう構成された被検体画像生成部と、前記被検体画像上において少なくとも互いに異なる２つの方向に対して、互いに異なる縮尺を用いて構成され、前記被検体画像上においての前記被検体上における異なる方向における長さを反映する第１のスケール画像を生成するよう構成されたスケール画像生成部と、前記被検体画像全域にわたって、前記第１のスケール画像を重畳した重畳画像を生成可能に構成された画像処理部と、を備える。

Claims

所定の視点から被検体を見た被検体画像を生成するよう構成された被検体画像生成部と、
前記被検体画像上において少なくとも互いに異なる２つの方向に対して同じ縮尺を用いて構成され、前記被検体画像上においての前記被検体上での異なる方向における長さを反映するための第１のスケール画像を生成するよう構成された第１のスケール画像生成部と、
前記被検体画像上において少なくとも互いに異なる２つの方向に対して、互いに異なる縮尺を用いて構成され、前記被検体画像上においての前記被検体上における異なる方向における長さを反映する第２のスケール画像を生成するよう構成された第２のスケール画像生成部と、
前記被検体画像に対して、前記第１のスケール画像若しくは前記第２のスケール画像を選択的に重畳した重畳画像を生成するよう構成された画像処理部と、
を有することを特徴とする内視鏡システム。
前記第１のスケール画像生成部は、前記被検体画像上において互いに異なる２つの方向が、前記被検体を見る視線方向に対して略垂直に交差する交差面に沿うように形成して前記第１のスケール画像を生成することを特徴とする請求項１に記載の内視鏡システム。
前記第１のスケール画像生成部は、前記被検体画像の中心部を基準位置とし、前記位置情報に基づき、前記被検体画像上においての前記被検体上での長さに対する縮尺を算出して前記基準位置からの距離を示すように形成して前記第１のスケール画像を生成することを特徴とする請求項２に記載の内視鏡システム。
前記第１のスケール画像生成部は、前記第１のスケール画像が、前記交差面上において第１の方向に沿って形成された第１の目盛りと、前記前記交差面上において第１の方向に交差する第２の方向に沿って前記第１の目盛りと同じ縮尺で形成された第２の目盛りを備えるように生成することを特徴とする請求項２に記載の内視鏡システム。
前記視点として前記被検体からの光を受け、前記被検体の光学像を結像する対物光学系を備え、
前記被検体画像生成部は、前記対物光学系が結像した光学像に対応する前記被検体画像を生成することを特徴とする請求項１に記載の内視鏡システム。
予め取得した前記被検体に関する３次元画像情報を構築するための画像情報を記憶するよう構成された記憶部と、
前記３次元画像情報から当該３次元画像情報内に存在する所定の管腔臓器を抽出するよう構成された管腔臓器抽出部と、
前記管腔臓器抽出部によって抽出された前記所定の管腔臓器における視点を設定するよう構成された視点設定部と、を備え、
前記被検体画像生成部は、被検体画像として、前記視点設定部によって設定された前記視点から前記被検体を見た仮想管腔内画像を生成することを特徴とする請求項１に記載の内視鏡システム。
前記被検体に対する前記視点の位置情報及び視線方向情報を取得する情報取得部と、
前記位置情報及び前記視線方向情報を用いて、前記視点から前記被検体画像上の各点に対応する前記被検体上の各点までの遠近関係を算出する遠近関係算出部と、をさらに備え、
前記第２のスケール画像生成部は、前記遠近関係算出部により算出された遠近関係に合せて、前記第２のスケール画像を生成することを特徴とする請求項５に記載の内視鏡システム。
前記情報取得部は、前記対物光学系の位置及び視線方向を、前記位置情報及び前記視線方向情報として取得し、
前記遠近関係算出部は、前記対物光学系の異なる位置に対応する前記位置情報及び前記視線方向情報に基づき、前記視点から前記被検体上の各点までの距離を算出することで前記遠近関係を算出することを特徴とする請求項５に記載の内視鏡システム。
前記対物光学系を複数備え、
前記遠近関係算出部は、複数の前記対物光学系の夫々の位置に対応する前記位置情報及び前記視線方向情報に基づき、前記視点から前記被検体上の各点までの距離を算出することで前記遠近関係を算出することを特徴とする請求項５に記載の内視鏡システム。
前記被検体に対する前記視点の位置情報及び視線方向情報を取得する情報取得部と、
前記位置情報及び前記視線方向情報を用いて、前記視点から前記被検体画像上の各点に対応する前記被検体上の各点までの遠近関係を算出する遠近関係算出部と、
前記遠近関係算出部により算出された前記遠近関係の情報に応じて前記被検体画像に重畳する前記第１のスケール画像又は前記第２のスケール画像を自動的に決定するよう構成されたスケール画像決定部と、
を更に有することを特徴とする請求項１に記載の内視鏡システム。
前記スケール画像決定部は、前記遠近関係算出部により算出された前記位置情報及び視線方向情報を用いて前記視線方向が、該視線方向に対向する前記被検体面に垂直に近いか否かに応じて、前記被検体画像に重畳するスケール画像を前記第１のスケール画像又は前記第２のスケール画像から自動的に決定することを特徴とする請求項１０に記載の内視鏡システム。
先端部に前記対物光学系が設けられた内視鏡の挿入部は、前記被検体の球形の臓器内に挿入され、
前記情報取得部は、前記対物光学系の位置及び視線方向を、前記位置情報及び前記視線方向情報として取得し、
前記スケール画像決定部は、前記対物光学系の位置から前記球形の臓器内面に向かう前記対物光学系の視線方向と、前記球形の中心から前記対物光学系の視線方向が交差する前記臓器内面上の位置に向かう垂線方向とのなす角度が９０度に近い値に設定された閾値以上であると判定した場合には、前記第１のスケール画像を生成するように決定し、前記なす角度が前記閾値未満と判定した場合には、前記第２のスケール画像を生成するように決定することを特徴とする請求項１０に記載の内視鏡システム。
先端部に前記対物光学系が設けられた内視鏡の挿入部は、前記被検体の臓器内に挿入され、
前記情報取得部は、前記対物光学系の位置及び視線方向を、前記位置情報及び前記視線方向情報として取得し、
前記第２のスケール画像生成部は、前記対物光学系の視線方向が交差する前記臓器内面上の基準位置から、前記臓器内面上において互いに直交する方向に沿って基準長の長さを単位として格子状に複数の位置を設定し、前記複数の位置に対応する前記被検体画像としての臓器画像上における複数の対応位置を取得し、取得した前記複数の対応位置を格子状に線で結んで前記第２のスケール画像を生成することを特徴とする請求項１又は１０に記載の内視鏡システム。